CN115830386A - 基于深度学习的计算机主板装配质量检测方法及相关装置 - Google Patents

Abstract

基于深度学习的计算机主板装配质量检测方法及相关装置，包括：采集若干张计算机主板图像；对采集到的计算机主板图像进行数据增强，图像标注，得到主板检测数据集Mainboard‑DET，训练得到深度学习网络质量检测模型；基于训练得到的深度学习网络质量检测模型对实时采集的计算机主板图像进行检测；在MySQL数据库中保存检测结果，基于PyQt5搭建的人机界面显示检测结果。本发明采用机器视觉与深度学习相结合的方法对计算机主板的装配质量进行检测。借助于机器视觉获取计算机主板图像，应用深度学习方法建立深度神经网络分类模型和定位模型，实现计算机主板装配质量检测过程自动化，同时设计人机交互系统，方便企业管理人员对装配质量检测过程的监测。

Description

基于深度学习的计算机主板装配质量检测方法及相关装置

技术领域

本发明属于机器视觉技术领域，具体为基于深度学习的计算机主板装配质量检测方法及相关装置。

背景技术

从1936年艾伦图灵研发图灵机以来，计算机就被用来解决复杂的数据计算。1970年集成电路技术的引入使得个人计算机不断发展，人手一台计算机变得越来越普遍。近年来，随着数据计算和人工智能科技的迅速发展，我国的计算机制造业的制造水平也迎来巨大的发展前景，随之相关的产品检测需求也日益增长。而计算机主板是计算机最基本和最重要的部件，在整个计算机系统中有着举足轻重的作用。主板在生产过程中需要经过抛光、喷砂、板测、装配、功能测试、包装等各种各样的加工工序，在全机械、自动化的生产场景中，难以保证主板的表面不出现生产缺陷，可能会出现螺丝的漏安装与错误安装、尺寸不合格的现象，同时表面还会产生破损、撞件、芯片损伤等缺陷。主板装配质量的高低，决定了整个计算机硬件系统的稳定性。因此，现在国内外的计算机主板生产企业都在积极寻找关于主板生产质量检测的解决方案。通过有针对性的装配质量检测，从而使企业可以及时发现生产过程中存在的各种问题，及时有针对性地调整生产策略，解决生产过程存在的问题。

机器视觉利用机器替代人眼做出各种测量和判断，用摄像机自动获取图像，对获取的图像进行处理和模式识别，检测出所需要的内容。在工业生产领域，机器视觉强调生产的精度和速度，以及工业现场环境下的可靠性，在重复和机械性的工作中具有较大的应用价值，对企业来说是实现自动化生产重要的一步。机器视觉目前已经用于产品外形和表面缺陷检测，如金属表面缺陷检测、焊缝缺陷识别等。虽然机器视觉的检测技术在许多行业都有建设成果，但是在计算机主板表面缺陷的机器视觉检测方面，还鲜有人对其做过专项攻关。

机器学习是人工智能的一个重要分支，在此基础上进一步发展起来的深度学习与机器视觉在工业生产中共同发挥着重要的作用。目前基于深度学习的相关视觉检测方法发展迅猛，国内外一些学者尝试把机器视觉和深度学习算法用于印制电路板(PCB)缺陷检测、柔性线路板(FPC)缺陷检测、芯片和晶圆缺陷检测、产品表面缺陷检测和其他一些应用领域,旨在推动机器视觉和深度学习检测方法的落地应用。行动纲领指出，需要加速推进信息化与工业化的深度融合，推进生产过程的智能化。

目前计算机主板的装配质量检测主要依靠人工来完成。但传统的人工质检结果容易出错，造成人力物力的浪费；且纸质版质检异常追溯困难，历史数据查询困难，无法有效追踪改善，并且人工质检无法高效完成质检完毕后的异常情况汇总等工作。此外，人工质检存在管理上的风险，漏检、未检、质检人员人身安全等都是作业过程中存在的问题。

发明内容

本发明的目的在于提供基于深度学习的计算机主板装配质量检测方法及相关装置，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

基于深度学习的计算机主板装配质量检测方法，包括：

使用图像采集模块离线采集若干张计算机主板图像；

对采集到的计算机主板图像进行数据增强，图像标注，得到主板检测数据集Mainboard-DET，训练得到深度学习网络质量检测模型；

实时采集计算机主板图像；

基于训练得到的深度学习网络质量检测模型对实时采集的计算机主板图像进行检测；

在MySQL数据库中保存检测结果，基于PyQt5搭建的人机界面显示检测结果。

进一步的，图像采集模块包括摄像机、控制器和服务器，使用USB云台摄像头作为实际生产线中的图像采集器件，使用Flask技术封装深度学习的目标检测任务为接口，控制器实时采集图像调用Flask服务端接口，获取检测结果，实时显示结果在客户端的显示屏上，服务器存放所拍摄的图像。

进一步的，得到深度学习网络质量检测模型包括：

基于旋转、平移、缩放、亮度变化操作对采集的图像进行数据增强，原图像和增强后的图像组成图像集；

基于Label Img开源算法库，对图像集中的每张图像进行人工标注，得到装配质量问题的类型和所在区域的坐标信息，得到主板检测数据集；

在RetinaNet网络结构基础上，引入FPN特征金字塔和SE-Net注意力机制模块，构建用于质量检测的深度学习模型结构；

在主板检测数据集上训练用于质量检测的深度学习模型结构，得到深度学习网络质量检测模型。

进一步的，深度学习网络质量检测模型结构包括ResNet主干网络、改进的PA-FPN特征金字塔、SE-Net注意力机制模块和回归、分类子网络四部分；

输入图像经过主干网络提取出图像的多尺度特征；然后通过自上而下和自下而上的两个特征融合路径进行特征融合，有效提高网络对浅层特征的保留能力，同时也使得网络的输出特征图具有高级语义信息；然后在每个尺度的输出特征图后续加入注意力机制模块，对输出特征图的通道进行权重重标定，抑制在检测过程中背景信息对前景信息的干扰；最终将最后输出的特征图输入给目标定位和分类子网络，进行后续的分类和回归运算，识别出目标在图像中的位置和类别，分别完成缺陷的定位任务和分类任务。

进一步的，通过手工识别包含装配质量的区域，对含有装配质量的区域，通过Labeling标注软件在这些图像中手动标注每个缺陷，形成一个主板的装配质量检测数据集MainBoard-DET，标注包含两个部分，一部分是缺陷的类别，另一部分是每个缺陷的位置坐标，标注的缺陷类型有：cpu底盘固定螺丝正常、cpu风扇接线错误或未接、主板固定螺丝丢失、cpu风扇固定螺丝丢失、cpu风扇接口正常、主板固定螺丝正常、cpu风扇固定螺丝正常。

进一步的，在MySQL数据库中保存检测结果，基于PyQt5搭建的人机界面显示检测结果：

调用数据库操作接口，将检测结果插入到数据库中，并在插入数据时，为每一条数据加入时间戳字段；

人机界面一方面以图像形式显示当前检测图像上的缺陷类别和位置，另一方面从数据库查询统计当前图像中存在的缺陷类别和出现的次数，以表格形式显示；

历史数据汇总分析以图形化形式显示，主要是对目标检测模型检测出的主板表面的缺陷数据进行统计分析，可视化显示。

进一步的，检测内容包括计算机装配过程中机箱内固定主板的螺丝是否缺少、风扇有无、固定风扇的螺丝是否遗漏、CPU风扇接CPU_FAN的接线是否接好。

进一步的，基于深度学习的计算机主板装配质量检测系统，包括：

数据采集模块，用于使用图像采集模块离线采集若干张计算机主板图像和在线实时检测时采集计算机主板图像；

深度学习网络质量检测模型构建模块，用于对采集到的计算机主板图像进行数据增强，图像标注，得到主板检测数据集Mainboard-DET，训练得到深度学习网络质量检测模型；

检测模块，用于基于训练得到的深度学习网络质量检测模型对实时采集的计算机主板图像进行检测；

结果保存和显示模块，用于在MySQL数据库中保存检测结果，基于PyQt5搭建的人机界面显示检测结果。

进一步的，一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现基于深度学习的计算机主板装配质量检测方法的步骤。

进一步的，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现基于深度学习的计算机主板装配质量检测方法的步骤。

与现有技术相比，本发明有以下技术效果：

本申请将机器视觉和深度学习进行结合，针对主板表面装配质量(包括各个接口是否完好无损，无变形、划伤、氧化等；固定主板的螺丝是否缺少；风扇(散热器)有无；固定风扇的螺丝是否漏打；CPU风扇(散热器)接CPU_FAN的接线是否接好)进行自动检测，既能提升检测速度，又能提升检测精度，从而提高计算机主板检测生产线的自动化和智能化水平，大大减少手工检测所需的人力物力，从而节约企业在人力和时间方面的检测成本。同时还可以提高检测结果综合分析能力，能够让管理者及时掌握生产线上产品质量的信息，降低信息收集、处理、利用的成本。

针对人工检测计算机主板有无缺陷费时费力、效率低下的问题，提出利用机器视觉自动获取图像，对获取图像进行处理和模式识别，构建基于深度神经网络的自动检测模型，提高检测的自动化和智能化水平。

本申请将深度学习目标检测技术应用在主板装配质量检测领域，可从以下几个方面检测主板质量：检测主板各个接口完好无损，无变形、划伤、氧化等；固定主板的螺丝是否缺少；风扇(散热器)有无；固定风扇的螺丝是否漏打；CPU风扇(散热器)接CPU_FAN的接线是否接好。

该系统具备数据采集功能、检测模型构建功能、主板装配质量检测功能和结果显示分析功能，在实现计算机主板装配质量检测过程自动化的同时，方便企业管理人员对装配质量检测过程的监测。

附图说明

图1为本发明系统结构示意图；

图2为本发明主板装配质量检测流程图；

图3为本发明图像采集系统组成示意图；

图4为本发明接口结构示意图；

图5为本发明质量检测模型深度神经网络结构图。

具体实施方式

以下结合附图对本发明进一步说明：

本发明属于机器视觉技术领域，具体为一种基于深度学习目标检测的计算机主板装配质量检测系统，其特征在于，包括图像采集模块、装配质量检测模型构建模块、人机交互模块。其中：图像采集模块用于采集计算机主板图像；装配质量检测模型构建模块先对采集的图像数据集进行增强，并通过图像标注，构建主板检测数据集Mainboard-DET，然后基于RetinaNet算法已有的思想和结构，改进FPN特征金字塔，引入SE-Net注意力机制模块，构建了一种改进的深度学习模型结构，用于对计算机装配过程中机箱内固定主板的螺丝是否缺少、风扇(散热器)有无、固定风扇的螺丝是否遗漏、CPU风扇(散热器)接CPU_FAN的接线是否接好等装配质量问题进行检测；人机交互模块基于PyQt5搭建易于交互的人机界面，可将装配质量检测模型检测的结果实时汇总分析显示给操作人员，以便操作人员对主板检测生产线进行过程监测，并基于MySQL数据库搭建历史检测数据存储、查询、数据分析系统，解决传统人工质检过程中的历史数据追溯困难等问题。

请参阅图1至图4，一种基于深度学习目标检测的计算机主板装配质量检测方法，包括：

S1，基于所述图像采集模块离线采集多张计算机主板图像；

S2,基于所述的装配质量检测模型构建模块对采集到的计算机主板图像进行数据增强，图像标注，得到主板检测数据集Mainboard-DET，训练得到深度学习网络质量检测模型；

S3，基于所述图像采集模块实时采集计算机主板图像；

S4，基于S2所述的训练得到的深度学习网络质量检测模型对实时采集的计算机主板图像进行检测；

S5，基于所述人机交互模块，在MySQL数据库中保存检测结果，基于PyQt5搭建的人机界面显示检测结果。

所述S2包括：

S21，基于旋转、平移、缩放、亮度变化等操作对采集的图像进行数据增强，原图像和增强后的图像组成图像集；

S22，基于Label Img开源算法库，对图像集中的每张图像进行人工标注，得到装配质量问题的类型和所在区域的坐标信息，得到主板检测数据集；

S23，在RetinaNet网络结构基础上，引入FPN特征金字塔和SE-Net注意力机制模块，构建用于质量检测的深度学习模型结构；

S24，在主板检测数据集上训练用于质量检测的深度学习模型结构，得到深度学习网络质量检测模型。

所述的深度学习模型结构主要由ResNet主干网络、改进的PA-FPN特征金字塔、SE-Net注意力机制模块和回归、分类子网络四部分组成。

输入图像经过主干网络提取出图像的多尺度特征；然后通过自上而下和自下而上的两个特征融合路径进行特征融合，有效提高网络对浅层特征的保留能力，同时也使得网络的输出特征图具有高级语义信息；然后在每个尺度的输出特征图后续加入注意力机制模块，对输出特征图的通道进行权重重标定，抑制在检测过程中背景信息对前景信息的干扰；最终将最后输出的特征图输入给目标定位和分类子网络，进行后续的分类和回归运算，识别出目标在图像中的位置和类别，分别完成缺陷的定位任务和分类任务。

所述S5包括：

S51，调用数据库操作接口，将检测结果插入到数据库中，并在插入数据时，为每一条数据加入时间戳字段；

S52，人机界面一方面以图像形式显示当前检测图像上的缺陷类别和位置。另一方面从数据库查询统计当前图像中存在的缺陷类别和出现的次数，以表格形式显示；

S53，历史数据汇总分析以图形化形式显示，主要是对目标检测模型检测出的主板表面的缺陷数据进行统计分析，可视化显示，使得企业人员可以从多角度去了解生产线上的主板表面存在的缺陷类型，从而及时调整生产策略，提高生产效率。

图像采集主要由摄像机和服务器组成，在本实施例中，通过摄像机拍摄正常的主板和带有各种缺陷的主板图像。使用树莓派4B作为主控制器，使用USB云台摄像头作为实际生产线中的图像采集器件，使用Flask技术封装深度学习的目标检测任务为接口，控制器实时采集图像调用Flask服务端接口，获取检测结果，实时显示结果在客户端的LCD显示屏上，系统组成结构如图3所示。本实施例数据增强操作包括：改变图像亮度，随机上下/左右平移、随机旋转，随机缩放，以适应实际生产线上主板图像拍摄时可能遇到的场景。

通过手工识别包含装配质量的区域，对含有装配质量的区域，通过Labeling标注软件在这些图像中手动标注每个缺陷，形成一个主板的装配质量检测数据集MainBoard-DET，标注包含两个部分，一部分是缺陷的类别，另一部分是每个缺陷的位置坐标，标注的缺陷类型有：cpu底盘固定螺丝正常、cpu风扇接线错误或未接、主板固定螺丝丢失、cpu风扇固定螺丝丢失、cpu风扇接口正常、主板固定螺丝正常、cpu风扇固定螺丝正常。

考虑到训练数据的分布特点，缺陷数据少，同时为了兼顾检测速度，尽可能采用轻量化模型，采用如图5所示的网络结构。

该网络优化目标函数设计时考虑分类信息和位置回归信息，设计的目标函数如下式所示。

L_total＝L_cls+L_reg (1)

其中L_cls和L_reg分别代表分类损失函数和回归损失函数。

L_cls具体表示为Focal Loss，如式(2)所示：

L_cls＝-α_t(1-p_t)γlog(p_t) (2)

其中p_t是模型估计的类别概率。α_t和γ是focal loss的参数。在训练的过程中将α_t和γ分别设置为0.25和2。

对于装配质量检测，L_reg由4个参数组成，对真实的标签2D外包矩形框(2Dbox)编码为

这其中

表示2D box的中心点，(w^g,h^g)表示每一个外包矩形框的宽高，对于正样本的anchor将其参数化为

定义一个残差向量

这个向量τ^*包含了4个待回归的目标并分别表示为位置残差(Δx,Δy)和二个维度上的宽高残差(Δw,Δh)，这些参数由下述公式计算：

其中

是任意一个anchor水平面上对角线的长度。为了从待匹配的正样本(anchor)中正确检索到真实标签2D box的参数，使用下式(3)作为损失函数：

在式(3)中，SL表示SmoothL1函数，定义为公式(4)所示。

其中L_cls和L_reg分别表示分类损失函数和回归损失函数，模型训练的目标为使得损失函数的值达到最小。

基于RetinaNet的计算机主板表面装配质量检测模型，采用Python语言和PyTorch深度学习框架实现，在服务端口设计中，通过Flask框架，对检测模型等应用接口进行封装，形成检测模型。在开发系统时，为了使系统具有可维护性，使用OOP方法将模型调用的检测服务封装为接口，接口详细信息说明如下：

接口主要实现读取输入图像数据、返回模型检测的装配质量数据的功能，接口地址为Predict_Interface，请求方法为img_prediction和video_prediction。

请参阅图2，img_prediction主要实现基于图像的主板装配质量检测，它具有一个传入参数为图像数据img，请求示例如下：

Predict＝Predict_Interface()

Result＝Predict.Img_prediction(img)

video_prediction主要实现基于视频或摄像头的主板装配质量检测，它具有一个传入参数为视频数据的路径地址或摄像头设备的编号，请求示例如下：

Predict＝Predict_Interface()

Result＝Predict.Video_prediction(video_path)

模型调用接口主要有三个响应参数，分别为Result_img，类型为Image或Frame，返回的参数为检测后的检测结果，即返回检测后图像；第二个参数为predict_classes，返回针对此检测图像或视频帧的所有检测目标的检测类别，类型为numpy.array；第三个参数为predict_scores，返回针对此检测图像或视频帧检测到的所有目标的检测置信度。训练好的模型通过接口进行部署，在系统运行时自动加载模型参数形成可以调用的接口，开始检测时，调用该接口将需要检测的图像数据或视频帧传入服务接口，服务接口过程完成后返回数据即可获得检测结果，模型部署和服务流程如下图所示。

通过对存储数据进行分析，设计了表的字段，将检测结果存储在相应的表中。根据实际的应用需求，采用MySQL数据库。MySQL数据库为一种流行的关系型结构数据库，查询速度快，能够满足系统需求。

系统在检测时的工作方式为实时检测、实时显示，但是对于实际的工业应用需要不定时的统计检测结果。因此，设计有效的数据库来存储计算机主板的检测结果，数据表的结构如下表所示：

表检测结果数据表结构

该数据表的字段包含主板编号，它是根据检测过程设定的唯一ID，该字段也是数据表的主键，同时通过多个字段表示主板的检测结果，最后以一个字段表示主板的检测时间，系统的数据统计可视化根据指定的主键查询指定主板的缺陷个数、缺陷类型等信息。

使用数据统计功能时，系统根据指定的数据库查询语句，从数据库查询相关的检测信息，进行统计分析，并在统计页面进行可视化展示，同时计算查询结果中的产品缺陷个数等情况，进行统计分析。

系统通过上述加载图像数据，调用模型检测接口，获取到模型的检测数据，算法经过统计获取到的模型的检测数据，调用数据库操作接口，插入数据到数据库中，并在插入数据时，为每一条数据加入时间戳字段。

检测结果主要分为以图像形式显示，即在当前检测图像上标注出检测得到的缺陷类别和位置。同时，通过内部数据分析算法的统计，界面上以表格形式显示图像的检测统计数据，主要包括此帧图像中存在的缺陷类别和出现的次数。

多维度的结果显示主要是对目标检测模型检测出的主板表面的缺陷数据进行统计分析，可视化显示，使得企业人员可以从多角度去了解生产线上的主板表面存在的缺陷类型，从而及时对症下药，调整生产策略，提高生产效率。

本发明再一实施例中，提供一种基于深度学习的计算机主板装配质量检测系统，能够用于实现上述的基于深度学习的计算机主板装配质量检测方法，具体的，该系统包括：

数据采集模块，用于使用图像采集模块离线采集若干张计算机主板图像；

深度学习网络质量检测模型构建模块，用于对采集到的计算机主板图像进行数据增强，图像标注，得到主板检测数据集Mainboard-DET，训练得到深度学习网络质量检测模型；

检测模块，用于基于训练得到的深度学习网络质量检测模型对实时采集的计算机主板图像进行检测；

结果保存和显示模块，用于在MySQL数据库中保存检测结果，基于PyQt5搭建的人机界面显示检测结果。

本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本发明各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于深度学习的计算机主板装配质量检测方法的操作。

本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于深度学习的计算机主板装配质量检测方法的相应步骤。

以下为仿真实验数据：

实验平台为Intel Core i5-8300U CPU、NVIDIA GTX 1050显卡，操作系统版本为Window 10，采用的深度学习框架为PyTorch，PyTorch版本为1.11.0，显卡并行计算平台为NVIDIA CUDA 10.2和cuDNN 7.6.5。采用mAP作为模型对目标的检测准确率进行评价。对于模型图像处理速度的评价指标，采用FPS(Frame Pre Second)进行评价，FPS代表模型每秒内可以处理的图像的数量，该指标可以很好地反应模型对于图像的处理速度。

模型训练是在自建的MainBoard-DET数据集上进行。，其中训练集和测试集分别占数据集的80％和20％。经过多次实验对比，最终的参数设置如下：

网络的训练过程为15个epoch，所有的网络都采用SGD梯度下降法进行训练，batchsize为16，学习率为0.005，momentum为0.9，权值衰减为0.0001，在第10个epoch时，学习速率衰减到初始值的1/10，采用一种基于L2范数的梯度衰减策略，梯度L2范数的上限为35，将输入图像均匀变换到640*640大小并归一化。考虑到MainBoard-DET中缺陷的大小，将包围盒尺寸设置为642、1282、2562，长宽比为1：2、1：1、2：1。

在MainBoard-DET数据集的测试集进行了测试，质量检测模型的mAP指标达到0.875，FPS为3帧。系统检测一块计算机主板耗时300ms。

综上所述，本发明具有以下优势：

(1)通过企业实际采集的计算机主板的产品图像，基于企业要求的装配质量检测标准，确认主板装配过程中可能存在的缺陷类型。同时，针对实际工业场景中数据集太小导致模型训练效果较差的问题，基于采集的计算机主板图像，对数据进行了增强操作，构建了计算机主板装配质量检测数据库MainBoard-DET。

(2)针对计算机主板表面装配质量检测中存在的目标小、背景信息干扰大等问题，基于一阶段的目标检测网络RetinaNet算法，结合路径聚合网络改进了FPN特征金字塔结构，形成PA-FPN的双重金字塔结构，使得网络可以更好地检测到小目标，同时引入了注意力机制，构建了基于深度学习的计算机主板装配质量检测模型。

(3)为了实时采集生产线上的计算机主板图像进行装配质量检测，基于树莓派4B设计数据采集装备的硬件电路和嵌入式软件。

(4)针对企业实际的应用需求，开发基于深度学习的计算机主板装配质量检测系统。该系统以提出的计算机主板装配质量检测模型为核心，结合相关的硬件采集设备实现了主板图像的自动化采集和检测。同时通过结果保存和显示模块将检测结果以报表和多维可视化的形式展示给用户，解决了人工检测费时费力和不易对检测结果进行统计分析等问题。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.基于深度学习的计算机主板装配质量检测方法，其特征在于，包括：

使用图像采集模块离线采集若干张计算机主板图像；

对采集到的计算机主板图像进行数据增强，图像标注，得到主板检测数据集Mainboard-DET，训练得到深度学习网络质量检测模型；

实时采集计算机主板图像；

基于训练得到的深度学习网络质量检测模型对实时采集的计算机主板图像进行检测；

在MySQL数据库中保存检测结果，基于PyQt5搭建的人机界面显示检测结果。

2.根据权利要求1所述的基于深度学习的计算机主板装配质量检测方法，其特征在于，图像采集模块包括摄像机、控制器和服务器，使用USB云台摄像头作为实际生产线中的图像采集器件，使用Flask技术封装深度学习的目标检测任务为接口，控制器实时采集图像调用Flask服务端接口，获取检测结果，实时显示结果在客户端的显示屏上，服务器存放所拍摄的图像。

3.根据权利要求1所述的基于深度学习的计算机主板装配质量检测方法，其特征在于，得到深度学习网络质量检测模型包括：

基于旋转、平移、缩放、亮度变化操作对采集的图像进行数据增强，原图像和增强后的图像组成图像集；

基于LabelImg开源算法库，对图像集中的每张图像进行人工标注，得到装配质量问题的类型和所在区域的坐标信息，得到主板检测数据集；

在RetinaNet网络结构基础上，引入FPN特征金字塔和SE-Net注意力机制模块，构建用于质量检测的深度学习模型结构；

在主板检测数据集上训练用于质量检测的深度学习模型结构，得到深度学习网络质量检测模型。

4.根据权利要求3所述的基于深度学习的计算机主板装配质量检测方法，其特征在于，深度学习网络质量检测模型结构包括ResNet主干网络、改进的PA-FPN特征金字塔、SE-Net注意力机制模块和回归、分类子网络四部分；

输入图像经过主干网络提取出图像的多尺度特征；然后通过自上而下和自下而上的两个特征融合路径进行特征融合，有效提高网络对浅层特征的保留能力，同时也使得网络的输出特征图具有高级语义信息；然后在每个尺度的输出特征图后续加入注意力机制模块，对输出特征图的通道进行权重重标定，抑制在检测过程中背景信息对前景信息的干扰；最后将输出的特征图输入给目标定位和分类子网络，进行后续的分类和回归运算，识别出目标在图像中的位置和类别，分别完成缺陷的定位任务和分类任务。

5.根据权利要求3所述的基于深度学习的计算机主板装配质量检测方法，其特征在于，通过手工识别包含装配质量的区域，对含有装配质量的区域，通过Labeling标注软件在这些图像中手动标注每个缺陷，形成一个主板的装配质量检测数据集MainBoard-DET，标注包含两个部分，一部分是缺陷的类别，另一部分是每个缺陷的位置坐标，标注的缺陷类型有：cpu底盘固定螺丝正常、cpu风扇接线错误或未接、主板固定螺丝丢失、cpu风扇固定螺丝丢失、cpu风扇接口正常、主板固定螺丝正常、cpu风扇固定螺丝正常。

6.根据权利要求1所述的基于深度学习的计算机主板装配质量检测方法，其特征在于，在MySQL数据库中保存检测结果，基于PyQt5搭建的人机界面显示检测结果：

调用数据库操作接口，将检测结果插入到数据库中，并在插入数据时，为每一条数据加入时间戳字段；

人机界面一方面以图像形式显示当前检测图像上的缺陷类别和位置，另一方面从数据库查询统计当前图像中存在的缺陷类别和出现的次数，以表格形式显示；

历史数据汇总分析以图形化形式显示，主要是对目标检测模型检测出的主板表面的缺陷数据进行统计分析，可视化显示。

7.根据权利要求1所述的基于深度学习的计算机主板装配质量检测方法，其特征在于，检测内容包括计算机装配过程中机箱内固定主板的螺丝是否缺少、风扇有无、固定风扇的螺丝是否遗漏、CPU风扇接CPU_FAN的接线是否接好。

8.基于深度学习的计算机主板装配质量检测系统，其特征在于，包括：

数据采集模块，用于使用图像采集模块离线采集若干张计算机主板图像和在线实时检测时采集计算机主板图像；

深度学习网络质量检测模型构建模块，用于对采集到的计算机主板图像进行数据增强，图像标注，得到主板检测数据集Mainboard-DET，训练得到深度学习网络质量检测模型；

检测模块，用于基于训练得到的深度学习网络质量检测模型对实时采集的计算机主板图像进行检测；

结果保存和显示模块，用于在MySQL数据库中保存检测结果，基于PyQt5搭建的人机界面显示检测结果。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于深度学习的计算机主板装配质量检测方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于深度学习的计算机主板装配质量检测方法的步骤。

Images