CN115219520B - 基于深度学习的航空插接器焊点质量检测系统及方法 - Google Patents

Abstract

本申请公开了一种基于深度学习的航空插接器焊点质量检测系统及方法，涉及焊点检测技术领域，该系统中航空插接器设置在焊接平台上，航空插接器在焊接工位处焊接完成一行后无需移动，伺服滑台带动焊接平台移动至检测工位处，由相对于水平面倾斜向下拍摄的显微相机采集焊点图像，利用深度学习模型自动得到焊点质量检测结果，然后伺服滑台可以带动焊接平台移动回焊接工位处继续焊接下一行。本申请基于计算机视觉处理技术结合人工检测方法设计，且考虑了航空插接器焊点的特殊结构特征，具有构成简单、非接触、测量范围广、精度高、信息量大、性能稳定、抗干扰性好等诸多优点。

Description

基于深度学习的航空插接器焊点质量检测系统及方法

技术领域

本申请涉及焊点检测技术领域，尤其是基于深度学习的航空插接器焊点质量检测系统及方法。

背景技术

随着电子信息技术的发展，各种形态的电子设备进入了各行各业。航空工业中电子设备极大地促进了航空工业的飞速发展。航空插接器自身的电气参数是选择航空插头首先要考虑的问题，而航空插接器焊接的质量决定了整个系统的工作安全性与可靠性。因此为了保证焊接结构的完整性、可靠性、安全性和使用性，对航空插接器的焊点质量进行检测是焊接结构质量管理的重要一环。

传统工厂所采用的焊点质量检测技术主要依赖于人工目测，主要靠熟练工人对电子设备的目视检查和经验去认定其是否存在焊接的缺陷，效率较低且准确性不高。随着相关检测技术的发展也出现了利用自动光学仪器先扫描再处理的自动光学检测法，利用放射性射线强穿透特性的自动射线检测法和利用焊点线缆电气特性的电气检测法。自动光学检测法虽然检测准确度较高且自动化程度高，但设备体积巨大、操作复杂且价格高昂。自动射线检测法穿透力强、不受材料外形与结构的影响、操作方便、检测效率高，但有一定的辐射，设备价格同样高昂且不便于维护。电气检测法属于离线检测法，不能及时反馈检测结果和缺陷信息，速度慢，效率低。

发明内容

本申请人针对上述问题及技术需求，提出了基于深度学习的航空插接器焊点质量检测系统及方法，本申请的技术方案如下：

一种基于深度学习的航空插接器焊点质量检测系统，该航空插接器焊点质量自动检测系统包括焊接平台、伺服滑台、显微相机以及主控模组，主控模组连接显微相机；

焊接平台固定在伺服滑台上，航空插接器设置在焊接平台上，航空插接器在焊接工位处由焊接装置完成焊接后，伺服滑台带动焊接平台移动至检测工位处，焊接平台位于检测工位处时、航空插接器在显微相机的视场范围内，且显微相机相对于水平面倾斜向下拍摄；

显微相机对焦并采集航空插接器表面的立体结构焊点的焊点图像并传输给主控模组，主控模组将焊点图像输入基于YOLOv5的深度学习模型中，得到焊点质量检测结果。

其进一步的技术方案为，显微相机具有可变焦功能且配备广角镜头，显微相机的视场范围覆盖整行焊点。

其进一步的技术方案为，显微相机相对于水平面倾斜向下朝向远离焊接工位的一侧，且显微相机的光轴与水平面的夹角的范围在50°～70°范围内。

其进一步的技术方案为，显微相机固定在相机支架上，相机支架包括竖直支架及其连接的水平支架，显微相机安装在水平支架上且沿着水平支架的周向可旋转以调节与水平面的夹角。

其进一步的技术方案为，显微相机在水平支架上的安装位置沿着水平方向可调节，水平支架沿着竖直支架可移动以调节显微相机与水平面之间的垂直相对距离。

其进一步的技术方案为，显微相机的前端还固定有环形补光灯。

其进一步的技术方案为，焊接平台的表面铺设有防静电板。

其进一步的技术方案为，航空插接器表面单个焊点的图像采集精度不低于0.01mm。

一种基于深度学习的航空插接器焊点质量检测方法，该方法基于本申请公开的航空插接器焊点质量检测系统实现，该方法包括：

在焊接工位处由焊接装置对航空插接器最靠近检测工位的一行焊点进行焊接；

当航空插接器在焊接工位处焊接完成一行后，伺服滑台带动焊接平台移动至检测工位处；

显微相机对焦并获取当前焊接的一行焊点的焊点图像传输给主控模组；

主控模组将立体结构焊点的焊点图像输入基于YOLOv5的深度学习模型中，得到对当前焊接的一行焊点的焊点质量检测结果；

伺服滑台带动焊接平台移动至焊接工位处，继续焊接下一行、以按照从检测工位至焊接工位的方向对航空插接器表面的多行焊点依次逐行焊接。

其进一步的技术方案为，显微相机对焦并获取当前焊接的一行焊点的焊点图像传输给主控模组的方法包括：

显微相机保持对焦至视场中央，显微相机将采集到的焊点图像传输给主控模组输入YOLOv5的深度学习模型对视场中当前焊接的一行焊点进行定位；

主控模组根据定位的结果控制伺服滑台带动焊接平台在检测工位处进行位置微调、将当前焊接的一行焊点移动至视场中央；

截取显微相机此时采集到的焊点图像的视场中央的当前焊接的一行焊点的焊点图像传输给主控模组。

本申请的有益技术效果是：

本申请公开了一种基于深度学习的航空插接器焊点质量检测系统及方法，该系统基于计算机视觉处理技术结合人工检测实现，且针对航空插接器焊点结构的特殊性，设置显微相机倾斜拍摄以采集焊点表面更多特征实现更准确的图像采集，并结合YOLOv5深度学习算法实现焊点质量检测，检测速度更快，避免人为因素干扰。针对航空插接件上焊点交错排列的情况，基于该系统采用焊接一排检测一排的方法，可以有效避免因为焊点遮挡而产生的视觉上连结的问题，从而提高检测准确性，本申请公开的系统和方法更加灵活以应对更复杂的需求，具有构成简单、非接触、测量范围广、精度高、信息量大、性能稳定、抗干扰性好等诸多优点。

该系统分析结果表明检测的准确度可以达到97.5％以上，置信度90％以上且速度极快单张检测时间约为0.01s，指标满足生产需要。且设计了一套GUI图形化用户操作界面便于在生产一线由工人操作，形成了一套完整的对焊点质量高速实时检测，报告，存档的计算机应用程序。

附图说明

图1是本申请一个实施例中的航空插接器焊点质量自动检测系统的焊点结构图。

图2是焊接平台和伺服滑台的安装结构图，以及焊接工位和检测工位的示意图。

图3是显微相机倾斜拍摄的示意图。

图4是相机支架的结构示意图。

图5是本申请一个实施例中利用航空插接器焊点质量自动检测系统实现的航空插接器焊点质量自动检测流程示意图。

具体实施方式

下面结合附图对本申请的具体实施方式做进一步说明。

本申请公开了一种基于深度学习的航空插接器焊点质量检测系统，请参考图1，该系统包括焊接平台1、伺服滑台2、显微相机3以及主控模组4，这些装置一般可以放置在工作台面上，主控模组4连接显微相机3，主控模组4主要负责图像的采集、存储和数据处理与解算，还负责显微相机3的参数调节，主控模组4可以是一台工控机，图1未示出两者的连接关系。

焊接平台1固定在伺服滑台2上，航空插接器5设置在焊接平台1上，请参考图2，在一个实施例中，焊接平台1的表面铺设有防静电板6，航空插接器5放置在防静电板6上。

伺服滑台2动作时带动焊接平台1在焊接工位和检测工位之间滑动，图2箭头示出了焊接平台1双向滑动方向，实线部分表示焊接平台1位于焊接工位处的示意图，虚线部分表示焊接平台1位于检测工位处的示意图。焊接工位处设置有用于焊接的焊接装置，可以用于对航空插接器5表面的焊点进行焊接，这里的焊接装置可以自动化焊接装置或者手动焊接装置，本申请对此不做限定。检测工位在显微相机3的视场范围内，如图1以焊接平台1位于焊接工位处为例，本领域技术人员参照图2可以理解的是，图1中当焊接平台1沿着伺服滑台2滑动至另一侧时即位于检测工位处，且当焊接平台1位于检测工位处时、航空插接器5在显微相机3的视场范围内，图3示出了显微相机3的视场覆盖范围的示意图，可以看出航空插接器5在显微相机3的视场范围内。

基于本申请的这个系统结构，航空插接器5设置在焊接平台1上并在焊接工位处由焊接装置完成焊接后，无需移动，直接由伺服滑台2带动焊接平台1移动至检测工位处。然后显微相机3对焦并采集航空插接器5表面的焊点图像并传输给主控模组4。

航空插接器5表面的焊点与传统电路板焊点不同，航空插接器5表面的焊点是立体结构的，具体的是立体的半圆柱形，若显微相机3按照常规图像处理的做法垂直向下采集图像则不能采集到完整的焊点表面的特征。由于航空插接器表面的焊点结构的上述特殊性，在本申请中，显微相机3相对于水平面倾斜向下拍摄，具体的，请结合图1和3，显微相机3相对于水平面倾斜向下朝向远离焊接工位的一侧，且显微相机3的光轴与水平面的夹角的范围在50°～70°范围内，一般显微相机3的光轴与水平面的夹角取60°，图3以倾斜夹角60°为例。显微相机3的前端还固定有环形补光灯8，环形补光灯8对航空插接器5表面的焊点进行补光，以提高采集到的图像质量。

在一个实施例中，显微相机3固定在相机支架7上，如图4所示，相机支架7包括竖直支架7a及其连接的水平支架7b，显微相机3安装在水平支架7b上且沿着水平支架7b的周向可旋转以调节与水平面之间的夹角。另外，显微相机3在水平支架7b上的安装位置沿着水平方向可调节，水平支架7b沿着竖直支架7a可移动以调节显微相机3与水平面之间的垂直相对距离。显微相机3通过纵向滑道7c安装在水平支架7b上，显微相机3也可以在纵向滑道7c中滑动，如图4示出了各个可移动方向的方向示意图。

主控模组4将焊点图像输入基于YOLOv5的深度学习模型中，得到焊点质量检测结果。基于YOLOv5的深度学习模型预先训练并存储在主控模组4中运行，基于YOLOv5的深度学习模型可以自动基于焊点图像提取焊点缺陷的特征并进行识别分类，不需要被分开处理，一步便可实现缺陷特征提取和最终的质量检测，从而得到焊点质量检测结果，而且相比于传统算法提取到的缺陷特征信息更完整更丰富，且不会出现漏检，检测精度也更高。利用OpenCV等传统计算机视觉算法需要人工设定阈值对特征进行提取，耗时久，工作量大，算法复杂，灵活性差，很难去除如线缆，工件结构等环境因素影响。而本申请利用基于YOLOv5的深度学习模型只需要输入图像训练，算法自动提取特征，不需要人工干预，且训练完成的模型灵活性好能够很好地避免环境因素的干扰。在定位环节中降低分辨率，在检测环节中对高分辨率图像裁切，减少数据量，提高检测速度。

在实际应用时，航空插接器5表面的焊点呈规则的交错横向排列，前后排之间会相互遮挡，同时采集前排时后排必然会出现，有时会产生视觉上相互连结的效果，不利于后续图像识别和质量检测。因此本申请还公开了一种基于本申请的系统实现的航空插接器焊点质量检测方法，请参考图5所示的流程图。

本申请的航空插接器焊点质量检测方法采用边焊接边检测，焊接一排检测一排的方法，航空插接器5表面包括沿着伺服滑台2的滑动方向依次排列的若干行焊点，则按照从检测工位至焊接工位的一侧的方向依次逐行焊接。

(1)首先在焊接工位处由焊接装置对航空插接器5最靠近检测工位的一行焊点进行焊接。

(2)当航空插接器5在焊接工位处焊接完成一行后，伺服滑台2带动焊接平台1移动至检测工位处。

(3)显微相机3对焦并获取当前焊接的一行焊点处并采集航空插接器5表面的焊点图像传输给主控模组。由于显微相机3需要采集完整的一排焊点，因此显微相机3配备广角镜头，使得显微相机3的视场范围覆盖整行焊点。而且在焊接过程中，每一行的焊点位置与显微相机3的距离并不相等，因此显微相机3具有可变焦功能，焊接平台1每次移动至检测工位处时，显微相机3重新对焦至当前焊接的一行焊点处再进行图像采集。

具体的，显微相机保持对焦至视场中央，显微相机将采集到的焊点图像传输给主控模组输入YOLOv5的深度学习模型对视场中当前焊接的一行焊点进行定位。显微相机3拍摄到焊点图像中可能包括完整的一行焊点，或者也可能包括多行焊点，而每一行的焊点位置会逐级移动，因此需要检测的焊点区域会不断变化，本申请的基于YOLOv5的深度学习模型可以自动度当前焊接的一行焊点进行定位。若当前焊接的一行焊点位于视场中央，则无需调整，若当前焊接的一行焊点不在视场中央，则主控模组根据定位的结果控制伺服滑台带动焊接平台在检测工位处进行位置微调、将当前焊接的一行焊点移动至视场中央。截取显微相机此时采集到的焊点图像的视场中央的当前焊接的一行焊点的焊点图像传输给主控模组。

具体的，控制伺服滑台带动焊接平台在检测工位处进行位置微调的距离M＝m/(cos30°)，m是采集图像中观察到的伺服滑台需要移动的距离，M/P＝N，P为单次脉冲的伺服滑台的移动距离，N为伺服滑台需要移动的脉冲数。另外，微调控制定位过程中伺服滑台只能根据待测区域位置向视场中央单向运动，即要么正行程，要么反行程，不能超调和反复往返移动定位。

先使用深度学习算法定位检测区域，再利用伺服滑台微调图像采集的物距使待测区域(当前焊接的一行焊点所在区域)处于视场中央，配合倾斜的显微相机实现精密聚焦，提高成像质量，提高检测精度。这样不仅可以避免误检已经检测完成的上一排焊点和还没焊接的下一排焊点，还可以减少多余的无用图像信息以加快算法的处理速度。

另外为了保证图像采集质量，航空插接器5表面单个焊点的图像采集精度不低于0.01mm，成像视场范围不小于40x30mm，并且不能有形变。为了满足上述要求，显微相机3的相机像素应不低于4000x3000即1200w像素，显示分辨率应不低于2000x1500，帧率不低于30fps。

(4)主控模组4将焊点图像输入基于YOLOv5的深度学习模型中，得到对当前焊接的一行焊点的焊点质量检测结果。主控模组弹窗显示焊点质量检测结果，若检测到不合格焊点则同时弹出警告窗口需要工人手动点击确定，否则系统暂停返回焊接工位。

(5)伺服滑台带动焊接平台移动至焊接工位处，继续焊接下一行、以按照从检测工位至焊接工位的方向对航空插接器表面的多行焊点依次逐行焊接。在得到当前焊接的一行焊点的焊点质量检测结果后，伺服滑台2带动焊接平台1移动至焊接工位处，若不存在不合格焊点则可以在焊接工位处继续焊接下一行，若存在不合格焊点则可以在焊接工位处对不合格的焊点进行返修。另外，主控模组4还可以可视化的显示焊点质量检测结果，焊点质量检测即指示各个焊点是否合格。

主控模组4一般采用Windows7以上操作系统保证系统稳定安全，程序主要由Python 3.7.0和OpenCV 4.0编写，本文对程序进行了封装并不需要在运行设备上安装全套开发环境，但仍需要配置深度学习需要的相关驱动等程序。深度学习可以只使用CPU运算，但使用GPU加速能够极大的提高检测效率，主控模组4具备4核心以上的CPU并在条件允许的情况下配备显存大于2GB且支持CUDA或ROCm加速功能的GPU。最后主控模组4应具备完善的数据管理机制，包括数据处理、数据显示、图表绘制，以便更好的管理系统的运行。

以上所述的仅是本申请的优选实施方式，本申请不限于以上实施例。可以理解，本领域技术人员在不脱离本申请的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本申请的保护范围之内。

Claims (7)

1.一种基于深度学习的航空插接器焊点质量检测系统，其特征在于，所述航空插接器焊点质量自动检测系统包括焊接平台、伺服滑台、显微相机以及主控模组，所述主控模组连接所述显微相机；

所述焊接平台固定在所述伺服滑台上，航空插接器设置在所述焊接平台上，所述航空插接器在焊接工位处由焊接装置完成焊接后，所述伺服滑台带动所述焊接平台移动至检测工位处，所述焊接平台位于所述检测工位处时、所述航空插接器在所述显微相机的视场范围内，且所述显微相机相对于水平面倾斜向下拍摄；

所述显微相机对焦并采集所述航空插接器表面的立体结构焊点的焊点图像并传输给所述主控模组，所述主控模组将所述焊点图像输入基于YOLOv5的深度学习模型中，得到焊点质量检测结果；在得到当前焊接的一行焊点的焊点质量检测结果后，所述伺服滑台带动所述焊接平台移动至所述焊接工位处，若不存在不合格焊点则在所述焊接工位处继续焊接下一行，若存在不合格焊点则在所述焊接工位处对不合格的焊点进行返修；

所述显微相机具有可变焦功能且配备广角镜头，所述显微相机的视场范围覆盖整行焊点；

所述显微相机固定在相机支架上，所述相机支架包括竖直支架及其连接的水平支架，所述显微相机安装在所述水平支架上且沿着所述水平支架的周向可旋转以调节与水平面的夹角；

所述显微相机在所述水平支架上的安装位置沿着水平方向可调节，所述水平支架沿着所述竖直支架可移动以调节所述显微相机与水平面之间的垂直相对距离。

2.根据权利要求1所述的基于深度学习的航空插接器焊点质量检测系统，其特征在于，所述显微相机相对于水平面倾斜向下朝向远离所述焊接工位的一侧，且所述显微相机的光轴与水平面的夹角的范围在50°～70°范围内。

3.根据权利要求1所述的基于深度学习的航空插接器焊点质量检测系统，其特征在于，所述显微相机的前端还固定有环形补光灯。

4.根据权利要求1所述的基于深度学习的航空插接器焊点质量检测系统，其特征在于，所述焊接平台的表面铺设有防静电板。

5.根据权利要求1所述的基于深度学习的航空插接器焊点质量检测系统，其特征在于，所述航空插接器表面单个焊点的图像采集精度不低于0.01mm。

6.一种基于深度学习的航空插接器焊点质量检测方法，其特征在于，所述方法基于如权利要求1-5任一所述的基于深度学习的航空插接器焊点质量检测系统实现，所述方法包括：

在焊接工位处由焊接装置对航空插接器最靠近检测工位的一行焊点进行焊接；

当所述航空插接器在所述焊接工位处焊接完成一行后，所述伺服滑台带动所述焊接平台移动至所述检测工位处；

所述显微相机对焦并获取当前焊接的一行焊点的焊点图像传输给所述主控模组；

所述主控模组将立体结构焊点的所述焊点图像输入基于YOLOv5的深度学习模型中，得到对当前焊接的一行焊点的焊点质量检测结果；

所述伺服滑台带动所述焊接平台移动至所述焊接工位处，继续焊接下一行、以按照从检测工位至焊接工位的方向对航空插接器表面的多行焊点依次逐行焊接。

7.根据权利要求6所述的基于深度学习的航空插接器焊点质量检测方法，其特征在于，所述显微相机对焦并获取当前焊接的一行焊点的焊点图像传输给所述主控模组的方法包括：

所述显微相机保持对焦至视场中央，所述显微相机将采集到的焊点图像传输给所述主控模组输入YOLOv5的深度学习模型对视场中当前焊接的一行焊点进行定位；

所述主控模组根据定位的结果控制所述伺服滑台带动所述焊接平台在检测工位处进行位置微调、将当前焊接的一行焊点移动至视场中央；

截取所述显微相机此时采集到的焊点图像的视场中央的当前焊接的一行焊点的焊点图像传输给所述主控模组。