CN116245810A - 排线焊点缺陷检测方法、设备、存储介质及装置 - Google Patents

Abstract

本发明公开了一种排线焊点缺陷检测方法、设备、存储介质及装置，本发明基于预设缺陷检测模型对待检测排线焊点产品对应的目标排线焊点图像进行识别，根据识别结果确定目标缺陷区域；基于预设缺陷检测模型对目标缺陷区域进行缺陷检测，确定缺陷类型，并根据缺陷等级对待检测排线焊点产品进行标注。由于本发明通过预设缺陷检测模型确定目标排线焊点图像对应的目标缺陷区域，并对目标缺陷区域进行缺陷检测确定缺陷类型，相较于现有技术中缺少针对各类型排线焊点的自动化检测方案，通过人工检测的方式导致检测操作难度和人员维护难度高，本发明通过系统的解决方案检测各类型产品，提升检测准确率，降低成本并缩减了检测项目的开发周期。

Description

排线焊点缺陷检测方法、设备、存储介质及装置

技术领域

本发明涉及焊接检测技术领域，尤其涉及一种排线焊点缺陷检测方法、设备、存储介质及装置。

背景技术

现阶段，许多厂商生产排线的线体都采用人工或半人工的方式生产，排线的制造过程，采用桌面半自动设备辅助人工操作，焊接完成后的外观检测工序，由人工利用显微镜进行检测。当前排线产品外观检测的方式：人工检测：人工通过双目显微镜/电子显微镜观察产品外观，主观判定产品好坏；部分产品目测有疑问时，会用探笔进行戳碰判定。但现有检测方式中实现排线焊点自动检测的难点在于：

1、产品类型繁多，更换频次高：排线产品型号多，一个厂已知型号便有3000种以上，平均每年生产的料号有300种以上，单种料号生产更换频次半天到十天不等，自动化切换生产检测困难；

2、产品外观差别大，形态多样：单种产品总宽度8mm到30mm不等，上面焊点数量从5个到60个不等，单个焊点小，且由于是Hotbar焊接，外形一致性差，多种多样，自动化检测兼容难；

3、排线产业低端，投资回报率低：排线的属于相对低端的产品，单种型号的产品一天的最高产量能达到2500pcs，生产安排为1班/天，每个目检站点安排1人/站，自动化投入的投资回报率低；

基于上述难点，现有技术中缺少针对各类型排线焊点的自动化检测方案，且通过人工检测的方式导致检测操作难度和人员维护难度高。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种排线焊点缺陷检测方法、设备、存储介质及装置，旨在解决现有技术中缺少针对各类型排线焊点的自动化检测方案，且通过人工检测的方式导致检测操作难度和人员维护难度高的技术问题。

为实现上述目的，本发明提供一种排线焊点缺陷检测方法，所述排线焊点缺陷检测方法包括以下步骤：

获取待检测排线焊点产品对应的目标排线焊点图像；

基于预设缺陷检测模型对所述目标排线焊点图像进行识别，根据识别结果确定目标缺陷区域；

基于所述预设缺陷检测模型对所述目标缺陷区域进行缺陷检测，根据缺陷检测结果确定缺陷类型；

根据所述缺陷类型确定所述待检测排线焊点产品对应的缺陷等级，并根据所述缺陷等级对所述待检测排线焊点产品进行标注。

可选地，所述基于预设缺陷检测模型对所述目标排线焊点图像进行识别，根据识别结果确定目标缺陷区域的步骤，包括：

基于预设缺陷检测模型和所述待检测排线焊点产品对应的产品类型对所述目标排线焊点图像进行识别，根据识别结果确定目标特征信息；

根据所述目标特征信息和所述预设缺陷检测模型对应的模板匹配算法将所述目标排线焊点图像进行区域分割，获得目标缺陷区域。

可选地，所述基于所述预设缺陷检测模型对所述目标缺陷区域进行缺陷检测，根据缺陷检测结果确定缺陷类型的步骤，包括：

基于所述预设缺陷检测模型对所述目标缺陷区域对应的区域图像进行预处理，获得目标预处理图像；

基于所述预设缺陷检测模型对目标预处理图像进行特征分析，获得目标类型特征集合；

基于所述预设缺陷检测模型对所述目标类型特征集合进行缺陷检测，根据缺陷检测结果确定缺陷类型。

可选地，所述基于所述预设缺陷检测模型对所述目标类型特征集合进行缺陷检测，根据缺陷检测结果确定缺陷类型的步骤，包括：

基于所述预设缺陷检测模型对所述目标类型特征集合进行形态分析，获得形态信息；

基于所述预设缺陷检测模型对所述形态信息进行缺陷检测，根据缺陷检测结果确定缺陷类型。

可选地，所述基于所述预设缺陷检测模型对所述形态信息进行缺陷检测，根据缺陷检测结果确定缺陷类型的步骤，包括：

基于树形结构分类器对所述形态信息进行分类，获得分类集合；

基于所述预设缺陷检测模型对所述分类集合进行缺陷检测，根据缺陷检测结果确定缺陷类型。

可选地，所述根据所述缺陷类型确定所述待检测排线焊点产品对应的缺陷等级，并根据所述缺陷等级对所述待检测排线焊点产品进行标注的步骤，包括：

根据所述缺陷类型和预设缺陷条件确定所述待检测排线焊点产品对应的缺陷等级；

根据所述缺陷等级对所述待检测排线焊点产品进行标注。

可选地，所述根据所述缺陷等级对所述待检测排线焊点产品进行标注的步骤，包括：

根据所述缺陷等级判定所述待检测排线焊点产品是否满足预设报废条件；

在所述待检测排线焊点产品满足预设报废条件，对所述待检测排线焊点产品进行标注。

此外，为实现上述目的，本发明还提出一种排线焊点缺陷检测设备，所述排线焊点缺陷检测设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的排线焊点缺陷检测程序，所述排线焊点缺陷检测程序配置为实现如上文所述的排线焊点缺陷检测的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有排线焊点缺陷检测程序，所述排线焊点缺陷检测程序被处理器执行时实现如上文所述的排线焊点缺陷检测方法的步骤。

此外，为实现上述目的，本发明还提出一种排线焊点缺陷检测装置，所述排线焊点缺陷检测装置包括：

图像获取模块，用于获取待检测排线焊点产品对应的目标排线焊点图像；

区域定位模块，用于基于预设缺陷检测模型对所述目标排线焊点图像进行识别，根据识别结果确定目标缺陷区域；

缺陷检测模块，用于基于所述预设缺陷检测模型对所述目标缺陷区域进行缺陷检测，根据缺陷检测结果确定缺陷类型；

等级划分模块，用于根据所述缺陷类型确定所述待检测排线焊点产品对应的缺陷等级，并根据所述缺陷等级对所述待检测排线焊点产品进行标注。

本发明通过获取待检测排线焊点产品对应的目标排线焊点图像；基于预设缺陷检测模型对所述目标排线焊点图像进行识别，根据识别结果确定目标缺陷区域；基于所述预设缺陷检测模型对所述目标缺陷区域进行缺陷检测，根据缺陷检测结果确定缺陷类型；根据所述缺陷类型确定所述待检测排线焊点产品对应的缺陷等级，并根据所述缺陷等级对所述待检测排线焊点产品进行标注。由于本发明通过预设缺陷检测模型确定目标排线焊点图像对应的目标缺陷区域，并对目标缺陷区域进行缺陷检测确定缺陷类型，相较于现有技术中缺少针对各类型排线焊点的自动化检测方案，通过人工检测的方式导致检测操作难度和人员维护难度高，本发明通过系统的解决方案检测各类型产品，提升检测准确率，降低成本并缩减了检测项目的开发周期。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的排线焊点缺陷检测设备的结构示意图；

图2为本发明排线焊点缺陷检测方法第一实施例的流程示意图；

图3为本发明排线焊点缺陷检测方法第一实施例的光学示意图；

图4为本发明排线焊点缺陷检测方法第一实施例的软件架构图；

图5为本发明排线焊点缺陷检测方法第一实施例的模型构建示意图；

图6为本发明排线焊点缺陷检测方法第二实施例的流程示意图；

图7为本发明排线焊点缺陷检测方法第三实施例的流程示意图；

图8为本发明排线焊点缺陷检测方法第三实施例的整体检测流程示意图；

图9为本发明排线焊点缺陷检测装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的排线焊点缺陷检测设备结构示意图。

0如图1所示，该排线焊点缺陷检测设备可以包括：处理器1001，例如中

央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003

还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本5发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无

线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)，也可以是稳定的存储器(Non-volatileMemory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

0本领域技术人员可以理解，图1中示出的结构并不构成对排线焊点缺陷

检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，认定为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及排线焊点缺陷检测程序。

在图1所示的排线焊点缺陷检测设备中，网络接口1004主要用于连接后

台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述排线焊点缺陷检测设备通过处理器1001调用存储器1005中存储的排线焊点缺陷检测程序，并执行本发明实施例提供的排线焊点缺陷检测方法。

基于上述硬件结构，提出本发明排线焊点缺陷检测方法的实施例。

参照图2，图2为本发明排线焊点缺陷检测方法第一实施例的流程示意图，提出本发明排线焊点缺陷检测方法第一实施例。

在本实施例中，所述排线焊点缺陷检测方法包括以下步骤：

步骤S10：获取待检测排线焊点产品对应的目标排线焊点图像。

需说明的是，本实施例的执行主体可以是具有排线焊点缺陷检测功能的设备，所述设备如：计算机、笔记本、电脑以及平板等，还可为其它可实现相同或相似功能的排线焊点缺陷检测设备，本实施例对此不做限制。所述排线焊点缺陷检测设备可以与目标摄像头保持连接，从而能够实时获取采集的待检测排线焊点产品对应的目标排线焊点图像，其中，目标摄像头设置于待检测排线焊点产品垂直上方，可以参考图3所示的光学示意图，待检测排线焊点产品水平放置于摄像头正下方，此处将以上述计算机为例对本实施例和下述各实施例进行说明。

可理解的是，目标摄像头可以是用于采集待检测排线焊点产品图像的显微镜摄像头，待检测排线焊点产品可以是需要进行缺陷检测的排线焊点产品。目标排线焊点图像可以是指通过显微镜摄像头采集的预设区域的排线焊点图像，其中，排线有体积小、重量轻、可移动、弯曲的特点，可替代体积较大的线束导线，广泛的应用于手机、电脑、音响、打印机等消费电子中，满足各式各样的定制化需求设计，在目前的接插(cutting-edge)电子器件装配板上，排线通常是满足小型化和移动要求的唯一解决方法。所述排线可以按照所属行业规范规定排线规则、线序、线色、线号等，用于活动部件及活动区域内的数据传输，排线可移动、弯曲、扭转而不会损坏导线，可以遵从不同形状和特殊的封装尺寸。其仅有的限制是体积空间问题。由于可以承受数百万次的动态弯曲，排线可很好地适用于连续运动或定期运动的内连系统中，成为最终产品功能的一部分。

应理解的是，排线体积小，但上面排线点数量多且密集，其中同时作为电气连接、机械连接的焊点的质量直接影响到产品的寿命、稳定性和机器整体的质量，但由于焊剂及焊接工艺的特性，导致焊点的一致性差，形态多样，需要通过各种方式(目测检测、电阻测试、激光红外仪检测、X射线检测、机械强度测定)检测，投资回报率差，一直都是焊点检测的痛点。如果焊接没有质量保证，任何设计精良的电子产品都难以达到预期的设计目标。并且由于产品上会存在各种类型的元件，因此可以通过预设区域对排线焊点图像精确采集，以减少产品周边的结构对后期识别的影响，从而达到对待检测产品对应的排线焊点的精确检测识别。

具体实现中，为了可兼容多种类别产品的识别，方便机构设计，降低算法复杂度，可以通过预先设置通用型光学配置(如：显微镜摄像头)的排布设置，并通过显微镜摄像头采集待检测排线焊点产品对应的目标排线焊点图像。

步骤S20：基于预设缺陷检测模型对所述目标排线焊点图像进行识别，根据识别结果确定目标缺陷区域。

需说明的是，预设缺陷检测模型可以是预先设置的用于检测识别排线焊点产品缺陷的模型，所述模型可以是基于传统机器视觉算法以及AI算法构建的模型，所述传统机器视觉算法包括但不限于图像去噪、图像增强以及图像分割算法。所述AI算法可以是用于缺陷检测的算法，针对软件算法部分，考虑到排线焊点外观检测兼容多类型产品，方便操作人员快速切换产品型号，采用步骤引导式建模，降低了产品品种多造成的现场维护工作难度，输入端、检测机、输出端三部分采取网络式的生产模型。输入端由外部信号触发相机拍照，获得图像，将图像和产品模型传给检测机，检测机对图像进行处理，将处理完的结果信息传给输出端，输出端对信息进行处理、汇总、显示、输出信号等；各个模块自身运行完成后会传递给下层模块的缓冲队列中，下层模块空闲后会从缓冲队列中抓取任务并处理。其中软件架构图如图4所示。

其中，所述模型的具体构建过程可以参考图5所示的模型构建示意图，收集缺陷样品并通过光学系统采集图像，根据算法要求对图像进行截取，对图中缺陷进行标注，通过训练图像数量是否达到预设数量N，划分测试集以及训练集，并基于神经网络构建预设缺陷检测模型。

可理解的是，不同的产品类型对应的排线焊点结构也会存在差异，因此在识别的过程中需要基于待检测产品的产品类型对目标排线焊点图像进行识别，并获得识别结果，所述识别结果中包括待检测产品对应的待检测区域对应的图像特征以及所述图像特征对应的区域类型，所述区域类型可以是根据检测区域进行划分的区域类型，所述区域类型可以包括焊接区、同轴线区、电子线区以及黄胶纸区。根据所述区域类型从待检测区域中划分出目标检测区域，并对目标检测区域进行缺陷检测确定目标缺陷区域。所述目标缺陷区域可以包括焊接区、同轴线区、电子线区以及黄胶纸区对应的缺陷区域。

具体实现中，基于预设缺陷检测模型对所述目标排线焊点图像进行识别，5根据识别结果确定目标缺陷区域。

进一步地，所述步骤S20还包括：基于预设缺陷检测模型和所述待检测排线焊点产品对应的产品类型对所述目标排线焊点图像进行识别，根据识别结果确定目标特征信息；根据所述目标特征信息和所述预设缺陷检测模型对

应的模板匹配算法将所述目标排线焊点图像进行区域分割，获得目标缺陷区0域。

需说明的是，产品的材质复杂，待检测区域差别较大，缺陷特征不规则，有的缺陷表现形式为纹理形态的区别，整体与局部联系松散，有的缺陷表现形式为几部分共同作用，语义边界模糊；因此可以通过产品类型确定待检测

区域的特征信息，所述目标特征信息可以是待检测区域对应的图像特征信息，5所述图像特征信息可以根据区域类型进行划分，获得区域类型对应的多个信

息集合。即所述目标特征信息可以是由目标检测区域对应的特征信息构成的集合信息。

可理解的是，待检测区域是由至少一个区域类型的区域构成的，因此在

对待检测区域进行区域划分时，可以根据预设缺陷检测模型对应的模板匹配0算法将所述目标排线焊点图像对应的待检测区域进行区域分割，获得目标检

测区域，并对目标检测区域进行缺陷检测确定目标缺陷区域。

具体实现中，基于预设缺陷检测模型和所述待检测排线焊点产品对应的产品类型对所述目标排线焊点图像进行识别，根据识别结果确定目标特征信

息；根据所述目标特征信息和所述预设缺陷检测模型对应的模板匹配算法将5所述目标排线焊点图像进行区域分割，获得目标缺陷区域。

步骤S30：基于所述预设缺陷检测模型对所述目标缺陷区域进行缺陷检测，根据缺陷检测结果确定缺陷类型。

需说明的是，对目标缺陷区域进行缺陷检测可以是通过AI算法对目标缺

陷区域进行分割、分类判定缺陷类型。所述AI算法可以是基于深度学习的缺0陷检测算法并结合传统机器视觉算法构成的算法。你所述传统及其视觉算法可以是指用机器代替人眼来做测量和判断，通过视觉系统将源图像由模拟图转换为数字图像，再由图像处理系统对图层进行处理和分析。相较于人工视觉检测，采用机器视觉检测可以提高生产效率以及生产自动化程度。

可理解的是，为满足由于产品类型繁多以及产品切换频繁的情况，通过预先训练好的缺陷检测模型对目标缺陷区域的排线、焊点进行缺陷检测，并根据获得的缺陷检测结果中缺陷属性、形态确定各目标缺陷区域对应的缺陷类型。所述缺陷属性可以是指连锡、错pin、锡渣锡珠、脏污异物、冷焊、空焊、虚焊、压接过深、芯线分叉、导体断、少锡、碰焊、溢锡，其中所述缺陷形态可以是焊点对应的形态和排线对应的形态，例如：焊点形态可以是粘连和未粘连的形态，排线形态可以是编织下滑、编织上滑等，本实施例对具体形态不加以限制。

应理解的是，缺陷类型包括但不限于焊接型、同轴线型、电子线型以及黄胶纸型，上述四种类型涵盖了大部分产品会出现的缺陷类型，所述缺陷类型还可以根据实际缺陷检测情况确定。

步骤S40：根据所述缺陷类型确定所述待检测排线焊点产品对应的缺陷等级，并根据所述缺陷等级对所述待检测排线焊点产品进行标注。

需说明的是，由于不同的缺陷类型对应不同的缺陷等级，并且不同的缺陷等级会影响待检测产品是否能够正常出厂使用的结果，因此需要对待检测排线焊点产品对应的缺陷等级进行确定，从而根据确定的缺陷等级进行后期的产品等级分类的操作，以便于剔除残次品，避免残次品影响客户体验。

应理解的是，缺陷等级包括良品以及残次品两种等级，若缺陷等级为残次品的产品，需要对所述产品进行报废检测，判断所述产品的缺陷是否可以修复，从而减少废弃率，节约成本。

具体实现中，在确定待检测产品是良品时，保存所述产品对应的等级结果并输出显示，若确定待检测产品为残次品时，需要对残次品进行报废检测，并根据检测结果对所述残次品进行相应的处理，例如：报废、维修或待人工检测。

本实施例通过获取待检测排线焊点产品对应的目标排线焊点图像；基于预设缺陷检测模型对所述目标排线焊点图像进行识别，根据识别结果确定目标缺陷区域；基于所述预设缺陷检测模型对所述目标缺陷区域进行缺陷检测，根据缺陷检测结果确定缺陷类型；根据所述缺陷类型确定所述待检测排线焊点产品对应的缺陷等级，并根据所述缺陷等级对所述待检测排线焊点产品进行标注。由于本实施例通过预设缺陷检测模型确定目标排线焊点图像对应的目标缺陷区域，并对目标缺陷区域进行缺陷检测确定缺陷类型，相较于现有技术中缺少针对各类型排线焊点的自动化检测方案，通过人工检测的方式导致检测操作难度和人员维护难度高，本实施例通过系统的解决方案检测各类型产品，提升检测准确率，降低成本并缩减了检测项目的开发周期。

参照图6，图6为本发明排线焊点缺陷检测方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明排线焊点缺陷检测方法的第二实施例。

在本实施例中，所述步骤S30包括：

步骤S301：基于所述预设缺陷检测模型对所述目标缺陷区域对应的区域图像进行预处理，获得目标预处理图像。

需说明的是，预处理可以是在获取到目标缺陷区域的区域图像后进行图像去噪、图像增强以及图像分割的处理，其中通过图像预处理可以消除图像中的噪声干扰和无关信息，加强图像有效信息，从而高效提取出需要的特征。所述图像预处理可以通过采用边缘检测、图像分割提取所需的前景图像，进而便于后偶徐特征提取以及图像分析。

可理解的是，图像去噪可以采用中值滤波进行去噪处理，中值滤波相较于其他滤波法(如：均值滤波、小波去噪或形态学滤波)可以更好的孤立分离点，能够达到更好的去噪效果，图像增强可以是先对图像进行灰度变换、直方图均衡化的处理，通过灰度变换可以提高前景和后景的对比度，直方图均衡化的处理是通过直方图变换来实现灰度映射变换达到图像增强的目的。

应理解的是，图像分割的处理可以是指将数字图像细分为多个图像子区域的分割处理，其中图像分割处理的算法包括边缘分割算法以及阈值分割算法。通过上述图像分割算法将获得的去噪灰度图像进行分割，获得目标预处理图像，所述目标预处理图像可以是由分割后的图像构成的集合。

步骤S302：基于所述预设缺陷检测模型对目标预处理图像进行特征分析，获得目标类型特征集合。

需说明的是，根据预设缺陷检测模型对目标预处理图像进行特征分析，获得各个目标缺陷区域对应的目标类型特征集合，其中，所述目标类型特征集合是指根据将获取的特征按照目标类型进行划分获得的集合，所述特征类型包括线、焊点、元器件，其中所述特征包括灰度、纹理、形状等类型特征。

应理解的是，基于预设缺陷检测模型对目标预处理图像对应的灰度、纹理、形状灯特征进行分析识别，获得灰度、纹理、形状对应的特征集合。例如：线、焊点、元器件均有对应的灰度、纹理、形状对应的特征集合。

步骤S303：基于所述预设缺陷检测模型对所述目标类型特征集合进行缺陷检测，根据缺陷检测结果确定缺陷类型。

需说明的是，基于预设缺陷检测模型对上述灰度、纹理、形状对应的特征集合进行缺陷检测，获得缺陷检测结果，所述缺陷检测结果包括缺陷的形态、属性以及类型的结果，根据缺陷的形态、属性确定待检测产品对应的缺陷类型。

进一步地，所述步骤S303还包括：基于所述预设缺陷检测模型对所述目标类型特征集合进行形态分析，获得形态信息；基于所述预设缺陷检测模型对所述形态信息进行缺陷检测，根据缺陷检测结果确定缺陷类型。

需说明的是，基于预设缺陷检测模型对目标类型特征集合中的形态特征进行形态分析，获得形态信息，所述形态信息可以是线、焊点、元器件对应的形态信息，所述形态信息中包括形态、尺寸以及位置信息。

可理解的是，通过预设缺陷检测模型对所述线、焊点、元器件的特征集合中的形态特征进行形态分析，获得线、焊点、元器件各自对应的形态、尺寸以及位置信息，其中，针对焊点的形态分析过程中，由于焊点会出现粘连和未粘连的情况，因此为了精准确定焊点形态类型，可以通过圆拟合技术对焊点形态进行分析，获得圆拟合后的焊点形态信息。

应理解的是，在获取到处理后的形态信息后，基于预设缺陷检测模型对处理后的形态信息进行缺陷检测，根据缺陷检测结果确定缺陷类型。

进一步地，所述基于所述预设缺陷检测模型对所述形态信息进行缺陷检测，根据缺陷检测结果确定缺陷类型的步骤，包括：基于树形结构分类器对所述形态信息进行分类，获得分类集合；基于所述预设缺陷检测模型对所述分类集合进行缺陷检测，根据缺陷检测结果确定缺陷类型。

需说明的是，树形结构分类器可以是预先设置的用于对待检测区域各目标缺陷检测区域对应的各目标类型(如：线、焊点、元器件)对应的形态信息进行分类的分类器，其中，所述分类集合可以根据各目标类型确定的分类集合，例如：集合可以包括但不限于：焊点粘连和焊点未粘连的集合，线破损和线未破损的集合，元器件位置正确或位置不正确的集合。

应理解的是，通过对上述分类集合进行缺陷检测，可以及更准确的确定缺陷类型。

具体实现中，若将目标缺陷检测区域以焊接区、同轴线区、电子线区以及黄胶纸区为例，基于树形结构分类器对所述形态信息进行分类，获得分类集合；基于所述预设缺陷检测模型对所述分类集合进行缺陷检测，根据缺陷检测结果确定缺陷类型，其中，焊接区检测缺陷项包括连锡、错pin、锡渣锡珠、脏污异物、冷焊、空焊、虚焊、压接过深、芯线分叉、导体断、少锡、碰焊、溢锡；同轴线区检测缺陷项包括同轴线编织断、编织下滑、编织上滑、编织刺破内被、内被破皮、内被短、锡渣锡珠、绝缘皮破损；电子线区检测缺陷项包括绝缘皮破损；黄胶纸区检测缺陷项包括黄胶纸未覆盖地片。

本实施例通过获取待检测排线焊点产品对应的目标排线焊点图像；基于预设缺陷检测模型对所述目标排线焊点图像进行识别，根据识别结果确定目标缺陷区域；基于所述预设缺陷检测模型对所述目标缺陷区域对应的区域图像进行预处理，获得目标预处理图像；基于所述预设缺陷检测模型对目标预处理图像进行特征分析，获得目标类型特征集合；基于所述预设缺陷检测模型对所述目标类型特征集合进行缺陷检测，根据缺陷检测结果确定缺陷类型；根据所述缺陷类型确定所述待检测排线焊点产品对应的缺陷等级，并根据所述缺陷等级对所述待检测排线焊点产品进行标注。由于本实施例通过预设缺陷检测模型确定目标排线焊点图像对应的目标缺陷区域，并对目标缺陷区域进行缺陷检测确定缺陷类型，相较于现有技术中缺少针对各类型排线焊点的自动化检测方案，通过人工检测的方式导致检测操作难度和人员维护难度高，本实施例通过系统的解决方案检测各类型产品，提升检测准确率，降低成本并缩减了检测项目的开发周期。

参照图7，图7为本发明排线焊点缺陷检测方法第三实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明排线焊点缺陷检测方法的第三实施例。

在本实施例中，所述步骤S40包括：

步骤S401：根据所述缺陷类型和预设缺陷条件确定所述待检测排线焊点产品对应的缺陷等级。

需说明的是，预设缺陷条件可以是预先设置的用于判断待检测排线焊点产品对应的缺陷等级的条件，所述条件可以是指在缺陷类型为无时，确定所述待检测排线焊点产品对应的缺陷等级为优即为良品，所述条件可以是指在缺陷类型包括焊接型、同轴线型、电子线型以及黄胶纸型上述四种类型中至少一个时，确定所述待检测排线焊点产品对应的缺陷等级为差即为残次品。

步骤S402：根据所述缺陷等级对所述待检测排线焊点产品进行标注。

需说明的是，通过缺陷等级中的优、差以及缺陷检测结果对所述待检测排线焊点产品进行标注。

进一步地，所述步骤S402还包括：根据所述缺陷等级判定所述待检测排线焊点产品是否满足预设报废条件；在所述待检测排线焊点产品满足预设报废条件，对所述待检测排线焊点产品进行标注。

需说明的是，预设报废条件可以是预先设置的用于判断待检测排线焊点产品是否报废处理的条件，所述条件可以是指所述待检测排线焊点产品的缺陷属于无法修复的缺陷。

应理解的是，为进一步说明报废处理过程，参考图8所示的整体检测流程示意图可知，在对残次品的缺陷进行报废处理的过程中，先确定所述残次品对应是否满足报警剔废的条件，若满足报警剔废的条件，对所述待检测排线焊点产品进行标注并根据预设PLC控制器控制待检测排线焊点产品进行停机、剔废或声光报警处理。

本实施例通过获取待检测排线焊点产品对应的目标排线焊点图像；基于预设缺陷检测模型对所述目标排线焊点图像进行识别，根据识别结果确定目标缺陷区域；基于所述预设缺陷检测模型对所述目标缺陷区域进行缺陷检测，根据缺陷检测结果确定缺陷类型；根据所述缺陷类型和预设缺陷条件确定所述待检测排线焊点产品对应的缺陷等级；根据所述缺陷等级对所述待检测排线焊点产品进行标注。由于本实施例通过预设缺陷检测模型确定目标排线焊点图像对应的目标缺陷区域，并对目标缺陷区域进行缺陷检测确定缺陷类型，相较于现有技术中缺少针对各类型排线焊点的自动化检测方案，通过人工检测的方式导致检测操作难度和人员维护难度高，本实施例通过系统的解决方案检测各类型产品，提升检测准确率，降低成本并缩减了检测项目的开发周期。

此外，为实现上述目的，本发明还提出一种排线焊点缺陷检测设备，所述排线焊点缺陷检测设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的排线焊点缺陷检测程序，所述排线焊点缺陷检测程序配置为实现如上文所述的排线焊点缺陷检测的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有排线焊点缺陷检测程序，所述排线焊点缺陷检测程序被处理器执行时实现如上文所述的排线焊点缺陷检测方法的步骤。

参照图9，图9为本发明排线焊点缺陷检测装置第一实施例的结构框图。

如图9所示，本发明实施例提出的排线焊点缺陷检测装置包括：

图像获取模块10，用于获取待检测排线焊点产品对应的目标排线焊点图像；

区域定位模块20，用于基于预设缺陷检测模型对所述目标排线焊点图像进行识别，根据识别结果确定目标缺陷区域；

缺陷检测模块30，用于基于所述预设缺陷检测模型对所述目标缺陷区域进行缺陷检测，根据缺陷检测结果确定缺陷类型；

等级划分模块40，用于根据所述缺陷类型确定所述待检测排线焊点产品对应的缺陷等级，并根据所述缺陷等级对所述待检测排线焊点产品进行标注。

本实施例通过获取待检测排线焊点产品对应的目标排线焊点图像；基于预设缺陷检测模型对所述目标排线焊点图像进行识别，根据识别结果确定目标缺陷区域；基于所述预设缺陷检测模型对所述目标缺陷区域进行缺陷检测，根据缺陷检测结果确定缺陷类型；根据所述缺陷类型确定所述待检测排线焊点产品对应的缺陷等级，并根据所述缺陷等级对所述待检测排线焊点产品进行标注。由于本实施例通过预设缺陷检测模型确定目标排线焊点图像对应的目标缺陷区域，并对目标缺陷区域进行缺陷检测确定缺陷类型，相较于现有技术中缺少针对各类型排线焊点的自动化检测方案，通过人工检测的方式导致检测操作难度和人员维护难度高，本实施例通过系统的解决方案检测各类型产品，提升检测准确率，降低成本并缩减了检测项目的开发周期。

进一步地，所述区域定位模块20，还用于基于预设缺陷检测模型和所述待检测排线焊点产品对应的产品类型对所述目标排线焊点图像进行识别，根据识别结果确定目标特征信息；根据所述目标特征信息和所述预设缺陷检测模型对应的模板匹配算法将所述目标排线焊点图像进行区域分割，获得目标缺陷区域。

进一步地，所述缺陷检测模块30，还用于基于所述预设缺陷检测模型对所述目标缺陷区域对应的区域图像进行预处理，获得目标预处理图像；基于所述预设缺陷检测模型对目标预处理图像进行特征分析，获得目标类型特征集合；基于所述预设缺陷检测模型对所述目标类型特征集合进行缺陷检测，根据缺陷检测结果确定缺陷类型。

进一步地，所述缺陷检测模块30，还用于基于所述预设缺陷检测模型对所述目标类型特征集合进行形态分析，获得形态信息；基于所述预设缺陷检测模型对所述形态信息进行缺陷检测，根据缺陷检测结果确定缺陷类型。

进一步地，所述缺陷检测模块30，还用于基于树形结构分类器对所述形态信息进行分类，获得分类集合；基于所述预设缺陷检测模型对所述分类集合进行缺陷检测，根据缺陷检测结果确定缺陷类型。

进一步地，所述等级划分模块40，还用于根据所述缺陷类型和预设缺陷条件确定所述待检测排线焊点产品对应的缺陷等级；根据所述缺陷等级对所述待检测排线焊点产品进行标注。

进一步地，所述等级划分模块40，还用于根据所述缺陷等级判定所述待检测排线焊点产品是否满足预设报废条件；在所述待检测排线焊点产品满足预设报废条件，对所述待检测排线焊点产品进行标注。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的排线焊点缺陷检测方法，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为名称。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(Read Only Memory image，ROM)/随机存取存储器(Random AccessMemory，RAM)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种排线焊点缺陷检测方法，其特征在于，所述排线焊点缺陷检测方法包括以下步骤：

获取待检测排线焊点产品对应的目标排线焊点图像；

基于预设缺陷检测模型对所述目标排线焊点图像进行识别，根据识别结果确定目标缺陷区域；

基于所述预设缺陷检测模型对所述目标缺陷区域进行缺陷检测，根据缺陷检测结果确定缺陷类型；

根据所述缺陷类型确定所述待检测排线焊点产品对应的缺陷等级，并根据所述缺陷等级对所述待检测排线焊点产品进行标注。

2.如权利要求1所述的排线焊点缺陷检测方法，其特征在于，所述基于预设缺陷检测模型对所述目标排线焊点图像进行识别，根据识别结果确定目标缺陷区域的步骤，包括：

基于预设缺陷检测模型和所述待检测排线焊点产品对应的产品类型对所述目标排线焊点图像进行识别，根据识别结果确定目标特征信息；

根据所述目标特征信息和所述预设缺陷检测模型对应的模板匹配算法将所述目标排线焊点图像进行区域分割，获得目标缺陷区域。

3.如权利要求1所述的排线焊点缺陷检测方法，其特征在于，所述基于所述预设缺陷检测模型对所述目标缺陷区域进行缺陷检测，根据缺陷检测结果确定缺陷类型的步骤，包括：

基于所述预设缺陷检测模型对所述目标缺陷区域对应的区域图像进行预处理，获得目标预处理图像；

基于所述预设缺陷检测模型对目标预处理图像进行特征分析，获得目标类型特征集合；

基于所述预设缺陷检测模型对所述目标类型特征集合进行缺陷检测，根据缺陷检测结果确定缺陷类型。

4.如权利要求3所述的排线焊点缺陷检测方法，其特征在于，所述基于所述预设缺陷检测模型对所述目标类型特征集合进行缺陷检测，根据缺陷检测结果确定缺陷类型的步骤，包括：

基于所述预设缺陷检测模型对所述目标类型特征集合进行形态分析，获得形态信息；

基于所述预设缺陷检测模型对所述形态信息进行缺陷检测，根据缺陷检测结果确定缺陷类型。

5.如权利要求4所述的排线焊点缺陷检测方法，其特征在于，所述基于所述预设缺陷检测模型对所述形态信息进行缺陷检测，根据缺陷检测结果确定缺陷类型的步骤，包括：

基于树形结构分类器对所述形态信息进行分类，获得分类集合；

基于所述预设缺陷检测模型对所述分类集合进行缺陷检测，根据缺陷检测结果确定缺陷类型。

6.如权利要求5所述的排线焊点缺陷检测方法，其特征在于，所述根据所述缺陷类型确定所述待检测排线焊点产品对应的缺陷等级，并根据所述缺陷等级对所述待检测排线焊点产品进行标注的步骤，包括：

根据所述缺陷类型和预设缺陷条件确定所述待检测排线焊点产品对应的缺陷等级；

根据所述缺陷等级对所述待检测排线焊点产品进行标注。

7.如权利要求1-6中任一项所述的排线焊点缺陷检测方法，其特征在于，所述根据所述缺陷等级对所述待检测排线焊点产品进行标注的步骤，包括：

根据所述缺陷等级判定所述待检测排线焊点产品是否满足预设报废条件；

在所述待检测排线焊点产品满足预设报废条件，对所述待检测排线焊点产品进行标注。

8.一种排线焊点缺陷检测设备，其特征在于，所述排线焊点缺陷检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的排线焊点缺陷检测程序，所述排线焊点缺陷检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的排线焊点缺陷检测方法。

9.一种存储介质，其特征在于，所述存储介质上存储有排线焊点缺陷检测程序，所述排线焊点缺陷检测程序被处理器执行时实现如权利要求1至7中任一项所述的排线焊点缺陷检测方法。

10.一种排线焊点缺陷检测装置，其特征在于，所述排线焊点缺陷检测装置包括：

图像获取模块，用于获取待检测排线焊点产品对应的目标排线焊点图像；

区域定位模块，用于基于预设缺陷检测模型对所述目标排线焊点图像进行识别，根据识别结果确定目标缺陷区域；

缺陷检测模块，用于基于所述预设缺陷检测模型对所述目标缺陷区域进行缺陷检测，根据缺陷检测结果确定缺陷类型；

等级划分模块，用于根据所述缺陷类型确定所述待检测排线焊点产品对应的缺陷等级，并根据所述缺陷等级对所述待检测排线焊点产品进行标注。

Images