CN112614105B - 一种基于深度网络的3d点云焊点缺陷检测方法 - Google Patents

Abstract

本发明涉及一种基于深度网络的3D点云焊点缺陷检测方法，所述检测方法包括：在语义分割和特征提取时，采用基于双线性池化方法进行细粒度特征融合，有助于提高差异性较小样本的特征提取能力；限制兴趣区域搜索范围有助于提高检测速度同时降低误检率；使用基于代价敏感方法的改进交叉熵函数作为目标函数调整对正常焊点分类的严格程度，有助于提高正常焊点检测的精确率，降低假阳性率；设计预测焊点候选框位置与真实焊点的相对位置差异的计算方法，有助于减少焊点定位预测的误判、漏判等情况；本发明能对电路板中焊点进行有效定位和检测，有助于提高焊点质量检测的准确率，对工业电路板生产具有重要的现实意义。

Description

一种基于深度网络的3D点云焊点缺陷检测方法

技术领域

本发明属于电路板焊点缺陷检测技术领域，涉及一种基于深度网络的3D点云焊点缺陷检测方法。

背景技术

现代社会发展迅猛，计算机视觉技术正在广泛地应用于各种工业生产的质量监控。传统的焊点缺陷分类与检测是通过人工视觉进行检测，检测人员在产线工位通过人眼识别判断焊点是否存在缺陷，若发现缺陷则进行标记、记录、拾捡和后续修改工作。人工视觉检测方法具有很多弊端，受限于人类视觉和大脑的生理机能，人工分类和检测效率不高，焊点缺陷检出标准难以量化和统一，稳定性差；同时增加劳动力成本和容易引起视觉相关职业疾病。采用自动检测系统则是通过对焊点图像进行处理和分析完成电路板中焊点的检测与分类，而整个系统的关键是基于图像处理的焊点缺陷检测与分类算法。在焊点缺陷检测与分类算法的研发过程中缺乏先验性，导致焊点缺陷检测算法适应性难以保证；同时，图像对于环境光线敏感，同一样本在不同光线下图像的差异性较大，基于边缘检测对图像进行焊点定位易受环境光线影响，导致焊点定位、检测精度下降。

近年来，深度学习因其强大的特征提取和抽象能力得到了突破性的发展。点云以其最接近物理世界刻画的数据表征能力在工业界得到广泛应用，结合深度学习模型强大的学习能力，高效的特征表达能力，从像素级原始数据到抽象的语义概念逐层提取信息，这使得它在提取点云的全局特征和上下文信息方面具有明显的优势，这为解决一些传统的点云问题，如点云分类、分割、检测以及识别等，带来了新的思路。电路板中的焊点可能存在少锡、多锡、连锡、拉尖等焊接缺陷，正常焊点与缺陷焊点在形状上存在一定差异，由于点云对焊点形状良好的刻画能力，在电路板焊点缺陷检测背景下，采用深度学习和现有焊点缺陷检测和分类算法的结合，将具有巨大的应用前景和意义。

经对现有技术的检索发现，目前还没有直接基于3D点云数据的深度神经网络方法对电路板焊点缺陷进行定位、检测和分类的相关专利和文献，只有部分采用传统的基于图像的统计学方法、边缘检测方法和基于模型的方法对电路板焊点缺陷检测的文献，其主要检测手段和思想与本发明还存在着较大的差别。专利CN 109859181 A中提出一种基于支持向量机的焊点缺陷检测方法，通过对采集的焊点图像进行特征提取和检测，准确率较高，但是方法本身并不具备对焊点进行定位的能力，仍需要获取对应焊点位置再进行焊点检测，同时使用的数据格式为图像，与本方法采用的3D点云数据区别较大。

发明内容

本发明的目的是解决现有技术中存在的上述问题，提供一种基于深度网络的3D点云焊点缺陷检测方法。

为达到上述目的，本发明采用的技术方案如下：

一种基于深度网络的3D点云焊点缺陷检测方法，包括如下步骤：

(一)构建基于深度网络的点云检测网络模型；

所述基于深度网络的点云检测网络模型包括语义分割与特征提取模块、兴趣区域推荐模块、兴趣区域池化与特征融合模块、兴趣区域筛选与精修模块以及目标分类模块；

在语义分割与特征提取模块中，采用双线性池化方法实现点云细粒度特征融合；

生产线中点云拍摄相机是固定的，检测工位上待检工件多次检测时位置变化范围较小，在兴趣区域推荐模块中，根据这一实际工况限定感兴趣区域推荐范围，，可减少候选框的数量，提高检测速度同时降低误检率；

在目标分类模块中，使用基于代价敏感方法的改进交叉熵函数作为目标函数调整对正常焊点分类的严格程度，从而提高正常焊点检测的精确率，降低假阳性率；

使用基于代价敏感方法的改进交叉熵函数作为目标函数调整对正常焊点分类的严格程度，具体如下：

其中Loss表示目标函数的计算结果，也即基于深度网络的点云检测网络模型的优化目标，

为N_bs个样本的焊点训练集焊点标签的one-hot结构编码，n＝2为焊点的类别数，y_i表示y的第i个元素，

为点云检测网络模型输出，y′_i表示y′的第i个元素，

为预设的代价矩阵，T表示矩阵的转置；

(二)检测；

(1)将基于深度网络的点云检测网络模型作为生产线检测流程中的一个环节，在生产线检测启动后，开始检测流程，进行系统初始化，生产线运行状态为正常运行，当点云相机拍摄得到一个待检工件的点云数据后，输入待检测点云数据；

(2)对点云数据进行预处理，得到维度为N×3的点云数据，并将其输入训练完成得到的基于深度网络的点云检测网络模型中，得到m个预测的维度为1×3的焊点候选框3D空间位置和m个维度为1×3的候选框尺寸以及m个候选框内点云分类结果，构成维度为m×6的预测焊点候选框信息和维度为m×1的分类结果；

(3)通过预设待检测工件中真实焊点数量m₀和维度为m₀×3的焊点相对空间位置，判断基于深度网络的点云检测网络模型预测的维度为m×3焊点候选框位置是否为真实焊点位置以及预测的焊点数量m是否与真实数量m₀相同；

(4)若预测焊点候选框位置的相对位置和真实焊点的相对位置差异不小于预设阈值q₀时，则将该样本标记和记录，并在生产线对检测工件分流，用于拾捡和人工检测；若相对位置差异小于预设阈值q₀时，则对预测候选框点云分类结果进行判断，当分类结果含有缺陷焊点时，则对该检测样本进行标记和记录，并在生产线对检测工件进行分流，用于拾捡和修复；当分类结果全部为正常样本时，则对该检测样本进行标记、记录，并在生产线对检测工件进行分流；分流完成后判断当前生产线状态是否为正常运行，若生产线状态为正常运行，则等待下一个点云相机拍摄待检测工件的点云数据，若生产线状态为异常停止或者正常停止则停止检测，结束检测流程；

(三)判断；

通过预设待检测工件中焊点数量和焊点相对3D空间位置，判断基于深度网络的点云检测网络模型预测的焊点候选框位置是否为真实焊点位置以及预测的焊点数量m是否与真实数量m₀相同，先判断预测焊点数量m和真实焊点数量m₀是否相等，在数量相等的条件下，根据预测焊点候选框位置的相对位置和真实焊点相对位置差异判断点云检测网络模型预测焊点是否为有效预测，具体如下：

已知预测焊点候选框位置矩阵

真实焊点候选框相对位置矩阵

且预测焊点数m和真实焊点数m₀相同，单个电路板待检焊点数多于3个，计算预测焊点m和真实焊点m₀的候选框位置相对位置差异如下：

其中，q为预测焊点m和真实焊点m₀的候选框位置相对位置差异，M_avg，M_rp，M_err为中间变量，

为正实数域，

为实数域。

作为优选的技术方案：

如上所述的一种基于深度网络的3D点云焊点缺陷检测方法，采用双线性池化方法实现点云细粒度特征融合，具体如下：

已知特征

变换T₁，

其中，d₁，d₂，d₃，d₄为特征维度，

表示实数域，双线性融合计算如下：

其中

其中，F₁₁，F₁₂，F₂为中间变量，

分别为F₀，F₁₁，F₁₂，F₂的第i个元素，

分别为F₁₁，F₁₂在第i个维度上的第j(k)个元素，

分别为T₁，T₂，T₃第i个元素，所得F_out即为融合后的特征。

如上所述的一种基于深度网络的3D点云焊点缺陷检测方法，实际工况为：点云相机垂直正对于待检电路板所在平面进行拍摄，拍摄得到的点云中焊点处于同一平面；根据实际工况将感兴趣区域推荐范围限制为点云中的电路板平面区域。

如上所述的一种基于深度网络的3D点云焊点缺陷检测方法，对点云数据进行预处理包括两步，第一步对点云相机拍摄的点云数据进行裁剪并去除离群点，减少单个待检工件点云数据点数，得到点数不相等的点云数据集合；第二步对第一步处理后的每个点云数据进行最远点采样，进一步减少点数，得到维度为K_all×N×3的点云数据集合，每个点云数据维度为N×3，称为一个样本。

如上所述的一种基于深度网络的3D点云焊点缺陷检测方法，基于深度网络的点云检测网络模型的运行过程为：

a.向基于深度网络的点云检测网络模型中输入预处理后的待检测工件点云数据，经过语义分割与特征提取模块预测点云数据中哪一部分点属于焊点，并得到维度为N×d语义特征，d是指提取特征向量的深度；

b.将a步骤预测的属于焊点的点云输入兴趣区域推荐模块得到维度为m′×6的可能是焊点的3D候选框，3D候选框长、宽、高分别为数据集中所有焊点的平均长、宽、高；

c.根据b步骤得到的3D候选框框选待检测工件点云数据中的点，经过兴趣区域池化与特征融合模块筛选得到得到维度为m″×6的可能是焊点的3D候选框，同时得到维度为m″×N′×d′的高维特征数据，其中m″是指候选框数，N′是指候选框对应点数，d′是指提取特征向量的深度；

d.从c步骤得到的高维特征数据经过兴趣筛选与精修模块进一步预测焊点3D候选框的3D空间中心位置并对候选框尺寸进行精修，同时进行特征提取得到维度为m″′×n×d″的高维特征数据，其中m″′是指3D候选框数，n＝2是指正常与缺陷2类，d″是指提取特征向量的深度；

e.将进一步筛选得到的焊点3D候选框对应的高维特征数据输入至目标分类模块进行分类，预测3D候选框框选的点云属于正常焊点、缺陷焊点还是无效检测。

如上所述的一种基于深度网络的3D点云焊点缺陷检测方法，基于划分的训练集、验证集和测试集，使用基于代价敏感方法的改进交叉熵函数作为目标函数对基于深度网络的点云检测网络模型进行训练。

如上所述的一种基于深度网络的3D点云焊点缺陷检测方法，同时调整基于深度网络的点云检测网络模型中的学习率、优化器参数、批处理大小以及迭代次数，对基于深度网络的点云检测网络模型进行训练，检测准确率指标达到75％以上，并且精确率指标达到99％以上完成训练。

如上所述的一种基于深度网络的3D点云焊点缺陷检测方法，训练集、验证集和测试集中均同时含有正常焊点和有缺陷焊点，且每个训练集、验证集和测试集中正常焊点和有缺陷焊点数量比例为1:1。

如上所述的一种基于深度网络的3D点云焊点缺陷检测方法，基于得到的点云数据集合和对应的标签集合构建点云数据集，并将点云数据集划分为训练集、验证集和测试集三个子集，其中训练集、验证集和测试集中样本数量的比例为8:1:1。

现有技术将深度网络用于行人和车辆的检测，行人和车辆的检测使用图像数据驱动或者点云数据驱动，点云数据与图像数据结构区别很大，具体表现为：昼夜光照条件差距较大，拍摄图像受光照变化影响较大，使用激光扫描获取点云数据时不受光照变化扰动影响。本发明采用一种基于深度网络的3D点云焊点缺陷检测方法，相较于使用点云数据驱动的行人和车辆检测，由于行人、车辆背景的差异较为明显，区分难度小，而焊点的正常检测样本和异常样本差异较小，区分难度高，因此本发明在语义分割、特征提取等模块做了针对性改进，增加细粒度特征融合方法；针对产线进行缺陷检测的需求中对正常样本检测精确率指标更为严格，为此本发明在目标分类模块做了针对性优化，使用基于代价敏感方法改进的交叉熵函数作为目标函数，并为正常样本划定范围，超出范围则视为有缺陷样本，以提高对正常样本检测的精确率；此外，针对待检测焊点的相对位置布局的固定性，本发明检测方法做了针对性优化，首先设计算法评估焊点的相对位置关系和数量，满足预设时，再进行更进一步检测，减少误检测。

有益效果：

本发明涉及一种基于深度网络的3D点云焊点缺陷检测方法，所述检测方法包括：在语义分割和特征提取时，采用基于双线性池化方法进行细粒度特征融合，有助于提高差异性较小样本的特征提取能力；限制兴趣区域搜索范围有助于提高检测速度同时降低误检率；使用基于代价敏感方法的目标函数调整对正常焊点分类的严格程度，有助于提高正常焊点检测的精确率，降低假阳性率；设计预测焊点候选框位置与真实焊点的相对位置差异的就算方法，有助于减少焊点定位预测的误判、漏判等情况。本发明能对电路板中焊点进行有效定位和检测，有助于提高焊点质量检测的准确率，对工业电路板生产具有重要的现实意义。

附图说明

图1为正常和缺陷焊点点云可视化图像，其中，左图为焊点全部正常的电路板点云可视化图像，右图为含有缺陷焊点的电路板点云可视化图像，两图中红色部分为焊点点云，蓝绿色框框选的部分点云即为电路板中有缺陷的焊点点云，缺陷为连锡；

图2为基于深度网络的点云检测网络模型框架图；

图3为焊点缺陷检测方法流程图；

图4为基于深度网络的点云检测网络模型的目标函数训练的结果。

具体实施方式

下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

一种基于深度网络的3D点云焊点缺陷检测方法，步骤如下：

(一)构建基于深度网络的点云检测网络模型(如图2所示)；

基于深度网络的点云检测网络模型包括语义分割与特征提取模块、兴趣区域推荐模块、兴趣区域池化与特征融合模块、兴趣区域筛选与精修模块以及目标分类模块；

在语义分割与特征提取模块中预测点云数据中哪一部分点属于焊点，同时得到维度为N×d语义特征，d是指提取特征向量的深度；并采用双线性池化方法实现点云细粒度特征融合，具体如下：

已知特征

变换T₁，

其中，d₁，d₂，d₃，d₄为特征维度，

表示实数域，双线性融合计算如下：

其中

其中，F₁₁，F₁₂，F₂为中间变量，

分别为F₀，F₁₁，F₁₂，F₂的第i个元素，

分别为F₁₁，F₁₂在第i个维度上的第j(k)个元素，

分别为T₁，T₂，T₃第i个元素，所得F_out即为融合后的特征；

在兴趣区域推荐模块中输入预测的属于焊点的点云得到维度为m′×6的可能是焊点的3D候选框，3D候选框长、宽、高分别为数据集中所有焊点的平均长、宽、高；并根据实际工况将感兴趣区域推荐范围限制为点云中的电路板平面区域；实际工况为：点云相机垂直正对于待检电路板所在平面进行拍摄，拍摄得到的点云中焊点处于同一平面；

在兴趣区域池化与特征融合模块中根据推荐候选框得到3D候选框框选待检测工件点云数据中的点，并经过兴趣区域池化与特征融合模块得到维度为m′×N′×d′的高维特征数据，其中m′是指兴趣区域推荐得到的候选框数，N′是指候选框对应点数，d′是指提取特征向量的深度；

在兴趣区域筛选与精修模块中输入高维特征数据进行进一步预测焊点3D候选框的3D空间中心位置并对候选框尺寸进行精修，同时进行特征提取得到维度为m″×n×d″的高维特征数据，其中m″是指进一步筛选得到的候选框数，n＝2是指正常与缺陷2类，d″是指提取特征向量的深度；

在目标分类模块中输入进一步筛选得到的焊点3D候选框对应的高维特征数据并进行分类，预测3D候选框框选的点云属于正常焊点、缺陷焊点还是无效检测；并使用基于代价敏感方法的改进交叉熵函数作为目标函数调整对正常焊点分类的严格程度，具体如下：

其中Loss表示目标函数的计算结果，也即基于深度网络的点云检测网络模型的优化目标，

为N_bs个样本的焊点训练集焊点标签的one-hot结构编码，n＝2为焊点的类别数，y_i表示y的第i个元素，

为点云检测网络模型输出，y′_i表示y′的第i个元素，

为预设的代价矩阵，T表示矩阵的转置；

基于深度网络的点云检测网络模型的运行过程为：

a.向基于深度网络的点云检测网络模型中输入预处理后维度为N×3的待检测工件点云数据，经过语义分割与特征提取模块预测点云数据中哪一部分点属于焊点，并得到维度为N×d的语义特征，d是指提取特征向量的深度；

b.将a步骤预测的属于焊点的点云输入兴趣区域推荐模块得到维度为m′×6的可能是焊点的3D候选框，3D候选框长、宽、高分别为数据集中所有焊点的平均长、宽、高；

c.根据b步骤得到的3D候选框框选待检测工件点云数据中的点，经过兴趣区域池化与特征融合模块筛选得到得到维度为m″×6的可能是焊点的3D候选框，同时得到维度为m″×N′×d′的高维特征数据，其中m″是指候选框数，N′是指候选框对应点数，d′是指提取特征向量的深度；

d.从c步骤得到的高维特征数据经过兴趣筛选与精修模块进一步预测焊点3D候选框的3D空间中心位置并对候选框尺寸进行精修，同时进行特征提取得到维度为m″×n×d″的高维特征数据，其中m″是指3D候选框数，n＝2是指正常与缺陷2类，d″是指提取特征向量的深度；

e.将进一步筛选得到的焊点3D候选框对应的高维特征数据输入至目标分类模块进行分类，得到m个预测的维度为1×3的焊点候选框3D空间位置和m个维度为1×3的候选框尺寸以及m个候选框内点云分类结果，构成维度为m×6的预测焊点候选框信息和维度为m×1的分类结果；

(二)构建数据集并训练基于深度网络的点云检测网络模型；

(1)收集K_all个在生产线上点云相机拍摄的包含正常焊点和有缺陷焊点的点云数据和焊点对应的人工标注结果，每个点云数据都有一个检测结果与之对应，该检测结果视为该焊点的标签；对每个点云数据进行预处理得到维度为N×3的点云数据，并将该点云数据称为一个样本，所有点云数据构成维度为K_all×N×3的点云数据集合，同时得到一个维度为K_all×m₀×3的焊点边界框3D空间位置标签、一个维度为K_all×m₀×3的焊点边界框尺寸标签以及一个维度为K_all×m₀的焊点分类标签集合，焊点边界框3D空间位置标签和焊点边界框尺寸标签构成维度为K_all×m₀×6的焊点边界框标签，其中m₀为待检工件中焊点数量；

(2)基于步骤(1)得到的点云数据集合和对应的标签集合构建点云数据集，并将点云数据集划分为训练集、验证集和测试集三个子集，训练集、验证集和测试集中均同时含有正常焊点和有缺陷焊点，且每个训练集、验证集和测试集中正常焊点和有缺陷焊点数量比例为1:1；训练集、验证集和测试集中样本数量的比例为8:1:1；

(3)基于步骤(2)划分的训练集、验证集和测试集，使用基于代价敏感方法的改进交叉熵函数作为目标函数对基于深度网络的点云检测网络模型进行训练；

同时调整基于深度网络的点云检测网络模型中的学习率、优化器参数、批处理大小以及迭代次数，对基于深度网络的点云检测网络模型进行训练，检测准确率指标达到75％以上，并且精确率指标达到99％以上完成训练；

(三)检测(如图3所示)；

(1)将基于深度网络的点云检测网络模型作为生产线检测流程中的一个环节，在生产线检测启动后，开始检测流程，进行系统初始化，生产线运行状态为正常运行，当点云相机拍摄得到一个待检工件的点云数据后，输入待检测点云数据；

(2)对点云数据进行预处理，预处理包括两步，第一步对点云相机拍摄的点云数据进行裁剪并去除离群点，减少单个待检工件点云数据点数，得到点数不相等的点云数据集合；第二步对第一步处理后的每个点云数据进行最远点采样，进一步减少点数，得到维度为N×3的点云数据；

(3)向完成训练的基于深度网络的点云检测网络模型中输入预处理后维度为N×3的待检测工件点云数据，得到m个预测的维度为1×3的焊点候选框3D空间位置和m个维度为1×3的候选框尺寸以及m个候选框内点云分类结果，构成维度为m×6的预测焊点候选框信息和维度为m×1的分类结果；

(4)通过预设待检测工件中焊点真实数量m₀和维度为m₀×3焊点相对3D空间位置，判断基于深度网络的点云检测网络模型预测的焊点数量m是否与真实数量m₀相同以及预测的焊点候选框位置是否为真实焊点位置，先判断预测焊点数量m和真实焊点数量m₀是否相等，在数量相等的条件下，根据预测焊点候选框位置的相对位置和真实焊点相对位置差异判断点云检测网络预测焊点是否为有效预测，具体如下：

已知预测焊点候选框位置矩阵

真实焊点候选框相对位置矩阵

且预测焊点数m和真实焊点数m₀相同，单个电路板待检焊点数多于3个，计算预测焊点m和真实焊点m₀的候选框位置相对位置差异如下：

其中，q为预测焊点m和真实焊点m₀的候选框位置相对位置差异，M_avg，M_rp，M_err为中间变量，

为正实数域，

为实数域。

(5)若预测焊点候选框位置的相对位置和真实焊点的相对位置差异不小于预设阈值q₀时，则将该样本标记和记录，并在生产线对检测工件分流，用于拾捡和人工检测；若相对位置差异小于预设阈值q₀时，则对预测候选框点云分类结果进行判断，当分类结果含有缺陷焊点时，则对该检测样本进行标记和记录，并在生产线对检测工件进行分流，用于拾捡和修复；当分类结果全部为正常样本时，则对该检测样本进行标记、记录，并在生产线对检测工件进行分流；分流完成后判断当前生产线状态是否为正常运行，若生产线状态为正常运行，则等待下一个点云相机拍摄待检测工件的点云数据，若生产线状态为异常停止或者正常停止则停止检测，结束检测流程；

下面结合具体算例验证方法的有效性，本发明中采用点云样本规模为(3000000×3)，包含无缺陷和有缺陷电路板两类，每类数据量为25个，每个电路板待检测的焊点数为5，且所有待检测电路板中5个焊点的相对位置固定。原始点云样本经过预处理第一步后规模缩减为(200000×3)，进行预处理第二步生成点云规模为(32768×3)，以便输入到点云检测网络模型，预处理后的3D点云进行可视化后如图1所示。基于深度网络的点云检测网络模型采用图2中所示结构，该网络输入点云数量设置为32768。上述方法可以选用CPU或者GPU上运行，本发明实验是在Nvidia GeForce RTX 2080Ti，16G内存，Ubuntu18.04，pytorch1.4.1平台下进行。本发明的目标函数即为基于深度网络的点云检测网络模型的优化目标，是个正值；图4为基于深度网络的点云检测网络模型学习过程中误差函数训练的结果，其中横轴表示训练迭代次数，纵轴表示目标函数损失，本发明所构建的网络模型在训练时的目的为最小化目标函数损失，从图4中可以看出，本发明中的模型的目标函数能够快速收敛并逐渐趋于0，取得了良好的效果。图1中红色点云为焊点对应点云，右图中蓝绿色3D框为经算法检测后，框选带缺陷焊点并可视化结果，可见本发明能取得良好的效果。

Claims (9)

1.一种基于深度网络的3D点云焊点缺陷检测方法，其特征在于包括如下步骤：

(一)构建基于深度网络的点云检测网络模型；

所述基于深度网络的点云检测网络模型包括语义分割与特征提取模块、兴趣区域推荐模块、兴趣区域池化与特征融合模块、兴趣区域筛选与精修模块以及目标分类模块；

在语义分割与特征提取模块中，采用双线性池化方法实现点云细粒度特征融合；

在兴趣区域推荐模块中，根据实际工况限定感兴趣区域推荐范围；

在目标分类模块中，使用基于代价敏感方法的改进交叉熵函数作为目标函数调整对正常焊点分类的严格程度；

使用基于代价敏感方法的改进交叉熵函数作为目标函数调整对正常焊点分类的严格程度，具体如下：

其中Loss表示目标函数的计算结果，也即基于深度网络的点云检测网络模型的优化目标，

为N_bs个样本的焊点训练集焊点标签的one-hot结构编码，n＝2为焊点的类别数，y_i表示y的第i个元素，

为点云检测网络模型输出，y′_i表示y′的第i个元素，

为预设的代价矩阵，T表示矩阵的转置；

(二)检测；

(1)将基于深度网络的点云检测网络模型作为生产线检测流程中的一个环节，在生产线检测启动后，开始检测流程，进行系统初始化，生产线运行状态为正常运行，当点云相机拍摄得到一个待检工件的点云数据后，输入待检测点云数据；

(2)对点云数据进行预处理，得到维度为N×3的点云数据，并将其输入训练完成得到的基于深度网络的点云检测网络模型中，得到m个预测的维度为1×3的焊点候选框3D空间位置和m个维度为1×3的候选框尺寸以及m个候选框内点云分类结果，构成维度为m×6的预测焊点候选框信息和维度为m×1的分类结果；

(3)通过预设待检测工件中真实焊点数量m₀和维度为m₀×3的焊点相对空间位置，判断基于深度网络的点云检测网络模型预测的维度为m×3焊点候选框位置是否为真实焊点位置以及预测的焊点数量m是否与真实数量m₀相同；

(4)若预测焊点候选框位置的相对位置和真实焊点的相对位置差异不小于预设阈值q₀时，则将该样本标记和记录，并在生产线对检测工件分流，用于拾捡和人工检测；若相对位置差异小于预设阈值q₀时，则对预测候选框点云分类结果进行判断，当分类结果含有缺陷焊点时，则对该检测样本进行标记和记录，并在生产线对检测工件进行分流，用于拾捡和修复；当分类结果全部为正常样本时，则对该检测样本进行标记、记录，并在生产线对检测工件进行分流；分流完成后判断当前生产线状态是否为正常运行，若生产线状态为正常运行，则等待下一个点云相机拍摄待检测工件的点云数据，若生产线状态为异常停止或者正常停止则停止检测，结束检测流程；

(三)判断；

通过预设待检测工件中焊点数量和焊点相对3D空间位置，判断基于深度网络的点云检测网络模型预测的焊点候选框位置是否为真实焊点位置以及预测的焊点数量m是否与真实数量m₀相同，先判断预测焊点数量m和真实焊点数量m₀是否相等，在数量相等的条件下，根据预测焊点候选框位置的相对位置和真实焊点相对位置差异判断点云检测网络模型预测焊点是否为有效预测，具体如下：

已知预测焊点候选框位置矩阵

真实焊点候选框相对位置矩阵

且预测焊点数m和真实焊点数m₀相同，单个电路板待检焊点数多于3个，计算预测焊点m和真实焊点m₀的候选框位置相对位置差异如下：

其中，q为预测焊点m和真实焊点m₀的候选框位置相对位置差异，M_avg，M_rp，M_err为中间变量，

为正实数域，

为实数域。

2.根据权利要求1所述的一种基于深度网络的3D点云焊点缺陷检测方法，其特征在于，采用双线性池化方法实现点云细粒度特征融合，具体如下：

已知特征

变换

其中，d₁，d₂，d₃，d₄为特征维度，

表示实数域，双线性融合计算如下：

其中

其中，F₁₁，F₁₂，F₂为中间变量，

分别为F₀，F₁₁，F₁₂，F₂的第i个元素，

分别为F₁₁，F₁₂在第i个维度上的第j(k)个元素，

分别为T₁，T₂，T₃第i个元素，所得F_out即为融合后的特征。

3.根据权利要求1所述的一种基于深度网络的3D点云焊点缺陷检测方法，其特征在于，实际工况为：点云相机垂直正对于待检电路板所在平面进行拍摄，拍摄得到的点云中焊点处于同一平面；根据实际工况将感兴趣区域推荐范围限制为点云中的电路板平面区域。

4.根据权利要求1所述的一种基于深度网络的3D点云焊点缺陷检测方法，其特征在于，对点云数据进行预处理包括两步，第一步对点云相机拍摄的点云数据进行裁剪并去除离群点，减少单个待检工件点云数据点数，得到点数不相等的点云数据集合；第二步对第一步处理后的每个点云数据进行最远点采样，进一步减少点数，得到维度为K_all×N×3的点云数据集合。

5.根据权利要求1所述的一种基于深度网络的3D点云焊点缺陷检测方法，其特征在于，为：

a.向基于深度网络的点云检测网络模型中输入预处理后的待检测工件点云数据，经过语义分割与特征提取模块预测点云数据中哪一部分点属于焊点，并得到维度为N×d语义特征，d是指提取特征向量的深度；

b.将a步骤预测的属于焊点的点云输入兴趣区域推荐模块得到维度为m′×6的可能是焊点的3D候选框，3D候选框长、宽、高分别为数据集中所有焊点的平均长、宽、高；

c.根据b步骤得到的3D候选框框选待检测工件点云数据中的点，经过兴趣区域池化与特征融合模块筛选得到得到维度为m″×6的可能是焊点的3D候选框，同时得到维度为m″×N′×d′的高维特征数据，其中m″是指候选框数，N′是指候选框对应点数，d′是指提取特征向量的深度；

d.从c步骤得到的高维特征数据经过兴趣筛选与精修模块进一步预测焊点3D候选框的3D空间中心位置并对候选框尺寸进行精修，同时进行特征提取得到维度为m″′×n×d″的高维特征数据，其中m″′是指3D候选框数，n＝2是指正常与缺陷2类，d″是指提取特征向量的深度；

e.将进一步筛选得到的焊点3D候选框对应的高维特征数据输入至目标分类模块进行分类，预测3D候选框框选的点云属于正常焊点、缺陷焊点还是无效检测。

6.根据权利要求5所述的一种基于深度网络的3D点云焊点缺陷检测方法，其特征在于，基于划分的训练集、验证集和测试集，使用基于代价敏感方法的改进交叉熵函数作为目标函数对基于深度网络的点云检测网络模型进行训练。

7.根据权利要求6所述的一种基于深度网络的3D点云焊点缺陷检测方法，其特征在于，同时调整基于深度网络的点云检测网络模型中的学习率、优化器参数、批处理大小以及迭代次数，对基于深度网络的点云检测网络模型进行训练，检测准确率指标达到75％以上，并且精确率指标达到99％以上完成训练。

8.根据权利要求6所述的一种基于深度网络的3D点云焊点缺陷检测方法，其特征在于，训练集、验证集和测试集中均同时含有正常焊点和有缺陷焊点，且每个训练集、验证集和测试集中正常焊点和有缺陷焊点数量比例为1∶1。

9.根据权利要求8所述的一种基于深度网络的3D点云焊点缺陷检测方法，其特征在于，训练集、验证集和测试集中样本数量的比例为8∶1∶1。

Images