CN113362326B - 一种电池焊点缺陷的检测方法及装置 - Google Patents

Abstract

本发明提供了一种电池焊点缺陷的检测方法及装置，包括：获取电池焊接的全局图像，在所述全局图像中确定疑似焊点区域和非疑似焊点区域，并提取第一待测焊点；利用深度学习网络在所述非疑似焊点区域中进行二次检测，确定是否存在第二待测焊点；构建所有待测焊点的三维重建模型，并基于对标准焊点和所有待测焊点的三维比对，获得所述待测焊点对应的类别形态特征；基于所述待测焊点的类别形态特征和深度神经网络分类模型，获得所述待测焊点的缺陷检测结果；用以通过采集焊点图像并提取待测焊点对应的类别形态特征，进一步，利用深度神经网络分类模型，检测出极耳破损、碎屑、翻折等缺陷。

Description

一种电池焊点缺陷的检测方法及装置

技术领域

本发明涉及3C制造技术领域，特别涉及一种电池焊点缺陷的检测方法及装置。

背景技术

目前，随着我国工业的发展，焊接技术已经成为制造业和工业中必不可少的加工技术。由于焊接技术在加工过程中容易受到来自外部环境等因素的影响，如焊接速度、焊接功率、保护气体流量、焊接环境以及工件表面状况等，焊件不可避免地会产生裂纹、未焊透、未熔合、气孔、凹坑、夹渣等焊接缺陷，而这些缺陷可能会造成灾难性事故。为了保证焊件的产品质量，必须及时有效地检测焊后工件表面及内部的缺陷。在实际生产过程中，极耳破损、小幅度翻折、碎屑无法检出，特殊焊点有时会有无法准确检出现象发生。

因此，本发明提出一种电池焊点缺陷的检测方法及装置。

发明内容

本发明提供一种电池焊点缺陷的检测方法及装置，用以通过采集焊点图像并提取待测焊点对应的类别形态特征，进一步，利用深度神经网络分类模型，检测出极耳破损、碎屑、翻折等缺陷。

本发明提供一种电池焊点缺陷的检测方法，包括：

S1：获取电池焊接的全局图像，在所述全局图像中确定疑似焊点区域和非疑似焊点区域，并提取第一待测焊点；

S2：利用深度学习网络在所述非疑似焊点区域中进行二次检测，确定是否存在第二待测焊点；

S3：构建所有待测焊点的三维重建模型，并基于对标准焊点和所有待测焊点的三维比对，获得所述待测焊点对应的类别形态特征；

S4：基于所述待测焊点的类别形态特征和深度神经网络分类模型，获得所述待测焊点的缺陷检测结果。

优选的，所述的一种电池焊点缺陷的检测方法，获取电池焊接的全局图像，在所述全局图像中确定疑似焊点区域和非疑似焊点区域，包括：

获取电池焊接的N个不同局部图像，以对比度、饱和度和亮度为融合因子确定N个局部图像的第一权重值，并基于所述第一权重值将N个局部图像进行加权融合，获得电池焊接的全局图像；

基于预设轮廓提取算法提取所述全局图像的轮廓，按照顺时针方向对所述轮廓做多边形拟合，并将每条拟合线段矢量化获得对应的向量；

确定与当前拟合线段对应的第一向量和相邻的两条拟合线段对应的第二向量之间的矢量角，若所述矢量角在有效矢量角范围内，则保留所述当前拟合线段和对应相邻的两条拟合线段为一段有效轮廓线段，直至确定出所有的有效轮廓线段；

对所述有效轮廓线段按照预设椭圆拟合算法拟合获得拟合弧线和对应的椭圆表达式，获得所述拟合弧线上每个点到所述椭圆表达式对应中心点的距离，当所述距离小于预设距离阈值时，则所述拟合弧线为有效轮廓弧线，否则，将所述拟合弧线删除，直至筛选出所有拟合弧线中的有效轮廓弧线；

确定所述距离最小的四段拟合弧线中最长的一段有效弧线作为基准有效弧线，基于所述基准有效轮廓弧线和剩余有效轮廓弧线以及预设椭圆拟合算法拟合获得最佳轮廓线；

获取所述最佳轮廓线上的像素点对应的第一平均像素值、所述最佳轮廓线包围区域的第二平均像素值、所述最佳轮廓线外的区域内的第三平均像素值；

当所述第一平均像素值和所述第二平均像素值的第一差值、所述第一平均像素值和所述第三平均像素值的第二差值都大于预设差值阈值时，获取所述最佳轮廓线的第一参数、第二参数和第三参数；

若第一参数、第二参数和第三参数均在对应的第一参数范围、第二参数范围、第三参数范围，则判定所述最佳轮廓线合格，否则，判定所述最佳轮廓线不合格；

当判定所述最佳轮廓线合格时，将所述最佳轮廓线的外接矩形作为第一疑似焊点区域；

并将所述全局图像中的剩余区域作为非疑似焊点区域。

优选的，所述的一种电池焊点缺陷的检测方法，将所述全局图像中的剩余区域作为非疑似焊点区域之后，还包括：

获得所述疑似焊点区域对应的第一图像；

对所述第一图像进行预处理，获取所述第一图像的第一参数信息，根据所述第一参数信息将所述第一图像分为第一待处理图像和第二待处理图像；

基于预设规则将所述第一待处理图像分割成M个待处理子图像，分别获取所述待处理子图像的第二参数信息，基于所述第二参数信息确定每个待处理子图像对应的降噪系数，并对所述降噪系数进行递归滤波，确定每个待处理子图像的降噪权值；

基于所述降噪权值对所述第一待处理图像进行降噪，获得第一处理图像；

获取所述第二待处理图像中每个像素点的第一像素值；

将所述第一像素值大于预设像素值对应的第一像素点进行反向修正，将所述第一像素值小于预设像素值对应的第二像素点进行正向修正，获得修正图像；

获取所述修正图像中的每个像素点的第二像素值，基于所述第二像素值对所述修正图像进行平滑度检测，获得平滑参数；

基于所述平滑参数对所述修正图像进行平滑处理，获得第二处理图像；

获取所述第一处理图像对应的第一特征图像，并获取所述第二处理图像对应的第二特征图像；

将所述第一特征图像和所述第二特征图像进行特征重构，获得所述疑似焊点区域的特征图像；

对所述特征图像进行主成分分析，得到降维特征数据，并对所述降维特征数据进行深度学习分类，提取出第一缺陷焊点。

优选的，所述的一种电池焊点缺陷的检测方法，S2：利用深度学习网络在所述非疑似焊点区域中进行二次检测，确定是否存在第二待测焊点，包括：

获取所述非疑似焊点区域对应的第二图像；

按照预设提取算法确定所述第二图像中的连通域，基于所述连通域最大直径两端的点确定待测区域；

以所述待测区域中每个像素点为预设参数候选框基准点进行滑窗搜索，将每一个预设参数候选框图像输入至深度学习网络，检测所述非疑似焊点区域中是否存在第二待测焊点，若存在，则提取出所述第二待测焊点。

优选的，所述的一种电池焊点缺陷的检测方法，S3：构建所有待测焊点的三维重建模型，并基于对标准焊点和所有待测焊点的三维比对，获得所述待测焊点对应的类别形态特征，包括：

将所述待测焊点对应的N个局部图像融合为一个多通道图像；

获取所述多通道图像的灰度值和亮度值，并分别对所述灰度值和所述亮度值进行高通滤波，提取对应的第一频域强度值和第二频域强度值；

对所述第一频域强度值和所述第二频域强度值进行三维拟合，获得每个像素点的深度值，并基于均值滤波法对所述深度值进行平滑处理，构建每个待测焊点的待测焊点深度图；

基于三角片法对所述待测焊点深度图进行邻域像素点灰度值匹配，重建三维表面的纹理信息，叠加得到待测焊点三维重建模型，并提取每个待测焊点的第一三维信息；

将所有待测焊点对应的第一三维信息分别和所述标准焊点对应的标准三维信息进行比对，获得每个待测焊点的类别形态特征；

其中，所述待测焊点包括：第一待测焊点和第二待测焊点。

优选的，所述的一种电池焊点缺陷的检测方法，将所有待测焊点对应的第一三维信息分别和所述标准焊点对应的标准三维信息进行比对，获得每个待测焊点的类别形态特征，包括：

将所述第一三维信息和所述标准三维信息统一在预设坐标系中，并基于预设算法求取所述第一三维信息和所述标准三维信息中每一坐标点在预设坐标中的特征矩阵和对应的迹；

若当前坐标点的迹为领域坐标点的迹中的极值，则将所述当前坐标点作为特征坐标点；

基于所述第一三维信息和所述标准三维信息中的特征坐标点构建第一特征轮廓和标准特征轮廓，基于预设的缺陷类别特征配对列表对所述第一特征轮廓和所述标准特征轮廓进行配对，获得Q组配对轮廓数据；

基于配对轮廓数据求取对应的轮廓误差数据，选取大于预设误差值的轮廓误差数据作为缺陷数据；

将所述缺陷数据与预设的缺陷类别特征配对列表进行匹配，获得每个待测焊点的类别形态特征。

优选的，所述的一种电池焊点缺陷的检测方法，S4：基于所述待测焊点的类别形态特征和深度神经网络分类模型，获得所述待测焊点的缺陷检测结果，包括：

对待测焊点的局部图像进行轮廓分割和灰度化处理，获取所述待测焊点的第一待测图像；

基于像素点灰度值由大到小对所述第一待测图像中的像素点进行排序获得灰度值集合，按照预设的划分算法将所述灰度值划分确定若干个子灰度值集合，基于所述子灰度值集合对应的像素点确定所述第一待测图像中的若干个相近灰度值子区域，并确定对应的平均灰度值；

判断每个相近灰度值子区域与相邻的相近灰度值子区域的平均灰度值差值，将平均灰度值差值大于预设差值的两个相近灰度值子区域的共有像素点作为子轮廓线，将所述子轮廓线连接获得所述待测焊点的轮廓线；

基于所述轮廓线分割获得所述待测焊点的面积图像，并求取对应的面积；

获取所述平均灰度值的最大差值，基于预设的距离变换列表，确定所述待测焊点的深度值；

当所述面积大于预设的面积阈值且所述深度值大于预设的深度阈值时，判定所述待测焊点为非缺陷焊点，否则，判定所述待测焊点为缺陷焊点；

基于若干个卷积核按照预设路线对所述缺陷焊点的局部图像中每个像素点进行遍历扫描，提取对应的精细形状特征、精细纹理特征、方向梯度直方图特征，并在每次提取之后基于截断正态分布对所述卷积核进行初始化；

将所述精细形状特征和所述精细纹理特征以及所述方向梯度直方图特征输入至深度神经网络分类模型，分别获得第一检测结果、第二检测结果和第三检测结果；

根据预设的误差列表确定所述第一检测结果、所述第二检测结果和所述第三检测结果对应的决定权重值，并基于所述决定权重值确定焊点缺陷类别和对应的分类概率。

优选的，所述的一种电池焊点缺陷的检测方法，确定焊点缺陷类别和对应的分类概率之后，包括：

基于所述缺陷焊点的第二三维信息和标准三维信息，获得对应的缺陷特征数据；

基于所述缺陷特征数据获得对应的缺陷特征矩阵，并对所述特征缺陷矩阵进行归一化，计算出每个缺陷特征数据的贡献值；

基于所述贡献值计算每个缺陷特征的第二权重值；

基于所述缺陷焊点的缺陷类别和预设评价列表，确定对应的评价影响因子；

基于所述第二权重值将所有特征缺陷数据融合，并基于所述评价影响因子，获得缺陷焊点的评价结果；

将所述检测结果和评价结果融合生成评价报告。

优选的，一种电池焊点缺陷的检测装置，包括：

确定模块，用于获取电池焊接的全局图像，在所述全局图像中确定疑似焊点区域和非疑似焊点区域，并提取第一待测焊点；

第一检测模块，用于利用深度学习网络在所述非疑似焊点区域中进行二次检测，确定是否存在第二待测焊点；

获取模块：构建所有待测焊点的三维重建模型，并基于对标准焊点和所有待测焊点的三维比对，获得所述待测焊点对应的类别形态特征；

第二检测模块，基于所述待测焊点的类别形态特征和深度神经网络分类模型，获得所述待测焊点的缺陷检测结果。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种电池焊点缺陷的检测方法流程图；

图2为本发明实施例中一种电池焊点缺陷的检测装置图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：

本发明提供一种电池焊点缺陷的检测方法，如图1所示，包括：

S1：获取电池焊接的全局图像，在所述全局图像中确定疑似焊点区域和非疑似焊点区域，并提取第一待测焊点；

S2：利用深度学习网络在所述非疑似焊点区域中进行二次检测，确定是否存在第二待测焊点；

S3：构建所有待测焊点的三维重建模型，并基于对标准焊点和所有待测焊点的三维比对，获得所述待测焊点对应的类别形态特征；

S4：基于所述待测焊点的类别形态特征和深度神经网络分类模型，获得所述待测焊点的缺陷检测结果。

该实施例中，疑似焊点区域为疑似存在待测焊点的区域；

非疑似焊点区域为疑似不存在待测含碘的区域。

该实施例中，第一待测焊点为从疑似焊点区域提取出的待测焊点；

第二待测焊点为从非疑似焊点区域提取出的待测焊点。

该实施例中，类别形态特征为表征待测焊点为合格焊点时或各种缺陷焊点时的外观形态特征，例如有：焊点面积、焊点深度、焊点的精细形状特征、精细纹理特征、方向梯度直方图特征等。

该实施例中，所述局部图像是所述电池焊接图像的局部表达。

该实施例中，所述深度神经网络分类模型用于基于输入的焊点形态特征判断焊点的缺陷类别。

该实施例中，所述缺陷检测结果包括焊点缺陷类别和对应的分类概率，所述分类概率表示深度神经网络分类模型的分类准确率。

该实施例中，所述焊点缺陷包括：极耳破损、碎屑、翻折等缺陷。

上述技术方案的有益效果是：本发明通过电池焊接局部图像融合可获得高质量的电池焊接全局图像，并基于确定疑似焊点区域和非疑似焊点区域提取待测焊点，可以避免焊点被遗漏识别，采用三维重建方法提取焊点三维信息，基于对标准焊点和所有待测焊点的三维比对，获得所述待测焊点对应的类别形态特征，利用深度神经网络分类模型对焊点缺陷进行分类，相比其它的机器学习方法，其检测准确率更高，检测时间更短，检测精度更高，满足高质量检测要求，进一步把控生产质量，延长产品使用寿命避免事故发生的隐患；从而降低了企业的运营成本。

实施例2：

基于实施例1的基础上，所述的一种电池焊点缺陷的检测方法，获取电池焊接的全局图像，在所述全局图像中确定疑似焊点区域和非疑似焊点区域，包括：

获取电池焊接的N个不同局部图像，以对比度、饱和度和亮度为融合因子确定N个局部图像的第一权重值，并基于所述第一权重值将N个局部图像进行加权融合，获得电池焊接的全局图像；

基于预设轮廓提取算法提取所述全局图像的轮廓，按照顺时针方向对所述轮廓做多边形拟合，并将每条拟合线段矢量化获得对应的向量；

确定与当前拟合线段对应的第一向量和相邻的两条拟合线段对应的第二向量之间的矢量角，若所述矢量角在有效矢量角范围内，则保留所述当前拟合线段和对应相邻的两条拟合线段为一段有效轮廓线段，直至确定出所有的有效轮廓线段；

对所述有效轮廓线段按照预设椭圆拟合算法拟合获得拟合弧线和对应的椭圆表达式，获得所述拟合弧线上每个点到所述椭圆表达式对应中心点的距离，当所述距离小于预设距离阈值时，则所述拟合弧线为有效轮廓弧线，否则，将所述拟合弧线删除，直至筛选出所有拟合弧线中的有效轮廓弧线；

确定所述距离最小的四段拟合弧线中最长的一段有效弧线作为基准有效弧线，基于所述基准有效轮廓弧线和剩余有效轮廓弧线以及预设椭圆拟合算法拟合获得最佳轮廓线；

获取所述最佳轮廓线上的像素点对应的第一平均像素值、所述最佳轮廓线包围区域的第二平均像素值、所述最佳轮廓线外的区域内的第三平均像素值；

当所述第一平均像素值和所述第二平均像素值的第一差值、所述第一平均像素值和所述第三平均像素值的第二差值都大于预设差值阈值时，获取所述最佳轮廓线的第一参数、第二参数和第三参数；

若第一参数、第二参数和第三参数均在对应的第一参数范围、第二参数范围、第三参数范围，则判定所述最佳轮廓线合格，否则，判定所述最佳轮廓线不合格；

当判定所述最佳轮廓线合格时，将所述最佳轮廓线的外接矩形作为第一疑似焊点区域；

并将所述全局图像中的剩余区域作为非疑似焊点区域。

该实施例中，所述疑似焊点区域为经过最佳轮廓线提取过程确定的疑似有焊点的区域；

所述非疑似焊点区域为经过最佳轮廓线提取过程确定的没有疑似焊点的区域。

该实施例中，所述有效轮廓线段为初步确定的疑似焊点的轮廓线段。

该实施例中，所述预设椭圆拟合算法为最小二乘法椭圆提取算法。

该实施例中，所述有效轮廓弧线为二次确定的疑似焊点的轮廓弧线。

该实施例中，最佳轮廓线为经过初步确定和二次确定之后拟合获得的疑似焊点的轮廓线。

该实施例中，第一参数为最佳轮廓线的长轴a、第二参数为最佳轮廓线的短轴b、最佳轮廓线的长轴和短轴之比

第一参数范围为[a₁,a₂]，第一参数范围为[b₁,b₂]，第三参数范围为[1,1.5]；

其中，a₁、a₂、b₁、b₂根据待测焊点的实际零件尺寸的最大范围设置。

上述技术方案的有益效果是：以不同的图像参数(对比度、饱和度和亮度)为融合因子确定的权重值进行加权融合，获得电池焊接的全局图像，使得融合图像更加准确，在保证图像高分辨率的情况下，又保证了图像有更高的图像参数(对比度、饱和度和亮度)，并根据确定的疑似焊点区域和非疑似焊点区域对待测焊点进行两轮提取，避免了焊点被遗漏的情况。

实施例3：

基于实施例2的基础上，所述的一种电池焊点缺陷的检测方法，将所述全局图像中的剩余区域作为非疑似焊点区域之后，还包括：

获得所述疑似焊点区域对应的第一图像；

对所述第一图像进行预处理，获取所述第一图像的第一参数信息，根据所述第一参数信息将所述第一图像分为第一待处理图像和第二待处理图像；

基于预设规则将所述第一待处理图像分割成M个待处理子图像，分别获取所述待处理子图像的第二参数信息，基于所述第二参数信息确定每个待处理子图像对应的降噪系数，并对所述降噪系数进行递归滤波，确定每个待处理子图像的降噪权值；

基于所述降噪权值对所述第一待处理图像进行降噪，获得第一处理图像；

获取所述第二待处理图像中每个像素点的第一像素值；

将所述第一像素值大于预设像素值对应的第一像素点进行反向修正，将所述第一像素值小于预设像素值对应的第二像素点进行正向修正，获得修正图像；

获取所述修正图像中的每个像素点的第二像素值，基于所述第二像素值对所述修正图像进行平滑度检测，获得平滑参数；

基于所述平滑参数对所述修正图像进行平滑处理，获得第二处理图像；

获取所述第一处理图像对应的第一特征图像，并获取所述第二处理图像对应的第二特征图像；

将所述第一特征图像和所述第二特征图像进行特征重构，获得所述疑似焊点区域的特征图像；

对所述特征图像进行主成分分析，得到降维特征数据，并对所述降维特征数据进行深度学习分类，提取出第一缺陷焊点。

该实施例中，获取电池焊接的N个不同局部图像为通过摄像机按照预设的路线和采集间隔对所述电池焊接进行图像采集获得不同的局部图像。

该实施例中，通过对比度、饱和度和亮度为融合因子确定N个局部图像的第一权重值是确定局部图像中重叠部分的权重值，即局部图像中重叠部分占局部图像的占比，通过重叠部分的权重值可以确定需要融合的局部图像之间的叠加占比；

加权融合即为基于所述权重值确定局部图像中需要叠加的部分，进一步实现图像衔接融合成完整的全局图像。

该实施例中，所述参数信息为所述全局图像的信噪比。

该实施例中，所述预设规则例如有：将所述全局图像等分成M＝t×t个待处理子图像。

该实施例中，所述第一像素值为所述第二待处理图像中每个像素点的像素值；

所述第二像素值为所述修正图像中的每个像素点的像素值。

该实施例中，所述平滑参数即为平滑度检测的结果，用于表征所述图像像素点之间的平滑度。

该实施例中，所述特征重构为综合所述第一处理图像和所述第二处理图像中对应的图像特征权重值将所述第一特征图像和所述第二特征图像进行融合。

该实施例中，对所述特征图像进行主成分分析，得到降维特征数据即为：对所述特征图像中包含的特征数据数目进行一定程度的缩减，在不丢失绝大多数特征信息的前提下尽可能的生成解释力更强的特征，同时去除不必要的特征。

该实施例中，对所述降维特征数据进行学习分类采用极限学习机，所述极限学习机是一种简单单层前馈神经网络(SLFN)机器学习学习算法。理论上，极限学习机算法(ELM)倾向于提供良好的性能(学习速度极快)。与传统的前馈网络学习算法(如反向传播BP算法)不同，ELM不使用基于梯度的技术。使用此方法，所有参数都将进行一次调优。该算法不需要迭代训练。

该实施例中，正向修正即将所述第一像素值增大至预设像素值，例如：所述第一像素值为255，所述预设像素值为250，则将所述第一像素值减小至250；

反向修正即将所述第一像素值减小至预设像素值，例如：所述第一像素值为245，所述预设像素值为250，则将所述第一像素值增加至250。

上述技术方案的有益效果是：将图像分为两个待处理图像，将所述第一待处理图像分割后进行局部精细去噪，将所述第二待处理图像以像素点为单位进行修正和平滑处理，之后将处理好的第一处理图像和第二处理图像分别进行特征提取后进行特征重构，使得获得的特征图像有更高的精度，利用主成分分析和极限学习机结合对所述降维特征数据进行分类，使得结果更加准确，分类效率更高。

实施例4：

基于实施例1的基础上，所述的一种电池焊点缺陷的检测方法，S2：利用深度学习网络在所述非疑似焊点区域中进行二次检测，确定是否存在第二待测焊点，包括：

获取所述非疑似焊点区域对应的第二图像；

按照预设提取算法确定所述第二图像中的连通域，基于所述连通域最大直径两端的点确定待测区域；

以所述待测区域中每个像素点为预设参数候选框基准点进行滑窗搜索，将每一个预设参数候选框图像输入至深度学习网络，检测所述非疑似焊点区域中是否存在第二待测焊点，若存在，则提取出所述第二待测焊点。

该实施例中，所述第二图像为所述非疑似焊点区域对应的实际图像；

该实施例中，所述预设参数候选框例如有以w为搜索步长，r为搜索半径。

上述技术方案的有益效果是：通过对所述非疑似焊点区域中的连通域进行滑窗搜索，可以检测出所述非疑似焊点区域中是否存在第二待测焊点，若存在，则提取出所述第二待测焊点，避免了待测焊点被遗漏的情况。

实施例5：

基于实施例1的基础上，所述的一种电池焊点缺陷的检测方法，S3：构建所有待测焊点的三维重建模型，并基于对标准焊点和所有待测焊点的三维比对，获得所述待测焊点对应的类别形态特征，包括：

将所述待测焊点对应的N个局部图像融合为一个多通道图像；

获取所述多通道图像的灰度值和亮度值，并分别对所述灰度值和所述亮度值进行高通滤波，提取对应的第一频域强度值和第二频域强度值；

对所述第一频域强度值和所述第二频域强度值进行三维拟合，获得每个像素点的深度值，并基于均值滤波法对所述深度值进行平滑处理，构建每个待测焊点的待测焊点深度图；

基于三角片法对所述待测焊点深度图进行邻域像素点灰度值匹配，重建三维表面的纹理信息，叠加得到待测焊点三维重建模型，并提取每个待测焊点的第一三维信息；

将所有待测焊点对应的第一三维信息分别和所述标准焊点对应的标准三维信息进行比对，获得每个待测焊点的类别形态特征；

其中，所述待测焊点包括：第一待测焊点和第二待测焊点。

该实施例中，所述三维重建模型为可反映出所述焊点纹理信息和深度值的三维模型。

该实施例中，所述待测焊点深度图即反映出所述缺陷焊点中每个点的深度值的图像。

该实施例中，所述第一三维信息为从所述三维重建模型中提取的所述待测焊点的三维信息。

上述技术方案的有益效果是：通过将N个局部图像融合为一个多通道图像，获得的原图像信息更多，满足高精度的测量要求，通过采集所述多通道图像的灰度值和亮度值进行三维拟合可以反映出每个像素点对应于待测焊点表面的深度值，并构成对应的待测焊点深度图，通过邻域像素点灰度值匹配，可以获得待测焊点表面连贯的纹理信息，将所述纹理信息叠加至所述待测焊点深度图获得对应待测焊点的三维重建模型，使得获得的三维重建模型反映出高精度的深度信息和纹理信息以及焊点面积大小，有利于后续后续获得更加准确地判断代测焊点。

实施例6：

基于实施例3的基础上，所述的一种电池焊点缺陷的检测方法，将所有待测焊点对应的第一三维信息分别和所述标准焊点对应的标准三维信息进行比对，获得每个待测焊点的类别形态特征，包括：

将所述第一三维信息和所述标准三维信息统一在预设坐标系中，并基于预设算法求取所述第一三维信息和所述标准三维信息中每一坐标点在预设坐标中的特征矩阵和对应的迹；

若当前坐标点的迹为领域坐标点的迹中的极值，则将所述当前坐标点作为特征坐标点；

基于所述第一三维信息和所述标准三维信息中的特征坐标点构建第一特征轮廓和标准特征轮廓，基于预设的缺陷类别特征配对列表对所述第一特征轮廓和所述标准特征轮廓进行配对，获得Q组配对轮廓数据；

基于配对轮廓数据求取对应的轮廓误差数据，选取大于预设误差值的轮廓误差数据作为缺陷数据；

将所述缺陷数据与预设的缺陷类别特征配对列表进行匹配，获得每个待测焊点的类别形态特征。

该实施例中，所述类别形态特征为表征所述缺陷焊点形态的特征数据或信息。

上述技术方案的有益效果是：基于预设算法提取预设的缺陷类别对应的特征坐标点，并将基于特征坐标点构成的所述第一特征轮廓和所述标准特征轮廓精心高配对对比后获得轮廓误差数据，实现根据不同缺陷类别针对性地提取焊点轮廓，使得获得的轮廓误差数据更加精准地反映对应缺陷类别的类别形态特征，为后续训练人工神经网络提供更准确的训练样本。

实施例7：

基于实施例1的基础上，所述的一种电池焊点缺陷的检测方法，S4：基于所述待测焊点的类别形态特征和深度神经网络分类模型，获得所述待测焊点的缺陷检测结果，包括：

对待测焊点的局部图像进行轮廓分割和灰度化处理，获取所述待测焊点的第一待测图像；

基于像素点灰度值由大到小对所述第一待测图像中的像素点进行排序获得灰度值集合，按照预设的划分算法将所述灰度值划分确定若干个子灰度值集合，基于所述子灰度值集合对应的像素点确定所述第一待测图像中的若干个相近灰度值子区域，并确定对应的平均灰度值；

判断每个相近灰度值子区域与相邻的相近灰度值子区域的平均灰度值差值，将平均灰度值差值大于预设差值的两个相近灰度值子区域的共有像素点作为子轮廓线，将所述子轮廓线连接获得所述待测焊点的轮廓线；

基于所述轮廓线分割获得所述待测焊点的面积图像，并求取对应的面积；

获取所述平均灰度值的最大差值，基于预设的距离变换列表，确定所述待测焊点的深度值；

当所述面积大于预设的面积阈值且所述深度值大于预设的深度阈值时，判定所述待测焊点为非缺陷焊点，否则，判定所述待测焊点为缺陷焊点；

基于若干个卷积核按照预设路线对所述缺陷焊点的局部图像中每个像素点进行遍历扫描，提取对应的精细形状特征、精细纹理特征、方向梯度直方图特征，并在每次提取之后基于截断正态分布对所述卷积核进行初始化；

将所述精细形状特征和所述精细纹理特征以及所述方向梯度直方图特征输入至深度神经网络分类模型，分别获得第一检测结果、第二检测结果和第三检测结果；

根据预设的误差列表确定所述第一检测结果、所述第二检测结果和所述第三检测结果对应的决定权重值，并基于所述决定权重值确定焊点缺陷类别和对应的分类概率。

该实施例中，所述第一待测图像为所述待测焊点进行轮廓分割后再进行灰度化处理获得的。

该实施例中，所述子轮廓线为所述待测焊点的部分轮廓线。

该实施例中，所述距离变换列表用于反映所述灰度值和距离的关系。

该实施例中，所述第一检测结果为将所述精细形状特征输入至深度神经网络分类模型后获得的第一焊点缺陷类别和对应的第一分类概率；

所述第二检测结果为将所述精细形状特征输入至深度神经网络分类模型后获得的第二焊点缺陷类别和对应的第二分类概率；

所述第三检测结果为将所述向梯度直方图特征输入至深度神经网络分类模型后获得的第三焊点缺陷类别和对应的第三分类概率。

该实施例中，预设的误差列表包含所述第一检测结果、所述第二检测结果和所述第三检测结果对应的决定权重值；

决定权重值表征精细形状特征、精细纹理特征、方向梯度直方图特征对焊点缺陷类别和对应的分类概率的影响程度；

例如：第一检测结果、所述第二检测结果和所述第三检测结果对应的决定权重值依次为：0.45、0.3、0.25。

上述技术方案的有益效果是：通过将轮廓分割后的焊点图像进行灰度值排序和划分，获得焊点图像的多个相近灰度值连通区域，可以进一步优化获得的焊点轮廓图像，有利于对焊点的实际面积准确统计，通过求取多个相近灰度值连通区域之间平均灰度值的最大差值确定焊点的深度，避免阴图像分辨率不高直接从焊点的轮廓图像中获取灰度值最大差值确定焊点的深度值不是真正的焊点深度值而是由于光影条件造成的误差，进一步保证了获得的焊点深度值和面积的准确性，也保证了焊点是否缺陷的判断结果准确性。

实施例8：

基于实施例6的基础上，所述的一种电池焊点缺陷的检测方法，确定焊点缺陷类别和对应的分类概率之后，包括：

基于所述缺陷焊点的第二三维信息和标准三维信息，获得对应的缺陷特征数据；

基于所述缺陷特征数据获得对应的缺陷特征矩阵，并对所述特征缺陷矩阵进行归一化，计算出每个缺陷特征数据的贡献值；

基于所述贡献值计算每个缺陷特征的第二权重值；

基于所述缺陷焊点的缺陷类别和预设评价列表，确定对应的评价影响因子；

基于所述第二权重值将所有特征缺陷数据融合，并基于所述评价影响因子，获得缺陷焊点的评价结果；

将所述检测结果和评价结果融合生成评价报告。

该实施例中，所述第二权重值为表征所述每个缺陷特征对所述待测焊点评价结果的影响权重值。

该实施例中，所述评价影响因子为表征所述缺陷焊点的缺陷类别对所述待测焊点评价结果的影响权重值。

该实施例中，所述评价结果为一个表征焊点缺陷的分值，可以充分反映出焊点缺陷程度和焊点缺陷类别对加工部件的影响程度。

该实施例中，所述评价报告包含所述待测焊点是否有缺陷的判断结果，还包括缺陷焊点的缺陷类别和评价结果。

上述技术方案的有益效果是：通过获得的缺陷特征数据进一步获得缺陷特征矩阵，进行归一化后计算出的贡献值，可以反映所述缺陷焊点的缺陷程度，并根据预设的缺陷类别对应的权重值和对应的评价影响因子可以准确评价当前缺陷焊点，使得所述评价报告准确反映出当前缺陷焊点的缺陷类别和缺陷程度。

实施例9：

一种电池焊点缺陷的检测装置，如图2所示，包括：

确定模块，用于获取电池焊接的全局图像，在所述全局图像中确定疑似焊点区域和非疑似焊点区域，并提取第一待测焊点；

第一检测模块，用于利用深度学习网络在所述非疑似焊点区域中进行二次检测，确定是否存在第二待测焊点；

获取模块：构建所有待测焊点的三维重建模型，并基于对标准焊点和所有待测焊点的三维比对，获得所述待测焊点对应的类别形态特征；

第二检测模块，基于所述待测焊点的类别形态特征和深度神经网络分类模型，获得所述待测焊点的缺陷检测结果。

上述技术方案的有益效果是：一种电池焊点缺陷的检测装置，通过设置有确定模块、第一检测模块、获取模块、第二检测模块，实现通过电池焊接局部图像融合可获得高质量的电池焊接全局图像，并基于确定疑似焊点区域和非疑似焊点区域提取待测焊点，可以避免焊点被遗漏识别，采用三维重建方法提取焊点三维信息，基于对标准焊点和所有待测焊点的三维比对，获得所述待测焊点对应的类别形态特征，利用深度神经网络分类模型对焊点缺陷进行分类，相比其它的机器学习方法，其检测准确率更高，检测时间更短，检测精度更高，满足高质量检测要求，进一步把控生产质量，延长产品使用寿命避免事故发生的隐患；从而降低了企业的运营成本。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种电池焊点缺陷的检测方法，其特征在于，包括：

S1：获取电池焊接的全局图像，在所述全局图像中确定疑似焊点区域和非疑似焊点区域，并提取第一待测焊点；

S2：利用深度学习网络在所述非疑似焊点区域中进行二次检测，确定是否存在第二待测焊点；

S3：构建所有待测焊点的三维重建模型，并基于对标准焊点和所有待测焊点的三维比对，获得所述待测焊点对应的类别形态特征；

S4：基于所述待测焊点的类别形态特征和深度神经网络分类模型，获得所述待测焊点的缺陷检测结果；

S4：基于所述待测焊点的类别形态特征和深度神经网络分类模型，获得所述待测焊点的缺陷检测结果，包括：

对待测焊点的局部图像进行轮廓分割和灰度化处理，获取所述待测焊点的第一待测图像；

基于像素点灰度值由大到小对所述第一待测图像中的像素点进行排序获得灰度值集合，按照预设的划分算法将所述灰度值划分确定若干个子灰度值集合，基于所述子灰度值集合对应的像素点确定所述第一待测图像中的若干个相近灰度值子区域，并确定对应的平均灰度值；

判断每个相近灰度值子区域与相邻的相近灰度值子区域的平均灰度值差值，将平均灰度值差值大于预设差值的两个相近灰度值子区域的共有像素点作为子轮廓线，将所述子轮廓线连接获得所述待测焊点的轮廓线；

基于所述轮廓线分割获得所述待测焊点的面积图像，并求取对应的面积；

获取所述平均灰度值的最大差值，基于预设的距离变换列表，确定所述待测焊点的深度值；

当所述面积大于预设的面积阈值且所述深度值大于预设的深度阈值时，判定所述待测焊点为非缺陷焊点，否则，判定所述待测焊点为缺陷焊点；

基于若干个卷积核按照预设路线对所述缺陷焊点的局部图像中每个像素点进行遍历扫描，提取对应的精细形状特征、精细纹理特征、方向梯度直方图特征，并在每次提取之后基于截断正态分布对所述卷积核进行初始化；

将所述精细形状特征和所述精细纹理特征以及所述方向梯度直方图特征输入至深度神经网络分类模型，分别获得第一检测结果、第二检测结果和第三检测结果；

根据预设的误差列表确定所述第一检测结果、所述第二检测结果和所述第三检测结果对应的决定权重值，并基于所述决定权重值确定焊点缺陷类别和对应的分类概率。

2.根据权利要求1所述的一种电池焊点缺陷的检测方法，其特征在于，获取电池焊接的全局图像，在所述全局图像中确定疑似焊点区域和非疑似焊点区域，包括：

获取电池焊接的N个不同局部图像，以对比度、饱和度和亮度为融合因子确定N个局部图像的第一权重值，并基于所述第一权重值将N个局部图像进行加权融合，获得电池焊接的全局图像；

基于预设轮廓提取算法提取所述全局图像的轮廓，按照顺时针方向对所述轮廓做多边形拟合，并将每条拟合线段矢量化获得对应的向量；

确定与当前拟合线段对应的第一向量和相邻的两条拟合线段对应的第二向量之间的矢量角，若所述矢量角在有效矢量角范围内，则保留所述当前拟合线段和对应相邻的两条拟合线段为一段有效轮廓线段，直至确定出所有的有效轮廓线段；

对所述有效轮廓线段按照预设椭圆拟合算法拟合获得拟合弧线和对应的椭圆表达式，获得所述拟合弧线上每个点到所述椭圆表达式对应中心点的距离，当所述距离小于预设距离阈值时，则所述拟合弧线为有效轮廓弧线，否则，将所述拟合弧线删除，直至筛选出所有拟合弧线中的有效轮廓弧线；

确定所述距离最小的四段拟合弧线中最长的一段有效弧线作为基准有效弧线，基于所述基准有效轮廓弧线和剩余有效轮廓弧线以及预设椭圆拟合算法拟合获得最佳轮廓线；

获取所述最佳轮廓线上的像素点对应的第一平均像素值、所述最佳轮廓线包围区域的第二平均像素值、所述最佳轮廓线外的区域内的第三平均像素值；

当所述第一平均像素值和所述第二平均像素值的第一差值、所述第一平均像素值和所述第三平均像素值的第二差值都大于预设差值阈值时，获取所述最佳轮廓线的第一参数、第二参数和第三参数；

若第一参数、第二参数和第三参数均在对应的第一参数范围、第二参数范围、第三参数范围，则判定所述最佳轮廓线合格，否则，判定所述最佳轮廓线不合格；

当判定所述最佳轮廓线合格时，将所述最佳轮廓线的外接矩形作为第一疑似焊点区域；

并将所述全局图像中的剩余区域作为非疑似焊点区域。

3.根据权利要求2所述的一种电池焊点缺陷的检测方法，其特征在于，将所述全局图像中的剩余区域作为非疑似焊点区域之后，还包括：

获得所述疑似焊点区域对应的第一图像；

对所述第一图像进行预处理，获取所述第一图像的第一参数信息，根据所述第一参数信息将所述第一图像分为第一待处理图像和第二待处理图像；

基于预设规则将所述第一待处理图像分割成M个待处理子图像，分别获取所述待处理子图像的第二参数信息，基于所述第二参数信息确定每个待处理子图像对应的降噪系数，并对所述降噪系数进行递归滤波，确定每个待处理子图像的降噪权值；

基于所述降噪权值对所述第一待处理图像进行降噪，获得第一处理图像；

获取所述第二待处理图像中每个像素点的第一像素值；

将所述第一像素值大于预设像素值对应的第一像素点进行反向修正，将所述第一像素值小于预设像素值对应的第二像素点进行正向修正，获得修正图像；

获取所述修正图像中的每个像素点的第二像素值，基于所述第二像素值对所述修正图像进行平滑度检测，获得平滑参数；

基于所述平滑参数对所述修正图像进行平滑处理，获得第二处理图像；

获取所述第一处理图像对应的第一特征图像，并获取所述第二处理图像对应的第二特征图像；

将所述第一特征图像和所述第二特征图像进行特征重构，获得所述疑似焊点区域的特征图像；

对所述特征图像进行主成分分析，得到降维特征数据，并对所述降维特征数据进行深度学习分类，提取出第一缺陷焊点。

4.根据权利要求1所述的一种电池焊点缺陷的检测方法，其特征在于，S2：利用深度学习网络在所述非疑似焊点区域中进行二次检测，确定是否存在第二待测焊点，包括：

获取所述非疑似焊点区域对应的第二图像；

按照预设提取算法确定所述第二图像中的连通域，基于所述连通域最大直径两端的点确定待测区域；

以所述待测区域中每个像素点为预设参数候选框基准点进行滑窗搜索，将每一个预设参数候选框图像输入至深度学习网络，检测所述非疑似焊点区域中是否存在第二待测焊点，若存在，则提取出所述第二待测焊点。

5.根据权利要求1所述的一种电池焊点缺陷的检测方法，其特征在于，S3：构建所有待测焊点的三维重建模型，并基于对标准焊点和所有待测焊点的三维比对，获得所述待测焊点对应的类别形态特征，包括：

将所述待测焊点对应的N个局部图像融合为一个多通道图像；

获取所述多通道图像的灰度值和亮度值，并分别对所述灰度值和所述亮度值进行高通滤波，提取对应的第一频域强度值和第二频域强度值；

对所述第一频域强度值和所述第二频域强度值进行三维拟合，获得每个像素点的深度值，并基于均值滤波法对所述深度值进行平滑处理，构建每个待测焊点的待测焊点深度图；

基于三角片法对所述待测焊点深度图进行邻域像素点灰度值匹配，重建三维表面的纹理信息，叠加得到待测焊点三维重建模型，并提取每个待测焊点的第一三维信息；

将所有待测焊点对应的第一三维信息分别和所述标准焊点对应的标准三维信息进行比对，获得每个待测焊点的类别形态特征；

其中，所述待测焊点包括：第一待测焊点和第二待测焊点。

6.根据权利要求3所述的一种电池焊点缺陷的检测方法，其特征在于，将所有待测焊点对应的第一三维信息分别和所述标准焊点对应的标准三维信息进行比对，获得每个待测焊点的类别形态特征，包括：

将所述第一三维信息和所述标准三维信息统一在预设坐标系中，并基于预设算法求取所述第一三维信息和所述标准三维信息中每一坐标点在预设坐标中的特征矩阵和对应的迹；

若当前坐标点的迹为领域坐标点的迹中的极值，则将所述当前坐标点作为特征坐标点；

基于所述第一三维信息和所述标准三维信息中的特征坐标点构建第一特征轮廓和标准特征轮廓，基于预设的缺陷类别特征配对列表对所述第一特征轮廓和所述标准特征轮廓进行配对，获得Q组配对轮廓数据；

基于配对轮廓数据求取对应的轮廓误差数据，选取大于预设误差值的轮廓误差数据作为缺陷数据；

将所述缺陷数据与预设的缺陷类别特征配对列表进行匹配，获得每个待测焊点的类别形态特征。

7.根据权利要求6所述的一种电池焊点缺陷的检测方法，其特征在于，确定焊点缺陷类别和对应的分类概率之后，包括：

基于所述缺陷焊点的第二三维信息和标准三维信息，获得对应的缺陷特征数据；

基于所述缺陷特征数据获得对应的缺陷特征矩阵，并对所述特征缺陷矩阵进行归一化，计算出每个缺陷特征数据的贡献值；

基于所述贡献值计算每个缺陷特征的第二权重值；

基于所述缺陷焊点的缺陷类别和预设评价列表，确定对应的评价影响因子；

基于所述第二权重值将所有特征缺陷数据融合，并基于所述评价影响因子，获得缺陷焊点的评价结果；

将所述检测结果和评价结果融合生成评价报告。

8.一种电池焊点缺陷的检测装置，其特征在于，包括：

确定模块，用于获取电池焊接的全局图像，在所述全局图像中确定疑似焊点区域和非疑似焊点区域，并提取第一待测焊点；

第一检测模块，用于利用深度学习网络在所述非疑似焊点区域中进行二次检测，确定是否存在第二待测焊点；

获取模块：构建所有待测焊点的三维重建模型，并基于对标准焊点和所有待测焊点的三维比对，获得所述待测焊点对应的类别形态特征；

第二检测模块，基于所述待测焊点的类别形态特征和深度神经网络分类模型，获得所述待测焊点的缺陷检测结果；

基于所述待测焊点的类别形态特征和深度神经网络分类模型，获得所述待测焊点的缺陷检测结果，包括：

对待测焊点的局部图像进行轮廓分割和灰度化处理，获取所述待测焊点的第一待测图像；

基于像素点灰度值由大到小对所述第一待测图像中的像素点进行排序获得灰度值集合，按照预设的划分算法将所述灰度值划分确定若干个子灰度值集合，基于所述子灰度值集合对应的像素点确定所述第一待测图像中的若干个相近灰度值子区域，并确定对应的平均灰度值；

判断每个相近灰度值子区域与相邻的相近灰度值子区域的平均灰度值差值，将平均灰度值差值大于预设差值的两个相近灰度值子区域的共有像素点作为子轮廓线，将所述子轮廓线连接获得所述待测焊点的轮廓线；

基于所述轮廓线分割获得所述待测焊点的面积图像，并求取对应的面积；

获取所述平均灰度值的最大差值，基于预设的距离变换列表，确定所述待测焊点的深度值；

当所述面积大于预设的面积阈值且所述深度值大于预设的深度阈值时，判定所述待测焊点为非缺陷焊点，否则，判定所述待测焊点为缺陷焊点；

基于若干个卷积核按照预设路线对所述缺陷焊点的局部图像中每个像素点进行遍历扫描，提取对应的精细形状特征、精细纹理特征、方向梯度直方图特征，并在每次提取之后基于截断正态分布对所述卷积核进行初始化；

将所述精细形状特征和所述精细纹理特征以及所述方向梯度直方图特征输入至深度神经网络分类模型，分别获得第一检测结果、第二检测结果和第三检测结果；

根据预设的误差列表确定所述第一检测结果、所述第二检测结果和所述第三检测结果对应的决定权重值，并基于所述决定权重值确定焊点缺陷类别和对应的分类概率。