CN113034497A - 一种基于视觉的保温杯焊缝定位检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于视觉的保温杯焊缝定位检测方法及系统，涉及工业机器视觉识别技术领域。该方法包括步骤：在保温杯静止状态下，采集杯底与杯身焊接处的待检测图像；将所述待检测图像输入至预训练好的YOLO网络模型中，得到7*7*30的结果向量，通过非极大值抑制来选择最终的识别结果，完成焊缝定位识别。本发明基于快速实时的物体检测网络可以在不增加参数复杂度的前提下提高分类准确率，通过在该网络结构上实现对图像数据的特征采集和特征分析，最后在一张图上筛选出我们所要的局部区域，可以提高在有噪声的干扰的情况下的焊缝识别正确性，缩短分析时间，提高了算法的实时性，能在10毫秒内完成对一张8K图的分析和定位结果输出。

Description

一种基于视觉的保温杯焊缝定位检测方法及系统

技术领域

本发明涉及工业机器视觉识别技术领域，尤其涉及一种基于视觉的保温杯焊缝定位检测方法及系统。

背景技术

保温杯一般是由陶瓷或不锈钢加上真空层作成的盛水的容器，顶部有盖，密封严实，真空绝热层能使装在内部的水等液体延缓散热，以达到保温的目的。保温杯杯底与杯身之间一般采用焊接方式进行连接，在焊接作业过程中需要焊接定位装置对杯身和杯底进行固定，但焊接定位装置的结构影响杯身杯底之间焊接的作业效率以及焊接效果。

为实现自动焊缝识别定位，发展出了如下三类应用较为广泛的焊缝定位技术，分别是：

1、Jifeng Liu等人提出一种基于普通光源的视觉跟踪移动窗口图像处理体系，在采集图像中移动与焊缝具有相同形状和大小的窗口，以窗口中所有像素灰度平均值与标准位置比较，可直接计算出焊缝位置偏差。

2、SunZheng等人提出一种基于自适应Canny边缘检测和最大轮廓点数的构件边缘提取算法。采用自适应中值滤波进行保边、去噪；通过添加45和135梯度模板来计算梯度幅值,进一步增强了Canny算子提取边缘细节信息和抗噪能力；采用最小误差法,实现了阈值自适应设定；针对构件轮廓内外噪点不易去除,提出一种最大轮廓点去噪方法；并用霍夫变换对构件的焊接段进行提取,为焊缝轨迹规划做了准备。

3、Mohamed Limam等人提出一种基于计算机视觉的钢轨焊缝自动定位方法.首先,采用中值滤波对焊缝图像进行噪声去除；其次,采用限制对比度自适应直方图均衡算法和直方图均衡化法进行焊缝图像增强；然后,采用双阈值OTSU法进行图像分割,突出轨头和焊缝区域图像,并采用连通域法提取轨头和焊缝区域轮廓；最后,采用多次最小二乘直线拟合法获取焊缝拟合直线,计算直线交点,实现钢轨焊缝自动定位。

上述三类应用较为广泛的焊缝定位技术虽然能够实现工业上的焊缝定位应用，但存在检测时间过长，且都是基于外壁进行的定位，检测时最大需要转动一周才能定位，而且转速不易过快，无法进一步提高保温杯的焊缝定位焊接效率。

发明内容

为实现对保温杯焊缝的快速精确定位，本发明实施例提供一种基于视觉的保温杯焊缝定位检测方法及系统。

一种基于视觉的保温杯焊缝定位检测方法，包括如下步骤：

在保温杯静止状态下，采集杯底与杯身焊接处的待检测图像；

将所述待检测图像输入至预训练好的YOLO网络模型中，得到7*7*30的结果向量，通过非极大值抑制来选择最终的识别结果，完成焊缝定位识别。

优选地，在上述的基于视觉的保温杯焊缝定位检测方法中，所述预训练好的YOLO网络模型的训练过程包括如下步骤：

采集保温杯杯底与杯身焊接处的原始图像，构成训练样本，并对所述训练样本中的原始图像进行标注；

将标注数据集输入到YOLO网络中进行特征提取；

将提取的特征数据进行预训练，然后在YOLO网络中训练得到训练好的YOLO网络模型。

优选地，在上述的基于视觉的保温杯焊缝定位检测方法中，所述对原始图像进行标注之前，还包括对所述原始图像进行图像增强处理，用于突出原始图像上的保温杯目标。

优选地，在上述的基于视觉的保温杯焊缝定位检测方法中，所述标注数据集包括被标注的原始图像以及对应的标注数据。

优选地，在上述的基于视觉的保温杯焊缝定位检测方法中，所述将标注数据集输入到YOLO网络中进行特征提取包括：

将标注数据集中的图片尺寸输入为416×416，然后加载至darknet特征提取网络进行特征初步提取；

将初步提取特征图经过DBL后进行13×13的特征图上采样，然后与倒数第二次下采样的结果相加，最后用26×26的特征图上采样后与倒数第三次下采样的特征图相加，得到提取特征。

优选地，在上述的基于视觉的保温杯焊缝定位检测方法中，所述将提取的特征数据进行预训练包括：

在ImageNet上进行预训练，预训练的分类模型采用前20个卷积层，然后添加一个average-pool层和全连接层；

预训练之后，在预训练得到的20层卷积层之上加上随机初始化的4个卷积层和2个全连接层。

优选地，在上述的基于视觉的保温杯焊缝定位检测方法中，在所述YOLO网络模型的训练过程中还包括：采用drop out层和数据增强来防止过拟合。

优选地，在上述的基于视觉的保温杯焊缝定位检测方法中，所述YOLO网络模型的训练过程中的损失函数为：

优选地，在上述的基于视觉的保温杯焊缝定位检测方法中，所述对所述训练样本中的原始图像进行标注包括：人工数据标注和自动数据标注。

另一面方面，本发明的实施例还提出了一种基于视觉的保温杯焊缝定位检测系统，该系统包括：

图像获取模块，用于获取静止状态下保温杯的杯底与杯身焊接处的待检测图像；

定位检测模块，用于获取所述图像获取模块采集的待检测图像，并输出定位检测结果，所述定位检测模块在执行检测任务时实现如权利要求1至9任一项所述的保温杯焊缝定位检测方法。

本发明的有益效果为：本发明提出的保温杯焊缝定位检测方法及系统在训练网络模型的过程中以及相同的参数复杂度的情况下，本发明可以得到更高的焊缝位置的准确性，本发明由于采用了Yolo网络结构，训练过程解决了梯度消散的问题，而且训练速度更加快速，焊缝的定位检测实时性能得到显著提高，能在10毫秒内完成对一张8K图的分析和定位结果输出。而且，在噪声干扰较大的情况下大大减少错误报警的概率，对于保温杯自动化生产线带来的很大的便捷性，减少人工的消耗，提高了保温杯焊接生产线的使用效率和保温杯的生产效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中所述方法的流程图；

图2为本发明中所述YOLO网络模型的训练流程图；

图3为本发明另一实施例中所述YOLO网络模型的训练流程图；

图4为本发明中所述darknet特征提取网络骨干结构；

图5为本发明中训练所述YOLO网络模型的网络结构图；

图6为本发明中所述系统的模块结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，如图所示，本发明的实施例提出一种基于视觉的保温杯焊缝定位检测方法，包括如下步骤：

S100、在保温杯静止状态下，采集杯底与杯身焊接处的待检测图像；

S200、将所述待检测图像输入至预训练好的YOLO网络模型中，得到7*7*30的结果向量，通过非极大值抑制来选择最终的识别结果，完成焊缝定位识别。

相比现有的技术存在的检测时间过长，检测时最大需要转动一周才能定位，而且转速不易过快的问题，本发明从检测的方式上有了很大的改变，无需转动保温杯，在保温杯静止状态下采图分析，然后将焊缝定位检测结果输出给控制器，通过控制器控制自动焊枪旋转到指定角度，在保证精度的基础上优化了工业生产的节拍，提高了保温杯焊接生产线的使用效率和保温杯的生产效率。

进一步地，在本发明的优选实施例中，如图2所示，所述预训练好的YOLO网络模型的训练过程包括如下步骤：

S10、采集保温杯杯底与杯身焊接处的原始图像，构成训练样本，并对所述训练样本中的原始图像进行标注；

S20、将标注数据集输入到YOLO网络中进行特征提取；

S30、将提取的特征数据进行预训练，然后在YOLO网络中训练得到训练好的YOLO网络模型。

具体地，通过相机采集2500张保温杯杯底与杯身焊接处的原始图像构成训练样本，并对所述训练样本中的原始图像进行标注。

进一步地，在本发明的优选实施例中，如图3所示，所述预训练好的YOLO网络模型的训练过程包括如下步骤：

S10、采集保温杯杯底与杯身焊接处的原始图像，构成训练样本；

S11、对所述训练样本中的原始图像进行图像增强处理；

S12、对所述训练样本中的原始图像进行标注；

S20、将标注数据集输入到YOLO网络中进行特征提取；

S30、将提取的特征数据进行预训练，然后在YOLO网络中训练得到训练好的YOLO网络模型。

对原始图像进行标注可以突出原始图像上的保温杯目标，通过先进行图像增强处理，再进行图像标注可以帮助网络提取出最具表现性的目标特征，以获得较好的定位效果，以提高训练的精度。对所述训练样本中的原始图像进行标注包括：人工数据标注和自动数据标注，在本发明的实施例中，为提高训练精度，对所述训练样本中的原始图像采用人工数据标注。

进一步地，在本发明的优选实施例中，所述标注数据集包括被标注的原始图像以及对应的标注数据。所述将标注数据集输入到YOLO网络中进行特征提取包括：

将标注数据集中的图片尺寸输入为416×416，然后加载至darknet特征提取网络进行特征初步提取；

将初步提取特征图经过DBL后进行13×13的特征图上采样，然后与倒数第二次下采样的结果相加，最后用26×26的特征图上采样后与倒数第三次下采样的特征图相加，得到提取特征。

进一步地，在本发明的优选实施例中，所述将提取的特征数据进行预训练包括：

在ImageNet上进行预训练，预训练的分类模型采用前20个卷积层，然后添加一个average-pool层和全连接层；

预训练之后，在预训练得到的20层卷积层之上加上随机初始化的4个卷积层和2个全连接层。

其中，YOLO网络在ImageNet分类任务上以一半的分辨率，即224*224的输入图像来预训练卷积层，然后将分辨率加倍来进行检测。

在所述YOLO网络模型的训练过程中还包括：采用drop out层和数据增强来防止过拟合。其中，所述YOLO网络模型的训练过程中的损失函数为：

具体地，该损失函数由三个部分构成，分别为坐标预测、置信度预测和类别预测。

其中，坐标预测对应的表达式为：

置信度预测分别包括含目标的box的置信度预测和不含目标的box的置信度预测；

其中，含目标的box的置信度预测对应的表达式为：

不含目标的box的置信度预测对应的表达式为：

类别预测对应的表达式为：

如图4所示，为所述darknet特征提取网络的骨干结构，其由一个53层的卷积网络构成，这个网络由残差单元叠加而成，该网络骨干结构有5次卷积的步长为2，经过5次缩小，特征图缩小为原输入尺寸的1/32。所以网络输入图片的尺寸为32的倍数，取为416×416。对于前向过程中张量尺寸变换，其通过卷积核增大步长来进行，总共为5次。

如图5所示，为所述YOLO网络模型的网络结构图，其包含24个卷积层和2个全连接层，对于卷积层，主要使用1x1卷积来做channle reduction，然后紧跟3x3卷积。对于卷积层和全连接层，采用Leaky ReLU激活函数：max(x,0.1x)max(x,0.1x)。但是最后一层却采用线性激活函数,这样，提取每个部分是非常方便的，这会方面后面的训练及预测时的计算。

从图5中可以看到，该YOLO网络的最后输出为7×7×30大小的张量。对于每一个单元格，前20个元素是类别概率值，然后2个元素是边界框置信度，两者相乘可以得到类别置信度，最后8个元素是边界框的(x,y,w,h)(x,y,w,h)。首先网络的预测值是一个二维张量PP，其shape为[batch,7×7×30][batch,7×7×30]。采用切片，那么P[:,0:7□7□20]P[:,0:7□7□20]就是类别概率部分，而P[:,7□7□20:7□7□(20+2)]P[:,7□7□20:7□7□(20+2)]是置信度部分，最后剩余部分P[:,7□7□(20+2):]P[:,7□7□(20+2):]是边界框的预测结果。这样，提取每个部分是非常方便的，这会方面后面的训练及预测时的计算。

具体地，在训练中使用了多尺寸、数据增强、BN层等常规操作，YOLO网络沿用YOLO9000预测bounding box的方法，通过尺寸聚类确定anchor box。对每个bounding box网络预测4个坐标偏移(tx，ty，tw，th)。如果feature map某一单元偏移图片左上角坐标(Cx,Cy),bounding box预选框尺寸为pw和ph，即anchor尺寸，那么生成对预测坐标为(bx、by、bw和bh),此为feature map层级，记(Gx，Gy，Gw，Gh)为目标特征在图片上的真值坐标在feature map上的映射，通过预测偏移(tx，ty，tw，th)，使得(bx、by、bw和bh)与(Gx，Gy，Gw，Gh)一致。宽高回归采用指数的形式，防止出现负值。

具体地，公式表达如下：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中，pw和ph表示预测前bounding box的size；bx、by、bw和bh就是预测得到的bounding box的中心的坐标和size。

每个bounding box只对应一个目标得分，通过logistic回归计算。目标得分为1的情况：1.某个bounding box与ground truth的重合度比其他bounding box都高；2.某个bounding box与ground truth的重合度不是最大的，但是超过某个阈值(0.5)。

另外，关于训练过程中的正负样本，以Class Prediction、Predictions AcrossScales定义mask，conf_mask，其中mask负责bbox正样本，conf_mask负责bbox负样本。过程如下：

1、mask初始化为0，conf_mask初始化为1。

2、计算bbox与gt的IOU，当大于某一阈值时，conf_mask相应位置也会设置为0。

3、对于与gt最佳匹配的bbox，mask与相应位置会设置为1，conf_mask相应位置也会设置为1。

对于mask为1的位置都为正样本，而对于conf_mask-mask为1的位置为负样本，因此gt周围大于阈值的bbox会被无视。

YOLO v3网络中每个bounding box都预测一组类别，与YOLO v2相同，与YOLO v1不同，YOLO v1在每个网格预测(2/times5+20)＝30个参数。当一个目标仅属于一个类时，softnax比较适合，当某一目标分属于多个类时，需要用逻辑回归对每个类做二分类。

YOLO v3中预测3中不同尺寸box，所以在COCO数据集上输出张量为N/timeN/times/left[3/ast/left(4+1+80/right)/right]，4表示4个坐标偏移，1表示包含目标得分，80表示数据集含有80个类别。YOLO v2中通过passthrough层增加细粒度特性。YOLO v3中对前面两层得到的feature map进行上采样2倍，将更之前得到的feature map与经过上采样得到的feature map进行连接，这种方法可以获得上采样层的语义信息以及更之前层的细粒度信息，将合并得到的feature map经过几个卷积层处理最终得到一个之前层两倍大小的张量。

另一面方面，如图6所示，本发明的实施例还提出了一种基于视觉的保温杯焊缝定位检测系统，该系统包括：

图像获取模块100，用于获取静止状态下保温杯的杯底与杯身焊接处的待检测图像；

定位检测模块200，用于获取所述图像获取模块采集的待检测图像，并输出定位检测结果，所述定位检测模块在执行检测任务时实现上述的保温杯焊缝定位检测方法。

另一面方面，本发明还提出了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述的保温杯焊缝定位检测方法。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机设备中的执行过程。

该计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图6仅仅是计算机设备的示例，并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及终端设备所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于视觉的保温杯焊缝定位检测方法，其特征在于，包括如下步骤：

在保温杯静止状态下，采集杯底与杯身焊接处的待检测图像；

将所述待检测图像输入至预训练好的YOLO网络模型中，得到7*7*30的结果向量，通过非极大值抑制来选择最终的识别结果，完成焊缝定位识别。

2.根据权利要求1所述的基于视觉的保温杯焊缝定位检测方法，其特征在于，所述预训练好的YOLO网络模型的训练过程包括如下步骤：

采集保温杯杯底与杯身焊接处的原始图像，构成训练样本，并对所述训练样本中的原始图像进行标注；

将标注数据集输入到YOLO网络中进行特征提取；

将提取的特征数据进行预训练，然后在YOLO网络中训练得到训练好的YOLO网络模型。

3.根据权利要求2所述的基于视觉的保温杯焊缝定位检测方法，其特征在于，所述对原始图像进行标注之前，还包括对所述原始图像进行图像增强处理，用于突出原始图像上的保温杯目标。

4.根据权利要求2所述的基于视觉的保温杯焊缝定位检测方法，其特征在于，所述标注数据集包括被标注的原始图像以及对应的标注数据。

5.根据权利要求4所述的基于视觉的保温杯焊缝定位检测方法，其特征在于，所述将标注数据集输入到YOLO网络中进行特征提取包括：

将标注数据集中的图片尺寸输入为416×416，然后加载至darknet特征提取网络进行特征初步提取；

将初步提取特征图经过DBL后进行13×13的特征图上采样，然后与倒数第二次下采样的结果相加，最后用26×26的特征图上采样后与倒数第三次下采样的特征图相加，得到提取特征。

6.根据权利要求2所述的基于视觉的保温杯焊缝定位检测方法，其特征在于，所述将提取的特征数据进行预训练包括：

在ImageNet上进行预训练，预训练的分类模型采用前20个卷积层，然后添加一个average-pool层和全连接层；

预训练之后，在预训练得到的20层卷积层之上加上随机初始化的4个卷积层和2个全连接层。

7.根据权利要求2所述的基于视觉的保温杯焊缝定位检测方法，其特征在于，在所述YOLO网络模型的训练过程中还包括：采用drop out层和数据增强来防止过拟合。

8.根据权利要求2所述的基于视觉的保温杯焊缝定位检测方法，其特征在于，所述YOLO网络模型的训练过程中的损失函数为：

9.根据权利要求1所述的基于视觉的保温杯焊缝定位检测方法，其特征在于，所述对所述训练样本中的原始图像进行标注包括：人工数据标注和自动数据标注。

10.一种基于视觉的保温杯焊缝定位检测系统，其特征在于，包括：

图像获取模块，用于获取静止状态下保温杯的杯底与杯身焊接处的待检测图像；

定位检测模块，用于获取所述图像获取模块采集的待检测图像，并输出定位检测结果，所述定位检测模块在执行检测任务时实现如权利要求1至9任一项所述的保温杯焊缝定位检测方法。

Images