CN111415384B - 一种基于深度学习的工业图像组件精准定位系统 - Google Patents

Abstract

本发明涉及一种基于深度学习的工业图像组件精准定位系统，属于机器视觉定位领域。首先通过工业相机对待定位物件进行拍照；其次，将图像送入至深度学习定位网络中，精确检测出组件的像素级角点；定位网络由轻量型卷积神经网络、可变形卷积神经网络、输出网络和焦点解析融合而成。最后，通过后处理模块，还可得到轮廓对称的组件的中心点坐标、轮廓及坐标和相对旋转角度。通过与事先标定的工业图像比对，可以得出待定位物件的空间物理值；可用于带角点的组件、螺孔和物件的精确定位；该方法具有较好的适用性，应用领域广，训练速度快、定位精度高，而且可用于复杂自然场景下的物体精准定位；该方法定位精度高，对光线、噪声具有较好的鲁棒性。

Description

一种基于深度学习的工业图像组件精准定位系统

技术领域

本发明属于机器视觉定位领域，涉及一种基于深度学习的工业图像组件精准定位系统。

背景技术

工业领域，机器视觉定位技术广泛应用于螺孔、器件、物件等组件的定位。比如螺钉视觉机器人精确定位螺孔的位置，将螺钉精准打进螺孔并旋拧；插件视觉机器人精确定位主板上待插元器件的位置，将元器件准确插进主板；安检视觉机器人准确定位插座的位置及角度，将插座顺利插进插座中并进行后续自动化测试；码垛视觉机器人将物体进行准确定位后，自动码垛到相应的位置等。组件定位的精度和速度不仅影响自动化的效率，更大程度影响产品的良品率；如果定位精度低，一方面没法完成高精度的自动化产品定位；另一方面，在自动化流水线运行的过程中，可能会打坏产品。目前市场上商用的机器视觉软件大多使用美国的visiopro和德国的halcon，虽然性能较好，但是单台机器的基础license费用过万，价格相对较高，而且采用的是传统的图像处理算法，配置起来相对繁杂；而传统的基于图像匹配的算法、基于角点的检测算法等，针对复杂环境以及光线变化适用性较差，精度和准确率相对较低，而且针对不同的环境需要分别调整参数；因此研发一种高精度、高可靠、高适用性的工业图像组件精准定位方法迫在眉睫，具有较高的战略意义。

发明内容

有鉴于此，本发明的目的在于提供一种基于深度学习的工业图像组件精准定位系统。

为达到上述目的，本发明提供如下技术方案：

一种基于深度学习的工业图像组件精准定位系统，所述系统包括深度学习组件定位模块和后处理模块；

首先通过工业相机对待定位物件进行拍照；其次，将图像送入至深度学习组件定位网络中，精确检测出组件的像素级角点；最后，通过后处理模块，可得到组件的中心点坐标、轮廓及坐标和相对旋转角度。

可选的，所述深度学习组件定位模块包括轻量型卷积神经网络模块、可变形卷积神经网络模块、输出网络模块和角点解析模块；

深度学习组件定位流程分为推理过程和训练过程两个流程；为了得到组件定位模块的网络模型参数需要使用样本集对网络进行闭环训练，样本集包含训练集、验证集和测试集。

可选的，所述后处理模块包括组件中心点计算模块、组件轮廓提取模块和组件的相对旋转角度计算模块。

可选的，所述组件定位模块对应的深度学习网络是由轻量型卷积神经网络、可变形卷积神经网络、输出网络、角点解析融合而成；

通过组件定位推理流程，得到关键点的热力图和对应的图像位置偏置差；

热力图的峰值对应的就是待定位的组件关键点，将关键点的坐标与对应的图像位置偏置差融合得到待定位的组件角点位置。

可选的，所述轻量型卷积神经网络包含2个Layer，每一级Layer的输出作为下一级Layer的输入；每级Layer配置具体如下：

(1)Layer0：由Conv2d、BatchNorm2d、h_swish模块串联而成；其中Conv2d是标准的二维卷积模块、BatchNorm2d是标准的二维数据归一化处理模块、h_swish是激活函数模块；

(2)Layer1：由11级Mobileblock串联而成；其中每个Mobileblock由conv、depth_conv、squeeze_block、point_conv四个模块串联构成，每个模块的输出为下一个模块的输入；具体的配置如下：

conv：由Conv2d、BatchNorm2d、activation模块串联而成；

depth_conv：由Conv2d、BatchNorm2d模块串联而成；

squeeze_block：由avg_pool2d、Linear、ReLU、Linear、h_sigmoid模块串联构成；其中Linear为深度学习框架的标准线性化模块、avg_pool2d为深度学习框架的标准池化模块、h_sigmoid为是非线性激活函数模块；

point_conv：由Conv2d、BatchNorm2d、activation串联而成；

前6个Mobileblock的activation选用ReLU激活函数；后5个Mobileblock的activation选用h_swish激活函数。

可选的，所述可变形卷积神经网络包含3个Layer，每一级Layer的输出作为下一级Layer的输入，第一级Layer输入来源于轻量型卷积神经网络模块的输出；每级Layer配置具体如下：

(1)Layer0：由Conv2d、BatchNorm2d、ReLU、ConvTranspose2d、BatchNorm2d、ReLU串联而成；其中ConvTranspose2d为标准的二维反卷积模块；

(2)Layer1：整体网络结构同Layer0；

(3)Layer2：整体网络结构同Layer0。

可选的，所述输出网络包含2个Layer分支，每个Layer分支的输入均是可变形卷积神经网络模块的输出，且每个Layer分支都有单独的输出；具体如下：

(1)分支Layer0：由Conv2d、ReLU、Conv2d串联而成；最后输出的是热力图heatmap，其中每个点的值表示目标的概率的大小；

(2)分支Layer2：由Conv2d、ReLU、Conv2d串联而成；最后的输出：每个点包含两个值(高度和宽度)，当前index作为目标时对应的图像输出位置偏差。

可选的，所述角点解析模块通过输出网络模块，得到最终的热力图，热力图的峰值点即为组件的关键点，关键点的个数与角点个数相同，设为n；关键点的坐标设为：

关键点

对应的图像偏置坐标设为

关键点

对应的目标高度和宽度设为

则第i个角点(x_i,y_i)对应的归一化图像实际坐标为

该坐标除以图像的归一化尺度得到原始工业图像的组件角点坐标。

可选的，所述样本集的制作包含以下内容：

(1)组件定位样本集分类；组件定位样本集分为三类：训练集、验证集和测试集；

(2)组件定位样本集标注；对样本集进行角点样本标注，标注工具包括labelme、labelImg和VIA标注工具；标注方法如下：找出角点坐标，并依次为角点标注出周围四个点的坐标，即左上、右上、右下和左下，角点到周围四点的横向坐标和纵向坐标差值为1，且标注顺序依次为左上->右上->右下->左下；标注文件包含图片样本集和groundtruth文件，包含标注的图像名称、路径、图片组件各角点对应的周围四点坐标；

(3)组件样本集数据增强；对(2)中标注后的图像样本进行不同尺度的平移、旋转、加噪、透视变换，增加背光、逆光干扰，同时对groundtruth文件中的坐标进行相应的变换；目的是为了增加样本集的数量和样本的泛化性能，避免模型过拟合，增强模型的鲁棒性；

所述组件定位推理流程包含以下子步骤：

(1)组件定位训练流程：将得到的训练图片样本集和groundtruth文件送入组件定位训练系统，设定允许的误差，经迭代训练、得到训练后的组件定位深度学习模型；最后将训练后的模型代入至推理系统中，通过测试集进行测试，如果没有过拟合、且满足当前系统的测试需求即为最佳的组件定位模型；

(2)组件定位推理流程：将上面经过训练得到的组件定位深度学习模型，移植至组件定位推理模块中；工业相机采集到工业图像，调用组件定位推理系统，得到图像中待检测组件的角点坐标。

可选的，所述后处理模块实现以下子步骤：

S31.轮廓对称，组件中心点计算：对称角点连线的交点，即为轮廓对称组件的中心点；

S32.轮廓边线为直线，组件轮廓边缘提取：相邻角点的连线即为轮廓边线为直线组件的实际轮廓，连线上的点即为轮廓的边缘像素位置点；

S33.工业图像相对旋转角度计算：计算标准图中组件角点1和角点2的斜率k_a；通过得到的实际工业图像中组件角点1和角点2的位置，对应标准图中的角点1和角点2，即求得当前工业图像组件角点1和角点2连线的斜率k_b；通过斜率k_a，斜率k_b，标准图中角点1、角点2的位置，当前工业图像角点1、角点2的位置，利用平面图形的夹角计算公式以及垂直和水平的坐标逻辑判别，即求得当前工业图像相对于标准图像的相对旋转角度。

本发明的有益效果在于：

该方法可对带角点的元器件、螺孔和物件进行精确定位；训练速度快、定位精度高，而且可用于复杂自然场景下的物体精准定位；相比较传统的匹配算法，该方法定位精度高，对光线、噪声具有较好的鲁棒性；相比较普通的深度学习网络，该方法可用于非规则的多边形组件定位。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为深度学习组件定位网络系统结构图；

图2为轻量型卷积神经网络结构图；

图3为可变形的卷积神经网络结构图；

图4为输出网络结构图；

图5为组件定位训练及推理流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明公开一种基于深度学习的工业图像组件精确定位方法，下面由整体到部分进行详细介绍：

S1.一种基于深度学习的工业图像组件精准定位系统，包括深度学习组件定位模块和后处理模块。流程如下：首先通过工业相机对待定位物件进行拍照；其次，将图像送入至深度学习组件定位网络中，精确检测出组件的像素级角点；最后，通过后处理模块，可得到组件的中心点坐标、轮廓及坐标和相对旋转角度；整体流程见摘要附图。

S2.深度学习组件定位模块，包含轻量型卷积神经网络模块、可变形卷积神经网络模块、输出网络模块和角点解析模块；深度学习组件定位流程分为推理过程和训练过程两个流程；为了得到组件定位模块的网络模型参数需要使用样本集对网络进行闭环训练，样本集包含训练集、验证集和测试集。通过组件定位网络的推理流程，可以得到关键点的热力图和对应的图像位置偏置差；其热力图的峰值对应的就是待定位的组件关键点，将关键点的坐标与其对应的图像位置偏置差融合即可精确得到待定位的组件角点位置。深度学习组件定位网络见图1，具体如下：

S21.轻量型卷积神经网络模块，主要包含以下子步骤：

轻量型卷积神经网络包含2个Layer，每一级Layer的输出作为下一级Layer的输入，其网络结构见图2；每级Layer配置具体如下：

(1)Layer0：由Conv2d、BatchNorm2d、h_swish模块串联而成；其中Conv2d是标准的二维卷积模块、BatchNorm2d是标准的二维数据归一化处理模块、h_swish是激活函数模块；其中，

ReLU6(x)＝min(max(x,0),6)；

(2)Layer1：由11级Mobileblock串联而成；其中每个Mobileblock由conv、depth_conv、squeeze_block、point_conv四个模块串联构成，每个模块的输出为下一个模块的输入；具体的配置如下：

conv：由Conv2d、BatchNorm2d、activation模块串联而成；

depth_conv：由Conv2d、BatchNorm2d模块串联而成；

squeeze_block：由avg_pool2d、Linear、ReLU、Linear、h_sigmoid模块串联构成；其中Linear为深度学习框架的标准线性化模块、avg_pool2d为深度学习框架的标准池化模块、h_sigmoid为是非线性激活函数模块；其中，

point_conv：由Conv2d、BatchNorm2d、activation串联而成；

前6个Mobileblock的activation选用ReLU激活函数；后5个Mobileblock的activation选用h_swish激活函数；

S22.可变形卷积神经网络模块，主要包含以下子步骤：

可变形卷积神经网络模块包含3个Layer，每一级Layer的输出作为下一级Layer的输入，第一级Layer输入来源于轻量型卷积神经网络模块的输出，其网络结构见图3；每级Layer参数配置具体如下：

(1)Layer0：由Conv2d、BatchNorm2d、ReLU、ConvTranspose2d、BatchNorm2d、ReLU串联而成；其中ConvTranspose2d为标准的二维反卷积模块；

(2)Layer1：整体网络结构同Layer0；

(3)Layer2：整体网络结构同Layer0；

S23.输出网络模块，主要包含以下子步骤：

输出网络模块包含2个Layer分支，每个Layer分支的输入均是可变形卷积神经网络模块的输出，且每个Layer分支都有单独的输出，其网络结构见图4，参数配置具体如下：

(1)分支Layer0：由Conv2d、ReLU、Conv2d串联而成；最后输出的是热力图heatmap，其中每个点的值表示目标的概率值大小；

(2)分支Layer2：由Conv2d、ReLU、Conv2d串联而成；最后的输出：每个点包含两个值(高度和宽度)，当前index作为目标时对应的图像输出位置偏差；

S24.角点解析模块，主要包含以下子步骤：

通过输出网络模块，可以得到最终的热力图，其热力图的峰值点即为组件的关键点，关键点的个数与角点个数相同，设为n；关键点的坐标设为：

关键点

对应的图像偏置坐标设为

关键点

对应的目标高度和宽度设为

则第i个角点(x_i,y_i)对应的归一化图像实际坐标为

该坐标除以图像的归一化尺度即可得到原始工业图像的组件角点坐标。

S25.样本集制作，主要包含以下内容：

(1)组件定位样本集分类；组件定位样本集分为三类：训练集、验证集和测试集。

(2)组件定位样本集标注；对样本集进行角点样本标注，标注工具不限于利用labelme、labelImg、VIA等标注工具；标注方法如下：找出角点坐标，并依次为角点标注出周围四个点的坐标(左上、右上、右下、左下)，角点到周围四点的横向坐标和纵向坐标差值为1，且标注顺序依次为左上->右上->右下->左下。标注文件包含图片样本集和ground truth文件(包含标注的图像名称、路径、图片组件各角点对应的周围四点坐标)。

(3)组件样本集数据增强；对(2)中标注后的图像样本进行不同尺度的平移、旋转、加噪、透视变换，增加背光、逆光干扰，同时对ground truth文件中的坐标进行相应的变换；目的是为了增加样本集的数量和样本的泛化性能，避免模型过拟合，增强模型的鲁棒性。

S26.组件定位推理及训练流程，主要包含以下子步骤：

(1)组件定位训练流程：将S25得到的训练图片样本集和ground truth文件送入组件定位训练系统(软硬件配置：ubuntu16.04、cuda8、cudnn6、pytorch0.4.1、nvidia-gpu1080ti)，见图5，设定允许的误差，经迭代训练、得到训练后的组件定位深度学习模型；最后将训练后的模型代入至推理系统中，通过测试集进行测试，如果没有过拟合、且满足当前系统的测试需求即为最佳的组件定位模型。

组件定位网络中，关键点位置计算的损失函数如下：

其中，输出图像为I∈R^W×H×3，其中H和W分别为图像的高和宽；利用

对图像进行标记，

为推理后得到热力图，R为下采样因子；C为待检测组件的个数，工业视觉里面通常设为1；α和β为FocalLoss的超参数；N为待检测组件角点的个数；

表示检测到角点；

表示为背景。

组件定位网络中，关键点偏置差计算的损失函数如下：

其中，

为推理后的局部偏置差。

(2)组件定位推理流程：将上面经过训练得到的组件定位深度学习模型，移植至组件定位推理模块中；工业相机采集到工业图像，调用组件定位推理系统，即可精确得到图像中待检测组件的角点坐标。

S3.后处理模块，包含组件中心点计算模块、组件轮廓提取模块和组件的相对旋转角度计算模块。

进一步，后处理模块，主要包含以下内容：

S31.组件(轮廓对称)中心点计算：对称角点连线的交点，即为组件(轮廓对称)的中心点；

S32.组件(轮廓边线为直线)轮廓边缘提取：相邻角点的连线即为组件(轮廓边线为直线)的实际轮廓，连线上的点即为轮廓的边缘像素位置点；

S33.工业图像相对旋转角度计算：计算标准图中组件角点1和角点2的斜率k_a(角度)；通过S2，得到实际工业图像中组件角点1和角点2的位置(对应标准图中的角点1和角点2)，即可求得当前工业图像组件角点1和角点2连线的斜率k_b(角度)；通过斜率k_a，斜率k_b，标准图中角点1、角点2的位置，当前工业图像角点1、角点2的位置，利用平面图形的夹角计算公式以及垂直和水平的坐标逻辑判别，即可求得当前工业图像相对于标准图像的相对旋转角度。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种基于深度学习的工业图像组件精准定位系统，其特征在于：所述系统包括深度学习组件定位模块和后处理模块；

首先通过工业相机对待定位物件进行拍照；其次，将图像送入至深度学习组件定位网络中，精确检测出组件的像素级角点；最后，通过后处理模块，可得到组件的中心点坐标、轮廓及坐标和相对旋转角度；

所述深度学习组件定位模块包括轻量型卷积神经网络模块、可变形卷积神经网络模块、输出网络模块和角点解析模块；

深度学习组件定位流程分为推理过程和训练过程两个流程；为了得到组件定位模块的网络模型参数需要使用样本集对网络进行闭环训练，样本集包含训练集、验证集和测试集；

所述后处理模块包括组件中心点计算模块、组件轮廓提取模块和组件的相对旋转角度计算模块；

所述组件定位模块对应的深度学习网络是由轻量型卷积神经网络、可变形卷积神经网络、输出网络、角点解析融合而成；

通过组件定位推理流程，得到关键点的热力图和对应的图像位置偏置差；

热力图的峰值对应的就是待定位的组件关键点，将关键点的坐标与对应的图像位置偏置差融合得到待定位的组件角点位置；

所述轻量型卷积神经网络包含2个Layer，每一级Layer的输出作为下一级Layer的输入；每级Layer配置具体如下：

(1)Layer0：由Conv2d、BatchNorm2d、h_swish模块串联而成；其中Conv2d是标准的二维卷积模块、BatchNorm2d是标准的二维数据归一化处理模块、h_swish是激活函数模块；

(2)Layer1：由11级Mobileblock串联而成；其中每个Mobileblock由conv、depth_conv、squeeze_block、point_conv四个模块串联构成，每个模块的输出为下一个模块的输入；具体的配置如下：

conv：由Conv2d、BatchNorm2d、activation模块串联而成；

depth_conv：由Conv2d、BatchNorm2d模块串联而成；

squeeze_block：由avg_pool2d、Linear、ReLU、Linear、h_sigmoid模块串联构成；其中Linear为深度学习框架的标准线性化模块、avg_pool2d为深度学习框架的标准池化模块、h_sigmoid为是非线性激活函数模块；

point_conv：由Conv2d、BatchNorm2d、activation串联而成；

前6个Mobileblock的activation选用ReLU激活函数；后5个Mobileblock的activation选用h_swish激活函数；

所述可变形卷积神经网络包含3个Layer，每一级Layer的输出作为下一级Layer的输入，第一级Layer输入来源于轻量型卷积神经网络模块的输出；每级Layer配置具体如下：

(1)Layer0：由Conv2d、BatchNorm2d、ReLU、ConvTranspose2d、BatchNorm2d、ReLU串联而成；其中ConvTranspose2d为标准的二维反卷积模块；

(2)Layer1：整体网络结构同Layer0；

(3)Layer2：整体网络结构同Layer0；

所述输出网络包含2个Layer分支，每个Layer分支的输入均是可变形卷积神经网络模块的输出，且每个Layer分支都有单独的输出；具体如下：

(1)分支Layer0：由Conv2d、ReLU、Conv2d串联而成；最后输出的是热力图heatmap，其中每个点的值表示目标的概率的大小；

(2)分支Layer2：由Conv2d、ReLU、Conv2d串联而成；最后的输出：每个点包含高度和宽度两个值，当前index作为目标时对应的图像输出位置偏差；

所述角点解析模块通过输出网络模块，得到最终的热力图，热力图的峰值点即为组件的关键点，关键点的个数与角点个数相同，设为n；关键点的坐标设为：

关键点

对应的图像偏置坐标设为

关键点

对应的目标高度和宽度设为

则第i个角点(x_i,y_i)对应的归一化图像实际坐标为

该坐标除以图像的归一化尺度得到原始工业图像的组件角点坐标；

所述样本集的制作包含以下内容：

(1)组件定位样本集分类；组件定位样本集分为三类：训练集、验证集和测试集；

(2)组件定位样本集标注；对样本集进行角点样本标注，标注工具包括labelme、labelImg和VIA标注工具；标注方法如下：找出角点坐标，并依次为角点标注出周围四个点的坐标，即左上、右上、右下和左下，角点到周围四点的横向坐标和纵向坐标差值为1，且标注顺序依次为左上->右上->右下->左下；标注文件包含图片样本集和ground truth文件，包含标注的图像名称、路径、图片组件各角点对应的周围四点坐标；

(3)组件样本集数据增强；对(2)中标注后的图像样本进行不同尺度的平移、旋转、加噪、透视变换，增加背光、逆光干扰，同时对ground truth文件中的坐标进行相应的变换；目的是为了增加样本集的数量和样本的泛化性能，避免模型过拟合，增强模型的鲁棒性；

所述组件定位推理流程包含以下子步骤：

(1)组件定位训练流程：将得到的训练图片样本集和ground truth文件送入组件定位训练系统，设定允许的误差，经迭代训练、得到训练后的组件定位深度学习模型；最后将训练后的模型代入至推理系统中，通过测试集进行测试，如果没有过拟合、且满足当前系统的测试需求即为最佳的组件定位模型；

(2)组件定位推理流程：将上面经过训练得到的组件定位深度学习模型，移植至组件定位推理模块中；工业相机采集到工业图像，调用组件定位推理系统，得到图像中待检测组件的角点坐标。

2.根据权利要求1所述的一种基于深度学习的工业图像组件精准定位系统，其特征在于：所述后处理模块实现以下子步骤：

S31.轮廓对称，组件中心点计算：对称角点连线的交点，即为轮廓对称组件的中心点；

S32.轮廓边线为直线，组件轮廓边缘提取：相邻角点的连线即为轮廓边线为直线组件的实际轮廓，连线上的点即为轮廓的边缘像素位置点；

S33.工业图像相对旋转角度计算：计算标准图中组件角点1和角点2的斜率k_a；通过得到的实际工业图像中组件角点1和角点2的位置，对应标准图中的角点1和角点2，即求得当前工业图像组件角点1和角点2连线的斜率k_b；通过斜率k_a，斜率k_b，标准图中角点1、角点2的位置，当前工业图像角点1、角点2的位置，利用平面图形的夹角计算公式以及垂直和水平的坐标逻辑判别，即求得当前工业图像相对于标准图像的相对旋转角度。

Images