CN115661110B - 一种透明工件识别与定位的方法 - Google Patents

Abstract

本发明公开了一种透明工件识别与定位的方法，首先将采集的所述透明工件的原始图像信息作为图像预处理模块的输入，得到信息增强后的图像作为输出，再根据所述透明工件的图像特征，改进Canny算法对工件进行边缘检测，然后将边缘特征图像作为图像后处理模块的输入，寻找边缘特征图像中的闭合轮廓作为感兴趣区域，遍历寻找到的所有感兴趣区域，确定每个ROI的位置特征参数与姿态特征参数，判断每个ROI是否为待检测的透明工件的边缘，完成对工件位置与姿态的识别。本发明的方法通过改进Canny算法，实现了边缘检测和消除高斯噪声，保证了检测效率，使用中值滤波代替高斯滤波，有效的消除了椒盐噪声，且避免了边界模糊，保留了透明材质物体的边界信息。

Description

一种透明工件识别与定位的方法

技术领域

本发明属于机器视觉与图像识别技术领域，具体涉及视一种透明工件识别与定位的方法。

背景技术

随着工业柔性化、智能化需求的增长，机器视觉被越来越多的应用在工业现场，用于完成视觉伺服、缺陷检测等任务。在这些机器视觉任务中，针对目标物体的轮廓的识别和定位技术一般作为算法的基础步骤而存在。在多数视觉伺服任务中，所识别的目标物体都具有明显的轮廓或纹理信息，因此应用传统的阈值分割或边缘检测算法就能完成任务。对于亚克力、玻璃等材质的工件，在对其进行识别与定位时，存在三个方面的难点：(1)常见透明材质的工件易反光，因此相较于金属等材质更容易受到环境光的影响；(2)透明物体没有纹理，因此带有纹理的背景会干扰识别效果；(3)透明物体的边缘信息不明显，在进行识别时，应该考虑如何保护边缘信息不被模糊。

CN108665458A公布了一种透明体表面缺陷提取及识别方法。该方法首先通过中值滤波的方法平滑图像，然后通过传统Canny算法检测边缘点，最后通过模板匹配的方法确定缺陷类型。CN111612765A公布了一种圆形透明镜片识别和定位的方法。该方法首先将图像转为灰度图并进行中值滤波，然后进行阈值分割，接着使用传统Canny算法进行边缘检测，最后通过计算一阶矩得到镜片位置信息并进行坐标转换。以上方法存在下述几个问题：(1)模板匹配是高耗时方法在视觉伺服任务中，需要保证检测效率；(2)不管是缺陷检测还是圆形镜片识别，均只有位置信息，而对于矩形工件的视觉伺服任务，不但需要获取工件的位置信息，还需要知道其姿态信息。(3)传统的Canny算法需要对图像进行高斯滤波，这样会丢失掉一部分图像的边缘信息；(4)针对透明物体，Canny算法在原始图像上面的效果要好于在阈值分割之后的图像上的效果，因为透明物体的边缘信息会被其背景上的纹理所干扰。

基于上述对透明物体识别与定位任务的难点分析，以及对同领域其他方法的分析可知，需要一种应用于视觉伺服任务中的透明工件的识别和定位方法，此方法需要在保证计算效率的前提下，提高针对透明物体的检测效果。

发明内容

为解决上述技术问题，本发明提供了一种透明工件识别与定位的方法，此方法采用背光打光，使用中值滤波代替高斯滤波避免边界模糊，使用改进的Canny算法进行边缘检测以提高检测效率。

本发明采用的技术方案为：一种透明工件识别与定位的方法，具体步骤如下：

S1、在有效光照条件中，通过工业相机采集所述透明工件在特定视角下的原始图像信息；

S2、将采集到的原始图像作为图像预处理模块的输入，得到信息增强后的图像作为输出；

S3、根据所述透明工件的图像特征，改进Canny算法对工件进行边缘检测；

S4、将边缘特征图像作为图像后处理模块的输入，寻找边缘特征图像中的闭合轮廓作为感兴趣区域(Region Of Interest,ROI)；

S5、遍历寻找到的所有感兴趣区域，确定每个ROI的位置特征参数与姿态特征参数，并判断每个ROI是否为待检测的透明工件的边缘，完成对工件位置与姿态的识别。

进一步地，所述步骤S1中，具体如下：

所述有效光照条件为：光源类型为面光源；光源摆放方式为背光摆放；光源波长为350nm～577nm之间的中短波长。

所述特定视角为：工业相机位于工件上方，相机光轴线与光源法线之间的夹角小于30°。

进一步地，所述步骤S2中，所述图像预处理过程，通过加权运算，将相机采集到的三通道彩色图像变为单通道灰度图像，具体如下：

灰度化方法的数学描述为：

GRAY＝0.11R+0.59G+0.3B

其中，GRAY表示转换后的灰度图的灰度值，R、G、B分别表示转换前图像的红、绿、蓝通道的像素值。

进一步地，所述步骤S3中，以增强后的图像作为改进Canny算法的输入，得到只包含原始图像边缘信息的边缘特征图像作为输出，所述改进Canny算法具体如下：

S31、采用中值滤波方法对图像进行平滑处理，消除图像中的椒盐噪声；

中值滤波核f(u,v)的数学描述为：

其中，(u,v)表示数字图像中像素点的像素坐标，该像素点为滤波核所覆盖像素范围内的中心点；i、j表示滤波核所覆盖像素范围内其他像素点相较于中心点的偏移；r(u+i,v+j)表示原始图像上面(u+i,v+j)这个像素点的像素值；size表示滤波核的尺寸，该值一般为奇数。

S32、使用高斯偏导函数指导生成x和y方向的边缘检测算子来计算图像中每个像素点的梯度的幅值和方向；

二维高斯函数的数学描述为：

其中，G_σ(x)、G_σ(y)分别表示在x、y方向上的高斯函数；σ表示高斯函数的标准差，σ越大，高斯函数图像越宽，函数中心处峰值越小。

对二维高斯函数求偏导数，所得高斯偏导函数的数学描述为：

梯度的幅值G与方向θ定义为：

其中，f表示经过步骤S31中值滤波后的图像，相对应的，表示图像在x、y方向的边缘信息，该信息由二维高斯函数偏导数所生成的边缘检测算子与图像进行卷积运算得到。

S33、根据步骤S32得到的像素点的梯度幅值，对像素点进行非极大值抑制；

S34、在所保留的像素点中，使用双阈值划分强弱边缘；

S35、消除未与强边缘有直接接触的弱边缘。

进一步地，所述步骤S4中，图像后处理方式具体如下：

S41、遍历边缘特征图像中的所有闭合轮廓，作为感兴趣区域进行记录，并将每一个轮廓作为一个连通域进行填充操作；

S42、通过形态学开运算，去除边缘特征图像中的离群噪声点以及附着在工件边缘上的毛刺。

进一步地，所述步骤S5中，具体如下：

定义ROI的位置特征参数为轮廓质心的位置(cx,cy)，ROI的姿态特征参数为轮廓最小外接矩形的长边与图像x轴的夹角angle。通过计算ROI的最小外接矩形的几何矩来得到ROI的位置特征参数。使用Hu矩对ROI轮廓和待检测工件标准轮廓图进行模板匹配，以确定所检测轮廓是否为所述透明工件的边缘信息。

本发明的有益效果：本发明的方法首先将采集的所述透明工件的原始图像信息作为图像预处理模块的输入，得到信息增强后的图像作为输出，再根据所述透明工件的图像特征，改进Canny算法对工件进行边缘检测，然后将边缘特征图像作为图像后处理模块的输入，寻找边缘特征图像中的闭合轮廓作为感兴趣区域，遍历寻找到的所有感兴趣区域，确定每个ROI的位置特征参数与姿态特征参数，判断每个ROI是否为待检测的透明工件的边缘，完成对工件位置与姿态的识别。本发明的方法通过改进Canny算法，实现了边缘检测和消除高斯噪声，保证了检测效率，使用中值滤波代替高斯滤波，有效的消除了椒盐噪声，且避免了边界模糊，保留了透明材质物体的边界信息。

附图说明

图1为本发明的一种透明工件识别与定位的方法的流程图。

图2为本发明实施例中的图像采集装置示意图。

图3为本发明实施例中图像预处理模块输出的灰度化后的图像。

图4为本发明实施例中x方向的高斯偏导滤波核在三维空间中的图像。

图5为本发明实施例中y方向的高斯偏导滤波核在三维空间中的图像。

图6为本发明实施例中使用改进的Canny算子得到的图像边缘检测的边缘图像。

图7为本发明实施例中图像后处理之后得到的图像。

图8为本发明实施例中针对透明矩形工件最终的检测效果图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

如图1所示，一种透明工件识别与定位的方法的流程图，具体步骤如下：

S1、在有效光照条件中，通过工业相机采集所述透明工件在特定视角下的原始图像信息；

S2、将采集到的原始图像作为图像预处理模块的输入，得到信息增强后的图像作为输出；

S3、根据所述透明工件的图像特征，改进Canny算法对工件进行边缘检测；

S4、将边缘特征图像作为图像后处理模块的输入，寻找边缘特征图像中的闭合轮廓作为感兴趣区域(Region Of Interest,ROI)；

S5、遍历寻找到的所有感兴趣区域，确定每个ROI的位置特征参数与姿态特征参数，并判断每个ROI是否为待检测的透明工件的边缘，完成对工件位置与姿态的识别。

在本实施例中，所述步骤S1中，具体如下：

光照条件包括光源类型与光源波长两个特征，所述有效光照条件为：光源类型为面光源；光源摆放方式为背光摆放，即在使用时工件位于光源和工业相机镜头之间，通过工件阻挡光线通过，获取工件的轮廓信息；光源波长为350nm～577nm之间的中短波长。

所述特定视角为：工业相机位于工件上方，相机光轴线与光源法线之间的夹角小于30°。

图2为本实施例中的图像采集装置，图中1为波长为492nm的蓝色面光源；2为待检测亚克力材料的矩形透明工件；3为采集图像所用的高速工业面阵彩色相机；4为固定相机用的支架。

在本实施例中，所述步骤S2中，所述图像预处理过程，通过加权运算，将相机采集到的三通道彩色图像变为单通道灰度图像，具体如下：

灰度化方法的数学描述为：

GRAY＝0.11R+0.59G+0.3B

其中，GRAY表示转换后的灰度图的灰度值，R、G、B分别表示转换前图像的红、绿、蓝通道的像素值。

图3为本实施例中图像预处理模块输出的灰度化后的图像，上下边缘处为透明工件的对灯光和工业相机的反光。

在本实施例中，所述步骤S3中，以增强后的图像作为改进Canny算法的输入，得到只包含原始图像边缘信息的边缘特征图像作为输出，所述改进Canny算法具体如下：

S31、采用中值滤波方法对图像进行平滑处理，消除图像中的椒盐噪声；

中值滤波核f(u,v)的数学描述为：

其中，(u,v)表示数字图像中像素点的像素坐标，该像素点为滤波核所覆盖像素范围内的中心点；i、j表示滤波核所覆盖像素范围内其他像素点相较于中心点的偏移；r(u+i,v+j)表示原始图像上面(u+i,v+j)这个像素点的像素值；size表示滤波核的尺寸，该值一般为奇数。

中值滤波的效果为，将滤波核覆盖像素范围内的像素值从小到大排序，用排序后的中值代替滤波核覆盖像素范围内中心点的原像素值。

S32、使用高斯偏导函数指导生成x和y方向的边缘检测算子来计算图像中每个像素点的梯度的幅值和方向；

二维高斯函数的数学描述为：

其中，G_σ(x)、G_σ(y)分别表示在x、y方向上的高斯函数；σ表示高斯函数的标准差，σ越大，高斯函数图像越宽，函数中心处峰值越小。在本发明所提出的方法中，x方向和y方向所选取的标准差相同，均为σ。

对二维高斯函数求偏导数，所得高斯偏导函数的数学描述为：

梯度的幅值G与方向θ定义为：

其中，f表示经过步骤S31中值滤波后的图像，相对应的，表示图像在x、y方向的边缘信息，该信息由二维高斯函数偏导数所生成的边缘检测算子与图像进行卷积运算得到。

S33、根据步骤S32得到的像素点的梯度幅值，对像素点进行非极大抑制；

S34、在所保留的像素点中，使用双阈值划分强弱边缘；

S35、消除未与强边缘有直接接触的弱边缘。

图4和图5展示了x和y方向的高斯偏导滤波核在三维空间中的图像，图6展示了使用改进的Canny算子得到的图像边缘检测的效果。

在本实施例中，所述步骤S4中，图像后处理方式具体如下：

S41、遍历边缘特征图像中的所有闭合轮廓，作为感兴趣区域进行记录，并将每一个轮廓作为一个连通域进行填充操作；

S42、通过形态学开运算，去除边缘特征图像中的离群噪声点以及附着在工件边缘上的毛刺。

图7展示了本实施例中图像后处理之后得到的效果。

在本实施例中，所述步骤S5中，具体如下：

定义ROI的位置特征参数为轮廓质心的位置(cx,cy)，ROI的姿态特征参数为轮廓最小外接矩形的长边与图像x轴的夹角angle。通过计算ROI的最小外接矩形的几何矩来得到ROI的位置特征参数。使用Hu矩对ROI轮廓和待检测工件标准轮廓图进行模板匹配，以确定所检测轮廓是否为所述透明工件的边缘信息。

图8展示了最终工件的检测效果，图中白色边框即为所检测出的透明矩形工件的边缘，也即其最小外接矩形，黑色边框为工件最大外接矩形，图像左上角标示了工件在图像中的位置与姿态信息。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (4)

1.一种透明工件识别与定位的方法，具体步骤如下：

S1、在有效光照条件中，通过工业相机采集所述透明工件在特定视角下的原始图像信息；

S2、将采集到的原始图像作为图像预处理模块的输入，得到信息增强后的图像作为输出；

S3、根据所述透明工件的图像特征，改进Canny算法对工件进行边缘检测；

S4、将边缘特征图像作为图像后处理模块的输入，寻找边缘特征图像中的闭合轮廓作为感兴趣区域ROI；

S5、遍历寻找到的所有感兴趣区域，确定每个ROI的位置特征参数与姿态特征参数，并判断每个ROI是否为待检测的透明工件的边缘，完成对工件位置与姿态的识别；

所述步骤S3中，以增强后的图像作为改进Canny算法的输入，得到只包含原始图像边缘信息的边缘特征图像作为输出，所述改进Canny算法具体如下：

S31、采用中值滤波方法对图像进行平滑处理，消除图像中的椒盐噪声；

中值滤波核f(u,v)的数学描述为：

其中，(u,v)表示数字图像中像素点的像素坐标，该像素点为滤波核所覆盖像素范围内的中心点；i、j表示滤波核所覆盖像素范围内其他像素点相较于中心点的偏移；r(u+i,v+j)表示原始图像上面(u+i,v+j)这个像素点的像素值；size表示滤波核的尺寸，该值为奇数；

S32、使用高斯偏导函数指导生成x和y方向的边缘检测算子来计算图像中每个像素点的梯度的幅值和方向；

二维高斯函数的数学描述为：

其中，G_σ(x)、G_σ(y)分别表示在x、y方向上的高斯函数；σ表示高斯函数的标准差，σ越大，高斯函数图像越宽，函数中心处峰值越小；

对二维高斯函数求偏导数，所得高斯偏导函数的数学描述为：

梯度的幅值G与方向θ定义为：

其中，f表示经过步骤S31中值滤波后的图像，相对应的，表示图像在x、y方向的边缘信息，该信息由二维高斯函数偏导数所生成的边缘检测算子与图像进行卷积运算得到；

S33、根据步骤S32得到的像素点的梯度幅值，对像素点进行非极大值抑制；

S34、在所保留的像素点中，使用双阈值划分强弱边缘；

S35、消除未与强边缘有直接接触的弱边缘；

所述步骤S5中，定义ROI的位置特征参数为轮廓质心的位置(cx,cy)，ROI的姿态特征参数为轮廓最小外接矩形的长边与图像x轴的夹角angle；通过计算ROI的最小外接矩形的几何矩来得到ROI的位置特征参数；使用Hu矩对ROI轮廓和待检测工件标准轮廓图进行模板匹配，以确定所检测轮廓是否为所述透明工件的边缘信息。

2.根据权利要求1所述的一种透明工件识别与定位的方法，其特征在于，所述步骤S1中，具体如下：

所述有效光照条件为：光源类型为面光源；光源摆放方式为背光摆放；光源波长为350nm～577nm之间的中短波长；

所述特定视角为：工业相机位于工件上方，相机光轴线与光源法线之间的夹角小于30°。

3.根据权利要求1所述的一种透明工件识别与定位的方法，其特征在于，所述步骤S2中，所述图像预处理过程，通过加权运算，将相机采集到的三通道彩色图像变为单通道灰度图像，具体如下：

灰度化方法的数学描述为：

GRAY＝0.11R+0.59G+0.3B

其中，GRAY表示转换后的灰度图的灰度值，R、G、B分别表示转换前图像的红、绿、蓝通道的像素值。

4.根据权利要求1所述的一种透明工件识别与定位的方法，其特征在于，所述步骤S4中，图像后处理方式具体如下：

S41、遍历边缘特征图像中的所有闭合轮廓，作为感兴趣区域进行记录，并将每一个轮廓作为一个连通域进行填充操作；

S42、通过形态学开运算，去除边缘特征图像中的离群噪声点以及附着在工件边缘上的毛刺。