CN109671084B - 一种工件形状的测量方法 - Google Patents

Abstract

本发明公开了一种工件形状的测量方法，利用CCD相机对放在传送带的各种形状工件进行实时拍照，通过图像处理的方法获得工件的轮廓，并通过数字形态学对工件轮廓内部的噪声进行去除，然后设置判据自动判断出工件形状并利用几何方法计算得出工件的几何参数，并实时获得工件实时定位信息。

Description

一种工件形状的测量方法

技术领域

本发明涉及一种常见形状的工件的高精度测量方法。

背景技术

目前常用技术是利用工业相机对工件进行拍照，利用图像预处理去噪，然后进行边缘检测提取出零件轮廓。这样做的缺陷是在光照不均匀情况下，首先不可避免会出现背景和目标轮廓同时被检出，如果通过阈值过滤，则会导致工件轮廓部分缺失，如果采用拟合的方法对轮廓进行修补，则精度又受到拟合算法精度影响。以VF.Snake模型为例，是目前在图像分割领域被广泛认可的一种模型，具有良好的特性而被广泛应用，在查阅图像分割算法的应用条件和应用范围之后，现有GVF.Snake模型在检测某些边缘时效果不理想，比如在遇到因光源角度有偏差或者球面光源分布不均时，零部件图像边缘噪点较多或少数噪点集中在某些边缘附近或因拍摄角度偏差导致成像边缘发生细微变形，此时传统的GVF.Snake模型无法有效的判断，很容易将噪点与真实边缘混在一起，这样得到的边缘轮廓会不够平整连续，所以也很难估计出其轮廓形状，同时其测量值与标准值有会有较大误差，效率低下。同时，当只需要检测某一零件部分轮廓时，GVF.Snake模型的计算量过大，同样会降低检测效率，增加工业成本。

发明内容

本发明旨在提供一种工件形状的测量方法，实时获得准确的工件定位信息。

为解决上述技术问题，本发明所采用的技术方案是：一种工件形状的测量方法，包括以下步骤：

1)采集工件运送视频，并提取工件轮廓；

2)对所述工件轮廓进行膨胀、腐蚀运算，得到去噪后的工件轮廓图像；

3)在所述工件轮廓图像上提取工件角点，并将所述角点作为顶点；

4)根据所述顶点设定角度和边长，判定出多边形形状；

5)根据所述多边形形状，利用模板匹配方法识别工件类型。

步骤1)之前，还进行如下处理：在工件传送带正上方安装CCD相机和镜头，根据工件尺寸大小和工作环境确定安装高度，保证所有待测工件都在视场范围内。

步骤2)的具体实现过程包括：

1)从所述工件运送视频中提取每一帧图像，将每一帧图像都转换成灰度图像；

2)计算k帧灰度图像中各个像素的平均灰度值，以各个像素点的平均像素值组成的图像作为工件轮廓。

针对多帧图像中的像素取平均灰度值，然后将这些灰度平均值显示即为工件轮廓，这样做的好处是，通过取平均可以去除因为操作现场光照不均匀，工件在运动过程中的抖动产生图片模糊，导致轮廓提取不准确。

步骤2)的具体实现过程包括：

1)对所述工件轮廓进行膨胀处理，填充工件轮廓中的孔洞；

2)对填充孔洞的工件轮廓进行腐蚀运算，得到修补的工件区域，在工件区域二值图像中去除所有工件内部像素，从而得到去噪后的工件轮廓图像。

在工件区域二值图像中去除所有工件内部像素的具体实现过程包括：对工件区域二值图像进行逐行扫描，如果当前扫描像素的邻域像素灰度值都为“1”，则认为该像素是工件内部点，在输出图像中将该位置像素的灰度值置为“0”；否则，认为该像素为边缘像素，在输出图像中将该位置像素的灰度值置为“1”，得到工件区域的单像素轮廓，即得到去噪后的工件轮廓图像。

步骤3)的具体实现过程包括：

1)求得去噪后的工件轮廓图像对应的x轴和y轴方向的一阶偏导Ix和Iy，利用各向同性高斯核G_x,y对一阶偏导Ix和Iy平滑，并构造自相关矩阵M；

2)通过自相关矩阵M的特征值α、β来构造角点响应R并判决角点(当求得的R大于设定阈值时候，即可认为是角点)，计算出工件角点。

(角点响应函数执行的是非最大抑制，角点的数量受响应函数的影响。自适应非最大抑制是指，在局部范围内计算每个像素点的角点响应函数，将非极大值的像素点的响应函数置为零，这样就只保留了局部极大值，剔除了不可能成为角点的像素点，当求得的R大于设定阈值时候，即可认为是角点)。

当角点判别式R大于设定阈值则为Harris特征点，即R>T时候，认为是角点。k1从0取值到0.1，根据现场光照情况确定，获得R值为角点。

自相关矩阵M的表达形式为(其中：去噪后的工件轮廓图像对应的x轴和y轴方向的一阶偏导Ix和Iy)：

其中，

δ为高斯平滑尺度。

角点响应R的计算公式为：R＝αβ-k₁(α+β)²；其中，α≥β，k₁取值为(0，0.1]。

当角点判别式R大于设定阈值则为Harris特征点，即R>T时候，认为是角点。

k1从0取值到0.1，根据现场光照情况确定，获得的R值为角点。

步骤4)中，多边形形状判定规则为：圆形：轮廓边缘无夹角，每条边长都相等；椭圆形：轮廓边缘无夹角，长短径位置边长不同；

正方形：四条边长度相同且相邻边夹角为90度；n边形：边长不等且夹角不等。

与现有技术相比，本发明所具有的有益效果为：本发明通过CCD对工件进行拍照，然后提取工件轮廓从而判别出工件形状；本发明采用产生式对抗GAN网络进行迭代计算得到工件轮廓，可以比现有方案中的轮廓检测提高0.01个像素精度；在工件轮廓提取中，采用生成式对抗网络GAN，可以将精度提高到0.01像素，远远高于亚像素精度。且考虑实时性要求，没有必要进行全部视频帧数计算，因此设置两个阈值，根据测试数据0.2≤λ₁≤0.7；0.1≤λ₂≤0.5，可以加快迭代速度。

附图说明

图1为工件形状检测系统工作示意图；

图2为本发明方法流程图；

图3为本发明工件轮廓获取示意图；(a)采集到的正方形工件图像；(b)提取轮廓后的图像；

图4为实际工件轮廓图；(a)采集到的六边形工件图像；(b)提取轮廓后的图像；

图5为模板匹配示意图；(a)采集到的圆形工件图像；(b)提取轮廓后的图像。

具体实施方式

如图1所示，本发明在工件传送带正上方安装CCD相机和镜头，根据工件尺寸大小和工作环境确定安装高度(安装高度以在视野范围内，在成像图片中心位置能够对工件清晰成像)，保证所有待测工件都在视场范围内。

一、利用边缘检测算法对工件轮廓进行提取

通过采集传送带上工件运送视频，从视频中提取一帧图像，再将该图像转换为灰度图像。将视频中的每一帧图片转换成灰度图像。

由于在传送带上，通过光源可以使得工件目标锐化，但是边缘锐度过大，边缘检出会有阴影，所以为了均衡边缘，本发明使用求均值的方法。选取一个图像序列(灰度图像)F_m(m＝1,2,3,....k)，设p_i(x,y)为第i帧图像中某像素点(x，y)的灰度值，则k帧图像序列在该点的平均灰度值为：

根据公式(1)可以计算k帧图像序列中各个像素的平均灰度值，则由这些经过灰度值平均计算的像素所组成的图像就是均衡化后工件图像。利用该方法计算均衡化后工件图像时，图像的帧数越多越好，也就是说k值越大(k值越大，应该会让计算量越大，k数值过小则不能接近真实背景，因此，在此处k取值采用GAN方法，优化过程是一个极小极大博弈(Minimax game)问题,优化目标是达到纳什均衡,使生成器估测到数据样本的分布)，所获得的图像就越接近真实的背景。

首先,在给定生成器G(G为根据实际运算过程中产生得到的k数值)的情况下,我们考虑最优化判别器D(D为最优化的k帧数)和一般基于Sigmoid的二分类模型训练一样,训练判别器D也是最小化交叉熵的过程，其损失函数为：

此处参考文献《生成式对抗网络GAN的研究进展与展望》。

如果采用通用GAN算法进行求出最小值，那么计算量会比较大，为了加快迭代计算速度将其改为：

其中，生成器G(G为根据实际运算过程中产生得到的k数值)，最优化判别器D(D为最优化的k帧数)，D(G(z))为伪数据G(z)在D上的表现。λ₁和λ₂根据现场实际情况(如工件轮廓大小)取值。该公式是对

改进，可以极大提高计算速度，从而满足系统的实时性。

考虑实时性要求，没有必要进行全部视频帧数计算，因此设置两个阈值，根据测试数据：0.2≤λ₁≤0.7；0.1≤λ₂≤0.5。

利用公式(1)计算各个像素的平均灰度值，得到背景图像(工件轮廓)。

2、本发明采用数学形态学的方法修复断裂和丢失的工件轮廓区域，如图3所示，其实现过程如下：

对粗提取的轮廓图像进行膨胀处理，膨胀是数学形态学的基本运算，其计算公式如下：

式(2)中，p为形态学运算后所得二值图像中任意一点，ξ²为二值图像所在二维空间。然后，利用形态学的孔洞填充方法填充图像中的孔洞。在图3的(b)中，通过本发明的方法，正方形轮廓被准确提取出来了，内部的一些轮廓噪声不影响几何尺寸计算。

最后，对填充孔洞的图像再进行腐蚀运算，得到修补的人体区域。腐蚀也是数学形态学的基本运算，其计算公式如下：

根据每个像素的邻域像素信息，在工件区域二值图像中去除所有工件内部像素，从而得到工件轮廓图像。轮廓提取步骤为：对图像(前面得到的灰度图像)进行逐行扫描，如果当前扫描像素的邻域像素灰度值都为“1”，则认为该像素是工件内部点，在输出图像中将该位置像素的灰度值置为“0”；否则，认为该像素为边缘像素，在输出图像中将该位置像素的灰度值置为“1”，得到工件区域的单像素轮廓。

通过上述方法，可以提取出获得的去噪后各个工件轮廓。

3、利用角点检测提取工件角点，并将其作为顶点

本发明利用harris角点对工件轮廓上的顶点进行检测

在同质区域处不同方向的灰度变化都很小，在边缘处仅在垂直于边缘脊方向有一个大的灰度变化，而在角点处多个方向呈现大的灰度变化。

首先求输入图像I(去噪后的工件轮廓图像)对应的x和y轴方向的一阶偏导Ix和Iy，利用各向同性高斯核G_x,y对其平滑，并构造自相关矩阵M。

其中，

是卷积算子，σ是高斯平滑尺度。最后，通过自相关矩阵的特征值α、β(α≥β)来构造角点响应R并判决角点：

R＝αβ-k(α+β)²

当角点判别式R大于设定阈值则为Harris特征点，即R>T时候，认为是角点。当k1从0取值到0.1根据现场光照情况确定，获得R值为角点。T根据实际情况取值，根据经验取值为(0.3,0.6)即可。

其中，k(k系数在(0，0.1]范围内)是错误角点响应抑制常数，由此计算出轮廓上的角点。

(5)根据顶点坐标，计算出各边边长和夹角，得出工件的几何尺寸参数，并得到在传送带上的定位位置。

当获得各个顶点坐标(x,y)时，边长为：

4、设置角度和边长作为阈值判定多边形形状。

根据复杂的工件形状大多都是由圆形、椭圆形、正方形、长方形和六边形构成，因此只要判断出这些基本图形则可以构造出复杂不规则图形。设定判断准则如下：

1)圆形：轮廓边缘无夹角，长短径相等；

2)椭圆形：轮廓边缘无夹角，能够计算出长短径；

3)正方形：四条边缘长度相同且夹角为90度；

4)n边形：六条边缘长度相同，且n条边缘长度相同。

5、利用模板匹配算法对传送带上的工件类型进行识别

工作原理：利用提取到的工件轮廓，将第一帧或者前几帧中清晰的工件图片(即提取到多边形工件轮廓图片)作为模板，然后利用模板匹配，识别出工件的类型。

假设在第i帧图像中的一帧或者前几帧中清晰的工件图片，选择以工件图片中心(x,y)为中心、大小为n×m的搜索窗口W，然后根据算法要求的搜索效率(算法要求的搜索效率即为，在监控现场，用户要求的系统运行时间)预先定义一个搜索窗口(通常是以第i帧中的块W为中心的一个对称窗口)，在此范围内查找与图像搜索窗口大小相同的最佳匹配中心的位置r＝(Δx,Δy)。匹配过程示意图见图4。在图4的(b)中，通过本发明方法，六边形轮廓被准确提取出来了，内部的一些轮廓噪声不影响几何尺寸计算。

在搜索过程中，模板匹配需要一个相似度的度量。本算法中采用的是归一化去均值互相关系数NCC(Normalized mutual Correlation Coefficient)，传统的相关系数Cur计算如下：

假设待搜索目标图像T(i,j)的w*w，模板T'(i,j)的h*h，且w>>h，其中w,h代表图像像素，模板T在图像T’上平滑移动，搜索窗口所覆盖的图像区域称为子图。模板图像T'(i,j)为工件图像的第一帧或前几帧较为清晰的图像，目标图像T(i,j)为当前工件图像。T为待搜索的工件目标图像，T’为工件的模板图像。i，j分别为横纵坐标值。

假设在第n帧进行模板更新，且该帧中取模板为T_n(i,j)，通过下式计算两个模板的相似度：

当通过较长时间的跟踪后，模板图像可能会因为光照变化、图像变形和图像模糊等原因导致模板图像发生变化，使得模板图像和真实图像相差较大，导致模板匹配出现较大误差。通过不停的图像匹配，寻找出运动轨迹。

其中，Δ是该时刻带匹配节点图像与模板图像之间的差值，该值小于阈值T(该阈值经验参数为0.15，在实际测试过程中，由于在车间里，存在光照设备安装条件不同导致的受到光照不均匀，拍摄角度导致的视频图像变形，扭曲导致模板图像和当前图像发生很大误差，因此，需要找出一个合适的阈值。如果阈值过大，则两者图像差异过大，会降低匹配精度；如果阈值过小，则两者图像差异过小，导致计算量过大，影响计算实时性)，则不需要更新模板(更新模板即为取前集帧凸包图像或者前几帧凸包图像作为新的模板)，Cur(I_n,I_n+1)为前后帧的相关系数。

图5的(b)中，圆形轮廓被准确提取出来了，外部绝不大部分轮廓噪声被去除，由于线条不连续，且连续线，在计算几何参数时候可以直接去除，内部的一些轮廓噪声不影响几何尺寸计算。

Claims (8)

1.一种工件形状的测量方法，其特征在于，包括以下步骤：

1)采集工件运送视频，并提取工件轮廓；

2)对所述工件轮廓进行膨胀、腐蚀运算，得到去噪后的工件轮廓图像；

步骤2)的具体实现过程包括：

A)从所述工件运送视频中提取每一帧图像，将每一帧图像都转换成灰度图像；

B)计算k帧灰度图像中各个像素的平均灰度值f(D(k),G(k))，利用生成式对抗网络GAN得出各个像素点的平均像素值，由这些平均像素值组成的图像作为工件轮廓；

f(D(k),G(k))的计算公式为：

其中，G为根据实际运算过程中产生得到的k数值，D为最优化的k帧数，D(G(k))为伪数据G(k)在D上的表现；0.2≤λ₁≤0.7；0.1≤λ₂≤0.5；

k采样于真实数据分布pdata(k)，E_x～pdata(x)表示k服从pdata(k)的期望值；k采样于先验分布pk(k)，

表示k服从p_k(k)的期望值；

3)在所述工件轮廓图像上提取工件角点，并将所述角点作为顶点；

4)根据所述顶点设定角度和边长，判定出多边形形状；

5)根据所述多边形形状，利用模板匹配方法识别工件类型。

2.根据权利要求1所述的工件形状的测量方法，其特征在于，步骤1)之前，还进行如下处理：在工件传送带正上方安装CCD相机和镜头，根据工件尺寸大小和工作环境确定安装高度，保证所有待测工件都在视场范围内。

3.根据权利要求1所述的工件形状的测量方法，其特征在于，步骤2)的具体实现过程包括：

1)对所述工件轮廓进行膨胀处理，填充工件轮廓中的孔洞；

2)对填充孔洞的工件轮廓进行腐蚀运算，得到修补的工件区域，在工件区域二值图像中去除所有工件内部像素，从而得到去噪后的工件轮廓图像。

4.根据权利要求3所述的工件形状的测量方法，其特征在于，在工件区域二值图像中去除所有工件内部像素的具体实现过程包括：对工件区域二值图像进行逐行扫描，如果当前扫描像素的邻域像素灰度值都为“1”，则认为该像素是工件内部点，在输出图像中将该位置像素的灰度值置为“0”；否则，认为该像素为边缘像素，在输出图像中将该位置像素的灰度值置为“1”，得到工件区域的单像素轮廓，即得到去噪后的工件轮廓图像。

5.根据权利要求1所述的工件形状的测量方法，其特征在于，步骤3)的具体实现过程包括：

1)求得去噪后的工件轮廓图像对应的x轴和y轴方向的一阶偏导Ix和Iy，利用各向同性高斯核G_x,y对一阶偏导Ix和Iy平滑，并构造自相关矩阵M；

2)通过自相关矩阵M的特征值α、β来构造角点响应R并判决角点，计算出工件角点。

6.根据权利要求5所述的工件形状的测量方法，其特征在于，自相关矩阵M的表达形式为：

其中，

δ为高斯平滑尺度。

7.根据权利要求6所述的工件形状的测量方法，其特征在于，角点响应R的计算公式为：R＝αβ-k₁(α+β)²；其中，α≥β，k₁取值为(0，0.1]。

8.根据权利要求1所述的工件形状的测量方法，其特征在于，步骤4)中，多边形形状判定规则为：

圆形：轮廓边缘无夹角，每条边长都相等；

椭圆形：轮廓边缘无夹角，长短径位置边长不同；

正方形：四条边长度相同且相邻边夹角为90度；

n边形：边长不等且夹角不等。

Images