CN109064481B - 一种机器视觉定位方法 - Google Patents

Abstract

本发明公开了一种机器视觉定位方法，该方法包括：S1，对图像进行二值化处理，并获取待定位的Mark标志在图像中的初步边界轮廓线；S2，获取初步边界轮廓线所在区域的中心作为Mark标志的初始中心；S3，在初始中心的位置附近选择多个候选中心；S4，根据Mark标志的中心到边界的标准距离，设置中心到边界的动态调整范围，确定各候选中心到边界的相应候选距离；S5，获得多个候选边界轮廓线；S6，判断每一个候选边界轮廓线内部区域的像素一致性；S7，判断每一个候选边界轮廓线经过的像素点的锐利性；S8，定位Mark标志的边界轮廓线。由于本发明采用基于Mark标志位内部一致性和边界锐利性的进行定位，与传统的机器视觉Mark定位方法相比，本发明有更好的精度。

Description

一种机器视觉定位方法

技术领域

本发明涉及高精度标志定位技术领域，特别是涉及一种机器视觉定位方法。

背景技术

近年来，得益于大数据、云计算、深度学习等技术的进步和突破，人工智能得到了长足的发展。人工智能越来越多地应用在工业和制造业中。一般认为正在进行的工业4.0是依托在人工智能发展基础上的综合产业革命。机器视觉(Machine Vision)是人工智能的重要分支之一，它是利用摄像头代替人眼进行目标的判断、测量和定位等。基于Mark形状的定位是机器视觉中最为普遍的一种工业应用，也是很多工业和制造业中的一道必备工序。比如：PCB板检测时，需要通过PCB板上的圆形标志获取PCB板在工作台上的位置，从而进行扫描检测工序。

机器视觉定位，特别是高精度的定位方法对于工业和制造业的某些领域来说至关重要。在数字光刻中，高精度的光刻技术需要高精度的机器定位技术。例如，最小特征尺寸为100微米(um)的胶片掩模板，只有在工作台上的定位精度不超7微米(um)，才可以准确对掩模板进行光刻。对应地，在工业相机获取的图像中的定位算法的精度要求达到1个像素。

人们设计了多种用于视觉定位的Mark标志。如图1所示，常见的Mark标志有：实心圆、三角形、菱形、方形和十字形等。最常用的是实心圆Mark标志。常用的Mark定位方法有两种：Hough变换和模板匹配。Hough变换是将图像上的具有一定关系的像素进行聚类。具体来说，是将具有直线关系，或者是圆关系的像素进行聚类，然后取类别中像素累加个数最多的作为检测结果。Hough变换使用的是Mark标志的边界轮廓线信息，因此在机器识别中，首先要获取图像上的边界轮廓线。模板匹配是一种模式识别方法。通过计算模板和目标图像上元素的相似关系，得到检测结果。在Mark标志所在图像清晰，对比度较好的情况下，两种定位方法都可以得到令人满意的精度。

使用Hough变换对Mark标志进行定位，受边界轮廓线间断、残缺影响小；不受Mark定位标志旋转影响等优点。即使Mark标志有部分缺损或污染也能被正确识别。但Hough变换的定位精度严重依赖图像中的边界轮廓线。在实际生产中，很难准确得到工业相机获取图像中边界轮廓线。比如：产生Mark标志的钻孔刀片的老化，导致Mark标志的边界轮廓线A模糊，如图2所示。在某些光照条件下，Mark标志对应的不是锐利、而是缓慢变化的边界轮廓线，这会导致Mark标志的边界轮廓线不是曲线，而是具有一定宽度的区域，如图3所示，图3示出的边界轮廓线B具有一定的径向宽度。

此外，因为光照，相机等设备的影响，边界轮廓线检测算法获取的Mark标志的边界轮廓线并不会准确处于原本Mark标志为的边界轮廓线上，这会导致出现剧烈跳动的检测结果。因此，使用Hough变换对Mark标志进行定位存在一定的难度。

模板匹配是目前机器视觉常见的定位算法。在算法执行前，首先要创建用于匹配的模板。如果模板内的像素点与图像某区域的像素点相似度超过阈值，则匹配成功，给出匹配结果。但在应用中，会出现图像中被匹配的对象被污染，或者残缺，此时模板匹配算法失效，如图4a示出的残缺的边界轮廓线C和被污染的边界轮廓线D。而且，模板匹配的相似性度量对噪声敏感，受光照变化的影响大，导致检测结果精度产生跳动。

还有部分研究者从机器学习中的对象检测角度来研究Mark标志的定位。他们认为Mark标志是图像中的一种语义对象，可以通过训练分类器一确定图像中是否存在Mark标志，以及Mark标志的位置。但以上这些方法都不能处理Mark标志边界轮廓线模糊，受污染，缺失等情况，使得现有的机器视觉Mark标志定位方法很难在实际复杂的生产环境中对Mark标志进行精确定位。

发明内容

本发明的目的在于提供一种机器视觉定位方法来克服或至少减轻现有技术的上述缺陷中的至少一个。

为实现上述目的，本发明提供一种机器视觉定位方法，机器视觉定位方法包括：

S1，对图像进行二值化处理，并获取待定位的Mark标志在所述图像中的初步边界轮廓线；

S2，获取所述初步边界轮廓线所在区域的中心作为所述Mark标志的初始中心；

S3，在所述初始中心的位置附近选择多个候选中心；

S4，根据所述Mark标志的中心到边界的标准距离，设置中心到边界的动态调整范围，确定各所述候选中心到边界的相应候选距离；

S5，依据S3选择的多个所述候选中心以及S4确定的所述候选距离，获得多个候选边界轮廓线；

S6，根据S5中的各所述候选边界轮廓线，通过如下的C的表达式，判断每一个所述候选边界轮廓线内部区域的像素一致性；

C＝exp(H_d)；

式中，C是所述Mark标志内部像素的一致性，C值小表示所述候选边界轮廓线内部区域的像素一致性程度高，H_d是所述Mark标志内的像素分布熵，p_i是所述Mark标志内部具有强度为i的像素点占所有Mark标志内部像素点的比例；

S7，根据S5中的各所述候选边界轮廓线，通过如下的S的表达式，判断每一个所述候选边界轮廓线经过的像素点的锐利性：

S_k＝G_S·G_l；

式中，S是所有边界轮廓线像素的锐利度，S_k是两个像素点的梯度内积为边界轮廓线像素的锐利度，G_S是边界轮廓线上某个像素P_r,c在标准图像中的梯度，G_l是边界轮廓线上某个像素P_r,c在待定位图像中的梯度，k是位于边界轮廓线上的所有像素；

S8，使用如下的f表达式，计算S5中的各所述候选边界轮廓线的f值，并将f值最小对应的所述候选边界轮廓线定位为所述Mark标志的边界轮廓线；

f＝αC+(1-α)S；

式中，α是权重。

进一步地，所述Mark标志为圆形时，S1利用圆度、面积和外接半径的特征选取方法获取所述初步边界轮廓线。

进一步地，S2使用Hough变换的圆心方法获取所述初步边界轮廓线所在区域的中心。

进一步地，所述Mark标志为非圆形时，S1利用Hough变换的直线方法获取所述初步边界轮廓线。

进一步地，S2具体包括：

S21，S1得到的所述初步边界轮廓线的多条轮廓线相交，形成多个交点；

S22，根据S21得到的各所述交点，取平均值，得到所述Mark标志的初始中心。

由于本发明采用基于Mark标志位内部一致性和边界锐利性的进行定位，与传统的机器视觉Mark定位方法相比，本发明有更好的精度。本发明方法在实际检测的过程中，可以对算法进行优化以及采用GPU提供的并行计算方法，可以提高运算效率与总体处理速度。

附图说明

图1是现有技术中常见的多种Mark标志示意图；

图2是钻孔刀片老化导致的Mark标志边界轮廓线模糊示意图；

图3是Mark标志边界轮廓线缓慢变化导致边界轮廓线形成区域示意图，图中示意的边界轮廓线不是曲线；

图4a是残缺的Mark标志示意图；

图4b是被污染的Mark标志示意图；

图5是Mark标志内部一致性示例示意图；

图6a和图6b是某工业相机拍摄的Mark标志，图6a和图6b中示出的圆分别是两个不同候选圆心、在相同半径下的边界轮廓线；

图7是理想Mark标志边界轮廓线梯度示意图；

图8是工业相机获取Mark标志的边界轮廓线放大示意图；

图9是本发明所提供的机器视觉定位方法的框架示意图；

图10是待定位的图像；

图11是本发明在对图10所示的图像二值化后得到的Mark标志的大致位置；

图12和图13是不同候选圆O4、O5位置和半径下计算得到的f值；

图14是实验结果示意图。

具体实施方式

在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。

在本发明的描述中，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

如图9所示，本实施例所提供的机器视觉定位方法包括：

S1，对图像进行二值化处理，并获取待定位的Mark标志在所述图像中的初步边界轮廓线。

S2，获取所述初步边界轮廓线所在区域的中心作为所述Mark标志的初始中心。对于圆形的Mark标志而言，候选中心即为初始圆心。

S3，在所述初始中心的位置附近选择多个候选中心。对于圆形的Mark标志而言，候选中心即为候选圆心。对于非圆形的Mark标志而言，候选中心即为几何中心。

S4，根据所述Mark标志的中心到边界的标准距离，设置中心到边界的动态调整范围，确定各所述候选中心到边界的相应候选距离。对于圆形的Mark标志而言，标准距离即为标准半径，该标准半径根据圆形Mark标志的实际尺寸确定。各所述候选中心到边界的相应候选距离即为候选半径。对于非圆形的Mark标志而言，中心到边界的标准距离，该标准距离根据非圆形的Mark标志的实际尺寸确定。

需要说明的是，上述的S3和S4可以并列实施，也可以颠倒顺序实施。

S5，依据S3选择的多个所述候选中心以及S4确定的所述候选距离，获得多个候选边界轮廓线。对于圆形的Mark标志而言，候选边界轮廓线即为候选圆圈。

具体地，可以将所述候选中心的位置和候选距离当成三维离散空间，实际上是要在该三维离散空间中穷举所有可能。以圆形为例说明S3中的候选圆心以及S4中的候选半径和候选边界轮廓线的确定方法。

比如：如果初始圆心的位置为(100，100)，用户可以设置候选圆心的动态调整范围，比如10*10(像素)的范围，那么，候选圆心可以是(90,90),,…(91,90,),…,(91,91),…,(110,110)。

同样，用户输入标准半径Radius＝200，设置中心到边界的动态调整范围为0.1，那么，候选半径可以是180，181，182，…，218，219，220。

对于候选圆心和候选半径的组合可以为：

(90,90,180),(90,90,181),…(90,90,220),(91,90,180),(91,90,181),…,(91,90,220),(91,91,180),…,(110,110,220)，一共有11*11*41个组合。在根据这些组合，即可确定多个候选圆圈。

S6，根据S5中的各所述候选边界轮廓线，通过如下的C的表达式，判断每一个所述候选边界轮廓线内部区域的像素一致性；

C＝exp(H_d)；

式中，C是所述Mark标志内部像素的一致性，C值小表示所述候选边界轮廓线内部区域的像素一致性程度高，H_d是所述Mark标志内的像素分布熵，p_i是所述Mark标志内部具有强度为i的像素点占所有Mark标志内部像素点的比例；

S7，根据S5中的各所述候选边界轮廓线，通过如下的S的表达式，判断每一个所述候选边界轮廓线经过的像素点的锐利性：

S_k＝G_S·G_l；

式中，S是所有边界轮廓线像素的锐利度，S_k是两个像素点的梯度内积为边界轮廓线像素的锐利度，G_S是边界轮廓线上某个像素P_r,c在标准图像中的梯度，G_l是边界轮廓线上某个像素P_r,c在待定位图像中的梯度，k是位于边界轮廓线上的所有像素；

S8，使用如下的f表达式，计算S5中的各所述候选边界轮廓线的f值，并将f值最小对应的所述候选边界轮廓线定位为所述Mark标志的边界轮廓线；

f＝αC+(1-α)S；

式中，α是权重。权重α是通过实验进行选取。不同情况下的Mark标志，权重的选取是不一样的。这个要经过实验，然后根据实验数据得到回归方程，最终会得到权重。本实施例的权重α的范围为[0.05,0.35]。

在一个实施例中，所述Mark标志为圆形时，S1利用圆度、面积和外接半径的特征选取方法获取所述初步边界轮廓线。圆度、面积和外接半径这些特征是本发明依据实际生产定的。

在一个实施例中，S2使用Hough变换的圆心方法获取所述初步边界轮廓线所在区域的中心。

在一个实施例中，所述Mark标志为非圆形时，S1利用Hough变换的直线方法获取所述初步边界轮廓线。

在一个实施例中，S2具体包括：

S21，S1得到的所述初步边界轮廓线的多条轮廓线相交，形成多个交点；

S22，根据S21得到的各所述交点，取平均值，得到所述Mark标志的初始中心。比如：对于三角形的Mark标志，使用Hough变换的直线方法，会得到三条直线，然后三条直线相交，会形成三个交点。三个交点求平均值，就可以得到三角形Mark位置的初步中心。

本实施例同时考虑Mark标志的内部像素点的一致性和候选边界轮廓线经过的像素点的锐利性，以达到高精度的Mark标志定位。通过选取f值最小对应的所述候选边界轮廓线定位为所述Mark标志的边界轮廓线，因此，不论何种情况下，Mark标志在图像中的内部像素具有最大程度的一致性，而对于候选边界轮廓线经过的像素点，则具有最大的锐利性。

本发明的精确定位方法适用于下面这些Mark标志。接下来会以实心圆作为实例，阐述本发明方法。

以实心圆Mark标志为例。如图5所示，图中的圆圈D给出的是理想的标准的实心圆Mark标志的边界轮廓线，在圆圈E中，其包含的像素均为黑色，不包含“杂色”——白色，该圆圈E即为本发明方法需要定位到的边界轮廓线。而实际使用本发明方法的时候，需要确定依据S3选择的多个所述候选圆心以及S4确定的所述候选半径，获得多个候选圆圈，例如确定了图6中的圆圈E、圆圈F和圆圈G。在圆圈F内部，大部分为黑色像素，很少一部分为“杂色”白色像素；在圆圈G内部，包含的区域内部，黑色像素比圆圈F内部区域的多，而白色像素比蓝色曲线内部区域的少。显然，在圆圈E内部，的圆心是黑色的Mark标志标识的真实位置，而圆圈F和圆圈G的圆心，与Mark标志标识的真实位置之间有一定偏差。待选的圆心所构成的圆圈内部，像素的一致性越高，则越接近真实位置。

在实际生产中，在工业相机拍摄的Mark标志的图像为灰度图像。待选曲线内部像素的一致性可以作为Mark标志标识真实位置的一种衡量标准。例如，图6a和图6b分别表示某工业相机拍摄的Mark标志，候选圆圈H的候选圆心为O1，候选圆圈I的候选圆心为O2，候选圆圈H和候选圆圈I的半径相同。

图6a中的候选圆圈H所包含的内部像素都是灰色，而图6b的候选圆圈I所包含的内部像素除了大部分为灰色，还有一部分为白色，以及颜色更深的灰色。显然，图6a中候选圆圈H包含的内部像素的一致性大于图6b，因此图6a中的候选圆圈H的圆心更接近Mark标志表示的真实位置。Mark标志内部一致性可以作为Mark标志的一种衡量标准

本发明的S6使用Mark标志内部像素分布所得到的熵作为一致性的判断标准。真实位置上的Mark标志内部像素的分布趋于一致，对应的熵的值最小。在实际应用中，为了使得一致性更具区分性，使用熵的指数C表示Mark标志内部像素的一致性。如果C的值越小，则表面候选曲线包含的内部像素越一致，则该候选位置越接近Mark标志表示的真实位置。

工业相机得到的图像，内部像素的一致性表征的是构成Mark标志的像素所组成的形状。依据前面介绍的工业相机得到Mark标志图像中存在的问题，除了要考虑内部像素的一致性，还需要考虑Mark标志的边界轮廓线，也就是边界轮廓线像素的锐利性。图像中，像素梯度值表征该像素是否为图像的边界轮廓线。本发明使用像素的梯度值来衡量边界轮廓线像素的锐利性。对于图5给出的理想Mark标志而言，圆圈E是理想的边界轮廓线，其经过的所有像素都具有不为零的梯度。图7是图5中某边界轮廓线处的放大图，以一阶导数构成的梯度为例，图中白色箭头表示的是一阶导数，分别为x轴方向和y轴方向上的一阶导数(y轴是图像坐标系，朝向下方为正方向)，导数值均为-255。黄色箭头表示的是梯度的方向。图7中的单独黄色箭头，因为其x轴方向的一阶导数为零，所以其梯度方向与y轴的导数方向相同。而绿色曲线和蓝色曲线，除了与红色曲线相交的像素点，曲线上其余的像素点的梯度均为0。所以，在图5中，圆圈F和圆圈G不是Mark标志的边界轮廓线。

由工业相机获取到的Mark标志图像的边界轮廓线要比理想的Mark标志图像更为复杂。图8给出图6中部分边界轮廓线的放大图。从图8中可以看到，Mark标志的图像边界轮廓线没有图7中的边界轮廓线突变，而是缓慢变化。图8中，除了白色像素，其余像素都具有梯度值。对于某个候选圆心，其边界轮廓线经过的像素都具有一定的梯度值。如果候选圆心是Mark标志表示的真实位置，那么其边界轮廓线经过的像素与图7中的像素点的梯度之间的相似度最高。这种相似度可以使用两个向量的内积表示，也就是可以使用对应位置上，图8中的G_S向量和图7中向量G_l的内积表示。内积值越大，则两个向量相似度越高。

本发明使用梯度内积衡量边界轮廓线像素的锐利度。首先生成与待判定Mark标志边界轮廓线相同的标准黑白图像(理想Mark标志)，计算边界轮廓线像素上的梯度，也就是图7中的向量G_l。然后计算待判定Mark标志在待定位图像中边界轮廓线位置的梯度，也就是图8中的G_S向量，最后计算两者的内积。假设边界轮廓线上某个像素P_r,c在标准图像中和待定位图像中的梯度分别为G_S和G_l，则两个像素点的梯度内积为边界轮廓线像素的锐利度：

S_k＝G_S·G_l

需要说明的是，对于向量而言存在符号，符号也能表征边界轮廓线的锐利度。符号相反，实际上说明的是边界轮廓线部分锐利度是相反的。比如：对于白底黑色为圆形前景色的图片(理想Mark标志)而言，圆的左上角部分边界轮廓线的梯度均为负数。而机器视觉中的定位孔，在成像中，同样Mark圆形是颜色较深的前景色，而背景色颜色较浅。所以，如果得到的实际图片中，左上角边界轮廓线像素的梯度是正的值，说明该边界轮廓线并不是从白色(背景色)到黑色(前景色)的过度，而是反过来由黑色到白色的。显然不应该是真正圆心和半径对应的边界轮廓线。

为了与像素内部一致性的取值一致，使用上面的式子S表示所有边界轮廓线像素的锐利度。

最终用下面的线性表达式给出的函数表示综合考虑Mark标志内部像素的一致性和边界轮廓线锐利度的结果：

f＝αC+(1-α)S

计算不同位置的Mark位置的f值，取最小值作为最终结果。

因为不同位置和不同Mark标志参数的计算不会相互影响，所以可以设计并行算法，使用GPU的并行计算，快速得到效果。

图10给出了一张需要使用Mark标志进行定位的图像。图中的Mark标志因为表面有覆膜，因此造成边界轮廓线不清晰。这种情况下Hough给出的结果不准确。因为Mark标志对应的孔洞有被污染的情况，所以使用模板匹配无法检测到该Mark标志。图11将图10中的图像二值化后，得到的Mark标志的大致位置，即边界轮廓线J和圆心O3。图12和图13是不同候选圆O4、O5位置和半径下，计算得到的f值。

以下结合附图通过实施例详细说明本发明，但不构成对本发明的限制。

本实施例提供一个采用本发明方法的用于圆形Mark精确定位的实例。

本实施例中，图像来自新诺公司科技股份有限公司PCB激光直接成像设备中的工业摄像机。

第一步，利用二值化，使用圆度、面积、外接半径特征，选中Mark标志所在区域。并求出区域的中心点作为Mark标志表示位置的初始位置。

第二步，在初始位置附近，设置Mark标志标识位置的区域，并设置圆形半径动态调整范围。使用f表达式，计算不同位置和不同半径下的f值。在所有结果中找出最小值，作为输出结果。

利用本发明的方法得到的最终结果如图13所示。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种机器视觉定位方法，其特征在于，包括：

S1，对图像进行二值化处理，并获取待定位的Mark标志在所述图像中的初步边界轮廓线；

S2，获取所述初步边界轮廓线所在区域的中心作为所述Mark标志的初始中心；

S3，在所述初始中心的位置附近选择多个候选中心；

S4，根据所述Mark标志的中心到边界的标准距离，设置中心到边界的动态调整范围，确定各所述候选中心到边界的相应候选距离；

S5，依据S3选择的多个所述候选中心以及S4确定的所述候选距离，获得多个候选边界轮廓线；

S6，根据S5中的各所述候选边界轮廓线，通过如下的C的表达式，判断每一个所述候选边界轮廓线内部区域的像素一致性；

C＝exp(H_d)；

式中，C是所述Mark标志内部像素的一致性，C值小表示所述候选边界轮廓线内部区域的像素一致性程度高，H_d是所述Mark标志内的像素分布熵，p_i是所述Mark标志内部具有强度为i的像素点占所有Mark标志内部像素点的比例；

S7，根据S5中的各所述候选边界轮廓线，通过如下的S的表达式，判断每一个所述候选边界轮廓线经过的像素点的锐利性：

S_k＝G_S·G_l；

式中，S是所有边界轮廓线像素的锐利度，S_k是两个像素点的梯度内积为边界轮廓线像素的锐利度，G_S是边界轮廓线上某个像素P_r,c在标准图像中的梯度，G_l是边界轮廓线上某个像素P_r,c在待定位图像中的梯度，k是位于边界轮廓线上的所有像素；

S8，使用如下的f表达式，计算S5中的各所述候选边界轮廓线的f值，并将f值最小对应的所述候选边界轮廓线定位为所述Mark标志的边界轮廓线；

f＝αC+(1-α)S；

式中，α是权重。

2.如权利要求1所述的机器视觉定位方法，其特征在于，所述Mark标志为圆形时，S1利用圆度、面积和外接半径的特征选取方法获取所述初步边界轮廓线。

3.如权利要求2所述的机器视觉定位方法，其特征在于，S2使用Hough变换的圆心方法获取所述初步边界轮廓线所在区域的中心。

4.如权利要求1所述的机器视觉定位方法，其特征在于，所述Mark标志为非圆形时，S1利用Hough变换的直线方法获取所述初步边界轮廓线。

5.如权利要求4所述的机器视觉定位方法，其特征在于，S2具体包括：

S21，S1得到的所述初步边界轮廓线的多条轮廓线相交，形成多个交点；

S22，根据S21得到的各所述交点，取平均值，得到所述Mark标志的初始中心。

Images