CN102679871A - 亚像素精度工业物体快速检测方法 - Google Patents

Abstract

本发明涉及一种亚像素精度工业物体快速检测方法，首先，对待测图像和模板图像进行平滑后提取边缘，以坐标信息表示边缘点；之后，计算两幅图像上物体的内外轮廓上的点的法向量和切线向量，并转换成角度信息；对图像上物体的内外轮廓上的边缘点提取Shape Context信息；利用角度信息对每一个点的Shape Context描述子进行校正，得到改进型描述子；对改进型描述子添加位置等信息，得到边缘点的特征向量；最后，采用ICP迭代算法反复对各自特征点进行匹配并计算反变换矩阵，得到整个反变换矩阵和待检测物体轮廓上各点的亚像素位置信息。本发明具有易于实现、鲁棒性强、精确度高、实时性强，旋转不变性等优点。

Description

亚像素精度工业物体快速检测方法

技术领域

本发明涉及图像处理和计算机视觉技术领域，具体涉及一种亚像素精度工业物体快速检测方法。

背景技术

亚像素精度定位物体的位置和角度等信息是物体检测系统中的重要环节，通常为了保证真实场景中待检测物体获得高精度的位置和角度信息，图像中物体的定位精度须达到亚像素级别。由于图像中单个像素点提供的位置信息仅为一个像素级别，因此获取亚像素位置信息需要利用像素点周围邻域的其他点来实现。提高定位精度主要通过两类途径来解决：

1.对物体提取特征时采用较复杂的描述子，该描述子能在亚像素级别上做区分。

2.大量提取物体上的特征点，依赖高正确率的匹配，计算整体变换参数，综合得出每个特征点的亚像素位置信息。

目前常见的高精度定位方法大多数将以上两种途径结合使用。在第一类途径中，常见的特征提取办法分为3大类：

1.边缘的检测，如Canny,Sobel,Harris,SUSAN等；

2.兴趣点的检测，如Harris,SUSAN,FAST,Laplacian of Gaussian,Differenceof Gaussians等；

3.兴趣点周围邻域块的检测，如Laplacian of Gaussian,Difference ofGaussians,MSER,PCBR等。

而常见的亚像素特征提取算法主要基于以上3大类展开，例如：

1.边缘曲线拟合，通过Sobel算子提取边缘点，用一阶直线或二阶曲线对局部边缘点集合拟合，线与线之间的交点坐标即为角点的亚像素位置。

2.邻域曲面拟合，通过上述一种兴趣点提取算法提取某兴趣点后，以该兴趣点为

中心，根据兴趣点邻域像素的灰度信息，拟合得到3维曲面，曲面中对应的极值点即为该兴趣点在亚像素精度上的位置。

第二类途径的基本原理与第一类途径不同，其相关算法都引入了图像模板。迭代计算的过程，就是逐次计算待检测图像和模板图像之间的变换矩阵，并使代价函数越来越小的过程。根据代价函数的不同，此类算法可以分为两类：

1.代价函数正比于区域图像灰度值之差，如

2.代价函数正比于图像内特征点的描述子之差，如坐标之差

$(R_k,t_k)=\underset{R,t}{\arg \min }\left(\underset{i=1}{\overset{N_p}{\mathrm{\Σ}}}{\left|\right|m_{c_k\left(i\right)}-R(R_{k-1}{p}_i+t_{k-1})-t\left|\right|}^2\right).$

上述方法为高精度定位方法的通用思路，然而，每一方法对应的具体应用方法存在应用局限性。如特征点的选取，从边缘点，角点到SIFT点等，每种提取算法都存在各自的局限性，都只适用于各自特定的物体类型。第一种特征，领域特征，基于DOG信息，例如著名的SIFT描述子，就不能应用在纹理稀少的物体上。在纹理稀少的情况中，邻域特征往往会不稳定，而且特征点的提取和描述都耗时较大，经常不能满足实时性要求。而另一种简单特征，如角点，边缘等信息，会造成后续匹配上的难度，而且在尺度缩放，多维度变换后特征点的位置信息的精度也会受到很大影响。

综上所述，目前常见的高精度定位方法，无法采用哪种途径，都不能始终适用于丰富多样的工业物体，也无法在特殊情况下（纹理稀少，自身多处对称，光照不均匀，噪声大等）依旧保持一定的高精度。本发明所采用的方法是从第二种途径出发，改进了现有的一种描述子，并结合了一种传统的迭代匹配算法，最终实现了一种新型的定位方法，该方法具有“高适应性，高速，高精度”3种特性于一身。

发明内容

针对上述现有技术的缺陷，本发明的目的在于提供一种高适应性，高速，高精度的亚像素精度工业物体快速检测方法。

为达到上述目的，本发明提供一种亚像素精度工业物体快速检测方法，包括以下步骤：

（1）对包含待测物体的图像和模板图像分别进行平滑处理后提取边缘，保留物体的内外轮廓并过滤掉部分错误的边缘点，以坐标信息表示边缘点；

（2）计算两幅图像上物体的内外轮廓上的每个边缘点的法向量和切线向量，分别计算法向量和切线向量与水平方向的夹角，并择其一记录，与坐标信息共同表示边缘点；

（3）对两幅图像上物体的内外轮廓上的边缘点分别提取Shape Context信息，针对每一个点都得到一个Shape Context描述子；

（4）利用步骤2中的角度信息对每一个点的Shape Context描述子进行校正，得到一个新的改进型描述子，该改进型描述子具有对旋转保持稳定的性质；

（5）步骤（4）对两幅图像上物体的全部边缘点建立新的改进型描述子后，对改进型描述子添加所对应的边缘点的位置等信息，得到针对每一个边缘点的特征向量；

（6）在对两幅图像都提取出各自边缘点的特征向量后，采用ICP迭代算法反复对各自特征点进行匹配并计算反变换矩阵，最终得到整个反变换矩阵和待检测物体轮廓上各点的亚像素位置信息。

依照本发明较佳实施例所述的亚像素精度工业物体快速检测方法，步骤（4）进一步包括：

（41）计算切线与水平方向夹角，采用atan函数；

（42）Shape Context中两点之间连线与水平方向夹角计算时采用atan2函数；

（43）将Shape Context中两点之间连线与水平方向夹角和步骤（41）中的切线角度相减，并归一到-90°至90°之间；

（44）利用步骤（43）得到的结果划分log-polar空间的角度，并生成最终的ShapeContext柱状图；

（45）将柱状图向量化并归一化，在向量前段加入该点的坐标信息和切向角度信息；

（46）根据预设的位置信息，角度信息和Shape Context描述子的权重再次进行归一化，得到最终改进型描述子。

依照本发明较佳实施例所述的亚像素精度工业物体快速检测方法，步骤（43）采用的计算公式为：γ_p-q=α_p-q-β_p。其中，

p为当前建立shape context描述子的点，点q为点p邻域附件的任一个点，α为pq连线与水平方向的夹角，β为点p的切线与水平方向的夹角，γ为计算shapecontext的过程中所要存储的相对角度信息。

依照本发明较佳实施例所述的亚像素精度工业物体快速检测方法，步骤（1）包括：

（11）在待测物体的图像和模板图像中，找出物体在图像中的大概范围，扩大范围提取出物体区域；

（12）对包含完整物体轮廓的图像区域进行高斯模糊处理，Canny边缘检测，过滤错误点，提取出边缘点；

（13）将检测出的边缘点用其坐标信息所表示，记录并生成一张物体的轮廓图；

（14）将步骤（13）得到的轮廓图放大到与原始输入图像同样的大小。

依照本发明较佳实施例所述的亚像素精度工业物体快速检测方法，步骤（2）包括：

（21）对步骤（14）得到的物体轮廓进行多项式拟合，拟合出的曲线在某一边缘点的一阶导数即为该边缘点的斜率；

（22）通过斜率计算出该处曲线的法向向量和切线向量，分别计算法向向量和切线向量与水平方向的夹角，并在法向角和切向角中择其一记录，与坐标信息共同表示该边缘点。

依照本发明较佳实施例所述的亚像素精度工业物体快速检测方法，步骤（21）中，具体的多项式拟合采用二阶曲线拟合。

依照本发明较佳实施例所述的亚像素精度工业物体快速检测方法，二阶曲线拟合还需采纳边缘点附近足够多的点的信息，具体提取点周围5*5~10*10的邻域。

本发明所采用的方法是从现有高精度定位方法的第二种途径出发，改进了现有的一种描述子，并结合了一种传统的迭代匹配算法，最终实现了一种新型的定位方法，该方法具有“高适应性，高速，高精度”3种特性于一身。与现有技术相比，本发明具有以下优点：

1、本发明中，曲线拟合算法部分采用模板匹配路线，模板和待检测物体是同一个物体或者基本相同的同类物体，所采用的匹配方法是物体边缘上全部的点同时进行匹配，直到每一个边缘点都能匹配得很“好”，也就是所有的边缘点综合信息，权衡之后得出一个最优值，以实物比较实物，以全局比较全局，因此，相比于传统的曲线或曲面拟合算法，精确度较高。

2、本发明没有采用传统的复杂特征提取方法，而是采用一种新型的描述子，该描述子能处理较大尺度改变和较大旋转之后的匹配问题，实现了旋转不变性。并且精度更高，更鲁棒，能更好的配合一种已成熟的迭代匹配算法，使之也满足了实时性要求。

3、对于图像区域的迭代匹配过程，本发明基于边缘特征，边缘特征属于梯度特征的一种，梯度特征本身就对光照变化有一定的鲁棒性，而且，噪声对梯度的提取影响相对较小，因此，本发明对光照变化、噪声不敏感。

4、即使物体发生较大尺度的缩放，平移以及较大角度的旋转，该方法仍能保持较高的定位精度。

附图说明

图1为本发明亚像素精度工业物体快速检测方法的流程原理图；

图2为本发明实施例的待检测物体的内外轮廓图；

图3为本发明实施例的物体边缘点的法向向量绘制图；

图4为本发明实施例的Shape Context采用的log-polar对数极坐标系示意图；

图5为本发明实施例的校准Shape Context描述子角度的关系图；

图6为本发明实施例的改进后的Shape Context描述子以及后续处理图；

图7a为原始ICP算法循环原理流程图；

图7b为原始ICP算法循环原理公式描述流程图；

图8为本发明实施例的ICP迭代流程图。

具体实施方式

以下结合附图，具体说明本发明。

请参阅图1至图8，一种亚像素精度工业物体快速检测方法，包括以下步骤：

S11：对包含待测物体的图像和模板图像分别进行平滑处理后提取边缘，保留物体的内外轮廓并过滤掉部分错误的边缘点，以坐标信息表示边缘点。

将包含待检测物体的图像和模板图像读入到计算机后，分别对两幅图像进行提取轮廓处理操作，具体包括以下步骤：

S111：在待测物体的图像和模板图像中，找出物体在图像中的大概范围，扩大范围提取出物体区域。

S112：对包含完整物体轮廓的图像区域进行高斯模糊处理，Canny边缘检测，过滤错误点，提取出边缘点。

S113：将检测出的边缘点用其坐标信息所表示，记录并生成一张物体的轮廓图。

S114：将步骤S113得到的轮廓图放大到与原始输入图像同样的大小。

S12：计算两幅图像上物体的内外轮廓上的每个边缘点的法向量和切线向量，分别计算法向量和切线向量与水平方向的夹角，并择其一记录，与坐标信息共同表示边缘点。具体包括以下步骤：

S121：对步骤S114得到的物体轮廓进行多项式拟合，拟合出的曲线在某一边缘点的一阶导数即为该边缘点的斜率；

S122：量与水平方向的夹角，并在法向角和切向角中择其一记录，与坐标信息共同表示该边缘点。

经过高斯模糊后提取出的轮廓基本是平滑的，所以可以进行多项式拟合。在大量实验后发现，一段较短的轮廓可以简单的用二阶曲线来拟合。拟合出的曲线在该点的一阶导数即为改点的斜率。最后通过斜率计算出该处曲线的法向向量和切线向量，并在法向角和切向角中择其一记录，与坐标信息共同表示该点。采用法向向量表示方法的效果可见图3。

考虑到光照影响，提取出的边缘可能会出现凹凸不平的情况。另外，由于图像采样精度的限制，倾斜的直线可能出现相邻两个像素只有竖直方向或水平方向上的改变，所以，曲线拟合需综合采纳边缘点附近足够多的点的信息。本发明认为提取点周围5*5~10*10的邻域是比较合理的。

在无法通过二阶曲线拟合的轮廓处，例如直角的拐点附近，计算出的法向向量和切线向量会与实际有较大的偏差，本发明充分考虑了这种情况，并认为这种偏差是可以接受的，并且这种偏差恰恰可以作为这种特殊的轮廓点的明显特征来处理。因为采用的是同一种拟合方法，这种偏差同时存在于待检测物体轮廓和模板物体的轮廓上，并且保有高度的统一性，所以可以归入正常情形一并处理。

S13：对两幅图像上物体的内外轮廓上的边缘点分别提取Shape Context信息，针对每一个点都得到一个Shape Context描述子。

Shape Context描述子最早被应用于物体种类的识别，原始的Shape Context描述子不包含描述点的坐标信息与切线角度信息。生成描述子的算法为：

一个图形用一系列离散的点锁代表这些采样点来自于图形的内外轮廓

P＝{p₁，…，p_n}，

为每一个点计算一个柱状图

$h_i^k=\#\{q\≠p_i:q-p_i\∈\mathrm{bin}\left(k\right)\}.$

其中邻域分割方法采用log-polor对数极坐标空间，关于对数极坐标详见图4。

S14：利用步骤S12中的角度信息对每一个点的Shape Context描述子进行校正，得到一个新的改进型描述子，该改进型描述子具有对旋转保持稳定的性质。

传统的Shape Context描述方法因为针对分类，所以在点的特征描述上存在不精细的现象。其基本的缺陷体现在以下两点：a)传统的Shape Context在描述两个出于点对称或镜像对称位置上的点时会发生混淆，两点的描述基本相同不可区分。b)传统的Shape Context所要描述的特征点所在物体如果发生整体旋转，描述结果也会随之改变。使得该描述不能在旋转时保持稳定性，造成点与点匹配上的难度。

本发明将传统的Shape Context与点的坐标和角度信息相结合，得到了一个能广泛应用于传统迭代算法的改进型Shape Context描述子。并且该改进型描述子能很好的处理物体整体旋转的问题，具体做法如下：

S141：计算切线与水平方向夹角，采用atan函数；

S142：Shape Context中两点之间连线与水平方向夹角计算时采用atan2函数；

S143：将Shape Context中两点之间连线与水平方向夹角和步骤S141中的切线角度相减，并归一到-90°至90°之间；

S144：利用步骤S143得到的结果划分log-polar空间的角度，并生成最终的ShapeContext柱状图；

S145：将柱状图向量化并归一化，在向量前段加入该点的坐标信息和切向角度信息；

S146：根据预设的位置信息，角度信息和Shape Context描述子的权重再次进行归一化，得到最终改进型描述子。详细描述子样例参见图6。

依照本发明较佳实施例所述的亚像素精度工业物体快速检测方法，步骤S143采用的计算公式为：γ_p-q=α_p-q-β_p。其中，

p为当前建立shape context描述子的点，点q为点p邻域附近的任一个点，α为pq连线与水平方向的夹角，β为点p的切线与水平方向的夹角，γ为计算shapecontext的过程中所要存储的相对角度信息。

S15：步骤S14对两幅图像上物体的全部边缘点建立新的改进型描述子后，对改进型描述子添加所对应的边缘点的位置等信息，得到针对每一个边缘点的特征向量。

S16：在对两幅图像都提取出各自边缘点的特征向量后，采用ICP迭代算法反复对各自特征点进行匹配并计算反变换矩阵，最终得到整个反变换矩阵和待检测物体轮廓上各点的亚像素位置信息。

本发明将传统的种类识别算法Iterative Closet Points（ICP）的迭代过程引入到特征点的精确匹配中来。原始的ICP算法循环图可见图7a与图7b，其中图7a为文字描述，图7b为公式描述，该算法为现有技术且为本领域的技术人员所熟知，故在此对其不予赘述。

由于步骤S13得到的描述子里已经包含了点的切向角度信息，所以即使采用原始的ICP算法，也不会出现迭代过程中收敛到局部最优值的情况。因此，迭代过程中可以不用反复去求点与线或面的距离，也不需要插值求出线或面上精确的点的亚像素信息。在稍微增加若干次迭代次数的代价下，也能取得基本相同的精度。本发明最终采用的ICP详细迭代过程可以见图8。

为了更好的适应于本发明的新的改进型Shape Context描述子，本发明在程序编写上对原始的ICP迭代算法做出如下改进：

1、原始ICP迭代匹配的是物体表面上经过抽取采样出来的点，彼此位置不一定连续，可以是分散的；而本发明匹配的是物体边缘上全部的点，所有点彼此连续，并组成了物体的内外轮廓。

2、原始ICP中特征点的描述信息为其横纵坐标，即其位置信息。本发明ICP过程中特征点的描述为改进过的Shape Context描述子，为一高维向量。

3、由于本发明中迭代匹配的是一高维向量，所以，为了加快匹配速度，本发明引入了KDTree索引，通过对所有的高维向量建立KDTree，能极大的加快匹配的进程，也意味着ICP算法整体效率上的提升。

以上所述，仅是本发明的较佳实施实例而已，并非对本发明做任何形式上的限制，任何未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施实例所作的任何简单修改、等同变化与修饰，均属于本发明技术方案的范围。

Claims (7)

1.一种亚像素精度工业物体快速检测方法，其特征在于，包括以下步骤：

（1）对包含待测物体的图像和模板图像分别进行平滑处理后提取边缘，保留物体的内外轮廓并过滤掉部分错误的边缘点，以坐标信息表示边缘点；

（2）计算两幅图像上物体的内外轮廓上的每个边缘点的法向量和切线向量，分别计算法向量和切线向量与水平方向的夹角，并择其一记录，与坐标信息共同表示边缘点；

（3）对两幅图像上物体的内外轮廓上的边缘点分别提取Shape Context信息，针对每一个点都得到一个Shape Context描述子；

（4）利用步骤2中的角度信息对每一个点的Shape Context描述子进行校正，得到一个新的改进型描述子，该改进型描述子具有对旋转保持稳定的性质；

（5）步骤（4）对两幅图像上物体的全部边缘点建立新的改进型描述子后，对改进型描述子添加所对应的边缘点的位置等信息，得到针对每一个边缘点的特征向量；

（6）在对两幅图像都提取出各自边缘点的特征向量后，采用ICP迭代算法反复对各自特征点进行匹配并计算反变换矩阵，最终得到整个反变换矩阵和待检测物体轮廓上各点的亚像素位置信息。

2.如权利要求1所述的亚像素精度工业物体快速检测方法，其特征在于，步骤（4）进一步包括：

（41）计算切线与水平方向夹角，采用atan函数；

（42）Shape Context中两点之间连线与水平方向夹角计算时采用atan2函数；

（43）将Shape Context中两点之间连线与水平方向夹角和步骤（41）中的切线角度相减，并归一到-90°至90°之间；

（44）利用步骤（43）得到的结果划分log-polar空间的角度，并生成最终的ShapeContext柱状图；

（45）将柱状图向量化并归一化，在向量前段加入该点的坐标信息和切向角度信息；

（46）根据预设的位置信息，角度信息和Shape Context描述子的权重再次进行归一化，得到最终改进型描述子。

3.如权利要求2所述的亚像素精度工业物体快速检测方法，其特征在于，步骤（43）采用的计算公式为：

γ_p-q=α_p-q-β_p，其中，

p为当前建立shape context描述子的点，点q为点p邻域附件的任一个点，α为pq连线与水平方向的夹角，β为点p的切线与水平方向的夹角，γ为计算shapecontext的过程中所要存储的相对角度信息。

4.如权利要求1所述的亚像素精度工业物体快速检测方法，其特征在于，步骤（1）包括：

（11）在待测物体的图像和模板图像中，找出物体在图像中的大概范围，扩大范围提取出物体区域；

（12）对包含完整物体轮廓的图像区域进行高斯模糊处理，Canny边缘检测，过滤错误点，提取出边缘点；

（13）将检测出的边缘点用其坐标信息所表示，记录并生成一张物体的轮廓图；

（14）将步骤（13）得到的轮廓图放大到与原始输入图像同样的大小。

5.如权利要求4所述的亚像素精度工业物体快速检测方法，其特征在于，步骤（2）包括：

（21）对步骤（14）得到的物体轮廓进行多项式拟合，拟合出的曲线在某一边缘点的一阶导数即为该边缘点的斜率；

（22）通过斜率计算出该处曲线的法向向量和切线向量，分别计算法向向量和切线向量与水平方向的夹角，并在法向角和切向角中择其一记录，与坐标信息共同表示该边缘点。

6.如权利要求5所述的亚像素精度工业物体快速检测方法，其特征在于，步骤（21）中，具体的多项式拟合采用二阶曲线拟合。

7.如权利要求6所述的亚像素精度工业物体快速检测方法，其特征在于，二阶曲线拟合还需采纳边缘点附近足够多的点的信息，具体提取点周围5*5~10*10的邻域。

Images