CN103345755A

CN103345755A - 一种基于Harris算子的棋盘格角点亚像素提取方法

Info

Publication number: CN103345755A
Application number: CN2013102911993A
Authority: CN
Inventors: 叶鑫; 张之敬; 高军; 金鑫; 邵超
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2013-07-11
Filing date: 2013-07-11
Publication date: 2013-10-09
Anticipated expiration: 2033-07-11
Also published as: CN103345755B

Abstract

本发明涉及一种基于Harris算子的棋盘格角点亚像素提取方法，属于微机械装配和显微视觉检测技术领域。本方法通过使用Harris算子进行棋盘格的角点检测；优化Harris算子的处理结果，剔除步骤一检测出的角点中的聚簇点；使用对称法剔除噪点，进行角点二次优化找到像素级角点；基于二次曲面拟合，将像素级角点精度提升为亚像素级。本发明方法能精确检测出黑白棋盘格的角点，且未出现原算法中的各种伪角点，检测精度达到0.1个像素。

Description

一种基于Harris算子的棋盘格角点亚像素提取方法

技术领域

本发明涉及一种基于Harris算子的棋盘格角点亚像素提取方法，属于微机械装配和显微视觉检测技术领域。

背景技术

目前，显微视觉系统在微小型结构件的装配过程中起到了至关的作用，显微视觉系统的摄像机定标精度越高，则装配系统的装配精度越高。棋盘格模板已广泛应用于摄像机定标过程,常用做法是通过建立棋盘格模板中特征点及棋盘格黑白区域角点的图像坐标与对应世界坐标之间的关系来实现对摄像机的定标，因此，棋盘格角点检测准确与否,直接决定了摄像机定标的精度。

目前，黑白棋盘格角点检测方法可以分为两类：直线检测法和角点检测法。直线检测法是首先对图像进行边缘检测，然后通过hough变换等手段求取直线，找出两条直线的交点即为角点的准确值。直线检测的方法简单易行，但是当图像存在较大畸变时，棋盘格的边缘会发生弯曲，这样通过直线拟合求出的角点坐标就会产生较大误差。角点检测法是一种基于图像灰度的检测方法，这类方法主要考虑像素邻域点的灰度变化，将于邻点亮度对比足够大的点定义为角点，这种方法的典型代表是Harris角点检测算法。Harris算子是C.Harris和M.J.Stephens在1988年提出的一种基于信号的这种点特征提取算子，Harris算子受信号处理中自相关函数的启发，给出与自相关函数相联系的矩阵M。M矩阵的特征值是自相关函数的一阶曲率，如果两个曲率值都高，那么就认为该点是点特征。有相关报道称，Harris角点检测算法是目前效果最好的算法，能够在图像旋转、灰度变化以及噪声干扰等情况下准确的提取角点，具有很高的稳定性和鲁棒性，适用于角点数目较多且光源复杂的情况。然而Harris算子在进行图像角点检测是，仍存在一些局限性，主要表现在以下几点：

（1）在用高斯函数对图像进行平滑处理的时候，需要设定高斯方差和高斯模板的大小，而高斯方差和高斯模板的大小不容易确定，窗口太小，在真实角点的邻域范围内容易出现较多伪角点，窗口太大，又会使真实角点的位置发生较大幅度偏移；

（2）在对角点进行非极大抑制时，角点提取效果依赖于阈值的设定。阈值小会导致角点聚簇现象，而阈值大又会丢失一部分角点信息；

（3）在求局部极大值时的邻域大小也会影响提取角点的数目和容忍度。

直接利用Harris算子对图片进行处理，结果中会出现很多伪角点和角点聚簇现象，还有很多明显不是角点的噪点，这种结果对于角点的提取是不利的。

发明内容

本发明的目的是为提高棋盘格角点提取的精度，提出一种基于Harris算子的角点亚像素提取方法，能精确识别棋盘格角点，对于后期的显微视觉标定和亚微米级装配精度提供了保证。

一种基于Harris算子的角点亚像素提取方法，具体步骤如下：

步骤一，使用Harris算子进行棋盘格的角点检测；

以显微视觉视场中棋盘格图像像面的左上角为原点，图像的水平方向为x轴，图像的竖直方向为y轴，建立像面坐标系，横坐标值x相同或者近似相等的角点为一列，纵坐标值y相同或者近似相等的角点为一行。

使用Harris算子检测角点的具体计算过程为：计算棋盘格图像每个像素点灰度函数G(x,y)的横向一阶导数平方G_x ²、纵向一阶导数平方G_y ²，以及二者的乘积G_xG_y，得到3幅新图像，3幅新图像中的每个像素点对应的属性值分别代表G_x ²、G_y ²和G_xG_y。再对3幅新图像分别进行高斯滤波，根据每个像素点在三幅滤波后图像中对应的属性值，计算原棋盘格图像上对应的每个像素点的兴趣值H，并找出整幅图像中的兴趣值最大值H_max，然后分别在以每个像素为中心的w×w窗口中，找到该窗口兴趣值最大值对应的像素点，其中w取奇数。若最大值点为中心点，且中心点的兴趣值大于ρH_max，则该点视为角点。否则该窗口最大值点为特征角点，其中，ρ为比例系数，一般取0.04到0.06。

步骤二，优化Harris算子的处理结果，剔除步骤一检测出的角点中的聚簇点；

由于聚簇点和伪角点的存在，步骤一Harris的检测结果中每列角点实际角点个数不同。本发明方法将每列角点的纵坐标值y按从小到大依次排列，再将排序好的纵坐标值依次做差值，即在同一列的角点中，后一个角点的纵坐标减前当前角点的纵坐标，并记录差值结果，当差值结果小于设定的阈值M时，则认为当前角点对应的后一个角点（即纵坐标值y排序在当前角点后一个的点）为聚簇点，予以剔除，该列中余下的角点即为优化后的角点。阈值M的选取取决于镜头的放大倍数和棋盘格的大小。

M = \frac{λ \times T}{δ}

其中λ表示棋盘格标定板中一个棋盘格的实际长度，单位为μm，T为显微镜头的放大倍数，δ为CCD的像元尺寸，单位为μm。

步骤三，使用对称法剔除噪点，进行角点二次优化；

分别以步骤二优化得到的各个角点为窗口中心，设置大小为n×n的窗口，定义对称算子的兴趣值是关于窗口中心角点对称的每一对像素点灰度差的绝对值，其计算公式：

c_s(i,j)=|I(x-m,y-m)-I(x+m,y+m)|

其中x表示中心角点在像面坐标系中的横坐标值，y表示中心角点在像面坐标系中的纵坐标值，I(x,y)表示中心角点对应的灰度值，对称参数m的取值原则为保证对称算子兴趣值区分度满足检测要求，不能取的过大，否则区分度不明显。

对n×n的窗口中每个像素点计算对称算子兴趣值c_s，对于理想的角点，灰度分布是关于其对称的，因此对称算子兴趣值c_s应该为0，但由于光照的影响和镜头的制造误差，c_s不可能取到0，然而相对于角点周围的像素点，理想角点的对称算子兴趣值c_s较小，基于此理论，找出每一个n×n窗口中对称算子兴趣值最小的像素点作为二次优化后的像素级角点。

步骤四，基于二次曲面拟合，将步骤三得到的像素级角点精度提升为亚像素级。

对于坐标值为(x,y)的像素级角点，用二元二次多项式来逼近以像素级角点(x,y)为中心的a×a拟合窗口W内的角点响应函数，然后用线性解法求得亚像素级角点坐标。建立角点响应函数R(x,y)：

R(x,y)＝a₀+a₁x+a₂y+a₃x²+a₄xy+a₅y²

式中a₀,a₁,...,a₅为未知系数，a×a拟合窗口中有a²个方程，使用最小二乘法求解得到a₀,a₁,...,a₅。

函数R(x,y)在拟合曲面的极值点满足方程组：

\frac{δR (x, y)}{δx} = a_{1} + 2 a_{3} x + a_{4} y = 0

\frac{δR (x, y)}{δy} = a_{2} + a_{4} x + 2 a_{5} y = 0

由此得到亚像素级的角点坐标(xx,yy)为：

xx = \frac{{2 a}_{1} a_{5} - a_{2} a_{4}}{{a_{4}}^{2} - {4 a}_{3} a_{5}}

yy = \frac{2 a_{2} a_{3} - a_{1} a_{4}}{{a_{4}}^{2} - {4 a}_{3} a_{5}}

若亚像素级坐标值位于以像素级角点(x,y)为中心的a×a拟合窗口W内，则认为该亚像素角点为合格角点；如果亚像素级角点位于W之外，按以下情况对亚像素级坐标进行赋值：

如果xx<x-1，则令xx=x-1；如果xx>x+1，则令xx=x+1；如果yy<y-1，则令yy=y-1；如果yy>y+1，则令yy=y+1。

至此完成棋盘格角点亚像素提取，得到棋盘格的所有亚像素级角点。

有益效果

本发明方法能精确检测出黑白棋盘格的角点，且未出现原算法中的各种伪角点，检测精度达到0.1个像素。

附图说明

图1为本发明的一种基于Harris算子的棋盘格角点亚像素提取方法流程图；

图2具体实施方式中Harris算子角点检测结果图；

图3具体实施方式中Harris角点检测结果中的聚簇点的局部放大图；

图4具体实施方式中中心对称示意图。

具体实施方式

为了更好的说明本发明的目的和优点，下面结合附图和实施例对本发明内容作进一步说明。

使用Basler500万像素的面阵CCD，配置Navitar12X连续变焦镜头拍摄标准棋盘格标定板，棋盘格的放置方向和像面坐标系平行，每个棋盘格大小为0.2mm，误差为0.1μm，首先对获得的图像使用传统的Harris算子对其进行角点提取,具体步骤如下：

（1）设定x方向的梯度算子为[-2-1012],设定y方向的梯度算子为[-2;-1;0;1;2],对图像的灰度函数G(x,y)求偏导，分别得到G_x，G_y，对其进行运算得到G_x ²、G_y ²、G_xG_y，然后对G_x ²、G_y ²、G_xG_y进行高斯平滑，使用的是σ＝2，窗口大小为7×7的高斯函数，得到I_x ²、I_y ²、I_xI_y，将其组合成矩阵M，

M = [\begin{matrix} {I_{x}}^{2} & I_{x} I_{y} \\ I_{x} I_{y} & {I_{y}}^{2} \end{matrix}] .

（2）计算每个像素点的兴趣值H

H=Det(M)-αTr²(M)

其中α取0.06。Det为矩阵M的行列式，Tr为矩阵M的迹，找出所有像素点对应感兴趣值H中的H_max，从而算出阈值ρH_max，其中ρ取0.04。

（3）在3×3窗口范围内寻找感兴趣值H对应的极大值点，当极大值点出现在3×3窗口的中心，且感兴趣值H大于ρH_max，则将该点视为角点，图1为使用Harris算子角点检测的结果图。

第二步，剔除Harris算子检测出的角点中的伪角点和聚簇点，Harris算子的检测结果可以得到图像中的各角点坐标，将每列角点的纵坐标值y按从小到大依次排列，再将排序好的纵坐标值依次做差值，即在同一列的角点中，后一个角点的纵坐标减前当前角点的纵坐标，并记录差值结果，差值结果依次与阈值60进行比较，当小于60时则当前角点的后一个角点被剔除，阈值60是根据当前显微镜头的放大倍数，像元尺寸和棋盘格的实际大小计算得出。

第三步，使用对称法剔除噪点和角点优化。

对于理想的黑白棋盘格图像，各特征角点周围图像灰度信息关于特征角点中心对称的。据此，可以对角点进行优化。如图3所示，是理想角点的中心对称状况。其中m的取值一般不宜过大，推荐取2,3,4,5，本实施例取值2。实验证明取值过大会导致对称算子兴趣值区分度不大。对于前两步检测出的角点坐标，以每个角点为中心设置3×3的窗口W，计算对称算子兴趣值c_s(x,y)：

c_s(x,y)=|I(x-2,y-2)-I(x+2,y+2)|

找出3×3窗口中对称算子兴趣值最小的那个像素点，并以此为优化后的角点。

第四步，基于二次曲面拟合的亚像素角点提取，

实际中像素灰度值的变化是一个渐变的过程，角点可能出现在两个像素之间而不是单位像素的位置，这种情况下，用单位像素表达的角点位置就可能存在误差。因此，为了进一步提高畸变标定的精度，需要将角点检测的精度由像素级提高到亚像素级。将一个像素进行细分，可以得到很多更小的单元，这些更小的单元就成为亚像素。

黑白棋盘格亚像素级角点提取通常有两种方法，一种是二次曲面拟合法，另一种是通过最小化误差函数的迭代方法来获取亚像素级角点坐标值。其中，二次曲面拟合法简单直接，且角点提取精度较高，因此该方法中采用二次曲面拟合的方法来求取亚像素级的角点坐标。

所谓二次曲面拟合，就是利用一个二次曲面，也就是一个二元二次多项式来逼近以角点为中心的3×3邻域内的角点响应函数，然后用线性解法求得亚像素级角点坐标，其中，角点响应函数R(x,y)：

R(x,y)＝a₀+a₁x+a₂y+a₃x²+a₄xy+a₅y²

式中含有a₀,a₁,...,a₅6个未知系数，而3×3的拟合窗口有9个方程，因此可以使用最小二乘法求解得到a₀,a₁,...,a₅这6个未知数的值。函数R(x,y)在拟合曲面的极值点应满足方程组：

\frac{δR (x, y)}{δx} = a_{1} + 2 a_{3} x + a_{4} y = 0

\frac{δR (x, y)}{δy} = a_{2} + a_{4} x + 2 a_{5} y = 0

联立两个方程组，可以得到亚像素级的角点坐标(xx,yy)为：

xx = \frac{{2 a}_{1} a_{5} - a_{2} a_{4}}{{a_{4}}^{2} - {4 a}_{3} a_{5}}

yy = \frac{2 a_{2} a_{3} - a_{1} a_{4}}{{a_{4}}^{2} - {4 a}_{3} a_{5}}

对以上二次曲面拟合的亚像素级角点坐标算法，结果发现部分角点求取的亚像素级角点坐标值出现较大偏差，具体原因是由于二次曲面拟合的结果不够准确和图像中噪点的影响，导致少量角点坐标值出现较大偏差，因此需要做进一步的判断。

对于某坐标值为(x,y)的像素级角点，通过二次曲面拟合的方法计算其亚像素级的角点坐标(xx,yy)，对其进行判断，如果该亚像素级坐标值位于以像素级角点(x,y)为中心的3×3的窗口W内，则认为该亚像素角点为合格角点；如果亚像素级角点位于W之外，按一下情况对亚像素级坐标进行赋值：

如果xx<x-1，则令xx=x-1；如果xx>x+1，则令xx=x+1；如果yy<y-1，则令yy=y-1；如果yy>y+1，则令yy=y+1；

该方法可以很好的检测出黑白棋盘格的角点，且未出现原算法中的各种伪角点，检测结果有较大的改善，检测精度达到0.1个像素。

Claims

1.一种基于Harris算子的棋盘格角点亚像素提取方法，其特征在于：具体步骤如下：

步骤一，以显微视觉视场中棋盘格图像像面的左上角为原点，图像的水平方向为x轴，图像的竖直方向为y轴，建立像面坐标系，使用Harris算子进行棋盘格的角点检测，得到角点和特征角点；

将每列角点的纵坐标值y按从小到大依次排列，再将排序好的纵坐标值依次做差值，即在同一列的角点中，后一个角点的纵坐标减前当前角点的纵坐标，并记录差值结果，当差值结果小于设定的阈值M时，则认为当前角点对应的后一个角点为聚簇点，予以剔除，该列中余下的角点即为优化后的角点；

步骤三，使用对称法剔除噪点，进行角点二次优化；

c_s(i,j)=|I(x-m,y-m)-I(x+m,y+m)|

其中x表示中心角点在像面坐标系中的横坐标值，y表示中心角点在像面坐标系中的纵坐标值，I(x,y)表示中心角点对应的灰度值，m为对称参数；

对n×n的窗口中每个像素点计算对称算子兴趣值c_s，找出每一个n×n窗口中对称算子兴趣值最小的像素点作为二次优化后的像素级角点；

步骤四，基于二次曲面拟合，将步骤三得到的像素级角点精度提升为亚像素级；

对于坐标值为(x,y)的像素级角点，用二元二次多项式来逼近以像素级角点(x,y)为中心的a×a拟合窗口W内的角点响应函数，然后用线性解法求得亚像素级角点坐标；建立角点响应函数R(x,y)：

R(x,y)＝a₀+a₁x+a₂y+a₃x²+a₄xy+a₅y²

式中a₀,a₁,...,a₅为未知系数，a×a拟合窗口中有a²个方程，使用最小二乘法求解得到a₀,a₁,...,a₅；

函数R(x,y)在拟合曲面的极值点满足方程组：

\frac{δR (x, y)}{δx} = a_{1} + 2 a_{3} x + a_{4} y = 0

\frac{δR (x, y)}{δy} = a_{2} + a_{4} x + 2 a_{5} y = 0

由此得到亚像素级的角点坐标(xx,yy)为：

xx = \frac{{2 a}_{1} a_{5} - a_{2} a_{4}}{{a_{4}}^{2} - {4 a}_{3} a_{5}}

yy = \frac{2 a_{2} a_{3} - a_{1} a_{4}}{{a_{4}}^{2} - {4 a}_{3} a_{5}}

2.根据权利要求1所述的一种基于Harris算子的棋盘格角点亚像素提取方法，其特征在于：使用Harris算子检测角点的具体计算过程为：计算棋盘格图像每个像素点灰度函数G(x,y)的横向一阶导数平方G_x ²、纵向一阶导数平方G_y ²，以及二者的乘积G_xG_y，得到3幅新图像，3幅新图像中的每个像素点对应的属性值分别代表G_x ²、G_y ²和G_xG_y；再对3幅新图像分别进行高斯滤波，根据每个像素点在三幅滤波后图像中对应的属性值，计算原棋盘格图像上对应的每个像素点的兴趣值H，并找出整幅图像中的兴趣值最大值H_max，然后分别在以每个像素为中心的w×w窗口中，找到该窗口兴趣值最大值对应的像素点，其中w取奇数；若最大值点为中心点，且中心点的兴趣值大于ρH_max，则该点视为角点；否则该窗口最大值点为特征角点，其中，ρ为比例系数。

3.根据权利要求1所述的一种基于Harris算子的棋盘格角点亚像素提取方法，其特征在于：阈值M的选取取决于镜头的放大倍数和棋盘格的大小；

M = \frac{λ \times T}{δ}