CN104517276A - 一种棋盘格角点检测方法 - Google Patents

Abstract

一种棋盘格角点检测方法，利用Harris角点检测算法检测棋盘格图像，获取候选角点，将所述候选角点的坐标精确至亚像素级，以每个所述候选角点为中心分别得到正方形对称模板，使用所述正方形对称模板对所述候选角点进行处理，剔除伪角点，得到格角点。本发明提供的棋盘格角点检测方法通过分析棋盘格图像角点邻域内的灰度值分布的规律性，采用以候选角点为中心的正方形对称模板，并使用所述正方形对称模板对所述候选角点进行处理，剔除伪角点，得到格角点，计算时间短，检测精度高。

Description

一种棋盘格角点检测方法

技术领域

本发明涉及图像技术领域，尤其涉及一种棋盘格角点检测方法。

背景技术

在图像中，角点是二维图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的点，是一个重要的局部特征，角点的信息含量很高,可以对图像处理提供足够的约束,减少运算量,极大地提高运算速度，有利于图像的可靠匹配,使得实时处理成为可能，而且在各种影像特征中角点具有旋转不变性和不随光照条件改变而改变的优点，所以在目标识别、图像匹配、图像重构方面角点具有十分重要的意义。

其中，棋盘格角点作为一种特殊角点被广泛应用于摄像机标定中。目前，棋盘格角点检测算法主要可以分为三类：第一类是基于图像边缘信息的角点检测算法，该类方法存在的主要问题是角点对边缘提取算法的依赖性大，如果边缘线发生中断将会对角点检测的结果造成很大的影响；第二类是基于图像灰度信息的角点检测算法，此类方法主要是通过计算曲率和梯度来达到检测角点的目的。其优点是避免了对边缘的依赖，缺点是有时梯度与曲率乘积的局部最大值点与角点的真实位置存在很大的偏移造成定位精度低，有时还会将棋盘格上一些本来不是角点的干扰点误认为是角点或者漏检一些实际的角点；第三类是基于小波变换的角点检测算法，此类方法的缺点是只有在物体的特征尺度相似的情况下算法的性能较好，同时这些尺度信息还需要先验知识。此外，目前广泛使用的OPEN CV的标定函数也存在漏检或者多检棋盘格角点的情况。这无疑为摄像机标定结果的准确性带来极大的影响。

发明内容

本发明的目的是提供一种棋盘格角点检测方法，能够精确得到棋盘格上的真实角点，具有较强的实时性与可靠性。

为了达到上述目的，本发明提供的一种棋盘格角点检测方法，包括下述步骤：

步骤S110：利用Harris角点检测算法检测棋盘格图像，获取候选角点；

步骤S120：将所述候选角点的坐标精确至亚像素级；

步骤S130：以每个候选角点为中心分别得到正方形对称模板；及

步骤S140：使用所述正方形对称模板对所述候选角点进行处理，剔除伪角点，得到格角点。

优选地，其中，步骤S110，利用Harris角点检测算法检测棋盘格图像，获取候选角点，具体包括下述步骤：

步骤S111：构造第一公式得到所述图像的窗口内灰度值变化值，其中，所述第一公式为：

$E(\mathrm{\Δx},\mathrm{\Δy})=\underset{x_i,y_i}{\mathrm{\Σ}}w(x_i,y_i){[I(x_i+\mathrm{\Δx},y_i+\mathrm{\Δy})-I(x_i,y_i)]}^2$

其中，E（Δx,Δy）窗口内灰度变化值，I(x_i,y_i)和I(x_i+Δx,y_i+Δy)分别为窗口内某点灰度值以及该点偏移（Δx,Δy）后的灰度值，w(x_i,y_i)系数因子；

步骤S112：通过泰勒级数将所述第一公式变换为下述第二公式：

$E(\mathrm{\Δx},\mathrm{\Δy})\≈\begin{array}{c}\begin{array}{ccc}\left[\begin{array}{cc}\mathrm{\Δx}& \mathrm{\Δy}\end{array}\right]& M& \left[\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right]\end{array}\end{array}$

其中， $M=\left[\begin{array}{cc}A& C\\ C& B\end{array}\right],\begin{array}{c}A={\mathrm{\Σ}}_W{\left(I_x(x_i,y_i)\right)}^2\\ B={\mathrm{\Σ}}_W{\left(I_y(x_i,y_i)\right)}^2\\ C={\mathrm{\Σ}}_W{I}_x(x_i,y_i)I_y(x_i,y_i)\end{array},$ ，W为高斯窗口；

步骤S113：构造第三公式计算角点响应函数，其中，所述第三公式为：CRF=det(M)-k(trace(M))²

其中， $\begin{array}{c}\det \left(M\right)={\mathrm{\λ}}_1{\mathrm{\λ}}_2=\mathrm{AB}-C^2\\ \mathrm{trace}\left(M\right)={\mathrm{\λ}}_1{+\mathrm{\λ}}_2=A+B\end{array},$ k为0.04～0.06；

步骤S114：设定阈值T并寻找局部最大值，当某点同时满足是局部最大值，且其角点响应函数值大于阈值T时，该点即为角点候选角点，其中，所述局部最大值为该点的水平曲率和垂直曲率值都高于局部邻域中其他点，所述阈值T=0.01×max(CRF)，max(CRF)为最大角点响应函数值。

优选地，其中，步骤S120中，将所述候选角点的坐标精确至亚像素级，具体包括下述步骤：

步骤S121：构造第四公式，所述第四公式为：

其中，为灰度梯度向量，为图像原点指向角点的坐标，为图像原点指向第i点的坐标；

步骤S122：将所述第四公式进行变换，得到第五公式，通过所述第五公式将所述候选角点的坐标精确至亚像素级，其中，所述第五公式为：

$\underset{i}{\mathrm{\Σ}}\▿{H_i}^k\·\▿{H_i}^{\mathrm{kT}}\·{\stackrel{\→}{\mathrm{\α}}}^{k+1}=\underset{i}{\mathrm{\Σ}}\▿{H_i}^k\·\▿{H_i}^{\mathrm{kT}}\·\stackrel{\→}{\mathrm{\β}}$

其中，为角点邻域的一点指向原点的坐标，为图像原点指向第i点的坐标,ΔH_i ^kT为该点的灰度梯度向量。

优选地，其中，步骤S140，使用所述正方形对称模板对所述候选角点进行处理，剔除伪角点，得到格角点，具体包括下述步骤：

步骤S141：使用所述正方形对称模板对候选角点进行局部验证，初步剔除伪角点；

步骤S142：通过比较算法进一步剔除尚未剔除的伪角点。

优选地，其中，步骤S141，使用所述正方形对称模板对候选角点进行局部验证，初步剔除伪角点，具体包括下述步骤：

将所述正方形对称模板等分成8个正方形区域并按照（1，2，…，8）依次进行编号；

判断 $(I_i-\stackrel{\_}{I})\·(I_{i+4}-\stackrel{\_}{I})>-T(i=\mathrm{1,2,3,4})$ 是否成立，若是，则所述候选角点为真正的棋盘格角点；若否，则所述候选角点为伪角点，其中，I_i(i=1,2…,8)为8个正方形区域各自的平均灰度值，为所述模板区域的平均灰度，为T_i(i=1,2,3,4)的平均值， $T_i=(I_i-\stackrel{\_}{I})\·(I_{i+4}-\stackrel{\_}{I}).$

优选地，其中，步骤S142，通过比较算法进一步剔除尚未剔除的伪角点，具体包括下述步骤：

将所述正方形对称模板等分成为4个正方形区域；

判断是否成立，若是，则所述候选角点为真正的棋盘格角点；若否，则所述候选角点为伪角点，其中，所述4个正方形区域的平均灰度值与整个模板区域的平均灰度I_i之差为D_i(i=1,2,3,4)。

本发明提供的棋盘格角点检测方法，利用Harris角点检测算法检测棋盘格图像，获取候选角点，将所述候选角点的坐标精确至亚像素级，以每个所述候选角点为中心分别得到正方形对称模板，使用所述正方形对称模板对所述候选角点进行处理，剔除伪角点，得到格角点。本发明提供的棋盘格角点检测方法通过分析棋盘格图像角点邻域内的灰度值分布的规律性，采用以候选角点为中心的正方形对称模板，并使用所述正方形对称模板对所述候选角点进行处理，剔除伪角点，得到格角点，计算时间短，检测效率高。

另外，本发明提供的棋盘格角点检测方法，使用所述正方形对称模板对候选角点进行局部验证，初步剔除伪角点，再通过比较算法进一步剔除尚未剔除的伪角点，提高检测精度，可靠性好。

附图说明

图1为本发明一实施例提供的棋盘格角点检测方法的步骤流程图；

图2（a）为正方形对称模板等分成的8个正方形区域，图2（b）为将所述正方形对称模板等分成为4个正方形区域。

具体实施方式

为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参考图1，本发明提供一种棋盘格角点检测方法100，其包括下述步骤：

步骤S110：利用Harris角点检测算法检测棋盘格图像，获取候选角点；

优选地，其中，步骤S110，利用Harris（角点检测算法检测棋盘格图像，获取候选角点，具体包括下述步骤：

步骤S111：构造第一公式得到所述图像的窗口内灰度值变化值，其中，第一公式为：

$E(\mathrm{\Δx},\mathrm{\Δy})=\underset{x_i,y_i}{\mathrm{\Σ}}w(x_i,y_i){[I(x_i+\mathrm{\Δx},y_i+\mathrm{\Δy})-I(x_i,y_i)]}^2$

其中，E（Δx,Δy）窗口内灰度变化值，I(x_i,y_i)和I(x_i+Δx,y_i+Δy)分别为窗口内某点灰度值以及该点偏移（Δx,Δy）后的灰度值，w(x_i,y_i)系数因子。

步骤S112：通过泰勒级数将所述第一公式变换为下述第二公式：

$E(\mathrm{\Δx},\mathrm{\Δy})\≈\begin{array}{c}\begin{array}{ccc}\left[\begin{array}{cc}\mathrm{\Δx}& \mathrm{\Δy}\end{array}\right]& M& \left[\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right]\end{array}\end{array}$

其中，高斯窗口；

步骤S113：构造第三公式计算角点响应函数，其中，所述第三公式为：CRF=det(M)-k(trace(M))²

其中， $\begin{array}{c}\det \left(M\right)={\mathrm{\λ}}_1{\mathrm{\λ}}_2=\mathrm{AB}-C^2\\ \mathrm{trace}\left(M\right)={\mathrm{\λ}}_1{+\mathrm{\λ}}_2=A+B\end{array},$ k为0.04～0.06

步骤S114：设定阈值T并寻找局部最大值，当某点同时满足是局部最大值，且其角点响应函数值大于阈值T时，该点即为角点候选角点，其中，所述局部最大值为该点的水平曲率和垂直曲率值都高于局部邻域中其他点，所述阈值T=0.01×max(CRF)，max(CRF)为最大角点响应函数值。

为了详细说明本发明提供的利用Harris角点检测算法检测棋盘格图像，获取候选角点，以下结合附图及具体实施例加以说明。

为本发明利用Harris角点检测算法检测棋盘格图像获取候选角点，其中，图像大小为1280×960像素，棋盘格共有角点88个，采用上述步骤S111～步骤S114检测方法后，得到候选角点193个，亦即存在105个伪角点。

步骤S120：将所述候选角点的坐标精确至亚像素级；

优选地，步骤S120中，将候选角点的坐标精确至亚像素级，具体包括下述步骤：

步骤S121：构造第四公式，所述第四公式为：

其中，为灰度梯度向量，为图像原点指向角点的坐标，为图像原点指向第i点的坐标；

步骤S122：将所述第四公式进行变换，得到第五公式，通过所述第五公式将所述候选角点的坐标精确至亚像素级，其中，所述第五公式为：

$\underset{i}{\mathrm{\Σ}}\▿{H_i}^k\·\▿{H_i}^{\mathrm{kT}}\·{\stackrel{\→}{\mathrm{\α}}}^{k+1}=\underset{i}{\mathrm{\Σ}}\▿{H_i}^k\·\▿{H_i}^{\mathrm{kT}}\·\stackrel{\→}{\mathrm{\β}}$

其中，为角点邻域的一点指向原点的坐标，为图像原点指向第i点的坐标,ΔH_i ^kT为该点的灰度梯度向量。

具体地，实际图像可能受到噪声的影响，设误差为θ，即在以角点为中心的某一邻域内，其误差和 $S=\underset{i}{\mathrm{\Σ}}\mathrm{\θ}=\underset{i}{\mathrm{\Σ}}{H_i}^T\·(\stackrel{\→}{\mathrm{\α}}-\stackrel{\→}{\mathrm{\β}}),$ 故求角点准确

位置的问题转化为求使误差和S最小的点的问题；再将式 $\▿{H_i}^T\·(\stackrel{\→}{\mathrm{\α}}-\stackrel{\→}{\mathrm{\β}})=0$ 两端同乘以得 $\▿{H_i}^k\·\▿{H_i}^{\mathrm{kT}}\·({\stackrel{\→}{\mathrm{\α}}}^k-\stackrel{\→}{\mathrm{\β}})=0,$ 将角点邻域内所有点带入，把所有结果求和，得到将本式中的点代入得这样就可以对所有角点进行优化，得到更精确的角点位置。

步骤S130：以每个候选角点为中心分别得到正方形对称模板；

具体地，以步骤S130中优化后的候选角点坐标为中心，得到正方形对称模板。在本实施例中，以27个像素值为边长作正方形，为适应不同视角下的棋盘格角点特征，将正方形等分为8个区域，得到正方形对称模板。

步骤S140：使用正方形对称模板对所述候选角点进行处理，剔除伪角点，得到格角点；

优选地，其中，步骤S140，使用所述正方形对称模板对所述候选角点进行处理，剔除伪角点，得到格角点，具体包括下述步骤：

步骤S141：使用正方形对称模板对候选角点进行局部验证，初步剔除伪角点；

具体地，其中，步骤S141，使用所述正方形对称模板对候选角点进行局部验证，初步剔除伪角点，具体包括下述步骤：

将所述正方形对称模板等分成8个正方形区域并按照（1，2，…，8）依次进行编号；及

判断 $(I_i-\stackrel{\_}{I})\·(I_{i+4}-\stackrel{\_}{I})>-T(i=\mathrm{1,2,3,4})$ 是否成立，若是，则所述候选角点为真正的棋盘格角点；若否，则所述候选角点为伪角点，其中，I_i(i=1,2…,8)为8个正方形区域各自的平均灰度值，为所述模板区域的平均灰度，为T_i(i=1,2,3,4)的平均值， $T_i=(I_i-\stackrel{\_}{I})\·(I_{i+4}-\stackrel{\_}{I}).$

可以理解，对正方形对称模板等分成的8个区域按照（1,2，…,8）依次进行编号，设为整个模板区域的平均灰度，为8个等分区域各自的平均灰度值，那么当正方形对称模板中心位于真正的棋盘格角点时，区域i与区域i+4(i=1,2,3,4)具有相同的灰度等级（如图2（a）所示），亦即与同号，那么判定某个候选角点是否为真正的棋盘格角点的依据为： $T_i=(I_i-\stackrel{\_}{I})\·(I_{i+4}-\stackrel{\_}{I})>R(i=\mathrm{1,2,3,4}),$ 其中，R为阈值，理论上阈值R应为0，但经过试验验证，这一判定算法可能会将真正的角点剔除，因而调整后的阈值R可取(为T_i的平均值，i=1，2，3，4)，即新的判定依据为： $(I_i-\stackrel{\_}{I})\·(I_{i+4}-\stackrel{\_}{I})>-T(i=\mathrm{1,2,3,4}),$ 当上述公式成立时，则所述候选角点为真正的棋盘格角点；若否，则所述候选角点为伪角点。

步骤S142：通过比较算法进一步剔除尚未剔除的伪角点；

具体地，步骤S142，通过比较算法进一步剔除尚未剔除的伪角点，具体包括下述步骤：

将所述正方形对称模板等分成为4个正方形区域；

判断是否成立，若是，则所述候选角点为真正的棋盘格角点；若否，则所述候选角点为伪角点，其中，4个正方形区域的平均灰度值与整个模板区域的平均灰度I_i之差为D_i(i=1,2,3,4)。

具体地，将正方形对称模板依次划分为四个小正方形（即将上述步骤中的8个等分区域按次序每两个合并成一个小正方形，如图2（b）所示），记四个小正方形区域的平均灰度值与整个模板区域的平均灰度I_i之差为D_i(i=1,2,3,4)。那么若正方形对称模板中心位于真正的棋盘格角点，则相邻的三个小正方形的灰度等级必定不同，

算法可记作

利用此条件，可将剩余的伪角点剔除。

经试验验证，本方法检测到的角点个数为88个，并且全部为棋盘格上真实角点，显然伪角点已被全部剔除。

本发明提供的棋盘格角点检测方法，利用Harris角点检测算法检测棋盘格图像，获取候选角点，将所述候选角点的坐标精确至亚像素级，以每个所述候选角点为中心分别得到正方形对称模板，使用所述正方形对称模板对所述候选角点进行处理，剔除伪角点，得到格角点。本发明提供的棋盘格角点检测方法通过分析棋盘格图像角点邻域内的灰度值分布的规律性，采用以候选角点为中心的正方形对称模板，并使用所述正方形对称模板对所述候选角点进行处理，剔除伪角点，得到格角点，计算时间短，检测效率高。

另外，本发明提供的棋盘格角点检测方法，使用所述正方形对称模板对候选角点进行局部验证，初步剔除伪角点，再通过比较算法进一步剔除尚未剔除的伪角点，提高检测精度，可靠性好。

可以理解的是，对于本领域的普通技术人员来说，可以根据本发明的技术构思做出其他各种相应的改变与变形，而所有这些改变与变形都应属于本发明权利要求的保护范围。

Claims (6)

1.一种棋盘格角点检测方法，其特征在于，包括下述步骤：

步骤S110：利用Harris角点检测算法检测棋盘格图像，获取候选角点；

步骤S120：将所述候选角点的坐标精确至亚像素级；

步骤S130：以每个候选角点为中心分别得到正方形对称模板；及

步骤S140：使用所述正方形对称模板对所述候选角点进行处理，剔除伪角点，得到格角点。

2.根据权利要求1所述的棋盘格角点检测方法，其特征在于：其中，步骤S110，利用Harris角点检测算法检测棋盘格图像，获取候选角点，具体包括下述步骤：

步骤S111：构造第一公式得到所述图像的窗口内灰度值变化值，其中，所述第一公式为：

$E(\mathrm{\Δx},\mathrm{\Δy})=\underset{x_i,y_i}{\mathrm{\Σ}}w(x_i,y_i){[I(x_i+\mathrm{\Δx},y_i+\mathrm{\Δy})-I(x_i,y_i)]}^2$

其中，E（Δx,Δy）窗口内灰度变化值，I(x_i,y_i)和I(x_i+Δx,y_i+Δ_y)分别为窗口内某点灰度值以及该点偏移（Δx,Δy）后的灰度值，w(x_i,y_i)系数因子；

步骤S112：通过泰勒级数将所述第一公式变换为下述第二公式：

$E(\mathrm{\Δx},\mathrm{\Δy})\≈\begin{array}{c}\begin{array}{ccc}\left[\begin{array}{cc}\mathrm{\Δx}& \mathrm{\Δy}\end{array}\right]& M& \left[\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right]\end{array}\end{array}$

其中，

步骤S113：构造第三公式计算角点响应函数，其中，所述第三公式为：

CRF=det(M)-k(trace(M))²

其中， $\begin{array}{c}\det \left(M\right)={\mathrm{\λ}}_1{\mathrm{\λ}}_2=\mathrm{AB}-C^2\\ \mathrm{trace}\left(M\right)={\mathrm{\λ}}_1{+\mathrm{\λ}}_2=A+B\end{array},$ k为0.04～0.06；

CRF为角点响应函数值，det(M)为矩阵M的行列式，trace(M)是矩阵M的迹；

步骤S114：设定阈值T并寻找局部最大值，当某点同时满足是局部最大值，且其角点响应函数值大于阈值T时，该点即为角点候选角点，其中，所述局部最大值为该点的水平曲率和垂直曲率值都高于局部邻域中其他点，所述阈值T=0.01×max(CRF)，max(CRF)为最大角点响应函数值。

3.根据权利要求1所述的棋盘格角点检测方法，其特征在于：其中，步骤S120中，将所述候选角点的坐标精确至亚像素级，具体包括下述步骤：

步骤S121：构造第四公式，所述第四公式为：

其中，为灰度梯度向量，为图像原点指向角点的坐标，为图像原点指向第i点的坐标；

步骤S122：将所述第四公式进行变换，得到第五公式，通过所述第五公式将所述候选角点的坐标精确至亚像素级，其中，所述第五公式为：

$\underset{i}{\mathrm{\Σ}}\▿{H_i}^k\·\▿{H_i}^{\mathrm{kT}}\·{\stackrel{\→}{\mathrm{\α}}}^{k+1}=\underset{i}{\mathrm{\Σ}}\▿{H_i}^k\·\▿{H_i}^{\mathrm{kT}}\·\stackrel{\→}{\mathrm{\β}};$

其中，为角点邻域的一点指向原点的坐标，为图像原点指向第i点的坐标,为该点的灰度梯度向量。

4.根据权利要求1所述的棋盘格角点检测方法，其特征在于：其中，步骤S140，使用所述正方形对称模板对所述候选角点进行处理，剔除伪角点，得到格角点，具体包括下述步骤：

步骤S141：使用所述正方形对称模板对候选角点进行局部验证，初步剔除伪角点；

步骤S142：通过比较算法进一步剔除尚未剔除的伪角点。

5.根据权利要求4所述的棋盘格角点检测方法，其特征在于：其中，步骤S141，使用所述正方形对称模板对候选角点进行局部验证，初步剔除伪角点，具体包括下述步骤：

将所述正方形对称模板等分成8个正方形区域并按照（1，2，…，8）依次进行编号；

判断 $(I_i-\stackrel{\_}{I})\·(I_{i+4}-\stackrel{\_}{I})>-\stackrel{\_}{T}(i=\mathrm{1,2,3,4})$ ）是否成立，若是，则所述候选角点为真正的棋盘格角点；若否，则所述候选角点为伪角点，其中，I_i(i=1,2…,8)为8个正方形区域各自的平均灰度值，为所述模板区域的平均灰度，为T_i(i=1,2,3,4)的平均值， $T_i=(I_i-\stackrel{\_}{I})\·(I_{i+4}-\stackrel{\_}{I}).$

6.根据权利要求4所述的棋盘格角点检测方法，其特征在于：其中，步骤S142，通过比较算法进一步剔除尚未剔除的伪角点，具体包括下述步骤：

将所述正方形对称模板等分成为4个正方形区域；

判断是否成立，若是，则所述候选角点为真正的棋盘格角点；若否，则所述候选角点为伪角点，其中，所述4个正方形区域的平均灰度值与整个模板区域的平均灰度I_i之差为D_i(i=1,2,3,4)。