CN103927750B - 棋盘格图像角点亚像素的检测方法 - Google Patents

Abstract

一种棋盘格图像角点亚像素的检测方法，包括三步：1、采用摄像机拍摄棋盘格标定模板，获得该棋盘格标定模板的模板图像，对该模板图像进行二值化，得到二值化图像；2、采用圆形模板遍历二值化图像，分别对二值化图像的所有被测像素点进行筛选，筛选出候选角点；3、根据候选角点对称分布在该角点集所确定的真角点附近的特性，计算候选角点的像素位置的横坐标平均值和纵坐标平均值，并将该横、纵坐标平均值作为真角点的亚像素坐标。本发明所提供的棋盘格图像角点亚像素的检测方法，仅使用简单的四则运算而不需要微分、插值、曲面拟合等运算，因而检测过程简单，易于实现，可直接获得亚像素级精度，具有较好的检测精度和实时性。

Description

棋盘格图像角点亚像素的检测方法

技术领域

本发明属于摄像机标定技术领域中的检测方法，特别涉及一种棋盘格图像角点亚像素的检测方法。

背景技术

棋盘格标定模板因具有特征简单、对比度明显、易于识别等特点，在摄像机标定技术中应用广泛。棋盘格图像角点检测是否准确直接决定了摄像机的标定精度，进而影响了后续视觉测量等任务的精度。因此，提高棋盘格图像角点检测的准确性，是视觉测量领域重要研究课题。目前，棋盘格图像角点检测方法可以分为基于边缘检测进行角点检测的方法和基于灰度变化进行角点检测的方法。

现有技术文献1和现有技术文献2提供了两种不同的基于边缘检测进行角点检测的方法。由于二者的角点检测效果很大程度上依赖于边缘检测的结果，因此当图像出现畸变时，角点的检测精度也会因边缘检测误差变大而急剧下降。

基于灰度变化进行角点检测的方法是利用角点附近局部像素的灰度值的变化进行检测。该类算法避免了基于边缘检测进行角点检测的方法所存在的上述缺陷，具有较好的综合性能，但仍存在一些局限性，如在现有技术文献3所公开的方法中，当处于复杂背景条件下时，则难以获得较好的检测精度，在现有技术文献4、现有技术文献5、现有技术文献6所公开的方法中，对角点进行定位的精度仅是像素级，当要获得亚像素级的精度时还需要进行后续处理，现有技术文献7所公开的方法虽然算法检测精度高但实时性差，现有技术文献8所公开的方法算法虽然实时性好但曝光程度较大时检测精度低。

现有技术文献：

[现有技术文献1]：黑白棋盘格角点检测算法[J].东北大学学报（自然科学版），2007,28（8）：1090-1093.

[现有技术文献2]：复杂背景下的棋盘格角点检测方法,CN200910045951.X.

[现有技术文献3]：一种基于Harris算子的棋盘格角点亚像素提取方法，CN201310291199.3.

[现有技术文献4]：用于摄像机标定的棋盘图像角点检测新算法[J].仪器仪表学报，2011，（32）5:1109-1113.

[现有技术文献5]：基于灰度差异的棋盘格角点自动检测[J].光学精密工程，2011，（19）6：1360-1366.

[现有技术文献6]：一种X型角点亚像素提取方法，CN200510082766.X.

[现有技术文献7]：采用环形模板的棋盘格角点检测[J].光学精密工程，2013,（21）1:189-196.

[现有技术文献8]：用于从灰度图像中提取X型角点的快速处理方法,CN201010105470.6.

发明内容

本发明的目的是提供一种棋盘格图像角点亚像素的检测方法，以解决上述问题。

为了实现上述目的，本发明所采用的技术方案为：

一种棋盘格图像角点亚像素的检测方法，其特征在于，包括以下三个步骤：

步骤一：采用摄像机拍摄棋盘格标定模板，获得该棋盘格标定模板的模板图像，对该模板图像进行二值化，得到二值化图像；

步骤二：采用圆形模板遍历二值化图像，分别对二值化图像的所有被测像素点进行筛选，当圆形模板内相邻像素点的灰度跳变次数为四次且跳变点之间所对应的弧长和弦长两两相等，则被测像素点作为候选角点，反之，则被测像素点不作为候选角点，从筛选出的所有候选角点中找出隶属于同一真角点的候选角点，组成隶属于同一真角点的候选角点集S_k，

圆形模板的构造方法为：

1）、将二值化图像的每个像素点均用正方形表示，每个像素点对应一个正方形，

2）、以二值化图像的某个被测像素点所对应正方形的中心为圆心，以模板图像中的一个棋盘格边长的一半为半径作圆，

3）、当圆的圆弧线所穿过的正方形位于圆内的面积大于等于该正方形面积的一半时，该正方形所对应的像素点用于组成圆形模板，反之，则该正方形所对应的像素点被去除不用于组成圆形模板，若去除该正方形所对应的像素点后组成圆形模板的像素点之间不连续时，则采用与被除去像素点最接近的且位于圆内的像素点予以弥补；

步骤三：根据S_k内的候选角点对称分布在该角点集所确定的真角点附近的特性，计算候选角点集S_k内的所有候选角点的像素位置的横坐标平均值和纵坐标平均值，并将该横、纵坐标平均值作为真角点的亚像素坐标p_k(x₀,y₀)。

本发明的技术方案的进一步特征在于：在步骤二中，被测像素点进行筛选的方法为：

a）、以被测像素点为圆形模板的圆心，如果圆形模板内所有相邻的像素点的灰度跳变次数总和不等于4，则该被测像素点不是角点，结束对该被测像素点的检测，开始对下一个被测像素点进行检测；如果圆形模板内所有相邻的像素点的灰度跳变次数总和等于4，则将该被测像素点定为可疑角点，转入步骤b)；

b）、将可疑角点所对应的跳变点依次标记为A、B、C、D，如果该四个跳变点能够满足式（1）和式（2），则将该可疑角点作为候选角点，并储存在候选角点集S中；否则，不作为候选角点，转入步骤a）对下一个被测像素点进行检测，

$\left\{\begin{array}{c}{l}_{\mathrm{AB}}=l_{\mathrm{CD}}\\ l_{\mathrm{BC}}=l_{\mathrm{DA}}\end{array}\right.--\left(1\right)$

式中，l_AB，l_CD，l_BC，l_DA为圆形模板内跳变点之间所对应的弧长，

$\left\{\begin{array}{c}\left|\mathrm{AB}\right|=\left|\mathrm{CD}\right|\\ \left|\mathrm{BC}\right|=\left|\mathrm{DA}\right|\end{array}\right.---\left(2\right)$

式中，|AB|，|CD|，|BC|，|DA|为圆形模板内跳变点之间所对应的弦长，

候选角点集S为：

$S=\underset{k=1}{\overset{n}{\∪}}{S}_k---\left(3\right)$

式中，n为被测图像中真角点的个数，S_k为隶属于同一真角点的候选角点组成的集合，S_k内任意两点的欧氏距离满足式（4）：

d(p_i(x_i,y_i),p_j(x_j,y_j))≤ε （4）

式中，1≤i≠j≤m，m为候选角点集S_k中元素的数目，ε为常数，ε与曝光程度和畸变程度有关。

本发明的技术方案的进一步特征在于：亚像素坐标p_k(x₀,y₀)的计算方法为：

设S_k中包含m个候选角点，即S_k＝{p₁(x₁,y₁),p₂(x₂,y₂),…,p_m(x_m,y_m)}，根据S_k，得到如式（5）所示的真角点的亚像素坐标p_k(x₀,y₀)：

$\left\{\begin{array}{c}{x}_0=\frac{x_1+x_2+\·\·\·+x_m}{m}\\ y_0=\frac{y_1+y_2+\·\·\·+y_m}{m}\end{array}\right.---\left(5\right)$

根据式（5）计算得到真角点的亚像素坐标p_k(x₀,y₀)。

发明的作用与效果

本发明所提供的棋盘格图像角点亚像素的检测方法，仅使用简单的四则运算而不需要微分、插值、曲面拟合等运算，因而检测过程简单，易于实现，可直接获得亚像素级精度，具有较好的检测精度和实时性，即使在复杂背景条件下，具有较好的检测精度。

另外，本发明所提供的方法，在图像中存在一定程度曝光时，依然能够保持较好的精度，测定结果也很稳定。

另外，本发明所提供的棋盘格角点检测方法采用圆形模板遍历图像，基于圆形模板内相邻像素的灰度变化特性进行角点检测，因而避免了基于边缘检测方法中存在的边缘检测误差影响角点检测精度的缺陷。

同时，本发明只是根据棋盘格角点区域所特有的灰度变化特性和对称性，在二值化图像的基础上，采用圆形模板遍历图像以检测角点，因此对曝光引起的灰度变化具有较好的鲁棒性；另外，由于组成圆形模板的各个像素至被测像素（圆形模板圆心所对应的像素）的欧氏距离是理论相等的，从而保证了该算法对图像旋转变化具有较好的鲁棒性。

附图说明

图1是本发明所涉及的棋盘格图像角点亚像素检测方法的流程图；

图2是实施例一中的棋盘格标定模板的采集图像；

图3是实施例一中的棋盘格标定模板的二值化图像；

图4是实施例一中的圆形模板的构造方法的说明图；

图5是实施例一中的圆形模板内跳变点之间所对应的弧长和弦长说明图；

图6是实施例一中的实际检测中隶属于同一真角点的候选角点分布图；

图7是实施例一中采用本发明所提供的方法完成检测后的角点结果说明图；

图8是实施例一中采用现有技术文献4所提供的检测方法完成检测后的角点结果说明图；

图9是实施例一中采用现有技术文献7所提供的检测方法完成检测后的角点结果说明图；

图10是实施例二中采用本发明所提供的方法完成检测后的角点结果说明图；

图11是实施例二中采用现有技术文献4所提供的检测方法完成检测后的角点结果说明图；

图12是实施例二中采用现有技术文献7所提供的检测方法完成检测后的角点结果说明图；

图13是实施例三中检测角点的重投影结果图；以及

图14是实施例三中检测角点的重投影误差图。

具体实施方式

以下结合附图，对本发明所涉及的棋盘格图像角点亚像素的检测方法做进一步描述。

<实施例一>

图1是本发明所涉及的棋盘格图像角点亚像素检测方法的流程图。

本实施例一所提供的棋盘格图像角点亚像素的检测方法如图1所示，包括以下三个步骤：

图2是棋盘格标定模板的采集图像。

图3是棋盘格标定模板的二值化图像。

步骤一（S1）：使用NI1778相机，Computar M1620-MPV镜头拍摄棋盘格标定模板，获得如图2所示的棋盘格标定模板的图像，在本实施例一的模板图像中，每个棋盘格的边长为5mm，精度为0.0015mm。

采用最大类间方差法将模板图像进行二值化，得到如图3所示的二值化图像，将该二值化图像作为被检测图像。

图4是圆形模板的构造方法的说明图。

步骤二（S2）：采用圆形模板遍历被检测图像的像素点，分别对所有的被检测的像素点进行筛选，根据圆形模板内像素的灰度跳变次数和跳变点之间所对应的弧长和弦长是否两两相等，筛选出候选角点。

圆形模板的构造方法为：

1）、将被检测图像中的各个像素点分别使用相同大小的正方形表示，每个像素点对应一个正方形；

2）、以某一个被测像素点所对应正方形的中心为圆心，以模板图像的一个棋盘格边长的一半为半径作圆；

3）、根据所得圆的圆弧线所穿过的正方形位于圆内面积是否大于正方形自身面积的一半，判断该正方形所对应的像素点是否用于组成圆形模板。

当大于等于正方形自身面积的一半，则该正方形所对应的像素点用于组成圆形模板；当小于正方形自身面积的一半，则该正方形所对应的像素不用于组成圆形模板，该像素点被去除，若除去该像素点后组成圆形模板的像素点之间不连续时，则采用与被除去像素点最接近的且位于圆内的像素点予以弥补。

图4是圆形模板的构造方法的说明图。

在本实施例一中，按照上述圆形模板的构造方法，建立得到如图4所示的圆形模板。该圆形模板的半径为10.5个像素，像素α所对应的正方形位于圆内的面积大于等于自身面积一半，则像素α可用于组成圆形模板；像素β所对应的正方形位于圆内的面积小于自身面积一半，则像素β不用于组成圆形模板，此时采用像素γ代替像素β以保证组成圆形模板的像素之间是连续的。

在本实施例一中，若圆形模板内两个相邻像素点的灰度值由1变为0，或由0变为1，则称为一次灰度跳变。发生灰度跳变的两个像素点的中间点称为跳变点。

图5是圆形模板内跳变点之间所对应的弧长和弦长说明图。

在本实施例一中，对被测像素点（圆形模板圆心）进行筛选的过程如下：

a）、以被测像素点为圆形模板的圆心，如果圆形模板内所有相邻的像素点的灰度跳变次数总和不等于4，则该被测像素点不是角点，结束对该被测像素点的检测，开始对下一个被测像素点进行检测；如果圆形模板内所有相邻的像素点的灰度跳变次数总和为4次，则将该被测像素点定为可疑角点，转入步骤b)；

b）、将可疑角点所对应的跳变点依次标记如图5所示为A、B、C、D，如果该四个跳变点A、B、C、D同时满足式（1）和式（2），则将该可疑角点作为候选角点，并储存在候选角点集S中；否则，不作为候选角点，转入步骤a)开始对下一个被测像素点进行检测。

$\left\{\begin{array}{c}{l}_{\mathrm{AB}}=l_{\mathrm{CD}}\\ l_{\mathrm{BC}}=l_{\mathrm{DA}}\end{array}\right.--\left(1\right)$

式中，l_AB，l_CD，l_BC，l_DA为圆形模板内跳变点之间所对应的弧长。

$\left\{\begin{array}{c}\left|\mathrm{AB}\right|=\left|\mathrm{CD}\right|\\ \left|\mathrm{BC}\right|=\left|\mathrm{DA}\right|\end{array}\right.---\left(2\right)$

式中，|AB|，|CD|，|BC|，|DA|为圆形模板内跳变点之间所对应的弦长。

候选角点集S可表示为式（3）：

$S=\underset{k=1}{\overset{n}{\&cup;}}{S}_k---\left(3\right)$

式中，n为被测图像中真角点的个数，S_k为隶属于同一真角点的候选角点组成的集合，候选角点集S_k内任意两点的欧氏距离满足式（4）：

d(p_i(x_i,y_i),p_j(x_j,y_j))≤ε （4）

式中，1≤i≠j≤m，m为候选角点集S_k中元素的数目，常数ε是设置的阈值，这一阈值与曝光程度、畸变程度及放宽式（1）和式（2）绝对相等的限制条件有关。在本实施例一中，常数ε设置为10。

图6是实际检测中隶属于同一真角点的候选角点分布图。

在本实施例一中，参照上述筛选被测像素点的方法，得到如图6所示的隶属于同一真角点的候选角点分布图，由图6可知集合S_k内的候选角点具有对称分布性且对称中心在理论上就是实际图像中的角点。

步骤三（S3）：根据候选角点集S_k内隶属于同一真角点的的候选角点对称分布在该角点集所确定的真角点附近的特性，计算候选角点集S_k内所有候选角点像素位置的横坐标平均值和纵坐标平均值，并将该横、纵坐标平均值作为真角点的亚像素坐标p_k(x₀,y₀)，计算过程如下：

设隶属于同一真角点的候选角点所组成的集合S_k包含m个候选角点，即S_k＝{p₁(x₁,y₁),p₂(x₂,y₂),…,p_m(x_m,y_m)}，根据候选角点集S_k，得到真角点的亚像素坐标p_k(x₀,y₀)如式（5）所示：

$\left\{\begin{array}{c}{x}_0=\frac{x_1+x_2+\&CenterDot;\&CenterDot;\&CenterDot;+x_m}{m}\\ y_0=\frac{y_1+y_2+\&CenterDot;\&CenterDot;\&CenterDot;+y_m}{m}\end{array}\right.---\left(5\right)$

根据式（5）计算得到真角点的亚像素坐标p_k(x₀,y₀)，即可对摄像机进行标定。

在本实施例一中，参照上述亚像素坐标p_k(x₀,y₀)的计算方法，得到棋盘格标定模板的所有真角点的亚像素坐标p_k(x₀,y₀)，完成对本实施例一的棋盘格标定模板的检测。

图7是实施例一中采用本发明所提供的方法完成检测后的角点结果说明图。

图8是实施例一中采用现有技术文献4所提供的检测方法完成检测后的角点结果说明图。

图9是实施例一中采用现有技术文献7所提供的检测方法完成检测后的角点结果说明图。

按照本发明所提供的检测方法对简单背景曝光条件下的棋盘格模板图像进行检测，检测结果如图7所示，其中图7-b为图7-a的局部放大图，从图中可知，本实例所提供的检测方法可以检测图像中所有的角点；选择现有技术文献4所提供的检测方法对简单背景曝光条件下的棋盘格模板图像进行检测，检测结果如图8所示，其中图8-b为图8-a的局部放大图，从图中可知，检测结果存在误检角点，且漏检角点数量较多；选择现有技术文献7所提供的检测方法对简单背景曝光条件下的棋盘格模板图像进行检测，检测结果如图9所示，其中图9-b为图9-a的局部放大图，从图中可知，文献7比文献4的角点检测效果好，但也存在部分漏检。因此，本发明所提供的检测方法对简单背景曝光条件下的图像具有较好的检测效果。

本实施例一只是根据棋盘格角点区域所特有的灰度变化特性和对称性，在二值化图像的基础上，采用圆形模板遍历图像以检测角点，因此对曝光引起的灰度变化具有较好的鲁棒性；另外，由于组成圆形模板的各个像素至被测像素（圆形模板圆心所对应的像素）的欧氏距离是理论相等的，从而保证了该算法对图像旋转变化具有较好的鲁棒性。

<实施例二>

图10是实施例二中采用本发明所提供的方法完成检测后的角点结果说明图。

图11是实施例二中采用现有技术文献4所提供的检测方法完成检测后的角点结果说明图。

图12是实施例二中采用现有技术文献7所提供的检测方法完成检测后的角点结果说明图。

参照实施例一所提供的检测方法，对某一复杂背景下的棋盘格标定模板的模板图像进行检测，检测后得到如图10所示的图像，其中图10-b为图10-a的局部放大图，从图中可知，本实例所提供的检测方法可以检测图像中所有的角点且无漏检、错检；选择现有技术文献4所提供的检测方法对同样的棋盘格标定模板的模板图像进行检测，检测后所得到如图11所示的图像，其中图11-b为图11-a的局部放大图，从图中可知，检测结果存在误检角点且漏检角点数量较多；选择现有技术文献7所提供的检测方法对同样的棋盘格标定模板的模板图像进行检测，检测后所得到如图12所示的图像，其中图12-b为图12-a的局部放大图，从图中可知，文献7不存在误检角点但漏存在部分漏检角点。因此，本发明所提供的检测方法也可在复杂图像中具有较好的检测效果。

综上，本发明所提供的棋盘格图像角点亚像素的检测方法，仅使用简单的四则运算而不需要微分、插值、曲面拟合等运算，因而检测过程简单，易于实现，可直接获得亚像素级精度，具有较好的检测精度和实时性，并且在复杂背景条件下，具有较好的检测精度。

另外，本发明所提出的棋盘格角点检测方法采用一个圆形模板遍历图像，基于模板内像素的灰度变化特性进行角点检测，因而可避免基于边缘检测进行角点检测方法中存在的边缘检测误差影响角点检测精度的缺陷。

<实施例三>

图13是检测角点的重投影结果图。

图14是检测角点的重投影误差图。

采集五幅棋盘格图像，参照本发明所提供的方法进行角点检测，运用张正友的摄像机标定原理进行摄像机标定，标定后所得的其中一幅角点重投影结果图如图13所示，角点投影误差如图14所示，角点的重投影平均误差为（0.247，0.205）像素。

另外，本发明所涉及的棋盘格图像角点亚像素的检测方法中采用的最大类间方差法将模板图像进行二值化之外，还可采用其他能够较好的区别棋盘格图像黑白区域的二值化方法进行二值化，如双峰法、迭代法。

另外，上述实施例一至三中，组成圆形模板的像素同时满足式（1）、式（2），由于图像数据为离散数据，因此本发明所涉及的技术方案还可以适当放宽式（1）、式（2）绝对相等的限制条件。

Claims (3)

1.一种棋盘格图像角点亚像素的检测方法，其特征在于，包括以下三个步骤：

步骤一：采用摄像机拍摄棋盘格标定模板，获得该棋盘格标定模板的模板图像，对该模板图像进行二值化，得到二值化图像；

步骤二：采用圆形模板遍历所述二值化图像，分别对所述二值化图像的所有被测像素点进行筛选，当所述圆形模板内相邻像素点的灰度跳变次数为四次且跳变点之间所对应的弧长和弦长两两相等，则被测像素点作为候选角点，反之，则被测像素点不作为候选角点，从筛选出的所有候选角点中找出隶属于同一真角点的候选角点，组成隶属于同一真角点的候选角点集S_k，

所述圆形模板的构造方法为：

1)、将所述二值化图像的每个像素点均用正方形表示，每个像素点对应一个正方形，

2)、以所述二值化图像的某个被测像素点所对应正方形的中心为圆心，以所述模板图像中的一个棋盘格边长的一半为半径作圆，

3)、当所述圆的圆弧线所穿过的正方形位于所述圆内的面积大于等于该正方形面积的一半时，该正方形所对应的像素点用于组成所述圆形模板，反之，则该正方形所对应的像素点被去除不用于组成所述圆形模板，若去除该正方形所对应的像素点后组成所述圆形模板的像素点之间不连续时，则采用与被去除像素点最接近的且位于所述圆内的像素点予以弥补；

步骤三：根据所述S_k内的候选角点对称分布在该角点集所确定的真角点附近的特性，计算所述候选角点集S_k内的所有候选角点的像素位置的横坐标平均值和纵坐标平均值，并将该横坐标平均值、纵坐标平均值作为真角点的亚像素坐标p_k(x₀,y₀)。

2.根据权利要求1所述的棋盘格图像角点亚像素的检测方法，其特征在于：

在所述步骤二中，所述被测像素点进行筛选的方法为：

a)、以被测像素点为圆形模板的圆心，如果圆形模板内所有相邻的像素点的灰度跳变次数总和不等于4，则该被测像素点不是角点，结束对该被测像素点的检测，开始对下一个被测像素点进行检测；如果圆形模板内所有相邻的像素点的灰度跳变次数总和为4次，则将该被测像素点定为可疑角点，转入步骤b)；

b)、将所述可疑角点所对应的跳变点依次标记为A、B、C、D，如果四个跳变点能够满足式(1)和式(2)，则将所述可疑角点作为候选角点，并储存在候选角点集S中；否则，不作为候选角点，转入步骤a)对下一个被测像素点进行检测，

$\left\{\begin{array}{c}{l}_{AB}=l_{CD}\\ l_{BC}=l_{DA}\end{array}\right.---\left(1\right)$

式中，l_AB，l_CD，l_BC，l_DA为圆形模板内跳变点之间所对应的弧长，

$\left\{\begin{array}{c}\left|AB\right|=\left|CD\right|\\ \left|BC\right|=\left|DA\right|\end{array}\right.---\left(2\right)$

式中，|AB|，|CD|，|BC|，|DA|为圆形模板内跳变点之间所对应的弦长，

所述候选角点集S为：

$S=\underset{k=1}{\overset{n}{\&cup;}}{S}_k---\left(3\right)$

式中，n为被测图像中真角点的个数，S_k为隶属于同一真角点的候选角点组成的集合，所述S_k内任意两点的欧氏距离满足式(4)：

d(p_i(x_i,y_i),p_j(x_j,y_j))≤ε (4)

式中，1≤i≠j≤m，m为候选角点集S_k中元素的数目，ε为常数，所述ε与曝光程度和畸变程度有关。

3.根据权利要求1所述的棋盘格图像角点亚像素的检测方法，其特征在于：

其中，所述亚像素坐标p_k(x₀,y₀)的计算方法为：

设所述S_k中包含m个候选角点，即S_k＝{p₁(x₁,y₁),p₂(x₂,y₂),…,p_m(x_m,y_m)}，根据所述S_k，得到如式(5)所示的真角点的亚像素坐标p_k(x₀,y₀)：

$\left\{\begin{array}{c}{x}_0=\frac{x_1+x_2+\mathrm{...}+x_m}{m}\\ y_0=\frac{y_1+y_2+\mathrm{...}+y_m}{m}\end{array}\right.---\left(5\right)$

根据式(5)计算得到真角点的亚像素坐标p_k(x₀,y₀)。