CN103679729A - 基于彩色标定板的全自动摄像机参数标定方法 - Google Patents

Abstract

本发明提供了一种基于彩色标定板的全自动摄像机参数标定方法，包括以下步骤：（1）绘制彩色棋牌标定板，要求每个角点的四邻域均为不同的颜色组合；（2）利用机械臂控制彩色棋牌标定板的运动，设置预置位，捕捉标定图像；（3）根据步骤（2）获得的标定图像，进行角点检测；（4）根据角点的“色标”是否在标定板的“色标”库内剔除伪角点；（5）根据步骤（4）得到的真角点获得角点的空间坐标，再加上角点在图像中的像素坐标，得到相机标定所需的全部参数；（6）获取相机参数，完成相机标定。

Description

基于彩色标定板的全自动摄像机参数标定方法

技术领域

本发明是一种基于彩色标定板的全自动摄像机参数标定方法，属于计算机视觉领域。

背景技术

计算机视觉的基本任务之一是从摄像机获取的图像信息出发来计算三维空间中物体的几何信息,并由此重建或识别物体,并进一步认知现实世界。其中,摄像机标定是完成该任务的必经途径，特别是在基于图像的建模领域，摄像机标定是一个特别重要的环节。标定的精度会直接影响到后续计算机视觉运算的最终精度。

目前，摄像机标定方法主要分两种，一种是自标定方法，另一种是主动标定方法。自标定法不需要借助其他参照物和外部设备,仅仅依靠多幅图像对应点之间的关系直接进行标定，较为灵活,但由于标定时涉及到的未知参数过多,很难得到稳定的结果。

主动标定方法是将具有己知形状和尺寸的标定物作为摄像机的拍摄对象,然后对拍摄到的图像进行相关处理,并利用一系列的数学变换求取摄像机模型的内外参数。

在上述标定方法中，主动标定方法根据所采用设备的不同，一般分为两类：一是通过控制相机的运动状态来标定内参数，相机的运动状态可以是平移或旋转，通过精准的控制相机的运动状态可以得到相机的内外参数信息，但由于该方法需要特殊的控制设备，所以成本偏高，不利于推广。另一是在摄像机附近放置一个已知形状、尺寸的参照物，根据参照物上特殊参照点在图片上的位置信息来求解相机内、外参数。通过对参照物进行标定，来获得摄像机的相关参数，需要在参照物上找到足够多的、易于识别的、可明确坐标值的参照点，而且参照点一般都是事先选取好。所以对于基于参照物的相机标定来说，关键在于参照物的设计即标定板的设计方案。

然而，在实际应用中，基于参照物的主流摄像机标定算法，仍存在一些不足之处。主要包括以下几点：a 通常需手动拍摄若干幅标定板图像，并需人工参与，而且精度不高；b 目前的基于黑白棋盘的标定方法，对畸变较大的镜头（如鱼眼，全景）的角点检测结果，通常存在较大误差;c对于变焦镜头的标定需要大量的重复工作，手工调整棋盘及焦距等。

发明内容

本发明提供了一种基于彩色标定板的全自动摄像机参数标定方法。

本发明所采用的技术方案如下：

一种基于彩色标定板的全自动摄像机参数标定方法，包括以下步骤：（1）绘制彩色棋牌标定板，要求每个角点的四邻域均为不同的颜色组合；（2）控制彩色棋牌标定板的运动，捕捉标定图像；（3）根据步骤（2）获得的标定图像，进行角点检测；（4）根据角点的“色标”是否在标定板的“色标”库内剔除伪角点；（5）根据步骤（4）得到的真角点获得角点的空间坐标，再加上角点在图像中的像素坐标，得到相机标定所需的全部参数；（6）获取相机参数，完成相机标定。

在步骤（1）的彩色棋盘标定板中，每个角点均为不同圆的圆心。

每个角点由4种颜色表示，且相邻象限的颜色不能重复。

在步骤（2）中，获取标定图像时，设计好适当的光照强度，以提高拍摄图像上各种颜色间的辨识度。

所述角点具有旋转和尺度不变特性。

所述角点检测的方法为：首先将图像转为灰度图像，然后，计算各像素点的自相关矩阵Q值，再根据自相关矩阵Q值计算角点响应函数的值，最后，通过比较角点响应函数的值与给定阈值T的大小，得到角点集。

所述各像素点的自相关矩阵Q值根据以下公式计算：

E_x,y=(x,y)Q(x,y)^T，

其中，E_x,y为像素点（x,y）的区域灰度变化值，λ₁，λ₂为自相关矩阵Q的两个特征值。

所述角点响应函数的值根据以下公式计算：C(x,y)=det(Q)-k(trace(Q))²，

其中，det(Q)=λ₁λ₂=AB-C²，trace(Q)=λ₁+λ₂=A+B，k为常量。

通过比较角点响应函数Q的值与给定阈值T的大小，得到角点集，其具体方法为：当角点响应函数为一个很小的值时，认为检测点在区域内部，即灰度相对无变化的区域，当C(x,y)大于给定阈值T时，认为此点正是角点，当C(x,y)为小于零的值时，认为此点属于边缘的某一点。

真伪角点的判断方法为：令角点为M,其一、二、三、四象限的四邻域颜色分别为M₁，M₂，M₃，M₄，即可得到角点“色标”；若M的“色标”不在彩色标定板的“色标”库中，则该角点M为伪角点；若得到的角点“色标”在标定板的“色标”库中，则角点M为真角点。

与现有技术相比，本发明基于彩色标定板的全自动摄像机参数标定方法至少具有以下有益效果：本发明彩色标定板通过不同的颜色组合排列，使各角点均具有唯一的颜色组合坐标（以下均简称“色标”），这样设计出的角点在标定板旋转或者相机调焦时，“色标”保持不变，即角点具有旋转和尺度不变特性；控制棋盘的运动以捕捉标定图像，进而对摄像机进行自动化标定。该方法可以对相机硬件设计引起的畸变效应进行矫正，减少人工参与，并提高标定精度。

附图说明

图1为本发明基于彩色标定板的全自动摄像机参数标定方法的流程图。

图2为普通黑白棋盘标定板的结构示意图。

图3为本发明彩色棋盘标定板的结构示意图。

图4为无畸变下相邻角点的示意图。

图5为边缘畸变效应下相邻角点示意图。

具体实施方式

本方法设计的彩色标定板，通过不同的颜色组合排列，使各角点均具有唯一的颜色组合坐标（以下均简称“色标”），这样设计出的角点在标定板旋转或者相机调焦时，“色标”保持不变，即角点具有旋转和尺度不变特性；并利用机械臂控制棋盘的运动以捕捉标定图像。进而对摄像机进行自动化标定。该方法可以对相机硬件设计引起的畸变效应进行矫正，减少人工参与，并提高标定精度。

本发明针对现有技术存在的不足，提出了一种基于彩色棋盘的全自动相机参数标定方法。该方法，首先通过数学排列组合知识绘制出所需的彩色标定板，然后利用机械臂控制标定板的运动、捕获多幅包含棋盘全部角点的图像，接着提取每幅图像的角点信息并保存，最后根据得到的角点信息，通过计算获得摄像机的内参数、外参数信息，完成标定，最后根据得到的标定结果，对显示的图像进行矫正后输出。

基本流程框架，如图1所示。

具体实施方案

一、利用数学排列组合知识，绘制彩色棋盘标定板（可根据精度要求，设计出不同标准的标定板）。

普通的黑白棋盘标定板如图2所示，

此以绘制出7×4规格的彩色标定板(图3)为例进行说明。

绘制彩色棋牌标定板，是以数学上的排列组合知识和色彩空间知识为基础的。

以图3为例，其共包括7×4合计28个角点。在此以黑色作为背景色，每个角点均为不同圆的圆心，而且每个角点的四邻域均为不同的颜色组合。

若令C_i为角点，其中i为角点序号，取值为1、2、3、…、28），P_i(a,b,c,d)为角点“色标”，a,b,c,d分别为角点在一、二、三、四象限的色标分量。其中色标分量选取的颜色为：黑、黄、红、蓝、紫、绿、天蓝共7种，每个角点由4种颜色表示，且相邻象限的颜色不能重复，故共有7×6×6×5=1260种“色标”组合可供选择。因为这个组合数量已经足够多，所以在设计标定板时应该尽可能选取那些对标定结果有正面作用的组合，因此，有必要根据一些原则作出舍弃。通过实验分析，得出以下原则：选取的相邻基准色间的区别应特别明显；参照角点易于被识别，一是易于计算机识别，二是易于人眼辨识；同时选取尽量多的基准色，这样可供选取的“色标”组合会较多，才有足够的余地去选取更优的组合；同时在获取标定图片时，应设计好适当的光照强度，以提高拍摄图片上各种颜色间的辨识度。

由以上分析或图2均可知，示例标定板共有角点28个，但任一角点的“色标”均唯一，即可通过这唯一的“色标”值去定位角点。

通过“色标”定位角点的说明：

举例如下，假定绘制出的7×4的彩色棋牌标定板，长为280mm,宽为160mm，每个正方形棋盘格大小为40mm×40mm,每个彩色圆的直径为2mm，那么以标定板坐上角顶点为原点，长度方向为X轴，宽度方向为Y轴，令Z轴与XY面垂直，Z₀为XY面在Z轴上的坐标值，那么各角点的空间坐标值为M_i(x,y，z₀)，很显然各角点的“色标”与“坐标”存在一一对应的映射关系，以左上角第一个角点C₁为例，其“色标”为P₁（红，紫，天蓝，黄），通过映射关系很容易可以定位到对应的“坐标”，即M₁(2,2,z₀)，其他角点类同。因此，通过“色标”可以定位“坐标”，也即定位了角点在标定板的位置。

其中，标定板的大小和所包含的角点均可以根据需要定制，如对精度要求较高时，一方面适当增加角点数量，另外适当减少每个棋盘方格的大小，以提高标定精度。

说明1、对角点的旋转和尺度不变特性的说明

因为在标定板旋转或者由缩放引起图片的尺度相对变化时，角点的“色标”不会因而改变，所以说由步骤1设计出的彩色棋盘标定板具有旋转和尺度不变特性。

说明2、对相机硬件设计引起的畸变效应的说明。

在相机标定过程中，畸变效应是必须要考虑的因素。一般镜头中央区域畸变很小，可忽略不计，但镜头边缘地带往往存在较严重的鱼眼畸变效应。图4所示为无畸变下相邻角点示意图，A、B、C三点为相邻角点。图5所示为鱼眼畸变效应下相邻角点的示意图。A、B、C三点为不考虑畸变时的角点位置，A′，B′，C′为鱼眼畸变下对应角点的位置。由图可看出，鱼眼畸变引起误差较大，严重影响照片输出质量，尤其在对精度要求较高的环境中，需要对摄像机进行标定以抑制畸变。

由前所述，可知步骤1设计出的彩色标定板如图3所在，包含的角点的“色标”，具有旋转和尺度不变的特性。假设选取一张产生畸变效应的图片（该图片包含彩色棋盘标定板的所有角点）。角点因为鱼眼效应发生畸变，会导致输出的图片上角点之间的相对距离发生变化，如AB与A′B′距离不同，即畸变后显示的角点间相对距离发生了变化。但由于角点“色标”的旋转和尺度不变特性，可知，A、B即使发生畸变，但其“色标”仍保持不变。

由步骤1可知，通过“色标”可以定位到“坐标”，即可快速定位角点在彩色标定板上的原始位置，进而得到AB的实际距离，为矫正畸变效应，精确标定相机打下了基础。

二、利用机械臂控制彩色棋盘标定板的运动，来捕捉标定图像。

该思路的来源背景：在对变焦镜头进行标定的过程中，通常需要手动对不同焦距情况下的镜头图像分别进行标定。假设每一次标定需要使用N张标定图像，共有K个放大倍数档位，则标定人员需要移动标定模板N×K次，以N=12，K=10为例，则需要120次。这需要大量的重复工作。因此为了提高标定速度，减少人力浪费。考虑利用机械装置来代替人工操作。所以，提出了一种利用机械臂控制标定板运动的方法。

多自由度机械臂通过精确控制舵机使关节运动，来得到不同的标定模板位置。

由步骤1可得所需彩色标定板。其中标定模板被固定在机械臂最后一个末关节上。由于每个关节可以转动180度以上，所以提供了较大的操作空间。

首先，预先设计好多组舵机角度预置位（可按需设置预置位数量，此处以15为例），并调整相机和机械臂的相对位置。由于张正友标定算法并不需要标定模板与镜头的相对位置关系，因此，只要保证固定于其上的标定模板能完全位于成像中即可。

其次，启动机械臂，使机械臂运动经1s运动到第一个预置位，并停留3s，依此类推，每隔3s,使机械臂运动到下一个预置位，并假定机械臂在相邻预置位进行切换时耗时均为1s,故，以60s为一个循环。其中，使机械臂在每一个预置位停留3s是为了得到稳定的标定图像。

同时，在启动机械臂的时候，同步启动相机连拍模式，每两次拍照间隔2.5s,以60s为一周期。这样每1分钟即可以自动得到后续标定工作所需的15张标定图像。

三、进行角点检测

由步骤二得到标定图像后，进入角点检测环节。

角点检测环节，由于Harris算法的高效和良好的可重复性，并广泛应用到实际工作中，因此选用Harris算法进行角点检测。

利用Harris算法进行角点检测的步骤如下：

第一步，将图像转化为灰度图像，

第二步，计算各像素点（x,y）的自相关矩阵Q值，

E_x,y=Ax²+2Cxy+By²=(x,y)Q(x,y)^T

其中，E_x,y为像素点（x,y）的区域灰度变化值。

$Q=\left[\begin{array}{cc}A& C\\ C& B\end{array}\right]$

$X=\∂I/\∂x=I\⊗(-\mathrm{1,0,1}),$ $Y=\∂I/\∂y=I\⊗{(-\mathrm{1,0,1})}^T$

$A=X^2\⊗w,$ $B=Y^2\⊗w,$ $C=\left(\mathrm{XY}\right)\⊗w$

其中，I(x,y)表示像素点（x,y）的灰度值。w表示高斯搜索窗口，用来对图像进行降噪。

Q存在两个特征值λ₁，λ₂。

第三步，计算角点响应函数C(x,y)的值，

C(x,y)=det(Q)-k(trace(Q))²

其中，det(Q)=λ₁λ₂=AB-C²，trace(Q)=λ₁+λ₂=A+B，k为常量。

第四步，比较角点响应函数C(x,y)的值与给定阈值T的大小，得到角点集。

当角点响应函数C(x,y)为一个很小的值时，认为检测点在区域内部，即灰度相对无变化的区域，当C(x,y)大于给定阈值T时，认为此点正是角点，当C(x,y)为小于零的值时，认为此点属于边缘的某一点。

四、判断角点“色标”，剔除伪角点。

步骤三可得到角点集，令角点为M,其一、二、三、四象限的四邻域颜色分别为M₁，M₂，M₃，M₄，即可得到角点“色标”。若M的“色标”不在彩色标定板（由步骤一所设计）的“色标”库中，则剔除该角点M,依此类推；若得到的角点“色标”在标定板的“色标”库中，则角点为真，由步骤一可立即得到该角点的空间坐标值。

五、由以上步骤，获取到相机标定所需的全部参数信息。

由步骤四，得到了角点的空间坐标，再加上角点在图像中的像素坐标，即得到了完成相机标定所需的全部参数信息。

六、获取相机参数，完成相机标定。

TSAI方法，计算量适中，精度较高，所以通过TSAI方法来求解相机参数。该方法实质上是对一线性方程组的求解。因为由步骤五得到的角点信息足够，故可以得到全部相机参数。

根据角点在空间中的坐标转换关系，可以得到一系列方程组，而这些方程组的解即为所求相机的参数。只要有足够多的角点信息，就可以求得全部参数。由步骤一知，角点数量足够，由步骤五知，所需角点信息已经获取。所以分两步执行，第一步，求解相机外参数信息，求得平移参数t_y,t_x,旋转参数r,及系数s_x；第二步，求解相机的内参数信息，求得相机的焦距f_x,f_y,扭曲系数k,及t_z，完成标定。

本发明方法具有以下特点：

1、该方法绘制出的彩色棋盘标定板，利用各不相同的颜色组合，对角点均进行了唯一标识。

2、唯一标识后的角点，具有旋转和尺度不变的特性，可精确定位每一个标定点。

3、利用机械臂控制标定板运动，并提前设置好预置位组，来捕获标定图像。

与现有技术的方式相比，本发明方法具有以下至少一种优点：

1、该方法绘制的彩色棋盘标定板，其触点具备旋转和尺度不变的特性，可有效避免通常相机标定时对畸变较大的镜头（如鱼眼，全景等）引起的较大误差。

2、利用机械臂来控制标定板的运动，减少了人工干预。

3、提高了摄像机的标定精度。

Claims (10)

1.一种基于彩色标定板的全自动摄像机参数标定方法，其特征在于：包括以下步骤：

（1）绘制彩色棋牌标定板，要求每个角点的四邻域均为不同的颜色组合；

（2）控制彩色棋牌标定板的运动，捕捉标定图像；

（3）根据步骤（2）获得的标定图像，进行角点检测；

（4）根据角点的“色标”是否在标定板的“色标”库内剔除伪角点；

（5）根据步骤（4）得到的真角点获得角点的空间坐标，再加上角点在图像中的像素坐标，得到相机标定所需的全部参数；

（6）获取相机参数，完成相机标定。

2.根据权利要求1所述的基于彩色标定板的全自动摄像机参数标定方法，其特征在于：在步骤（1）的彩色棋盘标定板中，每个角点均为不同圆的圆心。

3.根据权利要求1所述的基于彩色标定板的全自动摄像机参数标定方法，其特征在于：每个角点由4种颜色表示，且相邻象限的颜色不能相同。

4.根据权利要求1所述的基于彩色标定板的全自动摄像机参数标定方法，其特征在于：在步骤（2）中，获取标定图像时，设计好适当的光照强度，以提高拍摄图像上各种颜色间的辨识度。

5.根据权利要求1所述的基于彩色标定板的全自动摄像机参数标定方法，其特征在于：所述角点具有旋转和尺度不变特性。

6.根据权利要求1所述的基于彩色标定板的全自动摄像机参数标定方法，其特征在于：所述角点检测的方法为：首先将图像转为灰度图像，然后，计算各像素点的自相关矩阵Q值，再根据自相关矩阵Q值计算角点响应函数的值，最后，通过比较角点响应函数的值与给定阈值T的大小，得到角点集。

7.根据权利要求6所述的基于彩色标定板的全自动摄像机参数标定方法，其特征在于：所述各像素点的自相关矩阵Q值根据以下公式计算：

E_x,y=(x,y)Q(x,y)^T，

其中，E_x,y为像素点（x,y）的区域灰度变化值，λ₁，λ₂为自相关矩阵Q的两个特征值。

8.根据权利要求6所述的基于彩色标定板的全自动摄像机参数标定方法，其特征在于：所述角点响应函数的值根据以下公式计算：C(x,y)=det(Q)-k(trace(Q))²，其中，det(Q)=λ₁λ₂=AB-C²，trace(Q)=λ₁+λ₂=A+B，k为常量； $A=X^2\⊗w,$ $B=Y^2\⊗w,$ $C=\left(\mathrm{XY}\right)\⊗w,$ I(x,y)表示像素点（x,y）的灰度值，w表示高斯搜索窗口，用来对图像进行降噪。

9.根据权利要求6所述的基于彩色标定板的全自动摄像机参数标定方法，其特征在于：通过比较角点响应函数Q的值与给定阈值T的大小，得到角点集，其具体方法为：当角点响应函数为一个很小的值时，认为检测点在区域内部，即灰度相对无变化的区域，当C(x,y)大于给定阈值T时，认为此点正是角点，当C(x,y)为小于零的值时，认为此点属于边缘的某一点。

10.根据权利要求1所述的基于彩色标定板的全自动摄像机参数标定方法，其特征在于：真伪角点的判断方法为：令角点为M,其一、二、三、四象限的四邻域颜色分别为M₁，M₂，M₃，M₄，即可得到角点“色标”；若M的“色标”不在彩色标定板的“色标”库中，则该角点M为伪角点；若得到的角点“色标”在标定板的“色标”库中，则角点M为真角点。

Images