CN101882309A - 摄像机标定靶及基于该标定靶的标定检测方法 - Google Patents

Abstract

本发明揭露了一种摄像机标定靶及基于该标定靶的标定检测方法，以标准圆圆心作为标定物的特征点，计算的是特定区域的当量中心，算法简单，抗噪性能强，即使在图像发生扭曲时(如圆被扭曲成椭圆)，也能准确地提取其质心位置。另外，在标定过程中，可将被测物体置于标定圆所圈定的矩形区域内，同时完成标定与检测，从而减少环境变化对于检测准确性的影响。其中，所述标定靶表面具有八个标定圆，于该标定靶表面形成一个矩形区域，且该标定靶表面灰度与所述标定圆灰度不同。

Description

摄像机标定靶及基于该标定靶的标定检测方法

技术领域

本发明涉摄像机视觉领域，特别是涉及一种摄像机标定靶及基于该标定靶的标定检测方法。

背景技术

电子标签三维计算机视觉系统应能从摄像机拍摄的图像信息出发，计算三维环境物体的位置、形状等几何信息，并由此识别环境中的物体。图像上每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空间物体表面相应点的几何位置有关，这些位置的相互关系，由摄像机成像几何模型所决定，该几何模型的参数称为摄像机参数，这些参数必须由实验与计算来确定，实验与计算的过程称为摄像机标定。

摄像机标定技术是立体视觉技术研究中最关键的环节，在视觉测量、工业检测以及机器人技术应用研究中具有重要的意义。因此，摄像机标定技术获得了快速的发展，其标定的理论问题已得到较好的解决，以下详述摄像机标定的原理：

首先，摄像机标定离不开坐标系的建立，那么从客观世界三维(3-D)场景投影到摄像机二维(2-D)像平面过程中主要涉及的坐标系有：

1)计算机图像平面坐标系

在计算机内部，数字图像所用的坐标系是以像素为单位的坐标系u-v，每幅数字图像在计算机内为M×N矩阵，(u，v)表示像素位于矩阵中的行数

列数，f(u，v)即是像素点的

度值。

2)图像平面坐标系

图像平面坐标系x-y，坐标原点O₁定义在光轴与图像平面的交点，x，y轴分别与u，v轴平行，如图1所示：如果O₁在u-v坐标系中的坐标为(u₀，v₀)，每一个象素在x轴与y轴方向上的物理尺寸为dx，dy，则图像中任意一个像素在两个坐标系下的坐标有以下关系：

$u=\frac{x}{\mathrm{dx}}+u_0,v=\frac{-y}{\mathrm{dy}}+v_0---\left(1\right)$

用齐次坐标与矩阵形式可表达为：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dx}}& 0& u_0\\ 0& -\frac{1}{\mathrm{dy}}& v_0\\ 0& 0& 1\end{array}\right]\×\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(2\right)$

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{dx}& 0& -u_0\mathrm{dx}\\ 0& -\mathrm{dy}& v_0\mathrm{dy}\\ 0& 0& 1\end{array}\right]\×\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]---\left(3\right)$

3)摄像机坐标系

摄像机坐标系X_C-Y_C-Z_C以摄像机光心O为原点，X，Y轴分别平行于x，y轴，摄像机光轴为Z轴，OO₁为摄像机焦距。

4)世界坐标系

世界坐标系X_W-Y_W-Z_W即现实坐标系，是客观世界的绝对坐标，可描述摄像机及其它任何物体的位置。世界坐标系和摄像机坐标系之间的存在如下关系：

$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(4\right)$

其中R为3×3旋转正交矩阵

T为3×1平移向量(t_x，t_y，t_z)^T；0＝(0，0，0)^T。

其次，计算机视觉研究中，三维空间中的物体到像平面的投影关系即为成像模型，理想的投影成像模型是光学中的中心投影，也称为针孔模型。针孔模型假设物体表面的反射光都经过一个针孔投影到像平面上，即满足光的直线传播条件。在实际摄像系统中，小孔成像由于透光量太小，因此需要很长的曝光时间，并且很难得到清晰的图像，因此，通常都由透镜或者透镜组来实现。然而，由于透镜设计的复杂性和工艺水平等因素的影响，实际透镜成像系统不可能严格满足针孔模型，产生所谓的镜头畸变(例如，径向畸变、切向畸变等)，而在远离图像中心处会有较大的畸变，因而常常采用非线性模型来描述成像关系。

以带有一阶径向畸变的针孔模型为例来描述摄像机标定的原理与主要步骤如下：

如图2，其中某世界坐标系内空间点P的三维坐标为(X_W，Y_W，Z_W)；(X，Y，Z)为点P在摄像机坐标系(以摄像机光心O为原点，Z轴与光轴重合)下的坐标；(x_u，y_u)为线性摄像机模型(不考虑畸变)下P点的图像坐标；(x_d，y_d)为由畸变引起的偏离(x_u，y_u)的实际图像坐标；(u，v)是P点的计算机图像坐标，以像素为单位，需要附加的参数

计算机图像坐标转换到图像坐标x-O_I-y。从(X_W，Y_W，Z_W)到(u，v)的变换可分为四步：

1)三维空间刚体位置变换(从(X_W，Y_W，Z_W)到(X，Y，Z))：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=R\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\end{array}\right]+T---\left(5\right)$

2)P点从摄像机坐标系到图像平面坐标系的线性投影变换(f为有效焦距)：

$z\left[\begin{array}{c}{x}_u\\ y_u\\ 1\end{array}\right]=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]---\left(6\right)$

3)畸变模型(从(x_u，y_u)到(x_d，y_d)的变换)

造成成像坐标偏差的因素有透镜的径向畸变，切向畸变，偏心畸变等。和切向畸变相比，径向畸变为影响工业机器视觉精度的主要因素。所以，我们主要考虑径向透镜畸变，变换如下：

$\left[\begin{array}{c}{x}_d\\ y_d\\ 1\end{array}\right]=\left[\begin{array}{ccc}1+{{\mathrm{kr}}_d}^2& 0& 0\\ 0& 1+{{\mathrm{kr}}_d}^2& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_u\\ y_u\\ 1\end{array}\right]---\left(7\right)$

其中，r_d ²＝x_d ²+y_d ²；k为畸变系数

4)从实际图像坐标(x_d，y_d)到计算机图像坐标(u，v)的变换

u＝c_x-s_xx_d

v＝c_y-s_yy_d        (8)

式中(c_x，c_y)为计算机图像中心坐标，(s_x，s_y)是图像平面单位距离上的像素数，即尺度因子，它们需要进行预标定。

虽然摄像机标定的理论问题已得到较好的解决，但在实际应用中，人们希望获得更为简便、实用、快速、准确的标定方法。于是标定靶的设计以及基于标定靶的标定方法得到了快速的发展。例如，基于国际象棋棋盘黑白方格交点作为标定物的特征点的标定方法，其往往通过Harris、Susan等角点提取方法获得，尽管这种方法精度高，但抗噪性能弱、运算量大。而且，采用这种方法，标定

检测不能同时进行，当进行完标定之后，环境的变化(例如光线变化或摄像机的移动等)会影响后续检测的准确性。

发明内容

有鉴于此，本发明的目的是提供一种摄像机标定靶及基于该标定靶的标定检测方法，以改善现有技术的缺失。

本发明提供一种摄像机标定靶，其表面具有八个标定圆，于该标定靶表面形成一个矩形区域，且该标定靶表面

度所述标定圆

度不同。

进一步的，所述标定靶表面为黑色，所述标定圆为白色。

进一步的，所述标定圆半径为10mm；所述矩形长边上两标定圆圆心之间的距离为600mm；且所述矩形短边上两标定圆圆心之间的距离为450mm。

本发明还提供一种标定检测方法，基于

有八个标定圆的标定靶进行标定与检测，其中所述八个标定圆于标定靶表面形成一个矩形区域，且所述标定靶表面

度与标定圆

度不同，该方法包括以下步骤：

一被测物体置于所述矩形区域内；获取包含所述八个标定圆和被测物体的标定物的图像并对其进行预处理，以

所述八个标定圆、被测物体

背景分开；提取标定圆；利用所提取的标定圆进行标定并计算得到畸变系数；利用计算得到的畸变系数对所述八个标定圆的位置进行畸变校正。

进一步的，所述获取包含所述八个标定圆和被测物体的标定物的图像并对其进行预处理的过程包括如下步骤：1)固定摄像机，调整所述标定物所占视场内的比例；2)拍摄所述标定物图像，调节对比度

加其亮度，阈值分割

标定区域二值化；3)对所述标定物图像进行连通域分析，

八个标定圆及被测物体与背景分开。

进一步的，所述提取标定圆的过程包括如下步骤：对所述标定物的图像预处理过程中所获得的标定圆与被测物体做Blob分析；分析每个Blob的圆度，判断是否最接近于边界位置；计算每个标定圆的圆心坐标。

进一步的，利用所提取的标定圆进行标定并计算得到畸变系数的过程包括如下步骤：利用径向排列约束准则

外部参数分离出来；利用求解线性方程的方法求解外部参数。

可见，以上摄像机标定靶，以标准圆圆心作为标定物的特征点，计算的是特定区域的当量中心，算法简单，抗噪性能强，即使在图像发生扭曲时(如圆被扭曲成椭圆)，也能准确地提取其质心位置。另外，在标定过程中，可

被测物体置于标定圆所圈定的矩形区域内，同时完成标定与检测，从而减少环境变化对于检测准确性的影响。

附图说明

图1为计算机图像平面坐标系与图像平面坐标系的位置示意图；

图2为世界坐标系、摄像机坐标系与图像平面坐标系的位置示意图；

图3为本发明一实施例所提供的摄像机标定靶的俯视图；

图4为本发明一实施例所提供的摄像机标定检测方法的流程示意图；

图5为本发明一实施例所提供的放置有被测物体的摄像机标定靶的俯视图；

图6为非线性摄像机模型的坐标系示意图。

具体实施方式

为使本发明的技术特征更明显易懂，下面结合附图与实施例，对本发明做进一步的描述。

请参考图3，其为本发明一实施例所提供的摄像机标定靶的俯视图。如图所示，该标定靶10表面具有八个标定圆20，于标定靶10表面形成一个矩形区域30，且标定靶10表面的

度标定圆20的

度不同。例如标定靶表面为黑色，而标定圆为白色，这样他们的

度值相差较大，适于

标定圆

背景分开。在一较佳实施例中，可选用印着8个白色标定圆的黑色台布为标定靶。如此，以标准圆圆心作为标定物的特征点，计算的是特定区域的当量中心，算法简单，抗噪性能强，即使在图像发生扭曲时(如圆被扭曲成椭圆)，也能准确地提取其质心位置。另外，在标定过程中，可被测物体置于标定圆20所圈定的矩形区域30内，同时完成标定

检测，从而减少环境变化对于检测准确性的影响。

在实际应用中，标定圆20的尺寸与位置的选取

根据实际所需来选取。例如在一较佳实施例中，标定圆20的半径为10mm；矩形长边上两标定圆20圆心之间的距离为600mm；矩形短边上两标定圆20圆心之间的距离为450mm。

下面详述基于以上标定靶10的摄像机标定检测方法。目的是一幅图像(包含八个标定圆及被测物体的图像)输入系统，通过计算机运算、处理，获得摄像机的内外参数矩阵M₁、M₂以及几何变换矩阵M，并检测出图像中包含的被测物体。即在完成摄像机标定的同时，完成被测物体检测。

继续参考图4，其为本发明一实施例所提供的摄像机标定检测方法的流程示意图。如图所示，包括如下步骤：

S1：

一被测物体40置于矩形区域30内(如图5所示)；

S2：获取包含八个标定圆20和被测物体40的标定物的图像，并对所获得的图像进行预处理，以

八个标定圆20、被测物体40与背景分开；

S3：提取标定圆20；

S4：利用所提取的标定圆20进行标定并计算得到畸变系数；

S5：利用计算得到的畸变系数对八个标定圆20的位置进行畸变校正。

下面以具体实施例描述以上各个步骤的实现方法：

一、图像获取预处理(步骤S2)：

要进行图像处理，需要先建立坐标系，故

所有标定圆20用序号标记，而后以其中一个标定圆的圆心作为世界坐标原点(0，0，0)，两条外边轴为X_W，Y_W，使用右手法则建立三世界坐标系。根据标定靶内圆心点之间的距离，可以依次设定其余圆心的三维坐标，由于这里采用的是二维标定靶，所有特征点坐标的Z_W均为0。

而后，便可以进行以下步骤：

1)固定摄像机，调整标定物(包含八个标定圆20和被测物体40)所占视场内的比例(一般在4∶3以上)；

2)拍摄标定物图像，调节对比度

加其亮度，阈值分割标定区域二值化；

3)对标定物图像进行连通域分析，八个标定圆20及被测物体40

背景(黑色)分开。

二、提取标定圆(步骤S3)

对检测出来的对像(包括八个标定圆20及被测物体40)做Blob分析。分析每个Blob的圆度，判断是否最接近于边界位置。然后利用公式(8)计算每个标定圆的圆心坐标，其中，f(x，y)是大小为M×N的连通区域。

$\left\{\begin{array}{c}{x}_c=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{xf}(x,y)/\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)\\ y_c=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{yf}(x,y)/\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)\end{array}\right.---\left(8\right)$

三、标定过程(步骤S4)

1)、首先描述利用径向排列约束标定摄像机参数的基本原理

如图6，O_I为图像中心，P_d(x_d，y_d)是图像平面上畸变后的像点，(X，Y，Z)是P点在摄像机坐标下的坐标，P_OZ是(0，0，Z)这一点。由(4)式，得到：

X＝r₁X_W+r₂Y_W+r₃Z_W+t_x

Y＝r₄X_W+r₅Y_W+r₆Z_W+t_y

Z＝r₇X_W+r₈Y_W+r₉Z_W+t_z            (9)

径向排列约束RAC意味着对成像平面上的每一个目标点P，

和

同向，即方向

即

$\frac{X}{Y}=\frac{x_d}{y_d}\⇒\frac{r_1{X}_W+r_2{Y}_W+r_3{Z}_W+t_x}{r_4{X}_W+r_5{Y}_W+r_6{Z}_W+t_y}---\left(10\right)$

整理成矢量形式为：

$\left[\begin{array}{ccccc}{X}_W{y}_d& Y_W{y}_d& y_d& -X_W{x_d}^{\′}& -Y_W{x_d}^{\′}\end{array}\right]\left[\begin{array}{c}{r}_1/t_y\\ r_3/t_y\\ t_x/t_y\\ r_4/t_y\\ r_5/t_y\end{array}\right]={x_d}^{\′}---\left(11\right)$

(5)式中3×3旋转矩阵R具有9个参数，但是其正交性规定了R仅有3个自由度，即R仅有3个独立变量。由式(11)可解出r₁，r₂，r₄，r₅共4个独立变量。而正交矩阵加上一个比例因子1/t_y也正好有4个独立变量，故式(11)可以唯一确定旋转阵R和平移分量t_x，t_y。

2)、下面描述标定过程 

上述利用RAC准则

外部参数分离出来，然后就可以用求解线性方程的方法求解外部参数。

体算法如下：

第一步：求解整个旋转矩阵R和T中的t_x，t_y。

1)由2.2节，我们可以提取9个圆心，假设其图像坐标为(u_i，v_i)，i＝1...N，并设这些点相应世界坐标为(X_Wi，Y_Wi，Z_Wi)。则由式(8)得：

$\left\{\begin{array}{c}{x}_{\mathrm{di}}=-(u_i-c_x)/s_x\\ y_{\mathrm{di}}=-(v_i-c_y)/s_y\end{array}\right.---\left(12\right)$

2)对每个点P_i，按式(11)可列出一个方程，联立这9个方程，利用最小二乘法解此超定方程组可得如下变量：

r₁′＝r₁/t_y，r₂′＝r₂/t_y，t_x′＝t_x/t_y，r₄′＝r₄/t_y，r₅′＝r₅/t_y    (13)

3)利用R的正交性可以算出t_y和r₁...r₉，具体如下：

①计算|t_y|

${t_y}^2=\frac{s_x-{({s_x}^2-4{({r_1}^{\′}{r_5}^{\′}-{r_4}^{\′}{r_2}^{\′})}^2)}^{1/2}}{2{({r_1}^{\′}{r_5}^{\′}-{r_4}^{\′}{r_2}^{\′})}^2}---\left(14\right)$

其中，s_x＝r₁′²+r₂′²+r₄′²+r₅′²

②求得|t_y|后，尚有t_y的符号需要确定，这可由下面的事实得出：在RAC中

和

同向，而在计算中，

平行于

还包含了反向的情况，由成像几何可知，x_d和X应有相同的符号，y_d和Y也有相同符号，可以利用这一点来确定t_y的符号，即在求得|t_y|后任选一特征点P_k，首先假设t_y为正号，计算下式：

r₁＝r₁′t_y，r₂＝r₂′t_y，r₄＝r₄′t_y，r₅＝r₅′t_y，

x＝r₁x_w+r₂x_w+t_x，y＝r₄x_w+r₅x_w+t_y

若x_d和X，y_x和Y同号，则t_y符号为正，否则t_y为负。

③现在对于R，已知r₁，r₂，r₄，r₅，利用正交性和右手坐标系可计算R：

$R=\left[\begin{array}{ccc}{r}_1& r_2& {(1-{r_1}^2-{r_2}^2)}^{1/2}\\ r_4& r_5& s{(1-{r_4}^2-{r_5}^2)}^{1/2}\\ r_7& r_8& r_9\end{array}\right]---\left(15\right)$

其中，s＝-sgn(r₁r₄+r₂r₅)，r₇，r₈，r₉可由第一、二行的叉乘计算，即

r₇＝sr₂(1-r₄ ²-r₅ ²)^1/2-r₅(1-r₁ ²-r₂ ²)^1/2

r₈＝r₄(1-r₁ ²-r₂ ²)^1/2-sr₁(1-r₄ ²-r₅ ²)^1/2

r₉＝r₁r₅-r₂r₄                                        (16)

TSAI在证明这个等式时指出，给定r₁，r₂，r₄，r₅，R有两个解，另一个为：

$R=\left[\begin{array}{ccc}{r}_1& r_2& {-(1-{r_1}^2-{r_2}^2)}^{1/2}\\ r_4& r_5& -s{(1-{r_4}^2-{r_5}^2)}^{1/2}\\ {-r}_7& {-r}_8& r_9\end{array}\right]---\left(17\right)$

具体选取哪一个可由试探法确定，即先任选一个，向下计算，若据此R值计算出的焦距f＜0，则此次选取不对，应选取另一个R的解，否则，若f＞0就是选取正确。

第二步：计算有效焦距f，T的t_x分量和透镜畸变系数k

$x_u=f\frac{X}{Z}=x_d(1+{{\mathrm{kr}}_d}^2)$

$y_u=f\frac{Y}{Z}=y_d(1+{{\mathrm{kr}}_d}^2)---\left(18\right)$

式中r_d ²＝x_d ²+y_d ²，待求变量是f，k，t。

设H_x＝r₁x_w+r₂y_w+t_x，H_y＝r₄x_w+r₅y_w+t_y，W＝r₇x_w+r₈y_w，f_k＝fk，可得：

H_x·f+H_x·r_d ²·f_k-x_d·t_z＝x_d·W

H_y·f+H_y·r_d ²·f_k-y_d·t_z＝y_d·W    (19)

对N个特征点，利用最小二乘法对上述两个方程进行联合最优参数估计，就可得求得f，f_k，t_z，近而求得f，k，t_z以及实际图像中心点坐标(u₀，v₀)。至此，标定部分结束。

四、校正(步骤S5)

畸变系数k代入式(7)，可以对八个标定圆的位置进行畸变校正。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视权利要求书所界定者为准。

Claims (7)

1.一种摄像机标定靶，其特征是，该标定靶表面

有八个标定圆，于该标定靶表面形成一个矩形区域，且该标定靶表面

度与所述标定圆

度不同。

2.根据权利要求1所述的摄像机标定靶，其特征是，所述标定靶表面为黑色，所述标定圆为白色。

3.根据权利要求1所述的摄像机标定靶，其特征是，其中：

所述标定圆半径为10mm；

所述矩形长边上两标定圆圆心之间的距离为600mm；且

所述矩形短边上两标定圆圆心之间的距离为450mm。

4.一种标定检测方法，其特征是，基于具有八个标定圆的标定靶进行标定

检测，其中所述八个标定圆于标定靶表面形成一个矩形区域，且所述标定靶表面

度与标定圆

度不同，该方法包括以下步骤：

(1)

一被测物体置于所述矩形区域内；

(2)获取包含所述八个标定圆和被测物体的标定物的图像并对其进行预处理，以

所述八个标定圆、被测物体与背景分开；

(3)提取标定圆；

(4)利用所提取的标定圆进行标定并计算得到畸变系数；

(5)利用计算得到的畸变系数对所述八个标定圆的位置进行畸变校正。

5.根据权利要求4所述的标定检测方法，其特征是，其中所述获取包含所述八个标定圆和被测物体的标定物的图像并对其进行预处理的过程包括如下步骤：

(1)固定摄像机，调整所述标定物所占视场内的比例；

(2)拍摄所述标定物图像，调节对比度加其亮度，阈值分割

标定区域二值化；

(3)对所述标定物图像进行连通域分析，八个标定圆及被测物体与背景分开。

6.根据权利要求4所述的标定检测方法，其特征是，其中所述提取标定圆的过程包括如下步骤：

(1)对所述标定物的图像预处理过程中所获得的标定圆与被测物体做Blob分析；

(2)分析每个Blob的圆度，判断是否最接近于边界位置；

(3)计算每个标定圆的圆心坐标。

7.根据权利要求4所述的标定检测方法，其特征是，其中利用所提取的标定圆进行标定并计算得到畸变系数的过程包括如下步骤：

(1)利用径向排列约束准则

外部参数分离出来；

(2)利用求解线性方程的方法求解外部参数。

Images