CN102354399A - 一种摄像机外部参数自定标方法及装置 - Google Patents

Abstract

本发明公开了一种摄像机外部参数自定标方法，旨在提供一种运算时间短、结果精度高的摄像机外部参数自定标方法，其包括下列步骤：A、利用摄像机获取模板的灰度图像，并存储；B、对获取的灰度图像进行去噪处理；C、检测去噪处理后的灰度图像的角点；D、根据非线性摄像机模型和所述角点信息求得初始摄像机外部参数；E、利用粒子群算法优化所述初始摄像机外部参数，得到摄像机外部参数。本发明还公开了一种摄像机外部参数自定标装置。本发明可用于摄像机外部参数的定标。

Description

一种摄像机外部参数自定标方法及装置

技术领域

本发明涉及摄像机定标技术领域，尤其是涉及一种广角摄像机外部参数自定标方法及装置。

背景技术

空间物体表面某点的三维几何位置与其在图像中对应点间的相互关系由摄像机成像的几何模型决定，其参数就是摄像机参数。该参数包括摄像机内部几何和光学特性(内部参数)，以及摄像机相对世界坐标系的三维位置和方向(外部参数)。由于摄像机在实际使用中经常发生位置变化，因此摄像机的外部参数标定越来越被重视。摄像机的外部参数定标的应用已涉及生活中的各个领域，如机器人手眼定标、移动摄像机定标、侦查摄像机定标等等。因此，研究开发一种定标时间短、精度高的摄像机外部参数定标方法，将能够有效地提高摄像机在生产和生活中的应用，为生产和生活带来便利。

目前已有的摄像机外部参数定标算法主要分为传统算法和智能算法，其中：

传统算法往往利用特征点的对应关系，能快速地计算出外部参数值，且由于计算模型不含随机数，其计算结果往往是唯一的，因此还具有稳定的优点。但是，传统算法在提取特征点的时候会有误差，导致经过计算模型之后误差仍延续存在，从而导致结果精度并不高。

智能算法利用算法的智能性通过迭代的方式求得结果，使得结果能够逐步趋于精确。然而由于算法中加入随机数，使得结果并不稳定，同时算法的运行效率与初始化解密切相关。

可见，现有的摄像机外部参数标定方法无法兼顾运算时间短和结果精度高。

发明内容

本发明为了解决现有技术摄像机外部参数标定方法无法兼顾运算时间短和结果精度高的技术问题，提供了一种摄像机外部参数自标定方法及装置。

为解决上述技术问题，本发明采用的技术方案为设计一种摄像机外部参数自定标方法，包括下列步骤：

A、利用摄像机获取模板的灰度图像，并存储；

B、对获取的灰度图像进行去噪处理；

C、检测去噪处理后的灰度图像的角点；

D、根据非线性摄像机模型和所述角点信息求得初始摄像机外部参数；

E、利用粒子群算法优化所述初始摄像机外部参数，得到摄像机外部参数。

所述对获取的灰度图像进行去噪处理包括：先对获取的灰度图像进行二值化处理，再对二值化处理后的图像进行多次先膨胀处理后腐蚀处理。

所述检测去噪处理后的灰度图像的角点采用Harris算子进行角点检测。

所述根据非线性摄像机模型和所述角点信息求得初始摄像机外部参数包括：

根据非线性摄像机模型，建立世界坐标与图像坐标的对应关系；

根据角点信息和非线性摄像机模型，求得初始摄像机外部参数。

所述利用粒子群算法优化所述初始摄像机外部参数包括：

根据初始摄像机外部参数，初始化粒子位置；

定义粒子的适应值函数；

根据粒子的适应值进行优化。

本发明还提供了一种摄像机外部参数自定标装置，包括：

灰度图像获取模块，其利用摄像机获取模板的灰度图像，并存储；

去噪模块，其对获取的灰度图像进行去噪处理；

角点检测模块，其检测去噪处理后的灰度图像的角点；

初始摄像机外部参数获取模块，其根据非线性摄像机模型和所述角点信息求得初始摄像机外部参数；

优化模块，其利用粒子群算法优化所述初始摄像机外部参数，得到摄像机外部参数。

所述去噪模块包括

二值化处理模块，其对获取的灰度图像进行二值化处理；

膨胀腐蚀处理模块，其对二值化处理后的图像进行多次先膨胀处理后腐蚀处理。

所述检测去噪处理后的灰度图像的角点采用Harris算子进行角点检测。

所述根据非线性摄像机模型和所述角点信息求得初始摄像机外部参数包括：

根据非线性摄像机模型，建立世界坐标与图像坐标的对应关系；

根据角点信息和非线性摄像机模型，求得初始摄像机外部参数。

所述利用粒子群算法优化所述初始摄像机外部参数包括：

根据初始摄像机外部参数，初始化粒子位置；

定义粒子的适应值函数；

根据粒子的适应值进行优化。。

本发明通过先对获取的灰度图像进行去噪处理，再检测去噪处理后的灰度图像的角点，然后再根据非线性摄像机模型和所述角点信息求得初始摄像机外部参数，最后，利用粒子群算法优化所述初始摄像机外部参数，得到摄像机外部参数。从而利用将传统算法与智能算法结合在一起的混合算法，不仅继承了传统算法高效稳定的优点，同时利用传统算法得到优良的初始化解，来帮助智能算法逐步求精，运算时间短、结果精度高。

附图说明

下面结合实施例和附图对本发明进行详细说明，其中：

图1是本发明摄像机外部参数自定标方法的流程图；

图2是本发明摄像机外部参数自定标装置的原理图。

具体实施方式

请参见图1。本发明摄像机外部参数自定标方法包括下列步骤：

一、利用摄像机获取模板的灰度图像，并存储。

二、对获取的灰度图像进行去噪处理。

对获取的灰度图像进行去噪处理，以降低图像质量对后面算法的影响。在该步骤中，先对获取的灰度图像进行二值化处理，再对二值化处理后的图像进行多次先膨胀处理后腐蚀处理。在本具体实施例中，优选进行3次先膨胀后腐蚀处理。

2.1对获取的灰度图像进行二值化处理得到二值化处理后的图像

定义获取的灰度图像为I1，二值化处理后的图像为I2，I1(x，y)、I2(x，y)分别表示I1、I2在坐标(x，y)处的灰度值。记s为前景与背景的分割阈值，前景像素点占图像比例为w0，平均灰度为m0；背景像素点占图像比例为w1，平均灰度为m1。图像的总平均灰度为：m＝w0*m0+w1*m1。从最小灰度值到最大灰度值遍历s，当s＝s0时使得函数F＝w0*(m0-m)²+w1*(m1-m)²值最大。再对灰度图像I1进行操作，当I1(x，y)＜s0时，I2(x，y)＝0；当I1(x，y)＞＝s0时，I2(x，y)＝1。由此得到二值化处理后的图像I2。

2.2对二值化处理后的图像I2进行3次先膨胀后腐蚀处理得到去噪处理后的图像I3。

膨胀处理为：用3*3的结构元素，扫描图像的每一个像素，用结构元素与其覆盖的二值图像做“与”操作，如果都为0，结果图像的该像素为0，否则为1。

腐蚀处理为：用3*3的结构元素，扫描图像的每一个像素，用结构元素与其覆盖的二值图像做“与”操作，如果都为1，结果图像的该像素为1，否则为0。

三、检测去噪处理后的灰度图像的角点

在该步骤中，对去噪处理后的图像I3进行角点检测处理。采用Harris算子P进行角点检测。当某点的Harris算子P值大于设定阀值T0时，该点为灰度图像的角点；否则，该点不是灰度图像的角点。

四、根据非线性摄像机模型和所述角点信息求得初始摄像机外部参数

在该步骤中，首先根据非线性摄像机模型，建立世界坐标与图像坐标的对应关系；然后再根据角点信息和非线性摄像机模型，求得初始摄像机外部参数。

4.1根据非线性摄像机模型，建立世界坐标与图像坐标的对应关系

建立摄像机坐标与图像坐标的对应关系，其计算公式为

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\frac{1}{Z_c}\left[\begin{array}{cccc}\frac{f}{k}& -\frac{f}{k}\cot \mathrm{\θ}& u_0& 0\\ 0& \frac{f}{l\sin \mathrm{\θ}}& v_0& 0\\ 0& 0& 1& 0\\ & & & \end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\frac{1}{Z_c}\left[\begin{array}{cccc}a& 0& u_0& 0\\ 0& b& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right],$

其中，(u，v)表示图像坐标系中的坐标，原点位于(u0，v0)像素点上，k×l表示一个像素点的大小，其单位为：毫米，f为摄像机焦距，θ为摄像机坐标系的偏斜度，在此取90度，(X_cY_cZ_c)^T为摄像机坐标。

由于摄像机存在畸变，利用以下公式进行矫正：

$\hat{x}=x(1+k_1{e}^2+k_2{e}^4)+2p_1\mathrm{xy}+p_2(e^2+{2x}^2)$

$\hat{y}=y(1+k_1{e}^2+{k_{2}e}^4)+2p_2\mathrm{xy}+p_1(e^2+{2x}^2)$

式中，

和

是由小孔模型计算出来的图像点坐标的理想值，(x，y)为实际图像点的坐标；e²＝x²+y²，k1、k2为径向畸变系数，p1、p2为切向畸变系数。

上述参数a、b、u0、v0、k1、k2、p1、p2为摄像机内部参数，可利用其它方法预先求得，用于建立摄像机坐标与图像坐标的对应关系。

建立世界坐标与摄像机坐标之间的关系，其计算公式为：

$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}{R}_{3\×3}& h_{3\×1}\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

其中h_3×1为平移向量，R_3×3为旋转矩阵，(X_cY_cZ_c)^T为摄像机坐标，(X_wY_wZ_w)^T为世界坐标，参数T，只是一种数学符号，表示矩阵的转置，0^T表示0的一个矩阵。其中旋转矩阵可以约简为三个未知数，可以用旋转向量r_3×1表示，r_3×1与h_3×1即为摄像机外部参数，共六个未知数。

由此，可建立了世界坐标与图像坐标的对应关系：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right],$

这个关系当中只有外部参数这六个未知数，其中A表示包含了六个外部参数的矩阵。

4.2根据角点信息和非线性摄像机模型，求初始摄像机外部参数

由于在角点检测中已求得角点坐标信息，同时已知角点坐标对应的世界坐标(X_wY_wZ_w)^T，根据非线性摄像机模型，利用最小二乘法即可求得初始摄像机外部参数。

五、利用粒子群算法优化所述初始摄像机外部参数，得到摄像机外部参数。

在该步骤中，先根据初始摄像机外部参数，初始化粒子位置；再定义粒子的适应值函数；然后根据粒子的适应值进行优化。

5.1初始化粒子位置

根据初始外部参数，设定每个参数变化的范围，随机产生n(n为大于1的整数)个外部参数集，每个外部参数集称为一个粒子。

5.2定义粒子的适应值函数

根据粒子(摄像外部参数)和非线性摄像机模型，可以确定世界坐标与图像坐标的关系，则可以还原模板所处的世界坐标与图像坐标的对应关系，由此也可得到相应坐标之间灰度值的关系。粒子的适应值函数aim采用下式表示：

$\mathrm{aim}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(g\left(D_i\right)-M)}^2$

其中，g(D_i)表示第i个粒子得到的像素矩阵，M表示模板的像素矩阵。在该步骤中，使用适应值函数aim来表示经过粒子所恢复的图像与模板图像之间的误差，所以aim是越小越优。

5.3优化

根据每个粒子的适应值，可以得到每个粒子的历史最优值p_i以及全局最优值p_g。粒子按照以下公式进行迭代优化：

v_id(t+1)＝wx_id(t)+c₁rand()(p_id(t)-x_id(t))+c₂rand()(p_gd(t)-x_id(t))，

X_id(t+1)＝x_id(t)+v_id(t+1)，(1≤i≤n，1≤d≤D)，

其中，v_id(t)表示在第t代迭代中第i个粒子第d维的速度，X_id(t)表示在第t代迭代中第i个粒子第d维的位置。c₁、c₂为正常数；rand()为[0，1]之间的随机数；w为惯性因子取0.9；粒子位置变化范围为[X_min，X_max].速度变化范围为[v_min，v_max]。迭代中若位置和速度超过边界范围则取边界值。p_id为第i个粒子的历史最优位置的第d维；p_gd为全局最优位置的第d维；n表示粒子个数，D表示粒子维度，t表示迭代代数。

请参见图2，本发明摄像机外部参数自定标装置包括灰度图像获取模块、去噪模块、角点检测模块、初始摄像机外部参数获取模块和优化模块。其中，

灰度图像获取模块利用摄像机获取模板的灰度图像，并存储。

去噪模块对获取的灰度图像进行去噪处理。去噪模块包括二值化处理模块和膨胀腐蚀处理模块。二值化处理模块对获取的灰度图像进行二值化处理；膨胀腐蚀处理模块对二值化处理后的图像进行多次先膨胀处理后腐蚀处理。在本具体实施例中，优选进行3次先膨胀后腐蚀处理。具体二值化处理和膨胀腐蚀处理方法如上述摄像机外部参数自定标方法所述。

角点检测模块检测去噪处理后的灰度图像的角点。所述检测去噪处理后的灰度图像的角点采用Harris算子进行角点检测。

初始摄像机外部参数获取模块根据非线性摄像机模型和所述角点信息求得初始摄像机外部参数。所述根据非线性摄像机模型和所述角点信息求得初始摄像机外部参数包括：根据非线性摄像机模型，建立世界坐标与图像坐标的对应关系；根据角点信息和非线性摄像机模型，求得初始摄像机外部参数。

优化模块利用粒子群算法优化所述初始摄像机外部参数，得到摄像机外部参数。所述利用粒子群算法优化所述初始摄像机外部参数包括：根据初始摄像机外部参数，初始化粒子位置；定义粒子的适应值函数；根据粒子的适应值进行优化。具体初始摄像机外部参数获取方法和优化方法如上述摄像机外部参数自定标方法所述。

本发明通过先对获取的灰度图像进行去噪处理，再检测去噪处理后的灰度图像的角点，然后再根据非线性摄像机模型和所述角点信息求得初始摄像机外部参数，最后，利用粒子群算法优化所述初始摄像机外部参数，得到摄像机外部参数。从而利用将传统算法与智能算法结合在一起的混合算法，不仅继承了传统算法高效稳定的优点，同时利用传统算法得到优良的初始化解，来帮助智能算法逐步求精，运算时间短、结果精度高。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种摄像机外部参数自定标方法，其特征在于包括下列步骤：

A、利用摄像机获取模板的灰度图像，并存储；

B、对获取的灰度图像进行去噪处理；

C、检测去噪处理后的灰度图像的角点；

D、根据非线性摄像机模型和所述角点信息求得初始摄像机外部参数；

E、利用粒子群算法优化所述初始摄像机外部参数，得到摄像机外部参数。

2.根据权利要求1所述的摄像机外部参数自定标方法，其特征在于：所述对获取的灰度图像进行去噪处理包括：先对获取的灰度图像进行二值化处理，再对二值化处理后的图像进行多次先膨胀处理后腐蚀处理。

3.根据权利要求1所述的摄像机外部参数自定标方法，其特征在于：所述检测去噪处理后的灰度图像的角点采用Harris算子进行角点检测。

4.根据权利要求1所述的摄像机外部参数自定标方法，其特征在于：所述根据非线性摄像机模型和所述角点信息求得初始摄像机外部参数包括：

根据非线性摄像机模型，建立世界坐标与图像坐标的对应关系； 

根据角点信息和非线性摄像机模型，求得初始摄像机外部参数。

5.根据权利要求1所述的摄像机外部参数自定标方法，其特征在于： 所述利用粒子群算法优化所述初始摄像机外部参数包括：

根据初始摄像机外部参数，初始化粒子位置；

定义粒子的适应值函数；

根据粒子的适应值进行优化。

6.一种摄像机外部参数自定标装置，其特征在于包括：

灰度图像获取模块，其利用摄像机获取模板的灰度图像，并存储；

去噪模块，其对获取的灰度图像进行去噪处理；

角点检测模块，其检测去噪处理后的灰度图像的角点；

初始摄像机外部参数获取模块，其根据非线性摄像机模型和所述角点信息求得初始摄像机外部参数；

优化模块，其利用粒子群算法优化所述初始摄像机外部参数，得到摄像机外部参数。

7.根据权利要求6所述的摄像机外部参数自定标装置，其特征在于：所述去噪模块包括

二值化处理模块，其对获取的灰度图像进行二值化处理；

膨胀腐蚀处理模块，其对二值化处理后的图像进行多次先膨胀处理后腐蚀处理。

8.根据权利要求6所述的摄像机外部参数自定标装置，其特征在于：所述检测去噪处理后的灰度图像的角点采用Harris算子进行角点检测。

9.根据权利要求6所述的摄像机外部参数自定标装置，其特征在于：所述根据非线性摄像机模型和所述角点信息求得初始摄像机外部参数包括：

根据非线性摄像机模型，建立世界坐标与图像坐标的对应关系； 

根据角点信息和非线性摄像机模型，求得初始摄像机外部参数。

10.根据权利要求6所述的摄像机外部参数自定标装置，其特征在于： 所述利用粒子群算法优化所述初始摄像机外部参数包括：

根据初始摄像机外部参数，初始化粒子位置；

定义粒子的适应值函数；

根据粒子的适应值进行优化。

Images