CN103034994A - 利用sift特征点校准一般摄像情况下摄像机参数 - Google Patents

Abstract

在一般摄像情况，摄象机的光轴不相互平行，摄象机绕X轴、Y轴、Z轴都有转角，摄像机校准的方法一般采用像水平校准和已知空间点校准等方法，但是很多物体表面的像水平线很难找到，或是找到的像水平线也是近似的，这样校准的摄像机参数误差比较大，给后续的重建带来了很大的累积误差。利用已知空间点校准方法的前提是必须已知足够点数的物体表面空间坐标，但是在很多场合下，无法预先得到足够多的已知空间点，利用sift特征点校准一般摄像情况下的摄像机参数方法无需预先知道已知空间点，而是对得到的物体表面的照片或图片，利用sift算法求出物体表面的特征关键点，然后利用这些特征关键点作为已知点进行摄像机参数校准。

Description

利用sift特征点校准一般摄像情况下摄像机参数

技术领域

本发明涉及计算机视觉、虚拟现实和物体三维场景分析与重建等领域。公开了利用sift特征点校准一般摄像情况下摄像机参数方法，具体地说解决了一般摄像情况下，因无法获取足够的已知点来求解相片图像的相片系数，从而无法求解出摄像机的参数，无法求解物体的实际坐标而影响后续的三维重建。

背景技术

摄像机参数的标定是虚拟现实、计算机视觉和三维重建技术研究中的一项基本的工作，是建立物体表面点的三维位置和图像中对应点二维位置之间的关系。摄像机参数的标定过程是指确定摄像机的内部参数(内方位元素)和外部参数(外方位元素)。在场景分析和场景重建，以及军事防御战略的部署、产品设计的等方面都有广泛的应用。在人工智能和计算机技术高速发展的时代，希望通过一些照片或图片，通过建立摄像机参数，提取两幅图像里面相同的景物三维的有效信息，实现三维重建。

摄像机参数标定的方法一般有两步法、线性法和非线性法等几种。两步法仅考虑镜头的径向畸变，操作复杂。线性法没有考虑非线性补偿，存在较大的畸变误差。非线性法考虑各种非线性物镜畸变差，适合一般摄像情况，本发明主要采用非线性校准方法。

发明内容

本发明的目的是提供一种利用sift关键特征点作为已知点进行摄像机参数标定，适合那些无法获取或得到足够已知点的图像三维重建。

按照本发明提供的技术方案，利用sift特征点校准一般摄像情况下摄像机参数方法包含以下步骤：

1、对用来校准摄像机参数的图像进行预滤波，消除噪声。利用中值滤波对图像进行预处理，平滑噪声。

2、利用基于区域的sift算法(尺度不变特征转换算法)生成一定数目匹配的特征点。实现步骤为：

(1)根据区域灰度特性将图像分成5×5个小区域。

(2)检测区域之间的匹配关系，

(3)在有匹配关系的区域里利用sift算法检测配对的特征点。每个区域只需要检测2-3点。

3、校准摄像机参数的实现过程为：

(1)根据一般摄像情况下的成像原理，以及引入需改正的非线性物镜畸变系数，利用豪斯荷尔德变换法求解相片图像的系数。

(2)根据相片图像的系数，求解摄像机内方位元素像主点和焦距。

(3)根据相片图像的系数，求解摄像机外方位元素。

本发明与已有技术相比，实现过程简单，无需预先知道相片的已知点，同时采用基于区域的sift算法，匹配速度快。由于无需预先知道已知点，为文物的复原展示、军事防御的远程图像的重建以及产品的仿真提供一种有效的方法。

附图说明

图1算法执行流程图

图2一般摄像的成像模型图

图3像空间坐标系与物空间坐标系之间的关系图

具体实施方式

下面本发明将结合附图对本发明的实施方式做进一步的介绍。

1、图像预处理，对需要匹配的图像进行预滤波，消除噪声。如果图像质量良好的话，可以选择不做。为了保持图像的灰度特性，利用自适应中值滤波对图像进行预处理，自适应中值滤波是对中值滤波的改进，在计算滤波模板中心点的灰度时，不是简单取中值，而是根据周围像素点的特性，先把滤波模板上的像素点灰度特性进行加权，然后在取中值，也是一种非线性滤波，既消除噪声又保持细节，滤波模板取3×3，为了降低计算量，每次求中值仅仅考虑去掉最左侧的像素，补上最右侧的像素，其余像素不变。

2、基于区域sift算法实施步骤：

(1)利用sift算法检测校准照片的sift关键点。

(2)利用图像直方图统计图像的灰度特性，根据灰度特性，把需要检测的图像分成5×5个小区域。把已经检测到的sift特征点按照坐标位置分配到这些区域中。

(3)图像直方图反映了图像中不同灰度值的面积或像素在整个图像中出现的频率，当图像同一区域的成像条件发生变化时，所对应的直方图在形态上却变化不大，所以利用直方图性质检测区域之间的配对关系，并标注匹配关系。

(4)取图像1中某一区域的一个sift特征点，在图像2中匹配关系的区域中搜索匹配的sift特征点，由于校准摄像机参数需要的已知点数目要求不多，所以本发明在每个匹配区域中值检测3个对应匹配关系的sift点。

3、摄像机参数的求解步骤：

(1)物体在一般摄像情况下的成像几何模型如图2所示。摄像机的光轴不相互平行，摄像机绕在X轴、Y轴、Z轴都有转角。O-XYZ为物空间坐标系，S_L-x_L y_L z_L，S_r-x_ry_rz_r分别为左像空间坐标系和右像空间坐标系，o_L-x_Ly_L、o_r-x_ry_r分别为左像平面坐标系和右像平面坐标系，S_L-X_ALY_ALZ_AL、S_r-X_ArY_ArZ_Ar分别为左像空间辅助坐标系和右像空间辅助坐标系。S_L、S_r分别为左摄像点和右摄像点，B为摄像基线。p_L，p_r分别为左像平面和右像平面，物体表面上的任意一点M在左像平面上的构像为m_L，右像平面上的构像为m_r。f_L，f_r分别为左、右相片的摄像焦距。

(2)根据成像原理，求解物空间坐标、摄像中心点坐标和摄像机参数之间关系：

$\left\{\begin{array}{c}x+f\frac{a_1(X-X_s)+b_1(Y-Y_s)+c_1(Z-Z_s)}{a_3(X-X_s)+b_3(Y-Y_s)+c_3(Z-Z_s)}=0\\ y+f\frac{a_2(X-X_s)+b_2(Y-Y_s)+c_2(Z-Z_s)}{a_3(X-X_s)+b_3(Y-Y_s)+c_3(Z-Z_s)}=0\end{array}\right.---\left(1\right)$

其中：

X，Y，Z为目标点的物空间坐标；

X_s，Y_s，Z_s为摄象中心的物空间坐标；

f为摄像机焦距；

x，y为以相片主点为原点并排除了各项误差的坐标。

a_i，b_i，c_i(i＝1，2，3)为像空间坐标系相对物空间坐标系的方向余弦；

以Z轴为主轴，

转角系统如图3所示。θ为主垂直面的方向角(摄像象机摆角)，即基本方向线与Y之间的夹角；

为相片倾角(摄像机仰角)，即摄像方向与铅垂线方向之间的夹角；ψ为像平面的自旋角(摄像机自旋角)，即像平面上主纵线与X轴之间的夹角。

(3)对普通摄象机来说，象主点的位置是末知的，而且存在着各种畸变，引入下列系数对畸变进行改正，引入改正系数后，公式(1)整理如下：

$\left\{\begin{array}{c}{\mathrm{\ξ}}_1+{\mathrm{\ξ}}_{2}x+{\mathrm{\ξ}}_{3}y+f\frac{a_{1}X+b_{1}Y+c_{1}Z+{\mathrm{\λ}}_1}{a_{3}X+b_{3}Y+c_{3}Z+{\mathrm{\λ}}_3}=0\\ {\mathrm{\η}}_1+{\mathrm{\η}}_{2}x+{\mathrm{\η}}_{3}y+f\frac{a_{2}X+b_{2}Y+c_{2}Z+{\mathrm{\λ}}_2}{a_{3}X+b_{3}Y+c_{3}Z+{\mathrm{\λ}}_3}=0\end{array}\right.---\left(2\right)$

其中：

$\left\{\begin{array}{c}{\mathrm{\λ}}_1=-(a_1{X}_s+b_1{Y}_s+c_1{Z}_s)\\ {\mathrm{\λ}}_2=-(a_2{X}_s+b_2{Y}_s+c_2{Z}_s)\\ {\mathrm{\λ}}_3=-(a_3{X}_s+b_3{Y}_3+c_3{Z}_s)\end{array}\right.$

(4)对公式(2)进行变换化简得

$\left\{\begin{array}{c}x+\frac{L_{1}X+L_{2}Y+L_{2}Z+L_4}{L_{9}X+L_{10}Y+L_{11}Z+1}=0\\ y+\frac{L_{5}X+L_{6}Y+L_{7}Z+L_8}{L_{9}X+L_{10}Y+L_{11}Z+1}=0\end{array}\right.---\left(3\right)$

式中：

$\left\{\begin{array}{c}{L}_1=(a_1{f}_x-a_3{x}_0)/r_3\\ L_2=(b_1{f}_x-b_3{x}_0)/r_3\\ L_3=(c_1{f}_x-c_3{x}_0)/r_3\\ L_4=(r_1{f}_x-r_3{x}_0)/r_3\\ L_5=(a_2{f}_y-a_3{y}_0)/r_3\\ L_6=(b_2{f}_y-b_3{y}_0)/r_3\\ L_7=(c_2{f}_y-c_3{y}_0)/r_3\\ L_8=(r_2{f}_y-r_3{y}_0)/r_3\\ L_9=a_3/r_3\\ L_{10}=b_3/r_3\\ L_{11}=c_3/r_3\end{array}\right.---\left(4\right)$

其中：

$\left\{\begin{array}{c}{r}_1=-(a_1{X}_s+b_1{Y}_s+c_1{Z}_s)\\ r_2=-(a_2{X}_s+b_2{Y}_s+c_2{Z}_s)\\ r_3=-(a_3{X}_s+b_3{Y}_s+c_3{Z}_s)\end{array}\right.---\left(5\right)$

通过L系数把空间坐标联系起来，同时L系数与摄象机的内外方位元素、误差系数有关，利用L系数可以确定摄象机的内外方位元素。

(5)通过基于区域sift算法的求解，已经求出足够多的已知匹配点，通过这些已知匹配点，求解公式(3)即可求出L系数。

(6)摄像机内外方位元素的求解

公式(1)各元素a_i，b_i，c_i(i＝1，2，3)之间存在下列关系

$a_3^2+b_3^2+c_3^2=1$

a₃X_s+b₃Y_s+c₃Z_s+r₃＝0

则

$L_9^2+L_{10}^2+L_{11}^2=(a_3^2+b_3^2+c_3^2)/r_3^2$

$=\frac{1}{{(a_3{X}_s+b_3{Y}_s+c_3{Z}_s)}^2}$

而

$L_1{L}_9+L_2{L}_{10}+L_3{L}_{11}=\frac{1}{r_3^2}[(a_1{f}_x-a_3{x}_0)a_3+(b_1{f}_x-b_3{x}_0)b_3+(c_1{f}_x-c_3{x}_0)c_3]$

$=\frac{1}{r_3^2}[f_x(a_1{a}_3+b_1{b}_3+c_1{c}_3)-x_0(a_3^2+b_3^2+c_3^2)]$

$=-x_0(L_9^2+L_{10}^2+L_{11}^2)$

则可得出

$x_0=-(L_1{L}_9+L_2{L}_{10}+L_3{L}_{11})/(L_9^2+L_{10}^2+L_{11}^2)---\left(6\right)$

同理可得

$y_0=-(L_5{L}_9+L_6{L}_{10}+L_7{L}_{11})/(L_9^2+L_{10}^2+L_{11}^2)---\left(7\right)$

又因为

$L_1^2+L_2^2+L_3^2=\frac{1}{r_3^2}[f_x^2+x_0^2]$

则得

$f_x^2=-x_0^2+(L_1^2+L_2^2+L_3^2)/(L_9^2+L_{10}^2+L_{11}^2)---\left(8\right)$

同样可得

$f_y^2=-y_0^2+(L_5^2+L_6^2+L_7^2)/(L_9^2+L_{10}^2+L_{11}^2)---\left(9\right)$

则摄象机焦距

$f=\frac{1}{2}[f_x+f_y]---\left(10\right)$

由于

$\left[\begin{array}{ccc}{L}_9& L_{10}& L_{11}\end{array}\right]=\frac{1}{r_3}\left[\begin{array}{ccc}{a}_3& b_3& c_3\end{array}\right]$

则

$\left[\begin{array}{ccc}{a}_3& b_3& c_3\end{array}\right]=\frac{1}{{(L_9^2+L_{10}^2+L_{11}^2)}^2}\left[\begin{array}{ccc}{L}_9& L_{10}& L_{11}\end{array}\right]---\left(11\right)$

由于

$\left[\begin{array}{ccc}{L}_1& L_2& L_3\end{array}\right]=\frac{1}{r_3}\left[\begin{array}{ccc}{a}_1{f}_x-a_3{x}_0& b_1{f}_x-b_3{x}_0& c_1{f}_x-c_3{x}_0\end{array}\right]$

得

$\left[\begin{array}{ccc}{a}_1& b_1& c_1\end{array}\right]=\frac{1}{f_x}[\frac{L_1}{{(L_9^2+L_{10}^2+L_{11}^2)}^{\frac{1}{2}}}+a_3{x}_0\frac{L_2}{{(L_9^2+L_{10}^2+L_{11}^2)}^{\frac{1}{2}}}+b_3{x}_0\frac{L_3}{{(L_9^2+L_{10}^2+L_{11}^2)}^{\frac{1}{2}}}+c_3{x}_0]---\left(12\right)$

同样可以求得

$\left[\begin{array}{ccc}{a}_2& b_2& c_2\end{array}\right]=\frac{1}{f_y}[\frac{L_5}{{(L_9^2+L_{10}^2+L_{11}^2)}^{\frac{1}{2}}}+a_3{y}_0\frac{L_6}{{(L_9^2+L_{10}^2+L_{11}^2)}^{\frac{1}{2}}}+b_3{y}_0\frac{L_7}{{(L_9^2+L_{10}^2+L_{11}^2)}^{\frac{1}{2}}}+c_3{y}_0]---\left(13\right)$

到此为止，九个方向余弦a_i，b_i，c_i(i＝1，2，3)都已求得，接下来可以对外方位直线元素进行解算。

由式(5)可得

$\frac{a_1{f}_x-a_3{x}_0}{r_3}{X}_s+\frac{b_1{f}_x-b_3{x}_0}{r_3}{Y}_s+\frac{c_1{f}_x-c_3{x}_0}{r_3}{Z}_s+L_4=0---\left(a\right)$

并且可以得出下列关系

$\frac{a_2{f}_y-a_3{y}_0}{r_3}{X}_s+\frac{b_2{f}_y-b_3{y}_0}{r_3}{Y}_s+\frac{c_2{f}_x-c_3{y}_0}{r_3}{Z}_s+L_8=0---\left(b\right)$

r₃＝-(a₃X_s+b₃Y_s+c₃Z_s)    (c)

其中

$r_3=\frac{1}{{(L_9^2+L_{10}^2+L_{11}^2)}^{\frac{1}{2}}}$

把(a)，(b)，(c)组成一个含有三个末知数的线性方程组，求解后可以得外方位元素(X_s，Y_s，Z_s)。

Claims (4)

1.利用sift特征点校准一般摄像情况下的摄像机参数方法，其特征是采用以下步骤：

(1)对用来校准摄像机参数的图像进行预滤波，消除噪声。利用中值滤波对图像进行预处理，平滑噪声。

(2)利用基于区域的sift算法(尺度不变特征转换算法)生成一定数目匹配的特征点。

(3)利用已匹配的特征点作为已知点求解摄像机的内外方位元素和焦距。

2.根据权利要求1所述的利用sift特征点校准一般摄像情况下的摄像机参数方法，其特征在于待匹配的两幅图像的分辨率是一样的。

3.根据权利要求1所述的利用sift特征点校准一般摄像情况下的摄像机参数方法，其特征在于利用基于区域的sift算法(尺度不变特征转换算法)的实现步骤为：

(1)根据区域灰度特性将图像分成5×5个小区域。

(2)检测区域之间的匹配关系。

(3)在有匹配关系的区域里利用sift算法检测配对的特征点。每个区域只需要检测2-3点。

4.根据权利要求1所述的利用sift特征点校准一般摄像情况下的摄像机参数方法，其特征在于校准摄像机参数的实现过程为：

(1)根据一般摄像情况下的成像原理，以及引入需改正的非线性物镜畸变系数，利用豪斯荷尔德变换法求解相片图像的系数。

(2)根据相片图像的系数，求解摄像机内方位元素像主点和焦距。

(3)根据相片图像的系数，求解摄像机外方位元素。

Images