CN102110290B - 一种利用正三棱柱靶标求解摄像机内参数方法 - Google Patents

Abstract

本发明涉及一种利用空间正三棱柱为靶标求解摄像机内参数的方法，对标定块拍摄一幅包含三个可视面的图像；提取图像中各边顶点以及中点的图像坐标，确定三角形两条边及其中线和正方形的两个边和对角线所在直线上灭点坐标，利用拉盖尔定理的推论求出各个面上圆环点的图像坐标，建立圆环点图像关于摄像机内参数的约束方程，线性解出摄像机内参数(包括摄像机主点坐标，有效焦距和倾斜因子)。本发明可以根据一幅图片线性求解摄像机的全部内参数。利用本发明中标定块可以实现全自动标定，减少了标定过程中由测量引起的误差。

Description

一种利用正三棱柱靶标求解摄像机内参数方法

技术领域

本发明属于计算机视觉领域，是一种利用正三棱柱靶标求解圆环点的图像坐标来进行摄像机标定的新方法。

背景技术

摄像机标定是计算机视觉的基础，是完成三维重建的关键步骤之一。近20年来一直被学者们广泛研究.一般来说，摄像机标定算法可分为自标定和传统的标定。当前最常用的是传统的标定算法，即利用已知的标定物作为空间参照物，通过空间点与图像点之间的对应关系来建立单应矩阵，求解摄像机内参数。在此过程中必须确定空间物体点的三维几何位置与其在图像中对应点之间的相互关系，而这种相互关系是由摄像机成像的几何模型决定的，这些几何模型的参数就是摄像机参数。大多数条件下这些参数都是通过实验得到的，这个过程就是摄像机标定过程。

在文献“Computer Vision：A Modern APProach”(David A.Forsyth，Jean Ponce Faugeras著，林学闫，王宏等译.电子工业出版社，2004)中给出了一种较为常用的摄像机几何成像模型，设点P为空间中任意一点，它的世界坐标为M＝(X_w，Y_w，Z_w)^T，它对应于图像平面上的像素点p坐标为m＝(u，v)^T，则摄像机成像公式表示为：λ(u，v)^T＝K[R，T](X_w，Y_w，Z_w)^T。其中

$K=\left(\begin{array}{ccc}{f}_u& s& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right),$

f_u，f_v，，s，u₀，v₀是摄像机的内参数，R是一旋转矩阵，T是一平移向量。K为摄像机的内参数矩阵，[R，T]为照相机的外参数矩阵，K[R，T]为投影矩阵。

摄像机标定过程就是确定上述公式中参数的过程。一旦摄像机的内参数在某种焦距下被求解出来，一般情况下是不会再发生变化的，以后就可以直接使用，因此摄像机自标定技术是标定过程中关键的一步。自从1992年Hartly和Faugeras首次提出摄像机自标定的思想后摄像机自标定及相关研究已成为目前计算机视觉领域的研究热点之一。目前大多数自标定方法都是基于绝对二次曲线或绝对二次曲面的，这些方法都必须解一个非线性方程(组)或相应的非线性规划问题，例如文献“A New Easy Camere Calibration Technique Based on CirclePoints”(MENG Xiao-qiao，HU Zhan-yi.Journal of Software，2000，13(5)：957-965)中给出了一种利用绝对二次曲线与平面圆成像的交点，求解摄像机内参数，标定精度较高，鲁棒性较强，适合非视觉专业人员使用。但相对于非线性问题，线性问题较简单且稳定。我们是否可以用线性方法来求解这些参数问题呢？针对这个问题，目前也出现了一些线性的自标定方法，例如文献“一种改进基于圆环点的摄像机自标定方法”(胡培成等.光电工程，2007，34(12)：54-60)中提出的利用两对相互垂直直径获得圆环点坐标进行标定，避免了拟合椭圆和灭线过程中产生的误差。

发明内容

本发明提供了一种利用正三棱柱为靶标，在一定摄影条件下仅需一幅图像就可以完成标定摄像机的全部内参数的方法，该方法具有标定方法简单，少量图片线性求解，精度较高优点。

本发明的技术解决方案

一种利用正三棱柱靶标求解摄像机内参数的方法，其特征在于它是由任意边长相等的两个全等正三角形和三个全等正方形组成。我们取三角形任意两个边的中点以及这两条边上的中线的中点和正方形的边上以及对角线的中点，再利用无穷远点性质和拉盖尔定理的推论线性解出摄像机内参数。具体步骤包括：所需要的正三棱柱各棱上的灭点坐标求解，平面圆环点图像坐标求解，摄像机内参数矩阵(5参数)求解。

(1)直线上灭点坐标求解

对平面中任一条直线l上任意三点q₁，q₂，q₃，空间测量出两个点到第三点之间的距离，根据共线四点之间的交比性质，若其中一点为无穷远点，则这四点之间的交比性质等于三个普通点之间的简单比，再由射影变换保持交比不变性，可以求解出这条直线上无穷远点的图像坐标。

(2)求解各面直线灭点坐标

设空间正三棱柱ABC-A₁B₁C₁，P_1∞，P_2∞，P_3∞，P_4∞分别为三角形ABC所在平面的AD，BC，BF，AC所在直线上无穷远点，它们的成像点分别为p₁，p₂，p₃，p₄；在面BCB₁C₁上，P_2∞，P_5∞，P_8∞，P_9∞分别BC，CC₁，BC₁，B₁C所在直线上无穷远点，它们的成像点分别为P₂，P₅，P₈，P₉；在面ACA₁C₁上P_4∞，P_5∞，P_6∞，P_7∞分别是AC，CC₁，AC₁，A₁C所在直线上无穷远点，它们的成像点分别为P₄，P₅，P₆，P₇，输入图像，提取图像中的特征点坐标，利用交比不变性和调和共轭求出各灭点坐标。

(3)平面圆环点图像坐标求解

设正三棱柱中三角形ABC所在平面为∏，其上圆环点图像坐标为m_i1(x₁+x₂i，y₁+y₂i，1)，m_i1(x₁-x₂i，y₁-y₂i，1)。设ABC为等边三角形，D，F分别是边BC和AC得中点，E，G分别是中线AD和BF的中点，则AD⊥BC，BF⊥AC，得到关于圆环点图像坐标的方程：

$\left\{\begin{array}{c}(p_1{p}_2,m_{i1}{m}_{j1})=-1\\ (p_3{p}_4,m_{i1}{m}_{j1})=-1\end{array}\right.,$

在正方形ACC₁A₁所在的面上，F，D₁分别是边AC和CC₁得中点，设该面上圆环点图像坐标为m_i2，m_j2。根据AC⊥CC₁，AC₁⊥A₁C，则可得到P₄，P₅，P₆，P₇关于平面圆环点图像坐标的约束方程：

$\left\{\begin{array}{c}(p_4{p}_5,m_{i2}{m}_{j2})=-1\\ (p_6{p}_7,m_{i2}{m}_{j2})=-1\end{array}\right..$

重复上述步骤，在正方形BCC₁B₁所在的面上我们可以得到灭点P₂，P₅，P₈，P₉关于平面圆环点图像坐标的约束方程：

$\left\{\begin{array}{c}(p_2{p}_5,m_{i3}{m}_{j3})=-1\\ (p_8{p}_9,m_{i3}{m}_{j3})=-1\end{array}\right..$

由以上这三个方程组可以得到m_i1，m_j1，m_i2，m_j2，m_i3，m_j3的坐标。

(4)利用圆环点性质，建立圆环点图像坐标关于摄像机内参数的约束方程，利用最小二乘法求出摄像机的内参数。

本发明的优点是：

(1)本发明主要适用于拍摄场景中含有正三棱柱模块，属于非接触式测量方法，直接提取图像中相关点的信息。

(2)本发明的算法标定出的摄像机内参数矩阵是5参数矩阵，包含了光学成像中的所有参数，主要有光学成像中心、倾斜因子和有效焦距的标定。

(3)本发明采用的算法是利用正三角形和正方形的性质求解平面圆环点图像坐标，利用正三棱柱的性质一次性求解全部内参数，简化了标定过程。

附图说明

图1本发明利用正三棱柱靶标求解摄像机内参数方法的流程图。

图2本发明采用的平面圆环点图像坐标求解原理示意图。

图3本发明采用的标定靶标结构示意图。

具体实施方式

下面是对本发明作进一步的详细说明。提出了一种利用利用正三棱柱模块为靶标标定出摄像机全部内参数的方法，其特征在于它是由两个任意边长的正三角形和四个正方形组成，我们取三角形两个边的中点以及这两条边上的中线的中点和正方形的边和对角线的中点，在利用无穷远性质和拉盖尔定理的推论线性解出摄像机内参数。具体步骤包括：所需要的正三棱柱各棱上的灭点坐标求解，平面圆环点图像坐标求解，摄像机内参数矩阵(5参数)求解。

(1)直线上灭点坐标求解

对平面中任一条直线l上任意三点q₁，q₂，q₃，空间测量出两个点到第三点之间的距离，根据共线四点之间的交比性质，若其中一点为无穷远点，则这四点之间的交比性质等于三个普通点之间的简单比，设l上无穷远点q_∞，则有(q₁q₂，q₃q_∞)＝(q₁q₂q₃)，通过测量可以得到(q₁q₂q₃)的值，当q₃为q₁，q₂的中点时，有(q₁q₂，q₃q_∞)＝-1。由射影变换保持交比不变性，可以求出这条直线上无穷远点的图像坐标。

(2)求解所需的三角形和正方形各边所在直线的灭点坐标

设空间正三棱柱ABC-A₁B₁C₁，P_1∞，P_2∞，P_3∞，P_4∞分别为三角形ABC所在平面AD，BC，BF，AC所在直线上无穷远点，它们的成像点分别为p₁，p₂，p₃，p₄；在面BCB₁C₁上，P_2∞，P_5∞，P_8∞，P_9∞分别BC，CC₁，BC₁，B₁C所在直线上无穷远点，它们的成像点分别为P₂，P₅，P₈，P₉；在面ACA₁C₁上P_4∞，P_5∞，P_6∞，P_7∞分别是AC，CC₁，AC₁，A₁C所在直线上无穷远点，它们的成像点分别为P₄，P₅，P₆，P₇，输入图像，提取图像中的特征点坐标，利用交比不变性和调和共轭求出各灭点坐标。

(3)平面圆环点图像坐标求解

设正三棱柱中三角形ABC所在平面为∏，其上圆环点图像坐标为m_i1(x₁+x₂i，y₁+y₂i，1)，m_i1(x₁-x₂i，y₁-y₂i，1)。设ABC为等边三角形，D，F分别是边BC和AC得中点，E，G分别是中线AD和BF的中点，则AD⊥BC，BF⊥AC，得到关于圆环点图像坐标的方程：

$\left\{\begin{array}{c}(p_1{p}_2,m_{i1}{m}_{j1})=-1\\ (p_3{p}_4,m_{i1}{m}_{j1})=-1\end{array}\right..$

在正方形ACC₁A₁所在的面上，F，D₁分别是边AC和CC₁得中点，设该面上圆环点图像坐标为m_i2，m_j2。根据AC⊥CC₁，AC₁⊥A₁C，则可得到P₄，P₅，P₆，P₇关于平面圆环点图像坐标的约束方程：

$\left\{\begin{array}{c}(p_4{p}_5,m_{i2}{m}_{j2})=-1\\ (p_6{p}_7,m_{i2}{m}_{j2})=-1\end{array}\right..$

重复上述步骤，在正方形BCC₁B₁所在的面上，我们可以得到灭点P₂，P₅，P₈，P₉关于平面圆环点图像坐标的约束方程：

$\left\{\begin{array}{c}(p_2{p}_5,m_{i3}{m}_{j3})=-1\\ (p_8{p}_9,m_{i3}{m}_{j3})=-1\end{array}\right..$

由以上这三个方程组可以得到m_i1，m_j1，m_i2，m_j2，m_i3，m_j3的坐标。

(4)利用圆环点性质，建立圆环点图像坐标关于摄像机内参数的约束方程，利用最小二乘法求解出摄像机的内参数。

实施例

本发明提出了一种利用空间正三棱柱靶标求解摄像机内参数方法的流程如图1所示，三角形成像图像及求解平面圆环点图像坐标原理如图2a、b所示。

用于标定的四面体靶标是一个任意棱长的正三棱柱，如图3所示，不妨设其棱长为30cm，取点A₁为坐标系原点，在三角形A₁B₁C₁所在平面分别取B₁C₁的中点所在直线和与其相互垂直直线为y轴和x轴，以通过点A₁且与xy平面相互垂直直线为z轴，建立右手直角坐标系A₁-xyz，则估计出A，B，C，D，E，F，G及A₁，B₁，C₁，D₁，O，O₁(如图3)的坐标分别为：A(0，0，30)，

仿真摄像机参数设置为(piexls)：有效焦距f_u＝1000，f_v＝800，倾斜因子s＝0.2，主点坐标u₀＝640，v₀＝480，任意旋转矩阵(单位正交)和平移向量。

具体的步骤如下：

(1)制作正三棱柱模型，摄像机拍摄一组图像，选择其中包含三个可视面的图像。

(2)用OpenCV中的函数cvGoodFeaturesToTrack提取出图像中角点坐标。

(3)求解所需的三角形和正方形各边所在直线的灭点坐标

设空间正三棱柱ABC-A₁B₁C₁，P_1∞，P_2∞，P_3∞，P_4∞分别为三角形ABC所在平面AD，BC，BF，AC所在直线上无穷远点，它们的成像点分别为p₁，p₂，p₃，p₄，其坐标为(u_p1，v_p1)，(u_p2，v_p2)，(u_p3，v_p3)，(u_p4，v_p4)，下面以求解(u_p1，v_p1)为例，给出求解过程，选取任意一幅包含三个可视面的图像，提取出特征点A，E，D的图像坐标分别为：a(474，83)，e(379，273)，d(302，318)，根据交比不变性得到：(ad，ep₁)＝-1，即

$\frac{u_a-u_e}{u_d-u_e}:\frac{u_a-u_{p1}}{u_d-u_{p1}}=-1$ 和 $\frac{v_a-v_e}{v_d-v_e}:\frac{v_a-v_{p1}}{v_d-v_{p1}}=-1.$

由以上的两个方程可以解得 $u_{p1}=\frac{u_e(u_a+u_d)-2u_a{u}_d}{2u_e-u_a-u_d}$ 和 $v_{p1}=\frac{v_e(v_a+v_d)-2v_a{v}_d}{2v_e-v_a-v_d},$ 将提取的点的坐标带入可得u_p1＝-433.78，v_p1＝390.93

(4)求解圆环点图像坐标。

设正三棱柱中三角形ABC所在平面为∏，其上圆环点图像坐标为m_i1(x₁+x₂i，y₁+y₂i，1)，m_j1(x₁-x₂i，y₁-y₂i，1)。设ABC为等边三角形，D，F分别是边BC和AC得中点，E，G分别是中线AD和BF的中点，则AD⊥BC，BF⊥AC，得到关于圆环点图像坐标的方程：

$\left\{\begin{array}{c}(p_1{p}_2,m_{i1}{m}_{j1})=-1\\ (p_3{p}_4,m_{i1}{m}_{j1})=-1\end{array}\right..---\left(1\right)$

在正方形ACC₁A₁所在的面上，F，D₁分别是边AC和CC₁得中点，设该面上圆环点图像坐标为m_i2，m_j2。根据AC⊥CC₁，AC₁⊥A₁C，则可得到P₄，P₅，P₆，P₇关于平面圆环点图像坐标的约束方程：

$\left\{\begin{array}{c}(p_4{p}_5,m_{i2}{m}_{j2})=-1\\ (p_6{p}_7,m_{i2}{m}_{j2})=-1\end{array}\right..$

重复上述步骤，在正方形BCC₁B₁所在的面上，我们可以得到灭点P₂，P₅，P₈，P₉关于平面圆环点图像坐标的约束方程：

$\left\{\begin{array}{c}(p_2{p}_5,m_{i3}{m}_{j3})=-1\\ (p_8{p}_9,m_{i3}{m}_{j3})=-1\end{array}\right.$

以求解三角形所在的面上的圆环点为例，由(1)可得， $x_1=\frac{u_{p1}{u}_{p2}-u_{p3}{u}_{p4}}{u_{p1}{u}_{p2}-u_{p3}{u}_{p4}}$ $y_1=\frac{v_{p1}{v}_{p2}-v_{p3}{v}_{p4}}{v_{p1}{v}_{p2}-v_{p3}{v}_{p4}}$

$x_2=\frac{\sqrt{(u_{p1}-u_{p3})(u_{p3}-u_{p2})(u_{p1}-u_{p4})(u_{p2}-u_{p4})}}{u_{p1}+u_{p2}-u_{p3}-u_{p4}}$

$y_2=\frac{\sqrt{(v_{p1}-v_{p3})(v_{p3}-v_{p2})(v_{p1}-v_{p4})(v_{p2}-v_{p4})}}{v_{p1}+v_{p2}-v_{p3}-v_{p4}}$

将点的坐标带入可得 $\left\{\begin{array}{c}{x}_1=1291.6\\ x_2=820.65\end{array}\right.$ 和 $\left\{\begin{array}{c}{y}_1=901.82\\ y_2=-811.40\end{array}\right.,$

(5)求出绝对二次曲线的像ω。

设二次曲线的像 $\mathrm{\ω}=K^{-T}{K}^{-1}=\left(\begin{array}{ccc}{c}_1& c_2& c_3\\ c_2& c_4& c_5\\ c_3& c_5& c_6\end{array}\right),$ 它是一个对称矩阵，定义一个6维向量C＝(c₁，c₂，c₃，c₄，c₅，c₆)^T，根据每对圆环点图像坐标对建立关于摄像机内参数的两个方程：

$\left\{\begin{array}{c}\mathrm{Re}\left({m_{i1}}^T\mathrm{\ω}{m}_{i1}\right)=0\\ \mathrm{Im}\left({m_{i1}}^T\mathrm{\ω}{m}_{i1}\right)=0\end{array}\right.,$

$\left(\begin{array}{cccccc}{x_1}^2-{x_2}^2& 2(x_1{y}_1-x_2{y}_2)& 2x_1& {y_1}^2-{y_1}^2& {2y}_1& 1\\ x_1{x}_2& x_1{y}_2+x_2{y}_1& x_2& y_1{y}_2& y_2& 0\end{array}\right)C=0.$

利用以上步骤求解出图像上3个面上的圆环点图像坐标，得到3个如上的方程组，将他们组合得到，AC＝0，可以得到，

C＝(0.0000004074397，-0.000000006676，0.00000015039924，0.0000005616798，0.00000023058158，0.00000001522299)

可以得到 $\mathrm{\ω}=\left(\begin{array}{ccc}0.0000004074397& -0.000000006676& 0.00000015039924\\ -0.000000006676& 0.0000005616798& 0.00000023058158\\ 0.00000015039924& 0.00000023058158& 0.00000001522299\end{array}\right)$

(6)求解摄像机的内参数。

利用Cholesky分解法对ω进行分解得到K^-1，求逆得到K，再将K的最后一个元素归一化处理，即得到摄像机的内参数矩阵为 $K=\left(\begin{array}{ccc}687.31& -10.459& 235.621\\ 0& 749.38& 310.985\\ 0& 0& 1\end{array}\right).$

本发明提出的摄像机标定方法实现简单，鲁棒性好，对摄像机相对于标定靶标的方位没有任何限制。

Claims (1)

1.一种利用正三棱柱靶标求解摄像机内参数的方法，其特征在于正三棱柱是由任意边长相等的两个全等正三角形和三个全等正方形组成；我们取三角形任意两个边的中点以及这两条边上的中线的中点和正方形的边上以及对角线的中点，再利用无穷远点性质和拉盖尔定理的推论线性解出摄像机内参数；具体步骤包括：所需图像上各边所在直线灭点坐标求解，平面圆环点图像坐标求解，摄像机内参数矩阵中的f_u，s，u₀，f_v，v₀5个参数求解，其中f_u，f_v为有效焦距，s为倾斜因子，u₀，v₀为主点坐标：

(1)求解图像上各边所在直线灭点坐标

设空间正三棱柱ABC-A₁B₁C₁，P_1∞，P_2∞，P_3∞，P_4∞分别为三角形ABC所在平面的AD，BC，BF，AC所在直线上无穷远点，它们的成像点分别为p₁，p₂，p₃，p₄；在面BCB₁C₁上，P_2∞，P_5∞，P_8∞，P_9∞分别为BC，CC₁，BC₁，B₁C所在直线上无穷远点，它们的成像点分别为p₂，p₅，p₈，p₉；在面ACA₁C₁上P_4∞，P_5∞，P_6∞，P_7∞分别是AC，CC₁，AC₁，A₁C所在直线上无穷远点，它们的成像点分别为p₄，p₅，p₆，p₇，输入图像，提取图像中的特征点坐标，利用交比不变性和调和共轭求出各灭点坐标；

(2)平面圆环点图像坐标求解

设正三棱柱中三角形ABC所在平面为∏，其上圆环点图像坐标为m_i1(x₁+x₂i，y₁+y₂i，1)，m_j1(x₁-x₂i，y₁-y₂i，1)；设ABC为等边三角形，D，F分别是边BC和AC的中点，E，G分别是中线AD和BF的中点，则AD⊥BC，BF⊥AC，得到关于圆环点图像坐标的方程：

$\left\{\begin{array}{c}(p_1{p}_2,m_{i1}{m}_{j1})=-1\\ (p_3{p}_4,m_{i1}{m}_{j1})=-1\end{array}\right.;$

在正方形ACC₁A₁所在的面上，F，D₁分别是边AC和CC₁的中点，设该面上圆环点图像坐标为m_i2，m_j2；根据AC⊥CC₁，AC₁⊥A₁C，则可得到p₄，p₅，p₆，p₇关于平面圆环点图像坐标的约束方程：

$\left\{\begin{array}{c}(p_4{p}_5,m_{i2}{m}_{j2})=-1\\ (p_6{p}_7,m_{i2}{m}_{j2})=-1\end{array}\right.;$

重复上述步骤，在正方形BCC₁B₁所在的面上我们可以得到灭点p₂，p₅，p₈，p₉关于平面圆环点图像坐标的约束方程：

$\left\{\begin{array}{c}(p_2{p}_5,m_{i3}{m}_{j3})=-1\\ (p_8{p}_9,m_{i3}{m}_{j3})=-1\end{array}\right.;$

由以上这三个方程组我们可以得到m_i1，m_j1，m_i2，m_j2，m_i3，m_j3的坐标；

(3)通过绝对二次曲线的像与圆环点坐标间的关系建立方程组，求得绝对二次曲线的像的各参数，利用Cholesky分解法求得摄像机内参数。

Images