CN109064516A - 一种基于绝对二次曲线像的相机自标定方法 - Google Patents

Abstract

本发明公开了一种基于绝对二次曲线像的相机自标定方法，属于图像处理和相机标定技术领域。所述方法具体为：提取特征点和特征直线，计算消影点、消影线以及虚圆点的像；根据消影点和虚圆点的像，计算绝对二次曲线的像并求出相机的内参数矩阵，利用旋转矩阵的正交特性计算旋转矩阵，利用相机中心在世界坐标系中的位置计算平移向量；利用透视投影模型计算的消影线与通过消影点拟合得到的消影线进行对比计算相机的欧拉角；利用归一化算法来求解基本矩阵，确定不同图像之间的约束关系，完成相机自标定。本发明的优点在于设计一种新的靶标，使用该靶标进行标定简单方便实用，具有广泛的实用性，提高了数据处理的精确度，减少坐标变换对数据的影响。

Description

一种基于绝对二次曲线像的相机自标定方法

技术领域

本发明属于图像处理和相机标定技术领域，具体涉及一种基于绝对二次曲线像的相机自标定方法。

背景技术

近几年，随着人工智能研究的发展，计算机视觉(比如视觉导航SLAM，三维重构，增强现实等)作为人工智能的关键技术之一，也得到了越来越多的重视。现在研究计算机视觉的技术人员越来越多，研究的也越来越深入，在日常生活中计算机视觉的应用也越来越广。而在进行计算机图像处理之前，最主要的工作是要确定相机的参数，其中包括相机内参数和外参数。相机参数标定的是否准确将直接影响图像处理的准确性和精度。而现有技术中，无法实现在相机参数未知的情况下，快速准确的标定相机参数。

发明内容

本发明提出一种基于绝对二次曲线像的相机自标定方法，并针对该方法设计了一种新的靶标，利用该靶标进行相机自标定，方便灵活。本发明的提出一种基于绝对二次曲线像的相机自标定方法，首先提取靶标的特征点和特征直线，求出消影点、消影线以及虚圆点的像，然后利用绝对二次曲线的像求出内参数矩阵，其中，忽略扭曲参数对相机的影响，所述内参数矩阵的参数值即为相机的内参数；再利用旋转矩阵的正交特性计算旋转矩阵，利用相机中心在世界坐标系中的位置计算平移向量，所述平移向量即为相机的外参数；然后利用透视投影模型计算所得的消影线与通过所述消影点拟合得到的消影线进行对比计算相机的欧拉角；最后利用归一化8点算法来求解基本矩阵F，进而确定不同图像之间的约束关系，这样相机的所有参数即可求出。利用所述方法不需要相机的任何先验信息，因此该方法的适用范围比较广。

本发明提供的基于绝对二次曲线像的相机自标定方法，包括如下步骤：

步骤一、提取靶标的特征点和特征直线，计算消影点、消影线以及虚圆点的像；

所述特征点和特征直线的提取采用Harris角点检测算法，所述消影点和消影线利用平行线的像的交点或者利用拉格尔定理及推论计算，所述消影线为消影点拟合所得，所述虚圆点的像采用归一化单应的方法求取；

步骤二、根据步骤一中所求的消影点和虚圆点的像，计算绝对二次曲线的像w并求出相机的4个内参数矩阵K，利用旋转矩阵的正交特性计算旋转矩阵R，利用相机中心在世界坐标系中的位置C计算平移向量t；

步骤三、利用透视投影模型计算的消影线与通过消影点拟合得到的消影线进行对比计算相机的欧拉角；

步骤四、利用归一化8点算法来求解基本矩阵F，进而确定不同图像之间的约束关系，即完成对相机所有参数的自标定。

本发明的优点在于：

(1)本发明针对基于绝对二次曲线像的相机自标定方法设计了一种新的靶标，使用该靶标进行标定简单方便实用，摆脱了以往需要特定标定工具才能完成相机标定的束缚。

(2)本发明所提供的方法在自标定的过程中，不必提供关于相机的任何参数，也不必提供任何先验信息，通过对靶标图像的计算就可以得到相机的内外参数，因此具有广泛的实用性。

(3)本发明在数据处理的过程中使用归一化的方法，提高了数据处理的精确度，减少了坐标变换对数据的影响。

附图说明

图1为本发明中所设计的靶标的俯视图；

图2：本发明中所设计的靶标的透视投影图；

图3：本发明中交比不变特性示意图；

图4：本发明中对极几何原理图；

图5：本发明中求解以消影点为顶点的三角形的垂心的示意图；

图6：本发明中相机中心的投影及对极几何关系示意图；

图7：本发明中用棋盘格标定相机示意图；

图8：本发明中用靶标标定相机示意图。

具体实施方式

下面将结合附图和实施实例对本发明作进一步的详细说明。

首先对本发明所用到的相关定义和基本原理进行简单介绍，便于对本发明方法的理解。

(1)CCD相机

在本发明中，分别用x＝[u,v]^T和X＝[X,Y,Z]^T表示二维图像平面上的点和三维空间中的点，u和v分别为二维图像平面上的点的像素坐标，X,Y,Z分别为三维空间中的点的坐标。x和X对应的齐次坐标分别为

因为对于大多数标准的相机来说，其扭曲参数通常为0，所以在本发明中忽略扭曲参数对CCD相机的影响。三维空间中的点在二维图像平面上的投影可以用下式表示：

其中，s为尺度因子；f_x和f_y为等效焦距；(u₀,v₀)为主点坐标，即相机主轴与图像平面的交点；R为旋转矩阵，表示CCD相机坐标系相对于世界坐标系的方位；t为平移向量，表示CCD相机坐标系相对于世界坐标系的平移量；C为CCD相机(下文中均简称为相机)中心在世界坐标系中的坐标；将投影变换矩阵[K|0_3×1]分块成一个3×3的内参数矩阵K和一个3×1的列矩阵，T表示变换矩阵，I表示单位矩阵。

通常我们称内参数矩阵K中的参数为相机的内部参数，内参数矩阵K有四个自由度，分别是f_x，f_y，u₀，v₀；而包含R和C的参数与CCD相机在世界坐标系的方位和坐标有关，称为外部参数，R和C各有三个自由度；P为CCD相机矩阵。

(2)靶标坐标系定义

本发明所设计的靶标如图1所示，O为靶标坐标系原点，x轴和y轴如图1所示，z轴根据右手坐标系确定。靶标为正方形，其对应的边分别为l₁、l₂、l₃、l₄，以其中一个顶点为原点O，两个垂直边分别在x轴和y轴上，l₁、l₂、l₃和l₄的边长互相相等，所述靶标分别由13个特征点和12条特征直线组成，作所述正方形靶标的两条对角线，并以各边中点为顶点，作所述正方形靶标的内接正方形，得到13个特征点和12条特征直线。

根据靶标坐标系，可以定义旋转矩阵R的欧拉角(Z-X-Y)：偏航角γ，俯仰角θ和滚转角φ。其转换关系如下所示：

图2为靶标的透视投影图，其中，v₁，v₂，v₃，v₄为消影点，i，j为虚圆点的像，l为消影线。

(3)消影点和消影线

几何上，一条三维空间直线的消影点由平行于该直线并过相机中心的射线与图像平面的交点得到，因此，消影点仅依赖于直线的方向，与其位置无关。消影点是无穷远点的图像，不受相机位置变化的影响，只受相机旋转的影响。

结论1：方向为d的三维空间直线的消影点是过相机中心且方向为d的射线与图像平面的交点v，即

v＝Kd (4)

三维空间的平行平面与无穷远平面π_∞交于一条公共的直线，而这条直线的图像就是平面的消影线。消影线仅与景物平面的定向有关，与它的位置无关。平面π的消影线可以由过相机中心在世界坐标系中的坐标C的平面π与图像平面的交线来获得。

结论2：在相机坐标系下，垂直于方向n的平面集的消影线是：

l＝K^-Tn (5)

(4)绝对二次曲线的图像

在非齐次坐标系中，二次曲线的方程为：

ax²+bxy+cy²+dx+ey+f＝0 (6)

在齐次坐标系中，令x＝x₁/x₃,y＝x₂/x₃，二次曲线的方程为：

ax₁ ²+bx₁x₂+cx₂ ²+dx₁x₃+ex₂x₃+fx₃ ²＝0 (7)

转换为矩阵的形式为：x^TQx＝0其中，

二次曲线有5个自由度，其比率为：{a:b:c:d:e:f}，即二次曲线自由度等价为对称矩阵的元素个数减去一个自由度。

绝对二次曲线Ω_∞是在无穷远平面π_∞上的一条二次曲线。在齐次坐标系中π_∞＝(0,0,0,1)^T，而在Ω_∞上的点满足：

同一支撑平面(二次曲线所在的平面)中的所有的圆交绝对二次曲线Ω_∞于两点，这两点即为虚圆点。两个虚圆点是一对复共轭理想点，其标准形式为：I＝[1,i,0]^T,J＝[1,-i,0]^T。

结论3：绝对二次曲线的像(简称IAC)是二次曲线w＝(KK^T)^-1＝K^-TK^-1。

绝对二次曲线的像w仅与相机矩阵P的内参数矩阵K有关，与相机的方向和坐标无关。虚圆点的图像是绝对二次曲线的像w上的点，它们是平面π的消影线与绝对二次曲线的像w的交点。

在正交的条件下，消影点、消影线和IAC具有如下重要性质：

(a)具有垂直方向的直线的消影点v₁,v₂满足：v₁ ^Twv₂＝0。

(b)一张平面的法线方向的消影点v与该平面的消影线l的关系为：l＝wv。

(5)透视投影的交比不变特性

若A,B,C,D为点列上的4点，它们的坐标分别为a₁,b₁,c₁,d₁，则4点A,B,C,D的交比以R(A,B,C,D)或R(a₁,b₁,c₁,d₁)来表示，其关系式如下所示：

在任何直线的射影变换下，交比的值不变，即交比是基本的射影不变量。

如果A,B,C,D四点的交比R(A,B,C,D)＝-1，则称这些点为调和点，它们构成一个调和点列。称点C和D调和分割点A和B(点对C,D调和分割点对A,B)，或者A和B调和分割点C和D(点对A,B调和分割点对C,D)，又称D为A,B,C的第四调和点以及A,B与C,D成调和共轭。

过空间投影平面内任意一点，引至空间坐标系中的虚圆点I，J的两条直线称为经过该点的两条迷向直线，沿着迷向直线的方向称为迷向方向。

拉格尔定理：假设两条非迷向直线的夹角为θ，这两条直线与经过它们交点的两条以-i和i为斜率的迷向直线所成的交比为μ，则有：

或者μ＝e^2iθ (10)

推论：当两条直线与无穷远直线l_∞的两个交点同虚圆点I和J成调和共轭时，那么这两条直线相互垂直。即θ＝π/2,e^2iθ＝-1。

如图3所示，三维空间物体的图像投影到相机的图像坐标系中。

假设两条非迷向直线相互垂直，根据推论，可以得到下列关系：

R(X,Y,I,J)＝-1 (11)

(6)对极几何及基本矩阵

对极几何是两幅平面图像之间内在的射影几何。它独立于景物结构，只依赖于相机的内参数和相对姿态。对极几何的原理图如图4所示。空间平面π上的一点X在两个成像平面上的投影分别为x和x′，两个相机的中心的世界坐标系中的坐标分别为C和C′，像平面分别为I₁和I₂，由X、C和C′三点构成的平面称为对极平面，该对极平面包含基线。e和e′是对极点，它是连接两相机中心C和C′的直线CC′分别与像平面I₁和I₂的交点，对极点是在一幅像平面中另一相机中心的像，它也是基线方向的消影点。l和l′是对极线，它是对极平面分别与图像平面I₁和I₂的交线，所有的对极线都与基线交于对极点。

结论4：对两幅图像中任何一对对应点基本矩阵F都满足条件：x′^TFx＝0。

基本矩阵F是对极几何的代数表示。基本矩阵F具有如下两个重要性质：

(a)利用基本矩阵求对极点：Fe＝0,F^Te′＝0。

(b)利用基本矩阵求对极线：l′＝Fx,l＝F^Tx′。

本发明提供一种基于绝对二次曲线像的相机自标定方法，包括步骤：

步骤一、采用Harris角点检测算法，对靶标进行特征点和特征直线提取，利用平行线的像的交点或者利用拉格尔定理及推论来计算消影点和消影线，并使用归一化单应的方法来求虚圆点的像。

(1)特征提取

针对本发明设计的靶标模型采用Harris角点检测算法比较合适。Harris角点检测算法基本思想是：使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况，固定窗口中的像素灰度变化程度，如果存在任意方向上的滑动，都有着较大灰度变化，那么我们可以认为该固定窗口中存在角点。

Harris角点检测简单分为三步：

(a)求图像块W内的灰度图像值f与其平移后的灰度图像值之差的平方和S：

其中，Δx,Δy为平移量；x_i,y_i分别为第i个像素点的横坐标和纵坐标，f(x_i,y_i)为第i个像素点的灰度图像值，f(x_i-Δx,y_i-Δy)为第i个像素点平移后的灰度图像值。

(b)利用泰勒公式展开，近似处理后得到：

S(Δx,Δy)＝[Δx,Δy]A(x,y)[Δx,Δy]^T,

其中，A(x,y)为自相关矩阵，x,y分别表示处理后的像素点的横坐标和纵坐标。

(c)计算角点响应函数R(A)：

R(A)＝det(A)-κtrace²(A) (14)

其中κ为可调参数，根据经验值，一般的取值范围为：0.04～0.15。

Harris角点检测算子，具有以下性质：(1)对亮度和对比度的变化不敏感；(2)具有旋转不变性；(3)不具有尺度不变性。

通过Harris角点检测完后，即可得到相应的特征点，通过特征点可以由最小二乘法拟合出对应的特征直线。

(2)消影点的计算

三维空间中的一组平行线在图像平面中交于一点，该点就是消影点，即无穷远点在图像平面中的像。根据图2所示，可以利用平行线的像的交点求出四个消影点，分别为v₁，v₂，v₃，v₄。

另外一种求消影点的方法是：利用拉格尔定理及推论，我们可以得到下列公式：

通过求解以上方程即可分别得到四个消影点。还可以综合利用以上两种方法，可能会得到更好的结果。

求出四个消影点以后，利用最小二乘法拟合四个消影点，即可求出图像平面的消影线。

(3)归一化单应方法求虚圆点的像

对数据进行归一化，不仅可以提高结果的精度，还可以通过为测量数据选择有效的标准坐标系，预先消除了坐标变换的影响。归一化方法主要有以下步骤组成：

(a)对每幅图像中的点进行平移，使该点的几何中心即形心位于坐标原点；

(b)对每幅图像中的点组成的点集进行缩放，使它们到坐标原点的平均距离等于

(c)对每幅图像独立的进行上述变换(a)(b)。

单应是一个平面到另一个平面的映射变换，单应矩阵H则是一个3×3的转换矩阵。单应变换由下列方程给出：x′＝Hx。利用直接线性变换(DLT)方法求解单应矩阵H时，因为方向相同，为了消除非零因子的影响，因此使用矢量叉乘来表示：x′×Hx＝0。假设x_i′＝(x_i′,y_i′,1)^T,x_i＝(x_i,y_i,1)^T，则一对单应可以得到下列关系：

为了求解单应矩阵H，则至少需要4组对应点。为了提高精度，我们可以首先对每幅图像进行归一化处理，再用DLT方法进行求解，最后再解除归一化。

本发明中靶标是一个正方形，它的四个角点和它们的图像之间的对应确定正方形的平面π和图像之间的一个单应矩阵H。通常为了便于计算，我们将正方形的四个角点取为：(0,0,1)^T,(1,0,1)^T,(0,1,1)^T,(1,1,1)^T。把这个单应矩阵H作用于平面π上的虚圆点，即可得到虚圆点的图像是：H(1,±i,0)^T。

步骤二、根据已知条件，计算绝对二次曲线的像w并求出内参数矩阵K，利用旋转矩阵的正交特性计算旋转矩阵R，利用相机中心在世界坐标系中的位置C来计算平移向量t。

(1)计算绝对二次曲线的像w并求出内参数矩阵K；

根据内参数矩阵K的表达式，我们可以假设得到w的表达式如下式所示：

其中，f_x和f_y为等效焦距；u_x和v_y分别为主点的横坐标和纵坐标。

利用归一化的方法，求出虚圆点的像分别为：i＝H(1,i,0)^T,j＝H(1,-i,0)^T。因为i和j都位于IAC上，所以满足下式：

在图1中l₁和l₂相互垂直，根据拉格尔定理的推论，我们可以得到l₁和l₂直线方向的消影点满足下列关系式：

v₁ ^Twv₂＝0 (19)

同理l₃和l₄直线方向的消影点满足下列关系式：

v₃ ^Twv₄＝0 (20)

根据式(18)(19)(20)可以求解出w的数值，令各矩阵元素与公式(17)中各矩阵元素一一对应，根据关系式(17)可以求出内参数矩阵K，如下所示：

另一种求解内参数矩阵K的方法是：首先对w求逆矩阵，然后进行Cholesky分解(乔里斯基分解)，即可得出内参数矩阵K的值。

(2)旋转矩阵R的计算；

根据图2可以得到，令v₁是Y轴方向的消影点，v₂是X轴方向的消影点。根据公式d＝K^-1v，可以得到X轴的方向向量为：d_x＝K^-1v₂；Y轴的方向向量为：d_y＝K^-1v₁。根据旋转矩阵的正交特性，我们可以得到相机坐标系相对于世界坐标系的旋转矩阵为：

(3)平移向量的计算；

假设令三维空间中Z轴的方向向量为d_z＝d_x×d_y，根据公式：v_z＝Kd_z，即可求出Z轴方向的消影点。利用X轴、Y轴、Z轴三个相互垂直方向的消影点，求由这三个点所组成的三角形的垂心，该垂心即为相机中心在世界坐标系中的位置C。其原理如图5所示，m₁、m₂、m₃分别为三个消影点所组成的三角形的三条边。

假设令X轴方向的消影点坐标为v_x＝(x₁,y₁,z₁)，Y轴方向的消影点坐标为v_y＝(x₂,y₂,z₂)，Z轴方向的消影点坐标为v_z＝(x₃,y₃,z₃)，相机中心坐标为C＝(x,y,z)。根据克拉默法则可以得到下式：

以上所得到的C的坐标即为相机中心在世界坐标系中的位置，根据公式：t＝-RC,即可求出平移向量。

因此求得相机的内参数的内参数矩阵K和外参数平移向量t。

步骤三、利用透视投影模型计算所得的消影线与通过消影点拟合得到的消影线做对比来计算相机的欧拉角。

如果以X轴为基准，假设X轴的方向向量为d_x＝(dx₁,dx₂,dx₃),则偏航角γ为：

利用消影点可以求得消影线的方程，记为：

au+bv+c＝0(25)

假设在三维空间中，无穷远点为根据透视投影模型：

其中，

因此，由无穷远点投影得到的消影点为：

消影线可以根据求得，方向如下：

利用(26)式进一步化简可以得到消影线的方程如下：

对比式(25)和式(29)可以求出俯仰角θ和滚转角其表达式如下：

按照以上方法即可求出相机相对于世界坐标系的欧拉角。

步骤四、利用归一化八点算法来求解基本矩阵F，进而确定不同图像之间的约束关系。

利用序列图像进行标定的时候，需要计算基本矩阵F，这样可以得出序列图像之间的相对关系。通常采用归一化八点算法来求基本矩阵F，步骤如下：

(a)归一化：利用和进行由平移和缩放组成的图像坐标变换，其中T和T′为归一化变换矩阵；

(b)求解线性解：根据公式：其中n组匹配点可以得到下列方程组：

利用n组匹配点可以得出由的最小奇异值的奇异矢量确定f为基本矩阵F中的元素所组成的列向量。

(c)强迫约束：利用奇异值分解(SVD分解)，并以代替使得

(d)解除归一化：令则可以求出基本矩阵F。

根据公式Fe＝0,F^Te′＝0即可求出对极几何的对极点，也就是相机在另一幅图像中的像，也是基线方向的消影点。根据公式l′＝Fx,l＝F^Tx′，可以求出空间中的同一点分别在两幅图像中的对极线。

图6为相机绕目标做圆周运动后，所有相机中心的投影及其对极几何关系。其中C₁，C₂和C_i为相机的中心在世界坐标系中的位置，所有的相机中心在一个平面中。相机从C₁的位置转到C₂处的旋转角度为θ，圆周角∠C₁C_iC₂为θ和的关系为：θ＝2*φ。e_i1和e_i2分别为相机中心C₁和C₂在相机C_i中的投影，也就是对极点。其中i和j分别为虚圆点在相机C_i的图像平面中的像。

根据拉格尔定理，我们可以得到：

再根据公式θ＝2*φ即可求出两个相机的旋转角度。

实施例

本发明所使用的实施例如图7和图8所示，把一部GoPro HERO 6数码相机固定在三角架上，通过调整三脚架或控制杆来调整相机的位置来拍摄靶标。数码相机的分辨率为：4000像素×3000像素。

(1)相机内参数标定结果的对比

本发明首先利用棋盘格Chekerboard来标定相机内参数，其结果作为对比的基准，所使用的工具是Matlab中的Bouguet相机标定工具箱。所使用的棋盘格之间的间距为25mm。为了提高用靶标标定相机内参数的准确性，减少随机因素对标定结果的影响，采用如下的措施：一.将三脚架分别放在不同的位置，不同的角度拍摄多组照片，尽量保证使靶标图像的尺寸占整幅图像尺寸的1/3～3/4，且在图像的不同位置都有分布；二.对每组中的照片进行多次标定，取平均值，然后对所有组标定结果再取一次平均，这样可以尽可能的减少随机因素的影响；三.对所有实验数据进行了归一化处理，尽量减少因坐标转换而产生的误差。相机内参数标定结果如下表1所示。

表1相机内参数标定结果

	f<sub>x</sub>	f<sub>y</sub>	u<sub>x</sub>	u<sub>y</sub>
					棋盘格	2084.5	2040.7	2003.0	1415.4
靶标	2114.5	1977.0	2176.8	1372.8
					误差	1.44％	3.12％	8.68％	3.01％

通过标定结果可以看出，有一些参数的误差较大，可能的原因有：在标定的过程中，人为的因素可能对标定结果造成一些影响；因为在标定的过程中没有使用滤波，所以一些图像噪声可能对结果产生一些影响；所采用的标定数据不够多，对精度会有一些影响。但是大部分标定结果的误差控制在5％以内，因此该标定结果是可以使用的，可以满足大部分使用环境的精度要求。

(2)偏航角对标定结果的影响

因为靶标和相机的位置是相对的，在研究偏航角对标定结果的影响实验中，可以保持相机的位置和姿态不变，将靶标以原点为中心进行旋转，并尽量保证靶标在图像的中间，该旋转角即为相机的偏航角。实验结果如下表2所示。

表2偏航角对标定结果的影响

通过标定结果可以看出，偏航角为0°和90°的标定结果最差，45°的结果次之，30°和60°的标定结果比较好。这是因为当偏航角为0°和90°的时候，相机的中心与空间原点的连线与靶标坐标轴或特征直线相互垂直，此时，靶标中垂直直线方向的消影点在无穷远处，与其他特征直线方向的消影点的位置相比产生较大的误差，这将严重影响最终的标定结果，因此，标定结果最差。当偏航角为45°时，相机的中心与空间原点的连线与靶标特征直线相互平行，该直线方向的消影点的位置与其他特征直线的消影点的位置也会产生比较大的误差，但比相互垂直的影响要小一些，因此标定结果要比0°和90°的好一些。只有当相机的中心与空间原点的连线与靶标中的特征直线既不垂直也不平行的情况下，标定结果才会比较理想，因此偏航角为30°和60°的结果比较好。

(3)俯仰角对标定结果的影响

当靶标和相机的位置固定的情况下，俯仰角主要影响靶标在图像中的位置，实验结果如下表3所示。

表3俯仰角对标定结果的影响

通过实验结果可以看出，当俯仰角为-30°和-60°的时候，标定结果比较差，当俯仰角为-45°时标定结果相对较好。这主要是因为，在试验中，当俯仰角为-30°和-60°的时候，靶标相对靠近图像的边缘，在图像的边缘容易发生图像畸变，造成靠近边缘的图像发生变形，将严重影响最终的标定结果。当俯仰角为-45°的时候，靶标正好在图像的中间位置，其畸变相对较小，因此标定的结果也相对准确一些。

在这里需要说明一点，在本发明中由于受三脚架高度和靶标大小的影响，俯仰角为-45°标定结果比较好，但不是对所有的相机标定都建议使用-45°的俯仰角。应该根据不同的情况而定，只要能保证靶标在图像的中间，则这个俯仰角就是最合适的俯仰角。

(4)利用基本矩阵计算图像序列之间的旋转角

在该实验中，保持相机的姿态和位置不变，将靶标绕原点旋转，相当于相机绕着靶标旋转。通过依次拍摄旋转后的靶标，得到序列图像。计算不同序列图像之间的基本矩阵，进而求出对极点，再利用公式求出靶标的旋转角。利用基本矩阵计算旋转角的基本原理如图6所示。在对比实验中，利用不同位置下相机偏航角的差值来计算靶标的偏转角。实验结果如下表4所示。

表4基本矩阵和偏航角计算旋转角的结果对比

通过对比结果可以看出，利用基本矩阵计算得到的旋转角比利用偏航角计算得到的旋转角的精度要高。利用偏航角计算旋转角的精度较差的原因如下：一.滚转角和俯仰角会对偏航角的计算产生一定的影响，尤其是滚转角，滚转角和偏航角的耦合现象比较严重，滚转角会影响偏航角的计算精度。二.人为的操作误差也会对结果产生一定的影响。三.相机内参数标定的结果也将直接影响偏航角的计算精度。基本矩阵反映了两幅图像之间的位置关系，是一种点对点的单应关系，不受滚转角和相机内参数标定结果的影响，因此计算结果相对精确一些。

通过实验我们可以总结得出：在使用该靶标进行标定的时候，应该避免使相机中心和靶标空间原点的连线与靶标坐标轴或特征直线相互平行或垂直。关于俯仰角和偏航角的角度选择，没有固定的范围，应该根据实际情况而定，尽量保证靶标在图像的中间，且占整个图幅的1/3左右。所以针对本发明情况，选择偏航角为30°或60°，俯仰角选择为-45°。利用基本矩阵计算相机的旋转角要比利用偏航角来计算旋转角更加精确。

Claims (8)

1.一种基于绝对二次曲线像的相机自标定方法，其特征在于，所述方法包括如下步骤：

步骤一、提取靶标的特征点和特征直线，计算消影点、消影线以及虚圆点的像；

所述特征点和特征直线的提取采用Harris角点检测算法，所述消影点和消影线利用平行线的像的交点或者利用拉格尔定理及推论计算，所述消影线为消影点拟合所得，所述虚圆点的像采用归一化单应的方法求取；

步骤二、根据步骤一中所求的消影点和虚圆点的像，计算绝对二次曲线的像w并求出相机的内参数矩阵K，利用旋转矩阵的正交特性计算旋转矩阵R，利用相机中心在世界坐标系中的位置C计算平移向量t；

步骤三、利用透视投影模型计算的消影线与通过消影点拟合得到的消影线进行对比，计算相机的欧拉角；

步骤四、利用归一化八点算法来求解基本矩阵F，进而确定不同图像之间的约束关系，即完成对相机的自标定。

2.如权利要求1所述的基于绝对二次曲线像的相机自标定方法，其特征在于，

所述靶标为正方形，其对应的边分别为l₁、l₂、l₃、l₄，以其中一个顶点为原点O，两个垂直边分别在x轴和y轴上，l₁、l₂、l₃和l₄的边长互相相等，所述靶标分别由13个特征点和12条特征直线组成，作所述正方形靶标的两条对角线，并以各边中点为顶点，作所述正方形靶标的内接正方形，得到13个特征点和12条特征直线；所述Harris角点检测算法分为三步：

(a)求图像块W内的灰度图像值f与其平移后的灰度图像值之差的平方和S：

其中，Δx,Δy为平移量；x_i,y_i分别为第i个像素点的横坐标和纵坐标，f(x_i,y_i)为第i个像素点的灰度图像值，f(x_i-Δx,y_i-Δy)为第i个像素点平移后的灰度图像值；

(b)利用泰勒公式展开，处理后得到：

S(Δx,Δy)＝[Δx,Δy]A(x,y)[Δx,Δy]^T,

其中，A(x,y)为自相关矩阵，x，y分别表示处理后的像素点的横坐标和纵坐标；

(c)计算角点响应函数R(A)：

R(A)＝det(A)-κtrace²(A)

其中κ为可调参数；

3.根据权利要求1所述的一种基于绝对二次曲线像的相机自标定方法，其特征在于，所述利用归一化单应方法求虚圆点的像具体为：

(A)对每幅图像中的点进行平移，使该点的几何中心即形心位于坐标原点；

(B)对每幅图像中的点组成的点集进行缩放，使它们到坐标原点的平均距离等于

(C)对每幅图像独立的进行上述变换(A)(B)。

4.根据权利要求1所述的一种基于绝对二次曲线像的相机自标定方法，其特征在于，所述绝对二次曲线的像w和内参数矩阵K具体为；

假设w的表达式如下式所示：

其中，f_x和f_y为等效焦距；u_x和v_y分别为主点的横坐标和纵坐标；

求出虚圆点的像分别为：i＝H(1,i,0)^T,j＝H(1,-i,0)^T；i和j满足下式：

所述靶标的边分别为l₁、l₂、l₃、l₄，l₁和l₂直线方向的消影点v₁和v₂满足下列关系式：

v₁ ^Twv₂＝0

同理l₃和l₄直线方向的消影点v₃和v₄满足下列关系式：

v₃ ^Twv₄＝0

根据上式求解出w的数值，令各矩阵元素与所述w的表达式中各矩阵元素一一对应，则内参数矩阵K如下所示：

5.根据权利要求1所述的一种基于绝对二次曲线像的相机自标定方法，其特征在于，步骤二中所述的计算旋转矩阵R，具体为：

令v₁是Y轴方向的消影点，v₂是X轴方向的消影点；根据公式d＝K^-1v，得到X轴方向的方向向量为：d_x＝K^-1v₂；Y轴方向的方向向量为：d_y＝K^-1v₁；根据旋转矩阵的正交特性，旋转矩阵R为：

6.根据权利要求1所述的一种基于绝对二次曲线像的相机自标定方法，其特征在于，步骤二中所述平移向量的计算具体为：

令Z轴的方向向量为d_z＝d_x×d_y，根据公式：v_z＝Kd_z，即求出Z轴方向的消影点；利用X轴、Y轴、Z轴三个相互垂直方向的消影点，求由这三个点所组成的三角形的垂心，该垂心即为相机中心在世界坐标系中的位置C，令X轴方向的消影点坐标为v_x＝(x₁,y₁,z₁)，Y轴方向的消影点坐标为v_y＝(x₂,y₂,z₂)，Z轴方向的消影点坐标为v_z＝(x₃,y₃,z₃)，相机中心坐标为C＝(x,y,z)，根据克拉默法则得到下式：

a＝x₁(x₃-x₂)+y₁(y₃-y₂)+z₁(z₃-z₂)

b＝x₂(x₃-x₁)+y₂(y₃-y₁)+z₂(z₃-z₁)

c＝x₃(x₂-x₁)+y₃(y₂-y₁)+z₃(z₂-z₁)

以上所得到的C的坐标即为相机中心在世界坐标系中的位置，根据公式：t＝-RC,即求出平移向量t。

7.根据权利要求1所述的一种基于绝对二次曲线像的相机自标定方法，其特征在于，步骤三中所述的计算相机的欧拉角，具体为：

如果以X轴为基准，假设X轴的方向向量为d_x＝(dx₁,dx₂,dx₃),则偏航角γ为：

利用消影点求得消影线的方程，记为：

au+bv+c＝0

假设在三维空间中，无穷远点为根据透视投影模型：

其中，i＝1,2，t＝[t₁ t₂ t₃]^T

因此，由无穷远点投影得到的消影点为：

消影线根据求得，方向如下：

进一步化简得到消影线的方程如下：

进而求出俯仰角θ和滚转角其表达式如下：

8.根据权利要求1所述的一种基于绝对二次曲线像的相机自标定方法，其特征在于，步骤四采用归一化八点算法来求基本矩阵F，步骤如下：

(a)归一化：利用和进行由平移和缩放组成的图像坐标变换，其中T和T′为归一化变换矩阵；

(b)求解线性解：根据公式：其中n组匹配点得到下列方程组：

利用n组匹配点得出由的最小奇异值的奇异矢量确定f为基本矩阵F中的元素所组成的列向量；

(c)强迫约束：利用奇异值分解，并以代替使得

(d)解除归一化：令则求出基本矩阵F；

根据公式Fe＝0,F^Te′＝0求出对极几何的对极点，也就是相机在另一幅图像中的像，也是基线方向的消影点；根据公式l′＝Fx,l＝F^Tx′，求出空间中的同一点分别在两幅图像中的对极线。