CN103258329A

CN103258329A - 一种基于圆球一维特性的摄像机标定方法

Info

Publication number: CN103258329A
Application number: CN2013101967084A
Authority: CN
Inventors: 贾静; 姜光; 王阳
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2013-05-24
Filing date: 2013-05-24
Publication date: 2013-08-21
Anticipated expiration: 2033-05-24
Also published as: CN103258329B

Abstract

本发明公开了一种基于圆球一维特性的摄像机标定方法，该方法以空间不同位置的两个圆球球心以及球心连线的中点作为一维标定物。拍摄一个圆球在任意空间位置下的多幅图像，提取每个圆球投影在图像中的边缘点坐标，并拟合求解圆球投影二次曲线，绘制在同一幅图像中；然后计算每个圆球球心的投影；最后以获得的多组球心投影及球心连线的中点投影，计算这些球心连线的长度比值，进一步计算各个圆球的球心空间深度和相机参数。本发明不需要制作传统的棍状1D标定物，采用圆球替代一维标定物，由于圆球适合从任意方向观察，适合多相机系统的标定。此外，本发明保证了标志点的共线性，标定物轮廓的自动提取容易，有利于提高圆球球心投影位置的精度。

Description

一种基于圆球一维特性的摄像机标定方法

技术领域

本发明属于摄影测量及计算机视觉领域，尤其涉及一种基于圆球一维特性的摄像机标定方法。

背景技术

摄像机标定一直是摄影测量和计算机视觉中的重要问题，目前已有多种摄像机标定方法，早期的摄像机标定方法采用三维立体标定物，由于三维标定物的制作困难，目前已经逐步被平面标定物所取代，但是，随着多摄像机系统的出现和发展，由于多个摄像机视角不同，平面标定物无法使多个不同视角的摄像机同时可视。

多摄像机标定常采用基于1维标定物的标定方法（ZhangZ.Y..Camera calibration with one-dimensional objects.IEEE Trans.PatternAnal.Mach.Intell,2004,Vol.26,No.7,pp.892–899），该方法利用位于一条直线上的三个已知位置的特征点进行摄像机标定，它常常使用串在一根棍子上的三个小球或者涂抹在棍子上的不同颜色来实现，该标定方法的问题在于：一维标定需要其中的各个特征点位于同一条直线上，而制作棍状标定物时，需保证串在一起的三个小球球心精确的在一条直线上；由于一维标定需要在一幅图像中同时看到三个完整的小球，且小球需要间隔一定距离，所以小球的尺寸很小，其像也较小，对精确提取球心坐标带来困难，并且小球图像的自动提取容易受到背景的影响，不容易实现自动标定；常用的一维标定方法需要棍子围绕其端点进行旋转运动，那么如何保证棍子旋转时固定端点不发生偏移也是一个问题。

也有一些多摄像机标定采用基于圆球的标定方法，但是目前该类方法仅考虑了圆球的自身的视觉几何特性，没有考虑圆球之间存在的几何关系，其标定精度低于1D标定方法的标定精度。

目前，现有的标定方法存在标定物制作复杂，影响标定结果，不易实现自动标定的问题。

发明内容

本发明实施例的目的在于提供一种基于圆球一维特性的摄像机标定方法，旨在解决现有的标定方法存在标定复杂，使用不便，影响标定结果的问题。

本发明实施例是这样实现的，一种基于圆球一维特性的摄像机标定方法，所述基于圆球一维特性的摄像机标定方法包括以下步骤：

使用摄像机对单个圆球拍摄多幅图像，提取图像中的圆球投影轮廓边缘，求解出圆球投影二次曲线，并将圆球投影绘制到同一幅图像中，利用二次曲线单应矩阵求解两两圆球球心连线的投影，并根据球心连线投影的交点计算每个球心投影；

将圆球投影中的一个设为固定圆球的投影，选择与固定的圆球投影不相交的圆球投影作为移动圆球投影，求解每一个移动圆球投影与固定圆球投影的双切线，根据双切线求解移动圆球与固定圆球球心连线中点的投影；

计算固定圆球和移动圆球球心连线投影与这两个圆球投影的四个交点，从四个交点和两个球心投影，利用射影变换的交比不变性，求解空间中球心连线上的六个对应点之间长度比例；

由于圆球投影可以视为圆球与摄像机光心形成的正圆锥的投影，可根据空间中球心连线上六个点之间长度的比例计算固定圆球以及移动圆球投影形成的正圆锥的顶角；

每一个移动圆球与固定圆球球心及中点构成空间一条线段的两个端点和中点，空间线段的公共端点是固定圆球球心，但是线段的长度不同，根据固定圆球投影对应的正圆锥顶角以及球心连线上六个点的长度比例，求解这些线段的长度比例；

根据所获得的具有公共端点的已知长度比例的线段，使用一维标定方法计算各个圆球的球心深度以及摄像机内参数。

进一步、所述基于圆球一维特性的摄像机标定方法的具体步骤为：

步骤一、拍摄图像，提取圆球投影：将一个圆球放置在待标定的摄像机前的不同位置，并拍摄多幅图像，将不同空间位置下的球面记为Q₁,Q₂,…，球心坐标记为O₁,O₂,…，将球面投影到图像上，可以得到多个圆球投影，并记为二次曲线的矩阵形式c₁,c₂,…，采用亚像素边缘检测算法提取图像中的圆球投影轮廓上的至少5个边缘点，并采用二次曲线拟合算法，根据检测出来的边缘点拟合求解出圆球投影，并将圆球投影绘制到同一幅图像中；

步骤二、求解圆球的球心投影：将圆球投影c₁,c₂,…c_i所对应的球心投影的齐次坐标记为o₁,o₂…o_i，则二次曲线单应矩阵为

i,j=1,2,3...i≠j，H_ij的特征向量有三个，其中一个是通过球心投影和o_i和o_j的直线l_ij，当有三个圆球投影时，可以获得三条通过圆球球心投影的直线，直线的交点即为球心投影，通过三个圆球投影所求出的球心连线投影和球心投影，当有更多的圆球时，使用RANSAC算法优化圆心投影的计算，可以提高精度；

步骤三、求解两个圆球球心连线中点的投影v_in：设c₁,c₂两个圆球投影不相交，求解与两个圆球投影相切的直线，圆球投影位于直线的异侧，这样的双切线有两条，它们是是空间中与两个圆球球面相切且过摄像机光心的平面的投影，由几何学知识，图像中的两条双切线的交点是空间两个平面交线的投影，也是球心连线上的点V_in的投影，因为两球半径相同，则V_in是两个球心之间线段的中点，双切线的交点即圆球球心连线中点的投影v_in；

步骤四、求球心连线上线段的长度比：球心投影o₁,o₂的连线与c₁,c₂相交于四点，分别表示为s₁,s₂,s₃,s₄，它们可视为空间球心连线上的点S₁,S₂,S₃,S₄的投影，根据射影变换的交比不变性，从s₁,s₂,s₃,s₄和两个球心投影o₁,o₂，求解空间中点S₁,O₁,S₂,S₃,O₂,S₄之间的线段长度比例，分别记为为l₁、l₂、l₃、l₄以及l₅，其中l₁=|S₁O₁|、l₂=|O₁S₂|、l₃=|S₂S₃|、l₄=|S₃O₃|，l₅=|O₃S₄|；

步骤五、求解圆球投影所形成的正圆锥的顶角：圆球投影到图像平面上，与相机光心形成一个正圆锥，过两个圆球球心和相机光心的平面与该圆锥相交，形成一个三角形，三角形的一个角被相机光心到球心的直线分成相等的两部分，称为圆锥顶角，记为α；并记另一个圆球投影所形成的圆锥顶角为β，利用相机光心和球心所在平面上的圆锥顶角与其它角度的关系，求解α和β；

步骤六、求解圆球Q₁与其它圆球的球心连线的中点投影、球心连线上线段的长度比以及两个圆球投影所形成的正圆锥顶角：设圆球Q₁为固定圆球，考虑另外一个圆球Q₃及其投影c₃，对应球心投影为o₃，o₁、o₃连线交两个圆球投影c₁和c₃于四点，记为s'₁,s'₂,s'₃,s'₄，该四点是球心连线O₁O₃上的点S'₁,S'₂,S'₃,S'₄的投影，与步骤四中所述方法相同，可以求出长度

以及

其中

与步骤五中所述相同方法，求出圆球Q₁投影所形成的正圆锥顶角α，和圆球Q₃对应的顶角β'，由于圆球投影到图像平面上时，圆球与相机光心形成正圆锥，这里角度α和步骤四中的角度α是相同的；

步骤七、计算|O₁O₂|的长度L₁与|O₁O₃|的长度L₂的比值；

步骤八、基于圆球的1D标定：将O₁,O₂以及它们的中点V_in12看成是1D标定物上的三个点，将O₁,O₃以及它们的中点V_in13也看成是一维标定物上的三个点，这两个1D标定物具有一个固定的端点，即圆球1的球心，则称圆球1为固定圆球，除了Q₂,Q₃，再考虑更多的圆球Q₄、Q₅.....Q_n，称它们为移动圆球，它们的球心构成1D标定物的移动端点，移动圆球与固定圆球的球心以及球心连线的中点构成n个一端固定的1D标定物，且根据所述步骤三至步骤七的计算，得到1D标定物的长度比例，记为L₁，L₂，…,L_n，再利用固定端点1D标定算法，进行相机内参数的标定工作；

进一步、所述步骤四的空间中点S₁,O₁,S₂,S₃,O₂,S₄之间的线段长度比例具体计算如下：由交比的射影不变性，即

Cr 1 = cross (s_{1}, o_{1}, v_{in}, o_{2}) = \frac{| s_{1} o_{1} | | v_{in} o_{2} |}{| s_{1} v_{in} | | o_{1} o_{2} |} = \frac{| S_{1} O_{1} | | V_{in} O_{2} |}{(| S_{1} O_{1} | + | O_{1} V_{in} |) | O_{1} O_{2} |} - - - (1)

求出线段长度

l_{1} = | S_{1} O_{1} | = \frac{Cr 1}{1 - 2 Cr 1} - - - (2)

同理得到其它各线段l₂、l₃、l₄、l₅的长度，其中，l₂=|O₁S₂|，l₃=|S₂S₃|，l₄=|S₃O₂|，l₅＝|O₂S₄|；

进一步、所述步骤五中求解α和β的具体计算步骤如下：

在三角形△C_camO₁S₁和△C_camO₁S₂和△C_camS₂S₃中由正弦定理分别得

可以推导出：

A \cot α + B \tan α = C \cot β + D \tan β - - - (7)

(l_{3} - l_{2}) \frac{(l_{1} + l_{2})}{(l_{1} - l_{2})} A \cot α + (l_{3} + l_{2}) B \tan α = \frac{(l_{5} - l_{4})}{l_{5}} \cot β - \frac{(l_{5} + l_{4})}{l_{5}} \tan β - - - (8)

其中

A = \frac{{(l_{1} - l_{2})}^{2}}{l_{1} l_{2} (l_{1} + l_{2})},

B = \frac{l_{1} + l_{2}}{l_{1} l_{2}},

C = \frac{{(l_{5} - l_{4})}^{2}}{l_{5} l_{4} (l_{5} + l_{4})},

D = \frac{l_{5} + l_{4}}{l_{5} l_{4}},

α, β &Element; (0, \frac{π}{2});

上面两个方程中，A,B,C,D已知，联立方程（7）（8），可求解角度α和β。

进一步、所述步骤七具体算法为：从式（3）（4）（5）（6），可以推导出

和

分别为

又在平面O_camO₁O₂和平面O_camO₁O'₂上，有

即

根据式（13）求出l₂与

的比例，可以得到|O₁O₂|的长度L₁与|O₁O₃|的长度L₂的比值。

进一步、所述步骤八相机内参数矩阵K的具体计算如下：

球心为O₁、O₂…O_n，球心投影为o₁、o₂…o_n，O₁O₂线段的中点为V_in12，O₁O_j线段的中点为V_in1j，且这两条线段的长度比值为|O₁O₂|/|O₁O_j|=L₁/L_j，根据固定端点1D标定算法，得到

z_{o_{1}}^{2} h_{12}^{T} K^{- T} K^{- 1} h_{12} = L_{1}^{2} - - - (14)

其中，

表示在相机坐标系下球心O₁的深度；

h_{12} = {\overset{&OverBar;}{o}}_{1} + \frac{({\overset{&OverBar;}{o}}_{1} \times {\overset{&OverBar;}{v}}_{in 12}) \cdot ({\overset{&OverBar;}{o}}_{2} \times {\overset{&OverBar;}{v}}_{in 12})}{({\overset{&OverBar;}{o}}_{2} \times {\overset{&OverBar;}{v}}_{in 12}) \cdot ({\overset{&OverBar;}{o}}_{2} \times {\overset{&OverBar;}{v}}_{in 12})} {\overset{&OverBar;}{o}}_{2}

符号

表示点x的非齐次坐标形式；

K = [\begin{matrix} f_{x} & s & u_{0} \\ 0 & f_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix}],

表示相机内参数矩阵，考虑有多个圆球的情况，

（1）

z_{o_{1}}^{2} h_{1 j}^{T^{T}} K^{- T} K^{- 1} h_{1 j} = L_{j}^{2},

其中

h_{1 j} = {\overset{&OverBar;}{o}}_{1} + \frac{({\overset{&OverBar;}{o}}_{1} \times {\overset{&OverBar;}{v}}_{in 1 j}) \cdot ({\overset{&OverBar;}{o}}_{j} \times {\overset{&OverBar;}{v}}_{in 1 j})}{({\overset{&OverBar;}{o}}_{j} \times {\overset{&OverBar;}{v}}_{in 1 j}) \cdot ({\overset{&OverBar;}{o}}_{j} \times {\overset{&OverBar;}{v}}_{in 1 j})} {\overset{&OverBar;}{o}}_{j},

（j=2,3,...n，表示第2个圆球到第n个圆球），

（2）记K^-TK^-1=ω，ω是一个3×3的矩阵，将各个元素用列向量表示为d=[ω₁₁,ω₁₂,ω₂₂,ω₁₃,ω₂₃,ω₃₃]^T，

（3）记h_j=[h_j1,h_j2,h_j3]^T，以及

得到

其中，

a_{j} = {[h_{j 1}^{2}, 2 h_{j 1} h_{j 2}, h_{j 2}^{2}, {2 h}_{1} h_{3}, {2 h}_{j 2} h_{j 3}, h_{j 3}^{2}]}^{T},

当有大于6个的1D标定物约束公式，可以求解d，得到ω，再用Cholesky分解算法，求解出相机内参数矩阵K。

本发明的基于圆球一维特性的摄像机标定方法，通过以空间不同位置的两个圆球球心以及球心连线的中点作为一维标定物，拍摄一个圆球在任意空间位置下的多幅图像，提取每个圆球投影在图像中的边缘点坐标，并拟合求解圆球投影二次曲线，并绘制在同一幅图像中；然后计算每个圆球球心的投影；最后以获得的多组球心投影及球心连线的中点投影，计算这些球心连线的长度比值，进一步计算各个圆球的球心空间深度和相机参数。本发明不需要制作传统的棍状1D标定物，采用圆球替代一维标定物，由于圆球适合从任意方向观察，适合多相机系统的标定。此外，本发明保证了标志点的共线性，标定物轮廓的自动提取容易，有利于提高圆球球心投影位置的精度。

附图说明

图1是本发明实施例提供的基于圆球一维特性的摄像机标定方法的流程图；

图2是本发明实施例提供的球心投影示意图；

图3是本发明实施例提供的圆球投影与球心连线投影示意图；

图4是本发明实施例提供的空间圆球、球心连线和球心连线中点的投影关系的示意图；

图5是本发明实施例提供的球心连线及投影的示意图；

图6是本发明实施例提供的圆球及投影的示意图；

图7是本发明实施例提供的两球球心和相机光心平面上的角度的示意图；

图8是本发明实施例提供的第一个圆球与第三个圆球的球心连线及其投影的示意图；

图9是本发明实施例提供的球心以及球心连线中点构成的1D标定物的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明提供的基于圆球一维特性的摄像机标定方法的流程。为了便于说明，仅仅示出了与本发明相关的部分。

本发明的基于圆球一维特性的摄像机标定方法，该基于圆球一维特性的摄像机标定方法包括以下步骤：

作为本发明实施例的一优化方案，基于圆球一维特性的摄像机标定方法的具体步骤为：

i,j=1,2,3...i≠j，H_ij的特征向量有三个，其中一个是通过球心投影o_i和o_j的直线l_ij，当有三个圆球投影时，可以获得三条通过圆球球心投影的直线，直线的交点即为球心投影，通过三个圆球投影所求出的球心连线投影和球心投影，当有更多的圆球时，使用RANSAC算法优化圆心投影的计算，可以提高精度；

以及

其中

步骤七、计算|O₁O₂|的长度L₁与|O₁O₃|的长度L₂的比值；

步骤八、基于圆球的1D标定：将O₁,O₂以及它们的中点V_in12看成是1D标定物上的三个点，将O₁,O₃以及它们的中点V_in13也看成是一维标定物上的三个点，这两个1D标定物具有一个固定的端点，即圆球1的球心，则称圆球1为固定圆球，除了Q₂,Q₃，再考虑更多的圆球Q₄、Q₅.....Q_n，称它们为移动圆球，球心构成1D标定物的移动端点，移动圆球与固定圆球的球心以及球心连线的中点构成n个一端固定的1D标定物，且根据所述步骤三至步骤七的计算，得到1D标定物的长度比例，记为L₁，L₂，…,L_n，再利用固定端点1D标定算法，进行相机内参数的标定工作。

作为本发明实施例的一优化方案，步骤四的空间中点S₁,O₁,S₂,S₃,O₂,S₄之间的线段长度比例具体计算如下：由交比的射影不变性，即

Cr 1 = cross (s_{1}, o_{1}, v_{in}, o_{2}) = \frac{| s_{1} o_{1} | | v_{in} o_{2} |}{| s_{1} v_{in} | | o_{1} o_{2} |} = \frac{| S_{1} O_{1} | | V_{in} O_{2} |}{(| S_{1} O_{1} | + | O_{1} V_{in} |) | O_{1} O_{2} |} - - - (1)

求出线段长度

l_{1} = | S_{1} O_{1} | = \frac{Cr 1}{1 - 2 Cr 1} - - - (2)

同理得到其它各线段l₂、l₃、l₄、l₅的长度，其中，l₂=|O₁S₂|，l₃=|S₂S₃|，l₄=|S₃O₂|，l₅=|O₂S₄|；

作为本发明实施例的一优化方案，步骤五中求解α和β的具体计算步骤如下：

可以推导出：

A \cot α + B \tan α = C \cot β + D \tan β - - - (7)

(l_{3} - l_{2}) \frac{(l_{1} + l_{2})}{(l_{1} - l_{2})} A \cot α + (l_{3} + l_{2}) B \tan α = \frac{(l_{5} - l_{4})}{l_{5}} \cot β - \frac{(l_{5} + l_{4})}{l_{5}} \tan β - - - (8)

其中

A = \frac{{(l_{1} - l_{2})}^{2}}{l_{1} l_{2} (l_{1} + l_{2})},

B = \frac{l_{1} + l_{2}}{l_{1} l_{2}},

C = \frac{{(l_{5} - l_{4})}^{2}}{l_{5} l_{4} (l_{5} + l_{4})},

D = \frac{l_{5} + l_{4}}{l_{5} l_{4}},

α, β &Element; (0, \frac{π}{2});

作为本发明实施例的一优化方案，步骤七具体算法为：从式（3）（4）（5）（6），可以推导出和

分别为

又在平面O_camO₁O₂和平面O_camO₁O'₂上，有

即

根据式（13）求出l₂与的比例，可以得到|O₁O₂|的长度L₁与|O₁O₃|的长度L₂的比值。

作为本发明实施例的一优化方案，步骤八相机内参数矩阵K的具体计算如下：

z_{o_{1}}^{2} h_{12}^{T} K^{- T} K^{- 1} h_{12} = L_{1}^{2} - - - (14)

其中，

表示在相机坐标系下球心O₁的深度；

h_{12} = {\overset{&OverBar;}{o}}_{1} + \frac{({\overset{&OverBar;}{o}}_{1} \times {\overset{&OverBar;}{v}}_{in 12}) \cdot ({\overset{&OverBar;}{o}}_{2} \times {\overset{&OverBar;}{v}}_{in 12})}{({\overset{&OverBar;}{o}}_{2} \times {\overset{&OverBar;}{v}}_{in 12}) \cdot ({\overset{&OverBar;}{o}}_{2} \times {\overset{&OverBar;}{v}}_{in 12})} {\overset{&OverBar;}{o}}_{2}

符号

表示点x的非齐次坐标形式；

K = [\begin{matrix} f_{x} & s & u_{0} \\ 0 & f_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix}],

表示相机内参数矩阵，考虑有多个圆球的情况，

（1）

z_{o_{1}}^{2} h_{1 j}^{T^{T}} K^{- T} K^{- 1} h_{1 j} = L_{j}^{2},

其中

h_{1 j} = {\overset{&OverBar;}{o}}_{1} + \frac{({\overset{&OverBar;}{o}}_{1} \times {\overset{&OverBar;}{v}}_{in 1 j}) \cdot ({\overset{&OverBar;}{o}}_{j} \times {\overset{&OverBar;}{v}}_{in 1 j})}{({\overset{&OverBar;}{o}}_{j} \times {\overset{&OverBar;}{v}}_{in 1 j}) \cdot ({\overset{&OverBar;}{o}}_{j} \times {\overset{&OverBar;}{v}}_{in 1 j})} {\overset{&OverBar;}{o}}_{j},

（j=2,3,...n，表示第2个圆球到第n个圆球），

（3）记h_j=[h_j1,h_j2,h_j3]^T，以及

得到

其中，

a_{j} = {[h_{j 1}^{2}, 2 h_{j 1} h_{j 2}, h_{j 2}^{2}, {2 h}_{1} h_{3}, {2 h}_{j 2} h_{j 3}, h_{j 3}^{2}]}^{T},

下面结合附图及具体实施例对本发明的应用原理作进一步描述。

如图1所示，本发明实施例的基于圆球一维特性的摄像机标定方法包括以下步骤：

S101：使用摄像机对单个圆球拍摄多幅图像，提取图像中的圆球投影轮廓边缘，求解出圆球投影二次曲线，并将这些圆球投影绘制到同一幅图像中，利用二次曲线单应矩阵求解两两圆球球心连线的投影，并根据这些球心连线投影的交点计算每个球心投影；

S102：将这些圆球投影中的一个设为固定圆球的投影，选择其它与该固定圆球投影不相交的圆球投影作为移动圆球投影，求解每一个移动圆球投影与固定圆球投影的双切线，根据双切线求解移动圆球与固定圆球球心连线中点的投影；

S103：计算固定圆球和移动圆球球心连线投影与这两个圆球投影的四个交点，从四个交点和两个球心投影，利用射影变换的交比不变性，求解空间中球心连线上的六个对应点之间长度比例；

S104：由于圆球投影可以视为圆球与摄像机光心形成的正圆锥的投影，可根据空间中球心连线上六个点之间长度的比例计算固定圆球以及移动圆球投影形成的正圆锥的顶角；

S105：每一个移动圆球与固定圆球球心及其中点构成空间一条线段的两个端点和中点，这些空间线段的公共端点是固定圆球球心，但是线段的长度不同，根据固定圆球投影对应的正圆锥顶角以及球心连线上六个点的长度比例，求解这些线段的长度比例；

S106：根据所获得的具有公共端点的已知长度比例的线段，使用一维标定方法计算各个圆球的球心深度以及摄像机内参数。

本发明的目的在于针对现有技术的不足，提出一种基于圆球一维特性的摄像机标定方法，本发明不需要制作传统棍状的一维标定物，而是采用两个圆球球心以及球心连线的中点作为一维标定物的三个特征点，只需要对单个圆球进行多次拍摄，即可以利用圆球进行一维标定，为实现这一目的，本发明的技术方案为：拍摄一个圆球的多幅图像，提取圆球投影边缘坐标，拟合求解圆球投影二次曲线，并将这些二次曲线绘制在同一幅图像中；计算每个圆球球心的投影；设其中一个圆球为固定圆球，其投影称为固定圆球投影，选择与固定圆球投影不相交的其它圆球投影为移动圆球投影，计算每个移动圆球投影与固定圆球投影的切线，根据切线计算移动圆球与固定圆球球心连线中点的投影；以获得的多组球心投影及球心连线的中点投影，计算这些球心连线的长度比值；通过一维标定算法计算各个圆球的球心空间深度和相机参数，

本发明适合用于多部不同视角的摄像机同时进行标定。

为了更好地理解本发明的技术方案，以下结合附图和实施例作进一步的详细描述，

本发明的摄像机标定方法包括以下步骤：

第一步、拍摄图像，提取圆球投影：将一个圆球放置在待标定的摄像机前的不同位置，并拍摄多幅图像，将不同空间位置下的球面记为Q₁,Q₂,…，球心坐标记为O₁,O₂,…，将球面投影到图像上，可以得到多个圆球投影，并记为二次曲线的矩阵形式c₁,c₂,…，采用亚像素边缘检测算法提取图像中的圆球投影轮廓上的至少5个边缘点，并采用二次曲线拟合算法，根据检测出来的边缘点拟合求解出圆球投影，并将圆球投影绘制到同一幅图像中；

第二步、求解圆球的球心投影：将圆球投影c₁,c₂,…c_i所对应的球心投影的齐次坐标记为o₁,o₂…o_i，则二次曲线单应矩阵为

i,j=1,2,3...i≠j，H_ij的特征向量有三个，其中一个是通过球心投影o_i和o_j的直线l_ij，当有三个圆球投影时，可以获得三条通过圆球球心投影的直线，直线的交点即为球心投影，通过三个圆球投影所求出的球心连线投影和球心投影，当有更多的圆球时，使用RANSAC算法优化圆心投影的计算；图2中三个圆球投影可以确定三条球心连线，它们的交点为球心投影；

第三步、求解两个圆球球心连线中点的投影v_in：设c₁,c₂两个圆球投影不相交，求解与两个圆球投影相切的直线，圆球投影位于直线的异侧，这样的双切线有两条，它们是是空间中与两个圆球球面相切且过摄像机光心的平面的投影，由几何学知识，图像中的两条双切线的交点是空间两个平面交线的投影，也是球心连线上的点V_in的投影，因为两球半径相同，则V_in是两个球心之间线段的中点，双切线的交点即圆球球心连线中点的投影v_in，如图4所示；

第四步、求球心连线上线段的长度比：

如图3所示，球心投影o₁,o₂的连线与c₁,c₂相交于四点，分别表示为s₁,s₂,s₃,s₄，它们可视为空间球心连线上的点S₁,S₂,S₃,S₄的投影，如图5所示，根据射影变换的交比不变性，从s₁,s₂,s₃,s₄和两个球心投影o₁,o₂，求解空间中点S₁,O₁,S₂,S₃,O₂,S₄之间的线段长度比例，分别记为为l₁、l₂、l₃、l₄以及l₅，其中l₁=|S₁O₁|、l₂=|O₁S₂|、l₃=|S₂S₃|、l₄=|S₃O₃|，l₅=|O₃S₄|，具体计算如下：由交比的射影不变性，即

Cr 1 = cross (s_{1}, o_{1}, v_{in}, o_{2}) = \frac{| s_{1} o_{1} | | v_{in} o_{2} |}{| s_{1} v_{in} | | o_{1} o_{2} |} = \frac{| S_{1} O_{1} | | V_{in} O_{2} |}{(| S_{1} O_{1} | + | O_{1} V_{in} |) | O_{1} O_{2} |} - - - (1)

求出线段长度

l_{1} = | S_{1} O_{1} | = \frac{Cr 1}{1 - 2 Cr 1} - - - (2)

同理得到其它各线段l₂、l₃、l₄、l₅的长度。

第五步、求解圆球投影所形成的正圆锥的顶角：圆球投影到图像平面上，与相机光心形成一个正圆锥，如图6所示，过两个圆球球心和相机光心的平面与该圆锥相交，形成一个三角形，该三角形的一个角被相机光心到球心的直线分成相等的两部分，称其为圆锥顶角，记为α；并记另一个圆球投影所形成的圆锥顶角为β，图7显示了在相机光心和球心所在平面上的圆锥顶角与其它角度的关系，求解α和β的具体计算步骤如下：

可以推导出：

A \cot α + B \tan α = C \cot β + D \tan β - - - (7)

(l_{3} - l_{2}) \frac{(l_{1} + l_{2})}{(l_{1} - l_{2})} A \cot α + (l_{3} + l_{2}) B \tan α = \frac{(l_{5} - l_{4})}{l_{5}} \cot β - \frac{(l_{5} + l_{4})}{l_{5}} \tan β - - - (8)

其中

A = \frac{{(l_{1} - l_{2})}^{2}}{l_{1} l_{2} (l_{1} + l_{2})},

B = \frac{l_{1} + l_{2}}{l_{1} l_{2}},

C = \frac{{(l_{5} - l_{4})}^{2}}{l_{5} l_{4} (l_{5} + l_{4})},

D = \frac{l_{5} + l_{4}}{l_{5} l_{4}},

α, β &Element; (0, \frac{π}{2});

第六步、求解圆球Q₁其它圆球的球心连线的中点投影、球心连线上线段的长度比以及两个圆球投影所形成的正圆锥顶角：设圆球Q₁为固定圆球，考虑另外一个圆球Q₃及其投影c₃，对应球心投影为o₃，o₁、o₃连线交两个圆球投影c₁和c₃于四点，记为s'₁,s'₂,s'₃,s'₄，该四点是球心连线O₁O₃上的点S'₁,S'₂,S'₃,S'₄的投影，与步骤四中所述方法相同，可以求出长度

以及

其中

与5中所述相同方法，求出圆球Q₁投影所形成的正圆锥顶角α，和圆球Q₃对应的顶角β'，如图8所示，注意到，由于圆球投影到图像平面上时，圆球与相机光心形成正圆锥，这里角度α和4中的角度α是相同的，

第七步、由图7和图8所示，从式（3）（4））（5）（6），可以推导出

和

分别为

又在平面O_camO₁O₂和平面O_camO₁O'₂上，有

即

根据式（13）求出l₂与

的比例，可以得到|O₁O₂|的长度L₁与|O₁O₃|的长度L₂的比值，

第八步、基于圆球的1D标定：将O₁,O₂以及它们的中点V_in12看成是1D标定物上的三个点，将O₁,O₃以及它们的中点V_in13也看成是一维标定物上的三个点，这两个1D标定物具有一个固定的端点，即圆球1的球心，则称圆球1为固定圆球，除了Q₂,Q₃，再考虑更多的圆球Q₄、Q₅.....Q_n，称它们为移动圆球，球心构成1D标定物的移动端点，移动圆球与固定圆球的球心以及球心连线的中点构成n个一端固定的1D标定物，且根据上述步骤3至步骤7的计算，得到这些1D标定物的长度比例，记为L₁，L₂，…,L_n，再利用固定端点1D标定算法，进行相机内参数的标定工作，具体计算如下：

如图9所示，球心为O₁、O₂…O_n，球心投影为o₁、o₂…o_n，O₁O₂线段的中点为V_in12，O₁O₃线段的中点为V_in13，则O₁O_j线段的中点为V_in1j，且线段的长度比值为|O₁O₂|/|O₁O_j|=L₁/L_j，根据固定端点1D标定算法，得到

z_{o_{1}}^{2} h_{12}^{T} K^{- T} K^{- 1} h_{12} = L_{1}^{2} - - - (14)

其中，

表示在相机坐标系下球心O₁的深度；

h_{12} = {\overset{&OverBar;}{o}}_{1} + \frac{({\overset{&OverBar;}{o}}_{1} \times {\overset{&OverBar;}{v}}_{in 12}) \cdot ({\overset{&OverBar;}{o}}_{2} \times {\overset{&OverBar;}{v}}_{in 12})}{({\overset{&OverBar;}{o}}_{2} \times {\overset{&OverBar;}{v}}_{in 12}) \cdot ({\overset{&OverBar;}{o}}_{2} \times {\overset{&OverBar;}{v}}_{in 12})} {\overset{&OverBar;}{o}}_{2}

符号

表示点x的非齐次坐标形式；

K = [\begin{matrix} f_{x} & s & u_{0} \\ 0 & f_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix}],

表示相机内参数矩阵，考虑有多个圆球的情况，

（1）

z_{o_{1}}^{2} h_{1 j}^{T^{T}} K^{- T} K^{- 1} h_{1 j} = L_{j}^{2},

其中

h_{1 j} = {\overset{&OverBar;}{o}}_{1} + \frac{({\overset{&OverBar;}{o}}_{1} \times {\overset{&OverBar;}{v}}_{in 1 j}) \cdot ({\overset{&OverBar;}{o}}_{j} \times {\overset{&OverBar;}{v}}_{in 1 j})}{({\overset{&OverBar;}{o}}_{j} \times {\overset{&OverBar;}{v}}_{in 1 j}) \cdot ({\overset{&OverBar;}{o}}_{j} \times {\overset{&OverBar;}{v}}_{in 1 j})} {\overset{&OverBar;}{o}}_{j},

（j=2,3,...n，表示第2个圆球到第n个圆球），

（2）记

ω是一个3×3的矩阵，将各个元素用列向量表示为d=[ω₁₁,ω₁₂,ω₂₂,ω₁₃,ω₂₃,ω₃₃]^T，

（3）记h_j=[h_j1,h_j2,h_j3]^T，以及

得到

其中，

a_{j} = {[h_{j 1}^{2}, 2 h_{j 1} h_{j 2}, h_{j 2}^{2}, {2 h}_{1} h_{3}, {2 h}_{j 2} h_{j 3}, h_{j 3}^{2}]}^{T},

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于圆球一维特性的摄像机标定方法，其特征在于，所述基于圆球一维特性的摄像机标定方法包括以下步骤：

每一个移动圆球与固定圆球球心及中点构成空间一条线段的两个端点和中点，空间线段的公共端点是固定圆球球心，但是线段的长度不同，根据固定圆球投影对应的正圆锥顶角以及球心连线上六个点的长度比例，求解线段的长度比例；

2.如权利要求1所述的基于圆球一维特性的摄像机标定方法，其特征在于，所述基于圆球一维特性的摄像机标定方法的具体步骤为：

i,j=1,2,3...i≠j，H_ij的特征向量有三个，其中一个是通过球心投影o_i和o_j的直线l_ij，当有三个圆球投影时，可以获得三条通过圆球球心投影的直线，直线的交点即为球心投影，通过三个圆球投影所求出的球心连线投影和球心投影，当有更多的圆球时，使用RANSAC算法优化圆心投影的计算；

以及

其中

步骤七、计算|O₁O₂|的长度L₁与|O₁O₃|的长度L₂的比值；

步骤八、基于圆球的1D标定：将O₁,O₂以及它们的中点V_in12看成是1D标定物上的三个点，将O₁,O₃以及它们的中点V_in13也看成是一维标定物上的三个点，这两个1D标定物具有一个固定的端点，即圆球1的球心，则称圆球1为固定圆球，除了Q₂,Q₃，再考虑更多的圆球Q₄、Q₅.....Q_n，称它们为移动圆球，它们的球心构成1D标定物的移动端点，移动圆球与固定圆球的球心以及球心连线的中点构成n个一端固定的1D标定物，且根据所述步骤三至步骤七的计算，得到1D标定物的长度比例，记为L₁，L₂，…,L_n，再利用固定端点1D标定算法，进行相机内参数的标定工作。

3.如权利要求2所述的基于圆球一维特性的摄像机标定方法，其特征在于，所述步骤四的空间中点S₁,O₁,S₂,S₃,O₂,S₄之间的线段长度比例具体计算如下：由交比的射影不变性，即