CN105354839A - 使用相切的双球像与正交消失点标定拋物折反射摄像机 - Google Patents

Abstract

本发明涉及一种使用相切的双球像与正交消失点标定拋物折反射摄像机的方法。用抛物折反射摄像机拍摄靶标的两幅图像，所述靶标为像平面上投影相切的双球，在每幅图像中，通过像点和其对拓像点的关系获得对拓像点，从而估计折反射图像中双球像的对拓球像，并求解双球像的实和虚交点与对拓球像的实和虚交点；在此基础上，根据球像的交点与对拓球像的交点对应形成的三组对拓像点确定三组正交消失点，来自于这两幅图像可确定六组正交消失点；最终利用正交消失点对摄像机内参数的约束求解摄像机内参数。利用本发明的方法可以实现全自动标定，减少了标定过程中由测量引起的误差。由于球的投影轮廓线在图像中可以全部提取，因此提高了摄像机的标定精度。

Description

使用相切的双球像与正交消失点标定拋物折反射摄像机

技术领域

本发明属于计算机视觉领域，涉及一种利用相切的双球与正交消失点求解抛物折反射摄像机内参数的方法。

背景技术

计算机视觉的中心任务就是对图像进行理解，而它的最终目标是使计算机具有通过二维图像认知三维环境信息的能力。这种能力将不仅使机器能感知包括形状、姿态、运动等在内的三维环境中物体的几何信息，而且能对它们进行描述、存储、识别与理解。摄像机标定就是确定从三维空间点到它的二维图像点之间的映射关系，它是许多计算机视觉应用必不可少的步骤。为了确定这一映射过程，需要建立摄像机的几何成像模型，几何模型的参数称为摄像机参数，摄像机参数可分为内参数和外参数两类。内参数描述成像系统的成像几何特性，外参数描述成像系统关于世界坐标系的方向和位置。摄像机标定可分为传统标定、自标定和基于几何实体的标定。无论哪种标定方法，都旨在建立二维图像与摄像机内参数之间的约束关系，特别是线性约束关系，这是目前摄像机标定所追求的目标，也是目前计算机视觉领域研究的热点之一。

抛物折反射摄像机由一个抛物镜面和一个正交摄像机组成，它的成像视野大，是全景视觉领域研究的热点之一。文献“Catadioptricself-calibration”，（KangS.B.,ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition,vol.1,pp.201-207,2000.）提出了一种折反射摄像机自标定方法，这类方法的优点是不需要使用标定块，缺点是必须获得图像之间的对应点。而在计算机视觉中，实现一个十分有效的寻找对应点的方法是很困难的。文献“Geometricpropertiesofcentralcatadioptriclineimagesandtheirapplicationincalibration”,（BarretoJ.P.,AraujoH.,IEEETransactionsonPatternAnalysisandMachineIntelligence,vol.27,no.8,pp.1327-1333,2005）研究了中心折反射摄像机下直线的像的几何性质，并将这些性质应用于中心折反射摄像机的标定。文献“Anewlinearalgorithmforcalibratingcentralcatadioptriccameras”,（WuF.,DuanF.,HuZ.etal.,PatternRecognition,vol.41,no.10,pp.3166-3172,2008）介绍了对拓点和对拓像点，导出了空间中的一个点在视球上的投影和它的折反射图像点之间的关系，使用这个关系建立了中心折反射摄像机内参数的线性约束，通过此线性约束即可获得中心折反射摄像机内参数。文献“CalibrationofcentralcatadioptriccamerasusingaDLT-likeapproach”,（PuigL.,BastanlarY.,SturmP.,etal.InternationalJournalofComputerVision,vol.93,no.1,pp.101-114,2011）提出了一种基于三维控制点的标定方法，通过使用Veronese映射对三维点和其图像点的坐标进行了扩展，在扩展坐标的基础上基于DLT(直接线性变换)——相似方法实现了中心折反射摄像机的标定，但是这类方法需要已知三维点的位置，并且容易从图像中提取其图像点。

球作为一种常见的几何体，其最重要的优点在于无自身遮挡，从任何一个方向看空间中一个球的封闭轮廓线总是一个圆，并且它的投影轮廓线可全部提取。由于球具有丰富的视觉几何特性，因此利用球进行摄像机标定已成为近年来的一个热点。文献“Catadioptriccameracalibrationusinggeometricinvariants”，（YingX.,HuZ.,IEEETransactionsonPatternAnalysisandMachineIntelligence,vol.26,no.10,pp.1260-1271,2004）首次提出了利用球标定中心折反射摄像机。他们证明了球在中心折反射摄像机的单位球投影模型下的像为椭圆，并且在非退化情况下一个球的投影二次曲线提供两个不变量。为了降低求解的复杂度，他们提出了一种分步标定方法，该方法至少需要4个球的投影才能完成摄像机的标定。但是该文献提出的标定方法是非线性的，计算的复杂度较高，并且该标定方法只能标定抛物折反射摄像机的部分内参数。文献“Identicalprojectivegeometricpropertiesofcentralcatadioptriclineimagesandsphereimageswithapplicationstocalibration”，（YingX.,ZhaH.,InternationalJournalofComputerVision,vol.78,no.1,pp.89-105,2008）介绍了修正绝对二次曲线的像（MIAC）在中心折反射摄像机标定中的作用。他们通过研究球在中心折反射摄像机下的像与MIAC的几何与代数关系提出了两种线性标定算法。它们得出的结论对于对偶形式也是成立的。但是这篇文献中的理论和标定方法对于抛物折反射摄像机的情况是退化的。文献“Acalibrationmethodforparacatadioptriccamerafromsphereimages”，（DuanH.,WuY.,PatternRecognitionLetters,vol.33,no.6,pp.677-684,2012）基于圆环点理论提出了一种利用对拓球像标定抛物折反射摄像机的线性方法，但是这篇文献中关于圆环点的像的选取比较复杂。

发明内容

本发明提供了一种制作简单，适用广泛，稳定性好的利用靶标求解抛物折反射摄像机内参数的方法，该靶标由空间的双球构成，并且双球在像平面的像是相切的。在求解抛物折反射摄像机内参数的过程中，需使用抛物折反射摄像机拍摄靶标的两幅图像便可线性求解出抛物折反射摄像机的5个内参数。

本发明采用如下技术方案：

本发明是由空间的双球构成的靶标，利用靶标求解抛物折反射摄像机内参数的方法，其特征在于仅利用球元素。首先，从这两幅图像中提取镜面轮廓投影的边缘点和靶标图像边缘点，使用最小二乘法拟合获得镜面轮廓投影和双球的像。其次，在每幅图像中，根据像点和其对拓像点的关系获得对拓像点，从而估计双球像的对拓球像，并求解双球像的交点及其对拓球像的交点，再根据球像的交点（实和虚）与对拓球像的交点（实和虚）对应形成的三组对拓像点确定三组正交消失点，来自于双球的两幅图像可确定六组正交消失点。最后，利用正交消失点对摄像机内参数的约束求解摄像机内参数。具体的步骤包括：拟合镜面轮廓投影方程及靶标投影方程，估计两幅图像中双球像的对拓球像，确定正交消失点，求解抛物折反射摄像机的内参数。

1．拟合镜面轮廓投影方程及靶标投影方程

利用Matlab程序中的Edge函数提取这两幅图像中镜面轮廓投影边缘点和靶标图像边缘点的像素坐标，并用最小二乘法拟合获得镜面轮廓投影方程和双球像的方程。

2．估计两幅图像中双球像的对拓球像

空间中的双球与，双球在抛物折反射摄像机的像平面的投影是相切的。它们在拋物折反射摄像机的单位球模型下的投影分为两步：第一步，将双球与投影为以为中心的单位视球上的两组平行小圆和，称为的对拓圆。与有一个实交点，与也有一个实交点。第二步，以单位视球表面上的一点为投影中心，这里可看作一个摄像机的光心，将这两组平行小圆和分别投影为抛物折反射图像平面上的两组二次曲线和，其中称可见的二次曲线为球与的像，不可见的二次曲线为球像的对拓球像，抛物折反射图像平面与直线垂直。与有一个实交点和两个虚交点；与也有一个实交点和两个虚交点。令以为光心的摄像机的内参数矩阵为，其中是纵横比，是有效焦距，是倾斜因子，是摄像机主点的齐次坐标。利用Matlab中的函数提取这两幅图像中的镜面轮廓投影边缘点和靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程。为了简化描述，用带有上标的字母表示双球的第幅图像中的几何元素，这里，并且它在后面的部分具有相同的意义。表示双球第幅图像的镜面轮廓投影曲线的系数矩阵，表示双球第幅图像中的两个球像的系数矩阵（为了简化表述，用相同字母表示曲线和它的系数矩阵）。由于估计摄像机内参数矩阵的一个初始值时仅需要一幅图像中的镜面轮廓投影，这里不妨选取，通过可获得，从而得到绝对二次曲线的像（IAC）的初始值。这里，是纵横比的初始值，是有效焦距的初始值，是倾斜因子的初始值，是摄像机主点的初始齐次坐标，记。取上的一组点，则与它相对应的一组对拓像点可由关系式确定。根据对拓像点的定义，点在球像的对拓球像上，因此可用最小二乘法拟合得到对拓球像的初始方程，最后通过最小化函数获得的一个估计，其中是Lagrange乘数因子，，，这里表示矩阵的第行第列元素。

3．确定正交消失点

考虑空间中的双球与的第幅图像，并且双球在像平面的像是相切。与在单位视球上的投影小圆的一个实交点和投影小圆的一个实交点对应形成一对对拓点。用和分别表示和的像，根据对拓像点的定义，为一对对拓像点。同时，根据射影变换的结合性，是球像和的一个实交点，是它们的对拓球像和的一个实交点。用和表示球像和的两个虚交点，和表示它们的对拓球像和的两个虚交点。根据对拓像点的定义，为两对虚对拓像点，它们可以看作两对虚对拓点的像，这里。根据对拓点的定义和初等几何知识，通过这三对虚对拓点可以构成3个矩形，提供空间的3组正交方向与，其中。记直线与上的无穷远点分别为与，用与分别表示与的像，则与为正交消失点，其中。根据射影变换的结合性，有是直线与直线的交点，是直线与直线的交点，其中。由于空间中的一组正交方向可提供一组正交消失点，因此通过上面的三组正交方向可提供三组正交消失点，于是来自靶标的两幅图像可确定六组正交消失点。

4．求解抛物折反射摄像机的内参数

使用抛物折反射摄像机拍摄靶标的两幅图像。先通过SVD方法求解正交消失点对绝对二次曲线的像的线性约束获得，这里的线性约束为：，其中。再对获得的进行Cholesky分解并求逆便可得到内参数矩阵，即可获得抛物折反射摄像机的5个内参数。

本发明优点：

（1）该靶标制作简单，只需将两个球固定在一个支架上，使其相切。

（2）对该靶标的物理尺度没有要求，无需知道球心在世界坐标系下的坐标。

（3）该靶标的图像边界点几乎可以全部提取，这样可以提高曲线拟合的精确度，从而提高标定精度。

附图说明

图1是用于求解抛物折反射摄像机内参数的靶标示意图。

图2是靶标在单位球上的投影。

图3是靶标在抛物折反射图像平面上的投影。

具体实施方式

本发明提供了一种用于求解抛物折反射摄像机内参数的方法，它是由空间中的双球构成的，双球在抛物折反射摄像机的像平面的投影是相切的，如图1。用此新型靶标完成抛物折反射摄像机内参数的求解需要经过以下步骤：从这两幅图像中提取镜面轮廓投影的边缘点和靶标图像边缘点，使用最小二乘法拟合获得镜面轮廓投影和双球的像。在每幅图像中，根据像点和其对拓像点的关系获得对拓像点，从而估计双球像的对拓球像，并求解双球像的交点及其对拓球像的交点，再根据球像的交点（实和虚）与对拓球像的交点（实和虚）对应形成的三组对拓像点确定三组正交消失点，来自于双球的两幅图像可确定六组正交消失点。利用正交消失点对摄像机内参数的约束求解摄像机内参数。具体的步骤包括：拟合镜面轮廓投影方程及靶标投影方程，估计两幅图像中双球像的对拓球像，确定正交消失点，求解抛物折反射摄像机的内参数。利用本发明中的方法对用于实验的拋物折反射摄像机进行标定，具体步骤如下：

1．拟合镜面轮廓投影方程及靶标投影方程

在每幅图像中，利用Matlab程序中的Edge函数提取镜面轮廓投影边缘点和靶标图像边缘点的像素坐标，并用最小二乘法拟合获得镜面轮廓投影方程和双球像的方程。

2．估计两幅图像中双球像的对拓球像

考虑空间中的双球与（如图1）的第幅图像，并且双球的像是相切的。双球在拋物折反射摄像机的单位球模型下的投影过程分为两步：第一步，将双球与投影为以为中心的单位视球上的两组平行小圆和，称为的对拓圆。与有一个实交点，与也有一个实交点，这一过程如图2所示。第二步，通过摄像机的光心将这两组平行小圆和分别投影为抛物折反射图像平面上的两组二次曲线和，这里称可见的二次曲线为球与的像，不可见的二次曲线为球像的对拓球像。与有一个实交点和两个虚交点；与也有一个实交点和两个虚交点。这一过程如图3所示。利用Matlab中的函数提取这两幅幅图像中的镜面轮廓投影和靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程，表示双球第幅图像的镜面轮廓投影曲线的系数矩阵，表示双球第幅图像中的两个球像的系数矩阵。由于估计摄像机内参数矩阵的一个初始值时仅需要一幅图像中的镜面轮廓投影，这里不妨选取，通过可获得。

，（1）

这里，表示矩阵的第行第列元素，，为摄像机视场角的一半，为抛物面镜轮廓投影椭圆的长半轴长。在获得的基础上可得到的初始值：

。（2）

取上的一组点，则与它相对应的一组对拓像点可由关系式（3）确定：

。（3）

根据对拓像点的定义，点在球像的对拓球像上，因此可用最小二乘法拟合得到对拓球像的初始方程，最后通过最小化函数获得的一个估计，其中是Lagrange乘数因子，，，这里表示矩阵的第行第列元素。

3．确定正交消失点

考虑空间中的双球与的第幅图像，并且双球的像是相切的。如图3所示，用表示空间中的双球与的相切像和的一个实交点，和表示它们的两个虚交点，表示它们的对拓球像和的一个实交点，和表示它们的对拓球像的两个虚交点。根据对拓像点的定义，为一对实对拓像点，为两对虚对拓像点，这两对虚对拓像点可以看作两对虚对拓点的像，其中。根据对拓点的定义和初等几何知识，通过这三对对拓点可以构成3个矩形，提供空间的3组正交方向与，其中。记直线与上的无穷远点分别为与，用与分别表示与的像，则与为正交消失点，其中。根据射影变换的结合性，有是直线与直线的交点，是直线与直线的交点，其中。设的齐次坐标分别为，，，其中，，。这里可得方程组（4）、（5）、（6）、（7）

，（4）

，（5）

，，（6）

，，（7）

其中为第幅图像的折反射像素坐标，这里。由上面的分析，是方程组（4）的3组解，是方程组（5）的3组解，是方程组（6）的解，是方程组（7）的解，其中，，。由于空间中的一组正交方向可提供一组正交消失点，因此通过使用靶标的两幅图像可确定六组正交消失点。

4．求解抛物折反射摄像机的内参数

使用抛物折反射摄像机拍摄靶标的两幅图像。由正交消失点对绝对二次曲线的像线性约束有：

，（8）

其中。先可通过SVD方法求解方程组（8）获得，再对获得的进行Cholesky分解再求逆便可得到内参数矩阵，即可获得抛物折反射摄像机的5个内参数。

实施例

本发明提出了一种利用空间的双球作为靶标，并且双球的像是相切的，利用靶标线性确定抛物折反射摄像机内参数的方法。本发明采用的实验模板结构示意图如图1所示。下面以一实例对本发明的实施方案做出更为详细的描述。

基于空间中的双球的相切像标定抛物折反射摄像机采用的实验模板是空间中的双球，并且双球在抛物折反射摄像机像平面的投影是相切的，如图1所示，两个球分别为与。利用本发明中的方法对用于实验的抛物折反射摄像机进行标定，具体步骤如下：

1．拟合图像边界及靶标曲线方程

本发明采用的两幅图像大小均为，抛物折反射摄像机的视场角为。用抛物折反射摄像机拍摄靶标的两幅实验图像，读入图像，利用Matlab中的Edge函数提取两幅图像中镜面轮廓投影边缘点和靶标图像边缘点的像素坐标，并用最小二乘法拟合获得镜面轮廓投影方程和双球像的方程。由于估计摄像机内参数矩阵的一个初始值时仅需要一幅图像中的镜面轮廓投影，这里不妨选取第一幅图像的镜面轮廓投影，它的投影方程的系数矩阵为，第幅图像中的双球像的方程的系数矩阵为，其中。结果如下

；（9）

，（10）

；（11）

，（12）

。（13）

2．估计双球像的对拓球像

将（9）代入（1）和（2）可得，结果如下

。（14）

先分别在球像上取至少5个互异的点，再将所取点和（14）代入（3）得到对拓球像上点的初始坐标，再通过最小二乘法拟合获得对拓球像的初始方程，最后通过最小化函数获得对拓球像的估计，其中。结果如下

，（15）

；（16）

，（17）

。（18）

3．确定正交消失点

将（10）和（11）代入（4）可得第一幅图像中球像的一个实交点和两个虚交点，结果如下

，（19）

，（20）

；（21）

将（12）和（13）代入（4）可得第二幅图像中球像的一个实交点和两个虚交点，结果如下

，（22）

，（23）

；（24）

将（15）和（16）代入（5）可得第一幅图像中对拓球像的一个实交点和两个虚交点，结果如下

，（25）

，（26）

；（27）

将（17）和（18）代入（5）可得第二幅图像中对拓球像的一个实交点和两个虚交点，结果如下

，（28）

，（29）

；（30）

先将（19）~（21）和（25）~（27）代入方程组（6）、（7），再使用SVD方法求解方程组（6）、（7），可得第一幅图像上的3组正交消失点，其中，结果如下

，（31）

；（32）

，（33）；（34）

，（35）

；（36）

同理，将（22）~（24）和（28）~（30）代入方程组（6）、（7），再使用SVD方法求解方程组（6）、（7），可得第二幅图像上的3组正交消失点，其中。结果如下

，（37)

；（38）

，（39）；（40）

，（41）

；（42）

4．求解抛物折反射摄像机的内参数

先将（31）~(42)代入（8）得到中元素的线性方程组，使用SVD方法求解该线性方程组得到。结果如下

。（43）

再对（43）中的进行Cholesky分解再求逆便可获得，有

，（44）

其中纵横比（表示矩阵的第1行第1列的元素，表示矩阵的第2行第2列的元素），故抛物折反射摄像机的5个内参数分别为：,,,,。

Claims (1)

1.一种使用相切的双球像与正交消失点标定拋物折反射摄像机的方法，其特征在于由空间中的双球作为靶标，双球在抛物折反射摄像机的像平面的投影是相切的；所述方法的具体步骤包括：首先，用抛物折反射摄像机拍摄2幅含有相切的双球的图像，从这两幅图像中提取镜面轮廓投影的边缘点和靶标图像边缘点，使用最小二乘法拟合获得镜面轮廓投影和双球的图像；其次，在每幅图像中，根据双球的像点和其对拓像点的关系获得对拓像点，从而估计双球像的对拓球像，并求解双球像的交点及其对拓球像的交点，球像的交点和对拓球像的交点包含实点与虚点，再根据球像的交点与对拓球像的交点对应形成的三组对拓像点确定正交消失点；最后，利用正交消失点对摄像机内参数的约束求解摄像机内参数；

（1）拟合镜面轮廓投影方程及靶标投影方程

利用Matlab程序中的Edge函数提取这两幅图像中镜面轮廓投影边缘点和靶标图像边缘点的像素坐标，并用最小二乘法拟合获得镜面轮廓投影方程和双球像的方程；

（2）估计两幅图像中双球像的对拓球像

空间中的双球与，双球的在像平面上的投影是相切的；双球在拋物折反射摄像机的单位球模型下的投影分为两步：第一步，将双球与投影为以为中心的单位视球上的两组平行小圆和，称为的对拓圆；与有一个实交点，与也有一个实交点；第二步，以单位视球表面上的一点为投影中心，这里看作一个摄像机的光心，将这两组平行小圆和分别投影为抛物折反射图像平面上的两组二次曲线和，其中称可见的二次曲线为球与的像，不可见的二次曲线为球像的对拓球像，抛物折反射图像平面与直线垂直；与有一个实交点和两个虚交点；与也有一个实交点和两个虚交点；令以为光心的摄像机的内参数矩阵为，其中是纵横比，是有效焦距，是倾斜因子，是摄像机主点的齐次坐标；利用Matlab中的函数提取这两幅图像中的镜面轮廓投影边缘点和靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程；为了简化描述，用带有上标的字母表示双球的第幅图像中的几何元素，这里，并且它在后面的部分具有相同的意义；表示双球第幅图像的镜面轮廓投影曲线的系数矩阵，表示双球第幅图像中的两个球像的系数矩阵，为了简化表述，用相同字母表示曲线和它的系数矩阵；由于估计摄像机内参数矩阵的一个初始值时仅需要一幅图像中的镜面轮廓投影，这里不妨选取，通过获得，从而得到绝对二次曲线的像（IAC）的初始值；这里：，，，是纵横比的初始值，是有效焦距的初始值，是倾斜因子的初始值，是摄像机主点的初始齐次坐标，记；取上的一组点，则与它相对应的一组对拓像点由关系式确定；根据对拓像点的定义，点在球像的对拓球像上，因此用最小二乘法拟合得到对拓球像的初始方程，最后通过最小化函数获得的一个估计，其中是Lagrange乘数因子，，，这里表示矩阵的第行第列元素；

（3）确定正交消失点

考虑空间中的双球与的第幅图像，并且双球的像是相切的；与在单位视球上的投影小圆的一个实交点和投影小圆的一个实交点对应形成一对对拓点；用和分别表示和的像，根据对拓像点的定义，为一对对拓像点；同时，根据射影变换的结合性，是球像和的一个实交点，是对拓球像和的一个实交点；用和表示球像和的两个虚交点，和表示对拓球像和的两个虚交点；根据对拓像点的定义，为两对虚对拓像点，并且看作两对虚对拓点的像，这里；根据对拓点的定义和初等几何知识，通过这三对虚对拓点构成3个矩形，提供空间的3组正交方向与，其中；记直线与上的无穷远点分别为与，用与分别表示与的像，则与为正交消失点，其中；根据射影变换的结合性，有是直线与直线的交点，是直线与直线的交点，其中；由于空间中的一组正交方向提供一组正交消失点，因此通过上面的三组正交方向提供三组正交消失点，于是来自靶标的两幅图像确定六组正交消失点；

（4）求解抛物折反射摄像机的内参数

使用抛物折反射摄像机拍摄靶标的两幅图像；先通过SVD方法求解正交消失点对绝对二次曲线的像的线性约束获得，这里的线性约束为：，其中；再对获得的进行Cholesky分解并求逆便得到内参数矩阵，即获得抛物折反射摄像机的5个内参数。