CN106447731A - 利用单个球及正交消失点标定拋物折反射摄像机的方法 - Google Patents

Abstract

本发明是一种利用单个球及正交消失点标定拋物折反射摄像机的方法，其特征在于仅利用球元素。首先，从该幅图像中提取镜面轮廓投影的边缘点和靶标图像边缘点，使用最小二乘法拟合获得镜面轮廓投影和球像的投影。其次，根据像点和其对拓像点的关系获得对拓像点，从而拟合出球像的对拓球像。在球像上取互异的两个点，并求出两个点的对拓像点。上述两组对拓像点提供一组正交方向消失点。在球像上取六组互异的两个点，得到六组正交方向消失点。最后，利用正交方向消失点对摄像机内参数的约束求解摄像机内参数。在求解的过程中，使用抛物折反射摄像机拍摄靶标的1幅图像线性求解出抛物折反射摄像机的5个内参数。

Description

利用单个球及正交消失点标定拋物折反射摄像机的方法

技术领域

本发明属于计算机视觉领域，涉及一种利用空间中一个球与正交消失点求解抛物折反射摄像机内参数的方法。

背景技术

计算机视觉的中心任务就是对图像进行理解，而它的最终目标是使计算机具有通过二维图像认知三维环境信息的能力。这种能力将不仅使机器能感知包括形状、姿态、运动等在内的三维环境中物体的几何信息，而且能对它们进行描述、存储、识别与理解。摄像机标定就是确定从三维空间点到它的二维图像点之间的映射关系，它是许多计算机视觉应用必不可少的步骤。为了确定这一映射过程，需要建立摄像机的几何成像模型，几何模型的参数称为摄像机参数，摄像机参数可分为内参数和外参数两类。内参数描述成像系统的成像几何特性，外参数描述成像系统关于世界坐标系的方向和位置。摄像机标定可分为传统标定、自标定和基于几何实体的标定。无论哪种标定方法，都旨在建立二维图像与摄像机内参数之间的约束关系，特别是线性约束关系，这是目前摄像机标定所追求的目标，也是目前计算机视觉领域研究的热点之一。

抛物折反射摄像机由一个抛物镜面和一个正交摄像机组成，它的成像视野大，是全景视觉领域研究的热点之一。文献“Catadioptric self-calibration”，（Kang S. B.,Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,vol. 1, pp. 201-207, 2000.）提出了一种折反射摄像机自标定方法，这类方法的优点是不需要使用标定块，缺点是必须获得图像之间的对应点。而在计算机视觉中，实现一个十分有效的寻找对应点的方法是很困难的。文献“Geometric properties of centralcatadioptric line images and their application in calibration”,（Barreto J.P., Araujo H., IEEE Transactions on Pattern Analysis and MachineIntelligence, vol. 27, no.8, pp. 1327-1333, 2005）研究了中心折反射摄像机下直线的像的几何性质，并将这些性质应用于中心折反射摄像机的标定。文献“A new linearalgorithm for calibrating central catadioptric cameras”,（Wu F., Duan F., HuZ. et al., Pattern Recognition, vol. 41, no. 10, pp. 3166-3172, 2008）介绍了对拓点和对拓像点，导出了空间中的一个点在视球上的投影和它的折反射图像点之间的关系，使用这个关系建立了中心折反射摄像机内参数的线性约束，通过此线性约束即可获得中心折反射摄像机内参数。文献“Calibration of central catadioptric cameras usinga DLT-like approach”,（Puig L., Bastanlar Y., Sturm P., et al. InternationalJournal of Computer Vision, vol. 93, no. 1, pp. 101-114, 2011）提出了一种基于三维控制点的标定方法，通过使用Veronese映射对三维点和其图像点的坐标进行了扩展，在扩展坐标的基础上基于DLT(直接线性变换)——相似方法实现了中心折反射摄像机的标定，但是这类方法需要已知三维点的位置，并且容易从图像中提取其图像点。

球作为一种常见的几何体，其最重要的优点在于无自身遮挡，从任何一个方向看空间中一个球的封闭轮廓线总是一个圆，并且它的投影轮廓线可全部提取。由于球具有丰富的视觉几何特性，因此利用球进行摄像机标定已成为近年来的一个热点。文献“Catadioptric camera calibration using geometric invariants”，（Ying X., Hu Z.,IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.26,no.10, pp. 1260-1271, 2004）首次提出了利用球标定中心折反射摄像机。他们证明了球在中心折反射摄像机的单位球投影模型下的像为椭圆，并且在非退化情况下一个球的投影二次曲线提供两个不变量。为了降低求解的复杂度，他们提出了一种分步标定方法，该方法至少需要4个球的投影才能完成摄像机的标定。但是该文献提出的标定方法是非线性的，计算的复杂度较高，并且该标定方法只能标定抛物折反射摄像机的部分内参数。文献“Identical projective geometric properties of central catadioptric lineimages and sphere images with applications to calibration”，（Ying X., Zha H.,International Journal of Computer Vision, vol.78, no.1, pp. 89-105, 2008）介绍了修正绝对二次曲线的像（MIAC）在中心折反射摄像机标定中的作用。他们通过研究球在中心折反射摄像机下的像与MIAC的几何与代数关系提出了两种线性标定算法。它们得出的结论对于对偶形式也是成立的。但是这篇文献中的理论和标定方法对于抛物折反射摄像机的情况是退化的。文献“A calibration method for paracatadioptric camera fromsphere images”，（Duan H., Wu Y., Pattern Recognition Letters, vol.33, no.6,pp. 677-684, 2012）基于圆环点理论提出了一种利用对拓球像标定抛物折反射摄像机的线性方法。但是这篇文献中关于圆环点的像的选取比较复杂。

发明内容

本发明提供了一种制作简单，适用广泛，稳定性好的利用靶标求解抛物折反射摄像机内参数的方法，该靶标由空间中一个球构成。在求解抛物折反射摄像机内参数的过程中，需使用抛物折反射摄像机拍摄靶标的1幅图像线性求解出抛物折反射摄像机的5个内参数。

本发明采用如下技术方案：

用抛物折反射摄像机拍摄1幅含有一个球的图像。本发明是利用空间中一个球作为靶标用于求解抛物折反射摄像机内参数的方法，其特征在于仅利用球元素。首先，从该幅图像中提取镜面轮廓投影的边缘点和靶标图像边缘点，使用最小二乘法拟合获得镜面轮廓投影和球像的投影。其次，根据像点和其对拓像点的关系获得对拓像点，从而拟合出球像的对拓球像。在球像上取互异的两个点，并求出两个点的对拓像点。由对拓像点的定义和圆的性质，上述两组对拓像点提供一组正交方向消失点。在球像上取六组互异的两个点，得到六组正交方向消失点。最后，利用正交方向消失点对绝对二次曲线像的约束求解摄像机内参数。具体的步骤包括：拟合出镜面轮廓投影方程及靶标投影方程，估计球像的对拓球像，确定正交消失点，求解抛物折反射摄像机内参数。

1．拟合镜面轮廓投影方程及靶标投影方程

利用Matlab程序中的Edge函数提取镜面轮廓投影边缘点和靶标图像边缘点的像素坐标，并用最小二乘法拟合获得镜面轮廓投影方程和球像的方程。

2．估计球像的对拓球像

空间中的球，在拋物折反射摄像机的单位球模型下的投影分为两步。第一步，球投影是以为中心的单位视球上的平行小圆和，称为的对拓圆，并且以单位视球中心对称于；单位视球直径的两个端点互为对拓；第二步，以单位视球表面上的一点为投影中心，这里可看作一个摄像机的光心，将平行小圆和分别投影为抛物折反射图像平面上的二次曲线。其中称可见的二次曲线为球的像，不可见的二次曲线为球像的对拓球像，对应于单位视球上的称为对拓圆，抛物折反射图像平面与直线垂直；对应于单位视球直径的一个端点，该端点在抛物折反射图像平面不可见称为对拓像点，则单位视球直径的这个端点称为对拓点。令以为光心的摄像机的内参数矩阵为，其中是纵横比，是有效焦距，是倾斜因子，是摄像机主点的齐次坐标矩阵形式。利用Matlab中的函数提取该幅图像中的镜面轮廓投影边缘点和靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程。这里用表示镜面轮廓投影曲线的系数矩阵，表示该幅图像中的球像的系数矩阵。本文为了简化表述，用相同字母表示曲线和它的系数矩阵。通过可获得摄像机内参数矩阵的一个初始矩阵值，从而得到绝对二次曲线的像的初始值，这里:，，其中，是纵横比的初始值，是有效焦距的初始值，是倾斜因子的初始值，是摄像机主点的初始齐次坐标矩阵表示，记。取上的一组点，则与它相对应的一组对拓像点 可由关系式确定，，用齐次坐标矩阵表示。根据对拓像点的定义，点在球像的对拓球像上，因此可用最小二乘法拟合得到对拓球像的方程。

3. 确定正交消失点

在球在单位视球上的投影小圆上取六组互异的两个点和，其中下标，用和分别表示和关于单位视球的中心的对称点，即对拓点，则点和在关于单位视球的中心的对称圆，即对拓圆上。根据对拓点的定义，线段和线段为视球的两条直径，它们的交点为单位视球的中心。由圆的性质，四个点依次连接构成一个矩形，记平面为矩形所在平面。直线为两点所在的直线，直线为两点所在的直线，直线为两点所在的直线，直线为两点所在的直线。，于是和具有相同的无穷远点，这里用表示上的无穷远点。，于是和具有相同的无穷远点，这里用表示上的无穷远点。通过可以确定平面上的两个正交方向无穷远点。用分别表示的像，则为两对对拓像点。记过两点的直线为，过两点的直线为，过两点的直线为，过两点的直线为，直线交点记为，直线交点记为。则根据射影变换的性质，直线为直线的像，下标，点为的像，下标，于是可通过直线确定平面的像上的一组正交消失点。

4. 求解抛物折反射摄像机内参数

由正交消失点对绝对二次曲线的像的线性约束获得。用最小二乘法优化求解。最后，对进行Cholesky分解再求逆便得到内参数矩阵，即获得摄像机5个内参数。

本发明优点：

（1）该靶标制作简单，只需将一个球固定在一个支架上。

（2）对该靶标的物理尺度没有要求，无需知道球心在世界坐标系下的坐标。

（3）该靶标的图像边界点几乎可以全部提取，这样可以提高曲线拟合的精确度，从而提高标定精度。

附图说明

图1是用于求解抛物折反射摄像机内参数的靶标在单位视球上的示意图。

图2是靶标在抛物折反射图像平面上的投影。

具体实施方式

本发明提供了一种利用靶标求解抛物折反射摄像机内参数的方法，靶标是由空间中的一个球构成，如图1。用此靶标完成抛物折反射摄像机内参数的求解需要经过以下步骤：从折反射图像中提取镜面轮廓投影边缘点和靶标图像边缘点，使用最小二乘法拟合获得镜面轮廓投影和球的像。根据像点和其对拓像点的关系获得对拓像点，从而拟合出球像的对拓球像。在球像上取互异的两个点，并求得对拓像点，由对拓像点的定义，上述两组对拓像点提供一组正交方向消失点，在球像上取六组互异的两个点，得到六组正交方向消失点，利用正交方向消失点对绝对二次曲线像的约束求解摄像机内参数。利用本发明中的方法对用于实验的拋物折反射摄像机进行标定，具体步骤如下：

1．拟合镜面轮廓投影方程及靶标投影方程

利用Matlab程序中的Edge函数提取镜面轮廓投影边缘点和靶标图像边缘点的像素坐标，并用最小二乘法拟合获得镜面轮廓投影方程和球像的方程。

2．估计球像的对拓球像

空间中的球（如图1），在拋物折反射摄像机的单位球模型下的投影分为两步。第一步，将球投影为以为中心的单位视球上的平行小圆，称为的对拓圆，这一过程如图1所示。第二步，通过摄像机的光心将这平行小圆别投影为抛物折反射图像平面上的二次曲线，这里称可见的二次曲线为球的像，不可见的二次曲线为球像的对拓球像，如图1所示。利用Matlab中的Edge函数提取该幅图像中的镜面轮廓投影和靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程，这里用表示镜面轮廓投影曲线的系数矩阵，表示该幅图像中的球像的系数矩阵。通过可获得摄像机内参数矩阵的一个初始矩阵值，具体如公式（1）：

， （1）

这里，表示矩阵的第行第列元素，，为摄像机视场角的一半，为抛物面镜轮廓投影椭圆的长半轴长。在获得的基础上可得到的初始值，如公式（2）：

。 （2）

取上的一组点，则与它相对应的一组对拓像点 可由关系式（3）确定：

。 （3）

根据对拓像点的定义，点在球像的对拓球像上，因此可用最小二乘法拟合得到对拓球像的方程。

3. 确定正交消失点

在空间中一个球的投影小圆上取六组互异的两个点和，其中下标，用和分别表示和的对拓点（如图1所示，取一组互异的两个点，为例），则点和在的对拓圆上，根据对拓点的定义，线段和线段为视球的两条直径，它们的交点为视球的中心。由圆的性质，四个点依次连接构成一个矩形，记平面为矩形所在平面。直线为两点所在的直线，直线为两点所在的直线，直线为两点所在的直线，直线为两点所在的直线。，于是和具有相同的无穷远点，这里用表示上的无穷远点。，于是和具有相同的无穷远点，这里用表示上的无穷远点。通过可以确定平面上的两个正交方向无穷远点。如图2所示，在像平面上，其中，用分别表示的像，则为两对对拓像点，记平面为像平面所在的平面。记过两点的直线为，过两点的直线为，过两点的直线为，过两点的直线为。设的齐次坐标矩阵分别为，，的齐次坐标矩阵为，其中+表示实际投影（可见投影），-表示对拓像（不可见投影），的齐次线坐标矩阵为，则：

， （4）

， （5）

， （6）

， （7）

其中是非零常数因子。则根据射影变换的性质，直线为直线的像，下标，，于是可通过直线确定平面上的两个正交方向消失点，即分别对应于两个正交方向无穷远点，的像。通过联立和的方程可得：

， （8）

其中为抛物折反射图像平面上的像素齐次坐标矩阵。同理，通过联立和的方程可得：

。 （9）

设和的齐次坐标矩阵分别为和，则是方程组（8）的解，是方程组（9）的解。

4.求解抛物折反射摄像机内参数

由正交消失点对绝对二次曲线的像的线性约束有：

。 （10）

可用最小二乘法优化求解（10）获得，最后对=进行Cholesky分解得再求逆便得到内参数矩阵，即获得摄像机5个内参数。

实施例

本发明提出了一种利用空间的一个球作为靶标线性确定抛物折反射摄像机内参数的方法。本发明采用的实验模板结构示意图如图1所示。下面以一实例对本发明的实施方案做出更为详细的描述。

基于空间中球的抛物折反射摄像机标定采用的实验模板是空间中的一个球，如图1所示，球为。利用本发明中的方法对用于实验的抛物折反射摄像机进行标定，具体步骤如下：

1．拟合图像边界及靶标曲线方程

本发明采用的图像大小为。用抛物折反射摄像机拍摄靶标的1幅实验图像，读入图像，利用Matlab中的Edge函数提取镜面轮廓投影边缘点和靶标图像边缘点的像素坐标，并用最小二乘法拟合获得镜面轮廓投影方程和球像的方程。镜面轮廓投影方程的系数矩阵为，球像的方程的系数矩阵为，结果如下：

， （11）

， （12）

2．估计双球像的对拓球像

将（11）代入（1）和（2）可得，结果如下：

。 （13）

先在球像取至少5个互异的点，从（15）到（26）任取，再将所取的点和（13）代入（3）得到对拓球像上点的坐标，通过最小二乘法拟合获得对拓球像的方程，结果如下：

。 （14）

3．确定正交消失点

在球像上任取六对两个互异的点，记为，它们的齐次坐标矩阵分别为：

， （15）

； （16）

， （17）

； （18）

， （19）

； （20）

， （21）

； （22）

， （23）

； （24）

， （25）

。 （26）

如图2所示，根据对拓像点的性质，可获得与点对应的对拓像点，结果如下：

， （27）

。 （28）

将（15）、（16）带入（4）可得过点的直线的齐次线坐标；将（27）、（28）带入（5）可得过点的直线的齐次线坐标；将（15）、（28）带入（6）可得过点的直线的齐次线坐标；将（16）、（27）带入（7）可得过点的直线的齐次线坐标，结果如下：

， （29）

， （30）

， （31）

； （32）

将（29）和（30）代入（8）可得消失点，结果如下：

； （33）

将（31）和（32）代入（9）可得消失点，结果如下：

。 （34）

对于另外五对点确定的正交消失点的齐次坐标，第一个下标代表第2到第6对正交消失点，第二个下标1和2表示正交的两个方向，可用类似的方法获得。结果如下

， （35）

； （36）

， （37）

； （38）

， （39）

； （40）

， （41）

； （42）

， （43）

。 （44）

4. 求解抛物折反射摄像机内参数

把（33）至（44）带入（10）得到中元素的线性方程组，使用最小二乘法求解该线性方程组得到的系数矩阵。结果如下：

。 （45）

最后，对（45）中的进行Cholesky分解再求逆便可获得，有：

， （46）

其中纵横比（表示矩阵的第1行第1列的元素，表示矩阵的第2行第2列的元素），故抛物折反射摄像机的5个内参数分别为：，，，，。

Claims (1)

1.一种利用单个球及正交消失点标定拋物折反射摄像机的方法，其特征在于由空间中的一个球作为靶标，所述方法的具体步骤包括：首先，用抛物折反射摄像机拍摄1幅含有球的图像，从该幅图像中提取镜面轮廓投影的边缘点和靶标图像边缘点，使用最小二乘法拟合获得镜面轮廓投影和球的图像；其次，根据球的像点和其对拓像点的关系获得对拓像点，从而得到球像的对拓球像，在球像上取互异的两个点，并求得对拓像点；上述两组对拓像点提供一组正交方向消失点，在球像上取六组互异的两个点，得到六组正交方向消失点；最后，利用正交方向消失点对绝对二次曲线像的约束求解摄像机内参数；

（1）确定正交消失点

在球在单位视球上的投影小圆上取六组互异的两个点和，其中下标，用和分别表示和关于单位视球的球心的对称点，即对拓点，则点和在关于单位视球的球心的对称圆，即对拓圆上；线段和线段为视球的两条直径，它们的交点为视球的中心；由圆的性质，四个点依次连接构成一个矩形，记平面为矩形所在平面，直线为两点所在的直线，直线为两点所在的直线，直线为两点所在的直线，直线为两点所在的直线；，于是和具有相同的无穷远点，这里用表示上的无穷远点；，于是和具有相同的无穷远点，这里用表示上的无穷远点；通过其中，确定平面上的两个正交方向无穷远点；用分别表示的像，则和为两对对拓像点；记过两点的直线为，过两点的直线为，过两点的直线为，过两点的直线为，直线交点记为，直线交点记为，则根据射影变换的性质，直线为直线的像，下标；点为的像，下标；于是通过直线和确定平面的像上的一组正交消失点。