CN106651956A - 利用单个球及平行圆性质标定拋物折反射摄像机的方法 - Google Patents

Abstract

一种利用单个球及平行圆性质标定拋物折反射摄像机的方法。在抛物折反射系统下，球第一次投影到单位视球上形成两个平行小圆。空间两个平行圆有两对共轭的虚交点，其中与空间圆所在的平面的无穷远点共线的两个共轭虚交点为圆环点。在像平面上根据圆环点的像与影消点的共线性获得圆环点的像，三幅图像提供三组圆环点的像。最后，利用圆环点的像对绝对二次曲线像的约束求解摄像机内参数。具体的步骤包括：拟合出镜面轮廓投影方程及靶标投影方程，估计球像的对拓球像，确定圆环点的像，求解抛物折反射摄像机内参数。

Description

利用单个球及平行圆性质标定拋物折反射摄像机的方法

技术领域

本发明属于计算机视觉领域，涉及一种利用空间中一个球及平行圆的性质求解抛物折反射摄像机内参数的方法。

背景技术

计算机视觉的中心任务就是对图像进行理解，而它的最终目标是使计算机具有通过二维图像认知三维环境信息的能力。这种能力将不仅使机器能感知包括形状、姿态、运动等在内的三维环境中物体的几何信息，而且能对它们进行描述、存储、识别与理解。摄像机标定就是确定从三维空间点到它的二维图像点之间的映射关系，它是许多计算机视觉应用必不可少的步骤。为了确定这一映射过程，需要建立摄像机的几何成像模型，几何模型的参数称为摄像机参数，摄像机参数可分为内参数和外参数两类。内参数描述成像系统的成像几何特性，外参数描述成像系统关于世界坐标系的方向和位置。摄像机标定可分为传统标定、自标定和基于几何实体的标定。无论哪种标定方法，都旨在建立二维图像与摄像机内参数之间的约束关系，特别是线性约束关系，这是目前摄像机标定所追求的目标，也是目前计算机视觉领域研究的热点之一。

抛物折反射摄像机由一个抛物镜面和一个正交摄像机组成，它的成像视野大，是全景视觉领域研究的热点之一。文献“Catadioptric self-calibration”，（Kang S. B.,Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,vol. 1, pp. 201-207, 2000.）提出了一种折反射摄像机自标定方法，这类方法的优点是不需要使用标定块，缺点是必须获得图像之间的对应点。而在计算机视觉中，实现一个十分有效的寻找对应点的方法是很困难的。文献“Geometric properties of centralcatadioptric line images and their application in calibration”,（Barreto J.P., Araujo H., IEEE Transactions on Pattern Analysis and MachineIntelligence, vol. 27, no.8, pp. 1327-1333, 2005）研究了中心折反射摄像机下直线的像的几何性质，并将这些性质应用于中心折反射摄像机的标定。文献“A new linearalgorithm for calibrating central catadioptric cameras”,（Wu F., Duan F., HuZ. et al., Pattern Recognition, vol. 41, no. 10, pp. 3166-3172, 2008）介绍了对拓点和对拓像点，导出了空间中的一个点在视球上的投影和它的折反射图像点之间的关系，使用这个关系建立了中心折反射摄像机内参数的线性约束，通过此线性约束即可获得中心折反射摄像机内参数。文献“Calibration of central catadioptric cameras usinga DLT-like approach”,（Puig L., Bastanlar Y., Sturm P., et al.InternationalJournal of Computer Vision, vol. 93, no. 1, pp. 101-114, 2011）提出了一种基于三维控制点的标定方法，通过使用Veronese映射对三维点和其图像点的坐标进行了扩展，在扩展坐标的基础上基于DLT(直接线性变换)——相似方法实现了中心折反射摄像机的标定，但是这类方法需要已知三维点的位置，并且容易从图像中提取其图像点。

球作为一种常见的几何体，其最重要的优点在于无自身遮挡，从任何一个方向看空间中一个球的封闭轮廓线总是一个圆，并且它的投影轮廓线可全部提取。由于球具有丰富的视觉几何特性，因此利用球进行摄像机标定已成为近年来的一个热点。文献“Catadioptric camera calibration using geometric invariants”，（Ying X., Hu Z.,IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 26,no.10, pp. 1260-1271, 2004）首次提出了利用球标定中心折反射摄像机。他们证明了球在中心折反射摄像机的单位球投影模型下的像为椭圆，并且在非退化情况下一个球的投影二次曲线提供两个不变量。为了降低求解的复杂度，他们提出了一种分步标定方法，该方法至少需要4个球的投影才能完成摄像机的标定。但是该文献提出的标定方法是非线性的，计算的复杂度较高，并且该标定方法只能标定抛物折反射摄像机的部分内参数。文献“Identical projective geometric properties of central catadioptric lineimages and sphere images with applications to calibration”，（Ying X., Zha H.,International Journal of Computer Vision, vol.78, no.1, pp. 89-105, 2008）介绍了修正绝对二次曲线的像（MIAC）在中心折反射摄像机标定中的作用。他们通过研究球在中心折反射摄像机下的像与MIAC的几何与代数关系提出了两种线性标定算法。它们得出的结论对于对偶形式也是成立的。但是这篇文献中的理论和标定方法对于抛物折反射摄像机的情况是退化的。文献“A calibration method for paracatadioptric camera fromsphere images”，（Duan H., Wu Y., Pattern Recognition Letters, vol.33, no.6,pp. 677-684, 2012）基于圆环点理论提出了一种利用对拓球像标定抛物折反射摄像机的线性方法。但是这篇文献中关于圆环点的像的选取比较复杂。

发明内容

本发明提供了一种制作简单，适用广泛，稳定性好的利用靶标求解抛物折反射摄像机内参数的方法，该靶标由空间中一个球构成。在求解抛物折反射摄像机内参数的过程中，需使用抛物折反射摄像机从不同的位置拍摄靶标的3幅图像线性求解出抛物折反射摄像机的5个内参数。

本发明采用如下技术方案：

用抛物折反射摄像机从不同的位置拍摄3幅含有一个球的图像。本发明是利用空间中一个球作为靶标用于求解抛物折反射摄像机内参数的方法，其特征在于仅利用球元素。首先，分别从3幅图像中提取镜面轮廓投影的边缘点和靶标图像边缘点，使用最小二乘法拟合获得镜面轮廓投影和球像的投影。其次，根据像点和其对拓像点的关系获得对拓像点，从而拟合出球像的对拓球像。在球像上取互异的两个点，并求出两个点的对拓像点。由对拓像点的定义和圆的性质，上述两组对拓像点提供一个影消点。在抛物折反射系统下，球第一次投影到单位视球上形成两个平行小圆。空间两个平行圆有两对共轭的虚交点，其中与空间圆所在的平面的无穷远点共线的两个共轭虚交点为圆环点。在像平面上根据圆环点的像与影消点的共线性获得圆环点的像，三幅图像提供三组圆环点的像。最后，利用圆环点的像对绝对二次曲线像的约束求解摄像机内参数。具体的步骤包括：拟合出镜面轮廓投影方程及靶标投影方程，估计球像的对拓球像，确定圆环点的像，求解抛物折反射摄像机内参数。

1．拟合镜面轮廓投影方程及靶标投影方程

利用Matlab程序中的Edge函数提取镜面轮廓投影边缘点和靶标图像边缘点的像素坐标，并用最小二乘法拟合获得镜面轮廓投影方程和球像的方程。

2．估计球像的对拓球像

空间中的球，在拋物折反射摄像机的单位球模型下的投影分为两步。第一步，将球投影为以为中心的单位视球上的平行小圆和（表示拍摄的第幅图像），称为的对拓圆，并且以单位视球中心对称于，单位视球直径的两个端点互为对拓。第二步，以单位视球表面上的一点为投影中心，这里可看作一个摄像机的光心，将平行小圆和分别投影为抛物折反射图像平面上的二次曲线。其中称可见的二次曲线为球的像，不可见的二次曲线为球像的对拓球像。对应于单位视球上的称为对拓圆，抛物折反射图像平面与直线垂直。对应于单位视球直径的一个端点，该端点在抛物折反射图像平面不可见称为对拓像点，则单位视球直径的这个端点称为对拓点。令以为光心的摄像机的内参数矩阵为，其中是纵横比，是有效焦距，是倾斜因子，是摄像机主点的齐次坐标矩阵形式，，，，，为抛物折反射摄像机的5个内参数。利用Matlab中的函数提取第一幅图像中的镜面轮廓投影边缘点和3幅图像靶标图像边缘点的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程。这里用表示第一幅图像镜面轮廓投影曲线的系数矩阵，分别表示第n幅图像中的球像的系数矩阵。本文为了简化表述，用相同字母表示曲线和它的系数矩阵。通过可获得摄像机内参数矩阵的一个初始矩阵值，从而得到绝对二次曲线的像的初始值，这里:，，其中，是纵横比的初始值，是有效焦距的初始值，是倾斜因子的初始值，是摄像机主点的初始齐次坐标矩阵表示，记。取上的一组点，则与它相对应的一组对拓像点可由关系确定，用齐次坐标矩阵表示。根据对拓像点的定义，点在球像的对拓球像上，因此可用最小二乘法拟合得到对拓球像的方程。

3. 确定圆环点的像

在球在单位视球上的投影小圆上取互异的两个点和，用和分别表示和关于单位视球的中心的对称点，即对拓点，则点和在的关于单位视球的中心对称的圆，即对拓圆上。为两点所在的直线，为两点所在的直线。根据对拓点的定义，，于是和具有相同的无穷远点，这里用表示上的无穷远点。小圆和为两个平行圆，它们相交于两对共轭的虚交点。因为平面上的每个圆都经过圆环点，所以圆与无穷远直线的交点为两个圆环点，圆环点是两个共轭虚点和，即复点，其次坐标表示。因为平行的圆所在的平行平面相交于相同的无穷远直线，因此平行的圆都交于圆环点，所以圆环点为平行圆和共轭交点。空间圆与其所在平面的无穷远直线均交于圆环点，即圆环点与该平面无穷远点是共线的，故无穷远点与圆环点是共线的。在像平面上，用分别表示的像，则为两对对拓像点。记过两点的直线为，过两点的直线为。则根据射影变换的性质，直线为直线的像，于是可通过直线确定所在平面上的一个影消点，即的像。用分别表示的像，有两对共轭的虚交点，即和的四个虚交点的像，其中一组必为圆环点的像。透视变换保持点线的结合性，故在像平面上圆环点的像与影消点也是共线的。根据共线性的判断，在四个虚交点中可获得圆环点的像。对于小圆所在平面上的圆环点的像可获得。下标表示对应于圆环点。

4. 求解抛物折反射摄像机内参数

由圆环点的像(n=1,2,3)对绝对二次曲线的像的线性约束获得，即：，其中分别表示复数的实部和虚部。最后，对进行Cholesky分解再求逆得到内参数矩阵，即获得摄像机的内参数。

本发明优点：

（1）该靶标制作简单，只需将一个球固定在一个支架上。

（2）对该靶标的物理尺度没有要求，无需知道球心在世界坐标系下的坐标。

（3）该靶标的图像边界点几乎可以全部提取，这样可以提高曲线拟合的精确度，从而提高标定精度。

附图说明

图1是用于求解抛物折反射摄像机内参数的靶标在单位视球上的示意图。

图2是靶标在抛物折反射图像平面上的投影。

具体实施方式

本发明提供了一种利用靶标求解抛物折反射摄像机内参数的方法，靶标是由空间中的一个球构成，如图1。用此靶标完成抛物折反射摄像机内参数的求解需要经过以下步骤：从折反射图像中提取镜面轮廓投影边缘点和靶标图像边缘点，使用最小二乘法拟合获得镜面轮廓投影和球的像。根据像点和其对拓像点的关系获得对拓像点，从而拟合出球像的对拓球像。在球像上取互异的两个点，并求得对拓像点，由对拓像点的定义，上述两对对拓像点提供一个影消点。球像与对拓球像有两对共轭的虚交点，其中一组是圆环点的像，根据圆环点的像与影消点的共线性获得圆环点的像。从三个不同的方位对球拍摄图片，得到三组圆环点的像，利用圆环点的像对绝对二次曲线的像的约束求解摄像机内参数。利用本发明中的方法对用于实验的拋物折反射摄像机进行标定，具体步骤如下：

1．拟合镜面轮廓投影方程及靶标投影方程

利用Matlab程序中的Edge函数提取镜面轮廓投影边缘点和靶标图像边缘点的像素坐标，并用最小二乘法拟合获得镜面轮廓投影方程和球像的方程。

2．估计球像的对拓球像

空间中的球（如图1），在拋物折反射摄像机的单位球模型下的投影分为两步。第一步，将球投影为以中心的单位视球上的平行小圆，称为的对拓圆，(如图1所示，为例)。第二步，通过摄像机的光心将平行小圆分别投影为抛物折反射图像平面上的二次曲线，这里称可见的二次曲线为球的像，不可见的二次曲线为球像的对拓球像（如图1所示，为例）。利用Matlab中的Edge函数分别提取3幅图像中的靶标图像边缘点和第1幅图像的镜面轮廓投影的像素坐标，通过最小二乘法拟合得到相应的二次曲线方程，这里用表示第1幅图像镜面轮廓投影曲线的系数矩阵，表示第幅图像中的球像的系数矩阵。通过可获得摄像机内参数矩阵的一个初始矩阵值，具体如公式（1）：

，（1）

这里，表示矩阵的第行第列元素，，为摄像机视场角的一半，为抛物面镜轮廓投影椭圆的长半轴长。在获得的基础上可得到的初始值，如公式（2）：

。（2）

取上的一组点，则与它相对应的一组对拓像点可由关系式（3）确定：

。（3）

根据对拓像点的定义，点在球像的对拓球像上，因此可用最小二乘法拟合得到对拓球像的方程。

3. 确定圆环点的像

在球的投影小圆上取互异的两个点和，用和分别表示和的对拓点（如图1所示），则点和在的对拓圆上。为两点所在的直线，为两点所在的直线，根据对拓点的定义，，于是和具有相同的无穷远点，这里用表示上的无穷远点。小圆和为两个平行圆，有两对共轭的虚交点。因为圆都交无穷远直线为圆环点，所以圆环点为平行圆和共轭交点。空间圆与其所在平面的无穷远直线均交于圆环点，即圆环点与该平面无穷远点是共线的，故无穷远点与圆环点是共线的。如图2所示，在像平面上，用分别表的像，则为两对对拓像点。记过两点的直线为，过两点的直线为，设的齐次坐标矩阵分别为和，齐次线坐标矩阵为, 则：

，（4）

， （5）

其中是非零常数因子，下标表示和-的简写，表示可见，-表示不可见，即对拓含义。则根据射影变换的性质，直线为直线的像，于是可通过直线确定小圆所在平面上的一个影消点，通过联立和的方程可得：

， （6）

其中为抛物折反射图像平面上的像素齐次坐标矩阵。

设的齐次坐标矩阵为，则是方程组（6）的解。用分别表示的像，有两对共轭的虚交点，用Solve函数获得虚交点，其中一组必为圆环点的像。透视变换保持点线的结合性，故在像平面上圆环点的像与影消点也是共线的。三点共线的充要条件是点的齐次坐标构成矩阵的行列式为零。故在两组共轭虚交点中满足等式（7）的点组为圆环点的像。

， （7）

其中表示空间点的齐次坐标矩阵。分别把两组共轭虚交点同带入（7）进行检验，满足条件的点即为圆环点的像。对于小圆所在平面上的圆环点的像和用同样的方法获得。

4. 求解抛物折反射摄像机内参数

由圆环点的像对绝对二次曲线的像的线性约束有：

， （8）

其中分别表示复数的实部和虚部。可用最小二乘法优化求解（12）获得，最后对=进行Cholesky分解得再求逆便得到内参数矩阵，即获得摄像机5个内参数。

实施例

本发明提出了一种利用空间的一个球作为靶标线性确定抛物折反射摄像机内参数的方法。本发明采用的实验模板结构示意图如图1所示。下面以一实例对本发明的实施方案做出更为详细的描述。

基于空间中球的抛物折反射摄像机标定采用的实验模板是空间中的一个球，如图1所示，球为。利用本发明中的方法对用于实验的抛物折反射摄像机进行标定，具体步骤如下：

1．拟合图像边界及靶标曲线方程

本发明采用的图像大小为。用抛物折反射摄像机拍摄靶标的3幅实验图像，读入图像，利用Matlab中的Edge函数提取第1幅图像镜面轮廓投影边缘点和3幅图像靶标图像边缘点的像素坐标，并用最小二乘法拟合获得镜面轮廓投影方程和球像的方程。第1幅图像镜面轮廓投影方程的系数矩阵为，3幅球像的方程的系数矩阵分别为，结果如下：

， （9）

， （10）

， （11）

。（12）

2．估计双球像的对拓球像

将（9）代入（1）和（2）可得，结果如下：

。 （13）

先分别在球像、和上取至少5个互异的点，再将所取的点和（13）分别带入（3）得对拓球像上点的坐标，通过最小二乘法拟合获得对拓球像、和的估计，结果如下：

，（14）

，（15）

。（16）

3．确定圆环点的像

在球像上任取互异的两个点，记为，下标的第一个1代表第1幅图像，它们的齐次坐标矩阵分别为：

, （17）

； （18）

根据对拓像点的性质，可获得与点对应的对拓像点，结果如下：

， （19）

。 （20）

将（17）和（18）带入（4）可得过点的直线的齐次线坐标矩阵，结果如下：

， （21）

将（19）和（20）带入（5）可得过点的直线的齐次线坐标矩阵，结果如下：

； （22）

将（21）和（22）代入（6）可得影消点，结果如下：

； （23）

用Solve函数求解和的交点，把求得的两对共轭的虚交点带入（7）验证求得所在平面上圆环点的像，结果如下：

，（24）

；（25）

对于小圆所在平面上的圆环点的像用类似方法带入（7）验证获得，结果如下：

， （26）

； （27）

对于小圆所在平面上的圆环点的像可用类似方法带入（7）验证获得，结果如下：

， （28）

。 （29）

4. 求解抛物折反射摄像机内参数

将（24）、（26）和（28）带入（8）得到中元素的线性方程组，使用最小二乘法求解该线性方程组得到的系数矩阵。结果如下：

。 （30）

最后，对（30）中的进行Cholesky分解再求逆便可获得，有

， （31）

其中纵横比（表示矩阵的第1行第1列的元素，表示矩阵的第2行第2列的元素），故抛物折反射摄像机的5个内参数分别为：，，，，。

Claims (1)

1.一种利用空间中的一个球及平行圆的性质标定抛物折反射摄像机内参数的方法，其特征在于由空间中的一个球作为靶标；在抛物折反射系统下，空间中的球在单位视球上的投影小圆和投影小圆的对拓圆是平行圆，有四个交点；利用球在抛物折反射摄像机下的成像特征及圆环点与无穷远点的共线性求解抛物折反射摄像机内参数；所述方法具体步骤包括：首先，用抛物折反射摄像机从不同的位置拍摄3幅含有球的图像，提取镜面轮廓投影的边缘点和靶标图像边缘点，使用最小二乘法拟合获得镜面轮廓投影和球的图像；其次，根据球的像点和其对拓像点的关系获得对拓像点，从而估计球像的对拓球像；在球像上取互异的两个点，并求得对拓像点，由对拓像点的定义，球像上的两个点所在的直线与对拓像点所在的直线交于影消点；在像平面上求解球像与对拓球像的两组共轭虚交点，再根据圆环点的像与影消点的共线性线性获得圆环点的像；最后，利用圆环点的像对绝对二次曲线像的约束求解摄像机内参数；

1）确定圆环点的像

在球在单位视球上的投影小圆上取互异的两个点和，用和分别表示和关于单位视球的中心的对称点，即对拓点，则点和在的关于单位视球的中心对称的圆，即对拓圆上；为两点所在的直线，为两点所在的直线；根据对拓点的定义，，于是和具有相同的无穷远点，这里用表示上的无穷远点；小圆和为两个平行圆，它们相交于两对共轭的虚交点；因为平面上的每个圆都经过圆环点，所以圆与无穷远直线的交点为两个圆环点，圆环点是两个共轭虚点和，即复点，用其次坐标表示；因为平行的圆所在的平行平面相交于相同的无穷远直线，因此平行的圆都交于圆环点，所以圆环点为平行圆和共轭交点；空间圆与其所在平面的无穷远直线均交于圆环点，即圆环点与该平面无穷远点是共线的，故无穷远点与圆环点是共线的；在像平面上，用分别表示的像，则和为两对对拓像点；记过两点的直线为，过两点的直线为；则根据射影变换的性质，直线为直线的像，于是通过直线确定所在平面上的一个影消点，即的像；用分别表示的像，有两对共轭的虚交点，即和的四个虚交点的像，其中一组必为圆环点的像；透视变换保持点线的结合性，故在像平面上圆环点的像与影消点也是共线的；根据共线性的判断，在四个虚交点中获得圆环点的像；对于小圆所在平面上的圆环点的像和获得；下标表示对应于圆环点。