CN104835144A - 利用一个球的球心的像及正交性求解摄像机内参数 - Google Patents

Abstract

本发明涉及利用一个球的球心的像及正交性求解摄像机内参数的方法。首先对标定的球从不同方向拍摄三幅图像并读入图像，从三幅图像上提取三条二次曲线的坐标。根据摄像机下球与球心的成像过程求解得到三个球心的像坐标，再根据球心的投影计算正交方向的消失点，最后利用正交方向消失点求解绝对二次曲线的像，根据二次曲线的像对摄像机内参数的约束矩阵获得摄像机内参数。利用本发明中的球这个靶标可以实现全自动标定，减少了标定过程中由测量引起的误差。由于二次曲线是一种更简洁更全局化的基元以及球的投影轮廓线在图像中可以全部提取，在摄像机标定过程中提高了标定精度。

Description

利用一个球的球心的像及正交性求解摄像机内参数

技术领域

本发明属于计算机研究领域，涉及一种用于求解像机内参数的方法。利用空间中圆球为标定模板，根据球心的投影，求得正交方向的消失点，线性求解摄像机内参数。

背景技术

计算机视觉的基本任务之一，就是从摄像机获得的二维图像信息出发恢复物体在三维空间中的几何信息，从而识别和重建三维空间中物体的几何形状。在此过程中必须确定空间物体点的三维几何位置与其图像中的对应点之间的相互关系，而这种关系又由摄像机成像的几何模型决定的，这些几何模型的参数就是摄像机参数。在大多数条件下，这些参数都是通过实验得到的，这就是摄像机标定。它一般分为传统标定和自标定两种方法，无论哪种标定方法，标定物体都是采用一些特殊的几何模型，例如：平面正方形、三角形、圆、空间立方体及圆柱等等。如何建立这些几何模型与摄像机参数之间的关系尤其是某种线性的关系，是目前摄像机标定所追求的目标，也是目前计算机视觉领域研究的热点之一。

传统的摄像机标定方法虽然可以获得较高的精度，但是标定块制作困难，不便于操作。针对这一问题文献“A flexible new technique for camera calibration”, （Zhengyou　Zhang , IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, no. 11, pp. 1330-1334, 2000）提出了用平面模板代替传统标定块的方法，这种方法简单方便，成本低，并且能获得较高的精度，但需要精确定位模板上点阵的物理坐标。文献“Planar conic based camera calibration”, (Changjiang Yang, Fengmei Sun , Zhanyi Hu, In Proceedings of International Conference on Pattern Recognition, vol.1, pp. 555-558, 2000)将这一方法作了推广，用图像和模板之间的二次曲线对应来标定摄像机，而不是利用点与点之间的对应。由于二次曲线是一种更简洁更全局化的基元，因而可以进一步提高方法的稳定性。于是用曲线解决标定问题被广泛研究。文献“A new easy camera calibration technique based on circular points”, （Xiaoqiao　Meng, Zhanyi Hu，Pattern Recognition, vol. 36, no. 5, pp. 115-1164, 2003）提出了用一个圆和通过圆心的若干条直线构成的标定模板，利用圆环点来求解摄像机内参数的方法，该方法首次将射影几何中的圆环点融入到摄像机标定中，于是圆环点成了摄像机自标定方法的理论基础（Hartley Richard, Zisserman Andrew,“Multiple view geometry in computer vision”, Cambridge University Press, Cambridge, 2000）。

球作为一种常见的几何体，其最重要的优点在于无自身遮挡，从任何一个方向看空间中一个球的封闭轮廓线总是一个圆，并且它的投影轮廓线可全部提取。由于球具有丰富的视觉几何特性，因此利用球进行摄像机标定，即摄像机内参数的求解已成为近年来研究的一个热点。文献“Camera calibration :a quick and easy way to determine the scale factor”，(M.A.Penna. IEEE Trans on Pattern Analysis and Machine Intelligence, vol.13, no.12, pp.1240-1245, Dec.1991)首次提出利用球来计算两幅图像纵横轴的比例因子，随后文献“Camera calibration from spheres images” ，( D.Daucher, M.Dhome, and J.Lapreste, Proc.European Conf.Computer Vision, pp.449-454, 1994)使用球介绍了多步非线性方法来估计摄像机四参数,然而，这种方法误差比较大。文献“Camera calibration by a single image of balls:from conics to the absolute conic”，（H.Teramoto and G.Xu,  Proc. Fifth Asian Conf. Computer , pp.499-506, 2002）提出利用非线性优化算法把球图像与绝对二次曲线投影的代数关系结合起来进行摄像机标定。在对偶空间中，文献Camera calibration using spheres:a semi-definite programming approach”，（M.Agrawal and L.S.Davis, Proc. IEEE Int’l Conf.Computer Vision, pp.782-789, 2003） 推导出类似的结果，即球图像的对偶形式与绝对二次曲线投影的对偶之间的代数关系。文献“Camera calibration using spheres: a dual-space approach”，（Motilal Agrawal and LarryS. Davis ，ICCV, pp.782-789, 2003）使用球计算摄像机的内外参数。文献“Geometric interpretations of the relation between the image of the absolute conic and sphere images ”，（Ying Xianghua，Zha Hongbin，IEEE Trans on Pattern Analysis and Machine Intelligence, vol.28, no.12, pp.2031-20362006）利用double-contact理论求解摄像机内参数。 文献“A stratified approach for camera calibration using spheres”(IEEE Trans. Images Processing ,Wong K. K., Zhang G., vol.20, no.2, pp.305-316, 2011)利用圆球球心以及球面的切线旋转形成圆锥包络出发，求两幅图像的基础矩阵。文献 “Camera calibration from images of spheres”, （Zhang H., Wong K., Zhang G. Q..IEEE Trans on Pattern Analysis and Machine Intelligence, vol.29, no.3, pp.499-503，2007）利用球图像的对偶形式与绝对二次曲线投影的对偶之间的代数关系，线性求解摄像机内参数。文献“秩1约束下基于圆球的相机标定算法”,（贾静,吴成柯.西安电子科技大学学报（自然科学版）,2013,40（2））提出利用秩1约束下基于圆球的相机标定算法，这解释了约束的几何意义，将平面与圆球结合起来，这也是一个线性算法，但计算过程中需要优化，计算量较大。

发明内容

本发明提供了一种制作简单，适用广泛，稳定性好的利用球靶标求解摄像机内参数的方法，该靶标由空间中的一个球构成。在求解摄像机内参数的过程中，需使用摄像机拍摄3幅图像便可求解出摄像机的5个内参数。

本发明采用如下技术方案：

本发明是利用一个球的球心的像及正交性求解摄像机内参数的方法，其特征在于靶标是三维空间中的一个球，所述方法的步骤包括：首先用摄像机从不同的方向拍摄靶标的三幅图像并读入图像，从3幅图像中检测靶标边缘点，拟合图像平面上的投影曲线，其次求解球心的投影，再根据球心的投影计算正交方向的消失点，最后利用正交方向消失点对绝对二次曲线像的约束求解摄像机内参数。方法的具体步骤如下：

 1.拟合图像平面上的投影曲线的方程

用摄像机从不同的方向拍摄靶标的三幅图像并读入图像，利用Matlab程序中的函数Edge提取出图像特征点的坐标，并用最小二乘算法拟合出图像中的曲线，得到图像上三条曲线方程。

2.计算球心的像坐标

三维空间中的一个球在针孔摄像机下投影模型为过摄像机光心的正圆锥，正圆锥与空间球的截面为                                                ，截出球体的外轮廓。在摄像机成像平面上，的投影为二次曲线。正圆锥的顶点位于摄像机的光心，因此，在摄像机坐标系和世界坐标系之间只存在旋转，即平移向量。平面上的一点齐次坐标投影到成像平面上，即图像平面，则其像点齐次坐标 为到平面的距离，为摄像机内参数矩阵，为旋转矩阵。平面到平面的单应矩阵，在单应矩阵的变换下，平面上的在图像平面上的投影为其中为图像的系数矩阵，下标表示图像，表示相差一个比例因子，因此存在非零比例因子满足。在向量空间上全体线性函数的集合构成的对偶空间中，的对偶形式为，记为，则 其中是球心的像的齐次坐标。因此，对每幅球图像矩阵系数存在一个比例因子满足：，为绝对二次曲线的像的系数矩阵，为的对偶形式，为第几幅图像。使用摄像机拍摄3幅图像，这里用表示3条二次曲线。已知球在三幅图像上的二次曲线，直线是通过两个球心像的直线方程向量，直线是通过两个球心像的直线方程的向量，直线是通过两个球心像的直线方程的向量。根据公式得到，为单位矩阵。由公式得到，由于最大秩为2，所以是和的广义特征值，即为的特征值，同理可以得到、分别为、的特征值。若令，由于、有三个特征值，则、分别有三个值，再由的特征值可以确定、的值。而可由的特征值对应的特征向量得到， 同理可得到直线，。从而就可以得到球心的像的齐次坐标为：,，。

3.计算正交方向的消失点的坐标

在球心的像齐次坐标已知的情况下，在平面上的上取3个点，投影到图像平面上，得到在第一幅图像上的投影曲线的3个投影点齐次坐标为。过点的直线方程向量记为, 过点的直线方程向量记为, 过点的直线方程向量记为。把的直线方程分别与二次曲线的方程联立求解，就得到投影点关于点在曲线上的对应点齐次坐标，记为。由于球在投影过程中形成一个正圆锥，的底面是一个圆，由几何知识知，直径所对的圆周角为，每对直径就可以确定一组垂直方向。则过点的直径和过点直径可以确定一组正交方向的消失点 。同理过点直径和过点直径可以确定一组正交方向消失点和； 过点直径和过点的直径可以确定一组正交方向消失点和。根据上找到的同样3个点分别在第二、三幅图像上的投影曲线上对应的3个投影点齐次坐标，又可分别获得三组正交方向的消失点。

4.求解摄像机内参数

    使用摄像机拍摄3幅图像，由正交方向的消失点对绝对二次曲线的像的约束其中，，， ，和表示对应的正交方向的消失点的个数。最小二乘法优化求解，对 进行Cholesky分解再求逆便可获得摄像机的5个内参数矩阵，即矩阵，为图像的畸变因子，为图像坐标系中轴轴的尺度因子，是主点坐标，即图像中心坐标，为摄像机的5个内参数。

本发明优点：

1.该靶标制作简单，由空间中一个圆球构成。

2.对该靶标的物理尺度没有要求，无需知道球的位置及各点的世界坐标。

3.该靶标的图像边界点几乎可以全部提取，这样可以提高曲线拟合的精确度，从而提高标定精度。

附图说明

图1是靶标投影模型。

图2是靶标在像平面上的投影。

图3是正交消失点的求解原理图。

具体实施方式

一种以一个球的球心的像及正交性求解摄像机内参数的方法，靶标是由空间中一个球构成的，利用该靶标完成摄像机内参数的求解方法需要经过以下步骤：用摄像机从不同的方位拍摄3幅图像，从3幅图像上提取靶标的像点，拟合靶标的曲线方程并求解球心的像，根据球心的像确定正交方向的消失点，利用正交方向消失点对绝对二次曲线的像的约束求解摄像机内参数。利用本发明中的方法对摄像机进行标定，具体步骤如下：

1.拟合图像平面上的投影曲线的方程

用摄像机从不同的方位拍摄3幅图像，利用Matlab程序中的Edge函数提取出图像特征点的坐标，并用最小二乘算法拟合出图像中的曲线，得到图像上三条曲线方程的系数矩阵。

2.计算球心的像坐标

如图1所示，空间中的一个球，球所在的坐标系为，为球体的一个外轮廓，根据空间中的一个球在针孔摄像机下投影模型，摄像机坐标系为，在像平面上，的投影为二次曲线。正圆锥的顶点位于摄像机的光心，因此，在摄像机坐标系和世界坐标系之间只存在旋转，即平移向量。平面上的点投影到图像平面上，则其像点，为到平面的距离，为摄像机内参数矩阵，为旋转矩阵。定义平面到平面的单应矩阵。在单应矩阵的关系下，平面上的在图像平面上的投影为其中为图像的系数矩阵。因此存在非零比例因子满足。在向量空间上全体线性函数的集合构成的对偶空间中，的对偶形式为，记为，则 其中是球心的像。因此，对每幅球图像存在一个比例因子满足：，为绝对二次曲线的像的矩阵表示。使用摄像机拍摄3幅图像，这里用表示3条二次曲线，如图2所示。已知球的三幅图像中的，直线是通过两个球心像的直线，直线是通过两个球心像的直线，直线是通过两个球心像的直线，如图2所示。根据公式得到。由公式得到，由于最大秩为2，所以是和的广义特征值，即为的特征值，同理可以得到、分别为、的特征值，若令，由于、有三个特征值，则、分别有三个值，再由的特征值可以确定、的值。可由的特征值对应的特征向量得到，同理可得到直线，，从而就可以得到球心的像的齐次坐标为：,，。

3.计算正交方向的消失点的坐标

在球心的像齐次坐标已知的情况下，在平面上的找到3个点，投影到图像平面上，对应得到在第一幅图像上的投影曲线的3个投影点齐次坐标为，如图3所示。过点的直线方程向量记为, 过点的直线方程向量记为, 过点的的直线方程向量记为。把的直线方程分别与二次曲线的方程联立求解，就得到投影点关于点在曲线上的对应点齐次坐标，记为，如图3所示。由于球在投影过程中形成一个正圆锥，的底面是一个圆，由几何知识知，直径所对的圆周角为，每对直径就可以确定一组垂直方向。则过点的直径和过点直径可以确定一组正交方向的消失点 ，如图3所示。同理过点直径和过点直径可以确定一组正交方向消失点和； 过点直径和过点的直径可以确定一组正交方向消失点和。根据上找到的同样3个点分别在第二、三幅图像上的投影曲线上对应的3个投影点齐次坐标，又可分别获得三组正交方向的消失点。

4.求解摄像机内参数

使用摄像机拍摄3幅图像，由正交方向的消失点对绝对二次曲线的像的约束，其中，，， ，求解，并求解出射摄像机的5个内参数，即矩阵，为图像的畸变因子，为图像坐标系中轴轴的尺度因子，是主点坐标，即图像中心，为摄像机的5个内参数。

实施例

本发明提出了以一个球的球心的像及正交性求解摄像机内参数的方法。本发明采用的实施坐标系结构示意图如图1所示。下面以一实例对本发明的实施方案做出更为详细的描述。

基于空间中一个圆球，利用球的球心及正交性求解摄像机内参数的标定方法，采用的实施模板是空间中的一个球，如图1所示。利用本发明中的方法对用于实验的摄像机进行标定，具体步骤如下：

1.拟合图像中直线投影的曲线方程

 本发明采用的图像分辨率为个像素，用针孔摄像机拍摄3幅实验图片，读入图像，利用Matlab中的Edge函数提取出图像特征点的坐标，并用最小二乘算法拟合图像中的各条曲线，获取曲线方程。

经过以上方法计算图像上的曲线，其系数矩阵为：

；

；

。

2.计算球心的像坐标

分别计算、、矩阵的特征值和特征向量。的矩阵的三个特征值为：

，，；

矩阵的三个特征值所对应的特征向量分别为：

，

，

；

矩阵的三个特征值为：

，，；

矩阵的三个特征值所对应的特征向量分别为：

，

，

；

矩阵的三个特征值为：

，，；

矩阵的三个特征值所对应的特征向量分别为:

,

,

。

由于公式中的最大秩为2，所以是和的广义特征值，即为的特征值，同理可以得到、分别为、的特征值。若令，由于、有三个特征值，则、分别有三个值，再由的特征值可以确定、的值。把、的三个值分别带入中，发现只有当，，即，分别取和的第三个特征值时，得到的,才与的其中一个特征值相等，即与其第二个特征值相等。所以可以确定、、的特征值分别为、、。又因为可由的特征值对应的特征向量得到，可由的特征值对应的特征向量得到，可由的特征值对应的特征向量得到，所以、分别为、的第三个特征值对应的特征向量，即向量、，为的第二个特征值对应的特征向量，即向量：

,

,

;

根据计算得到球心的像的齐次坐标：

,

,

。

3.计算正交方向的消失点的坐标

在球心的像已求得的情况下，在平面上的找到3个点，投影到图像平面上，得到在第一幅图像上的投影曲线的3个投影点齐次坐标为：

，

，

；

过点的直线方程向量记为, 过点的直线方程向量记为, 过点的直线方程向量记为：

，

，

；

把的直线方程分别与一条二次曲线的方程联立求解，就得到投影点关于点在曲线上的对应点齐次坐标，记为：

根据公式 ， ，，和得到第一幅图像上的3组正交方向的消失点矩阵表示：

，；

，；

，。

重复步骤二和步骤三可以分别得到第二幅和第三幅图像上的3组正交方向的消失点。

第二幅图像上的3组正交方向的消失点的矩阵表示：

，；

，；

，。

第三幅图像上的3组正交方向的消失点的矩阵表示：

，；

，；

，。

4.求解摄像机内参数

    在摄像机拍摄3幅图像中，每幅图片取2组正交方向的消失点，根据正交方向上的消失点对绝对二次曲线的像的约束其中，表示第几幅图像，表示第几个消失点，表示对应的正交消失点。求得绝对二次曲线的像的系数矩阵为：

；

根据可解出抛物折反射摄像机的内参数矩阵为：

，

则五个内参数(单位:像素)分别为：

。

Claims (1)

1.利用一个球的球心的像及正交性求解摄像机内参数的方法，其特征在于此靶标是三维空间中的一个球构成，所述方法的具体步骤包括：首先用摄像机从不同的方向拍摄靶标的三幅图像并读入图像，从三幅图像上提取靶标成像点，拟合曲线方程，根据摄像机下空间点的成像过程求解得到3个球心的投影坐标，再根据球心的投影坐标计算正交方向的消失点，最后利用正交方向消失点对绝对二次曲线像的约束求解摄像机内参数；

(1)拟合图像平面上的投影曲线的方程

用摄像机从不同的方向拍摄靶标的三幅图像并读入图像，利用Matlab程序中的函数Edge提取出图像特征点的坐标，并用最小二乘算法拟合出图像中的曲线，得到图像上三条曲线方程的系数矩阵；

(2)计算球心的像坐标

三维空间中的一个球在针孔摄像机下投影模型为过摄像机光心的正圆锥，正圆锥的顶点位于摄像机                                                的光心，正圆锥与空间球的截面为，截出球体的外轮廓；在摄像机成像平面上，的投影为二次曲线；根据平面到平面的单应矩阵变换下，平面上的在图像平面上的投影为其中为到平面的距离，为摄像机内参数矩阵，为图像的系数矩阵，下标表示图像，表示相差一个比例因子；因此存在非零比例因子满足；在向量空间上全体线性函数的集合构成的对偶空间中，的对偶形式为，记为，则 其中是球心的像的齐次坐标；因此，对每幅球图像矩阵系数存在一个比例因子满足：，为绝对二次曲线的像的系数矩阵，为的对偶形式，为第几幅图片；使用摄像机拍摄3幅图像，这里用表示3条二次曲线；已知球在三幅图像上的二次曲线，直线是通过两个球心像的直线方程向量，直线是通过两个球心像的直线方程的向量，直线是通过两个球心像的直线方程的向量；根据公式得到，为单位矩阵；由公式得到，由于最大秩为2，所以是和的广义特征值，即为的特征值，同理可以得到、分别为、的特征值；若令，由于、有三个特征值，则、分别有三个值，再由的特征值可以确定、的值；而可由的特征值对应的特征向量得到， 同理可得到直线，；从而就可以得到球心的像的齐次坐标为：，，；

(3)计算正交方向的消失点的坐标

在球心的像齐次坐标已知的情况下，在平面上的上取3个点，投影到图像平面上，得到在第一幅图像上的投影曲线的3个投影点齐次坐标为；过点的直线方程向量记为, 过点的直线方程向量记为, 过点的直线方程向量记为；把的直线方程分别与二次曲线的方程联立求解，就得到投影点关于点在曲线上的对应点齐次坐标，记为；由于球在投影过程中形成一个正圆锥，的底面是一个圆，由几何知识知，直径所对的圆周角为，每对直径就可以确定一组垂直方向；则过点的直径和过点直径可以确定一组正交方向的消失点 ；同理过点直径和过点直径可以确定一组正交方向消失点和； 过点直径和过点的直径可以确定一组正交方向消失点和；根据上找到的同样3个点分别在第二、三幅图像上的投影曲线上对应的3个投影点齐次坐标，又可分别获得三组正交方向的消失点；

 (4)求解摄像机内参数

由正交方向的消失点对绝对二次曲线的像的约束其中，，， ，和表示对应的正交方向的消失点的个数；最小二乘法优化求解，对 进行Cholesky分解再求逆便可获得摄像机的5个内参数矩阵，即矩阵，为图像的畸变因子，为图像坐标系中轴轴的尺度因子， 是主点坐标，即图像中心坐标，则为摄像机的5个内参数。