CN103942784A

CN103942784A - 棋盘格中三条互不平行直线求解抛物折反射摄像机内参数

Info

Publication number: CN103942784A
Application number: CN201410132679.XA
Authority: CN
Inventors: 赵越; 杨玉静; 陈晓
Original assignee: Yunnan University YNU
Current assignee: Yunnan University YNU
Priority date: 2014-04-03
Filing date: 2014-04-03
Publication date: 2014-07-23

Abstract

本发明涉及一种利用棋盘格中三条互不平行直线线性求解抛物折反射摄像机内参数的方法，其特征在于只利用直线元素，此模板是由棋盘格上三条互不平行直线构成；直线的抛物折反射图像是二次曲线，使用抛物折反射摄像机对靶标拍摄1幅图像，首先从图像上提取靶标像点，拟合曲线方程并求解每两条曲线的交点，然后根据圆的几何性质及交比不变性，得出图像平面上六组正交隐消点，利用正交隐消点对绝对二次曲线的像的约束线性求解抛物折反射摄像机内参数。利用本发明中的靶标可以实现全自动标定，减少了标定过程中由测量引起的误差。由于直线是一种更简洁更全局化的基元，在摄像机标定过程中提高了标定精度。

Description

棋盘格中三条互不平行直线求解抛物折反射摄像机内参数

技术领域

本发明属于计算机研究领域，涉及一种用于求解抛物折反射摄像机内参数的直线模板。利用棋盘格上三条互不平行的直线作为标定模板，利用圆的几何性质和交比不变性得到六组正交隐消点，线性确定抛物折反射摄像机内参数。

背景技术

计算机视觉的基本任务之一，就是从摄像机获得的二维图像信息出发恢复物体在三维空间中的几何信息，从而识别和重建三维空间中物体的几何形状。在此过程中必须确定空间物体点的三维几何位置与其图像中的对应点之间的相互关系，而这种关系又由摄像机成像的几何模型决定的，这些几何模型的参数就是摄像机参数。在大多数条件下，这些参数都是通过实验得到的，这就是摄像机标定。它一般分为传统标定和自标定两种方法，无论哪种标定方法，标定物体都是采用一些特殊的几何模型，例如：平面正方形、三角形、圆、空间立方体及圆柱等等。如何建立这些几何模型与摄像机参数之间的关系尤其是某种线性的关系，是目前摄像机标定所追求的目标，也是目前计算机视觉领域研究的热点之一。

抛物折反射摄像机由一个抛物镜面和一个正交摄像机组成，可视范围大且保持单视点约束，是现代视觉领域研究热点。文献“Plane-based calibration of central catadioptric cameras”，（S.Gasparini, P.Sturm, J.P.Barreto，IEEE 12th International Conference on Computer Vision, pp. 1195-1202, 2009）要用到有控制点的二维模板，这些控制点可以是角点、画上去的点或者任何容易由图像上提取的点，但是这种方法需要用迭代的方法求解内参数和外参数。文献“Calibration of central catadioptric cameras using a DLT-like approach”（L.Puig, Y.Bastanlar, P.Sturm, J.J.Guerrero, J.Barreto, International journal of Computer Vision, vol.93, pp. 101-114, 2011）提出基于三维点的标定，这种方法需要知道单幅图像上三维点的位置。文献“Generic self-calibration of central cameras”（S.Ramalingam, P.Sturm, S.K.Lodha, Computer Vision and Image Understanding, vol. 114, pp. 210-219, 2010）提出一种自标定方法，无需知道点的空间位置及摄像机位置，但要利用多幅图像上点的对应关系。

直线是场景中最常见的几何元素，且直线的抛物折反射成像一般是二次曲线，二次曲线在摄像机标定过程中有很多良好的性质，因而利用直线对抛物折反射摄像机进行标定是一种简便常用的方法。文献“Geometric properties of central catadioptric line images and there application in calibration”（I.P.Barreto, H.Araujo, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 27, pp. 1327-1333, 2005）研究了中心折反射模型下直线图像的几何性质，并提出了适用于任何类型的中心折反射系统的标定方法。文献“Catadioptric camera calibration using geometric invariants”（X.Ying, Z.Hu, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 26，No. 10, pp. 1260-1271, 2004）分析了折反射摄像机内参数与球的成像轮廓之间的关系，他们利用直线和球的投影进行标定，直线提供了三个不变量，球提供了两个不变量。文献“Easy calibration for para-catadioptric-like camera”(Y.wu, Y.Li, A.Hu, IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 5719-5724, 2006) 建立了关于内参数的线性约束，将中心折反射模型转换为针孔模型，无需进行曲线拟合就可以标定类似折反射摄相机。

发明内容

本发明提供了一种制作简单、适用广泛、稳定性好的用于求解抛物折反射摄像机内参数的模板，该模板由棋盘格上三条互不平行的直线构成，直线的抛物折反射图像是二次曲线。在求解抛物折反射摄像机内参数的过程中，只需使用抛物折反射摄像机拍摄1幅图像就可以线性求解出抛物折反射摄像机的5个内参数。

本发明采用如下技术方案：

本发明利用棋盘格上三条相互不平行的直线实现了抛物折反射摄像机的线性标定，其特征在于只利用直线元素，此模板是由棋盘格上三条不平行直线构成；直线的抛物折反射图像是二次曲线，首先从图像上提取靶标的像点，拟合曲线方程并求解每两条曲线的交点，然后根据圆的几何性质及交比不变性，得出图像平面上六组正交隐消点，利用正交隐消点对绝对二次曲线的像的约束线性求解抛物折反射摄像机内参数；具体步骤包括：拟合图像中曲线方程，求解曲线的交点对相应曲线的切线方程，求解交线及切线方向的隐消点，求解抛物折反射摄像机内参数矩阵中的 5个参数。

1．拟合图像中曲线方程

利用Matlab程序中的函数提取出图像特征点的坐标，并用最小二乘算法拟合出图像中的曲线，得到图像上三条曲线方程；

2．计算每两条曲线的交点，同时求解各曲线上交点处的切线方程

棋盘格中三条相互不平行的直线、、，在抛物折反射摄像机成像模型中，首先投影到单位球表面上三个大圆、、；、、、、、分别为和、和、和的交点，则、、是单位球的直径，相交于一点，即球心。在像平面上，大圆、、投影为二次曲线、、；用Matlab提取二次曲线的边缘点，用最小二乘拟合二次曲线，曲线方程用系数矩阵表示为、、。计算每两条二次曲线的交点，分别为、、、、、；由射影几何可知，二次曲线的系数矩阵和切点相乘即可求出切线方程，从而可求出二次曲线上点和、和处的切线、的方程，二次曲线上点和、、处的切线、的方程，及二次曲线上点、、、处的切线、的方程；

3．分别计算交线及切线方向的隐消点

、、分别为三个大圆、、在图像平面的抛物折反射投影，( )分别为直径()的投影；直线和是相应二次曲线上点和（其中，表示取的整数部分）处的两条平行切线，且与交线（其中，表示取的整数部分）正交，于是三条直线可以确定六组正交隐消点；利用交比不变性，两个端点和可以确定隐消点，切线可以确定隐消点；由圆的几何性质知，每一条公共直径可以确定两组正交方向上的隐消点，即和（其中，表示取的整数部分）是一组正交隐消点，共有六组正交隐消点；

4．求解抛物折反射摄像机内参数

使用抛物折反射摄像机拍摄1幅图像，利用六组正交隐消点对绝对二次曲线的像的约束，线性求解出抛物折反射摄像机的5个内参数，即矩阵，其中为图像的畸变因子，为纵横比，为焦距，为主点坐标，为抛物折反射摄像机的5个内参数。

本发明优点：

1.该靶标制作简单，由棋盘格上三条互不平行直线构成。

2.对该靶标的物理尺度没有要求，无需知道直线的世界坐标。

3.只需用抛物折反射摄像机拍摄1幅图像便可线性求解出抛物折反射摄像机的5个内参数。

附图说明

图1 是用于求解抛物折反射摄像机内参数的三条互不平行直线靶标结构示意图。

图2 是靶标在视球上的投影。

图3 是靶标成像平面。

具体实施方式

一种用于求解抛物折反射摄像机内参数的靶标，它是由棋盘格上三条不平行直线构成的，如图1。用此新型靶标完成抛物折反射摄像机内参数的求解需要经过以下步骤：首先从图像上提取靶标像点，拟合曲线方程并求解每两条曲线的交点，然后根据圆的几何性质及交比不变性，得出图像平面上六组正交隐消点，利用正交隐消点对绝对二次曲线的像的约束线性求解抛物折反射摄像机内参数；具体步骤包括：拟合图像中曲线方程，求解曲线的交点对相应曲线的切线方程，求解交线及切线方向的隐消点，最后利用六组正交隐消点对绝对二次曲线的像的约束线性求解抛物折反射摄像机内参数。利用本发明中的方法对用于实验的抛物折反射摄像机进行标定，其具体步骤如下：

1．拟合图像中曲线方程

利用Matlab程序中的Edge函数提取出图像特征点的坐标，并用最小二乘算法拟合出图像中的曲线，得到图像上三条曲线方程；

棋盘格中三条相互不平行的直线、、（如图1），在抛物折反射摄像机成像模型中，首先投影到单位球表面上三个大圆、、；、、、、、分别为和、和、和的交点，则、、是单位球的直径，相交于一点，即球心（图2）。在像平面上，大圆、、投影为二次曲线、、；用Matlab提取二次曲线的边缘点，用最小二乘拟合二次曲线，曲线方程用系数矩阵表示为、、。计算每两条二次曲线的交点，分别为、、、、、；由射影几何可知，二次曲线的系数矩阵和切点相乘即可求出切线方程，从而可求出二次曲线上点和、和处的切线、的方程，二次曲线上点和、、处的切线、的方程，及二次曲线上点、、、处的切线、的方程（如图3）；

3．分别计算交线及切线方向的隐消点

、、分别为三个大圆、、在图像平面的抛物折反射投影，（）分别为直径的投影；直线和是相应二次曲线上点和（其中表示取的整数部分）处的两条平行切线，且与交线（其中表示取的整数部分）正交，于是三条直线可以确定六组正交隐消点；利用交比不变性，两个端点和可以确定隐消点，切线可以确定隐消点；由圆的几何性质知，每一条公共直径可以确定两组正交方向上的隐消点，即和（其中表示取的整数部分）是一组正交隐消点，共有六组正交隐消点；

4．求解抛物折反射摄像机内参数

实施例

本发明提出了利用棋盘格上三条互不平行直线作为靶标线性求解抛物折反射摄像机的内参数。本发明采用的实验模块结构示意图如图1所示。下面以一实例对本发明的实施方案做出更为详细的描述。

基于空间中三条不平行直线的抛物折反射摄像机标定方法采用的实验模板是棋盘格上三条不平行直线，如图1所示。三条直线分别为、、，利用本发明中的方法对用于实验的抛物折反射摄像机进行标定，具体步骤如下：

1．拟合图像中直线投影的曲线方程

本发明采用的图像分辨率为640×480个像素，用抛物折反射摄像机拍摄1幅实验图片，读入图像，利用Matlab中Edge函数提取出图像特征点的坐标，并用最小二乘算法拟合图像中的各条曲线，获取曲线方程。经过以上方法计算得到图像中各条曲线、、的系数矩阵为：

；

。

2. 计算每两条曲线的交点，同时求解各曲线上交点处的切线方程

棋盘格中三条相互不平行的直线、、，在抛物折反射摄像机成像模型中，首先投影到单位球表面上三个大圆、、；、、、、、分别为和、和、和的交点，则、、是单位球的直径，相交于一点，即球心。在像平面上，大圆、、投影为二次曲线、、，曲线方程的系数矩阵为、、，曲线的交点、、、、、分别为、、、、、的投影，设交点齐次坐标为，则有方程：

，，（1）

，，（2）

，，（3）

联立方程（1）、（2）、（3）可得到每两条曲线的交点和、和、和。

,；

,。

二次曲线的系数矩阵和切点相乘即可求出切线方程，故有方程,；,； ,；,；,；,；从而可求出二次曲线上点和、和处的切线、的方程，二次曲线上点和、、处的切线、的方程，及二次曲线上点、、、处的切线、的方程:

，；

，。

3. 分别计算交线及切线方向的隐消点

、、分别为三个大圆、、在图像平面的抛物折反射投影，

分别为直径的投影, 设直线的齐次线坐标为，则有方程（4）：

。（4）

解得直线坐标分别为，，，三条直线必交于一点，即点的像点，同时也是图像中心，设的齐次坐标为，计算直线的交点，即解以下方程组（5）：

，，（5）

解得直线的交点的齐次坐标为。

由交比不变性可得方程（6）：

（6）

通过上述方程（6）可求得直线方向的隐消点如下：

；

。

直线和是相应二次曲线上点和（其中表示取的整数部分）处的两条平行切线，其可以确定隐消点且与交线（其中表示取的整数部分）正交，于是三条直线可以确定六组正交隐消点；利用交比不变性，两个端点和可以确定隐消点，切线可以确定隐消点；所以有：

；

。

由圆的几何性质知，每一条公共直径可以确定两组正交方向上的隐消点，即和（其中表示取的整数部分）是一组正交隐消点，那么三条公共直径共可确定六组正交方向的隐消点。

4.求解抛物折反射摄像机内参数

两条正交直线方向的隐消点，称为一对正交隐消点。设是一组正交隐消点，则，令，表示绝对二次曲线图像，且是对称矩阵，包含六个未知量。

设，则有

（7）

把6组正交方向的隐消点代入（7）式，就可以得到二次曲线的系数矩阵。在Matlab中使用Cholesky分解就可以线性地解出抛物折反射摄像机的内参数矩阵，其中畸变因子为799.9614图像的，纵横比为1.0354，焦距为493.8135，主点坐标为 (799.9614,632.0461)，为抛物折反射摄像机的5个内参数。

Claims

1.本发明利用棋盘格上三条相互不平行的直线实现了抛物折反射摄像机的线性标定，其特征在于只利用直线元素，此模板是由棋盘格上三条不平行直线构成；直线的抛物折反射图像是二次曲线，首先从图像上提取二次曲线的点，然后根据圆的几何性质及交比不变性，得出图像平面上六组正交隐消点，利用正交隐消点对绝对二次曲线的像的约束线性求解抛物折反射摄像机内参数；具体步骤包括：拟合图像中曲线方程，求解曲线的交点对相应曲线的切线方程，求解交线及切线方向的隐消点，求解抛物折反射摄像机内参数矩阵中的等5个参数；

（1）计算每两条曲线的交点，同时求解各曲线上交点处的切线方程

棋盘格中三条相互不平行的直线、、，在抛物折反射摄像机成像模型中，首先投影到单位球表面上三个大圆、、；、、、、、分别为和、和、和的交点，则、、是单位球的直径，相交于一点，即球心；在像平面上，大圆、、投影为二次曲线、、；提取二次曲线的边缘点，用最小二乘拟合二次曲线，曲线方程用系数矩阵表示为、、; 计算每两条二次曲线的交点，分别为、、、、、；由射影几何可知，二次曲线的系数矩阵和切点相乘即可求出切线方程，从而可求出二次曲线上点和、和处的切线、的方程，二次曲线上点和、、处的切线、的方程，及二次曲线上点、、、处的切线、的方程；

（2）分别计算交线及切线方向的隐消点

、、分别为三个大圆、、在图像平面的抛物折反射投影，( )分别为直径()的投影；直线和是相应二次曲线上点和（其中，表示取的整数部分）处的两条平行切线，且与交线（其中，表示取的整数部分）正交，于是三条直线可以确定六组正交隐消点；利用交比不变性，两个端点和可以确定隐消点，切线可以确定隐消点；由圆的几何性质知，每一条公共直径可以确定两组正交方向上的隐消点，即和（其中，表示取的整数部分）是一组正交隐消点，共有六组正交隐消点。