CN107958467B - 利用一条直线的成像标定抛物折反射摄像机的方法 - Google Patents

Abstract

本发明涉及一种利用一条直线的成像标定抛物折反射摄像机的方法，其特征在于利用单位视球成像模型中直线在单位视球上的投影和镜面轮廓在单位视球上的位置之间的几何联系。所述方法的具体步骤包括：首先，从该幅图像上提取线像和镜面轮廓的像上像点的像素坐标。其次，根据镜面轮廓的像上像点的像素坐标拟合镜面轮廓的像，并求解抛物折反射摄像机内参数的初始值。然后，求得线像和镜面轮廓的像上像点对应的对拓像点，即单位视球一条直径上的两个端点的像。最后利用线像和镜面轮廓的像上对拓像点之间的性质求解正交方向上的影消点，进而求解抛物折反射摄像机内参数。

Description

利用一条直线的成像标定抛物折反射摄像机的方法

技术领域

本发明属于计算机视觉领域，涉及一种利用直线与其在单位视球上投影的几何性质求抛物折反射摄像机内参数的方法。

背景技术

计算机视觉是近些年新兴起来的学科，它利用计算机模拟人类视觉，具体来说是利用摄像机模拟人类的眼睛实现图像的获取，利用计算机模拟人类的大脑实现对图像的处理和分析。计算机视觉的主要目的是为计算机开发具有与人类水平相当的视觉能力，实现计算机能像人类这样通过视觉观察和理解世界，进而可以自主适应周围环境。随着计算机视觉领域的发展，由于传统摄像机成像视野小，提出了将传统摄像机与反射镜面相结合而实现的折反射摄像机。组成折反射摄像机的反射镜面可以有多种类型，如平面、锥面、球面、旋转二次曲面等。折反射摄像机不但具有大的成像视野，还易于将它获得的图像转化为透视图像，因此折反射摄像机在计算机视觉领域有这广泛的应用。Baker和Nayer根据折反射摄像机是否有固定的单视点将折反射摄像机分为中心和非中心两类。其中中心折反射摄像机的反射镜面有四种类型：抛物面镜、双曲面镜、椭球面镜和平面镜，其镜面类型由镜面参数确定：镜面参数的取值范围为0-1，当镜面参数为0时，镜面类型为平面镜；当镜面参数在0-1之间时，镜面类型为双曲面镜或椭球面镜；当镜面参数为1时，镜面类型为抛物面镜。非中心折反射摄像机的反射镜面类型有：锥镜面等。

抛物折反射摄像机是由一个抛物镜面和一个传统摄像机组成，它成像视角灵活、镜面参数已知，是全景视觉领域研究的热点。文献“Catadioptric projective projectivegeometry”(C.Geyer,K.Daniilidis,International Tournal Computer Vision,45(3):223-243,2001)证明了抛物折反射摄像机成像过程等价于单视位球两步成像模型，统一了不同类型的中心折反射摄像机的成像模型，推动了抛物折反射摄像机的发展。文献“Catadioptric camera calibration using geometric invarants”(X.Ying,Z.Hu,IEEETransactions on Pattern Analysis and Machine Intelligence,26(10):1260-1271,2004)利用抛物折反射摄像机的镜面轮廓在像平面上的投影为一条二次曲线，且这条二次曲线可以被完全提取，获得了关于摄像机内参数的四个不变量，并用这些不变量对摄像机的内参数的初始值进行了估计。文献“Paracatadioptric camera calibration”(C.Geyer,K.Daniilidis,IEEE Transactions on Pattern Analysis and Machine Intelligence,24(5):687-695,2002)提出了利用三条直线标定抛物折反射摄像机，取得精度高的标定结果，但该方法选取的直线较多，在现实环境中常见的直线大多为平行或垂直关系，不易同时获取三条不共面的直线。文献“Anew linear algorithm for calibrating centralcatadioptric cameras”(F.Wu,F.Duan,Z.Hu,Pattern Recognition,41(10):3166-3172,2008)获得了空间点在单位视球上的投影点和在像平面上的投影点之间的关系，利用这种关系线性计算出中心折反射摄像机的内参数。这种方法提出了与像点相对应对拓像点，为摄像机标定打开了新局面，但需要不同位置下一条直线的三幅图像，增加了前期操作。

发明内容

本发明提供了一种制作简单，适用广泛，稳定性好的利用空间直线求解抛物折反射摄像机内参数的方法。在求解抛物折反射摄像机内参数过程中，需用抛物折反射摄像机拍摄空间一条直线的一幅图像便可线性求解出抛物折反射摄像机的内参数。

本发明采用如下设计方案：

本发明是由抛物折反射摄像机拍摄的空间直线求解抛物折反射摄像机的内参数，其特征在于利用单位视球成像模型中直线在单位视球上的投影和镜面轮廓在单位视球上的位置之间的几何联系。首先，从该幅图像上提取线像和镜面轮廓的像上像点的像素坐标。其次，根据镜面轮廓的像上像点的像素坐标拟合镜面轮廓的像，并求解抛物折反射摄像机内参数的初始值。然后，求得线像和镜面轮廓的像上像点对应的对拓像点(单位视球一条直径上的两个端点的像)。最后利用线像和镜面轮廓的像上对拓像点之间的几何性质求解正交方向上的影消点，进而求解抛物折反射摄像机内参数。

具体的步骤包括：提取镜面轮廓的像上的点，求解抛物折反射摄像机内参数的初始值，利用对拓性质获得线像和镜面轮廓的像上像点分别对应的对拓像点，求解多组正交方向上的影消点，并利用影消点与抛物折反射摄像机内参数的约束求解抛物折反射摄像机内参数。

1.提取轮廓像点并确定内参数初始值

在单视位球投影模型下，抛物折反射摄像机的镜面轮廓在像平面上的投影为一条二次曲线，且这条二次曲线可以被完全提取。利用这条二次曲线获得了关于摄像机内参数

的5个内参数的初始值，其中f_u和f_v为摄像机u轴和v轴方向上的尺度因子，s为畸变因子，[u₀ v₀]^T为主点P非齐次坐标。这5个内参数初始值为摄像机的内参数的初始估计。

首先利用Matlab程序中的函数提取图像中镜面轮廓的像上的i(i≥5)个像点的像素坐标，然后利用最小二乘法拟合镜面轮廓的像的方程，其系数矩阵为

最后根据镜面轮廓的像和摄像机内参数的关系，解得摄像机的内参数矩阵的初始值K₀为

2.提取线像上像点并确定各个像点对应的对拓像点

利用Matlab程序中的函数提取镜面轮廓的像上的j(j≥5)个像点的像素坐标。根据单位视球投影模型第一步，在抛物折反射摄像机下空间点X的投影，以单位视球球心O投影中心，投影到单位视球上的投影点为X_c+和其对应对拓点X_c-，其中下标+表示可见，-表示不可见；X_c+X_c-为一条过单位视球球心O的直径。根据单位视球成像模型，抛物折反射摄像机的中心O_c位于单位视球球面上，成像平面π与光轴OO_c垂直。令z_c轴与光轴OO_c重合，x_c,y_c轴过原点O_c与像平面的u，v轴方向一致。根据单位视球投影模型第二步，以O_c为投影中心，将点X_c+与其对应对拓点X_c-投影到像平面π上，分别对应像点m₊和其对拓像点m_-，光轴OO_c与像平面π上的交点为主点P。单位视球上的点X_c+和对应的像点m₊满足：

摄像机的内参数矩阵的初始值K₀；同理X_c+的对拓点X_c-和对应的m₊的对拓像点m_-满足：

单位视球球心O和主点P满足：

因为X_c+X_c-为一条过单位视球球心O的直径，则单位视球上投影点X_c+和其对拓点X_c-关于单位视球球心O中心对称，即满足X_c++X_c-＝2O，并且轴OO_c与像平面π交点为主点P，根据中心投影的同素性和结合性知，直线m₊m_-过主点P。因此像点m₊其对拓像点m_-满足：

其中

表示绝对二次曲线的像。根据上式，在像平面上任取像点m₊，即可计算得到其对拓像点m_-。

3.求抛物折反射摄像机的内参数

根据单位视球投影模型，空间中一条直线l在单位视球上投影为一个以球心O为圆心的大圆C₁，在像平面π上的像为一条二次曲线Ω₁。抛物折反射摄像机的镜面轮廓曲线为过球心O的水平面和单位视球相交的圆C₀，它在像平面π上的像为二次曲线Ω₀。单位视球上圆C₁和圆C₀相交于点X_c0+和它的对拓点X_c0-，在圆C₀取不同于点X_c0+和点X_c0-的i对对拓点X_ci+，X_ci-(i＝1,3,5,…)，在圆C₁取不同于点X_c0+和点X_c0-的j对对拓点X_cj+，X_cj-(j＝2,4,6,…)，每对对拓点均为单位视球上的一条直径。选取圆C₀和圆C₁上各一对对拓点组成对拓点组X_ci+，X_ci-，X_cj+，X_cj-(i＝1，3，5…，j＝i|1)，则每个对拓点组中的四个点，即单位视球上的两条直径的四个端点，组成了一个矩形，则有X_ci+X_cj+//X_ci-X_cj-，X_ci+X_cj-//X_ci-X_cj+，X_ci+X_cj+⊥X_ci-X_cj+。

每个对拓点组X_c0+，X_c0-，X_ci+，X_ci-，X_cj+，X_cj-在像平面π上对应的像点为对拓像点组m₀₊，m_0-，m_i+，m_i-，m_j+，m_j-。根据仿射变换的同素性和结合性知，直线X_ci+X_cj+方向上的无穷远点v_i∞和直线X_ci-X_cj+上的无穷远点v_j∞在像平面π上对应的像点为点v_i和点v_j。则点v_i和点v_j为一组正交方向上的影消点，并且满足v_i＝m_i+m_j+∧m_i-m_j-，v_j＝m_i-m_j+∧m_i+m_j-，其中∧表示相交运算。在像平面上取n(n≥5)组对拓像点组，便可解得n组正交方向上的影消点，每组对拓像点组均由不同平面上的矩形端点投影而来，因此这n组正交方向上的影消点线性无关。然后利用正交方向上的影消点对绝对二次曲线的像的约束

计算绝对二次曲线的像ω_c。最后对绝对二次曲线的像ω_c进行Cholesky分解、求逆得到摄像机内参数矩阵K。

本发明优点：

⑴对空间直线的物理尺度没有要求，无需知道空间直线在世界坐标系下的坐标。

⑵仅利用了一幅一条直线的图像，简化了计算难度，加快了算法速度。

附图说明

图1是单视位球上一条直线和镜面轮廓曲线的几何关系。

具体实施方式

本发明完成抛物折反射摄像机内参数求解需要经过以下步骤：提取镜面轮廓的像上像点并确定抛物折反射摄像机内参数的初始值；提取线像上像点，根据求得的抛物折反射摄像机内参数初始值确定各个像点对应的对拓像点；利用两对像点和对拓像点的几何性质，求解正交方向上的影消点，进而利用影消点和抛物摄像机内参数的约束求解抛物折反射摄像机的内参数。利用本发明中的方法对抛物折反射摄像机的镜面参数进行求解，具体步骤如下：

1.提取轮廓像点并确定内参数初始值

首先利用Matlab程序中的函数提取图像中镜面轮廓的像上的i(i≥5)个像点m_i+的齐次坐标矩阵为(x_i y_i 1)^T(i＝1,2,3,…)，设镜面轮廓的像的方程为a₀x²+2b₀xy+c₀y²+2d₀x+2e₀y+f₀＝0，然后利用最小二乘法拟合镜面轮廓的像的方程，其系数矩阵为

最后根据镜面轮廓的像和摄像机内参数的关系，解得摄像机的内参数的初始值K₀为

2.提取线像上像点并确定各个像点对应的对拓像点

利用Matlab程序中的函数提取镜面轮廓的像上的j(j≥5)个像点m_j+的齐次坐标矩阵(x_j y_j 1)^T(i＝1,2,3,…)。根据单位视球投影模型第一步，在抛物折反射摄像机下直线l上点X的投影，以世界坐标系O-x_wy_wz_w，其中O单位视球球心为投影中心，投影到单位视球上的投影点为X_c+和其对应对拓点X_c-，其中+，-表示可见与不可见，X_c+X_c-为一条过单位视球球心O的直径。根据单位视球成像模型，摄像机坐标系O_c-x_cy_cz_c的中心O_c位于单位视球球面上，成像平面π与光轴OO_c垂直。令坐标z_c轴与光轴OO_c重合,x_c,y_c轴过原点O_c与像平面的u，v轴方向一致。根据单位视球投影模型第二步，以O_c为投影中心，将点X_c+与其对拓点X_c-投影到像平面π上，分别对应像点m₊和它的对拓像点m_-，光轴OO_c与像平面π的交点为主点P。单位视球上的点X_c+和对应的像点m₊满足

同理X_c+的对拓点X_c-和对应m₊的对拓像点m_-满足

单位视球球心O和主点P满足

因为X_c+X_c-为一条过单位视球球心O的直径，即单位视球上投影点X_c+和其对拓点X_c-关于单位视球球心O中心对称，则满足

X_c++X_c-＝2O。 (6)

并且轴OO_c与像平面π交点为主点P，根据中心投影的同素性和结合性知，直线m₊m_-过主点P。联立式(3)、(4)、(5)、(6)得

其中

表示绝对二次曲线的像。根据式(7)，在像平面上任取像点m_i+或m_j+，即可计算得到相对应的对拓像点m_i-和m_j-。

3.求抛物折反射摄像机的内参数

根据单位视球投影模型，如图1，空间中一条直线l在单位视球上投影为一个以球心O为圆心的大圆C₁，在像平面π上的像为一条二次曲线Ω₁。抛物折反射摄像机的镜面轮廓曲线为过球心O的水平面和单位视球相交的圆C₀，它在像平面π上的像为二次曲线Ω₀。单位视球上C₁和圆C₀相交于点X_c0+和它的对拓点X_c0-，在圆C₀取不同于点X_c0+和点X_c0-的i对对拓点X_ci+，X_ci-(i＝1,3,5,…)，在圆C₁取不同于点X_c0+和点X_c0-的j对对拓点X_cj+，X_cj-(j＝2,4,6,…)，每对对拓点均为单位视球上的一条直径。选取圆C₀和圆C₁上各一对对拓点组成对拓点组X_ci+，X_ci-，X_cj+，X_cj-(i＝1,3,5…,j＝i+1)，则每个对拓点组中的四个点，即单位视球上的两条直径的四个端点，组成了一个矩形，则有X_ci+X_cj+//X_ci-X_cj-，X_ci+X_cj-//X_ci-X_cj+，X_ci+X_cj+⊥X_ci-X_cj+。如图1，每个对拓点组X_c0+，X_c0-，X_ci+，X_ci-，X_cj+，X_cj-在像平面π上对应的像点为对拓像点组m₀₊，m_0-，m_i+，m_i-，m_j+，m_j-。根据仿射变换的同素性和结合性知，直线X_ci+X_cj+方向上的无穷远点v_i∞和直线X_ci-X_cj+上的无穷远点v_j∞在像平面π上对应的像点为点v_i和点v_j。则点v_i和点v_j为一组正交方向上的影消点，并且满足

v_i＝m_i+m_j+∧m_i-m_j-， (8)

v_j＝m_i-m_j+∧m_i+m_j-。 (9)

在像平面上取n(n≥5)组对拓像点，每组对拓像点组均由不同平面上的矩形端点投影而来，因此这n组正交方向上的影消点线性无关。根据式(8)和(9)便可解得n组正交方向上的影消点，然后利用正交方向上的影消点对绝对二次曲线的像的约束

根据式(10)计算绝对二次曲线的像

ω_c＝K^-TK^-1。 (11)

最后根据式(11)对绝对二次曲线的像ω_c进行Cholesky分解、求逆得到摄像机内参数矩阵K。

实施例

本发明提出了一种利用空间直线l为靶标的求解抛物折反射摄像机内参数的方法。本发明采用的靶标结构示意图如图1所示。下面以一实例对本发明的实施方案做出详细的描述。

基于空间直线求抛物折反射摄像机内参数采用的是空间中的一条直线l，如图1所示。利用本发明中的方法对用于实验的抛物折反射摄像机进行求解抛物折反射摄像机内参数，具体步骤如下：

1.提取轮廓像点并确定内参数初始值

本发明用抛物折反射摄像机拍摄含有空间直线的1幅图像，读入图像，利用Matlab中的函数Edge提取镜面轮廓的像上点的像素坐标，矩阵的每列为一个像素的齐次坐标共5个像素结果如下：

其中i＝1,2,3,4,5。利用最小二乘法拟合镜面轮廓的像，各系数对应的拟合结果矩阵表示如下：

将式(13)代入到式(2)解得抛物折反射摄像机内参数初始值，结果如下：

2.提取线像上像点并确定各个像点对应的对拓像点

利用Matlab中的函数Edge提取线像上点的像素坐标，矩阵的每列为一个像素的齐次坐标共5个像素，结果如下：

其中j＝1,2,3,4,5表示每一列。利用将式(12)，式(14)，式(15)代入到式(7)求解像点m_i+和m_j+的对拓像点的齐次坐标，结果如下：

其中j＝1,2,3,4,5，i＝1,2,3,4,5表示每一列的其次坐标。

3.求抛物折反射摄像机的内参数

根据两组像点和对拓像点间的几何关系，利用式(12)、式(15)、式(16)、式(17)、式(8)和式(9)求解的到5对正交方向上的影消点的齐次坐标矩阵，结果如下：

将式(18)至式(22)代入到式(11)，解得绝对二次曲线的像的系数矩阵，结果为：

对式(23)进行Cholesky分解、求逆得到摄像机内参数矩阵K，结果如下：

Claims (1)

1.一种利用一条直线的成像标定抛物折反射摄像机的方法，其特征在于利用单位视球成像模型中直线在单位视球上的投影和镜面轮廓在单位视球上的位置之间的几何联系；所述方法的具体步骤包括：首先，从一幅图像上提取线像和镜面轮廓的像上像点的像素坐标；其次，根据镜面轮廓的像上像点的像素坐标拟合镜面轮廓的像，并求解抛物折反射摄像机内参数的初始值；然后，求得线像和镜面轮廓的像上像点对应的对拓像点，即单位视球一条直径上的两个端点的像；最后利用线像和镜面轮廓的像上对拓像点之间的性质求解正交方向上的影消点，进而求解抛物折反射摄像机内参数；

(1)提取线像上像点并确定各个像点对应的对拓像点

提取镜面轮廓的像上的j个像点的像素坐标，其中j≥5；根据单位视球投影模型第一步，在抛物折反射摄像机下空间点X的投影，以单位视球球心O投影中心，投影到单位视球上的投影点为X_c+和其对应对拓点X_c-，其中下标+表示见到，-表示见不到；X_c+X_c-为一条过单位视球球心O的直径；根据单位视球成像模型，抛物折反射摄像机的中心O_c位于单位视球球面上，成像平面π与光轴OO_c垂直；令z_c轴与光轴OO_c重合，x_c,y_c轴过原点O_c与像平面的u，v轴方向一致；根据单位视球投影模型第二步，以O_c为投影中心，将点X_c+与其对应对拓点X_c-投影到像平面π上，分别对应像点m₊和其对拓像点m_-，光轴OO_c与像平面π上的交点为主点P；单位视球上的点X_c+和对应的像点m₊满足：

摄像机的内参数矩阵的初始值K₀；同理X_c+的对拓点X_c-和对应的m₊的对拓像点m_-满足：

单位视球球心O和主点P满足：

因为X_c+X_c-为一条过单位视球球心O的直径，则单位视球上投影点X_c+和其对拓点X_c-关于单位视球球心O中心对称，即满足X_c++X_c-＝2O，并且轴OO_c与像平面π交点为主点P，根据中心投影的同素性和结合性知，直线m₊m_-过主点P；因此像点m₊其对拓像点m_-满足：

其中

表示绝对二次曲线的像；根据上式，在像平面上任取像点m₊，即计算得到其对拓像点m_-；

(2)求抛物折反射摄像机的内参数

根据单位视球投影模型，空间中一条直线l在单位视球上投影为一个以球心O为圆心的大圆C₁，在像平面π上的像为一条二次曲线Ω₁；抛物折反射摄像机的镜面轮廓曲线为过球心O的水平面和单位视球相交的圆C₀，它在像平面π上的像为二次曲线Ω₀；单位视球上圆C₁和圆C₀相交于点X_c0+和它的对拓点X_c0-，在圆C₀取不同于点X_c0+和点X_c0-的i对对拓点X_ci+，X_ci-，其中i＝1,3,5，在圆C₁取不同于点X_c0+和点X_c0-的j对对拓点X_cj+，X_cj-，其中j＝2,4,6，每对对拓点均为单位视球上的一条直径；选取圆C₀和圆C₁上各一对对拓点组成对拓点组X_ci+，X_ci-，X_cj+，X_cj-，其中i＝1,3,5，j＝i+1，则每个对拓点组中的四个点，即单位视球上的两条直径的四个端点，组成了一个矩形，则有X_ci+X_cj+//X_ci-X_cj-，X_ci+X_cj-//X_ci-X_cj+，X_ci+X_cj+⊥X_ci-X_cj+；

每个对拓点组X_c0+，X_c0-，X_ci+，X_ci-，X_cj+，X_cj-在像平面π上对应的像点为对拓像点组m₀₊，m_0-，m_i+，m_i-，m_j+，m_j-；根据仿射变换的同素性和结合性知，直线X_ci+X_cj+方向上的无穷远点v_i∞和直线X_ci-X_cj+上的无穷远点v_j∞在像平面π上对应的像点为点v_i和点v_j；则点v_i和点v_j为一组正交方向上的影消点，并且满足v_i＝m_i+m_j+∧m_i-m_j-，v_j＝m_i-m_j+∧m_i+m_j-，其中∧表示相交运算；在像平面上取n≥5组对拓像点组，便解得n组正交方向上的影消点，每组对拓像点组均由不同平面上的矩形端点投影而来，因此这n组正交方向上的影消点线性无关；然后利用正交方向上的影消点对绝对二次曲线的像的约束

计算绝对二次曲线的像ω_c；最后对绝对二次曲线的像ω_c进行Cholesky分解、求逆得到摄像机内参数矩阵K。

Images