CN106780621B - 利用一条直线求解锥镜面折反射摄像机镜面参数的方法 - Google Patents

Abstract

本发明涉及一种利用一条直线求解锥镜面折反射摄像机镜面参数的方法。首先，利用中的函数从1幅图像上提取像点的像素坐标。其次，根据像点的像素坐标求得线像的系数及锥顶角，其中为锥镜面任一条母线与锥镜面旋转对称轴的夹角。最后，求得空间直线的坐标以及锥镜面顶点到摄像机光心的距离，即镜面参数。本发明对空间直线的物理尺度没有要求，无需知道空间直线在世界坐标系下的坐标。

Description

利用一条直线求解锥镜面折反射摄像机镜面参数的方法

技术领域

本发明属于计算机视觉领域，涉及一种利用直线与线像的系数求锥镜面折反射摄像机镜面参数的方法。

背景技术

计算机视觉的是利用计算机软、硬件技术来实现、模拟人类的视觉对客观世界场景的感知、识别和理解的功能。它的中心任务就是对图像的形状、位置、运动的理解，利用三维物体的二维图像所包含的信息，获取三维物体的空间位置与形状等几何信息识别三维物体。在计算机视觉领域中，普通摄像机的可是范围小，成像角度有限，获取信息量少且有死角，所以不能很好地模仿人眼。随着科学技术的不断进步，全景系统应运而生。镜面和传统相机的结合产生了折反射摄像机，它是增加视场角的一种有效方式。组成折反射摄像机的反射镜面有多种类型，如平面、锥镜面、球镜面、抛物镜面、椭圆镜面（双曲镜面）等。根据折反射摄像机是否具有固定的有效视点，将折反射摄像机分为中心折反射和非中心折反射两类。无论哪种摄像机类型，都旨在获取全景图像，但相比中心折反射系统，非中心折反射系统镜面成本低，生产容易，投影的数学模型简单，在镜面的外围有更高的像素分辨率，降低里图像的光学畸变。

锥镜面折反射摄像机是由一个锥镜面和一个传统摄像机组成，它的成像视场角灵活，分辨率高，是全景视觉领域研究的热点之一。1990年，文献“Panorama scene analysiswith conic projection”，（Yagi Y, Kawato S., Proceedings of IEEE InternationalConference on Intelligent Robots and Systems, 1990,1: 181-187. ）提出了基于锥镜面折反射系统成像模型，它是由一个透视摄像机和旋转对称的锥镜面组装而成。文献“Real-time omnidirectional image sensor for vision-guided navigation”，(YagiY,Kawato S,Tsuji S.,IEEE Transactions on Robotics and Automation,1994,10(1):11-22)分析讨论了在锥镜面折反射系统下的投影关系，但并没有对锥镜面视点的轨迹与锥镜面对称的性质结合在一起进行分析和讨论，文献“Line-images in cone mirrorcatadioptric systems”, (Bermudez-Cameo J, Lopez-Nicolas G,Guerrero J. J.,Proceedings of the 22^nd International Conference on Pattern Recognition, 2014,1:2083-2088)得到了线像方程，并利用线像方程求得了镜面角，但并没有给出求镜面顶点到摄像机光心距离的方法，文献“Unitary torus model for conical mirror basedcatadioptric system”,(Lopez-Nicolas G, Sagues C, Computer Vision and ImageUnderstanding,2014,126:67-79)根据单位球模型提出了单位环模型。

发明内容

本发明提供了一种制作简单，适用广泛，稳定性好的利用空间直线求解锥镜面折反射摄像机镜面参数的方法。在求解锥镜面折反射摄像机镜面参数过程中，需用锥镜面折反射摄像机拍摄空间直线的1幅图像便可线性求解出锥镜面折反射摄像机的2个镜面参数。

本发明采用如下设计方案：

本发明是由锥镜面折反射摄像机拍摄的空间直线求解锥镜面折反射摄像机的镜面参数，其特征在于利用直线的坐标及线像的系数。首先，利用中的函数从1幅图像上提取像点的像素坐标。其次，根据像点的像素坐标求得线像的系数及锥顶角（为锥镜面任一条母线与锥镜面旋转对称轴的夹角）。最后，求得空间直线的坐标以及镜面参数(锥镜面顶点到摄像机光心的距离)。具体的步骤包括：提取线像上的像点，确定线像的系数及锥顶角，求空间直线的坐标及锥镜面折反射摄像机的镜面参数。

1.提取线像上的像点

利用程序中的函数提取1幅图像中线像上的个像点的像素坐标。

2.把像素坐标转换成摄像机内参数无关的坐标点

图像物理坐标系下的点，最后经过内参数矩阵（本发明在内参数矩阵为已知的条件下进行）变换，其中，是纵横比，是有效焦距，是倾斜因子，是摄像机主点的齐次坐标矩阵，图像物理坐标系下的点则变成了图像像素坐标系下的点，点的坐标矩阵为，点和点的关系式为： 。根据的表达式知可逆，则有。

3.确定线像系数及锥顶角

空间中的点在锥镜面折反射摄像机下空间点的投影，对应在锥镜面的投影为，锥镜面的顶点为，摄像机的中心，坐标轴在锥镜面对称轴上，轴在过原点的水平方向。根据Snell定律及锥面镜的特点，空间点的入射光线，锥面镜对称轴及折射光线在一个平面入射上，交投影面为，即空间点的成像点。在入射光线与折射光线形成的平面上，虚拟视点与对称于锥镜面的母线，交于点。入射光线与锥面镜对称轴的交点到的距离为，与夹角为。空间点对应的虚拟视点的轨迹圆垂直于对称轴并且圆心在上，半径及视点轨迹圆到锥镜面顶点的距离分别为：，其中为锥顶角的一半，为镜面参数，的距离为。根据空间两点确定一条直线或者利用直线的坐标表示则可以确定线段的直线方程，那么直线上任一点的坐标表示即可通过直线方程得到。由于虚拟视点的轨迹是以为半径的圆。像点对应的物理坐标系下的点的其次坐标矩阵为，其对应的极半径为：，其中，每个像点与像素坐标系中轴的夹角为： ，。符号下标i无特别说明表示第i个，符号本身的意义不变。

在三维射影空间中，设空间直线上的两个不同的点所对应的齐次坐标分别为，（其中）。 则坐标被定义如下：，则，（，），减少可能性只有6个（4选2）独立变量。 则六元组坐标满足方程：。则在相差一个比例因子的情况下，对于任一六元组坐标满足，都对应于三维空间中唯一的一类直线，即直线的坐标为：，（其中，）。

设空间直线的坐标表示为，由两条直线坐标，相交有关系式:。

入射光线的坐标表示为，其中，，， 。根据入射光线和空间直线相交利用式则可以获线像方程为：，其中。把式带入到式中，通过利用极坐标化简得： ，其中线像的系数，。设，则有。 对进行SVD分解即可求得线像的系数。由得：，则可以估算锥镜面的顶角。

4.求空间直线的坐标及锥镜面折反射摄像机的镜面参数

将式和式代入式化简后得：，其中，。对进行分解即可求得空间直线的坐标。继续化简得到。

可得到空间直线的坐标关系式：，可解出，即可以求得锥镜面参数。

本发明优点：

（1）对空间直线的物理尺度没有要求，无需知道空间直线在世界坐标系下的坐标。

（2）利用了圆锥镜面投影的共轴性模型进行分析，简化了计算难度。

附图说明

图1是空间直线上的点在锥镜面折反射系统下投影的分析模型。

具体实施方式

本发明完成锥镜面折反射摄像机镜面参数求解需要经过以下步骤：提取摄像机投影平面上的点，并变换成不依赖与摄像机内参数的一条线像上的像点。求解空间直线的坐标以及线像的系数。利用线像的系数关系估算出镜面参数中的锥顶角，进而求得镜面参数。利用本发明中的方法对锥镜面折反射摄像机的镜面参数进行求解，具体步骤如下：

1.提取线像上的像点

利用程序中的函数Edge提取图像中线像上的个像点的像素坐标，。

2.把像素坐标转换成摄像机内参数无关的坐标点

如图1，空间中的点在锥镜面折反射摄像机下空间点的投影，对应在锥镜面的投影为，锥镜面的顶点为，摄像机的中心，坐标轴在锥镜面对称轴上，轴在过原点的水平方向。根据Snell定律及锥面镜的特点，入射光线，锥面镜对称轴及折射光线在一个平面上，交投影面为，即空间点的成像点。在入射光线与折射光线形成的平面上，虚拟视点与对称于锥镜面的母线，交于点。入射光线与锥面镜对称轴的交点到的距离为，与夹角为。空间点对应的虚拟视点的轨迹圆的半径及视点轨迹圆到锥镜面顶点的距离（如图1）分别为：

， （1）

其中为锥顶角的一半，为镜面参数，即，的距离为。根据空间两点确定一条直线或者利用直线的坐标表示则可以确定线段的直线方程，那么直线上任一点的坐标表示即可通过直线方程得到。由于虚拟视点的轨迹是以为半径的圆。图像物理坐标系下的点，最后经过内参数矩阵（本发明在内参数矩阵为已知的条件下进行）变换，其中，是纵横比，是有效焦距，是倾斜因子，是摄像机主点的齐次坐标，图像物理坐标系下的点则变成了图像像素坐标系下的点，点的坐标为，点和点的关系式为：

。 （2）

根据的表达式知可逆，则有

。 （3）

3.确定线像系数及锥顶角

选取的像点对应的物理坐标系下的点的坐标为，其中，其对应的极半径为：

， （4）

其中下标，每个像点与像素坐标系中轴的夹角为：

，。 （5）

符号下标i无特别说明表示第i个，符号本身的意义不变。在三维射影空间中，设空间直线上的两个不同的点对应的齐次坐标分别为，（其中）。 则坐标被定义如下：，则，（，），减少可能性只有6个（4选2）独立变量。 则六元组坐标满足方程：。则在相差一个比例因子的情况下，对于任一六元组坐标满足式都对应于三维空间中唯一的一条直线，即直线的坐标为：，其中，。注意：并不是所有六元组坐标都对应于三维空间中的一条直线，满足式才对应三维空间中的一条直线。对于三维空间中任意给定的两条直线。设直线和对应的坐标分别为和，则当直线和相交或者平行时为：

。 （6）

如图1，设空间直线的坐标为，由关系式（6）有入射光线的坐标表示为：

， （7）

其中

，， （8）

， （9）

。根据入射光线和空间直线相交利用（6）式则可以获线像方程为：

， （10）

其中。

把（7）式带入到（10）式中，通过利用极坐标化简得：

， （11）

其中，线像的系数：

。 (12)

设

， （13）

则（11）式可写为：

。 （14）

对进行SVD分解即可求得线像的系数，由（12）得：

， （15）

则可以估算锥镜面的顶角。

4.求空间直线的坐标及锥镜面折反射摄像机的镜面参数

将（8）式和（9）式代入（10）式化简后得：

， （16）

其中

， （17）

。对进行分解即可求得空间直线的坐标。继续化简下式

， （18）

可得到空间直线的坐标关系式：

。 （19）

由（19）式则可解出

， （20）

则利用（20）式即可以求得锥镜面参数。

实施例

本发明提出了一种利用空间直线为靶标的求解锥镜面折反射摄像机镜面参数的方法。本发明采用的靶标结构示意图如图1所示。下面以一实例对本发明的实施方案做出详细的描述。

基于空间直线的锥镜面折反射摄像机求镜面参数采用的是空间中的一条直线，如图1所示。利用本发明中的方法对用于实验的锥镜面折反射摄像机进行求解锥镜面参数，具体步骤如下：

1.提取线像上的像点

本发明已知摄像机内参数为。用锥镜面折反射摄像机拍摄含有空间直线的的1幅图像，读入图像，利用中的函数Edge提取线像上点的像素坐标，矩阵的每列为一个像素的齐次坐标共5个像素结果如下：

， （21）

其中=1,2,3,4,5。把（21）式代入（3）式可得，结果如下：

。 （22）

2.确定线像的系数及锥顶角

将（22）式代入（4）式和（5）式可得每个像点对应的极半径和角，其中=1,2,3,4,5，对应于{ }中每个值的结果如下：

（23）

（24）

把(23)式和（24）式代入（13）式，结果如下：

。 （25）

再由（14）式并使用分解求解（25）式，可得线像的系数，结果如下：

。 （26）

把（26）式代入（15）式即可求得锥顶角：

。 （27）

3.求空间直线的坐标及锥镜面折反射摄像机的镜面参数

将式（23）、（24）和（27）代入（17）式得：

。 （28）

再根据（16）式，对（28）式进行分解得空间直线的坐标为：

。 （29）

把（26）式代入（19）式得：

， （30）

再把（29）式和（30）式代入（20）式即可求得锥镜面的镜面参数，结果如下：

。 （31）

故锥镜面折反射摄像机的锥顶角和镜面参数分别为：，。

Claims (1)

1.一种利用一条直线求解锥镜面折反射摄像机镜面参数的方法，其特征在于利用直线的Piücker坐标及线像的系数，所述方法的具体步骤包括：利用1幅图像上提取不少于5个像点坐标；其次，根据像点的像素坐标求得线像的系数ω及锥顶角2θ，θ为锥镜面任一条母线与锥镜面旋转对称轴的夹角；最后，求得空间直线的Plücker坐标以及锥镜面顶点到摄像机光心的距离的镜面参数ξ；

(1)把像素坐标转换成摄像机内参数无关的坐标点

图像物理坐标系下的点m′，最后经过内参数矩阵内参数矩阵K为已知，其中，k是纵横比，f_c是有效焦距，s是倾斜因子，[u₀ v₀ 1]^T是摄像机主点的齐次坐标矩阵，图像物理坐标系下的点m′则变成了图像像素坐标系下的点点的坐标矩阵为点m′和点的关系式为：则有

(2)确定线像系数ω及锥顶角2θ

空间中的点在锥镜面折反射摄像机下空间点X的投影，对应在锥镜面的投影为X_m，锥镜面的顶点为O_m，摄像机的中心O_c，坐标z轴在锥镜面对称轴O_mO_c上，x轴在过原点O_m的水平方向；根据Snell定律及锥面镜的特点，空间点X的入射光线l_roy，锥面镜对称轴O_mO_c及折射光线X_mO_c在一个平面入射上，X_mO_c交投影面为m，即空间点X的成像点；在入射光线l_roy与折射光线X_mO_c形成的平面上，虚拟视点O与O_c对称于锥镜面的母线X_mO_m，X_mO_m交X_mO_c于点M；入射光线l_roy与锥面镜对称轴O_mO_c的交点到O_c的距离为Z_r，l_roy与X_mO_c夹角为φ；空间点X对应的虚拟视点O的轨迹圆垂直于对称轴O_mO_c并且圆心H在O_mO_c上，半径OH及视点轨迹圆到锥镜面顶点的距离O_mH分别为：其中θ为锥顶角的一半，ξ为镜面参数，HO_c的距离为Z_c；根据空间两点确定一条直线或者利用直线的Piücker坐标表示则确定线段XO的直线方程，那么直线上任一点的坐标表示即通过直线方程得到；由于虚拟视点O的轨迹是以R_c＝ζsin2θ为半径的圆；像点对应的物理坐标系下的点m′_i的其次坐标矩阵M₂为[u′_i v′_i 1]^T，i＝1，２…，５，其对应的极半径为：其中i＝1，２…，５，每个像点与像素坐标系中x轴的夹角为：γ_i＝αtan2(v′_i，u′_i)，i＝1，2…，5；符号下标i无特别说明表示第i个，符号本身的意义不变；在三维射影空间中，设空间直线上的两个不同的点所对应的齐次坐标矩阵分别为[x₁x₂ x₃ x₄]^T，[y₁ y₂ y₃ y₄]^T，其中x₄＝y₄＝1；则Piücker坐标l_ij被定义如下：则l_ii＝0，l_ij＝-l_ji，i＝1，2，3，4，j＝1，2，3，4；则六元组坐标[l₁₂l₃₁ l₁₄ l₂₃ l₂₄ l₃₄]^T满足方程：l₁₂l₃₄+l₃₁l₂₄+l₁₄l₂₃＝0；则在相差一个比例因子的情况下，对于任一六元组坐标满足l₂₃l₃₄+l₃₁l₂₄+l₁₄l₂₃＝0，都对应于三维空间中唯一的一类直线，即直线的Plücker坐标为：l＝{l₁₂，l₃₁，l₁₄，l₂₃，l₂₄，l₃₄}＝[l₁₄∶l₂₄∶l₃₄∶l₂₃∶l₃₁∶l₁₂]＝[v∶n]，其中v＝[l₁₄ l₂₄ l₃₄]^T，n＝[l₂₃ l₃₁ l₁₂]^T；设空间直线l的Plücker坐标表示为l＝[v_l：n_l]＝[v_xv_y v_z n_x n_y n_z]^T，由两条直线Plücker坐标l₁＝[v_l1∶n_l1]，l₂＝[v_l2∶n_l2]相交有关系式:入射光线的Piücker坐标表示为其中Z_ri＝Z_ci+R_ccotφ_i，Z_ci＝ξ-O_mH，根据入射光线l_royi和空间直线l相交利用式则获线像方程为：Z_riv_xisinφ_isinγ_i-Z_riv_yisinφ_icosγ_i+n_xisinφ_icosγ_i+n_yisinφ_isinγ_i+n_zicosφ_i＝0，其中i＝1，2，…，5；把l_royi＝[v_royi∶n_royi]式带入到Z_riv_xisinφ_isinγ_i-Z_riv_yisinφ_icosγ_i+n_xisinφ_icosγ_i+n_yisinφ_isinγ_i+n_zicosφ_i＝0式中，通过利用极坐标化简得：[r_icosγ_i r_isinγ_i r_i cosγ_i sinγ_i 1]ω＝0，其中线像的系数设M₁ ^T[r_i cosγ_i r_isinγ_i r_i cosγ_isinγ_i 1]，则有M₁ ^Tω＝0；对M₁进行SVD分解即求得线像的系数ω；由ω得：tan2θ＝ω₃/ω₆，则得到锥镜面的顶角2θ；

(3)求空间直线的Plücker坐标及锥镜面折反射摄像机的镜面参数ξ

将Z_ri＝Z_ci+R_ccotφ_i式和式代入Z_riv_risinφ_isinγ_i-Z_riv_yisinφ_icosγ_i+n_xisinφ_icosγ_i+n_yisinφ_isinγ_i+n_zicosφ_i＝0式化简后得：其中

l＝[v_x v_y n_x n_y n_z]^T；对M₂进行SVD分解即求得空间直线的Plücker坐标l；继续化简得到得到空间直线的Plücker坐标关系式：解出求得锥镜面参数ξ。