CN111369447B - 单目立体视觉图像中图像点的矫正方法 - Google Patents

Abstract

本发明提出了一种单目立体视觉图像中图像点的矫正方法，包括：步骤一、在真实图像中，对于三维物点P_w来说,由摄像机的成像模型可得：

(公式1)；式中，

分别为三维空间点P_w和其像点p的齐次坐标；λ为比例因子；M＝A[R|T]，是3×4投影矩阵，M₀为M的左面3×3部分，m₀为M的右面3×1部分；A为摄像机的内参矩阵，R为摄像机的旋转角度矩阵,T为摄像机的平移向量，[R|T]为摄像机的外参矩阵。步骤二、矫正后图像中像点的齐次坐标

式中M_z为极线校正的转换矩阵。单目立体视觉图像中图像点的矫正方法解决现有技术中极线与真实成像面或虚拟成像平面相交于极点的问题。

Description

单目立体视觉图像中图像点的矫正方法

技术领域

本发明涉及图像处理，具体涉及一种单目立体视觉图像中图像点的矫正方法。

背景技术

单目立体视觉图像是：使用一个摄像机，拍摄实物以及实物在平面镜中形成的虚像，得到的一个图像，如图1所示。

如图2(单目立体视觉图像的极线几何图)所示，在单目立体视觉图像中，对于三维空间一点P,其在真实成像面上的像点p₁、p₂和虚拟成像平面上的像点p₁'、p₂'构成一对极线几何点对，故PCC'构成一个极平面。由于虚像点p'和三维物点P于平面镜对称，且所有对称点的连线都垂直于平面镜所在的平面，包括真实光心和虚拟光心的连线，故连线PP'平行于基线CC'，PP'CC'在同一平面上，即PP'C在同一个平面上，PP'CC'平面交真实成像平面于直线l，故p₁、p₂、e三点共线，即在同一极线上；p₁、p₂之间的连线为极线；e为极点，也为极线与基线CC'的交点。

和双摄像机立体视觉一样，单目立体视觉在匹配过程中也是沿着单幅图像中匹配点对对应的极线进行搜索的，但是由于摄像机摆放的位置关系，实际应用中得到的立体像对对应的极线大都有所倾斜,并且极线与真实成像面或虚拟成像平面相交于极点，对应的特征点在垂直方向往往存在视差，且垂直视差值不固定，匹配点对的极线与图像的扫描线不相互平行，导致后续寻找图像中目标时寻找范围为二维图像，导致寻找速度低和查询结果的精度低的问题出现。

发明内容

本发明要提供一种单目立体视觉图像中图像点的矫正方法，解决现有技术中极线与真实成像面或虚拟成像平面相交于极点的问题。

为实现上述目的，本发明采用了如下的技术方案：

本发明提出了一种单目立体视觉图像中图像点的矫正方法，包括：

步骤一、在真实图像中，对于三维物点P_w来说,由摄像机的成像模型可得：

式中，

分别为三维空间点P_w和其像点p的齐次坐标；λ为比例因子；M＝A[RT]，是3×4投影矩阵；A为摄像机的内参矩阵，R为摄像机的旋转角度矩阵,T为摄像机的平移向量，[RT]为摄像机的外参矩阵；

步骤二、矫正后图像中像点的齐次坐标

式中M_z为极线校正的转换矩阵。

相比于现有技术，本发明具有如下有益效果：

通过使得极线与真实成像面或虚拟成像平面不相交于极点，降低了垂直视差，基本去除了垂直视差，进而将匹配点的查寻范围从二维图像降为了一维直线，使得使得查寻速度和查寻结果的精度显著提高。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为一个单目立体视觉图像；

图2为单目立体视觉图像的极线几何图；

图3为摄像机拍摄到的真实图像(a图中实物离镜面较近，b图中实物离镜面较远)；

图4为对摄像机拍摄到的真实图像进行修正后的图像(本图中a图和b图与图3中a图和b图对应)；

图5为单目视觉极线校正原理(图5中左图为原摄像机图像的极线几何图，右图为对获得图像矫正后的极线几何图)。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与作用更加清楚及易于了解，下面结合附图和具体实施方式对本发明作进一步阐述：

本发明提出了一种单目立体视觉图像中图像点的矫正方法，包括：

步骤一、在真实图像中，对于三维空间点P_w来说,由摄像机的成像模型可得：

式中，

分别为三维空间点P_w和其像点p的齐次坐标；λ为比例因子；M＝A[R|T]，是3×4投影矩阵；A为摄像机的内参矩阵，R为摄像机的旋转角度矩阵,T为摄像机的平移向量，[R|T]为摄像机的外参矩阵；

步骤二、矫正后图像中像点的齐次坐标

式中M_z为极线校正的转换矩阵。

优选的是，步骤二中

优选的是，M'＝A[R|-RC] (公式2)

式中，

M₀'为M'的左面3×3部分，m₀'为M'的右面3×1部分。

为了进行真实实验，其中：

内参矩阵：

外参矩阵：

从原图到新图像的校正矩阵为：

图4中，细线表示对应点的所在的极线，图3和图4中分别选取方形盒子的左上角顶点、右下角顶点、“A”的最下端点作为特征点，可以看到，极线校准后三个特征点的极线变成了相互平行的水平线。

极线校正后，对应的特征点在原图以及校正后的图的坐标见下表。由于参数标定误差的影响，使得校正后的极线并不刚好通过对应的特征点，而是有所偏差，文中采用Francesco Isgro,Emanuele Trucco等人提出的指标来衡量极线校正方法的精确程度，即采用校正后两幅图像对应的特征点的垂直视差的平均值来衡量校正精度。文中提取了30对特征点对，分别计算其垂直视差并求其均值得到校正精度为0.833。

表1、图像校正前后的坐标比较(单位：像素(pixels))

由上表可以看出，校正后图像的垂直视差与原拍摄图像的垂直视差相比，明显可以看出垂直视差降低了，基本去除了垂直视差，进而将匹配点的查寻范围从二维图像降为了一维直线，使得使得查寻速度和查寻结果的精度显著提高。

矫正的原理，如图5所示。

极线校正的转换矩阵的获得步骤如下：

步骤S1、设原摄像机的投影方程为：

λp＝MP_w＝MP+m₀ (公式4)

式中，λ为比例因子；P_w＝(x_w y_w z_w 1)^T为P_w点的世界坐标，M为三维空间点P_w到像平面点p的3×4透视投影矩阵，M₀为M的左面3×3部分，m₀为M的右面3×1部分，可以表示为

其中，

步骤S2、由式(公式4)和(公式5)可得到投影方程的另一表达式：

展开可以得到：

步骤S3、

三个平面的交点是真实摄像机的光心坐标，故光心C可以表示为：

步骤S4、原摄像机中投影矩阵M也可表示为：

M＝[M₀|-M₀C] (公式10)

步骤S4、由式子(公式7)和(公式9),对于一三维点P，也可以表达如下:

步骤S5、假设在校正前已经完成了对摄像机内外参数的标定,并获得了该摄像机的透视投影矩阵M，将摄像机绕其光心旋转，当旋转到摄像机焦平面与平面镜平面垂直时，所有的极线将相互平行；

步骤S6、为进一步使所有极线变成水平，建立新的摄像机坐标系O-XYZ，使得虚拟摄像机光心C真实摄像机光心C’之间的连线与X轴平行，调整后，空间任一三维点及其虚像在摄像机像平面内的像点的垂向坐标相同；

步骤S7、设新摄像机的投影矩阵表示为：M′＝A[R|-RC]，其中

r₁、r₂、r₃分别表示新摄像机坐标系的X、Y、Z轴，求解如下：r₁＝(c₁-c₂)/||c₁-c₂||；

步骤S71、新的坐标系下的X轴平行于极线：真实摄像机光心的坐标由(5-19)式可求得，由于虚拟摄像机光心和真实摄像机光心关于镜面对称，故虚拟摄像机光心的坐标

步骤S72、新的摄像机坐标系的Y轴垂直于新的摄像机坐标系的X轴，且垂直于新的摄像机坐标系的X轴和原摄像机坐标系Z轴组成的平面，故r₂等于k和r₁的叉积，即：r₂＝k×r₁；其中k为原摄像机坐标系的Z轴方向的单位矢量；

步骤S73、新的摄像机坐标系的Z轴与X轴、Y轴正交，故r₃等于r₁和r₂的叉积，即：r₃＝r₁×r₂；

步骤S8、对于空间任意一三维点，在原坐标系和新坐标系下的投影关系为：

步骤S9、根据公式11：

步骤S10、

步骤S11、可得极线校正的转换矩阵：

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种单目立体视觉图像中图像点的矫正方法，单目立体视觉图像是：使用一个摄像机，拍摄实物以及实物在平面镜中形成的虚像，得到的一个图像；其特征在于，包括：

步骤一、在真实图像中，对于三维空间点P_w来说,由摄像机的成像模型可得：

式中，

分别为三维空间点P_w和其像点p的齐次坐标；λ为比例因子；M＝A[R|T]，是3×4投影矩阵，M₀为M的左面3×3部分，m₀为M的右面3×1部分；A为摄像机的内参矩阵，R为摄像机的旋转角度矩阵,T为摄像机的平移向量，[R|T]为摄像机的外参矩阵；

步骤二、矫正后图像中像点的齐次坐标

式中M_z为极线校正的转换矩阵；

步骤二中极线校正的转换矩阵的获得步骤如下：

步骤S1、设原摄像机的投影方程为：

λp＝MP_w＝MP+m₀ (公式4)

式中，λ为比例因子；P_w＝(x_w y_w z_w 1)^T为P_w点的世界坐标，M为三维空间点P_w到像平面点p的3×4透视投影矩阵，M₀为M的左面3×3部分，m₀为M的右面3×1部分，可以表示为

其中，

步骤S2、由式(公式4)和(公式5)可得到投影方程的另一表达式：

展开可以得到：

步骤S3、

三个平面的交点是摄像机的光心坐标，故光心C可以表示为：

步骤S4、原摄像机投影矩阵M也可表示为：

M＝[M₀|-M₀C] (公式10)

步骤S4、由式子(公式7)和(公式9),对于一三维点P，也可以表达如下:

步骤S5、假设在校正前已经完成了对摄像机内外参数的标定,并获得了该摄像机的透视投影矩阵M，将摄像机绕其光心旋转，当旋转到摄像机焦平面与平面镜平面垂直时，所有的极线将相互平行；

步骤S6、为进一步使所有极线变成水平，建立新的摄像机坐标系O-XYZ，使得虚拟摄像机光心C真实摄像机光心C’之间的连线与X轴平行，调整后，空间任一三维点及其虚像在摄像机像平面内的像点的垂向坐标相同；

步骤S7、设新摄像机的投影矩阵表示为：M'＝A[R|-RC]，其中

r₁、r₂、r₃分别表示新摄像机坐标系的X、Y、Z轴，求解如下：r₁＝(c₁-c₂)/||c₁-c₂||；

步骤S71、新的坐标系下的X轴平行于极线：真实摄像机光心的坐标由(公式9)式可求得，由于虚拟摄像机光心和真实摄像机光心关于镜面对称，故虚拟摄像机光心的坐标

步骤S72、新的摄像机坐标系的Y轴垂直于新的摄像机坐标系的X轴，且垂直于新的摄像机坐标系的X轴和原摄像机坐标系Z轴组成的平面，故r₂等于k和r₁的叉积，即：r₂＝k×r₁；其中k为原摄像机坐标系的Z轴方向的单位矢量；

步骤S73、新的摄像机坐标系的Z轴与X轴、Y轴正交，故r₃等于r₁和r₂的叉积，即：r₃＝r₁×r₂；

步骤S8、对于空间任意一三维点，在原坐标系和新坐标系下的投影关系为：

步骤S9、根据公式11：

步骤S10、

步骤S11、可得极线校正的转换矩阵：

。

Images