CN103245322B - 一种基于双目立体视觉的测距方法及系统 - Google Patents

Abstract

本发明公开了一种基于双目立体视觉的测距方法及系统，该方法通过获得两个固定点之间的位置关系从而转换为以一个固定点为原点构建测距模型，根据该模型通过简单的标定即可获取未知参数，实现目标测距；同时利用热像仪与可见光CCD摄像机组成的异源测距，提高了红外-可见光图像的信息量，提供了目标的位置信息。

Description

一种基于双目立体视觉的测距方法及系统

技术领域

本发明涉及一种测距方法，更具体的说是一种基于双目立体视觉的测距方法及系统。

背景技术

双目立体视觉测距法是一种被动测距方法，该方法是模仿人类利用双目感知距离的一种测距方法。其主要是运用两台摄像机对公共视野范围内同一物体在不同位置成像获得立体相对，并根据成像视差测量物体的距离信息。现有的双目立体视觉测距系统都是通过单一源的可见光图像传感器实现的。然而当遭遇大雾、下雨等能见度比较低的恶劣天气或其它复杂环境时，仅仅依靠一对可见光摄像机实现目标测距是比较困难的。随着科学技术的飞速发展，多传感器技术的应用日益广泛。如果能够在可见光摄像机基础上融合其它类型传感器信息，就可以为复杂环境下的目标测距提供更加丰富的信息。

2011年浙江理工大学王雷雷的硕士论文《基于可见光与红外汽车夜视系统目标测距》中提出了一种主动红外的双目视觉测距系统。这种主动红外摄像机通过红外灯发出红外线，利用CCD或CMOS感受红外光的光谱(即可以感受可见光，也可以感受红外光)，配合红外灯作为“照明源”实现成像。由此可见，该系统需要由红外灯发射红外光照射目标才能由CCD或CMOS观察到，因此需要携带红外探照灯和额外的电源；并且该系统的作用距离还受限于红外探照灯的功率，因此主动式红外探测器适用于室内。使用于室外时，受环境气候影响较大。如遇雾天、下雪、下雨、刮风沙等恶劣天气时，能见度下降，作用距离因此而缩短。此外，其接受光谱的设备CCD或CMOS依然是可见光摄像机。

不同于主动红外探测器，热像仪是一种对物体散发出的红外线进行感光成像的设备，可以将物体发出的不可见红外能量转变为可见的热图像。热图像上的不同颜色代表被测物体的不同温度，因此并不需要额外的光源。热像仪采集的图像具有很好的云雾穿透、以及特殊的识别伪装的能力。而可见光摄像机有较高的时空分辨率，所成的图像含有丰富的几何和纹理细节。这两种图像的信息具有互补性，冗余性，可以利用它们来改变实际应用中单一成像传感器的不足，从而有效拓展目标检测的空间和时间覆盖范围,提高系统的空间分辨率以及目标检测和抗干扰能力。因此如果能够利用红外-可见光图像实现双目测距可以提高图像的信息量，提供目标的位置信息，这对于复杂背景条件下目标跟踪、事先预警等是非常有意义的。

传统的双目测距方法是利用两台性能参数完全一致的可见光摄像机，将其置于平行摄像模式，根据三角形原理求解目标的距离信息。此外，虽然立体平行摄像系统成像模型简单便于计算,可是不允许摄像机左右旋转，从而大大减小了摄像机的等效视界，甚至会造成盲区。理论上，对于立体视觉而言只要两台摄像机的内参数(焦距、主点等)及外参数(两台摄像机的相对位置关系)已知，即可根据透视投影矩阵实现三维重建从而获取空间任意点的三维空间坐标。这样即可不受视野限制，扩大系统的测距范围。此外，如果两台摄像机相对位置关系为已知更可以大大降低双目测距的难度。实际上，两台摄像机的相对位置通常是指两个镜头光心的相对位置。然而镜头光心并不是一个明确定义的不变的物理位置，它看不见摸不着，经常随着镜头焦距的变换或者镜头位置的变化而移动，因此实际操作中很难测量光心到各个点的距离。目前主要通过标定算法对摄像系统进行精确标定获取外参数。然而精确的标定算法大多需要借助额外的标定模板，操作复杂，耗时较长，而且一旦摄像系统的任意参数发生变化就需要重新标定，只适用于摄像机固定的场所。因此如果能够简单获取摄像机的相对位置关系将大大降低测距系统的复杂度。

发明内容

本发明解决的技术问题是一种避免重复标定摄像系统参数的基于双目立体视觉的测距方法，该方法主要用于计算机视觉领域。

为解决上述技术问题，本发明一种基于双目立体视觉的测距方法，该方法通过旋转左右两台摄像机来实现汇聚模式下的测距，包括以下步骤：

步骤1、设置两个固定点R1和R2，并测量这两个固定点之间的垂直间距t和水平间距r，将旋转前左光心O₁与固定点R1的连接线围绕着固定点R1旋转、旋转前右光心O₂与固定点R2的连接线围绕着固定点R2旋转使得旋转后的两个光轴相交；其中，旋转前两个光轴平行；

步骤2、采集一组图像，并在交汇视野范围内任选三个空间参考点Q₁、Q₂、Q₃，分别确定三个空间参考点在左视图中的横坐标和右视图中的横坐标，并测量三个空间参考点与固定点R1之间的水平距离和垂直距离；

步骤3、根据三角形的相似原理，构建上述三个空间参考点与固定点R1构成的透视投影关系模型；

步骤4、利用步骤3建立的三个空间参考点与固定点R1构成的透视投影关系模型来确定固定点R1与旋转前左光心O₁之间的垂直间距n1和水平间距m1、固定点R2与旋转前右光心O₂之间的垂直间距n2和水平间距m2、左镜头的主点横坐标u_o1和右镜头的主点横坐标u_o2；

步骤5、选取待测目标点P，并根据步骤4中获得的固定点R1与旋转前左光心O₁之间的垂直间距n1和水平间距m1以及固定点R2与旋转前右光心O₂之间的垂直间距n2和水平间距m2、左镜头的主点横坐标u_o1和右镜头的主点横坐标u_o2来确定待测目标点P在以固定点R1为原点的坐标系下的距离关系即待测目标点P与固定点R1之间的水平间距x₀和垂直距离z₀₁、待测目标点P到固定点R1的直线距离l₁、待测目标点P到固定点R1的水平间距x₀与待测目标P到固定点R1的直线距离l₁的夹角θ。

进一步地优选方案，本发明基于双目立体视觉的测距方法中，所述步骤3中建立的三个空间参考点与固定点R1构成的透视投影关系模型如下：

$u_1\left(k\right)-u_{o1}=\frac{f_1(x_0\left(k\right)-z_{01}\left(k\right)\tan {\mathrm{\θ}}_1-m_1\sec {\mathrm{\θ}}_1)}{z_{01}\left(k\right)+x_0\left(k\right)\tan {\mathrm{\θ}}_1+n_1\sec {\mathrm{\θ}}_1}$

$u_2\left(k\right)-u_{o2}=\frac{f_2((x_0\left(k\right)-r)-(z_{01}\left(k\right)+t)\tan {\mathrm{\θ}}_2-m_2\sec {\mathrm{\θ}}_2)}{z_{01}\left(k\right)+t+(x_0\left(k\right)-r)\tan {\mathrm{\θ}}_2+n_2\sec {\mathrm{\θ}}_2}$

式中，u₁(k)、u₂(k)分别为三个空间参考点Q₁、Q₂和Q₃在左、右视图的横坐标，其中k＝1,2,3，f₁为左镜头的焦距，f₂为右镜头的焦距，u_o1为左镜头的主点横坐标；u_o2为右镜头的主点横坐标，x₀(k)为三个参考点Q₁、Q₂、Q₃到R₁点的水平距离，z₀₁(k)为三个参考点Q₁、Q₂、Q₃到固定点R₁的垂直距离，θ₁为左光轴的旋转角度，θ₂为右光轴的旋转角度。

进一步地优选方案，本发明基于双目立体视觉的测距方法中，所述步骤5中利用下式确定待测目标点P在以固定点R1为原点的坐标系下的距离关系：

$u_1-u_{o1}=\frac{f_1(x_0-z_{01}\tan {\mathrm{\θ}}_1-m_1\sec {\mathrm{\θ}}_1)}{z_{01}+x_0\tan {\mathrm{\θ}}_1+n_1\sec {\mathrm{\θ}}_1}$

$u_2-u_{o2}=\frac{f_2((x_0-r)-(z_{01}+t)\tan {\mathrm{\θ}}_2-m_2\sec {\mathrm{\θ}}_2)}{z_{01}+t+(x_0-r)\tan {\mathrm{\θ}}_2+n_2\sec {\mathrm{\θ}}_2}$

式中，u₁为待测目标点P在左视图中的横坐标，u₂为待测目标点P在右视图中的横坐标，x₀为待测目标点P到固定点R₁的水平距离，z₀₁为待测目标点P到固定点R₁的垂直距离；

待测目标点P在XR₁Z坐标系下的距离公式如下：

$z_{01}=\frac{a_{2}t+r+e_2-e_1}{a_1+a_2}$

x₀＝a₁z₀₁+e₁

$l_1=\sqrt{x_0^2+z_{01}^2}$

$\mathrm{\θ}=\arctan \left(\frac{z_{01}}{x_0}\right)$

其中 $a_1=\frac{f_1\tan {\mathrm{\θ}}_1+u_1-u_{o1}}{f_1-\tan {\mathrm{\θ}}_1(u_1-u_{o1})},a_2=\frac{f_2\tan {\mathrm{\θ}}_2+u_2-u_{o2}}{f_2-\tan {\mathrm{\θ}}_2(u_2-u_{o2})},e_1=\sec {\mathrm{\θ}}_1\frac{f_1{m}_1+n_1(u_1-u_{o1})}{f_1-\tan {\mathrm{\θ}}_1\left(u_1{-u}_{o1}\right)},$ l₁为待测目标点P到R₁的直线距离。

进一步地优选方案，本发明基于双目立体视觉的测距方法中，所述三个空间参考点与固定点R1构成的透视投影关系模型中的三个参考点Q₁、Q₂、Q₃到固定点R₁的水平距离x₀(k)和垂直距离z₀₁(k)通过测量得到。

进一步地优选方案，本发明基于双目立体视觉的测距方法中，所述三个空间参考点与固定点R1构成的透视投影关系模型中的三个参考点Q₁、Q₂、Q₃到固定点R₁的水平距离x₀(k)和垂直距离z₀₁(k)通过下式确定：

$z_{01}\left(k\right)=l_1\left(k\right)\sin (\mathrm{ar}\cos \left(\frac{l_1{\left(k\right)}^2+t^2+r^2-l_2{\left(k\right)}^2}{2l_1\left(k\right)\·\sqrt{t^2+r^2}}\right)-\arctan \left(\frac{t}{r}\right))$

$x_0\left(k\right)=l_1\left(k\right)\cos (\mathrm{ar}\cos \left(\frac{l_1{\left(k\right)}^2+t^2+r^2-l_2{\left(k\right)}^2}{2l_1\left(k\right)\·\sqrt{t^2+r^2}}\right)-\arctan \left(\frac{t}{r}\right))$

其中，l₁(k)为三个参考点Q₁、Q₂、Q₃到固定点R₁的直线距离；l₂(k)为三个参考点Q₁、Q₂、Q₃到固定点R₂的直线距离。

进一步地优选方案，本发明基于双目立体视觉的测距方法中，所述步骤5中待测目标点P的选取范围为步骤2中采集的一组图像内选取或重新采集一组图像并在该图像中选取。

为了实现该测距方法，本发明同时提出了一种基于双目立体视觉的测距系统，该系统包括两台摄像装置、左转台和右转台，所述两台摄像装置分别设置在左转台和右转台上，将左转台和右转台的旋转中心作为两个固定点，通过旋转左右转台使得两台摄像装置实现交汇模式。其中，两台摄像装置为热像仪和可见光CCD摄像机的组合或均为可见光CCD摄像机或均为热像仪。

本发明与现有技术相比具有以下显著的进步：(1)该方法通过获得两个固定点之间的位置关系从而转换为以一个固定点为原点构建测距模型，根据该模型通过简单的标定即可获取未知参数，实现目标测距；该方法实现简单，大部分参数通过人工测量即可获取，大大简化了汇聚模式下的测距过程。(2)该方法和系统实现了热像仪与可见光CCD摄像机组成的异源测距，提高了红外-可见光图像的信息量，提供了目标的位置信息，这对于复杂背景条件下目标跟踪、事先预警等是非常有意义的。

下面结合附图和具体实施方式对本发明作进一步详细的描述；

附图说明

图1是本发明中转台水平转动引起的光心和旋转中心的相对位置变化示意图；

图2是本发明中立体汇聚模式下双目测距原理示意图；

图3是本发明中立体汇聚模式下转台旋转中心与待测点的几何位置关系图

图4是本发明中测距系统的结构示意图。

图5是本发明的测距流程示意图。

具体实施方式

本发明一种基于双目立体视觉的测距方法，该方法通过旋转左右两台摄像机来实现汇聚模式下的测距，包括以下步骤：

步骤1、设置两个固定点R1和R2，并测量这两个固定点之间的垂直间距t和水平间距r，将旋转前左光心O₁与固定点R1的连接线围绕着固定点R1旋转、旋转前右光心O₂与固定点R2的连接线围绕着固定点R2旋转使得旋转后的两个光轴相交；其中，旋转前两个光轴平行；

步骤2、采集一组图像，并在交汇视野范围内任选三个空间参考点Q₁、Q₂、Q₃，分别确定三个空间参考点在左视图中的横坐标和右视图中的横坐标，并测量三个空间参考点与固定点R1之间的水平距离和垂直距离；其中采集的一组图像可以为红外-可见光图像、可见光图像-可见光图像、红外-红外图像三种组合中的任意一组；

步骤3、根据三角形的相似原理，构建上述三个空间参考点与固定点R1构成的透视投影关系模型，具体如下：

$u_1\left(k\right)-u_{o1}=\frac{f_1(x_0\left(k\right)-z_{01}\left(k\right)\tan {\mathrm{\θ}}_1-m_1\sec {\mathrm{\θ}}_1)}{z_{01}\left(k\right)+x_0\left(k\right)\tan {\mathrm{\θ}}_1+n_1\sec {\mathrm{\θ}}_1}$

$u_2\left(k\right)-u_{o2}=\frac{f_2((x_0\left(k\right)-r)-(z_{01}\left(k\right)+t)\tan {\mathrm{\θ}}_2-m_2\sec {\mathrm{\θ}}_2)}{z_{01}\left(k\right)+t+(x_0\left(k\right)-r)\tan {\mathrm{\θ}}_2+n_2\sec {\mathrm{\θ}}_2}$

式中，u₁(k)、u₂(k)分别为三个空间参考点Q₁、Q₂和Q₃在左、右视图的横坐标，其中k＝1,2,3，f₁为左镜头的焦距，f₂为右镜头的焦距，u_o1为左镜头的主点横坐标；u_o2为右镜头的主点横坐标，x₀(k)为三个参考点Q₁、Q₂、Q₃到固定点R₁的水平距离，z₀₁(k)为三个参考点Q₁、Q₂、Q₃到固定点R₁的垂直距离，θ₁为左光轴的旋转角度，θ₂为右光轴的旋转角度；其中，三个参考点Q₁、Q₂、Q₃到固定点R₁的水平距离x₀(k)和垂直距离z₀₁(k)通过测量得到或者利用下式确定：

$z_{01}\left(k\right)=l_1\left(k\right)\sin (\mathrm{ar}\cos \left(\frac{l_1{\left(k\right)}^2+t^2+r^2-l_2{\left(k\right)}^2}{2l_1\left(k\right)\·\sqrt{t^2+r^2}}\right)-\arctan \left(\frac{t}{r}\right))$

$x_0\left(k\right)=l_1\left(k\right)\cos (\mathrm{ar}\cos \left(\frac{l_1{\left(k\right)}^2+t^2+r^2-l_2{\left(k\right)}^2}{2l_1\left(k\right)\·\sqrt{t^2+r^2}}\right)-\arctan \left(\frac{t}{r}\right))$

其中，l₁(k)为三个参考点Q₁、Q₂、Q₃到固定点R₁的直线距离；l₂(k)为三个参考点Q₁、Q₂、Q₃到固定点R₂的直线距离；

步骤4、利用步骤3建立的三个空间参考点与固定点R1构成的透视投影关系模型来确定固定点R1与旋转前左光心O₁之间的垂直间距n1和水平间距m1、固定点R2与旋转前右光心O₂之间的垂直间距n2和水平间距m2、左镜头的主点横坐标u_o1和右镜头的主点横坐标u_o2；

步骤5、选取待测目标点P，并根据步骤4中获得的固定点R1与旋转前左光心O₁之间的垂直间距n1和水平间距m1以及固定点R2与旋转前右光心O₂之间的垂直间距n2和水平间距m2、左镜头的主点横坐标u_o1和右镜头的主点横坐标u_o2来确定待测目标点P在以固定点R1为原点的坐标系下的距离关系即待测目标点P与固定点R1之间的水平间距x₀和垂直距离z₀₁、待测目标点P到固定点R1的直线距离l₁、待测目标点P到固定点R1的水平间距x₀与待测目标P到固定点R1的直线距离l₁的夹角θ，具体为：

利用下式确定待测目标点P在以固定点R1为原点的坐标系下的距离关系：

$u_1-u_{o1}=\frac{f_1(x_0-z_{01}\tan {\mathrm{\θ}}_1-m_1\sec {\mathrm{\θ}}_1)}{z_{01}+x_0\tan {\mathrm{\θ}}_1+n_1\sec {\mathrm{\θ}}_1}$

$u_2-u_{o2}=\frac{f_2((x_0-r)-(z_{01}+t)\tan {\mathrm{\θ}}_2-m_2\sec {\mathrm{\θ}}_2)}{z_{01}+t+(x_0-r)\tan {\mathrm{\θ}}_2+n_2\sec {\mathrm{\θ}}_2}$

式中，u₁为待测目标点P在左视图中的横坐标，u₂为待测目标点P在右视图中的横坐标，这两个参数可以人工提取，也可以通过计算机运算获得；当采集的一组图像为可见光-可见光图像和红外-红外图像时，通过诸如背景差、二值分割等预处理可以提取出目标点在左视图中的横坐标u₁，再利用同源图像视差匹配方法可以获得目标点在右视图中的横坐标u₂；而当采集的一组图像为红外-可见光图像时，同样可以通过诸如背景差、二值分割等预处理可以提取出目标点在左视图中的横坐标u₁，但需要利用异源图像视差匹配方法获得目标点在右视图中的横坐标u₂；x₀为待测目标点P到固定点R₁的水平距离，z₀₁为待测目标点P到固定点R₁的垂直距离；

待测目标点P在XR₁Z坐标系下的距离公式如下：

$z_{01}=\frac{a_{2}t+r+e_2-e_1}{a_1+a_2}$

x₀＝a₁z₀₁+e₁

$l_1=\sqrt{x_0^2+z_{01}^2}$

$\mathrm{\θ}=\arctan \left(\frac{z_{01}}{x_0}\right)$

其中 $a_1=\frac{f_1\tan {\mathrm{\θ}}_1+u_1-u_{o1}}{f_1-\tan {\mathrm{\θ}}_1(u_1-u_{o1})},a_2=\frac{f_2\tan {\mathrm{\θ}}_2+u_2-u_{o2}}{f_2-\tan {\mathrm{\θ}}_2(u_2-u_{o2})},e_1=\sec {\mathrm{\θ}}_1\frac{f_1{m}_1+n_1(u_1-u_{o1})}{f_1-\tan {\mathrm{\θ}}_1\left(u_1{-u}_{o1}\right)},$ l₁为待测目标点P到R₁的直线距离。

实现上述测距方法的系统，该系统包括两台摄像装置、左转台和右转台，所述两台摄像装置分别设置在左转台和右转台上，将左转台和右转台的旋转中心作为两个固定点，通过旋转左右转台使得两台摄像装置实现交汇模式。其中，两台摄像装置为热像仪和可见光CCD摄像机的组合或均为可见光CCD摄像机或均为热像仪。

利用上述系统来实现测距的具体过程如下：

该方法以左转台的旋转中心为基准点，测量汇聚模式下待测目标点P到旋转中心的距离。转台的水平转动将导致光心和转台旋转中心的相对位置发生变化，该位置变化如图1所示，左转台旋转中心R₁和右转台旋转中心R₂的位置不会随着旋转而改变。旋转前左镜头光轴001和旋转前右镜头光轴002相平行。旋转后左镜头光轴003和旋转后右镜头光轴004相交且交点为O点。P为待测目标点，以左转台旋转中心R₁为坐标系原点，根据图1可得到XR₁Z坐标系中的旋转前后光心距离的变化关系：

旋转前：b＝r+m₂-m₁(1)

d＝|t+n₂-n₁|(2)

x＝x₀-m₁(3)

z₁＝z₀₁+n₁(4)

旋转后：b_v＝r+(m₂cosθ₂-n₂sinθ₂)-(m₁cosθ₁-n₁sinθ₁)(5)

d_v＝|t+(n₂cosθ₂+m₂sinθ₂)-(n₁cosθ₁+m₁sinθ₁)|(6)

x_v＝x₀-(m₁cosθ₁-n₁sinθ₁)(7)

z_v1＝z₀₁+(n₁cosθ₁+m₁sinθ₁)(8)

(1)、(2)、(3)、(4)、(5)、(6)、(7)和(8)式中：

m₁为旋转前R₁和O₁的水平间距，对应图1中的|O₁B|；n₁为旋转前R₁和O₁的垂直间距，对应图1中的|R₁B|；m₂为旋转前R₂和O₂的水平间距，对应图1中的|O₂C|；n₂为旋转前R₂和O₂的垂直间距，对应图1中的|R₂C|；r为R₁和R₂水平间距，对应图1中的|R₁A|；t为R₁和R₂的垂直间距，对应图1中的|R₂A|；b为旋转前O₁和O₂的水平间距，对应图1中的|DO₂|；d为旋转前O₁和O₂的垂直间距，图1中的|DO₁|；x₀为P点到R₁点的水平距离，对应图1中的|PE|；z₀₁为P点到R₁点的垂直距离，对应图1中的|R₁E|；x为旋转前P点到O₁点的水平距离，对应图1中的|PF|；z₁为P点到O₁点的垂直距离，对应图1中的|O₁F|；b_v为旋转后O₁’和O₂’的水平距离；d_v为旋转后O₁’和O₂’的垂直距离；x_v为旋转后P点到O₁’点的水平距离,对应图1中的|PG|；z_v1为旋转后P点到O₂’点的垂直距离,对应图1中的|O₁’G|。||表示绝对值。注：在XR₁Z坐标系中，当O_i在R_i右边时，m_i﹥0；当O_i在R_i后方时，n_i﹥0；当R₁在R₂前方时t﹥0；顺时针旋转时θ_i﹥0，(i＝1,2)。

通过旋转将立体视觉系统从平行模式转换至汇聚模式，立体汇聚模式的双目视觉测距法的原理图如图2所示。在图2中，P为待测目标点。根据三角形的相似原理，得出以下等式：

$u_1-u_{o1}=\frac{f_1(x_0-z_{01}\tan {\mathrm{\θ}}_1-m_1\sec {\mathrm{\θ}}_1)}{z_{01}+x_0\tan {\mathrm{\θ}}_1+n_1\sec {\mathrm{\θ}}_1}----\left(9\right)$

$u_2-u_{o2}=\frac{f_2((x_0-r)-(z_{01}+t)\tan {\mathrm{\θ}}_2-m_2\sec {\mathrm{\θ}}_2)}{z_{01}+t+(x_0-r)\tan {\mathrm{\θ}}_2+n_2\sec {\mathrm{\θ}}_2}---\left(10\right)$

(9)式和(10)式中，u₁为P点在左像平面005中的横坐标；u₂为P点在右像平面006中的的横坐标；u_o1为左镜头的主点横坐标；u_o2为右镜头的主点横坐标；f₁为左镜头的焦距，对应图2中的|O₁’U_o1|；f₂为右镜头的焦距，对应图2中的|O₂’U_o2|；f_1、f₂在摄像机出厂时已设定，b_v为O₁’和O₂’的水平间距,对应图2中的|HO₂’|；d_v为O₁’和O₂’的垂直间距，对应图2中的|HO₁’|；x_v为P点到O₁’点的水平距离,对应图1中|PG|，图2中的|PG|；z_v1为P点到O₂’点的垂直距离,对应图1中的|O₁’G|，图2中|O₁’G|。

结合图1和图2，根据式(1)-(8)，可以将式(9)和(10)转化为下式：

$u_1\left(k\right)-u_{o1}=\frac{f_1(x_0\left(k\right)-z_{01}\left(k\right)\tan {\mathrm{\θ}}_1-m_1\sec {\mathrm{\θ}}_1)}{z_{01}\left(k\right)+x_0\left(k\right)\tan {\mathrm{\θ}}_1+n_1\sec {\mathrm{\θ}}_1}---\left(11\right)$

$u_2\left(k\right)-u_{o2}=\frac{f_2((x_0\left(k\right)-r)-(z_{01}\left(k\right)+t)\tan {\mathrm{\θ}}_2-m_2\sec {\mathrm{\θ}}_2)}{z_{01}\left(k\right)+t+(x_0\left(k\right)-r)\tan {\mathrm{\θ}}_2+n_2\sec {\mathrm{\θ}}_2}---\left(12\right)$

为了获得目标点P在XR₁Z坐标系下的距离公式即z_01、x_0、l₁和θ，必须先对公式(11)、(12)中的未知参数u_o1、u_o2、m₁、m₂、n₁、n₂进行标定，具体标定如下：

在实际应用中，红外热像仪和可见光相机的镜头焦距可以通过出厂技术参数获取；u₁和u₂可以通过图像匹配获取；θ₁和θ₂可以通过转台的旋转刻度读取；r和t也可以通过人工测量得到。此外还需要求解u_o1、u_o2、m₁、n₁、m₂和n₂才能实现测距。对于一个f、θ₁、θ₂、r和t已经固定的双目测距系统，一个已知u₁、u₂、x₀和z₀₁的空间点可以提供两个方程。因此选择三个已知空间参考点，组成一个六元二次方程组即能求解这6个未知参数。假设已知三个空间参考点Q₁、Q₂和Q₃，它们与左旋转中心R₁的位置关系分别为x₀(k)和z₀₁(k)(k＝1,2,3)，它们在左右视图的横坐标分别为u₁(k)、u₂(k)，则可以根据式(11)和(12)得到方程组(13)：

$u_1\left(k\right)-u_{o1}=\frac{f_1(x_0\left(k\right)-z_{01}\left(k\right)\tan {\mathrm{\θ}}_1-m_1\sec {\mathrm{\θ}}_1)}{z_{01}\left(k\right)+x_0\left(k\right)\tan {\mathrm{\θ}}_1+n_1\sec {\mathrm{\θ}}_1}$

$u_2\left(k\right)-u_{o2}=\frac{f_2((x_0\left(k\right)-r)-(z_{01}\left(k\right)+t)\tan {\mathrm{\θ}}_2-m_2\sec {\mathrm{\θ}}_2)}{z_{01}\left(k\right)+t+(x_0\left(k\right)-r)\tan {\mathrm{\θ}}_2+n_2\sec {\mathrm{\θ}}_2}k=\mathrm{1,2,3}---\left(13\right)$

在实际操作中，r和t比较容易测量；x₀(k)和z₀₁(k)虽然也可以测量，但是相对比较复杂，而且也容易造成比较大的误差。相对而言，目标点到各个旋转中心的直线距离确是比较方便测量的，并且该直线距离与水平距离x₀(k)和垂直距离z₀₁(k)也存在固定的几何位置关系(如图3所示)。根据图3所示的几何关系可以求解出下式：

$z_{01}\left(k\right)=l_1\left(k\right)\sin (\mathrm{ar}\cos \left(\frac{l_1{\left(k\right)}^2+t^2+r^2-l_2{\left(k\right)}^2}{2l_1\left(k\right)\·\sqrt{t^2+r^2}}\right)-\arctan \left(\frac{t}{r}\right))---\left(14\right)$

$x_0\left(k\right)=l_1\left(k\right)\cos (\mathrm{ar}\cos \left(\frac{l_1{\left(k\right)}^2+t^2+r^2-l_2{\left(k\right)}^2}{2l_1\left(k\right)\·\sqrt{t^2+r^2}}\right)-\arctan \left(\frac{t}{r}\right))---\left(15\right)$

其中，l₁(k)为三个参考点Q₁、Q₂、Q₃到R₁点的直线距离；l₂(k)为三个参考点Q₁、Q₂、Q₃到R₂点的直线距离；

因此可以通过直接测量r、t、l₁(k)、l₂(k)这四个值计算出三个参考点的x₀(k)和z₀₁(k)，进而根据方程组(13)求解出u_o1、u_o2、m₁、n₁、m₂和n₂。

根据式(1)-(15)中所有参数f₁、f₂、u_o1、u_o2、u₁、u₂、r、t、θ₁、θ₂、m₁、n₁、m₂、n₂的数值均为已知。

联立式(11)和(12)即可求解出目标点P在XR₁Z坐标系下的距离公式：

$z_{01}=\frac{a_{2}t+r+e_2-e_1}{a_1+a_2}---\left(16\right)$

x₀＝a₁z₀₁+e₁(17)

$l_1=\sqrt{x_0^2+z_{01}^2}---\left(18\right)$

$\mathrm{\θ}=\arctan \left(\frac{z_{01}}{x_0}\right)$

其中 $a_1=\frac{f_1\tan {\mathrm{\θ}}_1+u_1-u_{o1}}{f_1-\tan {\mathrm{\θ}}_1(u_1-u_{o1})},a_2=\frac{f_2\tan {\mathrm{\θ}}_2+u_2-u_{o2}}{f_2-\tan {\mathrm{\θ}}_2(u_2-u_{o2})},$

$e_1=\sec {\mathrm{\θ}}_1\frac{f_1{m}_1+n_1(u_1-u_{o1})}{f_1-\tan {\mathrm{\θ}}_1\left(u_1{-u}_{o1}\right)},e_2=\sec {\mathrm{\θ}}_2\frac{f_2{m}_2+n_2(u_2-u_{o2})}{f_2-\tan {\mathrm{\θ}}_2(u_2-u_{o2})}.$

l₁为X-Z平面上点P到R₁的直线距离，对应图3中的|PR₁|；θ为X-Z平面上目标点P的水平方向角，对应图3中的∠PR₁J。

设计如图4所示的双目立体汇聚模式测距系统，热像仪在左，可见光CCD在右，两台摄像机分别安装两台在可以左右旋转的转台上，调节转台的水平仪确保两台转台水平放置。两转台的旋转轴夹角(即摄像机光轴夹角)为θ₁+θ₂，转台的转盘上有刻度可以显示旋转的角度。

如图5所示，当两台摄像机分别为红外热像仪和可见光摄像机时，本方法的基本流程如下：

(1)建立初始固定场景：将热像仪和CCD分别安装在平行转台上，测量R₁和R₂前后左右的距离r和t。旋转摄像机，使左右镜头交汇，从转盘上读取θ₁和θ₂。

(2)采集真实数据：采集两幅图像，在双摄像机的视景范围内随机选取3个参考点，分别测量这3个点的l₁(k)及l₂(k)。结合步骤(1)中测得的r和t，根据式(14)和(15)计算出x₀(k)和z₀₁(k)。记录每个参考点在红外热图像中的横坐标u₁(k)及其在可见光图像中的横坐标u₂(k)，(k＝1,2,3)。为提高标定的准确性，减少误匹配对参数标定的影响，该过程中的对应点横坐标通过人为匹配。

(3)未知参数标定：将(u₁(k),u₂(k),x₀(k),z₀₁(k),f₁,f₂,θ₁,θ₂,r,t)作为参数输入方程组(13)，结合对应的约束条件(如主点横坐标必然小于图像的像素尺寸)，利用Levenberg-Marquardt法寻找(u_o1,u_o2,m₁,m₂,n₁,n₂)的最优解。

(4)距离计算：在红外图或可见光图中指定待测点，利用匹配算法在另一幅图中获取对应点横坐标u_i,(i＝1,2)，利用步骤(3)中求解出的(u_o1,u_o2,m₁,m₂,n₁,n₂)，结合事先获得的(f₁,f₂,θ₁,θ₂,r,t)，输入u₁和u₂，即可求解出l₁和θ。

实施例

利用热像仪和CCD摄像机以不同的夹角分别对两个不同距离的目标点A和B进行了测距实验，实验中所用的热像仪是氧化钒非制冷式焦平面探测器，测距结果如表1所示。该场景中r＝155mm,t＝-120mm。

表1本发明测距方法结果

注：相对误差计算公式：

E_l＝︱l_1t-l_1c︱/l_1t×100％

E_θ＝︱θ_t-θ_c︱/|θ_t|×100％

其中l_1t、θ_t表示目标的真实距离和方向角，l_1c、θ_c为根据本文方法计算出的目标距离和方向角，︱︱表示绝对值。

Claims (6)

1.一种基于双目立体视觉的测距方法，该方法通过旋转左右两台摄像机来实现汇聚模式下的测距，其特征在于，包括以下步骤：

步骤1、设置两个固定点R1和R2，并测量这两个固定点之间的垂直间距t和水平间距r，将旋转前左光心O₁与固定点R1的连接线围绕着固定点R1旋转、旋转前右光心O₂与固定点R2的连接线围绕着固定点R2旋转使得旋转后的两个光轴相交；其中，旋转前两个光轴平行；

步骤2、采集一组图像,并在交汇视野范围内任选三个空间参考点Q₁、Q₂、Q₃，分别确定三个空间参考点在左视图中的横坐标和右视图中的横坐标，并测量这三个空间参考点与固定点R1之间的水平距离和垂直距离；

步骤3、根据三角形的相似原理，构建上述三个空间参考点与固定点R1构成的透视投影关系模型；

步骤4、利用步骤3建立的三个空间参考点与固定点R1构成的透视投影关系模型来确定固定点R1与旋转前左光心O₁之间的垂直间距n1和水平间距m1、固定点R2与旋转前右光心O₂之间的垂直间距n2和水平间距m2、左镜头的主点横坐标u_o1和右镜头的主点横坐标u_o2；

步骤5、选取待测目标点P，并根据步骤4中获得的固定点R1与旋转前左光心O₁之间的垂直间距n1和水平间距m1以及固定点R2与旋转前右光心O₂之间的垂直间距n2和水平间距m2、左镜头的主点横坐标u_o1和右镜头的主点横坐标u_o2来确定待测目标点P在以固定点R1为原点的坐标系下的距离关系即待测目标点P与固定点R1之间的水平间距x₀和垂直距离z₀₁、待测目标点P到固定点R1的直线距离l₁、待测目标点P到固定点R1的水平间距x₀与待测目标P到固定点R1的直线距离l₁的夹角θ。

2.根据权利要求1所述的基于双目立体视觉的测距方法，其特征在于，所述步骤3中建立的三个空间参考点与固定点R1构成的透视投影关系模型如下：

$u_1\left(k\right)-u_{o1}=\frac{f_1(x_0\left(k\right)-z_{01}\left(k\right)\tan {\mathrm{\θ}}_1-m_1\sec {\mathrm{\θ}}_1)}{z_{01}\left(k\right)+x_0\left(k\right)\tan {\mathrm{\θ}}_1+n_1\sec {\mathrm{\θ}}_1}$

$u_2\left(k\right)-u_{o2}=\frac{f_2((x_0\left(k\right)-r)-(z_{01}\left(k\right)+t)\tan {\mathrm{\θ}}_2-m_2\sec {\mathrm{\θ}}_2)}{z_{01}\left(k\right)+t+(x_0\left(k\right)-r)\tan {\mathrm{\θ}}_2+n_2\sec {\mathrm{\θ}}_2}$

式中，u₁(k)、u₂(k)分别为三个空间参考点Q₁、Q₂和Q₃在左、右视图的横坐标，其中k＝1,2,3，f₁为左镜头的焦距，f₂为右镜头的焦距，u_o1为左镜头的主点横坐标；u_o2为右镜头的主点横坐标，x₀(k)为三个参考点Q₁、Q₂、Q₃到R₁点的水平距离，z₀₁(k)为三个参考点Q₁、Q₂、Q₃到固定点R₁的垂直距离，θ₁为左光轴的旋转角度，θ₂为右光轴的旋转角度。

3.根据权利要求2所述的基于双目立体视觉的测距方法，其特征在于，所述步骤5中利用下式确定待测目标点P在以固定点R1为原点的坐标系下的距离关系：

$u_1-u_{o1}=\frac{f_1(x_0-z_{01}\tan {\mathrm{\θ}}_1-m_1\sec {\mathrm{\θ}}_1)}{z_{01}+x_0\tan {\mathrm{\θ}}_1+n_1\sec {\mathrm{\θ}}_1}$

$u_2-u_{o2}=\frac{f_2((x_0-r)-(z_{01}+y)\tan {\mathrm{\θ}}_2-m_2\sec {\mathrm{\θ}}_2)}{z_{01}+t+(x_0-r)\tan {\mathrm{\θ}}_2+n_2\sec {\mathrm{\θ}}_2}$

式中，u₁为待测目标点P在左视图中的横坐标，u₂为待测目标点P在右视图中的横坐标，x₀为待测目标点P到固定点R₁的水平距离，z₀₁为待测目标点P到固定点R₁的垂直距离；

待测目标点P在XR₁Z坐标系下的距离公式如下：

$z_{01}=\frac{a_{2}t+r+e_2-e_1}{a_1-a_2}$

x₀＝a₁z₀₁+e₁

$l_1=\sqrt{x_0^2+z_{01}^2}$

$\mathrm{\θ}=\arctan \left(\frac{z_{01}}{x_0}\right)$

其中 $a_1=\frac{f_1\tan {\mathrm{\θ}}_1+u_1-u_{o1}}{f_1-\tan {\mathrm{\θ}}_1(u_1-u_{o1})},$ $a_2=\frac{f_2\tan {\mathrm{\θ}}_2+u_2-u_{o2}}{f_2-\tan {\mathrm{\θ}}_2(u_2-u_{o2})},$ $e_1={\sec \mathrm{\θ}}_1\frac{f_1{m}_1+n_1(u_1-u_{o1})}{f_1-\tan {\mathrm{\θ}}_1(u_1-u_{o1})},$ $e_2={\sec \mathrm{\θ}}_2\frac{f_2{m}_2+n_2(u_2-u_{o2})}{f_2-\tan {\mathrm{\θ}}_2(u_2-u_{o2})}.$

4.根据权利要求2或3所述的基于双目立体视觉的测距方法，其特征在于，所述三个空间参考点与固定点R1构成的透视投影关系模型中的三个参考点Q₁、Q₂、Q₃到固定点R₁的水平距离x₀(k)和垂直距离z₀₁(k)通过测量得到。

5.根据权利要求2或3所述的基于双目立体视觉的测距方法，其特征在于，所述三个空间参考点与固定点R1构成的透视投影关系模型中的三个参考点Q₁、Q₂、Q₃到固定点R₁的水平距离x₀(k)和垂直距离z₀₁(k)通过下式确定：

$z_{01}\left(k\right)=l_1\left(k\right)\sin (\mathrm{ar}\cos \left(\frac{l_1{\left(k\right)}^2+t^2+r^2-l_2{\left(k\right)}^2}{{2l}_1\left(k\right)\·\sqrt{t^2+r^2}}\right)-\arctan \left(\frac{t}{r}\right))$

$x_0\left(k\right)=l_1\left(k\right)\cos (\mathrm{ar}\cos \left(\frac{l_1{\left(k\right)}^2{+t}^2+r^2-l_2{\left(k\right)}^2}{{2l}_1\left(k\right)\·\sqrt{t^2+r^2}}\right)-\arctan \left(\frac{t}{r}\right))$

其中，l₁(k)为三个参考点Q₁、Q₂、Q₃到固定点R₁的直线距离；l₂(k)为三个参考点Q₁、Q₂、Q₃到固定点R₂的直线距离。

6.根据权利要求1所述的基于双目立体视觉的测距方法，其特征在于，所述步骤5中待测目标点P的选取范围为步骤2中采集的一组图像内选取或重新采集一组图像并在该图像中选取。