CN104075688B - 一种双目立体凝视监控系统的测距方法 - Google Patents

Abstract

本发明公开一种双目立体凝视监控系统的测距方法，是按照以下步骤进行的：步骤一：确定图像主点坐标和左、右摄像机焦距；步骤二：调整双目摄像机姿态使其凝视目标点；步骤三：建立基于旋转角度的目标测距模型；步骤四：立体标定调整后的双目会聚摄像机；步骤五：建立旋转角度和相对外参的转换关系；步骤六：基于相对外参的目标测距及坐标重建。基于本发明所提出的测距模型，带入相应参数后可计算得到目标点到双目摄像机的距离和目标点的空间三维坐标。本发明测量精度高，能探测距离远，并且计算结果快速、准确，可以满足视频监控对目标定位的需求。

Description

一种双目立体凝视监控系统的测距方法

技术领域

本发明属于双目立体摄像机技术领域，进一步涉及双目立体凝视监控系统的测距方法。

技术背景

视频监控系统已经广泛应用于社会生活的多个领域，给人们的社会生活带来了巨大的便利性和安全性。目前大多数的视频监控节点都是单视点平面监控系统，获取的是一个视点的图像。其无法完成目标的精确定位，给视频监控的使用者带来一些不变，也无法满足智能监控更高地要求。

针对单视点平面监控无法对目标精确定位的缺点，双目立体视觉技术可对其进行很好地弥补。双目立体视觉直接模拟人眼采集立体图像的处理方式，具有获取物体深度信息的能力，可得到目标点的精确空间位置信息，因而具有很大的研究价值。双目立体视觉技术已越来越多的应用于工程测绘、机器人导航、医学诊断、活体测量和场景监控等诸多领域，具有广泛的适用性。

现有的双目立体视觉系统主要依据视差原理，即两台摄像机在不同位置对同一物体进行拍摄，得到该物体在左右图像中的视差，然后利用三角测量原理计算像素间的位置偏差，实现对物体定位和三维重构。实现基于该原理的一个完整的双目立体视觉系统通常需要图像采集、摄像机的标定、特征提取、立体图像匹配等步骤。

但基于视差原理的双目立体视觉系统存在一些不足：首先，目前的双目立体图像对的匹配是针对整幅图像信息，而立体匹配又是一项十分耗时的工作。对于一般的视频监控系统而言，其不需要知道整个场景的深度信息而只需要知道特定目标的深度信息，显然该方法存在大量的信息冗余和时间消耗。其次，基于视差原理的双目立体视觉系统实现步骤较为复杂，所需的算法众多并对各个算法的鲁棒性要求较高，尤其是立体匹配算法至今都没有十分可靠的解决法方法。然后，对于一些特定的视频监控场合（如交通视频监控），其要求的目标探测距离在几米至几十米，而该方法在保证测量精度的情况下可探测距离十分有限。因此，基于以上几点原因，现今需要一种基于双目立体摄像机的简单可靠地监控系统测距方法。

发明内容

本发明的目的是针对上述现有技术的不足，提供一种能够减少信息冗余、缩短时间消耗、延长探测距离的双目立体凝视监控系统的测距方法。

本发明的技术方案是以下述方式实现的：一种双目立体凝视监控系统的测距方法，是按照以下步骤进行的：

步骤一：确定图像主点坐标和左、右摄像机焦距；

步骤二：调整双目摄像机姿态使其凝视目标点；

步骤三：建立基于旋转角度的目标测距模型；

步骤四：立体标定调整后的双目会聚摄像机；

步骤五：建立旋转角度和相对外参的转换关系；

步骤六：基于相对外参的目标测距及坐标重建。

所述步骤一具体过程如下：

对左、右摄像机分别进行标定，得到左摄像机主点坐标为(u_l, v_l)，右摄像机主点坐标为(u_r, v_r)、左焦距长度f_v或f_u。

所述步骤二具体过程如下：调整双目摄像机的基线长度、左右摄像机旋转角度及光轴面俯仰角度，使待测目标点在左右摄像机主点坐标处成像。

所述步骤三具体过程如下：建立基于双目摄像机旋转角度的目标测距模型，该模型中左右摄像机的光轴已会聚到目标点P，世界坐标系原点与左摄像机坐标原点重合，其X轴方向与双目摄像机基线重合，其Y轴方向为重力方向，双目摄像机基线的空间位置固定且基线长度B可调，左右摄像机坐标系在光轴面上的旋转角度分别定义为α、β，值域为(-π/2, π/2)，目标点P到摄像机基线的距离L为：

(1)

目标点P的世界坐标为：

(2)。

所述步骤四具体过程如下：立体标定得到左右摄像机的相对外参为：平移向量T=(l, m, n)^T、旋转向量V=(a, b, c)^T和轴向角δ,ε,η，通过对左、右摄像机的标定可得到左、右摄像机坐标系到世界坐标系的变换关系，得到左摄像机旋转矩阵R_l、平移向量T_l，右摄像机旋转矩阵R_r、平移向量T_r，则

(3)

其中x_w、x_l、x_r为空间中一给定点在世界坐标系、左摄像机坐标系和右摄像机坐标系下的坐标；

公式(3)消去x_w，得到：

(4)

由公式(4)得左右摄像机相对外参为:

(5)

通过Rodrigues旋转公式将旋转矩阵R变换为旋转向量V：

(6)

旋转向量 V 的轴向角θ为:

(7)。

所述的立体标定具体包括：

对于建立空间任意两个坐标系之间的变换关系，用平移变换、旋转变换和尺度变换来表示。对于双目摄像机的立体标定领域，其主要包括左摄像机坐标系、右摄像机坐标系和世界坐标系，通过标定平移变换和旋转变换可建立三坐标系之间位置关系。

7. 根据权利要求1所述双目立体凝视监控系统的测距方法，其特征在于，所述步骤五具体过程如下：建立双目摄像机相对外参与α、β、γ、B的转换关系

(8)

在双目摄像机调整之前，目标点在左图像坐标系内的坐标为(u, v)。左摄像机主点坐标和焦距分别为(u_l, v_l)、f_v，则光轴俯仰角γ与左摄像机的参数关系为：

(9)。

所述步骤六具体过程如下：

由公式(1)和公式(8)可得目标点P到双目摄像机基线的距离为：

(10)

由公式(2)和公式(8, 9)可得目标点P的世界坐标为：

(11)。

当双目摄像机光轴会聚到同一可见目标点上时，该目标点将同时在左右图像主点坐标处成像。基于上述事实，当双目摄像机处于初始状态时（左摄像机坐标系与世界坐标系重合，左右摄像机水平高度一致，光轴平行），通过自动识别或人工观察目标点在左右图像中的方位来导引双目立体摄像机进行姿态调整。调整后，目标点需在左右图像主点坐标处成像，此时光轴会聚点与目标点重合。对调整后的双目摄像机进行立体标定，得到左右摄像机相对外参。基于本发明所提出的测距模型，带入相应参数后可计算得到目标点到双目摄像机的距离和目标点的空间三维坐标。本发明测量精度高，能探测距离远，并且计算结果快速、准确，可以满足视频监控对目标定位的需求。

附图说明

图1是可调双目立体摄像机示意图。

图2是可调双目摄相机的初始状态及在光轴面上的目标物体分布状态示意图。

图3是摄像机主点坐标和光轴的关系图。

图4是基于旋转角度的目标点的测距与坐标重建模型。

图5是进行不同空间位置的目标物体测距时，左右摄像机坐标系在光轴面上的旋转角度的四种正负性定义。

图6是进行不同空间位置的目标物体测距时，左右摄像机坐标系在世界坐标系YOZ平面上的俯仰角度的三种正负性定义。

图7是左、右摄像机坐标系和轴向角表示关系图。

图8是旋转角到摄像参数的转换关系。

图9是左图像坐标系。

图10是俯仰角到摄像参数的转换关系。

图11是双目立体凝视监控系统的测距方法流程图。

具体实施方式

如附图所示，本发明的具体实施过程如下

第一步：标定左右摄像机主点坐标和焦距。通过对双目立体凝视监控系统中的左右摄像机分别进行标定，得到左摄像机主点坐标为(u_l, v_l)，右摄像机主点坐标为(u_r, v_r)和左焦距长度f_v。左摄像机焦距长度表示为f_v或f_u (f_v = f /dv、 f_u = f /du)，其中f为摄像机的物理焦距长度，dv和du分别表示图像传感器上一个像素的物理高度和宽度，f_v (f_u)表示焦距f以像素高度(宽度)为单位的个数。

本实施例采用的摄像机分辨率为1024×768，该分辨率下的理想主点坐标为(511.5, 383.5)。通过对左摄像机标定得到左图像主点坐标为(476,262)，左焦距为1800个像素高度，右图像主点坐标为(445,265)。

第二步：选取靶标中心点作为测距的目标点：通过图像的自动识别或人工干预的手段去调整双目摄像机的基线长度、左右摄像机旋转角度及光轴面俯仰角度，使待测目标点在左右摄像机主点坐标处成像。为了保证测量的精度，原则上对于较远的物体需要采用较大的基线长度，对于较近的物体需要采用较小的基线长度。

本实施例中，在双目立体摄像机调整光轴之前，通过图像自动识别该目标点在左图像中的坐标为(576，362)。

第三步：调整双目摄像机姿态，使目标点分别在左右图像主点坐标处成像：建立理想的基于双目摄像机旋转角度的目标测距模型，该模型中左右摄像机的光轴已会聚到目标点P。世界坐标系原点与左摄像机坐标原点重合，其X轴方向与双目摄像机基线重合，其Y轴方向为重力方向。双目摄像机基线的空间位置固定且基线长度B可调。左右摄像机坐标系在光轴面上的旋转角度分别定义为α、β，值域为(-π/2, π/2)。不同空间位置的目标物体在双目会聚立体摄像机光轴面上的分布共有如图2所示的三种情况，α、β在三种情况下的正负性如图4(b)所示。因此，目标点P到摄像机基线的距离L为：

(1)

不同空间位置的目标点在世界坐标系YOZ平面上的分布共有如图4(c)所示的三种情况，其中γ为双目会聚摄像机光轴面的俯仰角，其值域为(-π/2, π/2)。因此，若已知α、β、γ和基线长度B并结合图4可得目标点P的世界坐标为：

(2)

本实施例中，在摄像机姿态调整后，目标点在左图像中的坐标为(476,262)，在右图像中的坐标为(445,265)。此时，双目立体摄像机的光轴会聚点位于靶标中心点。

第四步：对调整后的双目立体摄像机进行立体标定。立体标定得到左右摄像机的相对外参为：平移向量T=(l, m, n)^T、旋转向量V=(a, b, c)^T和轴向角δ,ε,η。

所述的立体标定具体包括：

对于建立空间任意两个坐标系之间的变换关系，可以用平移变换、旋转变换和尺度变换来表示。对于双目摄像机的立体标定领域，其主要包括左摄像机坐标系、右摄像机坐标系和世界坐标系。在该领域，这三个坐标系的最小尺度因子默认一致，即通过标定平移变换和旋转变换即可建立三坐标系之间位置关系。

通过对左摄像机的标定可得到左摄像机坐标系到世界坐标系的变换关系：旋转矩阵R_l、平移向量T_l，同样地，可得到右摄像机坐标系到世界坐标系的变换关系R_r、T_r。已知空间中一给定点在世界坐标系、左摄像机坐标系和右摄像机坐标系下的坐标分别为x_w、x_l、x_r，则

(3)

公式(3)消去x_w，得到：

(4)

由公式(4)得左右摄像机相对外参为:

(5)

两个坐标系之间的旋转用3×3的旋转矩阵R来表示是最方便的一种方法，但通过R很难知道两个坐标系之间究竟进行了怎样的旋转变换，其物理意义不明确。因此通过Rodrigues旋转公式将旋转矩阵R变换为旋转向量V：

(6)

旋转向量 V 的轴向角θ为:

(7)

如图7所示，左右摄像机的相对旋转向量V在这里的物理含义为：当右摄像机坐标系的x, y, z轴按其各自轴向角方向（符合右手定则）分别旋转δ=a·θ, ε= b·θ, η= c·θ角度后，右摄像机坐标系将与左摄像机坐标系平行。由图4和图7可得双目会聚摄像机的光轴夹角为ε且ε＞0。

则本实施例中，标定得到的平移向量T和旋转矩阵R为：

则基线长度为：

通过公式(4)和公式(5)将旋转矩阵R变换为旋转向量V，并计算光轴夹角ε：

第五步：当调整双目立体凝视监控系统的光轴会聚到目标点上时，若已知α、β、γ这三个旋转角度和基线长度B即可完成对目标点的测距及坐标重建。但精确记录旋转角度和基线长度的数值离不开大量的精密硬件设备。因此，以该模型为基础，我们首先建立了双目摄像机相对外参与α、β、γ、B的转换关系，使该方法测距所需参数从α、β、γ、B变换为相对外参。然后，在实际应用中通过对立体标定双目摄像机即可快速精确地完成目标点的测距。基于相对外参的双目立体凝视监控系统的测距模型如附图所示。由图5和图8可得：

(8)

如图6(b)所示，在双目摄像机调整之前，目标点在左图像坐标系内的坐标为(u, v)。左摄像机主点坐标和焦距分别为(u_l, v_l)、f_v，则光轴俯仰角γ与左摄像机的参数关系为：

(9)

第六步：由公式(1)和公式(8)可得目标点P到双目摄像机基线的距离为：

(10)

由公式(2)和公式(8, 9)可得目标点P的世界坐标为：

(11)

将第四步所得参数带入公式(10)可得目标点到双目立体摄像机基线的距离为：

将第一步和第四步所得参数带入公式(11)可得目标点的世界坐标为：P= (168.2, 86.0, 1547.4)，单位为mm。

本发明克服了现有视频监控无法完成对监视目标的精确定位的问题，提供一种基于双目立体摄像机的监控系统测距方法。

Claims (3)

1.一种双目立体凝视监控系统的测距方法，其特征在于是按照以下步骤进行的：

步骤一：确定图像主点坐标和左、右摄像机焦距；

步骤二：调整双目摄像机姿态使其凝视目标点；

步骤三：建立基于旋转角度的目标测距模型；具体过程如下，建立基于双目摄像机旋转角度的目标测距模型，该模型中左右摄像机的光轴已会聚到目标点P，世界坐标系原点与左摄像机坐标原点重合，其X轴方向与双目摄像机基线重合，其Y轴方向为重力方向，双目摄像机基线的空间位置固定且基线长度B可调，左右摄像机坐标系在光轴面上的旋转角度分别定义为α、β，值域为(-π/2,π/2)，目标点P到摄像机基线的距离L为：

$L=\frac{B}{\tan \mathrm{\α}-\tan \mathrm{\β}}>0---\left(1\right)$

目标点P的世界坐标为：

$\left\{\begin{array}{c}x=L\×\tan \mathrm{\α}=B\tan \mathrm{\α}/\left(\tan \mathrm{\α}-\tan \mathrm{\β}\right)\\ y=L\×\left(-\sin \mathrm{\γ}\right)=B\sin \mathrm{\γ}/\left(\tan \mathrm{\β}-\tan \mathrm{\α}\right)\\ z=L\×\cos \mathrm{\γ}=B\cos \mathrm{\γ}/\left(\tan \mathrm{\α}-\tan \mathrm{\β}\right)\\ \mathrm{\α},\mathrm{\β},\mathrm{\γ}\∈\left(-\mathrm{\π}/2,\mathrm{\π}/2\right)\end{array}\right.---\left(2\right);$

其中，γ为双目会聚摄像机光轴面的俯仰角，左右摄像机坐标系在光轴面上的旋转角度分别定义为α、β，基线长度为B，轴向角δ,ε,η；

步骤四：立体标定调整后的双目会聚摄像机；具体过程如下，立体标定得到左右摄像机的相对外参为：平移向量T＝(l,m,n)^T、旋转向量V＝(a,b,c)^T和轴向角δ,ε,η，通过对左、右摄像机的标定可得到左、右摄像机坐标系到世界坐标系的变换关系，得到左摄像机旋转矩阵R_l、平移向量T_l，右摄像机旋转矩阵R_r、平移向量T_r，则

$\left\{\begin{array}{c}{x}_l=R_l{x}_w+T_l\\ x_r=R_r{x}_w+T_r\end{array}\right.---\left(3\right)$

其中x_w、x_l、x_r为空间中一给定点在世界坐标系、左摄像机坐标系和右摄像机坐标系下的坐标；

公式(3)消去x_w，得到：

$x_l=R_l{R}_r^{-1}{x}_r+T_l-R_l{R}_r^{-1}{T}_r---\left(4\right)$

由公式(4)得左右摄像机相对外参为:

$\left\{\begin{array}{c}R=R_l{R}_r^{-1}\\ T=T_l-R_l{R}_r^{-1}{T}_r\end{array}\right.---\left(5\right)$

通过Rodrigues旋转公式将旋转矩阵R变换为旋转向量V：

$V=\frac{1}{2\sin \left(\mathrm{\θ}\right)}\left[\begin{array}{c}R(3,2)-R(2,3)\\ R(1,3)-R(3,1)\\ R(2,1)-R(1,2)\end{array}\right]={(a,b,c)}^T---\left(6\right)$

旋转向量V的轴向角θ为:

$\mathrm{\θ}=\arccos \left(\frac{trace\left(R\right)-1}{2}\right)---\left(7\right);$

步骤五：建立旋转角度和相对外参的转换关系；具体过程如下，建立双目摄像机相对外参与α、β、γ、B的转换关系

$\left\{\begin{array}{c}\mathrm{\α}=\arctan \left(n/l\right)\\ \mathrm{\β}=\arctan \left(n/l\right)-\mathrm{\ϵ}\\ B=\sqrt{l^2+m^2+n^2}\end{array}\right.---\left(8\right)$

在双目摄像机调整之前，目标点在左图像坐标系内的坐标为(u,v)；

左摄像机主点坐标和焦距分别为(u_l,v_l)、f_v，则双目会聚摄像机光轴面的俯仰角γ与左摄像机的参数关系为：

γ＝arctan[(v_l-v)/f_v] (9)；

步骤六：基于相对外参的目标测距及坐标重建。

2.根据权利要求1所述双目立体凝视监控系统的测距方法，其特征在于所述步骤二具体过程如下：调整双目摄像机的基线长度、左右摄像机旋转角度及光轴面俯仰角度，使待测目标点在左右摄像机主点坐标处成像。

3.根据权利要求1所述双目立体凝视监控系统的测距方法，其特征在于，所述步骤六具体过程如下：

由公式(1)和公式(8)可得目标点P到双目摄像机基线的距离为：

$L=\frac{\sqrt{l^2+m^2+n^2}}{n/l-\tan \[\arctan \left(n/l\right)-\mathrm{\ϵ}\]}---\left(10\right)$

由公式(2)和公式(8,9)可得目标点P的世界坐标为：

$\left\{\begin{array}{c}x=\frac{n\sqrt{l^2+m^2+n^2}/l}{n/l-tan\left(\arctan \right(n/l)-\mathrm{\ϵ})}\\ y=\frac{-\sqrt{l^2+m^2+n^2}sin\left(\arctan \right(\left(v_l-v\right)/f_v\left)\right)}{n/l-tan\left(\arctan \right(n/l)-\mathrm{\ϵ})}\\ z=\frac{\sqrt{l^2+m^2+n^2}\cos \left(\arctan \right(\left(v_l-v\right)/f_v\left)\right)}{n/l-\tan \left(\arctan \right(n/l)-\mathrm{\ϵ})}\end{array}\right.---\left(11\right).$