CN103673977B - 车辆后方盲区检测的方法和装置 - Google Patents

Abstract

本发明涉及车辆安全领域，提出一种基于距离约束的车辆后方盲区障碍物测距方法，首先对双传感器产生的图像进行校正，产生光轴平行、图像共面的主辅两幅校正图像；然后在主图像上提取包含目标点的目标点区域，并利用盲区距离约束确定校正后的辅图像极线上一个较小的搜索范围；以该目标点区域作为模板，在搜索范围上寻找匹配目标点；利用主辅图像上的两个对应的目标点，计算三维空间中相应的空间点坐标，从而获得距离车辆后方一定距离范围内空间点到车辆的距离。本发明可以避免客服雷达测距的延时报警、错误报警等缺点，还可以扩大测距范围，丰富盲区信息，提高车辆后方盲区检测的智能化程度。

Description

车辆后方盲区检测的方法和装置

技术领域

本发明涉及车辆安全领域，尤其涉及一种车辆后方盲区检测的方法和装置。

背景技术

车辆后方盲区是驾驶员在倒车时无法观察到的区域，为了防止倒车时碰撞障碍物或行人，通常的方法是利用车载雷达或倒车视频来辅助驾驶员倒车。倒车雷达一般是采用红外或雷达传感器，这种方式应用较早，目前已广泛地安装在几乎所有的车辆上。例如奥迪的侧向辅助系统（ASA）通过安装在车辆后部的雷达传感器检测侧后方50米范围内的车辆，并以警示灯的形式通报给驾驶员。但倒车雷达提供的信息内容较为单一，例如警示灯或声音，而且因为受限于传感器的灵敏度和数量以及周围场景的复杂度，可能出现延时报警、甚至错误报警。倒车雷达提供的信息单一，并且存在以上缺点，针对这种情况，一些车辆除了安装倒车雷达外，又加装了视频传感器来辅助驾驶员判断车辆后方盲区状况，这样可以提供更为丰富的盲区信息，使驾驶员倒车时可以通过监视器辅助判断后方场景状况。但这种视频加雷达的检测方式也存在一些问题，如果倒车雷达判断失误，驾驶员需要停车，通过驾驶室内的监视器来判断后方盲区具体状况，但无法从监视器画面上找到具体的障碍物，从而不得不下车查看具体状况，即便是倒车雷达判断准确，有时对于一些细小的或者较为隐蔽的障碍物，通过监视器画面依然很难判断出来。可见这种检测方式实际上比单一传感器检测的方式更为复杂。另外，倒车视频其实对视频内容作未进一步的处理，驾驶员通过监视器观察的内容仅仅是后方场景的二维影像，无法像人类双眼一样判断障碍物距离，智能化程度较低。随着人们对车辆安全性能的不断提高，他们不再满足简单的声音和警灯提示以及没有任何信息处理的视频图像，迫切希望有一种更智能化的方法来提供准确而丰富的盲区信息，从而帮助驾驶员更轻松准确地判断后方盲区状况。

发明内容

针对现有技术中存在的上述不足之处，本发明提出一种基于距离约束的盲区障碍物测距方法，首先对左右传感器产生的图像进行校正，产生光轴平行、图像共面的主辅两幅校正图像；然后在主图像上提取包含目标点的目标点区域，并利用盲区距离约束确定校正后的辅图像极线上一个较小的搜索范围；以该目标点区域作为模板，在搜索范围上寻找匹配目标点；利用主辅图像上的对应目标点，计算三维空间中相应点的空间坐标，从而获得距离车辆后方一定距离范围内空间点到车辆的距离。

本发明采用如下的技术方案：

一种车辆后方盲区检测的方法，该方法包括：对左视频传感器和右视频传感器同一时刻采集到的两幅图像进行校正，产生光轴平行、图像共面的两幅校正图像；选取其中一个校正图像作为主图像，并提取其中包含目标点的目标点区域；以另一个校正后的图像作为辅图像，利用盲区距离约束，在该辅图像上确定搜索范围；以提取的目标点区域作为模板，确定的搜索范围上寻找匹配目标点；利用主辅图像上的两个对应目标点，计算三维空间中相应的空间点坐标。

在一个实施方案中，校正图像的方法包括：使两幅原始图像绕其主光轴进行旋转，而光心不变，产生成像平面共面、光轴平行的结构，并获得该结构下的新投影矩阵。

在一个实施方案中，包含目标点的目标点区域取自主辅两幅图像中的重叠区域。

在一个实施方案中，在主图像上提取的目标点区域大小为5×5、7×7或9×9像素大小，优选地为7×7像素大小。

在一个实施方案中，盲区距离约束为距离车辆优选地最远2米，最近1米范围，以该距离范围确定辅图像的极线上对应的两个极限点，并将两个极限点之间的极线区域作为搜索范围。

在一个实施方案中，在搜索范围上寻找匹配目标点的方法包括：利用归一化互相关法或快速归一化互相关法来获得对应于辅图像上的匹配目标点。

在一个实施方案中，利用该新投影矩阵和主辅图像的对应的目标点计算相对应的空间点的三维坐标，该对应空间点所在的空间坐标系为主图像所对应的视频传感器的传感器坐标系。

本发明还提供一种车辆后方盲区检测的装置，该装置包括：采集单元，包括双视频传感器，用于采集盲区场景信息；存储单元，用于存储采集单元采集的图像序列并进行缓存；计算单元，用于对双视频传感器采集的图像进行校正，并寻找两幅校正图像上的匹配目标点，以获得三维空间中对应该匹配目标点的空间坐标；控制单元，用于同步两个视频传感器的数据采集，利用时间戳从存储单元中提取图像对，并从计算单元接收计算结果；显示单元，用于通过控制器将图像序列显示在监视器上；报警单元，用于根据计算结果，发出距离报警。其中该双视频传感器的安装方式为该双视频传感器的光轴与车辆行驶方向之间成90°，并且该双视频传感器的成像平面位于同一个平面。其中该计算单元采用如下方法进行计算：对双视频传感器采集的两幅图像进行校正，产生光轴平行、图像共面的两幅校正图像；以其中一个校正的图像作为主图像，并在该主图像上提取包含目标点的目标点区域；以另一个校正图像作为辅图像，利用盲区距离约束，在该辅图像上确定搜索范围；以该主图像上包含目标点的子区域作为模板，在该搜索范围上寻找匹配目标点；利用主辅图像上的两个对应的目标点，计算三维空间中相应的空间点坐标。

本发明具有如下的有益效果：

首先，本发明在安装双视频传感器时，不需要精确地物理校正，双传感器光轴基本平行、成像平面基本共面即可，后续的图像校正算法可以产生光轴平行、成像平面共面的结构，进而获得这一结构下的校正图像，因此这可以简化安装过程。其次，在经过图像校正后，再利用盲区场景距离约束，图像目标点搜索区域限制在沿极线的一个很小范围中，这样可以大大减少计算量和计算时间。另外，相比于目前的雷达测距或倒车视频辅助判断的方式而言，本发明不但能够提供倒车视频，而且对倒车视频中的场景内容做进一步的处理，提示可能出现在设定距离范围内的障碍物距离，更加智能化。

附图说明

图1为本发明实施例中安装双视频传感器的车辆倒行时后方盲区示意图；

图2为本发明实施例中根据本专利方法的障碍物距离计算的流程图；

图3为本发明实施例中校正后的主辅图像结构示意图；

图4为本发明实施例中根据本发明方法的盲区障碍物测距装置的示意图。

具体实施方式

本专利中采用双视频传感器104测距，两个传感器104安装在车辆102后部，如图1所示，阴影部分106为双传感器能够同时观察到的车辆后方区域。以下结合图1-3描述本专利的具体实现原理。

步骤一202：进行图像校正。原则上需要两个传感器的光轴108平行，并且要求两个传感器的成像平面共面，从而构成图3所示的左右视图配置。但这种配置很难做到，因为在实际安装时，无法看到摄像机光轴，因此也无法进行准确调整。为了实现这一目的，在本专利中通过图像校正方法来实现，从而无需精确地实现光轴平行，成像共面的安装，这是本专利的一个优点。根据针孔成像理论，空间的一个点三维点M(X,Y,Z)与它在图像中的投影点m(u,v)的关系为：

$Z_C\tilde{m}=P\tilde{M}---\left(1\right)$

其中， $\tilde{m}={\left[\begin{array}{ccc}u& v& 1\end{array}\right]}^T$ 和 $\tilde{m}={\left[\begin{array}{cccc}X& Y& Z& 1\end{array}\right]}^T$ 分别是图像坐标m=[uv]^T和空间坐标M=[XYZ]^T的归一化坐标，空间坐标系可以任意确定；Z_C是M点在传感器坐标系中的Z坐标，而P是投影矩阵，它建立了图像坐标系和空间坐标系统之间的映射关系，由摄像机的内参数（与传感器本身的内部结构有关）和外参数（与世界坐标系有关）确定。假设每个传感器的内外参数已知（可以采用众多现有技术方法，对内外参数进行标定而获得），那么可以得到左右传感器的投影矩阵P_L和P_R。

根据A.Fusiello等人在ACompactAlgorithmforRectificationofStereoPairs.MachineVisionandApplications,2000,12(1),pp.16-22中提出的校正方法，两幅图像可以围绕光心进行旋转来实现光轴平行、成像共面的结构，这样两个传感器具有了两个新投影矩阵和利用新投影矩阵，可以产生两幅校正的图像。后续的目标点匹配就可以在校正的图像上进行。

步骤二204：确定目标点区域。所谓目标点区域是图像中包含目标点的一个子区域，区域大小一般为5×5或7×7（单位为像素），也可以是9×9或更大，如图3中m点周围的虚线框所示，这需要在传感器的分辨率和处理单元的处理能力之间进行折中。一般情况下，优选为7×7为佳，这样不但包含更多的目标点周围信息，又可以节省后续对应目标点匹配的计算量。由于两个传感器对同一个场景进行成像，一部分场景必然同时出现在两个传感器形成的图像中，如图1所示的扫描区域106，该区域在主辅图像上的成像区域称为重叠区域，因此可以根据两个摄像机的结构关系和观察范围，在两幅图像的重叠区域中选取目标点区域即可，从而可以节省计算量。在本专利中，以左传感器采集的图像为主图像，第二步确定目标点区域就是在主图像中完成的。当然以右传感器采集的图像作为主图像也是可以的，原理相同。

步骤三206：确定对应目标点m′。本步骤的目的是在辅图像上寻找到对应于主图像上m点的对应点m′。通常在检测盲区场景时，关心的是一定范围内的场景，由于倒车时速度较慢（一般为1.8千米/小时），例如可以将车辆后方最近1米设定为安全距离，而检测的最远距离可以设定为2米，对于这个距离范围内出现的障碍物，驾驶员可以有足够的时间做出反应，而且检测范围的确定也有利于减少计算量和计算时间。参考图3，这种双视结构是经过步骤一校正过的结构，主辅图像位于一个平面上，而且它们的光轴平行。L_A和L_B分别是相距传感器的最远和最近距离线，例如D_A=1米，D_B=2米。A、M、B盲区场景中的三个空间点，它们位于穿过左传感器光心C_L的一条射线上，因此这三个空间点同时在主图像上成像为m。A距离传感器最远，位于最远距离线L_A上，它通过右传感器光心C_R在辅图像上成像为a，B距离传感器最近，位于最近距离线L_B上，它在辅图像上成像为b，而M在A和B之间，成像为m′。

从图3中可以看出，M、C_L、C_R实际上位于一个平面内，该平面与两个共面的图像平面分别有一条交汇线，并且在该平面上出现的任何空间点的投影点一定出现在主辅图像的交汇线上，在计算机视觉中，该平面与图像平面的交汇线称之为极线。尤其在这种光轴平行、成像共面的双视结构中，m点的极线及其对应点m′的极线必然共线，只要知道了m点的u坐标分量，就可以在辅图像上找到极线。这大大缩减了寻找m′的范围，不必在辅图像的整个图像范围内寻找m′点，只需沿着极线搜索即可，这也是第一步中进行图像校正的另一个原因。还可以进一步地缩小m′的搜索范围，由于A位于最远距离线L_A上，A点在辅图像的成像点a为沿极线搜索的右极限点，同理B点在辅图像的成像点b为沿极线搜索的左极限点，m′点不可能出现在a的右侧和b的左侧。所以，相比与沿着辅图像整个极限的搜索范围，a和b之间的距离是很短的，进一步缩小了搜索范围，这种方法称之为距离约束。下面给出利用距离约束求取a和b图像坐标的算法。

我们以左传感器坐标系作为空间坐标系，则式(1)可以展开如下：

$Z_C\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]={\tilde{P}}_L\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{p}_{11}& p_{12}& p_{13}& p_{14}\\ p_{21}& p_{22}& p_{23}& p_{24}\\ p_{31}& p_{32}& p_{33}& p_{34}\end{array}\right]\left[\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]\right]=\left[\begin{array}{cc}{q}_1& q_2\end{array}\right]\left[\begin{array}{c}M\\ 1\end{array}\right]---\left(2\right)$

其中 $q_1=\left[\begin{array}{ccc}{p}_{11}& p_{12}& p_{13}\\ p_{21}& p_{22}& p_{23}\\ p_{31}& p_{32}& p_{33}\end{array}\right],q_2=\left[\begin{array}{c}{p}_{14}\\ p_{24}\\ p_{34}\end{array}\right],$ Z_C表示传感器坐标系中空间点M的Z坐标，在以左传感器坐标系作为空间坐标系的情况下，它表示空间点M到传感器的距离，也就是与车辆之间的距离。

假设我们需要检测的距离范围为(D_A,D_B)，在左传感器坐标系下，那么D_A和D_B分别是A和B点的Z坐标，再利用主图像上的已知点m=[uv]^T，从式(2)可以十分容易地计算出空间点A和B的X和Y坐标，从而可以得到A和B的在左传感器坐标系下的空间坐标M_A和M_B，如下所示：

$\left\{\begin{array}{c}{M}_A={q_1}^{-1}(D_A\tilde{m}-q_2)\\ M_B={q_1}^{-1}(D_B\tilde{m}-q_2)\end{array}\right.---\left(3\right)$

计算出MA和MB后，将它们分别带入式(1)，并利用已知的右传感器投影矩阵计算出A和B在辅图像上的投影点a和b的归一化坐标：

$\left\{\begin{array}{c}{\tilde{m}}_a=\frac{1}{D_A}{\tilde{P}}_R{\tilde{M}}_A\\ {\tilde{m}}_b=\frac{1}{D_B}{\tilde{P}}_R{\tilde{M}}_B\end{array}\right.---\left(4\right)$

步骤四208：计算m′的图像坐标。如步骤二所述，可以以m点为中心，取其5×5或7×7的范围作为模板，在辅图像上沿着极线的ab段进行搜索，得到匹配点m′的图像坐标。基于模板的匹配方法在现有技术中有很多论述，可以采用D.I.Barnea等人在AClassofAlgorithmsforFastDigitalImageRegistration”,IEEETrans.Computers,1972(21),pp.179-186中提出的归一化互相关法，或者J.P.Lewis等人在FastNormalizedCross-correlation”,InProceedingsofVisionInterface(VI′95),Quebec,Canada,May,1995,pp.120-123中提出的快速归一化互相关法等，但不论采用何种方法，在较小区域中的匹配速度都是十分快速而有效的。

步骤五210：计算M的空间坐标。通过以上步骤，已经计算得到了m和m′的图像坐标，并且和已知，再次利用式(1)，可以通过求解以下方程组获得M点的空间坐标：

$\left\{\begin{array}{c}{Z}_M\tilde{m}={\tilde{P}}_L\tilde{M}\\ Z_M{\tilde{m}}^{\′}={\tilde{P}}_R\tilde{M}\end{array}\right.---\left(5\right)$

其中是的归一化图像坐标，是M的归一化空间坐标。由于以左传感器坐标系作为空间坐标系，因此M点的Z坐标ZM即为目标点与车辆之间的距离。

为了完成以上技术，本发明提供一种盲区障碍物测距装置。如图4所示，该装置可以包括采集单元402，它由双视频传感器构成。采集单元402连接至存储单元404，以记录传感器的图像序列并进行缓存。计算单元406利用时间戳从存储单元提取同一时刻的图像对，并按照上述技术计算设定的盲区距离范围之内的障碍物距离。计算单元406和存储单元404同时连接至一个控制单元408，在控制器的控制下，将存储单元404中的图像序列提供给连接至控制单元408的显示单元410，并将计算单元406计算出的位于设定距离范围内的目标高亮显示在显示单元410的显示器上。还提供连接至控制器上的一个报警单元412，以便报警提示，可以采用声音或报警灯的方式。双传感器的结构设置可以不一定是光轴平行，成像平面共面，这可以通过步骤一来完成，从而降低了安装的难度。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (9)

1.一种车辆后方盲区检测的方法，以车辆倒车方向为参考方向，车尾两侧安装左视频传感器和右视频传感器，其特征在于，该方法包括以下步骤：

1)对左视频传感器和右视频传感器同一时刻采集到的两幅图像进行校正，产生光轴平行、图像共面的两幅校正图像；

2)选取其中一个校正图像作为主图像，并提取其中包含目标点的目标点区域；

3)以另一个校正后的图像作为辅图像，利用盲区距离约束，在该辅图像上确定搜索范围；盲区距离约束具体为：设L_A和L_B分别是相距传感器的最远距离线和最近距离线，A、M、B为盲区场景中的三个空间点，A、M、B位于穿过左视频传感器光心C_L的一条射线上，A、M、B三个空间点同时在主图像上成像为m，A距离传感器最远，位于最远距离线L_A上，通过右视频传感器光心C_R在辅图像上成像为a，B距离传感器最近，位于最近距离线L_B上，在辅图像上成像为b，则a与b之间的距离确定为搜索M空间点的搜索范围；

4)以步骤2)提取的目标点区域作为模板，在步骤3)确定的搜索范围上寻找匹配目标点；

5)利用主辅图像上的两个对应目标点，计算三维空间中相应的空间点坐标。

2.如权利要求1所述的车辆后方盲区检测的方法，其特征在于，步骤1)中校正图像的方法包括：使两幅原始图像绕其主光轴进行旋转，而光心不变，产生成像平面共面、光轴平行的结构，并获得该结构下的新投影矩阵。

3.如权利要求1所述的车辆后方盲区检测的方法，其特征在于，在主图像上提取包含目标点的目标点区域是在同时出现在主辅两幅图像上的重叠区域中进行的。

4.如权利要求1所述的车辆后方盲区检测的方法，其特征在于，在主图像上提取的目标点区域大小为5×5、7×7或9×9像素大小。

5.如权利要求1所述的车辆后方盲区检测的方法，其特征在于，盲区距离约束为距离车辆最远2米，最近1米范围，以该距离范围确定辅图像的极线上对应的两个极限点，并将两个极限点之间的极线区域作为搜索范围。

6.如权利要求1所述的车辆后方盲区检测的方法，其特征在于，在搜索范围上寻找匹配目标点的方法包括：利用归一化互相关法或快速归一化互相关法来获得对应于辅图像上的匹配目标点。

7.如权利要求2所述的车辆后方盲区检测的方法，其特征在于，利用该新投影矩阵和主辅图像的对应的目标点计算相对应的空间点的三维坐标，该对应的空间点所在的空间坐标系为主图像所对应的视频传感器的传感器坐标系。

8.一种车辆后方盲区检测的装置，其特征在于，该装置包括：

采集单元，包括双视频传感器，用于采集盲区场景信息，所述双视频传感器为以车辆倒车方向为参考方向，车尾两侧安装的左视频传感器和右视频传感器；

存储单元，用于存储采集单元采集的图像序列并进行缓存；

计算单元，用于对双视频传感器采集的图像进行校正，并寻找两幅校正图像上的匹配目标点，以获得三维空间中对应该匹配目标点的空间坐标；

控制单元，用于同步两个视频传感器的数据采集，利用时间戳从存储单元中提取同一时刻的图像对，并从计算单元接收计算结果；

显示单元，用于通过控制器将图像序列显示在监视器上；

报警单元，用于根据计算结果，发出距离报警；

所述计算单元采用如下方法进行计算：

对双视频传感器采集的两幅图像进行校正，产生光轴平行、图像共面的两幅校正图像；

以其中一个校正的图像作为主图像，并在该主图像上提取包含目标点的目标点区域；

以另一个校正图像作为辅图像，利用盲区距离约束，在该辅图像上确定搜索范围；盲区距离约束具体为：设L_A和L_B分别是相距传感器的最远距离线和最近距离线，A、M、B为盲区场景中的三个空间点，A、M、B位于穿过左视频传感器光心C_L的一条射线上，A、M、B三个空间点同时在主图像上成像为m，A距离传感器最远，位于最远距离线L_A上，通过右视频传感器光心C_R在辅图像上成像为a，B距离传感器最近，位于最近距离线L_B上，在辅图像上成像为b，则a与b之间的距离确定为搜索M空间点的搜索范围；

以该主图像上包含目标点的子区域作为模板，在该搜索范围上寻找匹配目标点；

利用主辅图像上的两个对应的目标点，计算三维空间中相应的空间点坐标。

9.如权利要求8所述的车辆后方盲区检测的装置，其特征在于，该双视频传感器的光轴与车辆行驶方向之间基本平行，并且该双视频传感器的成像平面在空间上基本位于同一个平面。