CN202439686U - 一种路面监控系统及包括该路面监控系统的车辆 - Google Patents

Abstract

本实用新型公开了一种路面监控系统以及包括该系统的车辆，该系统包括：双目摄像机，安装于车辆上，用于采集路面图像的左图像及右图像；警示装置，用于以声或光方式发出报警信号；以及处理器，与所述双目摄像机及警示装置相连，用于分析所采集的路面图像的左图像及右图像，并于该左图像及右图像内的针对同一可疑障碍物的可疑障碍物区域的形心所对应的实际位置与所述路面之间的垂直距离大于预设值时，控制所述警示装置发出报警信号。通过上述技术方案，可在车辆行驶过程中，对前方路面的可疑障碍物进行监视，并在可疑障碍物离路面过高或过低时，通过警示装置提醒驾驶员注意，以躲避潜在的危险。

Description

一种路面监控系统及包括该路面监控系统的车辆

技术领域

本发明涉及路面监控领域，具体地，涉及一种路面监控系统及包括该路面监控系统的车辆。

背景技术

在轮胎吊行驶过程中，吊物及车辆的摇摆具有极大的危险性，然而在轮胎吊行驶过程，路面上难免存在少量突起或凹陷等障碍物。驾驶人员在驾驶轮胎吊行驶时，往往处于高度紧张的状态，可能不会意识到这些障碍，发生对这些障碍的漏判，由此导致轮胎吊剧烈颠簸，甚至酿成安全事故。

发明内容

本发明的目的是提供一种路面监控系统及包括该路面监控系统的车辆，其可克服上述背景技术所提出的问题。

为了实现上述目的，本发明提供一种路面监控系统，该系统包括：双目摄像机，安装于车辆上，用于采集路面图像的左图像及右图像；警示装置，用于当接收到报警信号时进行报警；以及处理器，与所述双目摄像机及警示装置相连，用于分析所采集的路面图像的左图像及右图像，并于该左图像及右图像内的针对同一可疑障碍物的可疑障碍物区域的形心所对应的实际位置与所述路面之间的垂直距离大于预设值时，输出报警信号。

其中，所述双目摄像机可安装于所述车辆的驾驶室顶部。

其中，所述警示装置可为显示屏或扬声器。

其中，所述处理器包括：图像分割模块，用于根据所采集的路面图像的左图像及右图像的色调，从该左图像及右图像中分别分割出可疑障碍物区域；匹配模块，用于提取所述可疑障碍物区域的特征，并根据该特征对所述左图像中的可疑障碍物区域与所述右图像中的可疑障碍物区域进行匹配；以及垂直距离计算模块，用于根据相匹配的可疑障碍物区域，计算该可疑障碍物区域的形心所对应的实际位置与所述路面之间的垂直距离。

其中，所述图像分割模块包括：道路平均色调值计算模块，用于计算所采集的路面图像内一区域的道路平均色调值；以及分割模块，用于对所述左图像及右图像分别进行分割，并计算每一分割区域的色调，在分割区域的色调与所述道路平均色调值之差大于一预定阈值时，确定该分割区域为可疑障碍物区域。

其中，所述匹配模块包括：特征向量计算模块，用于计算左图像内每一可疑障碍物区域的特征向量P_i＝(Hist_i，Area_i，Peri_i)以及右图像内每一可疑障碍物区域的特征向量P_j＝(Hist_j，Area_j，Peri_j)；以及距离计算模块，用于计算左图像内每一可疑障碍物区域的特征向量P_i＝(Hist_i，Area_i，Peri_i)与右图像内每一可疑障碍物区域的特征向量P_j＝(Hist_j，Area_j，Peri_j)之间的距离D(i，j)＝a₁|Hist_i-Hist_j|+a₂|Area_i-Area_j|+a₃|Peri_i-Peri_j|，距离最小的一对可疑障碍物区域即为相匹配的可疑障碍物区域，其中，i，j＝1，2...n，a₁，a₂，a₃为加权系数，Hist、Area以及Peri分别指可疑障碍物区域的灰度直方图、面积以及周长。

其中，所述垂直距离计算模块包括：形心图像坐标确定模块，用于确定所述左图像及右图像内相匹配的可疑障碍物区域的形心的图像坐标(X_left，Y_left)和(X_right，Y_right)；三维坐标计算模块，用于根据该两个形心的图像坐标，计算该两个形心所对应的实际位置P于所述双目摄像机坐标系下的三维坐标P(x_c，y_c，z_c)；以及垂直距离计算模块，用于根据以下公式计算所述实际位置P与所述路面之间的垂直距离H_p：

其中，h为所述双目摄像机距所述路面的高度，α为所述双目摄像机的垂直视场角，β为实际位置P与所述双目摄像机的光轴之间的夹角，Disparity＝X_left-X_right，B和f分别为所述双目摄像机的基线宽度和焦距，θ为所述双目摄像机的俯仰角。

其中，所述处理器还可包括：图像预处理模块，用于对所采集的路面图像的左图像及右图像进行清晰度增强，并将该增强后的左图像及右图像发送至所述图像分割模块。

相应地，本发明还提供一种包括上述路面监控系统的车辆。

通过上述技术方案，可在车辆行驶过程中，对前方路面的可疑障碍物进行监视，并在可疑障碍物离路面过高或过低时，通过警示装置提醒驾驶员注意，以躲避潜在的危险。

本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1为本发明提供的路面监控系统的结构示意图；

图2a及2b分别为双目摄像机的水平视场图及垂直视场图；

图3为双目测距原理图；以及

图4为可疑障碍物区域的形心与所述路面之间的垂直距离计算示意图。

附图标记说明

10     双目摄像机            20     警示装置

30     处理器                40     车辆

31     图像分割模块          32     匹配模块

33     距离计算模块          34     图像预处理模块

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

图1为本发明提供的路面监控系统的结构示意图。如图1所示，本发明提供了一种路面监控系统，该系统包括：双目摄像机10，安装于车辆上，用于采集路面图像的左图像及右图像；警示装置20，用于当接收到报警信号时进行报警；以及处理器30，与所述双目摄像机10及警示装置20相连，用于分析所采集的路面图像的左图像及右图像，并于该左图像及右图像内的针对同一可疑障碍物的可疑障碍物区域(即，突起或凹陷于所述该左图像及右图像内的成像区域)的形心所对应的实际位置与所述路面之间的垂直距离大于预设值时，输出报警信号。

所述双目摄像机10的拍摄范围应尽可能大，安装位置应尽可能高。优选地，如图2a及2b所示，所述双目摄像机10以一俯视角度安装于所述车辆40的驾驶室顶部，其光轴与地面保持相交。双目摄像机10离地面的高度h可通过测量获得，a、d、w可通过放置有精确尺寸标注的方格纸测量获得，垂直视场角α及基线宽度B可以通过标定得到，双目摄像机俯视角 $\mathrm{\θ}=\arctan \frac{h}{a+d}.$

其中，所述警示装置20为显示屏或扬声器，从而可以以文字图像或声音方式提醒驾驶员注意前方可以障碍物区域。本发明并不限于此，其他可实现提醒驾驶员的装置亦可应用于此。

其中，所述处理器30可包括：图像分割模块31，用于根据所采集的路面图像的左图像及右图像的色调，从该左图像及右图像中分别分割出可疑障碍物区域；匹配模块32，用于提取所述可疑障碍物区域的特征，并根据该特征对所述左图像中的可疑障碍物区域与所述右图像中的可疑障碍物区域进行匹配；以及垂直距离计算模块33，用于根据相匹配的可疑障碍物区域，计算可疑障碍物区域的形心与所述路面之间的垂直距离。

以下针对上述图像分割模块31、匹配模块32、以及距离计算模块33，分别予以描述。

(1)图像分割模块

在图像分割阶段主要将该图像中不同对比度的物体分离。对于有明显边界的物体，采取阈值分割法将其与背景分离，对于对比度比较差的物体将采取更为精确的算法进行分割。

具体而言，首先对所述左图像及右图像进行RGB到HIS颜色空间的转换，对亮度通道进行直方图阈值分割得到道路区域；然后根据色调对可疑障碍物区域进行检测，锁定可疑障碍物区域。根据色调分割可疑障碍物区域的步骤如下：

(1)在双目摄像机所采集的正前方色调图像的一个正方形区域(该区域是根据环境手动确定的，区域大小为20×20像素)内，计算道路平均色调值H，此区域不存在障碍物(在后续的避障算法里，要保证车辆正前方的小范围距离内无障碍物)。这样每采集一帧图像，都可以得到当时路面的参考色调值(即，所述道路平均色调值H)，该值是动态变化的，即光照变化会影响路面色调。其中，如果前后两次采集图像的路面参考值H发生较大变化，则认为后一次失效，需要重新检测。这样可以避免突然出现的障碍物处于车辆较近正前方时所引起的失误。

(2)根据区域增长法对所述道路区域进行分割。选用的特征向量为某像素I(i，j)领域W内的N个像素的平均色调值P(i，j)：

$p(i,j)=\frac{\underset{(u,v)\∈W}{\mathrm{\Σ}}I(u,v)}{N}---\left(1\right)$

对任意像素，计算其平均色调值与道路平均色调值的差S(i，j)，公式如下：

S(i，j)＝|P(i，j)-H|          (2)

设定阈值T，S(i，j)大于该设定阈值T的判断为可疑障碍物区域，否则为路面区域。经过此分割可以分割出可疑障碍物区域。上述两个步骤可分别由图像分割模块所包括的道路平均色调值计算模块及分割模块执行。

(2)匹配模块

匹配模块主要是对分割出来的可疑障碍物区域的目标特征进行描述，对可疑障碍物区域的灰度直方图Hist(该灰度直方图以向量表示)、面积Area、周长Peri等属性进行测量，使可疑障碍物区域的特征量化，从而实现左右图像中的可疑障碍物区域之间匹配。设每个可疑障碍物区域的特征向量为Pt，那么P_t＝(Hist_t，Area_t，Peri_t)。

可疑障碍物区域特征匹配是通过计算特征向量之间的距离，确定最佳匹配区域，距离越短，说明匹配程度越高。左图像某一可疑障碍物区域i的特征提取向量为P_i，那么右图像中的n个可疑障碍物区域中寻找相对应的匹配区域P_j，距离D(i，j)计算公式如下：

D(i，j)＝a₁|Hist_i-Hist_j|+a₂|Area_i-Area_j|+a₃|Peri_i-Peri_j|    (3)

其中，i，j＝1，2...n，a₁，a₂，a₃为各项的加权系数。

由于分割得到的可疑障碍物区域数目是有限的，可疑障碍物区域匹配计算量小且能获得很高的匹配成功率。上述特征量化步骤及距离计算步骤可分别由匹配所包括的特征向量计算模块及距离计算模块执行。

(3)距离计算模块

在参数相同且光心平行于同一直线的两个摄像机对同一景物成像，获得景物的立体图像对时，可基于视差理论的双目立体视觉，通过一定的算法匹配出对应像点，从而计算视差，然后采用基于三角测量的方法恢复高度或深度信息。

如图3所示，设双目摄像机中的两个摄像机在同一时刻观看空间物体的同一特征点P(x_c，y_c，z_c)，分别在“左眼”和“右眼”上获取了包含特征点P的图像，它们的图像坐标分别为P_left＝(X_left，Y_left)，P_righy＝(X_right，Y_right)。

由于两个摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即Y_left＝Y_right＝Y，则由三角几何关系得到：

$\left\{\begin{array}{c}{X}_{\mathrm{left}}=f\frac{x_c}{z_c}\\ X_{\mathrm{right}}=f\frac{(x_c-B)}{z_c}\\ Y=f\frac{y_c}{z_c}\end{array}\right.---\left(4\right)$

其中，基线宽度B为双目摄像机的两个投影中心连线的距离，f为双目摄像机的焦距。视差为：Disparity＝X_left-X_right。由此可计算出特征点P在摄像机坐标系下的三维坐标为：

$\left\{\begin{array}{c}{x}_c=\frac{B\·X_{\mathrm{left}}}{\mathrm{Disparity}}\\ y_c=\frac{B\·Y}{\mathrm{Disparity}}\\ z_c=\frac{B\·f}{\mathrm{Disparity}}\end{array}\right.---\left(5\right)$

因此，左图像上的任意一点只要能在右图像上找到对应的匹配点，就可以确定出该点的三维坐标。这种方法是完全的点对点运算，图像上所有点只要存在相应的匹配点，就可以参与上述运算，从而获取其对应的三维坐标。

在上述匹配步骤中，我们得到了相匹配的可疑障碍物区域，记左图像中某可疑障碍物区域T_l的形心坐标为(x_lo，y_lo)，右图像中对应的匹配区域T_r的形心坐标为(x_ro，y_ro)，假设该可疑障碍物区域的形心即为上述特征点P，则可通过上述视差公式，得到可疑障碍物区域的形心在双目摄像机坐标下的三维坐标(x_c，y_c，z_c)。

需要说明的是，一区域的形心即为该区域的中心(x_o，y_o)，利用区域内各点的图像坐标的平均值计算得到，计算公式如下：

$x_o=\frac{1}{N}\underset{i\∈\mathrm{area}}{\mathrm{\Σ}}{x}_i,$

$y_o=\frac{1}{N}\underset{i\∈\mathrm{area}}{\mathrm{\Σ}}{y}_i$

其中，N为区域内点的个数，(x_i，y_i)为该区域内点的图像坐标。

如图3所示，通过计算上述可疑障碍物区域的形心在双目摄像机坐标下的三维坐标(x_c，y_c，z_c)，可得到点P在双目摄像机坐标下Z_c方向的距离OD，即z_c。

双目摄像机的基线宽度B和焦距f通过标定为已知参数。根据点P在纵向坐标方向上到图像中心的像素距离，以及双目摄像机的成像分辨率，可以得到比例系数r，已知垂直视场角α，可以得到点P与光轴的夹角β，计算公式如下：

β＝arctan(r*tanα)      (6)

知道β后就可以计算光心O到点P的距离OP：

$\mathrm{OP}=\frac{\mathrm{OD}}{\cos \left(\mathrm{\β}\right)}=\frac{\mathrm{Bf}}{\mathrm{Dispariyt}\cos \left(\mathrm{\β}\right)}---\left(7\right)$

最后得到点P与水平地面之间的垂直距离为：

$H_p=h-\frac{\mathrm{Bf}\sin (\mathrm{\θ}+\mathrm{\β})}{\mathrm{Disparity}\cos \left(\mathrm{\β}\right)}---\left(8\right)$

根据公式(8)就可以计算相匹配的可疑障碍物区域的形心所对应的实际位置P与路面之间的垂直距离。

上述形心图像坐标确定步骤、三维坐标计算步骤以及垂直距离计算步骤可分别由垂直距离计算模块所包括的形心图像坐标确定模块、三维坐标计算模块以及垂直距离计算模块执行。

以上以计算可疑障碍物为突出的情况下可疑障碍物区域的形心的实际位置与路面之间的垂直距离(即，高度)为例进行了说明，根据上述说明，本领域技术人员亦可根据相应的数学知识计算出可疑障碍物为突出的情况下可疑障碍物区域的形心的实际位置与路面之间的垂直距离(即，深度)。

考虑采集到的左图像及右图像可能清晰度不够，优选地，所述处理器还可包括：图像预处理模块，用于对所采集的路面图像的左图像及右图像进行清晰度增强，并将该增强后的左图像及右图像发送至所述图像分割模块，以进行后续的分割、特征提取、匹配及深度或高度计算。该图像预处理模块的目的是使不清楚的目标变得清晰，针对不同的问题有各种针对性的图像增强方法，按照不同的需求，图像增强方法可包括：图像平滑、图像滤波、图像轮廓抽取和图像锐化等方法。另外，在图像增强阶段，可对图像边缘进行增强，对比度明显的边缘增加特定灰度值的轮廓。上述技术在图像处理中已较成熟，这里不再叙述。

相应地，本发明还提供了一种包括上述路面监控系统的车辆。该车辆包括但不限于轮胎吊。

通过上述技术方案，可在车辆行驶过程中，对前方路面的可疑障碍物进行监视，并在可疑障碍物离路面过高或过低时，通过警示装置提醒驾驶员注意，以躲避潜在的危险。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (9)

1.一种路面监控系统，其特征在于，该系统包括：

双目摄像机，以安装于车辆上，用于采集路面图像的左图像及右图像；

警示装置，用于当接收到报警信号时进行报警；以及

处理器，与所述双目摄像机及警示装置相连，用于分析所采集的路面图像的左图像及右图像，并于该左图像及右图像内的针对同一可疑障碍物的可疑障碍物区域的形心所对应的实际位置与所述路面之间的垂直距离大于预设值时，输出报警信号。

2.根据权利要求1所述的系统，其特征在于，所述双目摄像机安装于所述车辆的驾驶室顶部。

3.根据权利要求1所述的系统，其特征在于，所述警示装置为显示屏和/或扬声器。

4.根据权利要求1-3中任一项权利要求所述的系统，其特征在于，所述处理器包括：

图像分割模块，用于根据所采集的路面图像的左图像及右图像的色调，从该左图像及右图像中分别分割出可疑障碍物区域；

匹配模块，用于提取所述可疑障碍物区域的特征，并根据该特征对所述左图像中的可疑障碍物区域与所述右图像中的可疑障碍物区域进行匹配；以及

垂直距离计算模块，用于根据相匹配的可疑障碍物区域，计算该可疑障碍物区域的形心所对应的实际位置与所述路面之间的垂直距离。

5.根据权利要求4所述的系统，其特征在于，所述图像分割模块包括： 

道路平均色调值计算模块，用于计算所采集的路面图像内一区域的道路平均色调值；以及

分割模块，用于对所述左图像及右图像分别进行分割，并计算每一分割区域的色调，在分割区域的色调与所述道路平均色调值之差大于一预定阈值时，确定该分割区域为可疑障碍物区域。

6.根据权利要求4所述的系统，其特征在于，所述匹配模块包括：

特征向量计算模块，用于计算左图像内每一可疑障碍物区域的特征向量P_i＝(Hist_i,Area_i,Peri_i)以及右图像内每一可疑障碍物区域的特征向量P_j＝(Hist_j,Area_j,Peri_j)；以及

距离计算模块，用于计算左图像内每一可疑障碍物区域的特征向量P_i＝(Hist_i,Area_i,Peri_i)与右图像内每一可疑障碍物区域的特征向量P_j＝(Hist_j,Area_j,Peri_j)之间的距离D(i,j)＝a₁|Hist_i-Hist_j|+a₂|Area_i-Area_j|+a₃|Peri_i-Peri_j|，距离最小的一对可疑障碍物区域即为相匹配的可疑障碍物区域，

其中，i,j＝1,2...n，a₁,a₂,a₃为加权系数，Hist、Area以及Peri分别指可疑障碍物区域的灰度直方图、面积以及周长。

7.根据权利要求4所述的系统，其特征在于，所述垂直距离计算模块包括：

形心图像坐标确定模块，用于确定所述左图像及右图像内相匹配的可疑障碍物区域的形心的图像坐标(X_left,Y_left)和(X_right,Y_right)；

三维坐标计算模块，用于根据该两个形心的图像坐标，计算该两个形心所对应的实际位置P于所述双目摄像机坐标系下的三维坐标P(x_c,y_c,z_c)；以 及

垂直距离计算模块，用于根据以下公式计算所述实际位置P与所述路面之间的垂直距离H_p：

其中，h为所述双目摄像机距所述路面的高度，α为所述双目摄像机的垂直视场角，β为实际位置P与所述双目摄像机的光轴之间的夹角，Disparity＝X_left-X_right，B和f分别为所述双目摄像机的基线宽度和焦距，θ为所述双目摄像机的俯仰角。

8.根据权利要求4所述的系统，其特征在于，所述处理器还包括：

图像预处理模块，用于对所采集的路面图像的左图像及右图像进行清晰度增强，并将该增强后的左图像及右图像发送至所述图像分割模块。

9.一种包括路面监控系统的车辆，其特征在于，所述路面监控系统为根据权利要求1-8中任一项权利要求所述的路面监控系统。 

Images