CN109917359B - 基于车载单目视觉的鲁棒车辆距离估计方法 - Google Patents

Abstract

本发明涉及一种基于车载单目视觉的鲁棒车辆距离估计方法。该方法利用角度回归模型（Angle Regression Model）获取目标车辆的姿态角信息，尺寸估计网络（Dimension Network）得到目标车辆的实际尺寸，在此基础上基于图像解析几何原理设计2D基向量几何模型来准确恢复出车辆背面面积，最后基于相机投影原理建立面积‑距离模型来恢复出距离。本发明方法与其他现有已发布的方法相比实现了卓越的性能，测距系统的准确率得到了明显的提高。

Description

基于车载单目视觉的鲁棒车辆距离估计方法

技术领域

本发明属于计算机视觉、数字图像处理领域，具体涉及一种基于车载单目视觉的鲁棒车辆距离估计方法。

背景技术

高级辅助驾驶系统(ADAS)是发展非常快的一个研究领域，对于减少交通事故，预防车辆间追尾碰撞，提高交通安全防范性能具有非常重要的作用。车辆测距在ADAS中是非常重要的一个组成部分。车辆测距的方法主要分为基于传感器[7]和基于视觉[8]。基于传感器主要利用雷达、激光雷达等，可以精准的提供目标车辆的距离信息，然而，高成本和目标车辆的数据采集仍然是一个待解决的关键问题。基于视觉分为立体视觉[10]和单目视觉[9]。立体视觉对于前方长距离车辆可以更加直观准确的计算距离值，但是由于需要两个摄像头之间的校准和匹配，该系统需要较长的执行时间，效率低，计算量大。而单目视觉可以容纳更加复杂的算法，相比于立体视觉能够在更短的时间内得到最优的结果，但是目前单目视觉的前车距离估计方法还存在精度低、适用范围小等问题。

基于单目视觉辅助驾驶系统由于符合人眼视觉系统，可以很好地控制实时性，符合现代车辆的适用场景，相比于其他系统具有很大的发展前景，因此基于单目视觉的距离估计已经成为了热点话题。

目前已经有很多基于单目视觉估计前方车辆距离的方法被提出，Nakamura等[3]提出了一种结合水平和垂直方向的三角几何关系估计车辆宽度的单目视觉车辆距离估计方法，但是方法[3]只是在跟踪过程中减小车辆宽度估计的误差，并没有考虑到车辆在行驶过程中产生的姿态角变化，所以对非正前方目标车辆的距离估计存在较大误差。Bao等[4]提出了一种基于平均车宽与车辆实际距离之间存在的线性关系的单目视觉测距方法，但是其没有考虑到车辆在行驶过程中的姿态变化，而且车辆在图像中的平均宽度只能保证平均的测距精度，并不能保证单个车辆距离估计的效果。Huang等[5]通过检测车辆位置和消失点位置，提出了一种基于车道线消失点测量前方目标车辆的纵向距离方法，但其需要准确检测出消失点位置才可以保证前车测距结果的精度，还未考虑车辆运动时偏转情况，只适用于正前方行驶车辆情况。

随后[1]提出一种基于检测车辆位置信息和车道线信息的几何模型，同时在原始图像和逆透视投影(IPM)图像建模利用车高测量前方车辆距离。[2]提出了基于车辆检测信息利用车宽的距离估计方法，综合考虑了有无车道线标志的2种道路环境。但是方法[1][2]均是以矩形框的形式表示目标车辆在图像中的位置，这样表示不能获得目标车辆更多的细节部分，还会包含很多冗余信息。Huang等[6]提出基于车辆分割信息利用投影面积的方法测量出目标车辆距离，相比于方法[1][2]可以减少冗余信息提高测距精度，但是方法[6]忽略了车辆的姿态问题，测距系统的适用范围存在局限性,对于不同类型车辆的测距结果存在一定的误差。

现有测距方法存在问题的主要原因是没有考虑车辆的姿态信息，在复杂的交通场景中，目标车辆的行驶状态相对于主驾驶车辆来说是多变的，不同类型车辆的姿态信息和在图像中的投影关系各不相同，由图1可知，目标车辆分别行驶在主驾驶车辆的正前方位置和斜前方位置，在斜前方位置时车辆在图像中的投影部分不仅仅由车辆实际背面投影形成，而正前方车辆是相应投影形成的，如果将投影关系看作相同，即两种车的投影区域均是由车背面部分投影形成，那么两种车辆之间测距结果的精度存在很大偏差，导致整体测距系统的精度降低。

发明内容

本发明的目的在于提供一种基于车载单目视觉的鲁棒车辆距离估计方法，该方法提出在车辆检测和分割算法的基础上，考虑车辆姿态角信息，基于相机投影原理建立面积-距离几何模型来恢复出前车距离。

为实现上述目的，本发明的技术方案是：一种基于车载单目视觉的鲁棒车辆距离估计方法，包括如下步骤：

步骤S1、输入整张RGB图像，提取目标车辆候选区域；

步骤S2、将目标车辆候选区域分别送到分割网络、角度回归网络和尺寸估计网络，获得目标车辆的分割信息、姿态角信息和实际尺寸；

步骤S3、基于图像解析几何原理设计2D基向量几何模型，得到车辆背面和车辆整体之间的投影关系，计算车辆背面的投影面积；

步骤S4、基于相机投影原理建立面积-距离几何模型估计前方车辆距离。

在本发明一实施例中，步骤S1中，所述提取目标车辆候选区域是通过融合目标分类和生成目标候选区域的RPN网络来提取目标车辆的候选区域。

在本发明一实施例中，步骤S2中，所述分割网络采用MaskR-CNN，对目标车辆候选区域进行像素级分割得到车辆Mask。

在本发明一实施例中，所述步骤S3具体实现方式如下：

将车辆的姿态变化转化到二维空间中建立平面图进行分析，用矩形框表示目标车辆，以相机光心为原点建立相机坐标系，用θ_ray表示目标车辆中心和相机光心连接的射线与水平轴之间的夹角，用θ表示目标车辆行驶方向与水平轴之间的夹角，用θ_l表示车辆局部角，其中θ_l＝θ—θ_ray；由于姿态信息的改变，导致车辆的投影关系和Mask信息均发生变化；

(1)正前方车辆Mask与斜前方车辆背面Mask之间的关系

相比于正前方车辆的Mask信息，斜前方车辆背面部分没有改变，相应的Mask信息也不会变化，因此斜前方车背面的投影面积与正前方车的投影面积相同，即正前方车辆Mask与斜前方车辆背面Mask之间的有如下关系：

S_{正前方车辆Mask}＝S_{斜前方车辆背面Mask}

(2)正前方车辆Mask与斜前方车辆Mask之间的关系：

假定摄像机的俯仰角和翻滚角为零，相机获取的图像与实际观测场景是平行的；针对交通场景中车辆行驶在笔直马路上，暂时不考虑在弯道上行驶的车辆；

为了获得车辆背面Mask信息，首先需要分析正前方车辆Mask与斜前方车辆整体Mask之间的关系，顺着光线方向将目标车辆的候选区域提取出来；

正前方车辆的Mask用e₁-e₂基向量表示，目标车辆是顺着摄像头光线方向提取出来的，所以是e₁基向量的物理含义表示正前方车的光线方向，又因为正前方车的行驶方向和光线方向相同，所以e₁基向量还可以表达车辆行驶方向，e₂是与e₁向量垂直的向量；

斜前方车辆的Mask由e₃-e₄基向量表示，同理，e₃基向量的物理含义表示斜前方车的光线方向，e₄就是e₃向量垂直的向量；

将e₁-e₂、e₃-e₄统一到同一坐标系下建立二维基向量几何模型，分析两种车辆Mask区域的基向量变化，其中以正前方车Mask的e₁-e₂基向量为基准，观察斜前方车辆e₃-e₄基向量的变化；

根据其物理含义可知基向量之间偏移的角度γ即车辆的局部角θ_l，由于Mask的变化与其基向量的变化是一致的，所以可得下式：

其中，|e₁e₂|和|e₃e₄|分别表示正前方车辆和斜前方车辆的Mask区域，S_{正前方车辆Mask}表示正前方车辆投影面积，S_{斜前方车辆Mask}表示斜前方车辆投影面积；

(3)斜前方车辆整体Mask与斜前方车辆背面Mask之间的关系

因为γ＝θ_l，S_{正前方车辆Mask}＝S_{斜前方车辆背面Mask}，可得下式：

根据上式可以得到斜前方车辆整体Mask与斜前方车辆背面Mask之间的关系，其中Mask区域的像素值就是投影面积。

在本发明一实施例中，所述步骤S4具体实现方式如下：

(1)相机投影原理主要将世界坐标系中的点(X_W,Y_W,Z_W)变换到相机坐标系(X_C,Y_C,Z_C)中，然后经过透视投影，变成二维平面上的点(x,y)，最后以像素点(u,v)的形式存储；

假定世界坐标系中，有R＝I，I为单位阵，T＝[0 0 L]^T，Z_W＝0，那么可得到如下关系式：

将图像坐标系转换到像素坐标系下得到如下关系式：

利用相机投影原理可得到在相机坐标系下实际点与像素点之间的转化关系：

其中，

令(u₀,v₀)＝(0,0)，将上式化为如下关系式：

(2)由点转换的关系引出面积转换的关系

将目标车辆的实际面积沿着Y_C方向分为N份，则每一份近似为一个矩形；假设第i矩形的4顶点分别标记为

其中

和

分别表示四个坐标点的x，y坐标；

那么目标车辆可见部分的实际面积为：

利用实际点与像素点之间的关系，)可得：

其中，S_pixel表示目标车辆在图像上的投影面积，即车辆在图像中投影形成的Mask像素值，S表示车辆的实际面积；

(3)估计前方车辆的物理距离

根据等式

得到距离公式：

其中，L就是前方车辆的物理距离，f_x＝f_y＝7.2153×10²，S_{斜前方车辆背面}表示斜前方车背面的实际面积，S_{斜前方车辆Mask}表示斜前方车整体的投影面积，θ_l表示车辆局部角。

相较于现有技术，本发明具有以下有益效果：本发明方法利用深度学习的优势，在对前方车辆检测和分割的基础上，考虑车辆姿态角信息，基于相机投影原理建立面积-距离几何模型来恢复出前车距离；具体的本发明具有如下优点：

1、本发明的测距系统中考虑了不同行驶状态时车辆的姿态角变换，结合车辆的姿态角信息并根据图像解析几何原理设计了2D基向量几何模型，得到车辆背面与车辆整体Mask之间的关系，通过该关系确定车辆背面的投影面积，在此基础上完成了对前方车辆的距离估计，提高了系统的鲁棒性和精度，减小了不同类型车辆之间的测距精度偏差，系统的适用范围更加广泛；

2、本发明改进了获得车辆尺寸信息的方法，主要通过在大型自动驾驶数据集KITTI上训练的尺寸估计网络来获取车辆的实际尺寸，提高了测距系统的计算效率；

3、本发明中主要基于相机投影原理建立的测距几何模型，避免了上述图像转换时存在的问题；

4、本发明采用最优化的实例分割网络来获得目标车辆的Mask信息，可以获得车辆更多的细节信息，减少冗余度，提高测距精度。

附图说明

图1为在交通场景下不同行驶状态的车辆，(a)(c)是顺着相机光线方向截取出来的车辆局部区域，(b)(d)是车辆在整体场景中的行驶情况。

图2为距离估计系统框架。

图3为车辆行驶状态平面图。

图4为角度关系几何图。

图5为目标车辆候选区域的轮廓图，(a)表示的正前方车辆Mask轮廓图，(b)是斜前方车辆Mask轮廓图。

图6为目标车辆轮廓规则化，绿色矩形框区域分别近似表示正前方车和斜前方车背面Mask区域，黄色矩形框近似表示斜前方车辆整体Mask区域。

图7为2D基向量几何模型。

图8为距离估计的投影几何模型。

图9为目标车辆可见部分的实际面积

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供了一种基于车载单目视觉的鲁棒车辆距离估计方法，包括如下步骤：

步骤S1、输入整张RGB图像，提取目标车辆候选区域；

步骤S2、将目标车辆候选区域分别送到分割网络、角度回归网络和尺寸估计网络，获得目标车辆的分割信息、姿态角信息和实际尺寸；

步骤S3、基于图像解析几何原理设计2D基向量几何模型，得到车辆背面和车辆整体之间的投影关系，计算车辆背面的投影面积；

步骤S4、基于相机投影原理建立面积-距离几何模型估计前方车辆距离。

步骤S1中，所述提取目标车辆候选区域是通过融合目标分类和生成目标候选区域的RPN网络来提取目标车辆的候选区域。

步骤S2中，所述分割网络采用MaskR-CNN，对目标车辆候选区域进行像素级分割得到车辆Mask。

所述步骤S3具体实现方式如下：

将车辆的姿态变化转化到二维空间中建立平面图进行分析，用矩形框表示目标车辆，以相机光心为原点建立相机坐标系，用θ_ray表示目标车辆中心和相机光心连接的射线与水平轴之间的夹角，用θ表示目标车辆行驶方向与水平轴之间的夹角，用θ_l表示车辆局部角，其中θ_l＝θ—θ_ray；由于姿态信息的改变，导致车辆的投影关系和Mask信息均发生变化；

(1)正前方车辆Mask与斜前方车辆背面Mask之间的关系

相比于正前方车辆的Mask信息，斜前方车辆背面部分没有改变，相应的Mask信息也不会变化，因此斜前方车背面的投影面积与正前方车的投影面积相同，即正前方车辆Mask与斜前方车辆背面Mask之间的有如下关系：

S_{正前方车辆Mask}＝S_{斜前方车辆背面Mask}

(2)正前方车辆Mask与斜前方车辆Mask之间的关系：

假定摄像机的俯仰角和翻滚角为零，相机获取的图像与实际观测场景是平行的；针对交通场景中车辆行驶在笔直马路上，暂时不考虑在弯道上行驶的车辆；

为了获得车辆背面Mask信息，首先需要分析正前方车辆Mask与斜前方车辆整体Mask之间的关系，顺着光线方向将目标车辆的候选区域提取出来；

正前方车辆的Mask用e₁-e₂基向量表示，目标车辆是顺着摄像头光线方向提取出来的，所以是e₁基向量的物理含义表示正前方车的光线方向，又因为正前方车的行驶方向和光线方向相同，所以e₁基向量还可以表达车辆行驶方向，e₂是与e₁向量垂直的向量；

斜前方车辆的Mask由e₃-e₄基向量表示，同理，e₃基向量的物理含义表示斜前方车的光线方向，e₄就是e₃向量垂直的向量；

将e₁-e₂、e₃-e₄统一到同一坐标系下建立二维基向量几何模型，分析两种车辆Mask区域的基向量变化，其中以正前方车Mask的e₁-e₂基向量为基准，观察斜前方车辆e₃-e₄基向量的变化；

根据其物理含义可知基向量之间偏移的角度γ即车辆的局部角θ_l，由于Mask的变化与其基向量的变化是一致的，所以可得下式：

其中，|e₁e₂|和|e₃e₄|分别表示正前方车辆和斜前方车辆的Mask区域，S_{正前方车辆Mask}表示正前方车辆投影面积，S_{斜前方车辆Mask}表示斜前方车辆投影面积；

(3)斜前方车辆整体Mask与斜前方车辆背面Mask之间的关系

因为γ＝θ_l，S_{正前方车辆Mask}＝S_{斜前方车辆背面Mask}，可得下式：

根据上式可以得到斜前方车辆整体Mask与斜前方车辆背面Mask之间的关系，其中Mask区域的像素值就是投影面积。

所述步骤S4具体实现方式如下：

(1)相机投影原理主要将世界坐标系中的点(X_W,Y_W,Z_W)变换到相机坐标系(X_C,Y_C,Z_C)中，然后经过透视投影，变成二维平面上的点(x,y)，最后以像素点(u,v)的形式存储；

假定世界坐标系中，有R＝I，I为单位阵，T＝[0 0 L]^T，Z_W＝0，那么可得到如下关系式：

将图像坐标系转换到像素坐标系下得到如下关系式：

利用相机投影原理可得到在相机坐标系下实际点与像素点之间的转化关系：

其中，

令(u₀,v₀)＝(0,0)，将上式化为如下关系式：

(2)由点转换的关系引出面积转换的关系

将目标车辆的实际面积沿着Y_C方向分为N份，则每一份近似为一个矩形；假设第i矩形的4顶点分别标记为

其中

和

分别表示四个坐标点的x，y坐标；

那么目标车辆可见部分的实际面积为：

利用实际点与像素点之间的关系，)可得：

其中，S_pixel表示目标车辆在图像上的投影面积，即车辆在图像中投影形成的Mask像素值，S表示车辆的实际面积；

(3)估计前方车辆的物理距离

根据等式

得到距离公式：

其中，L就是前方车辆的物理距离，f_x＝f_y＝7.2153×10²，S_{斜前方车辆背面}表示斜前方车背面的实际面积，S_{斜前方车辆Mask}表示斜前方车整体的投影面积，θ_l表示车辆局部角。

以下为本发明的具体实现过程。

本发明基于车载单目视觉的鲁棒车辆距离估计方法，提出在车辆检测和分割算法的基础上，考虑车辆姿态角信息，基于相机投影原理建立“面积-距离”几何模型来恢复出前车距离。

如图2所示，是本发明方法的系统流程图，包括：

1)首先输入整张RGB图像，将其输入到目标检测部分提取出目标车辆的候选区域；

2)将目标车辆候选区域分别送到分割网络、角度回归网络(ARN)和尺寸估计网络，获得目标车辆的分割信息、姿态角信息和实际尺寸；

3)基于图像解析几何(Analytic Geometry)原理设计2D基向量几何模型，得到车辆背面和车辆整体之间的投影关系，从而计算出车辆背面的投影面积；

4)基于相机投影原理建立“面积-距离”几何模型估计前方车辆距离值。

根据以上的内容，下面详细说明具体的实施过程：

首先需要获取目标车辆在图像中的位置，在本发明的整体系统中采用融合了目标分类和生成目标候选区域的Region Proposal Network(RPN)网络，利用RPN网络可以生成目标车辆的候选区域，实现一个完整的端到端的目标检测模块，不仅加快了检测速度，还提高了检测性能。最后的检测结果利用检测框表示目标的候选区域。

在本发明中，使用最优的实例分割网络，即Mask R-CNN[11]作为分割网络，并且对目标车辆候选区域进行像素级分割得到车辆Mask，保证了在车辆候选区域中没有存在冗余项。与Faster R-CNN相比，Mask R-CNN具有三个优点。首先，Mask R-CNN通过使用具有特征金字塔网络的ResNeXt-101作为特征提取网络来增强整体分割网络的基础。其次，MaskR-CNN用RoIAlign取代RoIPool，以解决直接采样池化引起的错位问题。第三，Mask R-CNN可以独立地预测每个类别的二进制mask。每个二元mask的分类取决于由感兴趣区域(ROI)分类分支给出的预测类别，因此不会引起类之间的竞争。Mask R-CNN在实例分割中表现出优异的性能。与矩形框表示的方法相比，mask可以获取目标车辆的细节，并且减小矩形框中的冗余度以提高距离估计系统的精度。因此，选择MaskR-CNN作为本发明的分割网络来获取图像中目标车辆的分割信息，以保证系统的准确性。

本发明中主要结合姿态角信息来实现对前方车辆的鲁棒距离估计，接下来将分别从姿态角设计，车辆背面Mask信息提取，角度回归网络和尺寸估计网络设计这四个方面进行介绍。

1)姿态角设计：由于主车行驶航道发生改变时使目标车辆相对于主车的行驶位置发生变化，使相机光心与不同目标车辆中心之间的光线方向不同，导致目标车辆的姿态信息不同，如图3所示，将车辆的姿态变化转化到二维空间中建立平面图进行分析，用矩形框表示正前方车辆及斜前方车辆，以相机光心为原点建立相机坐标系，θ_ray1、θ_ray2分别为正前方车和斜前方车的光线角，θ₁、θ₂分别称为正前方车和斜前方车的全局角，θ_l称为局部角，正前方车辆的局部角为0°，而斜前方车辆的局部角不为0°。其中，角度之间的定义关系如图4，θ_ray表示车辆中心和光心连接的射线与水平轴之间的夹角，θ是车辆行驶方向与水平轴之间的夹角，θ_l表示车辆局部角，其中θ_l＝θ—θ_ray。接下来下文中将θ_ray称为光线角，θ称为全局角，θ_l称为局部角)，由于姿态信息的改变，导致车辆的投影关系和Mask信息均发生变化。

2)车辆背面Mask信息提取：主要阐述通过车辆姿态信息和分割信息获得车背面和车辆整体之间的投影关系，利用两者关系得到车背面的投影面积，其中由分割信息得到Mask区域的像素值来表示投影面积。

A、正前方车辆Mask与斜前方车背面Mask之间的关系：

通过“姿态角设计”部分可以推断出不同行驶状态的车辆Mask变化与车辆姿态角有关系。相比于正前方车的Mask信息，斜前方车还包含了其他部分的Mask信息，然而车背面部分没有改变，相应的Mask信息也不会变化，所以斜前方车背面的投影面积与正前方车的投影面积相同，得到关系式(1)。

S_{正前方车辆Mask}＝S_{斜前方车辆背面Mask} (1)

B、正前方车Mask与斜前方车Mask之间的关系：

假定摄像机的俯仰角和翻滚角为零，相机获取的图像与实际观测场景是平行的。针对交通场景中车辆行驶在笔直马路上，暂时不考虑在弯道上行驶的车辆。

为了获得车辆背面Mask信息，首先需要分析正前方车Mask与斜前方车整体Mask之间的关系，顺着光线方向将目标车辆的候选区域提取出来，如图5所示，图5(a)、图5(b)中的车辆背面区域范围分别表示正前方车和斜前方车背面投影得到的Mask区域，图5(b)的车辆前部区域范围表示斜前方车整体投影的Mask区域。

根据图像解析几何的变换性质可知，每个平面图形可以由一组线性无关的基向量表示，那么在二维空间中图形的几何变换可以由基向量的几何变换表达。由于车辆投影在图像中的Mask形状是不规则图形，不便于进一步分析，所以结合车辆的刚性属性，利用矩形框近似表示车辆投影的Mask区域。

正前方车辆的Mask由e₁-e₂基向量表示如图6(a)所示。目标车辆是顺着摄像头光线方向提取出来的，所以是e₁基向量的物理含义表示正前方车的光线方向，又因为正前方车的行驶方向和光线方向相同，所以e₁基向量还可以表达车辆行驶方向。e₂就是与e₁向量垂直的向量。

斜前方车辆的Mask由e₃-e₄基向量表示如图6(b)所示。同理，e₃基向量的物理含义表示斜前方车的光线方向，e₄就是e₃向量垂直的向量。

将图6统一到同一坐标系下建立二维基向量几何模型如图7，分析两种车辆Mask区域的基向量变化，其中以正前方车Mask的e₁-e₂基向量为基准，观察斜前方车辆e₃-e₄基向量的变化，蓝色对表示正前方车的基向量，红色对表示斜前方车的基向量。

根据其物理含义可知基向量之间偏移的角度γ就是局部角θ_l，由于Mask的变化与其基向量的变化是一致的，所以可得关系式(2)。

其中，|e₁e₂|和|e₃e₄|分别表示正前方车辆和斜前方车辆的Mask区域，S_{正前方车辆Mask}表示正前方车辆投影面积，S_{斜前方车辆Mask}表示斜前方车辆投影面积；

C、斜前方车整体Mask与斜前方车背面Mask之间的关系

因为γ＝θ_l，S_{正前方车辆Mask}＝S_{斜前方车辆背面Mask}，可得等式(3)：

根据式(3)可以得到斜前方车辆整体Mask与斜前方车辆背面Mask之间的关系，其中Mask区域的像素值就是投影面积。

3)角度回归网络(ARN)和尺寸网络：由于两个网络均基于CNN网络框架，所以我们将需要的车辆参数采用同一个回归网络结构。通过训练深度卷积神经网络(CNN)以回归车辆的姿态角及其尺寸。为了回归车辆参数，我们利用L2loss，使用没有FC层的预训练VGG网络，并添加车辆角度估计和尺寸估计的模块。在训练期间，每个Groundtruthcrop的大小调整为224x224。为了使网络对角度变化和遮挡情况更加鲁棒，地面真实矩形框和地面真实角度会随着目标物体中心光线的移动而改变。

4)距离估计模块设计

利用实际面积与投影面积之间的透视投影关系建立“面积-距离”几何模型，更加全面的利用了车辆信息，提高测距系统的准确性。而且专注于面与面之间的投影转换关系，可以增强几何模型的可靠性。

4.1)相机投影原理

相机投影原理主要将世界坐标系中的点(X_W,Y_W,Z_W)变换到相机坐标系(X_C,Y_C,Z_C)中，然后经过透视投影，变成二维平面上的点(x,y)，最后以像素点(u,v)的形式存储，如图8所示。假定世界坐标系为图8(a)所示的位置，则R＝I(单位阵)，T＝[0 0 L]^T，Z_W＝0，那么可得到关系式(4)

如图8(b)所示，将图像坐标系转换到像素坐标系下得到如下关系式：

利用相机投影原理可得到在相机坐标系下实际点与像素点之间的转化关系：

其中，

令(u₀,v₀)＝(0,0)，将上式化为如下关系式：

4.2)由点转换的关系引出面积转换的关系

将目标车辆的实际面积沿着Y_C方向分为N份，则每一份近似为一个矩形，如图9所示。假设第i矩形的4顶点分别标记为

其中

(r＝1,2；i＝1,2,3,…,N)；

和

分别表示四个坐标点的x，y坐标；

那么目标车辆可见部分的实际面积为：

利用实际点与像素点之间的关系，)可得：

其中，S_pixel表示目标车辆在图像上的投影面积，即车辆在图像中投影形成的Mask像素值，S表示车辆的实际面积；

4.3)估计前方车辆的物理距离

根据等式(3)、(9)得到距离公式：

其中，L就是前方车辆的物理距离，f_x＝f_y＝7.2153×10²，S_{斜前方车辆背面}表示斜前方车背面的实际面积，S_{斜前方车辆Mask}表示斜前方车整体的投影面积，θ_l表示车辆局部角。

相比于现有测距方法的估计结果，本发明提出的方法精度得到了显著的提高，我们在KITII基准数据集(即为目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集)里上面的测试结果表明，斜前方车辆测距结果的误差率小于5％，不同行驶状态下车辆的精度偏差小于2％，结果表明本发明提出的方法可以大大缩小不同类型车辆之间测距精度的偏差，克服了局限性，并精度结果超出了现有距离估计方法。

实验结果如表1所示：

表1两组实验结果比较

参考文献：

[1]A Novel Distance Estimation Method Leading a Forward CollisionAvoidance Assist System for Vehicles on Highways.

[2]Vehicle distance estimation using a mono-camera for FCW/AEBsystems.

[3]Real-time monocular ranging by Bayesian triangulation.

[4]Vehicle distance detection based on monocular vision.

[5]Vehicle detection and inter-vehicle distance estimation usingsingle-lens video camera on urban/suburb roads.

[6]Measuring the Absolute Distance of a Front Vehicle from an In-carCamera Based on Monocular Vision and Instance Segmentation.

[7]Potential oflidar sensors for the detection ofUAVs.

[8]Concise Computer Vision.London,U.K.:Springer-Verlag.

[9]Development ofa camera-based forward collision alert system.

[10]Toward realtime vehicle detection using stereo vision and anevolutionary algorithm.

[11]Mask R-CNN.

[12]Unsupervised CNN for Single View Depth Estimation:Geometry to theRescue.。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种基于车载单目视觉的鲁棒车辆距离估计方法，其特征在于，包括如下步骤：

步骤S1、输入整张RGB图像，提取目标车辆候选区域；

步骤S2、将目标车辆候选区域分别送到分割网络、角度回归网络和尺寸估计网络，获得目标车辆的分割信息、姿态角信息和实际尺寸；

步骤S3、基于图像解析几何原理设计2D基向量几何模型，得到车辆背面和车辆整体之间的投影关系，计算车辆背面的投影面积；

步骤S4、基于相机投影原理建立面积-距离几何模型估计前方车辆距离；

步骤S2中，所述分割网络采用MaskR-CNN，对目标车辆候选区域进行像素级分割得到车辆Mask；

所述步骤S3具体实现方式如下：

将车辆的姿态变化转化到二维空间中建立平面图进行分析，用矩形框表示目标车辆，以相机光心为原点建立相机坐标系，用θ_ray表示目标车辆中心和相机光心连接的射线与水平轴之间的夹角，用θ表示目标车辆行驶方向与水平轴之间的夹角，用θ_l表示车辆局部角，其中θ_l＝θ—θ_ray；由于姿态信息的改变，导致车辆的投影关系和Mask信息均发生变化；

(1)正前方车辆Mask与斜前方车辆背面Mask之间的关系

相比于正前方车辆的Mask信息，斜前方车辆背面部分没有改变，相应的Mask信息也不会变化，因此斜前方车背面的投影面积与正前方车的投影面积相同，即正前方车辆Mask与斜前方车辆背面Mask之间的有如下关系：

S_{正前方车辆Mask}＝S_{斜前方车辆背面Mask}

(2)正前方车辆Mask与斜前方车辆Mask之间的关系：

假定摄像机的俯仰角和翻滚角为零，相机获取的图像与实际观测场景是平行的；针对交通场景中车辆行驶在笔直马路上，暂时不考虑在弯道上行驶的车辆；

为了获得车辆背面Mask信息，首先需要分析正前方车辆Mask与斜前方车辆整体Mask之间的关系，顺着光线方向将目标车辆的候选区域提取出来；

正前方车辆的Mask用e₁-e₂基向量表示，目标车辆是顺着摄像头光线方向提取出来的，所以是e₁基向量的物理含义表示正前方车的光线方向，又因为正前方车的行驶方向和光线方向相同，所以e₁基向量还可以表达车辆行驶方向，e₂是与e₁向量垂直的向量；

斜前方车辆的Mask由e₃-e₄基向量表示，同理，e₃基向量的物理含义表示斜前方车的光线方向，e₄就是e₃向量垂直的向量；

将e₁-e₂、e₃-e₄统一到同一坐标系下建立二维基向量几何模型，分析两种车辆Mask区域的基向量变化，其中以正前方车Mask的e₁-e₂基向量为基准，观察斜前方车辆e₃-e₄基向量的变化；

根据其物理含义可知基向量之间偏移的角度γ即车辆的局部角θ_l，由于Mask的变化与其基向量的变化是一致的，所以可得下式：

其中，|e₁e₂|和|e₃e₄|分别表示正前方车辆和斜前方车辆的Mask区域，S_{正前方车辆Mask}表示正前方车辆投影面积，S_{斜前方车辆Mask}表示斜前方车辆投影面积；

(3)斜前方车辆整体Mask与斜前方车辆背面Mask之间的关系

因为γ＝θ_l，S_{正前方车辆Mask}＝S_{斜前方车辆背面Mask}，可得下式：

根据上式可以得到斜前方车辆整体Mask与斜前方车辆背面Mask之间的关系，其中Mask区域的像素值就是投影面积。

2.根据权利要求1所述的基于车载单目视觉的鲁棒车辆距离估计方法，其特征在于，步骤S1中，所述提取目标车辆候选区域是通过融合目标分类和生成目标候选区域的RPN网络来提取目标车辆的候选区域。

3.根据权利要求1所述的基于车载单目视觉的鲁棒车辆距离估计方法，其特征在于，所述步骤S4具体实现方式如下：

(1)相机投影原理主要将世界坐标系中的点(X_W,Y_W,Z_W)变换到相机坐标系(X_C,Y_C,Z_C)中，然后经过透视投影，变成二维平面上的点(x,y)，最后以像素点(u,v)的形式存储；

假定世界坐标系中，有R＝I，I为单位阵，T＝[0 0 L]^T，Z_W＝0，那么可得到如下关系式：

将图像坐标系转换到像素坐标系下得到如下关系式：

利用相机投影原理可得到在相机坐标系下实际点与像素点之间的转化关系：

其中，

令(u₀,v₀)＝(0,0)，将上式化为如下关系式：

(2)由点转换的关系引出面积转换的关系

将目标车辆的实际面积沿着Y_C方向分为N份，则每一份近似为一个矩形；假设第i矩形的4顶点分别标记为

其中

和

分别表示四个坐标点的x，y坐标；

那么目标车辆可见部分的实际面积为：

利用实际点与像素点之间的关系，)可得：

其中，S_pixel表示目标车辆在图像上的投影面积，即车辆在图像中投影形成的Mask像素值，S表示车辆的实际面积；

(3)估计前方车辆的物理距离

根据等式

得到距离公式：

其中，L就是前方车辆的物理距离，f_x＝f_y＝7.2153×10²，S_{斜前方车辆背面}表示斜前方车背面的实际面积，S_{斜前方车辆Mask}表示斜前方车整体的投影面积，θ_l表示车辆局部角。

Images