CN111829484A - 基于视觉的目标距离测算方法 - Google Patents

Abstract

一种基于视觉的目标距离测算方法，能够根据车辆距离、姿态、遮挡状态和/或目标框的尺寸自适应选择测距策略，通过融合多种不同测距方法来提升测距结果可靠性；结合预估距离和目标像素值的自适应权重分配方法，大幅降低由于单种测距方法在不同距离跨度上的适应性问题，能够提升整体测距精度；并且，测距稳定性好，对于实际测距中受到的诸如车辆颠簸、倾斜、遮挡等因素的影响鲁棒性较强；同时，通过选择合适的权重参数，可以快速获取最优效果参数值，便于在实际使用场景中应用，在不额外增加系统硬件成本的基础上检测高效可靠，检测精度高，具有很高的实用性。

Description

基于视觉的目标距离测算方法

技术领域

本发明涉及测量领域和计算机图像处理领域，具体涉及自动驾驶、移动机器人和/或图像监控领域中的图像的测距技术，特别涉及一种基于视觉的目标距离测算方法及装置。

背景技术

随着技术进步和科技发展，自动驾驶成为现阶段交通运输工具领域的研究热点，自主行走是移动机器人的发展方向之一，自动识别是图像监控领域的重要功能。基于计算机图像处理的视觉感知系统在自动驾驶、移动机器人和/或图像监控领域中广泛应用。通过感知系统实现自动驾驶是交通发展史上重大的进步和创新，感知系统也是移动机器人和图像监控的重要组成部分。其中，感知系统的一个重要任务就是实时准确地获得前方目标的距离。自动驾驶需要通过感知系统获得前方目标车辆的精确距离以自主驾驶，移动机器人需要通过感知系统获得前方目标的精确距离以避障移动，图像监控需要获得前方目标的精确距离以自动识别。而自动驾驶中对前方车辆的实时准确距离位置判断，由于实际道路上车辆速度快、周围环境车辆运动的方向不确定性、环境车辆车速的变化复杂性、以及环境背景干扰等导致前方目标车辆测距难度大。而对自动驾驶中前方目标车辆的测距精度、测距实时性又要求高。因此，自动驾驶中前方目标车辆的测距问题是自动驾驶、移动机器人和/或图像监控领域中的图像的测距技术的难点。自动驾驶中前方目标车辆的测距问题可以很好地应用于移动机器人和/或图像监控领域中的图像的测距场景中。

对于自动驾驶中前方目标车辆的测距问题，目前已有的方案一般只使用一种目标尺寸(如宽度或高度)，或者只使用目标位置(目标框下边界与消失点)的方法，然而仅仅使用某一种测量方法在实际测距中往往会受到诸如车辆颠簸、倾斜、遮挡等因素的影响，而导致测距精度下降。

中国专利文献CN105488454A提出了一种车辆测距方法。该方法使用车道线提取消失点，使用直方图均衡后的图像提取车轮胎与地面的交点，根据车辆位置与车道线消失点检测结果作为先验信息进行车辆测距。由于该方法受车道线质量影响较大，存在远距离测量精度不足的缺点，而且易受车辆颠簸影响，进而影响测量的精度。

美国专利文献US20180165822A1通过检测目标车辆在图像中的位置，计算目标所在位置车道在图像中的像素宽度，使用相机透视模型来计算目标距离。但是该方法中目标所在位置处必须有车道线，车道线的宽度也需已知，而且还假设车道宽度在视野内是不变的。由于该方法的使用条件限制颇多，导致该方法并不适合实际应用。

美国专利文献US8164628B2和中国专利文献CN107305632A，均基于消失线和图像中目标位置，使用连续跟踪帧获取目标宽度，然后根据目标宽度或高度获得目标距离。然而实际应用中，当车辆被遮挡或者车辆相对于主车有较大倾斜时，上述方法由于使用单一的尺度信息会引起较大误差，测量精度不能满足实际使用需要。

而在自动驾驶车辆行驶过程中，对前方目标车辆的测距有较高的要求。上述参考专利和方法只使用一种目标尺寸(如宽度或高度)，或者只使用目标位置(目标框下边界与消失点)方法，测量精度不高；同时，目标在不同状态下，由于视觉摄像头的成像畸变或安装位置偏移或旋转，上述参考专利中使用单一的测距公式或方法会在目标位姿发生变化时产生较大的系统误差，不能满足实际自动驾驶车辆行驶过程中的实时测距精度需要。

因此，如何提高实际自动驾驶车辆行驶过程中前方车辆的整体测距精度成为亟待解决的技术问题。

发明内容

本发明针对上述技术问题，为了解决行进中前方车辆的测距问题，提出了一种新的根据车辆距离、姿态、遮挡状态和目标框的尺寸自适应选择测距策略的方法，根据车辆距离的远近动态选择最优的测距结果，解决实际车辆测距应用中单一测距方法存在的问题，提高了整体测距精度。

为解决上述技术问题，根据本发明的一个方面，提供了基于视觉的目标距离测算方法，包括以下步骤：

S1、图像获取：由相机获取图像，得到图像数据；

S2、目标距离预估：针对所述图像数据，提取目标框，计算消失点，获取当前目标的估计位置D₁；

S3、获得目标尺寸：使用所述当前目标的估计位置D₁预估目标稳定尺寸；使用所述目标稳定尺寸，得到三种测距结果并计算目标距离Dw和Dh；

S4、根据不同测距方法的预估距离，计算距离权重wd，根据不同测距方法的依赖的像素尺度，计算像素权重wp；基于所述距离权重wd和所述像素权重wp生成自适应权重，获得最终距离；

S5、使用Kalman跟踪算法对上述最终距离测算距离值进行跟踪滤波，获得最终结果。

优选地，所述相机为单目。

优选地，所述目标框为车辆目标框。

优选地，所述目标稳定尺寸包括目标宽W和目标高H；根据小孔成像比例模型，通过多帧滤波求取稳定值，使用所述当前目标的估计位置D₁预估目标宽W和目标高H，获得目标稳定尺寸。

优选地，使用所述目标稳定尺寸的目标宽W和目标高H，得到三种测距结果；根据小孔成像比例模型，分别计算目标距离Dw和Dh。

优选地，所述相机安装在车辆前端。

优选地，获得图像数据后，使用预先训练好的深度学习模型对图像进行目标检测。

优选地，通过传统图像处理方法、结合传统视觉算法与深度学习方法实现的检测、或融合激光雷达或毫米波雷达与图像实现的检测方法对图像进行目标检测。

优选地，提取车辆目标在图像中的二维框，目标检测结果为目标在图像中的像素坐标以及大小(x,y,w,h)，获得目标在图像中框的宽度w和高度h。

优选地，使用深度学习三维检测方法，除获得目标的二维轮廓框参数(x,y,w,h)外，还获得目标的横纵向遮挡比例r_w,r_h，或可见比例

以及目标车辆相对于视线的角度α，得到目标的三维轮廓框参数。

优选地，使用Edlines快速直线检测算子检测图像直线，提取图像中车道边界和车道线信息。

优选地，在使用Edlines算子的方法提取图像中车道边界和车道线信息过程中，选择可视道路范围内的下半部分，以排除车道弯曲和前方车辆的干扰。

优选地，使用车道边界或车道线信息，将提取到的可靠直线通过聚类的方法获得车道线的大概率存在的位置，得到一簇道路标示线(即MarkerLines)，图像中Markerlines两两相交，能够求取多个交点。

优选地，使用车道线信息提取图像中的消失点，将所有交点通过聚类的方法获得消失点在图像中的坐标。

优选地，所述交点聚类的方法包括：

①生成一副和原图同样大小的灰度图，记为交点热力图I_cross，并将全部像素点设置为0；

②遍历所有交点，对每个交点坐标邻域δ的像素坐标值加1，其中δ表示聚类邻域半径，在1280x720的图像中取5px；

③统计I_cross图像中像素值最大的值，并找出其坐标，若最大值大于可靠性阈值T，则认为此坐标点即为此图中的消失点(x_h,y_h)。

优选地，T在高速3车道道路上取为10。

优选地，结合消失点或者消失线的在图像中纵坐标y_h和车辆目标在图像中的二维框的底部纵坐标y_b，使用下面公式(1)获取当前目标的估计位置D₁，即当前目标的距离：

其中，F_cam表示相机的焦距，H_cam为相机安装在车辆上的位置距离地面的高度。

优选地，使用当前目标的估计位置D₁，根据公式(2)、(3)推算出当前目标车辆的尺寸信息，所述尺寸信息包括宽度W_m和高度H_m：

其中，宽度W_m和高度H_m表示目标的实际尺寸，w和h为权利要求9中所述的目标检测结果在图像中的像素尺寸。

优选地，使用多帧跟踪的方法，获得目标的稳定尺寸W和H，并将此尺寸与此目标对象绑定，并进行更新。

优选地，所述多帧跟踪为3帧跟踪。

优选地，所述目标的稳定尺寸W和H的稳定方法通过滑动窗口求均值的方法获得。

优选地，所述滑动窗口求均值的方法包括：

①记录每一帧图像中同一目标O的W_m和H_m，作为作为目标O的尺寸参考历史；

②分别对目标O的参考历史尺寸W和H进行排序，然后取中间90％的值作为有效统计参考；

③统计上一步中有效统计参考的期望值，作为目标O的稳定尺寸W和H。

优选地，在后续图像序列中，如果检测到的目标在前面的图像序列中已经获得稳定尺寸，则使用下面公式(4)中的三种不同方法计算距离D1、D2、D3，即基于不同侧重点的测距方法得到三种测距结果：

优选地，将估算的距离结果通过最优规则进行融合作为此处的测量值，则最终的测距结果如公式(5)所示：

其中，D为最终测距结果，w_i、w_j表示不同测距方法的权重，D_i表示第i种测距方法的结果，结合目标距离值和测距依赖像素尺寸值，选取不同侧重的的目标测距方法，能够获得稳定的测距结果，w_i记为：

w_i＝w_di·w_pi (6)

其中，w_di为距离权重项；w_pi为像素尺寸权重项。

优选地，为所述距离权重项w_di为：

其中，

表示D_i作为距离权重考虑的下界，

表示D_i作为距离权重考虑的上界，上式中，w_di∈[0,1]；通过上述值所取得的距离权重w_di如图3所示。

优选地，所述距离权重项w_di中，

为满足公式(8)的条件的距离值：

优选地，所述像素尺寸权重项w_pi为：

当使用目标的二维轮廓框参数时，取值如公式(9)所示：

优选地，采用公式(10)表示归一化权重：

优选地，所述

为满足公式(11)的条件的距离值

优选地，所述像素尺寸权重项w_pi为：

当使用目标的三维轮廓框参数时，取值如公式(12)所示：

其中，r_w、r_h分别表示检测目标的在图像中的横向遮挡比例和纵向遮挡比例，α表示目标车辆在与相机视野中心线的水平夹角，T_α表示目标角度对基于宽度进行距离估计的可接受阈值，一般地可取T_α为0.15rad。

优选地，将距离值D作为距离的测算值，使用Kalman跟踪滤波器进行平滑，以获得最终的距离测算结果。

优选地，历史参考长度Hsize取大于3s时间的跨度。

优选地，图像采样频率为30Hz时，所述历史参考长度Hsize取不小于90s时间的跨度。

为解决上述技术问题，根据本发明的另一个方面，提供了一种基于视觉的目标距离测算装置，包括：

图像获取单元：包括相机，由相机获取图像，得到图像数据；

目标距离预估单元：针对所述图像数据，提取目标框，计算消失点，获取当前目标的估计位置D₁；

获得目标尺寸单元：使用所述当前目标的估计位置D₁预估目标稳定尺寸；使用所述目标稳定尺寸，得到三种测距结果并计算目标距离Dw和Dh；

自适应权重生成单元：根据不同测距方法的预估距离，计算距离权重wd，根据不同测距方法的依赖的像素尺度，计算像素权重wp；基于所述距离权重wd和所述像素权重wp生成自适应权重，获得最终距离；

Kalman跟踪单元：使用Kalman跟踪算法对上述最终距离测算距离值进行跟踪滤波，获得最终结果。

优选地，所述相机为单目。

优选地，所述目标框为车辆目标框。

优选地，所述目标稳定尺寸包括目标宽W和目标高H；根据小孔成像比例模型，通过多帧滤波求取稳定值，使用所述当前目标的估计位置D₁预估目标宽W和目标高H，获得目标稳定尺寸。

优选地，使用所述目标稳定尺寸的目标宽W和目标高H，得到三种测距结果；根据小孔成像比例模型，分别计算目标距离Dw和Dh。

优选地，所述相机安装在车辆前端。

优选地，获得图像数据后，使用预先训练好的深度学习模型对图像进行目标检测。

优选地，通过传统图像处理方法、结合传统视觉算法与深度学习方法实现的检测、或融合激光雷达或毫米波雷达与图像实现的检测方法对图像进行目标检测。

优选地，提取车辆目标在图像中的二维框，目标检测结果为目标在图像中的像素坐标以及大小(x,y,w,h)，获得目标在图像中框的宽度w和高度h。

优选地，使用深度学习三维检测方法，除获得目标的二维轮廓框参数(x,y,w,h)外，还获得目标的横纵向遮挡比例r_w,r_h，或可见比例

以及目标车辆相对于视线的角度α，得到目标的三维轮廓框参数。

优选地，使用Edline的方法Edlines快速直线检测算子检测图像直线，提取图像中车道边界和车道线信息。

优选地，在使用Edline的方法提取图像中车道边界和车道线信息过程中，选择可视道路范围内的下半部分，以排除车道弯曲和前方车辆的干扰。

优选地，使用车道边界或车道线信息，将提取到的可靠直线通过聚类的方法获得车道线的大概率存在的位置，得到一簇道路标示线(即MarkerLines)，图像中Markerlines两两相交，能够求取多个交点。

优选地，使用车道线信息提取图像中的消失点，将所有交点通过聚类的方法获得消失点在图像中的坐标。

优选地，所述交点聚类的方法包括：

①生成一副和原图同样大小的灰度图，记为交点热力图I_cross，并将全部像素点设置为0；

②遍历所有交点，对每个交点坐标邻域δ的像素坐标值加1，其中δ表示聚类邻域半径，在1280x720的图像中取5px；

③统计I_cross图像中像素值最大的值，并找出其坐标，若最大值大于可靠性阈值T，则认为此坐标点即为此图中的消失点(x_h,y_h)。

优选地，T在高速3车道道路上取为10。

优选地，结合消失点或者消失线的在图像中纵坐标y_h和车辆目标在图像中的二维框的底部纵坐标y_b，使用下面公式(1)获取当前目标的估计位置D₁，即当前目标的距离：

其中，F_cam表示相机的焦距，H_cam为相机安装在车辆上的位置距离地面的高度。

优选地，使用当前目标的估计位置D₁，根据公式(2)、(3)推算出当前目标车辆的尺寸信息，所述尺寸信息包括宽度W_m和高度H_m：

其中，宽度W_m和高度H_m表示目标的实际尺寸，w和h为权利要求9中所述的目标检测结果在图像中的像素尺寸。

优选地，使用多帧跟踪的方法，获得目标的稳定尺寸W和H，并将此尺寸与此目标对象绑定，并进行更新。

优选地，所述多帧跟踪的帧数不小于3。

优选地，所述目标的稳定尺寸W和H的稳定方法通过滑动窗口求均值的方法获得。

优选地，所述滑动窗口求均值的方法包括：

①记录每一帧图像中同一目标O的W_m和H_m，作为作为目标O的尺寸参考历史；

②分别对目标O的参考历史尺寸W和H进行排序，然后取中间90％的值作为有效统计参考；

③统计上一步中有效统计参考的期望值，作为目标O的稳定尺寸W和H。

优选地，如果检测到的目标在前面的图像序列中已经获得稳定尺寸，则使用下面公式(4)中的三种不同方法计算距离D1、D2、D3，即基于不同侧重点的测距方法得到三种测距结果：

优选地，将估算的距离结果通过最优规则进行融合作为此处的测量值，则最终的测距结果如公式(5)所示：

其中，D为最终测距结果，w_i、w_j表示不同测距方法的权重，D_i表示第i种测距方法的结果，结合目标距离值和测距依赖像素尺寸值，选取不同侧重的的目标测距方法，能够获得稳定的测距结果，w_i记为：

w_i＝w_di·w_pi (6)

其中，w_di为距离权重项；w_pi为像素尺寸权重项。

优选地，为所述距离权重项w_di为：

其中，

表示D_i作为距离权重考虑的下界，

表示D_i作为距离权重考虑的上界，上式中，w_di∈[0,1]；通过上述值所取得的距离权重w_di如图3所示。

优选地，所述距离权重项w_di中，

为满足公式(8)的条件的距离值：

优选地，所述像素尺寸权重项w_pi为：

当使用目标的二维轮廓框参数时，取值如公式(9)所示：

优选地，采用公式(10)表示归一化权重：

优选地，所述

为满足公式(11)的条件的距离值

优选地，所述像素尺寸权重项w_pi为：

当使用目标的三维轮廓框参数时，取值如公式(12)所示：

其中，r_w、r_h分别表示检测目标的在图像中的横向遮挡比例和纵向遮挡比例，α表示目标车辆在与相机视野中心线的水平夹角，T_α表示目标角度对基于宽度进行距离估计的可接受阈值，一般地可取T_α为0.15rad。

优选地，将距离值D作为距离的测算值，使用Kalman跟踪滤波器进行平滑，以获得最终的距离测算结果。

优选地，历史参考长度Hsize取大于3s时间的跨度。

优选地，图像采样频率为30Hz时，所述历史参考长度Hsize取不小于90s时间的跨度。

本发明的有益效果：

1、可以大幅降低由于单种测距方法在不同距离跨度上的适应性问题，在实际应用中，测距结果表现良好；

2、自适应权重值的计算不仅可以提升整体测距精度，同时，便于在实际使用场景中，可以通过选择合适的权重参数，快速获取最优效果参数值；

3、无需使用双目或多目摄像头，可应用于单目摄像头测量目标车距的场景中，系统结构简单、成本低，而且测量结果精度高、实时性好。

4、通过融合多种不同测距方法能够提升测距结果的可靠性；

5、测距稳定性好，对于实际测距中受到的诸如车辆颠簸、倾斜、遮挡等因素的影响鲁棒性较强；

6、能够实时对前方目标进行基于视觉的距离测算，以获得准确可靠的目标距离信息。

附图说明

附图示出了本发明的示例性实施方式，并与其说明一起用于解释本发明的原理，其中包括了这些附图以提供对本发明的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将更加清楚。

图1是基于视觉的目标距离测算方法的流程图；

图2是目标检测结果图；

图3是距离权重图；

图4是一种归一化权重图；

图5是另一种归一化权重图；

图6是消失线提取效果图；

图7是最终的距离测算结果图。

具体实施方式

下面结合附图和实施方式对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。

需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本发明。

本发明针对行进中前方车辆的测距问题，提出了一种根据车辆距离、姿态、遮挡状态和/或目标框的尺寸自适应选择测距策略的方法及装置，在实际车辆测距应用中可以解决单一测距方法的问题。根据车辆距离的远近可以动态选择最优的测距结果，提高整体测距精度。

本发明的基于视觉的目标距离测算方法及装置，融合多种不同测距方法来提升测距结果可靠性；结合预估距离和目标像素值的自适应权重分配方法，可以大幅降低由于单种测距方法在不同距离跨度上的适应性问题，能够提升整体测距精度；测距稳定性好，对于实际测距中受到的诸如车辆颠簸、倾斜、遮挡等因素的影响鲁棒性较强；同时，可以通过选择合适的权重参数，快速获取最优效果参数值，便于在实际使用场景中应用。

图1是本发明的基于视觉的目标距离测算方法的流程图。如图1所示，所述基于视觉的目标距离测算方法主要流程如下：

S1、图像获取：由单目相机获取图像，得到图像数据；

S2、针对所述图像数据，提取车辆目标框，计算消失点，获取当前目标的估计位置D₁，作为后续计算目标实际尺寸的依据；

S3、根据小孔成像比例模型，通过多帧滤波求取稳定值，使用所述当前目标的估计位置D₁预估目标宽W和高H，获得目标稳定的测算尺寸W和H；可以在无需预先知道目标尺寸的前提下，使用预估距离计算目标尺寸，逐步逼近实际目标尺寸值；解决了在没有目标实际尺寸信息时，无法准确获得目标距离的问题；

S4、使用所述目标稳定的测算尺寸W和H，得到三种测距结果；根据小孔成像比例模型，分别计算目标距离Dw和Dh；在计算Dw和Dh时，使用了上述步骤中获得的W和H的结果，从而可以基于目标尺寸来计算目标的距离，弥补使用目标框位置进行测距精度不足的缺点；

S5、根据不同测距方法的预估距离，计算距离权重wd，根据不同测距方法的依赖的像素尺度，计算像素权重wp；距离权重wd可以在目标距离变化时，动态调整D1、Dw和Dh的比重，可提升目标在距离变化、车辆颠簸时的测距精度；像素权重wp可以降低由于遮挡造成的测距误差对最终测距结果的影响；

S6、基于所述距离权重wd和所述像素权重wp生成自适应权重，获得最终距离；可显著弥补单一测距方法的缺点，对车辆颠簸、目标倾斜、遮挡等情况有良好的适应性；

S7、使用基于车辆运动模型的Kalman跟踪算法对上述最终距离测算距离值进行跟踪滤波，获得最终结果；可使得最终测距结果更加逼近实际值，降低单帧测距误差、抖动对结果的影响。

实际车辆自动驾驶过程中、移动机器人行进过程中和/或图像监控摄像头实时监控过程中，反复执行上述流程，实时对前方目标进行基于视觉的距离测算，获得准确可靠的目标距离信息。具体包括如下步骤：

1)、目标检测：通过安装在车辆前端的相机获得图像数据，获得图像数据后，使用预先训练好的深度学习模型对图像进行目标检测，也可以通过传统图像处理方法、结合传统视觉算法与深度学习方法实现的检测、融合激光雷达或毫米波雷达与图像实现的检测等方法对图像进行目标检测。

通常，如图2所示，提取车辆目标在图像中的二维框(BoundingBox)，目标检测结果为目标在图像中的像素坐标以及大小(x,y,w,h)，此处取得目标车辆在图像中的2D框，可获得目标在图像中框的宽度w和高度h。图2中，(x,y)表示目标框的左上角在图像坐标系中的坐标，w和h标示目标框的宽和高，虚线L代表根据消失点估计的消失线，y_h为消失线的纵坐标，y_b为目标框底边的像素坐标。

优选地，使用深度学习3D检测方法，除获得目标的二维轮廓框参数(x,y,w,h)外，还获得目标的横纵向遮挡比例r_w,r_h，或可见比例

以及目标车辆相对于视线的角度α，得到目标的三维轮廓框参数。

2)、目标距离预估：在图像中，使用Edlines快速直线检测算子检测图像直线，提取图像中车道边界和车道线等信息，这个过程中，优选可视道路范围内的下半部分，以排除车道弯曲和前方车辆的干扰。使用车道边界或车道线信息，将上一步提取到的可靠直线通过聚类的方法可获得车道线大概率存在的位置，可得到一簇道路标示线MarkerLines，图像中Markerlines两两相交，可求取多个交点。

使用车道线信息提取图像中的消失点，将所有交点通过聚类的方法可以获得消失点在图像中的坐标。其中交点聚类的方法可表述为：

①生成一副和原图同样大小的灰度图，记为交点热力图I_cross，并将全部像素点设置为0；

②遍历所有交点，对每个交点坐标邻域δ的像素坐标值加1，其中δ表示聚类邻域半径，在1280x720的图像中可取5px；

③统计I_cross图像中像素值最大的值，并找出其坐标，若最大值大于可靠性阈值T，则可认为此坐标点即为此图中的消失点(x_h,y_h)，其中优选地，T在高速3车道道路上可取10。

然后结合消失点或者消失线的在图像中纵坐标y_h和上一步中2D框的底部纵坐标y_b,使用下面公式(1)获取当前目标的估计位置D₁即当前目标的距离：

其中，F_cam表示相机的焦距，H_cam为相机安装在车辆上的位置距离地面的高度。

3)、获得目标尺寸：使用上一步预估距离D₁，根据公式(2)、(3)可以推算出当前目标车辆的尺寸信息，此处表示为宽度W_m和高度H_m，

其中，宽度W_m和高度H_m表示目标的实际尺寸，w和h为权利要求9中所述的目标检测结果在图像中的像素尺寸。

其中，使用多帧跟踪的方法，例如通过3帧及以上的跟踪和稳定之后，可以获得目标的稳定尺寸W和H，并将此尺寸与此目标对象绑定，并使用下述方法更新。

此过程中，W和H的稳定方法可通过滑动窗口求均值的方法获得，所述方法为：

①记录每一帧图像中同一目标O的W_m和H_m，作为作为目标O的尺寸参考历史；

②分别对目标O的参考历史尺寸W和H进行排序，然后取中间90％的值作为有效统计参考；

③统计上一步中有效统计参考的期望值，作为目标O的稳定尺寸W和H。一般的，历史参考长度取大于3s时间的跨度，例如图像采样频率为30Hz时，历史长度Hsize一般取不小于90。

4)、自适应阈值重计算距离：在后续图像序列中，若检测到此车辆，则使用下面公式(4)中的三种不同方法计算距离D1、D2、D3，即基于不同侧重点的测距方法得到三种测距结果：

将估算的距离结果通过最优规则进行融合作为此处的测量值，则最终的测距结果如公式(5)所示：

其中，D为最终测距结果，w_i、w_j表示不同测距方法的权重，D_i表示第i种测距方法的结果，结合目标距离值和测距依赖像素尺寸值，选取不同侧重的的目标测距方法，可以获得稳定的测距结果，w_i记为：

w_i＝w_di·w_pi (6)

其中，

w_di为距离权重项：

其中，

表示D_i作为距离权重考虑的下界，

表示D_i作为距离权重考虑的上界，上式中，w_di∈[0,1]；通过上述值所取得的距离权重w_di如图3所示。

距离权重参数w_di中，

的选取会影响D_i的起作用范围及权重比例，一般地，

为满足公式(8)的条件的距离值：

w_pi为像素尺寸权重项，

一般地，当使用目标的二维轮廓框参数时，取值如公式(9)所示：

采用公式(10)表示归一化权重：

一般地，当

为满足公式(11)的条件的距离值时，归一化权重w‘_i在w，h和δy＝y_b-y_h确定取值时的表现为如图4和图5所示：

优选地，当使用目标的三维轮廓框参数时，尺寸权重参数取值为公式(12)所示：

其中，r_w、r_h分别表示检测目标的在图像中的横向遮挡比例和纵向遮挡比例，α表示目标车辆在与相机视野中心线的水平夹角，T_αT_α表示目标角度对基于宽度进行距离估计的可接受阈值，一般地可取T_α为0.15rad。

5)、跟踪滤波：将上一步计算而得的距离值D作为距离的测算值，使用Kalman跟踪滤波器进行平滑，以获得最终的距离测算结果。图6是消失线提取效果图，图7是最终的距离测算结果图。

由此可见，本发明的基于视觉的目标距离测算方法，解决了实际自动驾驶过程中的行进中前方车辆的测距问题，能够根据车辆距离、姿态、遮挡状态和/或目标框的尺寸自适应选择测距策略，在实际车辆测距应用中可以解决单一测距方法的问题。根据车辆距离的远近能够动态选择最优的测距结果，提高了整体测距精度。本发明的基于视觉的目标距离测算方法通过融合多种不同测距方法来提升测距结果可靠性；结合预估距离和目标像素值的自适应权重分配方法，可以大幅降低由于单种测距方法在不同距离跨度上的适应性问题，能够提升整体测距精度；测距稳定性好，对于实际测距中受到的诸如车辆颠簸、倾斜、遮挡等因素的影响鲁棒性较强；同时，可以通过选择合适的权重参数，快速获取最优效果参数值，便于在实际使用场景中应用。所述基于视觉的目标距离测算方法同样地适用于移动机器人行进过程中和/或图像监控摄像头实时监控过程中的目标距离测算，并且在不额外增加系统硬件成本的基础上检测高效可靠，同时检测精度高，具有很高的实用性。

至此，已经结合附图所示的优选实施方法描述了本发明的技术方案，但是，本领域技术人员应当理解，上述实施方式仅仅是为了清楚地说明本发明，而并非是对本发明的范围进行限定，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于视觉的目标距离测算方法，其特征在于，包括以下步骤：

S1、图像获取：由相机获取图像，得到图像数据；

S2、目标距离预估：针对所述图像数据，提取目标框，计算消失点，获取当前目标的估计位置D₁；

S3、获得目标尺寸：使用所述当前目标的估计位置D₁预估目标稳定尺寸；使用所述目标稳定尺寸，得到三种测距结果并计算目标距离Dw和Dh；

S4、根据不同测距方法的预估距离，计算距离权重wd，根据不同测距方法的依赖的像素尺度，计算像素权重wp；基于所述距离权重wd和所述像素权重wp生成自适应权重，获得最终距离；

S5、使用Kalman跟踪算法对上述最终距离测算距离值进行跟踪滤波，获得最终结果。

2.根据权利要求1所述的基于视觉的目标距离测算方法，其特征在于，所述相机为单目。

3.根据权利要求1所述的基于视觉的目标距离测算方法，其特征在于，所述目标框为车辆目标框。

4.根据权利要求1所述的基于视觉的目标距离测算方法，其特征在于，所述目标稳定尺寸包括目标宽W和目标高H；根据小孔成像比例模型，使用所述当前目标的估计位置D₁预估宽Wm和高Hm，通过多帧滤波求取稳定值，，获得目标稳定尺寸宽W和高H。

5.根据权利要求1所述的基于视觉的目标距离测算方法，其特征在于，使用所述目标稳定尺寸的宽W和高H，得到三种测距结果；根据小孔成像比例模型，分别计算目标距离Dw和Dh。

6.根据权利要求1或2所述的基于视觉的目标距离测算方法，其特征在于，所述相机安装在车辆前端。

7.根据权利要求1或2所述的基于视觉的目标距离测算方法，其特征在于，

获得图像数据后，使用预先训练好的深度学习模型对图像进行目标检测。

8.根据权利要求1或2所述的基于视觉的目标距离测算方法，其特征在于，通过传统图像处理方法、结合传统视觉算法与深度学习方法实现的检测、或融合激光雷达或毫米波雷达与图像实现的检测方法对图像进行目标检测。

9.根据权利要求1、2、7或8所述的基于视觉的目标距离测算方法，其特征在于，提取车辆目标在图像中的二维框，目标检测结果为目标在图像中的像素坐标以及大小(x,y,w,h)，获得目标在图像中框的宽度w和高度h。

10.提供了一种基于视觉的目标距离测算装置，包括：

图像获取单元：包括相机，由相机获取图像，得到图像数据；

目标距离预估单元：针对所述图像数据，提取目标框，计算消失点，获取当前目标的估计位置D₁；

获得目标尺寸单元：使用所述当前目标的估计位置D₁预估目标稳定尺寸；使用所述目标稳定尺寸，得到三种测距结果并计算目标距离Dw和Dh；

自适应权重生成单元：根据不同测距方法的预估距离，计算距离权重wd，根据不同测距方法的依赖的像素尺度，计算像素权重wp；基于所述距离权重wd和所述像素权重wp生成自适应权重，获得最终距离；

Kalman跟踪单元：使用Kalman跟踪算法对上述最终距离测算距离值进行跟踪滤波，获得最终结果。

Images