CN107305632A - 基于单目计算机视觉技术的目标对象距离测量方法与系统 - Google Patents

Abstract

本发明公开了一种基于单目计算机视觉技术的目标对象距离测量方法与系统，该方法包括以下步骤：通过摄像头实时采集车辆前方或后方的序列图像；根据采集的序列图像确定天际线的参考高度；以序列图像中物理尺寸不变的目标为目标对象，通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸；通过光学几何模型，确定目标对象的物理尺寸；通过数据平滑方法对目标对象特征像素尺寸计算结果进行平滑，以输出稳定的物理尺寸，然后计算目标的真实特征尺寸；基于计算得到的真实特征尺寸，通过光学几何模型计算得到目标对象的距离。本发明较为全面的考虑了影响影响距离测量精度的多个因素，提高了计算的精度。

Description

基于单目计算机视觉技术的目标对象距离测量方法与系统

技术领域

本发明涉及辅助驾驶技术，尤其涉及一种基于单目计算机视觉技术的目标 对象距离测量方法与系统。

背景技术

汽车电子领域中，高级辅助驾驶系统(Advanced Driving Assistant System,ADAS)的距离监测预警功能(Headway Monitoring Warning,HMW)及碰撞预警 功能(Forward Collision Warning,FCW)就必须依赖于距离测量元器件及算法。 更进一步，如果要实现自适应巡航(Adaptive Cruise Control，ACC)和自动 紧急刹车(AutonomousEmergency Braking,AEB)功能，距离的测量必须达到 足够高的精度。目前，实现前方障碍物距离测量的主流技术主要有两种，第一 种是靠单目/双目摄像头采集图像，识别障碍物并给出预警或刹车指令；第二种 是靠毫米波雷达判定前方障碍物，测量与障碍物的相对运动趋势并作出刹车指 令或预警提醒。

对测距元器件而语言，基于毫米波雷达的测距方法会受到包括检测对象的 材质、表面粗糙度、尺寸和运动状态等因素的影响，且无法判断被检测对象的 类型及预判其运动状态。同时，毫米波雷达的成本相对较高，且安装程序复杂。

对测距算法而言，数据回归模型的样本量和回归方法的选取直接影响到测 距的精度，其相对于静止物体和环境而言，运动目标的测量更为多变，因此数 据回归测距模型的鲁棒性相对较差。此外，基于光学几何模型的测距精度依赖 于图像特征参数的提取精度，特征参数几个像素的跳变就会在远距离测量时产 生较大的误差，且环境光线的多变也会给距离测量引入随机误差，因此其稳定 性还有待提高。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于单目 计算机视觉技术的目标对象距离测量方法与系统。

本发明解决其技术问题所采用的技术方案是：一种基于单目计算机视觉技 术的目标对象距离测量方法，包括：

1)通过摄像头实时采集车辆前方或后方的序列图像；

2)根据采集的序列图像确定天际线的参考高度h；

3)以序列图像中物理尺寸不变的目标为目标对象，通过目标检测方法，确 定用于距离测量的目标对象特征像素尺寸；

4)通过光学几何模型，确定目标对象的物理尺寸：W(t_n)＝w_i(t_n)×h/y(t_n)， 式中，w_i(t_n)为某帧图像上提取的目标对象像素尺寸；h为摄像头的安装高度； y(t_n)相应帧图像计算得到的天际线参考高度(目标对象底部边缘与天际线间的 像素高度)；W(t_n)为相应帧图像计算得到的目标对象物理尺寸。

5)通过数据平滑方法对目标对象特征像素尺寸计算结果进行平滑，以输出 稳定的物理尺寸，然后计算目标的真实特征尺寸：

W_v(t_n)＝F({w_i(t_j)|0≤j≤n})

式中，W_v(t_n)为目标的真实特征尺寸，t_n为收敛截止步长，F为任意合理的 平滑方法；

6)基于计算得到的真实特征尺寸，通过光学几何模型计算得到目标对象的 距离：

Z(t_n)＝W_v(t_n)f/w_i(t_n)。

按上述方案，所述步骤2)还包括根据天际线参考高度的计算结果，对天际 线高度值进行优化：

(2.1)在摄像头静止状态下，采用标示牌标定方法对天际线进行标定，确 定其初值y₀；

(2.2)如果摄像头处于运动状态，通过道路模型或者车道线模型确定其图 像消失点，进而确定相应的天际线y_vp；

(2.3)如果摄像头处于非平面运动而使得摄像头原本平行于路面的光轴发 生偏离，产生俯仰角θ；此时通过修正方法弥补俯仰角所带来的误差；进而确定 相应的天际线y_θ；

(2.4)如果摄像头处于运动状态，通过摄像头自身的运动状态，确定天际 线的值y_m，计算公式如下：

上式中，v为距离测量系统自身的运动速度，Δt为时间间隔，y₁、y₂为路面 特征点的像素坐标，f、h分别为摄像头的焦距与安装高度；

通过上述四种方法分别可得到天际线参考高度y的估计值，考虑各估计的 置信度，并采用最小二乘法，便可得到运动状态下天际线参考高度y的最优估 计：

y＝arg min(y₀,y_p,y_θ,y_m)。

按上述方案，所述步骤2)中计算天际线的参考高度采用下述方法，首先通 过目标检测识别目标对象的边缘，进行边缘检测时采用颜色特征及纹理特征提 取目标的边缘，并结合跟踪算法对检测边框进行跟踪，进一步采用光流预判检 测边框的缩放趋势，从而获得准确的边缘检测结果，然后基于底部边缘的检测 结果得到天际线的参考高度。

本发明还公开了一种基于单目计算机视觉技术的目标对象距离测量系统， 包括：

图像采集装置，用于通过摄像头实时采集车辆前方或后方的序列图像；

天际线高度计算装置，用于根据采集的序列图像确定天际线的参考高度h；

目标对象特征像素尺寸计算装置，用于以序列图像中物理尺寸不变的目标 为目标对象，通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸；

目标对象的物理尺寸确定装置，用于通过光学几何模型，确定目标对象的 物理尺寸；

目标的真实特征尺寸计算装置，用于通过数据平滑方法对目标对象特征像 素尺寸计算结果进行平滑，以输出稳定的物理尺寸，然后计算目标的真实特征 尺寸：

目标对象的距离计算装置，用于基于计算得到的真实特征尺寸，通过光学 几何模型计算得到目标对象的距离：

Z(t_n)＝W_v(t_n)f/w_i(t_n)

式中，f已知的摄像头焦距；Z(t_n)为车辆与目标对象的距离，W_v(t_n)为目 标的真实特征尺寸，w_i(t_n)为某帧图像上提取的目标对象像素尺寸。

按上述方案，所述天际线高度计算装置中天际线参考高度的计算，采用下 述优化计算方法：

(2.1)在摄像头静止状态下，采用标示牌标定方法对天际线进行标定，确 定其初值y₀；

(2.2)如果摄像头处于运动状态，通过道路模型或者车道线模型确定其图 像消失点，进而确定相应的天际线y_vp；

(2.3)如果摄像头处于非平面运动而使得摄像头原本平行于路面的光轴发 生偏离，产生俯仰角θ；此时通过修正方法弥补俯仰角所带来的误差；进而确定 相应的天际线y_θ；

具体方法为：光轴发生了偏转引起的车辆底部边缘坐标变化为d_y,那么修正 后的天际线为：

y_θ＝y_-1+d_y

y_-1＝f*tanθ+v₀

式中，v₀为已知的摄像头主点纵坐标；

(2.4)如果摄像头处于运动状态，通过摄像头自身的运动状态，确定天际 线的值y_m，计算公式如下：

上式中，v为距离测量系统自身的运动速度，Δt为时间间隔，y₁、y₂为路面 特征点的像素坐标，f、h分别为摄像头的焦距与安装高度；

通过上述四种方法分别可得到天际线参考高度y的估计值，考虑各估计的 置信度，并采用最小二乘法，便可得到运动状态下天际线参考高度y的最优估 计：

y＝arg min(y₀,y_p,y_θ,y_m)。

按上述方案，所述天际线高度计算装置中计算天际线的参考高度采用下述 方法，首先通过目标检测识别目标对象的边缘，进行边缘检测时采用颜色特征 及纹理特征提取目标的边缘，并结合跟踪算法对检测边框进行跟踪，进一步采 用光流预判检测边框的缩放趋势，从而获得准确的边缘检测结果，然后基于底 部边缘的检测结果得到天际线的参考高度。

按上述方案，所述目标对象的物理尺寸确定装置中确定目标对象的物理尺 寸采用下述公式：W(t_n)＝w_i(t_n)×h/y(t_n)；

式中，w_i(t_n)为某帧图像上提取的目标对象像素尺寸；h为摄像头的安装高 度；y(t_n)相应帧图像计算得到的天际线参考高度；W(t_n)为相应帧图像计算得到 的目标对象物理尺寸。

按上述方案，所述目标的真实特征尺寸计算装置中计算目标的真实特征尺 寸如下：

W_v(t_n)＝F({w_i(t_j)|0≤j≤n})

式中，W_v(t_n)为目标的真实特征尺寸，t_n为收敛截止步长，F为任意合理的 平滑方法。

本发明产生的有益效果是：本发明较为全面的考虑了影响影响距离测量精 度的多个因素：对光线变化引起的像素跳变和随机误差采用平滑方法处理数据， 使测量数值更为稳定；考虑路面颠簸的实际状况，对俯仰角的引起的误差进行 补偿；最优化算法确定距离计算的参数，消除多参数下计算误差的累积；以不 变之特征尺寸代替多变之底部阴影，减少计算变量，从而降低误差引入的概率。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的方法流程图；

图2是本发明实施例的汽车底部阴影所确定的底部边缘示意图；

图3是本发明实施例的系统结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例， 对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解 释本发明，并不用于限定本发明。

如图1所示，基于单目计算机视觉技术的目标对象距离测量方法，该距离 测量方法具体实现步骤如下：

步骤101：通过单个摄像头采集序列图像，并将采集序列图像输出等待处 理；

步骤102：确定并优化天际线参考高度的取值y。主要实现方案为：

计算天际线的参考高度，首先必须通过目标检测识别目标对象的边缘，如 图2中汽车底部阴影所确定的底部边缘。根据图2，可以看出：参考高度即为底 部边缘与天际线的高差。为了得到精确的边缘检测结果，本申请采用了颜色特 征及纹理特征提取目标的边缘，并结合跟踪算法对检测边框进行跟踪，进一步 采用光流预判检测边框的缩放趋势，从而优化边缘检测结果，即便在远距离时， 这种方法也能达到较好的边缘检测效果。

基于底部边缘的检测结果，还需要对天际线进行优化：

(1)在测试系统静止状态下，采用标示牌标定方法，且不限于采用该方法 对天际线(Horizon)进行标定，确定其初值y₀；

(2)如果距离测量系统处于运动状态，可通过道路模型，尤其是车道线模 型确定其图像消失点(Vanishing Point)，进而确定相应的天际线y_vp。

(3)如果距离测量系统处于非平面运动而使得摄像头原本平行于路面的光 轴发生偏离至偏离光轴，而产生俯仰角θ。此时通过修正方法弥补俯仰角所带来 的误差；进而确定相应的天际线y_θ；

(4)此外，通过测量系统自身的运动状态，也可以确定天际线的值，计算 公式如下：

上式中，v为距离测量系统自身的运动速度，Δt为时间间隔，y₁、y₂为路面 特征点的像素坐标，f、h分别为摄像头的焦距与安装高度。

通过上述多种方法分别可得到天际线参考高度y的估计值，考虑各估计的 置信度，并采用最小二乘法，便可得到运动状态下天际线参考高度y的最优估 计：

y＝arg min(y₀,y_p,y_θ,y_m) (2)

步骤103：通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸， 如汽车7的在图像上的像素宽度w_i，或者是行人的高度以及其他物理尺寸不变 的特征量。

步骤104：通过光学几何模型，确定目标对象的物理尺寸：

W(t_n)＝w_i(t_n)×h/y(t_n) (3)

步骤105：由于边缘提取时，难免出现目标对象特征像素尺寸的跳变，进而 影响其实际物理尺寸的计算精度，因此需要通过数据平滑方法对计算结果进行 平滑，以输出稳定的物理尺寸。本申请用卡尔曼滤波方法(Kalman Filter)，但 不限于该种方法对公式(3)的计算结果进行处理。一般而言，连续10～30帧图 像便可使结果收敛于真值附近:：

W_v(t_n)＝F({w_i(t_j)|0≤j≤n}) (4)

式中，W_v(t_n)为目标的真实特征尺寸，t_n为收敛截止步长，F为任意合理的 平滑方法。

步骤106：基于计算得到的真实特征尺寸，便可通过光学几何模型计算得到 目标对象的距离：

Z(t_n)＝W_v(t_n)f/w_i(t_n) (5)

本发明中目标检测算法有很多种，我们所用的是模式识别算法，具体实现 方式为：对大量的车辆或其他障碍物正、负样本，进行训练得到一个分类器， 然后对图像进行遍历搜索，满足分类器特征树的物体被确定为目标对象。除此 之外，目标检测方法，特别是运动目标检测方法还包括：帧差法，光流法，模 板匹配法。

近几年热门的车辆检测方法

1)HOG特征+haar-like特征；SVM或adaboost分类器；(HOG+SVM； haar-like+adaboost速度快)

2)光流法；或增加一个HMM分类器，或SVM分类器

本发明实际采用的是SVM或adaboost分类器。

本发明中的目标对象指的是车辆前方障碍物。

根据上述方法，相应的，可以编程形成一套系统。

如图3，一种基于单目计算机视觉技术的目标对象距离测量系统，包括：

图像采集装置，用于通过摄像头实时采集车辆前方或后方的序列图像；

天际线高度计算装置，用于根据采集的序列图像确定天际线的参考高度h；

目标对象特征像素尺寸计算装置，用于以序列图像中物理尺寸不变的目标 为目标对象，通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸；

目标对象的物理尺寸确定装置，用于通过光学几何模型，确定目标对象的 物理尺寸；

目标的真实特征尺寸计算装置，用于通过数据平滑方法对目标对象特征像 素尺寸计算结果进行平滑，以输出稳定的物理尺寸，然后计算目标的真实特征 尺寸：

目标对象的距离计算装置，用于基于计算得到的真实特征尺寸，通过光学 几何模型计算得到目标对象的距离：

Z(t_n)＝W_v(t_n)f/w_i(t_n)

式中，f已知的摄像头焦距；Z(t_n)为车辆与目标对象的距离，W_v(t_n)为目 标的真实特征尺寸，w_i(t_n)为某帧图像上提取的目标对象像素尺寸。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进 或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于单目计算机视觉技术的目标对象距离测量方法，其特征在于，包括以下步骤：

1)通过摄像头实时采集车辆前方或后方的序列图像；

2)根据采集的序列图像确定天际线的参考高度h；

3)以序列图像中物理尺寸不变的目标为目标对象，通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸；

4)通过光学几何模型，确定目标对象的物理尺寸；

5)通过数据平滑方法对目标对象特征像素尺寸计算结果进行平滑，以输出稳定的物理尺寸，然后计算目标的真实特征尺寸：

6)基于计算得到的真实特征尺寸，通过光学几何模型计算得到目标对象的距离：

Z(t_n)＝W_v(t_n)f/w_i(t_n)

式中，f已知的摄像头焦距；Z(t_n)为车辆与目标对象的距离，W_v(t_n)为目标的真实特征尺寸，w_i(t_n)为某帧图像上提取的目标对象像素尺寸。

2.根据权利要求1所述的目标对象距离测量方法，其特征在于，所述步骤2)中天际线参考高度的计算，采用下述优化计算方法：

(2.1)在摄像头静止状态下，采用标示牌标定方法对天际线进行标定，确定其初值y₀；

(2.2)如果摄像头处于运动状态，通过道路模型或者车道线模型确定其图像消失点，进而确定相应的天际线y_vp；

(2.3)如果摄像头处于非平面运动而使得摄像头原本平行于路面的光轴发生偏离，产生俯仰角θ；此时通过修正方法弥补俯仰角所带来的误差；进而确定相应的天际线y_θ；

具体方法为：光轴发生了偏转引起的车辆底部边缘坐标变化为d_y,那么修正后的天际线为：

y_θ＝y_-1+d_y

y_-1＝f*tanθ+v₀

式中，v₀为已知的摄像头主点纵坐标；

(2.4)如果摄像头处于运动状态，通过摄像头自身的运动状态，确定天际线的值y_m，计算公式如下：

上式中，v为距离测量系统自身的运动速度，Δt为时间间隔，y₁、y₂为路面特征点的像素坐标，f、h分别为摄像头的焦距与安装高度；

通过上述四种方法分别可得到天际线参考高度y的估计值，考虑各估计的置信度，并采用最小二乘法，便可得到运动状态下天际线参考高度y的最优估计：

y＝arg min(y₀,y_p,y_θ,y_m)。

3.根据权利要求1所述的目标对象距离测量方法，其特征在于，所述步骤2)中计算天际线的参考高度采用下述方法，首先通过目标检测识别目标对象的边缘，进行边缘检测时采用颜色特征及纹理特征提取目标的边缘，并结合跟踪算法对检测边框进行跟踪，进一步采用光流预判检测边框的缩放趋势，从而获得准确的边缘检测结果，然后基于底部边缘的检测结果得到天际线的参考高度。

4.根据权利要求1所述的目标对象距离测量方法，其特征在于，所述步骤4)确定目标对象的物理尺寸：W(t_n)＝w_i(t_n)×h/y(t_n)；

式中，w_i(t_n)为某帧图像上提取的目标对象像素尺寸；h为摄像头的安装高度；y(t_n)相应帧图像计算得到的天际线参考高度；W(t_n)为相应帧图像计算得到的目标对象物理尺寸。

5.根据权利要求1所述的目标对象距离测量方法，其特征在于，所述步骤5)中计算目标的真实特征尺寸如下：

W_v(t_n)＝F({w_i(t_j)|0≤j≤n})

式中，W_v(t_n)为目标的真实特征尺寸，t_n为收敛截止步长，F为任意合理的平滑方法。

6.一种基于单目计算机视觉技术的目标对象距离测量系统，其特征在于，包括：

图像采集装置，用于通过摄像头实时采集车辆前方或后方的序列图像；

天际线高度计算装置，用于根据采集的序列图像确定天际线的参考高度h；

目标对象特征像素尺寸计算装置，用于以序列图像中物理尺寸不变的目标为目标对象，通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸；

目标对象的物理尺寸确定装置，用于通过光学几何模型，确定目标对象的物理尺寸；

目标的真实特征尺寸计算装置，用于通过数据平滑方法对目标对象特征像素尺寸计算结果进行平滑，以输出稳定的物理尺寸，然后计算目标的真实特征尺寸：

目标对象的距离计算装置，用于基于计算得到的真实特征尺寸，通过光学几何模型计算得到目标对象的距离：

Z(t_n)＝W_v(t_n)f/w_i(t_n)

式中，f已知的摄像头焦距；Z(t_n)为车辆与目标对象的距离，W_v(t_n)为目标的真实特征尺寸，w_i(t_n)为某帧图像上提取的目标对象像素尺寸。

7.根据权利要求6所述的目标对象距离测量系统，其特征在于，所述天际线高度计算装置中天际线参考高度的计算，采用下述优化计算方法：

(2.1)在摄像头静止状态下，采用标示牌标定方法对天际线进行标定，确定其初值y₀；

(2.2)如果摄像头处于运动状态，通过道路模型或者车道线模型确定其图像消失点，进而确定相应的天际线y_vp；

(2.3)如果摄像头处于非平面运动而使得摄像头原本平行于路面的光轴发生偏离，产生俯仰角θ；此时通过修正方法弥补俯仰角所带来的误差；进而确定相应的天际线y_θ；

具体方法为：光轴发生了偏转引起的车辆底部边缘坐标变化为d_y,那么修正后的天际线为：

y_θ＝y_-1+d_y

y_-1＝f*tanθ+v₀

式中，v₀为已知的摄像头主点纵坐标；

(2.4)如果摄像头处于运动状态，通过摄像头自身的运动状态，确定天际线的值y_m，计算公式如下：

上式中，v为距离测量系统自身的运动速度，Δt为时间间隔，y₁、y₂为路面特征点的像素坐标，f、h分别为摄像头的焦距与安装高度；

通过上述四种方法分别可得到天际线参考高度y的估计值，考虑各估计的置信度，并采用最小二乘法，便可得到运动状态下天际线参考高度y的最优估计：

y＝arg min(y₀,y_p,y_θ,y_m)。

8.根据权利要求6所述的目标对象距离测量系统，其特征在于，所述天际线高度计算装置中计算天际线的参考高度采用下述方法，首先通过目标检测识别目标对象的边缘，进行边缘检测时采用颜色特征及纹理特征提取目标的边缘，并结合跟踪算法对检测边框进行跟踪，进一步采用光流预判检测边框的缩放趋势，从而获得准确的边缘检测结果，然后基于底部边缘的检测结果得到天际线的参考高度。

9.根据权利要求6所述的目标对象距离测量系统，其特征在于，所述目标对象的物理尺寸确定装置中确定目标对象的物理尺寸采用下述公式：W(t_n)＝w_i(t_n)×h/y(t_n)；

式中，w_i(t_n)为某帧图像上提取的目标对象像素尺寸；h为摄像头的安装高度；y(t_n)相应帧图像计算得到的天际线参考高度；W(t_n)为相应帧图像计算得到的目标对象物理尺寸。

10.根据权利要求6所述的目标对象距离测量方法，其特征在于，所述目标的真实特征尺寸计算装置中计算目标的真实特征尺寸如下：

W_v(t_n)＝F({w_i(t_j)|0≤j≤n})

式中，W_v(t_n)为目标的真实特征尺寸，t_n为收敛截止步长，F为任意合理的平滑方法。