CN114295099A - 基于单目摄像头的测距方法、车载测距设备以及存储介质 - Google Patents

Abstract

本申请提供了一种基于单目摄像头的测距方法、车载测距设备以及存储介质，通过单目摄像头采集的含目标对象的当前图像，对所述目标对象与所述单目摄像头之间的当前距离进行估计获得第一估计距离，在第一估计距离较近时，根据第一估计距离确定目标对象与单目摄像头之间的距离，在第一估计距离较远时，基于目标对象相对于单目摄像头的移动速度以及所述目标对象与所述单目摄像头之间的上一距离，获得所述目标对象与所述单目摄像头之间第二估计距离，以根据第二估计距离确定目标对象与单目摄像头之间的距离。因此，所述测距方法有利于提供远距离测距的精度，有利于确保行车的安全性能。

Description

基于单目摄像头的测距方法、车载测距设备以及存储介质

技术领域

本申请涉及智能驾驶技术，具体涉及一种基于单目摄像头的测距方法、车载测距设备以及存储介质。

背景技术

随着交通环境的日益复杂，汽车驾驶的安全性、自动性和便利性都备受关注。自动驾驶中的安全性有全天候、稳定的要求。尤其是在一些特殊情况下、例如夜间和雾霾等恶劣天气，驾驶的安全性大大降低，因此需要有防碰撞系统、危险预警系统等辅助驾驶员，保证行车安全。为了实现这些功能，则需要对行驶中遇到的目标与本车的距离进行估计。

目前车载的测距方法有超声波测距、毫米波雷达测距、激光雷达测距、双目摄像头测距以及单目摄像头测距。超声波测距的作用距离非常短，且在车辆高速行驶时会失灵，容易受天气和温度的影响；雷达测距很容易受到天气以及周围的电磁环境的影响，且价格昂贵。而基于摄像头的测距方法是对图像信息进行处理，稳定性比较好，且单目测距比双目测距使用简单，性价比更高。因此，单目测距在车载辅助系统中受到极大的关注。

单目红外摄像头由于在夜间或其他光线较差的情况下可以更好的实现目标物体的检测，因此被广泛应用于车辆夜视系统中，然而，现有的基于单目红外摄像头的远距离测距精度较低，不利于确保行车的安全性。

发明内容

为解决存在的技术问题，本申请提供一种适用于远距离测距的基于单目摄像头的测距方法、车载测距设备以及存储介质。

一种基于单目摄像头的测距方法，包括：

根据单目摄像头采集的含目标对象的当前图像，获得所述目标对象与所述单目摄像头之间的第一估计距离；

判断所述第一估计距离是否小于或等于第一阈值距离；

若是，根据所述第一估计距离确定所述目标对象与所述单目摄像头之间的当前距离；

若否，根据所述目标对象相对所述单目摄像头的移动速度、所述单目摄像头采集图像的频率以及前一距离，获得所述目标对象与所述单目摄像头之间的第二估计距离，并根据所述第二估计距离确定所述目标对象与所述单目摄像头之间的当前距离；

其中，所述前一距离为基于所述单目摄像头采集的含所述目标对象的前一图像确定的所述目标对象与所述单目摄像头之间的距离。

一种车载测距设备，包括单目车载摄像头、处理器及存储器；

所述单目车载摄像头用于采集含目标对象的当前图像和前一图像；

所述处理器在运行所述存储器中存储的计算机程序指令时，执行所述的测距方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程指令；

所述计算机程序指令被处理器执行时，实现所述的测距方法的步骤。

由上可见，在本申请提供的基于单目摄像头的测距方法中，通过单目摄像头采集的含目标对象的当前图像，获得所述目标对象与所述单目摄像头之间的第一估计距离，并对第一估计距离的大小进行判断，从而在估计目标对象离所述单目摄像头的距离较近时，根据第一估计距离确定目标对象与单目摄像头之间的距离，在估计目标对象离所述单目摄像头的距离较远时，基于目标对象相对于单目摄像头的移动速度以及所述目标对象与所述单目摄像头之间的上一距离，获得所述目标对象与所述单目摄像头之间的第二估计距离，以根据第二估计距离确定目标对象与单目摄像头之间的距离。因此，本申请提供的测距方法有利于提供远距离测距的精度，有利于确保行车的安全性能。

附图说明

附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请一实施例提供的基于单目摄像头的测距方法流程示意图；

图2为依据本申请一些实施例提供的基于单目摄像头的测距方法中的像素坐标系示意图；

图3为依据本申请一些实施例提供的基于单目摄像头的测距方法中的图像坐标系示意图；

图4为依据本申请一些实施例提供的基于单目摄像头的测距方法中的相机坐标系示意图；

图5为依据本申请一些实施例提供的基于单目摄像头的测距方法中的世界坐标系示意图；

图6为依据本申请一些实施例提供的基于单目摄像头的测距方法中单目摄像头的安装示意图；

图7为依据本申请一些实施例提供的基于单目摄像头的测距方法中第一组平行线示意图；

图8为依据本申请一些实施例提供的基于单目摄像头的测距装置的结构示意图；

图9为依据本申请一些实施例提供的车载车距设备的结构示意图；

图10为依据本申请另一些实施例提供的车载车距设备的结构示意图。

具体实施方式

以下结合说明书附图及具体实施例对本申请技术方案做进一步的详细阐述。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请的实现方式。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

在本申请的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

本申请的发明人在对基于单目摄像头的测距研究过程中，发现基于现有的参数标定方法，由于标定方法复杂且标定结果缺乏对比性，所获得的单目红外摄像头的参数定存在一定误差，造成了基于单目红外摄像头的测距结果不精准。且对于车载单目摄像头的测距而言，由于车辆行驶过程情况复杂仅根据标定的参数计算测距也会影响测距的精准度。因此，利用现有的基于单目摄像头的测距方法在进行远距离测距时的精准度难以满足实际应用的需求。此外，对于常规的可见光摄像头而言，随着测距距离的增加，其精准度也会有所降低。

基于上述存在的问题，在一些实施例中，本申请提供了一种基于单目摄像头的测距方法。

如图1所示，本申请提供基于单目摄像头的测距方法包括S02、S04、S06、S08以及S010。

S02：根据单目摄像头采集的含目标对象的当前图像，获得所述目标对象与所述单目摄像头之间的第一估计距离。

S02可由图8所示的基于单目摄像头的测距装置中的第一估计模块011实现或由图9中的存储器13存储第一估计计算机程序，然后由处理器12在执行第一估计计算程序时实现。

在获得含目标对象的当前图像后，可根据目标对象在当前图像中的位置信息估算目标对象与所述单目摄像头之间的距离。例如，根据目标对象在图像中的位置信息，即目标对象在像素坐标系下的像素坐标信息，然后根据像素坐标系中的坐标与世界坐标系中的坐标的转换关系以及单目摄像头的标定参数便可估计所述目标对象在世界坐标系下的世界坐标信息，进而根据所述目标对象的世界坐标信息估算出所述目标对象与所述单目摄像头当前距离。像素坐标系下的坐标转换到世界坐标系下的坐标需要先由像素坐标系转换到图像坐标系，再由图像坐标系转换到相机坐标系，最后再由相机坐标系转换到世界坐标系。各个坐标系的定义和对应的转换关系的相关原理如下：

参考图2所示，像素坐标系是以图像(如所述当前图像)左上角为原点建立以像素为单位的直接坐标系u-v。像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数，是用像素值来描述目标对象在图像上的位置，像素值是指以所述左上角的像素点为原点(0，0)，沿宽度方向为u方向，高度方向为v方向，每一个像素点为一个单位，得到的坐标(u，v)。

像素坐标是像素在图像中的位置，其只代表像素的列数与行数，而像素在图像中的位置并没有用物理单位表示出来，所以，我们还要建立以物理单位(如毫米)表示的图像坐标系x-y。具体如图3所示，图像坐标系是为了表示目标在感光器件上的物理位置，将像素坐标系的原点平移到图像的主点，也就是图像拍摄装置的镜头光轴在感光器件的交点，定为图像坐标系的原点(0，0)，图像坐标系的x轴与像素坐标系的u轴平行，方向也相同，y轴则与v轴平行，方向相同。若假设图像坐标系的原点位置在像素坐标系中的坐标是(u0，v0),感光器件的每个像元的尺寸是dx×dy，图像坐标系下的一点(x，y)与像素坐标系下的对应点(u，v)的转换关系：

进一步如图4所示，相机坐标系是以图像拍摄装置的镜头光轴为Zc轴，镜头的中心为原点Oc，相机坐标系的水平轴Xc与图像坐标系的x轴平行且方向相同，而相机坐标系的垂直轴Yc与图像坐标系的y轴平行且方向相同。其中相机坐标系的原点Oc与图像坐标系的原点O之间的距离等于图像拍摄装置的焦距F。那么根据透镜成像的原理，相机坐标系中的一点(xc，yc，zc)与图像坐标系下对应点(x，y，1)的转换关系为：

世界坐标系是目标对象在真实世界中位置的表达，将要测距的目标的位置和单目相机的位置都能够在该坐标系下进行描述。在实际情况中，世界坐标系的Xw、Yw、Zw三轴不与其他任何坐标系的坐标轴平行，而是有一定平移和角度。依据本申请提供的基于单目摄像头的测距方法可用于车载测距设备中，其中，车载测距设备包括安装在车辆上的车载单目摄像头。在基于车载单目摄像头的测距方法中，本申请将世界坐标系的原点设置为车载单目摄像头所在车辆的车头的中点在地面的垂直投影，并将世界坐标系的Xw轴方向和Yw轴方向分别设置为与所述车头的水平方向和垂直方向平行，Xw轴的方向向右，Yw轴的方向向上(背离地面)，Zw轴与所述车头朝向的方向平行且方向向前，具体如图5所示。由世界坐标系到相机坐标系的变换过程分为旋转和平移。旋转是指绕着坐标轴的三个轴旋转，以获得三个旋转角。其中，绕Xw轴旋转获得旋转角为俯仰角，绕Yw轴旋转所获得旋转角为偏航角，绕Zw轴旋转所获得旋转角为滚动角。所述旋转角、所述偏航角以及所述滚动角构成了旋转矩阵R。平移是指原点沿着三个轴的平移量，三个对应的平移量构成平移矩阵t，那么相机坐标系下的一点(xc，yc，zc)到世界坐标系下对应点(xw，yw，zw)的转换关系为：

由上述各个坐标系的定义以及各坐标系之间的转换关系，可以得出像素坐标系下一点(u，v)与世界坐标系下的对应点(xw，yw，zw)的转换关系为：

其中，R为旋转矩阵，M为单目摄像头的内参，t为平移矩阵。因此在获得单目相机的标定参数(包括内参M和外参R、t)后，便可根据图像中的确定像素点获得世界坐标系下的对应点的世界坐标，从而可确定某点在世界坐标系中距所述单目摄像头的距离。因此根据单目摄像头采集的含目标对象的当前图像，便可估计所述目标对象与所述单目摄像头之间的距离，从而获得所述当前距离对应的第一估计距离。

由于图像中的每个像素点所代表的距离随着该像素点对应世界坐标点距所述单目摄像头的距离的增加而变大，因此根据目标对象的当前图像，只能估算所述当前距离的值，并不一定就是所述当前距离的实际值。

S04：判断所述第一估计距离是小于或等于第一阈值距离，若是，则执行S06否则，执行S08。

S04可由图8所示的基于单目摄像头的测距装置中的判断模块012实现或由图9中的存储器13存储判断计算机程序，然后由处理器12在执行判断计算程序时实现。

由上述像素坐标系的定义可得，图像中的像素是离散数据，而世界坐标系下目标对象距所述单目摄像头的距离则是连续数据，所以图像中的每个像素点只能确定一段距离范围，而不能精准的表示具体的距离值。例如，图像中的像素点(u，v)对应世界坐标为(XW，YW，ZW)，图像中的像素点(u，v-1)对应的世界坐标为(XWU，YW，ZWU)，图像中的像素点(u，v+1)对应的世界坐标为(XWD，YW，ZWD)，图像中的像素点(u+1，v)对应的世界坐标为(XWR，YW，ZWR)，像素点(u-1，v)对应的世界坐标为(XWL，YW，ZWL)，那么像素点(u，v)所确定的目标对象与摄像头之间的距离范围表示如下：

其中，上述距离范围表示中的距离d为所述目标对象与所述单目摄像头之间的距离。目标对象与所述单目摄像头之间的距离越远，表征目标对象在所述当前图像中位置的目标对象像素点所代表的距离范围越大，那么根据所述目标对象像素点计算出来计算距离d(第一估计距离)与目标对象到所述单目摄像头的实际距离之间的误差越大。所以，需要对当前计算出的第一估计距离的大小进行判断，若其小于第一阈值距离，则说明所述目标对象与所述单目摄像头之间的当前距离较小，该测距属于近距离测距，所述第一估计距离与上述实际距离之间的误差较小，后续可以执行S06；否则，说明所述目标对象与所述单目摄像头之间的当前距离较大，该测距属于远距离测距，所述第一估计距离与上述实际距离之间的误差较大，则后续执行S08，以S08中的测距方式获得第一估计距离，再执行S010。所述第一阈值距离根据所述单目摄像头自身参数(内参)设定，具体的，在一些实施例中，所述单目摄像头为单目红外摄像头，其自身参数相对较小，则可以将所述第一阈值距离的范围设置为25米至35米，例如所述第一阈值距离可以为30m。而在其它实施例中，如所述单目摄像头也可以为单目可见光摄像头，单目可见光摄像头的自身参数相比单目红外摄像头而言较大，因此，其对应的第一阈值距离设置得也相对较大，如将第一阈值距离设置为50米至70米。需要说明的是，第一阈值距离根据实际需要设定，其大小范围在本申请中不做限定。

S06：根据所述第一估距离计值确定所述目标对象与所述单目摄像头之间的当前距离。

S06可由图8所示的基于单目摄像头的测距装置中的第一确定模块013实现或由图9中的存储器13存储第一确定计算机程序，然后由处理器12在执行第一确定计算程序时实现。

根据所述第一估计距离确定所述当前距离是指所述当前距离仅随所述第一估计距离的变化而相应变化，且变化趋势相同。在一些实施例中，根据所述第一估计距离确定所述当前距离包括将所述第一估计距离直接作为所述当前距离。在另一些实施例中，根据所述第一估计距离确定所述当前距离包括将所述第一估计距离与一个固定补偿参量叠加后再作为所述当前距离。

S08：根据所述目标对象相对所述单目摄像头的移动速度、所述单目摄像头采集图像的频率以及前一距离，获得所述目标对象与所述单目摄像头之间第二估计距离。其中，所述前一距离为基于所述单目摄像头采集的含所述目标对象的前一图像确定的所述目标对象与所述图像装置之间的距离。

S08可由图8所示的基于单目摄像头的测距装置中的第二估计模块014实现或由图9中的存储器13存储第二估计计算机程序，然后由处理器12在执行第二估计计算程序时实现。

在本申请中，所述移动速度在短时间内可以看做是不变的，这里的短时间是指所述单目摄像头采集所述当前图像与所述前一图像对应的采集点之间时间间隔，该时间间隔由单目摄像头采集图像的频率确定。在本申请中，认为所述目标对象在所述时间间隔内的移动速度是不变的，若基于所述前一图像获得的所述前一距离为确定了，所述移动数据也确定了，单目摄像头采集图像的频率f也确定了，则可基于所述前一距离、所述移动速度和所述当前图像与所述前一图像之间的时间间隔估算出所述目标对象与所述单目摄像头之间的当前距离。

具体的，在一些实施例中，基于所述前一图像获得所述前一距离的方法与基于所述当前图像确定所述当前距离的方法相同，即对所述单目摄像头在采集所述当前图像之前的各个采集点所采集的包含所述目标对象的图像都有对应确定距离(根据对应图像确定的目标对象与单目摄像头之间的距离)。

S010：根据所述第一估计距离确定所述目标对象与所述单目摄像头之间的当前距离。

S010可由图8所示的基于单目摄像头的测距装置中的第二确定模块015实现或由图9中的存储器13存储第二确定计算机程序，然后由处理器12在执行第二确定计算程序时实现。

根据所述第二估计距离确定所述当前距离是指所述当前距离仅随所述第二估计距离的变化而相应变化，且变化趋势相同。在一些实施例中，根据所述第二估计距离确定所述当前距离包括将所述第二估计距离直接作为所述当前距离。在另一些实施例中，根据所述第二估计距离确定所述当前距离包括将所述第二估计距离与一个固定补偿参量叠加后再作为所述当前距离。

由上可见，在本申请提供的基于单目摄像头的测距方法中，通过单目摄像头采集的含目标对象的当前图像，获得所述目标对象与所述单目摄像头之间的第一估计距离，并对第一估计距离的大小进行判断，从而在估计目标对象离所述单目摄像头的距离较近时，根据第一估计距离确定目标对象与单目摄像头之间的距离，在估计目标对象离所述单目摄像头的距离较远时，基于目标对象相对于单目摄像头的移动速度以及所述目标对象与所述单目摄像头之间的前一距离，获得所述目标对象与所述单目摄像头之间的第二估计距离，以根据第二估计距离确定目标对象与单目摄像头之间的当前距离。因此，本申请提供的测距方法有利于提供远距离测距的精度，有利于确保行车的安全性能。

在一些实施例中，上述S02具体包括S021、S022、S023以及S024。

S021：获取单目摄像头采集的含目标对象的当前图像。

S022：对所述当前图像进行目标检测，以获得所述目标对象在所述当前图像中的第一位置信息。

S023：根据所述目标对象的所述第一位置信息和所述单目摄像头的标定参数确定所述目标对象在世界坐标系下的第二位置信息。

S024：根据所述第二位置信息，计算获得所述目标对象与所述单目摄像头之间第一估计距离。

具体的，在S022中，可以利用图像识别模型对所述当前图像进行目标检测，以获得表征所述目标对象在所述当前图像中位置的第一检测框。图像识别模型可以但不局限于为卷积神经网络，通过图像识别模型计算图像的深度特征，以获得感兴趣的目标对象在当前图像中的位置信息，也就是获取能够框住目标对象的矩形框，所述矩形框的中心点、长和宽是确定的。

进一步的，S023包括S0231和S0232。

S0231：根据所述第一检测框，确定目标对象像素点，所述目标对象像素点表征所述目标对象在所述当前图像中的位置。

S0232：根据所述目标对象像素点以及像素坐标系与世界坐标系的转换关系，计算所述所述目标对象像素点在世界坐标系下的世界坐标，以确定所述目标对象在世界坐标系下的第二位置信息。

具体的，在S0231中，可以将第一检测框下边的中点坐标(u,v)，认为该点是目标与地面的接触点，即将该中点作为上述目标对象像素点。将该中点的坐标点带入下面公式，计算该中点在世界坐标系下的坐标(xw，yw，zw)：

其中M为标定得到的内参矩阵，R为标定得到的旋转矩阵，t为标定得到的平移矩阵。在本实施例中，在将所述中点的像素坐标转换到对应的世界坐标时，认为所述单目摄像头的标定参数均为已知的。

获得目标在世界坐标系的坐标(xw，yw，zw)后，就可以估算目标对象到所述单目摄像头的距离。例如，在一些实施例中，所述单目摄像头为车载摄像头，则目标对象距离所述车载摄像头所在车辆的车头中心横向的距离为xw，纵向的距离为yw，则根据所述目标对象距所述车头的中点的当前距离的估算距离，即第一估计距离d，为：

由于在将图像中的像素点坐标转换到对应的世界坐标时需要获得所述单目摄像头的标定参数，因此，在一些实施例中，在S06之前，依据本申请提供的测距方法还包括对所述单目摄像头的参数进行标定，以获得上述标定参数。其中，所述标定分为内参标定和外参标定。其中内参标定主要是为了得到所述单目摄像头的内部参数：焦距F、像元尺寸dx×dy以及光轴在感光原件的位置。具体的，内参标定使用张正友标定法计算内参矩阵M：

其中fx＝F/dx、fy＝F/dy分别为x方向和y方向上的归一化焦距，cx、cy为所述单目摄像头的主点坐标，也就是光轴在感光原件的位置。

外参标定是获得外参矩阵的方法，外参矩阵包括旋转矩阵R和平移矩阵t。旋转矩阵R表示相机坐标系到世界坐标系的变换过程中，由绕x、y、z三轴旋转的获得的俯仰角(pitch)、偏航角(yaw)和滚动角(roll)构成的旋转矩阵R的表示如下：

其中，C是cos函数，S是sin函数。沿x、y、z三轴的平移量分别为tx、ty、tz构成的平移矩阵t的表示如下：

[tx ty tz]

平移矩阵可以通过获得所述单目摄像头在世界坐标系中的位置来确定，例如在所述单目摄像头为车载摄像头时，其对应的世界坐标系如图5所示。则为了获得所述车载单目摄像头在世界坐标系中的位置，在对其参数进行标定的过程中，可以将车载单目摄像头在车辆的车头固定安装好，并将车辆的车身与车辆所在路面的车道线平行线停放，具体如图6所示。然后，记录车载摄像头中心到地面的垂直距离Yt，以及所述车载摄像头到车辆车头中间的水平距离Xt。由于车载摄像头安装在世界坐标系中的Zw轴的距离为0，因此在获得所述垂直距离Yt和所述水平距离Xt后，便可获得所述车载摄像头在图6所示的世界坐标系中的位置，从而可确定所述平移矩阵t。

因此，对所述单目摄像头的外参标定主要是标定所述旋转矩阵，即对单目摄像头的姿态角进行标定，以获得其姿态角信息。

在一些实施例中，对所述单目摄像头的外参进行标定，以获得所述单目摄像头的姿态角信息的步骤包括S051、S052、S053、S054以及S055。

S051：获取所述单目摄像头采集的标定图像，所述标定图像包含世界坐标系下的第一组平行线，并根据所述第一组平行线在所述世界坐标系下的位置确定标定点的位置，所述标定点在所述世界坐标系下对称设置在所述第一组平行线的两条直线上，以用于确定相互垂直的第二组平行线和第三组平行线。

在世界坐标系下的携带所述标定点的所述第一组平行线示意图如图7所示，所述第一组平行线中的两条直线分别位于所述单目摄像头两侧。对于车载单目摄像头而言，所述第一组平行线中的两条直线分别位于所述车载单目摄像头所在车辆的两侧，且均与车辆的车身平行设置。所述第一组平行线可以但不局限于所述车辆所在路面的车道线。根据所述第一组平行线确定的标定点包括在所述世界坐标系下位于所述第一组平行线的第一条直线上的且等间距的标定点1、标定点3、标定点5，以及包括在所述世界坐标系下位于所述第一组平行线的第二条直线上的且等间距的标定点2、标定点4、标定点6。其中，各个所述标定点可以为所述世界坐标系下设置在所述第一组平行线上的真实的标定点，也可以为根据所述第一组平行线的世界坐标系信息生成的虚拟点集。如在获得所述第一组平行线的两条直线之间的间距L后，便可确定所述第一组平行线在图5所示的世界坐标系下的位置信息，然后根据该位置信息生成标定点1，并依次生成其它各标定点。如图7所示，显然，由标定点1与标定点4确定的第三直线平行于由标定点3与标定点6确定的第四直线，所述第三直线与所述第四直线构成所述第二组平行线；由标定点2与标定点3确定的第五直线平行于由标定点4与标定点5确定的第六直线，所述第五直线与所述第六直线构成所述第三组平行线。其中，所述第二组平行线与所述第一组平行线相互垂直。

S052：根据所述第一组平行线在所述标定图像上的第一灭点信息以及所述标定点在所述标定图像中的像素坐标，计算获得所述单目摄像头的第一组姿态角。

具体的，根据所述标定图像，可以获得所述第一组平行线在所述标定图像的位置信息，并根据该位置信息进一步确定所述第一组平行线在所述标定图像上的灭点坐标(第一灭点信息)，根据该灭点坐标，便可计算出所述单目摄像头的俯仰角和偏航角，然后再计算上述第一直线上的各标定点在所述标定图像中的成像点与上述第二直线上的对应设置的标定点在所述标定图像中的成像点的连线的斜率，并根据计算的斜率确定所述单目摄像头的滚动角。具体的，各所述连线包括标定点1的在标定图像中的成像点1与标定点2的在标定图像中的成像点2之间的第一连线、标定点3的在标定图像中的成像点3与标定点4的在标定图像中的成像点4之间的第二连线以及标定点5的在标定图像中的成像点5与标定点6的在标定图像中的成像点6之间的第三连线。

S053：根据所述第二组平行线在所述标定图像中的第二灭点信息以及所述第三组平行线在所述标定图像中的第三灭点信息，计算获得所述单目摄像头的第二组姿态角。

双灭点计算相机姿态角需要一组互相垂直的平行线对，即本申请中，连接标定点1-标定点4得到直线L14(第三直线)，连接标定点3-标定点6得到直线L36(第四直线)，从图7中可以看出，直线L14和直线L36在世界坐标系下是一组组平行线(第二组平行线)，命名为平行线对1；连接标定点2-标定点3得到直线L23(第五直线)，连接标定点4-标定点5得到直线L45(第六直线)，从图7可以看出，直线L23和直线L45在世界坐标系下是一组平行线(第二组平行线)，命名为平行线对2。同时从图7中可以看出，在世界坐标系下，平行线对1与平行线对2互相垂直。

在确定平行线对1和平行线对2后，在标定图像上获取标定点1-6在图像上的坐标并添加一维获得齐次坐标：(xi，yi，1)(1＜＝i＜＝6)，利用标定点1对应的成像点1和标定点4对应的成像点4的坐标可以拟合出直线L14`的关系式，利用标定点3对应的成像点3和标定点6对应的成像点6的坐标可以拟合出直线L36`，利用标定点2对应的成像点2和标定点3对应的成像点3的坐标可以拟合出直线L23`，利用标定点4对应的成像点4和标定点5对应的成像点5的坐标可以拟合出直线L45`。然后联立L14`和L36`的直线方程，求解L14`和L36`的交点坐标VL(第二灭点信息)，然后联立L23`和L45`的直线方程，求解L23`和L45`的交点坐标坐标VR(第三灭点信息)。进一步的，由于旋转矩阵的正交性，设旋转矩阵为R＝[r1，r2，r3]，把VL和VR看成向量，设r1的方向与VL的方向相同，r2的方向与VR的方向相同，那么由下面公式可得：

r1＝M^-1VR/||M^-1VL||

r2＝M^-1VR/||M^-1VR||

r3＝r1×r2

因此，根据上述第二灭点信息和第三灭点信息可计算得到的旋转矩阵，以求出单目摄像头的三个姿态角。

S054：根据所述标定点的世界坐标和像素坐标，计算所述单目摄像头的第三组姿态角。

具体的，可根据上述各个标定点以及对应的成像点，利用solvepnp函数计算所述单目摄像头的第三组姿态角。

S055：根据所述第一组姿态角、所述第二组姿态角以及所述三组姿态角的融合信息获得所述单目摄像头的姿态角信息。

具体的，在一些实施例中，将所述第一组姿态角、所述第二组姿态角、所述第三组姿态角中的对应旋转角的平均值作为所述单目摄像头最终确定的姿态角。

本申请针对单目红外摄像头的标定难问题，通过上述不同的方案计算单目红外摄像头的姿态角，然后再将各个不同方案获得的姿态角进行融合，以确定单目红外摄像头的最终标定的姿态角，有利于提高外参的标定精度。

对于车载单目摄像头的测距而言，由于车辆行驶的环境比较复杂，车辆的行驶轨迹也变化多样，因此在行驶过程中，车载单目摄像头的姿态角可能会随时发生变化。因此，在本申请提供的所述测距方法在S055之后，还包括S071、S072以及S073。

在S055之后，所述测距方法还包括：

S071：对所述第一组平行线在所述当前图像中的灭点进行计算，以获得灭点坐标。

S072：根据所述灭点坐标，获得所述单目摄像头的当前俯仰角和当前偏航角。

S073：根据所述当前俯仰角和当前偏航角修正所述姿态信息中对应的标定角。

具体的，在一些实施例中，所述第一组平行线为车道线，则通过车道线检测模型对车道线进行检测，基于检测结果计算车道线的灭点坐标，进而计算出车载单目摄像头的当前俯仰角和当前偏航角。当所述当前俯仰角与S055中标定获得的姿态角中对应的标定俯仰角之间的误差大于第一预设误差时，认为当前车辆行驶的路径发生变化，也许是在上坡或者转弯，因此要用实时计算的角度对姿态进行修正，以所述当前俯仰角替代S055中获得标定俯仰角，即将所述当前俯仰角作为修正后的标定俯仰角，然后以修正后的标定俯仰角进行测距的计算。同样，当所述当前偏航角与S055中标定获得的姿态角中对应的标定偏航角之间的误差大于第二预设误差时，认为当前车辆行驶的路径发生变化，也许是在上坡或者转弯，因此要用实时计算的角度对姿态进行修正，以所述当前偏航角替代S055中获得标定偏航角，即将所述当前偏航角作为修正后的标定偏航角，然后以修正后的标定偏航角进行测距的计算。其中，所述第一预设误差与第二预设误差的范围均为1至2度。

因此，本申请提供的测距方法中，通过实时的对单目摄像头的姿态角进行修正，进一步提高测距的精度。

在一些实施例中，S08包括：

S081：根据对所述目标对象进行目标跟踪的跟踪结果，获取所述目标对象对应的所述前一距离。

由于在本申请中，在测距过程中，对所述单目摄像头在各采集点采集的含目标对象的各图像对应的测距信息均有保存。但是要获得当前图像之前的前一图像的测距信息，则需要对所述目标对象进行跟踪，对所述目标对象进行目标跟踪是指将单目摄像头在当前采集点采集的的含目标对象的当前图像与在前一采集点采集的含所述目标对象的前一图像中的目标对象进行关联，从而可确定与所述当前图像中的目标对象对应的前一图像中的目标对象，从而获得前一图像中的目标对象对应的前一距离。

S082：对所述目标对象相对于所述单目摄像头的移动速度进行估计，以获得移动速度。

由于在本申请中，认为目标对象的移动速度在短时间内是大致不变的，所以可以根据所述跟踪结果获取所述当前图像前的两幅含所述目标对象的在先图像，然后利用两幅在先图像对应的测距信息确定目标对象的移动位移，再根据所述单目摄像头采集图像的频率，确定所述移动位移对应的时间间隔，从而可估计出所述移动速度。

S083：根据所述移动速度、所述单目摄像头采集图像的频率以及所述前一距离，确定所述当前图像中的所述目标对象相对于所述前一图像中的所述目标对象的位移。

假设所述前一图像对应的前一距离为d(f-1)，所述移动速度为Ve，根据所述单目摄像头采集图像的频率确定所述当前图像与所述前一图像之间的时间间隔为te，则可确定从所述前一图像对应的前一采集点到所述当前图像对应的当前采集点之间时间间隔内，所述目标对象的位移为d(f-1)+ve*te。

S084：根据所述前一距离和所述位移，获得所述第二估计距离。

在一些实施例中，在获得所述位移后，将所述前一距离和所述位移进行叠加，以获得所述第二估计距离。

在根据所述第一估计距离估算所述目标对象距所述单目摄像头的距离比较近时，可以直接采用所述第一估计距离确定目标对象与所述单目摄像头之间的距离，因此在近距离测距时无需用到目标对象对应的移动速度。为了减小测距方法对应的算法计算难度，可以仅在目标对象距所述单目摄像头的距离大于或等于第二阈值距离之后再对目标对象的移动速度进行估计。所述第二阈值距离小于所述第一阈值距离，所述第二阈值距离的范围为8m-20m，例如所述第二阈值距离为10m，如在所述前一距离大于或等于10m时，就开始需要对目标对象的移动速度进行估计，并保存所述目标对象对应的移动速度，否则，说明所述第一估计距离当前还小于所述第一阈值距离，即可以不用进行速度估计，直接以所述第一估计距离作为测距距离。

在一些实施例中，S081之前，所述测距方法还包括S03：对所述目标对象进行目标跟踪，以获得所述目标跟踪结果。

具体的，S03包括：根据所述当前图像的目标检测结果和所述前一图像的目标检测结果，对所述当前图像和所述前一图像中的所述目标对象进行目标跟踪，以获得对所述目标对象的标识号。所述当前图像与所述前一图像中相同的目标对象具有相同的标识号，若所述当前图像中的目标对象在所述前一图像中未出现，则赋予其新的标识号，若所述前一图像中的目标对象在所述当前图像中未出现，则删除对应的标识号。在对所述目标对象进行目标跟踪后，每个目标对象具有唯一的标识号，可以根据所述当前图像中目标对象的标识号确定其它图像中相同的目标对象的相关信息，如移动速度和对应的测距信息等。

由于前面描述到图像中的每个像素点所代表的是一个距离范围，若所述第二估计距离超出该距离范围，则说明当前获得的移动速度出现了异常情况，则不再根据所述第二估计距离确定所述当前距离，而退而求其次，仍选择根据所述第一估计距离确定所述当前距离。否则，则继续选择第二估计距离确定所述当前距离。

因此，在一些实施例中，S010进一步包括：判断所述第二估计距离是否在所述中点的像素坐标所代表的距离范围内；若是，则由所述第二估计距离确定所述目标对象与所述单目摄像头之间的当前距离；若否，则由所述第一估计距离确定所述目标对象与所述单目摄像头之间的当前距离。这里所述的距离范围在上述已经举例具体描述，在此不再累述。

需要说明的是，在本申请中，所述单目摄像头可以但不局限于单目红外摄像头，且对于车载摄像头而言，在本申请中的所述目标对象包括行人和/或车辆，即所述目标对象包括单个目标或多个目标，因此，本申请中所述的目标跟踪可以为单目跟踪，也可以为多目标跟踪。通过结合对目标对象的位置信息进行检测的检测算法与对目标对象进行跟踪的跟踪算法的结果，能够对远距离的测距结果进行插值优化，提高了测距精度。

需要说明的是，在本申请提供的测距方法中，上述各个步骤的先后顺序并不局限于各实施例中所示的顺序，其它实施例中，一些步骤的顺序可以互换。

如图8所示，在一些实施例中，本申请还提供了一种基于单目摄像头的测距装置。所述测距装置包括第一估计模块011、判断模块012、第一确定模块013、第二估计模块014以及第二确定模块015。

其中，所述第一估计模块011用于根据单目摄像头采集的含目标对象的当前图像，估计所述目标对象与所述单目摄像头之间的当前距离，以获得第一估计距离。所述判断模块012用于，判断所述第一估计距离是否小于或等于第一阈值距离。所述第一确定模块013用于在所述判断模块012输出的结果为是时，根据所述第一估距离计值确定所述目标对象与所述单目摄像头之间的当前距离；所述第二估计模块模块014用于在所述判断模块012输出的结果为否时，根据所述目标对象相对所述单目摄像头的移动速度、所述单目摄像头采集图像的频率以及前一距离，估计所述目标对象与所述单目摄像头之间的当前距离，以获得第二估计距离，所述前一距离为基于所述单目摄像头采集的含所述目标对象的前一图像确定的所述目标对象与所述图像装置之间的距离。所述第二确定模块015用于根据所述第二估计距离确定所述所述目标对象与所述单目摄像头之间的当前距离。

如图9所示，在一些实施例中，本申请还提供了一种车载测距设备，其包括包括单目车载摄像头11、处理器12存及存储器13。所述单目车载摄像头11用于采集含目标对象的图像。所述处理器12在运行所述存储器13中存储的计算机程序指令时，执行依据本申请任意一实施例中所述的测距方法的步骤。

进一步的，如图10所示，在一些实施例中，处理器12为ECU(Electronic ControlUnit，电子控制单元)处理器，所述车载车距设备还包括与所述ECU处理器12连接，用于显示测距结果的显示器14以及与所述ECU处理器12连接，用于为ECU处理器12提供供电电压的电源15。

进一步的，所述ECU处理器12为所述车载单目摄像头头11所在车辆的整车处理器，其内设置有显示模块、存储模块、传感模块、控制模块以及用于实现依据本申请提供的测距方法的各步骤的智能算法模块。其中，所述车载测距设备中的各个模块之间通过车辆的CAN(Controller Area Network，控制器局域网络)总线传输相应的信号。

在一些实施例中，车载单目摄像头11为车载单目红外摄像头，图10所示的车载测距设备属于于Xsafe-II M系列的车载红外夜视系统中一部分，该系统将Xsafe-II M系列车载单目红外摄像头与基于安霸(Ambarella)CV25芯片搭建的ECU处理器12对接，实现实时红外图像显示、目标识别、目标跟踪以及目标测距等功能。

此外，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程指令，所述计算机程序指令被处理器执行时，实现依据本申请提供的任意一实施例中所述的测距方法的步骤。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围之内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种基于单目摄像头的测距方法，其特征在于，包括：

根据单目摄像头采集的含目标对象的当前图像，获得所述目标对象与所述单目摄像头之间的第一估计距离；

判断所述第一估计距离是否小于或等于第一阈值距离；

若是，根据所述第一估计距离确定所述目标对象与所述单目摄像头之间的当前距离；

若否，根据所述目标对象相对所述单目摄像头的移动速度、所述单目摄像头采集图像的频率以及前一距离，获得所述目标对象与所述单目摄像头之间的第二估计距离，并根据所述第二估计距离确定所述目标对象与所述单目摄像头之间的当前距离；

其中，所述前一距离为基于所述单目摄像头采集的含所述目标对象的前一图像确定的所述目标对象与所述单目摄像头之间的距离。

2.根据权利要求1所述的测距方法，其特征在于，所述根据单目摄像头采集的含目标对象的当前图像，获得所述目标对象与所述单目摄像头之间的第一估计距离，包括：

获取单目摄像头采集的含目标对象的当前图像；

对所述当前图像进行目标检测，以获得所述目标对象在所述当前图像中的第一位置信息；

根据所述目标对象的所述第一位置信息和所述单目摄像头的标定参数，确定所述目标对象在世界坐标系下的第二位置信息；

根据所述第二位置信息，计算获得所述目标对象与所述单目摄像头之间的第一估计距离。

3.根据权利要求2所述的测距方法，其特征在于，所述对所述当前图像进行目标检测，以获得所述目标对象在所述当前图像中的第一位置信息，包括：

利用图像识别模型对所述当前图像进行目标检测，获得表征所述目标对象在所述当前图像中位置的第一检测框；

所述根据所述目标对象的所述第一位置信息和所述单目摄像头的标定参数确定所述目标对象在世界坐标系下的第二位置信息，包括：

根据所述第一检测框，确定目标对象像素点，所述目标对象像素点表征所述目标对象在所述当前图像中的位置；

根据所述目标对象像素点以及像素坐标系与世界坐标系的转换关系，计算所述目标对象像素点在世界坐标系下的世界坐标，以确定所述目标对象在世界坐标系下的第二位置信息。

4.根据权利要求2所述测距方法，其特征在于，在所述根据所述目标对象的所述第一位置信息和所述单目摄像头的标定参数确定所述目标对象在世界坐标系下的第二位置信息之前，还包括：对所述单目摄像头的外参进行标定，以获得所述单目摄像头的姿态角信息，具体为：

获取所述单目摄像头采集的标定图像，所述标定图像包含世界坐标系下的第一组平行线，并根据所述第一组平行线在所述世界坐标系下的位置确定标定点的位置，所述标定点在所述世界坐标系下对称设置在所述第一组平行线的两条直线上，以用于确定相互垂直的第二组平行线和第三组平行线；

根据所述第一组平行线在所述标定图像上的第一灭点信息以及所述标定点在所述标定图像中的像素坐标，计算获得所述单目摄像头的第一组姿态角；

根据所述第二组平行线在所述标定图像中的第二灭点信息以及所述第三组平行线在所述标定图像中的第三灭点信息，计算获得所述单目摄像头的第二组姿态角；

根据所述标定点的世界坐标和像素坐标，计算所述单目摄像头的第三组姿态角；

根据所述第一组姿态角、所述第二组姿态角以及所述三组姿态角的融合信息获得所述单目摄像头的姿态角信息。

5.根据权利要求4所述的测距方法，其特征在于，所述当前图像含所述第一组平行线的图像信息，在对所述单目摄像头的外参进行标定，以获得所述单目摄像头的姿态角信息之后，所述测距方法还包括：

对所述第一组平行线在所述当前图像中的灭点进行计算，以获得灭点坐标；

根据所述灭点坐标，获得所述单目摄像头的当前俯仰角和当前偏航角；

根据所述当前俯仰角和当前偏航角修正所述姿态信息中对应的标定角。

6.根据权利要求1所述测距方法，其特征在于，所述根据所述目标对象相对所述单目摄像头的移动速度、所述单目摄像头采集图像的频率以及前一距离，估计所述目标对象与所述单目摄像头之间的当前距离，以获得第二估计距离，包括：

根据对所述目标对象进行目标跟踪的跟踪结果，获取所述目标对象对应的所述前一距离；

对所述目标对象相对于所述单目摄像头的移动速度进行估计，以获得移动速度；

根据所述移动速度、所述单目摄像头采集图像的频率以及所述前一距离，确定所述当前图像中的所述目标对象相对于所述前一图像中的所述目标对象的位移；

根据所述前一距离和所述位移，获得所述第二估计距离。

7.根据权利要求6所述的测距方法，其特征在于，所述根据所述前一距离，对所述目标对象相对于所述单目摄像头的移动速度进行估计，以获得移动速度，包括：

判断所述前一距离是否大于或等于第二阈值距离；

若是，则对所述目标对象相对单目摄像头的移动速度进行计算并保存，所述第二阈值距离小于所述第一阈值距离。

8.根据权利要求7所述的测距方法，其特征在于，在所述根据对所述目标对象的跟踪结果，获取所述目标对象对应的所述前一距离之前，所述测距方法还包括：

根据所述当前图像的目标检测结果和所述前一图像的目标检测结果，对所述当前图像和所述前一图像中的所述目标对象进行目标跟踪，以获得对所述目标对象的标识号。

9.根据权利要求1所述的测距方法，其特征在于，所述根据所述第二估计距离确定所述目标对象与所述单目摄像头之间的当前距离，包括：

判断所述第二估计距离是否在由目标对象像素点所确定的距离范围内，所述目标对象像素点为表征所述目标对象在所述当前图像中位置的像素点，若是，则根据所述第二估计距离确定所述目标对象与所述单目摄像头之间的当前距离；和/或，

若否，则根据所述第一估计距离确定所述目标对象与所述单目摄像头之间的当前距离。

10.一种车载测距设备，其特征在于，包括单目车载摄像头、处理器及存储器；

所述单目车载摄像头用于采集含目标对象的当前图像和前一图像；

所述处理器在运行所述存储器中存储的计算机程序指令时，执行权利要求1至9中任意一项所述的测距方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程指令；

所述计算机程序指令被处理器执行时，实现权利要求1至9中任意一项所述的测距方法的步骤。

Images