CN111046843B - 一种智能驾驶环境下的单目测距方法 - Google Patents

Abstract

本发明涉及一种智能驾驶环境下的单目测距方法，包括：S1，从车载摄像头拍摄的视频流中逐帧获得图像；S2，利用深度卷积神经网络模型从逐帧图像中识别出待测物体，并提取待测物体的标签信息与二维边框信息；S3，根据二维边框信息将待测物体从单帧图像中初步分割，并根据标签信息对待测物体进行分类；S4，根据待测物体的分类类型选择对应的图像深度分割与数值化方法对待测物体进行进一步的分割处理，得到待测物体的数值化信息；本发明利用卷积神经网络预先提取所测物体位置，再经过图像分割得到所测物体的数值化的信息，减少了由于外界环境的影响而带来的误差，具有更好的适用性、可靠性和抗干扰能力。

Description

一种智能驾驶环境下的单目测距方法

技术领域

本发明涉及机器视觉技术领域，特别是涉及一种智能驾驶环境下的单目测距方法。

背景技术

汽车的智能网联化是如今汽车发展的主要方向之一，视觉传感器具有提取信息量大、信息完整、价格便宜等优点，故成为获取周围环境信息的重要手段之一。

由于图像存在深度缺失以及背景环境干扰的问题，通过单目摄像头对物体进行准确测距的方法一直是视觉研究的难点之一，目前主流的方法包括：使用运动图像中的多个匹配点来对物体深度进行估测；通过寻找稳定参照物的方法来获得距离信息；通过固定摄像头位置状态下的物体距离检测方法；通过卷积神经网络来检测物体在图片中的大概尺寸结合先验信息进行估测。以上方法都多少存在精度不高、适用性不广、容易受环境干扰以及步骤繁琐等问题。

因此，行业内急需研发一种精度高、误差稳定、抗干扰能力强的单目视觉测距方法。

发明内容

针对现有技术存在的单目物体测距中深度缺失、背景干扰与前景分割困难的问题，本发明提供一种智能驾驶环境下的单目测距方法。

本申请的具体方案如下：

一种智能驾驶环境下的单目测距方法，包括：

S1，从车载摄像头拍摄的视频流中逐帧获得图像；

S2，利用深度卷积神经网络模型从逐帧图像中识别出待测物体，并提取待测物体的标签信息与二维边框信息；

S3，根据二维边框信息将待测物体从单帧图像中初步分割，并根据标签信息对待测物体进行分类；

S4，根据待测物体的分类类型选择对应的图像深度分割与数值化方法对待测物体进行进一步的分割处理，得到待测物体的数值化信息；

S5，根据相机成像原理与几何测距模型，利用物体数值化的信息与先验信息对待测物体进行测距，其中所述先验信息为待测物体的几何尺寸。

优选地，并根据标签信息对待测物体进行分类的步骤包括：将物理特征相似度为k的待测物体分为同一类，k>0，其中，物理特征包括形状、大小、颜色与材质中至少一种。

优选地，所用图像深度分割与数值化方法包括图像白平衡、灰度化处理、RGB/HSV阈值化处理、Candy边缘检测、Hough变换与滑动窗口多项式拟合方法。

优选地，所述数值化方法的步骤包括：统计单帧图像某部分的每列像素之和，以单帧图像左右两边的感兴趣区域为范围搜寻像素值和的最大值作为滑动窗口的起始点；

其中，m、n为图像的像素宽度与高度；h_j为每列像素之和；B_l、B_r为滑动窗口的左右初始点；k,l_i,r_i为感兴趣区域的参数；根据式(1)获得初始点之后，算法根据一个矩形面积向上生长，根据矩形中像素最大值确定生长方向以及下一个初始点，以此迭代，最后通过多项式拟合方法对每一个矩形的中心点进行拟合，最终得到边界信息，迭代过程如式(2)所示；

式中w₁、w₂、h₁、h₂表示了矩形的长度与宽度；N表示矩形内像素之和；c_j为矩形内每列像素之和；B_c为滑动窗口的迭代后的初始点；

根据拟合结果可得多条直线，求解相邻直线的交点，即可得到多边形的顶点坐标信息(u_i,v_i)；

A_iu+B_iv+c_i＝A_ju+B_jv+c_j (3)

优选地，步骤S5包括：设O-x-y-z为相机坐标系，现实世界的空间点P经过小孔O投影之后，落在物理成像平面O′-x′-y′上，成像点为P′；设P的坐标为[X,Y,Z]^T，P′为[X,′Y′,Z′^T]，并且设物理成像平面到小孔的焦距为f；设在物理成像平面上固定着一个像素平面o-u-v，在像素平面得到了P′的像素坐标：[u,v]^T；同时推导出像素坐标系与相机坐标系的空间转化关系，在此使用齐次坐标表示：

其中，K为相机的内参数矩阵；f_x,f_y分别是x,y轴方向的放大系数；c_x，c_y是物理成像坐标系和像素坐标系之间的位移量；

通过所述数值化方法得到物体在像素平面内的多点坐标(u_i,v_i)；通过式(4)，得到含有未知数Z的物体在相机坐标系下的三维坐标：

X_i＝a_iZ_i (5)

Y_i＝b_iZ_i (6)

Z_i＝Z_i (7)

根据立体几何学，在空间中任意不共线的三点构成一个平面，在此已知相机坐标系下四点之间的相互关系，则构建以下关系：

·P_i-P_j|²＝(a_iZ_i-a_jZ_j)²+(b_iZ_i-b_jZ_j)²+(Z_i-Z_j)²＝l_ij ² (10)

(a_i ²+b_i ²+1)·Z_i ²+(a_j ²+b_j ²+1)·Z_j ²-2(a_ia_j+b_ib_j+1)Z_iZ_j＝l_ij ² (11)

观察等式(11)左边第三项，在实际应用中由于待测物体在空间中的位置对Z值的影响较小，认为Z_i≈Z_j成立，故在此做近似处理，由基本不等式可得：

c_ij·Z_i ²+c_ji·Z_j ²＝l_ij ² (12)

由于待测物体始终在相机前方，故在此Z_i≥0恒成立；令x_i＝Z_i ²，在此以四边形的求解过程举例，通过四个点各边的关系直接建立方程未能使用角度信息，而四边形并不具备稳定性，故使用该方法存在较大误差；于是将四边形分割为两个三角形进行求解，即在此加入对角线长度信息。

观察得知，上述方程组为超定方程组，在此使用最小二乘法求其近似解，通过最小二乘原理建立矩阵方程：

式中：

对矩阵方程进行求解，即得到各个顶点的Z轴信息

再通过式(16)求距离信息；将各点距离信息求均值，得到物体中心点的距离信息，至此测距完成；

优选地，并提取待测物体的标签信息与二维边框信息的步骤包括：根据置信度提取物体标签信息与二维边框信息。

与现有技术相比，本发明具有如下有益效果：

本发明的智能驾驶环境下的单目测距方法基于神经网络与几何测距模型。首先，利用深度卷积神经网络模型对需识别的物体进行训练与检测，标记物体并定位物体在图像中的位置，将需识别物体与背景分割。其次，通过上一步骤得到的物体分类与图像分割结果，使用边缘检测及边缘拟合的方法，进一步提取物体的图像边缘信息并将其转化为数值信息。最后，通过基于空间几何理论的测距模型，结合物体的数值信息与先验信息实现物体的距离测量。本发明节约了深度计算的时间并且无需固定摄像头位置，同时测距误差稳定，理论上测量误差不随测量距离的变化而产生变化，具有高效、灵活与稳定的特点，能够很好地适应智能驾驶的复杂环境。

附图说明

图1为本发明的智能驾驶环境下的单目测距方法的一示意性流程图。

图2为本发明的智能驾驶环境下的单目测距方法的另一示意性流程图。

图3是本发明的待测物体检测与初步分割的示意图。

图4是本发明的待测物体深度分割与数值化示意图。

图5是本发明的几何测距原理示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

参见图1-2、一种智能驾驶环境下的单目测距方法，其特征在于，包括：

S1，从车载摄像头拍摄的视频流中逐帧获得图像；

S2，利用深度卷积神经网络模型从逐帧图像中识别出待测物体，并提取待测物体的标签信息与二维边框信息；使用深度卷积神经网络模型从逐帧图像中识别出待测物体，并根据置信度提取物体标签信息与二维边框信息，二维边框信息的置信度范围需要略微宽泛，以使边框能够完全包含所测物体，本方案的深度卷积神经网络模型为16层的深度卷积神经网络模型结构，该网络使用了9层卷积层与6层池化层交叠，并在最后直接使用卷积层直接输出识别结果，该结构经过验证能够在训练集较少的情况下获得更加优良的检测结果与检测速度。

S3，根据二维边框信息将待测物体从单帧图像中初步分割，并根据标签信息对待测物体进行分类；

S4，根据待测物体的分类类型选择对应的图像深度分割与数值化方法对待测物体进行进一步的分割处理，得到待测物体的数值化信息；

S5，根据相机成像原理与几何测距模型，利用物体数值化的信息与先验信息对待测物体进行测距，其中所述先验信息为待测物体的几何尺寸。

在本实施例中，摄像头使用的物理感光元件为索尼公司的IMX498传感器，传感器尺寸为1/2.8英寸，长宽比例4:3。摄像头实际焦距为3.5mm，等效35mm焦距为27mm。将视频流按照顺序输入训练好的深度卷积神经网络模型中，提取待测物体的标签信息与二维边框信息。本实施例的深度卷积神经网络模型的具体结构如表1所示。

表1

如图3所示，获得物体标签信息与二维边框信息(x,y,w,h)以后，沿着边框将物体从原始图像(车载摄像头拍摄的视频流中获得的逐帧图像)中分割出来，并根据物体标签信息对其分类。

如图4所示，对分类后的待测物体进行深度分割与数值化拟合。在此以交通指示牌的检测为例进行说明，对分割后的交通指示牌依次使用Candy边缘检测算法、Hough变换处理得到物体边界，使用滑动窗口的多项式拟合技术拟合边界得到拟合的多项式：统计图片某部分的每列像素之和,以左右两边的感兴趣区域为范围搜寻像素值和的最大值作为滑动窗口的起始点。根据式(1)获得初始点之后，算法根据一个矩形面积向上生长，根据矩形中像素最大值确定生长方向以及下一个初始点，以此迭代，最后通过多项式拟合方法对每一个矩形的中心点进行拟合，最终得到边界信息，迭代过程如式(2)所示。根据拟合结果可得数条直线，根据式(3)求解相邻直线的交点，即可得到多边形的顶点坐标信息(u_i,v_i)。

如图5所示，将由上一步骤获得的物体数值化信息进行提炼，得到物体的边界交点数据(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)，通过几何测距模型对物体进行测距：设O-x-y-z为相机坐标系，设在物理成像平面上固定着一个像素平面o-u-v，在像素平面得到了P′的像素坐标：[u,v]^T。通过上文物体提取与数值化的方法，得到物体在像素平面内的多点坐标(u_i,v_i)。通过式(4)，可得到含有未知数Z的物体在相机坐标系下的三维坐标。根据立体几何学，在空间中任意不共线的三点构成一个平面，在此已知相机坐标系下四点之间的相互关系，则可构建式(10～11)的关系，由基本不等式可得式(12～13),由于物体始终在相机前方，故在此Z_i≥0恒成立。令x_i＝Z_i ²，将四边形分割为两个三角形进行求解，即在此加入对角线长度信息。对矩阵方程(15)进行求解，即可得到各个顶点的Z轴信息

再通过式(16)求距离信息。将各点距离信息求均值，得到物体中心点的距离信息，至此测距完成。

本方案利用卷积神经网络预先提取所测物体位置，再经过图像分割得到所测物体的数值化的信息，最后根据相机成像原理与几何测距模型，利用物体数值化的信息与先验信息对待测物体进行测距，减少了由于外界环境的影响而带来的误差，具有更好的适用性、可靠性和抗干扰能力。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种智能驾驶环境下的单目测距方法，其特征在于，包括：

S1，从车载摄像头拍摄的视频流中逐帧获得图像；

S2，利用深度卷积神经网络模型从逐帧图像中识别出待测物体，并提取待测物体的标签信息与二维边框信息；

S3，根据二维边框信息将待测物体从单帧图像中初步分割，并根据标签信息对待测物体进行分类；

S4，根据待测物体的分类类型选择对应的图像深度分割与数值化方法对待测物体进行进一步的分割处理，得到待测物体的数值化信息；

所述数值化方法的步骤包括：

统计单帧图像某部分的每列像素之和，以单帧图像左右两边的感兴趣区域为范围搜寻像素值和的最大值作为滑动窗口的起始点；

其中，m、n为图像的像素宽度与高度；h_j为每列像素之和；B_l、B_r为滑动窗口的左右初始点；k,l_i,r_i为感兴趣区域的参数；根据式(1)获得初始点之后，算法根据一个矩形面积向上生长，根据矩形中像素最大值确定生长方向以及下一个初始点，以此迭代，最后通过多项式拟合方法对每一个矩形的中心点进行拟合，最终得到边界信息，迭代过程如式(2)所示；

式中w₁、w₂、h₁、h₂表示了矩形的长度与宽度；N表示矩形内像素之和；c_j为矩形内每列像素之和；B_c为滑动窗口的迭代后的初始点；

根据拟合结果可得多条直线，求解相邻直线的交点，即可得到多边形的顶点坐标信息(u_i,v_i)；

A_iu+B_iv+c_i＝A_ju+B_jv+c_j (3)

S5，根据相机成像原理与几何测距模型，利用物体数值化的信息与先验信息对待测物体进行测距，其中所述先验信息为待测物体的几何尺寸。

2.根据权利要求1所述的智能驾驶环境下的单目测距方法，其特征在于，并根据标签信息对待测物体进行分类的步骤包括：

将物理特征相似度为k的待测物体分为同一类，k>0，其中，物理特征包括形状、大小、颜色与材质中至少一种。

3.根据权利要求1所述的智能驾驶环境下的单目测距方法，其特征在于，所用图像深度分割与数值化方法包括图像白平衡、灰度化处理、RGB/HSV阈值化处理、Candy边缘检测、Hough变换与滑动窗口多项式拟合方法。

4.根据权利要求1所述的智能驾驶环境下的单目测距方法，其特征在于，步骤S5包括：设O-x-y-z为相机坐标系，现实世界的空间点P经过小孔O投影之后，落在物理成像平面O′-x′-y′上，成像点为P′；设P的坐标为[X,Y,Z]^T，P′为[X′,Y′,Z′^T]，并且设物理成像平面到小孔的焦距为f；设在物理成像平面上固定着一个像素平面o-u-v，在像素平面得到了P′的像素坐标：[u,v]^T；同时推导出像素坐标系与相机坐标系的空间转化关系，在此使用齐次坐标表示：

其中，K为相机的内参数矩阵；f_x,f_y分别是x,y轴方向的放大系数；c_x，c_y是物理成像坐标系和像素坐标系之间的位移量；

通过所述数值化方法得到物体在像素平面内的多点坐标(u_i,v_i)；通过式(4)，得到含有未知数Z的物体在相机坐标系下的三维坐标：

X_i＝a_iZ_i (5)

Y_i＝b_iZ_i (6)

Z_i＝Z_i (7)

根据立体几何学，在空间中任意不共线的三点构成一个平面，在此已知相机坐标系下四点之间的相互关系，则构建以下关系：

|P_i-P_j|²＝(a_iZ_i-a_jZ_j)²+(b_iZ_i-b_jZ_j)²+(Z_i-Z_j)²＝l_ij ² (10)

(a_i ²+b_i ²+1)·Z_i ²+(a_j ²+b_j ²+1)·Z_j ²-2(a_ia_j+b_ib_j+1)Z_iZ_j＝l_ij ² (11)

观察等式(11)左边第三项，在实际应用中由于待测物体在空间中的位置对Z值的影响较小，认为Z_i≈Z_j成立，故在此做近似处理，由基本不等式可得：

c_ij·Z_i ²+c_ji·Z_j ²＝l_ij ² (12)

由于待测物体始终在相机前方，故在此Z_i≥0恒成立；令x_i＝Z_i ²，在此以四边形的求解过程举例，通过四个点各边的关系直接建立方程未能使用角度信息，而四边形并不具备稳定性，故使用该方法存在较大误差；于是将四边形分割为两个三角形进行求解，即在此加入对角线长度信息；

观察得知，上述方程组为超定方程组，在此使用最小二乘法求其近似解，通过最小二乘原理建立矩阵方程：

式中：

对矩阵方程进行求解，即得到各个顶点的Z轴信息

再通过式(16)求距离信息；将各点距离信息求均值，得到物体中心点的距离信息，至此测距完成；

5.根据权利要求1所述的智能驾驶环境下的单目测距方法，其特征在于，并提取待测物体的标签信息与二维边框信息的步骤包括：根据置信度提取物体标签信息与二维边框信息。

Images