CN111272139A - 一种基于单目视觉的车辆长度测量方法 - Google Patents

Abstract

本发明提出了一种基于单目视觉的车辆长度测量方法，基于深度学习轻量级网络，采用成本较低的单目摄像头，先通过相机内参标定与车道线平面的单应性矩阵标定，并录制在车道线上的车辆行驶视频进行车辆长度计算，同时根据是否偏离行驶设计两种不同算法进行车辆长度计算。本方法实现了基于行驶道路路边相机对车辆的长度的精确测量，可以极大降低人力资源成本、增加车辆违法改装的检查力度、减少交通负荷和环境污染、保证交通安全、提高通行效率。

Description

一种基于单目视觉的车辆长度测量方法

技术领域

本发明涉及深度学习技术领域，具体涉及一种基于单目视觉的车辆长度测量方法。

背景技术

随着社会经济的不断发展以及人们生活水平的提高，我国汽车的年拥有量也不断的增加，以此同时由于道路运输车辆和不规范运营引发的道路交通事故率也有扩大的趋势。部分运营者对车型进行私自的改装，以求增加车辆的运载能力，造成汽车的超限、超载，此为引发重大交通事故的主要诱因。因此，如何有效、高精度且低成本地实现车辆长度的计算是当前交通领域面临的难题。

车辆长度是交通车辆信息中重要的参数，一般都采用检测站激光或光幕法进行慢速测车长，然而采用这种方式设备造价较高，且当车辆之间距离很近时，会带来较大检测误差甚至导致检测失败。视频技术作为一种低成本的检测技术，目前被广泛研究，但其检测精度仍不理想。而车辆长度是作为车型分类的重要指标，其有效且低成本的计算方法目前仍较欠缺。

当前与本发明相关的车辆长度方法有：发明专利(公开号：CN110307791A，名称：基于三维车辆边界框的车辆长度及速度计算方法)公开了一种基于三维车辆边界框的车辆长度及速度计算方法，但该发明专利使用的摄像头为道路中放置于龙门架中的高处摄像头，使用的Mask R-CNN形成车辆掩膜时间较长，难以进行实施测长。袁涵(基于计算机视觉的车辆外廓尺寸测量系统研究与应用[D]；安徽：安徽大学，2014，)使用双目相机测量货车长宽高，这样的方法可以大大减少检测站中测量器件的成本，但是由于相机畸变引起的测量误差与算法复杂导致测量时间较长，该方法实现并不理想。梁春疆(基于机器视觉原理的车辆外廓尺寸在线测量系统[D].天津：天津大学，2015)使用激光雷达和双目摄像头测量货车长宽高，该方法可以实现比双目测量更高的准确度，但成本太高，激光雷达本身就可以测量车辆长宽高，增加双目相机显得更多此一举。朱菲婷(基于激光点云3D检测的车辆外廓尺寸测量研究[J].机械化工学报，2019，371(03):170-171)使用激光雷达不仅可测得车辆长宽高同时使用深度学习技术转换为3D检测效果，但该方法成本高，检测速度慢，只适用于车检站的货车车辆外廓检测，并不适用普通道路交通中行驶车辆的检测。

综上所述，对于车辆长度检测的方案中，主要问题在于：1)检测设备多为激光雷达，设备成本高；2)使用双目摄像头进行检测精度难以符合要求且计算时间长；3)使用深度学习中的不同网络模型与检测时长直接相关，需要选择轻量级网络。考虑到这些不足，本方法基于深度学习轻量级网络，采用成本较低的单目摄像头，使用车道线标定及相应算法进行车辆长度检测。

发明内容

为克服现有技术上检测精度低、检测速度慢的不足，本发明提供了一种基于单目视觉的车辆长度测量方法，用深度卷积神经网络CNN特征进行车辆目标检测，并结合基于单应性矩阵的相机标定的像素对应物理距离相等的特征对车辆长度改进算法。

为实现上述发明，采用的技术方案如下：

一种基于单目视觉的车辆长度测量方法，其特征在于，包括如下步骤：

步骤1：使用张正友标定法进行相机标定，得到相机光心对应于图像中的横坐标x_g；

步骤2：根据实际场地大小定制一张正方形黑白格组成的标定板，将标定板垂直于地面车道线处拍取一张图片，计算该图片对应的相机图像坐标到车道线平面坐标的单应性矩阵H，公式(1)表示图像坐标系到世界坐标系的对应关系，则相机光心横坐标对应的物理横坐标为x_wg，同时通过Hough直线检测算法检测得到车道线并标记为L；

其中，(X_p1,Y_p1)表示图像坐标，(X_wp1,Y_wp1)表示车道线平面的世界坐标；

步骤3：使用卷积神经网络对序列图像进行检测，得到车身侧面矩形框集合A＝{c_i|i＝1,2,…,m}、前轮毂区域集合WF＝{f_i|i＝1,2,…,m}和后轮毂区域集合WR＝{r_i|i＝1,2,…,m}，其中，m表示序列图像总数，c_i表示车身侧面矩形框，f_i表示前轮毂区域矩形框，r_i表示后轮毂区域矩形框，使用霍夫变换找到f_i和r_i中最大内接圆的圆心(x_fi,y_fi)和(x_ri,y_ri)，通过公式(1)得到前后轮毂圆心的世界坐标(x_wfi,y_wfi)和(x_wri,y_wri)，则车辆在第i帧的轴距物理长度为wd_i＝|x_wri-x_wfi|，同时，结合公式(1)可计算得到r_i的最大内接圆的物理直径R_i；

步骤4：通过公式(1)将c_i转换为世界坐标下的矩形框c_wi，则可根据公式(2)计算每帧图像中车辆相对于第一帧的物理行驶距离rd_i；

rd_i＝|c_wi.x-c_w1.x| (2)

其中，c_wi.x表示第i帧车身侧面矩形框在世界坐标系下的左上角的横坐标；

步骤5：车辆行驶路线偏离检测具体步骤为：

5.1：计算第i帧车辆轴距wd_i与第一帧车辆轴距的差值AW_i＝|wd_i-wd₁|，若存在AW_i>w₀，则判断为车辆偏离行驶，记录车辆偏离行驶总帧数

偏离行驶帧号集合F＝{i|AW_i>w₀,i＝1,2,...,m}，其中，I(·)表示示性函数，若其参数值为真则返回1，否则返回0；w₀表示轴距差值的阈值；

5.2：若不存在车辆偏离行驶，或存在车辆偏离行驶但满足公式(3)的约束且满足

则检测到的车辆长度为cl＝c_wq.w；

(rd_i＜|x_wg-c_w1.x|-c_wi.w)||(rd_i＞|x_wg-c_w1.x|),i∈F (3)

其中，c_wq.w表示第q帧车身侧面矩形框在世界坐标系下的物理宽度；

5.3：若存在车辆偏离行驶但不满足公式(3)的约束，则结合公式(1)计算后轮毂矩形框r_k的像素坐标点(x_rk,c_k.y+c_k.h)得到对应的世界坐标P_k，然后根据公式(4)计算P_k到车道线L的垂直物理距离，其中，k∈F，并将所有这些垂直物理距离记录为偏离距离集合D＝{d_k|k∈F}，c_k.y表示第k帧车身侧面矩形框左上角的纵坐标，c_k.h表示第k帧车身侧面矩形框的高度；

其中，R₁为第一帧车辆后轮毂直径，R_k为第k帧偏离行驶车辆的后轮毂直径，u表示相机镜头到车道线的垂直物理距离；

5.4：以场景俯视图为坐标系，车道线为X轴，以车辆行驶方向在车道线距离rd₁处为原点，在集合D中取每帧偏离距离d_k与当前帧车辆行驶距离rd_k组成坐标集合W＝{(d_k,rd_k)|k∈F}并使用最小二乘法把点集W中的点进行车辆偏离路线拟合直线并得到直线斜率b，通过α＝arctan(b)求得行驶偏离路线与车道线的夹角α；

步骤6：找到满足等式rd_r＝x_wg-u×tan(α)的图像帧号r，根据公式(5)求得在偏离行驶情况下的车辆长度cl：

其中，c_wr.w表示第r帧车身侧面矩形框在世界坐标系下的物理宽度。

与现有技术相比，本发明具有的主要有益效果为：

本发明提出一种基于单目视觉的车辆长度测量方法，实现了基于行驶道路路边相机对车辆的长度的精确测量，可以极大降低人力资源成本、增加车辆违法改装的检查力度、减少交通负荷和环境污染、保证交通安全、提高通行效率。

附图说明

图1为本发明方法的步骤流程图；

图2为本发明车道线标定图；

图3为本发明路面三维俯视图；

图4为本发明车辆正常行驶检测俯视效果示意图；

图5为本发明车辆偏离行驶偏离路线拟合俯视效果示意图；

图6为本发明车辆偏离行驶车辆长度检测俯视效果示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

如图1-5所示，本实施例提供的基于单目视觉的车辆长度检测方法包括以下步骤：

步骤1：使用张正友标定法进行相机标定，得到相机光心对应于图像中的横坐标x_g；

步骤2：根据实际场地大小定制一张正方形黑白格组成的标定板，将标定板垂直于地面车道线处拍取一张图片，计算该图片对应的相机图像坐标到车道线平面坐标的单应性矩阵H，公式(1)表示图像坐标系到世界坐标系的对应关系，则相机光心横坐标对应的物理横坐标为x_wg，同时通过Hough直线检测算法检测得到车道线并标记为L；

其中，(X_p1,Y_p1)表示图像坐标，(X_wp1,Y_wp1)表示车道线平面的世界坐标；

步骤3：使用卷积神经网络对序列图像进行检测，得到车身侧面矩形框集合A＝{c_i|i＝1,2,…,m}、前轮毂区域集合WF＝{f_i|i＝1,2,…,m}和后轮毂区域集合WR＝{r_i|i＝1,2,…,m}，其中，m表示序列图像总数，c_i表示车身侧面矩形框，f_i表示前轮毂区域矩形框，r_i表示后轮毂区域矩形框，使用霍夫变换找到f_i和r_i中最大内接圆的圆心(x_fi,y_fi)和(x_ri,y_ri)，通过公式(1)得到前后轮毂圆心的世界坐标(x_wfi,y_wfi)和(x_wri,y_wri)，则车辆在第i帧的轴距物理长度为wd_i＝|x_wri-x_wfi|，同时，结合公式(1)可计算得到r_i的最大内接圆的物理直径R_i，如图3所示，该图为车辆长度测试场景，①为CCD摄像机，②为车身侧面矩形框，③车辆轮毂区域，④为摄像机到测距线距离u，⑤为车辆轴距wd_i，⑥为光芯至图像边界距离x_wg,⑦为车辆行驶距离rd_i；

步骤4：通过公式(1)将c_i转换为世界坐标下的矩形框c_wi，则可根据公式(2)计算每帧图像中车辆相对于第一帧的物理行驶距离rd_i；

rd_i＝|c_wi.x-c_w1.x| (2)

其中，c_wi.x表示第i帧车身侧面矩形框在世界坐标系下的左上角的横坐标；

步骤5：车辆行驶路线偏离检测具体步骤为：

5.1：计算第i帧车辆轴距wd_i与第一帧车辆轴距的差值AW_i＝|wd_i-wd₁|，若存在AW_i>w₀，则判断为车辆偏离行驶，记录车辆偏离行驶总帧数

偏离行驶帧号集合F＝{i|AW_i>w₀,i＝1,2,...,m}，其中，I(·)表示示性函数，若其参数值为真则返回1，否则返回0；w₀表示轴距差值的阈值；

5.2：若不存在车辆偏离行驶，或存在车辆偏离行驶但满足公式(3)的约束且满足

则检测到的车辆长度为cl＝c_wq.w；

(rd_i＜|x_wg-c_w1.x|-c_wi.w)||(rd_i＞|x_wg-c_w1.x|),i∈F (3)

其中，c_wq.w表示第q帧车身侧面矩形框在世界坐标系下的物理宽度；

5.3：若存在车辆偏离行驶但不满足公式(3)的约束，则结合公式(1)计算后轮毂矩形框r_k的像素坐标点(x_rk,c_k.y+c_k.h)得到对应的世界坐标P_k，然后根据公式(4)计算P_k到车道线L的垂直物理距离，其中，k∈F，并将所有这些垂直物理距离记录为偏离距离集合D＝{d_k|k∈F}，c_k.y表示第k帧车身侧面矩形框左上角的纵坐标，c_k.h表示第k帧车身侧面矩形框的高度；

其中，R₁为第一帧车辆后轮毂直径，R_k为第k帧偏离行驶车辆的后轮毂直径，u表示相机镜头到车道线的垂直物理距离，如图4所示，该图为路面俯视图，表示车辆可测量区域，其中①为CCD摄像机光心直线，②为CCD摄像机，③为车道线，④为摄像机到测距线距离u，⑤为行驶车辆；

5.4：以场景俯视图为坐标系，车道线为X轴，以车辆行驶方向在车道线距离rd₁处为原点，在集合D中取每帧偏离距离d_k与当前帧车辆行驶距离rd_k组成坐标集合W＝{(d_k,rd_k)|k∈F}并使用最小二乘法把点集W中的点进行车辆偏离路线拟合直线并得到直线斜率b，通过α＝arctan(b)求得行驶偏离路线与车道线的夹角α，如图5所示，该图为车辆偏离行驶俯视图，其中，①为多个偏离行驶距离d_i(i∈F)，②为拟合的偏离行驶路线；

步骤6：找到满足等式rd_r＝x_wg-u×tan(α)的图像帧号r，根据公式(5)求得在偏离行驶情况下的车辆长度cl：

其中，c_wr.w表示第r帧车身侧面矩形框在世界坐标系下的物理宽度。

如图6所示，该图为车辆长度测量俯视图，其中①为偏离行驶路线与车道线的偏离角α，②为车辆偏离行驶与车道线距离d_k(k∈F)；

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于单目视觉的车辆长度测量方法，其特征在于，包括如下步骤：

步骤1：使用张正友标定法进行相机标定，得到相机光心对应于图像中的横坐标x_g；

步骤2：根据实际场地大小定制一张正方形黑白格组成的标定板，将标定板垂直于地面车道线处拍取一张图片，计算该图片对应的相机图像坐标到车道线平面坐标的单应性矩阵H，公式(1)表示图像坐标系到世界坐标系的对应关系，则相机光心横坐标对应的物理横坐标为x_wg，同时通过Hough直线检测算法检测得到车道线并标记为L；

其中，(X_p1,Y_p1)表示图像坐标，(X_wp1,Y_wp1)表示车道线平面的世界坐标；

步骤3：使用卷积神经网络对序列图像进行检测，得到车身侧面矩形框集合A＝{c_i|i＝1,2,…,m}、前轮毂区域集合WF＝{f_i|i＝1,2,…,m}和后轮毂区域集合WR＝{r_i|i＝1,2,…,m}，其中，m表示序列图像总数，c_i表示车身侧面矩形框，f_i表示前轮毂区域矩形框，r_i表示后轮毂区域矩形框，使用霍夫变换找到f_i和r_i中最大内接圆的圆心(x_fi,y_fi)和(x_ri,y_ri)，通过公式(1)得到前后轮毂圆心的世界坐标(x_wfi,y_wfi)和(x_wri,y_wri)，则车辆在第i帧的轴距物理长度为wd_i＝|x_wri-x_wfi|，同时，结合公式(1)可计算得到r_i的最大内接圆的物理直径R_i；

步骤4：通过公式(1)将c_i转换为世界坐标下的矩形框c_wi，则可根据公式(2)计算每帧图像中车辆相对于第一帧的物理行驶距离rd_i；

rd_i＝|c_wi.x-c_w1.x| (2)

其中，c_wi.x表示第i帧车身侧面矩形框在世界坐标系下的左上角的横坐标；

步骤5：车辆行驶路线偏离检测，具体步骤为：

5.1：计算第i帧车辆轴距wd_i与第一帧车辆轴距的差值AW_i＝|wd_i-wd₁|，若存在AW_i>w₀，则判断为车辆偏离行驶，记录车辆偏离行驶总帧数

偏离行驶帧号集合F＝{i|AW_i>w₀,i＝1,2,...,m}，其中，I(·)表示示性函数，若其参数值为真则返回1，否则返回0；w₀表示轴距差值的阈值；

5.2：若不存在车辆偏离行驶，或存在车辆偏离行驶但满足公式(3)的约束且满足

则检测到的车辆长度为cl＝c_wq.w；

(rd_i＜|x_wg-c_w1.x|-c_wi.w)||(rd_i＞|x_wg-c_w1.x|),i∈F (3)

其中，c_wq.w表示第q帧车身侧面矩形框在世界坐标系下的物理宽度；

5.3：若存在车辆偏离行驶但不满足公式(3)的约束，则结合公式(1)计算后轮毂矩形框r_k的像素坐标点(x_rk,c_k.y+c_k.h)得到对应的世界坐标P_k，然后根据公式(4)计算P_k到车道线L的垂直物理距离，其中，k∈F，并将所有这些垂直物理距离记录为偏离距离集合D＝{d_k|k∈F}，c_k.y表示第k帧车身侧面矩形框左上角的纵坐标，c_k.h表示第k帧车身侧面矩形框的高度；

其中，R₁为第一帧车辆后轮毂直径，R_k为第k帧偏离行驶车辆的后轮毂直径，u表示相机镜头到车道线的垂直物理距离；

5.4：以场景俯视图为坐标系，车道线为X轴，以车辆行驶方向在车道线距离rd₁处为原点，在集合D中取每帧偏离距离d_k与当前帧车辆行驶距离rd_k组成坐标集合W＝{(d_k,rd_k)|k∈F}并使用最小二乘法把点集W中的点进行车辆偏离路线拟合直线并得到直线斜率b，通过α＝arctan(b)求得行驶偏离路线与车道线的夹角α；

步骤6：找到满足等式rd_r＝x_wg-u×tan(α)的图像帧号r，根据公式(5)求得在偏离行驶情况下的车辆长度cl：

其中，c_wr.w表示第r帧车身侧面矩形框在世界坐标系下的物理宽度。

Images