CN113436257A - 一种基于道路几何信息的车辆位置实时检测方法 - Google Patents

Abstract

本发明涉及一种基于道路几何信息的车辆位置实时检测方法，包括以下步骤：1)进行车辆实时目标检测，获取车辆的几何信息；2)根据车辆的几何信息，基于卷积神经网络与BP神经网络获取图像中车辆与路面接触点位置坐标；3)基于路面交通线图像信息与相机内参数计算得到图像坐标系与现实坐标系之间的转换关系，即单应性矩阵H；4)根据转换关系对车辆与路面接触点进行转换，得到车辆的实时位置。与现有技术相比，本发明具有无需现场标记控制点、节省标记人工成本、检测精度高等优点。

Description

一种基于道路几何信息的车辆位置实时检测方法

技术领域

本发明涉及道路车辆检测技术领域，尤其是涉及一种基于道路几何信息的车辆位置实时检测方法。

背景技术

路面的车辆的时间空间分布信息能够对道路或桥梁的受力状态评估提供了可靠的依据，也能够为交通管理的相关决策提供原始数据，因此能够高效、准确地测量路面车辆的实时位置在土木工程、交通工程领域具有非常重大的意义。车辆位置的检测主要需要有两个解决的问题，一是需要对车辆的位置进行精确定位，由于图像信息是二维的，现实空间是三维的，从二维图像中更精确地恢复三维信息是一项具有挑战性的工作；二是需要进行实时监测，这就需要对现有算法进行优化，提高其效率，使其能够更快地对监控视频进行检测。

经过对现有技术的文献检索发现，车辆检测中的研究多集中在优化车辆检测跟踪算法，以实现准确地对车辆的实时位置进行检测的目的。

申请号为201911128448.0的中国专利“基于视觉的密度交通车辆计数和交通流量计算方法及系统”提出一种基于视觉的车辆检测系统，对连续帧图像进行缩放得到金字塔特征图，用金字塔-YOLO网络检测不同尺度的车辆目标，对车辆进行计数，并根据计数结果估计车辆流量，得到车辆流量交通体量、速度和密度。

申请号为CN201910608892.6的中国专利“一种基于双目立体视觉系统的车辆智能测轨迹方法”提出了一种基于双目立体视觉系统的车辆智能测轨迹方法，利用SSD神经网络得到车牌识别模型，对双目立体视觉系统进行标定，拍摄运动的目标车辆的视频，再对车牌位置进行立体匹配，对匹配点对进行立体测量，获取视频帧中车辆空间坐标下的位置，按时间顺序生成车辆的运行轨迹，实现了多车道、多目标、多方向车辆的同时测量。

但在以上的已有相关研究中，对车辆与路面接触点的估计较为粗糙，增大了误差；现有的确定车辆在路面具体位置的计算方法需要在现场标记控制点，效率较低，缺乏简便的坐标转换方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于道路几何信息的车辆位置实时检测方法。

本发明的目的可以通过以下技术方案来实现：

一种基于道路几何信息的车辆位置实时检测方法，包括以下步骤：

1)进行车辆实时目标检测，获取车辆的几何信息；

2)根据车辆的几何信息，基于卷积神经网络与BP神经网络获取图像中车辆与路面接触点位置坐标；

3)基于路面交通线图像信息与相机内参数计算得到图像坐标系与现实坐标系之间的转换关系，即单应性矩阵H；

4)根据转换关系对车辆与路面接触点进行转换，得到车辆的实时位置。

所述的步骤1)中，采用公开数据集DETRAC进行训练，通过YOLOv4网络进行车辆实时目标检测，得到车辆的几何信息。

所述的步骤2)具体包括以下步骤：

21)对于检测出的车辆图像，将车辆与路面接触点的位置简化为车辆轮子围成的矩形，并获取车辆与路面接触点位置O的坐标；

22)获取多幅公开数据集中的车辆图像并通过步骤21)获取每幅图像中车辆与路面接触点位置O的坐标，将车辆图像缩放后采用Vgg16网络的卷积层进行几何特征的提取得到几何特征向量；

23)构建一个BP神经网络，并以几何特征向量作为输入，以车辆与路面接触点位置O的坐标作为输出进行训练和测试。

所述的步骤21)中，由于车身的遮挡，车辆只显现一侧的轮胎，假设车辆的两个后视镜之间的距离与车轮之间的距离相等且相互平行，则车辆与路面接触点位置O的坐标表达式为：

其中，x_A、y_A为一侧后轮接地点A的坐标，x_B、y_B为一侧前轮接地点B的坐标，x_C、y_C为另一侧前轮接地点C的坐标，

为一侧后视镜W1的坐标，

为另一侧后视镜W2的坐标。

所述的步骤22)中，公开数据集中的车辆图像通过Vgg16网络的前34层后得到几何特征向量。

所述的步骤3)中，单应性矩阵H为

图像坐标系中的点P(x,y)与现实坐标系中的点P’(x',y')的转换关系为：

其中，h₁₁、h₁₂、h₁₃、h₂₁、h₂₂、h₂₃、h₃₁、h₃₂、h₃₃分别为单应性矩阵中的元素。

所述的步骤3)具体包括以下步骤：

31)将道路延伸方向设置为现实坐标系的y轴，横向设置为现实坐标系的x轴，车道线在现实坐标系中为平行于y轴的直线，在图像坐标系中则为斜线，由此根据多条车道线分别对应在现实坐标系的表达式以及在图像坐标系中的表达式联立求解得到单应性矩阵H中的六个元素值，即h₁₁、h₁₂、h₁₃、h₃₁、h₃₂和h₃₃；

32)设定图像中的点P₀(x₀,y₀)对应现实坐标系中的原点P’₀(0,0)，根据标定获取相机的内参数矩阵K，根据相机成像原理联立求解得到单应性矩阵H中剩下的三个元素值，即h₂₁、h₂₂和h₂₃。

所述的步骤31)中，联立求解得到单应性矩阵H中的六个元素值的方程表达式为：

其中，x_i为第i条车道线在现实坐标系的表达式x＝x_i的参数，k_i、b_i分别为第i条车道线在图像坐标系的表达式y＝k_ix+b_i的参数。

所述的步骤32)中，联立求解得到单应性矩阵H中剩下的三个元素值的方程式为：

其中，λ、μ均为尺度系数，K为相机的内参数矩阵，r₁₁、r₁₂、r₂₁、r₂₂、r₃₁、r₃₂、t₁、t₂、t₃分别为相机的外参数矩阵T中的参数，

为中间参数矩阵，s_col1、s_col2、s_col3分别为中间参数矩阵S的列向量，s'_col1为s_col1的转置向量，s'_col2为s_col2的转置向量。

所述的步骤4)具体为：

将实时采集到的车辆图像经过卷积神经网络与训练后的BP神经网络后获取车辆与路面接触点在图像坐标系下的位置坐标，根据单应性矩阵转换后得到车辆与路面接触点位置在现实坐标系下的位置坐标，即得到车辆的实时位置。

与现有技术相比，本发明具有以下优点：

一、本发明利用了监控图像中道路中车道线的几何信息，在不需要在现场标记控制点的情况下也能够得到图像坐标系与现实坐标系之间的转换关系。

二、本发明通过Vgg16卷积层与BP神经网络对车辆与路面接触点坐标进行了较为准确的预测，节省了现场标记的人工成本，并提高车辆位置的计算精度，使得大范围的车辆信息实时监测成为可能。

附图说明

图1为车辆的目标检测模型。

图2为车辆的简化几何模型。

图3为基于Vgg16的几何特征编码。

图4为用于接触点预测BP神经网络。

图5为BP神经网络模型的检验，其中，图(5a)为O点x轴坐标x_O的比较结果，图(5b)为O点y轴坐标y_O的比较结果。

图6为车道线与现实坐标系。

图7为待检测区域。

图8为本发明的流程框架图。

图9为监控图像的车辆检测。

图10为图像尺寸标准化。

图11为相机的标定板。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

本发明提供一种基于道路几何信息的车辆位置实时检测方法，包括以下步骤：

1)利用YOLOv4网络进行车辆实时目标检测；

2)根据车辆的几何信息，基于卷积神经网络与BP神经网络对图像中车辆与路面接触点位置进行计算；

3)基于路面交通线图像的信息与相机内参数计算得到图像坐标系与现实坐标系之间的转换关系；

4)将车辆与路面接触点利用转换关系进行转换，得到车辆的实时位置。

各步骤的具体说明如下：

步骤1)车辆检测：

车辆的检测采用YOLO-v4的网络，利用公开数据集DETRAC进行训练，得到车辆的目标检测模型，如图1所示。

步骤2)车辆与路面接触点检测，具体包括以下步骤：

21)对于检测出来的车辆图像，其与路面接触点的位置可以简化为车辆的轮子围成的矩形(如图2中的矩形ABCD)的几何中心(图2中的O点)。

由于车身的遮挡，车辆只有一侧的轮胎是显现的，因此假设车辆的两个后视镜之间的距离与车轮之间的距离近似相等且相互平行(即图2中

)，因此O点的坐标为：

其中，x_A、y_A为右后轮接地点A的坐标，x_B、y_B为右前轮接地点B的坐标，x_C、y_C为左前轮接地点C的坐标，

为右侧后视镜W1的坐标，

为左侧后视镜W2的坐标。

因此只需要得到A、B、W1、W2四个点的位置，即可得到车辆与路面接触点位置O的坐标。

22)在公开数据集中选取568张车辆的图像，并利用步骤21)中的方法进行A、B、W1、W2四个点的标注，并计算出对应的O点的坐标，这样就得到了568张图像与对应的接触点的数据集。

将每张图放缩至分辨率为(224,224)的标准图像，并将每张图像用Vgg16网络的卷积层进行几何特征的提取，即将每张图像通过Vgg16的前34层，得到一个4096维度的几何特征向量，如图3所示。

得到几何特征向量后，构造一个BP神经网络，其输入为图像通过上述Vgg16卷积层得到的几何特征向量，以对应的O点坐标(x_O,y_O)为输出，隐含层为3层，每层4个神经元，激活函数采用sigmoid函数，即

BP神经网络的具体结构如图4所示。

23)将568张图片得到的数据作为数据集进行训练，其中455张作为训练集，113张作为测试集，将455组数据进行充分训练之后，对测试集进行O点坐标的预测，并真实值进行比较，如图5所示(坐标数据进行了归一化处理)，可见O点坐标(x_O,y_O)的预测值与真实值差距较小，BP神经网络能够较为准确地预测。

步骤3)将图像坐标系中的坐标点转换到现实坐标系中，具体为：

假设图像坐标系与现实坐标系之间转换的单应性矩阵为

将道路延伸方向设置为现实坐标系中的y轴，横向设置为x轴，那么车道线l_i的方程为x＝x_i，x_i的值可通过相关规范或道路的设计资料得到，如图6所示，l₁,l₂,l₃均为车道线。

记图像坐标系中的任意一点坐标为P(x,y)，对应的路面上的点为P’(x’,y’)，那么根据单应性矩阵，P到P’之间的转换关系为：

对于现实坐标系中车道线x＝x_i，将x＝x_i带入(1)中，可得：

即为：

(h₁₁-h₃₁x_i)x+(h₁₂-h₃₂x_i)y+(h₁₃-h₃₃x_i)≡0 (3)

假设车道线x＝x_i对应图像中的解析式是y＝k_ix+b，带入(3)中即得：

(h₁₁+k_ih₁₂-k_ix_ih₃₂-x_ih₃₁)x+(b_ih₁₂+h₁₃-b_ix_ih₃₂-x_ih₃₃)≡0 (4)

式(4)式立，因此(4)中x项系数和常数项必须恒等于0，则有：

也即：

对于多条车道线，则有：

根据单应性矩阵的特性，可以不妨设h₃₃＝1，另外式(7)中，h₂₁,h₂₂,h₂₃的系数均为0，因此式(7)能够求出除h₂₁,h₂₂,h₂₃外的另外六个值，即为求解式(8)。

另外，假设图像中P₀(x₀,y₀)对应的是现实坐标系中的原点P’₀(0,0)，带入式(1)中可得：

h₂₁x₀+h₂₂y₀+h₂₃＝0 (9)

假设相机的内参数矩阵是

外参数矩阵是

根据相机成像原理，则有：

其中，λ为尺度系数。

同时由于H是(x,y)到(x’,y’)的单应矩阵，因此有：

其中，μ为尺度系数。

由(10)-(11)可得：

对于任意的(x’,y’)始终成立，因此

为单元矩阵，因此有：

K为内参数矩阵，可通过标定得到精确值，H是一个包含三个未知量h₂₁,h₂₂,h₂₃的矩阵，而矩阵

的第一列和第二列是旋转矩阵的第一列和第二列，因此其模长均1，且内积为0。记

可以得到：

消去系数λ、μ，并结合式(10)有：

由于矩阵S中的各项均为关于h₂₁,h₂₂,h₂₃的代数式，因此(15)可以被解出。综上所述，利用车道线和相机内参数就可以得到相机坐标系与路面坐标系之间的单应矩阵，即可以实现从相机中恢复任一点的坐标位置。

对于检测到的车辆，首先利用步骤1中YOLO-v4算法得的车辆的目标检测结果，再利用步骤2的方法得到接触点坐标，若接触点处于ABCD所在的范围内，则利用步骤3中得到的单应性矩阵将接触点的图像坐标系中的坐标转换成现实坐标系中的坐标。

如图8所示，以上海市海宁路与吴淞路交叉口交通状况为例，计算某张图片中的车辆实时位置，具体包括以下步骤：

步骤1，以DETRAC数据集为训练集，利用YOLO-v4网络的结构进行训练，将训练好的神经网络用于监控图像的监测，如图9所示。

图中检测出的3辆车的边界框的坐标如表1

表1 YOLO-v4对图9中车辆检测的边界框

步骤2，将检测到的三辆车从图像中取出，并将其放缩为分辨率(224,224)的图像。如图10所示：

将以上三张图输入Vgg16的前34层得到的网络，各自得到几何特征向量S_i(i＝1,2,3)：

S₁＝[2.5793731,1.0855657,0,0,0,0,0,0,0,0,0,0,0,1.9149303,4.4880753,0,0,……]

S₂＝[5.9402165,4.1505733,0,0,0,5.7200165,0,0,0,0,0,0,0,0,0,0,0,……]

S₃＝[0,1.5428404,0,0,0.10933141,0,0,0,0,0,0,0,2.5346160,2.7617886,5.9865236,0,0,……]

再将几何特征向量S_i分别输入步骤2中训练得到的BP神经网络中，得到了车辆与路面接触点的相对坐标：Tre₁＝(0.4660,0.8141),Tre₂＝(0.4305,0.8805),Tre₃＝(0.4877,0.7285)，转换为图像坐标系即为Tab₁＝(535.56,724.94),Tab₂＝(886.21,655.41),Tab₃＝(1063.47,624.90)。

步骤3：转换为路面坐标系坐标

选取的现实坐标系和图6中的x轴，y轴相同，原点为(496,903)，即x₀＝496,y₀＝903。y方向为道路延伸方向，x方向为与其垂直的横向，利用hough变换检测出图6中三条直线的解析式为：

即得k₁＝-0.3699，b₁＝1016.1118，k₂＝-0.4286，b₂＝1116.2665，k₃＝-0.5117，b₃＝1254.1945，另外，根据《城市道路设计规范》CJJ37—90的规定，计算行车速度不小于40km/h的大型汽车或大、小型汽车混行道路的车道宽度为3.75m，因此x₁＝-3.75,x₂＝0,x₃＝3.75。带入方程(8)中，即得：

求解该方程得到最小二乘解，有：

拍摄40张标定板的图像，如图11所示。

利用MATLAB的Camera Calibration工具箱对相机进行标定，得到相机的内参数：

而

因此有：

带入方程(15)，有：

解得：

因此得到单应性矩阵：

步骤4：计算显示坐标系中的坐标

根据式(1)将三辆车的位置标签Tab₁＝(535.56,724.94),Tab₂＝(886.21,655.41),Tab₃＝(1063.47,624.90)三个坐标代入

中，即可得到三辆汽接触点的现实坐标系坐标：

Claims (10)

1.一种基于道路几何信息的车辆位置实时检测方法，其特征在于，包括以下步骤：

1)进行车辆实时目标检测，获取车辆的几何信息；

2)根据车辆的几何信息，基于卷积神经网络与BP神经网络获取图像中车辆与路面接触点位置坐标；

3)基于路面交通线图像信息与相机内参数计算得到图像坐标系与现实坐标系之间的转换关系，即单应性矩阵H；

4)根据转换关系对车辆与路面接触点进行转换，得到车辆的实时位置。

2.根据权利要求1所述的一种基于道路几何信息的车辆位置实时检测方法，其特征在于，所述的步骤1)中，采用公开数据集DETRAC进行训练，通过YOLOv4网络进行车辆实时目标检测，得到车辆的几何信息。

3.根据权利要求1所述的一种基于道路几何信息的车辆位置实时检测方法，其特征在于，所述的步骤2)具体包括以下步骤：

21)对于检测出的车辆图像，将车辆与路面接触点的位置简化为车辆轮子围成的矩形，并获取车辆与路面接触点位置O的坐标；

22)获取多幅公开数据集中的车辆图像并通过步骤21)获取每幅图像中车辆与路面接触点位置O的坐标，将车辆图像缩放后采用Vgg16网络的卷积层进行几何特征的提取得到几何特征向量；

23)构建一个BP神经网络，并以几何特征向量作为输入，以车辆与路面接触点位置O的坐标作为输出进行训练和测试。

4.根据权利要求3所述的一种基于道路几何信息的车辆位置实时检测方法，其特征在于，所述的步骤21)中，由于车身的遮挡，车辆只显现一侧的轮胎，假设车辆的两个后视镜之间的距离与车轮之间的距离相等且相互平行，则车辆与路面接触点位置O的坐标表达式为：

其中，x_A、y_A为一侧后轮接地点A的坐标，x_B、y_B为一侧前轮接地点B的坐标，x_C、y_C为另一侧前轮接地点C的坐标，

为一侧后视镜W1的坐标，

为另一侧后视镜W2的坐标。

5.根据权利要求3所述的一种基于道路几何信息的车辆位置实时检测方法，其特征在于，所述的步骤22)中，公开数据集中的车辆图像通过Vgg16网络的前34层后得到几何特征向量。

6.根据权利要求1所述的一种基于道路几何信息的车辆位置实时检测方法，其特征在于，所述的步骤3)中，单应性矩阵H为

图像坐标系中的点P(x,y)与现实坐标系中的点P’(x',y')的转换关系为：

其中，h₁₁、h₁₂、h₁₃、h₂₁、h₂₂、h₂₃、h₃₁、h₃₂、h₃₃分别为单应性矩阵中的元素。

7.根据权利要求6所述的一种基于道路几何信息的车辆位置实时检测方法，其特征在于，所述的步骤3)具体包括以下步骤：

31)将道路延伸方向设置为现实坐标系的y轴，横向设置为现实坐标系的x轴，车道线在现实坐标系中为平行于y轴的直线，在图像坐标系中则为斜线，由此根据多条车道线分别对应在现实坐标系的表达式以及在图像坐标系中的表达式联立求解得到单应性矩阵H中的六个元素值，即h₁₁、h₁₂、h₁₃、h₃₁、h₃₂和h₃₃；

32)设定图像中的点P₀(x₀,y₀)对应现实坐标系中的原点P’₀(0,0)，根据标定获取相机的内参数矩阵K，根据相机成像原理联立求解得到单应性矩阵H中剩下的三个元素值，即h₂₁、h₂₂和h₂₃。

8.根据权利要求7所述的一种基于道路几何信息的车辆位置实时检测方法，其特征在于，所述的步骤31)中，联立求解得到单应性矩阵H中的六个元素值的方程表达式为：

其中，x_i为第i条车道线在现实坐标系的表达式x＝x_i的参数，k_i、b_i分别为第i条车道线在图像坐标系的表达式y＝k_ix+b_i的参数。

9.根据权利要求7所述的一种基于道路几何信息的车辆位置实时检测方法，其特征在于，所述的步骤32)中，联立求解得到单应性矩阵H中剩下的三个元素值的方程式为：

其中，λ、μ均为尺度系数，K为相机的内参数矩阵，r₁₁、r₁₂、r₂₁、r₂₂、r₃₁、r₃₂、t₁、t₂、t₃分别为相机的外参数矩阵T中的参数，

为中间参数矩阵，s_col1、s_col2、s_col3分别为中间参数矩阵S的列向量，s'_col1为s_col1的转置向量，s'_col2为s_col2的转置向量。

10.根据权利要求1所述的一种基于道路几何信息的车辆位置实时检测方法，其特征在于，所述的步骤4)具体为：

将实时采集到的车辆图像经过卷积神经网络与训练后的BP神经网络后获取车辆与路面接触点在图像坐标系下的位置坐标，根据单应性矩阵转换后得到车辆与路面接触点位置在现实坐标系下的位置坐标，即得到车辆的实时位置。

Images