CN111996883A - 一种检测公路路面宽度的方法 - Google Patents

Abstract

本发明公开了一种检测公路路面宽度的方法，将摄像头设置于车辆内部，用于检测公路路面宽度，具体方法包括以下步骤：步骤A、采集公路路面图像，通过车内的摄像头采集车辆前方的公路路面图像；步骤B、车道线检测，通过深度学习图像处理技术对采集的图像进行检测，并识别出车道信息；步骤C、车道线坐标转换，结合摄像头的内外参数及安装位置，对车道线进行相应的投影转换和坐标转换，得到世界坐标；步骤D、通过世界坐标计算车道线之间的公路路面宽度。本发明通过图像处理方式对公路路面宽度进行检测，无需其他辅助设备和手段，能够更加准确快速的对公路路面宽度进行检测，从而提高测量效率。

Description

一种检测公路路面宽度的方法

技术领域

本发明涉及道路检测技术领域，特别涉及一种检测公路路面宽度的方法。

背景技术

在公路检测及车辆通过性检测过程中，需要对路面宽度进行检测。目前，常用的检测手段是由测量人员用钢尺沿道路中心线垂直方向水平量取路面的宽度。然而，检测人员在实际检测过程中由于路面宽度较宽以及路面横坡的原因钢尺不能完全保持水平，或操作不当等人为因素干扰比较大，常常造成的误差比较大，难以快速准确的对公路进行检测。

发明内容

为解决现有技术中存在的问题，本发明的目的是提供检测公路路面宽度的方法，通过视觉感知技术对车道信息进行检测识别，根据摄像机的安装位置以及内、外参数将识别的车道线信息投影到摄像机坐标系下，从而通过横向距离计算出路面宽度。

为实现上述目的，本发明采用的技术方案是

一种检测公路路面宽度的方法，将摄像头设置于车辆内部，用于检测公路路面宽度，具体方法包括以下步骤：

步骤A、采集公路路面图像，通过车内的摄像头采集车辆前方的公路路面图像；

步骤B、车道线检测，通过深度学习图像处理技术对采集的图像进行检测，并识别出车道信息；

步骤C、车道线坐标转换，结合摄像头的内外参数及安装位置，对车道线进行相应的投影转换和坐标转换，得到世界坐标；

步骤D、通过世界坐标计算车道线之间的公路路面宽度。

进一步地，所述步骤B中车道线检测方法包括数据标注、模型训练、车道线识别和车道线后处理。

进一步地，所述车道线检测方法的具体步骤如下：

B1、数据标注；通过对采集的路面信息进行数据标注，构建网络模型；

B2、模型训练；通过构建的LanNet+H-Net网络模型，对车道线进行训练检测；

B3、车道识别；将摄像头采集的公路路面图像加入网络模型中，进行识别并输出结果；

B4、车道线后处理；对深度学习网络输出的车道线识别结果点集进行数据拟合和过滤，剔除异常数据。

进一步地，所述步骤C中车道线坐标转换包括建立坐标系，所述坐标系包括像素坐标系(u,v)、图像坐标系(x,y)、摄像头坐标系(Xc,Yc,Zc)和世界坐标系(Xw,Yw,Zw)。

进一步地，所述步骤C中的车道线坐标转换包括通过建立坐标系计算摄像头的内参数据和外参数据，从而完成车道线的转换。

进一步地，所述车道线坐标转换中，将像素坐标系经过刚体转换、透视转换和离散化处理转换为世界坐标系。

本发明的有益效果是：

本发明通过视觉感知技术对车道信息进行检测识别，然后通过摄像机标定对车道信息进行坐标转换，根据横向距离计算路面宽度，能够准确的检测出路面宽度；且无需其他辅助设备和测量人员，能够更加快速的对公路路面宽度进行检测，从而提高路面检测的准确性和效率。

附图说明

图1为本发明实施例检测公路路面宽度的方法示意图。

图2为本发明实施例图像坐标系和像素坐标系的关系示意图。

图3为本发明实施例中摄像机四个坐标系的关系示意图。

图4为本发明实施例中摄像机四个坐标系的转换示意图。

图5为本发明实施例中车道线宽度计算示意图。

具体实施方式

以下描述用于揭露本发明以使相关领域技术人员能够实现本发明。以下描述中的实施例只作为举例，相关领域技术人员可以想到其他显而易见的变型均属于本发明的保护范围。

在其中一个实施例中，如图1所示，本发明提供一种检测公路路面宽度的方法，通过视觉感知技术对车道信息进行检测识别，根据摄像机的安装位置以及内、外参数将识别的车道线信息投影到摄像机坐标系下，从而通过横向距离计算出路面宽度。具体包括以下步骤：

步骤A、采集公路路面图像，通过车内的摄像头采集车辆前方的公路路面图像；

步骤B、车道线检测，通过深度学习图像处理技术对采集的图像进行检测，并识别出车道信息；

步骤C、转换坐标，结合摄像头的内外参数及安装位置，对车道线进行相应的投影转换和坐标转换，得到世界坐标；

步骤D、通过世界坐标计算车道线之间的路面物理宽度。

在本实施例中，所述车道线检测的方法包括数据标注、模型训练、车道线识别和车道线后处理；具体步骤如下：

B1、数据标注；通过对采集的路面信息进行数据标注，构建网络模型。

采集不同类型路面的视频图像数据，利用标注工具对车道线信息进行标注，通过模型中的车道线数据集对采集的公路路面图像进行训练和测试，得到相应的训练集和测试集，用于模型的训练分析。在训练过程中，需要针对实际的场景检测要求采集现场的路面视频图像数据，对训练集和测试集进行补充。

B2、模型训练；通过构建的LanNet+H-Net网络模型，对车道线进行训练检测。

其中LaneNet是一种将语义分割和对像素进行向量表示结合起来的多任务模型，利用聚类完成对车道线的实例分割。H-Net是一个小的网络结构，负责预测转换矩阵H，使用转换矩阵H对同属一条车道线的所有像素点进行重新建模。通过LanNet和H-Net两个网络模型相结合的方式对车道线进行检测，由LaneNet网络输出每条车道线的像素集合，再由H-Net神经网络预测并输出转换矩阵H：

由上式可知，转换矩阵H包含有a、b、c、d、e和f，6个参数，即H-Net输出的是一个6维的向量，H-Net由6层普通卷积网络和一层全连接网络构成。

通过此检测方法能够有效避免由于所有图片使用相同的转换矩阵，而未考虑地平面变化所产生的误差，造成检测的车道线位置与实际位置不符的情况。

B3、车道识别；将摄像头采集的公路路面图像加入网络模型中，进行识别并输出结果。

将训练好的网络模型集成并生成相应的应用程序，实时获取摄像头采集的视频帧信息，将采集的视频帧图像送入网络模型中，对视频帧信息中的车道信息进行识别输出相应的结果信息。

B4、车道线后处理；对深度学习网络输出的车道线识别结果点集进行数据拟合和过滤，剔除异常数据。

在本实施例中，由于网络模型输出的是每个车道线点集的像素坐标(u,v)，为了计算出车道线之间的路面物理宽度，需对车道坐标进行转换，利用小孔成像原理得到车道线在世界坐标系下的位置信息，从而完成公路路面宽度的计算。

如图2-3所示，摄像头模型中包括像素坐标系(u,v)、图像坐标系(x,y)、摄像头坐标系(Xc,Yc,Zc)和世界坐标系(Xw,Yw,Zw)。其中

像素坐标系(u,v)：为二维的直角坐标系，反映了摄像头CCD/CMOS芯片中像素的排列情况，原点为图像左上角，单位为pixel；

图像坐标系(x,y)：由于像素坐标系不利于坐标变换，因此建立图像坐标系，原点O为图像中心点，单位为mm；

摄像头坐标系(Xc,Yc,Zc)：为三维直角坐标系，原点Oc位于镜头光心，单位为M；

世界坐标系(Xw,Yw,Zw)：为测量坐标系，原点为Ow,以其为基准可以描述摄像头和待测物体的空间位置，单位为M；

P为生活中真实的一点，其中P点在图像坐标系中的坐标为(x,y)，图像坐标系的原点O在像素坐标系中的坐标为O(u0,v0)，P点在像素坐标系中的坐标为(u,v)，P点在摄像头坐标系中的坐标为(Xc,Yc,Zc)，P点在世界坐标系中的坐标为(Xw,Yw,Zw)；

f为摄像头焦距，等于O到Oc的距离，即f＝|o-Oc|；

如图4所示，将世界坐标系转换为像素坐标系需要进行相应的刚体转换、透视转换和离散化处理等步骤，

具体的，将世界坐标系转换到摄像头坐标系，通过旋转和平移对世界坐标系进行刚体转换，即通过外参矩阵转换到摄像头坐标系。再由摄像头坐标系到图像坐标系，完成从3D到2D的透视投影关系转换。由图像坐标系到像素坐标系，其中像素坐标系和图像坐标系都在成像平面上，仅表现为各自的原点和度量单位不同，因此通过对图像坐标系进行离散化处理即可得到像素坐标系。具体转换公式如下所示：

其中，M1、M2分别为摄像头的内参和外参矩阵。

由上述计算公式可知，转换过程主要在于摄像头的内参和外参计算，

摄像头的内参：包括(u0,v0)图像像素坐标系中光轴投影坐标即主点坐标(通常理解为图像的畸变中心点)和(1/dx,1/dy)分别为在x方向上每个像素的物理尺寸，在y方向上每个像素的物理尺寸，f为焦距，通过上述数据获得摄像头的内参数据。

摄像头的外参，其中R代表旋转矩阵；T代表偏移向量；h代表摄像头的安装高度，通过PNP估计获得摄像头的外参数据。

摄像头内外参数据得到后，对视频帧图像中图像坐标系的车道线进行相应矩阵求逆并相乘处理即可将像素坐标转换到世界坐标。即通过摄像头的内外参数据和安装高度等信息对像素坐标进行变换，经过一系列转变得到世界坐标系。

如图5所示，车道坐标变换后所得的每个车道线点集为距离相机的物理距离，通过车道线水平方向的距离进行差值计算，可以计算出实际的路面宽度。具体计算方法为：

1、选择车道线上N组离散点集数据，(Xw,Yw,Zw)坐标系中Xw表示横向距离，Zw表示纵向距离，Yw表示高度。数据要求每组的Zw值相同(即距离摄像头的纵向距离相同)，车道线高度Yw为0,如图5中的点(X1,Z0)、(X2,Z0)；右侧车道线X1为正值，左侧车道线X2为负值。

2、按组计算车道的宽度L：由于Zw值相同，用右侧车道X1值减去左侧车道X2值，即为车道宽度L＝X1-X2。

3、对N组离散点计算出的宽度取平均值，减小车道的计算误差。

本发明通过图像处理方式计算公路路面宽度信息，无需其他辅助设备和手段，能够更加准确快速的对公路路面宽度进行检测，提高工作效率。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种检测公路路面宽度的方法，其特征在于，将摄像头设置于车辆内部，用于检测公路路面宽度，具体方法包括以下步骤：

步骤A、采集公路路面图像，通过车内的摄像头采集车辆前方的公路路面图像；

步骤B、车道线检测，通过深度学习图像处理技术对采集的图像进行检测，并识别出车道信息；

步骤C、车道线坐标转换，结合摄像头的内外参数及安装位置，对车道线进行相应的投影转换和坐标转换，得到世界坐标；

步骤D、通过世界坐标计算车道线之间的公路路面宽度。

2.根据权利要求1所述检测公路路面宽度的方法，其特征在于，所述步骤B中车道线检测方法包括数据标注、模型训练、车道线识别和车道线后处理。

3.根据权利要求2所述检测公路路面宽度的方法，其特征在于，所述车道线检测的方法，包括：

B1、数据标注；通过对采集的路面信息进行数据标注，构建网络模型；

B2、模型训练；通过构建的LanNet+H-Net网络模型，对车道线进行训练检测；

B3、车道识别；将摄像头采集的公路路面图像加入网络模型中，进行识别并输出结果；

B4、车道线后处理；对深度学习网络输出的车道线识别结果点集进行数据拟合和过滤，剔除异常数据。

4.根据权利要求1所述检测公路路面宽度的方法，其特征在于，所述步骤C中车道线坐标转换包括建立坐标系，所述坐标系包括像素坐标系(u,v)、图像坐标系(x,y)、摄像头坐标系(Xc,Yc,Zc)和世界坐标系(Xw,Yw,Zw)。

5.根据权利要求4所述检测公路路面宽度的方法，其特征在于，所述步骤C中的车道线坐标转换包括通过建立坐标系计算摄像头的内参数据和外参数据，从而完成车道线的转换。

6.根据权利要求4所述检测公路路面宽度的方法，其特征在于，所述车道线坐标转换中，将像素坐标系经过刚体转换、透视转换和离散化处理转换为世界坐标系。

Images