CN112200779B - 面向无人驾驶的路表车辙形状及构造横向差异度评价方法 - Google Patents

Abstract

本发明公开了一种面向无人驾驶的路表车辙形状及构造横向差异度评价方法。通过无人机纵向航拍沥青路面，宏观尺度上重构三维路表，计算路表辙槽形状；对典型车辙深度处路面横断面，利用手持摄像机，沿横向拍摄路表横断面，细观尺度上重构三维路表构造，计算路表横断面处构造深度差异度。本发明结合纵横向路表图像拍摄及路表建模，能够定量获取路表宏观辙槽形状及细观构造深度的差异程度，为无人驾驶车辆制定合理的驾驶策略提供数据支撑。

Description

面向无人驾驶的路表车辙形状及构造横向差异度评价方法

技术领域

本发明涉及一种面向无人驾驶的路表车辙形状及构造横向差异度评价方法，属于无人驾驶系统感知路表信息的技术领域。

背景技术

无人驾驶是未来交通运输发展的必然趋势，已成为各国竞相发展的战略高地。作为自动驾驶L0～L5中的最高等级，无人驾驶已成为美德日等国的国家发展战略，各知名互联网巨头(谷歌、苹果等)和汽车厂商(特斯拉、宝马、奥迪等)均在加速布局无人驾驶。我国《中国制造2025》中，也明确提出“到2025年，掌握自动驾驶总体技术及各项关键技术。”，阿里巴巴、百度、长安汽车等正围绕环境感知、规划决策和运动控制三大关键技术开展攻关。

环境感知(包括车辆状态、交通环境和路表信息)是无人驾驶车辆决策规划和运动控制的基础，但相比于车辆状态和交通环境的成熟感知技术，路表完整构造信息的感知严重滞后。目前，GPS和北斗定位系统、激光和毫米波雷达、车辆识别等技术已经能较成功地感知车辆自身状态和交通环境信息。但是，无论是以谷歌为代表的多传感器智能车方案，还是以阿里巴巴为代表的智慧路+车路协同方案，对路表完整构造信息的感知都不成熟，无法实时获取路表大构造(如影响车辆横向变道的车辙)、细观构造在路面横向的差异程度(决定胎/路摩擦的变异性)。

对路表车辙形状和细观构造差异程度感知的严重滞后，无法提前和准确量化全构造下路表/轮胎力学行为，导致无人驾驶车辆只能在限定场合低速保守行驶。由于无人驾驶车辆不能实时感知前方路表车辙和构造的变异性，导致无法提前、准确量化路表/轮胎力学行为，包括车辆横向变道时轮胎局部与辙槽的作用、因路表构造差异引起的胎/路摩擦的变异性。在上述路/胎力学行为不明确下，为了确保车辆行驶安全性，多数无人驾驶车企在路测时设定了60km/h的最高限速，日本警察厅甚至要求不超过20km/h，这就将无人驾驶局限于物流、公共交通、环卫、港口码头等低速与限定场景，这显然无法满足无人驾驶高速安全行驶的长期需求。

综上所述，路表车辙形状和构造差异的实时或定期感知，是制约无人驾驶技术发展的重大障碍，发明适应于无人驾驶实际的路表车辙形状和构造差异的感知和评价方法十分紧迫。

发明内容

发明目的：针对上述无人驾驶技术发展的需求，本发明的主要目的在于提供一种面向无人驾驶的沥青路面车辙形状及路表构造差异度评价方法。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：

一种面向无人驾驶的路表车辙形状及构造横向差异度评价方法，包括以下步骤：

沿道路纵向获取待测路段沥青路表的视频；

从所述视频中按照设定帧间隔提取静态图像；

基于所述静态图像，重构路表宏观尺度三维模型；

根据路表宏观尺度三维模型，建立宏观尺度路表深度矩阵，并依据宏观尺度路表深度矩阵绘制宏观尺度路表深度分布云图；

沿着宏观尺度路表深度分布云图纵向、按设定间隔依次提取路表横断面，结合所述宏观尺度路表深度矩阵，计算所有路表横断面的辙槽深度和辙槽宽度，进而计算出路表平均辙槽深度、平均辙槽宽度和最大辙槽深度；

从所提取的路表横断面中选取辙槽深度为设定值的至少一个路表横断面，对于所述至少一个路表横断面中的每个路表横断面，在该路表横断面对应的路表上沿该路表横向依次间隔选取大小相同的多个区域，获取每个区域的路表图像；

基于每个路表横断面每个区域的路表图像，重构每个路表横断面每个区域的路表细观尺度三维模型；

根据每个路表横断面每个区域的路表细观尺度三维模型，建立每个路表横断面每个区域的细观尺度路表深度矩阵；

根据每个路表横断面每个区域的细观尺度路表深度矩阵，计算每个路表横断面每个区域的平均构造深度，并评价平均构造深度与辙槽深度的差异度。

进一步地，所述沿道路纵向获取待测路段沥青路表的视频，包括：采用无人机航拍的方式沿道路纵向拍摄待测路段的沥青路表。

进一步地，所述无人机的航拍高度在2m～3m之间，摄像头拍摄视频的分辨率为4K以上，帧率为60帧/秒以上。

进一步地，从所提取的路表横断面中选取辙槽深度为设定值的至少一个路表横断面，包括：选取辙槽深度分别为0、0.2h、0.4h、0.6h、0.8h、h的6个典型断面，其中，h为所测路段的最大辙槽深度。

进一步地，所述对于所述至少一个路表横断面中的每个路表横断面，在该路表横断面对应的路表上沿该路表横向依次间隔选取大小相同的多个区域，获取每个区域的路表图像，包括：

对于所述至少一个路表横断面中的每个路表横断面，在每个路表横断面对应的路表上沿着该路表横断面放置一把直角标尺，所述直角标尺所在的矩形区域作为所述多个区域中的第一个区域，对所述第一个区域进行拍摄，拍摄完后，将直角标尺沿着该路表横断面平移设定距离，新的直角标尺所在矩形区域作为所述多个区域中的第二个区域，对所述第二个区域进行拍摄，重复上述操作直至获取所述多个区域中每个区域的路表图像，其中，拍摄的图像要求完整包含所述直角标尺。

进一步地，采用手持摄像机分别从直角标尺所在道路两侧对直角标尺所在矩形区域进行拍摄。

进一步地，所述直角标尺所在的矩形区域大小为240mm×150mm。

与现有技术相比，本发明的技术方案具有以下有益的技术效果：

(1)本发明采用纵、横向路表图像拍摄及路表建模，能够定量获取路表宏观辙槽形状及细观构造深度的差异程度，为无人驾驶车辆制定合理的驾驶策略提供数据支撑；(2)运用路表辙槽的深度、宽度等参数，能够有效反映沥青路面表面的车辙形状；(3)通过无人机摄影的方式获取宏观尺度的路表构造后，再通过手持摄像机摄影的方式获取细观尺度的路表构造，更好的反映车辙深度和路表构造深度的关系，能够为无人驾驶的制动转向策略提供参考；(4)本发明运用无人机航拍路表视频的方式，能够方便快速的获取路面表面图像，为无人驾驶车辆提供路表构造的完整信息。

附图说明

图1是本发明实施例的一种面向无人驾驶的路表车辙形状及构造横向差异度评价方法流程图；

图2是路表宏观尺度三维模型图；

图3是路表宏观尺度表面深度分布云图；

图4是路表横断面及辙槽参数计算说明图；

图5是路表细观尺度三维模型图；

图6是路表细观尺度表面构造深度分布云图。

具体实施方式

下面结合具体实施例对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，本发明实施例提供了一种面向无人驾驶的沥青路面车辙及构造横向差异度评价方法，包括如下步骤：

S1，沿道路纵向获取待测路段沥青路表的视频。

采用无人机航拍的方式获取沥青路表视频，无人机沿待测路段纵向拍摄路表，航拍高度在2m～3m之间，摄像头拍摄视频的分辨率为4K以上，帧率为60帧/秒以上；无人机下方安装一个摄像头，飞行时无人机需保持均速前进，摄像头拍摄方向与路面水平面垂直。

S2，从获取的视频中按照设定帧间隔提取静态图像。

1)采用Matlab自编子程序，从无人机拍摄的路表视频中按照设定的帧间隔提取图像，提取的图像需满足连续三张图像所摄区域有重叠部分。

2)对提取的静态图像进行畸变校正。

采用张正友相机标定法对所提取图像的畸变进行校正。具体的，采用无人机摄像头从不同角度拍摄相机标定板图像若干，采用Matlab相机工具箱依据无人机拍摄的相机标定板图像计算无人机摄像头的畸变参数，依据畸变参数对上述从视频中提取的图像进行畸变校正。

S3，基于畸变校正后的静态图像，重构路表宏观尺度三维模型。

1)在VisualSFM软件中采用SIFT算法对畸变校正后的图像进行SIFT特征点检测和匹配；采用SFM算法依照匹配的特征点对进行迭代计算，得到相机参数和路表稀疏点云；最后对路表稀疏点云进行点云的加密，生成路表稠密点云。

2)采用MeshLab将稠密点云中的杂点删除，只保留沥青路面部分，进行表面实体建模。

3)采用Geomagic Design X软件对模型进行坐标系调整，按照路面实际尺寸和模型尺寸比例对模型缩放，得到路表宏观尺度三维模型。

S4，根据路表宏观尺度三维模型，建立宏观尺度路表深度矩阵，并根据宏观尺度路表深度矩阵绘制宏观尺度路表深度分布云图。

使用Matlab对步骤S3建立的路表宏观尺度三维模型中路表深度数据进行统计，并将深度数据插值到精度为1mm×1mm，大小为M(m×n)的矩阵中，其中，m为所拍摄路表纵向尺度，n为所拍摄路表横向尺度，建立宏观尺度路表深度矩阵，矩阵中的元素表示路表各个点的深度，并绘制宏观尺度路表深度分布云图。

S5，沿着宏观尺度路表深度分布云图纵向、按设定间隔依次提取路表横断面，结合所述宏观尺度路表深度矩阵，计算所有路表横断面的辙槽深度和辙槽宽度，进而计算出路表平均辙槽深度、平均辙槽宽度和最大辙槽深度。

沿着步骤S4得到的宏观尺度路表深度分布云图的纵向，按设定间隔依次取沥青路表横断面进行分析，每个横断面最高深度点的竖向坐标值减去最低深度点的竖向坐标值为该横断面的辙槽深度，计算所有横断面的辙槽深度，其中辙槽深度的最大值h为所测路段的最大辙槽深度，所有横断面的辙槽深度平均值为平均辙槽深度。

找出沥青路表横断面中辙槽两侧的局部最高点，两局部最高点的水平距离为辙槽宽度，计算所有横断面的辙槽宽度并取平均值，为平均辙槽宽度。

S6，从所提取的路表横断面中选取辙槽深度为设定值的至少一个路表横断面，对于所述至少一个路表横断面中的每个路表横断面，在该路表横断面对应的路表上沿该路表横向依次间隔选取大小相同的多个区域，获取每个区域的路表图像。

在一个实施例中，对于所述至少一个路表横断面中的每个路表横断面，在每个路表横断面对应的路表上沿着该路表横断面放置一把直角标尺，所述直角标尺所在的矩形区域作为所述多个区域中的第一个区域，对所述第一个区域进行拍摄，拍摄完后，将直角标尺沿着该路表横断面平移设定距离，新的直角标尺所在矩形区域作为所述多个区域中的第二个区域，对所述第二个区域进行拍摄，重复上述操作直至获取所述多个区域中每个区域的路表图像，其中，拍摄的图像要求完整包含所述直角标尺

在优选实施例中，采用手持摄像机分别从直角标尺所在道路两侧对直角标尺所在区域进行拍摄。

根据一种实施方式，为获取细观尺度的路表构造信息，取道路横断面位置为辙槽深度最接近0、0.2h、0.4h、0.6h、0.8h、h的6个典型路表横断面，采用手持摄像机分别沿每个路表横断面进行一个往返的路表图像拍摄，所摄区域放置一把240mm×150mm的直角标尺，手持摄像机拍摄照片的分辨率为4K以上。

拍摄图像的具体方法为：对于每个路表横断面，在所摄每个路表横断面对应的沥青路表上放置一把240mm×150mm的直角标尺，手持摄像机对直角标尺所在区域进行双侧窄角域摄影，拍摄时直角标尺位置固定，从直角标尺所在道路一侧对直角标尺所在区域进行拍摄，并从直角标尺所在道路另一侧对直角标尺所在区域进行拍摄，以获得该区域的多张路表图像；然后，将直角标尺沿着路表横断面平移设定距离，对新的直角标尺所在区域继续从道路两侧进行拍摄，以这种方式，对于每个典型横断面，获得了多个区域的路表图像。

S7，基于步骤S6获得的每个路表横断面每个区域的路表图像，重构每个路表横断面每个区域的路表细观尺度三维模型。

1)将手持摄像机拍摄的每个典型横断面每个区域的多张路表图像导入VisualSFM软件中，采用SIFT算法对图像进行SIFT特征点检测和匹配；采用SFM算法依照匹配的特征点对进行迭代计算，得到相机参数和路表稀疏点云；最后对路表稀疏点云进行点云的加密，生成路表稠密点云。

2)采用MeshLab将稠密点云中的杂点删除，重构路表三维模型。

3)采用Geomagic Design X软件对路表三维模型进行坐标系调整和比例校正，得到每个典型横断面每个区域的路表细观尺度三维模型。

S8，根据每个路表横断面每个区域的路表细观尺度三维模型，建立每个路表横断面每个区域的细观尺度路表深度矩阵，并绘制每个路表横断面每个区域的细观尺度路表深度分布云图。

分别对每个典型断面每个区域的细观尺度的三维表面模型中路表深度数据进行统计，并将深度数据插值到精度为0.1mm×0.1mm，大小为240mm×150mm的矩阵中，建立每个典型断面每个区域的细观尺度的路表深度矩阵，矩阵中的元素表示对应典型断面所在路表的各个点的深度，并绘制相应的细观尺度路表深度分布云图。

S9，根据每个路表横断面每个区域的细观尺度路表深度矩阵，计算每个路表横断面每个区域的平均构造深度，并评价平均构造深度与辙槽深度的差异度。

计算每个典型横断面每个区域的细观尺度路表深度矩阵中所有元素的平均值，得到该断面每个区域的平均构造深度，绘制平均构造深度和辙槽深度关系曲线，比较每个断面每个区域的平均构造深度和该断面辙槽深度的关系。

具体实施例

遵循本发明的技术方案，本实施例的面向无人驾驶的沥青路面车辙及构造横向差异度评价方法，具体包括如下步骤：

(1)无人机航拍

采用无人机对沥青路表进行拍摄，无人机下方安装一摄像头，摄像头的主要参数如表1所示。无人机的航拍高度在2m～3m之间，摄像头拍摄方向为与地面所在平面垂直向下拍摄，拍摄时沿路面纵向保持1m/s的速度向前匀速飞行，获取沥青路表视频图像。

表1无人机摄像头主要参数

(2)路表宏观尺度三维模型建立

1)采用Matlab自编子程序从无人机拍摄的路表视频中按照20帧的帧间隔提取静态图像；并用无人机摄像头从不同角度拍摄相机标定板图像若干，采用Matlab相机工具箱依据无人机拍摄的相机标定板图像确定相机的畸变参数，并对从视频中提取的图像进行图像畸变校正。

2)采用VisualSFM软件分别读取畸变校正后的路表图像，运用SIFT算法进行图像匹配，并用SFM算法建立车辙板表面的稀疏点云文件。采用MeshLab软件对点云文件删除杂点，并进行表面实体建模。针对所建立模型的坐标系和路表实际空间坐标系不对应，采用Geomagic Design X参考道路标志标线进行坐标系调整，并在Geomagic Design X中测量模型中一条车道的宽度，将模型按照车道实际宽度和模型中车道宽度的比例缩放。按照上述步骤重构得到图2所示的路表宏观尺度的三维模型。

(3)绘制路表深度分布云图并计算车辙宽度及深度

1)使用Matlab提取路表宏观三维模型中各特征点坐标，并插值到精度为1mm×1mm、大小为M(m×n)的路表深度矩阵中，绘制路表深度分布云图。路表深度分布云图如图3所示，其中标尺的0点为沥青路表竖向最高处。

2)将路表深度云图每隔1mm提取一条路表横断面曲线，如图4所示。横断面曲线上辙槽旁最高点的坐标值减去辙槽中最低点的坐标值为该横断面的车辙深度，辙槽两侧最高点的水平距离为该横断面的车辙宽度。计算所有横断面的车辙辙槽深度和辙槽宽度，得到平均车辙辙槽深度和平均车辙辙槽宽度，以及最大车辙辙槽深度5.42mm。

(4)手持摄像机拍摄6个典型横断面图像

取道路横断面位置为辙槽深度最接近0、0.2h、0.4h、0.6h、0.8h、h的6个典型断面，其中h为所测路段最大车辙辙槽深度，分别用手持摄像机对每个典型断面拍摄图像。拍摄图像时，在所摄沥青路表上放置一把240mm×150mm的直角标尺，对直角标尺所在区域进行双侧窄角域摄影。具体为：在每个横断面对应路表上沿横断面从左往右依次间隔取10块240mm×150mm的区域进行拍摄，对10块区域中每个区域，在标尺所在道路一侧对其拍摄5张图像，在标尺所在道路另一侧对其拍摄5张路表图像，即每个区域共拍摄10张图像。

(5)建立细观尺度的路表三维模型

将手持摄像机所摄的每个横断面每个区域的10张图像导入VisualSFM软件中，生成路表三维点云；使用MeshLab软件重构路表三维模型，并通过Geomagic Design X软件对路表三维模型进行坐标系调整和比例校正，得到每个横断面每个区域的细观尺度路表三维模型，如图5所示。

(6)根据每个路表横断面每个区域的路表细观尺度三维模型，建立每个路表横断面每个区域的细观尺度路表深度矩阵，绘制每个横断面每个区域的细观尺度路表竖向深度分布云图并计算每个横断面每个区域的路表平均构造深度。

1)使用Matlab提取每个横断面每个区域的细观尺度路表三维模型中沥青路表各特征点坐标，并插值到精度为0.1mm×0.1mm，大小为240mm×150mm的矩阵中，建立每个典型断面每个区域的细观尺度的路表深度矩阵，绘制相应的细观尺度的路表深度分布云图，如图6所示，其中标尺的0点为沥青表面竖向最高处。

2)根据每个横断面每个区域的路表深度矩阵中各特征点深度数据，按式(1)计算每个横断面上每个240mm×150mm尺寸区域内的平均构造深度MTD。

式中，Z_p为计算区域内路表最高点的竖向坐标值，z(x,y)表示(x,y)处路表竖向坐标值，m和n分别为x轴和y轴方向上计算区域的长度。

(7)车辙横向差异度评价

1)根据上述最大车辙辙槽深度为5.42mm，以辙槽深度为0.4h＝2.17mm的一个横断面为例进行构造深度差异度分析，计算该横断面上10块240mm×150mm的区域中每块区域的平均构造深度，如表2所示。

表2路表横向不同区域的构造深度

2)对表2数据进行统计，10块区域的平均构造深度为0.944mm，构造深度的标准差为0.245mm，其中2号区域和9号区域为辙槽所在位置，其路表构造深度最大，与2号区域和9号区域相邻的区域的构造深度略大于无车辙处的路表构造深度。

以上已以较佳实施例公布了本发明，然其并非用以限制本发明，凡采取等同替换或等效变换的方案所获得的技术方案，均落在本发明的保护范围内。

Claims (7)

1.一种面向无人驾驶的路表车辙形状及构造横向差异度评价方法，其特征在于，包括以下步骤：

沿道路纵向获取待测路段沥青路表的视频；

从所述视频中按照设定帧间隔提取静态图像；

基于所述静态图像，重构路表宏观尺度三维模型；

根据路表宏观尺度三维模型，建立宏观尺度路表深度矩阵，并依据宏观尺度路表深度矩阵绘制宏观尺度路表深度分布云图；

沿着宏观尺度路表深度分布云图纵向、按设定间隔依次提取路表横断面，结合所述宏观尺度路表深度矩阵，计算所有路表横断面的辙槽深度和辙槽宽度，进而计算出路表平均辙槽深度、平均辙槽宽度和最大辙槽深度；

从所提取的路表横断面中选取辙槽深度为设定值的至少一个路表横断面，对于所述至少一个路表横断面中的每个路表横断面，在该路表横断面对应的路表上沿该路表横向依次间隔选取大小相同的多个区域，获取每个区域的路表图像；

基于每个路表横断面每个区域的路表图像，重构每个路表横断面每个区域的路表细观尺度三维模型；

根据每个路表横断面每个区域的路表细观尺度三维模型，建立每个路表横断面每个区域的细观尺度路表深度矩阵；

根据每个路表横断面每个区域的细观尺度路表深度矩阵，计算每个路表横断面每个区域的平均构造深度，并评价平均构造深度与辙槽深度的差异度。

2.根据权利要求1所述的一种面向无人驾驶的路表车辙形状及构造横向差异度评价方法，其特征在于，所述沿道路纵向获取待测路段沥青路表的视频，包括：采用无人机航拍的方式沿道路纵向拍摄待测路段的沥青路表。

3.根据权利要求2所述的一种面向无人驾驶的路表车辙形状及构造横向差异度评价方法，其特征在于，所述无人机的航拍高度在2m~3m之间，摄像头拍摄视频的分辨率为4K以上，帧率为60帧/秒以上。

4.根据权利要求1所述的一种面向无人驾驶的路表车辙形状及构造横向差异度评价方法，其特征在于，从所提取的路表横断面中选取辙槽深度为设定值的至少一个路表横断面，包括：选取辙槽深度分别为0、0.2h、0.4h、0.6h、0.8h、h的6个典型断面，其中，h为所测路段的最大辙槽深度。

5.根据权利要求1所述的一种面向无人驾驶的路表车辙形状及构造横向差异度评价方法，其特征在于，所述对于所述至少一个路表横断面中的每个路表横断面，在该路表横断面对应的路表上沿该路表横向依次间隔选取大小相同的多个区域，获取每个区域的路表图像，包括：

对于所述至少一个路表横断面中的每个路表横断面，在每个路表横断面对应的路表上沿着该路表横断面放置一把直角标尺，所述直角标尺所在的矩形区域作为所述多个区域中的第一个区域，对所述第一个区域进行拍摄，拍摄完后，将直角标尺沿着该路表横断面平移设定距离，新的直角标尺所在矩形区域作为所述多个区域中的第二个区域，对所述第二个区域进行拍摄，重复上述操作直至获取所述多个区域中每个区域的路表图像，其中，拍摄的图像要求完整包含所述直角标尺。

6.根据权利要求5所述的一种面向无人驾驶的路表车辙形状及构造横向差异度评价方法，其特征在于，采用手持摄像机分别从直角标尺所在道路两侧对直角标尺所在矩形区域进行拍摄。

7.根据权利要求5所述的一种面向无人驾驶的路表车辙形状及构造横向差异度评价方法，其特征在于，所述直角标尺所在的矩形区域大小为240mm×150mm。

Images