CN115871660A - 双模态特征融合的无人驾驶压路机避障方法及系统 - Google Patents

Abstract

本发明为双模态特征融合的无人驾驶压路机避障方法及系统，设置第一安全范围和第二安全范围，第二安全范围小于第一安全范围，在无人驾驶压路机车身前后左右均安装双目相机和毫米波雷达用于避障，两个安全范围为根据不同车速可控可调的变量。通过目标识别算法识别出障碍物的具体特征；设置了两个安全范围，相对于传统的“测障即停”的避障策略，提高了无人驾驶压路机安全性；将安全范围的设定与实时车速挂钩，即车速越大，安全范围设置越大，避免了单一设定安全范围造成停车不及时的安全隐患和驻车过慢造成的时间浪费。

Description

双模态特征融合的无人驾驶压路机避障方法及系统

技术领域

本发明涉及无人驾驶压路机技术领域，尤其涉及一种双模态特征融合的无人驾驶压路机避障方法及系统。

背景技术

随着科技水平的进步与发展，无人驾驶技术开始广泛应用于施工领域。在无人驾驶压路机施工前，通常是通过流动定位站采集工作区域边界信息，再在区域内提前标注区域内障碍物信息；或是通过在压路机车身装载雷达等测障装置，在压路机行驶过程中探测车身前方障碍物，再执行避障操作。但上述方法及目前研究大多集中在提前探测障碍物位置信息和单一传感器上，只关注车身前后端的障碍物检测，忽视了车身两侧的障碍物感知，且只检测障碍物的相对距离，并没有障碍物的具体信息；或者只是在行驶方向上（起始端-终止端）考虑了安全距离，并没有考虑相邻碾压条带和车身两侧，缺少直观的障碍物显示信息，并未形成施工现场的3D数字孪生系统，不利于工作人员在远程监控室内查看无人驾驶压路机的实时工作情况。

发明内容

针对现有技术中的不足之处，本发明拟解决的技术问题是，提供一种双模态特征融合的无人驾驶压路机避障方法及系统。该避障方法使用双目相机和毫米波雷达联合工作，能根据障碍物种类确定属性类别，根据检测到压路机实时速度来决定所设第一、第二安全范围，避免了单一设定安全范围造成停车不及时的安全隐患和驻车过慢造成的时间浪费。该避障系统使用双目相机和毫米波雷达联合工作，实现车身360°的障碍物检测，通过目标识别算法可以检测障碍物的种类信息，并能通过数字孪生技术构建虚拟施工现场，能直接观察施工现场进度及其障碍物情况。

本发明解决所述技术问题采用的技术方案是：

第一方面，本发明提供一种双模态特征融合的无人驾驶压路机避障方法，设置第一安全范围和第二安全范围，其特征在于，第二安全范围小于第一安全范围，在无人驾驶压路机车身前后左右均安装双目相机和毫米波雷达用于避障，两个安全范围为根据不同车速可控可调的变量；

无人驾驶压路机按照规划路径开始在待施工区域工作，工作流程是：

当无人驾驶压路机行驶工作时，利用毫米波雷达检测无人驾驶压路机周围是否存在障碍物，若在第一安全范围内未检测到障碍物时，无人驾驶压路机继续行驶执行当前碾压工作；

若在第一安全范围内检测到障碍物时，通过无人驾驶压路机上安装的双目相机采集得到障碍物图片，通过目标识别算法判断障碍物种类，再利用判别模块确认障碍物的属性类别，并通过毫米波雷达再次确定障碍物当前距离；若识别为固定障碍物，记录当前障碍物位置、种类与属性类别，判断是否位于第二安全范围内；若识别为移动障碍物，无人驾驶压路机发出警报警告使移动障碍物远离无人驾驶压路机，此时无人驾驶压路机不停止工作，继续行驶；

在无人驾驶压路机继续行驶过程中，利用毫米波雷达实时检测无人驾驶压路机周围在第二安全范围内是否存在障碍物，若在第二安全范围内仍没有检测到障碍物，无人驾驶压路机继续正常行驶；若在第二安全范围内检测到障碍物，控制无人驾驶压路机停止行驶；

所述判别模块的构建过程是：构建常见障碍物数据集，标注常见障碍物属性类别标签为固定障碍物和移动障碍物，按照障碍物种类的名称将障碍物分成移动障碍物词语集合和固定物障碍物词语集合，根据目标识别算法识别出的障碍物类别，确定其所属的词语集合，进而确定该障碍物的属性类别。

所述第一安全范围呈圆形，第二安全范围呈矩形；安全范围的设置随无人驾驶压路机速度实时变更，因此，安全范围并不是一个固定值，是针对于不同车速可控可调的变量，以无人驾驶压路机为中心，第一安全范围的长度设置为圆形的半径长度，第一安全范围长度计算公式为

，

式中：

为第一安全范围长度，单位为m；v为无人驾驶压路机实时行驶速度，单位为km/h；

第二安全范围以无人驾驶压路机为中心，设置范围为矩形，其中矩形前后两边之间的距离称为第二安全范围前后长度

计算公式为

，

式中：

为第二安全范围前后长度，单位为m；v为无人驾驶压路机实时行驶速度，单位为km/h；

矩形左右两边之间的距离为第二安全范围左右长度

计算公式为

，

式中：

为第二安全范围左右长度，单位为m；v为无人驾驶压路机实时行驶速度，单位为km/h。

所述无人驾驶压路机的规划路径的过程是：根据现有工程数据坐标或者流动定位站确定工作区域边界坐标，确定无人驾驶压路机工作边界，选取工作边界内区域为待施工区域；建立相对坐标系，将待施工区域四角坐标转换为相对坐标系坐标，确定工作区域左下边界角为原点，以工作区域一长边作为Y轴正方向，一短边作为X轴正方向；选取工作区域长边为基准划分各碾压条带，待施工区域划分变道区和直行区，直行区碾压条带宽度为无人驾驶压路机轮宽，变道区长度根据无人驾驶压路机实际转弯半径划定；所在工作区域中，可以有一台压路机工作或者有多台压路机共同工作；

无人驾驶压路机开始从第一碾压条带起始点开始行驶工作直行至第一碾压条带终止点，到达终止点后倒车至起始点，视为无人驾驶压路机在此碾压条带完成一次碾压；无人驾驶压路机在此条带完成多次碾压工作后，回到起始点执行变道操作，具体为：以起始点为起点，改变方向以第二碾压条带中线为目标行驶，到达第二碾压条带后，方向盘回正，倒车至第二碾压条带起始点，视为变道完成；无人驾驶压路机在当前碾压条带工作完成后变道至下一碾压条带，仍重复上述直行或变道操作。

所述目标识别算法为YOLO算法，也可以是R-CNN算法、Faster R-CNN算法、SSD算法等。

第二方面，本发明提供一种双模态特征融合的无人驾驶压路机避障系统，包括高精度定位模块、图像采集及测距模块、无线通讯模块、控制模块、处理模块；高精度定位模块、图像采集及测距模块的采集的信息均传输给处理模块，处理模块通过无线通讯模块与远程控制端双向通讯；同时处理模块与控制模块的输入端连接；

高精度定位模块用于采集无人驾驶压路机实时位置信息，安装于无人驾驶压路机车顶中央；

图像采集及测距模块用于采集无人驾驶压路机车身360°内施工环境内障碍物信息和距离，包括双目相机和毫米波雷达，安装在无人驾驶压路机前轮车架、驾驶室两侧和后车架上；

无线通讯模块用于发送数据和图像给远程监控端，固定于无人驾驶压路机车顶；

控制模块通过直接接入或者改装无人驾驶压路机的方向盘、速度档杆和启动开关，控制无人驾驶压路机的转向、速度和启停；

处理模块接收来自高精度定位模块采集的无人驾驶压路机定位数据、图像采集及测距模块采集的障碍物信息数据，对采集数据进行以下处理：对采集的无人驾驶压路机定位数据实时更新；对采集的障碍物定位信息进行跟踪标注，对采集的图像信息通过YOLO算法识别出障碍物种类并进行分类标注；

所述处理模块包括图像识别单元、图像融合单元和决策单元；图像识别单元内加载有路面常见障碍物目标识别模型，用于检测采集的图片内障碍物信息；无人驾驶压路机在工作场地行驶时，图像识别单元通过接收四个双目相机采集的图片识别障碍物类别并实时跟踪障碍物位置；

图像融合单元用于将无人驾驶压路机四个方向的图片融合为360°全景图片，接收四个双目相机采集的图片切除边界重合部分，通过边界缝合生成全景图片；

决策单元用于判断安全范围内是否存在障碍物，并判断车辆是否需要执行停车；在图像采集及测距模块检测到无人驾驶压路机安全范围内有障碍物时，下发指令给控制模块控制无人驾驶压路机执行相应操作；

所述远程控制端包括显示部，远程控制端加载有上位机监控软件，处理模块通过无线通讯模块与上位机监控软件相互通信，处理模块将生成的360°全景图片和障碍物信息传输给上位机监控软件；上位机监控软件接收到双目相机和毫米波雷达实时采集的施工现场和障碍物信息数据，结合无人驾驶压路机仿真模型，通过数字孪生技术构建虚拟施工现场的3D数字模拟模型映射到显示部上，远程监控端人员通过显示部直接观察施工现场进度及其障碍物情况，通过拖拽观察不同角度无人驾驶压路机作业实时画面。所述显示部为显示屏幕、液晶显示屏等。

所述3D数字模拟模型的具体构建过程是：根据实际所使用的无人驾驶压路机的具体尺寸参数构建无人驾驶压路机仿真模型，定义无人驾驶压路机仿真模型为行驶与碾压功能；确定无人驾驶压路机工作区域左下边界角为原点（0,0）；由高精度定位模块测得的无人驾驶压路机绝对坐标经过高斯-克吕格投影转换为相对坐标后，定义无人驾驶压路机坐标为（X，Y）；以无人驾驶压路机为中心，在平面坐标系中以横轴和竖轴划分第一、二、三、四象限，由图像采集及测距模块测得障碍物与无人驾驶压路机距离L与横轴夹角θ，若：

障碍物位于第一象限，障碍物相对坐标为

；

障碍物位于第二象限，障碍物相对坐标为

；

障碍物位于第三象限，障碍物相对坐标为

；

障碍物位于第四象限，障碍物相对坐标为

；

同时，上位机监控软件结合由双目相机捕获的360°全景图片，根据高精度定位模块1和图像采集及测距模块获得的数据流和已知施工数据中的碾压场地经纬度位置数据通过数字孪生技术构建虚拟施工现场映射到显示部上，获得重建施工现场的3D数字模拟模型，并通过获取持续的数据流不断渲染和完善虚拟施工现场实景；

所述数据流为在无人驾驶压路机工作行驶过程中，由车身四周安装的四组双目相机和毫米波雷达采集到的图像数据和点云数据，由高精度定位模块采集的无人驾驶压路机自身经纬度数据。

在不影响无人驾驶压路机前后轮行驶正常工作的位置通过磁吸式安装双目相机，双目相机进行双目标定与校准，双目相机和毫米波雷达通过USB线束与处理模块连接，通过CAN协议传输数据给处理模块；在无人驾驶压路机前车架中央位置安装一个双目相机和毫米波雷达、在无人驾驶压路机驾驶室两侧分别安装一个双目相机和毫米波雷达、在无人驾驶压路机后车架中央位置安装一个双目相机和毫米波雷达，各双目相机经过标定和校准，用于采集压路机四周的图像；毫米波用于识别车身四周障碍物距离；所述控制模块包括电动方向盘、速度推杆控制器和启停器，电动方向盘替换原有无人驾驶压路机方向盘，电动方向盘采用电机扭动改变车辆行驶方向；速度推杆控制器安装于驾驶室内，通过导轨电机控制车辆速度大小；启停器直接接入无人驾驶压路机原有钥匙开关，通过输入高低电瓶信号实现控制无人驾驶压路机启动与熄火功能；由此，压路机可由所述控制模块替代人工控制压路机工作。

所述决策单元的过程是：

当无人驾驶压路机行驶工作时，利用毫米波雷达检测压路机周围是否存在障碍物，若在第一安全范围内未检测到障碍物时，无人驾驶压路机继续行驶执行当前碾压工作；

若在第一安全范围内检测到障碍物时，通过无人驾驶压路机上安装的双目相机采集得到障碍物图片，通过目标识别算法判断障碍物种类，再利用判别模块确认障碍物的属性类别，并通过毫米波雷达再次确定障碍物当前距离；若识别为固定障碍物，记录当前障碍物位置、种类与属性类别，判断是否位于第二安全范围内；若识别为移动障碍物，无人驾驶压路机发出警报警告使移动障碍物远离无人驾驶压路机，此时无人驾驶压路机不停止工作，继续行驶；

在无人驾驶压路机继续行驶过程中，利用毫米波雷达实时检测无人驾驶压路机周围在第二安全范围内是否存在障碍物，若在第二安全范围内仍没有检测到障碍物，无人驾驶压路机继续正常行驶；若在第二安全范围内检测到障碍物，控制压路机停止行驶。

进一步的，高精度定位模块可以选用但不限于北斗导航、GPS等GNSS模块，也可选用基准站和流动站配套工作；其中高精度定位模块安装于车顶中央，保证模块处于露天环境下，不被障碍物遮挡影响信号的接收。

无线通讯模块包括4G/5G数传模块及无线天线，安装于压路机车顶，通过线束与处理模块连接，发送处理模块采集处理的数据给远程监控室；也可以接收来自远程监控端的指令从而控制压路机执行相应操作。

处理模块安装于压路机驾驶室内，通过线束与高精度定位模块、图像采集及测距模块、无线通讯模块和控制模块连接。

特别的，对于传统只在工程车辆车身安装毫米波雷达用于避障，本发明方法增加了4组双目相机组合形成车身360°全景影像，清除了压路机在工作和转弯时车身侧面的盲区，同时通过处理模块搭载的目标识别算法识别视野内的障碍物信息，并通过判定模块判定视野内障碍物类型属于移动障碍物或者固定障碍物，同时将障碍物位置信息显示在压路机工作页面，根据预定的避障策略控制压路机执行相应操作。

本发明在无人驾驶压路机工作过程中，通过双目相机、毫米波雷达和高精度定位模块采集到的实时数据，上传数据到处理模块进行处理分类，输出还原真实的施工现场图给无人驾驶压路机驾驶室内或者施工现场附近的显示终端和远程监控端，定义施工区域压路机坐标（X,Y），将压路机左前、右前、左后和右后方定义为不同象限，结合双目相机和毫米波雷达数据精确计算出障碍物在施工场地所处位置和信息，通过采集到的360°全景图片结合数字孪生技术还原真实的施工现场模型，为一种全新的无人驾驶压路机障碍物显示及监控方式。

本发明具有的有益效果是：

1）本发明双模态特征融合的无人驾驶压路机避障方法，对比传统的单一传感器检测障碍物方法，此发明可以进一步捕捉到障碍物具体种类信息和精确位置，通过目标识别算法识别出障碍物的具体特征；设置了两个安全范围，相对于传统的“测障即停”的避障策略，提高了无人驾驶压路机安全性；将安全范围的设定与实时车速挂钩，即车速越大，安全范围设置越大，避免了单一设定安全范围造成停车不及时的安全隐患和驻车过慢造成的时间浪费。

2）本发明无人驾驶压路机避障系统为一种全新的无人驾驶压路机障碍物显示及监控系统，远程监控端可以利用上述中避障方法生成的施工现场仿真模型，使施工人员更加清晰直观的了解无人驾驶压路机所处位置和施工进度。具体方法是在无人驾驶压路机工作行驶过程中，由车身四周安装的四组双目相机和毫米波雷达采集到的图像数据和点云数据，结合施工数据中碾压场地经纬度位置数据、无人驾驶压路机自身经纬度数据，通过数字孪生技术构建虚拟施工现场映射到显示屏幕上。与传统单一相机镜头图片相比，施工人员可从本系统中获取更加丰富的现场数据和信息，对于施工中把握施工进度、提高碾压质量、显著提高了数字化施工水平。

3）本发明在车身侧面、前后均安装一组双目相机和毫米波雷达，重点是获取图像信息，再通过图像识别单元YOLO算法识别图像内障碍物种类，进一步确定障碍物属性类别（为移动还是固定障碍物），结合雷达获得障碍物距离，不仅能识别到障碍物，进一步获取障碍物具体信息（种类，距离，属性类别），为建立3D数字模拟模型提供障碍物信息。YOLO算法的目标是找到图像中的所有感兴趣区域，并确定这些区域的位置和类别概率。通过训练YOLOv5模型，输入采集到的图片，可以实现实时检测出图片内障碍物信息的功能；通过双目相机采集图片和YOLO算法，与数字孪生技术融合构建虚拟的碾压现场施工仿真模型，在压路机行驶中，根据不同空间和时间采集的图片实时更新模型，是一种新型的施工现场障碍物监测系统，极大增加了监控端的有效数据信息，施工人员在远程监控室内也能很好的观察施工现场情况，对施工进度有更好的把控，提高了无人驾驶压路机安全性，有很好的发展前景。

4）本发明中安装于压路机四周四组双目相机，不仅联合毫米波雷达共同检测障碍物信息，由毫米波雷达判别是否有障碍物后再调用双目相机检测障碍物种类；在双目相机识别到障碍物时，毫米波雷达再次检测可以提高障碍物距离车的距离，且并不是只检测到障碍物一次，而是结合双目相机做到跟踪和实时检测距离，且通过决策单元可以自行控制压路机执行避障停车操作。

5）本发明所设第一、第二安全范围根据高精度定位模块检测到压路机实时速度来决定，充分考虑了相邻碾压条带和车身两侧的障碍物情况，保证了压路工作的效率。

附图说明

图1为本发明双模态特征融合的无人驾驶压路机避障方法的流程示意图。

图2为本发明双模态特征融合的无人驾驶压路机避障方法中无人机路径规划示意图。

图3为本发明中无人驾驶压路机各模块安装位置示意图。

图4为本发明双模态特征融合的无人驾驶压路机避障方法中安全范围划分示意图。

图5为本发明中无人驾驶压路机检测障碍物相对位置示意图。

图6为本发明中无人驾驶压路机避障系统的模块结构示意图。

图中，1.高精度定位模块；2.图像采集及测距模块；3.无线通讯模块；4.控制模块；5.处理模块；6.远程监控端；51图像识别单元、52图像融合单元、53决策单元。

具体实施方式

下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限于本申请权利要求的保护范围。

本发明提供了一种双模态特征融合的无人驾驶压路机避障系统，包括高精度定位模块1、图像采集及测距模块2、无线通讯模块3、控制模块4、处理模块5；高精度定位模块1、图像采集及测距模块2的采集的信息均传输给处理模块5，处理模块通过无线通讯模块3与远程控制端6双向通讯；同时处理模块5与控制模块4的输入端连接。

高精度定位模块1用于采集压路机实时位置信息，首先通过磁吸式底座安装方式固定高精度定位模块1。固定高精度定位模块1安装于压路机车顶中央，保证高精度定位模块处于露天环境下，且不被障碍物遮挡影响信号的接收。该高精度定位模块1通过线束与处理模块5电性连接，通过串口协议发送定位信息给处理模块5。

图像采集及测距模块2用于采集压路机车身360°内施工环境内障碍物信息和距离，包括双目相机和毫米波雷达，图像采集及测距模块2安装在压路机前轮车架、驾驶室两侧和后车架上，在不影响压路机前后轮行驶正常工作的位置通过磁吸式安装，具体是：在压路机前车架中央位置安装一个双目相机和毫米波雷达、在压路机驾驶室两侧分别安装一个双目相机和毫米波雷达、在压路机后车架中央位置安装一个双目相机和毫米波雷达。双目相机进行双目标定与校准，双目相机和毫米波雷达通过USB线束与处理模块连接，通过CAN协议传输数据给处理模块5。

无线通讯模块3用于发送数据和图像给远程监控端6，无线通讯模块连接无线天线后，固定于压路机车顶，保证无线通讯模块3处于露天环境下，不被障碍物遮挡影响信号的接收，无线通讯模块通过无线天线传输压路机采集数据和接收远程监控端内发送的数据，并把数据移交给处理模块5。

控制模块4通过直接接入或者改装压路机的方向盘、速度档杆和启动开关，控制压路机的转向、速度和启停；包括电动方向盘、速度推杆控制器和启停器。电动方向盘替换原有压路机方向盘，电动方向盘采用电机扭动改变车辆行驶方向；速度推杆控制器安装于驾驶室内，通过导轨电机控制车辆速度大小；启停器直接接入压路机原有钥匙开关，通过输入高低电平信号实现控制压路机启动与熄火功能；由此，压路机可由所述控制模块替代人工控制压路机工作。

处理模块5接收来自高精度定位模块采集的压路机定位数据、图像采集及测距模块采集的障碍物信息数据，对采集数据进行以下处理：对采集的压路机定位数据实时更新；对采集的障碍物定位信息进行跟踪标注，对采集的图像信息通过YOLO算法识别出障碍物种类并进行分类标注；处理模块5包括图像识别单元51、图像融合单元52和决策单元53。图像识别单元内加载有路面常见障碍物目标识别模型，用于检测采集的图片内障碍物信息。压路机在工作场地行驶时，图像识别单元51通过接收四个双目相机采集的图片识别障碍物类别并实时跟踪障碍物位置。图像融合单元用于将压路机四个方向的图片融合为360°全景图片，接收四个双目相机采集的图片切除边界重合部分，通过边界缝合生成全景图片。决策单元用于判断安全范围内是否存在障碍物，并判断车辆是否需要执行停车；在图像采集及测距模块2检测到压路机安全范围内有障碍物时，下发指令给控制模块4控制压路机执行相应操作。

所述远程控制端6包括显示部，远程控制端加载有上位机监控软件，处理模块5通过无线通讯模块3与上位机监控软件相互通信，处理模块将生成的360°全景图片和障碍物信息传输给上位机监控软件；上位机监控软件接收到双目相机和毫米波雷达实时采集的施工现场和障碍物信息数据，结合无人驾驶压路机仿真模型，通过数字孪生技术构建虚拟施工现场的3D数字模拟模型映射到显示屏幕上。

3D数字模拟模型的具体构建过程是：根据实际所使用的无人驾驶压路机的具体尺寸参数构建无人驾驶压路机仿真模型，定义无人驾驶压路机仿真模型为行驶与碾压功能；确定压路机工作区域左下边界角为原点（0,0）；由高精度定位模块测得的无人驾驶压路机绝对坐标经过高斯-克吕格投影转换为相对坐标后，定义无人驾驶压路机坐标为（X，Y）；以无人驾驶压路机为中心，在平面坐标系中以横轴和竖轴划分第一、二、三、四象限，由图像采集及测距模块测得障碍物与无人驾驶压路机距离L与横轴夹角θ，若：

障碍物位于第一象限，障碍物相对坐标为

；

障碍物位于第二象限，障碍物相对坐标为

；

障碍物位于第三象限，障碍物相对坐标为

；

障碍物位于第四象限，障碍物相对坐标为

；

同时，上位机监控软件结合由双目相机捕获的360°全景图片，根据高精度定位模块1和图像采集及测距模块2获得的数据流（在无人驾驶压路机工作行驶过程中，由车身四周安装的四组双目相机和毫米波雷达采集到的图像数据、点云数据、无人驾驶压路机自身经纬度数据和速度数据）结合已知施工数据中的碾压场地经纬度位置数据通过数字孪生技术构建虚拟施工现场映射到显示屏幕上，获得重建施工现场的3D数字模拟模型，并通过获取持续的数据流不断渲染和完善虚拟施工现场实景。

由此，远程监控端人员可通过显示屏幕直接观察施工现场进度及其障碍物情况，还可以通过拖拽观察不同角度无人驾驶压路机作业实时画面。

所述处理模块5载体可以采用STM32单片机、平板电脑、PC主机、Linux板卡等实现，处理模块可以与无人驾驶压路机驾驶室内或者施工现场附近的显示终端连接。远程监控端6可以采用PC主机及显示器、笔记本电脑等实现。

本发明提供一种双模态特征融合的无人驾驶压路机避障方法，如图1所示，包括以下步骤：

执行步骤1，如图2所示：根据现有工程数据坐标或者流动定位站确定工作区域边界坐标，确定无人驾驶压路机工作边界，选取工作边界内区域为待施工区域。建立相对坐标系，将待施工区域四角坐标转换为相对坐标系坐标，确定工作区域左下边界角为原点，以工作区域一长边作为Y轴正方向，一短边作为X轴正方向。其中，为减少无人驾驶压路机频繁变道转弯的时间损耗，选取工作区域长边为基准划分各碾压条带，待施工区域划分变道区和直行区，直行区碾压条带宽度为无人驾驶压路机轮宽，变道区长度根据无人驾驶压路机实际转弯半径划定。此路径规划方法所在工作区域中，包括但不仅限于一台或者多台压路机共同工作。

执行步骤2，压路机开始从第一碾压条带起始点开始行驶工作直行至第一碾压条带终止点，到达终止点后倒车至起始点，视为压路机在此碾压条带完成一次碾压；压路机在此条带完成多次碾压工作后，回到起始点执行变道操作，具体为：以起始点为起点，改变方向以第二碾压条带中线为目标行驶，到达第二碾压条带后，方向盘回正，倒车至第二碾压条带起始点，视为变道完成；相似的，无人驾驶压路机在当前碾压条带工作完成后变道至下一碾压条带，仍重复上述直行或变道操作。

进一步的，执行步骤3，无人驾驶压路机工作时，毫米波雷达检测无人驾驶压路机周围安全范围内是否存在障碍物。预设第一安全范围，在第一安全范围内毫米波雷达未检测到障碍物时，无人驾驶压路机继续行驶执行当前碾压工作；在第一安全范围内毫米波雷达检测检测到障碍物时，执行以下步骤4和步骤5的操作。

步骤4，处理模块5调用图像识别单元，对双目相机采集图片采用YOLO算法检测，检测障碍物具体种类，结合毫米波雷达实时跟踪定位障碍物位置信息。

具体的，在预设第一安全范围内，通过安装在无人驾驶压路机四周的图像采集及测距模块2，主要是在毫米波雷达检测到障碍物后，双目相机实时检测障碍物种类；其中毫米波雷达主要用于检测障碍物距离，双目相机采集图片后，结合处理模块5中图像识别单元YOLO模型识别图片内障碍物类别。障碍物类别例如树木、行人、其他工程车辆、建筑物等，在预加载YOLO模型的输出连接判别模块，判别模块按照障碍物种类的名称将障碍物定义为两种属性类别，即移动障碍物和固定障碍物。

构建常见障碍物数据集，标注常见障碍物属性类别标签为固定障碍物（例如树木、土堆等）和移动障碍物（例如行人、车辆等），按照障碍物种类的名称将障碍物分成移动障碍物词语集合和固定物障碍物词语集合，判别模块根据YOLO模型识别出的障碍物类别，确定其所属的词语集合，进而确定该障碍物的属性类别为移动障碍物还是固定障碍物。

执行步骤5：预设第二安全范围，第二安全范围小于第一安全范围；通过图像识别单元识别障碍物并判断障碍物为移动障碍物或固定障碍物后；若判断为固定障碍物，基于当前无人驾驶压路机位置标注障碍物类别和位置信息，同时无人驾驶压路机继续行驶工作；若在第二安全范围检测到障碍物时，处理模块5中决策单元下达停止指令给控制模块，控制模块控制无人驾驶压路机停止工作；若在第二安全范围没有检测障碍物时，无人驾驶压路机保持行驶工作。

在步骤5中，在第一安全范围内，若图像识别单元判断障碍物为移动障碍物，无人驾驶压路机继续行驶工作，同时发出警报警告移动障碍物远离无人驾驶压路机；进一步的，无人驾驶压路机继续行驶过程中，若在第二安全范围内仍检测到障碍物时，无人驾驶压路机停止行驶。

另外的，如图4在划定第一安全范围和第二安全范围时，第二安全范围应小于第一安全范围；第一安全范围呈圆形，第二安全范围呈矩形；安全范围的设置根据高精度定位模块1测得的无人驾驶压路机速度实时变更；以无人驾驶压路机为中心，设置半径长度为第一安全范围的长度，第一安全范围长度计算公式为

，

式中：

为第一安全范围长度，单位为m；v为无人驾驶压路机实时行驶速度，单位为km/h；

由此，确定第一安全范围后，确定第二安全范围；第二安全范围以无人驾驶压路机为中心，设置范围为矩形，其中矩形前后两边之间的距离称为第二安全范围前后长度

计算公式为

，

式中：

为第二安全范围前后长度，单位为m；v为无人驾驶压路机实时行驶速度，单位为km/h；

矩形左右两边之间的距离为第二安全范围左右长度

计算公式为

，

式中：

为第二安全范围左右长度，单位为m；v为无人驾驶压路机实时行驶速度，单位为km/h；

举例说明，例如无人驾驶压路机速度为5Km/h时，第一安全范围设置为半径为20m的圆，第二安全范围设置无人驾驶压路机前后为10m，左右为5m的矩形范围内；无人驾驶压路机速度为2KM/h时，第一安全范围设置为半径为8m的圆，第二安全范围设置无人驾驶压路机前后为4m，左右为2m的范围内；这样避免了检测到相邻碾压条带上的障碍物而影响无人驾驶压路机在本碾压条带上工作，又可以及时反馈车身周围障碍物位置信息。

本发明还提供一种无人驾驶压路机障碍物显示方法及监控系统，包括无人驾驶压路机、高精度定位模块1、图像采集与测距模块2、无线通讯模3、控制模块4、处理模块5和上位机监控软件。图像采集与测距模块2包括一组双目相机和毫米波雷达组合，安装于无人驾驶压路机前轮车架、驾驶室两侧和后车架，用于采集无人驾驶压路机360°范围内图像信息和障碍物距离。处理模块5接收图像采集及测距模块采集的图像和障碍物点云信息对其进行以下处理：对四组双目相机采集到的图片切除边界重合部分，通过边界缝合生成全景图片；处理毫米波雷达采集的障碍物点云信息计算障碍物与无人驾驶压路机相对角度和距离。处理模块5通过无线通讯模块3与上位机监控软件相互通信，将生成的360°图像和障碍物信息传输给上位机监控软件。

上位机监控软件接收到双目相机和毫米波雷达实时采集的施工现场和障碍物信息数据，结合无人驾驶压路机实际建模模型，通过数字孪生技术构建虚拟施工现场映射到显示屏幕上，具体方法是：构建无人驾驶压路机仿真模型，定义模型为行驶与碾压功能；确定工作区域左下边界角为原点（0,0）；由高精度定位模块测得的无人驾驶压路机绝对坐标经过高斯-克吕格投影转换为相对坐标后，定义无人驾驶压路机坐标为（X，Y）；以无人驾驶压路机为中心，在平面坐标系中以横轴和竖轴划分第一、二、三、四象限，由图像采集及测距模块测得障碍物与无人驾驶压路机距离L与横轴夹角θ，若：

障碍物位于第一象限，障碍物相对坐标为

；

障碍物位于第二象限，障碍物相对坐标为

；

障碍物位于第三象限，障碍物相对坐标为

；

障碍物位于第四象限，障碍物相对坐标为

；

同时，上位机监控软件结合由双目相机捕获的360°全景图片，根据各模块获得的数据流重建施工现场的3D数字模拟模型，并通过获取持续的数据流不断渲染和完善虚拟施工现场实景。具体方法是在无人驾驶压路机工作行驶过程中，由车身四周安装的四组双目相机和毫米波雷达采集到的图像数据和点云数据，结合施工数据中碾压场地经纬度位置数据、无人驾驶压路机自身经纬度数据，通过数字孪生技术构建虚拟施工现场映射到显示屏幕上。由此，监控端人员可通过显示屏幕直接观察施工现场进度及其障碍物情况，还可以通过拖拽镜头观察不同角度无人驾驶压路机作业实时画面。

本发明未述及之处适用于现有技术。

Claims (8)

1.一种双模态特征融合的无人驾驶压路机避障方法，设置第一安全范围和第二安全范围，其特征在于，第二安全范围小于第一安全范围，在无人驾驶压路机车身前后左右均安装双目相机和毫米波雷达用于避障，两个安全范围为根据不同车速可控可调的变量；

无人驾驶压路机按照规划路径开始在待施工区域工作，工作流程是：

当无人驾驶压路机行驶工作时，利用毫米波雷达检测无人驾驶压路机周围是否存在障碍物，若在第一安全范围内未检测到障碍物时，无人驾驶压路机继续行驶执行当前碾压工作；

若在第一安全范围内检测到障碍物时，通过无人驾驶压路机上安装的双目相机采集得到障碍物图片，通过目标识别算法判断障碍物种类，再利用判别模块确认障碍物的属性类别，并通过毫米波雷达再次确定障碍物当前距离；若识别为固定障碍物，记录当前障碍物位置、种类与属性类别，判断是否位于第二安全范围内；若识别为移动障碍物，无人驾驶压路机发出警报警告使移动障碍物远离无人驾驶压路机，此时无人驾驶压路机不停止工作，继续行驶；

在无人驾驶压路机继续行驶过程中，利用毫米波雷达实时检测无人驾驶压路机周围在第二安全范围内是否存在障碍物，若在第二安全范围内仍没有检测到障碍物，无人驾驶压路机继续正常行驶；若在第二安全范围内检测到障碍物，控制无人驾驶压路机停止行驶；

所述判别模块的构建过程是：构建常见障碍物数据集，标注常见障碍物属性类别标签为固定障碍物和移动障碍物，按照障碍物种类的名称将障碍物分成移动障碍物词语集合和固定物障碍物词语集合，根据目标识别算法识别出的障碍物类别，确定其所属的词语集合，进而确定该障碍物的属性类别。

2.根据权利要求1所述的双模态特征融合的无人驾驶压路机避障方法，其特征在于，所述第一安全范围呈圆形，第二安全范围呈矩形；安全范围的设置随无人驾驶压路机速度实时变更，以无人驾驶压路机为中心，第一安全范围的长度设置为圆形的半径长度，第一安全范围长度计算公式为

，

式中：

为第一安全范围长度，单位为m；v为无人驾驶压路机实时行驶速度，单位为km/h；

第二安全范围以无人驾驶压路机为中心，设置范围为矩形，其中矩形前后两边之间的距离称为第二安全范围前后长度

计算公式为

，

式中：

为第二安全范围前后长度，单位为m；v为无人驾驶压路机实时行驶速度，单位为km/h；

矩形左右两边之间的距离为第二安全范围左右长度

计算公式为

，

式中：

为第二安全范围左右长度，单位为m；v为无人驾驶压路机实时行驶速度，单位为km/h。

3.根据权利要求1所述的双模态特征融合的无人驾驶压路机避障方法，其特征在于，所述无人驾驶压路机的规划路径的过程是：根据现有工程数据坐标或者流动定位站确定工作区域边界坐标，确定无人驾驶压路机工作边界，选取工作边界内区域为待施工区域；建立相对坐标系，将待施工区域四角坐标转换为相对坐标系坐标，确定工作区域左下边界角为原点，以工作区域一长边作为Y轴正方向，一短边作为X轴正方向；选取工作区域长边为基准划分各碾压条带，待施工区域划分变道区和直行区，直行区碾压条带宽度为无人驾驶压路机轮宽，变道区长度根据无人驾驶压路机实际转弯半径划定；所在工作区域中，有一台压路机工作或者有多台压路机共同工作；

无人驾驶压路机开始从第一碾压条带起始点开始行驶工作直行至第一碾压条带终止点，到达终止点后倒车至起始点，视为无人驾驶压路机在此碾压条带完成一次碾压；无人驾驶压路机在此条带完成多次碾压工作后，回到起始点执行变道操作，具体为：以起始点为起点，改变方向以第二碾压条带中线为目标行驶，到达第二碾压条带后，方向盘回正，倒车至第二碾压条带起始点，视为变道完成；无人驾驶压路机在当前碾压条带工作完成后变道至下一碾压条带，仍重复上述直行或变道操作。

4.根据权利要求1所述的双模态特征融合的无人驾驶压路机避障方法，其特征在于，所述目标识别算法为YOLO算法、R-CNN算法、Faster R-CNN算法或SSD算法。

5.一种双模态特征融合的无人驾驶压路机避障系统，包括高精度定位模块、图像采集及测距模块、无线通讯模块、控制模块、处理模块；高精度定位模块、图像采集及测距模块的采集的信息均传输给处理模块，处理模块通过无线通讯模块与远程控制端双向通讯；同时处理模块与控制模块的输入端连接；其特征在于：

高精度定位模块用于采集无人驾驶压路机实时位置信息，安装于无人驾驶压路机车顶中央；

图像采集及测距模块用于采集无人驾驶压路机车身360°内施工环境内障碍物信息和距离，包括双目相机和毫米波雷达，安装在无人驾驶压路机前轮车架、驾驶室两侧和后车架上；

无线通讯模块用于发送数据和图像给远程监控端，固定于无人驾驶压路机车顶；

控制模块通过直接接入或者改装无人驾驶压路机的方向盘、速度档杆和启动开关，控制无人驾驶压路机的转向、速度和启停；

处理模块接收来自高精度定位模块采集的无人驾驶压路机定位数据、图像采集及测距模块采集的障碍物信息数据，对采集数据进行以下处理：对采集的无人驾驶压路机定位数据实时更新；对采集的障碍物定位信息进行跟踪标注，对采集的图像信息通过YOLO算法识别出障碍物种类并进行分类标注；

所述处理模块包括图像识别单元、图像融合单元和决策单元；图像识别单元内加载有路面常见障碍物目标识别模型，用于检测采集的图片内障碍物信息；无人驾驶压路机在工作场地行驶时，图像识别单元通过接收四个双目相机采集的图片识别障碍物类别并实时跟踪障碍物位置；

图像融合单元用于将无人驾驶压路机四个方向的图片融合为360°全景图片，接收四个双目相机采集的图片切除边界重合部分，通过边界缝合生成全景图片；

决策单元用于判断安全范围内是否存在障碍物，并判断车辆是否需要执行停车；在图像采集及测距模块检测到无人驾驶压路机安全范围内有障碍物时，下发指令给控制模块控制无人驾驶压路机执行相应操作；

所述远程控制端包括显示部，远程控制端加载有上位机监控软件，处理模块通过无线通讯模块与上位机监控软件相互通信，处理模块将生成的360°全景图片和障碍物信息传输给上位机监控软件；上位机监控软件接收到双目相机和毫米波雷达实时采集的施工现场和障碍物信息数据，结合无人驾驶压路机仿真模型，通过数字孪生技术构建虚拟施工现场的3D数字模拟模型映射到显示部上，远程监控端人员通过显示部直接观察施工现场进度及其障碍物情况，通过拖拽观察不同角度无人驾驶压路机作业实时画面。

6.根据权利要求5所述的双模态特征融合的无人驾驶压路机避障系统，其特征在于，所述3D数字模拟模型的具体构建过程是：根据实际所使用的无人驾驶压路机的具体尺寸参数构建无人驾驶压路机仿真模型，定义无人驾驶压路机仿真模型为行驶与碾压功能；确定无人驾驶压路机工作区域左下边界角为原点（0,0）；由高精度定位模块测得的无人驾驶压路机绝对坐标经过高斯-克吕格投影转换为相对坐标后，定义无人驾驶压路机坐标为（X，Y）；以无人驾驶压路机为中心，在平面坐标系中以横轴和竖轴划分第一、二、三、四象限，由图像采集及测距模块测得障碍物与无人驾驶压路机距离L与横轴夹角θ，若：

障碍物位于第一象限，障碍物相对坐标为

；

障碍物位于第二象限，障碍物相对坐标为

；

障碍物位于第三象限，障碍物相对坐标为

；

障碍物位于第四象限，障碍物相对坐标为

；

同时，上位机监控软件结合由双目相机捕获的360°全景图片，根据高精度定位模块1和图像采集及测距模块获得的数据流和已知施工数据中的碾压场地经纬度位置数据通过数字孪生技术构建虚拟施工现场映射到显示部上，获得重建施工现场的3D数字模拟模型，并通过获取持续的数据流不断渲染和完善虚拟施工现场实景。

7.根据权利要求5所述的双模态特征融合的无人驾驶压路机避障系统，其特征在于，在不影响无人驾驶压路机前后轮行驶正常工作的位置通过磁吸式安装双目相机，双目相机进行双目标定与校准，双目相机和毫米波雷达通过USB线束与处理模块连接，通过CAN协议传输数据给处理模块；在无人驾驶压路机前车架中央位置安装一个双目相机和毫米波雷达、在无人驾驶压路机驾驶室两侧分别安装一个双目相机和毫米波雷达、在无人驾驶压路机后车架中央位置安装一个双目相机和毫米波雷达；所述控制模块包括电动方向盘、速度推杆控制器和启停器，电动方向盘替换原有无人驾驶压路机方向盘，电动方向盘采用电机扭动改变车辆行驶方向；速度推杆控制器安装于驾驶室内，通过导轨电机控制车辆速度大小；启停器直接接入无人驾驶压路机原有钥匙开关，通过输入高低电平信号实现控制无人驾驶压路机启动与熄火功能；

所述高精度定位模块包括北斗导航、GPS、GNSS模块，或基准站和流动站配套工作。

8.根据权利要求5所述的双模态特征融合的无人驾驶压路机避障系统，其特征在于，所述决策单元的过程是：

当无人驾驶压路机行驶工作时，利用毫米波雷达检测压路机周围是否存在障碍物，若在第一安全范围内未检测到障碍物时，无人驾驶压路机继续行驶执行当前碾压工作；

若在第一安全范围内检测到障碍物时，通过无人驾驶压路机上安装的双目相机采集得到障碍物图片，通过目标识别算法判断障碍物种类，再利用判别模块确认障碍物的属性类别，并通过毫米波雷达再次确定障碍物当前距离；若识别为固定障碍物，记录当前障碍物位置、种类与属性类别，判断是否位于第二安全范围内；若识别为移动障碍物，无人驾驶压路机发出警报警告使移动障碍物远离无人驾驶压路机，此时无人驾驶压路机不停止工作，继续行驶；

在无人驾驶压路机继续行驶过程中，利用毫米波雷达实时检测无人驾驶压路机周围在第二安全范围内是否存在障碍物，若在第二安全范围内仍没有检测到障碍物，无人驾驶压路机继续正常行驶；若在第二安全范围内检测到障碍物，控制压路机停止行驶。

Images