CN113763342B - 一种基于无人机遥感的高速公路标线检测方法 - Google Patents

Abstract

本发明涉及道路工程领域，尤其涉及一种基于无人机遥感的高速公路标线检测方法。其步骤包括确定需要对标线进行检测的路段起点与终点，获取拍摄到的图片集；图片集进行图像预处理并对图片进行分类；针对简单场景图片集、复杂场景图片集进行标线的缺损检测，并输出标线缺损信息；将缺损信息输出，得到检测区间的标线缺损调查表，包括破损位置、程度和数量等。本发明创造性地提出基于无人机遥感的高速公路标线检测方法，实现了高速公路标线的标准化、自动化检测，极大降低了传统人工方法带来的生命危险以及交通影响，并有效消除了观测人员主观判断对客观评价标准的影响，在评价内容上亦更具客观准确性。

Description

一种基于无人机遥感的高速公路标线检测方法

技术领域

本发明涉及道路工程领域，尤其涉及一种基于无人机遥感的高速公路标线检测方法。

背景技术

据交通运输部统计数据显示，截止到2019年末，全国公路总里程达到501.25万公里，公路密度为52.21公里/百平方公里，较上年增加1.73公里/百平方公里。在高速公路网络大规模建设的同时，人们对高等级公路运营管理和养护的要求越来越高。近年来，公路养护里程占公路总里程比例不断上升：2014年公路养护里程所占比例达97.5％；2019年公路养护里程495.31万公里，占公路总里程98.8％。

为保证高速公路安全、迅速、经济、舒适的营运和正常使用，按规定要设置必要的高速公路沿线设施。高速公路沿线设施主要包括交通安全设施、交通管理设施、附属设施等。在高速公路运营期间，高速公路沿线设施会出现一些损坏，如防护设施缺损、隔离栅损坏等，尤其是标志标牌损坏，致使高速公路在使用年限内服务水平下降，这不仅严重影响高速公路的服务功能、阻碍交通运输综合效益的发挥，而且增加交通事故的发生。因此，有必要开发一套针对高速公路标志标牌的自动化检测系统，为高速公路管理养护部门提供参考。

目前，对于高速公路标志标牌的检测方法相对较简单，主要是根据《公路技术状况评定标准》(JTG H20-2018)，依靠人工观察与排查缺少或损坏的标志标牌，手动测量或估算破损程度等，填写沿线设施损坏调查表，计算沿线设施技术状况指数(TCI)作为沿线设施的评价指标，这种方法主要依赖人工检测与检测人员的主观判断，现场人员不仅有可能对高速公路运行状态造成影响，更无法保证检测人员的人身安全，同时，对于缺损认定的主观倾向还会影响评价结果的客观性与准确性。另外，现在有一些基于车载设备的检测技术，但这些技术仍然依靠内业人员后期对缺损设施进行手动选取与筛选，未能实现自动化标准化检测与评价。

发明内容

发明目的：针对以上问题，本发明提出一种基于无人机遥感的高速公路标线检测方法，用于检测高速公路标线的技术状况。

本发明采用如下技术方案：

本发明所述的基于无人机遥感的高速公路标线检测方法，检测方法如下：

S1：确定需要对标线进行检测的路段起点与终点，记录起点桩号SP与终点桩号EP；

S2：使用搭载摄影设备及GPS的无人机对起点桩号SP至终点桩号EP的路段进行巡航拍摄，拍摄的同时记录无人机的GPS信息，获取拍摄到的图片集；

S3：对步骤S2中的图片集进行图像预处理并对图片进行分类，分类为简单场景图片集及复杂场景图片集；

S4：对步骤S3中的简单场景图片集进行标线的缺损检测，并输出标线缺损信息；

S5：对复杂场景图片集，记录下位置信息，使用搭载激光雷达与GPS的无人机到相应位置进行扫描；根据获取的点云数据进行标线的缺损检测，并输出标线缺损信息；

S6：汇总S4和S5获取到的标线缺损信息，将缺损信息输出，得到检测区间的标线缺损调查表；该缺损信息破损的位置，破损的程度，破损的数量。

本发明所述的基于无人机遥感的高速公路标线检测方法，所述的步骤S3 中采用降低分辨率、路面部分识别、裁剪图片对图集继续预处理，并采用 Mnist-CNN算法对简单场景图片集及复杂场景图片集进行分类。

3、根据权利要求1所述的基于无人机遥感的高速公路标线检测方法，其特征在于：步骤S3的具体如下：

(1)、将获取到的高分辨率图片集i-A降低分辨率，获得与i-A一一对应的低精度图片集i-B；

(2)、通过基于Faster RCNN网络对低精度图片集i-B进行路面部分识别与裁剪，获得与i-B的对应关系的图片集i-C；

(3)、通过基于Faster RCNN网络对图片集i-C进行简单场景与复杂场景的分类；分类后可得到简单场景图片集i-C1与复杂场景图片集i-C2；

(4)、根据步骤(1)至步骤(3)所得结果，先将i-A依据i-B的对应关系与坐标矩阵Points进行裁剪，只保留i-A图片中的路面部分，得到高精度的路面图片集i-A1；再将i-A1根据与i-C1和i-C2的对应关系进行分类，得到高精度的简单场景图片集i-A2与复杂场景图片集i-A3。

本发明所述的基于无人机遥感的高速公路标线检测方法，步骤S4的具体方法如下：

(1)、通过SIFT算法将连续的图片拼接成长图；

(2)、对于得到的长图进行图片分割，排除图片中的干扰元素；

(3)、将分割后的图片建立以图片高度和宽度为行列的二值矩阵；该二值矩阵如下：

(4)、通过对于二值矩阵A的每一列与相邻k列的所有元素一起求和，k 的大小可根据图片中的单条车道线起终点的横坐标差值调整；以第j列为起点的计算结果记为s_j，可作为判断该列是否处于标线区域的标准；计算公式如下：

所有列的计算结果形成一个数列记为S_n，S_n＝{s₁，s₂，s₃....，s_j，...，s_n}。然后，对数列S_n进行多项式函数拟合求得函数f(x)；并得到其在区间x∈(0，n)内的每一个极大值的横坐标x_{max i}，则图片中每条车道线的中心点C_i表述如下式：

以上述公式中C_i为中心点构建长为e宽为i的矩形框作为初始窗口，分别向图片上下两端滑动，每次滑动的距离Δy＝e，得到所有矩形中心点的坐标后，即可将它们拟合为二次函数，完成车道曲线拟合；根据步骤(1)到的长图中得到标线图片在原图上的对应位置信息；

(5)、通过Faster-RCNN算法对标线的图片进行分类，分辨出标线是否破损，输出对应位置信息标线缺损信息。

本发明所述的基于无人机遥感的高速公路标线检测方法，步骤S5的方法为：

(1)、通过点云滤波过滤掉离群点，

(2)、结合飞行轨迹信息进行点云配准与点云畸变校正，获取完整的点云地图，再根据筛选出点云地图标线部分的点云；

(3)、通过聚类算法将标线点云构建出外部轮廓，并基于图片分类算法，实现标线的缺损判别，并输出标线缺损信息。

有益效果

本发明创造性地提出了一种基于无人机遥感的高速公路标线检测方法，实现了高速公路标线的标准化、自动化检测，极大降低了传统人工方法带来的生命危险以及交通影响，并有效消除了观测人员主观判断对客观评价标准的影响，在检测方法上具有创新性，在评价内容上亦更具客观准确性。

附图说明

图1是本发明的测试路段图片；

图2是本发明的路面部分识别效果示意图；

图3是本发明的路面部分提取效果示意图；

图4a是本发明的简单场景示意图；

图4b是本发明的复杂场景示意图；

图5是本发明的颜色阈值与自适应阈值算法相结合后的提取标线示意图；

图6是本发明的标线区域提取示意图；

图7是本发明的标线分类示意图；分类为清晰、模糊、阴影；

图8是本发明的雷达与单片机连接示意图；

图9是本发明的标线区域的点云提取效果示意图；

图10是本发明的标线点云聚类效果示意图；

图11是本发明的检测方法流程图。

具体实施方式

下面结合附图对本发明作更进一步的说明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明所述的一种基于无人机遥感的高速公路标线检测方法，具体包括如下步骤：

S1：确定需要对标线进行检测的路段起点与终点，记录起点桩号SP与终点桩号EP。将检测区间范围按1km的间隔划分为n个区间，最后一段不足1km 的按1km计。记被检测对象的区间为i区间，其中i＝1，2，3，…，n。记第i 个区间的起点桩号和终点桩号为i_SP与i_EP。

S2：使用搭载摄影设备与GPS的无人机从被检测的第i区间的起点i_SP到终点i_EP进行巡航拍摄，飞行位置为道路中线正上方，飞行方向为道路行车方向，飞行高度应根据实际障碍物情况调整，以50-80m高度为宜；飞行速度根据无人机型号与天气状况调整，以10m/s左右为宜；相机分辨率应根据实际飞行高度进行调整，高度越高所需分辨率越高，以50m高度为例，图片分辨率宜为1200万像素以上；拍摄方式为俯视、每间隔3s拍摄一张，拍摄的同时记录无人机的GPS信息，获取的高分辨率图片集记为i-A。

S3：获得S2所述的图片集i-A后，进行图像预处理，裁剪出路面部分以及对简单场景和复杂场景的分类，其中简单场景定义为图片范围中仅包含车道线这一种标线，复杂场景定义为图片范围中两种及两种以上标线组合出现，如指示标线、导流线、车距确认线等。

具体算法步骤如下：

(1)为提高图片裁剪与分类算法的效率，首先将高分辨率图片集i-A降低分辨率，获得与i-A一一对应的低精度图片集i-B。分辨率转换时应注意保持图片长宽比例，即等比缩放，降低后的分辨率宜在100万像素以下，并记录下 i-A与i-B的转换关系与一一对应关系。

(2)通过基于Faster RCNN网络对低精度图片集i-B进行路面部分识别与裁剪，其中识别部分按照Faster RCNN网络的一般步骤进行：先使用标定过路面部分的图片作为训练集对网络进行训练，获得权重文件后，再将其作为参数输入到网络中对低精度图片集i-B进行路面部分识别；识别结果为图片上路面部分的矩形识别框的左上角与右下角坐标，记录下坐标矩阵Points并按照坐标矩阵对图片集i-B进行裁剪，获得图片集i-C以及与i-B的对应关系。

(3)通过基于Mnist-CNN算法对图片集i-C进行简单场景与复杂场景的分类，其中分类按照Mnist CNN网络的一般步骤进行：先使用标定过的简单与复杂场景的图片作为训练集对网络进行训练，获得权重文件后，再将其作为参数输入到网络中对图片集i-C进行分类。分类后可得到简单场景图片集i-C1与复杂场景图片集i-C2。

(4)根据(1)-(3)所得结果，先将i-A依据i-B的对应关系与坐标矩阵 Points进行裁剪，只保留i-A图片中的路面部分，得到高精度的路面图片集 i-A1；再将i-A1根据与i-C1和i-C2的对应关系进行分类，得到高精度的简单场景图片集i-A2与复杂场景图片集i-A3。

S4：对于S3获得的简单场景图片集i-A2，通过图像分割与识别进行标线的缺损检测，具体算法步骤为：

(1)通过SIFT算法将连续的α张图片拼接成长图，其中α张应根据道路平面线形与图片特征调整，以10-15张为宜，如道路线形为直线可适当增大，为曲线可适当减小；如单幅图片内路段长度较大也可适当减少拼接数量。

(2)对于得到的长图进行图片分割。先使用颜色阈值算法，利用HLS颜色空间的L通道，提取出图片中的白色部分；但道面上除了标线呈白色外，还可能存在白色车辆、道面强反光等干扰，通过自适应阈值算法可以提取出图片中的物体轮廓部分，将其与颜色阈值算法结合使用，取两种算法的交集部分，即可较好地提取出图片中的标线部分，排除大部分干扰；

(3)经过图片分割后，原图由彩色变为二值图，0为背景，1为标线区域，并且可以描述为行数为图片高度m和宽度n的二值矩阵：

据此可以通过数据统计进行车道曲线拟合，具体方法为：

对于二值矩阵A的每一列，都将其与右侧相邻k列的所有元素一起求和，以第j列为起点的计算结果记为s_j，所有列的计算结果形成一个数列记为S_n， S_n＝{s₁，s₂，s₃，...，s_j，...，s_n}。k的大小可根据图片中的单条车道线起终点的横坐标差值调整，计算所得s_j的值可以作为判断第j列是否处于标线区域的标准。计算公式如下：

然后，对数列S_n进行多项式函数拟合求得函数f(x)，并得到f(x)在区间x∈(0，n)内的每一个极大值的横坐标x_{max i}，则图片中每条车道线的中心点表述如下式：

以上述公式中C_i为中心点构建长为e宽为f的矩形框作为初始窗口，分别向图片上下两端滑动，Δy＝e，并在每次滑动后更新矩形中心点的横坐标，更新方法为：统计矩形框范围内所有值为1的点的数量与横坐标，如果点的数量大于可判定为标线的最少点数量，则计算这些点的横坐标平均值，以其作为下次滑动的矩形中心点横坐标。得到所有矩形中心点的坐标后，即可将它们拟合为二次函数，完成车道曲线拟合。

最后在步骤(1)中得到的长图中，取以车道曲线函数为中线、具有一定宽度的范围，即为标线部分的图片，并记录标线图片在原图上的对应位置信息。

(4)通过Faster-RCNN算法对标线的图片进行分类，分辨出标线是否破损：先使用标定过清晰与破损部分的部分标线图片作为训练集对网络进行训练，获得权重文件后，再将其作为参数输入到网络中对所有标线图片进行破损识别，最后根据对应位置信息输出标线缺损信息。

S5：对于S3获得的复杂场景图片集i-A3，记录下位置信息，使用搭载激光雷达与GPS的无人机到相应位置进行扫描，飞行高度以5-8m为宜，飞行速度以1-2m/s为宜，扫描方式为俯视，扫描的同时记录无人机飞行轨迹。无人机搭载激光雷达的方案如下：

(1)在具有一定载重能力的无人机下面挂载云台，将雷达与单片机安装在云台上，调整角度，使其起飞后雷达扫射面垂直面向地面；

(2)数据存储方式为单片机录制，使用网线接口连接雷达与单片机，在单片机中安装Ubuntu Server系统与Tshark工具箱；

(3)操作方法如下：

起飞前：给单片机上电，与计算机连接至同一网络，在计算机中通过ssh 命令为单片机设定好录制时间长度等，开始录制；雷达上电，开始扫描。

飞行中：单片机本地工作，无需联网；按预定飞行方案进行。

降落后：取下单片机，重新联网，用u盘导出录制数据，在计算机上处理数据。

根据获取的点云数据中反射强度信息进行标线的缺损检测，具体方法为：

(1)点云配准：将连续的单帧点云通过粗配准与精配准拼接为稠密的点云地图，其中粗配准使用无人机中IMU模块的姿态信息，精配准使用ICP精细配准算法。

(2)道面区域提取：先将稠密的点云地图划分为a*b的网格，对于每个网格，计算网格内所有点的高度平均值作为该网格的亮度值，再将所有网格的亮度值归一化，即可得到按照高度信息映射成的、分辨率为a*b的高度特征图，图片中每个像素点代表一个网格；然后对于高度特征图应用颜色阈值，即可提取出图片中的道面区域；最后把图片中的道面区域按照映射关系反选出点云中的道面区域。

(3)标线区域提取：先将道面区域的点云按照反射强度信息映射为反射强度特征图，映射方法与上文类似，但以网格内所有点的反射强度最大值作为该网格的亮度值；再对强度特征图使用颜色阈值提取出标线区域，最后根据特征图中的标线区域与映射关系反选出点云中的标线区域。下图为反射强度特征图与标线区域提取效果示意图。

(4)标线破损识别：先基于DBScan聚类算法对标线区域的点云进行聚类，对于得到的每一类点云，再计算该类点云中反射强度大于β的点数占总数的百分比γ，若γ小于判定阈值，则认为该部分标线缺损，从而实现标线的缺损判别，并输出标线缺损信息。

S6：汇总S4和S5获取到的标线缺损信息，输出第i区间路段的标线缺损调查表；最后将n个区间的标线缺损调查表汇总起来，得到检测区间的标线缺损调查表。

表1标线损坏调查表

实施例一：

如图1所示：S1:选定江苏省南京市宁宣高速某段作为检测区间，并按照每1km间隔划分为n个区间；

S2:使用大疆御2变焦版进行巡航拍摄，飞行位置为道路中线正上方，飞行方向为道路行车方向，飞行高度70m，飞行速度7m/s左右；相机分辨率为 1200万像素以上，图片比例为4：3；拍摄方式为俯视、每间隔3s拍摄一张，拍摄的同时记录无人机的GPS信息，获取的高分辨率图片集记为i-A；

S3:其中某段的某张图片如下：对获得的i-A图片集进行图片预处理，先等比缩放降低分辨率，再进行图片路面部分识别，进行裁剪得到图片集i-B；通过Mnist-CNN算法对i-B进行分类，将i-B分为简单场景i-C1与复杂场景 i-C2；最后根据坐标矩阵与对应关系将i-A进行裁剪得到路面部分i-A1，并将i-A1分为简单场景i-A2和i-A3。

S4：先通过SIFT算法进行拼图，再应用颜色阈值与自适应阈值算法拟合标线的函数方程，依据方程裁剪得到标线图片；

S5:通过对筛选后的点云数据进行聚类处理与分类算法处理，实现对复杂场景的标线缺损检测。

S6:汇总S4和S5的结果后输出检测区间内第i块区域标线损坏调查表，最后汇总检测区间内所有区域的损坏调查表，输出检测区间内标线检测结果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于无人机遥感的高速公路标线检测方法，其特征在于：检测方法如下：

S1：确定需要对标线进行检测的路段起点与终点，记录起点桩号SP与终点桩号EP；

S2：使用搭载摄影设备及GPS的无人机对起点桩号SP至终点桩号EP的路段进行巡航拍摄，拍摄的同时记录无人机的GPS信息，获取拍摄到的图片集；

S3：对步骤S2中的图片集进行图像预处理并对图片进行分类，分类为简单场景图片集及复杂场景图片集；

S4：对步骤S3中的简单场景图片集进行标线的缺损检测，并输出标线缺损信息；

(1)、通过SIFT算法将连续的图片拼接成长图；

(2)、对于得到的长图进行图片分割，排除图片中的干扰元素；

(3)、将分割后的图片建立以图片高度和宽度为行列的二值矩阵；该二值矩阵如下：

(4)、通过对于二值矩阵A的每一列与相邻k列的所有元素一起求和，k的大小可根据图片中的单条车道线起终点的横坐标差值调整；以第j列为起点的计算结果记为s_j，可作为判断该列是否处于标线区域的标准；判断计算公式如下：

所有列的计算结果形成一个数列记为S_n，S_n＝{s₁,s₂,s₃,...,s_j,...,s_n}；然后，对数列S_n进行多项式函数拟合求得函数f(x)；并得到其在区间x∈(0,n)内的每一个极大值的横坐标x_maxi，则图片中每条车道线的中心点C_i表述如下式：

以上述公式中C_i为中心点构建长为e宽为f的矩形框作为初始窗口，分别向图片上下两端滑动，每次滑动的距离Δy＝e，得到所有矩形中心点的坐标后，即可将它们拟合为二次函数，完成车道曲线拟合；根据步骤(1)到的长图中得到标线图片在原图上的对应位置信息；

(5)、通过Faster-RCNN算法对标线的图片进行分类，分辨出标线是否破损，输出对应位置信息标线缺损信息；

S5：对复杂场景图片集，记录下位置信息，使用搭载激光雷达与GPS的无人机到相应位置进行扫描；根据获取的点云数据进行标线的缺损检测，并输出标线缺损信息；

S6：汇总S4和S5获取到的标线缺损信息，将缺损信息输出，得到检测区间的标线缺损调查表，包括破损位置、程度和数量。

2.根据权利要求1所述的基于无人机遥感的高速公路标线检测方法，其特征在于：所述的步骤S3中采用降低分辨率、路面部分识别、裁剪图片对图集继续预处理，并采用Mnist-CNN算法对简单场景图片集及复杂场景图片集进行分类。

3.根据权利要求1所述的基于无人机遥感的高速公路标线检测方法，其特征在于：步骤S3的具体如下：

(1)、将获取到的高分辨率图片集i-A降低分辨率，获得与i-A一一对应的低精度图片集i-B；

(2)、通过基于Faster RCNN网络对低精度图片集i-B进行路面部分识别与裁剪，获得与i-B的对应关系的图片集i-C；

(3)、通过基于Faster RCNN网络对图片集i-C进行简单场景与复杂场景的分类；分类后可得到简单场景图片集i-C1与复杂场景图片集i-C2；

(4)、根据步骤(1)至步骤(3)所得结果，先将i-A依据i-B的对应关系与坐标矩阵Points进行裁剪，只保留i-A图片中的路面部分，得到高精度的路面图片集i-A1；再将i-A1根据与i-C1和i-C2的对应关系进行分类，得到高精度的简单场景图片集i-A2与复杂场景图片集i-A3。

4.根据权利要求1所述的基于无人机遥感的高速公路标线检测方法，其特征在于：步骤S5的方法为：

(1)、通过点云滤波过滤掉离群点，

(2)、结合飞行轨迹信息进行点云配准与点云畸变校正，获取完整的点云地图，再根据筛选出点云地图标线部分的点云；

(3)、通过聚类算法将标线点云构建出外部轮廓，并基于图片分类算法，实现标线的缺损判别，并输出标线缺损信息。