CN114592411A - 一种载体寄生式公路损坏智能巡查方法 - Google Patents

Abstract

本发明公开了一种载体寄生式公路损坏智能巡查方法，涉及道路损坏检测领域，针对公路损坏智能巡查的应用需求，研究适用于各类移动终端的轻量级通用智能识别算法，实现边缘端快速识别和实时上报；针对低碳巡检的要求，研究能够承载智能算法的不同载体特性，实现智能识别算法能够寄生于不同的硬件智能载体，实现终端载体智能复用，通过智能终端移动载体寄生方式，复用现有公交车辆和清扫车辆等移动载体,实现巡检主体智能复用；通过研发高性价比的工业级车载识别终端，实现复杂道路、复杂天气等环境下的道路损坏识别；各种智能设备的应用场景比较广泛灵活，在不影响交通的状况下，实现随时随地轻松检测各种路段，提高工作效率。

Description

一种载体寄生式公路损坏智能巡查方法

技术领域

本发明涉及道路损坏检测领域，具体是一种载体寄生式公路损坏智能巡查方法。

背景技术

为使路面始终保持良好的状态，道路管理部门需要对路面状况进行定期巡视和检查，并对损坏路面采取适当的养护修补措施；传统的路面损坏检测采用人工巡检或特定的检测车进行检测，人工巡检耗时耗力，效率低，并且极易引发路段交通堵塞；而检测车造价昂贵且维修成本高，不利于推广使用。

近几年电子信息科技蓬勃发展，人工智能技术在各行各业得到广泛应用。在计算机视觉领域，利用摄像头采集图像数据，经由卷积神经网络(Convolutional NeuralNetworks,CNN)算法或者transformer相关算法对图片进行处理，可以实现目标检测、图像分类、图像分割等功能。这为解决上述问题提供了新思路，如公开号为CN112183593A的中国专利公开了一种基于DSSD算法的道路损坏检测方法，利用卷积神经网络实现道路损坏检测。

但复杂的天气情况和道路环境，致使目前此类道路损坏检测方法在实际应用中无法满足高精确度要求和跨平台部署，且检测载体设备成本高、运用场景单一，因此如何快速精准的识别出道路图像上的损坏信息，充分利用现有移动智能设备和设备载体实现低碳巡查的目的，成为亟需解决的难题。

发明内容

本发明的目的在于提供一种载体寄生式公路损坏智能巡查方法，以解决上述背景技术提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种载体寄生式公路损坏智能巡查方法，包括以下步骤：

1)不同平台的移动端设备设计不同语言的终端接口，将智能识别算法通过接口跨平台部署在多种智能终端设备中，终端设备寄生在现有公交车辆或清扫车辆上，车载识别终端与云端监控平台均装载智能识别算法；

2)智能识别算法通过移动端摄像头采集待检测道路视频流，解码并获得道路图像帧；

3)将图像实时输入到目标检测模型中，进行特征提取并检测出图像中的道路损坏，获得道路损坏类别和损坏区域；

4)将损坏检测结果实时输入到目标跟踪模型中，识别不同图像帧中的同一个目标，获取视频流中各类别损坏数量，并统计损坏数据；

5)通过终端通信模块将识别信息实时上传；

6)跨平台轻量化智能识别算法。

在上述技术方案的基础上，本发明还提供以下可选技术方案：

在一种可选方案中：在步骤1)中，所述智能识别算法的部署方式为载体寄生式，模型与智能设备中既有功能复用设备硬件资源，多种智能终端设备包括但不限于智能手机、车载智能视频监控设备和智能无人机。

在一种可选方案中：在步骤3)中，所述目标检测模型为轻量化神经网络模型。

在一种可选方案中：在步骤4)中，所述目标检测模型通过道路损坏数据集训练得到，所述道路损坏数据集通过车载终端摄像头采集道路数据并标注，结合Global RoadDamage Detection Challenge比赛所提供的公共数据集，共同组成；

所述道路损坏数据集格式与yolo数据集格式一致；

所述道路损坏数据集中损坏类别包括横向裂缝、纵向裂缝、龟裂和坑洼四类；

所述道路损坏数据集中的80％数据作为训练集，20％数据作为测试集，用于训练和测试目标检测模型。

在一种可选方案中：在步骤4)中，所述目标跟踪模型为轻量化卷积神经网络模型，所述神经网络模型对不同图像帧中的同一目标赋予同一个编号。

在一种可选方案中：在步骤5)，所述识别信息包括各类损坏统计数据、损坏类别、损坏的定位信息和设备编号，所述损坏的定位信息通过移动端的北斗定位系统获得。

在一种可选方案中：在步骤6)，所述跨平台轻量化模型方法采用深度可分离卷积、模型剪枝等技术缩小模型体积，通过自注意力机制、知识蒸馏等方法在缩小模型体积的同时提高准确率和处理速度。

在一种可选方案中：在步骤1)中，所述的车载识别终端，包括：

车载识别终端设备集成视频采集模块，获取道路图像数据；

车载识别终端设备装载权利要求1中所述智能识别算法，实时检测道路损坏；

车载识别终端设备集成北斗定位系统，获取道路损坏定位信息；

车载识别终端设备集成4G通信模块，实时上传或下载损坏信息；

车载识别终端设备集成存储模块，临时存储损坏信息。

在一种可选方案中：在步骤1)中，所述的云端监控平台，包括：

云端部署权利要求1中所述智能识别算法，云端识别离线道路视频或图像；

云端部署监控系统，接收边缘端设备识别信息，汇总统计分析；

可视化监控平台显示统计分析结果；

根据损坏信息的定位派单给相关工作人员，并发送相关识别信息。

相较于现有技术，本发明的有益效果如下：

1)适用于各类移动终端的轻量级智能识别算法，模型体积小，所需计算资源少，能够实时检测道路损坏且检测精度更高，通过不同设备上的接口即可实现跨平台部署。

2)算法模型寄生式部署在多种智能终端设备中，在既有智能设备中实现道路损坏检测，与设备中既有智能算法复用设备硬件资源，并且智能终端寄生式装载于现有公交车辆或清扫车辆中，复用现有巡检载体，低碳环保。

3)各种智能设备的应用场景比较广泛灵活，在不影响交通的状况下，实现随时随地轻松检测各种路段，提高工作效率。

附图说明

图1为载体寄生式公路损坏智能巡查方法的工作原理示意图。

图2为载体寄生式公路损坏智能巡查方法中智能识别算法检测流程示意图。

图3为载体寄生式公路损坏智能巡查方法中识别损坏类型示例图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述。

如图1-3所示，为本发明一个实施例提供的一种载体寄生式公路损坏智能巡查方法，包括以下步骤：

1)不同平台的移动端设备设计不同语言的终端接口，将智能识别算法通过接口跨平台部署在多种智能终端设备中，终端设备寄生在现有公交车辆或清扫车辆上，车载识别终端与云端监控平台均装载智能识别算法；

2)智能识别算法通过移动端摄像头采集待检测道路视频流，解码并获得道路图像帧；

3)将图像实时输入到目标检测模型中，进行特征提取并检测出图像中的道路损坏，获得道路损坏类别和损坏区域；

4)将损坏检测结果实时输入到目标跟踪模型中，识别不同图像帧中的同一个目标，获取视频流中各类别损坏数量，并统计损坏数据；

5)通过终端通信模块将识别信息实时上传；

6)跨平台轻量化智能识别算法。

如图1所示，作为本发明的一种优选实施例，在步骤1)中，所述智能识别算法的部署方式为载体寄生式，模型与智能设备中既有功能复用设备硬件资源，在原有智能设备的基础上，通过接口实现智能识别算法模型的跨平台部署，使其不增加额外硬件成本的前提下，完成道路损坏检测的任务，以此种部署方法复用智能终端设备的硬件资源，提高设备利用率，并且通过智能终端移动载体寄生方式，复用现有公交车辆和清扫车辆等移动载体，实现巡检主体智能复用，达到低碳环保的目的；寄生载体可以是任何可实现深度学习框架的终端设备，包括但不限于智能手机、车载智能视频监控设备和智能无人机，而终端设备的载体可以是现有公交车辆、清扫车辆或检测车辆。车载设备可以在行车过程中轻松采集道路信息并识别；飞行的无人机便于采集险要路段的道路信息并识别；智能手机可随时随地录像或拍照路面损坏信息并识别。

如图1所示，作为本发明的一种优选实施例，在步骤3)中，所述目标检测模型为轻量化神经网络模型。

如图1所示，作为本发明的一种优选实施例，在步骤4)中，所述目标检测模型通过道路损坏数据集训练得到，所述道路损坏数据集通过车载终端摄像头采集道路数据并标注，结合Global Road Damage Detection Challenge比赛所提供的公共数据集，共同组成；所述道路损坏数据集格式与yolo数据集格式一致；所述道路损坏数据集中损坏类别包括横向裂缝、纵向裂缝、龟裂和坑洼四类；所述道路损坏数据集中的80％数据作为训练集，20％数据作为测试集，用于训练和测试目标检测模型。

如图1所示，作为本发明的一种优选实施例，在步骤4)中，所述目标跟踪模型为轻量化卷积神经网络模型，所述神经网络模型对不同图像帧中的同一目标赋予同一个编号。

如图1所示，作为本发明的一种优选实施例，在步骤5)，所述识别信息包括各类损坏统计数据、损坏类别、损坏的定位信息和设备编号，所述损坏的定位信息通过移动端的北斗定位系统获得。

如图1所示，作为本发明的一种优选实施例，在步骤6)，所述跨平台轻量化模型方法采用深度可分离卷积、模型剪枝等技术缩小模型体积，通过自注意力机制、知识蒸馏等方法在缩小模型体积的同时提高准确率和处理速度。

如图1所示，作为本发明的一种优选实施例，在步骤1)中，所述的车载识别终端，包括：车载识别终端设备集成视频采集模块，获取道路图像数据；车载识别终端设备装载权利要求1中所述智能识别算法，实时检测道路损坏；车载识别终端设备集成北斗定位系统，获取道路损坏定位信息；车载识别终端设备集成4G/5G通信模块，实时上传或下载损坏信息；车载识别终端设备集成存储模块，临时存储损坏信息；车载智能终端在车辆行车过程中采集道路视频信息，检测道路损坏，并将损坏信息上传至云端。

如图1所示，作为本发明的一种优选实施例，在步骤1)中，所述的云端监控平台，包括：云端部署权利要求1中所述智能识别算法，云端识别离线道路视频或图像；云端部署监控系统，接收边缘端设备识别信息，汇总统计分析；可视化监控平台显示统计分析结果；根据损坏信息的定位派单给相关工作人员，并发送相关识别信息，并接收反馈，是否已修补完成。

本发明上述实施例中提供了一种载体寄生式公路损坏智能巡查方法，首先设计跨平台轻量化智能识别算法，通过载体寄生接口，载入多种不同的终端设备中，用于不同场景下的道路损坏检测，同时，各移动终端保持与云端监控平台传输损坏数据和派单信息，在监控平台界面可视化查看统计分析数据；智能识别算法用于识别道路损坏信息，并跟踪目标方便统计各类损坏数量；视频采集模块用于获取道路实时视频数据，然后输入到智能识别算法中进行检测；北斗定位系统用于定位损坏位置，当系统检测到损坏后，调用该模块获得定位信息；4G/5G通信模块用于和云端相互传输数据，当检测到道路损坏后，将损坏类别、损坏统计信息、损坏定位信息和设备编号打包上传至云端监控平台，当云端监控平台派发订单任务时，用于接收来自云端的损坏信息；存储模块用于存储损坏信息，当设备检测到道路损坏后，在本地存储系统保存一份损坏信息，供历史查询，当接收到云端派发的订单任务时，保存接收到的损坏信息。

图2为本发明提供的一种适用于各类移动终端的智能识别算法的检测流程示意图，包括以下步骤：

步骤一：通过移动端摄像头采集待检测道路视频流，解码并获得道路图像帧；

终端设备采集的道路信息为视频格式，在进行损坏检测之前先提取视频中的图像帧。

步骤二：将图像实时输入到目标检测模型中，进行特征提取并检测出图像中的道路损坏，获得道路损坏类别和损坏区域；

目标检测模型采用一种轻量化单阶段神经网络检测模型，其中，训练模型所用的道路损坏数据集，包括Global Road Damage Detection Challenge比赛所提供的公共数据集和通过车载终端摄像头采集的私有道路数据集；

如图3所示，道路损坏数据集标签包含四类，分别为横向裂缝、纵向裂缝、龟裂和坑洼，即道路损坏检测的四种类别；道路损坏数据集的格式与yolo数据集格式一致；在训练模型时，数据集中80％的数据作为训练集，用来训练模型参数，其余20％的数据作为测试集，用于测试当前模型的检测精度和性能；所述目标检测模型结构包括输入端、主干网、Neck模块和预测模块四部分，其中，输入端对图像数据进行预处理，该实施例中采用Mosaic数据增强方法，增强算法对小目标的识别效果；输入端计算自适应锚框，设定检测目标的先验框；输入端自适应图片缩放，将原始图片统一缩放到同一个标准尺寸，然后送入主干网络中进行检测；

主干网络主要用于对图像的特征提取，包括Focus模块和ResNet模块。Focus模块进行切片操作，改变图像的尺寸和通道数，如原始尺寸为640*640*3的图像经过切片操作后，尺寸变为320*320*12的图像，再经过卷积操作变为尺寸320*320*32的图像；ResNet网络模块通过卷积操作获取图像的特征图；

Neck模块主要用于对特征图的操作，包括FPN结构和PAN结构，通过下采样和上采样获得不同尺度的特征图，构建特征金字塔，并与主干网中的相关特征图融合，增强网络对不同大小目标的识别能力；

预测模块主要用于识别目标类别和目标检测框的位置。首先通过检测目标的置信度判断目标类别，其次通过DIOU Loss损失函数获取检测框的位置，最后通过NMS非极大值抑制筛选重复的检测框。

步骤三：将损坏检测结果实时输入到目标跟踪模型中，识别不同图像帧中的同一个目标，获取视频流中各类别损坏数量，并统计损坏数据；

目标跟踪算法是一种轻量化卷积神经网络，主要用于识别处于视频不同图像帧中的同一个目标，并赋予同一个编号。目标检测模型将检测结果输入目标跟踪算法中，首先，目标跟踪算法利用卡尔曼滤波预测下一帧图像中当前目标的位置，目标检测算法检测下一帧图像中的目标位置，然后使用匈牙利算法将预测的结果和检测结果进行匹配，识别出不同图像帧中的同一目标，最后更新卡尔曼滤波的状态，进行下一轮预测和检测的匹配。

步骤四：通过终端通信模块将识别信息实时上传；

上述识别信息包括各类损坏统计数据、损坏类别和损坏的定位信息，其中定位信息由移动终端的北斗定位系统获得。当识别算法检测出道路损坏之后，实时调用北斗定位系统获取当前定位信息。

步骤五：模型轻量化，减小模型体积便于跨平台部署终端；

作为示例性说明，终端设备资源有限，设计通用的算法模型需要考虑模型的体积。采用深度可分离卷积、模型剪枝等技术缩小模型体积，通过自注意力机制、知识蒸馏等方法在缩小模型体积的同时提高准确率和处理速度。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种载体寄生式公路损坏智能巡查方法，其特征在于，包括以下步骤：

1)不同平台的移动端设备设计不同语言的终端接口，将智能识别算法通过接口跨平台部署在多种智能终端设备中，终端设备寄生在现有公交车辆或清扫车辆上，车载识别终端与云端监控平台均装载智能识别算法；

2)智能识别算法通过移动端摄像头采集待检测道路视频流，解码并获得道路图像帧；

3)将图像实时输入到目标检测模型中，进行特征提取并检测出图像中的道路损坏，获得道路损坏类别和损坏区域；

4)将损坏检测结果实时输入到目标跟踪模型中，识别不同图像帧中的同一个目标，获取视频流中各类别损坏数量，并统计损坏数据；

5)通过终端通信模块将识别信息实时上传；

6)跨平台轻量化智能识别算法。

2.根据权利要求1所述的载体寄生式公路损坏智能巡查方法，其特征在于，在步骤1)中，所述智能识别算法的部署方式为载体寄生式，模型与智能设备中既有功能复用设备硬件资源，多种智能终端设备包括但不限于智能手机、车载智能视频监控设备和智能无人机。

3.根据权利要求1所述的载体寄生式公路损坏智能巡查方法，其特征在于，在步骤3)中，所述目标检测模型为轻量化神经网络模型。

4.根据权利要求1所述的载体寄生式公路损坏智能巡查方法，其特征在于，在步骤4)中，所述目标检测模型通过道路损坏数据集训练得到，所述道路损坏数据集通过车载终端摄像头采集道路数据并标注，结合Global Road Damage Detection Challenge比赛所提供的公共数据集，共同组成；

所述道路损坏数据集格式与yolo数据集格式一致；

所述道路损坏数据集中损坏类别包括横向裂缝、纵向裂缝、龟裂和坑洼四类；

所述道路损坏数据集中的80％数据作为训练集，20％数据作为测试集，用于训练和测试目标检测模型。

5.根据权利要求1所述的载体寄生式公路损坏智能巡查方法，其特征在于，在步骤4)中，所述目标跟踪模型为轻量化卷积神经网络模型，所述神经网络模型对不同图像帧中的同一目标赋予同一个编号。

6.根据权利要求1所述的载体寄生式公路损坏智能巡查方法，其特征在于，在步骤5)，所述识别信息包括各类损坏统计数据、损坏类别、损坏的定位信息和设备编号，所述损坏的定位信息通过移动端的北斗定位系统获得。

7.根据权利要求1所述的载体寄生式公路损坏智能巡查方法，其特征在于，在步骤6)，所述跨平台轻量化模型方法采用深度可分离卷积、模型剪枝等技术缩小模型体积，通过自注意力机制、知识蒸馏等方法在缩小模型体积的同时提高准确率和处理速度。

8.根据权利要求1所述的载体寄生式公路损坏智能巡查方法，其特征在于，在步骤1)中，所述的车载识别终端，包括：

车载识别终端设备集成视频采集模块，获取道路图像数据；

车载识别终端设备装载权利要求1中所述智能识别算法，实时检测道路损坏；

车载识别终端设备集成北斗定位系统，获取道路损坏定位信息；

车载识别终端设备集成4G通信模块，实时上传或下载损坏信息；

车载识别终端设备集成存储模块，临时存储损坏信息。

9.根据权利要求1所述的载体寄生式公路损坏智能巡查方法，其特征在于，在步骤1)中，所述的云端监控平台，包括：

云端部署权利要求1中所述智能识别算法，云端识别离线道路视频或图像；

云端部署监控系统，接收边缘端设备识别信息，汇总统计分析；

可视化监控平台显示统计分析结果；

根据损坏信息的定位派单给相关工作人员，并发送相关识别信息。

Images