CN113724503A - 基于云平台的高速公路状态自动巡检系统及方法 - Google Patents

Abstract

本发明涉及基于云平台的高速公路状态自动巡检系统及方法，包括巡检车和云平台，巡检车设有图像采集装置和雷达，巡检车获取的道路图像数据和雷达数据传输至云平台，云平台基于图像数据和雷达数据识别路面状态，利用已构建的预测模型获取未来一段时间内道路表面的状态。利用行驶在高速公路应急车道上的巡检车作为巡检载体，通过获取巡检车前后左右四个方向的道路图像数据，融合激光雷达数据实现道路路面异常状态的精确监测，通过巡检车将路面状态数据以无线的方式传输至云平台，基于已构建的道路表面状态模型预测未来某一时间段道路表面将会出现破损状态，反馈并提醒道路养护部门。

Description

基于云平台的高速公路状态自动巡检系统及方法

技术领域

本发明涉及公路监测领域，具体为基于云平台的高速公路状态自动巡检系统及方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

高速公路随着时间的推移，存在不同程度的路况问题，例如出现裂缝、结冰、积水或路面不平整等情况，甚至由于交通事故引发的路面破损，这类路面状态的改变目前仍然依赖道路运维部门进行人工巡检。

现有技术中利用无人机作为巡检载体，通过无人机获取的图像信息实现道路状态的监测，无人机虽然可以节省大量的人力，但由于从高空中拍摄图像，一方面依赖成本相对较高的图像识别算法实现巡检，另一方面拍摄的图像存在清晰度差异较大使得巡检图像难以识别。

现有技术中还利用巡检机器人实现道路巡检，例如巡检机器人沿道路护栏运动获取图像信息，基于图像识别算法实现巡检，此类巡检方式在缺少道路护栏的路段或是交叉口较多的路段无法使用，存在环境限制。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供基于云平台的高速公路状态自动巡检系统及方法，利用行驶在高速公路应急车道上的巡检车作为巡检载体，通过获取巡检车前后左右四个方向的道路图像数据，融合激光雷达数据实现道路路面异常状态的精确监测，通过巡检车将路面状态数据以无线的方式传输至云平台，基于已构建的道路表面状态模型预测未来某一时间段道路表面将会出现破损状态，反馈并提醒道路养护部门。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供基于云平台的高速公路状态自动巡检系统，包括巡检车和云平台，巡检车设有图像采集装置和雷达，巡检车获取的道路图像数据和雷达数据传输至云平台，云平台基于图像数据和雷达数据识别路面状态，利用已构建的道路表面状态预测模型获取未来一段时间内道路表面的状态。

道路表面状态预测模型通过无人巡检车辆获取的道路表面状态数据建立数据集，该数据集具有高速公路设定区段路面的表面状态。

数据集的输入参数为道路表面特征的图像数据，该图像数据包括道路表面完好状态、裂缝状态、积水状态和结冰状态的图像特征，输出参数为表征道路状态完好率的预测模型。

道路表面状态预测模型包括连接在一起的输入门、遗忘门、输出门和记忆单元。

本发明的第二个方面提供基于上述系统实现自动巡检的方法，包括以下步骤：

设定巡检车在在高速公路应急车道上的巡检路线，获取应急车道两侧和巡检车前后方向的道路图像数据传递给云平台；

云平台基于已构建的道路表面状态预测模型识别道路当前时间段的表面状态并发出提醒；

云平台基于已构建的道路表面状态预测模型预测未来设定时间段内的道路表面状态。

道路表面状态预测模型为基于时间序列的深度学习模型。

道路表面状态预测模型输出的值低于阈值90％，认为道路表面出现异常状态。

与现有技术相比，以上一个或多个技术方案存在以下有益效果：

1、节约人力成本，并可通过智能化手段实施分析路面表面及高速公路交通行为状态，提升了高速公路养护及交通安全监控的智能化水平。

2、利用巡检车作为载体进行定速巡检，通过巡检上搭载的图像采集装置和雷达获取道路表面状态数据和路面附着物状态，路面是否有异物，应急车道是否有违规车辆等信息，实现自动化无人巡检。

3、通过获取设定区域路段道路表面的图像数据可建立道路全寿命周期表面状态模型，实时预测未来时间段道路表面完好状态，可有效提高道路维护水平及检测效率。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明一个或多个实施例提供的道路表面状态预测流程示意图；

图2是本发明一个或多个实施例提供的巡检车结构示意图；

图3是本发明一个或多个实施例提供的巡检系统工作流程示意图；

图4是本发明一个或多个实施例提供的LSTM模型的结构示意图；

图5(a)是本发明一个或多个实施例提供的LSTM模型中遗忘门的结构示意图；

图5(b)是本发明一个或多个实施例提供的LSTM模型中输入门的结构示意图；

图5(c)是本发明一个或多个实施例提供的LSTM模型中记忆单元的结构示意图；

图5(d)是本发明一个或多个实施例提供的LSTM模型中输出结构的示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一：

如图1-5所示，基于云平台的高速公路状态自动巡检系统，包括巡检车和云平台，巡检车设有图像采集装置和雷达，巡检车获取道路图像信息和雷达数据传输至云平台，云平台基于图像数据和雷达数据识别路面状态，利用已构建的预测模型获取未来一段时间内道路表面的状态。

具体如下：

巡检车行驶在高速公路的应急车道上，通过巡检车的前后左右四个方向搭载的摄像头获取高速公路路面的状态数据传递给云平台，云平台融合图像数据和巡检车的雷达数据，识别路面以及路面附着物的状态，基于LSTM神经网络在云平台建立的路面表面状态数据集，通过神经网络自学习方法及时掌握路面表面状态，当发现路面出现裂缝，不平整等破损问题后，及时反馈后高速公路养护部门，进行修护。

巡检车行驶在高速公路的应急车道上，除突发的紧急情况外，前后没有其他车辆，可保证巡检车行驶安全，可更好的完成路面状态识别。

图像采集装置还可实时采集车辆信息，将车辆信息上传云平台，识别违反交通规则的车辆信息。例如，巡检车运行在应急车道上时，位于巡检车前后方向的图像采集装置获取巡检车行进方向和后退方向的图像信息，通过识别图像信息中，其他车辆进入应急车道区域判断该车辆违规，将图像信息发送给云平台。

自动驾驶电动车辆通过设立在路测得固定自动无线充电平台可对电动车辆进行高效自动的无线充电，该自动充电平台连接光伏电池系统，可有效的保障高速道路状态的远程巡检。

云平台建立的路面表面状态数据集基于LSTM的神经网络是基于机器学习的方法，通过相机、激光雷达等传感器对道路表面不同历史时期状态的数据采集，建立训练模型，通过大量数据的训练，可以完善道路表面状态的模型，可预测未来一段时间内某段高速公路表面寿命状态，是否会出现裂纹，并结合历史天气状态，预测道路表面结冰、积水的可能性，提前对车主发布预警及对养护部门提醒进行维护保养，对高速公路进行全生命周期的管理和维护。

通过无人巡检车辆获取的道路表面状态数据，建立数据集，该数据集包含了高速公路某一区段路面表面状态，建立一个输入参数包括道路表面特征的图像数据，该数据包含了道路表面完好状态及出现裂缝状态、积水和结冰状态的图像特征，输出为道路状态完好率的LSTM模型，该模型为基于时间序列的深度学习模型，通过采集每天高速公路路面特征，形成基于时间的数据集，可通过区域路段道路从使用到出现第一次道路病害状态的数据训练模型，预测未来该区域路段道路表面状态的完好率。当道路表面状态在某一时间完好率降低时候，可及时通过云平台发布报警信息，提供给道路养护部门，进行道路表面状态的及时修复。避免了需要实时对道路进行巡检，提高的道路养护信息管理的水平。

训练完毕的模型，可以用于新建公路或者修复完成公路的道路表面状态完好率的预测，该完好率为一阈值，可以预测中未来某一时间区间道路表面状态完好率降低的情况，当道路表面状态预测模型输出的值低于阈值90％，认为道路表面出现异常状态，具体如下：

当低于阈值90％，可判断道路表面出现了积水，当低于阈值80％，可判断出现了结冰；当低于阈值70％，可判断道路表面状态出现了裂纹，当低于阈值60％，可判断道路表面出现凹面。

模型基于时间序列的预测方法，通过采集区域路段道路表面长时间的数据，这个时间可以是一个月也可以是一年，主要是采集该路段从建设完工路面完好一直到出现裂缝、出现积水或者出现结冰等这个时间区间，所有的路面数据采集后建立了LSTM模型，该模型相当于区域路段全寿命周期的时间预测模型；可基于该模型的状态演变，预测未来高速公路同一道路区域内道路表面可能会在什么时间出现裂缝、积水或者结冰。该模型也可以增加天气及交通数据的因子作为模型训练的输入参量，这样可扩展到高速任一路段的道路表面状态的预测上。

LSTM的网络结构，LSTM单元内部有三个门(输入门input gate、遗忘门forgetgate和输出门output gate)和记忆单元(MemoryCell)构成，x_t是输入数据，前一状态为h_t-1。圆圈表示乘法和加法。基于结构中的信息流使用门控单元来有选择的控制信息的流动。

遗忘门作用是控制丢弃一些没有用的信息，输入门根据当前输入和上一时刻的输出来决定对细胞状态更新什么样的信息，输出门由此刻的输入、前一时刻的输出以及当前的细胞状态信息控制。细胞状态通过输入门和遗忘门的处理，下一步将对细胞状态进行更新。

(1)遗忘门forget gate，选择忘记过去某些信息，采取下式：

f_t＝σ(W_f·[h_t-1，x_t]+b_f)

(2)输入门input gate，记忆现在的信息，采取下式：

i_t＝σ(W_i·[h_t-1，xt]+b_i)

(3)记忆单元，将过去与现在的记忆合并，采取下式：

(4)输出门output gate，输出信息，采取下式：

o_t＝σ(W_o[h_t-1，x_t]+b_o)

h_t＝o_t*tanh(C_t)

这里的输入数据(指通过输入门输入的信息)包含了{日期、天气、车流量、地面状态....}等多个输入参数，对输入数据进行归一化、向量化处理，并预测出未来时间段内道路表面状态完好率的变化值。以路面完好率为例，将所有按小时统计的历史道路表面状态要素数中的完好率变化量数据按时间顺序排列，将近十年以天的道路表面状态数据作为该网络的样本集。

上述巡检系统能够节约人力成本，并可通过智能化手段实施分析路面表面及高速公路交通行为状态，提升了高速公路养护及交通安全监控的智能化水平。通过安装在四轮无人驾驶电动巡检车进行定速巡检，前后左右装有车载高清相机，激光雷达及毫米波雷达，通过车辆360°方位获取道路表面状态数据，激光雷达和毫米波雷达可感知巡检车周围路面附着物状态，路面是否有异物，应急车道是否有违规车辆等信息。通过获取设定区域路段道路表面的图像数据可建立道路全寿命周期表面状态模型，实时预测未来时间段道路表面完好状态，可有效提高道路维护水平及检测效率。

实施例二：

本实施例提供基于云平台的高速公路状态自动巡检方法，包括以下步骤：

设定巡检车在在高速公路应急车道上的巡检路线，获取应急车道两侧和巡检车前后方向的道路图像数据传递给云平台；

云平台基于已构建的道路表面状态模型识别道路当前时间段的表面状态并发出提醒；

云平台基于已构建的道路表面状态模型预测未来设定时间段内的道路表面状态。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于云平台的高速公路状态自动巡检系统，其特征在于：包括巡检车和云平台，巡检车设有图像采集装置和雷达，巡检车获取的道路图像数据和雷达数据传输至云平台，云平台基于图像数据和雷达数据识别路面状态，利用已构建的预测模型获取未来一段时间内道路表面的状态。

2.如权利要求1所述的基于云平台的高速公路状态自动巡检系统，其特征在于：所述预测模型通过无人巡检车辆获取的道路表面状态数据建立数据集。

3.如权利要求2所述的基于云平台的高速公路状态自动巡检系统，其特征在于：所述数据集具有高速公路设定区段路面的表面状态。

4.如权利要求2所述的基于云平台的高速公路状态自动巡检系统，其特征在于：所述数据集的输入参数为道路表面特征的图像数据。

5.如权利要求4所述的基于云平台的高速公路状态自动巡检系统，其特征在于：所述图像数据包括道路表面完好状态、裂缝状态、积水状态和结冰状态的图像特征。

6.如权利要求2所述的基于云平台的高速公路状态自动巡检系统，其特征在于：所述数据集的输出参数为表征道路状态完好率的预测模型。

7.如权利要求1所述的基于云平台的高速公路状态自动巡检系统，其特征在于：所述预测模型包括连接在一起的输入门、遗忘门、输出门和记忆单元。

8.基于权利要求1所述系统实现自动巡检的方法，包括以下步骤：

设定巡检车在在高速公路应急车道上的巡检路线，获取应急车道两侧和巡检车前后方向的道路图像数据传递给云平台；

云平台基于已构建的道路表面状态模型识别道路当前时间段的表面状态并发出提醒；

云平台基于已构建的道路表面状态模型预测未来设定时间段内的道路表面状态。

9.如权利要求8所述的基于云平台的高速公路状态自动巡检方法，其特征在于：所述道路表面状态预测模型为基于时间序列的深度学习模型。

10.如权利要求8所述的基于云平台的高速公路状态自动巡检方法，其特征在于：所述道路表面状态预测模型输出的值低于阈值90％，认为道路表面出现异常状态。

Images