CN117197412B - 一种基于ar的公路病害智能巡检系统及方法 - Google Patents

Abstract

本发明公开了一种基于AR的公路病害智能巡检系统及方法，该系统包括AR眼镜和云服务器，AR眼镜中有控制器模块、传感器模块、存储模块、通信模块、AR显示模块和拍摄模块，传感器模块包括定位模块、IMU传感器、麦克风和扬声器；该方法包括：一、公路病害初始巡检及公路病害照片拍摄存储；二、公路病害照片检查；三、公路病害特征提取及病害严重程度分析；四、公路病害后续巡检及公路病害照片拍摄存储；五、按照步骤三所述的方法，对后续巡检的公路病害照片进行公路病害特征提取及病害严重程度分析。本发明设计合理，实现公路病害的定位、病害照片的获取、公路病害特征提取及病害严重程度分析预警。

Description

一种基于AR的公路病害智能巡检系统及方法

技术领域

本发明属于交通智能化技术领域，具体涉及一种基于AR的公路病害智能巡检系统。

背景技术

路面病害作为影响公路服役性能的重要因素之一，包含横向裂缝、纵向裂缝、坑槽等多种类型，因此公路路面巡检是公路养护部门的日常工作重点，要求做到多次上路巡检、监测发现病害、采集病害照片、病害分析治理等多个工作环节，巡检的工作效率和质量直接影响到病害治理的效果和成本。

传统的巡检作业方式是养护人员开车上路、人眼观察、手工记录、纸质存档的方式，这样从病害的发现、信息记录整理、到病害的治理时间较长，整体效率低下；还存在病害漏检、信息丢失；其次，巡检人力成本高。如何提高公路病害巡检效率、巡检质量，降低巡检成本成为亟待解决的问题。

随着移动互联网、GIS等信息技术的发展，传统的手工记录、纸质存档方式逐步被手机/平板等移动端巡检取代，但现有的巡检取代仍存在以下问题：

（1）依赖手机/平板，解放不了双手，需要外业巡检人员在路上人为测量录入病害数据，拍摄病害照片，外业巡检人员的工作量大；

（2）没有语音交互、提示及预警等功能，成本仍然很高；

（3）没有实现可视化巡检，无法在巡检时可视化显示病害信息。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于AR的公路病害智能巡检系统，其方法步骤简单、设计合理，养护巡检人员佩戴AR眼镜进行公路病害巡检，能实现公路病害的定位、病害照片的获取、公路病害特征提取及病害严重程度分析，及时对病害预警，且能语音交互及病害信息可视化显示，减少外业工作量和成本。

为解决上述技术问题，本发明采用的技术方案是：一种基于AR的公路病害智能巡检系统，其特征在于：包括AR眼镜和云服务器，所述AR眼镜为头戴式AR眼镜，所述AR眼镜中设置有控制器模块、传感器模块以及与所述控制器模块连接的存储模块、通信模块、AR显示模块和拍摄模块，所述传感器模块包括用于采集AR眼镜位置的定位模块、用于采集AR眼镜位姿的IMU传感器、录入语音的麦克风和输出语音的扬声器；

所述云服务器上设置有道路病害检测模块、病害程度分析模块、病害发展曲线模块和预警模块。

上述的一种基于AR的公路病害智能巡检系统，其特征在于：所述道路病害检测模块用于通过深度卷积神经网络算法对公路病害照片进行处理，得到公路病害照片中的病害类型和病害数据；

所述病害程度分析模块用于将病害数据进行比较判断，获得病害类型的程度；其中，所述病害类型的程度包括轻度、中度和重度；

所述病害发展曲线模块中设置裂缝长宽比发展曲线和坑槽病害面积发展曲线;

预警模块用于监测“当前未达到最佳治理时间，请继续监测该病害”、“已达到最佳治理时间，请及时治理”和“已超过最佳治理时间，请尽快采取补救措施”。

上述的一种基于AR的公路病害智能巡检系统，其特征在于：所述AR眼镜通过通信模块与云服务器进行无线通信。

上述的一种基于AR的公路病害智能巡检系统，其特征在于：所述定位模块为GSP定位模块或者北斗定位模块。

上述的一种基于AR的公路病害智能巡检系统，其特征在于：所述通信模块为2G、3G、4G、5G移动通信网络。

同时提供一种基于AR的公路病害智能巡检方法，其特征在于，该方法包括以下步骤：

该方法包括以下步骤：

步骤一、公路病害初始巡检及公路病害照片拍摄存储：

步骤101、养护巡检人员头戴AR眼镜，并操作开启AR眼镜，养护巡检人员随巡检车辆移动对公路病害进行初始巡检；

步骤102、在养护巡检人员随巡检车辆移动对公路病害进行初始巡检的过程中，当养护巡检人员目视发现病害后，通过麦克风输入“开始拍照”命令，则触发启动拍摄模块进入拍摄状态；

步骤103、养护巡检人员调整AR眼镜确定好拍摄角度后，通过麦克风输入“拍照”命令，则拍摄模块拍照获取公路病害照片及拍照时间；且在拍摄模块获取公路病害照片时，同时定位模块和IMU传感器获取AR眼镜此时的位姿数据（X1、Y1、Z1、θ1、ψ1、φ1），则控制器模块将公路病害照片、拍照时间和位姿数据存储在存储模块中；其中，X1表示空间坐标系下的x轴坐标，Y1表示空间坐标系下的y轴坐标，Z1表示空间坐标系下的z轴坐标，θ1表示俯仰角，ψ1表示偏航角，φ1表示滚转角；

步骤二、公路病害照片检查：

步骤201、AR显示模块调取存储模块中的公路病害照片并显示在AR显示模块的虚拟屏幕上；

步骤202、养护巡检人员查看公路病害照片是否清晰完整，如果不满足清晰完整要求，通过麦克风输入“删除照片”命令，则公路病害照片、拍照时间和位姿数据删除，并按照步骤103所述的方法重新拍摄，直至获取的公路病害照片满足清晰完整要求；

步骤203、通过麦克风输入“上传照片”命令，则控制器模块将满足清晰完整要求的公路病害照片、拍照时间和位姿数据通过通信模块上传至云服务器中；

步骤204、多次重复步骤101至步骤203，完成整个公路病害初始巡检，得到多组的公路病害照片、拍照时间和位姿数据上传至云服务器中；

步骤三、公路病害特征提取及病害严重程度分析：

步骤301、云服务器将公路病害照片输入道路病害检测模块，道路病害检测模块采用深度卷积神经网络算法对公路病害照片进行处理，得到公路病害照片中的病害类型和病害数据；其中，所述病害类型包括横向裂纹、纵向裂纹、坑槽，所述横向裂纹和纵向裂纹的病害数据为裂缝长度和裂缝宽度，所述坑槽的病害数据为面积；

步骤302、云服务器将步骤301获得的病害数据输入病害程度分析模块进行比较判断，获得病害类型的程度；其中，所述病害类型的程度包括轻度、中度和重度；

步骤303、云服务器将步骤301获得的病害数据输入病害发展曲线模块中，获取病害预警状态，并控制器模块控制预警模块进行预警；

步骤四、公路病害后续巡检及公路病害照片拍摄存储：

步骤401、养护巡检人员头戴AR眼镜，并操作开启AR眼镜，养护巡检人员随巡检车辆移动对公路病害进行后续巡检；

步骤402、在养护巡检人员随巡检车辆移动对公路病害进行后续巡检过程中，定位模块对AR眼镜的位置进行实时检测，并将检测到的AR眼镜的位置（X，Y）和初始巡检的位置（X1，Y1）进行比较，如果，控制器模块通过扬声器提示“前方150m有待检测病害”；养护巡检人员随巡检车辆提前减速行驶；其中，X表示空间坐标系下后续实时检测到的x轴坐标，Y表示空间坐标系下后续实时检测到的y轴坐标；

步骤403、直至时，控制器模块通过扬声器提示“前方10m有待检测病害”；养护巡检人员通过AR显示模块调取初始巡检拍摄的公路病害照片并显示；

步骤404、养护巡检人员通过AR显示模块显示的初始巡检拍摄的公路病害照片，当养护巡检人员随巡检车辆移动目视发现病害后，定位模块和IMU传感器获取AR眼镜后续的位姿数据为（X2、Y2、Z2、θ2、ψ2、φ2），养护巡检人员调整AR眼镜，直至X2=X1、Y2=Y1、Z2=Z1、θ2=θ1、ψ2=ψ1、φ2=φ1，则AR眼镜调整为最佳拍摄位置；其中，X2表示空间坐标系下后续的x轴坐标，Y2表示空间坐标系下后续的y轴坐标，Z2表示空间坐标系下后续的z轴坐标，θ2表示后续的俯仰角，ψ2表示后续的偏航角，φ2表示后续的滚转角；

步骤405、按照步骤103至步骤203所述的方法，将后续巡检的公路病害照片、拍照时间和位姿数据通过通信模块上传至云服务器中；

步骤五、按照步骤三所述的方法，对后续巡检的公路病害照片进行公路病害特征提取及病害严重程度分析。

上述的一种基于AR的公路病害智能巡检方法，其特征在于：步骤302中云服务器步骤301获得的病害数据输入病害程度分析模块进行比较判断，获得病害类型的程度，具体过程如下：

步骤3021、如果病害类型为横向裂纹和纵向裂纹时，执行步骤3022；如果病害类型为坑槽时，执行步骤3023；

步骤3022、将横向裂纹和纵向裂纹的病害数据中裂缝长度记作L，裂缝宽度记作w，如果L≤L1，且w≤3mm，则说明病害类型为轻度；如果L1＜L≤L2，且w≤3mm，则说明病害类型为中度；如果L2＜L，且w＞3mm，则说明病害类型为重度；其中，L1为病害程度分析模块中裂纹长度第一设定值，L2为病害程度分析模块中裂纹长度第二设定值，且L2大于L1；

步骤3023、将坑槽的病害数据中面积记作s，如果s＜S，则说明病害类型为轻度；如果s≥S，则说明病害类型为重度；其中，S为病害程度分析模块中病害面积设定值。

上述的一种基于AR的公路病害智能巡检方法，其特征在于：步骤303中云服务器将步骤301获得的病害数据输入病害发展曲线模块中，获取病害预警状态，并控制器模块控制预警模块进行预警，具体过程如下：

步骤3031、如果病害类型为横向裂纹和纵向裂纹时，执行步骤3032；如果病害类型为坑槽时，执行步骤3033；

步骤3032、将横向裂纹和纵向裂纹的病害数据中裂缝长度记作L，裂缝宽度记作w，获取裂缝长宽比L/w，将裂缝长宽比L/w输入病害发展曲线模块中裂缝长宽比发展曲线中，得到当前裂缝长宽比L/w对应的经历时间；

如果当前裂缝长宽比L/w对应的经历时间小于最佳治理时间时，控制器模块控制预警模块输出“当前未达到最佳治理时间，请继续监测该病害”预警；

如果当前裂缝长宽比L/w对应的经历时间满足最佳治理时间时，控制器模块控制预警模块输出“已达到最佳治理时间，请及时治理”预警；

如果当前裂缝长宽比L/w对应的经历时间大于最佳治理时间时，控制器模块控制预警模块输出“已超过最佳治理时间，请尽快采取补救措施”预警；

步骤3033、将坑槽的病害数据中面积s输入病害发展曲线模块中坑槽病害面积发展曲线中，得到当前面积s对应的经历时间；

如果当前面积s对应的经历时间小于坑槽最佳治理时间时，控制器模块控制预警模块输出“当前未达到最佳治理时间，请继续监测该病害”预警；

如果当前面积s对应的经历时间满足坑槽最佳治理时间时，控制器模块控制预警模块输出“已达到最佳治理时间，请及时治理”预警；

如果当前面积s对应的经历时间大于坑槽最佳治理时间时，控制器模块控制预警模块输出“已超过最佳治理时间，请尽快采取补救措施”预警。

上述的一种基于AR的公路病害智能巡检方法，其特征在于：步骤3032中最佳治理时间的获取具体过程如下：

步骤A1、按照步骤一至步骤301所述的方法，预先获取历史数据裂缝长宽比以及各个裂缝长宽比对应的经历时间；

步骤A2、云服务器将各个裂缝长宽比以及各个裂缝长宽比对应的经历时间,以经历时间为横坐标，以裂缝长宽比为纵坐标，绘制拟合得到裂缝长宽比发展曲线；

步骤A3、将裂缝长宽比为L1/3输入裂缝长宽比发展曲线得到对应的经历时间记作T1，将裂缝长宽比为L2/3输入裂缝长宽比发展曲线得到对应的经历时间记作T1’，则最佳治理时间为（T1～T1’）的时间段；

步骤3032中坑槽最佳治理时间的获取具体过程如下：

步骤B1、按照步骤一至步骤301所述的方法，预先获取历史数据坑槽病害面积以及各个坑槽病害面积对应的经历时间；

步骤B2、云服务器（20）将各个坑槽病害面积以及各个坑槽病害面积对应的经历时间,以经历时间为横坐标，以坑槽病害面积为纵坐标，绘制拟合得到坑槽病害面积发展曲线；

步骤B3、将坑槽病害面积为S输入坑槽病害面积发展曲线得到对应的经历时间记作T2，则坑槽最佳治理时间为（T2/2～T2）的时间段。

本发明与现有技术相比具有以下优点：

1、本发明方法步骤简单，设计合理，解决目前依赖手机/平板，外业巡检人工作量大、不能可视化和成本高的问题。

2、本发明头戴式AR眼镜，可视化巡检，解放双手，可以获取公路病害照片，还可以在AR眼镜的虚拟大屏上查看不同巡检时间的病害照片，降低了养护巡检作业难度及专业化程度。

3、本发明通过后续检测到的AR眼镜的位置和初始巡检的位置进行比较，便于接近初始巡检的公路病害处，养护巡检人员随巡检车辆提前减速行驶，目视发现病害，解决了病害监测巡检遗漏问题，减少了发现病害的时间，降低了道路行车和人员安全风险。

4、本发明通过后续公路巡检过程中获取的后续的位姿数据等于初始巡检的位姿数据，这样确保后续巡检拍摄的公路病害照片和初始巡检拍摄的公路病害照片一致，排除了因拍摄位置及姿态的不同造成病害持续监测数据分析的误差，从而保证了持续监测公路病害特征提取及病害严重程度分析的科学有效。

5、本发明道路病害检测模块采用深度卷积神经网络算法对公路病害照片进行处理，得到公路病害照片中的病害类型和病害数据，解决了传统人工拉线测量效率低和成本高的问题，减少人为测量主观干扰，提高了病害巡检的质量，为后期病害治理提供可靠的依据。

6、本发明将病害数据输入病害程度分析模块进行比较判断，获得病害类型的程度，实现病害分析的及时准确，病害治理时间科学有效。

综上所述，本发明方法步骤简单、设计合理，养护巡检人员佩戴AR眼镜进行公路病害巡检，且实现公路病害的定位、病害照片的获取、公路病害特征提取及病害严重程度分析，及时对病害预警，且能语音交互及病害信息可视化显示，减少外业工作量和成本。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的系统框图。

图2为本发明的方法流程框图。

具体实施方式

如图1所示，本发明基于AR的公路病害智能巡检系统，包括AR眼镜10和云服务器20，所述AR眼镜10为头戴式AR眼镜，所述AR眼镜10中设置有控制器模块1、传感器模块2以及与所述控制器模块1连接的存储模块4、通信模块5、AR显示模块3和拍摄模块6，所述传感器模块2包括用于采集AR眼镜位置的定位模块21、用于采集AR眼镜位姿的IMU传感器22、录入语音的麦克风23和输出语音的扬声器24；

所述云服务器20上设置有道路病害检测模块7、病害程度分析模块8、病害发展曲线模块9和预警模块11。

本实施例中，所述道路病害检测模块7用于通过深度卷积神经网络算法对公路病害照片进行处理，得到公路病害照片中的病害类型和病害数据；

所述病害程度分析模块8用于将病害数据进行比较判断，获得病害类型的程度；其中，所述病害类型的程度包括轻度、中度和重度；

所述病害发展曲线模块9中设置裂缝长宽比发展曲线和坑槽病害面积发展曲线;

预警模块11用于监测“当前未达到最佳治理时间，请继续监测该病害”、“已达到最佳治理时间，请及时治理”和“已超过最佳治理时间，请尽快采取补救措施”。

本实施例中，所述AR眼镜10通过通信模块5与云服务器20进行无线通信。

本实施例中，所述定位模块21为GSP定位模块或者北斗定位模块。

本实施例中，所述通信模块5为2G、3G、4G、5G移动通信网络。

如图2所示，本发明基于AR的公路病害智能巡检方法，包括以下步骤：

该方法包括以下步骤：

步骤一、公路病害初始巡检及公路病害照片拍摄存储：

步骤101、养护巡检人员头戴AR眼镜10，并操作开启AR眼镜10，养护巡检人员随巡检车辆移动对公路病害进行初始巡检；

步骤102、在养护巡检人员随巡检车辆移动对公路病害进行初始巡检的过程中，当养护巡检人员目视发现病害后，通过麦克风23输入“开始拍照”命令，则触发启动拍摄模块6进入拍摄状态；

步骤103、养护巡检人员调整AR眼镜10确定好拍摄角度后，通过麦克风23输入“拍照”命令，则拍摄模块6拍照获取公路病害照片及拍照时间；且在拍摄模块6获取公路病害照片时，同时定位模块21和IMU传感器22获取AR眼镜10此时的位姿数据（X1、Y1、Z1、θ1、ψ1、φ1），则控制器模块1将公路病害照片、拍照时间和位姿数据存储在存储模块4中；其中，X1表示空间坐标系下的x轴坐标，Y1表示空间坐标系下的y轴坐标，Z1表示空间坐标系下的z轴坐标，θ1表示俯仰角，ψ1表示偏航角，φ1表示滚转角；

步骤二、公路病害照片检查：

步骤201、AR显示模块3调取存储模块4中的公路病害照片并显示在AR显示模块3的虚拟屏幕上；

步骤202、养护巡检人员查看公路病害照片是否清晰完整，如果不满足清晰完整要求，通过麦克风23输入“删除照片”命令，则公路病害照片、拍照时间和位姿数据删除，并按照步骤103所述的方法重新拍摄，直至获取的公路病害照片满足清晰完整要求；

步骤203、通过麦克风23输入“上传照片”命令，则控制器模块1将满足清晰完整要求的公路病害照片、拍照时间和位姿数据通过通信模块5上传至云服务器20中；

步骤204、多次重复步骤101至步骤203，完成整个公路病害初始巡检，得到多组的公路病害照片、拍照时间和位姿数据上传至云服务器20中；

步骤三、公路病害特征提取及病害严重程度分析：

步骤301、云服务器20将公路病害照片输入道路病害检测模块7，道路病害检测模块7采用深度卷积神经网络算法对公路病害照片进行处理，得到公路病害照片中的病害类型和病害数据；其中，所述病害类型包括横向裂纹、纵向裂纹、坑槽，所述横向裂纹和纵向裂纹的病害数据为裂缝长度和裂缝宽度，所述坑槽的病害数据为面积；

步骤302、云服务器20将步骤301获得的病害数据输入病害程度分析模块8进行比较判断，获得病害类型的程度；其中，所述病害类型的程度包括轻度、中度和重度；

步骤303、云服务器20将步骤301获得的病害数据输入病害发展曲线模块中，获取病害预警状态，并控制器模块1控制预警模块11进行预警；

步骤四、公路病害后续巡检及公路病害照片拍摄存储：

步骤401、养护巡检人员头戴AR眼镜10，并操作开启AR眼镜10，养护巡检人员随巡检车辆移动对公路病害进行后续巡检；

步骤402、在养护巡检人员随巡检车辆移动对公路病害进行后续巡检过程中，定位模块21对AR眼镜10的位置进行实时检测，并将检测到的AR眼镜的位置（X，Y）和初始巡检的位置（X1，Y1）进行比较，如果，控制器模块1通过扬声器24提示“前方150m有待检测病害”；养护巡检人员随巡检车辆提前减速行驶；其中，X表示空间坐标系下后续实时检测到的x轴坐标，Y表示空间坐标系下后续实时检测到的y轴坐标；

步骤403、直至时，控制器模块1通过扬声器24提示“前方10m有待检测病害”；养护巡检人员通过AR显示模块3调取初始巡检拍摄的公路病害照片并显示；

步骤404、养护巡检人员通过AR显示模块3显示的初始巡检拍摄的公路病害照片，当养护巡检人员随巡检车辆移动目视发现病害后，定位模块21和IMU传感器22获取AR眼镜10后续的位姿数据为（X2、Y2、Z2、θ2、ψ2、φ2），养护巡检人员调整AR眼镜10，直至X2=X1、Y2=Y1、Z2=Z1、θ2=θ1、ψ2=ψ1、φ2=φ1，则AR眼镜10调整为最佳拍摄位置；其中，X2表示空间坐标系下后续的x轴坐标，Y2表示空间坐标系下后续的y轴坐标，Z2表示空间坐标系下后续的z轴坐标，θ2表示后续的俯仰角，ψ2表示后续的偏航角，φ2表示后续的滚转角；

步骤405、按照步骤103至步骤203所述的方法，将后续巡检的公路病害照片、拍照时间和位姿数据通过通信模块5上传至云服务器20中；

步骤五、按照步骤三所述的方法，对后续巡检的公路病害照片进行公路病害特征提取及病害严重程度分析。

本实施例中，步骤302中云服务器20步骤301获得的病害数据输入病害程度分析模块8进行比较判断，获得病害类型的程度，具体过程如下：

步骤3021、如果病害类型为横向裂纹和纵向裂纹时，执行步骤3022；如果病害类型为坑槽时，执行步骤3023；

步骤3022、将横向裂纹和纵向裂纹的病害数据中裂缝长度记作L，裂缝宽度记作w，如果L≤L1，且w≤3mm，则说明病害类型为轻度；如果L1＜L≤L2，且w≤3mm，则说明病害类型为中度；如果L2＜L，且w＞3mm，则说明病害类型为重度；其中，L1为病害程度分析模块8中裂纹长度第一设定值，L2为病害程度分析模块8中裂纹长度第二设定值，且L2大于L1；

步骤3023、将坑槽的病害数据中面积记作s，如果s＜S，则说明病害类型为轻度；如果s≥S，则说明病害类型为重度；其中，S为病害程度分析模块8中病害面积设定值。

本实施例中，步骤303中云服务器20将步骤301获得的病害数据输入病害发展曲线模块9中，获取病害预警状态，并控制器模块1控制预警模块11进行预警，具体过程如下：

步骤3031、如果病害类型为横向裂纹和纵向裂纹时，执行步骤3032；如果病害类型为坑槽时，执行步骤3033；

步骤3032、将横向裂纹和纵向裂纹的病害数据中裂缝长度记作L，裂缝宽度记作w，获取裂缝长宽比L/w，将裂缝长宽比L/w输入病害发展曲线模块9中裂缝长宽比发展曲线中，得到当前裂缝长宽比L/w对应的经历时间；

如果当前裂缝长宽比L/w对应的经历时间小于最佳治理时间时，控制器模块1控制预警模块11输出“当前未达到最佳治理时间，请继续监测该病害”预警；

如果当前裂缝长宽比L/w对应的经历时间满足最佳治理时间时，控制器模块1控制预警模块11输出“已达到最佳治理时间，请及时治理”预警；

如果当前裂缝长宽比L/w对应的经历时间大于最佳治理时间时，控制器模块1控制预警模块11输出“已超过最佳治理时间，请尽快采取补救措施”预警；

步骤3033、将坑槽的病害数据中面积s输入病害发展曲线模块9中坑槽病害面积发展曲线中，得到当前面积s对应的经历时间；

如果当前面积s对应的经历时间小于坑槽最佳治理时间时，控制器模块1控制预警模块11输出“当前未达到最佳治理时间，请继续监测该病害”预警；

如果当前面积s对应的经历时间满足坑槽最佳治理时间时，控制器模块1控制预警模块11输出“已达到最佳治理时间，请及时治理”预警；

如果当前面积s对应的经历时间大于坑槽最佳治理时间时，控制器模块1控制预警模块11输出“已超过最佳治理时间，请尽快采取补救措施”预警。

本实施例中，步骤3032中最佳治理时间的获取具体过程如下：

步骤A1、按照步骤一至步骤301所述的方法，预先获取历史数据裂缝长宽比以及各个裂缝长宽比对应的经历时间；

步骤A2、云服务器20将各个裂缝长宽比以及各个裂缝长宽比对应的经历时间,以经历时间为横坐标，以裂缝长宽比为纵坐标，绘制拟合得到裂缝长宽比发展曲线；

步骤A3、将裂缝长宽比为L1/3输入裂缝长宽比发展曲线得到对应的经历时间记作T1，将裂缝长宽比为L2/3输入裂缝长宽比发展曲线得到对应的经历时间记作T1’，则最佳治理时间为（T1～T1’）的时间段；

步骤3032中坑槽最佳治理时间的获取具体过程如下：

步骤B1、按照步骤一至步骤301所述的方法，预先获取历史数据坑槽病害面积以及各个坑槽病害面积对应的经历时间；

步骤B2、云服务器20将各个坑槽病害面积以及各个坑槽病害面积对应的经历时间,以经历时间为横坐标，以坑槽病害面积为纵坐标，绘制拟合得到坑槽病害面积发展曲线；

步骤B3、将坑槽病害面积为S输入坑槽病害面积发展曲线得到对应的经历时间记作T2，则坑槽最佳治理时间为（T2/2～T2）的时间段。

本实施例中，空间坐标系为CGCS2000坐标系。

本实施例中，L1为裂纹长度第一设定值，L2为裂纹长度第二设定值，且L2大于L1，且L1取值为500mm，L2取值为1000mm,m为单位米，mm为毫米。可以根据各地实际情况调整。

本实施例中，S取值为0.1平方米。可以根据各地实际情况调整。

本实施例中，深度卷积神经网络算法可参考基于多通道特征融合的道路病害智能检测算法中的方法或者其它能实现的本领域常规方法。

综上所述，本发明方法步骤简单、设计合理，养护巡检人员佩戴AR眼镜进行公路病害巡检，且实现公路病害的定位、病害照片的获取、公路病害特征提取及病害严重程度分析，及时对病害预警，且能语音交互及病害信息可视化显示，减少外业工作量和成本。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (7)

1.一种基于AR的公路病害智能巡检方法，该方法所采用的系统包括AR眼镜（10）和云服务器（20），所述AR眼镜（10）为头戴式AR眼镜，所述AR眼镜（10）中设置有控制器模块（1）、传感器模块（2）以及与所述控制器模块（1）连接的存储模块（4）、通信模块（5）、AR显示模块（3）和拍摄模块（6），所述传感器模块（2）包括用于采集AR眼镜位置的定位模块（21）、用于采集AR眼镜位姿的IMU传感器（22）、录入语音的麦克风（23）和输出语音的扬声器（24）；

所述云服务器（20）上设置有道路病害检测模块（7）、病害程度分析模块（8）、病害发展曲线模块（9）和预警模块（11）；其特征在于，该方法包括以下步骤：

步骤一、公路病害初始巡检及公路病害照片拍摄存储：

步骤101、养护巡检人员头戴AR眼镜（10），并操作开启AR眼镜（10），养护巡检人员随巡检车辆移动对公路病害进行初始巡检；

步骤102、在养护巡检人员随巡检车辆移动对公路病害进行初始巡检的过程中，当养护巡检人员目视发现病害后，通过麦克风（23）输入“开始拍照”命令，则触发启动拍摄模块（6）进入拍摄状态；

步骤103、养护巡检人员调整AR眼镜（10）确定好拍摄角度后，通过麦克风（23）输入“拍照”命令，则拍摄模块（6）拍照获取公路病害照片及拍照时间；且在拍摄模块（6）获取公路病害照片时，同时定位模块（21）和IMU传感器（22）获取AR眼镜（10）此时的位姿数据（X1、Y1、Z1、θ1、ψ1、φ1），则控制器模块（1）将公路病害照片、拍照时间和位姿数据存储在存储模块（4）中；其中，X1表示空间坐标系下的x轴坐标，Y1表示空间坐标系下的y轴坐标，Z1表示空间坐标系下的z轴坐标，θ1表示俯仰角，ψ1表示偏航角，φ1表示滚转角；

步骤二、公路病害照片检查：

步骤201、AR显示模块（3）调取存储模块（4）中的公路病害照片并显示在AR显示模块（3）的虚拟屏幕上；

步骤202、养护巡检人员查看公路病害照片是否清晰完整，如果不满足清晰完整要求，通过麦克风（23）输入“删除照片”命令，则公路病害照片、拍照时间和位姿数据删除，并按照步骤103所述的方法重新拍摄，直至获取的公路病害照片满足清晰完整要求；

步骤203、通过麦克风（23）输入“上传照片”命令，则控制器模块（1）将满足清晰完整要求的公路病害照片、拍照时间和位姿数据通过通信模块（5）上传至云服务器（20）中；

步骤204、多次重复步骤101至步骤203，完成整个公路病害初始巡检，得到多组的公路病害照片、拍照时间和位姿数据上传至云服务器（20）中；

步骤三、公路病害特征提取及病害严重程度分析：

步骤301、云服务器（20）将公路病害照片输入道路病害检测模块（7），道路病害检测模块（7）采用深度卷积神经网络算法对公路病害照片进行处理，得到公路病害照片中的病害类型和病害数据；其中，所述病害类型包括横向裂纹、纵向裂纹、坑槽，所述横向裂纹和纵向裂纹的病害数据为裂缝长度和裂缝宽度，所述坑槽的病害数据为面积；

步骤302、云服务器（20）将步骤301获得的病害数据输入病害程度分析模块（8）进行比较判断，获得病害类型的程度；其中，所述病害类型的程度包括轻度、中度和重度；

步骤303、云服务器（20）将步骤301获得的病害数据输入病害发展曲线模块中，获取病害预警状态，并控制器模块（1）控制预警模块（11）进行预警；

步骤四、公路病害后续巡检及公路病害照片拍摄存储：

步骤401、养护巡检人员头戴AR眼镜（10），并操作开启AR眼镜（10），养护巡检人员随巡检车辆移动对公路病害进行后续巡检；

步骤402、在养护巡检人员随巡检车辆移动对公路病害进行后续巡检过程中，定位模块（21）对AR眼镜（10）的位置进行实时检测，并将检测到的AR眼镜的位置（X，Y）和初始巡检的位置（X1，Y1）进行比较，如果，控制器模块（1）通过扬声器（24）提示“前方150m有待检测病害”；养护巡检人员随巡检车辆提前减速行驶；其中，X表示空间坐标系下后续实时检测到的x轴坐标，Y表示空间坐标系下后续实时检测到的y轴坐标；

步骤403、直至时，控制器模块（1）通过扬声器（24）提示“前方10m有待检测病害”；养护巡检人员通过AR显示模块（3）调取初始巡检拍摄的公路病害照片并显示；

步骤404、养护巡检人员通过AR显示模块（3）显示的初始巡检拍摄的公路病害照片，当养护巡检人员随巡检车辆移动目视发现病害后，定位模块（21）和IMU传感器（22）获取AR眼镜（10）后续的位姿数据为（X2、Y2、Z2、θ2、ψ2、φ2），养护巡检人员调整AR眼镜（10），直至X2=X1、Y2=Y1、Z2=Z1、θ2=θ1、ψ2=ψ1、φ2=φ1，则AR眼镜（10）调整为最佳拍摄位置；其中，X2表示空间坐标系下后续的x轴坐标，Y2表示空间坐标系下后续的y轴坐标，Z2表示空间坐标系下后续的z轴坐标，θ2表示后续的俯仰角，ψ2表示后续的偏航角，φ2表示后续的滚转角；

步骤405、按照步骤103至步骤203所述的方法，将后续巡检的公路病害照片、拍照时间和位姿数据通过通信模块（5）上传至云服务器（20）中；

步骤五、按照步骤三所述的方法，对后续巡检的公路病害照片进行公路病害特征提取及病害严重程度分析；

步骤303中云服务器（20）将步骤301获得的病害数据输入病害发展曲线模块（9）中，获取病害预警状态，并控制器模块（1）控制预警模块（11）进行预警，具体过程如下：

步骤3031、如果病害类型为横向裂纹和纵向裂纹时，执行步骤3032；如果病害类型为坑槽时，执行步骤3033；

步骤3032、将横向裂纹和纵向裂纹的病害数据中裂缝长度记作L，裂缝宽度记作w，获取裂缝长宽比L/w，将裂缝长宽比L/w输入病害发展曲线模块（9）中裂缝长宽比发展曲线中，得到当前裂缝长宽比L/w对应的经历时间；

如果当前裂缝长宽比L/w对应的经历时间小于最佳治理时间时，控制器模块（1）控制预警模块（11）输出“当前未达到最佳治理时间，请继续监测该病害”预警；

如果当前裂缝长宽比L/w对应的经历时间满足最佳治理时间时，控制器模块（1）控制预警模块（11）输出“已达到最佳治理时间，请及时治理”预警；

如果当前裂缝长宽比L/w对应的经历时间大于最佳治理时间时，控制器模块（1）控制预警模块（11）输出“已超过最佳治理时间，请尽快采取补救措施”预警；

步骤3033、将坑槽的病害数据中面积s输入病害发展曲线模块（9）中坑槽病害面积发展曲线中，得到当前面积s对应的经历时间；

如果当前面积s对应的经历时间小于坑槽最佳治理时间时，控制器模块（1）控制预警模块（11）输出“当前未达到最佳治理时间，请继续监测该病害”预警；

如果当前面积s对应的经历时间满足坑槽最佳治理时间时，控制器模块（1）控制预警模块（11）输出“已达到最佳治理时间，请及时治理”预警；

如果当前面积s对应的经历时间大于坑槽最佳治理时间时，控制器模块（1）控制预警模块（11）输出“已超过最佳治理时间，请尽快采取补救措施”预警。

2.按照权利要求1所述的一种基于AR的公路病害智能巡检方法，其特征在于：所述道路病害检测模块（7）用于通过深度卷积神经网络算法对公路病害照片进行处理，得到公路病害照片中的病害类型和病害数据；

所述病害程度分析模块（8）用于将病害数据进行比较判断，获得病害类型的程度；其中，所述病害类型的程度包括轻度、中度和重度；

所述病害发展曲线模块（9）中设置裂缝长宽比发展曲线和坑槽病害面积发展曲线;

预警模块（11）用于监测“当前未达到最佳治理时间，请继续监测该病害”、“已达到最佳治理时间，请及时治理”和“已超过最佳治理时间，请尽快采取补救措施”。

3.按照权利要求1或2所述的一种基于AR的公路病害智能巡检方法，其特征在于：所述AR眼镜（10）通过通信模块（5）与云服务器（20）进行无线通信。

4.按照权利要求1所述的一种基于AR的公路病害智能巡检方法，其特征在于：所述定位模块（21）为GSP定位模块或者北斗定位模块。

5.按照权利要求1所述的一种基于AR的公路病害智能巡检方法，其特征在于：所述通信模块（5）为2G、3G、4G、5G移动通信网络。

6.按照权利要求1所述的一种基于AR的公路病害智能巡检方法，其特征在于：步骤302中云服务器（20）步骤301获得的病害数据输入病害程度分析模块（8）进行比较判断，获得病害类型的程度，具体过程如下：

步骤3021、如果病害类型为横向裂纹和纵向裂纹时，执行步骤3022；如果病害类型为坑槽时，执行步骤3023；

步骤3022、将横向裂纹和纵向裂纹的病害数据中裂缝长度记作L，裂缝宽度记作w，如果L≤L1，且w≤3mm，则说明病害类型为轻度；如果L1＜L≤L2，且w≤3mm，则说明病害类型为中度；如果L2＜L，且w＞3mm，则说明病害类型为重度；其中，L1为病害程度分析模块（8）中裂纹长度第一设定值，L2为病害程度分析模块（8）中裂纹长度第二设定值，且L2大于L1；

步骤3023、将坑槽的病害数据中面积记作s，如果s＜S，则说明病害类型为轻度；如果s≥S，则说明病害类型为重度；其中，S为病害程度分析模块（8）中病害面积设定值。

7.按照权利要求1所述的一种基于AR的公路病害智能巡检方法，其特征在于：步骤3032中最佳治理时间的获取具体过程如下：

步骤A1、按照步骤一至步骤301所述的方法，预先获取历史数据裂缝长宽比以及各个裂缝长宽比对应的经历时间；

步骤A2、云服务器（20）将各个裂缝长宽比以及各个裂缝长宽比对应的经历时间,以经历时间为横坐标，以裂缝长宽比为纵坐标，绘制拟合得到裂缝长宽比发展曲线；

步骤A3、将裂缝长宽比为L1/3输入裂缝长宽比发展曲线得到对应的经历时间记作T1，将裂缝长宽比为L2/3输入裂缝长宽比发展曲线得到对应的经历时间记作T1’，则最佳治理时间为（T1～T1’）的时间段；

步骤3032中坑槽最佳治理时间的获取具体过程如下：

步骤B1、按照步骤一至步骤301所述的方法，预先获取历史数据坑槽病害面积以及各个坑槽病害面积对应的经历时间；

步骤B2、云服务器（20）将各个坑槽病害面积以及各个坑槽病害面积对应的经历时间,以经历时间为横坐标，以坑槽病害面积为纵坐标，绘制拟合得到坑槽病害面积发展曲线；

步骤B3、将坑槽病害面积为S输入坑槽病害面积发展曲线得到对应的经历时间记作T2，则坑槽最佳治理时间为（T2/2～T2）的时间段。