CN115661965A - 一种融合自动机场的公路无人机智能巡检系统 - Google Patents

Abstract

本发明涉及公路自动化巡检技术领域，更具体地说，涉及一种融合自动机场的公路无人机智能巡检系统。包括无人机前端、自动机场、无人机云管理平台和第三方用户系统，无人机前端可执行指令与拍摄道路信息并传输信息至自动机场，自动机场可对传输进行边缘处理并传输至无人机云管理平台，无人机云管理平台可处理信息的传输，同时通过内置模块完成指令下达与数据分析工作，并将分析结果传输至第三方用户系统，同时第三方用户系统可传达巡检指令。本发明的有益效果是架构通过联合智能无人机终端、自动机场与云管理平台软硬件设施，与一路三方系统进行对接，该系统架构可靠性高、可实施性强，依托该架构，可稳定的完成公路巡检工作。

Description

一种融合自动机场的公路无人机智能巡检系统

技术领域

本发明涉及公路自动化巡检技术领域，更具体地说，涉及一种融合自动机场的公路无人机智能巡检系统。

背景技术

高速公路巡检任务必要性强、工作量大且深度关系着公民生命与财产安全。目前高速公路巡查工作普遍存在一下困难：人员编制不足，难以有效覆盖全线路段；发生拥堵时，管理人员和车辆无法及时到场；边坡桥梁巡查，难度大且风险高；涉路施工点多，安全管控难度大；夜晚执勤巡查，强度高且风险大；行人上高速时，难以做到及时发现并劝阻；违停取证难度大。因此需要依靠无人飞行器的智能巡检方式解决上述困难。

依靠具备高度自动化的无人机系统进行公路场景的巡检，能够在很大程度上减轻人员巡检的工作强度，实现巡检任务的降本增效。无人机智能巡检系统一般依靠无人机终端作为巡检前端，将飞行过程所拍摄或监测到的视频图像或感知数据依靠无线传输方式实时或者一定延时的展现给巡检员，或是传送给数据处理中心，前者可以直观的观测针对多样化对象目标的巡检过程，而后者可依靠一定的智能处理算法实现对目标异常的自动化识别与告警。

随着无人机技术的快速发展，无人机相关系统已经得到了大量的研究关注,针对于依靠无人机实现对高速公路智能巡检场景，目前还未有相关方法或系统的公开研究。现有相关技术主要存在两方面的不足，主要体现在：一是现有技术基本上少有关注高速公路巡检场景，而高速公路场景与其他场景相比较为复杂，业务对象较多且相异；二是现有技术大多单独依靠无人机终端或是依靠前后端简单的交互，实现优化或者识别，这种方式在复杂业务场景下可能缺乏可行性。总的来说，现有研究未有系统化全面的考虑针对高速公路场景下依靠无人机终端，融合自动机场、云管理平台等设施软硬件，并搭建面向客户系统的自动化巡检系统。

发明内容

为解决上述技术问题，本发明涉及公路自动化巡检技术领域，更具体地说，涉及一种融合自动机场的公路无人机智能巡检系统。

本发明采用的技术方案是：一种融合自动机场的公路无人机智能巡检系统，其特征在于，包括无人机前端、自动机场、无人机云管理平台与第三方用户系统，

将所述无人机前端与所述自动机场部署于相距巡检目标较近的场所，

所述第三方用户系统下发巡检指令至所述无人机云管理平台；

所述无人机云管理平台对所述巡检指令进行判定后对所述自动机场下发任务指令，通过所述无人机前端采集道路数据，采集的所述数据通过非授权频段(2.4GHz/5.8GHz)进行专网和/或依靠4G/5G的公网回传至所述自动机场进行边缘处理；

边缘处理后的所述数据通过所述公网传输至所述无人机云管理平台，通过所述无人机云管理平台与所述第三方用户系统对接，完成巡检信息数据的分析与传输，并进行可视化展示。

进一步地，所述无人机云管理平台内设置有：

巡飞前准备模块：可对空域无人机巡检管理计划的空管部门报备申请，同时可完成无人机巡飞任务的制定与向所述自动机场的任务指令派发；

巡飞中执行模块：根据所述任务指令完成自动巡飞，在自动巡飞过程中可实现突发任务的接收与调整，同时可实现人工介入与自动巡飞的状态切换；

巡飞后分析模块：在巡飞后可自动进行业务报表的整理、数据分析处理以及AI模型的训练优化。

进一步地，所述无人机云管理平台设置有数据存储模块，所述数据存储模块可设定时间存储所述巡检信息数据，所述第三方用户系统的巡检指令可通过所述无人机云管理平台分析后查询所述数据存储模块是否有近期已完成的所述巡检信息数据，若有近期已完成的所述巡检信息数据，则根据现有数据支撑反网结果至所述第三方用户系统；若没有近期已完成的所述巡检信息数据，则进行巡检目标的设定和无人机航迹规划并将规划结果下发至所述自动机场。

进一步地，所述巡检系统设置有航线规划模块，所述航线规划模块以所述无人机终端设备的能量消耗、机动能力、威胁回避与飞行环境为约束条件，通过优化目标进行航线规划。

进一步地，所述航线规划模块设置有高速道路地理曲线分析模块，所述高速道路地理曲线分析模块可在巡飞过程中规避高速道路的红线范围。

进一步地，巡检系统设置有无人机动作设定模块，所述无人机动作设定模块根据如下步骤完成动作设定：

选定GIS/BIM标准，依靠自定义摘取的方式，梳理构件模型所用的数学描述语言；

依靠各固定识别对象的空间结构和大小进行分类；

基于个动作间的关系，梳理明确动作间制约情况，将具备独立影响的动作分离并进行单独优化。

进一步地，所述巡检系统设置有自动检测模块，所述自动检测模块包括如下技术：

基于YOLOv5的目标检测技术：基于YOLOv5网络模型，在兼顾识别精度与识别效率的同时可实现系统的实时智能识别；

基于ICNet的语义分割技术：从图像和视频中提取高速公路区域，可作为检测识别任务的前期预处理功能；

基于AnoGAN的异常检测技术：对图像和视频中的异常目标进行检测和预警，可实现对不限特定种类的异常目标进行实时的检测。

进一步地，所述无人机前端设置有AI计算模块，所述AI计算模块可接受巡飞指令并可传达指令至所述无人机终端设备，同时可对所述无人机终端设备进行飞行控制与实时自动识别道路信息。

进一步地，所述自动机场设置有边缘服务器，所述边缘服务器可将从所述无人机前端接受的数据信息实时识别并进行边缘化处理。

进一步地，所述自动机场可支持所述无人机终端设备的自动换电与道路环境的天气评估。

本发明具有的优点和积极效果是：本发明系统针对高速公路场景的巡检业务而构建，系统的架构、功能逻辑与高速公路场景深度匹配，无人机的飞行航线、巡检工作的内容、业务处理的闭环逻辑等均与一路三方密切关注的工作内容相对应，本发明相比于通用型巡检系统，具备更为高效和严密的功能体系；现有方案或者方法大多关注于非高速公路巡检领域的某个业务场景，部分方案未能实现业务处理上的闭环，而本发明系统通过云管理平台打通无人机巡检前端与一路三方运维系统的协同壁垒，实现了主动发起和被动响应双模式的巡检业务闭环高效处理；高速公路场景中巡检对象类型丰富且巡检内容复杂多样，本发明系统依靠待巡检对象的地理和建筑信息模型，构建实现了包含无人机高度、航向、焦距、姿态在内的多元动作的自动化设定方法，确保对目标的稳定感知；高速公路场景中待巡检目标较为多样，本发明系统依靠机器学习方法实现智能的识别，并对待检测目标依靠业务类型、自身特征进行了分类，结合使用多种人工智能识别方法，实现了与系统云边端架构相匹配的合理检测逻辑和精确检测水平。

本发明的系统架构具备高度的高速公路巡检场景针对性，架构通过联合智能无人机终端、自动机场、云管理平台等软硬件设施，与一路三方系统进行对接，该系统架构可靠性高、可实施性强，依托该架构，本发明系统已经具备稳健的业务工作能力；

以高速公路巡检工作为导向，以当前稳定可靠的5G通信、云边端计算、人工智能技术赋能，本发明系统所提出的功能架构业务逻辑清晰、功能关系密切关联，并具备合理性和高度的可行性；

本发明系统实现了感知端、边缘端、云端和第三方系统的协同联动，提出了主被动双模式的、面向第三方系统的业务自动处理逻辑方案，方案与高速公路巡检场景相匹配，具备较高的可行性，目前已经能够可靠稳定运行；

无人机动作的设定，对于当前现有系统来说并非易事，现有方法大多依靠手工方式进行，且费时费力，本发明系统提出依靠地理信息系统和建筑信息模型等数据对无人机的空间位置和巡检姿态进行自动化设定，具备高效可靠、降本提质的优点。

附图说明

图1是本发明实施例的流程示意图；

图2是本发明实施例的系统功能框架示意图；

图3是本发明实施例的系统业务闭环工作逻辑示意图(被动触发流程图)；

图4是本发明实施例的系统业务闭环工作逻辑示意图(主动出发流程图)。

#

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构的技术的描述，以避免不必要地混淆本发明的概念。

下面结合附图对本发明的实施例做出说明。

一种融合自动机场的公路无人机智能巡检系统，如图1所示，系统分为无人机前端、自动机场、无人机云管理平台和第三方用户系统四个模块。其中无人机前端和自动机场部署于相聚巡检目标较近的场所，无人机终端设备(即无人机)结合了人工智能芯片，能够支撑无人机在飞行过程中对采集数据的快速预处理与飞行控制；

无人机所感知的数据能够通过非授权频段(2.4GHz/5.8GHz)进行专网或者依靠4G与5G进行公网回传，回传至自动机场进行必要的边缘处理，自动机场可支撑无人机设备的容纳存储，并支撑自动换电、天气评估功能，同时具备基站能力可将无人机无线回传数据进行高效接受，另外还可在无人机返回后将高分辨率感知数据进行转存，并将上述数据通过公网快速传输至无人机云管理平台；

无人机云管理平台负责对自动机场、无人机等设备进行综合业务管理，自身对前端收集的数据进行全面分析处理，并与第三方用户系统进行业务对接，支撑业务闭环操作。

系统基于云边端计算架构、融合4G/5G公网与ISM频段的多路宽带自适应通信、GPU算法与弹性存储等基础能力，依托智能无人机(不限于固定翼或者旋翼)、自动机场系统与无人机云管理平台等软硬件，实现前端巡飞数据采集、数据快速可靠回传、数据预识别处理以及大数据分析与存储等支撑能力，通过结合面向高速公路场景的云管理平台的前后端功能设计，确保系统具备独立且完备的业务处理能力。与此同时，遵循模块化设计理念的高速公路无人机智能巡检系统具备良好的对内功能组件兼容性和对外系统对接能力，确保组件在系统上及时、简便的更新，保障系统与一路三方系统的可靠对接，支撑实现稳定高效的业务闭环。

优选地，巡检系统的功能框架，如图2所示，依托先进的运算、通信和存储的基础能力，系统依照基础功能、巡飞前准备、巡飞中执行和巡飞后分析对功能进行模块划分。其中链路自适应功能通过参考无线信号质量及时切换跳变链路，保障图传过程的可靠稳定性；

巡飞前的空域管理负责完成无人机巡检计划向空管部门的报备申请，任务管理和机场管理主要完成无人机巡飞任务的指定以及巡飞任务向执行机场的派发，实现自动化的巡飞航线规划、巡检动作的决策和指令的自动识别与处理；

基于巡飞前的规划管理，无人机可自动的完成巡飞任务，系统支持巡飞过程中的人工介入和突发任务调整操作，在保证系统自身安全的同时，确保系统具备灵活的巡视能力；

系统在巡飞后会自动的进行执行命令的业务报表的整理、数据分析处理以及AI模型的训练优化工作。

依据一路三方管理部门的业务规范，系统的应用总体上分为日常巡检、突发应急巡检和专项巡检三部分。本发明实施例不同于现有研究成果所提出系统面向巡检业务实际进行设置，且不同的巡检目标在对无人机巡检动作、智能识别算法和业务闭环操作上可能存在较大的不同。

本发明实施例巡检系统的基础能力和系统功能作为系统应用的支撑，系统的应用内容具备开放性，可根据系统的自动化能力以及用户巡检的需求进行通用化设计改造或专用化定制功能。

优选地，本发明实施例应用闭环设计的智能巡检业务逻辑、面向高速公路特征环境的航迹规划技术、针对多样化巡检目标的无人机动作设定技术及巡检目标智能自动检测技术。

其中，闭环设计的智能巡检业务逻辑如图3、图4所示，在图3的被动触发业务中，首先由第三方的用户系统提出巡检要求，该要求可通过智能巡检系统的接口进行传输，巡检系统的无人机云管理平台在接收到巡检需求后，进行业务工作的判定，若第三方用户系统所需巡查内容已被无人机云管理平台获取，则可直接将巡检结果反馈给第三方用户系统；当此种情况发生时是在巡检系统近期已经完成巡检任务，但并未发生异常状况，或无人机云管理平台对之前的数据进行深入的数据分析，得到并存储有分析结果，可直接将巡检结果反馈至第三方用户系统。

当现有数据结果不能满足第三方用户系统的巡检需求，则无人机云管理平台则依靠需求进行巡检目标的设定和无人机航迹规划，并将规划结果下发至自动机场，自动机场设置有基站与气象站、机场系统与边缘服务器，通过基站与气象站可进行气象环境条件的检测和评估，在评估可起飞后，对无人机进行换电操作，使无人机实现自动起飞保证续航可完成巡检要求，按照无人机云管理平台下达的飞行轨迹要求，快速的飞行到巡检目标处，并进行相应的拍摄、录像或探测工作，若无人机发现目标异常，则将异常情况实时的通过自动机场告警反馈至无人机云管理平台，若未能自动发现异常，则无人机待自动返航后将高分辨率的感知数据传输至自动机场，自动机场可将数据传输至无人机云管理平台，无人机云管理平台对感知数据进行深入分析，若发现问题，则及时形成工单，向第三方用户系统反馈，最终形成该业务逻辑的闭环。

主动触发型的系统业务工作逻辑如图4所示，其主要区别体现在巡检任务是由无人机云管理平台依据预先内部设定的巡检需求进行出发，而在巡检结束后，由云管理平台自身进行异常情况的判定以及进行有无必要上报的判定，若异常情况非常轻微，则认定为系统误判，无需上报至第三方用户系统，若判定为异常情况，则进行工单的自动生成，并通过系统间接口传输至第三方用户系统进行后续处理。

优选地，面向高速公路环境的航迹规划，本发明实施例提供的巡检系统以能量消耗、机动能力、威胁回避以及飞行环境为约束因素，以一定的优化目标进行航线规划，同时将高速公路的地理曲线纳入考量，以便保障巡飞画面的有效性和巡视体验，同时为了确保巡飞不为高速公路的正常运营带来安全干扰，高速公路红线范围内通过系统检测可尽量规避。

本发明实施例提供的巡检系统基于数字高速公路的地理信息数据，包含但不限于公路的数字高程模型、空间矢量信息以及图形影像数据，通过分析确定面向航迹规划算法的数据信息格式规范，将相关地理信息数据转换成简化的格式内容，确保规划约束的简便和清晰化，与此同时，针对新构建的附带多重约束的多目标航线规划问题，参考使用包含但不限于图形规划、栅格规划、类比规划、启发式搜索规划、生物进化规划等方法，确保航迹规划的高效性和可靠性。

优选地，面向巡检目标的无人机动作设定，系统选定并明确常用GIS/BIM标准，依靠自定义摘取的方式，梳理构建模型所用数学描述语言，其次考虑依靠各固定识别对象的空间结构和大小进行分类，如水平结构和垂直结构应当作为维度参考进行类别划分，类似结构的目标也应当在体积和形状上有所区分，基于各动作间的关系，梳理明确动作间制约情况，将具备独立影响的动作分离进行单独优化，对具备耦合关系的动作，一是分析其中的主导元素，明确主次优化关系，二是对于等价动作元素，从无人机安全性、能耗等角度出发，对主次关系进行确立，在明确优化顺序的基础上，考虑综合使用区间限定算法、交替优化算法、多分辨率算法等多种方法对动作元素进行求解。

优选地，本发明实施例还提供巡检目标智能自动检测，巡检目标的智能自动检测技术是系统实现自动化目标的重要前提，针对高速公路巡检场景中目标多样化和特征相异的特点，本发明实施例采取多种技术路线来解决场景中目标识别的问题，并在目标检测识别的基础上进行符合巡检规范内在逻辑的告警。系统包含但不限于以下三种技术：

基于YOLO v5的目标检测技术，适用于情报板文字识别、行人横穿马路、应急车道违停等任务。基于YOLO v5网络模型，兼顾识别精度与识别效率，同时具有网络轻量化、推理速度快的优点，以便满足系统智能识别的实时性要求；

基于ICNet的语义分割技术，目的在于从图像和视频中提取高速公路区域，可作为检测识别任务的前期预处理功能，适用于行人横穿马路、应急车道违停、路面异物检测等任务；

基于AnoGAN的异常检测技术，目的在于对图像和视频中的异常目标进行检测和预警，适用于路面异物检测等任务，可以实现对不限特定种类的异常目标进行实时的检测。

优选地，依托5G通信技术、大数据分析和处理技术、人工智能技术、云计算技术的高速公路无人机智能巡检目前在国际和国内均属于新兴技术和应用领域，无人机智能巡检方式是智慧高速运行的重要组成部分，该种方式能够依靠系统自身开展高速公路的巡检业务，与此同时，系统能够与一路三方系统进行业务对接，实现业务处理闭环，支撑实现高速巡检提质增效目标。

本发明实施例提供的公路无人机智能巡检系统具备三项自动化能力：一是起降自动化，能够支撑无人机前端和自动机场实现现场部署、自动起降、自动换电，系统能够实现对设备的远程监控，并通过系统整体联动，实现对巡检业务的及时快速响应；二是巡飞自动化，支持无人机的全自动的程控飞行，实现由人工智能技术支撑的自动检测和告警，以及辅助控制；三是业务自动化，包含大数据的自动分析处理、业务流程的自动闭环处理、人工智能模型的自动训练优化以及地理信息数据支撑的自动可视化过程。

本发明提供一种融合自动机场的公路无人机智能巡检系统，其中特别适用于高速公路领域的智能巡检。系统能够依靠云边端计算架构、多路宽带自适应通信、无人机管理平台和自动机场等基础能力和软硬件设施，实现起降自动化、飞行自动化、采集自动化和业务自动化的目标，并能够与高速公路“一路三方”(高速交警、交通行政执法、运营单位)等用户系统协同互通。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (10)

1.一种融合自动机场的公路无人机智能巡检系统，其特征在于，包括无人机前端、自动机场、无人机云管理平台与第三方用户系统，

将所述无人机前端与所述自动机场部署于巡检目标地；

所述第三方用户系统下发巡检指令至所述无人机云管理平台；

所述无人机云管理平台判定所述巡检指令后对所述自动机场下发任务指令，通过所述无人机前端采集道路数据，采集的所述数据通过非授权频段(2.4GHz/5.8GHz)进行专网和/或依靠4G/5G的公网回传至所述自动机场进行边缘处理；

边缘处理后的所述数据通过所述公网传输至所述无人机云管理平台，通过所述无人机云管理平台与所述第三方用户系统对接，完成巡检信息数据的分析与传输，并进行可视化展示。

2.根据权利要求1所述的一种融合自动机场的公路无人机智能巡检系统，其特征在于，所述无人机云管理平台内设置有

准备模块：可对空域无人机巡检管理计划的空管部门报备申请，同时可完成无人机巡飞任务的制定与向所述自动机场的任务指令派发；

执行模块：根据所述任务指令完成自动巡飞，在自动巡飞过程中可实现突发任务的接收与调整，同时可实现人工介入与自动巡飞的状态切换；

分析模块：在巡飞后可自动进行业务报表的整理、数据分析处理以及AI模型的训练优化。

3.根据权利要求2所述的一种融合自动机场的公路无人机智能巡检系统，其特征在于：所述无人机云管理平台设置有数据存储模块，所述数据存储模块可设定时间存储所述巡检信息数据，所述第三方用户系统的巡检指令可通过所述无人机云管理平台分析后查询所述数据存储模块是否有近期已完成的所述巡检信息数据，若有近期已完成的所述巡检信息数据，则根据现有数据支撑反馈结果至所述第三方用户系统；若没有近期已完成的所述巡检信息数据，则进行巡检目标的设定和无人机航迹规划并将规划结果下发至所述自动机场。

4.根据权利要求1所述的一种融合自动机场的公路无人机智能巡检系统，其特征在于：所述巡检系统设置有航线规划模块，所述航线规划模块以所述无人机终端设备的能量消耗、机动能力、威胁回避与飞行环境为约束条件，可通过优化目标进行航线规划。

5.根据权利要求4所述的一种融合自动机场的公路无人机智能巡检系统，其特征在于：所述航线规划模块设置有高速道路地理曲线分析模块，所述高速道路地理曲线分析模块可在巡飞过程中规避高速道路的红线范围。

6.根据权利要求1所述的一种融合自动机场的公路无人机智能巡检系统，其特征在于：巡检系统设置有无人机动作设定模块，所述无人机动作设定模块根据如下步骤可完成动作设定：

选定GIS/BIM标准，依靠自定义摘取的方式，梳理构件模型所用的数学描述语言；

依靠各固定识别对象的空间结构和大小进行分类；

基于各动作间的关系，梳理明确动作间制约情况，将具备独立影响的动作分离并进行单独优化。

7.根据权利要求1所述的一种融合自动机场的公路无人机智能巡检系统，其特征在于：所述巡检系统设置有自动检测模块，所述自动检测模块通过如下方式可完成检测任务：

基于YOLOv5的目标检测：基于YOLOv5网络模型，在兼顾识别精度与识别效率的同时可实现系统的实时智能识别；

基于ICNet的语义分割：从图像和视频中提取高速公路区域，可作为检测识别任务的前期预处理功能；

基于AnoGAN的异常检测：对图像和视频中的异常目标进行检测和预警，可实现对不限特定种类的异常目标进行实时的检测。

8.根据权利要求1所述的一种融合自动机场的公路无人机智能巡检系统，其特征在于：所述无人机前端设置有AI计算模块，所述AI计算模块可接受巡飞指令并可传达指令至所述无人机终端设备，同时可对所述无人机终端设备进行飞行控制与实时自动识别道路信息。

9.根据权利要求1所述的一种融合自动机场的公路无人机智能巡检系统，其特征在于：所述自动机场设置有边缘服务器，所述边缘服务器可将从所述无人机前端接受的数据信息实时识别并进行边缘处理。

10.根据权利要求1所述的一种融合自动机场的公路无人机智能巡检系统，其特征在于：所述自动机场设置有基站、气象站与机场系统，所述机场系统可支撑所述无人机终端设备的容纳存储与道路信息的数据传输，所述基站与所述气象站可支持所述无人机终端设备的自动换电、信息传输与道路环境的天气评估。

Images