CN118274846B - 用于道路隐患排查的无人机群协同路径规划方法及系统 - Google Patents
用于道路隐患排查的无人机群协同路径规划方法及系统 Download PDFInfo
- Publication number
- CN118274846B CN118274846B CN202410689666.6A CN202410689666A CN118274846B CN 118274846 B CN118274846 B CN 118274846B CN 202410689666 A CN202410689666 A CN 202410689666A CN 118274846 B CN118274846 B CN 118274846B
- Authority
- CN
- China
- Prior art keywords
- hidden danger
- unmanned aerial
- road
- aerial vehicle
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011835 investigation Methods 0.000 title claims abstract description 102
- 238000013439 planning Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 20
- 206010039203 Road traffic accident Diseases 0.000 claims description 21
- 230000002068 genetic effect Effects 0.000 claims description 21
- 238000013024 troubleshooting Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 17
- 238000009826 distribution Methods 0.000 claims description 15
- 230000007613 environmental effect Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 12
- 230000002457 bidirectional effect Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 8
- 238000007405 data analysis Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 5
- 230000006855 networking Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 238000013138 pruning Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 9
- 238000007689 inspection Methods 0.000 abstract description 6
- 238000007726 management method Methods 0.000 abstract description 5
- 238000012423 maintenance Methods 0.000 abstract description 3
- 238000003860 storage Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013480 data collection Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种用于道路隐患排查的无人机群协同路径规划方法及系统,涉及道路安全设施技术领域,包括:根据实时环境数据和预设任务参数,利用多种路径规划算法动态规划出最优的飞行路径,以实现高效、精确的道路隐患监测;并通过无人机间的实时数据交换和协同控制,确保无人机群能够以最佳的飞行编队和任务分配高效完成道路隐患排查任务。本发明中无人机根据实时环境数据自适应调整飞行路径,优化无人机群在复杂城市环境中执行道路隐患排查任务的飞行路径,精确收集道路数据,无人机群间高效合作,提升道路安全监测的全面性和可靠性,减少对人工巡查的依赖,降低道路维护和安全管理的整体成本。
Description
技术领域
本发明涉及道路安全设施技术领域,更具体的,涉及一种用于道路隐患排查的无人机群协同路径规划方法及系统。
背景技术
随着城市交通体系的快速发展,道路隐患成为影响城市交通安全和效率的关键因素。传统的道路隐患排查方法主要依赖人工巡查,这不仅耗时耗力,而且效率低下,难以实现对广阔城市道路网络的全面监控。因此,需要高效、自动化的道路隐患排查方法成为提升城市道路安全管理水平的迫切需求。
低空经济的兴起为道路隐患排查提供了新的解决方案。无人机作为低空经济的重要组成部分,以其灵活性、广覆盖能力和低成本优势,在城市管理、灾害监测、物流配送等领域展现出广泛的应用潜力。特别是在道路隐患排查领域,无人机能够在不干扰地面交通的情况下,对道路表面、交通标志以及相关基础设施进行高效的监视和数据收集,能够快速地对难以到达的区域进行检测,大大提高了排查的效率和准确性。
无人机执行道路隐患排查任务的效率和效果在很大程度上依赖于路径规划的优化。目前,无人机路径规划主要采用A*算法、遗传算法、粒子群优化(PSO)算法。虽然算法各有优势,但在实际应用中,由于城市环境的复杂性和道路隐患排查任务的特殊性,单一算法往往难以满足无人机高效、精确路径规划的需求。因此,亟需一种能够综合利用多种算法优势、适应复杂环境变化的智能路径规划方法,对于提升无人机道路隐患排查的效率和准确性具有重要意义。
发明内容
为了解决上述技术问题,本发明提出了一种用于道路隐患排查的无人机群协同路径规划方法及系统,通过集成先进的路径规划算法和多维智能协同技术,优化无人机群在复杂城市环境中执行道路隐患排查任务的飞行路径。
本发明第一方面提供了一种用于道路隐患排查的无人机群协同路径规划方法及系统,包括:
根据目标道路基础信息获取道路隐患排查区域,在所述道路隐患排查区域中预设道路隐患排查任务的任务参数,将所述任务参数下发至无人机;
无人机接收到任务参数后进行智能路径规划,通过Stacking策略将A*算法、遗传算法、PSO算法进行集成,基于任务参数及环境条件获取初始飞行路径,并利用双向快速搜索随机树对初始飞行路径进行飞行路径优化;
根据优化后的飞行路径对无人机群的编队及高度进行调整,通过环境感知信息及实时通信、数据共享调整编队内无人机的飞行路径;
无人机实时分析收集到的数据,利用图像识别检测道路表面是否存在隐患,根据判断结果自动记录隐患信息,在隐患排查任务完成后将数据传输至数据处理与分析平台。
本方案中,根据目标道路基础信息获取道路隐患排查区域,在所述道路隐患排查区域中预设道路隐患排查任务的任务参数,具体为:
获取目标道路的道路类型、道路材料、道路交叉口特征及道路位置作为基础信息,根据所述基础信息设置道路隐患排查区域;
利用数据检索获取交通事故数据,提取交通事故数据的事故主导因素,根据道路客观因素在所述事故主导因素中进行检索,将检索的交通事故数据进行标记,所述道路客观因素包括裂缝、坑洞、交通标志可见度或其他引发交通事故的隐患;
利用所述道路客观因素对标记的交通事故数据设置隐患标签,根据不同的事故风险对带有隐患标签的交通事故数据进行聚类划分,生成不同事故风险对应的数据子集;
获取各隐患标签在不同事故风险下的数据分布,利用所述数据分布生成各隐患的排查优先级,对不同的排查优先级预设不同排查时间限制;
根据所述道路隐患排查区域、排查优先级及排查时间限制设定道路隐患排查任务具体的任务参数,将所述任务参数下发到各个无人机。
本方案中,通过Stacking策略将A*算法、遗传算法、PSO算法进行集成,基于任务参数及环境条件获取初始飞行路径,具体为:
获取不同隐患标签下的历史隐患排查数据,设置排查准确度阈值,通过所述排查准确度阈值在历史隐患排查数据中进行数据筛选,提取筛选所得历史隐患排查数据中的飞行高度区间;
根据所述飞行高度区间判断不同高度道路隐患排查区域中的静态障碍物分布,当所述静态障碍物分布占比大于预设标准时,则将对应飞行高度进行剔除,根据更新后的飞行高度区间生成不同隐患排查过程中的约束条件,并嵌入所述任务参数;
通过Stacking策略将A*算法、遗传算法、PSO算法进行集成构建智能路径规划模块,将实时环境数据和预设任务参数进行预处理后作为模块输入,利用CNN网络进行特征提取及选择,获取最后一层全连接层输出的特征向量;
将获取的特征向量输入Stacking集成模型,利用A*算法、遗传算法、PSO算法对输入的特征向量进行独立训练,将输出数据堆叠生成路径预测矩阵,利用所述路径预测矩阵训练元模型;
引入注意力机制获取不同算法的注意力分数,生成元模型的权重信息,利用元模型结合所述权重信息生成智能路径规划模块输出避开障碍物并覆盖道路隐患排查区域的飞行路径。
本方案中,利用双向快速搜索随机树对初始飞行路径进行飞行路径优化,具体为:
根据隐患排查区域中无人机的飞行路径生成快速扩展随机树算法的随机拓展树,将随机拓展树映射到道路隐患排查区域,对映射后的道路隐患排查区域进行分块;
在不同区域块中根据无人机的最大覆盖范围及无人机之间的距离计算区域块的覆盖率,判断所述覆盖率是否符合预设覆盖率阈值;
当不符合时,则分割区域块的随机拓展子树,根据现有的随机拓展子树获取起始点及目标点,根据起始点及目标点在所述随机拓展子树中初始化随机数树,利用双向快速搜索随机树进行区域块飞行路径重构;
在双向快速搜索随机树中交换起始点及目标点的随机数树的迭代顺序,根据区域块的覆盖率确定终止条件,当迭代所得的区域飞行路径满足终止条件时,则对输出的飞行路径进行剪枝优化,获取区域块更新后的飞行路径;
将区域块更新后的飞行路径在所述随机拓展树中进行更新,获取道路隐患排查区域优化后的飞行路径。
本方案中,通过环境感知信息及实时通信、数据共享调整编队内无人机的飞行路径,具体为:
构建多维智能协同模块,将无人机集群通过通信自组织网络的分级结构划分为不同子集群,不同子集群之间使用Mesh组网进行区块链数据的传输,根据区块链传递进行环境感知信息的实时通信;
当无人机集群中不同子集群出现突发事件或感知到新障碍时,直接与自组织网络的分级结构中的最上层子集群通信,在最上层子集群中进行广播,向其他子集群通报事件信息;
利用多维智能协同模块与智能路径规划模块结合调整编队内无人机的飞行路径,自动调整飞行编队和高度,确保覆盖效率最大化,同时避免相互碰撞。
本方案中,利用图像识别检测道路表面是否存在潜在隐患,根据判断结果自动记录隐患信息,具体为:
获取无人机的隐患感知视频流,无人机对所述隐患感知视频流进行实时分析,提取隐患感知视频流中的关键帧图像,利用U-Net架构组件自编码器网络对所述关键帧图像进行编码;
在自编码器网络的编码器结构中引入不同尺度的膨胀卷积,通过下采样获取关键帧图像的多尺度特征图,在编码器结构后引入注意力网络,生成不同特征图的注意力权重并进行归一化处理;
将加权后的特征图结合特征的位置编码导入解码器结构进行解码,在全连接层获取关键帧图像中隐患目标对应边缘信息的掩膜标签,根据所述掩膜标签输出隐患目标的掩膜图像;
根据不同隐患标签设置分类器,并利用历史隐患排查数据对分类器进行训练,利用分类器获取所述掩膜图像的隐患标签,并根据关键帧图像中隐患的尺寸特征及纹理特征评估隐患等级;
在检测到隐患或潜在隐患时,智能路径规划模块自动计算并调整无人机的飞行路径和摄像头拍摄角度,获取多角度的清晰隐患图像,将隐患等级及多角度隐患图像进行自动记录。
本发明第二方面还提供了一种用于道路隐患排查的无人机群协同路径规划系统,该系统包括:存储器、处理器、路径规划模块、多维智能协同模块、数据分析模块、数据传输模块,存储器及处理器中存储并执行用于道路隐患排查的无人机群协同路径规划方法程序;
所述路径规划模块根据预设任务参数和当前环境条件,利用Stacking策略将A*算法、遗传算法、PSO算法进行集成计算最优飞行路径;
所述多维智能协同模块通过环境感知信息及实时通信、数据共享进行无人机间的信息同步,在突发事件及障碍物时调整编队内无人机的飞行路径;
所述数据分析模块实时分析收集到的数据,利用图像识别技术检测道路表面是否存在隐患,并进行细致的隐患排查;
所述数据传输模块在隐患排查任务完成后,将数据传输至数据处理与分析平台。
与现有技术相比,本发明的有益效果在于:
(1)本发明相较于现有的人工巡查或单一无人机作业方式而言,通过智能路径规划与多维智能协同模块能够优化无人机的飞行路线和任务分配,实现对道路隐患的快速、全面排查,大幅提升监测效率和覆盖面积,尤其适用于复杂的城市环境。
(2)本发明利用Stacking集成学习策略聚合路径规划算法实时识别并规避障碍物,优化飞行路径,确保无人机的飞行安全。同时,多维智能协同技术使无人机群能够有效避免相互干扰,提升飞行稳定性和任务执行的可靠性。
(3)通过减少对人工巡查的依赖,以及提高道路隐患排查的效率和精确度,本发明能够显著降低道路维护和安全管理的成本,对城市管理部门来说具有较高的经济效益。
附图说明
图1示出了本发明用于道路隐患排查的无人机群协同路径规划方法的流程图;
图2示出了本发明基于任务参数及环境条件获取初始飞行路径的流程图;
图3示出了本发明利用图像识别检测道路表面是否存在潜在隐患的流程图;
图4示出了本发明用于道路隐患排查的无人机群协同路径规划系统的框图;
图5示出了本发明用于道路隐患排查的无人机群协同路径规划系统的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明用于道路隐患排查的无人机群协同路径规划方法的流程图。
如图1所示,本发明第一方面提供了一种用于道路隐患排查的无人机群协同路径规划方法,包括:
S102,根据目标道路基础信息获取道路隐患排查区域,在所述道路隐患排查区域中预设道路隐患排查任务的任务参数,将所述任务参数下发至无人机;
S104,无人机接收到任务参数后进行智能路径规划,通过Stacking策略将A*算法、遗传算法、PSO算法进行集成,基于任务参数及环境条件获取初始飞行路径,并利用双向快速搜索随机树对初始飞行路径进行飞行路径优化;
S106,根据优化后的飞行路径对无人机群的编队及高度进行调整,通过环境感知信息及实时通信、数据共享调整编队内无人机的飞行路径;
S108,无人机实时分析收集到的数据,利用图像识别检测道路表面是否存在隐患,根据判断结果自动记录隐患信息,在隐患排查任务完成后将数据传输至数据处理与分析平台。
需要说明的是,获取目标道路的道路类型、道路材料、道路交叉口特征及道路位置作为基础信息,根据所述基础信息设置道路隐患排查区域;利用数据检索获取交通事故数据,提取交通事故数据的事故主导因素,根据道路客观因素在所述事故主导因素中进行检索,将检索的交通事故数据进行标记,所述道路客观因素包括裂缝、坑洞、交通标志可见度、路面标线的清晰度或其他引发交通事故的隐患;利用所述道路客观因素对标记的交通事故数据设置隐患标签,根据不同交通事故的严重程度评估事故风险,利用不同事故风险对带有隐患标签的交通事故数据进行聚类划分,生成不同事故风险对应的数据子集;获取各隐患标签在不同事故风险下的数据分布,利用所述数据分布生成各隐患的排查优先级,对不同的排查优先级预设不同排查时间限制;根据所述道路隐患排查区域、排查优先级及排查时间限制设定道路隐患排查任务具体的任务参数,将所述任务参数下发到各个无人机。
图2示出了本发明基于任务参数及环境条件获取初始飞行路径的流程图。
根据本发明实施例,通过Stacking策略将A*算法、遗传算法、PSO算法进行集成,基于任务参数及环境条件获取初始飞行路径,具体为:
S202,获取不同隐患标签下的历史隐患排查数据,设置排查准确度阈值,通过所述排查准确度阈值在历史隐患排查数据中进行数据筛选,提取筛选所得历史隐患排查数据中的飞行高度区间;
S204,根据所述飞行高度区间判断不同高度道路隐患排查区域中的静态障碍物分布,当所述静态障碍物分布占比大于预设标准时,则将对应飞行高度进行剔除,根据更新后的飞行高度区间生成不同隐患排查过程中的约束条件,并嵌入所述任务参数;
S206,通过Stacking策略将A*算法、遗传算法、PSO算法进行集成构建智能路径规划模块,将实时环境数据和预设任务参数进行预处理后作为模块输入,利用CNN网络进行特征提取及选择,获取最后一层全连接层输出的特征向量;
S208,将获取的特征向量输入Stacking集成模型,利用A*算法、遗传算法、PSO算法对输入的特征向量进行独立训练,将输出数据堆叠生成路径预测矩阵,利用所述路径预测矩阵训练元模型;
S210,引入注意力机制获取不同算法的注意力分数,生成元模型的权重信息,利用元模型结合所述权重信息生成智能路径规划模块输出避开障碍物并覆盖道路隐患排查区域的飞行路径。
需要说明的是,智能路径规划模块负责计算无人机的最佳飞行路径,指导单个无人机的工作。基于当前任务需求和环境条件,利用Stacking集成模型对A*算法、遗传算法、PSO算法进行集成学习,动态规划出避开障碍物并覆盖指定区域的飞行路线。通过智能路径规划,无人机能够在复杂多变的环境中安全高效地执行飞行任务,最大化资源利用效率,同时确保数据收集的全面性和准确性。Stacking 集成模型综合使用了多个模型进行学习,提高飞行路径规划的准确性及科学性,并且选用多个训练器进行独立训练,不易产生过拟合现象;检索历史隐患排查实例中无人机摄像头及传感器感知的历史环境数据和历史任务参数进行编码,构建训练集及测试集,在训练集的基础训练A*算法、遗传算法、PSO算法对应的三个基模型,将各基模型对于训练集的路径规划数据进行堆叠,作为元数据集训练三个元模型,包括A*算法、遗传算法、PSO算法,元模型中的A*算法、遗传算法与基模型训练中的模型不同;将不同元模型输出的飞行路径序列作为注意力机制网络的输入,迭代计算出当前时刻下所有飞行路径的注意力分数,并使用softmax函数对计算得到的所有注意力分数进行归一化处理,生成权重信息,将元模型预测的飞行路径序列与权重信息结合生成Stacking集成模型的初始飞行路径,实现多种算法优势的综合利用。
需要说明的是,由于道路隐患排查区域存在若干汽车、行人等动态障碍物,要求路径优化算法受环境的影响较小,快速扩展随机树算法不需要对环境约束进行预处理,适用于隐患的动态排查场景。根据隐患排查区域中无人机的飞行路径生成快速扩展随机树算法的随机拓展树,将随机拓展树映射到道路隐患排查区域,对映射后的道路隐患排查区域进行分块;在不同区域块中根据无人机的最大覆盖范围及无人机之间的距离计算区域块的覆盖率,判断所述覆盖率是否符合预设覆盖率阈值;所述覆盖率的计算公式表示为:,其中,表示区域块中无人机的覆盖率,表示无人机的最大覆盖范围,表示无人机i到无人机j的距离,表示以无人机之间的最小间隔距离为直径的范围,将区域块中所有无人机的覆盖率进行聚合生成区域块的覆盖率。当不符合时,则分割区域块的随机拓展子树,根据现有的随机拓展子树获取起始点及目标点,根据起始点及目标点在所述随机拓展子树中初始化随机数树,分别为起始点树及目标点树,在起始点树中找到节点,利用双向快速搜索随机树进行区域块飞行路径重构;在目标点树中将节点作为随机节点 ,然后根据节点找到距离它最近的节点,以节点指向节点作为正方向,节点作为起点来生成新节点,判断节点和节点连线是否存在障碍物,若存在障碍物,则将节点舍弃,若不存在障碍物,将节点添加到树中,在双向快速搜索随机树中交换起始点及目标点的随机数树的迭代顺序,根据区域块的覆盖率确定终止条件,当迭代所得的区域飞行路径满足终止条件时,则对输出的飞行路径进行剪枝优化,获取区域块更新后的飞行路径;将区域块更新后的飞行路径在所述随机拓展树中进行更新,获取道路隐患排查区域优化后的飞行路径。
需要说明的是,当道路隐患排查区域为主干道时,智能路径规划模块使无人机能够高效覆盖整个主干道区域,实时监测道路表面状况,包括裂缝、坑洞或其他可能引发交通事故的隐患。多维智能协同模块确保无人机群能够协同作业,避免监测重复区域,同时增强数据收集的全面性。当道路隐患排查区域为交叉路口时,智能路径规划模块指导无人机从多个角度和高度对交叉路口进行全面检查,包括交通标志的可见性、路面标线的清晰度及其他潜在的安全隐患。多维智能协同模块通过协调无人机群的行动,确保交叉路口各方向均得到充分监测。
需要说明的是,构建多维智能协同模块,将无人机集群通过通信自组织网络的分级结构划分为不同子集群,不同子集群之间使用Mesh组网进行区块链数据的传输,根据区块链传递进行环境感知信息的实时通信;当无人机集群中不同子集群出现突发事件或感知到新障碍时,直接与自组织网络的分级结构中的最上层子集群通信,在最上层子集群中进行广播,向其他子集群通报事件信息;利用多维智能协同模块与智能路径规划模块结合调整编队内无人机的飞行路径,自动调整飞行编队和高度,确保覆盖效率最大化,同时避免相互碰撞。
无人机按照规划的路径飞行,同时通过搭载的摄像头和传感器收集道路表面和周围环境的数据。智能路径规划模块实时分析环境监测数据,识别前方的障碍物(如建筑物、树木、其他飞行器等)和地面上的移动障碍(如车辆、行人),检测到障碍物时,立即计算新的避障路径,遵循安全距离和最小能耗原则,自动调整无人机的飞行方向和高度,确保安全通过障碍区域。如果遇到突发情况,如某无人机故障、天气突变等时,多维智能协同模块即时调整其他无人机的飞行路径,确保任务的顺利完成。多维智能协同模块负责协调无人机群间的飞行任务和路径规划,通过实时通信和数据共享,实现无人机间的信息同步和行动一致性,以及在必要时对飞行计划的即时调整。多维智能协同模块使得整个无人机群能够作为一个统一的整体高效地执行复杂任务,提升任务执行的速度和覆盖范围,增强对突发事件的响应能力和适应性。
在突发事件或紧急情况下,如交通事故或极端天气后,多维智能协同模块能够迅速部署无人机群对关键区域进行快速检查和评估。智能路径规划模块能够根据实时交通和环境情况调整飞行路径,优先排查受影响最严重的区域。多维智能协同模块在这种情况下确保了无人机群的有效沟通和协作,实现了对主要道路和交叉路口的快速而全面的隐患识别,支持紧急响应和快速恢复正常交通流程。
图3示出了本发明利用图像识别检测道路表面是否存在潜在隐患的流程图。
根据本发明实施例,利用图像识别检测道路表面是否存在隐患,根据判断结果自动记录隐患信息,具体为:
S302,获取无人机的隐患感知视频流,无人机对所述隐患感知视频流进行实时分析,提取隐患感知视频流中的关键帧图像,利用U-Net架构组件自编码器网络对所述关键帧图像进行编码;
S304,在自编码器网络的编码器结构中引入不同尺度的膨胀卷积,通过下采样获取关键帧图像的多尺度特征图,在编码器结构后引入注意力网络,生成不同特征图的注意力权重并进行归一化处理;
S306,将加权后的特征图结合特征的位置编码导入解码器结构进行解码,在全连接层获取关键帧图像中隐患目标对应边缘信息的掩膜标签,根据所述掩膜标签输出隐患目标的掩膜图像;
S308,根据不同隐患标签设置分类器,并利用历史隐患排查数据对分类器进行训练,利用分类器获取所述掩膜图像的隐患标签,并根据关键帧图像中隐患的尺寸特征及纹理特征评估隐患等级;
S310,在检测到隐患或潜在隐患时,智能路径规划模块自动计算并调整无人机的飞行路径和摄像头拍摄角度,获取多角度的清晰隐患图像,将隐患等级及多角度隐患图像进行自动记录。
需要说明的是,无人机实时分析收集到的数据,利用图像识别技术检测道路表面是否存在潜在隐患(如裂缝、坑洞)。若检测到潜在隐患,智能路径规划模块自动计算并调整无人机的飞行路径和摄像头拍摄角度,以便从更优视角获取清晰的隐患图像。当无人机飞临交叉路口或其他关键区域时,智能路径规划模块指令无人机悬停并进行细致的隐患排查。确认隐患后,无人机自动记录隐患信息,包括位置、图像、严重程度等,并实时传输回数据处理与分析平台。多维智能协同模块协同各无人机在指定区域内协同作业,高效收集道路状况数据,避免重复覆盖和空白区域,整个无人机群能够全面覆盖监测区域。隐患排查任务完成后,无人机将数据传输至数据处理与分析平台,经分析和识别后,数据通过中央控制单元反馈给操作人员。
另外,根据无人机获取的隐患信息及潜在隐患信息构建隐患数据库,在隐患数据库中根据不同时间戳的隐患排查数据生成隐患画像,根据所述隐患画像结合道路交通特征提取隐患发展特征,利用所述隐患发展特征基于不同隐患标签的预警阈值生成预警时间戳,根据所述预警时间戳指导道路运维。
图4示出了本发明用于道路隐患排查的无人机群协同路径规划系统的框图。
本发明第二方面还提供了一种用于道路隐患排查的无人机群协同路径规划系统4,该系统包括:存储器41、处理器42、路径规划模块43、多维智能协同模块44、数据分析模块45、数据传输模块46,存储器41及处理器42中存储并执行用于道路隐患排查的无人机群协同路径规划方法程序,系统功能实现的总体示意图如图5所示。
所述路径规划模块43根据预设任务参数和当前环境条件,利用Stacking策略将A*算法、遗传算法、PSO算法进行集成计算最优飞行路径;
所述多维智能协同模块44通过环境感知信息及实时通信、数据共享进行无人机间的信息同步,在突发事件及障碍物时调整编队内无人机的飞行路径;
所述数据分析模块45实时分析收集到的数据,利用图像识别技术检测道路表面是否存在隐患,并进行细致的隐患排查;
所述数据传输模块46在隐患排查任务完成后,将数据传输至数据处理与分析平台。
本发明第三方面还提供一种计算机可读存储介质,所述计算机可读存储介质中包括用于道路隐患排查的无人机群协同路径规划方法程序,所述用于道路隐患排查的无人机群协同路径规划方法程序被处理器执行时,实现如上述任一项所述的用于道路隐患排查的无人机群协同路径规划方法的步骤。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种用于道路隐患排查的无人机群协同路径规划方法,其特征在于,包括以下步骤:
根据目标道路基础信息获取道路隐患排查区域,在所述道路隐患排查区域中预设道路隐患排查任务的任务参数,将所述任务参数下发至无人机;
无人机接收到任务参数后进行智能路径规划,通过Stacking策略将A*算法、遗传算法、PSO算法进行集成,基于任务参数及环境条件获取初始飞行路径,并利用双向快速搜索随机树对初始飞行路径进行飞行路径优化;
根据优化后的飞行路径对无人机群的编队及高度进行调整,通过环境感知信息及实时通信、数据共享调整编队内无人机的飞行路径;
无人机实时分析收集到的数据,利用图像识别检测道路表面是否存在隐患,根据判断结果自动记录隐患信息,在隐患排查任务完成后将数据传输至数据处理与分析平台;
通过Stacking策略将A*算法、遗传算法、PSO算法进行集成,基于任务参数及环境条件获取初始飞行路径,具体为:
获取不同隐患标签下的历史隐患排查数据,设置排查准确度阈值,通过所述排查准确度阈值在历史隐患排查数据中进行数据筛选,提取筛选所得历史隐患排查数据中的飞行高度区间;
根据所述飞行高度区间判断不同高度道路隐患排查区域中的静态障碍物分布,当所述静态障碍物分布占比大于预设标准时,则将对应飞行高度进行剔除,根据更新后的飞行高度区间生成不同隐患排查过程中的约束条件,并嵌入所述任务参数;
通过Stacking策略将A*算法、遗传算法、PSO算法进行集成构建智能路径规划模块,将实时环境数据和预设任务参数进行预处理后作为模块输入,利用CNN网络进行特征提取及选择,获取最后一层全连接层输出的特征向量;
将获取的特征向量输入Stacking集成模型,利用A*算法、遗传算法、PSO算法对输入的特征向量进行独立训练,将输出数据堆叠生成路径预测矩阵,利用所述路径预测矩阵训练元模型;
引入注意力机制获取不同算法的注意力分数,生成元模型的权重信息,利用元模型结合所述权重信息生成智能路径规划模块输出避开障碍物并覆盖道路隐患排查区域的飞行路径。
2.根据权利要求1所述的一种用于道路隐患排查的无人机群协同路径规划方法,其特征在于,根据目标道路基础信息获取道路隐患排查区域,在所述道路隐患排查区域中预设道路隐患排查任务的任务参数,具体为:
获取目标道路的道路类型、道路材料、道路交叉口特征及道路位置作为基础信息,根据所述基础信息设置道路隐患排查区域;
利用数据检索获取交通事故数据,提取交通事故数据的事故主导因素,根据道路客观因素在所述事故主导因素中进行检索,将检索的交通事故数据进行标记,所述道路客观因素包括裂缝、坑洞、交通标志可见度或其他引发交通事故的隐患;
利用所述道路客观因素对标记的交通事故数据设置隐患标签,根据不同的事故风险对带有隐患标签的交通事故数据进行聚类划分,生成不同事故风险对应的数据子集;
获取各隐患标签在不同事故风险下的数据分布,利用所述数据分布生成各隐患的排查优先级,对不同的排查优先级预设不同排查时间限制;
根据所述道路隐患排查区域、排查优先级及排查时间限制设定道路隐患排查任务具体的任务参数,将所述任务参数下发到各个无人机。
3.根据权利要求1所述的一种用于道路隐患排查的无人机群协同路径规划方法,其特征在于,利用双向快速搜索随机树对初始飞行路径进行飞行路径优化,具体为:
根据隐患排查区域中无人机的飞行路径生成快速扩展随机树算法的随机拓展树,将随机拓展树映射到道路隐患排查区域,对映射后的道路隐患排查区域进行分块;
在不同区域块中根据无人机的最大覆盖范围及无人机之间的距离计算区域块的覆盖率,判断所述覆盖率是否符合预设覆盖率阈值;
当不符合时,则分割区域块的随机拓展子树,根据现有的随机拓展子树获取起始点及目标点,根据起始点及目标点在所述随机拓展子树中初始化随机数树,利用双向快速搜索随机树进行区域块飞行路径重构;
在双向快速搜索随机树中交换起始点及目标点的随机数树的迭代顺序,根据区域块的覆盖率确定终止条件,当迭代所得的区域飞行路径满足终止条件时,则对输出的飞行路径进行剪枝优化,获取区域块更新后的飞行路径;
将区域块更新后的飞行路径在所述随机拓展树中进行更新,获取道路隐患排查区域优化后的飞行路径。
4.根据权利要求1所述的一种用于道路隐患排查的无人机群协同路径规划方法,其特征在于,通过环境感知信息及实时通信、数据共享调整编队内无人机的飞行路径,具体为:
构建多维智能协同模块,将无人机集群通过通信自组织网络的分级结构划分为不同子集群,不同子集群之间使用Mesh组网进行区块链数据的传输,根据区块链传递进行环境感知信息的实时通信;
当无人机集群中不同子集群出现突发事件或感知到新障碍时,直接与自组织网络的分级结构中的最上层子集群通信,在最上层子集群中进行广播,向其他子集群通报事件信息;
利用多维智能协同模块与智能路径规划模块结合调整编队内无人机的飞行路径,自动调整飞行编队和高度,确保覆盖效率最大化,同时避免相互碰撞。
5.根据权利要求1所述的一种用于道路隐患排查的无人机群协同路径规划方法,其特征在于,利用图像识别检测道路表面是否存在潜在隐患,根据判断结果自动记录隐患信息,具体为:
获取无人机的隐患感知视频流,无人机对所述隐患感知视频流进行实时分析,提取隐患感知视频流中的关键帧图像,利用U-Net架构组件自编码器网络对所述关键帧图像进行编码;
在自编码器网络的编码器结构中引入不同尺度的膨胀卷积,通过下采样获取关键帧图像的多尺度特征图,在编码器结构后引入注意力网络,生成不同特征图的注意力权重并进行归一化处理;
将加权后的特征图结合特征的位置编码导入解码器结构进行解码,在全连接层获取关键帧图像中隐患目标对应边缘信息的掩膜标签,根据所述掩膜标签输出隐患目标的掩膜图像;
根据不同隐患标签设置分类器,并利用历史隐患排查数据对分类器进行训练,利用分类器获取所述掩膜图像的隐患标签,并根据关键帧图像中隐患的尺寸特征及纹理特征评估隐患等级;
在检测到隐患或潜在隐患时,智能路径规划模块自动计算并调整无人机的飞行路径和摄像头拍摄角度,获取多角度的清晰隐患图像,将隐患等级及多角度隐患图像进行自动记录。
6.一种用于道路隐患排查的无人机群协同路径规划系统,其特征在于,该系统包括:存储器、处理器、路径规划模块、多维智能协同模块、数据分析模块、数据传输模块,存储器及处理器中存储并执行用于道路隐患排查的无人机群协同路径规划方法程序;
所述路径规划模块根据预设任务参数和当前环境条件,利用Stacking策略将A*算法、遗传算法、PSO算法进行集成计算最优飞行路径;
所述多维智能协同模块通过环境感知信息及实时通信、数据共享进行无人机间的信息同步,在突发事件及障碍物时调整编队内无人机的飞行路径;
所述数据分析模块实时分析收集到的数据,利用图像识别技术检测道路表面是否存在隐患,并进行细致的隐患排查;
所述数据传输模块在隐患排查任务完成后,将数据传输至数据处理与分析平台;
所述路径规划模块,具体为:
获取不同隐患标签下的历史隐患排查数据,设置排查准确度阈值,通过所述排查准确度阈值在历史隐患排查数据中进行数据筛选,提取筛选所得历史隐患排查数据中的飞行高度区间;
根据所述飞行高度区间判断不同高度道路隐患排查区域中的静态障碍物分布,当所述静态障碍物分布占比大于预设标准时,则将对应飞行高度进行剔除,根据更新后的飞行高度区间生成不同隐患排查过程中的约束条件,并嵌入所述任务参数;
通过Stacking策略将A*算法、遗传算法、PSO算法进行集成构建智能路径规划模块,将实时环境数据和预设任务参数进行预处理后作为模块输入,利用CNN网络进行特征提取及选择,获取最后一层全连接层输出的特征向量;
将获取的特征向量输入Stacking集成模型,利用A*算法、遗传算法、PSO算法对输入的特征向量进行独立训练,将输出数据堆叠生成路径预测矩阵,利用所述路径预测矩阵训练元模型;
引入注意力机制获取不同算法的注意力分数,生成元模型的权重信息,利用元模型结合所述权重信息生成智能路径规划模块输出避开障碍物并覆盖道路隐患排查区域的飞行路径。
7.根据权利要求6所述的一种用于道路隐患排查的无人机群协同路径规划系统,其特征在于,所述多维智能协同模块,具体为:
构建多维智能协同模块,将无人机集群通过通信自组织网络的分级结构划分为不同子集群,不同子集群之间使用Mesh组网进行区块链数据的传输,根据区块链传递进行环境感知信息的实时通信;
当无人机集群中不同子集群出现突发事件或感知到新障碍时,直接与自组织网络的分级结构中的最上层子集群通信,在最上层子集群中进行广播,向其他子集群通报事件信息;
利用多维智能协同模块与智能路径规划模块结合调整编队内无人机的飞行路径,自动调整飞行编队和高度,确保覆盖效率最大化,同时避免相互碰撞。
8.根据权利要求6所述的一种用于道路隐患排查的无人机群协同路径规划系统,其特征在于,所述数据分析模块,具体为:
获取无人机的隐患感知视频流,无人机对所述隐患感知视频流进行实时分析,提取隐患感知视频流中的关键帧图像,利用U-Net架构组件自编码器网络对所述关键帧图像进行编码;
在自编码器网络的编码器结构中引入不同尺度的膨胀卷积,通过下采样获取关键帧图像的多尺度特征图,在编码器结构后引入注意力网络,生成不同特征图的注意力权重并进行归一化处理;
将加权后的特征图结合特征的位置编码导入解码器结构进行解码,在全连接层获取关键帧图像中隐患目标对应边缘信息的掩膜标签,根据所述掩膜标签输出隐患目标的掩膜图像;
根据不同隐患标签设置分类器,并利用历史隐患排查数据对分类器进行训练,利用分类器获取所述掩膜图像的隐患标签,并根据关键帧图像中隐患的尺寸特征及纹理特征评估隐患等级;
在检测到隐患或潜在隐患时,智能路径规划模块自动计算并调整无人机的飞行路径和摄像头拍摄角度,获取多角度的清晰隐患图像,将隐患等级及多角度隐患图像进行自动记录。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410689666.6A CN118274846B (zh) | 2024-05-30 | 2024-05-30 | 用于道路隐患排查的无人机群协同路径规划方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410689666.6A CN118274846B (zh) | 2024-05-30 | 2024-05-30 | 用于道路隐患排查的无人机群协同路径规划方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN118274846A CN118274846A (zh) | 2024-07-02 |
CN118274846B true CN118274846B (zh) | 2024-08-13 |
Family
ID=91645476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410689666.6A Active CN118274846B (zh) | 2024-05-30 | 2024-05-30 | 用于道路隐患排查的无人机群协同路径规划方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118274846B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114943832A (zh) * | 2022-03-10 | 2022-08-26 | 北京航空航天大学 | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 |
CN116189096A (zh) * | 2023-03-07 | 2023-05-30 | 沈阳航空航天大学 | 多尺度注意力机制的双路人群计数方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117173404A (zh) * | 2023-07-27 | 2023-12-05 | 北京遥测技术研究所 | 一种基于深度学习的遥感目标自动检测及隐藏方法 |
CN118210265B (zh) * | 2024-05-21 | 2024-09-13 | 航天科工空天动力研究院(苏州)有限责任公司 | 一种空压站改造联控管理系统 |
-
2024
- 2024-05-30 CN CN202410689666.6A patent/CN118274846B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114943832A (zh) * | 2022-03-10 | 2022-08-26 | 北京航空航天大学 | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 |
CN116189096A (zh) * | 2023-03-07 | 2023-05-30 | 沈阳航空航天大学 | 多尺度注意力机制的双路人群计数方法 |
Also Published As
Publication number | Publication date |
---|---|
CN118274846A (zh) | 2024-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | Distribution line pole detection and counting based on YOLO using UAV inspection line video | |
CN115605777A (zh) | 一种基于路侧感知单元的动态目标点云快速识别及点云分割方法 | |
CN110781927B (zh) | 车路协同下基于深度学习的目标检测与分类方法 | |
CN110807924A (zh) | 基于全量全样实时交通数据的多参数融合方法及系统 | |
CN117351521B (zh) | 基于数字孪生的输电线鸟类检测方法、系统、介质及设备 | |
CN110532937A (zh) | 基于识别模型与分类模型进行列车前向目标精准识别的方法 | |
CN115861619A (zh) | 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统 | |
CN117437382B (zh) | 一种数据中心部件的更新方法及系统 | |
CN109583467B (zh) | 一种电力气象数据融合方法和系统 | |
CN117806355A (zh) | 一种电力巡线无人机控制方法及系统 | |
CN114771548A (zh) | 用于高级驾驶辅助系统测试和验证的数据记录 | |
CN114495421B (zh) | 智能化开放式道路施工作业监测预警方法及系统 | |
CN113128476A (zh) | 一种基于计算机视觉目标检测的低功耗实时头盔检测方法 | |
CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测系统 | |
You et al. | PANDA: predicting road risks after natural disasters leveraging heterogeneous urban data | |
CN118274846B (zh) | 用于道路隐患排查的无人机群协同路径规划方法及系统 | |
CN117423157A (zh) | 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法 | |
CN115457411A (zh) | 航油管线无人化巡视方法、装置和航油安全运维系统 | |
CN110765900A (zh) | 一种基于dssd的自动检测违章建筑方法及系统 | |
CN113569954A (zh) | 一种野生动物智能分类识别方法 | |
Li et al. | Intelligent detection method with 3D ranging for external force damage monitoring of power transmission lines | |
CN118469426B (zh) | 一种基于物联网的数据处理方法及系统 | |
CN118629216B (zh) | 基于雷视融合的道路目标识别方法及系统 | |
CN118366312B (zh) | 一种交通检测系统及方法 | |
CN113093798B (zh) | 基于电场分布的无人机巡检避险方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |