CN116126022A - 巡检无人机的控制方法、控制终端以及可读存储介质 - Google Patents
巡检无人机的控制方法、控制终端以及可读存储介质 Download PDFInfo
- Publication number
- CN116126022A CN116126022A CN202310116956.7A CN202310116956A CN116126022A CN 116126022 A CN116126022 A CN 116126022A CN 202310116956 A CN202310116956 A CN 202310116956A CN 116126022 A CN116126022 A CN 116126022A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- data
- determining
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000007689 inspection Methods 0.000 title claims description 30
- 230000004927 fusion Effects 0.000 claims abstract description 81
- 238000012544 monitoring process Methods 0.000 claims abstract description 31
- 230000007613 environmental effect Effects 0.000 claims abstract description 29
- 230000000007 visual effect Effects 0.000 claims description 55
- 230000003287 optical effect Effects 0.000 claims description 53
- 238000005259 measurement Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 22
- 238000005265 energy consumption Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000001808 coupling effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及无人机控制技术领域，尤其涉及一种巡检无人机的控制方法、控制终端以及可读存储介质。其中，所述方法包括：根据无人机当前所处环境的环境参数和所述无人机的性能参数，在可选航线中选定当前时刻对应的最优航线；根据所述无人机采集的多个不同类型的监测数据生成融合数据，并根据所述融合数据更新无人机定位结果；基于更新后的所述无人机定位结果和所述最优航线，确定飞行参数；控制所述无人机基于所述飞行参数执行巡检任务。通过环境参数和性能参数实时更新无人机的最优航线，并融合多源传感器采集得到的监测数据来进行定位更新，实现了在复杂空间内的精确导航和定位，解决了如何提高无人机控制方案的适用性的问题。
Description
技术领域
本发明涉及无人机控制技术领域，尤其涉及一种巡检无人机的控制方法、控制终端以及可读存储介质。
背景技术
为了提高城市安全监管效率，在一些城市监管项目中，可以通过无人机来进行自动化巡检。目前的无人机的控制方案通常是根据监管区域的地形环境，设置好无人机的飞行航向，然后控制无人机根据预定航线飞行。这就导致只能在场地开阔或者环境干扰因素较小的环境，从而避免无人机在飞行过程中出现碰撞风险。
而当无人机处于如城市这一类场地狭窄、环境干扰因素较多的复杂三维空间环境中时，预定航线在实际飞行过程中可能会由于环境发生变化而导致该航线出现碰撞风险，因此，传统的无人机控制方案存在适用性较低的问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种巡检无人机的控制方法，旨在解决如何提高无人机控制方案的适用性的问题。
为实现上述目的，本发明提供的一种巡检无人机的控制方法，所述方法包括：
根据无人机当前所处环境的环境参数和所述无人机的性能参数，在可选航线中选定当前时刻对应的最优航线；
根据所述无人机采集的多个不同类型的监测数据生成融合数据，并根据所述融合数据更新无人机定位结果；
基于更新后的所述无人机定位结果和所述最优航线，确定飞行参数；
控制所述无人机基于所述飞行参数执行巡检任务。
可选地，所述根据无人机当前所处环境的环境参数和所述无人机的性能参数，在可选航线中选定当前时刻对应的最优航线的步骤之前，还包括：
获取所述无人机的目标飞行距离；
所述根据无人机当前所处环境的环境参数和所述无人机的性能参数，在可选航线中选定当前时刻对应的最优航线的步骤包括：
根据所述环境参数确定环境代价值，以及根据所述性能参数和所述目标飞行距离确定能耗代价值，以及根据所述环境参数和所述性能参数确定冗余代价值；
根据所述环境代价值、所述能耗代价值和所述冗余代价值，确定各个所述可选航线的风险代价值；
选取各个可选航线中，所述风险代价值最小的可选航线，作为所述最优航线。
可选地，所述无人机包括激光雷达和视觉传感器，所述监测数据包括点云数据和视觉图像数据，所述根据所述无人机采集的多个不同类型的监测数据生成融合数据，并根据所述融合数据更新无人机定位结果的步骤包括：
获取所述激光雷达采集的所述点云数据，以及所述视觉传感器采集的所述视觉图像数据，其中，所述点云数据和所述视觉图像数据的数据采集进程时间维度和空间维度均保持同步；
将同一采集周期内获取的所述点云数据与所述视觉图像数据进行融合，得到所述融合数据；
根据所述融合数据确定所述无人机的当前位姿；
基于所述当前位姿更新所述定位结果。
可选地，所述将同一采集周期内获取的所述点云数据与所述视觉图像数据进行融合，得到所述融合数据的步骤包括：
将所述点云数据转化为伪图像格式数据，并将所述伪图像格式数据输入预设卷积神经网络中进行特征提取，得到点云特征图；
将所述点云特征图和所述视觉图像数据输入预设的神经网络模型进行特征提取，得到所述融合数据。
可选地，所述无人机包括红外传感器，所述监测数据包括红外数据，所述基于所述当前位姿更新所述定位结果的步骤之前，还包括：
确定所述无人机当前所处环境中的光强；
当所述光强低于预设光强阈值时，获取所述红外传感器采集目标采集对象得到的红外数据，并根据所述红外数据确定所述目标采集对象和所述无人机之间的红外测距值；
确定连续周期中采集的第一视觉图像数据和第二视觉图像数据之间相匹配的各个像素点之间的深度距离，其中，所述第一视觉图像数据和第二视觉图像数据之间的采集角度不同；
基于所述红外测距值优化所述深度距离，并根据优化后的所述深度距离确定所述无人机与所述目标采集对象之间的测距结果；
所述基于所述当前位姿更新所述定位结果的步骤包括：
基于所述测距结果和所述当前位姿，更新所述定位结果。
可选地，所述无人机包括光流传感器，所述监测数据包括光流数据，所述根据所述无人机采集的多个不同类型的监测数据生成融合数据，并根据所述融合数据更新无人机定位结果的步骤之前，还包括：
根据超宽带定位信号确定飞行高度，以及获取所述光流传感器采集的所述光流数据；
根据所述飞行高度和所述光流数据，计算所述无人机所处空间的三维空间信息；
所述根据所述无人机采集的多个不同类型的监测数据生成融合数据，并基于所述融合数据更新无人机定位结果的步骤包括：
基于所述三维空间信息修正所述融合数据中的积累误差，并基于修正所述积累误差后的所述融合数据更新所述定位结果。
可选地，所述无人机包括光流传感器和惯性导航测量传感器，所述监测数据包括光流数据和惯性导航测量数据，所述根据所述无人机采集的多个不同类型的监测数据生成融合数据，并基于所述融合数据更新无人机定位结果的步骤之前，还包括：
根据超宽带定位确定所述无人机确定的位置数据，并根据所述惯性导航测量数据对所述光流数据进行补偿，得到补偿光流数据；
根据所述补偿光流数据确定所述无人机的飞行速度；
将所述位置数据作为状态量，所述飞行速度作为控制量，所述惯性导航测量数据作为观测量，建立状态与观测方程；
所述根据所述无人机采集的多个不同类型的监测数据生成融合数据，并基于所述融合数据更新无人机定位结果的步骤包括：
基于所述状态与观测方程，确定满足所述补偿光流数据和所述位置数据的融合数据，并基于所述融合数据更新无人机定位结果。
可选地，所述基于更新后的所述无人机定位结果和所述最优航线，确定飞行参数的步骤之前，还包括：
确定所述无人机的当前执行状态，所述当前执行状态包括待命状态、执行任务状态和返航状态；以及，
确定所述无人机当前执行事件的事件类型，所述事件类型包括传感器自检类、三维建图类、目标检测类和定位类；
根据所述当前执行状态和所述事件类型，于预设决策函数集中确定所述无人机的目标决策函数；
所述基于更新后的所述无人机定位结果和所述最优航线，确定飞行参数的步骤包括：
基于所述目标决策函数，将满足所述定位结果和所述最优航线的运行控制参数，确定为所述飞行参数。
此外，为实现上述目的，本发明还提供一种控制终端，所述控制终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的巡检无人机的控制程序，所述巡检无人机的控制程序被所述处理器执行时实现如上所述的巡检无人机的控制方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有巡检无人机的控制程序，所述巡检无人机的控制程序被处理器执行时实现如上所述的巡检无人机的控制方法的步骤。
本发明实施例提供一种巡检无人机的控制方法、控制终端以及可读存储介质，通过将时空一致的点云数据和视觉图像数据进行数据融合后，再根据融合数据和惯性导航测量数据确定无人机的当前位姿，并根据下一周期得到的融合数据和惯性导航测量数据，更新无人机的当前位姿，从而实现高频位姿更新，提高了无人机的定位精确度。
附图说明
图1为本发明实施例涉及的控制终端的硬件运行环境的架构示意图；
图2为本发明巡检无人机的控制方法的第一实施例的流程示意图；
图3为本发明巡检无人机的控制方法的第二实施例的流程示意图；
图4为本发明巡检无人机的控制方法的第三实施例的流程示意图；
图5为本发明巡检无人机的控制方法的第四实施例的流程示意图；
图6为本发明巡检无人机的控制方法的第五实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图作进一步说明。
具体实施方式
本申请通过将时空一致的点云数据和视觉图像数据进行数据融合后，再根据融合数据和惯性导航测量数据确定无人机的当前位姿，并根据下一周期得到的融合数据和惯性导航测量数据，更新无人机的当前位姿，从而实现高频位姿更新，提高了无人机的定位精确度。
为了更好地理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整地传达给本领域的技术人员。
作为一种实现方案，图1为本发明实施例方案涉及的控制终端的硬件运行环境的架构示意图。
如图1所示，该控制终端可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的控制终端的硬件架构并不构成对控制终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及巡检无人机的控制程序。其中，操作系统是管理和控制巡检无人机的控制的硬件和软件资源的程序，巡检无人机的控制程序以及其他软件或程序的运行。
在图1所示的控制终端中，用户接口1003主要用于连接终端，与终端进行数据通信；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的巡检无人机的控制程序。
在本实施例中，控制终端包括：存储器1005、处理器1001及存储在所述存储器上并可在所述处理器上运行的巡检无人机的控制程序，其中：
处理器1001调用存储器1005中存储的巡检无人机的控制程序时，执行以下操作：
根据无人机当前所处环境的环境参数和所述无人机的性能参数，在可选航线中选定当前时刻对应的最优航线；
根据所述无人机采集的多个不同类型的监测数据生成融合数据，并根据所述融合数据更新无人机定位结果；
基于更新后的所述无人机定位结果和所述最优航线，确定飞行参数；
控制所述无人机基于所述飞行参数执行巡检任务。
处理器1001调用存储器1005中存储的巡检无人机的控制程序时，执行以下操作：
获取所述无人机的目标飞行距离；
根据所述环境参数确定环境代价值，以及根据所述性能参数和所述目标飞行距离确定能耗代价值，以及根据所述环境参数和所述性能参数确定冗余代价值；
根据所述环境代价值、所述能耗代价值和所述冗余代价值，确定各个所述可选航线的风险代价值；
选取各个可选航线中，所述风险代价值最小的可选航线，作为所述最优航线。
处理器1001调用存储器1005中存储的巡检无人机的控制程序时，执行以下操作：
获取所述激光雷达采集的所述点云数据，以及所述视觉传感器采集的所述视觉图像数据，其中，所述点云数据和所述视觉图像数据的数据采集进程时间维度和空间维度均保持同步；
将同一采集周期内获取的所述点云数据与所述视觉图像数据进行融合，得到所述融合数据；
根据所述融合数据确定所述无人机的当前位姿；
基于所述当前位姿更新所述定位结果。
处理器1001调用存储器1005中存储的巡检无人机的控制程序时，执行以下操作：
将所述点云数据转化为伪图像格式数据，并将所述伪图像格式数据输入预设卷积神经网络中进行特征提取，得到点云特征图；
将所述点云特征图和所述视觉图像数据输入预设的神经网络模型进行特征提取，得到所述融合数据。
处理器1001调用存储器1005中存储的巡检无人机的控制程序时，执行以下操作：
确定所述无人机当前所处环境中的光强；
当所述光强低于预设光强阈值时，获取所述红外传感器采集目标采集对象得到的红外数据，并根据所述红外数据确定所述目标采集对象和所述无人机之间的红外测距值；
确定连续周期中采集的第一视觉图像数据和第二视觉图像数据之间相匹配的各个像素点之间的深度距离，其中，所述第一视觉图像数据和第二视觉图像数据之间的采集角度不同；
基于所述红外测距值优化所述深度距离，并根据优化后的所述深度距离确定所述无人机与所述目标采集对象之间的测距结果；
基于所述测距结果和所述当前位姿，更新所述定位结果。
处理器1001调用存储器1005中存储的巡检无人机的控制程序时，执行以下操作：
根据超宽带定位信号确定飞行高度，以及获取所述光流传感器采集的所述光流数据；
根据所述飞行高度和所述光流数据，计算所述无人机所处空间的三维空间信息；
基于所述三维空间信息修正所述融合数据中的积累误差，并基于修正所述积累误差后的所述融合数据更新所述定位结果。
处理器1001调用存储器1005中存储的巡检无人机的控制程序时，执行以下操作：
根据超宽带定位确定所述无人机确定的位置数据，并根据所述惯性导航测量数据对所述光流数据进行补偿，得到补偿光流数据；
根据所述补偿光流数据确定所述无人机的飞行速度；
将所述位置数据作为状态量，所述飞行速度作为控制量，所述惯性导航测量数据作为观测量，建立状态与观测方程；
基于所述状态与观测方程，确定满足所述补偿光流数据和所述位置数据的融合数据，并基于所述融合数据更新无人机定位结果。
处理器1001调用存储器1005中存储的巡检无人机的控制程序时，执行以下操作：
确定所述无人机的当前执行状态，所述当前执行状态包括待命状态、执行任务状态和返航状态；以及，
确定所述无人机当前执行事件的事件类型，所述事件类型包括传感器自检类、三维建图类、目标检测类和定位类；
根据所述当前执行状态和所述事件类型，于预设决策函数集中确定所述无人机的目标决策函数；
所述基于更新后的所述无人机定位结果和所述最优航线，确定飞行参数的步骤包括：
基于所述目标决策函数，将满足所述定位结果和所述最优航线的运行控制参数，确定为所述飞行参数。
基于上述基于无人机控制技术的控制终端的硬件架构，提出本发明巡检无人机的控制方法的实施例。
参照图2，在第一实施例中，所述巡检无人机的控制方法包括以下步骤：
步骤S10，根据无人机当前所处环境的环境参数和所述无人机的性能参数，从可选航线中选定当前时刻对应的最优航线；
在本实施例中，针对城市建筑与基础设施群三维空间复杂导致无人机航线规划困难的问题，考虑无人机在城市环境的飞行风险与无人机自身性能的耦合效应，通过无人机当前所处环境的环境参数和性能参数，从预先规划的可选航线集中选定当前时刻对应的最优航线。
环境参数表征为无人机当前所处环境的地形、气候以等限制条件的相关参数，示例性地，环境参数包括障碍物距离、相对湿度、温度、风度等参数。性能参数表征为无人机在飞行过程中的能耗代价量化值，示例性地，性能参数包括无人机飞行翼转数、飞行速度、飞行高度等参数。
可选地，将环境参数和性能参数输入路线规划代价函数模型，输出可选航线集中各个可选航线关联的风险代价值，将风险代价值最小的可选航线选定为最优航线。
示例性地，风险代价值W表示为：
W＝Wenergy+WPF+Wothers+＝λαLRe+λβRPF+λγRothers
其中，Wenergy为根据无人机的性能参数确定的能耗代价值、WPF为根据环境参数确定的环境代价值，Wothers为根据性能参数和环境参数共同确定的不同城市空间领域的冗余代价值，L为无人机的飞行距离，Re为能耗系数，RPF为航线规划风险的环境代价系数，Rothers为针对不同城市空间领域的容积代价系数，λα为能耗代价权重，λβ为航线规划总风险权重，λγ为其他代价因素权重，λα、λβ、λγ为已知量，且λα、λβ、λγ＞0，且λα+λβ+λγ＝1。
进一步的，选取各个可选航线风险代价值最小的minW：
minW＝min(Wenergy+WPF+Wothers)＝min(λαLRe+λβRPF+λγRothers)
minW对应的可选航线即为最优航线。
步骤S20，根据所述无人机采集的多个不同类型的监测数据生成融合数据，并根据所述融合数据更新无人机定位结果；
在本实施例中，无人机上设有多个传感器，通过传感器采集不同类型的监测数据，监测数据为无人机采集目标对象得到。可选地，目标对象包括但不限于幕墙、房顶、道路、城市基建等无人机执行城市定航巡检任务过程中的待监测对象。监测数据不仅能够对待监测对象的安全、完整情况进行监测，还能够实现对无人机自身的定位。其中，本实施例中着重对监测数据实现无人机自身定位进行说明。
可选地，传感器包括但不限于激光雷达传感器、视觉传感器、红外传感器、光流传感器、惯性导航测量传感器。
可选地，监测数据包括但不限于激光雷达传感器采集的点云数据，视觉传感器采集的视觉图像数据，红外传感器采集的红外数据，光流传感器采集的光流数据，以及惯性导航测量传感器采集得到的惯性导航测量数据，又称为IMU(Inertial Measurement Unit，惯性测量单元)数据。
进一步的，由于本实施例中的监测数据为多种类型的数据，为了使无人机的定位结果更为精确，需要将多种类型的数据进行数据融合处理，得到分辨率、清晰度更高的融合数据，从而根据融合数据来对无人机进行定位结果的更新。
需要说明的是，在本实施例中，步骤S10的航线预测，以及步骤S20中的定位结果更新，二者的执行顺序是可以替换的，也可以同时执行，在本实施例中不作限定。
步骤S30，基于更新后的所述无人机定位结果和所述最优航线，确定飞行参数；
在本实施例中，在确定出无人机定位结果和最优航线之后，根据无人机定位结果和最优航线去确定无人机的飞行参数。
可选地，飞行参数的确定方式，可以基于无人机在执行不同任务时的当前执行状态以及正在执行事件的事件类型去确定具体的飞行参数。具体的，无人机的执行状态包括待命状态、执行任务状态和返航状态三种状态，事件类型包括传感器自检类、三维建图类、目标检测类和定位类四种类型。根据无人机的执行状态和事件类型，从决策函数集中确定出该无人机的目标决策函数，从而根据目标决策函数，将满足当前无人机的定位结果和最优航线的运行控制参数，确定为所述无人机的飞行参数。
示例性地，在一些实施方式中，控制终端以一定频率向无人机发送轮询信号，并接收无人机的返回信号后，对返回信号的中标识位逐一匹配检查，然后筛选出任务目标串，并取出现次数最多的目标串作为任务执行决策，选定该任务执行策略的策略函数作为目标策略函数，从而根据目标策略函数确定出飞行参数。
步骤S40，控制所述无人机基于所述飞行参数执行定航巡检任务。
在本实施例中，在确定出飞行参数之后，控制无人机基于该飞行参数执行定航巡检任务，从而实现对如城市这一类城市复杂空间的无人机定航巡检。
在本实施例提供的技术方案中，考虑无人机在城市环境的飞行风险与无人机自身性能的耦合效应，构建保障城市空间领域安全的路线规划代价函数，同时引入风险代价值，合理评价规划后的路径曲线，以实现城市环境中点对点的无人机路径快速规划，利用神经网络的自学习、并行性等特性，提高无人机感知能力与巡检覆盖效率，利用强化学习中智能体与环境交互功能，不断迭代优化自身的决策机制，以实现全覆盖的实时路径规划深度强化学习，达到了提升无人机在复杂空间内巡检的飞行安全的效果。
参照图3，在第二实施例中，基于第一实施例，所述步骤S20包括：
步骤S21，获取所述激光雷达采集的所述点云数据，以及所述视觉传感器采集的所述视觉图像数据，其中，所述点云数据和所述视觉图像数据的数据采集进程时间维度和空间维度均保持同步；
步骤S22，将同一采集周期内获取的所述点云数据与所述视觉图像数据进行融合，得到所述融合数据；
步骤S23，根据所述融合数据确定所述无人机的当前位姿；
步骤S24，基于所述当前位姿更新所述定位结果。
可选地，在本实施例中，无人机上设置的传感器包括激光雷达和视觉传感器和惯性导航测量传感器，监测数据包括点云数据、视觉图像数据以及惯性导航测量传感数据，无人机每隔预设间隔周期，周期性的同时获取激光雷达采集的点云数据，以及视觉传感器采集的视觉图像数据，其中，无论是点云数据还是视觉图像数据，目标采集对象均一致，即保持两者时空上的同步。例如，激光雷达和视觉传感器同时对一高楼建筑物的幕墙进行采集，得到该幕墙对应的点云数据和视觉图像数据。
接着，将点云数据和视觉图像数据进行数据融合处理，得到融合数据。可选地，具体的数据融合方式可以为：将点云数据转化为伪图像格式数据，并将伪图像格式数据输入预设卷积神经网络中进行特征提取，得到点云特征图，再将点云特征图和视觉图像数据输入预设的神经网络模型进行特征提取，得到最终的融合数据。需要说明的是，将点云数据转化为伪图像格式数据的目的在于使较为稀疏且无序的点云数据转化为较为密集且规则的图像格式数据，从而使其能够被卷积神经网络有效识别。
卷积神经网络表征为一种三维目标检测神经网络结构，其神经网络当中的主干网络分别对点云的伪图像格式数据和视觉图像进行特征提取，再通过神经网络当中的融合网络对点云特征图和图像特征图进行融合，得到融合数据。通过融合数据来对无人机进行定位能够提升无人机的定位精确度。
然后，获取惯性导航测量传感器采集的惯性导航测量传感数据(下称为IMU数据)，根据融合数据和IMU数据去确定出无人机的当前位姿，具体的，无人机的位姿确定需要点云数据、视觉图像数据和IMU数据融合来得到，由于融合数据中已经融合了点云数据和视觉图像数据，因此在这一步骤总只需将IMU数据和融合数据进行第二次融合即可。具体的，第二次融合，需要使IMU数据分别对融合数据中的视觉数据和点云数据作融合。IMU－视觉融合的主要步骤包括：图像特征点的提取跟踪、IMU预积分融合算法、视觉惯性里程计的初始化以及滑动窗口图优化位姿求解，将融合后的IMU－视觉融合数据通过构建雅克比对状态量进行优化迭代，获得无人机的当前定位位姿。IMU-点云融合的主要步骤包括：点云的IMU去畸变、点云的特征点提取与匹配、位姿求解以及激光IMU扩展卡尔曼融合，使得控制终端能够连续对无人机的位姿进行预测更新，实现高频率位姿输出。
在本实施例提供的技术方案中，通过将时空一致的点云数据和视觉图像数据进行数据融合后，再根据融合数据和惯性导航测量数据确定无人机的当前位姿，并根据下一周期得到的融合数据和惯性导航测量数据，更新无人机的当前位姿，从而实现高频位姿更新，提高了无人机的定位精确度。
参照图4，在第三实施例中，基于上述任一实施例，所述步骤S24之前，还包括：
步骤S50，确定所述无人机当前所处环境中的光强；
步骤S60，当所述光强低于预设光强阈值时，获取所述红外传感器采集所述目标采集对象得到的红外数据，并根据所述红外数据确定所述目标采集对象和所述无人机之间的红外测距值；
步骤S70，确定连续周期中采集的第一视觉图像数据和第二视觉图像数据之间相匹配的各个像素点之间的深度距离，其中，所述第一视觉图像数据和第二视觉图像数据之间的采集角度不同；
步骤S80，基于所述红外测距值优化所述深度距离，并根据优化后的所述深度距离确定所述无人机与所述目标采集对象之间的测距结果；
所述步骤S24包括：
步骤S241，基于所述测距结果和所述当前位姿，更新所述定位结果。
可选地，在本实施例中，当无人机处于较暗环境下时，视觉相机采集的数据的清晰度可能较差，因此引入红外数据来对无人机的定位结果进行优化，以增加无人机在黑暗环境中的计算精度。
具体的，设定一光强阈值，当检测到无人机周围的光强小于该阈值时，获取红外传感器采集的红外数据，并基于ToF(Time of flight，飞行时间)测距法，确定出目标采集对象和无人机之间的红外测距值。然后确定连续周期中采集的第一视觉图像数据和第二视觉图像数据之间相匹配的各个像素点之间的深度距离，其中，第一视觉图像数据和第二视觉图像数据为视觉传感器于两个连续周期采集同一目标采集图像得到的数据。
可选地，考虑到无人机在运动过程中两个周期采集的视觉图像的视场角可能不同，采用双目相机作为视觉传感器。
接着，基于红外测距值优化所述深度距离，并根据优化后的所述深度距离确定所述无人机与所述目标采集对象之间的测距结果，优化后的深度距离能够更精确的显示无人机与目标采集对象之间的距离。
最后根据测距结果和多个连续周期无人机的当前位姿，来确定无人机的定位结果。需要说明的是，引入测距结果对无人机进行的定位有益效果至少在于：将原先的范围估计定位问题转变为多边测距问题，通过最小二乘法即可获得无人机的全局最优解，降低了定位算法的计算量。
在本实施例提供的技术方案中，通过引入测距结果对无人机进行的定位，将原先的范围估计定位问题转变为多边测距问题，定位结果的计算通过最小二乘法即可获得无人机的全局最优解，降低了定位算法的计算量。
参照图5，在第四实施例中，基于上述任一实施例，所述步骤S20之前，还包括：
步骤S90，获取所述无人机基于超宽带定位确定的飞行高度，以及所述光流传感器采集的光流数据；
步骤S100，根据所述飞行高度和所述光流数据，计算所述无人机所处空间的三维空间信息；
所述步骤S20包括：
步骤S25，基于所述三维空间信息修正所述融合数据中的积累误差，并基于修正所述积累误差后的所述融合数据更新所述定位结果。
可选地，在本实施例中，由于通过IMU来确定无人机的实时位姿会随着时间而积累误差，因此，引入光流传感器和无人机的飞行高度来对无人机的定位结果进行优化。
具体的，首先通过超宽带(Ultra Wide Band，UWB)定位技术对无人机进行飞行高度的初步计算，该方式计算出的飞行高度精确度较低，存在一定误差，因此引入精度较高的光流传感器采集的光流数据，通过光流数据来修正无人机的高度值，得到精度较高的修正飞行高度，并根据修正飞行高度进一步计算出三维空间信息，在视距场景内，使用计算所得的三维空间信息修正IMU的累积误差。
此外，若在视距场景外，则使用IMU一定时间内所得的精确位姿信息弥补UWB测得的位置信息。通过多传感器数据的融合互补，得到任何场景下精确的三维位置信息。
在本实施例提供的技术方案中，通过引入光流传感器和无人机的飞行高度来对无人机的定位结果进行优化，从而避免无人机由于IMU传感器获取的定位位姿随时间累积产生较大的定位误差，提升了无人机定位的精确度，便于无人机执行后续的巡检任务。
参照图6，在第五实施例中，基于第一实施例，所述步骤S20之前，还包括：
步骤S110，获取所述无人机基于超宽带定位确定的位置数据，并根据所述惯性导航测量数据对所述光流数据进行补偿，得到补偿光流数据；
步骤S120，根据所述补偿光流数据确定所述无人机的飞行速度；
步骤S130，将所述惯性导航测量数据作为状态量，所述飞行速度作为控制量，所述位置数据作为观测量，建立状态与观测方程；
所述步骤S20包括：
步骤S26，基于所述状态与观测方程，确定满足所述补偿光流数据和所述位置数据的融合数据，并基于所述融合数据更新无人机定位结果。
可选地，在本实施例中，为了降低无人机定位计算量，提高无人机的定位速度，引入无人机的飞行高度来对无人机的定位结果进行计算，并基于IMU对无人机的光流数据进行补偿，在默认无人机保持该飞行高度计算的基础上，使原先三维空间内的定位计算转变为二维平面的定位计算。
具体的，通过IMU所测得的惯性导航测量数据对光流数据进行补偿，使其转变为无人机在水平方向运动的补偿光流数据。然后将IMU数据作为状态量，根据补偿光流数据确定出的无人机飞行速度作为控制量，将基于UWB定位技术计算所得的无人机的位置数据作为观测量，建立状态与观测方程。然后基于该方程作为一种映射关系，通过卡尔曼滤波器确定出满足该映射关系的补偿光流数据和所述位置数据对应的融合数据，并基于该融合数据更新无人机定位结果。
在本实施例提供的技术方案中，通过引入无人机的飞行高度来对无人机的定位结果进行计算，并基于IMU对无人机的光流数据进行补偿，在默认无人机保持该飞行高度计算的基础上，使原先三维空间内的定位计算转变为二维平面的定位计算，达到了降低无人机定位计算量，提高无人机的定位速度的技术效果。
此外，本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可以存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被控制终端中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有巡检无人机的控制程序，所述巡检无人机的控制程序被处理器执行时实现如上实施例所述的巡检无人机的控制方法的各个步骤。
其中，所述计算机可读存储介质可以是U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
需要说明的是，由于本申请实施例提供的存储介质，为实施本申请实施例的方法所采用的存储介质，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该存储介质的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的存储介质都属于本申请所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种巡检无人机的控制方法，其特征在于，所述方法包括：
根据无人机当前所处环境的环境参数和所述无人机的性能参数，在可选航线中选定当前时刻对应的最优航线；
根据所述无人机采集的多个不同类型的监测数据生成融合数据，并根据所述融合数据更新无人机定位结果；
基于更新后的所述无人机定位结果和所述最优航线，确定飞行参数；
控制所述无人机基于所述飞行参数执行巡检任务。
2.如权利要求1所述的方法，其特征在于，所述根据无人机当前所处环境的环境参数和所述无人机的性能参数，在可选航线中选定当前时刻对应的最优航线的步骤之前，还包括：
获取所述无人机的目标飞行距离；
所述根据无人机当前所处环境的环境参数和所述无人机的性能参数，在可选航线中选定当前时刻对应的最优航线的步骤包括：
根据所述环境参数确定环境代价值，以及根据所述性能参数和所述目标飞行距离确定能耗代价值，以及根据所述环境参数和所述性能参数确定冗余代价值；
根据所述环境代价值、所述能耗代价值和所述冗余代价值，确定各个所述可选航线的风险代价值；
选取各个可选航线中，所述风险代价值最小的可选航线，作为所述最优航线。
3.如权利要求1所述的方法，其特征在于，所述无人机包括激光雷达和视觉传感器，所述监测数据包括点云数据和视觉图像数据，所述根据所述无人机采集的多个不同类型的监测数据生成融合数据，并根据所述融合数据更新无人机定位结果的步骤包括：
获取所述激光雷达采集的所述点云数据，以及所述视觉传感器采集的所述视觉图像数据，其中，所述点云数据和所述视觉图像数据的数据采集进程时间维度和空间维度均保持同步；
将同一采集周期内获取的所述点云数据与所述视觉图像数据进行融合，得到所述融合数据；
根据所述融合数据确定所述无人机的当前位姿；
基于所述当前位姿更新所述定位结果。
4.如权利要求3所述的方法，其特征在于，所述将同一采集周期内获取的所述点云数据与所述视觉图像数据进行融合，得到所述融合数据的步骤包括：
将所述点云数据转化为伪图像格式数据，并将所述伪图像格式数据输入预设卷积神经网络中进行特征提取，得到点云特征图；
将所述点云特征图和所述视觉图像数据输入预设的神经网络模型进行特征提取，得到所述融合数据。
5.如权利要求3所述的方法，其特征在于，所述无人机包括红外传感器，所述监测数据包括红外数据，所述基于所述当前位姿更新所述定位结果的步骤之前，还包括：
确定所述无人机当前所处环境中的光强；
当所述光强低于预设光强阈值时，获取所述红外传感器采集目标采集对象得到的红外数据，并根据所述红外数据确定所述目标采集对象和所述无人机之间的红外测距值；
确定连续周期中采集的第一视觉图像数据和第二视觉图像数据之间相匹配的各个像素点之间的深度距离，其中，所述第一视觉图像数据和第二视觉图像数据之间的采集角度不同；
基于所述红外测距值优化所述深度距离，并根据优化后的所述深度距离确定所述无人机与所述目标采集对象之间的测距结果；
所述基于所述当前位姿更新所述定位结果的步骤包括：
基于所述测距结果和所述当前位姿，更新所述定位结果。
6.如权利要求1所述的方法，其特征在于，所述无人机包括光流传感器，所述监测数据包括光流数据，所述根据所述无人机采集的多个不同类型的监测数据生成融合数据，并根据所述融合数据更新无人机定位结果的步骤之前，还包括：
根据超宽带定位信号确定飞行高度，以及获取所述光流传感器采集的所述光流数据；
根据所述飞行高度和所述光流数据，计算所述无人机所处空间的三维空间信息；
所述根据所述无人机采集的多个不同类型的监测数据生成融合数据，并基于所述融合数据更新无人机定位结果的步骤包括：
基于所述三维空间信息修正所述融合数据中的积累误差，并基于修正所述积累误差后的所述融合数据更新所述定位结果。
7.如权利要求1所述的方法，其特征在于，所述无人机包括光流传感器和惯性导航测量传感器，所述监测数据包括光流数据和惯性导航测量数据，所述根据所述无人机采集的多个不同类型的监测数据生成融合数据，并基于所述融合数据更新无人机定位结果的步骤之前，还包括：
根据超宽带定位确定所述无人机确定的位置数据，并根据所述惯性导航测量数据对所述光流数据进行补偿，得到补偿光流数据；
根据所述补偿光流数据确定所述无人机的飞行速度；
将所述位置数据作为状态量，所述飞行速度作为控制量，所述惯性导航测量数据作为观测量，建立状态与观测方程；
所述根据所述无人机采集的多个不同类型的监测数据生成融合数据，并基于所述融合数据更新无人机定位结果的步骤包括：
基于所述状态与观测方程，确定满足所述补偿光流数据和所述位置数据的融合数据，并基于所述融合数据更新无人机定位结果。
8.如权利要求1所述的方法，其特征在于，所述基于更新后的所述无人机定位结果和所述最优航线，确定飞行参数的步骤之前，还包括：
确定所述无人机的当前执行状态，所述当前执行状态包括待命状态、执行任务状态和返航状态；以及，
确定所述无人机当前执行事件的事件类型，所述事件类型包括传感器自检类、三维建图类、目标检测类和定位类；
根据所述当前执行状态和所述事件类型，于预设决策函数集中确定所述无人机的目标决策函数；
所述基于更新后的所述无人机定位结果和所述最优航线，确定飞行参数的步骤包括：
基于所述目标决策函数，将满足所述定位结果和所述最优航线的运行控制参数，确定为所述飞行参数。
9.一种控制终端，其特征在于，所述控制终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的巡检无人机的控制程序，所述巡检无人机的控制程序被所述处理器执行时实现如权利要求1至8中任一项所述的巡检无人机的控制方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有巡检无人机的控制程序，所述巡检无人机的控制程序被处理器执行时实现如权利要求1至8中任一项所述的巡检无人机的控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310116956.7A CN116126022A (zh) | 2023-01-30 | 2023-01-30 | 巡检无人机的控制方法、控制终端以及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310116956.7A CN116126022A (zh) | 2023-01-30 | 2023-01-30 | 巡检无人机的控制方法、控制终端以及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116126022A true CN116126022A (zh) | 2023-05-16 |
Family
ID=86297212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310116956.7A Pending CN116126022A (zh) | 2023-01-30 | 2023-01-30 | 巡检无人机的控制方法、控制终端以及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116126022A (zh) |
-
2023
- 2023-01-30 CN CN202310116956.7A patent/CN116126022A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Weng et al. | Pole-based real-time localization for autonomous driving in congested urban scenarios | |
| CN101576384B (zh) | 一种基于视觉信息校正的室内移动机器人实时导航方法 | |
| CN110531770B (zh) | 一种基于改进的rrt路径规划方法和系统 | |
| JP4984659B2 (ja) | 自車両位置推定装置 | |
| CN111474953B (zh) | 多动态视角协同的空中目标识别方法及系统 | |
| CN111982137A (zh) | 生成路线规划模型的方法、装置、设备和存储介质 | |
| CN112379681A (zh) | 无人机避障飞行方法、装置及无人机 | |
| Kurdej et al. | Controlling remanence in evidential grids using geodata for dynamic scene perception | |
| KR20160048530A (ko) | 자율 이동 차량의 경로 생성 방법 및 경로 생성 장치 | |
| Liu et al. | An enhanced lidar inertial localization and mapping system for unmanned ground vehicles | |
| Jungnickel et al. | Object tracking and dynamic estimation on evidential grids | |
| CN114119886A (zh) | 高精地图点云重建方法、装置、车辆、设备和存储介质 | |
| CN117589167A (zh) | 一种基于三维点云模型的无人机巡检航线规划方法 | |
| CN112380933B (zh) | 无人机识别目标的方法、装置及无人机 | |
| CN117389305A (zh) | 一种无人机巡检路径规划方法、系统、设备及介质 | |
| Guo et al. | Occupancy grid based urban localization using weighted point cloud | |
| Zhang et al. | Real time obstacle detection method based on lidar and wireless sensor | |
| CN116795108A (zh) | 基于多源感知信号的智能无人车配送方法 | |
| WO2023173076A1 (en) | End-to-end systems and methods for streaming 3d detection and forecasting from lidar point clouds | |
| CN116352722A (zh) | 多传感器融合的矿山巡检救援机器人及其控制方法 | |
| CN116126022A (zh) | 巡检无人机的控制方法、控制终端以及可读存储介质 | |
| Song et al. | Real-time localization measure and perception detection using multi-sensor fusion for Automated Guided Vehicles | |
| CN116052469A (zh) | 一种基于车路协同轨迹预测的车辆碰撞预警方法 | |
| CN115690343A (zh) | 一种基于视觉跟随的机器人激光雷达扫描建图方法 | |
| CA3184001A1 (en) | Multi-agent map generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |