CN113568435A - 一种基于无人机自主飞行态势感知趋势的分析方法与系统 - Google Patents
一种基于无人机自主飞行态势感知趋势的分析方法与系统 Download PDFInfo
- Publication number
- CN113568435A CN113568435A CN202111117826.2A CN202111117826A CN113568435A CN 113568435 A CN113568435 A CN 113568435A CN 202111117826 A CN202111117826 A CN 202111117826A CN 113568435 A CN113568435 A CN 113568435A
- Authority
- CN
- China
- Prior art keywords
- target
- unmanned aerial
- aerial vehicle
- algorithm
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 21
- 230000008447 perception Effects 0.000 title claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000010276 construction Methods 0.000 claims abstract description 18
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 230000001133 acceleration Effects 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 6
- 238000005316 response function Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 9
- 230000007613 environmental effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Navigation (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供了基于无人机自主飞行态势感知趋势的分析方法，包括：根据图像信息、无人机的姿态角及三维加速度信息，采用改进的视觉即时定位与地图构建算法获取无人机的三维位置和姿态信息；获取环境下多目标态势数据，采用MobileNetSSD算法识别目标并确定目标框；然后采用ORB算法提取目标框中目标的特征，并与特定目标的特征进行特征匹配，预估目标的移动轨迹，根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，获取避障路径；根据避障路径实时调整全局路径，获取调整后导航路径，本发明提出的方法，无人机能够实时获取自身的信息，并能够态势感知环境信息，实现目标识别和轨迹预估，进而生成避障路径并实时调整路径，实现无人机可靠的自主飞行。
Description
技术领域
本发明无人机领域，特别是指一种基于无人机自主飞行态势感知趋势的分析方法与系统。
背景技术
随着无人机技术的不断发展，无人机除了在军事上被广泛应用，而且在农业及人们的日常生活中广泛应用，为了实现无人机更为优良的性能，无人机的飞行轨迹规划成为实现无人机功能的重要因素。
现有的无人机在自主规划飞行路径时，只是基于地图简单地将目标点与出发点连接成为一条直线作为飞行路径。然而，无人机在实际飞行过程中，很有可能遇到突发障碍物。
在避障时也只是采取遇障碍物悬停或者绕过障碍物等固定方式，飞行过程显然会受到障碍物的影响而偏离原设定的飞行路径，从而难以准确到达目的地，自主飞行的可靠性较差。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于无人机自主飞行态势感知趋势的分析方法，在自主飞行过程中能够实时获取自身的信息，并能够态势感知环境信息，实现目标识别和轨迹预估，进而生成避障路径，并进行全局路径的实时调整，实现无人机可靠的自主飞行。
本发明实施例提供一种基于无人机自主飞行态势感知趋势的分析方法，包括如下步骤：
根据无人机采集的图像信息、无人机的姿态角及三维加速度信息，采用改进的视觉即时定位与地图构建算法获取无人机的三维位置和姿态信息；
利用多传感器获取环境下多目标态势数据，包括场景三维点云、深度图像、彩色图像，首先进行时间配准和空间配准并融合，采用MobileNetSSD算法识别目标并确定目标框；然后采用ORB算法提取目标框中目标的特征，并与特定目标的特征进行特征匹配，预估目标的移动轨迹；
根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，获取避障路径；
根据避障路径实时调整全局路径，获取调整后导航路径。
具体地，采用MobileNetSSD算法识别目标并确定目标框，具体包括：
调用开源的神经网络框架，输入时间配准和空间配准并融合后的场景三维点云、深度图像、彩色图像，输出检测结果，所述检测结果包括目标包围矩形框的对角坐标和目标类别；
将检测结果输出为xml格式文件，在输入视频图像中绘制出矩形框，可视化检测结果；
对检测结果进行统计。
具体地，采用ORB算法提取目标框中目标的特征，具体包括：
构造尺度金字塔；
在每层金字塔上采用Fast算法提取特征点，采用Moravec角点响应函数，按角点响应值排序，选取前N个特征点，N的取值范围为和检测出的特征点个数有关，N为检测出特征点个数的20％～60％，且N为正整数；
计算每个特征点的主方向，旋转每个特征点的Patch块到主方向；
进行特征点匹配。
具体地，根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，获取避障路径，具体为：
根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，实时获取所述无人机与目标的移动轨迹距离信息；
若所述无人机与目标的移动轨迹距离信息大于预设飞行安全距离，则无人机继续根据设定路径飞行；
若所述无人机与目标的移动轨迹距离信息小于预设飞行安全距离，则获取避障路径。
本发明另一实施例还提供一种基于无人机自主飞行态势感知趋势的分析系统，其特征在于，包括：
无人机自身信息采集模块：根据无人机采集的图像信息、无人机的姿态角及三维加速度信息，采用改进的视觉即时定位与地图构建算法获取无人机的三维位置和姿态信息；
环境态势感知模块：利用多传感器获取环境下多目标态势数据，包括场景三维点云、深度图像、彩色图像，首先进行时间配准和空间配准并融合，采用MobileNetSSD算法识别目标并确定目标框；然后采用ORB算法提取目标框中目标的特征，并与特定目标的特征进行特征匹配，预估目标的移动轨迹；
避障路径生成模块：根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，获取避障路径；
导航路径获取模块：根据避障路径实时调整全局路径，获取调整后导航路径。
具体地，所述环境态势感知模块中，采用MobileNetSSD算法识别目标并确定目标框，具体包括：
调用开源的神经网络框架，输入时间配准和空间配准并融合后的场景三维点云、深度图像、彩色图像，输出检测结果，所述检测结果包括目标包围矩形框的对角坐标和目标类别；
将检测结果输出为xml格式文件，在输入视频图像中绘制出矩形框，可视化检测结果；
对检测结果进行统计。
具体地，所述环境态势感知模块中，采用ORB算法提取目标框中目标的特征，具体包括：
构造尺度金字塔；
在每层金字塔上采用Fast算法提取特征点，采用Moravec角点响应函数，按角点响应值排序，选取前N个特征点，N的取值范围为和检测出的特征点个数有关，N为检测出特征点个数的20％～60％，且N为正整数；
计算每个特征点的主方向，旋转每个特征点的Patch到主方向；
进行特征点匹配。
具体地，所述避障路径生成模块，根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，获取避障路径，具体为：
根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，实时获取所述无人机与目标的移动轨迹距离信息；
若所述无人机与目标的移动轨迹距离信息大于预设飞行安全距离，则无人机继续根据设定路径飞行；
若所述无人机与目标的移动轨迹距离信息小于预设飞行安全距离，则获取避障路径。
本发明再一实施例提供一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理执行的计算机程序，所述处理器执行所述计算机程序时实现上述的基于无人机自主飞行态势感知趋势的分析方法。
本发明又一实施例一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述的基于无人机自主飞行态势感知趋势的分析方法。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
（1）本发明根据无人机采集的图像信息、无人机的姿态角及三维加速度信息，采用改进的视觉即时定位与地图构建算法获取无人机的三维位置和姿态信息；利用多传感器获取环境下多目标态势数据，包括场景三维点云、深度图像、彩色图像，首先进行时间配准和空间配准并融合，采用MobileNetSSD算法识别目标并确定目标框；然后采用ORB算法提取目标框中目标的特征，并与特定目标的特征进行特征匹配，预估目标的移动轨迹；根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，获取避障路径；根据避障路径实时调整全局路径，获取调整后导航路径；本发明提供的方法使得无人机在在自主飞行过程中能够实时获取自身的信息，并能够态势感知环境信息，实现目标识别和轨迹预估，进而生成避障路径，并进行全局路径的实时调整，实现无人机可靠的自主飞行。
（2）本发明通过改进传统的视觉即时定位与地图构建算法程序，增加从彩色图像到灰度图像的处理功能，适用于普通微型摄像头，增加了算法的普适性；且由于普通场景图像纹理较差，不能提供很好的特征点，且控制目标是实现无人机在较大区域内的全自主飞行，本发明通过增加特征点提取数量，同时优化关键帧存储，使得能够获取更多的环境信息，提高了控制算法的鲁棒性。
附图说明
图1为本发明实施例提出的基于无人机自主飞行态势感知趋势的分析方法流程图；
图2为本发明实施例提供的基于无人机自主飞行态势感知趋势的分析系统的结构图；
图3为本发明实施例提供的一种电子设备的实施例示意图；
图4为本发明实施例提供的一种计算机可读存储介质的实施例示意图。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
本发明提供的方法使得无人机在在自主飞行过程中能够实时获取自身的信息，并能够态势感知环境信息，实现目标识别和轨迹预估，进而生成避障路径，并进行全局路径的实时调整，实现无人机可靠的自主飞行。
如图1为本发明实施例提供的一种基于无人机自主飞行态势感知趋势的分析方法流程图，具体包括如下步骤：
S101：根据无人机采集的图像信息、无人机的姿态角及三维加速度信息，采用改进的视觉即时定位与地图构建算法获取无人机的三维位置和姿态信息；
常用的视觉即时定位与地图构建算法主要依靠并行跟踪与建图，基本原理是通过跟踪地图中关键帧及关键帧中的特征点进行位置和姿态估计，并且建立的地图能够随定位过程而逐步扩充；
为提高无人机控制效果，本发明对于传统视觉即时定位与地图构建算法做了以下的改进：第一，传统的视觉即时定位与地图构建算法只能处理灰度图像，而普通微型机载摄像头无法直接提供灰度图像，本发明通过改进传统的视觉即时定位与地图构建算法程序，增加从彩色图像到灰度图像的处理功能，适用于普通微型摄像头，增加了算法的普适性；第二，由于普通地面纹理较差，不能提供很好的特征点，且控制目标是实现无人机在较大区域内的全自主飞行，本发明通过增加特征点提取数量，同时优化关键帧存储，使得能够获取更多的环境信息，提高了控制算法的鲁棒性。
图像信息是通过安装在无人机底部的摄像头采集的，而无人机的姿态角及三维加速度信息是通过集成的惯性导航单元获取。
S102：利用多传感器获取环境下多目标态势数据，包括场景三维点云、深度图像、彩色图像，首先进行时间配准和空间配准并融合，采用MobileNetSSD算法识别目标并确定目标框；然后采用ORB算法提取目标框中目标的特征，并与特定目标的特征进行特征匹配，预估目标的移动轨迹；
MobileNetSSD是以MobileNet为基础的目标检测算法，很好的继承了MobileNet预测速度快，易于部署的特点，能够很好的在多种设备上完成图像目标检测任务；MobileNetSSD是一种轻量级深度网络模型,主要使用了深度可分离卷积DepthwiseSeparable Convolution将标准卷积核进行分解计算，减少了计算量，且功耗低，适用于无人机场景。
通过调用开源的神经网络框架Darknet来实现MobileNetSSD算法，更改其中的目标类、训练集、训练迭代次数、学习率、batches等参数以匹配实际应用。
采用MobileNetSSD算法识别目标并确定目标框，具体包括：
调用开源的神经网络框架，输入时间配准和空间配准并融合后的场景三维点云、深度图像、彩色图像，输出检测结果，所述检测结果包括目标包围矩形框的对角坐标和目标类别；
将检测结果输出为xml格式文件，在输入视频图像中绘制出矩形框，可视化检测结果；
对检测结果进行统计。
ORB (Oriented FAST and Rotated BRIEF)算法结合了Fast算法速度优势，并给Fast特征点增加了方向性，使得特征点具有旋转不变性，并提出了构造金字塔方法，解决尺度不变性采用ORB算法提取目标框中目标的特征，具体包括：
构造尺度金字塔；
在每层金字塔上采用Fast算法提取特征点，采用Moravec角点响应函数，按角点响应值排序，选取前N个特征点，N的取值范围为和检测出的特征点个数有关，N为检测出特征点个数的20％～60％，且N为正整数；
计算每个特征点的主方向，旋转每个特征点的Patch块到主方向；
进行特征点匹配。
其中Moravec角点检测算法是最早的角点检测算法之一，该算法将角点定义为具有低“自相关性”的。算法会检测图像的每一个像素，将像素周边的一个邻域作为一个窗口，并检测这个窗口和周围其他窗口的相关性。这种相关性通过两个窗口间的平方差之和(SSD)来衡量，SSD值越小则相似性越高。如果像素位于平滑图像区域内，周围的窗口都会非常相似。如果像素在边缘上，则周围的窗口在与边缘正交的方向上会有很大差异，在与边缘平行的方向上则较为相似。而如果像素是各个方向上都有变化的特征点，则周围所有的窗口都不会很相似。Moravec会计算每个像素窗口和周围窗口的SSD最小值作为强度值，取局部强度最大的点作为特征点。
S103：根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，获取避障路径；
根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，实时获取所述无人机与目标的移动轨迹距离信息；
若所述无人机与目标的移动轨迹距离信息大于预设飞行安全距离，则无人机继续根据设定路径飞行；
若所述无人机与目标的移动轨迹距离信息小于预设飞行安全距离，则获取避障路径。
当无人机与目标的移动轨迹距离信息小于预设飞行安全距离，调整无人机事先规划的路径点，使得路径点与目标的移动轨迹距离信息大于预设飞行安全距离，调整后的路径点即为避障路径。
S104：根据避障路径实时调整全局路径，获取调整后导航路径。
根据获得避障路径实时调整事先设定好的全局路径，从而获取调整后的导航路径，保障无人机安全运行。
如图2为本发明实施例提供的一种基于无人机自主飞行态势感知趋势的分析系统结构图，具体包括：
无人机自身信息采集模块201：根据无人机采集的图像信息、无人机的姿态角及三维加速度信息，采用改进的视觉即时定位与地图构建算法获取无人机的三维位置和姿态信息；
常用的视觉即时定位与地图构建算法主要依靠并行跟踪与建图，基本原理是通过跟踪地图中关键帧及关键帧中的特征点进行位置和姿态估计，并且建立的地图能够随定位过程而逐步扩充；
为提高无人机控制效果，本发明对于传统视觉即时定位与地图构建算法做了以下的改进：第一，传统的视觉即时定位与地图构建算法只能处理灰度图像，而普通微型机载摄像头无法直接提供灰度图像，本发明通过改进传统的视觉即时定位与地图构建算法程序，增加从彩色图像到灰度图像的处理功能，适用于普通微型摄像头，增加了算法的普适性；第二，由于普通地面纹理较差，不能提供很好的特征点，且控制目标是实现无人机在较大区域内的全自主飞行，本发明通过增加特征点提取数量，同时优化关键帧存储，使得能够获取更多的环境信息，提高了控制算法的鲁棒性。
图像信息是通过安装在无人机底部的摄像头采集的，而无人机的姿态角及三维加速度信息是通过集成的惯性导航单元获取。
环境态势感知模块202：利用多传感器获取环境下多目标态势数据，包括场景三维点云、深度图像、彩色图像，首先进行时间配准和空间配准并融合，采用MobileNetSSD算法识别目标并确定目标框；然后采用ORB算法提取目标框中目标的特征，并与特定目标的特征进行特征匹配，预估目标的移动轨迹；
MobileNetSSD算法是一种联合训练算法，代表着目前最先进物体检测水平，在多种监测数据集中都要快过其他检测系统，并可以在速度与精确度上进行权衡；通过调用开源的神经网络框架Darknet来实现MobileNetSSD算法，更改其中的目标类、训练集、训练迭代次数、学习率、batches等参数以匹配实际应用。
采用MobileNetSSD算法识别目标并确定目标框，具体包括：
调用开源的神经网络框架，输入时间配准和空间配准并融合后的场景三维点云、深度图像、彩色图像，输出检测结果，所述检测结果包括目标包围矩形框的对角坐标和目标类别；
将检测结果输出为xml格式文件，在输入视频图像中绘制出矩形框，可视化检测结果；
对检测结果进行统计。
ORB (Oriented FAST and Rotated BRIEF)算法结合了Fast算法速度优势，并给Fast特征点增加了方向性，使得特征点具有旋转不变性，并提出了构造金字塔方法，解决尺度不变性采用ORB算法提取目标框中目标的特征，具体包括：
构造尺度金字塔；
在每层金字塔上采用Fast算法提取特征点，采用Moravec角点响应函数，按角点响应值排序，选取前N个特征点，N的取值范围为和检测出的特征点个数有关，N为检测出特征点个数的20％～60％，且N为正整数；
计算每个特征点的主方向，旋转每个特征点的Patch块到主方向；
进行特征点匹配。
其中Moravec角点检测算法是最早的角点检测算法之一，该算法将角点定义为具有低“自相关性”的。算法会检测图像的每一个像素，将像素周边的一个邻域作为一个窗口，并检测这个窗口和周围其他窗口的相关性。这种相关性通过两个窗口间的平方差之和(SSD)来衡量，SSD值越小则相似性越高。如果像素位于平滑图像区域内，周围的窗口都会非常相似。如果像素在边缘上，则周围的窗口在与边缘正交的方向上会有很大差异，在与边缘平行的方向上则较为相似。而如果像素是各个方向上都有变化的特征点，则周围所有的窗口都不会很相似。Moravec会计算每个像素窗口和周围窗口的SSD最小值作为强度值，取局部强度最大的点作为特征点。
避障路径生成模块203：根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，获取避障路径；
根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，实时获取所述无人机与目标的移动轨迹距离信息；
若所述无人机与目标的移动轨迹距离信息大于预设飞行安全距离，则无人机继续根据设定路径飞行；
若所述无人机与目标的移动轨迹距离信息小于预设飞行安全距离，则获取避障路径。
当无人机与目标的移动轨迹距离信息小于预设飞行安全距离，调整无人机事先规划的路径点，使得路径点与目标的移动轨迹距离信息大于预设飞行安全距离，调整后的路径点即为避障路径。
导航路径获取模块204：根据避障路径实时调整全局路径，获取调整后导航路径。
根据获得避障路径实时调整事先设定好的全局路径，从而获取调整后的导航路径，保障无人机可靠自主运行。
如图3所示，本发明实施例提供了一种电子设备300，包括存储器310、处理器320及存储在存储器320上并可在处理器320上运行的计算机程序311，处理器320执行计算机程序311时实现本发明实施例提供的一种基于无人机自主飞行态势感知趋势的分析方法。
在具体实施过程中，处理器320执行计算机程序311时，可以实现图1对应的实施例中任一实施方式。
由于本实施例所介绍的电子设备为实施本发明实施例中一种数据处理装置所采用的设备，故而基于本发明实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍，只要本领域所属技术人员实施本发明实施例中的方法所采用的设备，都属于本发明所欲保护的范围。
请参阅图4，图4为本发明实施例提供的一种计算机可读存储介质的实施例示意图。
如图4所示，本实施例提供了一种计算机可读存储介质400，其上存储有计算机程序411，该计算机程序411被处理器执行时实现本发明实施例提供的一种基于无人机自主飞行态势感知趋势的分析方法；
在具体实施过程中，该计算机程序411被处理器执行时可以实现图1对应的实施例中任一实施方式。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
（1）本发明提供的方法使得无人机在在自主飞行过程中能够实时获取自身的信息，并能够态势感知环境信息，实现目标识别和轨迹预估，进而生成避障路径，并进行全局路径的实时调整，实现无人机可靠的自主飞行。
（2）本发明通过改进传统的视觉即时定位与地图构建算法程序，增加从彩色图像到灰度图像的处理功能，适用于普通微型摄像头，增加了算法的普适性；且由于普通场景图像纹理较差，不能提供很好的特征点，且控制目标是实现无人机在较大区域内的全自主飞行，本发明通过增加特征点提取数量，同时优化关键帧存储，使得能够获取更多的环境信息，提高了控制算法的鲁棒性。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。
Claims (10)
1.一种基于无人机自主飞行态势感知趋势的分析方法，其特征在于，包括如下步骤：
根据无人机采集的图像信息、无人机的姿态角及三维加速度信息，采用改进的视觉即时定位与地图构建算法获取无人机的三维位置和姿态信息；
利用多传感器获取环境下多目标态势数据，包括场景三维点云、深度图像、彩色图像，首先进行时间配准和空间配准并融合，采用MobileNetSSD算法识别目标并确定目标框；然后采用ORB算法提取目标框中目标的特征，并与特定目标的特征进行特征匹配，预估目标的移动轨迹；
根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，获取避障路径；
根据避障路径实时调整全局路径，获取调整后导航路径。
2.根据权利要求1所述的一种基于无人机自主飞行态势感知趋势的分析方法，其特征在于，采用MobileNetSSD算法识别目标并确定目标框，具体包括：
调用开源的神经网络框架，输入时间配准和空间配准并融合后的场景三维点云、深度图像、彩色图像，输出检测结果，所述检测结果包括目标包围矩形框的对角坐标和目标类别；
将检测结果输出为xml格式文件，在输入视频图像中绘制出矩形框，可视化检测结果；
对检测结果进行统计。
3.根据权利要求1所述的一种基于无人机自主飞行态势感知趋势的分析方法，其特征在于，采用ORB算法提取目标框中目标的特征，具体包括：
构造尺度金字塔；
在每层金字塔上采用Fast算法提取特征点，采用Moravec角点响应函数，按角点响应值排序，选取前N个特征点，N的取值范围为和检测出的特征点个数有关，N为检测出特征点个数的20％～60％，且N为正整数；
计算每个特征点的主方向，旋转每个特征点的Patch块到主方向；
进行特征点匹配。
4.根据权利要求1所述的一种基于无人机自主飞行态势感知趋势的分析方法，其特征在于，根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，获取避障路径，具体为：
根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，实时获取所述无人机与目标的移动轨迹距离信息；
若所述无人机与目标的移动轨迹距离信息大于预设飞行安全距离，则无人机继续根据设定路径飞行；
若所述无人机与目标的移动轨迹距离信息小于预设飞行安全距离，则获取避障路径。
5.一种基于无人机自主飞行态势感知趋势的分析系统，其特征在于，包括：
无人机自身信息采集模块：根据无人机采集的图像信息、无人机的姿态角及三维加速度信息，采用改进的视觉即时定位与地图构建算法获取无人机的三维位置和姿态信息；
环境态势感知模块：利用多传感器获取环境下多目标态势数据，包括场景三维点云、深度图像、彩色图像，首先进行时间配准和空间配准并融合，采用MobileNetSSD算法识别目标并确定目标框；然后采用ORB算法提取目标框中目标的特征，并与特定目标的特征进行特征匹配，预估目标的移动轨迹；
避障路径生成模块：根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，获取避障路径；
导航路径获取模块：根据避障路径实时调整全局路径，获取调整后导航路径。
6.根据权利要求5所述的一种基于无人机自主飞行态势感知趋势的分析系统，其特征在于，所述环境态势感知模块中，采用MobileNetSSD算法识别目标并确定目标框，具体包括：
调用开源的神经网络框架，输入时间配准和空间配准并融合后的场景三维点云、深度图像、彩色图像，输出检测结果，所述检测结果包括目标包围矩形框的对角坐标和目标类别；
将检测结果输出为xml格式文件，在输入视频图像中绘制出矩形框，可视化检测结果；
对检测结果进行统计。
7.根据权利要求5所述的一种基于无人机自主飞行态势感知趋势的分析系统，其特征在于，所述环境态势感知模块中，采用ORB算法提取目标框中目标的特征，具体包括：
构造尺度金字塔；
在每层金字塔上采用Fast算法提取特征点，采用Moravec角点响应函数，按角点响应值排序，选取前N个特征点，N的取值范围为和检测出的特征点个数有关，N为检测出特征点个数的20％～60％，且N为正整数；
计算每个特征点的主方向，旋转每个特征点的Patch到主方向；
进行特征点匹配。
8.根据权利要求5所述的一种基于无人机自主飞行态势感知趋势的分析系统，其特征在于，所述避障路径生成模块，根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，获取避障路径，具体为：
根据无人机的三维位置和姿态信息，以及预估目标的移动轨迹，实时获取所述无人机与目标的移动轨迹距离信息；
若所述无人机与目标的移动轨迹距离信息大于预设飞行安全距离，则无人机继续根据设定路径飞行；
若所述无人机与目标的移动轨迹距离信息小于预设飞行安全距离，则获取避障路径。
9.一种电子设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的基于无人机自主飞行态势感知趋势的分析方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一所述的基于无人机自主飞行态势感知趋势的分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111117826.2A CN113568435B (zh) | 2021-09-24 | 2021-09-24 | 一种基于无人机自主飞行态势感知趋势的分析方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111117826.2A CN113568435B (zh) | 2021-09-24 | 2021-09-24 | 一种基于无人机自主飞行态势感知趋势的分析方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113568435A true CN113568435A (zh) | 2021-10-29 |
| CN113568435B CN113568435B (zh) | 2021-12-24 |
Family
ID=78174128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111117826.2A Active CN113568435B (zh) | 2021-09-24 | 2021-09-24 | 一种基于无人机自主飞行态势感知趋势的分析方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113568435B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092822A (zh) * | 2022-01-24 | 2022-02-25 | 广东皓行科技有限公司 | 图像处理方法、移动控制方法以及移动控制系统 |
| CN114415726A (zh) * | 2022-01-18 | 2022-04-29 | 江苏锐天智能科技股份有限公司 | 一种基于图像分析的无人机避障控制系统及方法 |
| CN114969434A (zh) * | 2022-07-28 | 2022-08-30 | 中航信移动科技有限公司 | 用于航线可视化的数据处理方法、存储介质及电子设备 |
| CN115329932A (zh) * | 2022-08-05 | 2022-11-11 | 中国民用航空飞行学院 | 基于数字孪生的飞机着陆姿态监视方法 |
| CN117055601A (zh) * | 2023-09-05 | 2023-11-14 | 广东工业大学 | 一种无人机送餐路径规划方法、装置、设备及存储介质 |
| CN118534823A (zh) * | 2024-07-23 | 2024-08-23 | 深圳市易路视科技有限公司 | 基于光流定位的无人机飞行控制方法及系统 |
| CN118570681A (zh) * | 2024-07-24 | 2024-08-30 | 南京智慧航空研究院有限公司 | 一种低空飞行态势可视化方法 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109116867A (zh) * | 2018-09-28 | 2019-01-01 | 拓攻（南京）机器人有限公司 | 一种无人机飞行避障方法、装置、电子设备及存储介质 |
| US20190120955A1 (en) * | 2017-10-20 | 2019-04-25 | Texas Instruments Incorporated | System and method for camera radar fusion |
| CN110018689A (zh) * | 2019-05-15 | 2019-07-16 | 福州大学 | 一种基于动态窗口的多虚拟目标点全局动态路径规划算法 |
| US20190362173A1 (en) * | 2016-10-09 | 2019-11-28 | Airspace Systems, Inc. | Spatio-temporal awareness engine for priority tree based region selection across multiple input cameras and multimodal sensor empowered awareness engine for target recovery and object path prediction |
| CN110866887A (zh) * | 2019-11-04 | 2020-03-06 | 深圳市唯特视科技有限公司 | 一种基于多传感器的目标态势融合感知方法和系统 |
| CN111044052A (zh) * | 2019-12-31 | 2020-04-21 | 西安交通大学 | 一种基于智能感知的无人机自适应导航系统及方法 |
| CN111258316A (zh) * | 2020-01-20 | 2020-06-09 | 浙江工业大学 | 一种动态环境下趋势感知的机器人轨迹规划方法 |
| EP3671121A1 (en) * | 2017-08-18 | 2020-06-24 | Guangdong Bona Robot Corporation Limited | Map creation method for mobile robot and path planning method based on map |
| CN111338383A (zh) * | 2020-04-24 | 2020-06-26 | 北京泛化智能科技有限公司 | 基于gaas的自主飞行方法及系统、存储介质 |
| WO2020149021A1 (ja) * | 2019-01-15 | 2020-07-23 | オムロン株式会社 | 経路生成装置、経路生成方法、及び経路生成プログラム |
| CN111709295A (zh) * | 2020-05-18 | 2020-09-25 | 武汉工程大学 | 一种基于SSD-MobileNet的实时手势检测和识别方法及系统 |
| CN111784746A (zh) * | 2020-08-10 | 2020-10-16 | 上海高重信息科技有限公司 | 一种鱼眼镜头下行人多目标跟踪方法、装置及计算机系统 |
| US20200333166A1 (en) * | 2019-04-12 | 2020-10-22 | Tremolant Inc. | Object-Operated Machine |
| WO2021063505A1 (en) * | 2019-10-02 | 2021-04-08 | Telefonaktiebolaget Lm Ericsson (Publ) | Object detection |
| WO2021118386A1 (ru) * | 2019-12-10 | 2021-06-17 | федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" | Способ получения набора объектов трехмерной сцены |
| US20210183098A1 (en) * | 2019-12-13 | 2021-06-17 | Sony Corporation | Multi-view three-dimensional positioning |
| CN113034579A (zh) * | 2021-03-08 | 2021-06-25 | 江苏集萃微纳自动化系统与装备技术研究所有限公司 | 一种移动机器人基于激光数据的动态障碍物轨迹预测方法 |
| CN113160062A (zh) * | 2021-05-25 | 2021-07-23 | 烟台艾睿光电科技有限公司 | 一种红外图像目标检测方法、装置、设备及存储介质 |
| CN113359714A (zh) * | 2021-05-25 | 2021-09-07 | 国网江苏省电力有限公司电力科学研究院 | 基于粒子滤波算法的巡检机器人动态路径规划方法及装置 |
| CN113424125A (zh) * | 2019-03-20 | 2021-09-21 | Thk株式会社 | 移动机器人、移动机器人的控制系统、移动机器人的控制方法 |
-
2021
- 2021-09-24 CN CN202111117826.2A patent/CN113568435B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190362173A1 (en) * | 2016-10-09 | 2019-11-28 | Airspace Systems, Inc. | Spatio-temporal awareness engine for priority tree based region selection across multiple input cameras and multimodal sensor empowered awareness engine for target recovery and object path prediction |
| EP3671121A1 (en) * | 2017-08-18 | 2020-06-24 | Guangdong Bona Robot Corporation Limited | Map creation method for mobile robot and path planning method based on map |
| US20190120955A1 (en) * | 2017-10-20 | 2019-04-25 | Texas Instruments Incorporated | System and method for camera radar fusion |
| CN109116867A (zh) * | 2018-09-28 | 2019-01-01 | 拓攻（南京）机器人有限公司 | 一种无人机飞行避障方法、装置、电子设备及存储介质 |
| WO2020149021A1 (ja) * | 2019-01-15 | 2020-07-23 | オムロン株式会社 | 経路生成装置、経路生成方法、及び経路生成プログラム |
| CN113424125A (zh) * | 2019-03-20 | 2021-09-21 | Thk株式会社 | 移动机器人、移动机器人的控制系统、移动机器人的控制方法 |
| US20200333166A1 (en) * | 2019-04-12 | 2020-10-22 | Tremolant Inc. | Object-Operated Machine |
| CN110018689A (zh) * | 2019-05-15 | 2019-07-16 | 福州大学 | 一种基于动态窗口的多虚拟目标点全局动态路径规划算法 |
| WO2021063505A1 (en) * | 2019-10-02 | 2021-04-08 | Telefonaktiebolaget Lm Ericsson (Publ) | Object detection |
| CN110866887A (zh) * | 2019-11-04 | 2020-03-06 | 深圳市唯特视科技有限公司 | 一种基于多传感器的目标态势融合感知方法和系统 |
| WO2021118386A1 (ru) * | 2019-12-10 | 2021-06-17 | федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" | Способ получения набора объектов трехмерной сцены |
| US20210183098A1 (en) * | 2019-12-13 | 2021-06-17 | Sony Corporation | Multi-view three-dimensional positioning |
| CN111044052A (zh) * | 2019-12-31 | 2020-04-21 | 西安交通大学 | 一种基于智能感知的无人机自适应导航系统及方法 |
| CN111258316A (zh) * | 2020-01-20 | 2020-06-09 | 浙江工业大学 | 一种动态环境下趋势感知的机器人轨迹规划方法 |
| CN111338383A (zh) * | 2020-04-24 | 2020-06-26 | 北京泛化智能科技有限公司 | 基于gaas的自主飞行方法及系统、存储介质 |
| CN111709295A (zh) * | 2020-05-18 | 2020-09-25 | 武汉工程大学 | 一种基于SSD-MobileNet的实时手势检测和识别方法及系统 |
| CN111784746A (zh) * | 2020-08-10 | 2020-10-16 | 上海高重信息科技有限公司 | 一种鱼眼镜头下行人多目标跟踪方法、装置及计算机系统 |
| CN113034579A (zh) * | 2021-03-08 | 2021-06-25 | 江苏集萃微纳自动化系统与装备技术研究所有限公司 | 一种移动机器人基于激光数据的动态障碍物轨迹预测方法 |
| CN113160062A (zh) * | 2021-05-25 | 2021-07-23 | 烟台艾睿光电科技有限公司 | 一种红外图像目标检测方法、装置、设备及存储介质 |
| CN113359714A (zh) * | 2021-05-25 | 2021-09-07 | 国网江苏省电力有限公司电力科学研究院 | 基于粒子滤波算法的巡检机器人动态路径规划方法及装置 |
Non-Patent Citations (7)
| Title |
|---|
| GUI-SONG XIA1等: "DOTA: A Large-scale Dataset for Object Detection in Aerial Images", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| LIJIN FANG，等: "Robust Visual SLAM Algorithm for Dynamic Indoor Environments", 《PROCEEDINGS OF THE 40TH CHINESE CONTROL CONFERENCE》 * |
| SHANSHAN HU，等: "A 3D Semantic Visual SLAM in Dynamic Scenes", 《2021 6TH IEEE INTERNATIONAL CONFERENCE ON ADVANCED ROBOTICS AND MECHATRONICS》 * |
| 刘俊明等: "基于深度学习的单阶段目标检测算法研究综述", 《航空兵器》 * |
| 张佳龙等: "基于改进人工势场的无人机编队避障控制研究", 《西安交通大学学报》 * |
| 杨洁等: "基于SSD卷积网络的视频目标检测研究", 《南华大学学报(自然科学版)》 * |
| 齐少华等: "动态环境下的语义地图构建", 《计算机科学》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114415726A (zh) * | 2022-01-18 | 2022-04-29 | 江苏锐天智能科技股份有限公司 | 一种基于图像分析的无人机避障控制系统及方法 |
| CN114092822A (zh) * | 2022-01-24 | 2022-02-25 | 广东皓行科技有限公司 | 图像处理方法、移动控制方法以及移动控制系统 |
| CN114969434A (zh) * | 2022-07-28 | 2022-08-30 | 中航信移动科技有限公司 | 用于航线可视化的数据处理方法、存储介质及电子设备 |
| CN115329932A (zh) * | 2022-08-05 | 2022-11-11 | 中国民用航空飞行学院 | 基于数字孪生的飞机着陆姿态监视方法 |
| CN117055601A (zh) * | 2023-09-05 | 2023-11-14 | 广东工业大学 | 一种无人机送餐路径规划方法、装置、设备及存储介质 |
| CN117055601B (zh) * | 2023-09-05 | 2024-05-31 | 广东工业大学 | 一种无人机送餐路径规划方法、装置、设备及存储介质 |
| CN118534823A (zh) * | 2024-07-23 | 2024-08-23 | 深圳市易路视科技有限公司 | 基于光流定位的无人机飞行控制方法及系统 |
| CN118534823B (zh) * | 2024-07-23 | 2024-10-15 | 深圳市易路视科技有限公司 | 基于光流定位的无人机飞行控制方法及系统 |
| CN118570681A (zh) * | 2024-07-24 | 2024-08-30 | 南京智慧航空研究院有限公司 | 一种低空飞行态势可视化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113568435B (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113568435B (zh) | 一种基于无人机自主飞行态势感知趋势的分析方法与系统 | |
| CN111612760B (zh) | 用于检测障碍物的方法和装置 | |
| CN107808407B (zh) | 基于双目相机的无人机视觉slam方法、无人机及存储介质 | |
| Akolkar et al. | Real-time high speed motion prediction using fast aperture-robust event-driven visual flow | |
| US11064178B2 (en) | Deep virtual stereo odometry | |
| US20210103299A1 (en) | Obstacle avoidance method and device and movable platform | |
| US20190301871A1 (en) | Direct Sparse Visual-Inertial Odometry Using Dynamic Marginalization | |
| CN111611853A (zh) | 一种传感信息融合方法、装置及存储介质 | |
| CN112379681A (zh) | 无人机避障飞行方法、装置及无人机 | |
| CN110673632A (zh) | 一种基于视觉slam的无人机自主避障方法及装置 | |
| CN111488812A (zh) | 障碍物位置识别方法、装置、计算机设备和存储介质 | |
| CN112596071A (zh) | 无人机自主定位方法、装置及无人机 | |
| CN113887400B (zh) | 障碍物检测方法、模型训练方法、装置及自动驾驶车辆 | |
| CN112378397A (zh) | 无人机跟踪目标的方法、装置及无人机 | |
| CN112380933A (zh) | 无人机识别目标的方法、装置及无人机 | |
| WO2022021661A1 (zh) | 一种基于高斯过程的视觉定位方法、系统及存储介质 | |
| CN118135526B (zh) | 基于双目相机的四旋翼无人机视觉目标识别与定位方法 | |
| CN117152249A (zh) | 基于语义一致性的多无人机协同建图与感知方法及系统 | |
| Raza et al. | Framework for estimating distance and dimension attributes of pedestrians in real-time environments using monocular camera | |
| CN114677531B (zh) | 一种融合多模态信息的水面无人艇目标检测与定位方法 | |
| CN107543539A (zh) | 一种无人机的位置信息获取方法及无人机 | |
| Le Saux et al. | Rapid semantic mapping: Learn environment classifiers on the fly | |
| CN117115414B (zh) | 基于深度学习的无gps无人机定位方法及装置 | |
| CN116823884A (zh) | 多目标跟踪方法、系统、计算机设备及存储介质 | |
| WO2023030062A1 (zh) | 一种无人机的飞行控制方法、装置、设备、介质及程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |