CN117170411B - 基于视觉辅助的竞速无人机辅助避障方法 - Google Patents
基于视觉辅助的竞速无人机辅助避障方法 Download PDFInfo
- Publication number
- CN117170411B CN117170411B CN202311443809.7A CN202311443809A CN117170411B CN 117170411 B CN117170411 B CN 117170411B CN 202311443809 A CN202311443809 A CN 202311443809A CN 117170411 B CN117170411 B CN 117170411B
- Authority
- CN
- China
- Prior art keywords
- flight
- unmanned aerial
- aerial vehicle
- degree
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000002159 abnormal effect Effects 0.000 claims abstract description 98
- 230000008569 process Effects 0.000 claims abstract description 42
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 230000007704 transition Effects 0.000 claims description 51
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000010606 normalization Methods 0.000 claims description 6
- 230000004888 barrier function Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及图像数据处理技术领域,具体涉及基于视觉辅助的竞速无人机辅助避障方法,包括:采集竞速无人机飞行过程中实时的竞速无人机图像以及飞行数据,构建预测模型,根据预测模型以及当前时刻的实际飞行方向获取当前时刻的飞行数据的异常飞行程度,根据当前时刻的飞行数据的获取当前时刻的周期性,设置竞速无人机图像中初始的ROI区域,根据当前时刻的周期性、预测飞行方向与实际飞行方向的差异率以及异常飞行程度获取初始的ROI区域中每个宏块的感兴趣程度,根据初始的ROI区域中每个宏块的感兴趣程度获取优化后的ROI区域,根据优化后的ROI区域辅助控制员进行避障。本发明使得竞速无人机可以更快地躲避障碍物。
Description
技术领域
本发明涉及图像数据处理技术领域,具体涉及基于视觉辅助的竞速无人机辅助避障方法。
背景技术
在搭载了成像装置的竞速无人机的人工控制过程中需要通过竞速无人机搭载的高清(HD)、超高清(UHD)甚至更高分辨率的摄像头进行图像采集,并在采集到的图像中进行感兴趣区域(ROI)的选取,从而提高竞速无人机的图像处理效率。保证竞速无人机飞行过程中可以快速避障。
在现有的竞速无人机的基于规则的ROI区域选取方法中,会选择竞速无人机摄像头视野的中心区域作为ROI区域,但由于竞速无人机竞速过程中最关键的地方在于竞速无人机飞行过程中的避障过程,但由于竞速无人机飞行过程中的飞行方向变化,摄像头视野的中心区域不一定为飞行路径上的区域,以竞速无人机摄像头视野的中心区域作为ROI区域可能会导致障碍物躲避不及时,影响竞速无人机避障的及时性以及准确性。
发明内容
为解决上述问题,本发明提供基于视觉辅助的竞速无人机辅助避障方法,采用如下技术方案:
本发明一个实施例提供了基于视觉辅助的竞速无人机辅助避障方法,该方法包括以下步骤:
采集竞速无人机飞行过程中实时的竞速无人机图像以及飞行数据;根据历史飞行数据构建预测模型,获取当前时刻的飞行方向的转移概率矩阵以及当前时刻的预测飞行方向;
根据当前时刻的飞行方向的转移概率矩阵以及当前时刻的实际飞行方向获取当前时刻的飞行数据的异常飞行程度;获取当前时刻的预测飞行方向与实际飞行方向的差异率;根据当前时刻的飞行数据获取当前时刻的周期性;
设置竞速无人机图像中初始的ROI区域,根据当前时刻的周期性、预测飞行方向与实际飞行方向的差异率以及异常飞行程度获取当前时刻的竞速无人机图像中初始的ROI区域中每个宏块的感兴趣程度;根据初始的ROI区域中每个宏块的感兴趣程度对初始的ROI区域进行移动,获取优化后的ROI区域;
根据优化后的ROI区域辅助控制员进行避障。
优选的,所述根据历史飞行数据构建预测模型,获取当前时刻的飞行方向的转移概率矩阵以及当前时刻的预测飞行方向,包括的具体步骤如下:
将历史飞行数据中的飞行方向作为隐藏状态,将历史飞行数据中的速度与旋转状态作为观测状态,构建隐马尔可夫预测模型,根据隐马尔可夫预测模型获取当前时刻的飞行方向的转移概率矩阵;将当前时刻的飞行方向的转移概率矩阵中最大的转移概率对应的隐藏状态作为当前时刻的预测飞行方向。
优选的,所述根据当前时刻的飞行方向的转移概率矩阵以及当前时刻的实际飞行方向获取当前时刻的飞行数据的异常飞行程度,包括的具体步骤如下:
将当前时刻记为第t时刻,获取第t时刻的飞行数据的异常飞行程度:
;
其中表示第t时刻的飞行数据的异常飞行程度;/>表示第t-1时刻到第t时刻的转移概率矩阵;/>为最大值函数;/>表示第t-1时刻到第t时刻的转移概率矩阵中的转移概率的最大值;/>表示第t时刻对应的实际飞行方向在第t-1时刻到第t时刻的转移概率矩阵中对应的转移概率;/>表示第t-1时刻到第t时刻的转移概率矩阵中第m个隐藏状态的转移概率;M表示所有隐藏状态的数量;/>表示绝对值符号;/>表示以自然常数为底的指数函数。
优选的,所述获取当前时刻的预测飞行方向与实际飞行方向的差异率,包括的具体步骤如下:
将当前时刻的预测飞行方向与实际飞行方向的差异除以进行归一化,得到当前时刻的预测飞行方向与实际飞行方向的差异率。
优选的,所述根据当前时刻的飞行数据获取当前时刻的周期性,包括的具体步骤如下:
获取历史飞行数据中每一时刻的飞行数据的异常飞行程度,将历史飞行数据中每一时刻的飞行数据的异常飞行程度与当前时刻的飞行数据的异常飞行程度构成异常飞行程度序列;对异常飞行程度序列进行分段,将异常飞行程度序列中连续的不为0的异常飞行程度作为一个数据段,得到多个数据段;
将最后一个数据段作为当前异常飞行区间,将倒数第二个数据段作为上一次异常飞行区间;对当前异常飞行区间与上一次异常飞行区间进行DTW动态时间规整,获取当前异常飞行区间与上一次异常飞行区间的DTW路径,将当前异常飞行区间中第一个异常飞行程度对应的上一次异常飞行区间中异常飞行程度的个数作为当前异常飞行区间与上一次异常飞行区间的相位差,对相位差取倒数作为当前时刻的周期性。
优选的,所述根据当前时刻的周期性、预测飞行方向与实际飞行方向的差异率以及异常飞行程度获取当前时刻的竞速无人机图像中初始的ROI区域中每个宏块的感兴趣程度,包括的具体步骤如下:
获取初始的ROI区域中每个宏块的方向;获取初始的ROI区域中每个宏块的感兴趣程度:
;
其中,表示第t时刻的竞速无人机图像中初始的ROI区域中第i个宏块的感兴趣程度;/>表示第t时刻的飞行数据的异常飞行程度;/>表示第t时刻的周期性;/>表示第t时刻的预测飞行方向与实际飞行方向的差异率;/>表示第t时刻的竞速无人机图像中初始的ROI区域中第i个宏块与第t时刻的实际飞行方向之间的方向判断因子,当初始的ROI区域中第i个宏块的方向与第t时刻的实际飞行方向相同时,方向判断因子/>,当初始的ROI区域中第i个宏块的方向与第t时刻的实际飞行方向不相同时,方向判断因子;/>表示第t时刻的竞速无人机图像中初始的ROI区域中的第i个宏块;/>表示初始的ROI区域中的中心宏块;/>表示第t时刻的竞速无人机图像中初始的ROI区域中第i个宏块与中心宏块之间的距离;/>表示线性归一化。
优选的,所述获取初始的ROI区域中每个宏块的方向,包括的具体步骤如下:
将初始的ROI区域中每个宏块的中心点与初始的ROI区域中的中心宏块的中心点之间的连线的方向作为初始的ROI区域中每个宏块的方向。
优选的,所述根据初始的ROI区域中每个宏块的感兴趣程度对初始的ROI区域进行移动,获取优化后的ROI区域,包括的具体步骤如下:
对感兴趣程度高于预设的感兴趣程度阈值的宏块进行标记,获取每个方向上标记的宏块的数量,对每个方向上标记的宏块的数量进行线性归一化,作为每个方向上的偏移程度;将偏移程度最高的方向作为偏移方向;获取初始的ROI区域中的中心像素点到偏移方向上初始的ROI区域的边缘像素点的距离,利用该距离乘以偏移程度,将得到的结果作为偏移距离,将初始的ROI区域向偏移方向上移动偏移距离个像素点,将移动后的ROI区域作为优化后的ROI区域。
本发明的技术方案的有益效果是:本发明通过根据竞速无人机飞行过程中的速度、飞行方向与旋转状态信息对飞行方向的预测结果进行ROI区域的优化,相较于仅通过竞速无人机视野中心区域作为ROI区域,可以在竞速无人机转弯的过程中或是在飞行路径中躲避障碍物过程中的新飞行路径中更快地进行新路径信息的ROI区域选取,从而保证竞速无人机可以更快地识别躲避障碍物;本发明通过竞速无人机的预测飞行方向与实际飞行方向的差异所得的异常飞行程度对竞速无人机实时采集的竞速无人机图像中宏块的感兴趣程度进行优化,相较于仅通过实际飞行方向进行图像感兴趣区域的确定,可以保证在竞速无人机连续避障的过程中获取到更准确地实时竞速无人机图像的ROI区域,从而保证控制员可以更清晰的判断竞速无人机实时飞行轨迹上的情况,从而更准确地、更实时地辅助竞速无人机在飞行过程中进行避障。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的基于视觉辅助的竞速无人机辅助避障方法的步骤流程图;
图2为初始的ROI区域示意图;
图3为优化后的ROI区域示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于视觉辅助的竞速无人机辅助避障方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于视觉辅助的竞速无人机辅助避障方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于视觉辅助的竞速无人机辅助避障方法的步骤流程图,该方法包括以下步骤:
S001.通过竞速无人机搭载的成像系统采集竞速无人机实时行驶图像,采集竞速无人机的飞行数据。
在竞速无人机的飞行过程中通过竞速无人机搭载的成像系统采集行驶过程中的实时图像,记为竞速无人机图像。为了确保竞速无人机可快速准确避障,在竞速无人机的飞行过程中需要利用较高的帧率进行竞速无人机图像的采集,在本实施例中,竞速无人机图像采集的帧率为60帧每秒,即1秒钟采集60张竞速无人机图像,在其他实施例中,实施人员可根据具体实施情况设置竞速无人机图像采集的帧率,为了确保竞速无人机可快速准确避障,设置的帧率需大于或等于60帧每秒。
为了确保竞速无人机可快速准确避障,还需采集竞速无人机的飞行数据。在本实施例中,采集竞速无人机飞行过程中实时的飞行数据,包括速度、飞行方向以及旋转状态。
至此,实现了竞速无人机飞行过程中竞速无人机图像以及飞机数据的采集。
S002.通过竞速无人机的飞行数据建立预测模型,并获取实时的飞行方向的可能性预测结果。
需要说明的是,本实施例的目的是在竞速无人机飞行过程中通过竞速无人机飞行方向与竞速无人机图像变化信息对ROI区域进行优化,从而在保证竞速无人机对于飞行路径上的障碍物进行快速躲避。在获取到竞速无人机飞行过程中实时的竞速无人机图像与飞行数据之后即可通过竞速无人机实时飞行数据对采集到竞速无人机图像的ROI区域进行实时选取。在这个过程中首先需要通过竞速无人机实时飞行数据进行飞行轨迹的预测,但是因在预测过程中会出现竞速无人机紧急避障的情况,会导致飞行轨迹的预测情况与实际情况存在较大偏差,此时需要对竞速无人机飞行过程中实时的竞速无人机图像的ROI区域在预测基础上进行优化,从而避免在竞速无人机紧急避障时出现ROI区域选取偏差导致的避障过程中ROI区域无法准确显示路径信息的情况。因此本实施例根据竞速无人机的历史飞行数据建立隐马尔可夫预测模型,在历史飞行数据中对于每一时刻对应的多维数据定义隐藏状态,在飞行过程中预测竞速无人机的飞行方向,以便后续根据竞速无人机的飞行方向进行ROI区域选取的优化。
在本实施例中,将竞速无人机当前时刻之前的飞行数据作为历史飞行数据,历史飞行数据为包括了速度、飞行方向与旋转状态的多维数据,将飞行方向作为隐藏状态进行预测,将速度与旋转状态作为观测状态,将历史飞行数据中所有飞行方向的数据按照时间的顺序构成隐藏状态序列,对隐藏状态序列进行统计获取到隐藏状态之间的转移概率与每一个隐藏状态的发生概率,所述每一个隐藏状态的发生概率指的是隐藏状态序列中每个隐藏状态的出现概率,根据隐藏状态之间的转移概率以及每一个隐藏状态的发生概率通过隐马尔可夫预测模型的隐藏状态的概率矩阵转移过程获取到下一个未知时刻的转移概率矩阵,也就是当前时刻到下一个未知时刻的飞行方向的转移概率矩阵。需要说明的是,转移概率矩阵为隐马尔可夫预测模型的公知技术,在本实施例中不再详细赘述。
利用表示第t-1时刻到第t时刻的转移概率矩阵,利用/>表示第t-1时刻到第t时刻转移概率矩阵中转移到第m个隐藏状态的转移概率。
至此,通过竞速无人机的历史飞行数据建立了隐马尔可夫预测模型,并获取了当前时刻到下一时刻的飞行方向的转移概率矩阵,即竞速无人机实时的飞行方向的可能性预测结果。需要说明的是,本实施例通过控制员控制的竞速无人机的历史飞行数据在实际的竞速无人机飞行过程中对竞速无人机的后续飞行过程进行预测,可以在竞速无人机的避障过程中通过对控制员历史的避障方法进行参考,从而使得获得的当前时刻到下一时刻的飞行方向的转移概率矩阵更适应控制员的避障方式。
S003.通过竞速无人机飞行方向的可能性预测结果与实际飞行方向之间的差异获取实时竞速无人机图像每个宏块的感兴趣程度。
需要说明的是,本实施例目的是在竞速无人机飞行过程中对竞速无人机图像的ROI区域的选取进行优化,从而辅助避障。在获取到竞速无人机的飞行方向的可能性预测结果之后,即可通过预测到的飞行方向进行ROI区域选取的优化。但是在竞速无人机的飞行避障过程中的实际场景是复杂的,存在需要连续避障的可能中,如果仅通过预测结果进行ROI区域选取则有很高的可能出现避障之后又出现障碍物的情况,在这个情况下即会出现预测结果与实际结果出现偏差,那么再根据预测结果进行ROI区域选取的优化就会导致将可能出现的障碍物划分为非ROI区域,从而导致避障失误。针对于需要连续避障的情况,需要通过避障过程的预测结果与后续实际飞行数据的偏差进行连续避障过程中ROI区域的优化,从而保证在避障过程中不会因为后续的障碍物图像信息模糊而导致飞行事故。本发明实施例首先通过下一时刻飞行方向的可能性预测结果与控制员控制的实际飞行方向之间的差异进行异常飞行程度的衡量。
在本实施例中,将当前时刻记为第t时刻,获取第t时刻的飞行数据的异常飞行程度:
;
其中表示第t时刻的飞行数据的异常飞行程度;/>表示第t-1时刻到第t时刻的转移概率矩阵;/>为最大值函数;/>表示第t-1时刻到第t时刻的转移概率矩阵中的转移概率的最大值;/>表示第t时刻对应的实际飞行方向在第t-1时刻到第t时刻的转移概率矩阵中对应的转移概率;/>表示第t-1时刻到第t时刻的转移概率矩阵中第m个隐藏状态的转移概率;M表示所有隐藏状态的数量,所有隐藏状态包括竞速无人机的全部飞行方向;/>表示绝对值符号;/>表示以自然常数为底的指数函数;在竞速无人机的飞行方向预测过程中,当预测结果与实际控制员操控的飞行方向出现偏差时,偏差越大则说明当前飞行控制与以往的飞行策略概率不同,也就是出现了异常飞行,那么当上一时刻到当前时刻的预测转移概率与实际飞行方向对应的转移概率的差异越大则说明飞行的异常程度越高。
在现有的ROI区域选取过程中,因为在竞速无人机竞速过程中最关键的地方在于竞速无人机飞行过程中的避障过程,即在竞速无人机的飞行过程中对于可能的障碍物需要在竞速无人机到达障碍物之前呈现在控制员的显示终端,所以在ROI区域选取的过程中需要对采集到的图像中宏块为飞行方向上的可能性进行评估,并对ROI区域的选取进行优化,从而及时得将竞速无人机飞行路径上的信息被控制员感知,从而辅助竞速无人机避障。
获取第t时刻的预测飞行方向与实际飞行方向的差异率:
;
其中,表示第t时刻的预测飞行方向与实际飞行方向的差异率;/>表示第t-1时刻到第t时刻的转移概率矩阵;/>表示第t-1时刻到的第t时刻转移概率矩阵中最大的转移概率对应的隐藏状态,即第t时刻的预测飞行方向;/>表示第t时刻的实际飞行方向;/>表示绝对值符号;/>表示第t时刻的预测飞行方向与实际飞行方向的差异,除以/>进行归一化,得到第t时刻的预测飞行方向与实际飞行方向的差异率。
在现有的竞速无人机的基于规则的ROI区域选取方法中,会选择无人机摄像头视野的中心区域作为ROI区域,对于视野中心的ROI区域通过对宏块大小进行设定,所述的宏块即为在竞速无人机图像进行分块处理的基本单元,常见的宏块大小为像素或像素,本实施例以/>像素为例进行叙述,具体不做限定,实施人员可根据具体实施情况设置宏块的大小。
在本实施例中,将当前时刻的竞速无人机图像中心个宏块大小的区域作为初始的ROI区域,本实施例以/>,/>为例进行叙述,具体不做限定,实施人员可根据具体实施情况设置a和b的值。将初始的ROI区域中每个宏块的中心点与初始的ROI区域中的中心宏块的中心点之间的连线的方向作为初始的ROI区域中每个宏块的方向。
需要说明的是,由于连续避障时存在着异常飞行程度的延迟情况,所述延迟情况是因为需要通过控制员的实际操控情况进行异常飞行程度的判断,而控制员的操控在反馈至竞速无人机的过程中会存在着一段延迟,也就是对于第t时刻操控员的竞速无人机控制,竞速无人机在时间内都会以该控制进行飞行,在/>内的异常飞行程度是较为相似的,在竞速无人机接收到操控员的下一个控制信号时异常飞行程度才会发生改变,所以对于连续异常飞行程度的判断需要通过实时异常飞行程度的周期性变化进行,连续异常飞行程度的判断通过异常飞行程度的周期性,即异常飞行程度在上一次异常飞行区间之间的DTW动态规整过程中的异常飞行的相位差进行评估,对应位置的相位差越小则说明周期性越强。
在本实施例中,根据异常飞行程度获取当前时刻的周期性,具体为:
获取历史飞行数据中每一时刻的飞行数据的异常飞行程度,与当前时刻的飞行数据的异常飞行程度构成异常飞行程度序列,对异常飞行程度序列进行分段,将异常飞行程度序列中连续的不为0的异常飞行程度作为一个数据段,得到多个数据段,最后一个数据段表示当前避障时的异常飞行程度变化情况,将最后一个数据段即为当前异常飞行区间,倒数第二个数据段表示上一次避障时的异常飞行程度变化情况,将倒数第二个数据段作为上一次异常飞行区间,对当前异常飞行区间与上一次异常飞行区间进行DTW动态时间规整,获取当前异常飞行区间与上一次异常飞行区间的DTW路径,将当前异常飞行区间中第一个异常飞行程度对应的上一次异常飞行区间中异常飞行程度的个数作为当前异常飞行区间与上一次异常飞行区间的相位差,对相位差取倒数作为当前时刻的周期性。
根据第t时刻的周期性、预测飞行方向与实际飞行方向的差异率以及异常飞行程度获取第t时刻的竞速无人机图像中初始的ROI区域中每个宏块的感兴趣程度:
;
其中,表示第t时刻的竞速无人机图像中初始的ROI区域中第i个宏块的感兴趣程度;/>表示第t时刻的飞行数据的异常飞行程度;/>表示第t时刻的周期性;/>表示第t时刻的预测飞行方向与实际飞行方向的差异率;/>表示第t时刻的竞速无人机图像中初始的ROI区域中第i个宏块与第t时刻的实际飞行方向之间的方向判断因子,当初始的ROI区域中第i个宏块的方向与第t时刻的实际飞行方向相同时,方向判断因子/>,反之,当初始的ROI区域中第i个宏块的方向与第t时刻的实际飞行方向不相同时,方向判断因子/>;/>表示第t时刻的竞速无人机图像中初始的ROI区域中的第i个宏块;/>表示初始的ROI区域中的中心宏块;/>表示第t时刻的竞速无人机图像中初始的ROI区域中第i个宏块与中心宏块之间的距离;/>表示线性归一化。需要说明的是,两个宏块之间的距离以两个宏块中心像素点之间的距离进行衡量。
需要说明的是,在竞速无人机需要进行连续避障时,异常飞行程度会出现连续较高的情况,此时需要通过异常飞行程度对宏块的感兴趣程度进行调整,因此在每个宏块的感兴趣程度的计算公式中,将异常飞行程度作为权重,当异常飞行程度较高时,则更高程度地通过连续帧之间的宏块的信息与实际飞行方向进行宏块感兴趣程度的判断,当异常飞行程度较低时,则更高程度地通过预测飞行方向与实际飞行方向的差异率进行宏块感兴趣程度的判断,当异常飞行程度为时,预测飞行方向与实际飞行方向相同,则仅通过预测飞行方向进行宏块感兴趣程度的判断。表示对于宏块的初始感兴趣程度,通过宏块与初始的ROI区域中的中心宏块的距离进行判断,距离越近则说明感兴趣程度越高。
至此,获取了实时竞速无人机图像中每个宏块的感兴趣程度。需要说明的是,通过竞速无人机的预测飞行方向与实际飞行方向的差异所得的异常飞行程度对竞速无人机图像中宏块的感兴趣程度进行优化,相较于仅通过实时飞行方向进行图像感兴趣区域的确定,可以保证在竞速无人机连续避障的过程中获取到更准确地实时竞速无人机图像的ROI区域,从而保证控制员可以更清晰的判断竞速无人机实时飞行轨迹上的情况。
S004.通过宏块的感兴趣程度优化竞速无人机图像的ROI区域选取。
需要说明的是,在获取到竞速无人机图像的初始的ROI区域中每个宏块的感兴趣程度之后即可通过感兴趣程度进行ROI区域的选取优化,在竞速无人机图像中,感兴趣区域(ROI)仅存在8个方向的偏移(上下左右四个方向与对角线四个方向),针对竞速无人机图像中每个宏块的感兴趣程度,通过感兴趣程度较高的区域进行竞速无人机图像的初始的ROI区域的移动。
在本实施例中,预设感兴趣程度阈值,本实施例以/>=0.7为例进行叙述,具体不做限定,在其他实施例中实施人员可根据具体实施情况设置。对感兴趣程度高于感兴趣程度阈值的宏块进行标记,获取每个方向上标记的宏块的数量,对每个方向上标记的宏块的数量进行线性归一化,作为每个方向上的偏移程度。将偏移程度最高的方向作为偏移方向,获取初始的ROI区域的中心像素点到偏移方向上初始的ROI区域的边缘像素点的距离,利用该距离乘以偏移程度,将得到的结果作为偏移距离,将初始的ROI区域向偏移方向上移动偏移距离个像素点,将移动后的ROI区域作为优化后的ROI区域。图2为初始的R0I区域示意图,图3为优化后的ROI区域示意图,图2和图3中白色的框线中的区域为ROI区域。
至此,通过宏块的感兴趣程度获取了优化后的ROI区域。
S005.根据优化后的ROI区域辅助控制员进行避障。
对竞速无人机图像中优化后的ROI区域进行标记,并将优化后的ROI区域在控制员的显示终端上进行原图显示,对竞速无人机图像中其余区域在控制员的显示终端上进行压缩显示,使得控制员重点关注优化后的ROI区域内的障碍物信息,进行及时避障。
通过以上步骤,实现了竞速无人机的辅助避障。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.基于视觉辅助的竞速无人机辅助避障方法,其特征在于,该方法包括以下步骤:
采集竞速无人机飞行过程中实时的竞速无人机图像以及飞行数据;根据历史飞行数据构建预测模型,获取当前时刻的飞行方向的转移概率矩阵以及当前时刻的预测飞行方向;
根据当前时刻的飞行方向的转移概率矩阵以及当前时刻的实际飞行方向获取当前时刻的飞行数据的异常飞行程度;获取当前时刻的预测飞行方向与实际飞行方向的差异率;根据当前时刻的飞行数据获取当前时刻的周期性;
设置竞速无人机图像中初始的ROI区域,根据当前时刻的周期性、预测飞行方向与实际飞行方向的差异率以及异常飞行程度获取当前时刻的竞速无人机图像中初始的ROI区域中每个宏块的感兴趣程度;根据初始的ROI区域中每个宏块的感兴趣程度对初始的ROI区域进行移动,获取优化后的ROI区域;
根据优化后的ROI区域辅助控制员进行避障;
所述根据当前时刻的飞行数据获取当前时刻的周期性,包括的具体步骤如下:
获取历史飞行数据中每一时刻的飞行数据的异常飞行程度,将历史飞行数据中每一时刻的飞行数据的异常飞行程度与当前时刻的飞行数据的异常飞行程度构成异常飞行程度序列;对异常飞行程度序列进行分段,将异常飞行程度序列中连续的不为0的异常飞行程度作为一个数据段,得到多个数据段;
将最后一个数据段作为当前异常飞行区间,将倒数第二个数据段作为上一次异常飞行区间;对当前异常飞行区间与上一次异常飞行区间进行DTW动态时间规整,获取当前异常飞行区间与上一次异常飞行区间的DTW路径,将当前异常飞行区间中第一个异常飞行程度对应的上一次异常飞行区间中异常飞行程度的个数作为当前异常飞行区间与上一次异常飞行区间的相位差,对相位差取倒数作为当前时刻的周期性;
所述设置竞速无人机图像中初始的ROI区域,包括的具体步骤如下:
将当前时刻的竞速无人机图像中心个宏块大小的区域作为初始的ROI区域,其中/>、/>为预设的数值;
所述根据当前时刻的周期性、预测飞行方向与实际飞行方向的差异率以及异常飞行程度获取当前时刻的竞速无人机图像中初始的ROI区域中每个宏块的感兴趣程度,包括的具体步骤如下:
获取初始的ROI区域中每个宏块的方向;获取初始的ROI区域中每个宏块的感兴趣程度:
;
其中,表示第/>时刻的竞速无人机图像中初始的ROI区域中第/>个宏块的感兴趣程度;表示第/>时刻的飞行数据的异常飞行程度;/>表示第/>时刻的周期性;/>表示第/>时刻的预测飞行方向与实际飞行方向的差异率;/>表示第/>时刻的竞速无人机图像中初始的ROI区域中第/>个宏块与第/>时刻的实际飞行方向之间的方向判断因子,当初始的ROI区域中第/>个宏块的方向与第/>时刻的实际飞行方向相同时,方向判断因子/>,当初始的ROI区域中第/>个宏块的方向与第/>时刻的实际飞行方向不相同时,方向判断因子/>;/>表示第/>时刻的竞速无人机图像中初始的ROI区域中的第/>个宏块;/>表示初始的ROI区域中的中心宏块;/>表示第/>时刻的竞速无人机图像中初始的ROI区域中第/>个宏块与中心宏块之间的距离;/>表示线性归一化;
所述根据初始的ROI区域中每个宏块的感兴趣程度对初始的ROI区域进行移动,获取优化后的ROI区域,包括的具体步骤如下:
对感兴趣程度高于预设的感兴趣程度阈值的宏块进行标记,获取每个方向上标记的宏块的数量,对每个方向上标记的宏块的数量进行线性归一化,作为每个方向上的偏移程度;将偏移程度最高的方向作为偏移方向;获取初始的ROI区域中的中心像素点到偏移方向上初始的ROI区域的边缘像素点的距离,利用该距离乘以偏移程度,将得到的结果作为偏移距离,将初始的ROI区域向偏移方向上移动偏移距离个像素点,将移动后的ROI区域作为优化后的ROI区域。
2.根据权利要求1所述的基于视觉辅助的竞速无人机辅助避障方法,其特征在于,所述根据历史飞行数据构建预测模型,获取当前时刻的飞行方向的转移概率矩阵以及当前时刻的预测飞行方向,包括的具体步骤如下:
将历史飞行数据中的飞行方向作为隐藏状态,将历史飞行数据中的速度与旋转状态作为观测状态,构建隐马尔可夫预测模型,根据隐马尔可夫预测模型获取当前时刻的飞行方向的转移概率矩阵;将当前时刻的飞行方向的转移概率矩阵中最大的转移概率对应的隐藏状态作为当前时刻的预测飞行方向。
3.根据权利要求1所述的基于视觉辅助的竞速无人机辅助避障方法,其特征在于,所述根据当前时刻的飞行方向的转移概率矩阵以及当前时刻的实际飞行方向获取当前时刻的飞行数据的异常飞行程度,包括的具体步骤如下:
将当前时刻记为第时刻,获取第/>时刻的飞行数据的异常飞行程度:
;
其中表示第/>时刻的飞行数据的异常飞行程度;/>表示第/>时刻到第/>时刻的转移概率矩阵;/>为最大值函数;/>表示第/>时刻到第/>时刻的转移概率矩阵中的转移概率的最大值;/>表示第/>时刻对应的实际飞行方向在第时刻到第/>时刻的转移概率矩阵中对应的转移概率;/>表示第/>时刻到第/>时刻的转移概率矩阵中第/>个隐藏状态的转移概率;/>表示所有隐藏状态的数量;/>表示绝对值符号;/>表示以自然常数为底的指数函数。
4.根据权利要求1所述的基于视觉辅助的竞速无人机辅助避障方法,其特征在于,所述获取当前时刻的预测飞行方向与实际飞行方向的差异率,包括的具体步骤如下:
将当前时刻的预测飞行方向与实际飞行方向的差异除以进行归一化,得到当前时刻的预测飞行方向与实际飞行方向的差异率。
5.根据权利要求1所述的基于视觉辅助的竞速无人机辅助避障方法,其特征在于,所述获取初始的ROI区域中每个宏块的方向,包括的具体步骤如下:
将初始的ROI区域中每个宏块的中心点与初始的ROI区域中的中心宏块的中心点之间的连线的方向作为初始的ROI区域中每个宏块的方向。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311443809.7A CN117170411B (zh) | 2023-11-02 | 2023-11-02 | 基于视觉辅助的竞速无人机辅助避障方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311443809.7A CN117170411B (zh) | 2023-11-02 | 2023-11-02 | 基于视觉辅助的竞速无人机辅助避障方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117170411A CN117170411A (zh) | 2023-12-05 |
CN117170411B true CN117170411B (zh) | 2024-02-02 |
Family
ID=88947133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311443809.7A Active CN117170411B (zh) | 2023-11-02 | 2023-11-02 | 基于视觉辅助的竞速无人机辅助避障方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117170411B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106681353A (zh) * | 2016-11-29 | 2017-05-17 | 南京航空航天大学 | 基于双目视觉与光流融合的无人机避障方法及系统 |
CN107329490A (zh) * | 2017-07-21 | 2017-11-07 | 歌尔科技有限公司 | 无人机避障方法及无人机 |
CN108521808A (zh) * | 2017-10-31 | 2018-09-11 | 深圳市大疆创新科技有限公司 | 一种障碍信息显示方法、显示装置、无人机及系统 |
CN108844538A (zh) * | 2018-05-07 | 2018-11-20 | 中国人民解放军国防科技大学 | 一种基于视觉/惯导的无人机避障航点生成方法 |
CN110174898A (zh) * | 2019-06-18 | 2019-08-27 | 华北电力大学(保定) | 一种基于图像反馈的多旋翼无人机控制方法 |
KR20200105125A (ko) * | 2019-02-28 | 2020-09-07 | 한국과학기술원 | 영상 처리를 기반으로 한 비행체의 충돌 방지 시스템 및 이를 포함하는 비행체 |
CN111988524A (zh) * | 2020-08-21 | 2020-11-24 | 广东电网有限责任公司清远供电局 | 一种无人机与摄像头协同避障方法、服务器及存储介质 |
CN113870421A (zh) * | 2021-10-27 | 2021-12-31 | 山东天亚达新材料科技有限公司 | 一种竞速无人机的轨道智能定位方法、装置及设备 |
CN114581831A (zh) * | 2022-03-04 | 2022-06-03 | 广东工业大学 | 基于图像和点云的无人机障碍物检测和避障方法及系统 |
CN115599119A (zh) * | 2022-10-25 | 2023-01-13 | 南通亿思特机器人科技有限公司(Cn) | 一种无人机的避障系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022527029A (ja) * | 2019-04-06 | 2022-05-27 | エレクトリック シープ ロボティクス インコーポレイテッド | 遠隔操作型ロボットのためのシステム、装置、及び、方法 |
CN111338382B (zh) * | 2020-04-15 | 2021-04-06 | 北京航空航天大学 | 一种安全态势引导的无人机路径规划方法 |
-
2023
- 2023-11-02 CN CN202311443809.7A patent/CN117170411B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106681353A (zh) * | 2016-11-29 | 2017-05-17 | 南京航空航天大学 | 基于双目视觉与光流融合的无人机避障方法及系统 |
CN107329490A (zh) * | 2017-07-21 | 2017-11-07 | 歌尔科技有限公司 | 无人机避障方法及无人机 |
WO2019015158A1 (zh) * | 2017-07-21 | 2019-01-24 | 歌尔科技有限公司 | 无人机避障方法及无人机 |
CN108521808A (zh) * | 2017-10-31 | 2018-09-11 | 深圳市大疆创新科技有限公司 | 一种障碍信息显示方法、显示装置、无人机及系统 |
CN108844538A (zh) * | 2018-05-07 | 2018-11-20 | 中国人民解放军国防科技大学 | 一种基于视觉/惯导的无人机避障航点生成方法 |
KR20200105125A (ko) * | 2019-02-28 | 2020-09-07 | 한국과학기술원 | 영상 처리를 기반으로 한 비행체의 충돌 방지 시스템 및 이를 포함하는 비행체 |
CN110174898A (zh) * | 2019-06-18 | 2019-08-27 | 华北电力大学(保定) | 一种基于图像反馈的多旋翼无人机控制方法 |
CN111988524A (zh) * | 2020-08-21 | 2020-11-24 | 广东电网有限责任公司清远供电局 | 一种无人机与摄像头协同避障方法、服务器及存储介质 |
CN113870421A (zh) * | 2021-10-27 | 2021-12-31 | 山东天亚达新材料科技有限公司 | 一种竞速无人机的轨道智能定位方法、装置及设备 |
CN114581831A (zh) * | 2022-03-04 | 2022-06-03 | 广东工业大学 | 基于图像和点云的无人机障碍物检测和避障方法及系统 |
CN115599119A (zh) * | 2022-10-25 | 2023-01-13 | 南通亿思特机器人科技有限公司(Cn) | 一种无人机的避障系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117170411A (zh) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7024115B2 (ja) | 区画線に基づくインテリジェントドライブ制御方法および装置、ならびに電子機器 | |
EP3979200A1 (en) | Video target tracking method and apparatus, computer device and storage medium | |
US20200272835A1 (en) | Intelligent driving control method, electronic device, and medium | |
CN104282020B (zh) | 一种基于目标运动轨迹的车辆速度检测方法 | |
EP3722992A1 (en) | System and method for pre-processing images captured by a vehicle | |
WO2020098195A1 (zh) | 基于ais与视频数据融合的船舶身份识别方法 | |
US20210183083A1 (en) | Self-supervised depth estimation method and system | |
CN107609486A (zh) | 一种车辆前向防撞预警方法及系统 | |
CN107590438A (zh) | 一种智能辅助驾驶方法及系统 | |
KR101176552B1 (ko) | 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법 | |
CN110113560B (zh) | 视频智能联动的方法及服务器 | |
CN110532937B (zh) | 基于识别模型与分类模型进行列车前向目标精准识别的方法 | |
CN107292214B (zh) | 车道偏离检测方法、装置及车辆 | |
CN105989614B (zh) | 融合多源视觉信息的危险物体检测方法 | |
US11921817B2 (en) | Unsupervised training of a video feature extractor | |
CN117170411B (zh) | 基于视觉辅助的竞速无人机辅助避障方法 | |
CN104658009A (zh) | 一种基于视频图像的运动目标检测方法 | |
CN107437071B (zh) | 一种基于双黄线检测的机器人自主巡检方法 | |
JP2003067755A (ja) | 道路白線認識装置 | |
US20210174079A1 (en) | Method and apparatus for object recognition | |
CN116777956A (zh) | 基于多尺度航迹管理的运动目标筛选方法 | |
CN110516613B (zh) | 一种第一视角下的行人轨迹预测方法 | |
CN114581866A (zh) | 一种基于改进CenterNet的自动驾驶场景的多目标视觉检测算法 | |
CN112489450A (zh) | 交通路口处的车辆流量控制方法、路侧设备及云控平台 | |
CN107527319A (zh) | 图像收缩方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |