CN117406780B - 一种无人机追逃方法及系统 - Google Patents
一种无人机追逃方法及系统 Download PDFInfo
- Publication number
- CN117406780B CN117406780B CN202311544568.5A CN202311544568A CN117406780B CN 117406780 B CN117406780 B CN 117406780B CN 202311544568 A CN202311544568 A CN 202311544568A CN 117406780 B CN117406780 B CN 117406780B
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- target object
- feature
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 62
- 230000033001 locomotion Effects 0.000 claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 230000008878 coupling Effects 0.000 claims abstract description 9
- 238000010168 coupling process Methods 0.000 claims abstract description 9
- 238000005859 coupling reaction Methods 0.000 claims abstract description 9
- 230000004044 response Effects 0.000 claims description 39
- 230000007613 environmental effect Effects 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009901 attention process Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出了一种无人机追逃方法及系统,方法包括以下步骤:S1、根据卫星定位实时获取无人机的位置信息;S2、无人机通过摄像头实时获取监控区域的视频图像数据,将视频图像数据传输至地面控制站;S3、地面控制站对位置信息和视频图像数据进行耦合处理,得到目标物体的运动轨迹;S4、根据目标物体的运动轨迹制定追逃策略,无人机根据追逃策略进行智能追逃;S5、无人机通过摄像头捕捉到目标物体后,向地面控制站发送提醒信息,提示地面控制站无人机已经成功捕捉到目标物体的图像。本申请通过注意力机制、残差注意力和通用注意力对视频图像数据进行处理,提高目标物体的检测准确性。
Description
技术领域
本发明涉及无人机追逃技术领域,尤其涉及一种无人机追逃方法及系统。
背景技术
无人机追逃是指利用无人机技术来追踪目标的行为,通过搭载的摄像头或其他传感器设备,对目标进行监测和跟踪,无人机具有快速、灵活、高空观察等特点,可以在追逃行动中发挥重要作用。
在现有技术中,无人机在追逃时,由于当前的无人机通常具有有限的计算能力和存储容量,难以满足实时处理和分析的需求,因此无人机在处理大规模视频数据时可能会出现延迟,影响无人机的追逃效果和响应速度;同时无人机在追逃过程中可能会遇到复杂的环境干扰,例如建筑物、阴影、遮挡物等,无人机无法智能躲避障碍物,影响目标物体的跟踪,以及追逃的成功率。
因此,寻找一种既能够对大规模视频数据进行及时处理,又能够准确识别目标物体,降低干扰因素影响的追逃方法,是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此,本发明提出了一种无人机追逃方法及系统,其通过地面控制站对视频图像数据进行处理,获取目标物体的运动轨迹,且利用注意力机制、残差注意力和通用注意力对图像进行处理,提高特征图中目标物体的特征表达能力,进而提高目标检测的准确度。
本发明的技术方案是这样实现的:
第一方面,本发明提供了一种无人机追逃方法,包括以下步骤:
S1、根据卫星定位实时获取无人机的位置信息并发送至地面控制站;
S2、无人机通过摄像头实时获取监控区域的视频图像数据,将视频图像数据传输至地面控制站;
S3、地面控制站对位置信息和视频图像数据进行耦合处理,得到目标物体的运动轨迹;
S4、根据目标物体的运动轨迹制定追逃策略,无人机根据追逃策略进行智能追逃;
S5、无人机通过摄像头捕捉到目标物体后,向地面控制站发送提醒信息,提示地面控制站无人机已经成功捕捉到目标物体的图像。
在以上技术方案的基础上,优选的,所述视频图像数据包括若干帧图像,步骤S3具体包括:
S31、将视频图像数据的第一帧图像作为模板帧图像,将视频图像数据的剩余帧图像作为检测数据帧图像集{Ai};
S32、使用第一网络模型对模板帧图像进行特征提取,并映射为第一特征图;
S33、使用第二网络模型对检测数据帧图像集{Ai}分别进行特征提取,并映射为第二特征图集{Bi};
S34、将第一特征图与第二特征图集{Bi}分别进行互相关操作,得到目标物体的加权互相关响应图集,根据加权互相关响应图集构建目标物体的运动轨迹。
在以上技术方案的基础上,优选的,第二网络模型包括第一处理分支和第二处理分支,步骤S33具体包括:
使用注意力机制对模板帧图像进行处理,生成注意力特征图;
将注意力特征图与检测数据帧图像集{Ai}进行逐元素相乘,得到关注特征图集{Ci};
使用第一处理分支对关注特征图集{Ci}分别进行卷积特征提取,得到检测数据帧图像的前景背景分类得分;
使用第二处理分支对关注特征图集{Ci}分别进行处理,得到检测数据帧图像的候选框集;
将关注特征图集{Ci}输入至第二处理分支,并对候选框集进行卷积特征提取,得到第二特征图集{Bi}。
在以上技术方案的基础上,优选的,步骤S34具体包括:
S341、使用注意力机制对第二特征图集{Bi}分别进行注意力机制处理,得到第二特征图权重集;
S342、将关注特征图集{Ci}与第二特征图集{Bi}分别进行融合,得到第一融合特征集;
S343、将第一融合特征集分别与第二特征图权重集进行融合,得到目标物体的加权互相关响应图集;
S344、根据加权相关响应图得到目标物体的位置,所述加权互相关响应图集构成目标物体的运动轨迹。
在以上技术方案的基础上,优选的,步骤S342具体包括:
对第二特征图集{Bi}分别进行残差注意力处理,得到残差特征集;
将残差特征集分别与第二特征图集{Bi}相加,得到残差特征图集;
将关注特征图集{Ci}与残差特征图集进行逐元素乘法操作,得到第一融合特征集。
在以上技术方案的基础上,优选的,步骤S343具体包括:
对第二特征图集{Bi}进行通用注意力处理,得到通用注意力权重集;
将通用注意力权重集与第二特征图集{Bi}相加,得到加权特征图集;
将第一融合特征集分别与加权特征图集进行逐元素乘法操作,并与偏置项相加得到目标物体的加权互相关响应图集。
在以上技术方案的基础上,优选的,互相关操作的计算公式如下:
f(z,x)=(y⊙Φ(z))×Φ(x)+b1;
其中,f(z,x)表示目标物体的加权互相关响应图,y表示关注特征图,Φ(z)表示残差特征图,Φ(x)表示加权特征图,b1表示偏置项,b1为常数,⊙表示逐元素相乘。
更进一步优选的,步骤S4具体包括:
根据目标物体的运动轨迹确定目标物体的运动状态;
根据无人机的位置信息确定无人机的环境状况;
根据目标物体的运动状态和无人机的环境状况规划出无人机的移动路径;
无人机根据移动路径进行目标物体追踪。
第二方面,本发明提供了一种无人机追逃系统,采用如上述所述的无人机智能追逃方法,包括:
信息获取模块,用于实时获取无人机的位置和监控区域的视频图像数据;
地面控制模块,用于根据视频图像数据进行处理,制定追逃策略;
追踪模块,用于无人机根据追逃策略进行目标追踪;
其中,地面控制模块包括图像处理单元、策略单元和追踪提醒单元,所述图像处理单元用于对视频图像数据进行处理,得到目标物体的运动轨迹;
所述策略单元用于根据目标物体的运动轨迹规划移动路径,生成追逃策略;
追踪提醒单元用于无人机成功捕捉到目标物体的图像后,向地面控制模块发送提醒信息。
第三方面,本发明提供了一种无人机,采用如上述所述的无人机智能追逃方法。
本发明的无人机智能追逃方法相对于现有技术具有以下有益效果:
(1)通过使用卫星定位实时获取无人机的位置信息,将无人机的位置信息和监控区域的视频图像数据发送至地面控制站进行耦合处理,利用地面控制站对大规模视频图像数据进行处理,提高视频图像数据处理速度的同时对目标物体进行实时监测,提高对目标物体的关注度和响应速度;
(2)通过设置第一网络模型和第二网络模型对模板帧图像和检测数据帧图像集进行特征提取,并分别映射为第一特征图和第二特征图集并进行互相关操作得到加权互相关响应图集,根据加权互相关响应图集得到目标物体的运动轨迹,提高目标跟踪的准确性;
(3)通过设置注意力机制、残差注意力和通用注意力对模板帧图像和第二特征图集进行处理,突出特征图中与目标物体相关的特征,进一步提高目标物体的特征表达能力,提高目标物体的检测和跟踪准确性;
(4)通过根据目标轨迹规划出无人机的移动路径,无人机根据移动路径进行目标物体追踪,避免无人机在追踪过程中碰撞障碍物或受到其他干扰,提高目标物体的跟踪准确性;并在无人机成功捕捉到目标物体的图像后向地面控制站发送提醒信息,便于用于及时采取相应措施,提高应急相应能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的无人机追逃方法的流程图;
图2为本发明的无人机追逃系统的框图;
图3为本发明的无人机追逃方法的无人机结构图。
具体实施方式
下面将结合本发明实施方式,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
如图1所示,本发明提供了一种无人机追逃方法,包括以下步骤:
S1、根据卫星定位实时获取无人机的位置信息并发送至地面控制站;
S2、无人机通过摄像头实时获取监控区域的视频图像数据,将视频图像数据传输至地面控制站。
在本申请实施例中,使用卫星定位系统(如GPS)实时获取无人机的位置信息,并通过摄像头或其他监控设备获取监控区域的实时视频图像数据,将无人机的位置信息与视频图像数据发送至地面控制站进行耦合处理,利用地面控制站对大规模视频图像数据进行处理,地面控制站能够对大量视频图像数据进行快速处理,提高对视频图像数据的处理速度进而提高对目标物体的关注度和响应速度。其中,地面控制站可以使用计算机视觉算法对视频图像数据进行分析,提取视频图像数据中目标物体的特征信息(如外形、颜色等),并结合位置信息进行耦合处理。
S3、地面控制站对位置信息和视频图像数据进行耦合处理,得到目标物体的运动轨迹。
本申请通过地面控制站实时耦合处理位置信息和视频图像数据,并实时更新目标物体的位置和运动轨迹,地面控制站可以实现自动化提取目标物体的特征和运动轨迹,减轻了人工处理和分析的负担,提高无人机的追逃效率和减少人为错误。
具体的,所述视频图像数据包括若干帧图像,步骤S3具体包括:
S31、将视频图像数据的第一帧图像作为模板帧图像,将视频图像数据的剩余帧图像作为检测数据帧图像集{Ai};
S32、使用第一网络模型对模板帧图像进行特征提取,并映射为第一特征图;
S33、使用第二网络模型对检测数据帧图像集{Ai}分别进行特征提取,并映射为第二特征图集{Bi};
S34、将第一特征图与第二特征图集{Bi}分别进行互相关操作,得到目标物体的加权互相关响应图集,根据加权互相关响应图集构建目标物体的运动轨迹。
在本申请实施例中,选择第一网络模型和第二网络模型提取视频图像数据中目标物体的特征,将第一网络模型提取的特征映射为第一特征图,使用第二网络模型分别对检测数据帧图像集{Ai}中的每一帧进行特征提取,并映射为对应的第二特征图集{Bi},使用卷积操作或相关性匹配方法对第一特征图与第二特征图集{Bi}分别进行互相关操作,得到目标物体的加权互相关响应图集,根据加权互相关响应图集确定第二特征图中目标物体的位置和边界框,根据检测数据帧图像集{Ai}中的帧间关系,计算目标物体的位置并构建目标物体的运动轨迹,提高目标跟踪的准确性。
在本申请一实施例中,第二网络模型包括第一处理分支和第二处理分支,步骤S33具体包括:
使用注意力机制对模板帧图像进行处理,生成注意力特征图;
将注意力特征图与检测数据帧图像集{Ai}进行逐元素相乘,得到关注特征图集{Ci};
使用第一处理分支对关注特征图集{Ci}分别进行卷积特征提取,得到检测数据帧图像的前景背景分类得分;
使用第二处理分支对关注特征图集{Ci}分别进行处理,得到检测数据帧图像的候选框集;
将关注特征图集{Ci}输入至第二处理分支,并对候选框集进行卷积特征提取,得到第二特征图集{Bi}。
在本申请实施例中,通过使用注意力机制突出模板帧图像中与目标物体相关的特征,通过将注意力特征图与检测数据帧图像集{Ai}进行逐元素相乘,减少背景干扰,通过使用前景背景分类得分帮助区分关注特征图集{Ci}中目标物体和背景,通过生成候选框集提高目标物体的检测率,并利用卷积特征提取候选框集中目标物体的有用特征,提高目标跟踪的准确性。
在本申请一实施例中,使用卷积操作将模板帧图像和检测数据帧图像集{Ai}分别转化为第一特征图和第二特征图集{Bi},卷积操作的计算公式如下:
fz=conv(z;wz)
其中,fz表示第一特征图,z表示模板帧图像,wz表示模板帧图像的网络参数,Bi表示第i个第二特征图,Ai表示第i个检测数据帧,表示第i个检测数据帧图像的网络参数。
使用第二网络模型生成候选框集,根据第一特征图和第二特征图计算目标物体的加权互相关响应图R,计算公式如下:
R=fz⊕Bi
其中,⊕表示互相关操作。
对目标物体的加权互相关响应图集进行回归和分类,得到每个候选框的位置和得分,具体的,设第i个候选框的位置为xi、yi、wi和hi,得分为si,计算公式如下:
Δxi=pi xwi+p* xwi
Δyi=pi yhi+p* yhi
Δwi=exp(pi w)wi
Δhi=exp(pi h)hi
si=sigmoid(qi)
其中,Δxi和Δyi表示候选框中心点的水平和垂直方向上的偏移量,Δwi和Δhi表示候选框的宽度和高度的偏移量,pi x表示候选框位置x的回归结果,pi y表示候选框位置y的回归结果,pi w表示候选框w的回归结果,pi h表示候选框h的回归结果,p* x和pi y表示目标物体在当前帧中位置的估计值,sigmoid表示()表示归一化函数,qi表示分类结果。
根据得分对候选框集进行排序,选取得分最高的候选框作为最终检测结果,即对得分最高的候选框进行检测,得到目标物体的位置,提高了目标物体检测的准确率。
在本申请一实施例中,对注意力特征图使用通道注意力机制进行处理,得到通道注意力特征图,将通道注意力特征图与检测数据帧图像集{Ai}进行逐元素相乘,得到关注特征图集{Ci},强化关注特征图中目标物体特征的显著性,并对注意力特征图中的背景特征与检测数据帧图像集进行一直,降低背景干扰,提高目标检测的鲁棒性。
在本申请一实施例中,步骤S34具体包括:
S341、使用注意力机制对第二特征图集{Bi}分别进行注意力机制处理,得到第二特征图权重集;
S342、将关注特征图集{Ci}与第二特征图集{Bi}分别进行融合,得到第一融合特征集;
S343、将第一融合特征集分别与第二特征图权重集进行融合,得到目标物体的加权互相关响应图集;
S344、根据加权相关响应图得到目标物体的位置,所述加权互相关响应图集构成目标物体的运动轨迹。
可以理解的,将第二特征图集{Bi}输入到注意力机制中,注意力机制可以根据特征图中的像素之间的关系,计算每个像素的权重,以突出与目标物体相关的特征,得到第二特征图集{Bi}中每个第二特征图的权重图,表示每个像素的重要性;将关注特征图集{Ci}的信息与第二特征图集{Bi}的信息分别进行融合突出关注特征图中与目标物体相关的特征;根据第二特征图集{Bi}中每个第二特征图的权重对第一融合特征集中的每个像素进行加权,突出与目标物体相关的特征,目标物体的加权互相关响应图中每个像素表示该位置与目标物体的相关程度,根据加权相关响应图得到目标物体的位置,在连续的帧中,根据加权互相关响应图集可以构成目标物体的运动轨迹,通过不断更新目标物体的位置,可以实现目标物体的实时跟踪。
在本申请实施例中,通过注意力机制突出第二特征图中与目标物体相关的特征,提高目标物体的检测准确性;通过融合关注特征图集{Ci}和第二特征图集{Bi},构建目标物体的运动轨迹有助于进一步分析和预测目标物体的行为。
进一步的,步骤S342具体包括:
对第二特征图集{Bi}分别进行残差注意力处理,得到残差特征集;
将残差特征集分别与第二特征图集{Bi}相加,得到残差特征图集;
将关注特征图集{Ci}与残差特征图集进行逐元素乘法操作,得到第一融合特征集。
作为本领域技术人员可以理解的,残差注意力模块可以包括多个卷积层、池化层和激活函数,以提取特征并增强与目标物体相关的信息,通过残差注意力处理得到残差特征,其中残差特征包含了第二特征图集{Bi}的第二特征图中与目标物体相关的特征;将残差特征与第二特征图中的原始特征相结合,得到更丰富的特征表示,将关注特征图的信息与残差特征图的信息进行融合突出关注特征图中与目标物体相关的特征。
本申请通过残差注意力处理提取与目标物体相关的特征,增强目标物体的表征能力,将残差特征与第二特征图集{Bi}相加,融合两者的信息使得目标物体的特征更加全面和丰富,通过逐元素乘法操作将关注特征图与残差特征图集相乘突出关注特征图中与目标物体相关的特征,进一步提高目标物体的检测和跟踪准确性。
进一步的,步骤S343具体包括:
对第二特征图集{Bi}进行通用注意力处理,得到通用注意力权重集;
将通用注意力权重集与第二特征图集{Bi}相加,得到加权特征图集;
将第一融合特征集分别与加权特征图集进行逐元素乘法操作,并与偏置项相加得到目标物体的加权互相关响应图集。
作为本领域技术人员可以理解的,通过通用注意力处理学习特征图中不同位置的重要性权重,利用通用注意力权重指导后续的特征融合和加权操作;将通用注意力权重与第二特征图逐元素相加,对第二特征图中的不同位置进行加权,突出重要的特征,减弱次要的特征,得到加权特征图;将第一融合特征与加权特征图逐元素相乘,突出第一融合特征中与目标物体相关的特征,再与偏置项相加进一步调整特征图的响应值。
本申请通过通用注意力处理使得模型能够更加关注与目标物体相关的特征,加权特征图突出重要的特征,减弱次要的特征,进一步提高目标物体的特征表达能力,通过调整特征图的响应值,得到目标物体的加权互相关响应图,进一步提高目标物体的检测和跟踪准确性。
进一步的,互相关操作的计算公式如下:
f(z,x)=(y⊙Φ(z))×Φ(x)+b1;
其中,f(z,x)表示目标物体的加权互相关响应图,y表示关注特征图,Φ(z)表示残差特征图,Φ(x)表示加权特征图,b1表示偏置项,b1为常数,⊙表示逐元素相乘。
S4、根据目标物体的运动轨迹制定追逃策略,无人机根据追逃策略进行智能追逃。
具体的,步骤S4具体包括:
根据目标物体的运动轨迹确定目标物体的运动状态;其中,目标的运动状态包括目标物体的速度、加速度、方向等;
根据无人机的位置信息确定无人机的环境状况;其中,无人机的环境状况包括周围的地形、建筑物、障碍物等;
根据目标物体的运动状态和无人机的环境状况规划出无人机的移动路径;
无人机根据移动路径进行目标物体追踪。
在本申请实施例中,在确定了目标物体的运动状态和无人机的环境状况后,可以利用路径规划算法,规划出无人机的移动路径,其中,移动路径应该考虑到目标物体的运动轨迹、无人机的速度、转弯半径、避障等因素,以确保无人机能够顺利地跟踪目标物体,在规划出无人机的移动路径后,无人机可以根据路径进行移动,实现对目标物体的追踪,在追踪过程中,可以利用视觉传感器、激光雷达等设备对目标物体进行实时监测,以确保无人机能够准确地跟踪目标物体。
本申请通过根据目标物体的运动轨迹确定目标物体的运动状态,准确地预测目标物体的运动轨迹,根据无人机的位置信息确定无人机的环境状况,实现对目标物体的实时监测,避免无人机在追踪过程中碰撞障碍物或受到其他干扰,提高目标物体的跟踪准确性。
S5、无人机通过摄像头捕捉到目标物体后,向地面控制站发送提醒信息,提示地面控制站无人机已经成功捕捉到目标物体的图像。
具体的,无人机通过搭载的摄像头或其他视觉传感器,实时监测目标物体的位置和姿态,当无人机成功捕捉到目标物体的图像时,地面控制站对视频图像数据进行处理和分析,提取出目标物体的特征信息。通过无人机向地面控制站发送提醒信息,可以实现对目标物体的实时监测和通知,提高对目标物体的关注度和响应速度。当无人机成功捕捉到目标物体的图像并发送提醒信息时,地面控制站可以根据接收到的信息,及时采取相应的措施,提高应急响应能力。其中,提醒信息可以包括目标物体的位置、姿态、运动状态等信息,以及无人机的当前位置和状态。
在本申请一实施例中,在遇到火灾、地震、爆炸等突发事件时,无人机会根据预设的飞行路径快速飞往目标位置,通过无人机搭载的摄像头或其他视觉传感器实时拍摄视频图像信息,并将拍摄的视频图像信息传输给地面控制站,地面控制站及时对视频图像信息进行处理,得到目标物体的移动轨迹,并指定追逃策略发送至无人机,无人机追逃策略及时对目标物体进行追逃,提高无人机追逃的效率和成功率,在追逃成功时向地面控制站发送提醒信息,以便用户根据无人机追逃情况及时做出应急措施。
如图2所示,本发明还提供了一种无人机追逃系统,采用如上述所述的无人机智能追逃方法,包括:
信息获取模块,用于实时获取无人机的位置和监控区域的视频图像数据;
地面控制模块,用于根据视频图像数据进行处理,制定追逃策略;
追踪模块,用于无人机根据追逃策略进行目标追踪;
其中,地面控制模块包括图像处理单元、策略单元和追踪提醒单元,所述图像处理单元用于对视频图像数据进行处理,得到目标物体的运动轨迹;
所述策略单元用于根据目标物体的运动轨迹规划移动路径,生成追逃策略;
追踪提醒单元用于无人机成功捕捉到目标物体的图像后,向地面控制模块发送提醒信息。
在本申请实施例中,无人机通过信息获取模块实时获取无人机的位置和姿态信息以及监控区域的视频图像数据,实现对目标物体的实时监测,提高对目标物体的关注度和响应速度,地面控制模块的图像处理单元对监控区域的视频图像数据进行处理,提取目标物体的特征信息,进而得到目标物体的运动轨迹,策略单元根据目标物体的运动轨迹,规划无人机的移动路径,制定追逃策略,当无人机成功捕捉到目标物体的图像后,追踪提醒单元向地面控制站发送追捕成功的信息,追踪模块根据追逃策略进行目标追踪,提高目标追踪的准确性。
如图3所示,本发明还提供了一种无人机,采用如上述所述的无人机智能追逃方法。
在本申请实施例中,无人机包括卫星定位系统、视频传输系统、遥控系统和摄像头,通过卫星定位系统确定无人机的位置信息,使用摄像头拍摄监控区域的视频图像数据,通过视频传输系统将位置信息和视频图像数据传输至地面控制站进行耦合处理,地面控制站对位置信息和视频图像数据进行处理后,构建目标运动轨迹,并根据目标运动轨迹制定追逃策略,通过无人机的遥控系统控制无人机按照追逃策略进行目标跟踪,减少干扰因素影响的同时,提高目标检测的准确性。
以上所述仅为本发明的较佳实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种无人机追逃方法,其特征在于,包括以下步骤:
S1、根据卫星定位实时获取无人机的位置信息并发送至地面控制站;
S2、无人机通过摄像头实时获取监控区域的视频图像数据,将视频图像数据传输至地面控制站;
S3、地面控制站对位置信息和视频图像数据进行耦合处理,得到目标物体的运动轨迹;
S4、根据目标物体的运动轨迹制定追逃策略,无人机根据追逃策略进行智能追逃;
S5、无人机通过摄像头捕捉到目标物体后,向地面控制站发送提醒信息,提示地面控制站无人机已经成功捕捉到目标物体的图像;
步骤S3具体包括:
S31、将视频图像数据的第一帧图像作为模板帧图像,将视频图像数据的剩余帧图像作为检测数据帧图像集{Ai};
S32、使用第一网络模型对模板帧图像进行特征提取,并映射为第一特征图;
S33、使用第二网络模型对检测数据帧图像集{Ai}分别进行特征提取,并映射为第二特征图集{Bi};
S34、将第一特征图与第二特征图集{Bi}分别进行互相关操作,得到目标物体的加权互相关响应图集,根据加权互相关响应图集构建目标物体的运动轨迹;
第二网络模型包括第一处理分支和第二处理分支,步骤S33具体包括:
使用注意力机制对模板帧图像进行处理,生成注意力特征图;
将注意力特征图与检测数据帧图像集{Ai}进行逐元素相乘,得到关注特征图集{Ci};
使用第一处理分支对关注特征图集{Ci}分别进行卷积特征提取,得到检测数据帧图像的前景背景分类得分;
使用第二处理分支对关注特征图集{Ci}分别进行处理,得到检测数据帧图像的候选框集;
将关注特征图集{Ci}输入至第二处理分支,并对候选框集进行卷积特征提取,得到第二特征图集{Bi};
步骤S34具体包括:
S341、使用注意力机制对第二特征图集{Bi}分别进行注意力机制处理,得到第二特征图权重集;
S342、将关注特征图集{Ci}与第二特征图集{Bi}分别进行融合,得到第一融合特征集;
S343、将第一融合特征集分别与第二特征图权重集进行融合,得到目标物体的加权互相关响应图集;
S344、根据加权相关响应图得到目标物体的位置,所述加权互相关响应图集构成目标物体的运动轨迹。
2.如权利要求1所述的一种无人机追逃方法,其特征在于,步骤S342具体包括:
对第二特征图集{Bi}分别进行残差注意力处理,得到残差特征集;
将残差特征集分别与第二特征图集{Bi}相加,得到残差特征图集;
将关注特征图集{Ci}与残差特征图集进行逐元素乘法操作,得到第一融合特征集。
3.如权利要求1所述的一种无人机追逃方法,其特征在于,步骤S343具体包括:
对第二特征图集{Bi}进行通用注意力处理,得到通用注意力权重集;
将通用注意力权重集与第二特征图集{Bi}相加,得到加权特征图集;
将第一融合特征集分别与加权特征图集进行逐元素乘法操作,并与偏置项相加得到目标物体的加权互相关响应图集。
4.如权利要求3所述的一种无人机追逃方法,其特征在于,互相关操作的计算公式如下:
f(z,x)=(y⊙Φ(z))×Φ(x)+b1;
其中,f(z,x)表示目标物体的加权互相关响应图,y表示关注特征图,Φ(z)表示残差特征图,Φ(x)表示加权特征图,b1表示偏置项,b1为常数,⊙表示逐元素相乘。
5.如权利要求1所述的一种无人机追逃方法,其特征在于,步骤S4具体包括:
根据目标物体的运动轨迹确定目标物体的运动状态;
根据无人机的位置信息确定无人机的环境状况;
根据目标物体的运动状态和无人机的环境状况规划出无人机的移动路径;
无人机根据移动路径进行目标物体追踪。
6.一种无人机追逃系统,其特征在于,采用如权利要求1-5任一项所述的无人机追逃方法,包括:
信息获取模块,用于实时获取无人机的位置和监控区域的视频图像数据;
地面控制模块,用于根据视频图像数据进行处理,制定追逃策略;
追踪模块,用于无人机根据追逃策略进行目标追踪;
其中,地面控制模块包括图像处理单元、策略单元和追踪提醒单元,所述图像处理单元用于对视频图像数据进行处理,得到目标物体的运动轨迹;
所述策略单元用于根据目标物体的运动轨迹规划移动路径,
生成追逃策略;
追踪提醒单元用于无人机成功捕捉到目标物体的图像后,向地面控制模块发送提醒信息。
7.一种无人机,其特征在于,采用如权利要求1-5任一项所述的无人机追逃方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311544568.5A CN117406780B (zh) | 2023-11-20 | 2023-11-20 | 一种无人机追逃方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311544568.5A CN117406780B (zh) | 2023-11-20 | 2023-11-20 | 一种无人机追逃方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117406780A CN117406780A (zh) | 2024-01-16 |
CN117406780B true CN117406780B (zh) | 2024-05-31 |
Family
ID=89488998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311544568.5A Active CN117406780B (zh) | 2023-11-20 | 2023-11-20 | 一种无人机追逃方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117406780B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109753076A (zh) * | 2017-11-03 | 2019-05-14 | 南京奇蛙智能科技有限公司 | 一种无人机视觉追踪实现方法 |
CN111179314A (zh) * | 2019-12-30 | 2020-05-19 | 北京工业大学 | 一种基于残差密集孪生网络的目标跟踪方法 |
CN111915650A (zh) * | 2020-07-30 | 2020-11-10 | 齐鲁工业大学 | 基于改进孪生网络的目标跟踪方法及系统 |
KR20220019377A (ko) * | 2020-08-10 | 2022-02-17 | 세종대학교산학협력단 | 딥러닝을 이용한 드론 검출 장치 및 방법 |
CN114241053A (zh) * | 2021-12-31 | 2022-03-25 | 北京工业大学 | 基于改进的注意力机制FairMOT多类别跟踪方法 |
CN114820712A (zh) * | 2022-05-16 | 2022-07-29 | 太原科技大学 | 一种自适应目标框优化的无人机跟踪方法 |
CN116188528A (zh) * | 2023-01-10 | 2023-05-30 | 中国人民解放军军事科学院国防科技创新研究院 | 基于多阶段注意力机制的rgbt无人机目标跟踪方法及系统 |
CN116934807A (zh) * | 2023-07-20 | 2023-10-24 | 中国地质大学(武汉) | 一种孪生网络单目标跟踪方法及装置 |
-
2023
- 2023-11-20 CN CN202311544568.5A patent/CN117406780B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109753076A (zh) * | 2017-11-03 | 2019-05-14 | 南京奇蛙智能科技有限公司 | 一种无人机视觉追踪实现方法 |
CN111179314A (zh) * | 2019-12-30 | 2020-05-19 | 北京工业大学 | 一种基于残差密集孪生网络的目标跟踪方法 |
CN111915650A (zh) * | 2020-07-30 | 2020-11-10 | 齐鲁工业大学 | 基于改进孪生网络的目标跟踪方法及系统 |
KR20220019377A (ko) * | 2020-08-10 | 2022-02-17 | 세종대학교산학협력단 | 딥러닝을 이용한 드론 검출 장치 및 방법 |
CN114241053A (zh) * | 2021-12-31 | 2022-03-25 | 北京工业大学 | 基于改进的注意力机制FairMOT多类别跟踪方法 |
CN114820712A (zh) * | 2022-05-16 | 2022-07-29 | 太原科技大学 | 一种自适应目标框优化的无人机跟踪方法 |
CN116188528A (zh) * | 2023-01-10 | 2023-05-30 | 中国人民解放军军事科学院国防科技创新研究院 | 基于多阶段注意力机制的rgbt无人机目标跟踪方法及系统 |
CN116934807A (zh) * | 2023-07-20 | 2023-10-24 | 中国地质大学(武汉) | 一种孪生网络单目标跟踪方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN117406780A (zh) | 2024-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110660082B (zh) | 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法 | |
CN109344725B (zh) | 一种基于时空关注度机制的多行人在线跟踪方法 | |
JP6625220B2 (ja) | シーン内のオブジェクトのアクションを検出する方法及びシステム | |
CN113269098A (zh) | 一种基于无人机的多目标跟踪定位与运动状态估计方法 | |
CN105957105B (zh) | 基于行为学习的多目标跟踪方法及系统 | |
CN113012203A (zh) | 一种复杂背景下高精度多目标跟踪方法 | |
CN109325456B (zh) | 目标识别方法、装置、目标识别设备及存储介质 | |
CN109934127B (zh) | 基于视频图像与无线信号的行人识别与跟踪方法 | |
CN102447835A (zh) | 无盲区多目标协同跟踪方法及系统 | |
Chakravarty et al. | Panoramic vision and laser range finder fusion for multiple person tracking | |
US20220327676A1 (en) | Method and system for detecting change to structure by using drone | |
CN112785628A (zh) | 一种基于全景视角检测跟踪的轨迹预测方法及系统 | |
CN111739066B (zh) | 一种基于高斯过程的视觉定位方法、系统及存储介质 | |
CN112616023A (zh) | 复杂环境下的多摄像机视频目标追踪方法 | |
Parisi et al. | Hierarchical SOM-based detection of novel behavior for 3D human tracking | |
Teng et al. | Clickbait: click-based accelerated incremental training of convolutional neural networks | |
Yan et al. | Human-object interaction recognition using multitask neural network | |
Kumar | Visual object tracking using deep learning | |
Weinrich et al. | Appearance-based 3D upper-body pose estimation and person re-identification on mobile robots | |
CN117406780B (zh) | 一种无人机追逃方法及系统 | |
JP7488674B2 (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
CN117474950A (zh) | 基于视觉语义跨模态目标跟踪方法 | |
Cai et al. | Ccan: Constraint co-attention network for instance grasping | |
Xu-Wei et al. | Real-time hand tracking based on YOLOv4 model and Kalman filter | |
CN116228989A (zh) | 一种三维轨迹预测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |