CN110136162B - 无人机视角遥感目标跟踪方法及装置 - Google Patents

无人机视角遥感目标跟踪方法及装置 Download PDF

Info

Publication number
CN110136162B
CN110136162B CN201910420382.6A CN201910420382A CN110136162B CN 110136162 B CN110136162 B CN 110136162B CN 201910420382 A CN201910420382 A CN 201910420382A CN 110136162 B CN110136162 B CN 110136162B
Authority
CN
China
Prior art keywords
typical
sample
aerial vehicle
unmanned aerial
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910420382.6A
Other languages
English (en)
Other versions
CN110136162A (zh
Inventor
毕福昆
田雨萌
雷明阳
杨志华
孙嘉怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing North Zhitu Information Technology Co ltd
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN201910420382.6A priority Critical patent/CN110136162B/zh
Publication of CN110136162A publication Critical patent/CN110136162A/zh
Application granted granted Critical
Publication of CN110136162B publication Critical patent/CN110136162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明实施例提供一种无人机视角遥感目标跟踪方法及装置，其中，方法包括：从样本视频序列中提取出正样本和典型易混干扰负样本，对所述典型易混干扰负样本进行数据增广，将正样本和数据增广后的典型易混干扰负样本组成训练集；基于所述训练集，预训练基于卷积块注意力模块CBAM显著增强的多域网络MDNet；获取无人机视角遥感视频图像，利用训练好的基于CBAM显著增强的MDNet进行无人机视角遥感目标的跟踪。本发明实施例能够实现对无人机视角遥感目标的跟踪，能够克服现有技术的方法跟踪性能低、时效性不高的缺点，可明显提升跟踪的准确性和实时性，具有更高的跟踪精度和效率。

Description

无人机视角遥感目标跟踪方法及装置
技术领域
本发明涉及遥感目标跟踪技术领域，尤其涉及一种无人机视角遥感目标跟踪方法及装置。
背景技术
随着高分辨率成像技术及人工智能处理技术的快速发展，遥感目标跟踪受到了很多的关注，其中作为一个重要的研究部分，无人机视角下的遥感目标跟踪在嫌犯追捕、军事侦察、土地监测等领域具有重要意义。
近些年，为了促进目标跟踪的发展，许多研究者朝着该方向付出了巨大的努力。现有技术中提出的目标跟踪算法Struck(Structured Output Tracking with Kernels)是利用在线结构输出SVM(structured output support vector machine)学习方法去跟踪目标；现有技术中提出的跟踪学习检测TLD(Tracking-Learning-Detection)算法是通过一种改进的在线学习机制实现高效跟踪。但是，这些方法的计算量巨大，在无人机平台硬件和计算资源约束的情况下，难以满足遥感目标跟踪的实时性要求。
随着深度学习在计算机视觉领域的发展，最近深度学习开始用于目标跟踪，现有技术中通过分别获取语义特征和识别信息进行可视化跟踪，此方法具有较高的检测精度。但是，由于这些方法通常利用网络的深度结构设计来提升跟踪精度，跟踪的效率将会受到较大的影响。
最近，一种基于CNN(卷积神经网络)框架的优秀跟踪算法MDNet(Multi-DomainNetwork，多域网络)被提出，它可一定程度上兼顾时效性和准确率的算法，此方法通过结合CNN共享层和一个新的二分类层构建新的网络，在大尺度数据集上预训练来获得目标的通用表征，增强了网络对各类目标的适应能力。但是，由于无人机视角下的遥感目标往往较弱小，大视场下背景地物复杂多变且干扰物较多，目标会随无人机飞行高度出现频繁的尺度变化，因此无人机视角下的跟踪目标极易与背景混淆。
发明内容
针对现有技术存在的问题，本发明实施例提供一种无人机视角遥感目标跟踪方法及装置。
本发明实施例提供一种无人机视角遥感目标跟踪方法，包括：
从样本视频序列中提取出正样本和典型易混干扰负样本，对所述典型易混干扰负样本进行数据增广，将正样本和数据增广后的典型易混干扰负样本组成训练集；
基于所述训练集，预训练基于卷积块注意力模块CBAM显著增强的多域网络MDNet；
获取无人机视角遥感视频图像，利用训练好的基于CBAM显著增强的MDNet进行无人机视角遥感目标的跟踪。
本发明实施例提供一种无人机视角遥感目标跟踪装置，包括：
增广模块，用于从样本视频序列中提取出正样本和典型易混干扰负样本，对所述典型易混干扰负样本进行数据增广，将正样本和数据增广后的典型易混干扰负样本组成训练集；
预训练模块，用于基于所述训练集，预训练基于卷积块注意力模块CBAM显著增强的多域网络MDNet；
跟踪模块，用于获取无人机视角遥感视频图像，利用训练好的基于CBAM显著增强的MDNet进行无人机视角遥感目标的跟踪。
本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述方法的步骤。
本发明实施例提供的无人机视角遥感目标跟踪方法及装置，通过对典型易混干扰负样本进行数据增广，将正样本和数据增广后的典型易混干扰负样本组成训练集；基于训练集，训练基于CBAM(Convolutional Block Attention Module，卷积块注意力模块)显著增强的MDNet，获取无人机视角遥感视频图像，利用训练好的基于CBAM显著增强的MDNet进行无人机视角遥感目标的跟踪，由此，能够实现对无人机视角遥感目标的跟踪，能够克服现有技术的方法跟踪性能低、时效性不高的缺点，可明显提升跟踪的准确性和实时性，具有更高的跟踪精度和效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种无人机视角遥感目标跟踪方法的流程示意图；
图2为本发明一实施例提供的一种无人机视角遥感目标跟踪装置的结构示意图；
图3为本发明一实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明一实施例提供的一种无人机视角遥感目标跟踪方法的流程示意图，如图1所示，本实施例的无人机视角遥感目标跟踪方法，包括：
S1、从样本视频序列中提取出正样本和典型易混干扰负样本，对所述典型易混干扰负样本进行数据增广，将正样本和数据增广后的典型易混干扰负样本组成训练集。
可以理解的是，在汉语词语中，增广的意思为增加，扩大。数据增广是深度学习中常用的技巧之一，主要用于增加训练集，让训练集尽可能的多样化。
可以理解的是，在基于深度学习网络的跟踪技术中，预训练效果的好坏对后续跟踪的准确度和成功率有重要影响，本步骤是针对跟踪初始阶段难以获取足够样本参与预训练的问题，对所述典型易混干扰负样本进行数据增广，以增强网络预训练过程的鲁棒性，可以显著增强预训练好的跟踪网络(即基于CBAM显著增强的MDNet)对目标和典型易混负样本的区分能力。
S2、基于所述训练集，预训练基于CBAM(Convolutional Block AttentionModule，卷积块注意力模块)显著增强的MDNet(多域网络)。
具体地，所述CBAM是由通道注意力模块和空间注意力模块组成，给定一个特征图F∈RC×H×W作为输入，R为实数域，C为特征图通道数，H为特征图行数，W为特征图列数，CBAM模块会依次通过通道注意力图Mc∈RC×1×1和空间注意力图Ms∈R1×H×W，更具体的说明可参考现有技术，本实施例不再赘述。
在具体应用中，本实施例基于CBAM显著增强的MDNet是在MDNet的第一个卷积层后面依次增加CBAM的通道注意力模块和CBAM的空间注意力模块，在MDNet的第二个卷积层后面增加CBAM的通道注意力模块，并在MDNet的第二个卷积层所增加的通道注意力模块后面增加一个自适应卷积层而得到的；其中，所述自适应卷积层用于根据输入尺寸的大小自适应的调整输出的通道数。
可以理解的是，由于在线跟踪阶段需每帧处理，出于兼顾时效性考虑，本实施例在跟踪网络设计时，MDNet使用浅层网络，各卷积层输出的特征直接传入下一层。然而，对于背景复杂、目标占比小的无人机视角大视场遥感场景，有必要对目标特征显著性进行增强。本实施例在跟踪网络设计上，通过在卷积层之间嵌入CBAM并优化CBAM的功能子模块的排列方式，可增强卷积特征图的显著性，从而提高了网络对高动态变化目标的表征能力。本实施例对MDNet的第二个卷积层所增加的通道注意力模块进行了优化，通过在MDNet的第二个卷积层所增加的通道注意力模块后面增加一个自适应卷积层，使网络能更好的实现自适应池化的过渡，保证网络后续能够平缓的进行在线跟踪。
S3、获取无人机视角遥感视频图像，利用训练好的基于CBAM显著增强的MDNet进行无人机视角遥感目标的跟踪。
可以理解的是，由于无人机遥感视频具有目标占比小、尺度和视角变化大、场景相似干扰物多等特点，本实施例通过在预训练阶段，针对跟踪初始阶段难以获取足够样本参与预训练的问题，对所述典型易混干扰负样本进行数据增广，在MDNet网络中利用CBAM增强卷积特征图的显著性，进而增强了网络对高动态变化目标特性的表征能力。
本实施例提供的无人机视角遥感目标跟踪方法，通过对典型易混干扰负样本进行数据增广，将正样本和数据增广后的典型易混干扰负样本组成训练集；基于训练集，训练基于CBAM(Convolutional Block Attention Module，注意力机制模块)显著增强的MDNet，获取无人机视角遥感视频图像，利用训练好的基于CBAM显著增强的MDNet进行无人机视角遥感目标的跟踪，由此，能够实现对无人机视角遥感目标的跟踪，能够克服现有技术的方法跟踪性能低、时效性不高的缺点，可明显提升跟踪的准确性和实时性，具有更高的跟踪精度和效率。
进一步地，在上述实施例的基础上，所述步骤S1中的“对所述典型易混干扰负样本进行数据增广”，可以包括：
利用LSGANs(最小二乘GAN(生成对抗网络))和多角度的高斯金字塔，对所述典型易混干扰负样本进行数据增广。
在具体应用中，所述利用LSGANs(最小二乘GAN(生成对抗网络))和多角度的高斯金字塔，对所述典型易混干扰负样本进行数据增广，可以包括：
对每个典型易混干扰负样本的典型易混背景目标x，利用LSGANs，生成第一样本；
利用多角度的高斯金字塔，对所述第一样本进行数据增广，获得数据增广后的典型易混干扰负样本。
可以理解的是，对每个典型易混干扰负样本的典型易混背景目标x，利用LSGANs，生成第一样本时，最小二乘的损失函数如下：
Figure BDA0002065817930000051
Figure BDA0002065817930000052
其中，J(D)表示判别器损失函数，G(z)表示生成器损失函数，D表示判别器，G表示生成器，E表示期望值，随机变量z服从标准正态分布，常数a表示真实图片的标签，常数b表示生成图片的标签，c是生成器为了让判别器认为生成图片是真实数据而定的值。
可以理解的是，本实施例是在多视角样本产生方面，利用高斯金字塔的思想，分别从多尺度和多角度着手，在不同组、不同层产生不同大小和角度的图片。具体地，所述利用多角度的高斯金字塔，对所述第一样本进行数据增广，获得数据增广后的典型易混干扰负样本，可以包括：
将所述第一样本中的原图像扩大一倍之后作为高斯金字塔的第1组第1层图像，将高斯金字塔的第1组第1层图像经高斯卷积之后作为高斯金字塔的第1组第2层图像，高斯卷积函数为：
Figure BDA0002065817930000061
其中，G(r)为高斯卷积函数，r为模糊半径，参数σ取固定值1.6；
对于第1组第i层图像，i＝2,…,L，L为高斯金字塔的层数，将同一组内上一层的参数σ乘以预设比例系数k，得到新的参数σ，利用所述新的参数σ来平滑所述第1组第i层图像，将平滑后的结果图像作为第1组第i+1层图像，最后得到L层图像，其中在同一组内，每一层图像的尺度相同，参数σ不同。
可以理解的是，利用LSGANs和多角度的高斯金字塔，对所述典型易混干扰负样本进行数据增广，能够更加有效的增强网络预训练过程的鲁棒性，可以更加显著的增强预训练好的跟踪网络(即基于CBAM显著增强的MDNet)对目标和典型易混负样本的区分能力。
本实施例提供的无人机视角遥感目标跟踪方法，能够实现对无人机视角遥感目标的跟踪，能够克服现有技术的方法跟踪性能低、时效性不高的缺点，可明显提升跟踪的准确性和实时性，具有更高的跟踪精度和效率。
图2示出了本发明一实施例提供的一种无人机视角遥感目标跟踪装置的结构示意图，如图2所示，本实施例的无人机视角遥感目标跟踪装置，包括：增广模块21、预训练模块22和跟踪模块23；其中：
所述增广模块21，用于从样本视频序列中提取出正样本和典型易混干扰负样本，对所述典型易混干扰负样本进行数据增广，将正样本和数据增广后的典型易混干扰负样本组成训练集；
所述预训练模块22，用于基于所述训练集，预训练基于卷积块注意力模块CBAM显著增强的多域网络MDNet；
所述跟踪模块23，用于获取无人机视角遥感视频图像，利用训练好的基于CBAM显著增强的MDNet进行无人机视角遥感目标的跟踪。
具体地，所述增广模块21从样本视频序列中提取出正样本和典型易混干扰负样本，对所述典型易混干扰负样本进行数据增广，将正样本和数据增广后的典型易混干扰负样本组成训练集；所述预训练模块22基于所述训练集，预训练基于卷积块注意力模块CBAM显著增强的多域网络MDNet；所述跟踪模块23获取无人机视角遥感视频图像，利用训练好的基于CBAM显著增强的MDNet进行无人机视角遥感目标的跟踪。
可以理解的是，在汉语词语中，增广的意思为增加，扩大。数据增广是深度学习中常用的技巧之一，主要用于增加训练集，让训练集尽可能的多样化。
可以理解的是，在基于深度学习网络的跟踪技术中，预训练效果的好坏对后续跟踪的准确度和成功率有重要影响，所述增广模块21是针对跟踪初始阶段难以获取足够样本参与预训练的问题，对所述典型易混干扰负样本进行数据增广，以增强网络预训练过程的鲁棒性，可以显著增强预训练好的跟踪网络(即基于CBAM显著增强的MDNet)对目标和典型易混负样本的区分能力。
具体地，所述CBAM是由通道注意力模块和空间注意力模块组成，给定一个特征图F∈RC×H×W作为输入，R为实数域，C为特征图通道数，H为特征图行数，W为特征图列数，CBAM模块会依次通过通道注意力图Mc∈RC×1×1和空间注意力图Ms∈R1×H×W，更具体的说明可参考现有技术，本实施例不再赘述。
在具体应用中，本实施例基于CBAM显著增强的MDNet是在MDNet的第一个卷积层后面依次增加CBAM的通道注意力模块和CBAM的空间注意力模块，在MDNet的第二个卷积层后面增加CBAM的通道注意力模块，并在MDNet的第二个卷积层所增加的通道注意力模块后面增加一个自适应卷积层而得到的；其中，所述自适应卷积层用于根据输入尺寸的大小自适应的调整输出的通道数。
可以理解的是，由于在线跟踪阶段需每帧处理，出于兼顾时效性考虑，本实施例在跟踪网络设计时，MDNet使用浅层网络，各卷积层输出的特征直接传入下一层。然而，对于背景复杂、目标占比小的无人机视角大视场遥感场景，有必要对目标特征显著性进行增强。本实施例在跟踪网络设计上，通过在卷积层之间嵌入CBAM并优化CBAM的功能子模块的排列方式，可增强卷积特征图的显著性，从而提高了网络对高动态变化目标的表征能力。本实施例对MDNet的第二个卷积层所增加的通道注意力模块进行了优化，通过在MDNet的第二个卷积层所增加的通道注意力模块后面增加一个自适应卷积层，使网络能更好的实现自适应池化的过渡，保证网络后续能够平缓的进行在线跟踪。
可以理解的是，由于无人机遥感视频具有目标占比小、尺度和视角变化大、场景相似干扰物多等特点，本实施例通过在预训练阶段，针对跟踪初始阶段难以获取足够样本参与预训练的问题，对所述典型易混干扰负样本进行数据增广，在MDNet网络中利用CBAM增强卷积特征图的显著性，进而增强了网络对高动态变化目标特性的表征能力。
本实施例提供的无人机视角遥感目标跟踪装置，能够实现对无人机视角遥感目标的跟踪，能够克服现有技术的方法跟踪性能低、时效性不高的缺点，可明显提升跟踪的准确性和实时性，具有更高的跟踪精度和效率。
进一步地，在上述实施例的基础上，所述增广模块21，可具体用于
从样本视频序列中提取出正样本和典型易混干扰负样本；
利用LSGANs和多角度的高斯金字塔，对所述典型易混干扰负样本进行数据增广；
将正样本和数据增广后的典型易混干扰负样本组成训练集。
具体地，所述利用LSGANs(最小二乘GAN(生成对抗网络))和多角度的高斯金字塔，对所述典型易混干扰负样本进行数据增广，可以包括：
对每个典型易混干扰负样本的典型易混背景目标x，利用LSGANs，生成第一样本；
利用多角度的高斯金字塔，对所述第一样本进行数据增广，获得数据增广后的典型易混干扰负样本。
可以理解的是，对每个典型易混干扰负样本的典型易混背景目标x，利用LSGANs，生成第一样本时，最小二乘的损失函数如下：
Figure BDA0002065817930000081
Figure BDA0002065817930000082
其中，J(D)表示判别器损失函数，G(z)表示生成器损失函数，D表示判别器，G表示生成器，E表示期望值，随机变量z服从标准正态分布，常数a表示真实图片的标签，常数b表示生成图片的标签，c是生成器为了让判别器认为生成图片是真实数据而定的值。
可以理解的是，本实施例是在多视角样本产生方面，利用高斯金字塔的思想，分别从多尺度和多角度着手，在不同组、不同层产生不同大小和角度的图片。具体地，所述利用多角度的高斯金字塔，对所述第一样本进行数据增广，获得数据增广后的典型易混干扰负样本，可以包括：
将所述第一样本中的原图像扩大一倍之后作为高斯金字塔的第1组第1层图像，将高斯金字塔的第1组第1层图像经高斯卷积之后作为高斯金字塔的第1组第2层图像，高斯卷积函数为：
Figure BDA0002065817930000091
其中，G(r)为高斯卷积函数，r为模糊半径，参数σ取固定值1.6；
对于第1组第i层图像，i＝2,…,L，L为高斯金字塔的层数，将同一组内上一层的参数σ乘以预设比例系数k，得到新的参数σ，利用所述新的参数σ来平滑所述第1组第i层图像，将平滑后的结果图像作为第1组第i+1层图像，最后得到L层图像，其中在同一组内，每一层图像的尺度相同，参数σ不同。
可以理解的是，利用LSGANs和多角度的高斯金字塔，对所述典型易混干扰负样本进行数据增广，能够更加有效的增强网络预训练过程的鲁棒性，可以更加显著的增强预训练好的跟踪网络对目标和典型易混负样本的区分能力。
本实施例提供的无人机视角遥感目标跟踪装置，能够实现对无人机视角遥感目标的跟踪，能够克服现有技术的方法跟踪性能低、时效性不高的缺点，可明显提升跟踪的准确性和实时性，具有更高的跟踪精度和效率。
本发明实施例提供的无人机视角遥感目标跟踪装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图3示出了本发明一实施例提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括存储器302、处理器301及存储在存储器302上并可在处理器301上运行的计算机程序，所述处理器301执行所述程序时实现上述方法的步骤，例如包括：从样本视频序列中提取出正样本和典型易混干扰负样本，对所述典型易混干扰负样本进行数据增广，将正样本和数据增广后的典型易混干扰负样本组成训练集；基于所述训练集，预训练基于卷积块注意力模块CBAM显著增强的多域网络MDNet；获取无人机视角遥感视频图像，利用训练好的基于CBAM显著增强的MDNet进行无人机视角遥感目标的跟踪。
本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤，例如包括：从样本视频序列中提取出正样本和典型易混干扰负样本，对所述典型易混干扰负样本进行数据增广，将正样本和数据增广后的典型易混干扰负样本组成训练集；基于所述训练集，预训练基于卷积块注意力模块CBAM显著增强的多域网络MDNet；获取无人机视角遥感视频图像，利用训练好的基于CBAM显著增强的MDNet进行无人机视角遥感目标的跟踪。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种无人机视角遥感目标跟踪方法，其特征在于，包括：
从样本视频序列中提取出正样本和典型易混干扰负样本，对所述典型易混干扰负样本进行数据增广，将正样本和数据增广后的典型易混干扰负样本组成训练集；
基于所述训练集，预训练基于卷积块注意力模块CBAM显著增强的多域网络MDNet；
获取无人机视角遥感视频图像，利用训练好的基于CBAM显著增强的MDNet进行无人机视角遥感目标的跟踪；
且所述基于CBAM显著增强的MDNet是在MDNet的第一个卷积层后面依次增加CBAM的通道注意力模块和CBAM的空间注意力模块，在MDNet的第二个卷积层后面增加CBAM的通道注意力模块，并在MDNet的第二个卷积层所增加的通道注意力模块后面增加一个自适应卷积层而得到的；其中，所述自适应卷积层用于根据输入尺寸的大小自适应的调整输出的通道数。
2.根据权利要求1所述的无人机视角遥感目标跟踪方法，其特征在于，所述对所述典型易混干扰负样本进行数据增广，包括：
利用LSGANs和多角度的高斯金字塔，对所述典型易混干扰负样本进行数据增广。
3.根据权利要求2所述的无人机视角遥感目标跟踪方法，其特征在于，所述利用LSGANs和多角度高斯金字塔，对所述典型易混干扰负样本进行数据增广，包括：
对每个典型易混干扰负样本的典型易混背景目标，利用LSGANs，生成第一样本；
利用多角度的高斯金字塔，对所述第一样本进行数据增广，获得数据增广后的典型易混干扰负样本。
4.一种无人机视角遥感目标跟踪装置，其特征在于，包括：
增广模块，用于从样本视频序列中提取出正样本和典型易混干扰负样本，对所述典型易混干扰负样本进行数据增广，将正样本和数据增广后的典型易混干扰负样本组成训练集；
预训练模块，用于基于所述训练集，预训练基于卷积块注意力模块CBAM显著增强的多域网络MDNet；
跟踪模块，用于获取无人机视角遥感视频图像，利用训练好的基于CBAM显著增强的MDNet进行无人机视角遥感目标的跟踪；
且所述基于CBAM显著增强的MDNet是在MDNet的第一个卷积层后面依次增加CBAM的通道注意力模块和CBAM的空间注意力模块，在MDNet的第二个卷积层后面增加CBAM的通道注意力模块，并在MDNet的第二个卷积层所增加的通道注意力模块后面增加一个自适应卷积层而得到的；其中，所述自适应卷积层用于根据输入尺寸的大小自适应的调整输出的通道数。
5.根据权利要求4所述的无人机视角遥感目标跟踪装置，其特征在于，所述增广模块，具体用于
从样本视频序列中提取出正样本和典型易混干扰负样本；
利用LSGANs和多角度的高斯金字塔，对所述典型易混干扰负样本进行数据增广；
将正样本和数据增广后的典型易混干扰负样本组成训练集。
6.根据权利要求5所述的无人机视角遥感目标跟踪装置，其特征在于，所述增广模块，具体用于
从样本视频序列中提取出正样本和典型易混干扰负样本；
对每个典型易混干扰负样本的典型易混背景目标，利用LSGANs，生成第一样本，利用多角度的高斯金字塔，对所述第一样本进行数据增广，获得数据增广后的典型易混干扰负样本；
将正样本和数据增广后的典型易混干扰负样本组成训练集。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至3任一项所述方法的步骤。
CN201910420382.6A 2019-05-20 2019-05-20 无人机视角遥感目标跟踪方法及装置 Active CN110136162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910420382.6A CN110136162B (zh) 2019-05-20 2019-05-20 无人机视角遥感目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910420382.6A CN110136162B (zh) 2019-05-20 2019-05-20 无人机视角遥感目标跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN110136162A CN110136162A (zh) 2019-08-16
CN110136162B true CN110136162B (zh) 2021-06-04

Family

ID=67571691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910420382.6A Active CN110136162B (zh) 2019-05-20 2019-05-20 无人机视角遥感目标跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN110136162B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728224B (zh) * 2019-10-08 2022-03-11 西安电子科技大学 一种基于注意力机制深度Contourlet网络的遥感图像分类方法
CN110807795B (zh) * 2019-10-31 2022-07-22 北方工业大学 一种基于MDnet的无人机遥感目标跟踪方法及装置
CN111223128A (zh) * 2020-01-17 2020-06-02 深圳大学 目标跟踪方法、装置、设备及存储介质
CN112561060B (zh) * 2020-12-15 2022-03-22 北京百度网讯科技有限公司 神经网络训练方法及装置、图像识别方法及装置和设备
CN114998749B (zh) * 2022-07-28 2023-04-07 北京卫星信息工程研究所 用于目标检测的sar数据扩增方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273936B (zh) * 2017-07-07 2020-09-11 广东工业大学 一种gan图像处理方法及系统
CN109409222B (zh) * 2018-09-20 2020-10-30 中国地质大学（武汉） 一种基于移动端的多视角人脸表情识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Adaptive Framework for Robust Visual Tracking;Mohamed H. Abdelpakey等;《IEEE ACCESS》;20180924;第I节第1、8段、表1 *
CBAM: Convolutional Block Attention Module;Sanghyun Woo等;《arXiv:1807.06521v2 [cs.CV]》;20180718;摘要、第3节第3段、图1-2 *
Deep Attentive Tracking via Reciprocative Learning;Shi Pu等;《arXiv:1810.03851v2 [cs.CV] 15 Oct 2018》;20181015;第1节第3-4段、第5.2节第1段 *
生成式对抗网络:从生成数据到创造智能;王坤峰等;《自动化学报》;20180531;第2节第1段 *

Also Published As

Publication number Publication date
CN110136162A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110378381B (zh) 物体检测方法、装置和计算机存储介质
CN110210551B (zh) 一种基于自适应主体敏感的视觉目标跟踪方法
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN111340214B (zh) 对抗攻击模型的训练方法及装置
CN109241817B (zh) 一种无人机拍摄的农作物图像识别方法
CN108985252B (zh) 改进的脉冲深度神经网络的图像分类方法
CN112639828A (zh) 数据处理的方法、训练神经网络模型的方法及设备
CN113705769A (zh) 一种神经网络训练方法以及装置
CN109753996B (zh) 基于三维轻量化深度网络的高光谱图像分类方法
CN113313119B (zh) 图像识别方法、装置、设备、介质及产品
CN110992378B (zh) 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统
CN112861718A (zh) 一种轻量级特征融合人群计数方法及系统
Jia et al. Effective meta-attention dehazing networks for vision-based outdoor industrial systems
CN111062310B (zh) 一种基于虚拟样本生成的少样本无人机图像识别方法
CN110751271B (zh) 一种基于深度神经网络的图像溯源特征表征方法
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
Wu et al. STR transformer: a cross-domain transformer for scene text recognition
CN113763417B (zh) 一种基于孪生网络和残差结构的目标跟踪方法
Zhang et al. Hawk‐eye‐inspired perception algorithm of stereo vision for obtaining orchard 3D point cloud navigation map
CN113989612A (zh) 基于注意力及生成对抗网络的遥感影像目标检测方法
Babu et al. ABF de-hazing algorithm based on deep learning CNN for single I-Haze detection
CN110110651B (zh) 基于时空重要性和3d cnn的视频中行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231109

Address after: Room 801, 8th floor, No. 17, Shidai Huayuan South Road, Shijingshan District, Beijing 100043

Patentee after: Beijing North Zhitu Information Technology Co.,Ltd.

Address before: 100144 Beijing City, Shijingshan District Jin Yuan Zhuang Road No. 5

Patentee before: NORTH CHINA University OF TECHNOLOGY

TR01 Transfer of patent right