CN110955259A - 无人机及其跟踪方法和计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种无人机的跟踪方法，无人机包括图像采集模块，所述无人机的跟踪方法包括以下步骤：获取图像采集模块采集的图像，并将所述图像输入跟踪模型以获取所述跟踪模型输出的所述图像中的多个区域图像；确定各个所述区域图像的第一尺寸以及无人机跟踪的目标对象的第二尺寸；根据所述第一尺寸以及所述第二尺寸对各个所述区域图像进行筛选以确定所述目标对象所在的目标区域图像；根据所述目标区域图像，对所述目标对象进行跟踪。本发明还公开一种无人机及其计算机可读存储介质。本发明无人机的跟踪准确性较高。

Description

无人机及其跟踪方法和计算机可读存储介质

技术领域

本发明涉及无人机技术领域，尤其涉及一种无人机及其跟踪方法和计算机可读存储介质。

背景技术

无人机(Unmanned Aerial Vehicle，UAV)跟踪地面运动目标具有重要理论研究意义和应用价值，是无人机系统自主控制领域的一个重要研究方向。

现阶段无人机跟踪的目标选取方式大多采用框选的方法，框选的方法具体操作方式为：操作者在手机界面上通过手指拖动的方式进行目标的框选。但无人机处于飞行过程中时，目标相对于相机会发生相对运动，在手机界面进行目标框选时容易出现标记误差，导致目标标记不准确，影响跟踪的准确性，无人机的跟踪准确性较低。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种无人机及其跟踪方法和计算机可读存储介质，旨在解决无人机的跟踪准确性较低的问题。

为实现上述目的，本发明提供一种无人机的跟踪方法，无人机包括图像采集模块，所述无人机的跟踪方法包括以下步骤：

获取图像采集模块采集的图像，并将所述图像输入跟踪模型以获取所述跟踪模型输出的所述图像中的多个区域图像；

确定各个所述区域图像的第一尺寸以及无人机跟踪的目标对象的第二尺寸；

根据所述第一尺寸以及所述第二尺寸对各个所述区域图像进行筛选以确定所述目标对象所在的目标区域图像；

根据所述目标区域图像，对所述目标对象进行跟踪。

在一实施例中，所述跟踪模型通过图像中不同尺寸的区域图像训练得到，所述跟踪模型包括训练网络，所述训练网络包括多个卷积层，所述跟踪模型的训练包括以下步骤：

将数据集中的各张图像样本依次输入训练网络的各个卷积层；

根据所述卷积层输出的结果获取特征层；

根据所述特征层获取所述跟踪模型。

在一实施例中，所述根据卷积层的输出结果获取特征层的步骤包括：

根据卷积层的输出结果获取一个特征层。

在一实施例中，所述根据卷积层的输出结果获取特征层的步骤包括：

根据卷积层的输出结果获取多个特征层，其中，多个所述特征层对应不同的图像尺寸阈值。

在一实施例中，所述根据所述特征层获取所述跟踪模型包括：

获取所述特征层中每个训练区域图像对应的标注区域图像，并确定每个所述训练区域图像与所述训练区域图像对应的标注区域图像的目标交叠率；

将目标交叠率大于第一预设阈值的所述训练区域图像标记为正样本，且将目标交叠率小于第二预设阈值的所述训练区域图像标记为负样本，所述第二预设阈值小于所述第一预设阈值；

根据分类后的被标记为正样本的训练区域图像、分类后的被标记为负样本的训练区域图像、损失函数训练获得跟踪模型。

在一实施例中，所述确定每个所述训练区域图像与所述训练区域图像对应标注区域图像的目标交叠率的步骤包括：

确定每个所述训练区域图像中各个锚点与所述训练区域图像对应的标注区域图像的外界边框的交叠率，其中，所述训练区域图像由锚箱确定；

在所述训练区域图像中各个锚点对应的交叠率中确定最大的交叠率，以作为所述训练区域图像对应的目标交叠率。

在一实施例中，所述根据所述第一尺寸以及所述第二尺寸，对各个所述区域图像进行筛选以确定所述目标对象所在的目标区域图像的步骤包括：

确定与所述第二尺寸匹配的第一尺寸对应的区域图像，以作为待确定区域图像；

提取各个所述待确定区域图像的哈尔特征；

将最大数值的哈尔特征对应的待确定区域图像确定为目标区域图像。

在一实施例中，所述获取图像采集模块采集的图像的步骤之后，还包括：

在检测到无人机的跟踪的目标对象的第二尺寸小于预设尺寸，或者，在检测到所述目标对象丢失时，执行所述将所述图像输入跟踪模型中以获取所述跟踪模型输出的所述图像中的多个区域图像的步骤。

为实现上述目的，本发明还提供一种无人机，所述无人机包括跟踪模型、图像采集模块、处理器、存储器以及存储在所述存储器并可在所述处理器上运行的无人机跟踪程序，所述无人机跟踪模型以及所述图像采集模块与所述处理器连接，所述无人机跟踪程序被处理器执行时实现如上所述的无人机的跟踪方法的各个步骤。

为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有无人机的跟踪程序，所述无人机的跟踪程序被处理器执行时实现如上所述的无人机的跟踪方法的各个步骤。

本发明实施例提出的无人机及其跟踪方法和计算机可读存储介质，无人机获取图像采集模块采集的图像，并将图像输入跟踪模型以获取跟踪模型输出的图像中的多个区域图像，再确定各个区域图像的第一尺寸以及无人机跟踪的目标对象的第二尺寸，从而根据第一尺寸以及第二尺寸在各个区域图像中确定目标对象所在的目标区域图像，从而对目标区域图像进行跟踪以实现对目标对象的跟随。由于无人机在跟随目标对象时，直接根据采集的图像确定目标对象所在的区域，无需人工进行区域的框选，避免了手动框选目标对象所在区域出现标记误差，无人机的跟踪准确性较高。

附图说明

图1是本发明实施例方案涉及的无人机的硬件结构示意图；

图2为本发明无人机的跟踪方法第一实施例的流程示意图；

图3为图2中步骤S30的细化流程示意图；

图4为本发明无人机的跟踪方法第二实施例的流程示意图；

图5为本发明中跟踪模型的训练网络中基础网络的一结构示意图；

图6为图4中步骤S70的细化流程示意图；

图7为本发明中跟踪模型的训练网络中基础网络的另一结构示意图；

图8为本发明无人机的跟踪方法第三实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：获取图像采集模块采集的图像，并将所述图像输入跟踪模型以获取所述跟踪模型输出的所述图像中的多个区域图像；确定各个所述区域图像的第一尺寸以及无人机跟踪的目标对象的第二尺寸；根据所述第一尺寸以及所述第二尺寸对各个所述区域图像进行筛选以确定所述目标对象所在的目标区域图像；根据所述目标区域图像，对所述目标对象进行跟踪。

由于无人机在跟随目标对象时，直接根据采集的图像确定目标对象所在的区域，无需人工进行区域的框选，避免了手动框选目标对象所在区域出现标记误差，无人机的跟踪准确性较高。

如图1所示，图1是本发明实施例方案涉及的无人机的硬件结构示意图。

如图1所示，无人机可以包括：处理器1001，例如CPU，通信总线1002，存储器1003，跟踪模型1004以及图像采集模块1005。其中，通信总线1002用于实现这些组件之间的连接通信。存储器1003可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1003可选的还可以是独立于前述处理器1001的存储装置。图像采集模块可为摄像头或者相机。

本领域技术人员可以理解，图1中示出的结构并不构成对无人机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1003中可以包括操作系统和无人机跟踪程序。

在图1所示的装置中，处理器1001可以用于调用存储器1003中存储的无人机跟踪程序，并执行以下操作：

获取图像采集模块采集的图像，并将所述图像输入跟踪模型以获取所述跟踪模型输出的所述图像中的多个区域图像；

确定各个所述区域图像的第一尺寸以及无人机跟踪的目标对象的第二尺寸；

根据所述第一尺寸以及所述第二尺寸对各个所述区域图像进行筛选以确定所述目标对象所在的目标区域图像；

根据所述目标区域图像，对所述目标对象进行跟踪。

在一实施例中，处理器1001可以调用存储器1003中存储的无人机跟踪程序，还执行以下操作：

所述跟踪模型通过图像中不同尺寸的区域图像训练得到，所述跟踪模型包括训练网络，所述训练网络包括多个卷积层，所述跟踪模型的训练包括以下步骤：

将数据集中的各张图像样本依次输入训练网络的各个卷积层；

根据所述卷积层输出的结果获取特征层；

根据所述特征层获取所述跟踪模型。

在一实施例中，处理器1001可以调用存储器1003中存储的无人机跟踪程序，还执行以下操作：

根据卷积层的输出结果获取一个特征层。

在一实施例中，所述根据卷积层的输出结果获取特征层的步骤包括：

根据卷积层的输出结果获取多个特征层，其中，多个所述特征层对应不同的图像尺寸阈值。

在一实施例中，处理器1001可以调用存储器1003中存储的无人机跟踪程序，还执行以下操作：

获取所述特征层中每个训练区域图像对应的标注区域图像，并确定每个所述训练区域图像与所述训练区域图像对应的标注区域图像的目标交叠率；

将目标交叠率大于第一预设阈值的所述训练区域图像标记为正样本，且将目标交叠率小于第二预设阈值的所述训练区域图像标记为负样本，所述第二预设阈值小于所述第一预设阈值；

根据分类后的被标记为正样本的训练区域图像、分类后的被标记为负样本的训练区域图像、损失函数训练获得跟踪模型。

在一实施例中，处理器1001可以调用存储器1003中存储的无人机跟踪程序，还执行以下操作：

确定每个所述训练区域图像中各个锚点与所述训练区域图像对应的标注区域图像的外界边框的交叠率，其中，所述训练区域图像由锚箱确定；

在所述训练区域图像中各个锚点对应的交叠率中确定最大的交叠率，以作为所述训练区域图像对应的目标交叠率。

在一实施例中，处理器1001可以调用存储器1003中存储的无人机跟踪程序，还执行以下操作：

确定与所述第二尺寸匹配的第一尺寸对应的区域图像，以作为待确定区域图像；

提取各个所述待确定区域图像的哈尔特征；

将最大数值的哈尔特征对应的待确定区域图像确定为目标区域图像。

在一实施例中，处理器1001可以调用存储器1003中存储的无人机跟踪程序，还执行以下操作：

在检测到无人机的跟踪的目标对象的第二尺寸小于预设尺寸，或者，在检测到所述目标对象丢失时，执行所述将所述图像输入跟踪模型中以获取所述跟踪模型输出的所述图像中的多个区域图像的步骤。

基于上述硬件构建，提出本发明无人机的跟踪方法的各个实施例。

参照图2，本发明第一实施例提供一种无人机的跟踪方法，所述无人机的跟踪方法包括以下步骤：

步骤S10，获取图像采集模块采集的图像，并将所述图像输入跟踪模型以获取所述跟踪模型输出的所述图像中的多个区域图像；

在本实施例中，执行主体为无人机。无人机设有图像采集模块，图像采集模块可为摄像头或者相机。在采用无人机进行跟踪时，用户可向无人机输入需要跟踪的目标对象的特征，例如，目标对象为汽车时，可输入汽车的颜色、型号等。无人机在飞行过程中，通过图像采集模块采集视野内的图像。

无人机设有跟踪模型，无人机将图像输入跟踪模型中，跟踪模型即可对图像进行识别，从而输出图像中的多个区域图像，且各个区域图像的尺寸不同，一个区域图像表示无人机拍摄的场景中的一个区域。跟踪模型可以通过无人机跟踪的平台的图像进行训练，也即通过对平台进行不同角度、不同距离以及不同尺寸的拍照，得到多张图像，再根据多组图像训练模型得到跟踪模型。可以理解的是，跟踪模型可以根据图像采集模块的采集角度、无人机与平台的距离、以及图像的尺寸，输出图像对应的多个区域图像。

步骤S20，确定各个所述区域图像的第一尺寸以及无人机跟踪的目标对象的第二尺寸；

在向跟踪模型输入图像后，跟踪模型输出多个区域图像，且各个区域图像具有对应的尺寸。无人机确定各个区域图像的第一尺寸以及目标对象的第二尺寸。

目标对象的第二尺寸可为一个估算尺寸，例如，第二尺寸可以预设尺寸，小于预设尺寸的区域图像视为小尺寸区域图像。第二尺寸也可为目标对象所在区域图像的第二尺寸，目标对象所在区域图像可由无人机上一帧图像确定，也即无人机在每次根据当前图像确定目标对象所在的目标区域图像时，均会保存目标区域图像的尺寸，以供无人机进行目标对象在下一帧图像中所在区域图像的确定。若上一帧图像中，无人机并未确定目标对象所在的目标区域图像，即可将预设尺寸确定为目标对象的第二尺寸，也即当前采集的图像中，目标对象所在的区域图像为小尺寸区域图像。

若上一帧图像含有对应的目标区域图像时，无人机获取上一帧图像与当前图像对应的间隔时长内高度的变化量，从而根据高度的变化量确定尺寸修正系数，最后根据尺寸修正系数对上一帧图像的目标区域图像进行尺寸的修改，得到目标对象的第二尺寸。在当高度的变化量为正时，无人机的高度上升，尺寸修正值小于1，也即目标区域图像变小；在当高度的变化量为负时，无人机的高度下降，尺寸修正值大于1，也即目标区域图像变大。

步骤S30，根据所述第一尺寸以及所述第二尺寸对各个所述区域图像进行筛选以确定所述目标对象所在的目标区域图像；

无人机在获取各个区域图像的第一尺寸以及目标对象的第二尺寸时，即可根据第一尺寸以及第二尺寸确定目标对象所在的目标区域图像。具体的，请参照图3，也即步骤S30包括：

步骤S31，确定与所述第二尺寸匹配的第一尺寸对应的区域图像，以作为待确定区域图像；

无人机将各个区域图像的第二尺寸一一与第一尺寸进行比对，从而确定与第一尺寸匹配的各个第二尺寸。尺寸包括区域图像的长以及宽，无人机可计算第二尺寸中长与第一尺寸中长的第一差值，以及第二尺寸中宽与第一尺寸中宽的第二差值；若是第一差值在第一预设差值范围内，且第二差值在第二预设差值范围内，第二尺寸匹配第一尺寸。

此外，无人机可确定第一尺寸所在的尺寸区间，将位于该尺寸区间内的各个第二尺寸确定为与第一尺寸匹配的各个第二尺寸。尺寸确定可定义为大尺寸区间、中尺寸区间、以及小尺寸区间。

无人机将与第一尺寸匹配的第二尺寸对应的区域图像作为待确定区域图像。

步骤S32，提取各个所述待确定区域图像的哈尔特征；

步骤S33，将最大数值的哈尔特征对应的待确定区域图像确定为目标区域图像。

无人机提取各个待确定区域图像的哈尔特征(haar-like特征)。各个哈尔特征具有对应的数值，数值最大的哈尔特征对应的待确定区域图像即为目标对象所在的目标区域图像。

步骤S40，根据所述目标区域图像，对所述目标对象进行跟踪。

无人机在确定目标区域图像后，即对目标区域图像进行跟踪，从而实现对目标对象的跟踪。

在本实施例提供的技术方案中，无人机获取图像采集模块采集的图像，并将图像输入跟踪模型以获取跟踪模型输出的图像中的多个区域图像，再确定各个区域图像的第一尺寸以及无人机跟踪的目标对象的第二尺寸，从而根据第一尺寸以及第二尺寸在各个区域图像中确定目标对象所在的目标区域图像，从而对目标区域图像进行跟踪以实现对目标对象的跟随。由于无人机在跟随目标对象时，直接根据采集的图像确定目标对象所在的区域图像，无需人工进行区域图像的框选，避免了手动框选目标对象所在区域图像出现标记误差，无人机的跟踪准确性较高。

参照图4，图4为本发明无人机的跟踪方法第二实施例，基于第一实施例，所述步骤S10之前，还包括：

步骤S50，将数据集中的各张图像样本依次输入训练网络的各个卷积层；

步骤S60，根据所述卷积层输出的结果获取特征层；

步骤S70，根据所述特征层获取所述跟踪模型。

在本实施例中，无人机可对跟踪模型进行训练。具体的，无人机先采集不同角度、不同高度以及不同尺寸的平台对应的图像。各张图像作为样本图像以构成数据集。无人机将数据集中的各张图像样本依次输入训练网络的各个卷积层。在本实施例中，训练网络包括7个卷积层(conv层)，4个激励层(relu层)以及4个池化层(pooling层)。其中，激励层激励函数，不改变图像的大小。池化层：kernel_size＝2,stride＝2；pooling层会让输出图像是输入图像的1/2，且经过Conv层，图片大小变成(M/16)*(N/16)，即：60*40(1000/16≈60,600/16≈40)，也即卷集成输出的特征层为多个，且各个特征层对应的图像尺寸阈值，特征层为二维图像，也即为Feature Map，特征层的尺寸分别为500*300*512，250*150*512，60*40*512。参照图5，图5为训练网络的结构图。

图像样本依次输入conv1-conv7，并获取conv3、conv5以及conv7三层输出的特征层。也即一个图像样本输出三个不同图像尺寸的特征层。conv3层输出的特征层为低层特征层，conv5层输出的特征层为中间层特征层，conv7层输出的特征层为高层特征层。底层特征层可对应小尺寸区域图像，中层特征层对应中尺寸区域图像，而高层特征层对应大尺寸区域图像。

在获取多个特征层后，对特征层进行训练区域图像的提取。具体的，训练网络还包括RPN网络，RPN网络主要对特征层做进一步的判断，判断feature map上的像素点对应于原图上的区域图像是否是目标区域图像。基于3个feature map的每个像素点进行锚箱(anchor box)的获取，每个像素点对应图像样本9个anchor box的坐标信息，该方式可以避免下采样时造成的最深层的feature map与该feature map对应的图像样本发生位置偏移，同时也可以很好将feature map的训练区域图像对应到图像样本的区域图像。

图像样本经过Conv3层后输出的特征层中低层特征的图片大小变成了图像样本的1/16，在该特征层像生成锚点(Anchors)时，先定义一个基础锚点(base_anchor)，大小为16*16的box。因60*40的特征层上的一个点，可以对应到1000*600的图像样本原图上一个16*16大小的区域图像，该16*16大小的区域图像对应参数ratios＝[0.5,1,2]scales＝[0.5,1,2]，通过参数运算后即可获取图像样本上的区域图像，ratio和scales决定了图像样本上要匹配的区域图像大小，运行得到的区域图像即为训练区域图像。优选地，本实施例中采用的scale可为[0.3,0.5,0.7,1.0,2.0]，ratios可为[0.5,1,2]，此种设置方式能很好地涵盖场景中的区域图像，也即能够将无人机拍摄的平台上的所有区域图像涵盖。

在得到训练区域图像后，对各个训练区域图像进行分类以及回归，分类的方式按照尺寸进行分类。也即在属于同一尺寸区间的训练区域图像归为一类。无人机再将分类后的训练区域图像输入至预设模型中，以对预设模型进行训练。在当预设模型的损失函数小于预设阈值时，即停止对预设模型的训练，再将停止训练的预设模型保存为跟踪模型。损失函数小于预设阈值，即可表征预设模型的损失函数不再下降。

跟踪模型可以通过无人机进行训练，也可通过特定的训练装置进行训练。训练装置训练预设模型的流程与无人机训练预设模型的流程一致，在此不再一一赘述。训练装置在得到跟踪模型后，将跟踪模型下发至无人机中，使得无人机保存该跟踪模型。

在本实施例提供的技术方案中，无人机将数据集中的各种图像依次输入训练网络的各个卷积层以获取卷积层输出的多张二维图像，并在各张二维图像中提取训练区域图像，且按照训练区域图像的尺寸进行分类，从而将分类的训练区域图像输入预设模型以对预设模型进行训练，从而得到训练完毕的跟踪模型，使得无人机能够根据跟踪模型准确的识别目标对象所在的目标区域图像。

参照图6，图6为图4中步骤S70的细化流程示意图，所述步骤S70包括：

步骤S71，获取所述特征层中每个训练区域图像对应的标注区域图像，并确定每个所述训练区域图像与所述训练区域图像对应的标注区域图像的目标交叠率；

步骤S72，将目标交叠率大于第一预设阈值的所述训练区域图像标记为正样本，且将目标交叠率小于第二预设阈值的所述训练区域图像标记为负样本，所述第二预设阈值小于所述第一预设阈值；

步骤S73，根据分类后的被标记为正样本的训练区域图像、分类后的被标记为负样本的训练区域图像、损失函数训练获得跟踪模型。

在本实施例中，每一个训练区域图像具有对应的标注区域图像，标注区域图像即为人工标注区域图像。具体的，可对图像样本的各个区域图像进行人工标注，也即图像样本包括多个标注区域图像，而训练区域图像在图像样本上具有对应的区域图像，该区域图像即为训练区域图像对应的标注区域图像。

无人机计算训练区域图像与标注区域图像对应的目标交叠率。具体的，训练区域图像可用锚箱进行表征，而锚箱包括多个锚点，锚点用于表示当前训练区域图像中包含的物体或者训练区域图像的背景，也即锚点其实是一个小型的区域图像。无人机计算锚点与标注区域图像的边框之间的交叠率，交叠率实则为锚点与边框的重叠部分的面积与锚点的面积之比。一个训练区域图像即有多个交叠率，将最大的交叠率作为目标交叠率。无人机再将训练区域图像的目标交叠率与第一预设阈值以及第二预设阈值进行比对，第一预设阈值大于第二预设阈值，第一预设阈值以及第二预设阈值可为任意合适的数值，例如，第一预设阈值可为0.7，第二预设阈值可为0.3。无人机将大于第一预设阈值的目标交叠率对应的训练区域图像标记为正样本，将小于第二预设阈值的目标交叠率对应的训练区域图像标记为负样本。而在第一预设阈值以及第二预设阈值之间目标交叠率对应的训练区域图像舍弃，不用于模型的训练。

无人机再将分类后的被标记为正样本的训练区域图像以及分类后的被标志为负样本的训练区域图像输入设置有损失函数的预设模型，以对预设模型进行训练。

在本实施例提供的技术方案中，无人机对训练区域图像进行正样本以及负样本的标记，从而对预设模型进行正负样本的训练区域图像的训练，使得训练得到的跟踪模型能够准确的识别目标对象所在的目标区域图像。

在一实施例中，训练网络中的基础网络可为SSD网络。图像样本输入SSD网络中，从卷积层输出的结果获取一个特征层，该特征层为低层特征层。从而根据该低层特征层对预设模型进行训练得到跟踪模型。以下对SSD网络获取低层特征层的获取进行详细的说明。

具体请参照图7。卷积层3、4、5、6、7、8、9、10均为预设卷积层，预设卷积层输出的特征层即为待处理特征层。针对conv3_3(4)，conv4_3(4)，fc7(6)，conv6_2(6)，conv7_2(6)，conv8_2(4)，conv9_2(4)，其中，conv4_3(4)中conv4表示SSD网络的第四层卷积层、_3表示默认框的类别、以及(4)表示第三类默认框的数量为4个。

由于从con4_3层就开始进行prior box的提取,所以prior box的个数为75*75*4+38*38*4+19*19*6+10*10*6+5*5*6+3*3*4+1*1*4＝31232。每一个prior box再分别采用两个3*3大小的卷积核进行卷积，且两个卷积核是并列的。故，两个3*3的卷积核一个是用来做回归的，如果prior box是6个，那么就有6*4＝24个这样的卷积核，卷积后得到中间二维图像的尺寸大小和卷积前的待处理二维图像的尺寸带大小一样。另一个3*3的卷积核是用来做分类的，如果prior box是6个，VOC的object类别有20个，那么就有6*(20+1)＝126个这样的卷积核。

一个卷积核对待处理特征层进行卷积得到一张中间特征层，因此，一个预设卷层输出多个中间特征层，再对多个特征层进行合并，该合并的方式是通道合并而不是数值相同，预设卷积层最终输出一张合并的特征层，再将各个预设卷积层输出的合并的特征层再次进行合并，最终得到含有小尺寸训练区域图像的低层特征层。

当然，也可通过SSD网络获取中层特征层以及高层特征层，中层特征层以及高层特征层直接由卷积层输出。再通过低层特征层、中层特征层以及高层特征层对预设模型进行训练得到跟踪模型。

在本实施例提供的技术方案中，无人机采用SSD网络作为训练网络的基础网络，使得基础网络的预设卷积层输出待处理特征层，再对各个待处理特征层进行卷积参数得到中间特征层，继续对各个中间特征层进行合并，从而得到含有小尺寸训练区域图像的低层特征层，进而能够为模型提供准确的小尺寸训练区域图像，也即使得跟踪模型能够识别出图像中小尺寸区域图像，提高了无人机对小尺寸区域图像的识别准确性。

参照图8，图8为本发明无人机的跟踪方法的第三实施例，基于第一或第二实施例，所述步骤S10包括：

步骤S11，获取图像采集模块采集的图像，在检测到无人机的跟踪的目标对象的第二尺寸小于预设尺寸，或者，在检测到所述目标对象丢失时，将所述图像输入跟踪模型中以获取所述跟踪模型输出的所述图像中的多个区域图像。

在本实施例中，无人机在跟踪目标对象时，一般是根据目标对象的移动调整调整目标区域图像，从而实现对目标对象的跟踪。而在当目标对象消失或者目标对象的第二尺寸小于预设尺寸时，无人机会丢失目标对象，无法对目标对象进行跟踪。故，在当目标对象消失或者目标对象的第二尺寸小于预设尺寸时，无人机进入全图搜索模式，以将采集的图像输入跟踪模型中，以重新识别模板对象所在的目标区域图像。

由于跟踪模型通过小尺寸训练区域图像的训练，使得跟踪模型能够识别出图像中的小尺寸区域图像，小尺寸区域图像的尺寸小于预设尺寸，从而在小尺寸区域图像中确定目标对象所在的目标区域图像。

在本实施例提供的技术方案中，在检测到无人机跟踪的目标对象的第二尺寸小于预设尺寸，或者目标对象丢失时，无人机再重新识别目标对象所在的目标区域图像，避免无人机实时根据跟踪模型对目标区域图像进行识别，也即避免无人机浪费计算资源。

为实现上述目的，本发明还提供一种无人机，所述无人机包括跟踪模型、图像采集模块、处理器、存储器以及存储在所述存储器并可在所述处理器上运行的无人机跟踪程序，所述无人机跟踪模型以及所述图像采集模块与所述处理器连接，所述无人机跟踪程序被处理器执行时实现如上实施例所述的无人机的跟踪方法的各个步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有无人机的跟踪程序，所述无人机的跟踪程序被处理器执行时实现如上实施例所述的无人机的跟踪方法的各个步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种无人机的跟踪方法，其特征在于，无人机包括图像采集模块，所述无人机的跟踪方法包括以下步骤：

获取图像采集模块采集的图像，并将所述图像输入跟踪模型以获取所述跟踪模型输出的所述图像中的多个区域图像；

确定各个所述区域图像的第一尺寸以及无人机跟踪的目标对象的第二尺寸；

根据所述第一尺寸以及所述第二尺寸对各个所述区域图像进行筛选以确定所述目标对象所在的目标区域图像；

根据所述目标区域图像，对所述目标对象进行跟踪。

2.如权利要求1所述的无人机的跟踪方法，其特征在于，所述跟踪模型通过图像中不同尺寸的区域图像训练得到，所述跟踪模型包括训练网络，所述训练网络包括多个卷积层，所述跟踪模型的训练包括以下步骤：

将数据集中的各张图像样本依次输入训练网络的各个卷积层；

根据所述卷积层输出的结果获取特征层；

根据所述特征层获取所述跟踪模型。

3.如权利要求2所述的无人机的跟踪方法，其特征在于，所述根据卷积层的输出结果获取特征层的步骤包括：

根据卷积层的输出结果获取一个特征层。

4.如权利要求2所述的无人机的跟踪方法，其特征在于，所述根据卷积层的输出结果获取特征层的步骤包括：

根据卷积层的输出结果获取多个特征层，其中，多个所述特征层对应不同的图像尺寸阈值。

5.如权利要求2所述的无人机的跟踪方法，其特征在于，所述根据所述特征层获取所述跟踪模型包括：

获取所述特征层中每个训练区域图像对应的标注区域图像，并确定每个所述训练区域图像与所述训练区域图像对应的标注区域图像的目标交叠率；

将目标交叠率大于第一预设阈值的所述训练区域图像标记为正样本，且将目标交叠率小于第二预设阈值的所述训练区域图像标记为负样本，所述第二预设阈值小于所述第一预设阈值；

根据分类后的被标记为正样本的训练区域图像、分类后的被标记为负样本的训练区域图像、损失函数训练获得跟踪模型。

6.如权利要求5所述的无人机的跟踪方法，其特征在于，所述确定每个所述训练区域图像与所述训练区域图像对应标注区域图像的目标交叠率的步骤包括：

确定每个所述训练区域图像中各个锚点与所述训练区域图像对应的标注区域图像的外界边框的交叠率，其中，所述训练区域图像由锚箱确定；

在所述训练区域图像中各个锚点对应的交叠率中确定最大的交叠率，以作为所述训练区域图像对应的目标交叠率。

7.如权利要求1所述的无人机的跟踪方法，其特征在于，所述根据所述第一尺寸以及所述第二尺寸，对各个所述区域图像进行筛选以确定所述目标对象所在的目标区域图像的步骤包括：

确定与所述第二尺寸匹配的第一尺寸对应的区域图像，以作为待确定区域图像；

提取各个所述待确定区域图像的哈尔特征；

将最大数值的哈尔特征对应的待确定区域图像确定为目标区域图像。

8.如权利要求1-7任一项所述的无人机的跟踪方法，其特征在于，所述获取图像采集模块采集的图像的步骤之后，还包括：

在检测到无人机的跟踪的目标对象的第二尺寸小于预设尺寸，或者，在检测到所述目标对象丢失时，执行所述将所述图像输入跟踪模型中以获取所述跟踪模型输出的所述图像中的多个区域图像的步骤。

9.一种无人机，其特征在于，所述无人机包括跟踪模型、图像采集模块、处理器、存储器以及存储在所述存储器并可在所述处理器上运行的无人机跟踪程序，所述无人机跟踪模型以及所述图像采集模块与所述处理器连接，所述无人机跟踪程序被处理器执行时实现如权利要求1-8任一项所述的无人机的跟踪方法的各个步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有无人机的跟踪程序，所述无人机的跟踪程序被处理器执行时实现如权利要求1-8任一项所述的无人机的跟踪方法的各个步骤。

Images