CN115984332A - 一种无人机跟踪方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种无人机跟踪方法、装置、电子设备及存储介质，该方法包括：在获得搜索图像和模板图像之后，以搜索图像和模板图像作为目标深度神经网络跟踪模型的输入图像，通过目标深度神经网络跟踪模型，在搜索图像中定位模板图像，以对目标对象进行跟踪，由于使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩，无需引入额外约束，模型压缩过程简单高效，可显著降低模型压缩过程的复杂度，压缩后获得的目标深度神经网络跟踪模型在计算能力、内存或能源消耗等方面的成本较低，对硬件资源的负担较轻，可适用于无人机跟踪过程中，提高了无人机跟踪过程的准确性和高效性，使得无人机能够更好地完成实时跟踪任务。

Description

一种无人机跟踪方法、装置、电子设备及存储介质

技术领域

本申请涉及无人机技术领域，具体涉及一种无人机跟踪方法。本申请同时涉及无人机跟踪装置、电子设备及计算机可读取存储介质。

背景技术

无人机因其小巧灵活、智能自主等特点被广泛应用于民用和军事等领域中，在电力线路检测、大气环境检测、抢险救灾、侦察敌情、敌方目标跟踪、搜索战场情报等无人机的诸多任务类型中，搜索侦察过程中的目标跟踪任务是重要任务之一。由于无人机视觉目标跟踪场景的复杂性和运动目标的多变性，如何提高无人机跟踪过程的准确性和高效性，构建更精准、更高效的通用跟踪器，并将其应用于机载无人机来完成实时跟踪任务，是需要解决的问题。

发明内容

本发明提供一种无人机跟踪方法、无人机跟踪装置、电子设备以及计算机可读取存储介质，以提高无人机跟踪过程的准确性和高效性，使无人机能够完成实时跟踪任务。

为了解决或部分解决上述技术问题，根据本发明的一方面，提供一种无人机跟踪方法，该方法应用于无人机，包括：

获得搜索图像和模板图像，其中，所述搜索图像为所述无人机摄取的用于跟踪目标对象的当前图像，所述模板图像为所述目标对象的图像；

以所述搜索图像和所述模板图像作为目标深度神经网络跟踪模型的输入图像，通过所述目标深度神经网络跟踪模型，在所述搜索图像中定位所述模板图像，以对所述目标对象进行跟踪，其中，所述目标深度网络跟踪模型通过使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩后获得。

在一种实施方式中，所述使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩，包括：

将图像样本输入深度神经网络跟踪模型的当前卷积层，获得深度神经网络跟踪模型的当前卷积层的各滤波器的输出特征图的秩的平均值；

基于所述各滤波器的输出特征图的秩的平均值，确定所述各滤波器的重要性等级；

基于所述各滤波器的重要性等级进行滤波器剪枝；

将未被剪枝的滤波器作为初始参数进行模型微调，获得所述目标深度神经网络跟踪模型。

在一种实施方式中，所述基于所述各滤波器的输出特征图的秩的平均值，确定所述各滤波器的重要性等级，包括：

基于预设的剪枝阈值对所述各滤波器的输出特征图的秩的平均值进行奇异值分解，获得高秩平均值的输出特征图和低秩平均值的输出特征图，所述高秩平均值大于所述剪枝阈值，所述低秩平均值小于所述剪枝阈值；

将所述高秩平均值的输出特征图所对应的滤波器确定为高重要性等级的滤波器，将所述低秩平均值的输出特征图所对应的滤波器确定为低重要性等级的滤波器；

所述基于所述各滤波器的重要性等级进行滤波器剪枝，包括：

将所述低重要性等级的滤波器进行剪枝处理。

在一种实施方式中，所述深度神经网络跟踪模型为Siam FC++模型；

对应的，所述目标深度网络跟踪模型通过使用基于输出特征图的秩的滤波器剪枝方式对Siam FC++模型进行模型压缩后获得。

在一种实施方式中，所述通过所述目标深度神经网络跟踪模型，在所述搜索图像中定位所述模板图像，包括：

使用相同的特征提取网络对所述搜索图像和所述模板图像进行特征提取，获得搜索特征图和模板特征图；

对所述搜索特征图和所述模板特征图进行互相关运算，获得耦合特征；

将所述耦合特征分别作为分类任务网络和回归任务网络的输入特征，并基于所述分类任务网络和回归任务网络的输出结果，在所述搜索图像中定位所述模板图像。

在一种实施方式中，所述基于所述分类任务网络和回归任务网络的输出结果，在所述搜索图像中定位所述模板图像，包括：

基于分类任务网络对所述耦合特征进行分类运算，并基于置信度分支网络进行分类质量评估，获得位置分类分数；

基于回归任务网络对所述耦合特征进行回归运算，获得位置回归分数；

基于所述位置分类分数和所述位置回归分数对边界框进行选择。

在一种实施方式中，所述将所述耦合特征分别作为分类任务网络和回归任务网络的输入特征，包括：

将所述耦合特征分别调整到所述分类任务网络的特征空间以及所述回归任务网络的特征空间。

根据本发明的另一方面，提供一种无人机跟踪装置，该装置应用于无人机，所述装置包括：

图像获得单元，用于获得搜索图像和模板图像，其中，所述搜索图像为所述无人机摄取的用于跟踪目标对象的当前图像，所述模板图像为所述目标对象的图像；

目标对象跟踪单元，用于以所述搜索图像和所述模板图像作为目标深度神经网络跟踪模型的输入图像，通过所述目标深度神经网络跟踪模型，在所述搜索图像中定位所述模板图像，以对所述目标对象进行跟踪，其中，所述目标深度网络跟踪模型通过使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩后获得。

根据本发明的另一方面，还提供一种电子设备，包括处理器和存储器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述方法。

根据本发明的另一方面，还提供一种计算机可读存储介质，其上存储有一条或多条计算机指令，该指令被处理器执行以实现上述方法。

与现有技术相比，本发明具有以下优点：

本发明提供的无人机跟踪方法包括：获得搜索图像和模板图像，其中，搜索图像为无人机摄取的用于跟踪目标对象的当前图像，模板图像为目标对象的图像；以搜索图像和模板图像作为目标深度神经网络跟踪模型的输入图像，通过目标深度神经网络跟踪模型，在搜索图像中定位模板图像，以对目标对象进行跟踪，目标深度网络跟踪模型通过使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩后获得。由于使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩，无需引入额外约束，使得模型压缩过程简单高效，可显著降低模型压缩过程的复杂度，压缩后获得的目标深度神经网络跟踪模型在计算能力、内存或能源消耗等方面的成本较低，对硬件资源的负担较轻，可适用于无人机跟踪过程中，有效提升无人机跟踪效率和跟踪精确度，在无人机跟踪效率和跟踪精确度之间实现了平衡，使得无人机能够完成实时跟踪任务。

附图说明

图1是本申请一实施例提供的无人机跟踪方法的流程图；

图2是本申请一实施例提供的无人机跟踪装置的单元框图；

图3是本申请一实施例提供的电子设备的逻辑结构示意图。

实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

基于视觉的无人机目标跟踪已成为重要的跟踪形式。具体地，视觉目标跟踪是指在给定某视频初始帧中感兴趣区域(如人、车辆等)的情况下，对视频中的运动目标进行特征提取，根据提取到的目标特征来预测未来时间帧中运动目标的位置和大小，从而完成对目标的追踪任务。其中，基于相关滤波的目标跟踪算法为在线学习算法，能够及时对模型进行更新，以此适应目标的变化，且该类算法将求解运算转换到频率域进行，显著地降低了计算复杂度，提高了目标跟踪实时性，能够保证无人机跟踪模型及时进行训练和在线更新，提取目标有效特征，同时，能够使无人机在单个CPU上实现实时跟踪功能。然而，基于相关滤波的目标跟踪算法很难有效处理快速尺度变化、运动物体遮挡、低分辨率、小目标等跟踪问题，当目标经历旋转引起快速尺度变化时，算法无法及时适应外观变化，从而做出错误的尺度估计；当运动目标被完全遮挡，再次出现在跟踪搜索区域之外时，算法很难准确预测目标的位置，最终导致跟踪失败；低分辨率和小目标的物体会导致训练样本不足，降低滤波器将目标从背景中区分出来的能力，从而容易导致跟踪失败。

相比于相关滤波跟踪算法，深度神经网络能够学习丰富的表示形式，并从中提取复杂和抽象的特征，以获得更高的跟踪准确度，但由于深度网络模型的训练需要大量的数据支撑且会消耗大量内存资源，很难在单CPU或计算资源受限的环境（例如无人机）中使用，限制了深度神经网络在无人机的实时目标跟踪任务中的应用。

针对无人机跟踪场景，为了有效提升无人机跟踪效率和跟踪精确度，使得无人机能够更好地完成实时跟踪任务，本申请提供了一种无人机跟踪方法、与该方法相对应的无人机跟踪装置、电子设备及计算机可读取存储介质。以下提供实施例对上述方法、装置、电子设备以及计算机可读取存储介质进行详细说明。

本申请第一实施例提供一种无人机跟踪方法，该方法的应用主体可以为用于进行无人机跟踪的计算设备应用，该计算设备应用可运行于无人机跟踪系统。图1为本申请第一实施例提供的无人机跟踪方法的流程图，以下结合图1对本实施例提供的方法进行详细描述。以下描述所涉及的实施例是用来解释说明方法原理，不是实际使用的限定。

如图1所示，本实施例提供的无人机跟踪方法包括如下步骤：

S101，获得搜索图像和模板图像。

本步骤用于获得搜索图像和模板图像，其中，搜索图像为无人机摄取的用于跟踪目标对象的当前图像，例如，无人机对某一搜索区域所摄取的图像，目标对象即为无人机要跟踪的对象，例如人、车辆等移动对象，模板图像为目标对象的图像，后续对目标对象进行跟踪的过程即为在搜索图像中找到目标对象的位置。

S102，以搜索图像和模板图像作为目标深度神经网络跟踪模型的输入图像，通过目标深度神经网络跟踪模型，在搜索图像中定位模板图像，以对目标对象进行跟踪。

在上述步骤获得搜索图像之后，本步骤用于将搜索图像和模板图像输入目标深度神经网络跟踪模型，以在搜索图像中定位模板图像，实现对目标对象的跟踪，其中，目标深度网络跟踪模型通过使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩后获得。即，由于深度神经网络在计算能力、内存或能源消耗等方面的成本较高，对硬件资源的负担较重，因此，通过对深度神经网络进行剪枝，移除网络中性能良好但需要大量资源的多余部分，可在保持其性能的同时降低其成本，其中，结构化剪枝(filter pruning)根据滤波器（filter）的重要性对滤波器进行裁剪，减去不重要的滤波器，可使得中间表示中的特征图更少，即，由于深度神经网络包括多个卷积层，每个卷积层由多个滤波器组成，每个滤波器输出一个特征图，在每个滤波器中，一个内核专用于每个输入通道，因此，修剪滤波器时允许使用可利用但足够精细的粒度，移除重要性等级较低的滤波器结构不仅会导致稀疏层可以直接实例化为更薄的层，而且还会消除作为该类滤波器输出的特征图。由于剪枝后模型参数较少，因此，剪枝后的深度神经网络不仅易于存储，而且其需要更少的计算、并生成更轻的中间表示，因此在运行时需要更少的内存。

深度神经网络中每个卷积层生成的特征图中所包含信息量的大小可以使用特征图的秩作为评判标准，具有低秩（low-rank）属性的特征图信息含量较少，而具有高秩（high-rank）属性的特征图信息含量较多，具有低秩属性的特征图对应的滤波器具有较少的信息，具有高秩属性的特征图对应的滤波器具有更多的信息，因此特征图的秩的大小与滤波器的重要性相对应，并且，特征图作为中间变量，同时反映滤波器的属性和输入图像的信息，即使在同一卷积层内，单个特征图在网络中也扮演不同角色，并且特征图演示了输入图像在每一卷积层中的转换过程，最后转换为预测的标签。并且，由于滤波器输出的特征图的秩的期望对输入图像具有鲁棒性，即，由单个滤波器生成的多个特征图的秩的平均值是相同的，其不会随着网络参数的改变而改变，也不会随着输入图像的不同而改变，因此，秩的平均值可作为可靠的衡量特征图信息丰富度的指标。基于此，在本实施例中，根据深度神经网络跟踪模型各卷积层中滤波器（filter）所产生的特征图的秩的平均值的大小衡量滤波器的重要性，从而决定裁剪掉哪些滤波器，上述使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩，具体是指：

首先，将图像样本输入深度神经网络跟踪模型的当前卷积层，获得当前卷积层的各滤波器的输出特征图的秩的平均值；

其次，由于滤波器对输入数据分布不敏感，单个滤波器生成的特征图的秩的均值不会随着网络参数的改变而改变，也不会随着输入图像的不同而改变，因此，基于各滤波器的输出特征图的秩的平均值，确定各滤波器的重要性等级；例如，基于预设的剪枝阈值对所述各滤波器的输出特征图的秩的平均值进行奇异值分解(Singular ValueDecomposition，SVD），获得高秩平均值的输出特征图和低秩平均值的输出特征图，高秩平均值大于剪枝阈值，低秩平均值小于剪枝阈值，将高秩平均值的输出特征图所对应的滤波器确定为高重要性等级的滤波器，将低秩平均值的输出特征图所对应的滤波器确定为低重要性等级的滤波器；

然后，基于各滤波器的重要性等级进行滤波器剪枝，具体的，将低重要性等级的滤波器进行剪枝处理；由于单个滤波器所生成的特征图的秩（rank）的平均值总是相同的，因此，只使用输入图像的一小部分即可准确估计深度神经网络中特征图的秩，从而达到模型高效运行、以提升无人机跟踪过程的实时性的目的；并且，特征图的秩的平均值越低，则该特征图对无人机跟踪精确度的贡献越小，因此，可认为生成该类型特征图的滤波器的重要性越低，因此可以删除生成该类型特征图的滤波器；

最后，将未被剪枝的滤波器作为初始参数进行模型微调，用于恢复精度。

在本实施例中，用一组3D滤波器表示SiamFC++模型的第 i（ i∈[1，K]）个卷积层 C ⁱ ，其中 n _i 表示 C ⁱ 中的滤波器数量， k _i 表示内核大小，第 j个滤波器是，滤波器的输出特征图由表示，其中由生成， g是输入图像的数量， h _i 和分别表示特征图的高度和宽度，上述使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩的过程被公式化为以下优化问题：

其中 I表示遵循 P（I）采样分布的输入图像，表示中要修剪的滤波器的数量。指示函数表示滤波器的重要性，并基于该重要性确定滤波器是否被修剪，当滤波器重要性等级较高时，则，表征滤波器不被修剪，当滤波器重要性等级较低时，,表征滤波器被修剪。表征输入图像 I的秩，用于计算特征图的等级，由单个滤波器生成的特征图的秩的期望对输入图像是鲁棒的，在此基础上，上述表达式可以近似表示为：

通过上述过程对深度神经网络跟踪模型进行逐层压缩，对每一卷积层输入少量图像样本计算输出特征图的秩并排序，根据奇异值分解可知，具有低秩属性的特征图，其信息含量较少，而具有高秩属性的特征图，其信息含量较多，因此秩越小的特征图的重要性越低，对每一卷积层按一定比例剪去平均秩小的特征图对应的滤波器，之后以剩余的滤波器的参数为初始值进行微调，得到剪枝后的目标深度神经网络跟踪模型。

需要说明的是，在目标对象跟踪领域，现有技术为了解决深度神经网络在目标对象跟踪过程中的数据缺乏和实时性差的问题，以在跟踪精度、跟踪实时性以及鲁棒性上获得更好的效果，引入了基于Siamese的神经网络算法，该算法在跟踪性能和效率之间达到了很好的平衡，其中，全卷积孪生网络(Fully-Convolutional Siamese network，SiamFC)算法利用全卷积孪生网络对跟踪数据进行端到端训练，其结构简单、实时性强。在本实施例中，为了进一步提升无人机对目标对象的跟踪精确度和跟踪效率，采用改进全卷积孪生网络(Fully Convolutional Siamese tracker for Object Tracking，SiamFC++)作为深度神经网络跟踪模型，并基于输出特征图的秩的滤波器剪枝方式对该SiamFC++网络进行模型压缩，获得适用于无人机的目标深度神经网络跟踪模型。SiamFC++框架由一个用于特征提取的Siamese子网络和一个用于分类和回归的区域建议子网络组成，以在更大的搜索图像中定位模板图像，其在SiamFC框架基础上结合当前跟踪算法的不足，做了如下的改进：同时引入分类分支和目标状态估计分支，能够准确地从背景和干扰物中区分出目标对象；引入无歧义的分类得分，来代表目标对象存在区域的置信度，以减少跟踪失败的情况；由于当前跟踪算法依赖于数据分布的先验知识，进而影响了跟踪器的泛化能力，因此SiamFC++网络不再考虑先验知识的学习；引入了独立于分类分支的评估质量分数分支，共同对边界框进行选择，以进一步提高跟踪精确度。

与之对应的，上述通过目标深度神经网络跟踪模型，在搜索图像中定位模板图像，其实质为在使用基于输出特征图的秩的滤波器剪枝方式对SiamFC++网络进行模型压缩后，通过该压缩后模型在搜索图像中定位模板图像的过程，该过程具体可以为：

使用相同的特征提取网络对搜索图像和模板图像进行特征提取，获得搜索特征图和模板特征图；例如，使用Siamese骨干网络在模板分支和搜索分支之间共享参数，对输入的搜索图像和模板图像执行相同的变换，得到搜索特征图和模板特征图；

对搜索特征图和模板特征图进行互相关运算，获得耦合特征，在本实施例中，耦合特征定义如下：

其中，Z为模板图像，X为搜索图像，ϕ（.）表示共同特征提取的Siamese骨干网络，⋆表示互相关运算，表示任务特定层（“cls”用于分类，“reg”用于回归）， Ψ _cls 和 Ψ _reg 的输出特征大小相同。

将耦合特征分别作为分类任务网络和回归任务网络的输入特征，并基于分类任务网络和回归任务网络的输出结果，在搜索图像中定位模板图像。具体的，将耦合特征分别调整到分类任务网络的特征空间以及回归任务网络的特征空间，然后基于模型压缩后的SiamFC++模型的分类任务网络对耦合特征进行分类运算，并基于模型压缩后的Siam FC++模型的置信度分支网络进行分类质量评估，获得位置分类分数；基于模型压缩后的Siam FC++模型的回归任务网络对耦合特征进行回归运算，获得位置回归分数；基于位置分类分数和位置回归分数对边界框进行选择。即，在本实施例中，无人机跟踪问题被视为分类任务和评估任务的组合，分类任务是通过分类提供目标对象的粗略位置，评估任务是估计一个准确的目标状态，该目标状态通常用边界框表示，该边界框基于上述分类任务网络、置信度分支网络以及回归任务网络进行共同选择，可有效提升无人机跟踪精确度。

本实施例提供的无人机跟踪方法，在获得搜索图像和模板图像（搜索图像为无人机摄取的用于跟踪目标对象的当前图像，模板图像为目标对象的图像）之后，以搜索图像和模板图像作为目标深度神经网络跟踪模型的输入图像，通过目标深度神经网络跟踪模型，在搜索图像中定位模板图像，以对目标对象进行跟踪，目标深度网络跟踪模型通过使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩后获得，由于使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩，无需引入额外约束，模型压缩过程简单高效，可显著降低模型压缩过程的复杂度，压缩后获得的目标深度神经网络跟踪模型在计算能力、内存或能源消耗等方面的成本较低，对硬件资源的负担较轻，可适用于无人机跟踪过程中，提高了无人机跟踪过程的准确性和高效性，在无人机跟踪效率和跟踪精确度之间实现了平衡，使得无人机能够更好地完成实时跟踪任务。

上述实施例提供了一种无人机跟踪方法，与之相对应的，本申请另一实施例还提供了一种无人机跟踪装置，该装置应用于无人机，用于无人机对目标对象的跟踪，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。

请参考图2理解该实施例，图2为本实施例提供的无人机跟踪装置的单元框图，如图2所示，本实施例提供的无人机跟踪装置包括：

图像获得单元201，用于获得搜索图像和模板图像，其中，所述搜索图像为所述无人机摄取的用于跟踪目标对象的当前图像，所述模板图像为所述目标对象的图像；

目标对象跟踪单元202，用于以所述搜索图像和所述模板图像作为目标深度神经网络跟踪模型的输入图像，通过所述目标深度神经网络跟踪模型，在所述搜索图像中定位所述模板图像，以对所述目标对象进行跟踪，其中，所述目标深度网络跟踪模型通过使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩后获得。

在一种实施方式中，所述使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩，包括：

将图像样本输入深度神经网络跟踪模型的当前卷积层，获得深度神经网络跟踪模型的当前卷积层的各滤波器的输出特征图的秩的平均值；

基于所述各滤波器的输出特征图的秩的平均值，确定所述各滤波器的重要性等级；

基于所述各滤波器的重要性等级进行滤波器剪枝；

将未被剪枝的滤波器作为初始参数进行模型微调，获得所述目标深度神经网络跟踪模型。

在一种实施方式中，所述基于所述各滤波器的输出特征图的秩的平均值，确定所述各滤波器的重要性等级，包括：

基于预设的剪枝阈值对所述各滤波器的输出特征图的秩的平均值进行奇异值分解，获得高秩平均值的输出特征图和低秩平均值的输出特征图，所述高秩平均值大于所述剪枝阈值，所述低秩平均值小于所述剪枝阈值；

将所述高秩平均值的输出特征图所对应的滤波器确定为高重要性等级的滤波器，将所述低秩平均值的输出特征图所对应的滤波器确定为低重要性等级的滤波器；

所述基于所述各滤波器的重要性等级进行滤波器剪枝，包括：

将所述低重要性等级的滤波器进行剪枝处理。

在一种实施方式中，所述深度神经网络跟踪模型为Siam FC++模型；

对应的，所述目标深度网络跟踪模型通过使用基于输出特征图的秩的滤波器剪枝方式对Siam FC++模型进行模型压缩后获得。

在一种实施方式中，所述通过所述目标深度神经网络跟踪模型，在所述搜索图像中定位所述模板图像，包括：

使用相同的特征提取网络对所述搜索图像和所述模板图像进行特征提取，获得搜索特征图和模板特征图；

对所述搜索特征图和所述模板特征图进行互相关运算，获得耦合特征；

将所述耦合特征分别作为分类任务网络和回归任务网络的输入特征，并基于所述分类任务网络和回归任务网络的输出结果，在所述搜索图像中定位所述模板图像。

在一种实施方式中，所述基于所述分类任务网络和回归任务网络的输出结果，在所述搜索图像中定位所述模板图像，包括：

基于分类任务网络对所述耦合特征进行分类运算，并基于置信度分支网络进行分类质量评估，获得位置分类分数；

基于回归任务网络对所述耦合特征进行回归运算，获得位置回归分数；

基于所述位置分类分数和所述位置回归分数对边界框进行选择。

在一种实施方式中，所述将所述耦合特征分别作为分类任务网络和回归任务网络的输入特征，包括：

将所述耦合特征分别调整到所述分类任务网络的特征空间以及所述回归任务网络的特征空间。

该无人机跟踪装置由于使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩，无需引入额外约束，模型压缩过程简单高效，可显著降低模型压缩过程的复杂度，压缩后获得的目标深度神经网络跟踪模型在计算能力、内存或能源消耗等方面的成本较低，对硬件资源的负担较轻，可适用于无人机跟踪过程中，提高了无人机跟踪过程的准确性和高效性，在无人机跟踪效率和跟踪精确度之间实现了平衡，使得无人机能够更好地完成实时跟踪任务。

在上述的实施例中，提供了一种无人机跟踪方法以及一种无人机跟踪装置，此外，本申请另一实施例还提供一种电子设备，由于电子设备实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对电子设备实施例的描述仅仅是示意性的。该电子设备实施例如下：

请参考图3理解本实施例，图3为本实施例提供的电子设备的示意图。

如图3所示，本实施例提供的电子设备包括：处理器301和存储器302；

该存储器302用于存储数据处理的计算机指令，该计算机指令在被处理器301读取执行时，执行如下操作：

获得搜索图像和模板图像，其中，所述搜索图像为所述无人机摄取的用于跟踪目标对象的当前图像，所述模板图像为所述目标对象的图像；

以所述搜索图像和所述模板图像作为目标深度神经网络跟踪模型的输入图像，通过所述目标深度神经网络跟踪模型，在所述搜索图像中定位所述模板图像，以对所述目标对象进行跟踪，其中，所述目标深度网络跟踪模型通过使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩后获得。

在一种实施方式中，所述使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩，包括：

将图像样本输入深度神经网络跟踪模型的当前卷积层，获得深度神经网络跟踪模型的当前卷积层的各滤波器的输出特征图的秩的平均值；

基于所述各滤波器的输出特征图的秩的平均值，确定所述各滤波器的重要性等级；

基于所述各滤波器的重要性等级进行滤波器剪枝；

将未被剪枝的滤波器作为初始参数进行模型微调，获得所述目标深度神经网络跟踪模型。

在一种实施方式中，所述基于所述各滤波器的输出特征图的秩的平均值，确定所述各滤波器的重要性等级，包括：

基于预设的剪枝阈值对所述各滤波器的输出特征图的秩的平均值进行奇异值分解，获得高秩平均值的输出特征图和低秩平均值的输出特征图，所述高秩平均值大于所述剪枝阈值，所述低秩平均值小于所述剪枝阈值；

将所述高秩平均值的输出特征图所对应的滤波器确定为高重要性等级的滤波器，将所述低秩平均值的输出特征图所对应的滤波器确定为低重要性等级的滤波器；

所述基于所述各滤波器的重要性等级进行滤波器剪枝，包括：

将所述低重要性等级的滤波器进行剪枝处理。

在一种实施方式中，所述深度神经网络跟踪模型为Siam FC++模型；

对应的，所述目标深度网络跟踪模型通过使用基于输出特征图的秩的滤波器剪枝方式对Siam FC++模型进行模型压缩后获得。

在一种实施方式中，所述通过所述目标深度神经网络跟踪模型，在所述搜索图像中定位所述模板图像，包括：

使用相同的特征提取网络对所述搜索图像和所述模板图像进行特征提取，获得搜索特征图和模板特征图；

对所述搜索特征图和所述模板特征图进行互相关运算，获得耦合特征；

将所述耦合特征分别作为分类任务网络和回归任务网络的输入特征，并基于所述分类任务网络和回归任务网络的输出结果，在所述搜索图像中定位所述模板图像。

在一种实施方式中，所述基于所述分类任务网络和回归任务网络的输出结果，在所述搜索图像中定位所述模板图像，包括：

基于分类任务网络对所述耦合特征进行分类运算，并基于置信度分支网络进行分类质量评估，获得位置分类分数；

基于回归任务网络对所述耦合特征进行回归运算，获得位置回归分数；

基于所述位置分类分数和所述位置回归分数对边界框进行选择。

在一种实施方式中，所述将所述耦合特征分别作为分类任务网络和回归任务网络的输入特征，包括：

将所述耦合特征分别调整到所述分类任务网络的特征空间以及所述回归任务网络的特征空间。

通过使用本实施例提供的电子设备，由于使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩，无需引入额外约束，模型压缩过程简单高效，可显著降低模型压缩过程的复杂度，压缩后获得的目标深度神经网络跟踪模型在计算能力、内存或能源消耗等方面的成本较低，对硬件资源的负担较轻，可适用于无人机跟踪过程中，提高了无人机跟踪过程的准确性和高效性，在无人机跟踪效率和跟踪精确度之间实现了平衡，使得无人机能够更好地完成实时跟踪任务。

在上述的实施例中，提供了一种绝缘子检测方法、一种绝缘子检测装置以及一种电子设备，此外，本申请另一实施例还提供了一种用于实现上述绝缘子检测方法的计算机可读存储介质。本申请提供的计算机可读存储介质实施例描述得比较简单，相关部分请参见上述方法实施例的对应说明即可，下述描述的实施例仅仅是示意性的。

本实施例提供的计算机可读存储介质上存储有计算机指令，该指令被处理器执行时实现以下步骤：

获得搜索图像和模板图像，其中，所述搜索图像为所述无人机摄取的用于跟踪目标对象的当前图像，所述模板图像为所述目标对象的图像；

以所述搜索图像和所述模板图像作为目标深度神经网络跟踪模型的输入图像，通过所述目标深度神经网络跟踪模型，在所述搜索图像中定位所述模板图像，以对所述目标对象进行跟踪，其中，所述目标深度网络跟踪模型通过使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩后获得。

在一种实施方式中，所述使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩，包括：

将图像样本输入深度神经网络跟踪模型的当前卷积层，获得深度神经网络跟踪模型的当前卷积层的各滤波器的输出特征图的秩的平均值；

基于所述各滤波器的输出特征图的秩的平均值，确定所述各滤波器的重要性等级；

基于所述各滤波器的重要性等级进行滤波器剪枝；

将未被剪枝的滤波器作为初始参数进行模型微调，获得所述目标深度神经网络跟踪模型。

在一种实施方式中，所述基于所述各滤波器的输出特征图的秩的平均值，确定所述各滤波器的重要性等级，包括：

基于预设的剪枝阈值对所述各滤波器的输出特征图的秩的平均值进行奇异值分解，获得高秩平均值的输出特征图和低秩平均值的输出特征图，所述高秩平均值大于所述剪枝阈值，所述低秩平均值小于所述剪枝阈值；

将所述高秩平均值的输出特征图所对应的滤波器确定为高重要性等级的滤波器，将所述低秩平均值的输出特征图所对应的滤波器确定为低重要性等级的滤波器；

所述基于所述各滤波器的重要性等级进行滤波器剪枝，包括：

将所述低重要性等级的滤波器进行剪枝处理。

在一种实施方式中，所述深度神经网络跟踪模型为Siam FC++模型；

对应的，所述目标深度网络跟踪模型通过使用基于输出特征图的秩的滤波器剪枝方式对Siam FC++模型进行模型压缩后获得。

在一种实施方式中，所述通过所述目标深度神经网络跟踪模型，在所述搜索图像中定位所述模板图像，包括：

使用相同的特征提取网络对所述搜索图像和所述模板图像进行特征提取，获得搜索特征图和模板特征图；

对所述搜索特征图和所述模板特征图进行互相关运算，获得耦合特征；

将所述耦合特征分别作为分类任务网络和回归任务网络的输入特征，并基于所述分类任务网络和回归任务网络的输出结果，在所述搜索图像中定位所述模板图像。

在一种实施方式中，所述基于所述分类任务网络和回归任务网络的输出结果，在所述搜索图像中定位所述模板图像，包括：

基于分类任务网络对所述耦合特征进行分类运算，并基于置信度分支网络进行分类质量评估，获得位置分类分数；

基于回归任务网络对所述耦合特征进行回归运算，获得位置回归分数；

基于所述位置分类分数和所述位置回归分数对边界框进行选择。

在一种实施方式中，所述将所述耦合特征分别作为分类任务网络和回归任务网络的输入特征，包括：

将所述耦合特征分别调整到所述分类任务网络的特征空间以及所述回归任务网络的特征空间。

通过执行本实施例提供的计算机可读存储介质上所存储的计算机指令，由于使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩，无需引入额外约束，模型压缩过程简单高效，可显著降低模型压缩过程的复杂度，压缩后获得的目标深度神经网络跟踪模型在计算能力、内存或能源消耗等方面的成本较低，对硬件资源的负担较轻，可适用于无人机跟踪过程中，提高了无人机跟踪过程的准确性和高效性，在无人机跟踪效率和跟踪精确度之间实现了平衡，使得无人机能够更好地完成实时跟踪任务。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、 程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器 (DRAM)、 其他类型的随机存取存储器 (RAM)、只读存储器(ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims (10)

1.一种无人机跟踪方法，其特征在于，应用于无人机，所述方法包括：

获得搜索图像和模板图像，其中，所述搜索图像为所述无人机摄取的用于跟踪目标对象的当前图像，所述模板图像为所述目标对象的图像；

以所述搜索图像和所述模板图像作为目标深度神经网络跟踪模型的输入图像，通过所述目标深度神经网络跟踪模型，在所述搜索图像中定位所述模板图像，以对所述目标对象进行跟踪，其中，所述目标深度网络跟踪模型通过使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩后获得。

2.根据权利要求1所述的方法，其特征在于，所述使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩，包括：

获得深度神经网络跟踪模型的当前卷积层的各滤波器的输出特征图的秩的平均值；

基于所述各滤波器的输出特征图的秩的平均值，确定所述各滤波器的重要性等级；

基于所述各滤波器的重要性等级进行滤波器剪枝；

将未被剪枝的滤波器作为初始参数进行模型微调，获得所述目标深度神经网络跟踪模型。

3.根据权利要求2所述的方法，其特征在于，所述基于所述各滤波器的输出特征图的秩的平均值，确定所述各滤波器的重要性等级，包括：

基于预设的剪枝阈值对所述各滤波器的输出特征图的秩的平均值进行奇异值分解，获得高秩平均值的输出特征图和低秩平均值的输出特征图，所述高秩平均值大于所述剪枝阈值，所述低秩平均值小于所述剪枝阈值；

将所述高秩平均值的输出特征图所对应的滤波器确定为高重要性等级的滤波器，将所述低秩平均值的输出特征图所对应的滤波器确定为低重要性等级的滤波器；

所述基于所述各滤波器的重要性等级进行滤波器剪枝，包括：

将所述低重要性等级的滤波器进行剪枝处理。

4.根据权利要求1或2所述的方法，其特征在于，所述深度神经网络跟踪模型为Siam FC++模型；

对应的，所述目标深度网络跟踪模型通过使用基于输出特征图的秩的滤波器剪枝方式对Siam FC++模型进行模型压缩后获得。

5.根据权利要求4所述的方法，其特征在于，所述通过所述目标深度神经网络跟踪模型，在所述搜索图像中定位所述模板图像，包括：

使用相同的特征提取网络对所述搜索图像和所述模板图像进行特征提取，获得搜索特征图和模板特征图；

对所述搜索特征图和所述模板特征图进行互相关运算，获得耦合特征；

将所述耦合特征分别作为分类任务网络和回归任务网络的输入特征，并基于所述分类任务网络和回归任务网络的输出结果，在所述搜索图像中定位所述模板图像。

6.根据权利要求5所述的方法，其特征在于，所述基于所述分类任务网络和回归任务网络的输出结果，在所述搜索图像中定位所述模板图像，包括：

基于分类任务网络对所述耦合特征进行分类运算，并基于置信度分支网络进行分类质量评估，获得位置分类分数；

基于回归任务网络对所述耦合特征进行回归运算，获得位置回归分数；

基于所述位置分类分数和所述位置回归分数对边界框进行选择。

7.根据权利要求5所述的方法，其特征在于，所述将所述耦合特征分别作为分类任务网络和回归任务网络的输入特征，包括：

将所述耦合特征分别调整到所述分类任务网络的特征空间和所述回归任务网络的特征空间。

8.一种无人机跟踪装置，其特征在于，应用于无人机，所述装置包括：

图像获得单元，用于获得搜索图像和模板图像，其中，所述搜索图像为所述无人机摄取的用于跟踪目标对象的当前图像，所述模板图像为所述目标对象的图像；

目标对象跟踪单元，用于以所述搜索图像和所述模板图像作为目标深度神经网络跟踪模型的输入图像，通过所述目标深度神经网络跟踪模型，在所述搜索图像中定位所述模板图像，以对所述目标对象进行跟踪，其中，所述目标深度网络跟踪模型通过使用基于输出特征图的秩的滤波器剪枝方式对深度神经网络跟踪模型进行模型压缩后获得。

9.一种电子设备，其特征在于，包括处理器和存储器；其中，

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有一条或多条计算机指令，其特征在于，该指令被处理器执行以实现如权利要求1-7中任一项所述的方法。

Images