CN116206334A - 一种野生动物识别方法和装置 - Google Patents

Abstract

本发明提供一种野生动物识别方法和装置，通过对待处理图像进行特征提取，得到多个不同尺度的特征图，并选取若干个待激活特征图后，基于关键点预测层对多个不同尺度的特征图进行关键点预测，得到对应的多个通道下的关键点热图，再基于关键点表示层对待激活特征图和多个通道下的关键点热图进行融合，得到各个关键点的关键点表示；随后对待识别图像中多个关键点的关键点表示和特定野生动物种类对应的第一样本图像中多个关键点的关键点表示两两进行匹配，得到待识别图像的关键点匹配结果，并基于该关键点匹配结果可以确定待识别图像中动物的种类是否为该特定野生动物种类，克服了动物运动状态不同带来的干扰，提升了野生动物识别的精度。

Description

一种野生动物识别方法和装置

技术领域

本发明涉及图像识别技术领域，尤其涉及一种野生动物识别方法和装置。

背景技术

野生动物种群调查可以有效掌握种群动态变化与种群栖息地状态，对于生态系统的保护至关重要。早期的野生动物研究者们大多采用样点、样线对不同物种的栖息地分布范围进行调查研究，由于部分区域难以进入，野外调查难度极大，且人工调查的方式费时费力，难以满足野生动物调查的需求。后期随着摄影技术的快速发展，多采用相机陷阱的方式在栖息地分布范围内布设相机，当野生动物靠近相机时会自动触发动态感知算法对其进行拍照，并由野生动物学家对照片中的野生动物种类进行判别。随着计算机人工智能的发展，也有部分工作采用人工和机器相结合的方法，利用有监督的野生动物识别模型来进行野生动物的识别，以提升野生动物识别的效率。

然而，相机陷阱捕获的野生动物图像中野生动物通常处于运动状态，而不同的运动状态会对野生动物外观造成较大差异，对于野生动物识别模型而言，精确识别出不同运动状态下的野生动物种类难度较大。此外，对于部分稀有野生动物种类而言，能够获取的样本图像数量较少，而少样本情形下野生动物识别模型的训练效果也非常有限，从而导致野生动物识别精度再一次下降。

发明内容

本发明提供一种野生动物识别方法和装置，用以解决现有技术中野生动物识别精度欠佳的缺陷。

本发明提供一种野生动物识别方法，包括：

依次基于关键点预测模型的多个不同尺度的特征提取层，对待处理图像进行特征提取，得到多个不同尺度的特征图，并从所述多个不同尺度的特征图中选取若干个待激活特征图；其中，所述待处理图像包括待识别图像和任一野生动物种类对应的第一样本图像；

基于所述关键点预测模型的关键点预测层，对所述多个不同尺度的特征图进行关键点预测，得到所述待处理图像对应的多个通道下的关键点热图；

基于所述关键点预测模型的关键点表示层，对所述待激活特征图和所述多个通道下的关键点热图进行融合，得到所述待处理图像中多个关键点的关键点表示；

对待识别图像中多个关键点的关键点表示和所述任一野生动物种类对应的第一样本图像中多个关键点的关键点表示两两进行匹配，得到所述待识别图像的关键点匹配结果，并基于所述关键点匹配结果确定所述待识别图像中动物的种类。

根据本发明提供的一种野生动物识别方法，所述基于所述关键点预测模型的关键点表示层，对所述待激活特征图和所述多个通道下的关键点热图进行融合，得到所述待处理图像中多个关键点的关键点表示，具体包括：

基于上采样层对所述若干个待激活特征图进行上采样至尺度与所述关键点热图尺度一致，并将上采样后的待激活特征图进行拼接，得到拼接待激活特征图；

基于卷积层对所述拼接待激活特征图进行特征提取，得到融合特征图后，将所述融合特征图分别和所述多个通道下的关键点热图进行融合，得到多个通道下的激活特征图；

基于最大值池化层对所述多个通道下的激活特征图进行池化处理，得到所述待处理图像中多个关键点的关键点表示。

根据本发明提供的一种野生动物识别方法，所述关键点预测模型是基于如下步骤训练得到的：

基于所述关键点预测模型获取第二样本图像对应的多个通道下的关键点热图以及所述第二样本图像中多个样本关键点的关键点表示，并基于关键点分类层对所述第二样本图像中多个样本关键点的关键点表示进行分类，得到所述第二样本图像中多个样本关键点的分类结果；

基于所述第二样本图像中多个样本关键点的分类结果和样本类型标签，计算关键点分类损失；

基于所述第二样本图像对应的多个通道下的关键点热图与样本热图，计算关键点热图损失；

基于所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整。

根据本发明提供的一种野生动物识别方法，所述基于所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整，具体包括：

基于变换适应性损失、所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整；

其中，所述变换适应性损失是基于如下步骤确定的：

基于第一图像变换函数对所述第二样本图像进行图像变换得到第一变换样本图像后，利用所述关键点预测模型获取所述第一变换样本图像对应的多个通道下的关键点热图，并基于所述第一图像变换函数对所述第二样本图像对应的多个通道下的关键点热图进行图像变换，得到所述第二样本图像对应的多个通道下的变换关键点热图；基于所述第一变换样本图像对应的多个通道下的关键点热图与所述第二样本图像对应的多个通道下的变换关键点热图之间的差异，确定所述变换适应性损失。

根据本发明提供的一种野生动物识别方法，所述基于变换适应性损失、所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整，具体包括：

基于变换一致性损失、所述变换适应性损失、所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整；

其中，所述变换一致性损失是基于如下步骤确定的：

将所述第二样本图像中多个样本关键点的关键点表示拼接，得到所述第二样本图像的完整关键点向量；基于第二图像变换函数对所述第二样本图像进行图像变换得到第二变换样本图像后，利用所述关键点预测模型获取所述第二变换样本图像对应的多个通道下的关键点热图，并拼接所述第二变换样本图像对应的多个通道下的关键点热图，得到所述第二变换样本图像的完整关键点向量；基于所述第二样本图像的完整关键点向量与所述第二变换样本图像的完整关键点向量之间的差异，确定所述变换适应性损失。

根据本发明提供的一种野生动物识别方法，所述基于所述关键点匹配结果确定所述待识别图像中动物的种类，具体包括：

基于所述关键点匹配结果，确定所述待识别图像中各个关键点与其在所述第一样本图像中的匹配关键点之间的匹配度；

基于所述待识别图像中各个关键点与其在所述第一样本图像中的匹配关键点之间的匹配度以及第一预设匹配阈值，确定所述待识别图像中动物的种类是否为所述任一野生动物种类。

根据本发明提供的一种野生动物识别方法，所述基于所述待识别图像中各个关键点与其在所述第一样本图像中的匹配关键点之间的匹配度以及第一预设匹配阈值，确定所述待识别图像中动物的种类是否为所述任一野生动物种类，具体包括：

基于所述待识别图像和所述第一样本图像分别对应的多个通道下的关键点热图，确定所述待识别图像和所述第一样本图像中各个关键点的位置；

基于所述待识别图像中各个关键点的位置，截取所述待识别图像中各个关键点的关键点图像块，并获取所述待识别图像中各个关键点的关键点图像块的图像特征；

基于所述第一样本图像中各个关键点的位置，截取所述第一样本图像中各个关键点的关键点图像块，并获取所述第一样本图像中各个关键点的关键点图像块的图像特征；

基于所述待识别图像中各个关键点的关键点图像块的图像特征与所述第一样本图像中各个关键点的关键点图像块的图像特征，确定所述待识别图像与所述第一样本图像的图像匹配度；

基于所述待识别图像中各个关键点与其在所述第一样本图像中的匹配关键点之间的匹配度和第一预设匹配阈值，以及所述待识别图像与所述第一样本图像的图像匹配度和第二预设匹配阈值，确定所述待识别图像中动物的种类是否为所述任一野生动物种类。

根据本发明提供的一种野生动物识别方法，截取任一图像中各个关键点的关键点图像块，具体包括：

基于所述任一图像中各个关键点的边缘关键点，确定所述任一图像中的动物在所述任一图像中的占比；

基于所述任一图像中的动物在所述任一图像中的占比，确定待截取的关键点图像块的大小；

基于所述待截取的关键点图像块的大小，以所述任一图像中各个关键点的位置为中心，截取所述任一图像中各个关键点的关键点图像块。

根据本发明提供的一种野生动物识别方法，所述基于所述待识别图像中各个关键点的关键点图像块的图像特征与所述第一样本图像中各个关键点的关键点图像块的图像特征，确定所述待识别图像与所述第一样本图像的图像匹配度，具体包括：

基于所述任一野生动物种类的先验知识，确定所述任一野生动物种类中的区分性关键点，并确定所述待识别图像中区分性关键点的关键点图像块的图像特征与所述第一样本图像中区分性关键点的关键点图像块的图像特征之间的匹配度；

基于所述待识别图像中区分性关键点的关键点图像块的图像特征与所述第一样本图像中区分性关键点的关键点图像块的图像特征之间的匹配度，确定所述待识别图像与所述第一样本图像的图像匹配度。

本发明还提供一种野生动物识别装置，包括：

特征提取单元，用于依次基于关键点预测模型的多个不同尺度的特征提取层，对待处理图像进行特征提取，得到多个不同尺度的特征图，并从所述多个不同尺度的特征图中选取若干个待激活特征图；其中，所述待处理图像包括待识别图像和任一野生动物种类对应的第一样本图像；

关键点预测单元，用于基于所述关键点预测模型的关键点预测层，对所述多个不同尺度的特征图进行关键点预测，得到所述待处理图像对应的多个通道下的关键点热图；

关键点表示单元，用于基于所述关键点预测模型的关键点表示层，对所述待激活特征图和所述多个通道下的关键点热图进行融合，得到所述待处理图像中多个关键点的关键点表示；

动物识别单元，用于对待识别图像中多个关键点的关键点表示和所述任一野生动物种类对应的第一样本图像中多个关键点的关键点表示两两进行匹配，得到所述待识别图像的关键点匹配结果，并基于所述关键点匹配结果确定所述待识别图像中动物的种类。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述一种野生动物识别方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述一种野生动物识别方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述一种野生动物识别方法。

本发明提供的一种野生动物识别方法和装置，通过关键点预测模型的多个不同尺度的特征提取层对待处理图像进行特征提取，得到多个不同尺度的特征图，并从多个不同尺度的特征图中选取若干个待激活特征图后，基于关键点预测层对多个不同尺度的特征图进行关键点预测，得到对应的多个通道下的关键点热图，再基于关键点表示层对待激活特征图和多个通道下的关键点热图进行融合，得到各个关键点的关键点表示，可以提取出具备丰富语义以及运动不变性的关键点表示；随后对待识别图像中多个关键点的关键点表示和特定野生动物种类对应的第一样本图像中多个关键点的关键点表示两两进行匹配，得到待识别图像的关键点匹配结果，并基于该关键点匹配结果可以确定待识别图像中动物的种类是否为该特定野生动物种类，克服了动物运动状态不同带来的干扰，提升了野生动物识别的精度。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的野生动物识别方法的流程示意图之一；

图2是本发明提供的关键点预测模型训练方法的流程示意图；

图3是本发明提供的野生动物识别方法的流程示意图之二；

图4是本发明提供的图像块截取方法的流程示意图；

图5是本发明提供的野生动物识别装置的结构示意图；

图6是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明提供的野生动物识别方法的流程示意图，如图1所示，该方法包括：

步骤110，依次基于关键点预测模型的多个不同尺度的特征提取层，对待处理图像进行特征提取，得到多个不同尺度的特征图，并从所述多个不同尺度的特征图中选取若干个待激活特征图；其中，所述待处理图像包括待识别图像和任一野生动物种类对应的第一样本图像；

步骤120，基于所述关键点预测模型的关键点预测层，对所述多个不同尺度的特征图进行关键点预测，得到所述待处理图像对应的多个通道下的关键点热图；

步骤130，基于所述关键点预测模型的关键点表示层，对所述待激活特征图和所述多个通道下的关键点热图进行融合，得到所述待处理图像中多个关键点的关键点表示；

步骤140，对待识别图像中多个关键点的关键点表示和所述任一野生动物种类对应的第一样本图像中多个关键点的关键点表示两两进行匹配，得到所述待识别图像的关键点匹配结果，并基于所述关键点匹配结果确定所述待识别图像中动物的种类。

具体地，获取已训练好的关键点预测模型，该关键点预测模型可以实现对包含野生动物的图像进行动物关键点(例如眼部、嘴部、角等)识别并提取各个关键点的关键点表示。其中，关键点预测模型提取出的关键点表示可以表征该动物的该关键点的图像语义信息，例如位置、形状、纹理、颜色等语义信息，更重要的是，关键点表示具备运动不变性，即同一种类的野生动物处于不同运动状态下时，关键点预测模型提取的该野生动物任一关键点的关键点表示是一致的(即相似度较高)。具体而言，关键点检测模型包括三个主要结构：特征提取层、关键点预测层和关键点表示层，分别用于图像特征提取、关键点预测和关键点向量表示。

其中，特征提取层有多个不同尺度，负责对待处理图像进行多尺度的特征提取，从而得到多个不同尺度的特征图，各个特征提取层可以基于卷积网络构建得到。此处，不同尺度的特征图中包含的图像语义的抽象程度不同，尺度越大的特征图中包含越底层的图像语义、能够体现更多图像细节信息，尺度越小的特征图中则包含越高层的图像语义、能够体现更多区域类型信息。需要说明的是，待处理图像可以包括待识别图像和任一野生动物种类对应的第一样本图像，即针对待识别图像和该野生动物种类对应的第一样本图像的处理方式是相同的。基于特征提取层输出的多个不同尺度的特征图，可以从中选取出部分中间尺度的特征提取层输出的特征图作为待激活特征图，以用于后续的关键点表示。

关键点预测层用于基于特征提取层输出的多个不同尺度的特征图进行关键点预测，得到待处理图像对应的多个通道下的关键点热图。其中，关键点预测层包含多个分支，分别用于预测各个通道下的关键点热图，而每个分支可以基于卷积层、激活层等构建得到。此处，待处理图像对应的各个通道与上述提及的野生动物种类的关键点类型相对应，即上述野生动物种类的关键点类型数量与待处理图像对应的通道数量一致。任一通道下的关键点热图中包含的每个像素的概率值指示了该像素为该通道对应的关键点类型的可能性，因此基于该通道下的关键点热图可以在待处理图像中定位该通道对应的关键点(例如眼部)。

关键点表示层用于基于选取的待激活特征图和关键点预测层输出的多个通道下的关键点热图进行融合，将待激活特征图中对应各个关键点的位置进行激活和加强，从而得到各个关键点的关键点表示。其中，可以基于选取的若干个待激活特征图进行融合，以融合不同待激活特征图中包含的不同层次的语义信息，有助于提升关键点表示的语义表达能力。针对任一通道下的关键点热图，可以将待激活特征图的融合结果再次与该通道下的关键点热图进行融合，以便选取出待激活特征图的融合结果中该通道对应的关键点的位置处的特征值，从而构建得到该通道对应的关键点的关键点表示。此处，由于该通道下的关键点热图中包含有相应关键点的位置信息，因此可以基于该关键点的位置信息从待激活特征图的融合结果中提取出该通道对应的关键点的位置处的特征值。

通过上述步骤提取了待识别图像和上述野生动物种类对应的第一样本图像中各个关键点的关键点表示之后，可以对待识别图像中多个关键点的关键点表示和该野生动物种类对应的第一样本图像中多个关键点的关键点表示两两进行匹配，得到待识别图像的关键点匹配结果。匹配过程中，可以计算待识别图像中任一关键点的关键点表示与第一样本图像中各个关键点的关键点表示之间的距离(例如欧氏距离)，并选取第一样本图像中与其距离最近的关键点作为待识别图像中该关键点的匹配关键点。待识别图像的关键点匹配结果中包含了该待识别图像中各个关键点在第一样本图像中的匹配关键点。由于关键点预测模型输出的关键点表示具备运动不变性，即同一种类的野生动物处于不同运动状态下时，关键点预测模型提取的该野生动物任一关键点的关键点表示是一致的，因此如若待识别图像中包含的动物为该野生动物种类，则该待识别图像中任一关键点的关键点表示应当与第一样本图像中该关键点的关键点表示相似，因此通过上述匹配的方式可以为待识别图像中的该关键点在第一样本图像中寻找到相应的匹配关键点，且两个关键点的关键点表示之间的相似度应当较高。因此，基于待识别图像的关键点匹配结果，可以确定待识别图像中动物的种类是否为该野生动物种类(即第一样本图像对应的野生动物种类)。其中，若待识别图像的关键点匹配结果中超过预设数量的关键点均存在匹配关键点且关键点表示之间的相似度高于预设值，则可以确定待识别图像中动物的种类为该野生动物种类。

本发明实施例提供的方法，通过关键点预测模型的多个不同尺度的特征提取层对待处理图像进行特征提取，得到多个不同尺度的特征图，并从多个不同尺度的特征图中选取若干个待激活特征图后，基于关键点预测层对多个不同尺度的特征图进行关键点预测，得到对应的多个通道下的关键点热图，再基于关键点表示层对待激活特征图和多个通道下的关键点热图进行融合，得到各个关键点的关键点表示，可以提取出具备丰富语义以及运动不变性的关键点表示；随后对待识别图像中多个关键点的关键点表示和特定野生动物种类对应的第一样本图像中多个关键点的关键点表示两两进行匹配，得到待识别图像的关键点匹配结果，并基于该关键点匹配结果可以确定待识别图像中动物的种类是否为该特定野生动物种类，克服了动物运动状态不同带来的干扰，提升了野生动物识别的精度。

基于上述实施例，所述基于所述关键点预测模型的关键点表示层，对所述待激活特征图和所述多个通道下的关键点热图进行融合，得到所述待处理图像中多个关键点的关键点表示，具体包括：

基于上采样层对所述若干个待激活特征图进行上采样至尺度与所述关键点热图尺度一致，并将上采样后的待激活特征图进行拼接，得到拼接待激活特征图；

基于卷积层对所述拼接待激活特征图进行特征提取，得到融合特征图后，将所述融合特征图分别和所述多个通道下的关键点热图进行融合，得到多个通道下的激活特征图；

基于最大值池化层对所述多个通道下的激活特征图进行池化处理，得到所述待处理图像中多个关键点的关键点表示。

具体地，基于关键点表示层中包含的上采样层对若干个待激活特征图分别进行上采样，使其尺度与关键点热图尺度一致，并将上采样后的待激活特征图进行拼接，得到拼接待激活特征图。可见，拼接待激活特征图中包含有各个待激活特征图中的图像语义信息，但是各个待激活特征图中的图像语义信息存在一定的相互独立性。因此，可以基于卷积层对拼接待激活特征图进行特征提取，将拼接待激活特征图中包含的不同图像语义信息进行关联和融合，得到融合特征图。其中，融合特征图的尺度也与关键点热图的尺度一致。

随后，将该融合特征图分别和多个通道下的关键点热图进行融合，得到多个通道下的激活特征图。其中，针对任一通道下的关键点热图，由于融合特征图的尺度也与关键点热图的尺度一致，为了利用关键点热图中的关键点位置信息对融合特征图中相应位置的特征值进行选择，可以利用点乘方式将该融合特征图和任一通道下的关键点热图进行融合，得到该通道下的激活特征图。由于该通道下的关键点热图中可能属于该通道对应的关键点的像素的概率值更高，因此将该融合特征图和该通道下的关键点热图点乘后，该通道下的激活特征图中对应相应关键点位置处的特征值会被增强。因此，可以基于最大值池化层分别对多个通道下的激活特征图进行池化处理，从而得到各个通道对应的关键点的关键点表示。例如，针对任一通道下的激活特征图，可以按行选取每一行中最大的特征值构成该通道对应的关键点的关键点表示或是按列选取每一列中最大的特征值构成该通道对应的关键点的关键点表示。

基于上述任一实施例，如图2所示，所述关键点预测模型是基于如下步骤训练得到的：

步骤210，基于所述关键点预测模型获取第二样本图像对应的多个通道下的关键点热图以及所述第二样本图像中多个样本关键点的关键点表示，并基于关键点分类层对所述第二样本图像中多个样本关键点的关键点表示进行分类，得到所述第二样本图像中多个样本关键点的分类结果；

步骤220，基于所述第二样本图像中多个样本关键点的分类结果和样本类型标签，计算关键点分类损失；

步骤230，基于所述第二样本图像对应的多个通道下的关键点热图与样本热图，计算关键点热图损失；

步骤240，基于所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整。

具体地，关键点预测模型在训练过程中所使用的第二样本图像可以与第一样本图像相同或不同，当特定野生动物种类的样本图像较少时，可以选用与其科属相同、体型类似的其他野生动物种类的样本图像作为关键点预测模型的训练样本。另外，第二样本图像可以是同一野生动物种类的动物在不同运动状态下的图像。为了提升关键点预测模型提取的关键点表示的语义表达能力同时确保关键点表示的运动不变性，可以基于关键点预测模型获取第二样本图像对应的多个通道下的关键点热图以及第二样本图像中多个样本关键点的关键点表示(方式与上述实施例中提取待处理图像中各通道下的关键点热图以及各个关键点的关键点表示的方式相同)，并基于关键点分类层(可以是一个全连接网络)对第二样本图像中多个样本关键点的关键点表示进行分类，得到第二样本图像中多个样本关键点的分类结果。基于第二样本图像中多个样本关键点的分类结果和样本类型标签，可以计算关键点分类损失。其中，第二样本图像中多个样本关键点的分类结果与样本类型标签的一致性程度越高，该关键点分类损失越小。通过上述关键点分类损失调整关键点预测模型的模型参数，可以引导关键点检测模型检测相同关键点(同一野生动物种类的同一关键点类型)在不同运动状态下的相似特征。

由于关键点预测模型中关键点表示层的性能与关键点预测层的性能息息相关，因此为了进一步提升关键点表示层的性能，还可以基于第二样本图像对应的多个通道下的关键点热图与第二样本图像在多个通道下的样本热图，计算关键点热图损失，并结合上述关键点分类损失和该关键点热图损失对关键点预测模型的参数进行调整。其中，第二样本图像对应的多个通道下的关键点热图与第二样本图像在多个通道下的样本热图的一致性程度越高，关键点热图损失越小。通过结合关键点分类损失和该关键点热图损失对关键点预测模型的参数进行调整，利用多任务机制使得关键点预测层和关键点表示层可以协同优化，从而进一步提升模型训练效率和训练效果。

基于上述任一实施例，所述基于所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整，具体包括：

基于变换适应性损失、所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整；

其中，所述变换适应性损失是基于如下步骤确定的：

基于第一图像变换函数对所述第二样本图像进行图像变换得到第一变换样本图像后，利用所述关键点预测模型获取所述第一变换样本图像对应的多个通道下的关键点热图，并基于所述第一图像变换函数对所述第二样本图像对应的多个通道下的关键点热图进行图像变换，得到所述第二样本图像对应的多个通道下的变换关键点热图；基于所述第一变换样本图像对应的多个通道下的关键点热图与所述第二样本图像对应的多个通道下的变换关键点热图之间的差异，确定所述变换适应性损失。

具体地，对于关键点预测层而言，其输出的关键点热图中指示的关键点位置需要随着图像变换而变换，然而当关键点预测模型的训练样本数量较少(由于人工标注成本过高因此导致可用的训练样本较少)的情形下，关键点热图损失作为有监督损失，其对于模型的引导能力较弱，因此为了提升关键点预测层的性能，为关键点预测层引入一个无监督损失，即变换适应性损失，以结合变换适应性损失、关键点分类损失和关键点热图损失三者对关键点预测模型的参数进行调整。

其中，为了计算变换适应性损失，可以基于第一图像变换函数(例如图像放缩、旋转、平移等图像变换方法，每一轮训练可以随机选择任意一种图像变换方法作为第一图像变换函数)，对第二样本图像进行图像变换得到第一变换样本图像，接着利用关键点预测模型获取该第一变换样本图像对应的多个通道下的关键点热图。与此同时，同样基于第一图像变换函数对第二样本图像对应的多个通道下的关键点热图进行图像变换，得到第二样本图像对应的多个通道下的变换关键点热图。根据第一变换样本图像对应的多个通道下的关键点热图与第二样本图像对应的多个通道下的变换关键点热图之间的差异，可以计算得到变换适应性损失。

基于上述任一实施例，所述基于变换适应性损失、所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整，具体包括：

基于变换一致性损失、所述变换适应性损失、所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整；

其中，所述变换一致性损失是基于如下步骤确定的：

将所述第二样本图像中多个样本关键点的关键点表示拼接，得到所述第二样本图像的完整关键点向量；基于第二图像变换函数对所述第二样本图像进行图像变换得到第二变换样本图像后，利用所述关键点预测模型获取所述第二变换样本图像对应的多个通道下的关键点热图，并拼接所述第二变换样本图像对应的多个通道下的关键点热图，得到所述第二变换样本图像的完整关键点向量；基于所述第二样本图像的完整关键点向量与所述第二变换样本图像的完整关键点向量之间的差异，确定所述变换适应性损失。

具体地，对于关键点表示层而言，其输出的关键点表示需要具备运动不变性，即使图像发生变换，同一关键点的关键点表示也应当具备一致性。考虑到关键点表示的运动不变性是野生动物识别中的核心基础，因此为了进一步确保关键点预测模型输出的关键点表示的运动不变性，额外为关键点表示层引入一个无监督损失，即变换一致性损失，以结合变换一致性损失、变换适应性损失、关键点分类损失和关键点热图损失四者对关键点预测模型的参数进行调整。

其中，为了计算变换一致性损失，一方面，可以将第二样本图像中各个样本关键点的关键点表示拼接，得到第二样本图像的完整关键点向量；另一方面，可以基于第二图像变换函数(例如图像放缩、旋转、平移等图像变换方法，每一轮训练可以随机选择任意一种图像变换方法作为第二图像变换函数)，对第二样本图像进行图像变换得到第二变换样本图像，随之利用关键点预测模型获取该第二变换样本图像对应的多个通道下的关键点热图，并拼接第二变换样本图像对应的多个通道下的关键点热图，得到第二变换样本图像的完整关键点向量。根据第二样本图像的完整关键点向量与第二变换样本图像的完整关键点向量之间的差异，可以计算得到变换适应性损失。

基于上述任一实施例，所述基于所述关键点匹配结果确定所述待识别图像中动物的种类，具体包括：

基于所述关键点匹配结果，确定所述待识别图像中各个关键点与其在所述第一样本图像中的匹配关键点之间的匹配度；

基于所述待识别图像中各个关键点与其在所述第一样本图像中的匹配关键点之间的匹配度以及第一预设匹配阈值，确定所述待识别图像中动物的种类是否为所述任一野生动物种类。

具体地，获取关键点匹配结果中待识别图像的各个关键点在第一样本图像中的匹配关键点以及两者之间的匹配度。根据待识别图像中各个关键点与其在第一样本图像中的匹配关键点之间的匹配度以及第一预设匹配阈值，可以确定待识别图像中动物的种类是否为第一样本图像对应的野生动物种类。其中，若待识别图像中超过预设数量的关键点与其在第一样本图像中的匹配关键点之间的匹配度高于第一预设匹配阈值，则确定待识别图像中动物的种类为第一样本图像对应的野生动物种类。

基于上述任一实施例，如图3所示，所述基于所述待识别图像中各个关键点与其在所述第一样本图像中的匹配关键点之间的匹配度以及第一预设匹配阈值，确定所述待识别图像中动物的种类是否为所述任一野生动物种类，具体包括：

步骤310，基于所述待识别图像和所述第一样本图像分别对应的多个通道下的关键点热图，确定所述待识别图像和所述第一样本图像中各个关键点的位置；

步骤320，基于所述待识别图像中各个关键点的位置，截取所述待识别图像中各个关键点的关键点图像块，并获取所述待识别图像中各个关键点的关键点图像块的图像特征；

步骤330，基于所述第一样本图像中各个关键点的位置，截取所述第一样本图像中各个关键点的关键点图像块，并获取所述第一样本图像中各个关键点的关键点图像块的图像特征；

步骤340，基于所述待识别图像中各个关键点的关键点图像块的图像特征与所述第一样本图像中各个关键点的关键点图像块的图像特征，确定所述待识别图像与所述第一样本图像的图像匹配度；

步骤350，基于所述待识别图像中各个关键点与其在所述第一样本图像中的匹配关键点之间的匹配度和第一预设匹配阈值，以及所述待识别图像与所述第一样本图像的图像匹配度和第二预设匹配阈值，确定所述待识别图像中动物的种类是否为所述任一野生动物种类。

具体地，基于待识别图像对应的多个通道下的关键点热图，可以确定待识别图像中各个关键点的位置，利用待识别图像中各个关键点的位置，可以截取待识别图像中各个关键点的关键点图像块，并获取待识别图像中各个关键点的关键点图像块的图像特征。其中，可以以各个关键点位置为中心进行图像块截取。此外，基于所述待识别图像和所述第一样本图像分别对应的多个通道下的关键点热图，确定所述待识别图像和所述第一样本图像中各个关键点的位置。基于第一样本图像对应的多个通道下的关键点热图，可以确定第一样本图像中各个关键点的位置，利用第一样本图像中各个关键点的位置，可以截取第一样本图像中各个关键点的关键点图像块，并获取第一样本图像中各个关键点的关键点图像块的图像特征。

基于待识别图像中各个关键点的关键点图像块的图像特征与第一样本图像中各个关键点的关键点图像块的图像特征，可以确定待识别图像与第一样本图像的图像匹配度。其中，可以将待识别图像中任一关键点的关键点图像块的图像特征与该关键点在第一样本图像中的匹配关键点的关键点图像块的图像特征进行匹配，得到该关键点的匹配度；综合待识别图像中各个关键点的匹配度，可以确定待识别图像与第一样本图像的图像匹配度。基于待识别图像中各个关键点与其在第一样本图像中的匹配关键点之间的匹配度和第一预设匹配阈值，以及待识别图像与第一样本图像的图像匹配度和第二预设匹配阈值，可以确定待识别图像中动物的种类是否为第一样本图像对应的野生动物种类。通过设置两个判定条件来确定待识别图像中动物的种类是否为第一样本图像对应的野生动物种类，即待识别图像中超过预设数量的关键点与其在第一样本图像中的匹配关键点之间的匹配度高于第一预设匹配阈值，以及待识别图像与第一样本图像的图像匹配度高于第二预设匹配阈值，可以进一步提升野生动物识别的准确性。

基于上述任一实施例，如图4所示，截取任一图像中各个关键点的关键点图像块，具体包括：

步骤410，基于所述任一图像中各个关键点的边缘关键点，确定所述任一图像中的动物在所述任一图像中的占比；

步骤420，基于所述任一图像中的动物在所述任一图像中的占比，确定待截取的关键点图像块的大小；

步骤430，基于所述待截取的关键点图像块的大小，以所述任一图像中各个关键点的位置为中心，截取所述任一图像中各个关键点的关键点图像块。

具体地，在对任一图像(待识别图像或第一样本图像)进行截取时，可以基于该图像中各个关键点中的边缘关键点，确定该图像中的动物在该图像中的占比。其中，可以基于该图像中各个关键点的位置，确定该图像的边缘关键点。例如，可以分别选取x方向上坐标最小、x方向上坐标最大、y方向上坐标最小以及y方向上坐标最大的关键点，作为边缘关键点。根据各个边缘关键点的位置，可以确定一个将所有关键点包含在内的矩形框。根据该矩形框的尺寸以及该图像的尺寸，可以计算得到该图像中的动物在该图像中的占比。基于该图像中的动物在该图像中的占比，确定待截取的关键点图像块的大小。其中，该图像中的动物在该图像中的占比越大，待截取的关键点图像块的大小也相应越大，反之，该图像中的动物在该图像中的占比越小，待截取的关键点图像块的大小也相应越小，从而避免截取到关键点以外的区域。随后，基于待截取的关键点图像块的大小，以该图像中各个关键点的位置为中心，截取该图像中各个关键点的关键点图像块。

基于上述任一实施例，所述基于所述待识别图像中各个关键点的关键点图像块的图像特征与所述第一样本图像中各个关键点的关键点图像块的图像特征，确定所述待识别图像与所述第一样本图像的图像匹配度，具体包括：

基于所述任一野生动物种类的先验知识，确定所述任一野生动物种类中的区分性关键点，并确定所述待识别图像中区分性关键点的关键点图像块的图像特征与所述第一样本图像中区分性关键点的关键点图像块的图像特征之间的匹配度；

基于所述待识别图像中区分性关键点的关键点图像块的图像特征与所述第一样本图像中区分性关键点的关键点图像块的图像特征之间的匹配度，确定所述待识别图像与所述第一样本图像的图像匹配度。

具体地，在对待识别图像中各个关键点的关键点图像块的图像特征与第一样本图像中各个关键点的关键点图像块的图像特征进行匹配时，可以基于第一样本图像对应的野生动物种类的先验知识，确定该野生动物种类中的一个或多个区分性关键点，将该区分性关键点作为图像特征匹配的对象，确定待识别图像中区分性关键点的关键点图像块的图像特征与第一样本图像中同一区分性关键点的关键点图像块的图像特征之间的匹配度。其中，可以基于区分性关键点的类型结合待识别图像和第一样本图像对应的多个通道下的关键点热图，从待识别图像以及第一样本图像中确定出待识别图像中的区分性关键以及第一样本图像中的同一区分性关键点。随后，基于待识别图像中区分性关键点的关键点图像块的图像特征与第一样本图像中同一区分性关键点的关键点图像块的图像特征之间的匹配度，确定待识别图像与所述第一样本图像的图像匹配度。

下面对本发明提供的一种野生动物识别装置进行描述，下文描述的一种野生动物识别装置与上文描述的一种野生动物识别方法可相互对应参照。

基于上述任一实施例，图5是本发明提供的野生动物识别装置的结构示意图，如图5所示，该装置包括：特征提取单元510、关键点预测单元520、关键点表示单元530和动物识别单元540。

其中，特征提取单元510用于依次基于关键点预测模型的多个不同尺度的特征提取层，对待处理图像进行特征提取，得到多个不同尺度的特征图，并从所述多个不同尺度的特征图中选取若干个待激活特征图；其中，所述待处理图像包括待识别图像和任一野生动物种类对应的第一样本图像；

关键点预测单元520用于基于所述关键点预测模型的关键点预测层，对所述多个不同尺度的特征图进行关键点预测，得到所述待处理图像对应的多个通道下的关键点热图；

关键点表示单元530用于基于所述关键点预测模型的关键点表示层，对所述待激活特征图和所述多个通道下的关键点热图进行融合，得到所述待处理图像中多个关键点的关键点表示；

动物识别单元540用于对待识别图像中多个关键点的关键点表示和所述任一野生动物种类对应的第一样本图像中多个关键点的关键点表示两两进行匹配，得到所述待识别图像的关键点匹配结果，并基于所述关键点匹配结果确定所述待识别图像中动物的种类。

本发明实施例提供的装置，通过关键点预测模型的多个不同尺度的特征提取层对待处理图像进行特征提取，得到多个不同尺度的特征图，并从多个不同尺度的特征图中选取若干个待激活特征图后，基于关键点预测层对多个不同尺度的特征图进行关键点预测，得到对应的多个通道下的关键点热图，再基于关键点表示层对待激活特征图和多个通道下的关键点热图进行融合，得到各个关键点的关键点表示，可以提取出具备丰富语义以及运动不变性的关键点表示；随后对待识别图像中多个关键点的关键点表示和特定野生动物种类对应的第一样本图像中多个关键点的关键点表示两两进行匹配，得到待识别图像的关键点匹配结果，并基于该关键点匹配结果可以确定待识别图像中动物的种类是否为该特定野生动物种类，克服了动物运动状态不同带来的干扰，提升了野生动物识别的精度。

基于上述任一实施例，所述基于所述关键点预测模型的关键点表示层，对所述待激活特征图和所述多个通道下的关键点热图进行融合，得到所述待处理图像中多个关键点的关键点表示，具体包括：

基于上采样层对所述若干个待激活特征图进行上采样至尺度与所述关键点热图尺度一致，并将上采样后的待激活特征图进行拼接，得到拼接待激活特征图；

基于卷积层对所述拼接待激活特征图进行特征提取，得到融合特征图后，将所述融合特征图分别和所述多个通道下的关键点热图进行融合，得到多个通道下的激活特征图；

基于最大值池化层对所述多个通道下的激活特征图进行池化处理，得到所述待处理图像中多个关键点的关键点表示。

基于上述任一实施例，所述关键点预测模型是基于如下步骤训练得到的：

基于所述关键点预测模型获取第二样本图像对应的多个通道下的关键点热图以及所述第二样本图像中多个样本关键点的关键点表示，并基于关键点分类层对所述第二样本图像中多个样本关键点的关键点表示进行分类，得到所述第二样本图像中多个样本关键点的分类结果；

基于所述第二样本图像中多个样本关键点的分类结果和样本类型标签，计算关键点分类损失；

基于所述第二样本图像对应的多个通道下的关键点热图与样本热图，计算关键点热图损失；

基于所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整。

基于上述任一实施例，所述基于所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整，具体包括：

基于变换适应性损失、所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整；

其中，所述变换适应性损失是基于如下步骤确定的：

基于第一图像变换函数对所述第二样本图像进行图像变换得到第一变换样本图像后，利用所述关键点预测模型获取所述第一变换样本图像对应的多个通道下的关键点热图，并基于所述第一图像变换函数对所述第二样本图像对应的多个通道下的关键点热图进行图像变换，得到所述第二样本图像对应的多个通道下的变换关键点热图；基于所述第一变换样本图像对应的多个通道下的关键点热图与所述第二样本图像对应的多个通道下的变换关键点热图之间的差异，确定所述变换适应性损失。

基于上述任一实施例，所述基于变换适应性损失、所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整，具体包括：

基于变换一致性损失、所述变换适应性损失、所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整；

其中，所述变换一致性损失是基于如下步骤确定的：

将所述第二样本图像中多个样本关键点的关键点表示拼接，得到所述第二样本图像的完整关键点向量；基于第二图像变换函数对所述第二样本图像进行图像变换得到第二变换样本图像后，利用所述关键点预测模型获取所述第二变换样本图像对应的多个通道下的关键点热图，并拼接所述第二变换样本图像对应的多个通道下的关键点热图，得到所述第二变换样本图像的完整关键点向量；基于所述第二样本图像的完整关键点向量与所述第二变换样本图像的完整关键点向量之间的差异，确定所述变换适应性损失。

基于上述任一实施例，所述基于所述关键点匹配结果确定所述待识别图像中动物的种类，具体包括：

基于所述关键点匹配结果，确定所述待识别图像中各个关键点与其在所述第一样本图像中的匹配关键点之间的匹配度；

基于所述待识别图像中各个关键点与其在所述第一样本图像中的匹配关键点之间的匹配度以及第一预设匹配阈值，确定所述待识别图像中动物的种类是否为所述任一野生动物种类。

基于上述任一实施例，所述基于所述待识别图像中各个关键点与其在所述第一样本图像中的匹配关键点之间的匹配度以及第一预设匹配阈值，确定所述待识别图像中动物的种类是否为所述任一野生动物种类，具体包括：

基于所述待识别图像和所述第一样本图像分别对应的多个通道下的关键点热图，确定所述待识别图像和所述第一样本图像中各个关键点的位置；

基于所述待识别图像中各个关键点的位置，截取所述待识别图像中各个关键点的关键点图像块，并获取所述待识别图像中各个关键点的关键点图像块的图像特征；

基于所述第一样本图像中各个关键点的位置，截取所述第一样本图像中各个关键点的关键点图像块，并获取所述第一样本图像中各个关键点的关键点图像块的图像特征；

基于所述待识别图像中各个关键点的关键点图像块的图像特征与所述第一样本图像中各个关键点的关键点图像块的图像特征，确定所述待识别图像与所述第一样本图像的图像匹配度；

基于所述待识别图像中各个关键点与其在所述第一样本图像中的匹配关键点之间的匹配度和第一预设匹配阈值，以及所述待识别图像与所述第一样本图像的图像匹配度和第二预设匹配阈值，确定所述待识别图像中动物的种类是否为所述任一野生动物种类。

基于上述任一实施例，截取任一图像中各个关键点的关键点图像块，具体包括：

基于所述任一图像中各个关键点的边缘关键点，确定所述任一图像中的动物在所述任一图像中的占比；

基于所述任一图像中的动物在所述任一图像中的占比，确定待截取的关键点图像块的大小；

基于所述待截取的关键点图像块的大小，以所述任一图像中各个关键点的位置为中心，截取所述任一图像中各个关键点的关键点图像块。

基于上述任一实施例，所述基于所述待识别图像中各个关键点的关键点图像块的图像特征与所述第一样本图像中各个关键点的关键点图像块的图像特征，确定所述待识别图像与所述第一样本图像的图像匹配度，具体包括：

基于所述任一野生动物种类的先验知识，确定所述任一野生动物种类中的区分性关键点，并确定所述待识别图像中区分性关键点的关键点图像块的图像特征与所述第一样本图像中区分性关键点的关键点图像块的图像特征之间的匹配度；

基于所述待识别图像中区分性关键点的关键点图像块的图像特征与所述第一样本图像中区分性关键点的关键点图像块的图像特征之间的匹配度，确定所述待识别图像与所述第一样本图像的图像匹配度。

图6是本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、存储器(memory)620、通信接口(Communications Interface)630和通信总线640，其中，处理器610，存储器620，通信接口630通过通信总线640完成相互间的通信。处理器610可以调用存储器620中的逻辑指令，以执行一种野生动物识别方法，该方法包括：依次基于关键点预测模型的多个不同尺度的特征提取层，对待处理图像进行特征提取，得到多个不同尺度的特征图，并从所述多个不同尺度的特征图中选取若干个待激活特征图；其中，所述待处理图像包括待识别图像和任一野生动物种类对应的第一样本图像；基于所述关键点预测模型的关键点预测层，对所述多个不同尺度的特征图进行关键点预测，得到所述待处理图像对应的多个通道下的关键点热图；基于所述关键点预测模型的关键点表示层，对所述待激活特征图和所述多个通道下的关键点热图进行融合，得到所述待处理图像中多个关键点的关键点表示；对待识别图像中多个关键点的关键点表示和所述任一野生动物种类对应的第一样本图像中多个关键点的关键点表示两两进行匹配，得到所述待识别图像的关键点匹配结果，并基于所述关键点匹配结果确定所述待识别图像中动物的种类。

此外，上述的存储器620中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的一种野生动物识别方法，该方法包括：依次基于关键点预测模型的多个不同尺度的特征提取层，对待处理图像进行特征提取，得到多个不同尺度的特征图，并从所述多个不同尺度的特征图中选取若干个待激活特征图；其中，所述待处理图像包括待识别图像和任一野生动物种类对应的第一样本图像；基于所述关键点预测模型的关键点预测层，对所述多个不同尺度的特征图进行关键点预测，得到所述待处理图像对应的多个通道下的关键点热图；基于所述关键点预测模型的关键点表示层，对所述待激活特征图和所述多个通道下的关键点热图进行融合，得到所述待处理图像中多个关键点的关键点表示；对待识别图像中多个关键点的关键点表示和所述任一野生动物种类对应的第一样本图像中多个关键点的关键点表示两两进行匹配，得到所述待识别图像的关键点匹配结果，并基于所述关键点匹配结果确定所述待识别图像中动物的种类。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的一种野生动物识别方法，该方法包括：依次基于关键点预测模型的多个不同尺度的特征提取层，对待处理图像进行特征提取，得到多个不同尺度的特征图，并从所述多个不同尺度的特征图中选取若干个待激活特征图；其中，所述待处理图像包括待识别图像和任一野生动物种类对应的第一样本图像；基于所述关键点预测模型的关键点预测层，对所述多个不同尺度的特征图进行关键点预测，得到所述待处理图像对应的多个通道下的关键点热图；基于所述关键点预测模型的关键点表示层，对所述待激活特征图和所述多个通道下的关键点热图进行融合，得到所述待处理图像中多个关键点的关键点表示；对待识别图像中多个关键点的关键点表示和所述任一野生动物种类对应的第一样本图像中多个关键点的关键点表示两两进行匹配，得到所述待识别图像的关键点匹配结果，并基于所述关键点匹配结果确定所述待识别图像中动物的种类。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种野生动物识别方法，其特征在于，包括：

依次基于关键点预测模型的多个不同尺度的特征提取层，对待处理图像进行特征提取，得到多个不同尺度的特征图，并从所述多个不同尺度的特征图中选取若干个待激活特征图；其中，所述待处理图像包括待识别图像和任一野生动物种类对应的第一样本图像；

基于所述关键点预测模型的关键点预测层，对所述多个不同尺度的特征图进行关键点预测，得到所述待处理图像对应的多个通道下的关键点热图；

基于所述关键点预测模型的关键点表示层，对所述待激活特征图和所述多个通道下的关键点热图进行融合，得到所述待处理图像中多个关键点的关键点表示；

对待识别图像中多个关键点的关键点表示和所述任一野生动物种类对应的第一样本图像中多个关键点的关键点表示两两进行匹配，得到所述待识别图像的关键点匹配结果，并基于所述关键点匹配结果确定所述待识别图像中动物的种类。

2.根据权利要求1所述的一种野生动物识别方法，其特征在于，所述基于所述关键点预测模型的关键点表示层，对所述待激活特征图和所述多个通道下的关键点热图进行融合，得到所述待处理图像中多个关键点的关键点表示，具体包括：

基于上采样层对所述若干个待激活特征图进行上采样至尺度与所述关键点热图尺度一致，并将上采样后的待激活特征图进行拼接，得到拼接待激活特征图；

基于卷积层对所述拼接待激活特征图进行特征提取，得到融合特征图后，将所述融合特征图分别和所述多个通道下的关键点热图进行融合，得到多个通道下的激活特征图；

基于最大值池化层对所述多个通道下的激活特征图进行池化处理，得到所述待处理图像中多个关键点的关键点表示。

3.根据权利要求1所述的一种野生动物识别方法，其特征在于，所述关键点预测模型是基于如下步骤训练得到的：

基于所述关键点预测模型获取第二样本图像对应的多个通道下的关键点热图以及所述第二样本图像中多个样本关键点的关键点表示，并基于关键点分类层对所述第二样本图像中多个样本关键点的关键点表示进行分类，得到所述第二样本图像中多个样本关键点的分类结果；

基于所述第二样本图像中多个样本关键点的分类结果和样本类型标签，计算关键点分类损失；

基于所述第二样本图像对应的多个通道下的关键点热图与样本热图，计算关键点热图损失；

基于所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整。

4.根据权利要求3所述的一种野生动物识别方法，其特征在于，所述基于所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整，具体包括：

基于变换适应性损失、所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整；

其中，所述变换适应性损失是基于如下步骤确定的：

基于第一图像变换函数对所述第二样本图像进行图像变换得到第一变换样本图像后，利用所述关键点预测模型获取所述第一变换样本图像对应的多个通道下的关键点热图，并基于所述第一图像变换函数对所述第二样本图像对应的多个通道下的关键点热图进行图像变换，得到所述第二样本图像对应的多个通道下的变换关键点热图；基于所述第一变换样本图像对应的多个通道下的关键点热图与所述第二样本图像对应的多个通道下的变换关键点热图之间的差异，确定所述变换适应性损失。

5.根据权利要求4所述的一种野生动物识别方法，其特征在于，所述基于变换适应性损失、所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整，具体包括：

基于变换一致性损失、所述变换适应性损失、所述关键点分类损失和所述关键点热图损失对所述关键点预测模型的参数进行调整；

其中，所述变换一致性损失是基于如下步骤确定的：

将所述第二样本图像中多个样本关键点的关键点表示拼接，得到所述第二样本图像的完整关键点向量；基于第二图像变换函数对所述第二样本图像进行图像变换得到第二变换样本图像后，利用所述关键点预测模型获取所述第二变换样本图像对应的多个通道下的关键点热图，并拼接所述第二变换样本图像对应的多个通道下的关键点热图，得到所述第二变换样本图像的完整关键点向量；基于所述第二样本图像的完整关键点向量与所述第二变换样本图像的完整关键点向量之间的差异，确定所述变换适应性损失。

6.根据权利要求1所述的一种野生动物识别方法，其特征在于，所述基于所述关键点匹配结果确定所述待识别图像中动物的种类，具体包括：

基于所述关键点匹配结果，确定所述待识别图像中各个关键点与其在所述第一样本图像中的匹配关键点之间的匹配度；

基于所述待识别图像中各个关键点与其在所述第一样本图像中的匹配关键点之间的匹配度以及第一预设匹配阈值，确定所述待识别图像中动物的种类是否为所述任一野生动物种类。

7.根据权利要求6所述的一种野生动物识别方法，其特征在于，所述基于所述待识别图像中各个关键点与其在所述第一样本图像中的匹配关键点之间的匹配度以及第一预设匹配阈值，确定所述待识别图像中动物的种类是否为所述任一野生动物种类，具体包括：

基于所述待识别图像和所述第一样本图像分别对应的多个通道下的关键点热图，确定所述待识别图像和所述第一样本图像中各个关键点的位置；

基于所述待识别图像中各个关键点的位置，截取所述待识别图像中各个关键点的关键点图像块，并获取所述待识别图像中各个关键点的关键点图像块的图像特征；

基于所述第一样本图像中各个关键点的位置，截取所述第一样本图像中各个关键点的关键点图像块，并获取所述第一样本图像中各个关键点的关键点图像块的图像特征；

基于所述待识别图像中各个关键点的关键点图像块的图像特征与所述第一样本图像中各个关键点的关键点图像块的图像特征，确定所述待识别图像与所述第一样本图像的图像匹配度；

基于所述待识别图像中各个关键点与其在所述第一样本图像中的匹配关键点之间的匹配度和第一预设匹配阈值，以及所述待识别图像与所述第一样本图像的图像匹配度和第二预设匹配阈值，确定所述待识别图像中动物的种类是否为所述任一野生动物种类。

8.根据权利要求7所述的一种野生动物识别方法，其特征在于，截取任一图像中各个关键点的关键点图像块，具体包括：

基于所述任一图像中各个关键点的边缘关键点，确定所述任一图像中的动物在所述任一图像中的占比；

基于所述任一图像中的动物在所述任一图像中的占比，确定待截取的关键点图像块的大小；

基于所述待截取的关键点图像块的大小，以所述任一图像中各个关键点的位置为中心，截取所述任一图像中各个关键点的关键点图像块。

9.根据权利要求7所述的一种野生动物识别方法，其特征在于，所述基于所述待识别图像中各个关键点的关键点图像块的图像特征与所述第一样本图像中各个关键点的关键点图像块的图像特征，确定所述待识别图像与所述第一样本图像的图像匹配度，具体包括：

基于所述任一野生动物种类的先验知识，确定所述任一野生动物种类中的区分性关键点，并确定所述待识别图像中区分性关键点的关键点图像块的图像特征与所述第一样本图像中区分性关键点的关键点图像块的图像特征之间的匹配度；

基于所述待识别图像中区分性关键点的关键点图像块的图像特征与所述第一样本图像中区分性关键点的关键点图像块的图像特征之间的匹配度，确定所述待识别图像与所述第一样本图像的图像匹配度。

10.一种野生动物识别装置，其特征在于，包括：

特征提取单元，用于依次基于关键点预测模型的多个不同尺度的特征提取层，对待处理图像进行特征提取，得到多个不同尺度的特征图，并从所述多个不同尺度的特征图中选取若干个待激活特征图；其中，所述待处理图像包括待识别图像和任一野生动物种类对应的第一样本图像；

关键点预测单元，用于基于所述关键点预测模型的关键点预测层，对所述多个不同尺度的特征图进行关键点预测，得到所述待处理图像对应的多个通道下的关键点热图；

关键点表示单元，用于基于所述关键点预测模型的关键点表示层，对所述待激活特征图和所述多个通道下的关键点热图进行融合，得到所述待处理图像中多个关键点的关键点表示；

动物识别单元，用于对待识别图像中多个关键点的关键点表示和所述任一野生动物种类对应的第一样本图像中多个关键点的关键点表示两两进行匹配，得到所述待识别图像的关键点匹配结果，并基于所述关键点匹配结果确定所述待识别图像中动物的种类。

Images