CN111046858B - 一种基于图像的动物物种细分类方法、系统及介质 - Google Patents

Abstract

本发明公开了一种基于图像的动物物种细分类方法、系统及介质，包括：获取动物待分类图像；利用卷积神经网络定位所述图像中含有动物的目标区域，并进行动物物种粗分类得到动物所属物种；判断动物所属物种是否为已知物种；若否，则判定动物为新物种；若是，则将含有动物的目标区域的图像输入细分类网络模型中识别出动物的具体类别；判断动物的具体类别是否为已知类别；若是，则输出动物的类别；若否，则判定动物为新物种。该方法利用计算机对待分类图像进行自动识别和分析判断动物属于已知物种或新物种，提高数据采集和分析的效率，大大减轻人工工作量。并且不会动动物身体造成伤害，有利于辅助野生动物的调查和研究。

Description

一种基于图像的动物物种细分类方法、系统及介质

技术领域

本发明涉及计算机应用技术领域，具体涉及一种基于图像的动物物种细分分类方法、系统及介质。

背景技术

目前生物界所用的生物分类法一共分为八个等级，分别为域(Domain)、界(Kingdom)、门(Phylum)、纲(Class)、目(Order)、科(Family)、属(Genus)、种(Species)。其中物种是指生物界发展的连续性与间断性统一的基本间断形式，在有性生物中，物种呈现为统一的繁殖群体，由占有一定空间，具有实际或潜在繁殖能力的种群所组成，而且与其他这样的群体在生殖上是隔离的。目前在生物学界对动物主要采用的分类方法主要分为宏观和微观两个方面，在宏观方面比如有基于动物的形态、生殖隔离、生活习性、生态要求等作为分类的依据，在微观方面比如有基于染色体的数目、蛋白质的结构、DNA、RNA等作为分类的依据。

然而这些方法需要从事相关方面的工作人员具备非常专业的技术背景知识。宏观方面的方法相对主观，经验性较强，而微观方面的方法相对繁琐复杂，耗时较长。比如：在野生动物的调查和研究中，需要利用无人机航拍或者摄像机拍照去调查一片区域内动物的种类，在这个过程中由于会产生大量的视频和图片数据，如果利用人工去识别，这项工作将非常繁琐且复杂。

发明内容

针对现有技术中的缺陷，本发明实施例提供的一种基于图像的动物物种细分类方法、系统及介质，根据动物图像中的体貌特征自动判别动物的物种类别，提高数据分析的效率，减少人工工作量。

第一方面，本发明实施例提供的一种基于图像的动物物种细分类方法，包括：

获取动物待分类图像；

利用卷积神经网络定位所述图像中含有动物的目标区域，并进行动物物种粗分类得到动物所属物种；

判断动物所属物种是否为已知物种；

若否，则判定动物为新物种；

若是，则将含有动物的目标区域的图像输入细分类网络模型中识别出动物的具体类别；

判断动物的具体类别是否为已知类别；

若是，则输出动物的类别；

若否，则判定动物为新物种。

第二方面，本发明实施例提供的一种基于图像的动物物种细分类系统，包括获取模块、物种粗分类模块、物种判断模块和类别细分类模块，

所述获取模块用于获取动物待分类图像；

所述物种粗分类模块利用卷积神经网络定位所述图像中含有动物的目标区域，并进行动物物种粗分类分析得到动物所属物种；

所述物种判断模块用于根据物种粗分类模块得到的动物所属物种判断是否为已知物种，若否，则为新物种，若是，则将含有动物的目标区域的图像发送给类别细分类模块进行分析；

所述类别细分类模块用于将含有动物的目标区域的输入图像细分类网络模型中识别出动物的具体类别；

所述物种判断模块还用于判断类别细分类模块得到的动物具体类别是否为已知类别，若是，则输出动物的类别，若否，则判定动物为新物种。

第三方面，本发明实施例提供的一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述实施例描述的方法步骤。

本发明的有益效果：

本发明实施例提供的一种基于图像的动物物种细分类方法、系统及介质，利用计算机对待分类图像进行自动识别和分析判断动物属于已知物种或新物种，提高数据采集和分析的效率，大大减轻人工工作量。并且不会动动物身体造成伤害，有利于辅助野生动物的调查和研究。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1示出了本发明第一实施例所提供的一种基于图像的动物物种细分类方法的流程图；

图2示出了本发明第一实施例中动物粗分类示意图；

图3示出了本发明第一实施例中的动物细分类结构示意图；

图4示出了本发明第二实施例所提供的一种基于图像的动物物种细分类系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

图1示出了本发明第一实施例所提供的一种基于图像的动物物种细分类方法的流程图，该方法包括：

S1:获取动物待分类图像。

S2:利用卷积神经网络定位所述图像中含有动物的目标区域，并进行动物物种粗分类得到动物所属物种。

S3:判断动物所属物种是否为已知物种。

S4:若否，则判定动物为新物种。

S5:若是，则将含有动物的目标区域的图像输入细分类网络模型中识别出动物的具体类别。

S6:判断动物的具体类别是否为已知类别。

S7:若是，则输出动物的类别。

S4:若否，则判定动物为新物种。

在给定一幅图像(图像中可以包含多只不同的动物)，利用卷积神经网络定位图像中的动物的区域，并进行动物物种的粗分类，得到动物所属物种。此阶段按“科”进行动物物种分类，例如：牛科、犬科、马科、猫科、猴科、兔科、熊科等C个已知物种类别，C为自然数。

如图2所示，卷积神经网络输出一系列的向量{D_m|m＝1，2，...n}，m，n均为自然数，每个向量D_m代表一个区域且包含(C+5)个值，(C+5)值为(x，y，w1，h1，a，P₁...P_c)，其中x和y表示该区域在原图像上的左上角坐标，w1和h1表示该区域的长和宽，a表示该区域含有动物的置信度，C表示动物属于某科的类别，P_m表示该区域是第m个类别动物的概率，w1、h1均为自然数，0<a<1、0<P_m<1。通过设定一个阈值t，0<t<1，若向量D_m中的置信度a大于阈值t，则表明该区域含有动物。对所有满足P_m大于t的区域进行非最大值抑制处理，最终得到一个或多个仅含一只动物的图像区域，且区域中动物的类别为最大概率所对应的物种，即argmax(P₁,…,P_C)。

通过上述步骤S1和步骤S2，实现根据动物物种的粗分类可以判断出动物数据某科。通过步骤S5～步骤S7,实现对动物物种的细分类，识别动物的具体类别。例如，根据动物粗分类得到猴子属于“猴”科，将含有猴子区域的图像输入细分类网络模型中，识别出这只猴子的具体类别，如：金丝猴、黑叶猴、短尾猴、白头叶猴、熊猴等等。

将含有动物的目标区域的图像输入细分类网络模型中识别出动物的具体类别的方法包括：将含有动物的目标区域的图像输入训练好的细分类网络模型中，输出特征图S；将特征图S分别输入训练好的A分支卷积神经网络和B分支卷积神经网络，A分支卷积神经网络和B分支卷积神经网络分别得到相应的热力图S_2A和S_2B；将A分支卷积神经网络的热力图S_2A和B分支卷积神经网络的热力图S_2B进行相加，将相加得到的结果通过GAP层得到向量Y；对所述向量Y进行非最大值抑制处理，最大概率所对应的类别为识别出的动物类别。

具体地，如图3所示，示出本发明第一实施例中细分类网络模型的结构示意图，基础网络Backbone选取ResNet-50网络结构，去除其最后的GAP(Global Average Pooling)层和全连接层。将物种粗分类得到的含有动物的目标区域图像进行预处理，预处理的步骤包括：将图片缩放到相同大小，比如224×224，然后按通道进行归一化处理。将预处理后的图片输入到基础网络后，输出得到K张W×H的特征图S∈R^K×W×H，K为自然数，W为特征图的宽度，H为特征图的高度。

将特征图S分别送入A分支卷积神经网络和B分支卷积神经网络(通常为2到3个卷积层)，这两个分支卷积神经网络主要用于抽取不同的判别性特征。A分支卷积神经网络可以得到k张w×h的特征图S_1A∈R^k×w×h,其经过GAP层可以得到的相应的特征向量F_A∈R^k×1×1。B分支卷积神经网络也可以得到k张w×h的特征图S_1B∈R^k×w×h,其经过GAP层也可以得到相应的F_A∈R^k×1×1，其中，k为自然数，w为分支卷积神经网络输出的特征图的宽度，h为分支卷积神经网络输出的特征图的高度。

为了使得卷积神经网络抽取到的特征更具判别性，将F_A和F_B分别接入TripletLoss损失函数,具体公式如下所示：

基于欧氏距离：

基于余弦距离：

其中，w_j表示第j个1×1的卷积核,w_i表示第i个1×1的卷积核,i表示样本的类别为第i类，″·″表示向量乘积。

设定一个已知动物物种的类别为p，将A分支卷积神经网络的特征图S_1A通过第一卷积核，第一卷积核为p个1×1的卷积核，得到p张w×h的热力图S_2A∈R^p×w×h；

假设输入图片的类别属于第i类，从A分支卷积神经网络的热力图S_2A中抽取第i张热力图S_2A[i]∈R^w×h；对该热力图进行negative操作，得到相应的mask∈R^w×h；对该热力图进行negative操作即1-Normalize(S_2A[i])，即可得到相应的mask∈R^w×h。其中归一化的公式如下所示：

将B分支卷积神经网络的特征图S_1B通过第二卷积核，所述第二卷积核为p个1×1的卷积核，得到p张w×h的热力图S_2B∈R^p×w×h，将B分支卷积神经网络的热力图S_2B中的第i张热力图S_2B[i]∈R^w×h乘以mask；通过这样的操作来保证A分支与B分支学习到的判别性特征是不一样的。

最后，将A分支的热力图S_2A通过GAP层后会分别得到一个p维的向量Y_A，Y_A＝[y₀ ^A，y₁ ^A，...y_p-1 ^A]，同时将B分支的热力图S_2B通过GAP层后会分别得到一个p维的向量Y_B，Y_B＝[y₀ ^B，y₁ ^B，...y_p-1 ^B]，分别将Y_A和Y_B接入Softmax Loss损失函数，然后分别将Y_A和Y_B接入Softmax Loss损失函数对细分类网络模型训练，其中Softmax Loss的具体公式如下所示：

其中，i表示样本的类别为第i类。

将Y_A、Y_B进行相加操作再通过GAP层得到向量Y＝[y₀,y₁,…,y_P-1]，对该向量Y进行非最大值抑制处理，即计算argmax(Y)来预测输入动物图片的具体类别，也就是最大概率所对应的动物类别为识别出动物类别。

本实施例提供的基于图像的动物物种细分类方法，利用计算机对待分类图像进行自动识别和分析判断动物属于已知物种或新物种，提高数据采集和分析的效率，大大减轻人工工作量。并且不会动动物身体造成伤害，有利于辅助野生动物的调查和研究。

在上述的第一实施例中，提供了一种基于图像的动物物种细分类方法，与之相对应的，本申请还提供一种基于图像的动物物种细分类系统。请参考图4，其为本发明第二实施例提供的一种基于图像的动物物种细分类系统的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

本发明第二实施例提供的基于图像的动物物种细分类系统，包括获取模块、物种粗分类模块、物种判断模块和类别细分类模块，

所述获取模块用于获取动物待分类图像；

所述物种粗分类模块利用卷积神经网络定位所述图像中含有动物的目标区域，并进行动物物种粗分类分析得到动物所属物种；

所述物种判断模块用于根据物种粗分类模块得到的动物所属物种判断是否为已知物种，若否，则为新物种，若是，则将含有动物的目标区域的图像发送给类别细分类模块进行分析；

所述类别细分类模块用于将含有动物的目标区域的输入图像细分类网络模型中识别出动物的具体类别；

所述物种判断模块还用于判断类别细分类模块得到的动物具体类别是否为已知类别，若是，则输出动物的类别，若否，则判定动物为新物种。

在本发明的第二实施例中，物种粗分类模块利用卷积神经网络定位所述图像中含有动物的目标区域，并进行动物物种粗分类得到动物所属物种具体分析方法包括：设定已知动物物种种类为C个，C为自然数；

将待分类图像输入卷积神经网络，输出多个向量{D_m|m＝1，2，...n}，m，n均为自然数，，每个向量D_m代表一个区域且包含(C+5)个值，(C+5)值为(x，y，wl，hl，a，P₁…P_c)，其中，x和y表示该区域在原图像上的左上角坐标，w₁和h₁表示该区域的长和宽，a表示该区域含有动物的置信度，C表示动物属于已知物种中的一个物种，P_m表示该区域是第m个物种动物的概率，w1、h1均为自然数，0<a<1、0<P_m<1；

设定阈值t，0<t<1，若向量D_m中的置信度a大于阈值t，则表明该区域含有动物；

对所有P_m大于t的区域进行非最大值抑制处理，得到一个或多个仅含一只动物的图像区域，且目标区域中动物的类别为最大概率所对应的物种。

在本发明第二实施例中，类别细分类模块将含有动物的目标区域的图像输入细分类网络模型中识别出动物的具体类别的方法包括：

将含有动物的目标区域的图像输入训练好的细分类网络模型中，输出特征图S；

将特征图S分别输入训练好的A分支卷积神经网络和B分支卷积神经网络，A分支卷积神经网络和B分支卷积神经网络分别得到相应的热力图S_2A和S_2B；

将A分支卷积神经网络的热力图S_2A和B分支卷积神经网络的热力图S_2B进行相加，将相加得到的结果通过GAP层得到向量Y＝[y₀,y₁,…,y_P-1]；

对Y＝[y₀,y₁,…,y_P-1]进行非最大值抑制处理，最大概率所对应的类别为识别出的动物类别。

在本发明第二实施例中，类别细分类模块还包括训练模块，

所述训练模块用于将每一个已知动物物种的图片进行预处理；

将预处理后的图片输入基础网络模型中，输出K张W×H的特征图S∈R^K×W×H，K为自然数，W为特征图的宽度，H为特征图的高度；

将特征图S分别输入A分支卷积神经网络和B分支卷积神经网络中，

从A分支卷积神经网络输出k张w×h的特征图S_1A∈R^k×w×h，再经过GAP层得到相应的特征向量F_A∈R^k×1×1；

从B分支卷积神经网络输出k张w×h的特征图S_1B∈R^k×w×h，再经过GAP层也可以得到相应的特征向量F_B∈R^k×1×1；

其中，k为自然数，w为分支卷积神经网络输出的特征图的宽度，h为分支卷积神经网络输出的特征图的高度；

将F_A和F_B分别接入Triplet Loss损失函数。

设定一个已知动物物种的类别为p，将所述特征图S_1A通过第一卷积核，第一卷积核为p个1×1的卷积核，得到p张w×h的热力图S_2A∈R^p×w×h；假设输入图片的类别属于第i类，从A分支卷积神经网络的热力图S_2A中抽取第i张热力图S_2A[i]∈R^w×h；

对所述热力图进行negative操作，得到相应的mask∈R^w×h；

将所述特征图S_1B通过第二卷积核，所述第二卷积核为p个1×1的卷积核，得到p张w×h的热力图S_2B∈R^p×w×h，将B分支卷积神经网络的热力图S_2B中的第i张热力图S_2B[i]∈R^w×h乘以mask；

将A分支卷积神经网络的热力图S_2A通过GAP层后会分别得到一个p维的向量Y_A，Y_A＝[y₀ ^A，y₁ ^A，...y_p-1 ^A]，同时将B分支的热力图S_2B通过GAP层后会分别得到一个p维的向量Y_B，Y_B＝[y₀ ^B，y₁ ^B，...y_p-1 ^B]，分别将Y_A和Y_B接入Softmax Loss损失函数对细分类网络模型训练。

本发明第二实施例提供的一种基于图像的动物物种细分类系统，利用计算机对待分类图像进行自动识别和分析判断动物属于已知物种或新物种，提高数据采集和分析的效率，大大减轻人工工作量。并且不会动动物身体造成伤害，有利于辅助野生动物的调查和研究。

在本发明还提供一种计算机可读存储介质的实施例，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述实施例描述的方法。

所述计算机可读存储介质可以是前述实施例所述的终端的内部存储单元，例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述终端的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (6)

1.一种基于图像的动物物种细分类方法，其特征在于，包括：

获取动物待分类图像；

利用卷积神经网络定位所述图像中含有动物的目标区域，并进行动物物种粗分类得到动物所属物种；

判断动物所属物种是否为已知物种；

若否，则判定动物为新物种；

若是，则将含有动物的目标区域的图像输入细分类网络模型中识别出动物的具体类别；

判断动物的具体类别是否为已知类别；

若是，则输出动物的类别；

若否，则判定动物为新物种；

将含有动物的目标区域的图像输入细分类网络模型中识别出动物的具体类别的方法包括：

将含有动物的目标区域的图像输入训练好的细分类网络模型中，输出特征图S；

将特征图S分别输入训练好的A分支卷积神经网络和B分支卷积神经网络，A分支卷积神经网络和B分支卷积神经网络分别得到相应的热力图S_2A和S_2B；

将A分支卷积神经网络的热力图S_2A和B分支卷积神经网络的热力图S_2B进行相加，将相加得到的结果通过GAP层得到向量Y；

对所述向量Y进行非最大值抑制处理，最大概率所对应的类别为识别出的动物类别；

在所述将含有动物的目标区域的图像输入训练好的细分类网络模型中的步骤之前还包括对细分类网络模型进行训练，训练的方法包括：将每一个已知动物物种的图片进行预处理；

将预处理后的图片输入基础网络模型中，输出K张W×H的特征图S∈R^K×W×H，K为自然数，W为特征图的宽度，H为特征图的高度；

将特征图S分别输入A分支卷积神经网络和B分支卷积神经网络中，

从A分支卷积神经网络输出k张w×h的特征图S_1A∈R^k×w×h，再经过GAP层得到相应的特征向量F_A∈R^k×1×1；

从B分支卷积神经网络输出k张w×h的特征图S_1B∈R^k×w×h，再经过GAP层也可以得到相应的特征向量F_B∈R^k×1×1；

其中，k为自然数，w为分支卷积神经网络输出的特征图的宽度，h为分支卷积神经网络输出的特征图的高度；

将所述F_A和F_B分别接入Triplet Loss损失函数；

设定一个已知动物物种的类别为p，将所述特征图S_1A通过第一卷积核，第一卷积核为p个1×1的卷积核，得到p张w×h的热力图S_2A∈R^p×w×h；

假设输入图片的类别属于第i类，从A分支卷积神经网络的热力图S_2A中抽取第i张热力图S_2A[i]∈R^w×h；

对所述热力图进行negative操作，得到相应的mask∈R^w×h；

将所述特征图S_1B通过第二卷积核，所述第二卷积核为p个1×1的卷积核，得到p张w×h的热力图S_2B∈R^p×w×h，将B分支卷积神经网络的热力图S_2B中的第i张热力图S_2B[i]∈R^w×h乘以mask；

将A分支卷积神经网络的热力图S_2A通过GAP层后会分别得到一个p维的向量Y_A，Y_A＝[y₀ ^A，y₁ ^A，...y_p-1 ^A]，同时将B分支的热力图S_2B通过GAP层后会分别得到一个p维的向量Y_B，Y_B＝[y₀ ^B，y₁ ^B，...y_p-1 ^B]，分别将Y_A和Y_B接入Softmax Loss损失函数对细分类网络模型训练。

2.如权利要求1所述的基于图像的动物物种细分类方法，其特征在于，所述利用卷积神经网络定位所述图像中含有动物的目标区域，并进行动物物种粗分类得到动物所属物种的具体方法包括：

设定已知动物物种种类为C个，C为自然数；

将待分类图像输入卷积神经网络，输出多个向量{D_m|m＝1，2，...n}，m，n均为自然数，每个向量D_m代表一个区域且包含(C+5)个值，(C+5)值为(x，y，w1，h1，a，P₁...P_c)，其中，x和y表示该区域在原图像上的左上角坐标，w1和h1表示该区域的长和宽，a表示该区域含有动物的置信度，C表示动物属于已知物种中的一个物种，P_m表示该区域是第m个物种动物的概率，w1、h1均为自然数，0<a<1、0<P_m<1；

设定阈值t，0<t<1，若向量D_m中的置信度a大于阈值t，则表明该区域含有动物；

对所有P_m大于t的区域进行非最大值抑制处理，得到一个或多个仅含一只动物的图像区域，且目标区域中动物的类别为最大概率所对应的物种。

3.如权利要求1所述的基于图像的动物物种细分类方法，其特征在于，所述基础网络模型为Backbone。

4.一种基于图像的动物物种细分类系统，其特征在于，包括获取模块、物种粗分类模块、物种判断模块和类别细分类模块，

所述获取模块用于获取动物待分类图像；

所述物种粗分类模块利用卷积神经网络定位所述图像中含有动物的目标区域，并进行动物物种粗分类分析得到动物所属物种；

所述物种判断模块用于根据物种粗分类模块得到的动物所属物种判断是否为已知物种，若否，则为新物种，若是，则将含有动物的目标区域的图像发送给类别细分类模块进行分析；

所述类别细分类模块用于将含有动物的目标区域的输入图像细分类网络模型中识别出动物的具体类别；

所述物种判断模块还用于判断类别细分类模块得到的动物具体类别是否为已知类别，若是，则输出动物的类别，若否，则判定动物为新物种；

所述类别细分类模块将含有动物的目标区域的图像输入细分类网络模型中识别出动物的具体类别的方法包括：

将含有动物的目标区域的图像输入训练好的细分类网络模型中，输出特征图S；

将特征图S分别输入训练好的A分支卷积神经网络和B分支卷积神经网络，A分支卷积神经网络和B分支卷积神经网络分别得到相应的热力图S_2A和S_2B；

将A分支卷积神经网络的热力图S_2A和B分支卷积神经网络的热力图S_2B进行相加，将相加得到的结果通过GAP层得到向量Y＝[y₀,y₁,…,y_P-1]；

对Y＝[y₀,y₁,…,y_P-1]进行非最大值抑制处理，最大概率所对应的类别为识别出的动物类别；

所述类别细分类模块还包括训练模块，

将预处理后的图片输入基础网络模型中，输出K张W×H的特征图S∈R^K×W×H，K为自然数，W为特征图的宽度，H为特征图的高度；

将特征图S分别输入A分支卷积神经网络和B分支卷积神经网络中，

从A分支卷积神经网络输出k张w×h的特征图S_1A∈R^k×w×h，再经过GAP层得到相应的特征向量F_A∈R^k×1×1；

从B分支卷积神经网络输出k张w×h的特征图S_1B∈R^k×w×h，再经过GAP层也可以得到相应的特征向量F_B∈R^k×1×1；

其中，k为自然数，w为分支卷积神经网络输出的特征图的宽度，h为分支卷积神经网络输出的特征图的高度；

将所述F_A和F_B分别接入Triplet Loss损失函数；

设定一个已知动物物种的类别为p，将所述特征图S_1A通过第一卷积核，第一卷积核为p个1×1的卷积核，得到p张w×h的热力图S_2A∈R^p×w×h；

假设输入图片的类别属于第i类，从A分支卷积神经网络的热力图S_2A中抽取第i张热力图S_2A[i]∈R^w×h；

对所述热力图进行negative操作，得到相应的mask∈R^w×h；

将所述特征图S_1B通过第二卷积核，所述第二卷积核为p个1×1的卷积核，得到p张w×h的热力图S_2B∈R^p×w×h，将B分支卷积神经网络的热力图S_2B中的第i张热力图S_2B[i]∈R^w×h乘以mask；

将A分支卷积神经网络的热力图S_2A通过GAP层后会分别得到一个p维的向量Y_A，Y_A＝[y₀ ^A，y₁ ^A，...y_p-1 ^A]，同时将B分支的热力图S_2B通过GAP层后会分别得到一个p维的向量Y_B，Y_B＝[y₀ ^B，y₁ ^B，...y_p-1 ^B]，分别将Y_A和Y_B接入Softmax Loss损失函数对细分类网络模型训练。

5.如权利要求4所述的基于图像的动物物种细分类系统，其特征在于，所述物种粗分类模块利用卷积神经网络定位所述图像中含有动物的目标区域，并进行动物物种粗分类得到动物所属物种具体分析方法包括：设定已知动物物种种类为C个；

将待分类图像输入卷积神经网络，输出多个向量{D_m|m＝1，2，...n}，m，n均为自然数，每个向量D_m代表一个区域且包含(C+5)个值，(C+5)值为(x，y，w₁，h₂，a，P₁...P_c)，其中，x和y表示该区域在原图像上的左上角坐标，w₁和h₁表示该区域的长和宽，a表示该区域含有动物的置信度，C表示动物属于已知物种中的一个物种，P_m表示该区域是第m个物种动物的概率，w1、h1均为自然数，0<a<1、0<P_m<1；

设定阈值t，0<t<1,若向量D_m中的置信度a大于阈值t，则表明该区域含有动物；

对所有P_m大于t的区域进行非最大值抑制处理，得到一个或多个仅含一只动物的图像区域，且区域中动物的类别为最大概率所对应的物种。

6.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-3任一项所述的方法步骤。

Images