CN113076861B - 一种基于二阶特征的鸟类细粒度识别方法 - Google Patents

Abstract

本发明公开了一种基于二阶特征的鸟类细粒度识别方法，步骤包括：步骤1：采集高质量的鸟类图像数据；步骤2：对采集到的鸟类数据进行质量检测并进行数据标记；步骤3：对标记好的鸟类数据集进行数据增强；步骤4：利用开源数据集对鸟类细粒度分类模型进行预训练；步骤5：利用数据增强后的鸟类数据进行鸟类细粒度分类模型的训练；步骤6，利用摄像头采集真实野外场景下的鸟类保护区图像数据；步骤7：利用目标检测算法检测鸟类主体并利用检测框过滤图像中鸟主体以外的背景；步骤8：对鸟主体图像进行插值处理；步骤9：利用训练好的鸟类细粒度分类模型对帧图像进行鸟类的识别，输出识别结果。本发明有效提高了鸟类识别的准确率。

Description

一种基于二阶特征的鸟类细粒度识别方法

技术领域

本发明属于鸟类细粒度识别方法领域，更具体的，涉及一种基于二阶特征的鸟类细粒度识别方法。

背景技术

近年来，由于机器学习技术不断发展和相关计算设备的计算能力不断提高，使得在通用图像分类之后，细粒度图像分类也成为可能。对于专业领域内的图像进行精准的细粒度识别，不仅可以有效的降低相关专业人员的鉴定压力，使得该领域知识被更加广泛的利用，同时是使得机器学习技术得以落地的有效方式。

图像分类任务通常指代以ImageNet等数据集为代表的通用图像分类任务，此类任务中数据集中不同类别的图像特征差异明显，例如汽车、飞机、鸟类等，其需要使用的知识通常为人类的常规知识，而非专业领域的特点知识。与通用图像分类不同，由于拍摄角度，拍摄方式以及物体运动姿态等因素，导致细粒度图像分类任务中待分类的图像通常具有类间差异大、类内差异小的问题，使得分类难度被大大增加。例如对于北极燕鸥和福斯特燕鸥两种鸟类，其不同仅体现在鸟喙的颜色所有差异，而身体部分的难以分辨。这样就导致若普通人若缺乏相关专业领域的知识，则难以进行有效的细粒度分类任务。

为了使得细粒度识别模型具有相关专业领域的知识，研究人员在细粒度识别模型进行训练的时候，使用了具有更多专业知识的标注信息。以细粒度鸟类识别任务为例，相关研究人员进行了鸟类身体特征部分的标注，例如喙，冠，尾等鸟类关键位置的标注。这些更细节的标注使得细粒度识别模型关注待识别对象关键部分的能力得到显著的提升。但是这些依靠相关专业人员进行的数据标注成本较高，导致带有此部分标注的数据难以大规模获得，而基于深度学习的特征表示学习方法，在一定程度上可以缓解相关问题，在不需要专业标注的情况下，得到更有效的图像特征。

以Mask-CNN为代表的基于深度学习的细粒度识别模型，结合目标检测(ObjectDetection)、语义分割(Semantic Segmentation)等计算机视觉领域的基础问题相关模型，对输入图像进行分析，得到模型估计的关键位置，使得细粒度图像识别模型具有检测输入图像中相关特征部件的能力。

以结合目标检测和语义分割等相关模型对输入图像进行关键部位检测的深度学习方法，由于要为相关框架提供一些监督信息，所以依然需要使用少量标注数据。为了进一步减少模型训练过程中对标注信息的使用，相关研究人员提出了基于注意力机制(Attention)的深度学习模型用于待检测物体关键部位的自动检测，并取得了一定进展。在细粒度识别领域，基于深度学习的方法正逐渐成为主流方法。

发明内容

本发明针对现有技术中基于深度学习的细粒度识别方法存在部分缺陷，包括仍存在模型对于强监督信息的依赖问题；以及当前细粒度识别方法由于数据集限制难以实际应用的问题，提供一种结合目标检测模型和二阶特征的细粒度识别方法，该方法可以在不使用细粒度识别问题数据集中强监督标注的情况下，使得模型具有一定的鸟类细粒度识别能力；同时设计一种边缘视频检测与后端细粒度识别相分离的算法框架，使得该细粒度识别模型可能被应用到实际场景中。

为实现上述目的，本发明采用以下技术方案：一种基于二阶特征的鸟类细粒度识别方法，包括如下步骤：

步骤1，采集高质量的鸟类图像数据，组成鸟类数据集D_bri；

步骤2，对采集到的鸟类数据集D_bri进行质量检测并进行数据标记，得到鸟类图像识别数据集D_br；

步骤3，对标记好的鸟类图像识别数据集D_br进行数据增强，得到扩充后的鸟类数据集D_bra；

步骤4，利用包含分类数据的开源数据集D_openr对鸟类细粒度分类模型Model_{bird_recognition}进行Pre-train操作；

步骤5，利用数据增强后的鸟类数据集D_bra对预训练后的细粒度分类模型Model_{bird_recognition}进行训练；

步骤6，利用摄像头采集野外场景下的鸟类保护区图像数据；

步骤7，利用在开源数据集D_opend上完成训练的目标检测模型Model_{bird_detection}对鸟类主体进行检测，并利用检测框过滤鸟主体以外的背景；

步骤8，对鸟主体图像进行插值处理；

步骤9，利用部署在后端服务器上训练好的鸟类细粒度分类模型Model_{bird_recognition}对步骤8处理后的帧图像进行鸟类的识别，输出识别结果。

为优化上述技术方案，采取的具体措施还包括：

进一步地，步骤2中，对采集到的鸟类数据集D_bri进行图像质量检测，保证每张图像中出现鸟类区域的最小外接矩阵的像素值大于256*232，对通过图像质量检测的数据，进行鸟类类别标签的标定，得到鸟类图像识别数据集D_br。

进一步地，步骤3中对图像数据分别通过如下方法来进行数据增强，产生三幅增强后的图像：

1)利用图像切割的方式对数据集进行数据增强，其方式为生成比图像尺寸小一些的矩形框，对图像进行随机的切割，最终以矩形框内的图像作为训练数据；

2)利用图像翻转的方式对数据集进行数据增强，其方式为对图像进行左右翻转，并将翻转前和翻转后的图像同时作为训练数据；

3)利用图像白化的方式对数据集进行数据集增强，其方式为对图像进行白化操作，即将图像本身归一化成Gaussian(0，1)分布，将归一化前及归一化后的图像同时作为训练数据。

进一步地，步骤4电对鸟类细粒度分类模型Model_{bird_recognition}的特征提取器进行Pre-train操作，训练使用优化方法为Adam优化器，使用初始学习率为0.001，其中使用的基础特征提取模块采用ResNet50网络。

进一步地，步骤5中包括使用bilinearfeature方法将原始图像特征转变为二阶特征B(F)，进行如下操作：

B(F)＝∑_fl∈Fbilinear(fl，F，f_A，f_B)

其中，F为每张图像的整个feature map，fl为feature map中的一个位置的像素点，f_A为第一个ResNet50网络所提取的图像特征，f_B为第二个ResNet50网络所提取的图像特征。

进一步地，使用代价敏感学习的方法对不同种类的损失函数进行重加权，损失函数使用交叉熵损失函数，重加权系数如下：

其中N_i为第N个类别鸟类图像的样本数目，M为训练数据集中样本的种类数目。

进一步地，步骤6中，使用部署在实际场景下的摄像头采集野外场景下的鸟类保护区的图像数据，使用ffmpeg的方式来进行视频推流。

进一步地，步骤7包括，将检测框bounding box标注转为为对应图像帧中的矩形坐标位置，之后在原始图像中将改矩形位置以外的部分进行扣除，得到一个鸟类图像，每张鸟类图像中仅包含一只鸟；所使用的目标检测算法为YOLO v4模型，所使用的训练集为Microsoft COCO数据集。

进一步地，步骤8中，对于已经去除背景的鸟主体图像帧，使用Bilinearinterpolation方法对鸟主体图像进行Resize，将图像填充为大小为448*448的图像并进行后续操作。

进一步地，步骤1中采集的高质量的鸟类图像数据包括利用摄像头采集真实部署场景下的含有不同鸟类的图像数据，以及利用互联网收集的相关鸟类图像。

本发明的有益效果是：第一，本发明利用深度学习方法，从设计一种端到端的细粒度识别算法的角度出发进行了细粒度图像数据中的更有效特征的相关探索，通过使用二阶特征的方式使得模型在不使用更强监督学习的条件下，具有一定的细粒度识别能力，对鸟类与鸟类的类别识别更准确。第二，本方法从模型落地的角度出发，针对图像分类问题真实数据集中样本类别不均衡问题，设计一种代价敏感学习方法，使得分类模型可以更好的学习到样本较少的鸟类的特征，增强模型的性能，降低成本。

附图说明

图1为本发明方法的步骤流程图。

图2为本发明中所使用的鸟类细粒度识别数据集中部分样本的展示结果。

图3为本发明中所使用的鸟类细粒度检测与识别算法流程示意图。

图4为本发明中所使用的二阶特征提取方法示意图。

图5为本发明中所使用的二阶特征提取方法示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

如附图所示，本发明提供了一种基于二阶特征的鸟类细粒度识别方法，包括如下步骤：

步骤1，根据鸟类细粒度识别算法对训练数据的要求，利用摄像头采集真实部署场景下的含有不同鸟类的图像数据，并利用互联网收集相关鸟类图像，组成细粒度识别算法的鸟类数据集D_bri。

步骤2，对采集到的鸟类数据集D_bri进行质量检测并进行数据标记，保证每张待图像中出现鸟类区域的最小外接矩阵的像素值大于256*232，对通过图像质量检测的数据，进行鸟类类别标签的标定，得到鸟类图像识别数据集D_br。

步骤3，对标记好的鸟类图像识别数据集D_br进行数据增强，得到扩充后的鸟类数据集D_bra；包括以下步骤：

对每张图像数据分别通过如下方法来进行数据增强，分别产生三幅增强后的图像：

1)利用图像切割的方式对数据集进行数据增强，其方式为生成比图像尺寸小一些的矩形框，对图像进行随机的切割，最终以矩形框内的图像作为训练数据；

2)利用图像翻转的方式对数据集进行数据增强，其方式为对图像进行左右翻转，并将翻转前和翻转后的图像同时作为训练数据；

3)利用图像白化的方式对数据集进行数据集增强，其方式为对图像进行白化操作，即将图像本身归一化成Gaussian(0，1)分布，将归一化前及归一化后的图像同时作为训练数据。

步骤4，利用开源数据集D_openr对鸟类细粒度分类模型Model_{bird_recognition}的特征提取器进行Pre-train操作，训练使用优化方法为Adam优化器，使用初始学习率为0.001。其中我们所使用的基础特征提取模块采用ResNet50网络，开源数据集D_openr主要包括了已分类好的鸟类图片数据。

步骤5，利用数据增强后的鸟类数据集D_bra对预训练后的细粒度分类模型Model_{bird_recognition}进行训练，即Pre-train之后的fine-turning操作，使用优化方法为Adam优化器，使用初始学习率为0.0001。为了保证细粒度特征的有效性，我们使用bilinearfeature的方法，将原始图像特征转变为二阶特征B(F)。在实际操作的过程中，我们对于原始feature map进行逐像素的二阶特征的计算，之后进行如下操作：

B(F)＝∑_fl∈Fbilinear(fl，F，f_A，f_B)

其中，F为每张图像的整个feature map，fl为feature map中的一个位置的像素点，f_A为第一个ResNet50网络所提取的图像特征，f_B为第二个ResNet50网络所提取的图像特征，bilinear feature操作即为上述一阶特征变化为二阶特征的方法，即将由两个不同特征提取网络提取出的两个不同的feature map进行矩阵相乘，从而可以得到关于一个像素的二阶特征，之后我们再使用相加的方法，将feature map中所有位置的特征进行融合，及得到了该图像最终的特征B(F)。为了缓解数据集中不同种类鸟类图像分布不均衡的问题，我们使用一种代价敏感学习的方法对不同种类的损失函数进行重加权，损失函数使用交叉熵损失函数，重加权系数如下：

其中N_i为第N个类别鸟类图像的样本数目，M为训练数据集中样本的种类数目。

步骤6，我们使用部署在实际场景下的摄像头采集野外场景下的鸟类保护区图像数据，使用ffmpeg的方式来进行视频推流。

步骤7，利用在开源数据集D_opend(包含分类数据的)上完成训练的目标检测模型Model_{bird_detection}对鸟类主体进行检测，检测图片中是否有鸟类，利用输出检测框bounding-box过滤含有鸟类的帧图像的复杂背景；即将检测框bounding box标注转为为对应图像帧中的矩形坐标位置，之后在原始图像中将改矩形位置以外的部分进行扣除，这样我们就得到一个背景相对干净的鸟类图像每张鸟类图像中仅包含一只鸟我们所使用的目标检测算法为YOLO v4模型，所使用的训练集为Microsoft COCO数据集。

步骤8，对于已经去除背景的图像帧，我们使用Bilinear interpolation方法对鸟主体图像进行Resize，将图像填充为448*448的图像并进行后续操作。

步骤9，利用部署在后端服务器上训练好的鸟类细粒度分类模型Model_{bird_recognition}对步骤8进行Resize后的鸟类图像，对帧图像进行鸟类的识别，输出所预测的鸟类类型结果。

为了验证本发明的有效性，我们使用了样本量为13619的鸟类细粒度识别数据集进行实验，该数据集包含120种鸟类图像。本实施例现以该数据集中一个测试样本为例，按照以下步骤进行鸟类细粒度识别：

1，为鸟类细粒度分类算法采集高质量的鸟类图像数据；

2，对采集到的鸟类数据集D_bri进行质量检测并进行数据标记，得到鸟类数据集D_br；

3，对标记好的鸟类数据集D_br进行数据增强，得到扩充后的鸟类数据集D_bra；

4，利用开源数据集D_openr对鸟类细粒度分类模型Model_{bird_recognition}进行Pre-train操作；

5：利用数据增强后的鸟类数据集D_bra对细粒度检测模型Model_{bird_recognition}进行模型的训练；

6：利用摄像头采集野外场景下的鸟类保护区图像数据；

7：利用在开源数据集D_opend上完成训练的目标检测模型Model_{bird_detection}对鸟类主体进行检测，并利用检测框过滤鸟主体以外的背景；

8：对鸟主体图像进行插值处理；

9：利用部署在后端服务器上训练好的鸟类细粒度分类模型Model_{bird_recognition}对帧图像进行鸟类的识别，输出识别结果。

经过测试，本发明的方法在该数据集上达到了92.5％的识别准确率。

图2展示了本方法中所使用的鸟类细粒度识别数据集部分样本的可视化结果，该数据集共采集了120种共13619张图像的数据。

图3展示了本发明所使用的前后端分离设计的算法构架示意图。可以清晰的观察到我们的细粒度识别算法分为两个阶段，算法的第一阶段为视频检测阶段，第二阶段为细粒度识别阶段。在第一阶段中，视频检测算法部署在边缘设备，即x86构架的边缘网关设备上，该算法首先对输入的视频帧进行采样，之后对采样后的图像帧进行目标检测，判断该帧是否有鸟，若有鸟则判断出鸟的位置，通过此部分，我们可以将视频流中有鸟的视频片段回传到后端服务器中，从而减少后端服务器的计算压力。在第二阶段中，我们利用第一阶段得到的有鸟的图像帧，以及该帧对应的鸟的位置，首先进行一步背景过滤，然后对过滤后的图像进行细粒度分类，从而可以得到预测的结果。

图4展示了本发明中所使用的二阶特征提取方法示意图。我们使用两个共享参数的特征提取模块分别进行Feature的提取，然后将两个参数进行融合得到图像的二阶特征。

本发明设计基于深度学习的野外场景下的鸟类检测及细粒度识别方法，考虑图像分类数据集中经常出现的数据类别不均衡问题，设计一种代价敏感学习策略，帮助模型对样本交少的类进行更充分的学习。

具体实现该技术方案的方法和途径很多，以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (9)

1.一种基于二阶特征的鸟类细粒度识别方法，其特征在于，包括如下步骤：

步骤1，采集高质量的鸟类图像数据，组成鸟类数据集D_bri；

步骤2，对采集到的鸟类数据集D_bri进行质量检测并进行数据标记，得到鸟类图像识别数据集D_br；

步骤3，对标记好的鸟类图像识别数据集D_br进行数据增强，得到扩充后的鸟类数据集D_bra；

步骤4，利用包含分类数据的开源数据集D_openr对鸟类细粒度分类模型Model_{bird_recognition}进行Pre-train操作；

步骤5，利用数据增强后的鸟类数据集D_bra对预训练后的细粒度分类模型Model_{bird_recognition}进行训练，使用代价敏感学习的方法对不同种类的损失函数进行重加权，损失函数使用交叉熵损失函数，重加权系数如下：

其中N_i为第i个类别鸟类图像的样本数目，M为训练数据集中样本的种类数目；

将原始图像特征转变为二阶特征；

步骤6，利用摄像头采集野外场景下的鸟类保护区图像数据；

步骤7，利用在开源数据集D_opend上完成训练的目标检测模型Model_{bird_detection}对鸟类主体进行检测，并利用检测框过滤鸟主体以外的背景；

步骤8，对鸟主体图像进行插值处理；

步骤9，利用部署在后端服务器上训练好的鸟类细粒度分类模型Model_{bird_recognition}对步骤8处理后的帧图像进行鸟类的识别，输出识别结果。

2.根据权利要求1所述的鸟类细粒度识别方法，其特征在于，步骤2中，对采集到的鸟类数据集D_bri进行图像质量检测，保证每张图像中出现鸟类区域的最小外接矩阵的像素值大于256*232，对通过图像质量检测的数据，进行鸟类类别标签的标定，得到鸟类图像识别数据集D_br。

3.根据权利要求1所述的鸟类细粒度识别方法，其特征在于，步骤3中对图像数据分别通过如下方法来进行数据增强，产生增强后的图像：

1)利用图像切割的方式对数据集进行数据增强，其方式为生成比图像尺寸小一些的矩形框，对图像进行随机的切割，最终以矩形框内的图像作为训练数据；

2)利用图像翻转的方式对数据集进行数据增强，其方式为对图像进行左右翻转，并将翻转前和翻转后的图像同时作为训练数据；

3)利用图像白化的方式对数据集进行数据集增强，其方式为对图像进行白化操作，即将图像本身归一化成Gaussian(0,1)分布，将归一化前及归一化后的图像同时作为训练数据。

4.根据权利要求1所述的鸟类细粒度识别方法，其特征在于，步骤4中，对鸟类细粒度分类模型Model_{bird_recognition}的特征提取器进行Pre-train操作，训练使用优化方法为Adam优化器，使用初始学习率为0.001，其中使用的基础特征提取模块采用ResNet50网络。

5.根据权利要求4所述的鸟类细粒度识别方法，其特征在于，步骤5中包括使用bilinear feature方法，将原始图像特征转变为二阶特征B(F)，进行如下操作：

B(F)＝∑_fl∈Fbilinear(fl,F,f_A,f_B)

其中，F为每张图像的整个feature map，fl为feature map中的一个位置的像素点，f_A为第一个ResNet50网络所提取的图像特征，f_B为第二个ResNet50网络所提取的图像特征。

6.根据权利要求1所述的鸟类细粒度识别方法，其特征在于，步骤6中，使用部署在实际场景下的摄像头采集野外场景下的鸟类保护区的图像数据，使用ffmpeg的方式来进行视频推流。

7.根据权利要求1所述的鸟类细粒度识别方法，其特征在于，步骤7包括，将检测框bounding box标注转为为对应图像帧中的矩形坐标位置，之后在原始图像中将改矩形位置以外的部分进行扣除，得到一个鸟类图像，每张鸟类图像中仅包含一只鸟；所使用的目标检测算法为YOLO v4模型，所使用的训练集为Microsoft COCO数据集。

8.根据权利要求1所述的鸟类细粒度识别方法，其特征在于，步骤8中，对于已经去除背景的鸟主体图像帧，使用Bilinear interpolation方法对鸟主体图像进行Resize，将图像填充为大小为448*448的图像并进行后续操作。

9.根据权利要求1所述的鸟类细粒度识别方法，其特征在于，步骤1中采集的高质量的鸟类图像数据包括利用摄像头采集真实部署场景下的含有不同鸟类的图像数据，以及利用互联网收集的相关鸟类图像。

Images