CN110276363A - 一种基于密度图估计的鸟类小目标检测方法 - Google Patents

Abstract

本发明公布了一种基于密度图估计的鸟类小目标检测方法，涉及基于计算机视觉的生态监测技术。本发明方法包括训练阶段和检测阶段，利用基于实例学习的方法学习密度图，在密度图上，通过滑动窗口和求窗口内局部极值的方法估计鸟类小目标的位置，进行基于超像素的包围框估计，实现小样本训练集下的鸟类小目标检测。本发明降低了对训练集规模的依赖性，同时减轻大量繁琐的训练样本人工标注的工作；能够更好地匹配小目标的形状和轮廓，检测精度较高。

Description

一种基于密度图估计的鸟类小目标检测方法

技术领域

本发明属于计算机视觉技术、目标检测技术领域，涉及基于计算机视觉的生态监测技术，尤其涉及一种基于密度图估计的鸟类小目标检测方法。

背景技术

鸟类因具有分布广泛、种类多样以及易于识别等特点，是研究最多和调查最为频繁的动物类群之一，也是一类对栖息地改变和环境变化反应极为敏感的动物。鸟类物种的组成、数量、多样性和群落等特征可直接反映栖息地的适宜性、生态系统健康与生物多样性状况、人类活动对生态系统的干扰程度、土地利用和景观改变对生态系统影响程度，以及区域生态环境的质量。迄今为止，野外监测站点主要还是沿用人工调查的传统工作方式，获得的鸟类信息资料的连续性、可信度和时效性较差。因此，实现鸟类目标检测技术是实现自动化鸟类生态数据获取的重要方式。

近年来，计算机视觉技术迅速发展，已从学术研究领域逐步拓展到工业应用领域。快速、精确地检测图像中特定目标是计算机视觉领域中的关键研究问题之一，其核心思想是结合图像处理技术和机器学习算法，模拟人类视觉器官和大脑系统，对输入图像中目标进行准确表达和精确定位。静态图像的目标检测技术可分为传统的目标检测技术和基于深度学习的目标检测技术。传统目标检测方法的研究重点在特征提取(如何提高特征的表达能力和抗形变能力)和特征分类(如何提高分类器的准确度和速度)。然而，由于传统目标检测方法使用设计的大多为人工特征，对于实际场景中复杂多变的应用需求，其特征表达能力十分有限，从而影响目标检测效果。为了提取更好的特征，Hinton在2006年提出了深度学习，利用深度神经网络从大量的数据中自动地学习高层特征。随着深度学习的不断发展，研究者发现，利用卷积神经网络进行目标检测，准确度可以获得较大的提升。卷积神经网络不仅能够提取高层语义特征，提高了特征的表达能力；还能够将特征提取、特征选择和特征分类融合在同一模型中，通过端到端的训练，从整体上进行功能优化，增强了特征的可分性。

然而，在自然状态下，鸟类通常为聚集和群居分布，且栖息地距离可达监测点的距离相对较远，使得鸟类个体在视觉上的显著性较低。因此，在获取的图像中，鸟类多呈现为尺度小，分辨率低的目标个体，且在分布上存在遮挡和密集分布等特点。针对鸟类小目标检测，基于传统目标检测算法和基于深度神经网络的目标检测算法等主流目标检测算法依然存在诸多挑战。鸟类个体的尺度小，遮挡重叠等问题使得图像中有效特征信息损失；同时，大量密集分布的鸟类小目标为人工标注训练样本带来了难度。针对上述问题，现有的这些主流目标检测算法在鸟类小目标检测任务中的检测效果有所下降，检测效果不佳。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于密度图估计的鸟类小目标检测方法，利用基于实例学习的方法学习密度图，实现小样本训练集下的鸟类小目标检测，对训练集规模的依赖性降低，同时减轻大量繁琐的训练样本人工标注的工作；本发明方法能够更好地匹配小目标的形状和轮廓，检测精度较高。

本发明的技术方案如下：

一种基于密度图估计的鸟类小目标检测方法，利用基于实例学习的方法学习密度图，通过密度图和超像素分割实现小样本训练集下的鸟类小目标检测；该方法包括密度图估计阶段和基于密度图估计的鸟类小目标检测阶段，密度图估计阶段包括训练阶段和测试阶段，具体包括如下步骤：

A.在密度图估计阶段的训练阶段，对于每幅训练图像I_i,i∈{1,2,…,N}，使用固定大小的滑动窗口(窗口大小为4×4，滑动距离为2)从图像中提取图像块。图像块构成训练集合Y＝{y₁,y₂,…,y_M}相对应的，使用同样的滑动窗口，从训练图像生成的密度图中提取相应的密度图图像块，其构成训练集合 这里，M为图像块及密度图块的总个数。实际处理时，4×4大小的图像块通常拉伸成16×1的列向量处理。

其中，图像块训练集Y和其对应的密度图训练集Y^d生成方式如下：

给定N张训练图像I₁,I₂,…,I_N。对于每张训练图像I_i(1≤i≤N)，所有的感兴趣目标都使用2维点标注出其具体位置(一般标注在目标形状的重心上，理论上标注在目标形状内即可)，这些2维点集合这里标记成P_i。因此对于I_i中的每一个像素p(p∈I_i)而言，其对应的真实目标密度函数可以定义为基于标注点的2维高斯核的累积。用公式可以表示为：

其中，P是P_i种的一个标注点的位置，δ是控制2维高斯核平滑程度的参数，本发明设置为3。

B.密度图估计方法的测试阶段；

密度图学习方法假设：图像块形成的流形空间和其对应的密度图块形成的流形空间共享相似的局部几何结构。基于局部线性嵌入理论，这种特征向量的局部几何结构可以通过其相邻特征向量线性重构该向量来表示。因此，基于实例学习的密度图估计方法的测试阶段包括如下步骤：

B1.输入一张测试图片X，用固定大小的滑动窗口从中提取图像块x_ij，即x_ij是从X中提取出的第(i,j)个图像块。具体实施时，滑动窗口大小为像素4×4，滑动距离为2。

B2.基于切比雪夫距离和K近邻算法，从训练样本集Y中选择和x_ij最相似(即切比雪夫距离最小)的K个图像块(近邻数K＝128)，分别记为构成近邻块字典 这些近邻块对应的密度图构成的字典为

B3.使用正交匹配追踪算法求解公式，求得最终选择的样本集字典D_Y和对应样本使用的权重w^*：

其中，w_i为样本x_ij与其相邻样本块的线性重构权重，w＝[w₁,w₂,…,w_K]^T，λ为是用来平衡局部性和稀疏性的正则项系数。

B4.根据B3中得到的样本与其相邻样本字典的权重w^*和相邻样本的密度图字典来估计测试图像X对应的密度图x^d，具体地，根据如下公式求得图像块x_ij对应的密度图

其中，w为样本与其相邻样本字典的对应权重，为相邻样本的密度图字典。

将放置到X对应密度图X^d的对应位置。若x_ij是X中最后一个图像块则进行下一步操作，否则跳转到步骤B1。

C.基于密度图估计的鸟类小目标检测阶段，在得到的密度图x^d上，通过滑动窗口和求窗口内局部极值的方式粗略估计鸟类小目标的位置，实现方法为：

C1.定义一系列滑动窗口用于计算各窗口中的局部极大值，粗略估计鸟类小目标的位置，从而实现目标定位；窗口大小设为鸟类小目标的平均个体大小；根据密度图的定义计算得到窗口中的鸟类小目标数量n_i；

C2.当窗口内目标数量n_i>c_b时(其中c_b为阈值),则认为该窗口中含有至少一个鸟类小目标个体，则可在该窗口中计算局部极大值来估计目标位置

D.根据步骤C得到的目标位置结果，在原图像空间的超像素层次上估计该图像的Bounding Box(包围框)，实现方法为：

D1.通过简单线性聚类SLIC(simple linear iterative clustering)超像素分割算法将图像分割成一定数量的超像素块；

D2.结合步骤C得到的鸟类小目标位置结果，取所有包含鸟类小目标位置(1≤i≤M,M为滑动窗口的总数量)的超像素块作为目标超像素集合，记为q，q中的超像素即为所需检测的鸟类小目标，鸟类小目标的包围框可通过每个超像素的边缘像素的位置极值来表示，即得到鸟类小目标的包围框；

E.借助密度图中的密度值信息，将步骤D中得到的图像的Bounding box进行后处理。

由于基于超像素分割的方式可能出现将一个完整的鸟类小目标分割成若干超像素的情况，进而会生成包围不完整的鸟类小目标的Bounding box。借助密度图的密度值信息，对于原本应包围一个完整鸟类小目标却生成若干包围不完整的Bounding boxes，求它们的坐标极值，融合这些不完整的Bounding boxes形成一个完整的Bounding box，作为最终的鸟类小目标检测结果。

与现有技术相比，本发明的有益效果是：

本发明利用基于实例学习的方法来学习密度图，使得算法对训练集规模的依赖性降低，从而实现小样本训练集下的鸟类小目标检测，减轻大量繁琐的训练样本人工标注的工作。另一方面，考虑到超像素块具有保留目标轮廓信息的特点，本发明在超像素层次上进行Bounding box的估计，使得得到的Bounding box能够很好地匹配小目标的形状和轮廓。

附图说明

图1是本发明方法的流程框图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种基于密度图估计的鸟类小目标检测方法，利用基于实例学习的方法学习密度图，实现小样本训练集下的鸟类小目标检测，对训练集规模的依赖性降低，同时减轻大量繁琐的训练样本人工标注的工作；本发明方法能够更好地匹配小目标的形状和轮廓，检测精度较高。

本发明方法可应用于个人电脑PC(Personal computer)中，也可应用于手机、平板电脑等移动终端设备，在此不作限定。

本发明方法包括密度图估计阶段和基于密度图估计的鸟类小目标检测阶段，密度图估计阶段包括训练阶段和测试阶段。

A.在密度图估计阶段的训练阶段，对于每幅训练图像I_i,i∈{1,2,…,N}，使用固定大小的滑动窗口(窗口大小为4×4，滑动距离为2)从图像中提取图像块。图像块构成训练集合Y＝{y₁,y₂,…,y_M}相对应的，使用同样的滑动窗口，从训练图像生成的密度图中提取相应的密度图图像块，其构成训练集合 这里，M为图像块及密度图块的总个数。实际处理时，4×4大小的图像块通常拉伸成16×1的列向量处理。

其中，图像块训练集Y和其对应的密度图训练集Y^d生成方式如下：

给定N张训练图像I₁,I₂,…,I_N。对于每张训练图像I_i(1≤i≤N)，所有的感兴趣目标都使用2维点标注出其具体位置(一般标注在目标形状的重心上，理论上标注在目标形状内即可)，这些2维点集合这里标记成P_i。因此对于I_i中的每一个像素p(p∈I_i)而言，其对应的真实目标密度函数可以定义为基于标注点的2维高斯核的累积。用公式可以表示为：

其中，P是P_i种的一个标注点的位置，δ是控制2维高斯核平滑程度的参数，本发明设置为3。

B.密度图估计方法的测试阶段；

密度图学习方法假设：图像块形成的流形空间和其对应的密度图块形成的流形空间共享相似的局部几何结构。基于局部线性嵌入理论，这种特征向量的局部几何结构可以通过其相邻特征向量线性重构该向量来表示。因此，基于实例学习的密度图估计方法的测试阶段包括如下步骤：

B1.输入一张测试图片X，用固定大小的滑动窗口从中提取图像块x_ij，即x_ij是从X中提取出的第(i,j)个图像块。具体实施时，滑动窗口大小为像素4×4，滑动距离为2。

B2.基于切比雪夫距离和K近邻算法，从训练样本集Y中选择和x_ij最相似(即切比雪夫距离最小)的K个图像块(近邻数K＝128)，分别记为构成近邻块字典 这些近邻块对应的密度图构成的字典为

B3.使用正交匹配追踪算法求解公式，求得最终选择的样本集字典D_Y和对应样本使用的权重w^*：

B4.根据B3中得到的样本与其相邻样本字典的权重w^*和相邻样本的密度图字典来估计测试图像X对应的密度图x^d，具体地，根据如下公式求得图像块x_ij对应的密度图

其中，w为样本与其相邻样本字典的对应权重，为相邻样本的密度图字典。

将放置到X对应密度图X^d的对应位置。若x_ij是X中最后一个图像块则进行下一步操作，否则跳转到步骤B1。

如图1为本发明方法基于密度图估计的鸟类小目标检测阶段的技术流程，主要包括小目标定位、Bounding box估计、Bounding box后处理。具体实施过程如下：

1、小目标定位

真实标注的密度图(ground-truth density map)可看作是由标注的目标位置点图经二维高斯分布函数滤波后生成的图像，密度图中各像素的值代表图像中该像素点位置上目标分布的数量密度。由此，在得到密度图后，可通过在密度图上滑动窗口和求窗口内局部极值的方式来进行简单的目标定位。

本发明采用基于实例学习的密度图估计算法训练密度图，得到图像I对应的密度图x^d后，定义一系列滑动窗口S₁,S₂,…,S_M来计算各窗口中的密度值的极大值，从而实现目标定位，窗口大小设为目标的平均个体大小。窗口S_i(1≤i≤M)中的密度图块记为对于窗口中的任意像素p,如公式1，中的目标数量n_i即为中的各密度值积分。

当该窗口内目标数量n_i>c_b时(其中c_b为阈值，通常设置在0.7到1之间)，则认为该窗口中含有至少一个目标个体，则可通过公式2在该窗口中计算局部极大值来估计该目标的位置即将该窗口的局部极大值作为目标位置的估计值：

2、Bounding box估计

在Bounding box估计步骤/模块，根据前一步骤得到的目标位置的估计值，在可提供目标轮廓信息的超像素层次上展开。Bounding box估计模块首先通过简单的线性迭代聚类(simple linear iterative clustering，SLIC)超像素分割算法将图像分割成一定数量的超像素块，进而根据目标定位部分的结果选取包含目标位置所在的超像素块来估计Bounding box。

21)SLIC超像素分割

超像素是指具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块。它利用像素之间特征的相似性将像素分组，用少量的超像素代替大量的像素来表达图片特征，很大程度上降低了图像处理的复杂度。本发明采用超像素分割算法SLIC将输入图像分割为N个超像素，其中，N应设置为足够大(如大于整个图像面积对目标个体面积的比值)，使得各超像素的平均尺度略小于平均的目标大小。

22)基于超像素块的Bounding Box估计

得到目标分布位置后，取所有包含目标位置的超像素作为目标超像素集合，记为q。q中的超像素即为所需检测的最终目标，它们的Bounding box可被表示为式3：

B＝(x₁,y₁,x₂,y₂)＝(min(x_t),min(y_t),max(x_t),max(y_t)) (3)

这里，B为最终得到的包围框；(x_t,y_t)表示超像素t中所有像素的坐标值，(x₁,y₁,x₂,y₂)表示预测得到的矩形Bounding box的四个顶点坐标。

3、Bounding box后处理

本发明中目标Bounding box的估计是基于每个超像素的轮廓信息完成的，因此，可能会出现一个完整的目标被分割为多于一个的超像素的情况，则该目标个体会被多于一个的Bounding box分别部分检测。为了避免上述情况的发生，需要进行Bounding box的后处理。

对于每个Bounding box B_j，本发明采用的方法是：在距离B_i的中心的欧式距离小于d的范围内遍历其邻居Bounding box B_j，若B_i和B_j满足(计数的阈值d_b设置在1附近)，则B_i和B_j被认为是由一个完整目标分割而成的两个不完整的超像素构成的Bounding boxes，则将B_i和B_j融合成一个完整的Bounding box，即B＝(x₁,y₁,x₂,y₂)＝(min(x_i1,x_j1),min(y_i1,y_j1),max(x_i2,x_j2),max(y_i2,y_j2))，这里，B表示最终得到的完整的Bounding box的位置坐标，B_i＝(x_i1,y_i1,x_i2,y_i2)表示Bounding box B_i的位置坐标，B_j＝(x_j1,y_j1,x_j2,y_j2)表示Bounding box B_j的位置坐标。若不满足上述条件，则不做任何操作。由此，将得到完整的Bounding box作为最终的鸟类小目标检测结果。

具体实施时，将采用本发明方法与采用其他现有的优秀的相关算法得到鸟类小目标检测效果进行对比，可以得到，本发明在鸟类小目标密集分布的条件下有良好的检测效果。同时，相比于其他优秀的相关算法，如仅基于密度图中局部极大值(LM)算法和基于深度学习的Faster RCNN(Regional-based convolutional neural network，更快的区域卷积神经网络)算法，本发明的鸟类小目标检测算法得到的Bounding box更匹配目标的形状和轮廓。另一方面，本发明的算法仅需要小训练集来完成学习，对训练集的规模要求不高，减轻了人工标注和数据采集的负担，可适用于更广泛的应用场景。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (7)

1.一种基于密度图估计的鸟类小目标检测方法，利用基于实例学习的方法学习密度图，通过密度图和超像素分割实现小样本训练集下的鸟类小目标检测；包括密度图估计阶段和基于密度图估计的鸟类小目标检测阶段，密度图估计阶段包括训练阶段和测试阶段；具体包括如下步骤：

A.在密度图估计阶段，由标注的目标位置点图经二维高斯分布函数滤波后生成的图像作为真实标注的密度图，密度图中各像素的值代表图像中该像素点位置上目标分布的数量密度；采用基于实例学习的密度图估计方法学习原图像空间到密度图空间的映射关系，再估计得到测试图像I对应的密度图x^d；

B.基于密度图估计的鸟类小目标检测阶段，在得到的密度图x^d上，通过滑动窗口和求窗口内局部极值的方式粗略估计鸟类小目标的位置其中，1≤i≤M,M为滑动窗口的总数量；

C.根据得到的目标位置在原图像空间的超像素层次上估计得到该图像的包围框；执行如下操作：

C1.通过简单线性迭代聚类超像素分割算法，将图像分割成多个超像素块，使得各超像素的平均尺度略小于平均的目标大小；

C2.根据步骤B得到的鸟类小目标位置，取所有包含鸟类小目标位置的超像素块作为目标超像素集合，记为q；q中的超像素即为所需检测的鸟类小目标；通过每个超像素的轮廓表示鸟类小目标的包围框，由此得到图像的包围框；表示为式3：

B＝(x₁,y₁,x₂,y₂)＝(min(x_t),min(y_t),max(x_t),max(y_t)) (式3)

其中，B为最终得到的包围框；(x₁,y₁,x₂,y₂)表示预测得到的矩形包围框的四个顶点坐标；(x_t,y_t)表示超像素t中所有像素的坐标值；

D.根据密度图中的密度值，将步骤C中得到的图像的包围框进行后处理，将只检测部分目标的包围框融合形成一个完整的包围框，作为鸟类小目标检测结果。

2.如权利要求1所述基于密度图估计的鸟类小目标检测方法，其特征是，步骤A中，具体地，图像块训练集Y和其对应的密度图训练集Y^d的生成方法如下：

给定N张训练图像I₁,I₂,…,I_N。对于每张训练图像I_i(1≤i≤N)，所有的感兴趣目标都使用二维点标注出其具体位置，二维点集合标记成P_i；对于I_i中的每一个像素p，p∈I_i，对应的真实目标密度函数定义为基于标注点的二维高斯核的累积，表示为：

其中，P是P_i种的一个标注点的位置，δ是控制2维高斯核平滑程度的参数。

3.如权利要求1所述基于密度图估计的鸟类小目标检测方法，其特征是，步骤A具体执行如下操作：

A1.在密度图估计阶段的训练阶段，对于每幅训练图像I_i,i∈{1,2,…,N}，使用固定大小的滑动窗口从图像中提取图像块；图像块构成训练集合相对应的，使用同样的滑动窗口，从训练图像生成的密度图中提取相应的密度图图像块，构成训练集合其中，M为图像块及密度图块的总个数；

A2.密度图估计方法的测试阶段，执行如下操作：

A21.输入一张测试图片X，用固定大小的滑动窗口从中提取图像块x_ij，即x_ij是从X中提取出的第(i,j)个图像块；

A22.基于切比雪夫距离和K近邻算法，从训练样本集Y中选择和x_ij最相似的K个图像块，分别记为构成近邻块字典近邻块对应的密度图构成的字典为

A23.使用正交匹配追踪算法求解公式，求得最终选择的样本集字典D_Y和对应样本使用的权重w^*：

其中，w_i为样本x_ij与其相邻样本块的线性重构权重，w＝[w₁,w₂,…,w_K]^T，λ为是用来平衡局部性和稀疏性的正则项系数；

A24.根据A23中得到的样本与其相邻样本字典的权重w^*和相邻样本的密度图字典来估计测试图像X对应的密度图x^d，具体地，根据如下公式求得图像块x_ij对应的密度图

其中，w为样本与其相邻样本字典的对应权重，为相邻样本的密度图字典；

将放置到X对应密度图X^d的对应位置；若x_ij是X中最后一个图像块则进行下一步操作，否则跳转到步骤A21执行操作。

4.如权利要求1所述基于密度图估计的鸟类小目标检测方法，其特征是，步骤B通过滑动窗口和求窗口内局部极值的方法估计鸟类小目标的位置具体执行如下操作：

B1.定义滑动窗口S₁,S₂,…,S_M，用于计算各窗口中的极大值；窗口大小设为鸟类小目标的平均个体大小；窗口S_i中的密度图块记为对于窗口中的任意像素p， p∈S_i；根据密度计算得到窗口S_i中的鸟类小目标数量n_i，S_i中的目标数量n_i为中的各密度值积分，表示为公式1：

B2.设定阈值c_b，当该窗口内目标数量n_i>c_b时，则该窗口中含有至少一个目标个体，通过公式2在该窗口中计算局部极大值来估计得到该目标的位置

即将该窗口的局部极大值作为目标位置的估计值。

5.如权利要求1所述基于密度图估计的鸟类小目标检测方法，其特征是，步骤D将得到的图像的包围框进行后处理，具体是：

设置计数阈值d_b；对于每个包围框B_i，在距离B_i的中心的欧式距离小于d的范围内遍历邻居包围框B_j，若B_i和B_j满足则B_i和B_j为由一个完整目标分割而成的两个不完整的超像素构成的包围框；将B_i和B_j融合成一个完整的包围框。

6.如权利要求5所述基于密度图估计的鸟类小目标检测方法，其特征是，计数阈值d_b的取值约为1。

7.如权利要求5所述基于密度图估计的鸟类小目标检测方法，其特征是，将B_i和B_j融合成一个完整的包围框，具体表示为：

B＝(x₁,y₁,x₂,y₂)＝(min(x_i1,x_j1),min(y_i1,y_j1),max(x_i2,x_j2),max(y_i2,y_j2))

其中，B表示最终得到的完整的Bounding box的位置坐标，B_i＝(x_i1,y_i1,x_i2,y_i2)表示Bounding box B_i的位置坐标，B_j＝(x_j1,y_j1,x_j2,y_j2)表示Bounding box B_j的位置坐标。