CN110188685B - 一种基于双注意力多尺度级联网络的目标计数方法及系统 - Google Patents

Abstract

本发明公开一种基于双注意力多尺度级联网络的目标计数方法及系统。方法包括：将灰度化处理后的图像输入至双注意力多尺度级联网络的初始模块进行初始特征提取，得到初始特征图；将初始特征图输入至级联网络的第一分支网络，得到低层细节特征图和高层语义特征图；将上述特征图进行通道注意力变换，生成全局特征信息；将初始特征图输入至级联网络中的第二分支网络的空间注意力金字塔结构，生成图像的多尺度特征；将多尺度特征和全局特征信息进行融合，得到融合结果；将融合结果进行特征抽取，生成估计的目标分布密度图；将目标分布密度图进行像素求和，得到估计的目标计数结果。本发明可有效实现复杂场景下目标精确计数，具有较好的鲁棒性和泛化性。

Description

一种基于双注意力多尺度级联网络的目标计数方法及系统

技术领域

本发明涉及图像处理领域，特别是涉及一种基于双注意力多尺度级联网络的目标计数方法。

背景技术

目标计数是指对场景中某一类特定目标的数量进行估计。目标计数问题对于场景理解、视觉推理等任务中建立高层认知的过程至关重要。成熟的目标计数方法，可以用于监控视频中人群计数及车辆计数，显微镜下细胞计数，及野外开放场景下动植物计数等现实应用。

现有目标计数方法大多针对人群计数和车辆计数进行设计，这主要是由于安防监控技术的广泛应用。现有的目标计数方法主要采用基于密度分布图估计的方法，也就是估计图像中的目标密度分布图，将密度分布图的像素求和即可得到目标计数结果。由于密度分布图估计的方法除了可以提供目标计数结果，还可以提供目标分布的空间信息。现有的目标计数方法大多采用密度分布图估计的方法。但由于目标计数任务中存在外观多尺度和分布不均等因素的存在，现有目标计数方法的准确率和鲁棒性受到限制。

发明内容

本发明的目的是提供一种基于双注意力多尺度级联网络的目标计数方法及系统，通过空间注意力金字塔结构抽取图像的多尺度特征有效解决图像中目标外观多尺度导致计数偏差的问题，通过通道注意力加权融合结构抽取全局特征信息有效提高计数方法的鲁棒性，从而完成准确的目标计数任务。

为实现上述目的，本发明提供了如下方案：

一种基于双注意力多尺度级联网络的目标计数方法，包括：

获取灰度化处理后的图像；

将所述灰度化处理后的图像输入至双注意力多尺度级联网络的初始模块进行初始特征提取，得到初始特征图；所述初始模块包括两个卷积层；

将所述初始特征图输入至所述双注意力多尺度级联网络的第一分支网络，得到低层细节特征图和高层语义特征图；所述第一分支网络包括多个卷积层和多个池化层；

将所述低层细节特征图和所述高层语义特征图进行通道注意力变换，生成全局特征信息；

将所述初始特征图输入至所述双注意力多尺度级联网络中的第二分支网络的空间注意力金字塔结构，生成图像的多尺度特征；

将所述多尺度特征和所述全局特征信息进行融合，得到融合结果；

将所述融合结果进行特征抽取，生成估计的目标分布密度图；

将所述目标分布密度图进行像素求和，得到估计的目标计数结果。

可选的，所述将所述低层细节特征图和所述高层语义特征图进行通道注意力变换，生成全局特征信息，具体包括：

将所述高层语义特征图进行全局池化，得到全局池化后的特征图；

将所述全局池化后的特征图进行一个1×1的卷积，得到卷积后的高层语义特征图；

将所述卷积后的高层语义特征图和所述低层细节特征图进行对应元素相乘，得到全局特征信息。

可选的，所述空间注意力金字塔结构包括1个主分支和5个子分支，依次为第一子分支、第二子分支、第三子分支、第四子分支和第五子分支；所述主分支包括一个卷积层、一个池化层和两个卷积层，所述第一子分支依次包括一个卷积层和一个Sigmoid层；所述第二子分支包括一个扩张卷积层；所述第三子分支依次包括一个池化层和两个扩张卷积层；所述第四子分支依次包括一个池化层和两个扩张卷积层；所述第五子分支依次包括一个池化层和两个扩张卷积层。

可选的，所述主分支中每个卷积层的卷积核尺寸由输入至输出方向依次为7×7、5×5和5×5，各所述卷积层生成的特征图通道数由输入至输出方向依次为32、32和16；所述主分支中池化层的类型为步长为2的最大池化层；

所述第一子分支中卷积层的卷积核尺寸为1×1，生成的特征图通道数为24；

所述第二子分支中扩张卷积层的卷积核尺寸为1×1，采样率为1，生成的特征图通道数为24；

所述第三子分支中池化层的类型为步长为2的最大池化层；所述第三子分支中每个扩张卷积层的卷积核尺寸均为3×3，每个扩张卷积层的采样率均为4，每个卷积层生成的特征图通道数均为8；

所述第四子分支中池化层的类型为步长为2的最大池化层；所述第四子分支中每个扩张卷积层的卷积核尺寸均为3×3，每个扩张卷积层的采样率均为3，每个卷积层生成的特征图通道数均为8；

所述第五子分支中池化层的类型为步长为2的最大池化层；所述第五子分支中每个扩张卷积层的卷积核尺寸均为3×3，每个扩张卷积层的采样率均为2，每个卷积层生成的特征图通道数均为8。

可选的，所述将所述初始特征图输入至所述双注意力多尺度级联网络中的第二分支网络的空间注意力金字塔结构，生成图像的多尺度特征，具体包括：

将所述初始特征图输入至所述空间注意力金字塔结构的主分支中，得到主分支特征图；

将所述主分支特征图输入第一子分支，得到第一子分支特征图；

将所述主分支特征图输入第二子分支，得到第二子分支特征图；

将所述主分支特征图输入至第三子分支，经过所述第三子分支中的两个扩张卷积层依次得到第三子分支初步特征图和第三子分支特征图；

将所述第三子分支初步特征图输入至所述第四子分支，经过所述第四子分支中的两个扩张卷积层依次得到第四子分支初步特征图和第四子分支特征图；

将所述第四子分支初步特征图输入至所述第五子分支，得到第五子分支特征图；

将所述第五子分支特征图经过一个卷积核尺寸为4×4、步长为2的反卷积得到上采样后的第五子分支特征图；

将所述上采样后的第五子分支特征图和第四子分支特征图进行通道上的链接，得到四五子分支特征图；所述反卷积操作生成的特征图通道数为8；所述四五子分支特征图通道数为16；

将所述四五子分支特征图经过一个卷积核尺寸为4×4、步长为2的反卷积得到上采样后的四五子分支特征图；

将所述上采样后的四五子分支特征图和第三子分支特征图进行通道上的链接，得到三四五子分支特征图；所述反卷积操作生成的特征图通道数为16；所述三四五子分支特征图通道数为24；

将所述三四五子特征图和所述第二子分支特征图进行对应元素相乘，得到二三四五子特征图；

将所述第一子分支特征图和所述第二子分支特征图进行对应元素相乘，得到一二子特征图；

将所述二三四五子特征图和所述一二子特征图进行通道上的链接，得到多尺度特征。

可选的，所述将所述多尺度特征和所述全局特征信息进行融合，得到融合结果，具体包括：

将所述多尺度特征和所述全局特征信息进行通道上的链接，得到全局多尺度特征，所述全局多尺度特征为融合结果。

可选的，所述将所述融合结果进行特征抽取，生成估计的目标分布密度图，具体包括：

将所述融合结果进行特征抽取操作，依次经过三个卷积层、两个反卷积层和一个卷积层，得到目标分布密度图；所述特征抽取操作的四个卷积层的卷积核尺寸依次为3×3、3×3、3×3和1×1，生成的特征图通道数依次为32、24、16和1；所述特征抽取操作的两个反卷积层的卷积核尺寸均为4×4，生成的特征图通道数依次为16和8，步长均为2。

可选的，在所述将所述目标分布密度图进行像素求和，得到估计的目标计数结果之后，还包括：

获取全连接层和特征抽取操作的损失函数；

将所述全连接层和特征抽取操作的损失函数进行加权，得到级联网络的整体损失函数；所述全连接层的损失函数采用交叉熵函数，所述特征抽取操作的损失函数为估计的目标分布密度图和真实的目标分布密度图之间的欧氏距离；

根据所述级联网络的整体损失函数确定所述级联网络的误差；

将所述误差进行反向传播，更新所述级联网络的权重参数，经过多次迭代，得到训练好的用于目标计数的模型。

一种基于双注意力多尺度级联网络的目标计数系统，包括：

获取模块，用于获取灰度化处理后的图像；

第一特征提取模块，用于将所述灰度化处理后的图像输入至双注意力多尺度级联网络的初始模块进行初始特征提取，得到初始特征图；所述初始模块包括两个卷积层；

低层细节特征图、高层语义特征图确定模块，用于将所述初始特征图输入至所述双注意力多尺度级联网络的第一分支网络，得到低层细节特征图和高层语义特征图；所述第一分支网络包括多个卷积层和多个池化层；

变换模块，用于将所述低层细节特征图和所述高层语义特征图进行通道注意力变换，生成全局特征信息；

多尺度特征确定模块，用于将所述初始特征图输入至所述双注意力多尺度级联网络中的第二分支网络的空间注意力金字塔结构，生成图像的多尺度特征；

融合模块，用于将所述多尺度特征和所述全局特征信息进行融合，得到融合结果；

第二特征提取模块，将所述融合结果进行特征抽取，生成估计的目标分布密度图；

目标计数结果确定模块，用于将所述目标分布密度图进行像素求和，得到估计的目标计数结果。

可选的，所述变换模块，具体包括：

全局池化单元，用于将所述高层语义特征图进行全局池化，得到全局池化后的特征图；

卷积处理单元，用于将所述全局池化后的特征图进行一个1×1的卷积，得到卷积后的高层语义特征图；

相乘处理单元，用于将所述卷积后的高层语义特征图和所述低层细节特征图进行对应元素相乘，得到全局特征信息。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

(1)通过设计并使用空间注意力金字塔结构抽取场景目标的多尺度信息，可以有效改善由于目标外观尺度多样导致的目标计数偏差的问题。

(2)通过设计基于通道注意力加权方式的全局特征模块将低层细节特征和高层语义特征进行融合，进而得到并利用全局特征信息，可以有效提高目标计数任务的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于双注意力多尺度级联网络的目标计数方法流程图；

图2为本发明中双注意力多尺度级联网络的整体结构图；

图3为本发明中级联网络的第一分支网络和全连接层的结构示意图；

图4为本发明中高层语义特征图和低层细节特征图进行通道注意力变换的示意图；

图5为本发明中级联网络中第二分支网络的空间注意力金字塔结构的示意图；

图6为本发明中级联网络中第二分支网络的特征抽取操作的结构示意图；

图7为采用本发明目标计数方法进行车辆计数的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于双注意力多尺度级联网络的目标计数方法及系统，通过空间注意力金字塔结构抽取图像的多尺度特征有效解决图像中目标外观多尺度导致计数偏差的问题，通过通道注意力加权融合结构抽取全局特征信息有效提高计数方法的鲁棒性，从而完成准确的目标计数任务。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1：

图1为本发明基于双注意力多尺度级联网络的目标计数方法流程图。如图1所示，一种基于双注意力多尺度级联网络的目标计数方法，包括：

步骤101：获取灰度化处理后的图像。

步骤102：将所述灰度化处理后的图像输入至双注意力多尺度级联网络的初始模块进行初始特征提取，得到初始特征图。

所述初始模块包括两个卷积层。将灰度化处理后的图形输入至所述级联网络中的第一卷积层，得到第一初始特征图；将所述第一初始特征图输入所述级联网络中的第二卷积层，得到初始特征图。所述第一卷积层和第二卷积层的卷积核尺寸均为9×9。图像经过第一卷积层生成16张特征图，再经过第二卷积层后生成32张特征图，即初始特征图。

步骤103：将所述初始特征图输入至所述双注意力多尺度级联网络的第一分支网络，得到低层细节特征图和高层语义特征图。

所述第一分支网络包括多个卷积层和多个池化层，具体的，所述第一分支网络中包括五个卷积层和两个池化层，依次为：一个卷积层、一个池化层、三个卷积层、一个池化层和一个卷积层；其中卷积层的核尺寸依次为9×9、7×7、7×7、7×7和7×7，生成的特征图通道数依次为16、32、16、20和8。两个池化层的类型均为步长为2的最大池化层。将所述初始特征图输入至所述级联网络中的第一分支网络后，依次经过一个卷积层和一个池化层生成低层细节特征图。将低层细节特征图依次经过三个卷积层、一个池化层和一个卷积层，生成高层语义特征图。

将高层语义特征图输入至级联网络的全连接层，生成目标尺度分级结果。全连接层的最后一层的不同神经元对应不同的目标尺度分级结果。全连接层的个数为3个，三个全连接层的神经元数量依次为512、256和10。本发明采用交叉熵函数作为全连接层的损失函数。

步骤104：将所述低层细节特征图和所述高层语义特征图进行通道注意力变换，生成全局特征信息，具体包括：

将所述高层语义特征图进行全局池化，得到全局池化后的特征图，全局池化是指将C×h×w的特征图(通道数为C，特征图尺寸为h×w)下采样为C×1×1的特征图，具体是将每个尺寸为h×w的特征图取平均值，也就是1×1的特征图。

将所述全局池化后的特征图进行一个1×1的卷积，得到卷积后的高层语义特征图，卷积后的高层语义特征图尺寸为C×h×w，通道数为16；；

将所述卷积后的高层语义特征图和所述低层细节特征图进行对应元素相乘，得到全局特征信息。

步骤105：将所述初始特征图输入至所述双注意力多尺度级联网络中的第二分支网络的空间注意力金字塔结构，生成图像的多尺度特征。

所述空间注意力金字塔结构包括1个主分支和5个子分支，依次为第一子分支、第二子分支、第三子分支、第四子分支和第五子分支；所述主分支包括一个卷积层、一个池化层和两个卷积层，所述第一子分支依次包括一个卷积层和一个Sigmoid层；所述第二子分支包括一个扩张卷积层；所述第三子分支依次包括一个池化层和两个扩张卷积层；所述第四子分支依次包括一个池化层和两个扩张卷积层；所述第五子分支依次包括一个池化层和两个扩张卷积层。

所述主分支中每个卷积层的卷积核尺寸由输入至输出方向依次为7×7、5×5和5×5，各所述卷积层生成的特征图通道数由输入至输出方向依次为32、32和16；所述主分支中池化层的类型为步长为2的最大池化层。

所述第一子分支依次包括一个卷积层和一个Sigmoid层，卷积层的卷积核尺寸为1×1，生成的特征图通道数为24；Sigmoid层的表达式为：

式中，z是特征图中的每个像素，此处是指经过卷积层后的特征图，f(z)为生成的第一子分支特征图的每个像素。

所述第二子分支中扩张卷积层的卷积核尺寸为1×1，采样率为1，生成的特征图通道数为24。

所述第三子分支中池化层的类型为步长为2的最大池化层；所述第三子分支中每个扩张卷积层的卷积核尺寸均为3×3，每个扩张卷积层的采样率均为4，每个卷积层生成的特征图通道数均为8。

所述第四子分支中池化层的类型为步长为2的最大池化层；所述第四子分支中每个扩张卷积层的卷积核尺寸均为3×3，每个扩张卷积层的采样率均为3，每个卷积层生成的特征图通道数均为8。

所述第五子分支中池化层的类型为步长为2的最大池化层；所述第五子分支中每个扩张卷积层的卷积核尺寸均为3×3，每个扩张卷积层的采样率均为2，每个卷积层生成的特征图通道数均为8。

其中，步骤105具体包括：

将所述初始特征图输入至所述空间注意力金字塔结构的主分支中，得到主分支特征图。

将所述主分支特征图输入第一子分支，得到第一子分支特征图。

将所述主分支特征图输入第二子分支，得到第二子分支特征图。

将所述主分支特征图输入至第三子分支，经过所述第三子分支中的两个扩张卷积层依次得到第三子分支初步特征图和第三子分支特征图。

将所述第三子分支初步特征图输入至所述第四子分支，经过所述第四子分支中的两个扩张卷积层依次得到第四子分支初步特征图和第四子分支特征图。

将所述第四子分支初步特征图输入至所述第五子分支，得到第五子分支特征图。

将所述第五子分支特征图经过一个卷积核尺寸为4×4、步长为2的反卷积得到上采样后的第五子分支特征图。

将所述上采样后的第五子分支特征图和第四子分支特征图进行通道上的链接，得到四五子分支特征图；所述反卷积操作生成的特征图通道数为8；所述四五子分支特征图通道数为16。

将所述四五子分支特征图经过一个卷积核尺寸为4×4、步长为2的反卷积得到上采样后的四五子分支特征图。

将所述上采样后的四五子分支特征图和第三子分支特征图进行通道上的链接，得到三四五子分支特征图；所述反卷积操作生成的特征图通道数为16；所述三四五子分支特征图通道数为24。

将所述三四五子特征图和所述第二子分支特征图进行对应元素相乘，得到二三四五子特征图。

将所述第一子分支特征图和所述第二子分支特征图进行对应元素相乘，得到一二子特征图。

将所述二三四五子特征图和所述一二子特征图进行通道上的链接，得到多尺度特征。

步骤106：将所述多尺度特征和所述全局特征信息进行融合，得到融合结果，具体包括：

将所述多尺度特征和所述全局特征信息进行通道上的链接，得到全局多尺度特征，所述全局多尺度特征为融合结果。

步骤107：将所述融合结果进行特征抽取，生成估计的目标分布密度图，具体包括：

将所述融合结果进行特征抽取操作，依次经过三个卷积层、两个反卷积层和一个卷积层，得到目标分布密度图；所述特征抽取操作的四个卷积层的卷积核尺寸依次为3×3、3×3、3×3和1×1，生成的特征图通道数依次为32、24、16和1；所述特征抽取操作的两个反卷积层的卷积核尺寸均为4×4，生成的特征图通道数依次为16和8，步长均为2。

步骤108：将所述目标分布密度图进行像素求和，得到估计的目标计数结果。

实施例2：

本发明实施例2除了包含实施例1所述的步骤以外，在步骤108之后，还包括：

获取全连接层和特征抽取操作的损失函数。

将所述全连接层和特征抽取操作的损失函数进行加权，得到级联网络的整体损失函数；所述全连接层的损失函数采用交叉熵函数，所述特征抽取操作的损失函数为估计的目标分布密度图和真实的目标分布密度图之间的欧氏距离。

根据所述级联网络的整体损失函数确定所述级联网络的误差。

将所述误差进行反向传播，更新所述级联网络的权重参数，经过多次迭代，得到训练好的用于目标计数的模型。

实施例3：

一种基于双注意力多尺度级联网络的目标计数系统，包括：

获取模块，用于获取灰度化处理后的图像。

第一特征提取模块，用于将所述灰度化处理后的图像输入至双注意力多尺度级联网络的初始模块进行初始特征提取，得到初始特征图；所述初始模块包括两个卷积层。

低层细节特征图、高层语义特征图确定模块，用于将所述初始特征图输入至所述双注意力多尺度级联网络的第一分支网络，得到低层细节特征图和高层语义特征图；所述第一分支网络包括多个卷积层和多个池化层。

变换模块，用于将所述低层细节特征图和所述高层语义特征图进行通道注意力变换，生成全局特征信息。

多尺度特征确定模块，用于将所述初始特征图输入至所述双注意力多尺度级联网络中的第二分支网络的空间注意力金字塔结构，生成图像的多尺度特征。

融合模块，用于将所述多尺度特征和所述全局特征信息进行融合，得到融合结果。

第二特征提取模块，将所述融合结果进行特征抽取，生成估计的目标分布密度图。

目标计数结果确定模块，用于将所述目标分布密度图进行像素求和，得到估计的目标计数结果。

所述变换模块，具体包括：

全局池化单元，用于将所述高层语义特征图进行全局池化，得到全局池化后的特征图。

卷积处理单元，用于将所述全局池化后的特征图进行一个1×1的卷积，得到卷积后的高层语义特征图。

相乘处理单元，用于将所述卷积后的高层语义特征图和所述低层细节特征图进行对应元素相乘，得到全局特征信息。

实施例4：

步骤1：对图像进行灰度化，设原始图像中位置为(i,j)的R、G和B通道的像素值分别为R(i,j)、G(i,j)和B(i,j)，灰度化后的图像中位置为(i,j)的像素值为Gray(i，j)，灰度化计算公式如下：

步骤2：建立用于目标计数的级联网络模型，整体结构如图2所示，图2为本发明中双注意力多尺度级联网络的整体结构图。建立级联网络模型的过程如下：

2.1)建立初始特征模块，任意输入灰度化后的图像样本x，获得初始特征图，这一阶段包含两次卷积操作，卷积核尺寸均为9×9，分别生成16张特征图和32张特征图，32张特征图为初始特征图。

2.2)建立第一分支网络，接收2.1)中初始特征图作为输入，经过特征抽取操作获得低层细节特征图和高层语义特征图，这一阶段包含了5次卷积和2次池化。图3为本发明中级联网络的第一分支网络和全连接层的结构示意图，如图3所示，依次为1次卷积、1次池化、3次卷积、1次池化和1次卷积，卷积核尺寸依次为9×9、7×7、7×7、7×7和7×7，生成的特征图通道数分别为16、32、16、20和8；两个池化层类型均为步长为2的最大池化层，第一个卷积层后生成低层细节特征图，第五个卷积层后生成高层语义特征图。

2.3)建立全连接层，接收2.2)中的高层语义特征图作为输入，获得任意输入灰度化后的图像样本x的目标尺度分级，将灰度化后的图像样本进行空间金字塔变换(SpatialPyramid Pooling,SPP)且获取相同长度的向量，并设置三个全连接层来输出目标尺度分级，神经元数量分别为512、256和10，如图3所示。

这一阶段采用的损失函数为交叉熵函数，训练样本数为N，待学习参数为Θ，实际目标尺度分级为yⁱ，估计目标尺度分级为F_c(X_i,Θ)，目标尺度分级总类别数为T，计算公式如下：

2.4)建立全局特征信息生成模块，图4为本发明中高层语义特征图和低层细节特征图进行通道注意力变换的示意图，如图4所示，接受2.2)中的低层细节特征图和高层语义特征图作为输入，对高层语义特征图进行一个全局池化操作，也就是将C×h×w的高层语义特征图(通道数为C，特征图尺寸为h×w)下采样为C×1×1的特征图，具体是将每个尺寸为h×w的特征图取平均值，也就是1×1的特征图，将全局池化结果(C×1×1的特征图)进行一个1×1的卷积，生成的特征图尺寸为C×h×w，通道数为16；将生成的特征图和低层细节特征图进行对应元素相乘，将处理后的特征图和2.2)中高层语义特征图进行通道上的链接，得到全局特征信息。

2.5)建立空间注意力金字塔结构，图5为本发明中级联网络中第二分支网络的空间注意力金字塔结构的示意图，如图5所示，空间注意力金字塔结构包括1个主分支和5个子分支，主分支包括一个卷积层、一个池化层和两个卷积层，卷积核尺寸为7×7、5×5和5×5，生成的特征图通道数为32、32和16，第一子分支依次包括一个卷积层和一个Sigmoid层，卷积核尺寸为1×1，生成的特征图通道数为24，第二子分支包括一个扩张卷积层，卷积核尺寸为1×1，采样率为1，生成的特征图通道数为24，第三子分支依次包括一个池化层和两个扩张卷积层，卷积核尺寸均为3×3，采样率均为4，生成的特征图通道数均为8，第四子分支依次包括一个池化层和两个扩张卷积层，卷积核尺寸均为3×3，采样率均为3，生成的特征图通道数均为8，第五子分支依次包括一个池化层和两个扩张卷积层，卷积核尺寸均为3×3，采样率均为2，每个卷积层生成的特征图通道数均为8，所有池化层的类型均为步长为2的最大池化层。

2.6)将2.1)中的初始特征图作为2.5)中建立的空间注意力金字塔结构的输入，将2.1)中的初始特征图输入主分支中，得到主分支特征图，将2.1)中的初始特征图输入第一子分支，得到第一子分支特征图，将主分支特征图输入第二子分支，得到第二子分支特征图，将主分支特征图输入至第三子分支，经过第三子分支中的两个扩张卷积层依次得到第三子分支初步特征图和第三子分支特征图，将第三子分支初步特征图输入至第四子分支，经过第四子分支中的两个扩张卷积层依次得到第四子分支初步特征图和第四子分支特征图，将第四子分支初步特征图输入至第五子分支，得到第五子分支特征图，将第五子分支特征图经过一个卷积核尺寸为4×4、步长为2的反卷积得到上采样后的第五子分支特征图，将上采样后的第五子分支特征图和第四子分支特征图进行通道上的链接，得到四五子分支特征图，反卷积操作生成的特征图通道数为8，四五子分支特征图通道数为16，将四五子分支特征图经过一个卷积核尺寸为4×4、步长为2的反卷积得到上采样后的四五子分支特征图，将上采样后的四五子分支特征图和第三子分支特征图进行通道上的链接，得到三四五子分支特征图，反卷积操作生成的特征图通道数为16，三四五子分支特征图通道数为24，将三四五子特征图和第二子分支特征图进行对应元素相乘，得到二三四五子特征图，将第一子分支特征图和第二子分支特征进行对应元素相乘，得到一二子特征图，将二三四五子特征图和一二子特征图进行通道上的链接，得到多尺度特征。

2.7)将2.4)中的全局特征信息F_{globalContext}和2.6)中的多尺度特征F_multiScale进行通道链接，得到全局多尺度特征F_mg，计算公式如下：

2.8)建立特征抽取模块，图6为本发明中级联网络中第二分支网络的特征抽取操作的结构示意图，如图6所示，接收2.7)中的全局多尺度特征作为输入，生成估计的目标密度分布图，特征抽取模块包括4个卷积层和2个反卷积层，依次为三个卷积层、两个反卷积层和一个卷积层，卷积核尺寸依次为3×3、3×3、3×3和1×1，生成的特征图通道数依次为32、24、16和1，两个反卷积层的卷积核尺寸均为4×4，生成的特征图通道数依次为16和8，步长均为2；使用估计的目标密度分布图和真实目标密度分布图的欧氏距离作为特征抽取操作的损失函数，N为训练样本数量，F_D(X_i；Θ)为估计的目标密度分布图，D_i为目标密度分布图x，对每一张单幅图像的目标密度估计图和目标密度图x求绝对差值，并对所有图像的绝对差值的总和求平均，得到损失函数的结果，计算公式如下：

2.9)对2.8)中的估计目标密度分布图进行像素求和，得到估计的目标计数结果。

2.10)在建立的级联网络模型使用前，需利用若干张图像和真实密度图对建立的模型进行训练，确定模型参数Θ，通过设置权重项ω将全连接层的交叉熵损失函数和特征抽取操作的欧氏距离损失函数进行联合训练，使其损失最小，训练步骤如下：

为建立的级联网络的参数随机设定一个初始值，设置权重项ω，使得交叉熵函数L_C和欧氏距离L_D加权和结果最小，计算公式如下：

L(Θ)＝L_D+ωL_C(5)

在每次得到待估计图像对应的估计目标密度分布图之后，根据深度神经网络模型的整体损失函数确定深度神经网络模型的误差，将所述误差反向传播，调整所述深度神经网络模型的参数，对所述深度神经网络模型进行优化。待学习参数Θ采用随机梯度下降优化算法在每一次优化迭代中更新参数，直到加权和结果L(Θ)收敛到一个较小的值，保存参数及训练后的模型。本发明采用步骤2.3中交叉熵损失函数L_C和步骤2.8中欧氏距离损失函数L_D的加权和作为网络的整体损失函数。

使用训练后的级联网络模型对任意输入灰度化后的图像进行目标计数，将任意单张图像直接输入到训练后的模型中，即可得到目标计数结果，图7为采用本发明目标计数方法进行车辆计数的示意图。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于双注意力多尺度级联网络的目标计数方法，其特征在于，包括：

获取灰度化处理后的图像；

将所述灰度化处理后的图像输入至双注意力多尺度级联网络的初始模块进行初始特征提取，得到初始特征图；所述初始模块包括两个卷积层；

将所述初始特征图输入至所述双注意力多尺度级联网络的第一分支网络，得到低层细节特征图和高层语义特征图；所述第一分支网络包括多个卷积层和多个池化层；

将所述低层细节特征图和所述高层语义特征图进行通道注意力变换，生成全局特征信息；

将所述初始特征图输入至所述双注意力多尺度级联网络中的第二分支网络的空间注意力金字塔结构，生成图像的多尺度特征；

将所述多尺度特征和所述全局特征信息进行融合，得到融合结果；

将所述融合结果进行特征抽取，生成估计的目标分布密度图；

将所述目标分布密度图进行像素求和，得到估计的目标计数结果。

2.根据权利要求1所述的基于双注意力多尺度级联网络的目标计数方法，其特征在于，所述将所述低层细节特征图和所述高层语义特征图进行通道注意力变换，生成全局特征信息，具体包括：

将所述高层语义特征图进行全局池化，得到全局池化后的特征图；

将所述全局池化后的特征图进行一个1×1的卷积，得到卷积后的高层语义特征图；

将所述卷积后的高层语义特征图和所述低层细节特征图进行对应元素相乘，得到全局特征信息。

3.根据权利要求1所述的基于双注意力多尺度级联网络的目标计数方法，其特征在于，所述空间注意力金字塔结构包括1个主分支和5个子分支，依次为第一子分支、第二子分支、第三子分支、第四子分支和第五子分支；所述主分支依次包括一个卷积层、一个池化层和两个卷积层，所述第一子分支依次包括一个卷积层和一个Sigmoid层；所述第二子分支包括一个扩张卷积层；所述第三子分支依次包括一个池化层和两个扩张卷积层；所述第四子分支依次包括一个池化层和两个扩张卷积层；所述第五子分支依次包括一个池化层和两个扩张卷积层。

4.根据权利要求书3所述的基于双注意力多尺度级联网络的目标计数方法，其特征在于，所述主分支中每个卷积层的卷积核尺寸由输入至输出方向依次为7×7、5×5和5×5，各所述卷积层生成的特征图通道数由输入至输出方向依次为32、32和16；所述主分支中池化层的类型为步长为2的最大池化层；

所述第一子分支中卷积层的卷积核尺寸为1×1，生成的特征图通道数为24；

所述第二子分支中扩张卷积层的卷积核尺寸为1×1，采样率为1，生成的特征图通道数为24；

所述第三子分支中池化层的类型为步长为2的最大池化层；所述第三子分支中每个扩张卷积层的卷积核尺寸均为3×3，每个扩张卷积层的采样率均为4，每个卷积层生成的特征图通道数均为8；

所述第四子分支中池化层的类型为步长为2的最大池化层；所述第四子分支中每个扩张卷积层的卷积核尺寸均为3×3，每个扩张卷积层的采样率均为3，每个卷积层生成的特征图通道数均为8；

所述第五子分支中池化层的类型为步长为2的最大池化层；所述第五子分支中每个扩张卷积层的卷积核尺寸均为3×3，每个扩张卷积层的采样率均为2，每个卷积层生成的特征图通道数均为8。

5.根据权利要求书4所述的基于双注意力多尺度级联网络的目标计数方法，其特征在于，所述将所述初始特征图输入至所述双注意力多尺度级联网络中的第二分支网络的空间注意力金字塔结构，生成图像的多尺度特征，具体包括：

将所述初始特征图输入至所述空间注意力金字塔结构的主分支中，得到主分支特征图；

将所述主分支特征图输入第一子分支，得到第一子分支特征图；

将所述主分支特征图输入第二子分支，得到第二子分支特征图；

将所述主分支特征图输入至第三子分支，经过所述第三子分支中的两个扩张卷积层依次得到第三子分支初步特征图和第三子分支特征图；

将所述第三子分支初步特征图输入至所述第四子分支，经过所述第四子分支中的两个扩张卷积层依次得到第四子分支初步特征图和第四子分支特征图；

将所述第四子分支初步特征图输入至所述第五子分支，得到第五子分支特征图；

将所述第五子分支特征图经过一个卷积核尺寸为4×4、步长为2的反卷积得到上采样后的第五子分支特征图；

将所述上采样后的第五子分支特征图和第四子分支特征图进行通道上的链接，得到四五子分支特征图；所述反卷积操作生成的特征图通道数为8；所述四五子分支特征图通道数为16；

将所述四五子分支特征图经过一个卷积核尺寸为4×4、步长为2的反卷积得到上采样后的四五子分支特征图；

将所述上采样后的四五子分支特征图和第三子分支特征图进行通道上的链接，得到三四五子分支特征图；所述反卷积操作生成的特征图通道数为16；所述三四五子分支特征图通道数为24；

将所述三四五子特征图和所述第二子分支特征图进行对应元素相乘，得到二三四五子特征图；

将所述第一子分支特征图和所述第二子分支特征图进行对应元素相乘，得到一二子特征图；

将所述二三四五子特征图和所述一二子特征图进行通道上的链接，得到多尺度特征。

6.根据权利要求1所述的基于双注意力多尺度级联网络的目标计数方法，其特征在于，所述将所述多尺度特征和所述全局特征信息进行融合，得到融合结果，具体包括：

将所述多尺度特征和所述全局特征信息进行通道上的链接，得到全局多尺度特征，所述全局多尺度特征为融合结果。

7.根据权利要求1所述的基于双注意力多尺度级联网络的目标计数方法，其特征在于，所述将所述融合结果进行特征抽取，生成估计的目标分布密度图，具体包括：

将所述融合结果进行特征抽取操作，依次经过三个卷积层、两个反卷积层和一个卷积层，得到目标分布密度图；所述特征抽取操作的四个卷积层的卷积核尺寸依次为3×3、3×3、3×3和1×1，生成的特征图通道数依次为32、24、16和1；所述特征抽取操作的两个反卷积层的卷积核尺寸均为4×4，生成的特征图通道数依次为16和8，步长均为2。

8.一种基于双注意力多尺度级联网络的目标计数系统，其特征在于，包括：

获取模块，用于获取灰度化处理后的图像；

第一特征提取模块，用于将所述灰度化处理后的图像输入至双注意力多尺度级联网络的初始模块进行初始特征提取，得到初始特征图；所述初始模块包括两个卷积层；

低层细节特征图、高层语义特征图确定模块，用于将所述初始特征图输入至所述双注意力多尺度级联网络的第一分支网络，得到低层细节特征图和高层语义特征图；所述第一分支网络包括多个卷积层和多个池化层；

变换模块，用于将所述低层细节特征图和所述高层语义特征图进行通道注意力变换，生成全局特征信息；

多尺度特征确定模块，用于将所述初始特征图输入至所述双注意力多尺度级联网络中的第二分支网络的空间注意力金字塔结构，生成图像的多尺度特征；

融合模块，用于将所述多尺度特征和所述全局特征信息进行融合，得到融合结果；

第二特征提取模块，将所述融合结果进行特征抽取，生成估计的目标分布密度图；

目标计数结果确定模块，用于将所述目标分布密度图进行像素求和，得到估计的目标计数结果。

9.根据权利要求8所述的基于双注意力多尺度级联网络的目标计数系统，其特征在于，所述变换模块，具体包括：

全局池化单元，用于将所述高层语义特征图进行全局池化，得到全局池化后的特征图；

卷积处理单元，用于将所述全局池化后的特征图进行一个1×1的卷积，得到卷积后的高层语义特征图；

相乘处理单元，用于将所述卷积后的高层语义特征图和所述低层细节特征图进行对应元素相乘，得到全局特征信息。

Images