CN113012150A - 一种特征融合的高密度稻田无人机图像稻穗计数方法 - Google Patents

Abstract

本发明公布了一种在高密度田间水稻场景下，面向无人机RGB图像的水稻稻穗计数方法RFCNN。首先，水稻灌浆期稻穗与叶片颜色差异明显、稻穗受遮挡影响较小，因此使用无人机于5m高空自动巡航获取灌浆期水稻图像，确定输入图像的尺寸并切割图像，对切割后的图像，使用点标注方式标注图像中的稻穗，构建无人机稻穗计数数据集；接着针对标注的稻穗坐标使用协方差形式的高斯核函数，生成适用稻穗目标的真实密度图作为计数网络的回归目标；其次，统计稻穗尺寸，分析感受野，设计特征学习网络，使用多尺度卷积生成包含多个尺度信息的特征层，通过特征金字塔融合不同层的特征图，再通道注意力融合不同网络分支的特征层，生成高质量特征图；最后通过1x1的卷积核，将最终输出的特征图降维成单通道的预测密度图。使用RFCNN网络针对无人机水稻图像数据集训练模型，使用稻穗计数模型，对测试图片生成预测密度图，逐像素统计预测密度图的值，求和得到最终计数结果。

Description

一种特征融合的高密度稻田无人机图像稻穗计数方法

技术领域

本发明属于植物表型测量领域，是基于密度图估计的目标计数方法，基于深度学习的特征融合算法与水稻稻穗数量性状表型测量的交叉领域。本发明提出一种针对田间高密度场景的无人机水稻图像稻穗自动计数的综合方法。

背景技术

水稻是中国三粮之首，中国是世界上最大的水稻生产国。总产位居世界第一，单产水平一直处于世界前列，生产面积仅次于印度，位居世界第二位。水稻的高产和优产，对保障中国农业发展，解决粮食安全问题意义重大。稻穗数量与水稻产量密切相关，快速准确地获取田间稻穗数量，可以为表型分析提供基础数据。近年来，小型无人机设备价格低廉，逐渐广泛投入民用，为图像获取的需求提供了有效的解决方案。使用无人机搭载高清RGB相机，以事先设置好的飞行路线飞过作物种植区进行表型图像获取，能够在短时间内自动获取田间任意位置的水稻图像，不仅节约人力物力，也能获取更多样的图像数据。

目前基于图像的田间穗计数研究主要集中在基于图像分割或目标检测的检测计数法。图像分割方法通过区分穗与背景之间特征的差异，将穗与大田背景分割之后对分割后的穗部区域做骨架检测并统计计数，代表性的方法主要包括：基于颜色纹理特征的分割，基于超像素的分割和基于全卷积神经网络的分割等。穗分割方法，处理速度较快，但考虑到田间的穗的粘黏现象明显，使用分割方法尽管可以将穗和背景分开，但对于大量穗聚簇在一起时，穗与穗难以划分，统计穗部区域中单穗的个数是困难的。目标检测方法，主要通过对图像中每一个目标的识别和定位，进一步统计识别到的目标个数。主要的研究集中于利用深度目标检测的网络如：Faster R-CNN，Yolo系列等目标检测算法，对田间稻穗目标进行检测识别。相较于分割方法，目标检测方法对于局部粘黏的目标有着更好的区分效果，但当目标高度重叠在一起的时候，由于目标检测固有的非极大值抑制方法容易将重叠目标的多个候选框视为一个目标的重复框进而抑制，导致漏检。

不同的拍照方式也导致对于作物的计数难度存在差异。对于大田水稻，使用无人机俯拍，尽管可以快速自动地获得大面积的稻田图像，从而进行大规模的计数，但不同于近地相机拍摄，高空俯拍角度下，稻穗互相粘黏，遮挡的现象十分明显，这将导致区分出每一个穗目标是十分困难的。此外，现有的基于图像分割和目标检测的检测计数法，主要集中于单张图像覆盖较小面积的场景，当图像覆盖面积增大，图中稻穗数量增多，稻穗尺寸急剧减小时，方法适用性受到影响。

大面积稻穗计数是大规模的目标计数任务，田间场景复杂，稻穗密集，粘黏重叠在一起，与拥挤的人群场景相似，密度相近，因此使用大规模人群计数中适用性较好的基于密度图估计的回归计数法是可行的。

发明内容

本发明为实现对高密度无人机水稻图像中的稻穗自动计数，使用密度图回归的计数方式，设计了一种基于特征融合的田间高密度稻穗计数方法RFCNN(Refined FeatureCNN)。首先，针对稻穗狭长的形状，设计符合稻穗形状特点的密度图生成方式；其次，分析稻穗尺寸和网络感受野，设计适用于田间不同尺度稻穗的特征融合策略，优化网络特征提取环节，然后，使用通道注意力融合不同网络分支上的特征图，通过回归生成预测的密度图，对预测密度图统计计数结果，最终实现对无人机拍摄的田间高密度水稻图像的稻穗自动计数。

技术方案：

1)灌浆期水稻5m高空获取水稻图像数据。由于水稻灌浆期稻穗与叶片颜色差异明显、稻穗受遮挡影响较小；选择灌浆期稻田，使用无人机于5m高空自动巡航拍摄获取高密度水稻图像。

2)构建稻穗计数的数据集。根据1)中获取的原始图像尺寸、稻穗目标尺寸、单张图片稻穗数量，确定输入图像的尺寸并切割图像，对切割后的图像，使用点标注方式标注图像中的稻穗，保存标注点的坐标信息。

3)基于稻穗形态生成真实密度图。针对2)中标注的稻穗中心，利用协方差形式的高斯核生成椭圆形的密度区域，生成适用稻穗目标特点的真实密度图。

4)设计感受野梯度丰富的特征融合组合策略，构建特征学习网络。针对1)中的稻穗图像，量化稻穗尺寸，根据稻穗尺寸分布设计感受野梯度丰富的特征融合组合策略，基于组合的特征融合策略构建特征学习网络。

5)构建基于密度图回归的稻穗计数网络。将4)得到的特征图降维成预测密度图，使用3)中得到的真实密度图作为预测密度图的回归目标，构建回归网络。

6)训练稻穗计数模型。使用5)构建的稻穗计数网络针对2)中构建的数据集训练稻穗计数模型。

7)稻穗计数模型测试与预测密度图可视化。使用6)中得到的稻穗计数模型生成测试图像对应的预测密度图，统计密度图中的计数结果，并利用热力图叠加方式对结果可视化。

具体的，步骤1)中，水稻不同时期图片中，抽穗期稻穗与叶片均为绿色，颜色差异较小，成熟期稻穗受自重下垂受叶片遮挡严重，而灌浆期稻穗金黄，较为饱满，姿态挺立，受叶片遮挡较小，叶片仍为绿色，与穗颜色差异明显，最适合用于计数。

为了快速获取高密度高覆盖面积的水稻图像，提高调查结果的代表性，降低样本的偶然误差，使用无人机搭载高清RGB相机，于5M以上高度自动巡航，以事先设置好的飞行路线飞过水稻种植区，垂直俯拍正下方稻田，自动获取水稻灌浆期图像数据。

具体的，步骤2)中，主要包括：

步骤2.1水稻图像切割

针对获取的原始无人机水稻图像，根据原始图像尺寸、稻穗目标尺寸、单张图片稻穗数量，确定输入图像的尺寸，使用切割方式将原始水稻图像切为所需要尺寸大小的子图像。

步骤2.2稻穗人工标注

对于每个稻穗，保存其标注点的坐标信息，对于标注过程中出现的不同形态的稻穗，标注点位于稻穗的对称中心。使用Matlab编写脚本，利用鼠标点击捕获标注点坐标，将其保存为mat文件格式。

步骤2.3水稻数据集构建

对于标注后的水稻图片，随机选取70％用于训练，20％用于验证，10％用于测试，训练集、验证集与测试集在图像样本空间上没有交集。

具体的，步骤3)中，密度图作为计数网络的回归目标，理想情况下，密度区域的分布形状应与稻穗形态接近。针对密度图生成环节，主要分析稻穗形态，改进高斯核，使高斯核分布贴近稻穗真实的形状，生成符合稻穗形态特征的真实密度图，改进后的高斯核函数如式(1)：

其中协方差矩阵∑的形式如式(2)所示：

式(1)中，size表示对每个目标要生成的密度区域大小，在本研究中为稻穗实际尺寸大小，x，y表示待生成密度区域中的每个像素点相对于标注点的相对坐标，∑为协方差矩阵，表示稻穗边缘和稻穗中心的特征差异，其中δ₁₁主要控制x方向的差异，δ₂₂主要控制y方向的差异，通过调整δ₁₁和δ₂₂可以控制密度区域的形状改变为椭圆形，适用于稻穗目标，δ₁₂和δ₂₁主要控制生成密度区域的斜率，可以改变稻穗椭圆形密度区域的方向。

具体的，步骤4)中，主要分析稻穗尺寸大小，根据稻穗实际尺寸和网络感受野，采用不同融合策略，设计特征学习网络，使卷积神经网络能够充分学习不同尺度的稻穗特征，生成高质量的特征图。卷积神经网络中感受野的计算公式如式(3)：

S_RF(t)＝(S_RF(t-1)-1)N_s(t)+S_f(t) (3)

式(3)中，S_RF(t)表示第t层卷积层感受野尺寸，N_s(t)表示第t层卷积的步长，S_f(t)表示第t层卷积滤波器尺寸。

步骤4.1基于多尺度卷积核的特征融合

采用多尺度卷积方式，细化每一层网络的感受野，使得每一层网络的特征图感受野包含多个尺度的特征信息，多尺度卷积的主要计算公式如式(4)：

F_i＝Conv_kxk(F_i-1)+DialatedConv_kxk(F_i-1) (4)

式(4)中，F_i表示第i层特征矩阵，Conv_kxk表示使用kxk的标准卷积，DialatedConv_kxk表示使用kxk的空洞卷积

步骤4.2基于特征金字塔的特征融合

采用金字塔特征层融合方式，将深层特征图做上采样至与浅层特征图同样大小，再与浅层特征图横向连接，使融合后的特征图既包含浅层特征的空间信息，也包含深层特征的语义信息，将深层与浅层不同感受野的网络输出的特征图融合。特征层融合的主要计算公式如式(5)：

F＝Conv_1x1(Conv_1x1(S)+f(D)) (5)

式(5)中，F表示融合后的特征矩阵，S表示网络深层的特征矩阵D表示网络浅层的特征矩阵，Conv_1x1表示使用1×1大小的卷积核做卷积，f表示基于最近邻插值的上采样函数。

步骤4.3基于通道注意力的特征融合

基于多尺度和金字塔的特征融合将各个尺度的特征信息同等参与计算，在实际场景中不同尺度的特征重要性与稻穗真实的尺寸分布有关，使用同等的权重计算会带来冗余。为此采用通道注意力的方式，对不同分支网络中作用较低的通道进行过滤，调整不同网络分支在最终特征图的权重，增强通道间的差异，使更重要的特征信息发挥更大作用。首先对输入特征图使用全局平均池化输入特征图(GAP)，将WxHxC的特征图调整为1x1xC的一维向量，然后通过大小为k的快速1D卷积计算向量中每个通道与其k个邻居之间的局部跨通道交互信息，通过局部跨通道交互信息计算每个通道的权重，再用得到的权重对输入特征图加权，得到加权后的融合特征图。

具体的，步骤5)中，将步骤4)得到的特征图通过1x1的卷积核，将最终输出的特征图降维成单通道的预测密度图(estimation)。使用欧式损失计算预测的密度图(estimation)和真实密度图(groundtruth)的误差。损失函数形式如式(6)：

式(6)中，θ表示网络中可学习的参数，N表示训练图像的数量，F_i表示真实密度图(groundtruth)，F(X_i；θ)表示预测密度图(estimation)。使用随机梯度下降法SGD和交替优化法优化损失。

具体的，步骤6)中，针对步骤2)构建的水稻数据集，使用步骤3)中设计的改进高斯核，生成真实密度图(groundtruth)，使用步骤5)构建的稻穗计数网络训练水稻数据集，得到训练好的稻穗计数模型。

具体的，步骤7)中，使用步骤6)中得到的稻穗计数模型，输入测试图片，得到预测的密度图。逐像素统计预测密度图的值，求和得到最终计数结果。密度图到计数结果的计算公式如式(7)：

式(7)中，C表示计数结果，x，y表示密度矩阵每个点的坐标，W表示该点密度值，w，h表示图像的长和宽(等价于密度矩阵的长和宽)

对于每张图输出的预测结果，进一步做可视化处理。将原图像灰度化后与使用热力图模板处理的密度图做逐像素叠加，构造可视化的预测结果，如式(8)所示：

R(x，y)＝f(I(x，y))+W(x，y)(x＝0，1，...，w；y＝0，1，...，h) (8)

式(8)中，R(x，y)表示热力图的像素值，f表示灰度化处理函数，I(x，y)表示原始图像的像素值，W(x，y)表示密度矩阵的密度值。

本发明的作用

本发明提出了一种特征融合的高密度水稻无人机图像稻穗计数方法RFCNN，该方法通过特征融合的方式，加强对不同尺寸的稻穗目标的特征学习，生成高质量的密度图来回归计数结果，显著提高对密集场景下稻穗的计数精度。在实际应用的过程中，本方法成像简单，标注工作低，能够实现针对大面积尺度的田块稻穗大规模稻穗计数的任务，为遗传育种专家对水稻穗数性状的测量提供了有效的解决方案。

附图说明

图1本发明流程示意图

图2 RFCNN网络结构图

图3改进高斯核示意图

图4多尺度卷积示意图

图5特征层融合示意图

图6通道注意力示意图

图7计数实际效果示意图

具体实施方式

下面以水稻为例对本发明作进一步说明，但本发明的保护范围不限于此，对其它禾本类大田作物的计数，如小麦、高粱、玉米等亦具有同样作用：

实施例1：

示例选择江苏省南京市六合区艾津水稻生产基地的灌浆晚期南粳5913水稻品种，采用大疆精灵4无人机于田间5米高度获取水稻图像，使用本发明方法进行稻穗自动计数，结合附图1，具体说明本实施方式：

步骤1：无人机高密度水稻图像稻穗计数数据集构建

步骤1.1：无人机水稻图像获取

水稻图像于2019年10-11月采集于江苏省南京市六合区艾津水稻生产基地(32°16′44″N，118°51′10″E，海拔4m)，拍摄水稻品种为南粳5913。使用大疆精灵4无人机在稻田正上方5m处，垂直俯拍，共采集水稻图像30幅，分辨率为4000x3000像素。单张图片中稻穗数量多达3000-5000个左右，穗呈黄绿色，每个稻穗目标的尺寸在15-40不等，稻穗的形态尺寸相对差异较大。

步骤1.2：水稻图像切割

单张图片中稻穗数量过多，图片分辨率较高，不易于标注和模型训练，因此进一步将水稻图片按长宽各四等分，切分为480张小图，每张图片分辨率为1000x750，单张图片中约有200-300个稻穗目标。

步骤1.3：稻穗人工标注

使用Matlab编写脚本进行标注，对于每个稻穗，保存其标注点的坐标信息(x，y)，对于标注过程中出现的不同形态的稻穗，标记点位于稻穗的对称中心，标注文件以mat格式存储。

步骤1.4：水稻数据集构建

对切分后的图像，随机选取70％共336张图片用于训练，20％共96张图片用于验证，10％共48张图片用于测试，训练集、验证集与测试集在图像样本空间上没有交集。

步骤2：设计适用稻穗目标的真实密度图生成方式

改进后的高斯核函数如式(1)：

其中协方差矩阵∑的形式如式(2)所示：

式(1)中，size表示对每个目标要生成的密度区域大小，在本研究中为稻穗实际尺寸大小，x，y表示待生成密度区域中的每个像素点相对于标注点的相对坐标，∑为协方差矩阵，表示稻穗边缘和稻穗中心的特征差异，其中δ₁₁主要控制x方向的差异，δ₂₂主要控制y方向的差异，通过调整δ₁₁和δ₂₂可以控制密度区域的形状改变为椭圆形，适用于稻穗目标，δ₁₂和δ₂₁主要控制生成密度区域的斜率，可以改变稻穗椭圆形密度区域的方向。

对于本文稻穗目标，统计步骤1)中数据集中的48张图片中共计10957个稻穗的尺寸和长宽比得出，稻穗的平均尺寸约为20像素，长宽比约为4∶1，稻穗多为直立形状。由于初始标准差σ为4，因此设δ₁₁＝σ²＝16，δ₂₂＝4*δ₁₁＝64，δ₁₂＝δ₂₁＝0，最终取size等于20，

生成的密度区域形状如附图3所示。

步骤3：统计稻穗尺寸，分析感受野，设计基于特征融合的特征学习网络

选取步骤1)中数据集中的48张图片，统计单张图片不同尺寸的稻穗平均个数如下。

卷积神经网络中感受野的计算公式如式(3)：

S_RF(t)＝(S_RF(t-1)-1)N_s(t)+S_f(t) (3)

式(3)中，S_RF(t)表示第t层卷积层感受野尺寸，N_s(t)表示第t层卷积的步长，S_f(t)表示第t层卷积滤波器尺寸。

步骤3.1基于多尺度卷积核的特征融合

采用多尺度卷积方式，细化每一层网络的感受野，使得每一层网络的特征图感受野包含多个尺度的特征信息，多尺度卷积的主要计算公式如式(4)：

F_i＝Conv_kxk(F_i-1)+DialatedConv_kxk(F_i-1) (4)

式(4)中，F_i表示第i层特征矩阵，Conv_kxk表示使用kxk的标准卷积，DialatedConv_kxk表示使用kxk的空洞卷积，具体结构如附图4所示。

步骤3.2基于特征金字塔的特征融合

采用金字塔特征层融合方式，将深层特征图做上采样至与浅层特征图同样大小，再与浅层特征图横向连接，使融合后的特征图既包含浅层特征的空间信息，也包含深层特征的语义信息。特征层融合的主要计算公式如式(5)：

F＝Conv_1x1(Conv_1x1(S)+f(D)) (5)

式(5)中，F表示融合后的特征矩阵，S表示网络深层的特征矩阵D表示网络浅层的特征矩阵，Conv_1x1表示使用1×1大小的卷积核做卷积，f表示基于最近邻插值的上采样函数。具体结构如附图5所示。

采用多尺度卷积和特征层融合的网络感受野如下：

最后的特征图能够有效包含个从5-42之间共计15个尺度的丰富的特征信息。经过特征融合后的特征图所包含的感受野尺度丰富，更能够有效的表达田间不同尺度稻穗的特征。

步骤3.3基于通道注意力的特征融合

如附图6所示，采用通道注意力的方式，对不同分支网络中作用较低的通道进行过滤，调整不同网络分支在最终特征图的权重，增强通道间的差异，使更重要的特征信息发挥更大作用。首先对输入特征图使用全局平均池化输入特征图(GAP)，将WxHxC的特征图调整为1x1xC的一维向量，然后通过大小为k的快速1D卷积计算向量中每个通道与其k个邻居之间的局部跨通道交互信息，通过局部跨通道交互信息计算每个通道的权重，再用得到的权重对输入特征图加权，得到加权后的融合特征图。

步骤4：构建基于密度图回归的稻穗计数网络

RFF-PC的计数网络结构如附图2所示，将步骤3得到的特征图通过1x1的卷积核，将最终输出的特征图降维成单通道的预测密度图(estimation)。使用欧式损失计算预测的密度图(estimation)和步骤2中的真实密度图(groundtruth)的误差。损失函数形式如式(6)：

式(6)中，θ表示网络中可学习的参数，N表示训练图像的数量，F_i表示真实密度图(groundtruth)，F(X_i；θ)表示预测密度图(estimation)。使用随机梯度下降法SGD和交替优化法优化损失。

步骤5：训练稻穗计数模型

实验平台为一台具备高性能显卡的深度学习计算机，处理器为Amd Ryzen 5 2600六核CPU，主频为3.4GHZ，内存为32GB，硬盘为2TB，显卡为GeForce RTX2080。运行环境为Ubuntu 16.0.4、Pytorch2和Python2.7。

使用无人机稻穗训练数据集作为穗计数模型的输入数据，对于原始的点标注文件，使用改进的密度图生成方法，生成对应的真实密度图。特征网络学习原始图像中的稻穗特征，生成预测的密度图。使用随机梯度下降法和交替优化法优化训练模型，不断调整预测密度图使得其更接近真实密度图。通过对预测的密度图逐像素统计计数值得到最终的计数结果。

密度图到计数结果的计算公式如式(7)：

公式中C表示计数结果，x，y表示密度矩阵每个点的坐标，W表示该点密度值，w，h表示图像的长和宽(等价于密度矩阵的长和宽)

步骤6：

步骤6.1：评价指标

选用MAE，RMSE，rMAE作为模型的评价指标，其中：

(1)MAE(平均绝对误差)，表示预测值与真实值之差的绝对值之和；

(2)RMSE(均方根误差)，表示预测值与真实值之间的误差的均方根；

(3)rMAE(平均百分比误差)，表示预测误差和真实值的比值；

计算方法如下公式所示：

步骤6.2：测试结果

针对步骤2构建的水稻测试数据集，测试结果如下：

结果表明。对于水稻计数数据集，综合使用改进的高斯核和特征融合方法，rMAE为8.99％，丰富的感受野梯度能够有效提升网络对不同尺寸目标的特征学习能力，提高计数精度。

对于每张图输出的预测结果，进一步做可视化处理。将原图像灰度化后与使用热力图模板处理的密度图做逐像素叠加，构造可视化的预测结果，如式(11)所示：

R(x，y)＝f(I(x，y))+W(x，y)(x＝0，1，...，w；y＝0，1，...，h) (11)

式(11)中，R(x，y)表示热力图的像素值，f表示灰度化处理函数，I(x，y)表示原始图像的像素值，W(x，y)表示密度矩阵的密度值。如附图7所示，RFF-PC方法能够有效降低漏检率，实现无人机图像高密度场景下的稻穗计数。

Claims (8)

1.RFCNN：一种特征融合的高密度稻田无人机图像稻穗计数方法，其特征在于其主要包括以下步骤：

1)灌浆期水稻5m高空获取水稻图像数据。由于水稻灌浆期稻穗与叶片颜色差异明显、稻穗受遮挡影响较小；选择灌浆期稻田，使用无人机于5m高空自动巡航拍摄获取高密度水稻图像。

2)构建稻穗计数的数据集。根据1)中获取的原始图像尺寸、稻穗目标尺寸、单张图片稻穗数量，确定输入图像的尺寸并切割图像，对切割后的图像，使用点标注方式标注图像中的稻穗，保存标注点的坐标信息。

3)基于稻穗形态生成真实密度图。针对2)中标注的稻穗中心，利用协方差形式的高斯核生成椭圆形的密度区域，生成适用稻穗目标特点的真实密度图。

4)设计感受野梯度丰富的特征融合组合策略，构建特征学习网络。针对1)中的稻穗图像，量化稻穗尺寸，根据稻穗尺寸分布设计感受野梯度丰富的特征融合组合策略，基于组合的特征融合策略构建特征学习网络。

5)构建基于密度图回归的稻穗计数网络。将4)得到的特征图降维成预测密度图，使用3)中得到的真实密度图作为预测密度图的回归目标，构建回归网络。

6)训练稻穗计数模型。使用5)构建的稻穗计数网络针对2)中构建的数据集训练稻穗计数模型。

7)稻穗计数模型测试与预测密度图可视化。使用6)中得到的稻穗计数模型生成测试图像对应的预测密度图，统计密度图中的计数结果，并利用热力图叠加方式对结果可视化。

2.根据权利要求1所述的高密度水稻无人机图像稻穗计数方法，其特征在于步骤1)中，主要包括：

水稻不同时期图片中，抽穗期稻穗与叶片均为绿色，颜色差异较小，成熟期稻穗受自重下垂受叶片遮挡严重，而灌浆期稻穗金黄，较为饱满，姿态挺立，受叶片遮挡较小，叶片仍为绿色，与穗颜色差异明显，最适合用于计数。

为了快速获取高密度高覆盖面积的水稻图像，提高调查结果的代表性，降低样本的偶然误差，使用无人机搭载高清RGB相机，于5M以上高度自动巡航，以事先设置好的飞行路线飞过水稻种植区，垂直俯拍正下方稻田，自动获取水稻灌浆期图像数据。

3.根据权利要求1所述的高密度水稻无人机图像稻穗计数方法，其特征在于步骤2)中，主要包括：

步骤2.1水稻图像切割

针对获取的原始无人机水稻图像，根据原始图像尺寸、稻穗目标尺寸、单张图片稻穗数量，确定输入图像的尺寸，使用切割方式将原始水稻图像切为所需要尺寸大小的子图像。

步骤2.2稻穗人工标注

对于每个稻穗，保存其标注点的坐标信息，对于标注过程中出现的不同形态的稻穗，标注点位于稻穗的对称中心。使用Matlab编写脚本，利用鼠标点击捕获标注点坐标，将其保存为mat文件格式。

步骤2.3水稻数据集构建

对于标注后的水稻图片，随机选取70％用于训练，20％用于验证，10％用于测试，训练集、验证集与测试集在图像样本空间上没有交集。

4.根据权利要求1所述的高密度水稻无人机图像稻穗计数方法，其特征在于步骤3)中，密度图作为计数网络的回归目标，理想情况下，密度区域的分布形状应与稻穗形态接近。针对密度图生成环节，主要分析稻穗形态，改进高斯核，使高斯核分布贴近稻穗真实的形状，生成符合稻穗形态特征的真实密度图，改进后的高斯核函数如式(1)：

其中协方差矩阵∑的形式如式(2)所示：

式(1)中，size表示对每个目标要生成的密度区域大小，在本研究中为稻穗实际尺寸大小，x，y表示待生成密度区域中的每个像素点相对于标注点的相对坐标，∑为协方差矩阵，表示稻穗边缘和稻穗中心的特征差异，其中δ₁₁主要控制x方向的差异，δ₂₂主要控制y方向的差异，通过调整δ₁₁和δ₂₂可以控制密度区域的形状改变为椭圆形，适用于稻穗目标，δ₁₂和δ₂₁主要控制生成密度区域的斜率，可以改变稻穗椭圆形密度区域的方向。

5.根据权利要求1所述的高密度水稻无人机图像稻穗计数方法，其特征在于步骤4)中，主要分析稻穗尺寸大小，根据稻穗实际尺寸和网络感受野，采用不同融合策略进行组合，设计特征学习网络，使卷积神经网络能够充分学习不同尺度的稻穗特征，生成高质量的特征图。卷积神经网络中感受野的计算公式如式(3)：

S_RF(t)＝(S_RF(t-1)-1)N_s(t)+S_f(t) (3)

式(3)中，S_RF(t)表示第t层卷积层感受野尺寸，N_s(t)表示第t层卷积的步长，S_f(t)表示第t层卷积滤波器尺寸。

步骤4.1基于多尺度卷积核的特征融合

采用多尺度卷积方式，细化每一层网络的感受野，使得每一层网络的特征图感受野包含多个尺度的特征信息，多尺度卷积的主要计算公式如式(4)：

F_i＝Conv_kxk(F_i-1)+DialatedConv_kxk(F_i-1) (4)

式(4)中，F_i表示第i层特征矩阵，Conv_kxk表示使用kxk的标准卷积，DialatedConv_kxk表示使用kxk的空洞卷积

步骤4.2基于特征金字塔的特征融合

采用金字塔特征层融合方式，将深层特征图做上采样至与浅层特征图同样大小，再与浅层特征图横向连接，使融合后的特征图既包含浅层特征的空间信息，也包含深层特征的语义信息，将深层与浅层不同感受野的网络输出的特征图融合。特征层融合的主要计算公式如式(5)：

F＝Conv_1x1(Conv_1x1(S)+f(D)) (5)

式(5)中，F表示融合后的特征矩阵，S表示网络深层的特征矩阵D表示网络浅层的特征矩阵，Conv_1x1表示使用1X1大小的卷积核做卷积，f表示基于最近邻插值的上采样函数。

步骤4.3基于通道注意力的特征融合

基于多尺度和金字塔的特征融合将各个尺度的特征信息同等参与计算，在实际场景中不同尺度的特征重要性与稻穗真实的尺寸分布有关，使用同等的权重计算会带来冗余。为此采用通道注意力的方式，对不同分支网络中作用较低的通道进行过滤，调整不同网络分支在最终特征图的权重，增强通道间的差异，使更重要的特征信息发挥更大作用。首先对输入特征图使用全局平均池化输入特征图(GAP)，将WxHxC的特征图调整为1x1xC的一维向量，然后通过大小为k的快速1D卷积计算向量中每个通道与其k个邻居之间的局部跨通道交互信息，通过局部跨通道交互信息计算每个通道的权重，再用得到的权重对输入特征图加权，得到加权后的融合特征图。

6.根据权利要求1所述的高密度水稻无人机图像稻穗计数方法，其特征在于步骤5)中，将步骤4)得到的特征图通过1x1的卷积核，将最终输出的特征图降维成单通道的预测密度图(estimation)。使用欧式损失计算预测的密度图(estimation)和真实密度图(groundtruth)的误差。损失函数形式如式(6)：

式(6)中，θ表示网络中可学习的参数，N表示训练图像的数量，F_i表示真实密度图(groundtruth)，F(X_i；θ)表示预测密度图(estimation)。使用随机梯度下降法SGD和交替优化法优化损失。

7.根据权利要求1所述的高密度水稻无人机图像稻穗计数方法，其特征在于步骤6)中，针对步骤2)构建的水稻数据集，使用步骤3)中设计的改进高斯核，生成真实密度图(groundtruth)，使用步骤5)构建的稻穗计数网络训练水稻数据集，得到训练好的稻穗计数模型。

8.根据权利要求1所述的高密度水稻无人机图像稻穗计数方法，其特征在于步骤7)中，使用步骤6)中得到的稻穗计数模型，输入测试图片，得到预测的密度图。逐像素统计预测密度图的值，求和得到最终计数结果。密度图到计数结果的计算公式如式(7)：

式(7)中，C表示计数结果，x，y表示密度矩阵每个点的坐标，W表示该点密度值，w，h表示图像的长和宽(等价于密度矩阵的长和宽)

对于每张图输出的预测结果，进一步做可视化处理。将原图像灰度化后与使用热力图模板处理的密度图做逐像素叠加，构造可视化的预测结果，如式(8)所示：

R(x，y)＝f(I(x，y))+W(x，y)(x＝0，1，...，w；y＝0，1，...，h) (8)

式(8)中，R(x，y)表示热力图的像素值，f表示灰度化处理函数，I(x，y)表示原始图像的像素值，W(x，y)表示密度矩阵的密度值。

Images