CN115424257A - 基于改进多列卷积神经网络的作物苗期植株计数方法 - Google Patents
基于改进多列卷积神经网络的作物苗期植株计数方法 Download PDFInfo
- Publication number
- CN115424257A CN115424257A CN202210975343.4A CN202210975343A CN115424257A CN 115424257 A CN115424257 A CN 115424257A CN 202210975343 A CN202210975343 A CN 202210975343A CN 115424257 A CN115424257 A CN 115424257A
- Authority
- CN
- China
- Prior art keywords
- counting
- branch
- seedling
- seedling stage
- plant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 25
- 238000005070 sampling Methods 0.000 claims abstract description 22
- 238000012800 visualization Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 230000006798 recombination Effects 0.000 claims description 3
- 238000005215 recombination Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 2
- 241000196324 Embryophyta Species 0.000 description 72
- 238000013135 deep learning Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 239000002689 soil Substances 0.000 description 5
- 239000011449 brick Substances 0.000 description 4
- 210000005069 ears Anatomy 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 231100000241 scar Toxicity 0.000 description 4
- 239000010902 straw Substances 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 235000004936 Bromus mango Nutrition 0.000 description 2
- 240000007228 Mangifera indica Species 0.000 description 2
- 235000014826 Mangifera indica Nutrition 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 235000009184 Spondias indica Nutrition 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241001057636 Dracaena deremensis Species 0.000 description 1
- 241001024327 Oenanthe <Aves> Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开基于改进多列卷积神经网络的作物苗期植株计数方法，包括如下步骤：获取待估计苗期植株图像；将待估计苗期植株图像输入预设的苗期植株计数模型中，苗期植株计数模型包括多列卷积分支注意力编码器、多分支融合模块以及上采样可视化模块，多列卷积神经网络模型用于提取不同尺度大小的特征；多分支特征融合模块用于将不同尺度大小的特征进行融合并将融合后的特征通过1维卷积滤波层进行注意力映射；上采样可视化模块用于将映射后的特征恢复密度图的分辨率，获得估计的苗期植株密度图；计算苗期植株密度图中像素点概率值并进行累加，得到待估计苗期植株图像中苗期植株的数量。本发明将提高在大田场景下不同尺度苗期植株的高精度计数。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及基于改进多列卷积神经网络的作物苗期植株计数方法。
背景技术
近年来，人们提出了一些基于计算机视觉的植株计数方法，可分为传统的机器学习方法和基于深度学习的方法。传统的机器学习方法通常通过图像低阶特征对植物进行分割或检测，并对检测到的对象进行计数。例如，Gonga等用阈值分割去检测苹果色段，进一步通过形态学处理来识别苹果的计数。Qureshi等从超像素中提取SIFT描述符，并使用SVM对芒果和非芒果区域进行分类及计数。然而，低阶图像特征易受噪声影响，鲁棒性较差，计数精确度难以保障。近年来，随着深度学习在图像分类、目标检测以及图像分割等方面获得优异的结果，深度学习开始在植物计数方面进行应用。
基于深度学习的植物计数方法主要有图像分割和目标检测两种方法，Hasan等使用Fast R-CNN图像分割网络来检测苗期植株穗，Madec等使用Fast R-CNN对成熟期后的小麦穗进行检测，因为其穗和背景的差异较为明显，所以检测精度良好。同时图像分割和目标检测的有效性和鲁棒性是以昂贵的边界框和像素级注释为代价的，通常需要大量手动注释。
随着深度学习的发展，出现了一种将密度估计引入深度学习中的计数范式，可以直接从图像中推断计数。基于密度图的方法由于稳健的鲁棒性和较高可计算性成为计数领域的主流方法，在人群及植株计数领域中被广泛应用。Lempitsky等将计数转换为密度图回归是一个开创新的工作。自Lempitsky等和Chen等的工作起，学者专家更加专注于对模型进行创新和改进，使其具有更好的鲁棒性，如Zhang等使用CSRNet同时估计密度图和对象计数来进行植株计数，Wu等结合密度图估计和背景分割来估算水稻幼苗的计数，Xiong等在TasselNetv2中针对穗的局部计数中引入上下文扩展显着提高计数性能。
在Y.Zhang和Sam两项工作中利用多列卷积神经网络(MCNN)具有不同大小的滤波器，以增加对人群的大小鲁棒性。然而基于MCNN的植株计数却鲜有报道，现有研究多是基于简单背景下的单一尺度物体计数，如Feng等基于改进的MCNN进行大米颗粒计数，Hou等在MCNN中引入先验图进行鱼饵颗粒计数。
当前基于深度学习的方法针对大田复杂场景下的苗期植株计数面临着实质性的视觉挑战，包括：(1)苗期植株的密集种植，会导致极密集的空间分布和严重的遮挡(图11(a))，在检测过程中容易产生误判或漏判定等情况；(2)大田场景下存在土壤杂质(秸秆、砖砌)遮挡的情况(图11(b))，苗期植株只占据图像中的少量像素，这必须有差异来区分苗期植株主体和背景；(3)由于光照变化引起的视觉差异，光照影像存在低照度和高照度的图像(图11(c))；(4)杂草等影响较大的背景杂质，会在检测过程中造成背景误差估计，并影响计数精度(图11(d))；(5)即使在苗期，苗期植株也因为生长差异，有不同的尺寸大小，存在尺度变化问题(图11(e))。
以上问题对于当前场景下的苗期植株计数精度有较大的影响，导致了现有先进模型(CSRNet、SCAR、MCNN、CANNet、TasselNetV2)普遍具有较低的计数精度。分析发现，是因为现有先进计数模型使用相同卷积核的过滤器，估计局部尺度以补偿透视失真，如CANNet虽然具有结合了使用多个感受野大小获得的特征，能够自适应的编码预测目标密度所需的上下文信息的规模，但是针对较大苗期植株在透视场景下仍不能较好的适用；SCAR基于CSRNet进行改进，引入并行的两种注意力机制，能够极大的减轻对背景区域的错误估计,但是忽略了较大苗期植株的大范围尺度信息，最终产生较低的计数精度；TasselNetv2针对具有固定尺度大小穗的局部计数中引入上下文扩展，在一定程度上提升了计数性能，但是总体上计数精度仍处于较低的水平。综上所述，在苗期植株计数场景中并不适用具有相同卷积核的过滤器，同时，MCNN虽然在一定程度上对不同尺度的同一物体有较好的鲁棒性，但是在苗期植株计数场景下的鲁棒性仍有所欠缺，其模型结构改进仍有优化空间。
发明内容
为了解决上述技术问题，本发明提出基于改进多列卷积神经网络的作物苗期植株计数方法，以提高在大田场景下不同尺度苗期植株的高精度计数。
为了达到上述目的，本发明的技术方案如下：
基于改进多列卷积神经网络的作物苗期植株计数方法，包括如下步骤：
获取待估计苗期植株图像；
将待估计苗期植株图像输入预设的苗期植株计数模型中，所述苗期植株计数模型包括多列卷积分支注意力编码器、多分支融合模块以及上采样可视化模块，其中，所述多列卷积神经网络模型用于提取不同尺度大小的特征；所述多分支特征融合模块用于将不同尺度大小的特征进行融合并将融合后的特征通过1维卷积滤波层进行注意力映射；所述上采样可视化模块用于将映射后的特征恢复密度图的分辨率，获得估计的苗期植株密度图；
计算苗期植株密度图中像素点概率值并进行累加，得到待估计苗期植株图像中苗期植株的数量。
优选地，所述多列卷积神经网络模型包括并列连接的分支1、分支2和分支3，所述分支1中引入位置注意力模块，用于得到位置注意力特征，所述分支3中引入通道注意力模块，用于得到通道注意力特征。
优选地，所述分支1的结构，如下所示：
Conv1：卷积核大小为9×9，通道数量为16，步长为4；
最大池化层：过滤器大小为2×2，步长为2；
Conv2：卷积核大小为7×7，通道数量为32，步长为3；
最大池化层：过滤器大小为2×2，步长为2；
位置注意力模块；
Conv3：卷积核大小为7×7，通道数量为16，步长为3；
Conv4：卷积核大小为7×7，通道数量为8，步长为3。
优选地，所述位置注意力模块的处理过程，如下所示：
将分支1提取的特征FB1分别输入到三个不同的1×1卷积层中并使用重组或转置操作，获得三个特征图PB1:1、PB1:2和PB1:3；
对特性图PB1:1和PB1:3使用矩阵乘法和Softmax运算，将权重和归一化为和为1的概率分布，得到位置注意图PB1:a，计算公式如下：
其中
表示第i个位置对第j个位置的影响，
对PB1:a和PB1:1之间应用矩阵乘法，然后将输出维度重组为特征FB1大小，对于FB1的最终和操作，使用一个可学习的因子来缩放输出，计算公式如下：
其中，λ是可学习参数。
优选地，所述分支3的结构，如下所示：
Conv1：卷积核大小为5×5，通道数量为24，步长为2；
最大池化层：过滤器大小为2×2，步长为2；
Conv2：卷积核大小为3×3，通道数量为48，步长为1；
最大池化层：过滤器大小为2×2，步长为2；
通道注意力模块；
Conv3：卷积核大小为3×3，通道数量为24，步长为1；
Conv4：卷积核大小为3×3，通道数量为12，步长为1。
优选地，所述通道注意力模块的处理过程，如下所示：
将分支3提取的特征FB3输入到一个1×1的卷积层中，获得三个特征图CB3:1、CB3:2和CB1:3；
对CB1:1和CB1:2使用矩阵乘法和Softmax运算，将权重和归一化为概率和为1的概率分布，得到位置注意图CB3:a，计算公式如下：
其中
表示第i个通道对第j个通道的影响，
对CB3:a和CB3:3应用矩阵乘法，然后将输出维度重组为特征FB3大小，最后通过一个可学习的变量来衡量和操作的输出，计算公式如下：
其中，μ是一个区别于λ的可学习参数。
优选地，所述苗期植株计数模型的训练过程中引入密度图损失加上采样绝对计数损失共同组成混合损失的结果，用于对可视化模块上采样后的密度图进行计数精度监督，公式如下：
L＝(1-δ)*LossD+δ*LossC 公式7
其中，LossD为密度图损失；LossC为计数损失。
基于上述技术方案，本发明的有益效果是：
1)本发明以多列卷积分支编码器作为主干，其使用不同大小的滤波器捕捉多重尺度的苗期植株基础特征，进而增强特征表示，缓解苗期植株因生长状态不同而产生的不同尺度问题；
2)本发明在分支1中引入位置注意力模块(PAM)。PAM可以模拟较大范围的上下文信息，在与分支1的大卷积相结合后，能捕捉较大苗期植株的范围性信息，将较大尺度的苗期植株的大致位置信息映射至具体的像素区域，尝试编码对空间维度的大范围依赖关系，这对较大植株的密度位置定位性能有较好的效果；
3)本发明在分支3中引入通道注意力模块(CAM)。为了区别特定的较小苗期植株区域和其他区域(稻草、砖砌、杂草、裸土)两种响应，使用通道注意力模块获取任意双通道映射之间的关系，并对通道映射进行加权求和，最后对原始通道进行更新。这能提高总体计数精度并在一定程度上避免背景的误差估计；
4)本发明在苗期植株计数模型的训练过程中引入上采样绝对计数损失。相比较传统单一密度图损失，为了获得更高的计数精度，本节对可视化模块上采样后的密度图进行计数精度监督，在训练过程中引入密度图损失加上采样绝对计数损失共同组成混合损失的结果。
附图说明
图1是一个实施例中基于改进多列卷积神经网络的作物苗期植株计数方法流程图；
图2是苗期植株计数模型的网络架构图；
图3是多列卷积分支编码器的结构图1；
图4是多列卷积分支编码器的结构图2；
图5是位置注意力模块的结构图；
图6是通道注意力模块的结构图；
图7是多分支融合模块的结构图；
图8是常见密度估计网络结构；
图9是增加上采样计数敏感度后并使用混合损失的对比结果图1；
图10是增加上采样计数敏感度后并使用混合损失的对比结果图2；
图11是采集的苗期植株的五种类型图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
如图1所示，本实施例提供一种基于改进多列卷积神经网络的作物苗期植株计数方法，包括如下步骤：
S1，获取待估计苗期植株图像。
本实施例中，由于预设的苗期植株计数模型(SRDPNet)的所有卷积层采用全卷积神经网络，不含全连接层，所以能够处理内存允许情况下的任意分辨率图像，不需要将图片裁剪为特定大小。
S2，将待估计苗期植株图像输入预设的苗期植株计数模型中，所述苗期植株计数模型包括多列卷积分支注意力编码器、多分支融合模块以及上采样可视化模块，其中，所述多列卷积神经网络模型用于提取不同尺度大小的特征；所述多分支特征融合模块用于将不同尺度大小的特征进行融合并将融合后的特征通过1维卷积滤波层进行注意力映射；所述上采样可视化模块用于将映射后的特征恢复密度图的分辨率，获得估计的苗期植株密度图。
本实施例中，如图2、3所示，苗期植株计数模型包括多列卷积分支注意力编码器、多分支融合模块以及上采样可视化模块，其中，
1.多列卷积神经网络模型(MAB)，参照图4。多列卷积神经网络模型基于具有不同大小滤波器的多列卷积注意力编码器(分支1、分支2和分支3)去捕捉不同尺度的苗期植株基础特征，并在分支1和分支3中分别引入位置注意力模块和通道注意力模块，分别用来编码位置和通道方面的注意特征。之后通过多分支融合模块将多尺度下的特征图进行融合，融合后的特征通过1×1的滤波器将特征图进行映射。最后将融合后的特征映射图送入上采样可视化模块中进行分辨率的恢复，得到最终的预测密度图。
在分支1中引入位置注意力模块(PAM:position attention module)，参照图5。PAM可以模拟较大范围的上下文信息，在与分支1的大卷积相结合后，能捕捉较大苗期植株的范围性信息，将较大尺度的苗期植株的大致位置信息映射至具体的像素区域，尝试编码对空间维度的大范围依赖关系，这对较大植株的密度位置定位性能有较好的效果。
在人群场景的视角变化中，全局和局部的密度分布具有一定的规律性，对于全局图像，密度的变化呈一致的渐进趋势。但是对于苗期植株场景，存在大量的由生长状态不一而产生的尺度变化问题，为了对上述观察结果进行编码，需要引入一个可以模拟大范围的上下文信息的模块，并捕捉密度分布的变化。
位置注意力模块来编码能个特征图中的空间依赖性，所以在多列卷积神经网络的分支1引入了位置注意力模型(PAM)，其与分支1中的大卷积核滤波器结合后，能够提取提取更大范围内的较大苗期植株上下文信息。总体处理流程如下所示：
1.1对于分支1中大小为C×H×W的输入FB1，将其输入到三个不同的1×1卷积层中并使用重组或转置操作，获得三个特征图PB1:1、PB1:2和PB1:3。为了生成位置注意图，对PB1:1和PB1:2使用矩阵乘法和Softmax运算，将权重和归一化为和为1的概率分布。在此之后，得到了一个大小为HW×HW的位置注意图PB1:a。
其中
表示第i个位置对第j个位置的影响。两个位置的相似特征图越多，它们之间的相关性就越强。
在得到
之后，对PB1:a和PB1:3之间应用矩阵乘法，然后将输出维度重组为C×H×W。对于FB1的最终和操作，使用一个可学习的因子来缩放输出。PAM的输出定义如下。
其中，λ是一个可学习参数。与CAM一样使用核为1×1的卷积层来学习。
最终输出的特征图Pj B1:f是注意力图和原始局部特征图的加权和，其中包含全局上下文特征和自注意力信息。
1.2.在分支3中引入通道注意力模块(CAM:channel attention module)，参照图6。为了区别特定的较小苗期植株区域和其他区域(稻草、砖砌、杂草、裸土)两种响应，使用通道注意力模块获取任意双通道映射之间的关系，并对通道映射进行加权求和，最后对原始通道进行更新。这能提高总体计数精度并在一定程度上避免背景的误差估计。
为了提升SRPDNet在苗期植株计数场景中对前景(较小苗期植株主体区域)和背景(杂草、裸土、砖砌、稻草)的识别，本节在多列卷积神经网络的分支3中引入CAM来学习对通道维度的依赖关系，称为“位置注意模块”。对于高度密集并且较小的苗期植株，前景的纹理与一些背景区域(杂草、裸土等)非常相似，嵌入CAM可以有效地弥补背景估计误差。CAM的总体结构如下图所示。
对于大小为C×H×W的分支3输入FB3，CAM仅用一个1×1的卷积层来处理从主干中获得的特征图，分别为CB3:1、CB3:2和CB1:3。为了生成通道注意图，对CB1:1和CB1:2使用矩阵乘法和Softmax运算，将权重和归一化为和为1的概率分布。在此得到了一个大小为HW×HW的位置注意图CB3:a。在得到CB3:a后，对CB3:a和CB3:3应用矩阵乘法，然后将输出维度重组为C×H×W。最后通过一个可学习的变量来衡量和操作的输出。
其中
表示第i个通道对第j个通道的影响。大小为C×H×W的
计算公式如下：
其中，μ是一个区别于λ的可学习参数。
最终输出的特征图
是注意力图和原始局部特征图的加权和，其中包含特定于前景和背景响应的特征图和自注意力信息。
2.多分支融合模块(MBFM)，参照图7。相比较原本MCNN网络结构的1/4下采样，本发明对MCNN中单一的Fusion操作进行扩充重组，命名为多分支融合模块，主要在其中额外引入一个池化操作，对原本输入进行1/8下采样操作。MBFM主要将三个分支的不同类型特征图进行连接融合多层特征图以增强特征表示，在进行一次池化操作后，通过大小为1×1的滤波器将特征图映射到1/2大小的密度图。调整特征图通道的原因是为了突出高阶特征，并使其在融合的特征图中发挥主要作用。低阶特征仅被视为补充细节的辅助信息。通过使用这个模块，只要单分支的特征通道发生相应的改变，所有分支特征映射都可以被融合。
3.上采样可视化模块(VM)。上采样可视化模块将模型预测的密度图通过卷积，使用双线性插值法将密度图映射投影回原始高分辨率。双线性插值法是一个典型的上采样方法。重新映射后的密度图可以用于上采样绝对计数损失的计算，还可以获得更好的可视化和可解释性效果。
相比较传统单一密度图损失，为了获得更高的计数精度，本节对可视化模块上采样后的密度图进行计数精度监督，在训练过程中引入密度图损失加上采样绝对计数损失共同组成混合损失的结果。
现有先进的计数模型在训练时使用了下采样1/8的密度图损失，即计算预测密度图与真实密度图间的差值，密度图损失LossD具体定义如公式5所示。
其中D为真实背景密度图，
为模型输出的预测密度图。
与玉米植株、穗计数的相对稀疏场景和固定尺度大小场景不同，苗期植株数据相对密集，并且有大量的尺度不一情况，同时伴随着遮挡。为此引入上采样绝对计数损失来获得更高的计数精度。计数损失LossC具体定义如公式6所示。
其中，C和
分别表示第n张输入图片的人工真实株数和模型的预测株数。
因为混合损失L受上采样计数损失LossC的影响易产生较大的偏离值进对损失有过大的影响，所以通过加权求和来一定程度上减小其对最终损失的影响，混合损失L定义如公式7所示。
L＝(1-δ)*LossD+δ*LossC 公式7
S3，计算苗期植株密度图中像素点概率值并进行累加，得到待估计苗期植株图像中苗期植株的数量。
实验结果
常见的基于密度估计的网络模型(CSRNet、SCAR、MCNN、CANNet、TasselNetV2)通常由前端网络和后端网络组成，所有卷积层使用全卷积神经网络，通常对输入图像进行1/4或1/8下采样操作。如图8所示。其中前端网络通常由VGG16、MixNet、ResNet等卷积结构作为骨架，前端网络主要用于提取基础特征并进行特征编码。后端网络由空洞卷积网络组成，扩大了感受野范围，获得了范围更大的特征信息，最终生成密度预测图。在模型训练时，通常对背景真相的密度图和模型预测的密度图进行监督，并将差值结果作为损失函数。单一密度图损失结构普遍的具有较低的计数精度。将SRDPNet与网络模型CSRNet、SCAR、MCNN、CANNet、TasselNetV2进行对比，实验结果如下表所示：
表1
从实验结果中可以看出，单一损失下，在对比的四个优秀深度学习模型中，SRDPNet的综合误差指标最低，计数准确率最高。实验结果表明，在单一密度图损失下，SRDPNet模型在苗期植株计数上的有效性，同时也证明了多列卷积神经网络对不同尺度苗期植株大小识别的有效性。
参照图9，实验结果显示，在增加上采样计数敏感度后的混合损失下，现有计数方法的计数准确率有了明显的提升。SRDPNet的综合误差指标最低，相比较于其余四种密度估计算法中误差最低的SCAR，SRDPNet的MAE降低了3.69，MSE降低了4.31，相对计数误差率也降低了6.16％。实验结果充分表明，相较于单一密度图损失，添加上采样绝对计数损失后对模型精度有较为明显的提升，证明其对模型精度提升的有效性。
参照图10，实验结果显示，相比较传统计数模型，本发明的综合误差指标最低，计数准确率最高。
以上所述实施例仅表达了本申请的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。
Claims (7)
1.基于改进多列卷积神经网络的作物苗期植株计数方法，其特征在于，包括如下步骤：
获取待估计苗期植株图像；
将待估计苗期植株图像输入预设的苗期植株计数模型中，所述苗期植株计数模型包括多列卷积分支注意力编码器、多分支融合模块以及上采样可视化模块，其中，所述多列卷积神经网络模型用于提取不同尺度大小的特征；所述多分支特征融合模块用于将不同尺度大小的特征进行融合并将融合后的特征通过1维卷积滤波层进行注意力映射；所述上采样可视化模块用于将映射后的特征恢复密度图的分辨率，获得估计的苗期植株密度图；
计算苗期植株密度图中像素点概率值并进行累加，得到待估计苗期植株图像中苗期植株的数量。
2.根据权利要求1所述的基于改进多列卷积神经网络的作物苗期植株计数方法，其特征在于，所述多列卷积神经网络模型包括并列连接的分支1、分支2和分支3，所述分支1中引入位置注意力模块，用于得到位置注意力特征，所述分支3中引入通道注意力模块，用于得到通道注意力特征。
3.根据权利要求2所述的基于改进多列卷积神经网络的作物苗期植株计数方法，其特征在于，所述分支1的结构，如下所示：
Conv1：卷积核大小为9×9，通道数量为16，步长为4；
最大池化层：过滤器大小为2×2，步长为2；
Conv2：卷积核大小为7×7，通道数量为32，步长为3；
最大池化层：过滤器大小为2×2，步长为2；
位置注意力模块；
Conv3：卷积核大小为7×7，通道数量为16，步长为3；
Conv4：卷积核大小为7×7，通道数量为8，步长为3。
4.根据权利要求3所述的基于改进多列卷积神经网络的作物苗期植株计数方法，其特征在于，所述位置注意力模块的处理过程，如下所示：
将分支1提取的特征FB1分别输入到三个不同的1×1卷积层中并使用重组或转置操作，获得三个特征图PB1:1、PB1:2和PB1:3；
对特性图PB1:1和PB1:3使用矩阵乘法和Softmax运算，将权重和归一化为和为1的概率分布，得到位置注意图PB1:a，计算公式如下：
其中
表示第i个位置对第j个位置的影响，
对PB1:a和PB1:1之间应用矩阵乘法，然后将输出维度重组为特征FB1大小，对于FB1的最终和操作，使用一个可学习的因子来缩放输出，计算公式如下：
其中，λ是可学习参数。
5.根据权利要求2所述的基于改进多列卷积神经网络的作物苗期植株计数方法，其特征在于，所述分支3的结构，如下所示：
Conv1：卷积核大小为5×5，通道数量为24，步长为2；
最大池化层：过滤器大小为2×2，步长为2；
Conv2：卷积核大小为3×3，通道数量为48，步长为1；
最大池化层：过滤器大小为2×2，步长为2；
通道注意力模块；
Conv3：卷积核大小为3×3，通道数量为24，步长为1；
Conv4：卷积核大小为3×3，通道数量为12，步长为1。
6.根据权利要求5所述的基于改进多列卷积神经网络的作物苗期植株计数方法，其特征在于，所述通道注意力模块的处理过程，如下所示：
将分支3提取的特征FB3输入到一个1×1的卷积层中，获得三个特征图CB3:1、CB3:2和CB1:3；
对CB1:1和CB1:2使用矩阵乘法和Softmax运算，将权重和归一化为概率和为1的概率分布，得到位置注意图CB3:a，计算公式如下：
其中
表示第i个通道对第j个通道的影响，
对CB3:a和CB3:3应用矩阵乘法，然后将输出维度重组为特征FB3大小，最后通过一个可学习的变量来衡量和操作的输出，计算公式如下：
其中，μ是一个区别于λ的可学习参数。
7.根据权利要求1所述的基于改进多列卷积神经网络的作物苗期植株计数方法，其特征在于，所述苗期植株计数模型的训练过程中引入密度图损失加上采样绝对计数损失共同组成混合损失的结果，用于对可视化模块上采样后的密度图进行计数精度监督，公式如下：
L＝(1-μ)*LossD+μ*LossC 公式7
其中，LossD为密度图损失；LossC为计数损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210975343.4A CN115424257A (zh) | 2022-08-15 | 2022-08-15 | 基于改进多列卷积神经网络的作物苗期植株计数方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210975343.4A CN115424257A (zh) | 2022-08-15 | 2022-08-15 | 基于改进多列卷积神经网络的作物苗期植株计数方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115424257A true CN115424257A (zh) | 2022-12-02 |
Family
ID=84198150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210975343.4A Pending CN115424257A (zh) | 2022-08-15 | 2022-08-15 | 基于改进多列卷积神经网络的作物苗期植株计数方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115424257A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117522950A (zh) * | 2023-12-28 | 2024-02-06 | 江西农业大学 | 一种基于机器视觉的植物茎杆生长的几何参数测量方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012150A (zh) * | 2021-04-14 | 2021-06-22 | 南京农业大学 | 一种特征融合的高密度稻田无人机图像稻穗计数方法 |
-
2022
- 2022-08-15 CN CN202210975343.4A patent/CN115424257A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012150A (zh) * | 2021-04-14 | 2021-06-22 | 南京农业大学 | 一种特征融合的高密度稻田无人机图像稻穗计数方法 |
Non-Patent Citations (3)
| Title |
|---|
| FANGBO ZHOU ET AL.: ""COMAL: compositional multi-scale feature enhanced learning for crowd counting"", pages 1 - 20 * |
| JUN FU ET AL.: ""Dual Attention Network for Scene Segmentation"", 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, pages 3141 - 3149 * |
| 马永扬: ""基于目标检测和密度估计的玉米植株计数算法研究"", pages 51 - 52 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117522950A (zh) * | 2023-12-28 | 2024-02-06 | 江西农业大学 | 一种基于机器视觉的植物茎杆生长的几何参数测量方法 |
| CN117522950B (zh) * | 2023-12-28 | 2024-03-12 | 江西农业大学 | 一种基于机器视觉的植物茎杆生长的几何参数测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111126202A (zh) | 基于空洞特征金字塔网络的光学遥感图像目标检测方法 | |
| CN113673590B (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
| CN112597985B (zh) | 一种基于多尺度特征融合的人群计数方法 | |
| Chen et al. | An improved Yolov3 based on dual path network for cherry tomatoes detection | |
| CN113011329A (zh) | 一种基于多尺度特征金字塔网络及密集人群计数方法 | |
| CN106815576B (zh) | 基于连续时空置信图和半监督极限学习机的目标追踪方法 | |
| CN112818969A (zh) | 一种基于知识蒸馏的人脸姿态估计方法及系统 | |
| CN113139489B (zh) | 基于背景提取和多尺度融合网络的人群计数方法及系统 | |
| CN113450313B (zh) | 一种基于区域对比学习的图像显著性可视化方法 | |
| CN110909615A (zh) | 基于多尺度输入混合感知神经网络的目标检测方法 | |
| Sathya et al. | RDA-CNN: Enhanced Super Resolution Method for Rice Plant Disease Classification. | |
| CN113409355A (zh) | 一种基于fpga的运动目标识别系统及方法 | |
| CN114299383A (zh) | 基于密度图与注意力机制融合的遥感图像目标检测方法 | |
| Sun et al. | FBoT-Net: Focal bottleneck transformer network for small green apple detection | |
| CN109815973A (zh) | 一种适用于鱼类细粒度识别的深度学习方法 | |
| CN115424257A (zh) | 基于改进多列卷积神经网络的作物苗期植株计数方法 | |
| CN105931184B (zh) | 基于联合优化的sar图像超分辨率方法 | |
| CN115700737A (zh) | 一种基于视频监控的溢油检测方法 | |
| Han et al. | Progressive Feature Interleaved Fusion Network for Remote-Sensing Image Salient Object Detection | |
| CN114037737B (zh) | 一种基于神经网络的近岸海底鱼类检测及跟踪统计方法 | |
| CN111415350B (zh) | 一种用于检测宫颈病变的阴道镜图像识别方法 | |
| Yang et al. | Multi-Growth Period Tomato Fruit Detection Using Improved Yolov5 | |
| Hu | An Improved YOLOv5 Algorithm of Target Recognition | |
| CN118334526B (zh) | 一种基于改进Yolov8模型的堤防损坏识别方法 | |
| Yang et al. | FIDMT-GhostNet: a lightweight density estimation model for wheat ear counting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221202 |