CN112465820A - 基于语义分割的融合全局上下文信息的水稻病害检测方法 - Google Patents

基于语义分割的融合全局上下文信息的水稻病害检测方法 Download PDF

Info

Publication number
CN112465820A
CN112465820A CN202011526697.8A CN202011526697A CN112465820A CN 112465820 A CN112465820 A CN 112465820A CN 202011526697 A CN202011526697 A CN 202011526697A CN 112465820 A CN112465820 A CN 112465820A
Authority
CN
China
Prior art keywords
module
rice disease
image
features
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011526697.8A
Other languages
English (en)
Inventor
王儒敬
刘海云
谢成军
陈天娇
李�瑞
焦林
黄子良
刘康
滕越
董士风
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN202011526697.8A priority Critical patent/CN112465820A/zh
Publication of CN112465820A publication Critical patent/CN112465820A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于语义分割的融合全局上下文信息的水稻病害检测方法，包括：获取水稻病害图像；对获取的水稻病害图像进行人工标注，分割出病斑图像并标记病斑类别；建立水稻病害样本集，并将其划分为训练样本集和测试样本集；构建基于语义分割的融合全局上下文信息的水稻病害检测模型；利用训练样本集和测试样本集分别对构建的水稻病害检测模型进行训练和模型误差分析；利用训练好的水稻病害检测模型直接对获取的实际水稻病害图像进行检测，分割出病斑图像并标记病斑类别。本发明利用全局上下文信息在语义分割中的影响构建了融合全局上下文信息的水稻病害检测模型，从而提高了水稻病害检测的准确率，增强了水稻病害检测算法的鲁棒性。

Description

基于语义分割的融合全局上下文信息的水稻病害检测方法
技术领域
本发明涉及图像识别技术领域，具体是一种基于语义分割的融合全局上下文信息的水稻病害检测方法。
背景技术
如何精准地检测与识别水稻病害一直是困扰农作物预测预报的问题。由于自然场景下水稻病害类型多，发生的部位、程度不同，加大了人工目测的难度。目前水稻病害的检测工作主要是依靠少数植保专家和农技人员来完成的，但同类别水稻病害在不同的生长时期，在叶片、茎秆、穗部等部位呈现的病斑特征也不一样，而且不同类型病害也存在相似病斑，凭借肉眼方式难以保证其准确度。
由于不同水稻病害图像内物体及场景边界较为模糊，若用传统计算机方法去识别图像，则存在设计过程复杂、特征变换层次不够、抽象及表达能力不强等问题，最终生成的特征向量可辨别能力差，识别性能难以大幅提升。如何提高水稻病害检测的准确性已经成为亟需解决的技术问题。
发明内容
本发明要解决的技术问题是提供一种基于语义分割的融合全局上下文信息的水稻病害检测方法，提高水稻病害检测的准确率，增强水稻病害检测算法的鲁棒性。
本发明的技术方案为：
一种基于语义分割的融合全局上下文信息的水稻病害检测方法，包括以下步骤：
(1)获取水稻病害图像；
(2)对获取的水稻病害图像进行人工标注，分割出病斑图像并标记病斑类别；
(3)根据水稻病害图像建立水稻病害样本集，并将其划分为训练样本集和测试样本集；
(4)以水稻病害图像为输入，以分割出的病斑图像及标记的病斑类别为输出，构建基于语义分割的融合全局上下文信息的水稻病害检测模型；
(5)利用训练样本集对构建的水稻病害检测模型进行训练，并利用测试样本集对构建的水稻病害检测模型进行模型误差分析；
(6)利用训练好的水稻病害检测模型直接对获取的实际水稻病害图像进行检测，分割出病斑图像并标记病斑类别。
所述的基于语义分割的融合全局上下文信息的水稻病害检测方法，步骤(1)中，具体利用图像采集设备对水稻病害部位进行拍摄，从拍摄的图像中选取若干包含病斑的图像作为水稻病害图像。
所述的基于语义分割的融合全局上下文信息的水稻病害检测方法，步骤(2)中，具体采用开源图像标注软件LabelMe，通过创建多边形对获取的水稻病害图像中的病斑区域进行人工标注，分割出病斑图像并在病斑图像上标记病斑类别。
所述的基于语义分割的融合全局上下文信息的水稻病害检测方法，步骤(3)具体包括：
(31)根据实际需要对水稻病害图像进行数据扩充，所述数据扩充包括对水稻病害图像进行放大、平移、旋转和对比度增强操作；
(32)利用数据扩充后的水稻病害图像建立水稻病害样本集；
(33)按照9:1的比例将建立的水稻病害样本集划分为训练样本集和测试样本集。
所述的基于语义分割的融合全局上下文信息的水稻病害检测方法，步骤(4)中，所述水稻病害检测模型包括输入模块、编码器分支、特征金字塔注意模块、解码器分支和输出模块；
所述编码器分支采用ResNeXt网络进行编码操作，包括依次连接的卷积模块、最大池化模块、第一残差块、第二残差块、第三残差块和第四残差块；
所述解码器分支包括第一全局注意力上采样模块、第一加法模块、第二全局注意力上采样模块、第二加法模块、第三全局注意力上采样模块、第三加法模块和上采样操作模块；
所述输入模块，用于将水稻病害图像输入编码器分支；
所述编码器分支，用于将输入的水稻病害图像依次经过卷积模块、最大池化模块、第一残差块、第二残差块、第三残差块和第四残差块进行处理，提取水稻病害图像中的特征；
所述特征金字塔注意模块，用于先对第四残差块提取的特征分别进行3×3、5×5、7×7连续卷积分支、1×1卷积分支和全局池化分支的操作，再将分别经过前两个分支操作后得到的特征相乘，然后将相乘得到的特征与经过第三个分支操作后得到的特征相加，最后将相加得到的特征输出；
所述第一全局注意力上采样模块，用于先对特征金字塔注意模块输出的特征依次进行1×1卷积、批量归一化和非线性变换操作，再对第三残差块提取的特征进行3×3卷积操作，然后将经过3×3卷积操作后得到的特征与依次经过1×1卷积、批量归一化和非线性变换操作后得到的特征相乘，最后将相乘得到的特征输出；
所述第一加法模块，用于将特征金字塔注意模块输出的特征与第一全局注意力上采样模块输出的特征相加，并将相加得到的特征输出；
所述第二全局注意力上采样模块，用于先对第一加法模块输出的特征依次进行1×1卷积、批量归一化和非线性变换操作，再对第二残差块提取的特征进行3×3卷积操作，然后将经过3×3卷积操作后得到的特征与依次经过1×1卷积、批量归一化和非线性变换操作后得到的特征相乘，最后将相乘得到的特征输出；
所述第二加法模块，用于将第一加法模块输出的特征与第二全局注意力上采样模块输出的特征相加，并将相加得到的特征输出；
所述第三全局注意力上采样模块，用于先对第二加法模块输出的特征依次进行1×1卷积、批量归一化和非线性变换操作，再对第一残差块提取的特征进行3×3卷积操作，然后将经过3×3卷积操作后得到的特征与依次经过1×1卷积、批量归一化和非线性变换操作后得到的特征相乘，最后将相乘得到的特征输出；
所述第三加法模块，用于将第二加法模块输出的特征与第三全局注意力上采样模块输出的特征相加，并将相加得到的特征输出；
所述上采样操作模块，用于对第三加法模块输出的特征进行上采样操作，得到病斑图像及标记的病斑类别。
所述输出模块，用于将分割出的病斑图像及标记的病斑类别输出。
所述的基于语义分割的融合全局上下文信息的水稻病害检测方法，所述编码器分支通过将ResNeXt网络最后一层全连接层及相关运算替换为特征金字塔注意模块，实现与特征金字塔注意模块的连接。
所述的基于语义分割的融合全局上下文信息的水稻病害检测方法，所述ResNeXt网络的层数为101层或152层。
所述的基于语义分割的融合全局上下文信息的水稻病害检测方法，步骤(5)中，所述利用训练样本集对构建的水稻病害检测模型进行训练，具体包括：分批次利用训练样本集对构建的水稻病害检测模型进行训练，根据训练过程中损失函数的变化，调整训练批次的大小；选择Adam优化算法在迭代过程中调整学习率并更新模型参数。
所述的基于语义分割的融合全局上下文信息的水稻病害检测方法，所述损失函数为交叉熵损失函数。
由上述技术方案可知，本发明利用全局上下文信息在语义分割中的影响构建了融合全局上下文信息的水稻病害检测模型，从而提高了水稻病害检测的准确率，增强了水稻病害检测算法的鲁棒性。
附图说明
图1是本发明的方法流程图；
图2是本发明构建的检测模型的组成结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
如图1所示，一种基于语义分割的融合全局上下文信息的水稻病害检测方法，包括以下步骤：
S1、获取水稻病害图像：
利用图像采集设备对水稻病害部位进行拍摄，从拍摄的图像中选取若干包含病斑的图像作为水稻病害图像。
S2、对获取的水稻病害图像进行人工标注，分割出病斑图像并标记病斑类别：
这里具体采用开源图像标注软件LabelMe，通过创建多边形对获取的水稻病害图像中的病斑区域进行人工标注，分割出病斑图像并在病斑图像上标记病斑类别。
S3、根据水稻病害图像建立水稻病害样本集，并将其划分为训练样本集和测试样本集，具体包括：
S31、根据实际需要对水稻病害图像进行数据扩充，数据扩充包括对水稻病害图像进行放大、平移、旋转和对比度增强等操作。
放大操作应在适当范围内进行，防止图像放大太多，从而丢失有效病斑区域，如放大0.1-0.5倍(即比例尺乘以1+0.1/0.5)。平移操作也应注意平移的大小，防止有效病斑区域的丢失。旋转操作主要是沿垂直轴的镜像旋转、旋转90°和180°。对比度增强操作主要是通过各种方法将图像的灰度范围拉宽。
S32、利用数据扩充后的水稻病害图像建立水稻病害样本集。通过数据扩充，建立了样本丰富的水稻病害样本集，由于样本特征的多样性，提高了算法的普适性和稳定性。
S33、按照9:1的比例将建立的水稻病害样本集划分为训练样本集和测试样本集，分别用于对后续构建的水稻病害检测模型进行训练及模型误差分析。
S4、以水稻病害图像为输入、分割出的病斑图像及标记的病斑类别为输出，构建基于语义分割的融合全局上下文信息的水稻病害检测模型：
如图2所示，基于语义分割的融合全局上下文信息的水稻病害检测模型包括输入模块0、编码器分支1、特征金字塔注意模块2、解码器分支3和输出模块4。
编码器分支1采用ResNeXt网络进行编码操作，包括卷积模块11、最大池化模块12、第一残差块13、第二残差块14、第三残差块15和第四残差块16。本发明通过将ResNeXt网络最后一层全连接层及相关运算替换为特征金字塔注意模块2，实现编码器分支1与特征金字塔注意模块2的连接。
由于ResNeXt网络提取的特征往往是多尺度的，为了更好地结合图像中的环境信息，需要运用不同大小的卷积核(不同视野大小)进行运算。但是过大的卷积核会引入过多的参数，从而会导致运算速度的下降，因此，引入特征金字塔注意模块2，特征金字塔注意模块2可以融合不同尺度的上下文信息，为ResNeXt网络提取的特征提供更好的像素级注意。
作为优选，ResNeXt网络的层数为101层或152层，这是因为使用101层或152层ResNeXt网络都可以提取特征，152层ResNeXt网络提取的特征更丰富但需要的计算量更大，101层ResNeXt网络提取特征的能力没有152层ResNeXt网络强，但计算量上相对划算。
101层ResNeXt网络的前100层包含：步长为2的卷积核大小为7*7的卷积层(对应卷积模块11)；步长为2的核大小为3*3的最大池化层(对应最大池化模块12)；3个输入通道为64、输出通道为256的ResNeXt基本模块(对应第一残差块13)；4个输入通道为256、输出通道为512的ResNeXt基本模块(对应第二残差块14)；23个输入通道为512、输出通道为1024的ResNeXt基本模块(对应第三残差块15)；3个输入通道为1024、输出通道为2048的基本模块(对应第四残差块16)。
152层ResNeXt网络的前151层包含：步长为2的卷积核大小为7*7的卷积层(对应卷积模块11)；步长为2的核大小为3*3的最大池化层(对应最大池化模块12)；3个输入通道为64、输出通道为256的ResNeXt基本模块(对应第一残差块13)；8个输入通道为256、输出通道为512的ResNeXt基本模块(对应第二残差块14)；36个输入通道为512、输出通道为1024的ResNeXt基本模块(对应第三残差块15)；3个输入通道为1024、输出通道为2048的基本模块(对应第四残差块16)。
解码器分支3包括第一全局注意力上采样模块31、第一加法模块32、第二全局注意力上采样模块33、第二加法模块34、第三全局注意力上采样模块35、第三加法模块36和上采样操作模块37。将第一全局注意力上采样模块31、第二全局注意力上采样模块33和第三全局注意力上采样模块35作为附加模块添加到解码器分支3来选择有判别力的多分辨率特征表示。
本发明构建的基于语义分割的融合全局上下文信息的水稻病害检测模型的工作过程如下：
输入模块0将水稻病害图像输入编码器分支1。
编码器分支1将输入的水稻病害图像，依次经过卷积模块11、最大池化模块12、第一残差块13、第二残差块14、第三残差块15和第四残差块16进行处理，提取水稻病害图像中的特征。
第四残差块16提取的特征输入特征金字塔注意模块2，特征金字塔注意模块2先对第四残差块16提取的特征进行三个分支的操作，第一个分支：3×3、5×5、7×7连续卷积分支；第二个分支：1×1卷积分支；第三个分支：全局池化分支(包括一个全局池化层、一个1×1卷积层和一个上采样层)；再将第四残差块16提取的特征分别经过前两个分支操作后得到的特征相乘，然后将相乘得到的特征与第四残差块16提取的特征经过第三个分支操作后得到的特征相加，最后将相加得到的特征输出。特征金字塔注意模块2对输入的特征进行三个分支的操作，进一步提高了性能。
第一全局注意力上采样模块31先对特征金字塔注意模块2输出的特征依次进行1×1卷积、批量归一化和非线性变换操作，再对第三残差块15提取的特征进行3×3卷积操作，然后将第三残差块15提取的特征经过3×3卷积操作后得到的特征与特征金字塔注意模块2输出的特征依次经过1×1卷积、批量归一化和非线性变换操作后得到的特征相乘，最后将相乘得到的特征输出。
第一加法模块32将特征金字塔注意模块2输出的特征与第一全局注意力上采样模块31输出的特征相加，并将相加得到的特征输出。
第二全局注意力上采样模块33先对第一加法模块32输出的特征依次进行1×1卷积、批量归一化和非线性变换操作，再对第二残差块14提取的特征进行3×3卷积操作，然后将第二残差块14提取的特征经过3×3卷积操作后得到的特征与第一加法模块32输出的特征依次经过1×1卷积、批量归一化和非线性变换操作后得到的特征相乘，最后将相乘得到的特征输出。
第二加法模块34将第一加法模块32输出的特征与第二全局注意力上采样模块33输出的特征相加，并将相加得到的特征输出。
第三全局注意力上采样模块35先对第二加法模块34输出的特征依次进行1×1卷积、批量归一化和非线性变换操作，再对第一残差块13提取的特征进行3×3卷积操作，然后将第一残差块13提取的特征经过3×3卷积操作后得到的特征与第二加法模块34输出的特征依次经过1×1卷积、批量归一化和非线性变换操作后得到的特征相乘，最后将相乘得到的特征输出。
第三加法模块36将第二加法模块34输出的特征与第三全局注意力上采样模块35输出的特征相加，并将相加得到的特征输出。
上采样操作模块37对第三加法模块36输出的特征进行上采样操作，得到病斑图像及标记的病斑类别。
输出模块4将分割出的病斑图像及标记的病斑类别输出。
S5、利用训练样本集和测试样本集分别对构建的基于语义分割的融合全局上下文信息的水稻病害检测模型进行训练和模型误差分析：
训练包括：分批次利用训练样本集图像数据对模型进行训练，根据训练过程中损失函数的变化，调整训练批次的大小。训练所采用的损失函数是交叉熵损失函数，选择Adam优化算法在迭代过程中调整学习率并更新模型参数。训练过程中，设置学习率为0.0001。
S6、利用训练好的基于语义分割的融合全局上下文信息的水稻病害检测模型直接对获取的实际水稻病害图像进行检测，分割出病斑图像并标记病斑类别。
本发明利用训练好的检测模型直接对图像采集设备拍摄的水稻病害图像进行分割，输出分割出的病斑图像，避免了前期复杂的图像预处理工作，可直接将获取到的水稻病害图像作为检测模型的输入，相比于传统的图像处理分割方法，本发明提高了水稻病害检测的准确率，增强了水稻病害检测算法的鲁棒性。
以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (9)

1.一种基于语义分割的融合全局上下文信息的水稻病害检测方法，其特征在于，包括以下步骤：
(1)获取水稻病害图像；
(2)对获取的水稻病害图像进行人工标注，分割出病斑图像并标记病斑类别；
(3)根据水稻病害图像建立水稻病害样本集，并将其划分为训练样本集和测试样本集；
(4)以水稻病害图像为输入，以分割出的病斑图像及标记的病斑类别为输出，构建基于语义分割的融合全局上下文信息的水稻病害检测模型；
(5)利用训练样本集对构建的水稻病害检测模型进行训练，并利用测试样本集对构建的水稻病害检测模型进行模型误差分析；
(6)利用训练好的水稻病害检测模型直接对获取的实际水稻病害图像进行检测，分割出病斑图像并标记病斑类别。
2.根据权利要求1所述的基于语义分割的融合全局上下文信息的水稻病害检测方法，其特征在于，步骤(1)中，具体利用图像采集设备对水稻病害部位进行拍摄，从拍摄的图像中选取若干包含病斑的图像作为水稻病害图像。
3.根据权利要求1所述的基于语义分割的融合全局上下文信息的水稻病害检测方法，其特征在于，步骤(2)中，具体采用开源图像标注软件LabelMe，通过创建多边形对获取的水稻病害图像中的病斑区域进行人工标注，分割出病斑图像并在病斑图像上标记病斑类别。
4.根据权利要求1所述的基于语义分割的融合全局上下文信息的水稻病害检测方法，其特征在于，步骤(3)具体包括：
(31)根据实际需要对水稻病害图像进行数据扩充，所述数据扩充包括对水稻病害图像进行放大、平移、旋转和对比度增强操作；
(32)利用数据扩充后的水稻病害图像建立水稻病害样本集；
(33)按照9:1的比例将建立的水稻病害样本集划分为训练样本集和测试样本集。
5.根据权利要求1所述的基于语义分割的融合全局上下文信息的水稻病害检测方法，其特征在于，步骤(4)中，所述水稻病害检测模型包括输入模块、编码器分支、特征金字塔注意模块、解码器分支和输出模块；
所述编码器分支采用ResNeXt网络进行编码操作，包括依次连接的卷积模块、最大池化模块、第一残差块、第二残差块、第三残差块和第四残差块；
所述解码器分支包括第一全局注意力上采样模块、第一加法模块、第二全局注意力上采样模块、第二加法模块、第三全局注意力上采样模块、第三加法模块和上采样操作模块；
所述输入模块，用于将水稻病害图像输入编码器分支；
所述编码器分支，用于将输入的水稻病害图像依次经过卷积模块、最大池化模块、第一残差块、第二残差块、第三残差块和第四残差块进行处理，提取水稻病害图像中的特征；
所述特征金字塔注意模块，用于先对第四残差块提取的特征分别进行3×3、5×5、7×7连续卷积分支、1×1卷积分支和全局池化分支的操作，再将分别经过前两个分支操作后得到的特征相乘，然后将相乘得到的特征与经过第三个分支操作后得到的特征相加，最后将相加得到的特征输出；
所述第一全局注意力上采样模块，用于先对特征金字塔注意模块输出的特征依次进行1×1卷积、批量归一化和非线性变换操作，再对第三残差块提取的特征进行3×3卷积操作，然后将经过3×3卷积操作后得到的特征与依次经过1×1卷积、批量归一化和非线性变换操作后得到的特征相乘，最后将相乘得到的特征输出；
所述第一加法模块，用于将特征金字塔注意模块输出的特征与第一全局注意力上采样模块输出的特征相加，并将相加得到的特征输出；
所述第二全局注意力上采样模块，用于先对第一加法模块输出的特征依次进行1×1卷积、批量归一化和非线性变换操作，再对第二残差块提取的特征进行3×3卷积操作，然后将经过3×3卷积操作后得到的特征与依次经过1×1卷积、批量归一化和非线性变换操作后得到的特征相乘，最后将相乘得到的特征输出；
所述第二加法模块，用于将第一加法模块输出的特征与第二全局注意力上采样模块输出的特征相加，并将相加得到的特征输出；
所述第三全局注意力上采样模块，用于先对第二加法模块输出的特征依次进行1×1卷积、批量归一化和非线性变换操作，再对第一残差块提取的特征进行3×3卷积操作，然后将经过3×3卷积操作后得到的特征与依次经过1×1卷积、批量归一化和非线性变换操作后得到的特征相乘，最后将相乘得到的特征输出；
所述第三加法模块，用于将第二加法模块输出的特征与第三全局注意力上采样模块输出的特征相加，并将相加得到的特征输出；
所述上采样操作模块，用于对第三加法模块输出的特征进行上采样操作，得到病斑图像及标记的病斑类别。
所述输出模块，用于将分割出的病斑图像及标记的病斑类别输出。
6.根据权利要求5所述的基于语义分割的融合全局上下文信息的水稻病害检测方法，其特征在于，所述编码器分支通过将ResNeXt网络最后一层全连接层及相关运算替换为特征金字塔注意模块，实现与特征金字塔注意模块的连接。
7.根据权利要求5或6所述的基于语义分割的融合全局上下文信息的水稻病害检测方法，其特征在于，所述ResNeXt网络的层数为101层或152层。
8.根据权利要求1所述的基于语义分割的融合全局上下文信息的水稻病害检测方法，其特征在于，步骤(5)中，所述利用训练样本集对构建的水稻病害检测模型进行训练，具体包括：分批次利用训练样本集对构建的水稻病害检测模型进行训练，根据训练过程中损失函数的变化，调整训练批次的大小；选择Adam优化算法在迭代过程中调整学习率并更新模型参数。
9.根据权利要求8所述的基于语义分割的融合全局上下文信息的水稻病害检测方法，其特征在于，所述损失函数为交叉熵损失函数。
CN202011526697.8A 2020-12-22 2020-12-22 基于语义分割的融合全局上下文信息的水稻病害检测方法 Pending CN112465820A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011526697.8A CN112465820A (zh) 2020-12-22 2020-12-22 基于语义分割的融合全局上下文信息的水稻病害检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011526697.8A CN112465820A (zh) 2020-12-22 2020-12-22 基于语义分割的融合全局上下文信息的水稻病害检测方法

Publications (1)

Publication Number Publication Date
CN112465820A true CN112465820A (zh) 2021-03-09

Family

ID=74803207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011526697.8A Pending CN112465820A (zh) 2020-12-22 2020-12-22 基于语义分割的融合全局上下文信息的水稻病害检测方法

Country Status (1)

Country Link
CN (1) CN112465820A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634273A (zh) * 2021-03-10 2021-04-09 四川大学 一种基于深度神经网络的脑转移瘤分割系统及其构建方法
CN113269191A (zh) * 2021-04-19 2021-08-17 内蒙古智诚物联股份有限公司 一种农作物叶片病害识别方法、装置和存储介质
CN113610048A (zh) * 2021-08-25 2021-11-05 华南农业大学 基于图像识别的荔枝霜疫病自动识别方法、系统和存储介质
CN116012721A (zh) * 2023-03-28 2023-04-25 浙江大学湖州研究院 一种基于深度学习的水稻叶片病斑检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法
CN111160311A (zh) * 2020-01-02 2020-05-15 西北工业大学 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN111444924A (zh) * 2020-04-20 2020-07-24 中国科学院声学研究所南海研究站 一种病虫害检测及灾害等级分析方法及系统
CN111833311A (zh) * 2020-06-18 2020-10-27 安徽农业大学 基于深度学习的图像识别方法及在水稻病害识别上的应用

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法
CN111160311A (zh) * 2020-01-02 2020-05-15 西北工业大学 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN111444924A (zh) * 2020-04-20 2020-07-24 中国科学院声学研究所南海研究站 一种病虫害检测及灾害等级分析方法及系统
CN111833311A (zh) * 2020-06-18 2020-10-27 安徽农业大学 基于深度学习的图像识别方法及在水稻病害识别上的应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HANCHAO LI: "Pyramid Attention Network for Semantic Segmentation", 《ARXIV》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634273A (zh) * 2021-03-10 2021-04-09 四川大学 一种基于深度神经网络的脑转移瘤分割系统及其构建方法
CN113269191A (zh) * 2021-04-19 2021-08-17 内蒙古智诚物联股份有限公司 一种农作物叶片病害识别方法、装置和存储介质
CN113610048A (zh) * 2021-08-25 2021-11-05 华南农业大学 基于图像识别的荔枝霜疫病自动识别方法、系统和存储介质
CN113610048B (zh) * 2021-08-25 2023-08-01 华南农业大学 基于图像识别的荔枝霜疫病自动识别方法、系统和存储介质
CN116012721A (zh) * 2023-03-28 2023-04-25 浙江大学湖州研究院 一种基于深度学习的水稻叶片病斑检测方法

Similar Documents

Publication Publication Date Title
CN112465820A (zh) 基于语义分割的融合全局上下文信息的水稻病害检测方法
CN113807355B (zh) 一种基于编解码结构的图像语义分割方法
CN110633758A (zh) 针对小样本或样本不平衡的癌症区域检测定位的方法
CN113643268B (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN112102229A (zh) 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN112347284B (zh) 一种组合商标图像检索方法
CN113822314A (zh) 图像数据处理方法、装置、设备以及介质
CN111626947A (zh) 基于生成对抗网络的地图矢量化样本增强方法及系统
Bhugra et al. Deep convolutional neural networks based framework for estimation of stomata density and structure from microscopic images
CN110288613B (zh) 一种超高像素的组织病理图像分割方法
CN107622276B (zh) 一种基于机器人仿真与物理采样结合的深度学习训练方法
CN112446350B (zh) 一种改进YOLOv3复杂棉田背景下棉花检测方法
CN112686261A (zh) 一种基于改进U-Net的葡萄根系图像分割方法
CN112749675A (zh) 一种基于卷积神经网络的马铃薯病害识别方法
CN111461121A (zh) 一种基于yolov3网络的电表示数识别方法
CN112581483A (zh) 基于自学习的植物叶片叶脉分割方法和装置
CN112927237A (zh) 基于改进SCB-Unet网络的蜂窝肺病灶分割方法
CN113962951B (zh) 检测分割模型的训练方法及装置、目标检测方法及装置
CN113223037B (zh) 一种面向大规模数据的无监督语义分割方法及系统
CN111210398A (zh) 基于多尺度池化的白细胞识别系统
Zavagno et al. Supervised machine learning on Galactic filaments-Revealing the filamentary structure of the Galactic interstellar medium
CN114120359A (zh) 一种基于堆叠沙漏网络的群养猪体尺测量方法
CN112132798B (zh) 基于Mini ARU-Net网络的复杂背景PCB标记点图像检测方法
CN116309612B (zh) 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质
CN115588196A (zh) 基于机器视觉的指针型仪表读数方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210309

RJ01 Rejection of invention patent application after publication