CN111444924B - 一种病虫害检测及灾害等级分析方法及系统 - Google Patents
一种病虫害检测及灾害等级分析方法及系统 Download PDFInfo
- Publication number
- CN111444924B CN111444924B CN202010310600.3A CN202010310600A CN111444924B CN 111444924 B CN111444924 B CN 111444924B CN 202010310600 A CN202010310600 A CN 202010310600A CN 111444924 B CN111444924 B CN 111444924B
- Authority
- CN
- China
- Prior art keywords
- image
- branch
- convolution
- disease
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 106
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 106
- 241000607479 Yersinia pestis Species 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 58
- 241000238631 Hexapoda Species 0.000 title claims abstract description 52
- -1 nalyzing Species 0.000 title claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims abstract description 45
- 230000003902 lesion Effects 0.000 claims abstract description 23
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 30
- 230000002776 aggregation Effects 0.000 claims description 27
- 238000004220 aggregation Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 230000005284 excitation Effects 0.000 claims description 9
- 239000011800 void material Substances 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000009792 diffusion process Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种病虫害检测及灾害等级分析方法及系统。所述方法包括：将待检测图像输入训练好的病虫害语义分割模型，得到二值图像；该二值图像的白色区域为病虫害区域，黑色区域为背景区域；所述待检测图像为原始三通道图像；测算二值图像的白色区域，得到该待检测图像上的病斑大小；根据成像原理，由待检测图像上的病斑大小计算得到病斑的实际面积；根据病斑的实际面积，确定病虫害的灾害等级。本发明通过语义分割将病虫害区域从背景中较为准确的分割出来，基于该语义分割结果及成像原理，能够在一定误差范围之内估计出病虫害的实际面积，以进行灾害等级分析。
Description
技术领域
本发明涉及机器视觉、图像处理和深度学习技术领域，具体涉及一种病虫害检测及灾害等级分析方法及系统。
背景技术
乱砍滥伐、森林火灾和森林病虫害是破坏森林生态平衡的三大常见灾害，其中，森林病虫害因其隐蔽性和易大面积扩散的性质而难以预防和整治。因此，森林病虫害的自动化检测与灾害等级分析对于促进森林生态系统稳定发展具有十分重要的意义。近年来，基于可见光图像的植物病虫害自动诊断在林业生产中起着不可或缺的作用，已经成为了林业信息领域的研究热点。
传统基于计算机视觉与机器学习的方法在植物病虫害识别与检测方面的技术已经相对比较成熟，如支持向量机，人工神经网络。然而，这类方法需要复杂的图像处理和特征提取步骤，这会严重影响病虫害检测的效率。更为重要的是，由于此类方法往往需要研究人员基于特定场景的数据设计特征，这也就导致了此类方法不具备良好的鲁棒性和泛化性。
近年来，卷积神经网络在图像分类领域炙手可热。深度卷积神经网络自动提取并学习图像中的关键信息，这种获取全局语义信息的能力来自于其重复堆叠的卷积和池化结构。受这种方法的启发，基于卷积神经网络的植物病虫害图像识别已经取得了不错的进展。然而，这类方法仅能够判断输入图像中是否存在植物病虫害，而无法捕捉到更为重要的细节信息，如病斑位置和病斑面积等。因此，设计一种能够自动检测出病虫害面积并进行灾害等级分析的方法是十分有必要的。
发明内容
本发明的目的在于克服现有技术缺陷，提出了一种病虫害检测及灾害等级分析方法及系统。
为了实现上述目的，本发明提出了一种病虫害检测及灾害等级分析方法，所述方法包括：
将待检测图像输入训练好的病虫害语义分割模型，得到二值图像；该二值图像的白色区域为病虫害区域，黑色区域为背景区域；所述待检测图像为原始三通道图像；
测算二值图像的白色区域，得到该待检测图像上的病斑大小；
根据成像原理，由待检测图像上的病斑大小计算得到病斑的实际面积；
根据病斑的实际面积，确定病虫害的灾害等级。
作为上述方法的一种改进，所述病虫害语义分割模型的输入为原始三通道图像，输出为二值图像，该病虫害语义分割模型包括：编码模块和解码模块；其中，
所述编码模块，包括多层编码和深层位置注意力机制处理；其中，多层编码用于对输入的原始三通道图像进行不同感受野的特征编码，得到不同层特征图，分别代表不同上下文信息；深层位置注意力机制处理，用于增强最高层特征图各节点间的空间关联关系；
所述解码模块，用于对编码模块输出的不同层特征图分别进行多尺度特征聚合以及多通道注意力机制的处理，再结合不同层次特征图解码后的特征逐一融合，得到二值图像。
作为上述方法的一种改进，所述多层编码包括依次连接的5个编码层，所述每个编码层的数学形式均表示如下：
F＝σ(W*X+b)
其中，F表示经编码后的特征值，W表示对特征进行映射所需的权重，b表示偏置；非线性映射函数σ为：
经上述5次编码后，分别得到不同层次的特征输出，分别为F1、F2、F3、F4和F5；所述深层位置注意力机制处理，具体包括并列的第一分支、第二分支和第三分支；其中，
所述第一分支连接1个1×1的卷积；
所述第二分支依次连接第一卷积、乘法器、图卷积和第二卷积；其中，第一卷积和第二卷积均为1×1的卷积；图卷积的表示形式如下：
Z＝((I-Ag)V)Wg
其中，Z为经图卷积进行节点推理以后的输出结果，I-Ag为N×N节点的邻接矩阵，用于节点信息之间的扩散，Ag为近邻矩阵的另一种表示形式，V为各节点信息，Wg为可更新的权重参数；
所述第三分支连接1个乘法器；
所述第一分支的卷积输出分成两路，一路输入第二分支的乘法器，另一路输入第二分支的第二卷积；
所述第二分支的输出接入第三分支的乘法器。
作为上述方法的一种改进，所述解码模块的具体处理步骤包括：
对所述编码模块经深层位置注意力机制处理后的输出进行解码，得到特征F4；
对所述编码模块的第四层特征图依次进行多尺度特征聚合处理和多通道注意力机制处理，经处理后的特征与F4进行融合得到特征
对
进行解码得到解码特征，并对编码模块的第三层特征图依次进行多尺度特征聚合处理和多通道注意力机制处理，经处理后的特征与/>
的解码特征进行融合得到/>
对
进行解码得到解码特征，并对编码模块的第三层特征图依次进行多尺度特征聚合处理和多通道注意力机制处理，经处理后的特征与/>
的解码特征进行融合得到/>
对
进行解码得到解码特征，并对编码模块的第三层特征图依次进行多尺度特征聚合处理和多通道注意力机制处理，经处理后的特征与/>
的解码特征进行融合得到/>
其中，解码表示为：
Ol+1＝σ(T(Ol))
其中，Ol+1为解码输出，T为反卷积，σ为非线性映射函数，Ol为上一层的解码输出；
对
进行sonmax函数处理，得到二值图像。/>
作为上述方法的一种改进，所述多尺度特征聚合处理为经过并列的第一分支、第二分支、第三分支和第四分支的处理后得到不同尺度上的特征，通过特征拼接实现多尺度特征的融合；具体包括：
所述第一分支为卷积核为1×1、步长为1的卷积；
所述第二分支为卷积核为3×3、步长为1的卷积；
所述第三分支为卷积核为3×3、步长为1、空洞率为2的卷积；
所述第四分支为卷积核为3×3、步长为1、空洞率为4的卷积；
所述特征拼接表示为：
其中，
为融合后的特征，[…]表示拼接操作，H1×1(·)，H3×3(·)，H3×3，2(·)，H3×3，4(·)分别对应第一分支、第二分支、第三分支和第四分支的卷积操作。
作为上述方法的一种改进，所述多通道注意力机制处理具体为依次进行压缩、激励和乘积处理；其中，
所述压缩处理为Fsq(·)，沿着通道维进行压缩，得到C个实数，这C个实数代表了全局的上下文信息；经压缩后得到的特征通道响应zc为：
其中，H是特征图的高，W是特征图的宽，H×W是输入特征图的大小，x(i，j)是特征值；
所述激励处理为Fex(·)，用于获得各通道的重要性程度wc为：
wc＝σ(W2δ(W1zc))
其中，wc为各通道的重要性程度，表示激励处理，σ是sigmoid激活函数，δ是ReLU激活函数，W1和W2分别是特征映射权值矩阵；
所述乘积操作，用于利用全局上下文信息对通道进行筛选，获得筛选值
为：
其中，x是特征值。
作为上述方法的一种改进，所述方法还包括病虫害语义分割模型的训练步骤；具体包括：
步骤1)获取病虫害图像和对应的标签作为训练集，其中病虫害图像为原始三通道彩色图像，标签为单通道黑白图像；
步骤2)分批次将训练集中的原始三通道彩色图像数据输入病虫害语义分割模型；训练数据前向传输得到的输出与标签进行损失计算，损失函数采用交叉熵：
其中，y表示真实标签，
表示语义分割结果；
基于梯度下降法对病虫害语义分割模型的参数进行调整，得到新的模型参数组合，重复步骤2)，直到训练集图片全部输入完毕；
步骤3)当总训练次数未达到设定阈值时，对训练集的图片重新组合、划分批次，重复步骤2)；直至训练出病虫害语义分割模型的最优参数组合。
作为上述方法的一种改进，所述根据成像原理，由待检测图像上的病斑大小计算得到病斑的实际面积；具体为：
根据成像原理，计算得到实际病斑面积Sreal：
其中，Spicture是病虫害在该待检测图像上的病斑大小，L是相机中心到观测距离的理想垂直距离，f是相机的焦距。
作为上述方法的一种改进，所述根据病斑的实际面积，确定病虫害的灾害等级；具体为：
当所述病斑的实际面积小于等于第一阈值时，为轻度灾害；
当所述病斑的实际面积大于第一阈值并且小于等于第二阈值时，为中度灾害；
当所述病斑的实际面积大于第二阈值时，为重度灾害。
本发明还提出了一种病虫害检测及灾害等级分析系统，所述系统具体包括：病虫害语义分割模型、转换输出模块、病斑实际面积计算模块和灾害等级判断模块；其中，
所述转换输出模块，用于将待检测图像输入训练好的病虫害语义分割模型，得到二值图像；该二值图像的白色区域为病虫害区域，黑色区域为背景区域；所述待检测图像为原始三通道图像；
所述病斑实际面积计算模块，用于测算二值图像的白色区域，得到该待检测图像上的病斑大小；并根据成像原理，由待检测图像上的病斑大小计算得到病斑的实际面积；
所述灾害等级判断模块，用于根据病斑的实际面积，确定病虫害的灾害等级。
与现有技术相比，本发明的优势在于：
1、本发明提出了基于多尺度特征聚合和注意力机制的病虫害检测与灾害等级分析方法。该方法通过语义分割将病虫害区域从背景中较为准确的分割出来，基于该语义分割结果及成像原理，能够在一定误差范围之内估计出病虫害的实际面积，以进行灾害等级分析；
2、本发明采用深度编解码结构作为语义分割的基本框架。深度编解码结构能够逐步融合深层次高度耦合的语义特征和浅层次丰富的空间位置信息，从而有效提升模型的分割能力；
3、本发明提出了一种多尺度特征聚合步骤。通过空洞空间金字塔结构应用于中低层次特征的多尺度特征融合，从而丰富了中低层次特征，使得语义分割结果的空间细节信息恢复得更好；
4、本发明基于图卷积的深层位置注意力机制能够捕获不同局部区域间的节点关系，有效增强全局上下文信息的交互。针对中低层次特征引入的多尺度特征聚合有效增加了空间细节信息的恢复能力。
附图说明
图1是本发明的病虫害语义分割模型示意图；
图2是本发明的多尺度特征聚合处理的示意图；
图3是本发明的多尺度特征聚合加多通道注意力机制处理的示意图；
图4是本发明的深层位置注意力机制处理的示意图；
图5是本发明的病虫害实际面积估计示意图。
具体实施方式
本发明提出的基于多尺度特征聚合和注意力机制的病虫害检测与灾害等级分析方法，将语义分割技术应用于本领域，通过多尺度特征聚合和注意力机制等手段，实现了较为精确的病虫害图像分割。并基于此分割结果及成像原理，实现了病虫害的等级分析。
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
如图1所示，一种基于多尺度特征聚合和注意力机制的病虫害检测方法，该方法主要包括以下步骤：
S1、从野外收集真实环境下的病虫害图像，建立待分割数据集，所述待分割数据集由原始三通道彩色图像和对应的mask标签组成，所述标签为单通道黑白图像；
S2、构建基于多尺度特征聚合和注意力机制的病虫害语义分割模型，如图1所示，所述病虫害语义分割模型包括编码步骤，深层位置注意力机制增强高层特征空间节点关系步骤及解码步骤；所述解码步骤包括：上采样单元恢复图像分辨率步骤、多尺度特征聚合步骤及多通道注意力机制赋予模型“非黑即白”思维能力步骤；步骤S2具体实施包括以下步骤：
S21、所述编码步骤对输入图像进行5次不同感受野的特征编码，从而得到获得代表不同上下文信息的特征，这些特征表达了图像隐含的不同语义信息；各编码层操作的数学形式均可表示如下：
F＝f(X)＝σ(W*X+b) (1)
其中，F表示经编码后的特征值，f(·)表示编码函数，W表示对特征进行映射所需权重，b表示偏置。为使编码层具备非线性映射能力，非线性映射函数σ被应用，其数学形式表示如下：
经上述5次编码后，分别得到不同层次特征的数量为64，128，256，512和512。
S22、所述深层位置注意力机制通过图卷积的全局推理能力对编码器的最终输出进行节点间的关系进行建模，如图4示；假定G表示N×N节点的邻接矩阵，用于节点信息之间的扩散。Wg是可更新的权重参数，V表示各节点信息。由于邻接矩阵G可以表示为I-Ag，Ag为近邻矩阵的另一种表示形式，因此，图卷积最终形式表示如下：
Z＝GVWg＝((I-Ag)V)Wg (3)
其中，Z表示经图卷积进行节点推理以后的输出结果，该结果可以表示全局各节点之间的位置关系；该步骤用于将S21步骤得到的最高层特征图进行全局推理，增强最高层特征图各节点间的空间关联关系。经该步骤后的特征不改变本身的分辨率；
在本实施例中，由于分割模型过多的下采样会导致模型在恢复图像分辨率的过程中，对于空间细节恢复效果较差。因此，编码端输出的特征无法代表全局上下文语义信息。本发明的深层位置注意力机制正是为此提出，该步骤通过对特征图进行全局推理，使得具有相似特征的节点间关系更为紧密，无关节点间关系更加疏远。从而增强了各节点间的空间关联关系，且该步骤并不会影响特征图的空间分辨率。从而有效提升了模型的分割性能。该步骤，输入特征首先经过两个1×1的卷积实现特征映射和降维。然后，将这两个输出特征进行对应位置相乘并经上述机制处理得到空间关系更为紧密的特征图。最后，经1×1卷积进行升维，得到最终的输出。
S23、将步骤S22中经深层位置注意力机制增强节点间空间关联关系后的最高层特征图进行一次解码，得到特征F4，解码的基本过程可以表示为：
Ol+1＝σ(T(Ol)) (4)
其中，T表示反卷积，σ表示非线性映射函数。然后对编码端倒数第二层的512个特征图进行多尺度特征聚合和多通道注意力机制处理，经处理后的特征与F4进行融合得到特征
同理，对/>
进行解码并对编码端对应层的特征进行操作后，对这两组特征进行融合得到/>
进一步得到/>
对/>
进行softmax函数处理，便可以得到分割结果。
如图2所示，在本实施例中，所述多尺度特征聚合步骤通过不同尺度的卷积核以及不同空洞率的卷积核并行对输入特征进行处理。由于不同大小的卷积核以及不同空洞率的卷积核对特征图的感受野不同，从而产生了不同语义信息的多尺度特征。这些特征的聚合将极大程度上丰富特征的空间细节信息；
在本实施例中，多尺度特征聚合步骤总共包含4个不同的支路：a)卷积核为1×1，步长为1；b)卷积核大小为3×3，步长为1；c)卷积核大小为3×3，步长为1，空洞率为2；d)卷积核大小为3×3，步长为1，空洞率为4。这4个支路能够接收到不同大小的感受野，即不同尺度的局部信息，这有利于空间细节的恢复。得到不同尺度上的特征以后，通过特征拼接的方式实现多尺度特征的融合，其数学表达式如下所示：
其中，
表示融合后的特征，[…]表示拼接操作，H1×1(·)，H3×3(·)，H3×3，2(·)，H3×3，4(·)分别对应该模块4个支路的不同操作
如图3所示，在本实施例中，所述多通道注意力机制通过特征的全局上下文信息显示地对特征通道之间的关系进行建模，将特征通道的重要性转化为可学习的参数，从而鼓励了特征通道响应；该步骤主要由压缩、激励和乘积操作组成；压缩操作沿着通道维进行压缩，得到C个实数。这C个实数代表了全局的上下文信息；该操作的数学形式表示如下：
其中，zc表示经压缩后得到的特征通道响应，Fsq(·)表示压缩操作，H是特征图的高，W是特征图的宽，H×W是输入特征图的大小，x(i，j)是特征值。得到特征通道响应值以后会对其进行激励操作；激励操作的数学形式表示如下：
wc＝Fex(zc)＝σ(W2δ(W1zc)) (7)
其中，wc表示各通道的重要性程度，Fex(·)表示激励操作，σ和δ分别是sigmoid激活函数和ReLU激活函数，W1和W2分别是特征映射权值矩阵。最后将习得的通道响应wc与输入特征对应相乘，即可以利用全局上下文信息对通道进行筛选；其操作可以表示如下：
为了进一步提升模型的分割能力，本文将多尺度特征融合与多通道注意力机制结合；所述操作首先进行多尺度特征提取，然后在每一个特征提取支路上设置通道注意力机制，从而实现在提取多尺度特征的同时进行特征的筛选。这样的设置能够最大限度的提升空间细节信息的恢复。
S3、获取批次训练数据与mask标签的损失函数值，并根据梯度值反向传播，更新模型参数；具体包括以下步骤：
S31、对构建好的模型进行训练。首先，将图像数据按训练集、验证集和测试集分别占比70％，10％和20％进行分配。训练策略采用RMSprop优化算法，初始学习率为10-4，动量衰减为0.9，学习率每30次衰减为上一次的0.5倍，总训练次数为200个epoch；
S32、按批次将图像数据输入至模型进行训练，批次大小选择16；训练数据前向传输得到的输出与mask标签进行损失计算，损失函数采用交叉熵：
其中，y表示真实标签，
表示语义分割结果；
S33、基于梯度下降法对模型的所有参数进行调整，得到新的模型参数组合，转入步骤S32)；不断反复，直到训练集图片全部输入完毕；
S34、对训练集的图片进行重新洗牌，转至步骤S32)；反复执行，直至训练出模型的最优参数组合。
S4、将待分割图像输入至最优的病虫害语义分割模型，得到分割结果。
S5、基于语义分割结果并根据成像原理完成灾害等级分析；具体步骤如下：
S51、如图5所示，根据成像原理，观测区域实际面积与图像存在以下比例关系：
其中，Sreal表示实际病斑面积，Spicture是病斑在图像中的大小，L表示相机中心到观测距离的理想垂直距离，f是相机的焦距。根据上述关系，便可以通过计算得到病斑的实际面积。
S52、根据S51步骤得到实际病斑面积Sreal，对比分析得到灾害等级，Sreal≤1m2平方米为轻度灾害，1＜Sreal≤5m2为中度灾害，Sreal＞5m2为重度灾害。
实施例2
根据实施例1的方法，构建一种病虫害检测及灾害等级分析系统，该系统具体包括：病虫害语义分割模型、转换输出模块、病斑实际面积计算模块和灾害等级判断模块；其中，
转换输出模块，用于将待检测图像输入训练好的病虫害语义分割模型，得到二值图像；该二值图像的白色区域为病虫害区域，黑色区域为背景区域；所述待检测图像为原始三通道图像；
病斑实际面积计算模块，用于测算二值图像的白色区域，得到该待检测图像上的病斑大小；并根据成像原理，由待检测图像上的病斑大小计算得到病斑的实际面积；
灾害等级判断模块，用于根据病斑的实际面积，确定病虫害的灾害等级。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (8)
1.一种病虫害检测及灾害等级分析方法，所述方法包括：
将待检测图像输入训练好的病虫害语义分割模型，得到二值图像；该二值图像的白色区域为病虫害区域，黑色区域为背景区域；所述待检测图像为原始三通道图像；
测算二值图像的白色区域，得到该待检测图像上的病斑大小；
根据成像原理，由待检测图像上的病斑大小计算得到病斑的实际面积；
根据病斑的实际面积，确定病虫害的灾害等级；
所述病虫害语义分割模型的输入为原始三通道图像，输出为二值图像，该病虫害语义分割模型包括：编码模块和解码模块；其中，
所述编码模块，包括多层编码和深层位置注意力机制处理；其中，多层编码用于对输入的原始三通道图像进行不同感受野的特征编码，得到不同层特征图，分别代表不同上下文信息；深层位置注意力机制处理，用于增强最高层特征图各节点间的空间关联关系；
所述解码模块，用于对编码模块输出的不同层特征图分别进行多尺度特征聚合以及多通道注意力机制的处理，再结合不同层次特征图解码后的特征逐一融合，得到二值图像；
所述多层编码包括依次连接的5个编码层，每个所述编码层的数学形式均表示如下：
F＝σ(W*X+b)
其中，F表示经编码后的特征值，W表示对特征进行映射所需的权重，b表示偏置；非线性映射函数σ为：
经上述5个编码层后，分别得到不同层次的特征输出，分别为F1、F2、F3、F4和F5；所述深层位置注意力机制处理，具体包括并列的第一分支、第二分支和第三分支；其中，
所述第一分支连接1个1×1的卷积；
所述第二分支依次连接第一卷积、乘法器、图卷积和第二卷积；其中，第一卷积和第二卷积均为1×1的卷积；图卷积的表示形式如下：
Z＝((I-Ag)V)Wg
其中，Z为经图卷积进行节点推理以后的输出结果，I-Ag为N×N节点的邻接矩阵，用于节点信息之间的扩散，Ag为近邻矩阵的另一种表示形式，V为各节点信息，Wg为可更新的权重参数；
所述第三分支连接1个乘法器；
所述第一分支的卷积输出分成两路，一路输入第二分支的乘法器，另一路输入第二分支的第二卷积；
所述第二分支的输出接入第三分支的乘法器。
2.根据权利要求1所述的病虫害检测及灾害等级分析方法，其特征在于，所述解码模块的具体处理步骤包括：
对所述编码模块经深层位置注意力机制处理后的输出进行解码，得到特征F4；
对所述编码模块的第四层特征图依次进行多尺度特征聚合处理和多通道注意力机制处理，经处理后的特征与F4进行融合得到特征
对
进行解码得到解码特征，并对编码模块的第三层特征图依次进行多尺度特征聚合处理和多通道注意力机制处理，经处理后的特征与/>
的解码特征进行融合得到/>
对
进行解码得到解码特征，并对编码模块的第三层特征图依次进行多尺度特征聚合处理和多通道注意力机制处理，经处理后的特征与/>
的解码特征进行融合得到/>
对
进行解码得到解码特征，并对编码模块的第三层特征图依次进行多尺度特征聚合处理和多通道注意力机制处理，经处理后的特征与/>
的解码特征进行融合得到/>
其中，解码表示为：
Ol+1＝σ(T(Ol))
其中，Ol+1为解码输出，T为反卷积，σ为非线性映射函数，Ol为上一层的解码输出；
对
进行softmax函数处理，得到二值图像。
3.根据权利要求2所述的病虫害检测及灾害等级分析方法，其特征在于，所述多尺度特征聚合处理为经过并列的第一分支、第二分支、第三分支和第四分支的处理后得到不同尺度上的特征，通过特征拼接实现多尺度特征的融合；具体包括：
所述第一分支为卷积核为1×1、步长为1的卷积；
所述第二分支为卷积核为3×3、步长为1的卷积；
所述第三分支为卷积核为3×3、步长为1、空洞率为2的卷积；
所述第四分支为卷积核为3×3、步长为1、空洞率为4的卷积；
所述特征拼接表示为：
其中，
为融合后的特征，[…]表示拼接操作，H1×1(·)，H3×3(·)，H3×3,2(·)，H3×3,4(·)分别对应第一分支、第二分支、第三分支和第四分支的卷积操作。
4.根据权利要求3所述的病虫害检测及灾害等级分析方法，其特征在于，所述多通道注意力机制处理为依次进行压缩处理、激励处理和乘积处理；其中，
所述压缩处理为Fsq(·)，沿着通道维进行压缩，得到C个实数，这C个实数代表了全局的上下文信息；经压缩后得到的特征通道响应zc为：
其中，H是特征图的高，W是特征图的宽，H×W是输入特征图的大小，x(i,j)是特征值；
所述激励处理为Fex(·)，用于获得各通道的重要性程度wc为：
wc＝σ(W2δ(W1zc))
其中，wc为各通道的重要性程度，表示激励处理，σ是sigmoid激活函数，δ是ReLU激活函数，W1和W2分别是特征映射权值矩阵；
所述乘积操作，用于利用全局上下文信息对通道进行筛选，获得筛选值
为：
其中，x是特征值。
5.根据权利要求4所述的病虫害检测及灾害等级分析方法，其特征在于，所述方法还包括病虫害语义分割模型的训练步骤；具体包括：
步骤1)获取病虫害图像和对应的标签作为训练集，其中病虫害图像为原始三通道彩色图像，标签为单通道黑白图像；
步骤2)分批次将训练集中的原始三通道彩色图像数据输入病虫害语义分割模型；训练数据前向传输得到的输出与标签进行损失计算，损失函数采用交叉熵：
其中，y表示真实标签，
表示语义分割结果；
基于梯度下降法对病虫害语义分割模型的参数进行调整，得到新的模型参数组合，重复步骤2)，直到训练集图片全部输入完毕；
步骤3)当总训练次数未达到设定阈值时，对训练集的图片重新组合、划分批次，重复步骤2)；直至训练出病虫害语义分割模型的最优参数组合。
6.根据权利要求1所述的病虫害检测及灾害等级分析方法，其特征在于，所述根据成像原理，由待检测图像上的病斑大小计算得到病斑的实际面积；具体为：
根据成像原理，计算得到实际病斑面积Sreal：
其中，Spicture是病虫害在该待检测图像上的病斑大小，L是相机中心到观测距离的理想垂直距离，f是相机的焦距。
7.根据权利要求6所述的病虫害检测及灾害等级分析方法，其特征在于，所述根据病斑的实际面积，确定病虫害的灾害等级；具体为：
当所述病斑的实际面积小于等于第一阈值时，为轻度灾害；
当所述病斑的实际面积大于第一阈值并且小于等于第二阈值时，为中度灾害；
当所述病斑的实际面积大于第二阈值时，为重度灾害。
8.一种病虫害检测及灾害等级分析系统，其特征在于，所述系统具体包括：病虫害语义分割模型、转换输出模块、病斑实际面积计算模块和灾害等级判断模块；其中，
所述转换输出模块，用于将待检测图像输入训练好的病虫害语义分割模型，得到二值图像；该二值图像的白色区域为病虫害区域，黑色区域为背景区域；所述待检测图像为原始三通道图像；
所述病斑实际面积计算模块，用于测算二值图像的白色区域，得到该待检测图像上的病斑大小；并根据成像原理，由待检测图像上的病斑大小计算得到病斑的实际面积；
所述灾害等级判断模块，用于根据病斑的实际面积，确定病虫害的灾害等级；
所述病虫害语义分割模型的输入为原始三通道图像，输出为二值图像，该病虫害语义分割模型包括：编码模块和解码模块；其中，
所述编码模块，包括多层编码和深层位置注意力机制处理；其中，多层编码用于对输入的原始三通道图像进行不同感受野的特征编码，得到不同层特征图，分别代表不同上下文信息；深层位置注意力机制处理，用于增强最高层特征图各节点间的空间关联关系；
所述解码模块，用于对编码模块输出的不同层特征图分别进行多尺度特征聚合以及多通道注意力机制的处理，再结合不同层次特征图解码后的特征逐一融合，得到二值图像；
所述多层编码包括依次连接的5个编码层，每个所述编码层的数学形式均表示如下：
F＝σ(W*X+b)
其中，F表示经编码后的特征值，W表示对特征进行映射所需的权重，b表示偏置；非线性映射函数σ为：
经上述5个编码层后，分别得到不同层次的特征输出，分别为F1、F2、F3、F4和F5；所述深层位置注意力机制处理，具体包括并列的第一分支、第二分支和第三分支；其中，
所述第一分支连接1个1×1的卷积；
所述第二分支依次连接第一卷积、乘法器、图卷积和第二卷积；其中，第一卷积和第二卷积均为1×1的卷积；图卷积的表示形式如下：
Z＝((I-Ag)V)Wg
其中，Z为经图卷积进行节点推理以后的输出结果，I-Ag为N×N节点的邻接矩阵，用于节点信息之间的扩散，Ag为近邻矩阵的另一种表示形式，V为各节点信息，Wg为可更新的权重参数；
所述第三分支连接1个乘法器；
所述第一分支的卷积输出分成两路，一路输入第二分支的乘法器，另一路输入第二分支的第二卷积；
所述第二分支的输出接入第三分支的乘法器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010310600.3A CN111444924B (zh) | 2020-04-20 | 2020-04-20 | 一种病虫害检测及灾害等级分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010310600.3A CN111444924B (zh) | 2020-04-20 | 2020-04-20 | 一种病虫害检测及灾害等级分析方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111444924A CN111444924A (zh) | 2020-07-24 |
| CN111444924B true CN111444924B (zh) | 2023-05-30 |
Family
ID=71653395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010310600.3A Active CN111444924B (zh) | 2020-04-20 | 2020-04-20 | 一种病虫害检测及灾害等级分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111444924B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465820A (zh) * | 2020-12-22 | 2021-03-09 | 中国科学院合肥物质科学研究院 | 基于语义分割的融合全局上下文信息的水稻病害检测方法 |
| CN112967227B (zh) * | 2021-01-29 | 2022-09-09 | 中国科学技术大学 | 基于病灶感知建模的糖尿病视网膜病变自动评估系统 |
| CN113610048B (zh) * | 2021-08-25 | 2023-08-01 | 华南农业大学 | 基于图像识别的荔枝霜疫病自动识别方法、系统和存储介质 |
| CN115763167B (zh) * | 2022-11-22 | 2023-09-22 | 黄华集团有限公司 | 固体柜断路器及其控制方法 |
| CN115754108B (zh) * | 2022-11-23 | 2023-06-09 | 福建省杭氟电子材料有限公司 | 一种电子级六氟丁二烯的酸度测定系统及其方法 |
| CN117745745B (zh) * | 2024-02-18 | 2024-05-10 | 湖南大学 | 一种基于上下文融合感知的ct图像分割方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564589A (zh) * | 2018-03-26 | 2018-09-21 | 江苏大学 | 一种基于改进全卷积神经网络的植物叶片分割方法 |
| CN109064449A (zh) * | 2018-07-04 | 2018-12-21 | 中铁大桥科学研究院有限公司 | 一种桥梁表面病害的检测方法 |
| CN109409240A (zh) * | 2018-09-28 | 2019-03-01 | 北京航空航天大学 | 一种结合随机游走的SegNet遥感图像语义分割方法 |
| CN110517311A (zh) * | 2019-08-30 | 2019-11-29 | 北京麦飞科技有限公司 | 基于叶片病斑面积的病虫害监测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10713484B2 (en) * | 2018-05-24 | 2020-07-14 | Blue River Technology Inc. | Semantic segmentation to identify and treat plants in a field and verify the plant treatments |
-
2020
- 2020-04-20 CN CN202010310600.3A patent/CN111444924B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564589A (zh) * | 2018-03-26 | 2018-09-21 | 江苏大学 | 一种基于改进全卷积神经网络的植物叶片分割方法 |
| CN109064449A (zh) * | 2018-07-04 | 2018-12-21 | 中铁大桥科学研究院有限公司 | 一种桥梁表面病害的检测方法 |
| CN109409240A (zh) * | 2018-09-28 | 2019-03-01 | 北京航空航天大学 | 一种结合随机游走的SegNet遥感图像语义分割方法 |
| CN110517311A (zh) * | 2019-08-30 | 2019-11-29 | 北京麦飞科技有限公司 | 基于叶片病斑面积的病虫害监测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张哲晗等.基于编码-解码卷积神经网络的遥感图像语义分割.《光学学报》.2022,第第40卷卷(第第3期期),第2-8页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111444924A (zh) | 2020-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444924B (zh) | 一种病虫害检测及灾害等级分析方法及系统 | |
| CN112801015B (zh) | 一种基于注意力机制的多模态人脸识别方法 | |
| CN109784283A (zh) | 基于场景识别任务下的遥感图像目标提取方法 | |
| CN105787506A (zh) | 基于图像识别与二维码识别技术的垃圾分类评价方法 | |
| CN113326735B (zh) | 一种基于YOLOv5的多模态小目标检测方法 | |
| CN114022770A (zh) | 基于改进自注意力机制与迁移学习的山体裂缝检测方法 | |
| CN109919921B (zh) | 基于生成对抗网络的环境影响程度建模方法 | |
| CN115619743A (zh) | Oled新型显示器件表面缺陷检测模型的构建方法及其应用 | |
| US20240029402A1 (en) | Quick and intelligent ir7-ec network based classification method for concrete image crack type | |
| CN116012722A (zh) | 一种遥感影像场景分类方法 | |
| CN114998566A (zh) | 一种可解释的多尺度红外弱小目标检测网络设计方法 | |
| CN116152658A (zh) | 一种基于域对抗特征融合网络的林火烟雾检测方法 | |
| CN113762265A (zh) | 肺炎的分类分割方法及系统 | |
| CN115410081A (zh) | 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质 | |
| CN114565891A (zh) | 一种基于图形生成技术的烟火监测方法及系统 | |
| CN110728186B (zh) | 一种基于多网融合的火灾检测方法 | |
| CN116206327A (zh) | 一种基于在线知识蒸馏的图像分类方法 | |
| CN116757988A (zh) | 基于语义丰富和分割任务的红外与可见光图像融合方法 | |
| CN117274760A (zh) | 一种基于多尺度混合变换器的红外与可见光图像融合方法 | |
| CN108764287B (zh) | 基于深度学习和分组卷积的目标检测方法及系统 | |
| CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
| CN111353412B (zh) | 端到端的3D-CapsNet火焰检测方法及装置 | |
| CN117173595A (zh) | 基于改进YOLOv7的无人机航拍图像目标检测方法 | |
| CN116310868A (zh) | 一种多层次注意力交互的云雪辩识方法、设备及存储介质 | |
| CN113283393B (zh) | 基于图像组与两流网络的Deepfake视频检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |