CN116883841A - 一种基于多任务优化的萱草叶片病害检测方法及系统 - Google Patents
一种基于多任务优化的萱草叶片病害检测方法及系统 Download PDFInfo
- Publication number
- CN116883841A CN116883841A CN202310795795.9A CN202310795795A CN116883841A CN 116883841 A CN116883841 A CN 116883841A CN 202310795795 A CN202310795795 A CN 202310795795A CN 116883841 A CN116883841 A CN 116883841A
- Authority
- CN
- China
- Prior art keywords
- module
- feature
- disease
- path
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 93
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000005457 optimization Methods 0.000 title claims abstract description 53
- 241000756137 Hemerocallis Species 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 230000011218 segmentation Effects 0.000 claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000002776 aggregation Effects 0.000 claims abstract description 13
- 238000004220 aggregation Methods 0.000 claims abstract description 13
- 238000005520 cutting process Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 86
- 238000012512 characterization method Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 19
- 238000002372 labelling Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000000452 restraining effect Effects 0.000 claims description 2
- 240000009206 Hemerocallis fulva Species 0.000 claims 1
- 235000002941 Hemerocallis fulva Nutrition 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 claims 1
- 239000004065 semiconductor Substances 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 5
- 238000004422 calculation algorithm Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000000575 pesticide Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010059866 Drug resistance Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 244000052616 bacterial pathogen Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 101150058580 cls-3 gene Proteins 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000010413 gardening Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多任务优化的萱草叶片病害检测方法，包括构建一个轻量级的特征提取骨干网络和一个路径聚合网络；构建一个语义分割模块，将骨干网络的第五个尺度层次特征图输入到语义分割模块，对病害目标所在的叶片进行分割，输出病害叶片的像素级分类切割图，在模型训练过程中引导网络的注意力集中至病害叶片上；构建经过任务解耦的目标检测模块，实现对病害目标的准确检测和定位；构建一个用于训练时约束参数优化方向的损失函数，将模型进行特征提取的注意力集中到病害叶片上。本发明构建了一个浅层全局空间关联信息骨干网络，能够有效地对现实场景中的病害、叶片和背景进行区分，降低参数量和计算量，以及降低算法对背景物体的误检率。
Description
技术领域
本发明涉及计算机视觉技术领域，特别是一种基于多任务优化的萱草叶片病害检测方法及系统。
背景技术
萱草是一种重要的观赏花卉，但受到萱草病害的严重影响。由于病害高度传染性，病害迅速扩散，容易造成大规模损失。而目前对萱草病害监测的方法以人工为主，或者定期大面积喷洒农药。前者耗费大量人力、容易漏检，后者大量使用农药会使病菌产生抗药性。
使用基于深度学习的目标检测技术，可以快速准确地识别和检测萱草病害的症状和特征，帮助农民和园艺工作者及时采取措施进行防治。但目前的技术主要采用的单阶段方法，虽然计算量小，但是在训练数据量少的情况下，训练得到的模型对于复杂场景目标之间的空间关系提取性能较弱，使得在复杂背景场景下对叶片病害进行检测时容易对背景物体误检。许多单阶段方法只改变骨干网络的结构，扩大模型参数空间来提升检测准确率，但违背了单阶段模型平衡计算量和检测准确度的初衷。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述和/或现有的基于深度学习的萱草病害目标检测方法中存在的问题，提出了本发明。
因此，本发明所要解决的问题在于如何提供复杂场景下误检率低、检测精度高以及计算复杂度较低的萱草病害检测方法。
为解决上述技术问题，本发明提供如下技术方案：
第一方面，本发明实施例提供了一种基于多任务优化的萱草叶片病害检测方法，其包括基于可分离的自注意力机制构建一个轻量级的特征提取骨干网络，在骨干网络中，以下采样模块为分界点，分成五个尺度层次；构建一个路径聚合网络，包括自底向上的融合路径和自顶向下的融合路径；构建一个语义分割模块，将骨干网络的第五个尺度层次特征图输入到语义分割模块，对病害目标所在的叶片进行分割，输出病害叶片的像素级分类切割图；构建一个经过任务解耦的目标检测模块，实现对病害目标的准确检测和定位；构建一个用于训练时约束参数优化方向的总损失函数，将模型进行特征提取的注意力集中到病害叶片上。
作为本发明所述基于多任务优化的萱草叶片病害检测方法的一种优选方案，其中：构建一个轻量级的特征提取骨干网络包括以下步骤：将RGB图像输入到空间压缩层中进行特征提取和下采样，得到处理过的特征图；将处理过的特征图输入到局部－全局特征提取模块中的局部表征模块和全局表征模块进行特征提取，并输出局部特征和全局特征；将局部特征和全局特征输入到信息融合模块中进行特征融合，得到融合后的特征；将融合后的特征与原始输入特征进行逐像素融合，得到最终的特征；将最终的特征输入到后续的任务模块中，进行病害叶片的分割和目标检测。
作为本发明所述基于多任务优化的萱草叶片病害检测方法的一种优选方案，其中：将局部特征和全局特征输入到信息融合模块中进行特征融合的具体公式如下：
y＝Fusion(x,Local(x),Global(Local(x)))
其中，x为输入特征，Fusion为信息融合模块，Local为局部表征模块，Global为全局表征模块。
将融合后的特征与原始输入特征进行逐像素融合，具体公式如下：
y＝x+Conv1(Concat(xL,xG))
其中，x为输入特征，Concat为通道拼接操作，Conv1为通道信息融合操作，xL为局部表征模块输出特征，xG为全局表征模块输出特征。
作为本发明所述基于多任务优化的萱草叶片病害检测方法的一种优选方案，其中：自顶向下的融合路径包括以下结构：将骨干网络的第三、第四和第五层特征图M3、M4、M5输入到自顶向下的特征融合路径；通过Up2x-Conv1×1-Concat-CF模块对特征图进行处理；输出特征融合路径中分模块的卷积层的具体公式如下：
C1,ud1＝UpDown1(M3,M5)
其中，UpDowni为第i∈[1,2]个Up2x-Conv1×1-Concat-CF模块，udi为路径第i∈[1,2]个分模块的输出，Ci为路径第i∈[1,2]个分模块的卷积层的输出。
作为本发明所述基于多任务优化的萱草叶片病害检测方法的一种优选方案，其中：自底向上的融合路径包括以下结构：将自顶向下的特征融合路径所输出的C1、C2和ud2输入到自底向上的特征融合路径；通过Conv3×3＝Conv5×5-Concat-IFPN-CF模块对特征图进行处理，其中“＝”表示并行，“－”表示串行；自底向上特征融合路径两个分模块的具体公式如下：
du1＝DownUp1(ud2,C2)＝CF1(IFPN1(Concat(Conv3×31(ud2),Conv5×51(ud2)),C2))
du2＝DownUp2(du1,C1)＝CF2(IFPN2(Concat(Conv3×32(du1),Conv5×52(du1)),C1))
其中，DownUp1(ud2,C2)为自顶向下特征融合路径中第1个分模块，DownUp2(du1,C1)为自顶向下特征融合路径中第2个分模块，Conv3×3(·)为3×3卷积，Conv5×5(·)为5×5卷积，Concat为通道拼接模块，IFPNi为路径第i∈[1,2]的经过改进的FPN模块，CFi为路径第i∈[1,2]特征融合模块，dui为路径第i∈[1,2]个分模块的输出，udi为路径第i∈[1,2]个分模块的输出，Ci为路径第i∈[1,2]个分模块的卷积层的输出。
IFPN模块中的FaPN特征选择模块对数据进行处理的具体公式如下：
SCi＝FSMi(Ci) i∈[1,2]
其中，Ci为路径第i∈[1,2]个分模块的卷积层的输出，SCi为FSM特征选择模块的第i个输出，FSMi(·)为特征选择模块，由SE模块组成。
在特征融合阶段进行改进的具体公式如下：
CF3-i＝FAMi(Conv1×1i(Up2x(udi)),SCi)*W2+SCi*W1 i∈[1,2]
其中，FAMi(·,·)为FaPN的特征对齐模块，对需要进行拼接的两个特征图在空间维度上进行对齐，W1和W2为可学习的权重参数，CF3-i为特征融合模块，Up2x(·)为二倍上采样模块，用于空间分辨率对齐，Conv1×1i(·)为1×1卷积，SCi为经过筛选后的特征。
作为本发明所述基于多任务优化的萱草叶片病害检测方法的一种优选方案，其中：构建一个语义分割模块包括以下步骤：构建一个语义分割模块包括以下步骤：将骨干网络第五个尺度层次特征图输入到一个分辨率重建网络中；使用通道数为2的1×1卷积层对特征图进行处理，将通道数压缩为2；将小尺度多层通道特征图的相应特征点映射到高分辨率的特征图上，以预测重建边缘平滑的分割决策图；使用分割决策图对原始图像上的每个像素进行类别划分，并在训练时约束优化方向，使骨干网络提取特征时增加对病害叶片部位的关注；使用Dice损失函数进行优化方向的约束，具体公式如下：
其中，M为输入原图中空间长宽维度(h×w)的像素总量，pi为预测语义分割图里像素i上的预测类别索引，gi为真实语义分割标注里像素i上的类别索引，LDice为Dice损失函数。
作为本发明所述基于多任务优化的萱草叶片病害检测方法的一种优选方案，其中：构建一个总损失函数包括以下步骤：为了优化目标检测任务，分别设计三个损失函数；引入改进的CIOU，计算预测目标框的大小和位置的损失LCIOU的具体公式如下：
LCIOU＝1-CIOU
其中，IOU为手工标注框和预测框之间的交并比，ρ(·，·)代表欧氏距离的计算函数，计算预测框bpred的坐标和手工标注框bgt的坐标之间的欧氏距离，b代表框的中心坐标，c代表预测框矩形和手工标注框矩形之间的最小外接矩形对角线长度，a是一个用于平衡长宽比一致性的参数，v用来衡量预测框和目标框之间的长宽比例一致性。
计算预测置信度的损失Lconf的具体公式如下：
其中，表示第i个预测框的置信度，Cm表示对应位置第i个手工标注框的置信度，N表示模型总共预测了N个目标，m为第m个目标。
计算目标分类的损失Lcls的具体公式如下：
其中，表示第i个预测框的类别，y表示对应位置第i个手工标注框的标注类别，N表示模型总共预测了N个目标，m为第m个目标。
结合LCIOU、Lconf和Lcls，计算参数优化方向约束的损失函数Ltotal的具体公式如下：
Ltotal＝LCIOU+Lconf+Lcls+LDice
其中，LCIOU表示预测目标框的大小和位置的损失，Lconf表示预测置信度的损失，Lcls目标分类的损失，LDice表示对所有像素进行预测类别后输出分类结果的损失。
第二方面，本发明实施例提供了一种基于多任务优化的萱草叶片病害检测系统，其包括信息融合模块，用于融合局部特征和全局特征，得到融合后的特征；局部－全局特征提取模块，用于提取局部特征和全局特征，其中包括局部表征模块和全局表征模块；路径聚合网络模块，用于处理将骨干网络中的特征图；语义分割模块，用于对病害目标所在的叶片进行分割，输出病害叶片的像素级分类切割图；目标检测模块，用于检测和定位病害目标；损失函数模块，用于设计三个损失函数来优化目标检测任务。
第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述处理器执行所述计算机程序时实现上述的基于多任务优化的萱草叶片病害检测方法的任一步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现上述的基于多任务优化的萱草叶片病害检测方法的任一步骤。
本发明有益效果为：本发明在目标检测模型的基础上增加语义分割任务模块对优化方向进行约束，提升网络对病害叶片的注意力，降低对环境物体的误检；采用可分离的自注意力机制和局部特征提取模块来建立骨干网络扩增感受野，并且降低模型计算量，使得模型能够感知叶片、病害和背景之间的空间关系同时，提升检测速度；在金字塔特征图融合阶段通过自适应特征加权灵活调整语义信息和深层特征信息的融合尺度，提升融合模块的鲁棒性；解耦检测任务模块能够实现预测目标位置和类别时对纹理、形态信息的有效运用，提升目标定位、分类的准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为基于多任务优化的萱草叶片病害检测方法的流程图。
图2为基于多任务优化的萱草叶片病害检测方法的网络模型框架流程图。
图3为基于多任务优化的萱草叶片病害检测方法的骨干网络中的SSA结构流程图。
图4为基于多任务优化的萱草叶片病害检测方法的经过改进的路径聚合网络流程图。
图5为基于多任务优化的萱草叶片病害检测方法的语义分割模块流程图。
图6为基于多任务优化的萱草叶片病害检测方法的经过解耦的目标检测模块流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式作详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
参照图1～图6，为本发明第一个实施例，该实施例提供了一种基于多任务优化的萱草叶片病害检测方法，包括，
S1：基于可分离的自注意力机制构建一个轻量级的特征提取骨干网络，在骨干网络中，以下采样模块为分界点，分成五个尺度层次。
进一步的，本方法由骨干网络、颈部网络和检测模块构成，构建一个轻量级的特征提取骨干网络包括以下步骤：
S1.1：将RGB图像输入到空间压缩层中进行特征提取和下采样，得到处理过的特征图。
需要说明的是，RGB图像是输入的分辨率为640×640的包含萱草叶片的图像，将RGB图像输入到一个空间压缩层中，其包含4个二倍下采样层，每个下采样层包含一个3×3卷积的RELU激活模块，该层对输入特征图进行空间分辨率下采样并且扩增特征通道，输入到4个二倍下采样模块进行16倍下采样。
采用基于可分离的自注意力机制(SSA)构建特征提取骨干网络，其中SSA模块用于构建空间全局特征信息关联，然后将特征图分为5个尺度层，其中每个尺度层图片大小由低层至高层分别为320、160、80、40、20，空间分辨率逐步降低，但每层的特征通道增加，感受野逐步提升。
S1.2：将处理过的特征图输入到局部－全局特征提取模块中的局部表征模块和全局表征模块进行特征提取，并输出局部特征和全局特征。
优选的，引入可分离的自注意力机制来构建骨干网络并且加以改进，改进后的自注意力机制可以用于同时提取全局特征和局部特征，并对其进行融合，加强对形状纹理特征的提取能力，提高模型对背景和叶片的分辨能力，同时可以降低计算复杂度，后面再将融合结果输入到一个二倍下采样模块，得到32倍空间下采样特征图。
SSA模块包含三个层，分别为全局表征层、局部表征层和残差层，局部表征层由CBR模块构成，CBR模块包含3×3Conv卷积模块、BN批标准化模块和一个RELU激活模块，全局表征层包括一个可分离的自注意力机制SSA结构来构筑全局特征提取映射能力，提取叶片、病害以及背景之间的信息，SSA结构采用了Pre-LayerNorm进行标准化，能够保持前后层的梯度范数，使得训练优化的数值更稳定，残差模块用于传递语义信息较多的浅层特征信息，SSA结构中包含一个SSA模块，它采用全卷积的结构，能够将普通自注意力机制的计算复杂度降低到k，其中k为token的数量，骨干网络中的SSA结构流程图如图3所示。
S1.3：将局部特征和全局特征输入到信息融合模块中进行特征融合，得到融合后的特征。
具体的，局部－全局特征提取模块包含融合模块和局部－全局特征提取模块分支，该分支在扩大感受野同时降低了计算量，其中数据处理过程的具体公式如下：
y＝Fusion(x,Local(x),Global(Local(x)))
其中，x为输入特征，Fusion为信息融合模块，Local为局部表征模块，Global为全局表征模块。
S1.4：将融合后的特征与原始输入特征进行逐像素融合，得到最终的特征。
进一步的，融合模块由一个逐像素融合模块、通道融合模块和通道拼接模块组成，将局部表征模块输出特征xL和全局表征模块输出特征xG在通道侧进行特征拼接，使用1×1卷积进行通道信息融合，最后与原始输入特征x进行逐像素融合，具体公式如下：
y＝x+Conv1(Concat(xL,xG))
其中，x为输入特征，Concat为通道拼接操作，Conv1为通道信息融合操作，xL为局部表征模块输出特征，xG为全局表征模块输出特征。
S1.5：将最终的特征输入到后续的任务模块中，进行病害叶片的分割和目标检测。
具体的，局部－全局特征提取模块分支由局部表征模块Local和全局表征模块Global组成，原始的输入特征x数据首先流入局部表征模块，得到xL，然后其流入融合分支，同时xL流入全局表征模块输出xG流向融合分支，局部表征模块Local是由两个3×3卷积模块、一个批标准化模块BN和一个线形整流模块RELU组成，Local模块的处理过程的具体公式如下：
y＝RELU(BN(conv3(conv2(x))))
其中，RELU()为线形整流模块，BN()为批标准化模块，conv3()为第二个3x3卷积模块，conv2()为第一个3×3卷积模块。
需要说明的是，Global模块为引入的可分离自注意力，使用三个空间的特征图进行空间上下文信息提取，获取空间全局上下文信息。
更进一步的，通过以每个下采样模块为分界点进行分层，输入图像空间分辨率为640×640，经过5个二倍下采样模块，分别被下采样至320×320、160×160、80×80、40×40、20×20，分别表示为骨干网络第1至5层尺度层次输出。
S2：构建一个路径聚合网络，包括自底向上的融合路径和自顶向下的融合路径。
优选的，图4展示的是经过改进的路径聚合网络流程图，它由一个自底向上和一个自顶向下的模块组成，自顶向下的路径由2个Up2x-Conv1×1-Concat-CF模块构成，二倍上采样能够对齐即将进行融合的横向连接特征图的分辨率，以补充足够的语义信息，补充全局空间信息，而自底向上模块由Conv3×3＝Conv5×5-Concat-IFPN-CF结构构成，是由一个3×3卷积和一个5×5卷积并行提取不同空间范围的特征，然后对其输出进行拼接，再使用经过改进的自适应路径聚合网络对其融合并且使用CSP对通道侧的不同感受野特征图进行压缩和融合，提升特征提取范围，IFPN为经过改进的FaPN，增加融合加权的部分以提升鲁棒性。S2.1：自顶向下的融合路径。
具体的，包括以下结构：
S2.1.1：将骨干网络的第三、第四和第五层特征图M3、M4、M5输入到自底向上的特征融合路径。
S2.1.2：通过Up2x-Conv1×1-Concat-CF模块对特征图进行处理。
具体的，该自顶向下路径由两个Up2x-Conv1×1-Concat-CF模块(UpDown)构成，其中Up2x模块对特征图空间分辨率进行二倍上采样，Conv1×1模块是一个1×1的卷积用于通道融合，Concat模块用于横向连接骨干网络输出的特征图，CF模块由通道选择压缩分支和残差分支构成，用于融合不同通道之间的特征。S2.1.3：自顶向下的融合路径的数据处理过程。
具体公式如下：
C1,ud1＝UpDown1(M3,M5)
C2,ud2＝UpDown2(M4,ud1)
其中，UpDowni为第i∈[1,2]个Up2x-Conv1×1-Concat-CF模块，udi为路径第i∈[1,2]个分模块的输出，Ci为路径第i∈[1,2]个分模块的卷积层的输出。
需要说明的是，ud为单个UpDown模块的输出，C为UpDown模块中的卷积层的输出，卷积层的输出C将作为下文自底向上路径横向连接的旁路输入，ud2会作为下文自底向上路径中的主要路径初始输入。
S2.2：自底向上的融合路径。
具体的，包括以下结构：
S2.2.1：将自顶向下的特征融合路径所输出的C1、C2和ud2输入到自底向上的特征融合路径。
S2.2.2：通过Conv3×3＝Conv5×5-Concat-IFPN-CF模块对特征图进行处理。
具体的，该路径由两个Conv3×3＝Conv5×5-Concat-IFPN-CF模块(DownUp)构成，其中“＝”表示并行路径，“-”表示串行路径，并行分支代表输入的数据同时流向Conv3×3(·)和Conv5×5(·)，这两个模块在同一层，然后两个模块输出的数据同时输入到处于下一层的Concat模块进行通道拼接，串行路径指在该层中仅有单个数据处理模块，Conv3×3(·)为3×3卷积，对输入特征图每一个超像素为中心的3×3九宫格范围的特征进行特征融合，5×5以此类推，然后将并行输出的特征图进行通道侧合并，IFPN为经过改进的路径聚合网络，其用于横向连接自顶向下的特征图，并且将特征图对齐至自底向上路径所输出的C1和C2特征；CF用于特征融合。
S2.2.3：自底向上的融合路径的过程。
具体公式如下：
du1＝DownUp1(ud2,C2)＝CF1(IFPN1(Concat(Conv3×31(ud2),Conv5×51(ud2)),C2))
du2＝DownUp2(du1,C1)＝CF2(IFPN2(Concat(Conv3×32(du1),Conv5×52(du1)),C1))
其中，DownUp1(ud2,C2)为自顶向下特征融合路径中第1个分模块，DownUp2(du1,C1)为自顶向下特征融合路径中第2个分模块，Conv3×3(·)为3×3卷积，Conv5×5(·)为5×5卷积，Concat为通道拼接模块，IFPNi为路径第i∈[1,2]的经过改进的FPN模块，CFi为路径第i∈[1,2]特征融合模块，dui为路径第i∈[1,2]个分模块的输出，udi为路径第i∈[1,2]个分模块的输出，Ci为路径第i∈[1,2]个分模块的卷积层的输出。
优选的，其中IFPN模块由3层构成，第一层由两个并行的卷积模块构成，分别为一个3×3卷积和5×5卷积，第二层是一个逐元素融合模块，第三层是一个经过改进的FaPN构成。
需要说明的是，其中FaPN模块可以缓解上采样造成的特征偏移问题，本方案在其特征融合阶段进行了改进，增加两个可学习的权重参数W1和W2分别对横向连接特征图和自顶向下特征图进行加权，经过改进的具体公式如下：
SCi＝FSMi(Ci) i∈[1,2]
其中，Ci为路径第i∈[1,2]个分模块的卷积层的输出，SCi为FSM特征选择模块的第i个输出，FSMi(·)为特征选择模块，由SE模块组成。
在特征融合阶段进行改进的具体公式如下：
CF3-i＝FAMi(Conv1×1i(Up2x(udi)),SCi)*W2+SCi*W1 i∈[1,2]
其中，FAMi(·,·)为FaPN的特征对齐模块，对需要进行拼接的两个特征图在空间维度上进行对齐，W1和W2为可学习的权重参数，CF3-i为特征融合模块，Up2x(·)为二倍上采样模块，用于空间分辨率对齐，Conv1×1i(·)为1×1卷积，SCi为经过筛选后的特征。
S3：构建一个语义分割模块，将骨干网络第五个尺度层次特征图输入到语义分割模块，对病害目标所在的叶片进行分割，输出病害叶片的像素级分类切割图。
具体的，构建的一个语义分割模块包括以下结构：
S3.1：将骨干网络第五个尺度层次特征图M5输入到一个分辨率重建网络中。
优选的，分辨率重建网络包含4个上采样组和一个通道为2的1×1卷积层，只分成两个类别，其中，每个上采样组包含一个3×3卷积、一个二倍上采样层和一个CF模块，3×3卷积用于局部信息间的交互，上采样层增加空间分辨率，CF模块用于通道信息融合，提升合成分割图的质量，最后通道数为2，因为类别为“病害叶片区域”和“非病害叶片区域”，语义分割模块流程图如图5所示。
S3.2：将小尺度多层通道特征图的相应特征点映射到高分辨率的特征图上，以预测重建边缘平滑的分割决策图；
具体的，类别数为病害叶片区域和非病害叶片区域，分辨率重构网络用小尺度多层通道特征图的相应特征点映射到高分辨率的特征图上预测重建边缘平滑的分割决策图，预测分割决策图里每个点的数值代表对应输入原图该点上的像素所归属的类别。
S3.3：使用分割决策图对原始图像上的每个像素进行类别划分，并在训练时约束优化方向，使骨干网络提取特征时增加对病害叶片部位的关注。
进一步的，因为该过程使用了神经网络，如果要实现高任务准确度，需要对神经网络进行调整，在对实现该过程的模块参数进行调整优化时，需要使用Dice损失函数进行优化方向的约束，具体公式如下：
其中，M为输入原图中空间长宽维度(h×w)的像素总量，pi为预测语义分割图里像素i上的预测类别索引，gi为真实语义分割标注里像素i上的类别索引，LDice为Dice损失函数。
S4：构建一个经过任务解耦的目标检测模块，实现对病害目标的准确检测和定位。
具体的，将自顶向下路径第2个模块的输出ud2以及自底向上路径第1、第2个模块的输出分别到三个目标检测解耦头中，图6展示了目标检测模块流程图，三个解耦头输出的数据形状分别为(256,20,20)、(256,40,40)和(256,80,80)的特征图，解耦头根据输入的特征来分别检测图像中的大、中、小目标，三个解耦头的结构相同，均是由1个3×3卷积模块和4个1×1卷积模块组成，后3个1×1卷积模块通道分别为1*3、cls*3、4*3，通道1、cls、4对应的位置分别放置该位置存在目标的置信度、每种类别的预测概率、预测框的二维空间的位置以及框的长宽的偏移量，3代表每个位置由3种长宽比的预测框进行匹配，将几个功能进行解耦有利于提升框位置回归和预测类别时对特征选择的灵活性，提升各任务的精度。
S5：构建一个用于训练时约束参数优化方向的损失函数，将模型进行特征提取的注意力集中到病害叶片上。
进一步的，为了优化目标检测任务，分别设计三个损失函数Lconf、Lcls、LCIOU，分别对应某位置存在目标的置信度、每种类别的预测概率、预测框的二维空间的位置以及框的长宽的偏移量。
具体的，LCIOU表示预测目标框的大小和位置的损失，Lconf表示预测置信度的损失，Lcls目标分类的损失，LDice表示对所有像素进行预测类别后输出分类结果的损失。
进一步的，引入改进的CIOU，它是在DIOU的基础上进行了改进，增加了预测框与手工标注框之间的尺度的损失，还有长和宽的损失函数，这样预测框就会更加的符合真实框，CIOU考虑了预测框和手工标注框的重叠面积、中心点距离和长宽比，计算预测目标框的大小和位置的损失LCIOU的具体公式如下：
LCIOU＝1-CIOU
其中，IOU为手工标注框和预测框之间的交并比，ρ(·，·)代表欧氏距离的计算函数，计算预测框bpred的坐标和手工标注框bgt的坐标之间的欧氏距离，b代表框的中心坐标，c代表预测框矩形和手工标注框矩形之间的最小外接矩形对角线长度，a是一个用于平衡长宽比一致性的参数，v用来衡量预测框和目标框之间的长宽比例一致性。
进一步的，计算预测置信度的损失Lconf的具体公式如下：
其中，表示第i个预测框的类别，y表示对应位置第i个手工标注框的标注类别，N表示模型总共预测了N个目标，m为第m个目标。
更进一步的，计算目标分类的损失Lcls的具体公式如下：
其中，表示第m个预测框的类别，ym表示对应位置第m个手工标注框的标注类别，N表示模型总共预测了N个目标，m为第m个目标。
进一步的，基于语义分割任务、目标检测任务，结合LCIOU、Lconf和Lcls，计算参数优化方向约束的损失函数Ltotal的具体公式如下：
Ltotal＝LCIOU+Lconf+Lcls+LDice
其中，LCIOU表示预测目标框的大小和位置的损失，Lconf表示预测置信度的损失，Lcls目标分类的损失，LDice表示对所有像素进行预测类别后输出分类结果的损失。
进一步的，该损失函数用于在对本发明提出的模型结构进行训练时，对参数调整的方向和尺度提供一个参考，引导参数调整的方向往较优的方向调整。
进一步的，本实施例还提供一种基于多任务优化的萱草叶片病害检测系统，包括信息融合模块，用于融合局部特征和全局特征，得到融合后的特征；局部－全局特征提取模块，用于提取局部特征和全局特征，其中包括局部表征模块和全局表征模块；路径聚合网络模块，用于处理将骨干网络中的特征图；语义分割模块，用于对病害目标所在的叶片进行分割，输出病害叶片的像素级分类切割图；目标检测模块，用于检测和定位病害目标；损失函数模块，用于设计三个损失函数来优化目标检测任务。
本实施例还提供一种计算机设备，适用于基于多任务优化的萱草叶片病害检测方法的情况，包括存储器和处理器；存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，实现如上述实施例提出的基于多任务优化的萱草叶片病害检测方法。
该计算机设备可以是终端，该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例提出的实现基于多任务优化的萱草叶片病害检测方法。
本实施例提出的存储介质与上述实施例提出的数据存储方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
综上，本发明增加语义分割任务模块对优化方向进行约束，提升网络对病害叶片的注意力；采用可分离的自注意力机制和局部特征提取模块来建立骨干网络扩增模型感受野，并且降低模型计算量，使得模型能够感知叶片、病害和背景之间的空间关系同时，提升检测速度；在金字塔特征图融合阶段通过自适应特征加权灵活调整语义信息和深层特征信息的融合尺度，提升融合模块的鲁棒性；解耦检测任务模块的功能实现预测目标位置和类别时对纹理、形态信息的有效运用，提升目标定位、分类的准确度。
实施例2
参照图1～图6，为本发明第二个实施例，该实施例提供了一种基于多任务优化的萱草叶片病害检测方法，为了验证本发明的有益效果，通过经济效益计算和仿真实验进行科学论证。
在本实施例中，实验程序采用python 3.7语言编写，深度学习框架使用Pytorch1.7.1进行实验，对模型的训练批次设置为250，数据训练批大小设置为16，初始学习率为0.01，实验数据集采用已经采集并制作的萱草病害叶片目标检测数据集和语义分割数据集，其中叶片病害分为三类，锈病、其他病害、病害中后期，语义分割类别分为两类，病害叶片和健康叶片及背景，数据集共606张图片，训练集与验证集的比例为8:2。
测试评价指标采用mPA-S,mAP-M,mAP-L和平均精度均值mPA@0.5以及mPA@0.5:0.95来衡量检测算法的准确性，AP为average precision，即平均精度，S、M、L分别代表小目标、中型目标和大型目标，@0.5代表在IOU阈值为0.5下进行，@0.5:0.95代表在IOU阈值为0.5到0.95，并且步进为0.05下计算得到的mPA平均值，然后采用模型参数量评价算法模型大小，使用计算量GFLOPS来评价算法的运行速度，其中GFLOPS表示Giga Floating-pointOperations Per Second，即每秒10亿次的浮点运算数。
本发明方法由可分离的自注意力机制构建的骨干网络(SSA)，由本发明改进的FaPN模块，即IFPN、目标检测解耦头(DH)，以及语义分割头(seg)构成，为了验证本发明方法给出的子模块的有效性，进行了消融实验进行验证，并且与主流单阶段目标检测方法YOLOv5-L进行了对比，实验结果如表2所示。
表2消融实验以及与YOLOv5-L的对比
进一步的，从表2可以看出本发明方法的mPA-S为22.4％，mPA-M为29.6％，mPA-L为33.0％，平均精度mPA@0.5为50.0％，模型大小为34.7M，计算量为114.6GFLOPS。
进一步的，测试SSA作为主干的效果，在SSA+FPN+CH方法中，拥有94.6GFLOPs的计算量和24.95M的参数量，相较于YOLOv5-L，在mPA@0.5和mPA@0.5:0.95的性能分别有1.3％和0.3％的小幅上升。
进一步的，测试IFPN的效果，在增加IFPN模块后，发现mPA有明显的提升，但是对小目标的检测精度有所下降，再测试解耦头的效果，进一步增加解耦头后，mPA@0.5提升，但是mPA@0.5:0.95轻微下降，对中小目标的检测精度也有所下降，最后测试语义分割头对于目标检测模块的性能影响效果，增加了语义分割头后，mPA达到最高，在整体上检测精度有提升。
优选的，在仅使用SSA+FPN+CH基础上替换了2个本发明提出的模块和增加语义分割头后，计算量增加了20GFLOPS，参数量增加了9.75MB，但带来了mPA@0.5:0.95、mPA@0.5的5％、2.7％的提升，而且进一步只聚焦病害检测任务时，可将语义分割头去除，则将减11.3GFLOPS和0.33M参数量，进一步提升检测速度。
进一步的，YOLOv5-L方法的mPA-S为17.6％，mPA-M为25.2％，mPA-L为27.3％，平均精度mPA@0.5为44.1％，模型大小为46.1M。本发明方法与YOLOv5-L相比，检测精度mPA@0.5和mPA@0.5:0.95分别高出5.9％和5.8％，参数量有所降低，虽然GFLOPS增加，但是使用SSA+IFPN+DH+seg完成训练后，在实际检测中，把语义分割头seg去掉，可以将计算量降低至和SSA+IFPN+DH相同的103.3，相较于YOLOv5-L有所下降。
综上所述，本发明方法在萱草病害检测任务中在检测精度上，相较于主流算法YOLOv5由明显提升，展现本发明方法的出色性能，本发明方法优化了模型参数量、计算量，提供了一个精度和效率更高的解决方案，本发明方法对于硬件的要求更低，能更好地推广到实际应用场景中。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于多任务优化的萱草叶片病害检测方法，其特征在于：包括，
基于可分离的自注意力机制构建一个轻量级的特征提取骨干网络，在骨干网络中，以下采样模块为分界点，分成五个尺度层次；
构建一个路径聚合网络，包括自底向上的融合路径和自顶向下的融合路径；
构建一个语义分割模块，将骨干网络的第五个尺度层次特征图M5输入到语义分割模块，对病害目标所在的叶片进行分割，输出病害叶片的像素级分类切割图；
构建一个经过任务解耦的目标检测模块，实现对病害目标的准确检测和定位；
构建一个用于训练时约束参数优化方向的总损失函数，将模型进行特征提取的注意力集中到病害叶片上。
2.如权利要求1所述的基于多任务优化的萱草叶片病害检测方法，其特征在于：所述构建一个轻量级的特征提取骨干网络包括以下步骤：
将RGB图像输入到空间压缩层中进行特征提取和下采样，得到处理过的特征图；
将处理过的特征图输入到局部－全局特征提取模块中的局部表征模块和全局表征模块进行特征提取，并输出局部特征和全局特征；
将局部特征和全局特征输入到信息融合模块中进行特征融合，得到融合后的特征；
将融合后的特征与原始输入特征进行逐像素融合，得到最终的特征；
将最终的特征输入到后续的任务模块中，进行病害叶片的分割和目标检测。
3.如权利要求2所述的基于多任务优化的萱草叶片病害检测方法，其特征在于：所述将局部特征和全局特征输入到信息融合模块中进行特征融合的具体公式如下：
y＝Fusion(x,Local(x),Global(Local(x)))
其中，x为输入特征，Fusion为信息融合模块，Local为局部表征模块，Global为全局表征模块；
所述将融合后的特征与原始输入特征进行逐像素融合，具体公式如下：
y＝x+Conv1(Concat(xL,xG))
其中，x为输入特征，Concat为通道拼接操作，Conv1为通道信息融合操作，xL为局部表征模块输出特征，xG为全局表征模块输出特征。
4.如权利要求1所述的基于多任务优化的萱草叶片病害检测方法，其特征在于：所述自顶向下的融合路径包括以下结构：
将骨干网络的第三、第四和第五层特征图M3、M4、M5输入到自顶向下的特征融合路径；
通过Up2x-Conv1×1-Concat-CF模块对特征图进行处理；
输出特征融合路径中分模块的卷积层的具体公式如下：
C1,ud1＝UpDown1(M3,M5)
C2,ud2＝UpDown2(M4,ud1)
其中，UpDowni为第i∈[1,2]个Up2x-Conv1×1-Concat-CF模块，udi为路径第i∈[1,2]个分模块的输出，Ci为路径第i∈[1,2]个分模块的卷积层的输出。
5.如权利要求1所述的基于多任务优化的萱草叶片病害检测方法，其特征在于：所述自底向上的融合路径包括以下结构：
将自顶向下的特征融合路径所输出的C1、C2和ud2输入到自底向上的特征融合路径；
通过Conv3×3＝Conv5×5-Concat-IFPN-CF模块对特征图进行处理，其中“＝”表示并行，“－”表示串行；
自顶向下特征融合路径两个分模块的具体公式如下：
du1＝DownUp1(ud2,C2)＝CF1(IFPN1(Concat(Conv3×31(ud2),Conv5×51(ud2)),C2))
du2＝DownUp2(du1,C1)＝CF2(IFPN2(Concat(Conv3×32(du1),Conv5×52(du1)),C1))
其中，DownUp1(ud2,C2)为自顶向下特征融合路径中第1个分模块，DownUp2(du1,C1)为自顶向下特征融合路径中第2个分模块，Conv3×3(·)为3×3卷积，Conv5×5(·)为5×5卷积，Concat为通道拼接模块，IFPNi为路径第i∈[1,2]的经过改进的FPN模块，CFi为路径第i∈[1,2]特征融合模块，dui为路径第i∈[1,2]个分模块的输出，udi为路径第i∈[1,2]个分模块的输出，Ci为路径第i∈[1,2]个分模块的卷积层的输出；
IFPN模块中的FaPN特征选择模块对数据进行处理的具体公式如下：
SCi＝FSMi(Ci) i∈[1,2]
其中，Ci为路径第i∈[1,2]个分模块的卷积层的输出，SCi为FSM特征选择模块的第i个输出，FSMi(·)为特征选择模块，由SE模块组成；
在特征融合阶段进行改进的具体公式如下：
CF3-i＝FAMi(Conv1×1i(Up2x(udi)),SCi)*W2+SCi*W1 i∈[1,2]
其中，FAMi(·,·)为FaPN的特征对齐模块，对需要进行拼接的两个特征图在空间维度上进行对齐，W1和W2为可学习的权重参数，CF3-i为特征融合模块，Up2x(·)为二倍上采样模块，用于空间分辨率对齐，Conv1×1i(·)为1×1卷积，SCi为经过筛选后的特征。
6.如权利要求1所述的基于多任务优化的萱草叶片病害检测方法，其特征在于：所述构建一个语义分割模块包括以下步骤：
将骨干网络第五个尺度层次特征图输入到一个分辨率重建网络中；
使用通道数为2的1×1卷积层对特征图进行处理，将通道数压缩为2；
将小尺度多层通道特征图的相应特征点映射到高分辨率的特征图上，以预测重建边缘平滑的分割决策图；
使用分割决策图对原始图像上的每个像素进行类别划分，并在训练时约束优化方向，使骨干网络提取特征时增加对病害叶片部位的关注；
使用Dice损失函数进行优化方向的约束，具体公式如下：
其中，M为输入原图中空间长宽维度(h×w)的像素总量，pi为预测语义分割图里像素i上的预测类别索引，gi为真实语义分割标注里像素i上的类别索引，LDice为Dice损失函数。
7.如权利要求1所述的基于多任务优化的萱草叶片病害检测方法，其特征在于：所述构建一个总损失函数包括以下步骤：
为了优化目标检测任务，分别设计三个损失函数Lconf、Lcls、LCIOU；
引入改进的CIOU，计算预测目标框的大小和位置的损失LCIOU的具体公式如下：
LCIOU＝1-CIOU
其中，IOU为手工标注框和预测框之间的交并比，ρ(·，·)代表欧氏距离的计算函数，计算预测框bpred的坐标和手工标注框bgt的坐标之间的欧氏距离，b代表框的中心坐标，c代表预测框矩形和手工标注框矩形之间的最小外接矩形对角线长度，a是一个用于平衡长宽比一致性的参数，v用来衡量预测框和目标框之间的长宽比例一致性；
计算预测置信度的损失Lconf的具体公式如下：
其中，表示第i个预测框的置信度，Cm表示对应位置第i个手工标注框的置信度，N表示模型总共预测了N个目标，m为第m个目标；
计算目标分类的损失Lcls的具体公式如下：
其中，表示第i个预测框的类别，y表示对应位置第i个手工标注框的标注类别，N表示模型总共预测了N个目标，m为第m个目标；
结合LCIOU、Lconf和Lcls，计算参数优化方向约束的损失函数Ltotal的具体公式如下：
Ltotal＝LCIOU+Lconf+Lcls+LDice
其中，LCIOU表示预测目标框的大小和位置的损失，Lconf表示预测置信度的损失，Lcls目标分类的损失，LDice表示对所有像素进行预测类别后输出分类结果的损失。
8.一种基于多任务优化的萱草叶片病害检测系统，基于权利要求1～7任一所述的基于多任务优化的萱草叶片病害检测方法，其特征在于：还包括，
信息融合模块，用于融合局部特征和全局特征，得到融合后的特征；
局部－全局特征提取模块，用于提取局部特征和全局特征，其中包括局部表征模块和全局表征模块；
路径聚合网络模块，用于处理将骨干网络中的特征图；
语义分割模块，用于对病害目标所在的叶片进行分割，输出病害叶片的像素级分类切割图；
目标检测模块，用于检测和定位病害目标；
损失函数模块，用于设计三个损失函数来优化目标检测任务。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1～7任一所述的基于多任务优化的萱草叶片病害检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～7任一所述的基于多任务优化的萱草叶片病害检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310795795.9A CN116883841A (zh) | 2023-06-30 | 2023-06-30 | 一种基于多任务优化的萱草叶片病害检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310795795.9A CN116883841A (zh) | 2023-06-30 | 2023-06-30 | 一种基于多任务优化的萱草叶片病害检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116883841A true CN116883841A (zh) | 2023-10-13 |
Family
ID=88267183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310795795.9A Pending CN116883841A (zh) | 2023-06-30 | 2023-06-30 | 一种基于多任务优化的萱草叶片病害检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116883841A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117708726A (zh) * | 2024-02-05 | 2024-03-15 | 成都浩孚科技有限公司 | 网络模型解耦的开集合类别训练方法、装置及其存储介质 |
-
2023
- 2023-06-30 CN CN202310795795.9A patent/CN116883841A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117708726A (zh) * | 2024-02-05 | 2024-03-15 | 成都浩孚科技有限公司 | 网络模型解耦的开集合类别训练方法、装置及其存储介质 |
| CN117708726B (zh) * | 2024-02-05 | 2024-04-16 | 成都浩孚科技有限公司 | 网络模型解耦的开集合类别训练方法、装置及其存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520247B (zh) | 对图像中的对象节点的识别方法、装置、终端及可读介质 | |
| CN110458165B (zh) | 一种引入注意力机制的自然场景文本检测方法 | |
| WO2020015752A1 (zh) | 一种对象属性识别方法、装置、计算设备及系统 | |
| CN112784810B (zh) | 手势识别方法、装置、计算机设备和存储介质 | |
| JP7246104B2 (ja) | テキスト行識別に基づくナンバープレート識別方法 | |
| CN112348036A (zh) | 基于轻量化残差学习和反卷积级联的自适应目标检测方法 | |
| CN113609896A (zh) | 基于对偶相关注意力的对象级遥感变化检测方法及系统 | |
| CN114841244B (zh) | 一种基于鲁棒采样和混合注意力金字塔的目标检测方法 | |
| CN115331087A (zh) | 融合区域语义与像素特征的遥感影像变化检测方法及系统 | |
| Zhang et al. | Global context aware RCNN for object detection | |
| CN116229056A (zh) | 基于双分支特征融合的语义分割方法、装置、设备 | |
| CN110349167A (zh) | 一种图像实例分割方法及装置 | |
| CN116883841A (zh) | 一种基于多任务优化的萱草叶片病害检测方法及系统 | |
| CN107948586A (zh) | 基于视频拼接的跨区域运动目标检测方法和装置 | |
| CN112580458A (zh) | 人脸表情识别方法、装置、设备及存储介质 | |
| Zhu et al. | HMFCA-Net: Hierarchical multi-frequency based Channel attention net for mobile phone surface defect detection | |
| CN113902945A (zh) | 一种多模态乳腺磁共振图像分类方法及系统 | |
| CN113297956A (zh) | 一种基于视觉的手势识别方法及系统 | |
| CN112507904A (zh) | 一种基于多尺度特征的教室人体姿态实时检测方法 | |
| CN115546187A (zh) | 基于YOLO v5的农业病虫害检测方法及装置 | |
| CN113221731B (zh) | 一种多尺度遥感图像目标检测方法及系统 | |
| CN110175975A (zh) | 对象检测方法、装置、计算机可读存储介质和计算机设备 | |
| Wen et al. | Application of improved YOLOv7-based sugarcane stem node recognition algorithm in complex environments | |
| CN117036948A (zh) | 一种基于注意力机制的致敏植物识别方法 | |
| TWI809957B (zh) | 物件偵測方法及電子裝置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |