CN117372881B - 一种烟叶病虫害智能识别方法、介质及系统 - Google Patents
一种烟叶病虫害智能识别方法、介质及系统 Download PDFInfo
- Publication number
- CN117372881B CN117372881B CN202311674625.1A CN202311674625A CN117372881B CN 117372881 B CN117372881 B CN 117372881B CN 202311674625 A CN202311674625 A CN 202311674625A CN 117372881 B CN117372881 B CN 117372881B
- Authority
- CN
- China
- Prior art keywords
- tobacco
- image
- tobacco leaf
- network
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000002637 Nicotiana tabacum Nutrition 0.000 title claims abstract description 203
- 241000607479 Yersinia pestis Species 0.000 title claims abstract description 120
- 201000010099 disease Diseases 0.000 title claims abstract description 114
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 114
- 241000238631 Hexapoda Species 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 56
- 244000061176 Nicotiana tabacum Species 0.000 title claims abstract description 33
- 241000208125 Nicotiana Species 0.000 claims abstract description 170
- 241000196324 Embryophyta Species 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000008859 change Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000004927 fusion Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 235000019504 cigarettes Nutrition 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 235000019505 tobacco product Nutrition 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种烟叶病虫害智能识别方法、介质及系统，属于烟叶病虫害技术领域，包括：采集烟叶图像,构建包含原始烟叶图像和对应的标签图像的烟叶图像数据集;构建多分支网络,提取不同尺度的语义信息,识别并去除原始烟叶图像中的非烟叶区域;对去除非烟叶区域后的烟叶图像,进行处理,以构建增强后的病虫害烟叶图像数据集;建立包含编码器和分类器的烟叶病虫害识别网络;其中,编码器由标准卷积、多尺度注意力模块、多尺度注意力瓶颈结构组成;利用病虫害烟叶图像数据集训练烟叶病虫害识别网络,获得对不同病虫害的识别模型;对采集的烟叶图像,先后输入编码器和分类器,实现对烟叶图像的病虫害自动识别并输出结果。
Description
技术领域
本发明属于烟叶病虫害技术领域，具体而言，涉及一种烟叶病虫害智能识别方法、介质及系统。
背景技术
烟草是我国的重要经济作物，在我国国民经济发展中占据重要地位。烟叶是卷烟工业的重要原料，其产量的高低和质量的优劣将直接影响烟叶制品的品质和质量稳定性。我国烟叶病虫害种类数量多，严重影响烟叶的产量和品质，阻滞卷烟工业的发展，造成巨大的经济损失。因此，进行烟叶病虫害的防治成为目前烟草行业亟待解决的问题。为实现烟叶病虫害的防治，首先要解决的就是快速精准识别目标烟叶的病虫害种类。
目前我国识别烟叶病虫害的方法主要是以下三种。一是直接进行肉眼观察，容易受到操作人员的经验和主观因素影响，准确率不高，易导致误判错判。二是将烟田病虫害图像与烟叶病虫害图像对比，此方法准确率虽高，但用时较长，存在一定的滞后性，错过烟叶病虫害防治最佳时间。三是聘请植保病害专家进行诊治，此方法虽准确率最高，但受社会条件等限制，并不能满足每个烟农的需求。
因此，有必要设计一种无需肉眼观察，用时较短，能够快速精准识别目标烟叶的病虫害种类的烟叶病虫害识别方法。
发明内容
有鉴于此，本发明提供一种烟叶病虫害智能识别方法、介质及系统，无需肉眼观察，用时较短，能够快速精准识别目标烟叶的病虫害种类的烟叶病虫害识别。
本发明是这样实现的：
本发明的第一方面提供一种烟叶病虫害智能识别方法，其中,包括以下步骤:
S10、采集烟叶图像,并构建包含原始烟叶图像和对应的标签图像的烟叶图像数据集;
S20、构建多分支网络,提取不同尺度的语义信息,识别并去除原始烟叶图像中的非烟叶区域;
S30、对去除非烟叶区域后的烟叶图像,进行旋转、缩放和亮度变化处理,以构建增强后的病虫害烟叶图像数据集;
S40、建立包含编码器和分类器的烟叶病虫害识别网络;其中,编码器由标准卷积、多尺度注意力模块、多尺度注意力瓶颈结构组成;
S50、利用病虫害烟叶图像数据集训练烟叶病虫害识别网络,获得对不同病虫害的识别模型;
S60、对采集的烟叶图像,先后输入编码器和分类器,实现对烟叶图像的病虫害自动识别;
S70、将识别结果输出。
在上述技术方案的基础上，本发明的一种烟叶病虫害智能识别方法还可以做如下改进:
其中，所述采集烟叶图像,并构建包含原始烟叶图像和对应的标签图像的烟叶图像数据集的步骤中的具体要求是：设置数字相机拍摄烟叶图像,数字相机的感光元件为CMOS感光芯片,有效像素不少于1200万;控制数字相机以高频率连续拍摄大田烟叶图像;采集的烟叶图像数据传输至图像处理服务器,传输接口为USB 3.0接口,传输带宽不小于5Gb/s;纠正图像畸变,采用OpenCV函数,根据相机内参和畸变系数实现畸变校正;初步筛除失真图像,基于图像清晰度方法检测并移除失真模糊图像;获取的烟叶区域的标签为人工标注,标注非烟叶区域为0,烟叶区域为1。
为进一步丰富样本量增强对环境的适应性，使用旋转、缩放、亮度变化对烟叶图像进行图像增强操作。对原始烟叶图像进行随机旋转，旋转角度分别为±15°、±30°、±45°、±60°、±75°±90°；对原始烟叶图像进行随机缩放，缩放比例分别为：0.50、0.75、1.00、1.25；对原始烟叶图像进行随机亮度变化，亮度变化比例分别为：0.50、0.75、1.00、1.25、1.5、1.75。
其中，所述构建多分支网络,提取不同尺度的语义信息,识别并去除原始烟叶图像中的非烟叶区域的步骤，具体包括：搭建深度神经网络,包含低分辨率语义子网络、中分辨率边界预测子网络和高分辨率细节恢复子网络;低分辨率子网络由编码器和解码器组成；
可选的编码器使用ResNet预训练模型,解码器采用转置卷积;中分辨率子网络采用编码器解码器结构,编码器基于VGG16,解码器包含多层反卷积;高分辨率子网络输入原始图像,经过膨胀卷积提取细节特征;在低分辨率语义预测结果与高分辨率细节特征之间添加连接,使低层语义信息反馈到高层,以提升细节预测准确性。
其中，所述对去除非烟叶区域后的烟叶图像,进行旋转、缩放和亮度变化处理,以构建增强后的病虫害烟叶图像数据集的步骤，具体包括：利用OpenCV函数设置图像缩放比例参数scale,对烟叶图像进行缩放处理;设置旋转角度参数angle,对缩放后的图像进行旋转变换;调整图像HSV空间的明度分量参数bright_ratio,得到亮度增强的图像;重复执行上述步骤,每张原始图像生成8张形态与亮度不同的图像数据;合并原始图像及增强后图像,构建病虫害烟叶图像数据集,共10000张图像,按8:2划分训练集和验证集。
其中，所述建立包含编码器和分类器的烟叶病虫害识别网络的步骤，具体是：搭建包含卷积编码器和全连接分类器的卷积神经网络;编码器部分包含标准卷积层、MSBA模块、下采样MSBA模块和多分辨率注意力模块;MSBA模块由多尺度廉价卷积和1x1点卷积组成,用于提取多尺度特征;多分辨率注意力模块用于动态选择不同分支信息,融合多尺度特征。
其中，所述利用病虫害烟叶图像数据集训练烟叶病虫害识别网络的步骤，具体是：导入增强后8000张训练样本图像及标签,以mini-batch为单位,批量大小设为16;初始化网络参数,编码器部分加载在ImageNet数据集上预训练的模型参数,分类器部分随机初始化;选取交叉熵损失函数,以及Adam优化算法,学习率以多步衰减调整;训练迭代次数设定为100个epochs,采用数据增强的方法防止过拟合。
其中，所述对采集的烟叶图像,先后输入编码器和分类器,实现对烟叶图像的病虫害自动识别的步骤，具体包括：对采集的烟叶图像,经过步骤S10的预处理后输入到训练好的编码器中;编码器输出的特征图,进入到分类器的2个全连接层判断逻辑中;分类器给出每个图像所属的M个类别的病虫害预测结果,以及对应的概率值;判断烟叶图像是否存在以及存在哪种特定的病虫害，一般的M大于2。
进一步的，所述判断烟叶图像是否存在以及存在哪种特定的病虫害，具体是：分类器结果按不同类别输出M个概率值, 以最大概率值对应的类别为病虫害预测结果，得到对应的病虫害结果;例如，当M=4，这时候类别1-3的概率为0.4，0.15，0.25，类别4（无病虫害）的概率为0.2，则四个概率值0.4最大，那么就会输出预测结果为类别1的病虫害。
本发明的第二方面提供一种计算机可读存储介质，其中，所述计算机可读存储介质中存储有程序指令，所述程序指令运行时，用于执行上述的一种烟叶病虫害智能识别方法。
本发明的第三方面提供一种烟叶病虫害智能识别系统，其中，包含上述的计算机可读存储介质。
与现有技术相比较，本发明提供的一种烟叶病虫害智能识别方法、介质及系统的有益效果是：设计非烟叶区域去除方法，减少非烟叶区域对烟叶病虫害信息表达的影响，增强烟叶病虫害信息的有效提取及表达；构建一种轻量化多尺度注意力网络模型根据烟叶表型实时判别其病虫害，设计MSBA瓶颈结构和多尺度分支注意力机制增强对病虫害有效特征的提取，提升网络结构对不同环境和不同形态烟叶病虫害判别的适应能力。提升模型对复杂光照环境的适应性。分支注意力机制可自适应调整不同分支权重,模拟人眼对主次信息的识别。使得关键病害特征能够被准确表达。本发明的技术方案，无需肉眼观察，用时较短，能够快速精准识别目标烟叶的病虫害种类的烟叶病虫害识别。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的方法的流程图；
图2是烟叶病虫害识别算法结构图；
图3 是MSBA模块结构图；
图4是 MSBA瓶颈结构图，其中（a）为步长为1的情况下的MSBA瓶颈结构图，（b）为步长为2的情况下的MSBA瓶颈结构图；
图5是多分辨率分支注意力机制模块结构图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述。
如图1所示，是本发明第一方面提供一种烟叶病虫害智能识别方法的流程图，本方法包括以下步骤:
S10、采集烟叶图像,并构建包含原始烟叶图像和对应的标签图像的烟叶图像数据集;
S20、构建多分支网络,提取不同尺度的语义信息,识别并去除原始烟叶图像中的非烟叶区域;
S30、对去除非烟叶区域后的烟叶图像,进行旋转、缩放和亮度变化处理,以构建增强后的病虫害烟叶图像数据集;
S40、建立包含编码器和分类器的烟叶病虫害识别网络;其中,编码器由标准卷积、多尺度注意力模块、多尺度注意力瓶颈结构组成;
S50、利用病虫害烟叶图像数据集训练烟叶病虫害识别网络,获得对不同病虫害的识别模型;
S60、对采集的烟叶图像,先后输入编码器和分类器,实现对烟叶图像的病虫害自动识别;
S70、将识别结果输出。
下面对上述步骤的具体实施方式进行展开描述：
步骤S10 的具体实施方式是:
S101:设置数字相机拍摄烟叶图像。数字相机的感光元件为CMOS感光芯片,有效像素不少于1200万;镜头焦距在50-100mm。
S102:控制数字相机以高频率连续拍摄大田烟叶图像。拍摄时天气条件为阴天,避免阳光直射影响拍摄效果。
S103:采集的烟叶图像数据传输至图像处理服务器。传输接口为USB 3.0接口,传输带宽不小于5Gb/s。为进一步丰富样本量增强对环境的适应性，使用旋转、缩放、亮度变化对烟叶图像进行图像增强操作。对原始烟叶图像进行随机旋转，旋转角度分别为±15°、±30°、±45°、±60°、±75°±90°；对原始烟叶图像进行随机缩放，缩放比例分别为：0.50、0.75、1.00、1.25；对原始烟叶图像进行随机亮度变化，亮度变化比例分别为：0.50、0.75、1.00、1.25、1.5、1.75。
S104:纠正图像畸变。由于相机镜头的视场角、几何变形等原因,使采集的原始烟叶图像中出现一定程度的图像畸变。采用OpenCV函数,根据相机内参和畸变系数,实现畸变校正。
S105:初步筛除失真图像。基于图像清晰度评价方法,自动检测并筛除失真模糊的原始烟叶图像。对于模糊图像,其邻域像素变化率低,采用梯度差分和标准差统计参数来衡量图像清晰度。
S106:人工绘制烟叶区域的标签或者采用神经网络进行设置烟叶区域的标签。人工绘制：采用Photoshop等软件工具,依据原始烟叶图像内容,绘制非烟叶区域蒙板,标注0表示非烟叶部分,1表示烟叶区域。完成后保存标签图像文件。神经网络：利用大量的烟叶图像集，训练一个神经网络，用于识别图片中的烟叶区域。
S10步骤的效果是:构建包含原始烟叶图像和对应的标签图像的图像数据集,为后续的非烟叶区域移除和病虫害识别网络的训练提供数据基础。
步骤S20的具体实施方式是:
S201:搭建深度神经网络,包含低分辨率语义子网络、中分辨率边界预测子网络和高分辨率细节恢复子网络3个子网络。
S202:低分辨率子网络由编码器和解码器组成。编码器使用ResNet预训练模型,解码器采用转置卷积。该子网络输出96x128分辨率语义预测结果。
S203:中分辨率子网络也采用编码器解码器结构。编码器基于VGG16,解码器包含多层反卷积。输出192x256分辨率边界预测结果。
S204:高分辨率子网络输入原始烟叶图像,经多层膨胀卷积提取细节特征,输出与原图相同分辨率的384x512预测结果。
S205:在低分辨率语义预测结果与高分辨率细节恢复特征之间添加连接,使低层语义信息反馈到高层,以提升细节预测准确性。
S20步骤效果是:多分支网络能在保证速度的同时,充分结合不同分辨率下的烟叶信息,实现对原始图像中的非烟叶区域准确识别和移除。
步骤S30的具体实施方式是:
S301: 利用OpenCV函数,设置图像缩放比例参数scale,对烟叶图像进行缩放处理。scale随机取值为0.5、0.75、1.0、1.25。
S302:设置旋转角度参数angle,对缩放后的图像进行旋转变换,angle取值范围为-90°至+90°。
S303:调整图像HSV空间的明度分量,设置明度参数bright_ratio,取值范围0.5-1.75,得到亮度增强的图像。
S304:重复执行S301-S303步骤,每张原始烟叶图像生成8张形态与亮度不同的图像数据。
S305:合并原始图像及增强后图像,构建病虫害烟叶图像数据集,共10000张图像。
S306:按8:2划分训练集和验证集。随机挑选2000张作为验证集,剩余8000张作为训练集。
S30步骤效果是:丰富了图像的形态特征,增强了对光照变化的鲁棒性,扩充病虫害烟叶图像数据集规模,为后续的病虫害识别网络训练提供充足样本。
步骤S40的具体实施方式是:
S401:搭建卷积神经网络,包含卷积编码器和全连接分类器。
S402:编码器部分包含2个步长2的标准卷积层、8个MSBA模块、3个步长2的下采样MSBA模块和1个多分辨率注意力模块。
S403:分类器部分包括2个全连接层,最后输出4类烟叶病虫害结果。
S404:MSBA模块由多尺度廉价卷积和1x1点卷积组成,可提取多尺度特征。
S405:多分辨率注意力模块能够动态选择不同分支信息,融合多尺度特征。
S40步骤效果是:构建烟叶病虫害识别深度网络模型,通过MSBA模块和注意力机制,能对不同光照和形态的病虫害区域进行有效特征表达,提高识别与分类准确率。
步骤S50的具体实施方式是:
S501:导入增强后8000张训练样本图像及标签,以mini-batch为单位,批量大小设为16。
S502:初始化网络参数,编码器部分加载在图像数据集上预训练的模型参数,分类器部分随机初始化。
S503:选取交叉熵损失函数,以及Adam优化算法。学习率初始为1e-3,以多步衰减的方式调整学习率。
S504:训练迭代次数设定为100个epochs,采用数据增强的方法防止过拟合。
S505:建立Tensorboard工具,可视化训练过程,跟踪模型训练损失,精确率等指标的变化情况。
S50步骤效果是:通过样本图像对网络进行有效训练,网络参数不断更新优化,使模型对不同病虫害区域提取的特征更加聚类,以提高识别的准确率。
步骤S60的具体实施方式是:
S601:待测试烟叶图像,经过步骤S10的预处理后输入到训练好的编码器中。
S602:编码器输出的特征图,进入到分类器的2个全连接层判断逻辑中。
S603:分类器给出每个图像所属的4类病虫害预测结果,以及对应的概率值。
S604:比较概率最大值与设定分类阈值,判断烟叶图像是否存在特定的病虫害。
S60步骤效果是:利用训练好的烟叶病虫害识别模型,实现对输入样本图像中病虫害区域的智能判断,给出所患病虫害类型。
步骤S70的具体实施方式是:
S701:网络分类结果按不同类别输出4个概率值,与设定的类别阈值比较。
S702:类别1-3对应的阈值为0.8,类别4(无病虫害)阈值为0.9。
S703:当特定类别输出概率大于阈值则认为图像中存在该类别的烟叶病虫害,否则认为图像中烟叶无病无害。
S704:最终得到每个输入烟叶图像的病虫害判断结果,实现对整个大田作物区域病情的判断。
S70步骤效果是:有效划分病虫害和健康烟叶图像,输出判断结果,为后期的病害治理提供依据。
另外的，S70还可以采用下面的实施方式进行实现：分类器结果按不同类别输出M个概率值, 以最大概率值对应的类别为病虫害预测结果，得到对应的病虫害结果;例如，当M=4，这时候类别1-3的概率为0.4，0.15，0.25，类别4（无病虫害）的概率为0.2，则四个概率值0.4最大，那么就会输出预测结果为类别1的病虫害。
下面是本发明中使用到的多分支网络结构的一个具体的实施例：
轻量化网络结构具有快速的处理速度，在实时视觉任务中应用广泛。然而这种速度的提升是以大量牺牲模型精度为代价，所以如何保持轻量化网络速度的同时提升精度是一个重要的研究内容。基于上述问题，本文提出一种轻量化多尺度注意力网络模型根据烟叶表型实时判别其病虫害，设计小规模的多尺度（MSBA）瓶颈结构联合提取多尺度信息，提高对图像信息的描述能力。同时加入分支注意力机制对不同网络分支赋予不同权值衡量不同分支特征的重要程度，增加有效特征的利用，提升网络结构对不同形态烟叶病虫害判别的适应能力， 如图2所示。
烟叶病虫害识别网络结构采用编码器-分类器的网络架构，其中编码器部分由2个3×3标准卷积、8个具有不同膨胀率的MSBA瓶颈结构和1个分支注意力模块组成，分类器由2个全连接层组成。烟叶病虫害识别的核心模块有两个：一是MSBA瓶颈结构提高局部特征提取的效率和增加提取特征的多样性；二是多分辨率分支注意力模块有效组合低分辨率特征和高分辨率特征，提升目标特征表示的有效型。
在编码阶段，输入576×768像素分辨率的彩色图像，首先使用两个步长为2的标准卷积进行下采样扩大感受野并提取初始特征信息，得到144×192像素的特征图。然后将提取的初始特征信息输入8次MSBA瓶颈结构进行处理（期间进行了2次下采样），得到36×48像素特征图，为进一步联系细节信息与语义信息，使用分支注意力模块联合144×192像素特征图，72×96像素特征图，和36×48像素特征图，衡量并计算不同特征分辨率特征对目标结果的重要程度，得到36×48像素的通道融合特征。在分类器阶段，首先将通道融合特征进行展平形成221184×1的一维向量，随后使用2个全连接层得到4×1的一维向量，得到烟叶病虫害类别。
（1）MSBA模块
MSBA模块是烟叶病虫害识别的核心结构，该结构是在Ghost模块的基础上进行改进。Ghost模块单个尺度cheap连接仅能提取单一尺寸大小的特征，缺乏特征提取多样性的能力，增加具有不同膨胀率的cheap连接能够拓宽网络的非线性层数，提升网络对不同感受野特征的提取能力；另外，Ghost模块仅仅对特征进行了级联，没有将不同尺度特征进行融合形成新的特征以更好地表达目标特征。基于此，设计了MSBA模块，结构如图3所示。
MSBA模块主要包含多尺度廉价卷积和点卷积两个结构。在多尺度廉价卷积结构中，首先使用3×3标准卷积对输入特征进行滤波处理，并将特征层的层数减半以减少模块的计算复杂度，减少计算时间，随后分别连接具有不同膨胀率的3×3组卷积进行不同尺度特征的提取，其中较小膨胀率的3×3组卷积的作用是使用廉价的线性运算获取完整的特征图，较大膨胀率的3×3组卷积的作用是扩大感受野，使得模块能够提取更加丰富的特征，最后将以上特征进行级联。多尺度廉价卷积结构可以增大感受野并提取不同尺度的特征，提升模块特征表征能力，同时大量的组卷积也大幅度降低模块的复杂度，提升模块推理速度。在点卷积结构中，包含一个1×1的点卷积，目的是将多尺度廉价卷积结构中级联的局部特征进行融合形成新的融合特征，增强模型提取上下文信息的能力，另外1×1的点卷积也起到任意改变特征层通道数的作用，利于网络结构中不同模块通道数的设置。
（2）MSBA瓶颈结构
基于MSBA模块，构建MSBA瓶颈结构，如图4所示。MSBA瓶颈结构包含步长为1的无下采样瓶颈结构和步长为2的有下采样的瓶颈结构。在步长为1的瓶颈结构中，输入数据依次喂入到两个MSBA模块中提取特征，随后将输入数据和提取的特征进行逐像素相加作为步长为1的瓶颈结构的输出。在步长为2的瓶颈结构中，包含两个分支，右侧分支包含两个MSBA模块，其中第一个MSBA模块中带有步长为2的卷积进行下采样操作；左侧分支包含一个步长为2的3×3的卷积，得到与右侧分支具有相同分辨率的特征图，最后将两个分支特征进行逐像素相加作为步长为1的瓶颈结构的输出。MSBA瓶颈结构一方面能够加深网络深度，增强的输入与输出之间的非线性关系，另一方面能够自适应动态调整模型参数，进一步补偿特征提取过程中的信息损失，获得更加有效且丰富的目标特征。
（3）多分辨率分支注意力机制模块
分支注意力机制对同一分辨率特征图使用3×3、5×5等不同大小卷积核进行分离操纵，形成并行分支结构，其仅能处理相同分辨率的特征图，难以对不同分辨率特征图进行处理，所以分支注意力机制无法动态选择并融合具有不同分辨率大小分支的信息。基于此，针对不同分辨率的分支结构，设计了多分辨率分支注意力机制，结构如图5所示。
多分辨率分支注意力模块主要包含特征归一化、分支权重计算和特征选择三个结构。在特征归一化结构中，包含三个分支，上部分支输入144层分辨率为144×192像素的特征图，连续使用两个步长为2的3×3标准卷积进行滤波和下采样操作，得到128层分辨率为36×48像素的特征图；中部分支输入64层分辨率为72×96像素的特征图，使用步长为2的3×3标准卷积进行滤波和下采样操作，得到128层分辨率为36×48像素的特征图。特征归一化结构主要作用是将不同分辨率特征图进行归一化处理，得到具有相同分辨率和层数的特征图；下部分支输入128层分辨率为36×48像素的特征图，使用3×3标准卷积进行滤波操作，得到128层分辨率为36×48像素的特征图。分支权重计算结构中，分别将上部分支、中部分支和下部分支特征图逐像素相加，随后使用全局平均池化（GAP）压缩成为128×1的特征图，经过两次全连接进行先降维再升维操作，得到上部分支、中部分支和下部分支权重矩阵。在特征选择结构中，使用上部分支权重矩阵、中部分支权重矩阵和下部分支权重矩阵分别与特征归一化结构中输出的上部分支特征图、中部分支特征图和下部分支特征图进行加权处理，最后进行逐像素相加求和得到128层分别率为36×48的融合特征。多分辨率分支注意力模块能够动态选择和融合不同分辨率特征图信息，实现目标细节信息和语义信息有策略的融合，提升有效特征的提取能力。
本发明的第二方面提供一种计算机可读存储介质，其中，所述计算机可读存储介质中存储有程序指令，所述程序指令运行时，用于执行上述的一种烟叶病虫害智能识别方法。
本发明的第三方面提供一种烟叶病虫害智能识别系统，其中，包含上述的计算机可读存储介质。
具体的，本发明的原理是：本方法的技术原理在于,通过构建端到端的深度神经网络,依托大量烟田图像样本,自动学习抽取烟叶生长状态与病虫害发生之间的内在关联。这是模拟人眼诊断思路的计算机视觉实践。
方法核心在两个方面:
1. MSBA模块设计
该模块通过构建廉价的组卷积连接,扩大感受野,增强特征提取多样性,赋予模块强大的特征学习与表示能力。模块参数量小,易于部署。并在保证特征完整性的基础上添加1x1卷积进行特征融合,使得表达的特征更具区分性。相当于模拟人眼识别病害区域的过程。
2. 多尺度分支注意力设计
分支注意力可对来自不同模块的特征进行再次筛选,突出有效特征。本设计通过在不同分支间建立连接,实现多尺度特征的融合选择,相当于人眼识别病害区域的过程。高分辨率细节特征可利用低分辨率语义特征的先验知识进行调整与修正,实现对病害区域特征的精确定位。
在网络训练过程中,大量样本使得模型参数不断更新,特征抽取过程也在逐步优化。最终模型学会关联特征与对应标签,实现对烟叶生长状态和病虫害区域的准确识别与诊断。这与人工诊断的过程异曲同工。本设计充分利用了模型的表示学习能力,克服了传统方法需要大量特征工程的难题,方法准确且易于推广。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种烟叶病虫害智能识别方法，其特征在于,包括以下步骤:
S10、采集烟叶图像,并构建包含原始烟叶图像和对应的标签图像的烟叶图像数据集；
S20、构建多分支网络,提取不同尺度的语义信息,识别并去除原始烟叶图像中的非烟叶区域；
S30、对去除非烟叶区域后的烟叶图像,进行旋转、缩放和亮度变化处理,以构建增强后的病虫害烟叶图像数据集；
S40、建立包含编码器和分类器的烟叶病虫害识别网络；其中,编码器由标准卷积、多尺度注意力模块、多尺度注意力瓶颈结构组成；
S50、利用病虫害烟叶图像数据集训练烟叶病虫害识别网络,获得对不同病虫害的识别模型；
S60、对采集的烟叶图像,先后输入编码器和分类器,实现对烟叶图像的病虫害自动识别；
S70、将识别结果输出；
其中，所述步骤S20，具体是：搭建深度神经网络,包含低分辨率语义子网络、中分辨率边界预测子网络和高分辨率细节恢复子网络3个子网络；其中，所述低分辨率子网络由编码器和解码器组成，其编码器使用ResNet预训练模型,解码器采用转置卷积；所述低分辨率子网络输出96x128分辨率语义预测结果；其中，所述中分辨率子网络采用编码器解码器结构，其编码器基于VGG16,解码器包含多层反卷积；输出192x256分辨率边界预测结果；其中，所述高分辨率子网络输入原始烟叶图像,经多层膨胀卷积提取细节特征,输出与原图相同分辨率的384x512预测结果；还包括，在低分辨率语义预测结果与高分辨率细节恢复特征之间添加连接,使低层语义信息反馈到高层；
其中，所述步骤S40，具体是:搭建卷积神经网络,包含卷积编码器和全连接分类器；其中，所述编码器部分包含2个步长2的标准卷积层、8个MSBA模块、3个步长2的下采样MSBA模块和1个多分辨率注意力模块；所述分类器部分包括2个全连接层,最后输出4类烟叶病虫害结果；所述MSBA模块由多尺度廉价卷积和1x1点卷积组成,用于提取多尺度特征；所述多分辨率注意力模块用于动态选择不同分支信息,融合多尺度特征。
2.根据权利要求1所述的一种烟叶病虫害智能识别方法，其特征在于，所述采集烟叶图像,并构建包含原始烟叶图像和对应的标签图像的烟叶图像数据集的步骤中的具体要求是：设置数字相机拍摄烟叶图像,数字相机的感光元件为CMOS感光芯片,有效像素不少于1200万；控制数字相机以高频率连续拍摄大田烟叶图像；采集的烟叶图像数据传输至图像处理服务器,传输接口为USB 3.0接口,传输带宽不小于5Gb/s；纠正图像畸变,采用OpenCV函数,根据相机内参和畸变系数实现畸变校正；初步筛除失真图像,基于图像清晰度方法检测并移除失真模糊图像；获取的烟叶区域的标签为人工标注,标注非烟叶区域为0,烟叶区域为1。
3.根据权利要求1所述的一种烟叶病虫害智能识别方法，其特征在于，所述构建多分支网络,提取不同尺度的语义信息,识别并去除原始烟叶图像中的非烟叶区域的步骤中，所述多分支网络包括低分辨率语义子网络、中分辨率边界预测子网络和高分辨率细节恢复子网络。
4.根据权利要求1所述的一种烟叶病虫害智能识别方法，其特征在于，所述对去除非烟叶区域后的烟叶图像,进行旋转、缩放和亮度变化处理,以构建增强后的病虫害烟叶图像数据集的步骤，具体包括：利用OpenCV函数设置图像缩放比例参数scale,对烟叶图像进行缩放处理；设置旋转角度参数angle,对缩放后的图像进行旋转变换；调整图像HSV空间的明度分量参数bright_ratio,得到亮度增强的图像；重复执行上述步骤,每张原始图像生成8张形态与亮度不同的图像数据；合并原始图像及增强后图像,构建病虫害烟叶图像数据集,共10000张图像,按8:2划分训练集和验证集。
5.根据权利要求1所述的一种烟叶病虫害智能识别方法，其特征在于，所述建立包含编码器和分类器的烟叶病虫害识别网络的步骤，具体是：搭建包含卷积编码器和全连接分类器的卷积神经网络；编码器部分包含标准卷积层、MSBA模块、下采样MSBA模块和多分辨率注意力模块；MSBA模块由多尺度廉价卷积和1x1点卷积组成,用于提取多尺度特征；多分辨率注意力模块用于动态选择不同分支信息,融合多尺度特征。
6.根据权利要求1所述的一种烟叶病虫害智能识别方法，其特征在于，所述利用病虫害烟叶图像数据集训练烟叶病虫害识别网络的步骤，具体是：导入增强后8000张训练样本图像及标签,以mini-batch为单位,批量大小设为16；初始化网络参数,编码器部分加载在ImageNet数据集上预训练的模型参数,分类器部分随机初始化；选取交叉熵损失函数,以及Adam优化算法,学习率以多步衰减调整；训练迭代次数设定为100个epochs,采用数据增强的方法防止过拟合。
7.根据权利要求1所述的一种烟叶病虫害智能识别方法，其特征在于，所述对采集的烟叶图像,先后输入编码器和分类器,实现对烟叶图像的病虫害自动识别的步骤，具体包括：对采集的烟叶图像,经过步骤S10的预处理后输入到训练好的编码器中；编码器输出的特征图,进入到分类器的2个全连接层判断逻辑中；分类器给出每个图像所属的多个类别的病虫害预测结果,以及对应的概率值；判断烟叶图像是否存在以及存在哪种特定的病虫害。
8.根据权利要求7所述的一种烟叶病虫害智能识别方法，其特征在于，所述判断烟叶图像是否存在以及存在哪种特定的病虫害的步骤，具体是：分类器结果按不同类别输出多个概率值,以最大概率值对应的类别为病虫害预测结果。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序指令，所述程序指令运行时，用于执行权利要求1-8任一项所述的一种烟叶病虫害智能识别方法。
10.一种烟叶病虫害智能识别系统，其特征在于，包含权利要求9所述的计算机可读存储介质。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311674625.1A CN117372881B (zh) | 2023-12-08 | 2023-12-08 | 一种烟叶病虫害智能识别方法、介质及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311674625.1A CN117372881B (zh) | 2023-12-08 | 2023-12-08 | 一种烟叶病虫害智能识别方法、介质及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117372881A CN117372881A (zh) | 2024-01-09 |
| CN117372881B true CN117372881B (zh) | 2024-04-05 |
Family
ID=89389606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311674625.1A Active CN117372881B (zh) | 2023-12-08 | 2023-12-08 | 一种烟叶病虫害智能识别方法、介质及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117372881B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344883A (zh) * | 2018-09-13 | 2019-02-15 | 西京学院 | 一种基于空洞卷积的复杂背景下果树病虫害识别方法 |
| CN110569858A (zh) * | 2019-08-27 | 2019-12-13 | 厦门中软海晟信息技术有限公司 | 一种基于深度学习算法的烟叶病虫害识别方法 |
| EP3798899A1 (en) * | 2019-09-30 | 2021-03-31 | Basf Se | Quantifying plant infestation by estimating the number of insects on leaves, by convolutional neural networks that provide density maps |
| CN114973005A (zh) * | 2022-06-28 | 2022-08-30 | 淮阴工学院 | 一种基于RePMMS-Net的绿豆叶斑病识别方法 |
| WO2023056889A1 (zh) * | 2021-10-09 | 2023-04-13 | 百果园技术(新加坡)有限公司 | 模型训练和场景识别方法、装置、设备及介质 |
| CN116091763A (zh) * | 2022-09-24 | 2023-05-09 | 李润浩 | 苹果叶部病害图像语义分割系统及分割方法、设备和介质 |
| WO2023077816A1 (zh) * | 2021-11-03 | 2023-05-11 | 中国华能集团清洁能源技术研究院有限公司 | 边界优化的遥感图像语义分割方法、装置、设备及介质 |
| CN116630960A (zh) * | 2023-04-26 | 2023-08-22 | 华中农业大学 | 基于纹理-颜色多尺度残差收缩网络的玉米病害识别方法 |
| CN116740119A (zh) * | 2023-06-09 | 2023-09-12 | 河海大学 | 一种基于深度学习的烟叶图像活动轮廓分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884772B (zh) * | 2019-11-29 | 2024-03-19 | 北京四维图新科技股份有限公司 | 语义分割架构 |
-
2023
- 2023-12-08 CN CN202311674625.1A patent/CN117372881B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344883A (zh) * | 2018-09-13 | 2019-02-15 | 西京学院 | 一种基于空洞卷积的复杂背景下果树病虫害识别方法 |
| CN110569858A (zh) * | 2019-08-27 | 2019-12-13 | 厦门中软海晟信息技术有限公司 | 一种基于深度学习算法的烟叶病虫害识别方法 |
| EP3798899A1 (en) * | 2019-09-30 | 2021-03-31 | Basf Se | Quantifying plant infestation by estimating the number of insects on leaves, by convolutional neural networks that provide density maps |
| WO2023056889A1 (zh) * | 2021-10-09 | 2023-04-13 | 百果园技术(新加坡)有限公司 | 模型训练和场景识别方法、装置、设备及介质 |
| WO2023077816A1 (zh) * | 2021-11-03 | 2023-05-11 | 中国华能集团清洁能源技术研究院有限公司 | 边界优化的遥感图像语义分割方法、装置、设备及介质 |
| CN114973005A (zh) * | 2022-06-28 | 2022-08-30 | 淮阴工学院 | 一种基于RePMMS-Net的绿豆叶斑病识别方法 |
| CN116091763A (zh) * | 2022-09-24 | 2023-05-09 | 李润浩 | 苹果叶部病害图像语义分割系统及分割方法、设备和介质 |
| CN116630960A (zh) * | 2023-04-26 | 2023-08-22 | 华中农业大学 | 基于纹理-颜色多尺度残差收缩网络的玉米病害识别方法 |
| CN116740119A (zh) * | 2023-06-09 | 2023-09-12 | 河海大学 | 一种基于深度学习的烟叶图像活动轮廓分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于图像处理和模糊识别技术的烟叶病害识别研究;王建玺;徐向艺;;现代电子技术;20150415(第08期);全文 * |
| 基于迁移学习的棉花叶部病虫害图像识别;赵立新;侯发东;吕正超;朱慧超;丁筱玲;;农业工程学报;20200408(第07期);全文 * |
| 采用融合卷积网的图像分类算法;李聪;潘丽丽;陈蓉玉;周燕;邵伟志;;计算机工程与科学;20191215(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117372881A (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020244261A1 (zh) | 高分辨率遥感图像的场景识别系统及模型生成方法 | |
| CN108764372B (zh) | 数据集的构建方法和装置、移动终端、可读存储介质 | |
| CN109934200B (zh) | 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统 | |
| CN107016405B (zh) | 一种基于分级预测卷积神经网络的害虫图像分类方法 | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN108090447A (zh) | 双分支深层结构下的高光谱图像分类方法及装置 | |
| CN110263705A (zh) | 面向遥感技术领域两期高分辨率遥感影像变化检测方法 | |
| CN108734719A (zh) | 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法 | |
| WO2018052587A1 (en) | Method and system for cell image segmentation using multi-stage convolutional neural networks | |
| CN110414387A (zh) | 一种基于道路分割的车道线多任务学习检测方法 | |
| CN107563389A (zh) | 一种基于深度学习的农作物病害识别方法 | |
| CN109034184A (zh) | 一种基于深度学习的均压环检测识别方法 | |
| CN112381764A (zh) | 一种农作物病虫害检测方法 | |
| CN114943893B (zh) | 一种土地覆盖分类的特征增强方法 | |
| CN114972208B (zh) | 一种基于YOLOv4的轻量化小麦赤霉病检测方法 | |
| CN113420794B (zh) | 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法 | |
| CN116052016A (zh) | 基于深度学习的遥感图像云和云影的精细分割检测方法 | |
| CN112183448B (zh) | 一种基于三级分类和多尺度fcn的脱荚大豆图像分割方法 | |
| CN111626357B (zh) | 一种基于神经网络模型的图像识别方法 | |
| CN116434012A (zh) | 一种基于边缘感知的轻量型棉铃检测方法及系统 | |
| Luan et al. | Sunflower seed sorting based on convolutional neural network | |
| Li et al. | A self-attention feature fusion model for rice pest detection | |
| CN112418032A (zh) | 一种人体行为识别方法、装置、电子设备及存储介质 | |
| CN117372881B (zh) | 一种烟叶病虫害智能识别方法、介质及系统 | |
| CN106934344B (zh) | 一种基于神经网络的快速行人检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |