CN114821239A - 一种有雾环境下的病虫害检测方法 - Google Patents

一种有雾环境下的病虫害检测方法 Download PDF

Info

Publication number
CN114821239A
CN114821239A CN202210507282.9A CN202210507282A CN114821239A CN 114821239 A CN114821239 A CN 114821239A CN 202210507282 A CN202210507282 A CN 202210507282A CN 114821239 A CN114821239 A CN 114821239A
Authority
CN
China
Prior art keywords
model
swin
oacer
aecr
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210507282.9A
Other languages
English (en)
Inventor
吴琪
吴云志
曾涛
乐毅
张友华
余克健
胡楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Agricultural University AHAU
Original Assignee
Anhui Agricultural University AHAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Agricultural University AHAU filed Critical Anhui Agricultural University AHAU
Priority to CN202210507282.9A priority Critical patent/CN114821239A/zh
Publication of CN114821239A publication Critical patent/CN114821239A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明公开了一种有雾环境下的病虫害检测方法，包括以下步骤：步骤1、收集清晰的图像作为训练Optimized‑AECR‑Net模型的数据集，收集病虫害的图像作为训练OACER‑Swin Transformer模型的数据集；步骤2、对数据集进行预处理，并对病虫害数据集进行加雾处理；步骤3、构建并训练Optimized‑AECR‑Net模型；步骤4、构建并训练OACER‑Swin Transformer模型；步骤5、采用OACER‑Swin Transformer模型进行病虫害检测。本发明方法能够有效避免因雾天拍摄的图片质量差导致的模型性能差，该方法适用于有雾环境下的各种农作物病虫害检测。

Description

一种有雾环境下的病虫害检测方法
技术领域
本发明涉及病虫害图像检测方法领域，具体是一种有雾环境下的病虫害检测方法。
背景技术
随着智慧农业的发展，通过视频监控农作物的生长已经朝着视频结构化时代迈进，但是仍然有一些不可控的自然因素，以雾霾天气对视频监控的影响为例，在雾霾天气下，视频监控的距离、图像清晰度都将有所下降，因此，如何对监控摄影机去雾是智慧农业视频监控产品需要直面的难题。
雾度是导致物体外观和对比度明显下降的重要因素。在朦胧场景下捕获的图像显著影响高级计算机视觉任务的性能，以前的去雾技术专注于通过显着增加去雾模型的深度或宽度来提高去雾性能，而不考虑内存或计算开销，这限制它们在资源有限的环境中使用，例如移动或嵌入式设备。目前已有的检测技术还存在以下问题：
（1）大多数现有方法通常采用清晰的图像作为训练样本，对有雾环境下检测的方法较少，并且在有雾的环境下，检测性能不佳。
（2）现有除雾方法无法处理图像的细节，会导致处理过后图像边缘不清晰。
（3）人工检测成本高，效率低且准确率低。
发明内容
本发明的目的是提供一种有雾环境下的病虫害检测方法，以解决现有技术病虫害检测方法存在的有雾效果不理想的问题。
为了达到上述目的，本发明所采用的技术方案为：
一种有雾环境下的病虫害检测方法，包括以下步骤：
步骤1、获取清晰图像数据和病虫害图像数据，并以清晰图像数据构建第一训练集，以病虫害图像数据构建第二训练集；
步骤2、分别对步骤1得到的第一训练集、第二训练集进行预处理，其中第二训练集中的图像数据在预处理时进行加雾处理；
步骤3、构建并训练Optimized-AECR-Net模型：
以AECR-Net模型为基础构建Optimized-AECR-Net模型，所述AECR-Net模型包括对比正则化网络和类自动编码器网络，其中的类自动编码器网络包括4倍下采样模块、由6个特征注意力块构成的特征融合模块、2个动态特征增强模块、4倍上采样模块；将类自动编码器网络中的特征融合模块中特征注意力块增设为8个，其中的动态特征增强模块增设为4个，并在特征融合模块、4个动态特征增强模块之间增设由两层隐藏层构成的多层感知器，由此得到Optimized-AECR-Net模型；所述Optimized-AECR-Net模型中的类自动编码器网络包括4倍下采样模块、由8个特征注意力块构成的特征融合模块、多层感知器、4个动态特征增强模块、4倍上采样模块；
将步骤2预处理后的第一训练集输入至所述Optimized-AECR-Net模型中进行训练，训练后得到Optimized-AECR-Net模型的最优配置参数；
步骤4、构建并训练OACER-Swin Transformer模型：
以步骤3得到的最优配置参数下的Optimized-AECR-Net模型，以及SwinTransformer模型为基础，将所述Optimized-AECR-Net模型的输出连接所述SwinTransformer模型的输入，由此构成OACER-Swin Transformer模型；
将步骤2预处理后的第二训练集输入至所述OACER-Swin Transformer模型中进行训练，训练后得到OACER-Swin Transformer模型的最优配置参数；
步骤5、将待检测的有雾的病虫害图像输入至步骤4得到的最优配置参数下的OACER-Swin Transformer模型，由OACER-Swin Transformer模型输出病虫害识别结果。
进一步的，步骤2中进行预处理时，首先滤除第一训练集、第二训练集中损坏的图像数据和重复的图像数据，并删除异常数据，然后再对第二训练集中的图像数据进行加雾处理。
进一步的，通过标准光学模型对第二训练集中的图像数据进行加雾处理。
进一步的，步骤3中，Optimized-AECR-Net模型的类自动编码器网络中每个动态特征增强模块分别采用可变形二维卷积核。
进一步的，步骤3中OACER-Swin Transformer模型训练时，对每次训练后OACER-Swin Transformer模型输出结果进行误差计算，然后将误差结果反向传播到OACER-SwinTransformer模型的参数中，由此经过多次训练，得到误差计算结果符合预期时的OACER-Swin Transformer模型的配置参数作为最优配置参数。
进一步的，每次训练后对OACER-Swin Transformer模型的健壮性进行测试，基于测试结果排除偶然因素对OACER-Swin Transformer模型的影响。
本发明在AECR-Net模型的基础上构建Optimized-AECR-Net模型，并将Optimized-AECR-Net模型与Swin Transformer模型结合得到OACER-Swin Transformer模型。基于Optimized-AECR-Net模型对比正则化网络和改进的类自动编码器网络形成自动编码器的去雾网络，通过高度紧凑的去雾模型有效地生成更自然高质量的无雾图像。本发明提出的Optimized-AECR-Net模型实现了最佳的参数性能权衡，再将训练后的Optimized-AECR-Net模型的输出作为Swin Transformer的输入进行连接构成OACER-Swin Transformer模型，能够显著提高已有的去雾网络性能。
本发明中，通过将ACER-Net模型中的类自动编码器网络改进为8个特征注意力块和4个动态特征增强模块，同时为了改善层之间的信息流并融合更多的空间结构化信息，添加多层感知器，使改进后得到的Optimized-AECR-Net模型具有显著减少了内存存储、非常强的自适应、自学习功能，并能够充分融合空间信息，使用Swin Transformer作为进一步检测骨干网络，能够有效提高检测精度。
本发明方法能够有效避免因雾天拍摄的图片质量差导致的模型性能差，该方法适用于有雾环境下的各种农作物病虫害检测。
附图说明
图1是本发明方法流程框图。
图2是本发明Optimized-AECR-Net模型的结构图。
图3是本发明动态特征增强模块中可变形卷积核的说明图。
图4是本发明OACER-Swin Transformer模型的结构图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示，本发明一种有雾环境下的病虫害检测方法，包括以下步骤：
（1）准备数据集：
收集任意背景下的清晰的图像数据作为第一训练集，并收集农作物病虫害的图像作为第二训练集。
（2）处理数据集：
对第一训练集、第二训练集中的数据分别进行预处理，预处理时首先滤除数据集中损坏的图像和重复的图像，并将异常数据进行删除。然后再通过标准光学模型合成有雾的图像对第二训练集中的数据进行加雾处理，加雾处理公式如下：
Figure DEST_PATH_IMAGE002
其中
Figure DEST_PATH_IMAGE004
为有雾图像，
Figure DEST_PATH_IMAGE006
为第二训练集中图像像素的坐标值，
Figure DEST_PATH_IMAGE008
为待恢复的去雾图像，
Figure DEST_PATH_IMAGE010
为全球大气光成分，
Figure DEST_PATH_IMAGE012
为透射率。
（3）构建并训练Optimized-AECR-Net模型：
采用AECR-Net模型作为基础模型，该AECR-Net模型由对比正则化网络和类自动编码器网络组成，AECR-Net模型通过在恢复图像上计算图像重建损失和正则化项两个损失对模型进行反向传播。
AECR-Net模型中的类自动编码器网络首先采用两个步长为 2 的卷积层构建的4倍下采样模块进行4倍下采样，然后采用FFA-Net中的密集的6个特征注意力块在低分辨率空间中学习特征表示，接着使用2个动态特征增强模块提取更丰富的信息，之后采用两个步长为 2 的卷积层构建的4倍上采样模块进行4 倍上采样以将图像恢复原来的大小。
本发明中，在AECR-Net模型的基础上，将原来AECR-Net模型中类自动编码器网络的6个特征注意力块增加到 8个，同时为了改善层之间的信息流并融合更多的空间结构化信息；将原来AECR-Net模型中类自动编码器网络的2个动态特征增强模块增加到4个，通过融合更多的空间结构化信息来增强转换能力；本发明还在类自动编码器网络的动态特征增强模块后增加了多层感知器，多层感知器由两层隐藏层构成，隐藏层的输出维度是输入维度的四倍，目的是为了更好的融合空间信息。由此，本发明以AECR-Net模型为基础，构建得到Optimized-AECR-Net模型，Optimized-AECR-Net模型中的类自动编码器网络如图2所示，包括4倍下采样模块、由8个特征注意力块构成的特征融合模块、多层感知器、4个动态特征增强模块、4倍上采样模块。
Optimized-AECR-Net模型训练时的损失函数如下：
Figure DEST_PATH_IMAGE014
其中第一项是重建损失，
Figure DEST_PATH_IMAGE016
是数据保真度项，此损失函数中采用 L1 损失，因为与 L2 损失相比，它实现了更好的性能，其中
Figure DEST_PATH_IMAGE018
是模糊图像，
Figure DEST_PATH_IMAGE020
是对应的清晰图像，
Figure DEST_PATH_IMAGE022
是参数为
Figure DEST_PATH_IMAGE024
的去雾网络。第二项中
Figure DEST_PATH_IMAGE026
是用于平衡重建损失和对比正则化的超参数，
Figure DEST_PATH_IMAGE028
是权重系数，能够在训练中不断学习，
Figure DEST_PATH_IMAGE030
是
Figure 692181DEST_PATH_IMAGE006
和
Figure DEST_PATH_IMAGE032
之间的L1距离，其中
Figure DEST_PATH_IMAGE034
为从固定的预训练模型中提取第 i 个隐藏特征，
Figure DEST_PATH_IMAGE036
；
Figure DEST_PATH_IMAGE038
是同一潜在特征空间下
Figure DEST_PATH_IMAGE040
和
Figure DEST_PATH_IMAGE042
之间的对比正则化，其作用是将恢复的图像
Figure 671638DEST_PATH_IMAGE022
拉到其清晰图像
Figure DEST_PATH_IMAGE044
并推动
Figure 903905DEST_PATH_IMAGE022
到其模糊图像
Figure DEST_PATH_IMAGE046
。
AECR-Net模型中原有的动态特征增强模块以前的工作通常采用常规的卷积核形状（例如3x3），空间不变的卷积核可能会导致图像纹理受损和过度平滑伪影。为了使采样网格实现更自由的变形，本发明Optimized-AECR-Net模型的动态特征增强模块采用如图3所示的一种可变形的二维卷积核来增强图像去噪的特征，通过可变形卷积引入动态特征增强模块来扩展具有自适应形状的感受野，可以捕获更重要的信息，并提高模型的转换能力以实现更好的图像去雾功能，网络可以动态地更加关注兴趣区域的计算，以融合更多的空间结构信息，在深层之后部署的动态特征增强模块比浅层实现了更好的性能。
本发明中，采用步骤（2）预处理后的第一训练集输入至Optimized-AECR-Net模型中进行训练，训练后得到Optimized-AECR-Net模型的最优配置参数。
（4）构建并训练OACER-Swin Transformer模型：
采用Swin Transformer模型，将步骤（3）训练后的最优配置参数下的Optimized-AECR-Net模型的输出作为Swin Transformer模型的输入进行连接，得到OACER-SwinTransformer模型，OACER-Swin Transformer模型架构如图4所示。
将步骤（2）预处理后的第二训练集输入至OACER-Swin Transformer模型中进行训练，训练后得到OACER-Swin Transformer模型的最优配置参数。
OACER-Swin Transformer模型进行训练时，对每次训练后OACER-SwinTransformer模型输出结果进行误差计算，然后将误差结果映射到OACER-SwinTransformer模型的每个参数中，调整OACER-Swin Transformer模型的配置参数，并对模型的健壮性进行测试，排除偶然因素对模型的影响，由此经过多次训练，得到误差结果符合预期时的OACER-Swin Transformer模型的最优配置参数，并由最优配置参数下的OACER-SwinTransformer模型作为最终的模型。
（5）采用OACER-Swin Transformer模型进行病虫害检测：
利用最优配置参数下的OACER-Swin Transformer模型，对待检测的有雾的病虫害图像进行识别，将待检测的病虫害图像数据输入至最优配置参数下的OACER-SwinTransformer模型，由OACER-Swin Transformer模型输出病虫害识别结果。
本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

Claims (6)

1.一种有雾环境下的病虫害检测方法，其特征在于，包括以下步骤：
步骤1、获取清晰图像数据和病虫害图像数据，并以清晰图像数据构建第一训练集，以病虫害图像数据构建第二训练集；
步骤2、分别对步骤1得到的第一训练集、第二训练集进行预处理，其中第二训练集中的图像数据在预处理时进行加雾处理；
步骤3、构建并训练Optimized-AECR-Net模型：
以AECR-Net模型为基础构建Optimized-AECR-Net模型，所述AECR-Net模型包括对比正则化网络和类自动编码器网络，其中的类自动编码器网络包括4倍下采样模块、由6个特征注意力块构成的特征融合模块、2个动态特征增强模块、4倍上采样模块；将类自动编码器网络中的特征融合模块中特征注意力块增设为8个，其中的动态特征增强模块增设为4个，并在特征融合模块、4个动态特征增强模块之间增设由两层隐藏层构成的多层感知器，由此得到Optimized-AECR-Net模型；所述Optimized-AECR-Net模型中的类自动编码器网络包括4倍下采样模块、由8个特征注意力块构成的特征融合模块、多层感知器、4个动态特征增强模块、4倍上采样模块；
将步骤2预处理后的第一训练集输入至所述Optimized-AECR-Net模型中进行训练，训练后得到Optimized-AECR-Net模型的最优配置参数；
步骤4、构建并训练OACER-Swin Transformer模型：
以步骤3得到的最优配置参数下的Optimized-AECR-Net模型，以及Swin Transformer模型为基础，将所述Optimized-AECR-Net模型的输出连接所述Swin Transformer模型的输入，由此构成OACER-Swin Transformer模型；
将步骤2预处理后的第二训练集输入至所述OACER-Swin Transformer模型中进行训练，训练后得到OACER-Swin Transformer模型的最优配置参数；
步骤5、将待检测的有雾的病虫害图像输入至步骤4得到的最优配置参数下的OACER-Swin Transformer模型，由OACER-Swin Transformer模型输出病虫害识别结果。
2.根据权利要求1所述的一种有雾环境下的病虫害检测方法，其特征在于，步骤2中进行预处理时，首先滤除第一训练集、第二训练集中损坏的图像数据和重复的图像数据，并删除异常数据，然后再对第二训练集中的图像数据进行加雾处理。
3.根据权利要求1或2所述的一种有雾环境下的病虫害检测方法，其特征在于，通过标准光学模型对第二训练集中的图像数据进行加雾处理。
4.根据权利要求1所述的一种有雾环境下的病虫害检测方法，其特征在于，步骤3中，Optimized-AECR-Net模型的类自动编码器网络中每个动态特征增强模块分别采用可变形二维卷积核。
5.根据权利要求1所述的一种有雾环境下的病虫害检测方法，其特征在于，步骤3中OACER-Swin Transformer模型训练时，对每次训练后OACER-Swin Transformer模型输出结果进行误差计算，然后将误差结果反向传播到OACER-Swin Transformer模型的参数中，由此经过多次训练，得到误差计算结果符合预期时的OACER-Swin Transformer模型的配置参数作为最优配置参数。
6.根据权利要求5所述的一种有雾环境下的病虫害检测方法，其特征在于，每次训练后对OACER-Swin Transformer模型的健壮性进行测试，基于测试结果排除偶然因素对OACER-Swin Transformer模型的影响。
CN202210507282.9A 2022-05-10 2022-05-10 一种有雾环境下的病虫害检测方法 Pending CN114821239A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210507282.9A CN114821239A (zh) 2022-05-10 2022-05-10 一种有雾环境下的病虫害检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210507282.9A CN114821239A (zh) 2022-05-10 2022-05-10 一种有雾环境下的病虫害检测方法

Publications (1)

Publication Number Publication Date
CN114821239A true CN114821239A (zh) 2022-07-29

Family

ID=82513663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210507282.9A Pending CN114821239A (zh) 2022-05-10 2022-05-10 一种有雾环境下的病虫害检测方法

Country Status (1)

Country Link
CN (1) CN114821239A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330898A (zh) * 2022-08-24 2022-11-11 晋城市大锐金马工程设计咨询有限公司 一种基于改进Swin Transformer的杂志、书刊广告嵌入方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330898A (zh) * 2022-08-24 2022-11-11 晋城市大锐金马工程设计咨询有限公司 一种基于改进Swin Transformer的杂志、书刊广告嵌入方法

Similar Documents

Publication Publication Date Title
CN112949565B (zh) 基于注意力机制的单样本部分遮挡人脸识别方法及系统
CN110570353B (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
Dong et al. Deep spatial–spectral representation learning for hyperspectral image denoising
CN110570371B (zh) 一种基于多尺度残差学习的图像去雾方法
CN110969124B (zh) 基于轻量级多分支网络的二维人体姿态估计方法及系统
EP3948764B1 (en) Method and apparatus for training neural network model for enhancing image detail
CN112184577B (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN111612711B (zh) 一种基于生成对抗网络改进的图片去模糊方法
Tang et al. Single image dehazing via lightweight multi-scale networks
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
Zong et al. Local-CycleGAN: a general end-to-end network for visual enhancement in complex deep-water environment
Li et al. Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN
CN110634103A (zh) 基于生成对抗网络的图像去马赛克方法
CN114782298B (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN114821239A (zh) 一种有雾环境下的病虫害检测方法
Zhang et al. Enhanced visual perception for underwater images based on multistage generative adversarial network
CN111932452B (zh) 基于可见光图像增强的红外图像卷积神经网络超分辨方法
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN113034371A (zh) 一种基于特征嵌入的红外与可见光图像融合方法
Huang et al. Attention-based for multiscale fusion underwater image enhancement
CN113160104B (zh) 一种基于密集连接网络的图像融合方法
CN114118199A (zh) 一种用于智能泵腔体内窥镜故障诊断的图像分类方法及系统
Chen et al. GADO-Net: an improved AOD-Net single image dehazing algorithm
Zheng et al. An Underwater Image Restoration Deep Learning Network Combining Attention Mechanism and Brightness Adjustment
Zhou et al. A lightweight object detection framework for underwater imagery with joint image restoration and color transformation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination