CN116844015A - 一种适用于时空及品种变化下柑橘黄龙病快速诊断方法 - Google Patents
一种适用于时空及品种变化下柑橘黄龙病快速诊断方法 Download PDFInfo
- Publication number
- CN116844015A CN116844015A CN202310328741.1A CN202310328741A CN116844015A CN 116844015 A CN116844015 A CN 116844015A CN 202310328741 A CN202310328741 A CN 202310328741A CN 116844015 A CN116844015 A CN 116844015A
- Authority
- CN
- China
- Prior art keywords
- data set
- citrus
- variety
- discriminator
- ponkan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 114
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 53
- LLLILZLFKGJCCV-UHFFFAOYSA-M n-methyl-n-[(1-methylpyridin-1-ium-4-yl)methylideneamino]aniline;methyl sulfate Chemical compound COS([O-])(=O)=O.C=1C=CC=CC=1N(C)\N=C\C1=CC=[N+](C)C=C1 LLLILZLFKGJCCV-UHFFFAOYSA-M 0.000 title claims abstract description 51
- 238000003745 diagnosis Methods 0.000 title claims abstract description 37
- 230000008859 change Effects 0.000 title claims abstract description 27
- 241000207199 Citrus Species 0.000 claims abstract description 43
- 235000020971 citrus fruits Nutrition 0.000 claims abstract description 43
- 240000002319 Citrus sinensis Species 0.000 claims abstract description 42
- 235000005976 Citrus sinensis Nutrition 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 19
- 238000013526 transfer learning Methods 0.000 claims abstract description 10
- 239000002420 orchard Substances 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 36
- 102100037410 Gigaxonin Human genes 0.000 claims description 34
- 101001025761 Homo sapiens Gigaxonin Proteins 0.000 claims description 34
- 230000003287 optical effect Effects 0.000 claims description 31
- 208000024891 symptom Diseases 0.000 claims description 24
- 238000002073 fluorescence micrograph Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 16
- 229930002875 chlorophyll Natural products 0.000 claims description 13
- 235000019804 chlorophyll Nutrition 0.000 claims description 13
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 claims description 13
- 230000006978 adaptation Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 10
- 208000015181 infectious disease Diseases 0.000 claims description 10
- 238000013508 migration Methods 0.000 claims description 9
- 230000005012 migration Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 230000027756 respiratory electron transport chain Effects 0.000 claims description 8
- 239000000126 substance Substances 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 244000052616 bacterial pathogen Species 0.000 claims description 7
- 230000004300 dark adaptation Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 208000008167 Magnesium Deficiency Diseases 0.000 claims description 6
- 206010048259 Zinc deficiency Diseases 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 230000008014 freezing Effects 0.000 claims description 6
- 238000007710 freezing Methods 0.000 claims description 6
- 230000036541 health Effects 0.000 claims description 6
- 235000004764 magnesium deficiency Nutrition 0.000 claims description 6
- 238000006327 primary photochemical reaction Methods 0.000 claims description 6
- 238000004904 shortening Methods 0.000 claims description 6
- 230000002503 metabolic effect Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 240000007651 Rubus glaucus Species 0.000 claims description 4
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 4
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 4
- 230000008485 antagonism Effects 0.000 claims description 4
- 241000209202 Bromus secalinus Species 0.000 claims description 3
- 239000005416 organic matter Substances 0.000 claims description 3
- 229930000044 secondary metabolite Natural products 0.000 claims description 3
- 244000052769 pathogen Species 0.000 claims description 2
- 241001596950 Larimichthys crocea Species 0.000 claims 3
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000002950 deficient Effects 0.000 description 6
- 108010060806 Photosystem II Protein Complex Proteins 0.000 description 5
- 229920002472 Starch Polymers 0.000 description 5
- 235000019698 starch Nutrition 0.000 description 5
- 239000008107 starch Substances 0.000 description 5
- 241000555678 Citrus unshiu Species 0.000 description 4
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 description 4
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 4
- 229910052749 magnesium Inorganic materials 0.000 description 4
- 239000011777 magnesium Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000011701 zinc Substances 0.000 description 4
- 229910052725 zinc Inorganic materials 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010672 photosynthesis Methods 0.000 description 3
- 230000029553 photosynthesis Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000243 photosynthetic effect Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 210000003763 chloroplast Anatomy 0.000 description 1
- 238000002189 fluorescence spectrum Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Remote Sensing (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明涉及一种适用于时空及品种变化下柑橘黄龙病快速诊断方法，包括：获取果园中不同季节、不同状态下柑橘叶片的同一图像分辨率的多源图像，形成采集的主品种数据集；利用生成对抗网络扩充主品种数据集，并将采集的和扩充的数据集输入基于轻量化卷积神经网络MobileNetV3的判别模型，并对其进行训练；基于迁移学习再次引入另一生成对抗网络，生成器仅作为特征提取器而不再生成伪样本集，用小样本的椪柑数据集替换伪样本集输入，使判别模型充分学习到两个品种之间可供迁移的特征，得到适用于时空及品种变化下柑橘黄龙病的判别模型，达到基于脐橙品种建立的判别模型迁移到柑橘黄龙病识别的目的。该方法可以实现时空及品种变化下柑橘黄龙病的快速、精准诊断。
Description
技术领域
本发明涉及柑橘疾病诊断技术领域，具体涉及一种适用于时空及品种变化下柑橘黄龙病快速诊断方法。
背景技术
柑橘黄龙病被视为柑橘的“癌症”，在潜伏期未显症已具有很强在传染性。不同品种、不同染病阶段的病症存在差异，导致诊断困难。对田间柑橘黄龙病进行及早、及时精准诊断是柑橘黄龙病防控的关键步骤。实验室中使用的PCR技术是柑橘黄龙病最精准的在诊断方法，但是样本离体带回实验室，检测效率低下，且需要消耗大量试剂耗材，无法满足现代柑橘产业对黄龙病在线实时诊断的需求。
光学技术结合机器学习因无损快速的优势，在柑橘病虫害检测中表现出巨大的应用前景。公开号为CN 104008551B公开了一种基于可见光图像结合BP神经网络的柑橘黄龙病快速诊断方法，但是可见光图像只能反映显症的染病样本信息，对未显症的染病样本无能无力。公开号为CN 104036257A公开了一种基于D-S理论的多源数据融合柑橘黄龙病检测分类方法，通过将高光谱、可见光谱和荧光谱的识别率进行融合，得到一个黄龙病症状的综合识别率，但是该方法仅针对单一品种柑橘黄龙病的诊断，对于其他品种柑橘黄龙病诊断时，模型鲁棒性会大打折扣。公开号为CN 108489908A公开了一种依据感染黄龙病叶片内部淀粉异常累积的特性，设计了一种基于偏振光技术的柑橘黄龙病快速检测方法。但是，与纯淀粉悬浊液对光的偏振性不同，叶片具有复杂的组织结构，传感器接收到的光是经过叶肉组织对光子的散射/反射的结果，不完全是由于淀粉的偏振性造成的。同时，叶片中淀粉白天光合作用的产物，以过渡型淀粉的形式储存于叶绿体，含量是动态变化的，易受到光合作用能力强弱的影响。在田间柑橘黄龙病诊断场景下，由于柑橘染病程度、生长果园及品种变化下，柑橘树会出现不同的黄龙病症状，甚至同一品种在不同果园、不同季节的症状都有较大的差异。这种差异会引起柑橘黄龙病图像特征发生变化，导致诊断模型的稳健性不足。
发明内容
本发明的目的在于提供一种适用于时空及品种变化下柑橘黄龙病快速诊断方法，该方法可以实现时空及品种变化下柑橘黄龙病的快速、精准诊断。
为实现上述目的，本发明采用的技术方案是：一种适用于时空及品种变化下柑橘黄龙病快速诊断方法，包括：
S1：获取同一图像分辨率柑橘叶片的快速叶绿素荧光图像、稳态多光谱荧光图像和可见-近红外多光谱反射图像，形成采集的主品种数据集A，所述主品种为脐橙；
S2：利用生成对抗网络GAN扩充主品种数据集A；所述生成对抗网络GAN包含生成器G和判别器D两个深度神经网络模块；将主品种数据集A放进判别器D；在主品种数据集A的基础上，引入随机噪声到生成器G生成伪样本集A’，并与判别器D中的真实样本集，即主品种数据集A进行对抗训练；当达到纳什均衡时，对抗训练结束，生成器充分学习到判别器中真实样本集A的特征分布信息；
S3：将主品种数据集A和生成对抗网络生成的伪样本集A’进行合并，构成具有时间和空间变化的数据集(A+A’)，并按照设定比例分为训练集、验证集和预测集；
S4：利用数据集(A+A’)训练轻量化卷积神经网络MobileNetV3的判别模型F，实现时间和空间变化下脐橙黄龙病的识别；
S5：基于迁移学习的理论，再次引入另一生成对抗网络GAN1，基于数据集(A+A’)，生成对抗网络GAN1中的生成器G1仅作为特征提取器而不再生成伪样本集，而是用小样本的椪柑数据集B作为伪样本集；将脐橙和椪柑分别视为源域和目标域，当生成对抗网络GAN1中的对抗训练标签预测器损失和域判别损失达到最小，即达到纳什均衡时，判别器D1无法区分上述特征源自椪柑还是脐橙，则认为已充分学习到椪柑数据集B和数据集(A+A’)两个品种之间可供迁移的特征；主品种数据集(A+A’)和椪柑数据集B在特征空间得到最佳的映射，权重系数为Z，从而实现黄龙病特征在源域和目标域之间的适应；
S6：将已建立好的基于轻量化卷积神经网络MobileNetV3的判别模型F中除全连接层之外的其他神经网络层的权重冻结，并将全连接层的权重更新为Z；分类层softmax根据更新的权重，输出判别结果，以实现迁移学习，达到基于脐橙品种建立的判别模型迁移到柑橘黄龙病识别的目的。
进一步地，所述主品种数据集A中包含在不同季节和不同果园采样到的不同染病程度、健康、缺锌和缺镁的样本，所述不同染病程度包括黄龙病显症和黄龙病未显症。
进一步地，步骤S1中，获取同一图像分辨率柑橘叶片的快速叶绿素荧光图像、稳态多光谱荧光图像和可见-近红外多光谱反射图像，具体方法为：首先将待测柑橘叶片放到便携嵌入式采集设备的暗室，打开730nm的远红光，加快光系统电子的排空，使得叶片光系统电子受体和供体更快的回到初始状态，缩短暗适应时间；所述便携嵌入式采集设备先将滤光片模块切换到685nm带通滤光片位置，再打开中心波长620nm的红橙光，在红橙光开启后的50us、300us、2ms、100ms和300ms时刻，通过CCD相机获取对应时刻柑橘叶片的快速叶绿素荧光图像FO(t＝50us)、FK(t＝300us)、FJ(t＝2ms)、FI(t＝100ms)和FP(t＝300ms)，用于感知黄龙病病原菌对柑橘叶片光系统结构功能以及电子传递链的影响；接着关闭红橙光，打开中心波长365nm的紫外光，在滤光片模块分别切换到460nm、520nm、685nm和730nm时，通过CCD相机获取对应滤光片位置柑橘叶片的稳态多光谱荧光图像F460、F520、F685和F730，用于感知黄龙病病原菌对柑橘叶片光系统原初光化学反应以及次生代谢物质含量的影响；接着关闭紫外光，在滤光片模块切换滤光片到300-1000nm的窄带滤光片位置，依次打开中心波长分别为460nm、520nm、660nm、710nm、810nm和910nm单色光，通过CCD相机获取对应的反射图像R460、R520、R660、R710、R810和R910，用于感知黄龙病病原菌对柑橘叶片光子散射/反射能力以及有机物含量的影响；从而获得15张图片，用于综合反映柑橘叶片的光系统结构功能及电子传递链特性、光系统原初光化学反应及次生代谢物质含量、光子散射/反射能力及有机物含量的信息；上述信息的改变已经在未显症柑橘黄龙病叶片中体现，通过获取上述信息，有助于对未显症柑橘黄龙病的诊断；将单片柑橘叶片的这15张图片合成1张15个通道的tiff图像。
进一步地，所述便携嵌入式采集设备包括暗室(1)、上盖(2)、控制单元(3)、成像模块(4)和光源模块(5)；所述成像模块(4)包括CCD相机(7)、滤光片模块(8)和镜头(9)，所述滤光片模块(8)安装在CCD相机(7)中感光传感器与镜头(9)之间；
所述光源模块(5)包括光源板，所述光源板上设有：带宽20nm、中心波长365nm的紫外光(17)，用于激发叶片的稳态多光谱荧光；带宽20nm、中心波长620nm的红橙光(10)，用于激发叶片的叶绿素荧光；带宽20nm、中心波长分别为460nm(11)、520nm(12)、660nm(13)、710nm(14)、810nm(15)和910nm(16)的单色光，用于激发叶片对应波长的反射光；带宽20nm、中心波长730nm的远红光(18)，用于加快光系统电子的排空，缩短暗适应时间，提高检测效率；
所述滤光片模块(8)包括滤光片转盘、均布于滤光片转盘周部的多个滤光片以及用于驱动滤光片转盘转动的步进电机(25)；所述多个滤光片包括：截止率大于90％的685nm带通滤光片(19)；300-1000nm的窄带滤光片(20)；带宽30nm、中心波长分别为460nm(21)、520nm(22)、685nm(23)、730nm(24)的窄带滤光片。
进一步地，所述光源板安装在暗室(1)顶部内侧，所述光源板和暗室顶部正中对应开设有通孔，所述成像模块(4)安装于暗室(1)顶部上侧，且镜头穿过通孔伸向暗室内。
进一步地，所述控制单元(3)包括Arduino控制单元和树莓派。
进一步地，步骤S4具体包括以下步骤：
S4.1：所述生成对抗网络GAN由生成器G和判别器D组成；生成器用于生成主品种数据集A的伪样本A’，判别器用于判断生成的伪样本A’是否为真实样本A，根据判断结果调整生成器的参数，进而使伪样本A’逐渐逼近真实样本A；直至判别器判别准确率接近50％，即无法对真伪主品种样本进行准确判断时，停止生成对抗网络模型训练；生成对抗网络GAN的损失函数如式(1)所示：
式中，G为生成器，D为判别器，V(D,G)表示对抗损失，x为真实主品种数据，Pdata(x)为真实主品种数据集，z为随机噪声，PZ(Z)表示生成的主品种伪样本；训练判别器的目的是使lg D(x)尽可能大，以让判别器发挥判别样本真假的作用；训练生成器的目的是使1-D(G(z))尽可能小，以让生成的伪样本骗过判别器判别，达到以假乱真的目的；生成器D充分学习到判别器中训练样本主品种A的特征分布信息；通过该方式，伪样本集(数据集A’)中样本的特征足够真实且人工无法获取，可提高主品种数据集的多样性，达到扩充数据集的目的，克服人工采样的局限性；
S4.2：将主品种人工采样的数据集A和生成对抗网络生成的伪样本A’进行合并，构成具有时间和空间变化的数据集(A+A’)；
S4.3：利用此数据集(A+A’)按照60％，10％和30％的比例分为训练集、验证集和预测集输入模型，建立轻量化卷积神经网络(MobileNetV3)判别模型F，用于实现时间和空间变化下脐橙黄龙病的识别。
进一步地，步骤S5具体包括以下步骤：
S5.1：引入新的生成对抗网络GAN1，基于主品种数据集(A+A’)，生成对抗网络GAN1中的生成器G1仅作为特征提取器而不再生成伪样本集，而是用小样本的椪柑数据集B作为伪样本集；所述的椪柑数据集B属于小样本；
S5.2：将脐橙和椪柑分别视为源域和目标域；当生成对抗网络GAN1中的对抗训练标签预测器损失和域判别损失达到最小时，达到纳什均衡时，判别器D1无法区分上述特征源自椪柑还是脐橙，即判别器D1判别准确率接近50％，则认为已充分学习到椪柑数据集B和主品种数据集(A+A’)两个品种之间可供迁移的特征；主品种数据集(A+A’)和椪柑数据集B在特征空间得到最佳的映射，权重系数为Z，实现了黄龙病特征在源域和目标域之间的适应；
S5.3：在此过程中，判别器D1学习一组权重，随着训练的进行，权重不断更新直至模型收敛；损失函数由生成器G1中的预测器损失Lc和域判别损失LD两部分组成；由于GAN1中的生成器G1仅作为特征提取器；对于G1来说，其特征输出为：
标签预测器的输出为：
Fy(Ff(x)；V,c)＝softmax(VFf(x)+c) (3)
综上，Lc损失的定义如式(4)所示：
式中，表示RD→[0,1]L的映射函数，/>为特征提取器从数据集(A+A’+B)中所提取的特征，/>为数据集(A+A’+B)的标签数据；
域判别损失LD，定义如式(5)所示：
为减少信息损失，引入与di相关的参数α，使迭代过程更加平稳；式中，di表示数据集(A+A’+B)中样本i的标签；di＝0时，表示域判别损失LD由主品种数据集(A+A’)引起的；而di＝1时，表示域判别损失LD由椪柑数据集B引起；
综上，整体的损失函数L由式(7)表示：
L＝Lc-λLD (7)
由于预测器与域判别器目标函数相反，所以将域判别损失LD乘以一个负数λ来实现对抗效果；
整体的损失函数L达到最小时，达到纳什均衡时，判别器D1无法区分上述特征源自椪柑还是脐橙，即判别器D1判别准确率接近50％，则认为已充分学习到椪柑数据集B和主品种数据集(A+A’)两个品种之间可供迁移的特征；主品种数据集(A+A’)和椪柑数据集B在特征空间得到最佳的映射的过程中，依据损失函数值对G1进行反向传播不断更新权重参数，实现黄龙病特征在源域和目标域之间的特征相适应；反向传播权重更新由式(8)表示：
式中，ω0为要更新的权重参数；为损失函数关于ω的梯度；α表示学习率；
S5.4：将已建立好的基于轻量化卷积神经网络MobileNetV3的判别模型F中除全连接层之外的其他神经网络层的权重冻结，并将全连接层的权重更新为Z；分类层softmax根据更新的权重，输出判别结果，以实现迁移学习，达到基于脐橙品种建立的判别模型迁移到柑橘黄龙病识别的目的。
与现有技术相比，本发明具有以下有益效果：
本发明方法以同一空间分辨率的快速叶绿素荧光图像、稳态多光谱荧光图像和可见-近红外多光谱反射图像为数据源，分别反映了柑橘叶片的光系统II结构功能以及电子传递链特性、次生代谢物质含量、光子散射/反射能力以及有机物含量的信息。由于柑橘叶片感染黄龙病时，在未显症阶段，其内部的光系统II结构功能以及电子传递链、次生代谢物质含量以及及有机物含量的信息已经发生改变，因此可以感知到未显症时期柑橘黄龙病的特征。
暗适应过程中，可以让叶片的光合作用能力恢复到初始的稳定状态，对叶片进行远红光照射，可以加快这个过程，提高检测效率。
通过在不同季节和不同果园人工采样到的不同染病程度(黄龙病显症和黄龙病未显症)、健康、缺锌和缺镁的样本，使得主品种(脐橙)数据集A具有尽可能多的多样性，以获得建立模型所需的各种各样的样本。进一步通过对抗生成网络扩充了主品种(脐橙)数据集，从而进一步获取到扩大样本的多样性，克服人工采用局限性的问题。建立的轻量化卷积神经网络诊断模型(MobileNetV3)可满足时间和空间变化下的柑橘黄龙病诊断。
由于不同品种柑橘黄龙病特征存在差异，已建立的诊断模型在不同品种之间无法准确匹配，导致模型的稳健性不足，通过引入迁移学习理论，改进对抗生成网络，将主品种(脐橙)数据集和其他待测柑橘数据集在特征空间进行映射，得到最佳的权重系数，实现了黄龙病特征在不同品种之间的适应。用得到的最佳的权重系数通过更新轻量化卷积神经网络(MobileNetV3)判别模型全连接层权重，实现了模型迁移。基于人工智能建立的轻量化卷积神经网络诊断模型(MobileNetV3)模型可以实现时间、空间及品种变化下不同品种柑橘黄龙病的快速、精准诊断，适用范围广，具有很强的实用性和广阔的应用前景。
附图说明
图1是本发明实施例的方法实现流程图。
图2是本发明实施例中便携嵌入式采集设备的结构示意图。
图3是本发明实施例中成像模块的结构示意图。
图4是本发明实施例中光源模块的结构示意图。
图5是本发明实施例中滤光片模块的结构示意图。
图6是本发明实施例中控制单元的工作原理图。
图7是本发明实施例中一次性采集的代表性单个柑橘叶片的15张图像。
图8是本发明实施例中代表性样本数量和椪柑黄龙病识别正确率的关系图。
图9是本发明实施例中代表性样本数量和温州蜜柑黄龙病识别正确率的关系图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种适用于时空及品种变化下柑橘黄龙病快速诊断方法，包括：
S1：获取同一图像分辨率柑橘叶片的快速叶绿素荧光图像、稳态多光谱荧光图像和可见-近红外多光谱反射图像，形成采集的主品种(脐橙)数据集A。主品种数据集A中包含在不同季节和不同果园采样到的不同染病程度、健康、缺锌和缺镁的样本，所述不同染病程度包括黄龙病显症和黄龙病未显症。
S2：利用生成对抗网络(GAN,Generative Adversarial Networks)扩充主品种数据集A；所述生成对抗网络GAN包含生成器G和判别器D两个深度神经网络模块；将主品种数据集A放进判别器D；在主品种数据集A的基础上，引入随机噪声到生成器G生成伪样本集A’，并与判别器D中的真实样本集，即主品种数据集A进行对抗训练；当达到纳什均衡时，即判别器D判别准确率接近50％，对抗训练结束，生成器充分学习到判别器中真实样本集A的特征分布信息。通过该方式，伪样本集A’中样本的特征足够真实且人工无法获取，可提高主品种(脐橙)数据集的多样性，达到扩充数据集的目的，克服人工采样的局限性。
S3：将主品种数据集A和生成对抗网络生成的伪样本集A’进行合并，构成具有时间和空间变化的数据集(A+A’)，并按照60％、10％和30％的比例分为训练集、验证集和预测集。
S4：建立基于轻量化卷积神经网络(MobileNetV3)的判别模型F，并利用数据集(A+A’)对其进行训练，实现时间和空间变化下脐橙黄龙病的识别。
S5：基于迁移学习的理论，再次引入另一生成对抗网络GAN1，基于数据集(A+A’)，生成对抗网络GAN1中的生成器G1仅作为特征提取器而不再生成伪样本集，而是用小样本的椪柑数据集B作为伪样本集；将脐橙和椪柑分别视为源域和目标域，当生成对抗网络GAN1中的对抗训练标签预测器损失和域判别损失达到最小，即达到纳什均衡时，判别器D1无法区分上述特征源自椪柑还是脐橙，即判别器D1判别准确率接近50％，则认为已充分学习到椪柑数据集B和数据集(A+A’)两个品种之间可供迁移的特征；主品种数据集(A+A’)和椪柑数据集B在特征空间得到最佳的映射，权重系数为Z，从而实现黄龙病特征在源域和目标域(椪柑)之间的适应。
S6：将已建立好的基于轻量化卷积神经网络(MobileNetV3)的判别模型F中除全连接层之外的其他神经网络层的权重冻结，并将全连接层的权重更新为Z；分类层softmax根据更新的权重，输出判别结果，以实现迁移学习，达到基于脐橙品种建立的判别模型迁移到柑橘黄龙病识别的目的。
步骤S1中，获取同一图像分辨率柑橘叶片的快速叶绿素荧光图像、稳态多光谱荧光图像和可见-近红外多光谱反射图像，具体方法为：
首先将待测柑橘叶片放到便携嵌入式采集设备的暗室，打开730nm的远红光，加快光系统II电子的排空，使得叶片光系统II电子受体和供体更快的回到初始状态，缩短暗适应时间；所述便携嵌入式采集设备先将滤光片模块切换到685nm带通滤光片位置，再打开中心波长620nm的红橙光，在红橙光开启后的50us、300us、2ms、100ms和300ms时刻，通过CCD相机获取对应时刻柑橘叶片的快速叶绿素荧光图像FO(t＝50us)、FK(t＝300us)、FJ(t＝2ms)、FI(t＝100ms)和FP(t＝300ms)，共5张，用于感知黄龙病病原菌对柑橘叶片光系统II结构功能以及电子传递链的影响；接着关闭红橙光，打开中心波长365nm的紫外光，在滤光片模块分别切换到460nm、520nm、685nm和730nm时，通过CCD相机获取对应滤光片位置柑橘叶片的稳态多光谱荧光图像F460、F520、F685和F730，共4张，用于感知黄龙病病原菌对柑橘叶片光合系统II原初光化学反应以及次生代谢物质含量的影响；接着关闭紫外光，在滤光片模块切换滤光片到300-1000nm的窄带滤光片位置，依次打开中心波长分别为460nm、520nm、660nm、710nm、810nm和910nm单色光，通过CCD相机获取对应的反射图像R460、R520、R660、R710、R810和R910，共7张，用于感知黄龙病病原菌对柑橘叶片光子散射/反射能力以及有机物含量的影响；从而获得15张图片，用于综合反映柑橘叶片的光系统II结构功能及电子传递链特性、光合系统II原初光化学反应及次生代谢物质含量、光子散射/反射能力及有机物含量的信息；上述信息的改变已经在未显症柑橘黄龙病叶片中体现，通过获取上述信息，有助于对未显症柑橘黄龙病的诊断；将单片柑橘叶片的这15张图片合成1张15个通道的tiff图像。
在本实施例中，如图2所示，所述便携嵌入式采集设备包括暗室1、上盖2、控制单元3、成像模块4和光源模块5。如图3所示，所述成像模块4包括CCD相机7、滤光片模块8和镜头9，所述滤光片模块8安装在CCD相机7中感光传感器与镜头9之间。所述光源板安装在暗室1顶部内侧，所述光源板和暗室顶部正中对应开设有通孔，所述成像模块4安装于暗室1顶部上侧，且镜头穿过通孔伸向暗室内。
如图4所示，所述光源模块5包括光源板，所述光源板上设有：带宽20nm、中心波长365nm的紫外光17，用于激发叶片6的稳态多光谱荧光；带宽20nm、中心波长620nm的红橙光10，用于激发叶片的叶绿素荧光；带宽20nm、中心波长分别为460nm(11)、520nm(12)、660nm(13)、710nm(14)、810nm(15)和910nm(16)的单色光，用于激发叶片对应波长的反射光；带宽20nm、中心波长730nm的远红光(18)，用于加快光合系统电子的排空，缩短暗适应时间，提高检测效率。
如图5所示，所述滤光片模块8包括滤光片转盘、均布于滤光片转盘周部的多个滤光片以及用于驱动滤光片转盘转动的步进电机25；所述多个滤光片包括：截止率大于90％的685nm带通滤光片19；300-1000nm的窄带滤光片20；带宽30nm、中心波长分别为460nm(21)、520nm(22)、685nm(23)、730nm(24)的窄带滤光片。
所述控制单元3包括Arduino控制单元和树莓派。如图6所示，Arduino控制单元用于控制光源模块和CCD相机采集图像命令。CCD相机的图像存在树莓派中。
在本实施例中，步骤S4的实现具体包括以下步骤：
S4.1：就同一个品种的柑橘而言，柑橘黄龙病随季节和种植呈现出动态变化的规律，而实际场景又无法采集足够多的具有样本多样性的数据。为了扩充模型中样本的多样性，提高诊断模型的稳健性，本发明首先利用生成对抗网络GAN扩充模型中主品种数据集，丰富模型中主品种样本的多样性，生成主品种在时空变化下样本信息，大量减少了数据采集的工作量。所述生成对抗网络GAN由生成器G(Generator)和判别器D(Discriminator)组成；生成器用于生成主品种数据集A的伪样本A’，判别器用于判断生成的伪样本A’是否为真实样本A，根据判断结果调整生成器的参数，进而使伪样本A’逐渐逼近真实样本A；直至判别器判别准确率接近50％，即无法对真伪主品种样本进行准确判断时，停止生成对抗网络模型训练；生成对抗网络GAN的损失函数如式(1)所示：
式中，G为生成器，D为判别器，V(D,G)表示对抗损失，x为真实主品种数据，Pdata(x)为真实主品种数据集，z为随机噪声，PZ(Z)表示生成的主品种伪样本；训练判别器的目的是使lg D(x)尽可能大，以让判别器发挥判别样本真假的作用；训练生成器的目的是使1-D(G(z))尽可能小，以让生成的伪样本骗过判别器判别，达到以假乱真的目的；生成器D充分学习到判别器中训练样本主品种A的特征分布信息；通过该方式，伪样本集(数据集A’)中样本的特征足够真实且人工无法获取，可提高主品种数据集的多样性，达到扩充数据集的目的，克服人工采样的局限性。
S4.2：将主品种人工采样的数据集A和生成对抗网络生成的伪样本A’进行合并，构成具有时间和空间变化的数据集(A+A’)。
S4.3：利用此数据集(A+A’)按照60％，10％和30％的比例分为训练集、验证集和预测集输入模型，建立轻量化卷积神经网络(MobileNetV3)判别模型F，用于实现时间和空间变化下脐橙黄龙病的识别。
在本实施例中，步骤S5的实现具体包括以下步骤：
S5.1：引入新的生成对抗网络GAN1，基于主品种数据集(A+A’)，生成对抗网络GAN1中的生成器G1仅作为特征提取器而不再生成伪样本集，而是用小样本的椪柑数据集B作为伪样本集；所述的椪柑数据集B属于小样本。
S5.2：将脐橙和椪柑分别视为源域和目标域；当生成对抗网络GAN1中的对抗训练标签预测器损失和域判别损失达到最小时，达到纳什均衡时，判别器D1无法区分上述特征源自椪柑还是脐橙，即判别器D1判别准确率接近50％，则认为已充分学习到椪柑数据集B和主品种数据集(A+A’)两个品种之间可供迁移的特征；主品种数据集(A+A’)和椪柑数据集B在特征空间得到最佳的映射，权重系数为Z，实现了黄龙病特征在源域和目标域之间的适应。
S5.3：在此过程中，判别器D1学习一组权重，随着训练的进行，权重不断更新直至模型收敛；损失函数由生成器G1中的预测器损失Lc和域判别损失LD两部分组成；由于GAN1中的生成器G1仅作为特征提取器；对于G1来说，其特征输出为：
标签预测器的输出为：
Fy(Ff(x)；V,c)＝softmax(VFf(x)+c) (3)
综上，Lc损失的定义如式(4)所示：
式中，表示RD→[0,1]L的映射函数，/>为特征提取器从数据集(A+A’+B)中所提取的特征，/>为数据集(A+A’+B)的标签数据。
域判别损失LD，定义如式(5)所示：
为减少信息损失，引入与di相关的参数α，使迭代过程更加平稳；式中，di表示数据集(A+A’+B)中样本i的标签；di＝0时，表示域判别损失LD由主品种数据集(A+A’)引起的；而di＝1时，表示域判别损失LD由椪柑数据集B引起。
综上，整体的损失函数L由式(7)表示：
L＝Lc-λLD (7)
由于预测器与域判别器目标函数相反，所以将域判别损失LD乘以一个负数λ来实现对抗效果；。
整体的损失函数L达到最小时，达到纳什均衡时，判别器D1无法区分上述特征源自椪柑还是脐橙，即判别器D1判别准确率接近50％，则认为已充分学习到椪柑数据集B和主品种数据集(A+A’)两个品种之间可供迁移的特征；主品种数据集(A+A’)和椪柑数据集B在特征空间得到最佳的映射的过程中，依据损失函数值对G1进行反向传播不断更新权重参数，实现黄龙病特征在源域和目标域之间的特征相适应；反向传播权重更新由式(8)表示：
式中，ω0为要更新的权重参数；为损失函数关于ω的梯度；α表示学习率。
S5.4：将已建立好的基于轻量化卷积神经网络MobileNetV3的判别模型F中除全连接层之外的其他神经网络层的权重冻结，并将全连接层的权重更新为Z；分类层softmax根据更新的权重，输出判别结果，以实现迁移学习，达到基于脐橙品种建立的判别模型迁移到柑橘黄龙病识别的目的。
基于上述方法，下面通过具体实施例进行测试。主品种(脐橙)样本收集于2022年6月至12月，黄龙病显症、黄龙病未显症、健康、缺镁和缺锌的样本数分别为400，300，500，150和170。典型的主品种(脐橙)叶片黄龙病显症、黄龙病未显症、健康、缺镁和缺锌的样本图像如图7所示。椪柑样本收集于2022年9月至11月，黄龙病显症、黄龙病未显症、健康、缺镁和缺锌的样本数分别为79、72、78、44和29。温州蜜柑样本收集于2022年9月至10月，黄龙病显症、黄龙病未显症、健康、缺镁和缺锌的样本数分别为55、55、54、32和23。
首先利用生成对抗网络扩充主品种(脐橙)的样本数据集，每个类别分别扩充了5倍。接着，将上述构造好的数据集按照60％，10％和30％的比例分为训练集、验证集和预测集输入模型，建立轻量化卷积神经网络(MobileNetV3)判别模型。MobileNetV3模型训练的参数设置为：0.0001的学习率、224×224×16的输入图像数据分辨率、16的Batch size和Adam的优化器。随着Epoch的增加训练误差和验证集准确率逐渐收敛，为避免在训练过程中过度拟合并减少训练时间，训练的Epoch设为100。
进一步，基于迁移学习理论，改进对抗网络，将代表性椪柑样本作为伪样本。如图8和图9所示，代表性椪柑样本数量会影响对抗生成网络中对不同品种柑橘黄龙病在在特征空间的映射效果。当代表性椪柑的黄龙病显症、黄龙病未显症、健康、缺镁和缺锌样本为分别为18时，主品种(脐橙)和椪柑的黄龙病特征得到最佳的映射。利用主品种(脐橙)建立的轻量化卷积神经网络(MobileNetV3)迁移到椪柑黄龙病诊断的最佳总体正确率90.3％，对未显症柑橘黄龙病的正确率90.3％(表1)。当继续增加代表性样本时，正确率提高不明显。相较于未采用该方法(代表性样本为0)时的诊断正确率为71.5％，提高了18.85％(图8)。同理，代表性温州蜜柑的黄龙病显症、黄龙病未显症、健康、缺镁和缺锌样本为分别为20时，主品种(脐橙)和椪柑的黄龙病特征得到最佳的映射。利用主品种(脐橙)建立的轻量化卷积神经网络(MobileNetV3)迁移到椪柑黄龙病诊断的最佳正确率90.4％，对未显症柑橘黄龙病的正确率90.9％(表2)。当继续增加代表性样本时，正确率提高不明显。相较于未采用该方法(代表性样本为0)时的诊断正确率为62％，提高了28.4％(图9)。因此，本发明可以实现时空及品种变化下柑橘黄龙病的正确诊断。
表1椪柑黄龙病识别混淆矩阵
表2温州蜜柑黄龙病识别混淆矩阵
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (8)
1.一种适用于时空及品种变化下柑橘黄龙病快速诊断方法，其特征在于，包括：
S1：获取同一图像分辨率柑橘叶片的快速叶绿素荧光图像、稳态多光谱荧光图像和可见-近红外多光谱反射图像，形成采集的主品种数据集A，所述主品种为脐橙；
S2：利用生成对抗网络GAN扩充主品种数据集A；所述生成对抗网络GAN包含生成器G和判别器D两个深度神经网络模块；将主品种数据集A放进判别器D；在主品种数据集A的基础上，引入随机噪声到生成器G生成伪样本集A’，并与判别器D中的真实样本集，即主品种数据集A进行对抗训练；当达到纳什均衡时，对抗训练结束，生成器充分学习到判别器中真实样本集A的特征分布信息；
S3：将主品种数据集A和生成对抗网络生成的伪样本集A’进行合并，构成具有时间和空间变化的数据集(A+A’)，并按照设定比例分为训练集、验证集和预测集；
S4：利用数据集(A+A’)训练轻量化卷积神经网络MobileNetV3的判别模型F，实现时间和空间变化下脐橙黄龙病的识别；
S5：基于迁移学习的理论，再次引入另一生成对抗网络GAN1，基于数据集(A+A’)，生成对抗网络GAN1中的生成器G1仅作为特征提取器而不再生成伪样本集，而是用小样本的椪柑数据集B作为伪样本集；将脐橙和椪柑分别视为源域和目标域，当生成对抗网络GAN1中的对抗训练标签预测器损失和域判别损失达到最小，即达到纳什均衡时，判别器D1无法区分上述特征源自椪柑还是脐橙，则认为已充分学习到椪柑数据集B和数据集(A+A’)两个品种之间可供迁移的特征；主品种数据集(A+A’)和椪柑数据集B在特征空间得到最佳的映射，权重系数为Z，从而实现黄龙病特征在源域和目标域之间的适应；
S6：将已建立好的基于轻量化卷积神经网络MobileNetV3的判别模型F中除全连接层之外的其他神经网络层的权重冻结，并将全连接层的权重更新为Z；分类层softmax根据更新的权重，输出判别结果，以实现迁移学习，达到基于脐橙品种建立的判别模型迁移到柑橘黄龙病识别的目的。
2.根据权利要求1所述的一种适用于时空及品种变化下柑橘黄龙病快速诊断方法，其特征在于，所述主品种数据集A中包含在不同季节和不同果园采样到的不同染病程度、健康、缺锌和缺镁的样本，所述不同染病程度包括黄龙病显症和黄龙病未显症。
3.根据权利要求1所述的一种适用于时空及品种变化下柑橘黄龙病快速诊断方法，其特征在于，步骤S1中，获取同一图像分辨率柑橘叶片的快速叶绿素荧光图像、稳态多光谱荧光图像和可见-近红外多光谱反射图像，具体方法为：首先将待测柑橘叶片放到便携嵌入式采集设备的暗室，打开730nm的远红光，加快光系统电子的排空，使得叶片光系统电子受体和供体更快的回到初始状态，缩短暗适应时间；所述便携嵌入式采集设备先将滤光片模块切换到685nm带通滤光片位置，再打开中心波长620nm的红橙光，在红橙光开启后的50us、300us、2ms、100ms和300ms时刻，通过CCD相机获取对应时刻柑橘叶片的快速叶绿素荧光图像FO(t＝50us)、FK(t＝300us)、FJ(t＝2ms)、FI(t＝100ms)和FP(t＝300ms)，用于感知黄龙病病原菌对柑橘叶片光系统结构功能以及电子传递链的影响；接着关闭红橙光，打开中心波长365nm的紫外光，在滤光片模块分别切换到460nm、520nm、685nm和730nm时，通过CCD相机获取对应滤光片位置柑橘叶片的稳态多光谱荧光图像F460、F520、F685和F730，用于感知黄龙病病原菌对柑橘叶片光系统原初光化学反应以及次生代谢物质含量的影响；接着关闭紫外光，在滤光片模块切换滤光片到300-1000nm的窄带滤光片位置，依次打开中心波长分别为460nm、520nm、660nm、710nm、810nm和910nm单色光，通过CCD相机获取对应的反射图像R460、R520、R660、R710、R810和R910，用于感知黄龙病病原菌对柑橘叶片光子散射/反射能力以及有机物含量的影响；从而获得15张图片，用于综合反映柑橘叶片的光系统结构功能及电子传递链特性、光系统原初光化学反应及次生代谢物质含量、光子散射/反射能力及有机物含量的信息；上述信息的改变已经在未显症柑橘黄龙病叶片中体现，通过获取上述信息，有助于对未显症柑橘黄龙病的诊断；将单片柑橘叶片的这15张图片合成1张15个通道的tiff图像。
4.根据权利要求3所述的一种适用于时空及品种变化下柑橘黄龙病快速诊断方法，其特征在于，所述便携嵌入式采集设备包括暗室(1)、上盖(2)、控制单元(3)、成像模块(4)和光源模块(5)；所述成像模块(4)包括CCD相机(7)、滤光片模块(8)和镜头(9)，所述滤光片模块(8)安装在CCD相机(7)中感光传感器与镜头(9)之间；
所述光源模块(5)包括光源板，所述光源板上设有：带宽20nm、中心波长365nm的紫外光(17)，用于激发叶片的稳态多光谱荧光；带宽20nm、中心波长620nm的红橙光(10)，用于激发叶片的叶绿素荧光；带宽20nm、中心波长分别为460nm(11)、520nm(12)、660nm(13)、710nm(14)、810nm(15)和910nm(16)的单色光，用于激发叶片对应波长的反射光；带宽20nm、中心波长730nm的远红光(18)，用于加快光系统电子的排空，缩短暗适应时间，提高检测效率；
所述滤光片模块(8)包括滤光片转盘、均布于滤光片转盘周部的多个滤光片以及用于驱动滤光片转盘转动的步进电机(25)；所述多个滤光片包括：截止率大于90％的685nm带通滤光片(19)；300-1000nm的窄带滤光片(20)；带宽30nm、中心波长分别为460nm(21)、520nm(22)、685nm(23)、730nm(24)的窄带滤光片。
5.根据权利要求4所述的一种适用于时空及品种变化下柑橘黄龙病快速诊断方法，其特征在于，所述光源板安装在暗室(1)顶部内侧，所述光源板和暗室顶部正中对应开设有通孔，所述成像模块(4)安装于暗室(1)顶部上侧，且镜头穿过通孔伸向暗室内。
6.根据权利要求5所述的一种适用于时空及品种变化下柑橘黄龙病快速诊断方法，其特征在于，所述控制单元(3)包括Arduino控制单元和树莓派。
7.根据权利要求1所述的一种适用于时空及品种变化下柑橘黄龙病快速诊断方法，其特征在于，步骤S4具体包括以下步骤：
S4.1：所述生成对抗网络GAN由生成器G和判别器D组成；生成器用于生成主品种数据集A的伪样本A’，判别器用于判断生成的伪样本A’是否为真实样本A，根据判断结果调整生成器的参数，进而使伪样本A’逐渐逼近真实样本A；直至判别器判别准确率接近50％，即无法对真伪主品种样本进行准确判断时，停止生成对抗网络模型训练；生成对抗网络GAN的损失函数如式(1)所示：
式中，G为生成器，D为判别器，V(D,G)表示对抗损失，x为真实主品种数据，Pdata(x)为真实主品种数据集，z为随机噪声，PZ(Z)表示生成的主品种伪样本；训练判别器的目的是使lgD(x)尽可能大，以让判别器发挥判别样本真假的作用；训练生成器的目的是使1-D(G(z))尽可能小，以让生成的伪样本骗过判别器判别，达到以假乱真的目的；生成器D充分学习到判别器中训练样本主品种A的特征分布信息；通过该方式，伪样本集(数据集A’)中样本的特征足够真实且人工无法获取，可提高主品种数据集的多样性，达到扩充数据集的目的，克服人工采样的局限性；
S4.2：将主品种人工采样的数据集A和生成对抗网络生成的伪样本A’进行合并，构成具有时间和空间变化的数据集(A+A’)；
S4.3：利用此数据集(A+A’)按照60％，10％和30％的比例分为训练集、验证集和预测集输入模型，建立轻量化卷积神经网络(MobileNetV3)判别模型F，用于实现时间和空间变化下脐橙黄龙病的识别。
8.根据权利要求1所述的一种适用于时空及品种变化下柑橘黄龙病快速诊断方法，其特征在于，步骤S5具体包括以下步骤：
S5.1：引入新的生成对抗网络GAN1，基于主品种数据集(A+A’)，生成对抗网络GAN1中的生成器G1仅作为特征提取器而不再生成伪样本集，而是用小样本的椪柑数据集B作为伪样本集；所述的椪柑数据集B属于小样本；
S5.2：将脐橙和椪柑分别视为源域和目标域；当生成对抗网络GAN1中的对抗训练标签预测器损失和域判别损失达到最小时，达到纳什均衡时，判别器D1无法区分上述特征源自椪柑还是脐橙，即判别器D1判别准确率接近50％，则认为已充分学习到椪柑数据集B和主品种数据集(A+A’)两个品种之间可供迁移的特征；主品种数据集(A+A’)和椪柑数据集B在特征空间得到最佳的映射，权重系数为Z，实现了黄龙病特征在源域和目标域之间的适应；
S5.3：在此过程中，判别器D1学习一组权重，随着训练的进行，权重不断更新直至模型收敛；损失函数由生成器G1中的预测器损失Lc和域判别损失LD两部分组成；由于GAN1中的生成器G1仅作为特征提取器；对于G1来说，其特征输出为：
标签预测器的输出为：
Fy(Ff(x)；V,c)＝softmax(VFf(x)+c) (3)
综上，Lc损失的定义如式(4)所示：
式中，表示RD→[0,1]L的映射函数，/>为特征提取器从数据集(A+A’+B)中所提取的特征，/>为数据集(A+A’+B)的标签数据；
域判别损失LD，定义如式(5)所示：
为减少信息损失，引入与di相关的参数α，使迭代过程更加平稳；式中，di表示数据集(A+A’+B)中样本i的标签；di＝0时，表示域判别损失LD由主品种数据集(A+A’)引起的；而di＝1时，表示域判别损失LD由椪柑数据集B引起；
综上，整体的损失函数L由式(7)表示：
L＝Lc-λLD (7)
由于预测器与域判别器目标函数相反，所以将域判别损失LD乘以一个负数λ来实现对抗效果；
整体的损失函数L达到最小时，达到纳什均衡时，判别器D1无法区分上述特征源自椪柑还是脐橙，即判别器D1判别准确率接近50％，则认为已充分学习到椪柑数据集B和主品种数据集(A+A’)两个品种之间可供迁移的特征；主品种数据集(A+A’)和椪柑数据集B在特征空间得到最佳的映射的过程中，依据损失函数值对G1进行反向传播不断更新权重参数，实现黄龙病特征在源域和目标域之间的特征相适应；反向传播权重更新由式(8)表示：
式中，ω0为要更新的权重参数；为损失函数关于ω的梯度；α表示学习率；
S5.4：将已建立好的基于轻量化卷积神经网络MobileNetV3的判别模型F中除全连接层之外的其他神经网络层的权重冻结，并将全连接层的权重更新为Z；分类层softmax根据更新的权重，输出判别结果，以实现迁移学习，达到基于脐橙品种建立的判别模型迁移到柑橘黄龙病识别的目的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310328741.1A CN116844015B (zh) | 2023-03-30 | 2023-03-30 | 一种适用于时空及品种变化下柑橘黄龙病快速诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310328741.1A CN116844015B (zh) | 2023-03-30 | 2023-03-30 | 一种适用于时空及品种变化下柑橘黄龙病快速诊断方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116844015A true CN116844015A (zh) | 2023-10-03 |
| CN116844015B CN116844015B (zh) | 2024-01-30 |
Family
ID=88169439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310328741.1A Active CN116844015B (zh) | 2023-03-30 | 2023-03-30 | 一种适用于时空及品种变化下柑橘黄龙病快速诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116844015B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170131200A1 (en) * | 2014-06-15 | 2017-05-11 | The State of Israel, Ministry of Agriculture & Rural Development Agricultural Research Organizati | Method for huanglongbing (hlb) detection |
| CN110188824A (zh) * | 2019-05-31 | 2019-08-30 | 重庆大学 | 一种小样本植物病害识别方法及系统 |
| CN110363125A (zh) * | 2019-07-04 | 2019-10-22 | 浙江大学山东工业技术研究院 | 采用模型传递识别不同品种柑橘黄龙病的方法 |
| CN110553999A (zh) * | 2019-07-04 | 2019-12-10 | 浙江大学山东工业技术研究院 | 基于高光谱和叶绿素荧光成像融合的柑橘黄龙病检测方法 |
| CN110596055A (zh) * | 2019-05-30 | 2019-12-20 | 浙江大学山东工业技术研究院 | 基于叶绿素荧光成像技术的柑橘黄龙病检测方法 |
| CN113553972A (zh) * | 2021-07-29 | 2021-10-26 | 青岛农业大学 | 一种基于深度学习的苹果病害诊断方法 |
| CN115410192A (zh) * | 2022-08-30 | 2022-11-29 | 福建省农业科学院植物保护研究所 | 一种柑橘黄龙病图像采集与识别方法、存储介质及其系统 |
-
2023
- 2023-03-30 CN CN202310328741.1A patent/CN116844015B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170131200A1 (en) * | 2014-06-15 | 2017-05-11 | The State of Israel, Ministry of Agriculture & Rural Development Agricultural Research Organizati | Method for huanglongbing (hlb) detection |
| CN110596055A (zh) * | 2019-05-30 | 2019-12-20 | 浙江大学山东工业技术研究院 | 基于叶绿素荧光成像技术的柑橘黄龙病检测方法 |
| CN110188824A (zh) * | 2019-05-31 | 2019-08-30 | 重庆大学 | 一种小样本植物病害识别方法及系统 |
| CN110363125A (zh) * | 2019-07-04 | 2019-10-22 | 浙江大学山东工业技术研究院 | 采用模型传递识别不同品种柑橘黄龙病的方法 |
| CN110553999A (zh) * | 2019-07-04 | 2019-12-10 | 浙江大学山东工业技术研究院 | 基于高光谱和叶绿素荧光成像融合的柑橘黄龙病检测方法 |
| CN113553972A (zh) * | 2021-07-29 | 2021-10-26 | 青岛农业大学 | 一种基于深度学习的苹果病害诊断方法 |
| CN115410192A (zh) * | 2022-08-30 | 2022-11-29 | 福建省农业科学院植物保护研究所 | 一种柑橘黄龙病图像采集与识别方法、存储介质及其系统 |
Non-Patent Citations (1)
| Title |
|---|
| 翁海勇等: "叶绿素荧光成像技术下的柑橘黄龙病快速诊断", 《农业工程学报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116844015B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nagasubramanian et al. | Hyperspectral band selection using genetic algorithm and support vector machines for early identification of charcoal rot disease in soybean stems | |
| Singh et al. | Challenges and opportunities in machine-augmented plant stress phenotyping | |
| Feng et al. | Hyperspectral imaging combined with machine learning as a tool to obtain high‐throughput plant salt‐stress phenotyping | |
| Kolhar et al. | Plant trait estimation and classification studies in plant phenotyping using machine vision–A review | |
| JP5834584B2 (ja) | 情報処理装置、情報処理方法、プログラム及び蛍光スペクトルの強度補正方法 | |
| CN109325495B (zh) | 一种基于深度神经网络建模的作物图像分割系统及方法 | |
| Veys et al. | Multispectral imaging for presymptomatic analysis of light leaf spot in oilseed rape | |
| CN105548113B (zh) | 一种基于叶绿素荧光和多光谱图像的植物生理监测方法 | |
| Shi et al. | Amur tiger stripes: Individual identification based on deep convolutional neural network | |
| He et al. | Combining multicolor fluorescence imaging with multispectral reflectance imaging for rapid citrus Huanglongbing detection based on lightweight convolutional neural network using a handheld device | |
| Divakar et al. | Smote-DL: a deep learning based plant disease detection method | |
| CN114418027B (zh) | 一种基于波段注意力机制的高光谱图像特征波段选择方法 | |
| Aasim et al. | Light-emitting diodes induced in vitro regeneration of Alternanthera reineckii mini and validation via machine learning algorithms | |
| Kumar et al. | Apple Sweetness Measurement and Fruit Disease Prediction Using Image Processing Techniques Based on Human‐Computer Interaction for Industry 4.0 | |
| Singh et al. | Phenomics based prediction of plant biomass and leaf area in wheat using machine learning approaches | |
| CN116844015B (zh) | 一种适用于时空及品种变化下柑橘黄龙病快速诊断方法 | |
| Bhowmik et al. | RiceCloud: a cloud integrated ensemble learning based rice leaf diseases prediction system | |
| Kolhar et al. | Phenomics for Komatsuna plant growth tracking using deep learning approach | |
| Qiao et al. | Vigour testing for the rice seed with computer vision-based techniques | |
| Fanourakis et al. | Non‑invasive leaf hydration status determination through convolutional neural networks based on multispectral images in chrysanthemum | |
| Watt et al. | Previsual and early detection of myrtle rust on rose apple using indices derived from thermal imagery and visible-to-short-infrared spectroscopy | |
| Yang et al. | Classification of germination images of pear pollen using random forest and convolution neural network models | |
| Miao et al. | Research on Soybean Disease Identification Method Based on Deep Learning | |
| CN112179881B (zh) | 基于叶绿素荧光成像的绿豆叶斑病的早期检测方法 | |
| Coltelli et al. | Algae through the looking glass |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |