CN114445817A - 基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法 - Google Patents

Abstract

本发明公开了一种基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法，属于人工智能和拉曼光谱应用领域，该方法包括：获取柑橘叶片的增强拉曼光谱数据，构建缺素症状识别的增强拉曼光谱识别网络；获取柑橘叶片的可见光图像，构建缺素症状识别的可见光图像辅助分类网络；分别利用增强拉曼光谱识别网络和可见光图像辅助分类网络对待识别柑橘叶片的缺素症状进行识别，并对识别结果进行加权求和，获取柑橘叶片缺素症状最终识别结果。本发明通过表面增强拉曼技术放大拉曼信号，反应叶片内部微弱的成分信息；利用增强拉曼光谱识别网络和可见光图像辅助分类网络相结合对缺素症状进行综合判断，极大地提高了柑橘缺素症状识别的准确性。

Description

基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法

技术领域

本发明涉及人工智能技术和拉曼光谱应用技术领域，更具体的说是涉及一种基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法。

背景技术

柑橘生长结果需要氮、磷、钾、钙、镁、铁、锰和铜等营养元素，任何一种营养元素的不足或者缺乏都会对柑橘生长结果造成不利影响，严重缺乏时柑橘生长缓慢，抗旱、抗寒和抗病虫害能力降低，产量和质量下降。一般来说，当柑橘某种元素缺乏时，增施其他营养元素的肥料，对改善树体生长结果没有作用或者作用很小。因此生产上判断柑橘缺乏哪种营养元素十分重要，但准确判断需要在实验室进行含量测定，测量流程比较繁杂。

随着人工智能技术的发展，一些研究人员将人工智能技术和图像进行结合，建立起基于深度学校的柑橘营养状况检测。然而，柑橘缺素症状比较复杂，早期和中期的外形表现不太明显，不容易通过肉眼识别。目前基于可见光图像的分类算法在柑橘缺素症状的识别上仍达不到较高的准确率。随着光谱应用的不断发展，部分研究人员使用光谱技术进行柑橘营养判断。

现有测量柑橘营养缺乏症状的方法是基于实验室条件下的营养元素含量测定，根据测量的营养元素含量判断不同的缺素症状，该方法提取和测量元素的过程复杂，具有高度的专业性，不利于推广。而结合人工智能技术和可见光图像的方法也存在一定的局限性，具体体现在可见光图像只能表现柑橘表面的信息，早期和中期缺素症状的叶片在柑橘表面上表现并不明显，无法有效地区分不同柑橘缺素症状，在表面特征区分不明显的情况下，无论是领域专家还是现有的可见光图像识别网络都不能高精度地识别。而光谱虽然能够在一定上反应柑橘的内部信息，但是对于柑橘内部微量的元素无法做出反应，无法有效地通过普通光谱技术进行营养元素的判断。

因此，如何对柑橘早期的缺素症状进行精准识别，有效判断柑橘缺素症状是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法，从拉曼光谱的角度出发，使用一种能够放大拉曼光谱强度的增强拉曼光谱对柑橘营养缺素症状进行判断，同时利用可见光图像辅助柑橘缺素症状的判断。

为了实现上述目的，本发明采用如下技术方案：

一种基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法，包括：

(1)获取柑橘叶片的增强拉曼光谱数据，构建柑橘缺素症状识别的增强拉曼光谱识别网络；

(2)获取柑橘叶片的可见光图像，构建柑橘缺素症状识别的可见光图像辅助分类网络；

(3)分别利用增强拉曼光谱识别网络和可见光图像辅助分类网络对待识别柑橘叶片的缺素症状进行识别，并对识别结果进行加权求和，获取柑橘缺素症状最终识别结果。

优选的，所述方法(1)中获取柑橘叶片的增强拉曼光谱数据具体包括：

获取柑橘叶片，清洗烘干后研磨成待测粉末；将待测粉末与蒸馏水混合制成待测样品溶液；将待测样品溶液置于表面增强拉曼芯片上，并利用微区拉曼光谱采集仪器获取柑橘叶片的增强拉曼光谱数据。

优选的，所述方法(1)中构建柑橘缺素症状识别的增强拉曼光谱识别网络具体包括以下步骤：

S11、对柑橘叶片的增强拉曼光谱数据进行预处理；

S12、将预处理后的增强拉曼光谱数据利用遗传算法进行波段选择；

S13、将波段选择后的增强拉曼光谱数据输入多层感知机进行特征提取，构建柑橘缺素症状识别的增强拉曼光谱识别网络。

优选的，所述步骤S11对柑橘叶片的增强拉曼光谱数据进行预处理具体包括：

处理同一波段采集到的重复增强拉曼光谱数据，将同一波段采集的多个增强拉曼光谱数据进行累加求平均作为该波段采集到的增强拉曼光谱数值；

将去重后的增强拉曼光谱数据用三次样条插值方法插值到整数值；

利用多项式最小二乘拟合方法对插值到整数值的增强拉曼光谱数据进行基线拟合，取拟合过后的曲线数值作为预处理后的增强拉曼光谱数据。

优选的，所述方法(2)中构建柑橘缺素症状识别的可见光图像辅助分类网络具体包括：

S21、基于破坏重建算法构建可见光图像训练网络，并利用获取的可见光图像对可见光图像训练网络进行训练，所述可见光图像训练网络包括EfficientNet卷积神经网络模型；

S22、利用训练好的可见光图像训练网络构建柑橘缺素症状识别的可见光图像辅助分类网络，使用少量的可见光图像数据进行辅助分类器网络的训练，调整网络权重。

优选的，所述S21中基于破坏重建算法构建可见光图像训练网络，具体包括：

S211、对可见光图像进行适配处理，根据叶片图像的大小将输入可见光图像划分为为6×6大小的子区域；

S212、在破坏模块中对可见光图像的子区域进行随机遮掩处理；

S213、将随机遮掩处理后的可见光图像数据输入EfficientNet卷积神经网络模型进行缺素症状特征信息提取；

S214、将提取的缺素症状特征信息输入区域对齐网络进行重建学习，同时将缺素症状特征信息也送入全连接层中进行对抗学习和分类；

S215、根据重建学习、对抗学习及分类的结果构建缺素症状识别的最优目标函数；

S216、使用随机梯度下降算法和余弦退火对最优目标函数进行优化，并训练目标函数优化后的EfficientNet卷积神经网络。

优选的，所述步骤S22具体包括：

利用迁移学习方法，将训练完成的可见光图像训练网络中的网络权重保留并加载到可见光图像辅助分类网络中。

优选的，所述方法(3)对识别结果进行加权求和具体包括：

构建决策器，利用决策器将增强拉曼光谱识别网络的识别结果和可见光图像辅助分类网络的识别结果以0.6:0.4的权重进行加权求和，获取柑橘缺素症状识的最终结果

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法，具有以下有益效果：

本发明通过表面增强拉曼光谱技术，借助表面增强拉曼芯片可以放大拉曼信号，能够反应物体内部微弱的成分信息，采集到波形丰富的光谱信息；

本发明利用增强拉曼光谱识别网络和可见光图像辅助分类网络相结合对缺素症状进行综合判断，可以极大地提高缺素症状识别的准确性；

本发明利用重建破坏算法训练卷积神经网络，通过在破坏模块加入随机遮掩和适配性的区域大小选择丰富训练样本的种类，并使用随机梯度下降SGD+余弦退火训练模型，可以得到比只使用卷积神经网络直接进行训练更具有良好特征提取能力的分类网络，利用迁移学习方法，将训练完成的骨干网络(EfficientNet)权重重新加载到辅助分类器网络中，并通过少量的可见光图像进行辅助分类器网络训练来调整网络权重，能够得到良好分类性能的可见光分类网络。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的方法流程示意图；

图2为本发明使用增强拉曼和图像辅助分类的识别网络图；

图3为本发明增强拉曼光谱分类网络MLP的构成图；

图4为本发明破坏重建算法训练的过程示意图；

图5为未使用增强技术采集的光谱和使用增强技术采集的光谱曲线对比图；

图中：3-MLP输入层，4-MLP第一中间层，5-MLP第二中间层，6-MLP输出层。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明公开了一种基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法，包括：

(1)获取柑橘叶片的增强拉曼光谱数据，构建柑橘缺素症状识别的增强拉曼光谱识别网络；

(2)获取柑橘叶片的可见光图像，构建柑橘缺素症状识别的可见光图像辅助分类网络；

(3)分别利用增强拉曼光谱识别网络和可见光图像辅助分类网络对待识别柑橘叶片的缺素症状进行识别，并对识别结果进行加权求和，获取柑橘缺素症状最终识别结果。

为了进一步优化上述技术方案，在一个实施例中获取柑橘叶片的增强拉曼光谱数据具体包括：

1.1采摘柑橘叶片，将叶片用清水洗净并晾干，设置烘干机的温度为70摄氏度，把晾干后的叶片放置于烘干机内，烘干期间利用电子天平对叶片进行称重，直至叶片中重量不再变化为止。

1.2取晾干后的叶片置于研磨器中，利用研磨器进行充分研磨取得每个样品粉末，每片叶片称取相同质量的粉末置于40毫升的滴管中进行搅拌，得待测溶液样本。

1.3用胶头滴管取一滴待测溶液置于表面增强拉曼芯片上，并将表面增强拉曼芯片置于微区拉曼光谱采集仪器上采集柑橘叶片的增强拉曼光谱数据。

为了进一步优化上述技术方案，在一个实施例中构建柑橘缺素症状识别的增强拉曼光谱识别网络具体包括以下步骤：

S11、对柑橘叶片的增强拉曼光谱数据进行预处理，具体包括：

去除同一波段采集到的重复数据，拉曼光谱仪采集的波段数比较多，可能会对同一波段进行重复采集，需要对重复采集的数据进行去除，将同一波段采集到的多个增强拉曼光谱数据进行累加求平均作为本波段采集到的光谱数值。

将不包含重复数据的增强拉曼光谱数据用三次样条插值方法插值到整数值。

利用多项式最小二乘拟合方法对插值到整数值的光谱数据进行拟合，去除荧光干扰，得到预处理后的最终增强拉曼光谱数据。

S12、将预处理后的增强拉曼光谱数据利用遗传算法进行波段选择；预处理后的增强拉曼光谱数据，拉曼光谱波段数较多，维度较大，因此使用遗传算法，根据提取的特征个数确定遗传算法中个体的长度，设置染色体长度为800，然后随机产生二进制种群进行初始化，1代表有这个特征，0代表没有这个特征，保证染色体中只有224个点的二进制数为1，代表选取了224个特征，同时设置交叉概率取值在0.7-0.8范围，采用两点交叉实现交叉操作，随机选择两个交叉点，互换两个父代个体基因，得到两个子代个体，变异概率取值在0.1-0.2范围，采用互换变异，随机选择染色体上两个位置，互换两个位置的基因值，然后根据这些特征进行svm训练与测试，用svm的分类精度作为适应度值进行迭代，适应度值高的染色体更有机会遗传下一代，直到达到最大迭代次数100次或者分类精度达到96％以上，输出最优的分类精度和其对应的染色体，染色体中为1的位置就是所要选择的特征。对增强后的拉曼光谱数据挑选224个目标波段数据。将降维后的拉曼光谱数据输入到多层感知机模型(MLP)中进行进一步特征提取。

S13、将波段选择后的增强拉曼光谱数据输入多层感知机进行特征提取，构建柑橘缺素症状识别的增强拉曼光谱识别网络。

为了进一步优化上述技术方案，在一个实施例中构建柑橘缺素症状识别的可见光图像辅助分类网络具体包括：

S21、基于破坏重建算法构建可见光图像训练网络，所述可见光图像训练网络包括EfficientNet卷积神经网络模型，并利用获取的可见光图像对可见光图像训练网络进行训练；具体包括：

S211、对可见光图像进行适配处理，根据叶片图像的大小将输入可见光图像划分为为6×6大小的子区域；

S212、在破坏模块中对可见光图像的子区域进行随机遮掩处理；

S213、将随机遮掩处理后的可见光图像数据输入EfficientNet卷积神经网络模型进行缺素症状特征信息提取；

S214、将提取的缺素症状特征信息输入区域对齐网络进行重建学习，同时将缺素症状特征信息也送入全连接层中进行对抗学习和分类；

S215、根据重建学习、对抗学习及分类的结果构建缺素症状识别的最优目标函数；

S216、使用随机梯度下降算法和余弦退火对最优目标函数进行优化，并训练目标函数优化后的EfficientNet卷积神经网络。

S22、利用训练好的可见光图像训练网络进行特征提取和分类，构建柑橘缺素症状识别的可见光图像辅助分类网络。

具体的，利用迁移学习方法，将训练完成的可见光图像训练网络中的网络权重保留并加载到可见光图像辅助分类网络中。

为了进一步优化上述技术方案，在一个实施例中对识别结果进行加权求和具体包括：

构建决策器，利用决策器将增强拉曼光谱识别网络的识别结果和可见光图像辅助分类网络的识别结果以0.6:0.4的权重进行加权求和，获取柑橘缺素症状识的最终结果。

如图2所示，在另外一个实施例中，构建增强拉曼光谱和可见光图像辅助分类的识别网络具体包括：

将预处理后的增强拉曼光谱数据输入光谱特征提取网络，拉曼光谱波段数较多，维度较大，因此使用遗传算法对增强后的拉曼光谱数据挑选224个感兴趣波段数据。将降维后的拉曼光谱数据输入到多层感知机模型(MLP)中进行进一步特征提取。

将卷积神经网络EfficientNet替换破坏重建中的骨干网络，训练完成后，将破坏重建中的骨干网络权重加载到可见光辅助分类器的神经网络模型上，并使用少量可见光图像数据进行辅助分类器网络的最终训练，利用训练完成的辅助分类器上的神经网络模型进行提取特征，将原图像分别经过左右翻转和随机光照增强，并将左右翻转、随机光照增强和原图像同时输入到神经网络中进行提取特征，根据不同输入图像提取不同特征信息，最后将不同图像的缺素识别结果进行平均加权求和。

将增强拉曼光谱对每个种类的评分结果和可见光辅助分类器的评分结果以0.6比0.4的权重进行加权求和，最终得到每个种类的得分结果，并根据结果进行最终判断。

如图3所示，上述实施例中，多层感知机模型的输入层神经元格数为224，第一中间层神经元个数为112，第二中间层神经元个数为56，输出层神经元个数为28。

如图4所示，在另一个实施例中可见光图像模型训练过程采用破坏重建算法，破坏重建算法是一种新颖的细粒度图像识别模型，主要由4部分组成，分别为破坏模块，分类网络，区域对齐网络以及对抗学习网络。破坏-重建方法通过引入破坏模块，区域对齐网络以及对抗学习网络解决了基础分类网络无法很好聚焦于样本重点区域的问题。由于样本的特征区域分布不均，为了让网络能够更好地学习到这些特征区域，在破坏重建算法的破坏模块上做了适配性处理，将输入图像划分为6×6大小的子区域，增大叶片子区域面积，从而使每一个叶片子区域中所包含的病状信息更加丰富。考虑到数据规模的大小，对原有的破坏模块加入随机子区域遮掩，防止模型记忆训练数据而过拟合。通过加入子区域遮掩功能，能极大地丰富数据的多样性。EfficientNet卷积神经网络同时考虑了网络的深度、宽度以及输入图像的分辨率，不像传统的方法那样任意缩放网络维度，因此本发明将EfficientNet作为整体的骨干网络。

设置初始图像为I，破坏后的图像为φ(I)，以及其相对应的一对多标签l(类别),组合为<I，φ(I)，l>用于训练模型。分类网络将输入图像映射为一个概率分布向量C(I，θ_cls),其中θ_cls表示分类网络中所有可学习的参数。分类网络的损失函数L_cls为：

其中

是训练集图片的集合。

使用破坏的图像并不总能为分类带来有益信息，破坏模块会引入噪声，从这些噪声视觉模式中学习的特征对分类任务是有害的。为此使用对抗网络来防止过度拟合破坏块引起的噪声模式进入特征空间。。对一张图片I，将其划分为N×N个子区域，每个区域标记为R_i，j，i和j分别表示行和列索引，1＜i，j＜N。给每张图片贴上one-hot标签向量d∈{0，1},使用0或1表示图像是否被破坏过。在网络输出层添加判别器作为新分支，通过以下方式判断图像I是否被破坏过：

D(I；θ_adv)＝softmax(θ_advC(I,θ[1,m]cls))

其中，C(I,θ[1,m]cls)是从骨干分类网络的第m层输出的特征向量，θ[1,m]cls是分类网络的从第1层到第m层的可学习参数，θ_adv∈R^d×2是一个线性映射判别器网络的损失L_adv计算方式为：

判别器是用来判别破坏的图像和原始图像，然后计算损失，需要判别器判别出是破坏的图像还是原始图像，达到去除特征域中噪声视觉模式的目的，L_cls和L_adv共同促进“破坏”学习，增强了具有判别性的局部细节，并且过滤掉了不相关的特征。

使用带有区域重建损失L_loc的区域对齐网络(region align network)测量图像中不同区域的位置精确度，引导基础网络通过端到端训练对区域间的语义相关性进行建模：

M(I)＝h(C(I；θ[1,n]cls)；θ_loc)

模型中，M(I)中两个通道分别对应的是行和列位置坐标，h是区域对齐网络，θ_loc是区域对齐网络的参数。记预测的区域R_σ(i,j)在I中是M_σ(i,j)(φ(I))，预测的区域R_(i,j)在I中是M_i,j(I,i,j)。这两个预测M_σ(i,j)(φ(I))和M_i,j(I,i,j)的真值都是(i,j)。然后计算区域对齐损失L_loc，定义为预测坐标与在原始坐标的L1距离，对齐损失L_loc表达式是：

区域重建损失有助于定位图像中的主要对象，并且倾向于找到子区域之间的相关性。通过端到端的训练，区域重建损失可以帮助分类基础网络建立对对象的深刻理解，并对结构信息进行建模。破坏学习主要有助于从判别性区域中进行学习，而重建学习有助于根据区域之间的语义相关性重新布置学习到的局部细节。

在破坏重建算法中，输入的图像通过破坏模块被随机打乱，接着经过骨干网络提取特征信息，将提取的特征信息送入区域对齐网络进行重建学习，同时也送入全连接层中进行对抗学习和分类。通过分类，对抗性和区域对齐损失以端到端的方式进行训练，网络可以利用增强的局部细节和良好建模的对象部分相关性来进行细粒度识别。经过上面的学习步骤，综合其损失函数，最小化以下目标函数为：

L＝αL_cls+βL_adv+γL_loc，其中α、β、γ分别代表分类损失、对抗损失和重建损失占总损失的比例系数，α+β+γ＝1。

在网络训练过程中使用梯度下降算法来优化目标函数时，在越接近损失loss的全局最小值时，学习率应该变得更小来使得模型尽可能接近这一最小值点，而余弦退火可以通过余弦函数来控制学习率，使模型的loss更接近全局最小值。在余弦函数中，随着x值的增加，余弦值首先缓慢下降，然后加速下降，再次缓慢下降。这种下降模式能和学习率配合，以一种十分有效的计算方式来产生很好的效果。在模型训练中采用随机梯度下降SGD+余弦退火模拟循环学习率的方式进行训练模型，从而达到加快模型收敛速度，防止模型过拟合。通过训练后，EfficientNet网络具有良好的特征提取能力，能够从细粒度的角度进行区分样本，因此将破坏重建中的EfficientNet的骨干部分权重加载到辅助分类器的网络中。

通过图5中曲线可以看出，未使用增强技术所采集的光谱曲线趋于平滑，本发明使用增强技术采集的曲线具有较为明显的特征峰和更加丰富的波形，可以放大光谱的信号。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法，其特征在于，所述方法包括：

(1)获取柑橘叶片的增强拉曼光谱数据，构建柑橘缺素症状识别的增强拉曼光谱识别网络；

(2)获取柑橘叶片的可见光图像，构建柑橘缺素症状识别的可见光图像辅助分类网络；

(3)分别利用增强拉曼光谱识别网络和可见光图像辅助分类网络对待识别柑橘叶片的缺素症状进行识别，并对识别结果进行加权求和，获取柑橘缺素症状最终识别结果。

2.根据权利要求1所述的基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法，其特征在于，所述方法(1)中获取柑橘叶片的增强拉曼光谱数据具体包括：

获取柑橘叶片，清洗烘干后研磨成待测粉末；将待测粉末与蒸馏水混合制成待测样品溶液；将待测样品溶液置于表面增强拉曼芯片上，并利用微区拉曼光谱采集仪器获取柑橘叶片的增强拉曼光谱数据。

3.根据权利要求1所述的基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法，其特征在于，所述方法(1)中构建柑橘缺素症状识别的增强拉曼光谱识别网络具体包括以下步骤：

S11、对柑橘叶片的增强拉曼光谱数据进行预处理；

S12、将预处理后的增强拉曼光谱数据利用遗传算法进行波段选择；

S13、将波段选择后的增强拉曼光谱数据输入多层感知机进行特征提取，构建柑橘缺素症状识别的增强拉曼光谱识别网络。

4.根据权利要求3所述的基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法，其特征在于，所述步骤S11对柑橘叶片的增强拉曼光谱数据进行预处理具体包括：

处理同一波段采集到的重复增强拉曼光谱数据，将同一波段采集的多个增强拉曼光谱数据进行累加求平均作为该波段采集到的增强拉曼光谱数值；

将去重后的增强拉曼光谱数据用三次样条插值方法插值到整数值；

利用多项式最小二乘拟合方法对插值到整数值的增强拉曼光谱数据进行基线拟合，取拟合过后的曲线数值作为预处理后的增强拉曼光谱数据。

5.根据权利要求1所述的基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法，其特征在于，所述方法(2)中构建柑橘缺素症状识别的可见光图像辅助分类网络具体包括：

S21、基于破坏重建算法构建可见光图像训练网络，并利用获取的可见光图像对可见光图像训练网络进行训练，所述可见光图像训练网络包括EfficientNet卷积神经网络模型；

S22、利用训练好的可见光图像训练网络构建柑橘缺素症状识别的可见光图像辅助分类网络。

6.根据权利要求5所述的基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法，其特征在于，所述步骤S21，具体包括：

S211、对可见光图像进行适配处理，根据叶片图像的大小将输入可见光图像划分为为6×6大小的子区域；

S212、在破坏模块中对可见光图像的子区域进行随机遮掩处理；

S213、将随机遮掩处理后的可见光图像数据输入EfficientNet卷积神经网络模型进行缺素症状特征信息提取；

S214、将提取的缺素症状特征信息输入区域对齐网络进行重建学习，同时将缺素症状特征信息输入入全连接层中进行对抗学习和分类；

S215、根据重建学习、对抗学习及分类的结果构建缺素症状识别的最优目标函数；

S216、使用随机梯度下降算法和余弦退火对最优目标函数进行优化，并训练目标函数优化后的EfficientNet卷积神经网络。

7.根据权利要求5所述的基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法，其特征在于，所述步骤S22，具体包括：

利用迁移学习方法，将训练完成的可见光图像训练网络中的网络权重保留并加载到可见光图像辅助分类网络中。

8.根据权利要求1所述的基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法，其特征在于，所述方法(3)对识别结果进行加权求和具体包括：

构建决策器，利用决策器将增强拉曼光谱识别网络的识别结果和可见光图像辅助分类网络的识别结果以0.6:0.4的权重进行加权求和，获取柑橘缺素症状识的最终结果。

Images