CN112016392B - 一种基于高光谱图像的大豆虫害程度的小样本检测方法 - Google Patents

一种基于高光谱图像的大豆虫害程度的小样本检测方法 Download PDF

Info

Publication number
CN112016392B
CN112016392B CN202010691640.7A CN202010691640A CN112016392B CN 112016392 B CN112016392 B CN 112016392B CN 202010691640 A CN202010691640 A CN 202010691640A CN 112016392 B CN112016392 B CN 112016392B
Authority
CN
China
Prior art keywords
model
soybean
data
hyperspectral
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010691640.7A
Other languages
English (en)
Other versions
CN112016392A (zh
Inventor
桂江生
费婧怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN202010691640.7A priority Critical patent/CN112016392B/zh
Publication of CN112016392A publication Critical patent/CN112016392A/zh
Application granted granted Critical
Publication of CN112016392B publication Critical patent/CN112016392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于高光谱图像的大豆虫害程度的小样本检测方法。采用Gabor方法对光谱进行预处理,使用主成分分析法降低高光谱图像维度,建立小样本学习模型,并采用高光谱成像技术,高光谱图像包含一个二维的空间维度和一个一维的光谱维度,可以同时提供空间信息和光谱信息,对高光谱图像的三个维度(空间‑光谱维)进行特征提取并进行分类,以得到更加全面的特征,使得检测结果更加准确,具有无损坏、无污染、自动化、快速高效等优点。小样本学习模型,可以对少量样本进行分类,也可以对未训练的新类别进行分类,解决了神经网络需要收集大量数据的难题。

Description

一种基于高光谱图像的大豆虫害程度的小样本检测方法
技术领域
本申请属于食品检测技术领域,具体涉及一种基于高光谱图像的大豆虫害程度的小样本检测方法。
背景技术
大豆作为主要的粮食作物,有着较高的营养价值,并广泛应用于食用、饲用、医药、工业等方面。然而,在大豆种植以及储存过程中,虫害问题逐渐严重,对大豆的产量产生了严重的影响。因此,合理的防治大豆虫害是一项非常重要且紧迫的工作。
农作物病虫害具有种类多、影响大、并时常爆发成灾的特点。现今,精准农业成为全球农业发展的必然趋势,其中如何快速实时获取作物虫害信息,特别是在作物虫害早期的诊断和检测对防治虫害的大面积爆发造成产量的大规模下降以及品质的下降具有重要的意义,也是实现精准农业,提高农业产量的关键问题。
我国大豆虫害发生种类多达100左右,危害较大的有30余种,其中较严重而且普遍的有10余种。大豆食心虫、大豆蚜虫、豆荚螟、豆天蛾、造桥虫、豆秆黑潜蝇等是主要害虫,其中大豆食心虫是众多虫害中最为主要的一种害虫。大豆食心虫一年仅发生一代,以老熟幼虫在豆田、晒场及附近土壤内做茧越冬。成虫在豆荚上产卵,孵化的幼虫进入豆荚咬食豆粒,对大豆的产量造成严重威胁,并且大豆食心虫幼虫咬食大豆,并在大豆上排泄,严重影响大豆的品质。此外,成虫在晾晒在晒谷场的大豆种子上产卵,导致存储起来的大豆受到大豆食心虫的侵害,降低大豆的存储量以及品质。
传统的检测大豆虫害的技术主要有:人工感官判断、气味分析技术、生物测定技术、分子标记技术等。这些方法操作复杂,消耗大豆,耗时长,且不适合于无损在线的快速检测,不利于推广。
因此,研发一种简单、快速、无损、样本需求量少的大豆虫害检测技术具有重要的意义。
发明内容
本申请的目的在于提供一种基于高光谱图像的大豆虫害程度的小样本检测方法,能够实现大豆虫害程度的快速、无损检测。
为实现上述目的,本申请所采取的技术方案为:
一种基于高光谱图像的大豆虫害程度的小样本检测方法,用于大豆的无损检测,所述基于高光谱图像的大豆虫害程度的小样本检测方法,包括:
步骤S1、采集具有不同虫害程度的待检测大豆样本的高光谱图像,并对所采集的高光谱图像进行黑白校正;
步骤S2、提取黑白校正后的高光谱图像的感兴趣区域,计算感兴趣区域中所有像素的光谱反射率的平均值作为待检测大豆样本的平均光谱;所述感兴趣区域为以10像素为边长的正方形区域;
步骤S3、采用Gabor滤波方法对所述平均光谱进行滤波处理,得到去除噪声后的具有平滑光谱信息的高光谱数据;
步骤S4、对步骤S3中得到的高光谱数据,使用主成分分析方法进行数据降维处理,得到消除冗余信息后的高光谱数据;
步骤S5、对步骤S4中得到的高光谱数据的三个维度进行归一化处理,对归一化处理后的高光谱数据进行标记作为测试集;
步骤S6、建立小样本学习模型,获取CAVE数据集作为训练集,利用所述训练集训练小样本学习模型,确定最终的小样本学习模型作为大豆虫害程度检测模型;所述小样本学习模型为MAML模型、MN模型或RN模型;
步骤S7、利用所述测试集测试所述大豆虫害程度检测模型的分类效果,若分类效果未满足预设条件,则返回步骤S6重新训练;否则利用所述大豆虫害程度检测模型进行大豆虫害程度检测。
以下还提供了若干可选方式,但并不作为对上述总体方案的额外限定,仅仅是进一步的增补或优选,在没有技术或逻辑矛盾的前提下,各可选方式可单独针对上述总体方案进行组合,还可以是多个可选方式之间进行组合。
作为优选,所述具有不同虫害程度的待检测大豆样本,包括:
正常的大豆、表面附着有食心虫虫卵的大豆、正被食心虫幼虫咬食的大豆、食心虫咬食大豆完毕脱离后的大豆。
作为优选,所述主成分分析方法,包括:
获取需要降维处理的高光谱数据形成数据集X且X=x1,x2,x3,…,xn,n为数据集X中数据的总个数;
设定降维处理的目标为降到k维;
按列计算数据集X的均值Xmean,然后每一位数据减去各自的均值,即Xnew=X-Xmean
计算数据集Xnew的协方差矩阵
用特征值分解方法求协方差矩阵的特征值与特征向量;
对特征值从大到小排序,选择其中最大的k个,然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵P;
将数据转换到k个特征向量的新空间中,即Y=P×Xnew,即得到降维处理后的数据集Y。
作为优选,所述MAML模型,包括:
所述MAML模型根据CAVE数据集中的所有数据形成期望模型适应的任务的分布p(T),p(T)中的每个任务包含训练集和测试集,其中训练集的数据小于测试集的数据,随机定义元初始参数θ,从p(T)中抽取任务Ti,训练模型对任务Ti计算一次梯度下降寻找最优的元初始参数,梯度下降公式:
其中,MAML模型由函数fθ表示,θ′i是中间参数,α是学习率,是任务Ti的损失,是任务Ti的梯度;
更新元初始参数θ为:
其中,β是元步长;
所述MAML模型包括特征提取网络,所述MAML模型的特征提取网络的网络模型为3D-ResNet18模型或3D-Conv4模型,所述3D-ResNet18模型由3D卷积层、BatchNormal归一化层、Relu激活函数、最大池化层、常规残差模块和平均池化层组成,其中所述3D-ResNet18模型的3D卷积层的卷积核为7×7×7,所述常规残差模块共有8个,每个常规残差模块中卷积层的卷积核为3×3×3,所述最大池化层的卷积核为3×3×3、学习率为0.01,损失函数为交叉熵损失函数;所述3D-Conv4模型由3D卷积层、BatchNormal归一化层、Relu激活函数和最大池化层组成,共4个卷积层,其中3D-Conv4模型的3D卷积层的卷积核为3×3×3,最大池化层的卷积核为3×3×3。
作为优选,所述MN模型,包括:
所述MN模型根据CAVE数据集中的所有数据形成期望模型适应的任务的分布p(T),p(T)中每个任务包含支撑集和测试样本/>其中k为类别数,通过记忆网络g(.)对支撑集S中的样本进行编码,记忆网络f(.)对测试样本/>进行编码,g(.)表示双向LSTM,f(.)表示LSTM,通过度量测试样本/>与支撑集中样本xi的余弦距离计算匹配程度,预测输出测试样本的类别/>
其中,yi是样本xi对应的类别,a是注意力机制:
所述MN模型由特征提取网络、记忆网络、距离度量网络和注意力分类网络组成,所述特征提取网络的网络模型为3D-ResNet18模型或3D-Conv4模型,训练数据使用的记忆网络g(.)为双向LSTM,测试数据使用的记忆网络f(.)为LSTM,所述距离度量网络使用余弦距离度量两个样本间的距离,所述注意力分类网络采用softmax损失函数分类。
作为优选,所述RN模型,包括:
所述RN模型根据CAVE数据集中的所有数据形成期望模型适应的任务的分布p(T),p(T)中的每个任务包含支撑集和查询集/>其中k为类别数,支撑集和查询集的样本输入特征提取网络得到特征向量f(xi),f(xj),然后将支撑集和查询集的样本的特征向量拼接到一起,最后将连接到一起的特征输入RN模型度量两者间的距离,并输出关系得分ri,j
ri,j=h(C(f(xi),f(xj)))
其中,h(.)为特征提取网络的网络模型,用于RN模型度量两个样本间的距离,C(.)为拼接函数,用于将两个特征拼接,所述特征提取网络的网络模型为3D-ResNet18模型或3D-Conv4模型;
所述RN模型包括3个卷积层,第1层的卷积核为1×1,后两层的卷积核均为3×3。
本申请提供的基于高光谱图像的大豆虫害程度的小样本检测方法,采用Gabor方法对光谱进行预处理,使用主成分分析法降低高光谱图像维度,建立小样本学习模型,并采用高光谱成像技术,高光谱图像包含一个二维的空间维度和一个一维的光谱维度,可以同时提供空间信息和光谱信息,对高光谱图像的三个维度(空间-光谱维)进行特征提取并进行分类,以得到更加全面的特征,使得检测结果更加准确,具有无损坏、无污染、自动化、快速高效等优点。小样本学习模型,可以对少量样本进行分类,也可以对未训练的新类别进行分类,解决了神经网络需要收集大量数据的难题。
附图说明
图1为本申请的基于高光谱图像的大豆虫害程度的小样本检测方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是在于限制本申请。
在其中一个实施例中,提供基于高光谱图像的大豆虫害程度的小样本检测方法,用于大豆的小样本无损检测。本技术方案基于高光谱成像技术,高光谱成像技术在电磁波谱的紫外、可见光、近红外和中红外区域,以数十至数百个连续且细分的光谱波段对目标区域同时成像。在获得地表图像信息的同时,也获得其光谱信息,采集的图像具有图像与光谱结合的优点。
如图1所示,本实施例中基于高光谱图像的大豆虫害程度的小样本检测方法,包括以下步骤:
步骤S1、采集具有不同虫害程度的待检测大豆样本的高光谱图像,并对所采集的高光谱图像进行黑白校正。
本实施例中所采用的具有不同虫害程度的待检测大豆样本,包括正常的大豆、表面附着有虫卵的大豆、正被幼虫咬食的大豆、害虫咬食完毕脱离后的大豆这4种类别,并且每一类别设有不同的标记,并且获得的高光谱图像添加对标记相对应的标签。
由于大豆多数受食心虫侵蚀,因此本实施例中以正常的大豆、表面附着有食心虫虫卵的大豆、正被食心虫幼虫咬食的大豆、食心虫咬食完毕脱离后的大豆为例进行说明。本实施例的方法同样适用于其他害虫对大豆侵蚀程度的检测,并且对其他农作物的受侵蚀程度的检测也具有较好的检测效果。
其中的大豆与食心虫均为本地农户处购买得到,并假定购买得到的大豆为正常未受虫害的大豆,本实施例在大豆中放入的大豆食心虫以人为制作实验所需的被侵蚀的大豆样本,每组大豆样本取20个样本。
需要说明的是,以上所列举的仅为本实施例中使用的大豆样本,在其他实施例中,可放入不同的害虫种类,得到人为制作的实验所需的被侵蚀的大豆。
在进行高光谱图像采集操作时,本实施例采用的高光谱成像系统为四川双利合谱科技有限公司提供的Image-λ-V10E-PS高光谱成像系统,主要组成部分为成像光谱仪(Imperx IPX-2M30,Zolix),CCD相机,四盏150w的卤素灯,电控平移台以及一台计算机组成。其中成像光谱仪采集的光谱范围为383.70-1032.70nm,分辨率为2.73nm。高光谱数据采集软件为SpecView。
整个采集过程均在暗箱中进行,以防环境中的光对采集到的高光谱图像产生影响。采集高光谱图像前的参数为:曝光时间18ms,平台移动速度1.50cm/s,四盏150w的卤素灯与平台的夹角为50度。由于大豆表面光滑度高,在拍摄过程中容易产生反光,因此本实施例设定上述采集参数,以尽可能得到拍摄清楚的高光谱图像。
进行高光谱图像采集时,将高光谱成像系统中的四盏卤素灯打开30分钟预热,以此来确保光源的稳定。首先将白板放置在与大豆样本相同距离和照明位置,并充满相机一帧的采集范围,进行白板数据采集,然后依次对具有不同虫害程度的待检测大豆样本进行高光谱图像采集,最后关闭光源,并盖上镜头盖进行暗背景数据采集。将这些数据均采集完过后,对采集到的大豆高光谱图像进行黑白校正处理。
在一实施例中,黑白校正处理采用的黑白校正公式为:
其中:R是校正后的高光谱图像,I是大豆样本的原始高光谱图像,W为白板漫反射图像,B为暗背景图像。
步骤S2、提取黑白校正后的高光谱图像的感兴趣区域(ROI),计算感兴趣区域中所有像素的光谱反射率的平均值作为待检测大豆样本的平均光谱。
本实施例选取高光谱图像提取感兴趣区域时,所提取的感兴趣区域为以10像素为边长的正方形区域,并且该正方形区域的中心与高光谱图像中样本所在区域的中心相对应。感兴趣区域的提取可减少后期计算的成本。
以样本所在区域中心对应感兴趣区域的中心,可避免样本提取不全的问题。根据大豆的形态可知,其容易产生滚动位移,因此本实施例中采用截面为矩形(优选为正方形)的容器放置大豆样本,并且根据容器大小设置适宜的感兴趣区域大小。
容易理解的是,感兴趣区域的范围根据实际的高光谱图像进行设定,例如放置大豆样本的容器过小,则可适当缩小感兴趣区域;若放置大豆样本的容器过大,则可适当扩大感兴趣区域。重复相同的操作至获取全部测试样本的高光谱图像的感兴趣区域。
计算该正方形感兴趣区域内所有像素点的光谱反射率的平均值作为每个样本的平均光谱,从而得到每个样本的平均光谱。
步骤S3、采用Gabor滤波方法对所述平均光谱进行滤波处理,得到去除噪声后的具有平滑光谱信息的高光谱数据。
由于大豆表面具有弯曲弧度,并且可能存在凹凸表面,因此采集图像的过程中物体会发生漫反射,从而产生噪声,为了避免噪声对后续操作的影响,本实施例中通过Gabor滤波方法来消除噪声。
在一实施例中,提供一种Gabor滤波方法的计算公式为:
复数表达式:
实数表达式:
虚数表达式:
其中,x'=x cosθ+y sinθ,y'=-x sinθ+y cosθ,λ是正弦函数波长,θ是Gabor核函数的方向,是相位偏移量,σ是高斯函数的标准差,γ是空间的纵横比。
本实施例对每个样本(x,y)进行Gabor滤波,(这里的x,y表示在样本图像I(x,y)中抽取的样点x,y,仅用于表示Gabor滤波的计算)使得得到的光谱更加平滑,降低噪声对实验的影响,对后续的建模和检测具有重要的意义。对于针对大豆样本提取的高光谱图像而言,根据大豆形态特性以及食心虫侵入程度的不同,所获取的高光谱图像的亮度以及对比度变化较大,因此本实施例优选使用Gabor滤波进行滤波,以有效避免亮度、对比度等对滤波准确度的干扰。
需要说明的是,本实施例提供的Gabor滤波方法为现有的方法,部分细节不再进行赘述。并且所提供的Gabor滤波为优选的滤波方法,针对大豆虫害程度的检测具有较优的滤波效果。在实际应用场景中,根据需求不同,还可以采用现有的其他滤波方式对平均光谱进行滤波,例如Savitzky-Golay滤波、双边滤波等。
步骤S4、对步骤S3中得到的高光谱数据,使用主成分分析方法进行数据降维处理,得到消除冗余信息后的高光谱数据。
由于高光谱数据是由很多窄波段图像组成,波段间的相关性比较大,从而容易造成数据的冗余,使得造成大量的重复计算。为了避免数据冗余对后续操作的影响,本实例中使用主成分分析方法来降低维度。
在一实施例中,提供一种主成分分析方法为:
获取需要降维处理的高光谱数据形成数据集X且X=x1,x2,x3,…,xn,n为数据集X中数据的总个数。
设定降维处理的目标为降到k维。
按列计算数据集X的均值Xmean,然后每一位数据减去各自的均值,即Xnew=X-Xmean
计算数据集Xnew的协方差矩阵
用特征值分解方法求协方差矩阵的特征值与特征向量。
对特征值从大到小排序,选择其中最大的k个,然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵P。
将数据转换到k个特征向量的新空间中,即Y=P×Xnew,即得到降维处理后的数据集Y,也就是降维处理更新后的数据集X。
本实施例对每个样本进行主成分分析降维,降低数据冗余对实验的影响,对后续的建模和检测具有重要的意义。
需要说明的是,本实施例优选采用主成分分析法来降低维度,以保证能够清晰看到波普的贡献率。但在实际应用场景中,根据需求的不同还可采用现有的其他降维方式,例如线性判别分析、独立成分分析等。
步骤S5、对步骤S4中得到的高光谱数据的三个维度进行归一化处理,对归一化处理后的高光谱数据进行标记作为测试集。
归一化处理可将高光谱数据的三个维度的数据转化为处于同一数量级的数据,以便于对数据的处理。
在一实施例中,提供的归一化公式为:
其中,xi,max和xi,min分别为高光谱数据中空间或光谱维x中的最大值和最小值,xi为归一化前的像素或光谱数据,xi,norm为归一化后的像素或光谱数据。
步骤S6、建立小样本学习模型,获取CAVE数据集作为训练集,利用所述训练集训练小样本学习模型,确定最终的小样本学习模型作为大豆虫害程度检测模型。
由于在大豆检测过程中,需要采集待检测大豆样本的高光谱图像,受成本、人力、物力的限制,一般情况下无法采集到足够的高光谱图像,这对深度神经网络的训练而言是有很大影响的,容易造成最终的检测结果不够准确。因此本申请以小样本学习模型为基础,克服样本数量不足的缺陷,保证在有限环境下具有较高的检测结果。
现有技术中的小样本学习模型大致可以分为三类:Mode Based,Metric Based和Optimization Based。每一类均包含多个网络,例如Meta Network、Siamese Network、Match Network等等。
本申请为了建立针对性更强的检测网络,采用的小样本学习模型包括MAML(Model-Agnostic Meta Learning,与模型无关的元学习)模型、MN(Matching Network,匹配网络)模型、RN(Relation Network,关系网络)模型。
由于RN模型不满足单一且固定的距离度量方式,而是训练一个神经网络学习距离的度量方式,因此所度量的距离更具有针对性,并且所适用的场景也能更广。因此优选采用RN模型作为本实施例的小样本学习模型,RN模型,包括:
所述RN模型根据CAVE数据集中的所有数据形成期望模型适应的任务的分布p(T),p(T)中的每个任务包含支撑集和查询集/>其中k为类别数,支撑集和查询集的样本输入特征提取网络得到特征向量f(xi),f(xj),然后将支撑集和查询集的样本的特征向量拼接到一起,最后将连接到一起的特征输入RN模型度量两者间的距离,并输出关系得分ri,j
ri,j=h(C(f(xi),f(xj)))
其中,h(.)为特征提取网络的网络模型,用于RN模型度量两个样本间的距离,C(.)为拼接函数,用于将两个特征拼接,RN模型中的特征提取网络的网络模型为3D-ResNet18模型或3D-Conv4模型。
RN模型包括3个卷积层,第1层的卷积核为1×1,后两层的卷积核均为3×3;所述RN模型每轮迭代方式为:卷积运算,归一化操作,再叠加两层全连接层,激活函数为Relu,最后使用均方误差损失函数输出关系得分。
使用三维卷积核的特征提取网络能够更好地提取高光谱图像的特征,度量距离使用二维卷积核的神经网络能够有效地减少计算成本。
另外的,为了提高本申请检测方法的适用性,本实施例的小样本学习模型还可以替换为MAML模型,其中MAML模型,包括:
所述MAML模型根据CAVE数据集中的所有数据形成期望模型适应的任务的分布p(T),p(T)中的每个任务Ti包含训练集和测试集,其中训练集的数据小于测试集的数据,随机定义元初始参数θ,从p(T)中抽取任务Ti,训练模型对任务Ti计算一次梯度下降寻找最优的元初始参数,梯度下降公式:
其中,MAML模型由函数fθ表示,θ′i是中间参数,α是学习率,是任务Ti的损失,是任务Ti的梯度。
更新元初始参数θ为:
其中,β是元步长。
MAML模型包括特征提取网络,所述MAML模型的特征提取网络的网络模型为3D-ResNet18模型或3D-Conv4模型,所述3D-ResNet18模型由3D卷积层、BatchNormal归一化层、Relu激活函数、最大池化层、常规残差模块和平均池化层组成,其中所述3D-ResNet18模型的3D卷积层的卷积核为7×7×7,所述常规残差模块共有8个,每个常规残差模块中卷积层的卷积核为3×3×3,所述最大池化层的卷积核为3×3×3、学习率为0.01,损失函数为交叉熵损失函数;所述3D-Conv4模型由3D卷积层、BatchNormal归一化层、Relu激活函数和最大池化层组成,共4个卷积层,其中3D-Conv4模型的3D卷积层的卷积核为3×3×3,最大池化层的卷积核为3×3×3。
使用三维卷积核的神经网络能够更好地提取高光谱图像的特征,使得模型能够在高光谱图像上得到更好的泛化能力。
同理,本实施例的小样本学习模型还可以替换为MN模型,其中MN模型,包括:
所述MN模型根据CAVE数据集中的所有数据形成期望模型适应的任务的分布p(T),p(T)中每个任务包含支撑集和测试样本/>其中k为类别数,通过记忆网络g(.)对支撑集S中的样本进行编码,记忆网络f(.)对测试样本/>进行编码,g(.)表示双向LSTM,f(.)表示LSTM,通过度量测试样本/>与支撑集中样本xi的余弦距离计算匹配程度,预测输出测试样本的类别/>
其中,yi是样本xi对应的类别,a是注意力机制:
MN模型由特征提取网络、记忆网络、距离度量网络和注意力分类网络组成,所述特征提取网络的网络模型为3D-ResNet18模型或3D-Conv4模型,训练数据使用的记忆网络g(.)为双向LSTM,测试数据使用的记忆网络f(.)为LSTM,所述距离度量网络使用余弦距离度量两个样本间的距离,所述注意力分类网络采用softmax损失函数分类。使用三维卷积核的神经网络能够更好地提取高光谱图像的特征,提高分类的准确性。
需要说明的是,关于MAML模型、MN模型、RN模型中的3D-ResNet18模型和3D-Conv4模型的结构相同,在MN模型、RN模型不做过多重复描述。并且关于MAML模型、MN模型、RN模型本实施例中未提到的细节部分,可以参考现有技术中的限定,本实施例中不做进一步限定。
步骤S7、利用所述测试集测试所述大豆虫害程度检测模型的分类效果,若分类效果未满足预设条件,则返回步骤S6重新训练;否则利用所述大豆虫害程度检测模型进行大豆虫害程度检测。
最后输出的检测结果与采集的样本中所包含的类型相同。例如本实施例中采集的具有不同虫害程度的待检测大豆样本包括:正常的大豆、表面附着有食心虫虫卵的大豆、正被食心虫幼虫咬食的大豆、食心虫咬食大豆完毕脱离后的大豆。则最终大豆虫害程度检测模型输出的检测结果同样为正常的大豆或表面附着有食心虫虫卵的大豆或正被食心虫幼虫咬食的大豆或食心虫咬食大豆完毕脱离后的大豆。
为了进一步说明本实施例的检测方法对大豆的侵蚀程度检测具有实用性和有效性,以下提供一具体实例。
实施例1
本实施例中所采用的具有不同虫害程度的待检测大豆样本,包括正常的大豆、表面附着有虫卵的大豆、正被幼虫咬食的大豆、害虫咬食完毕脱离后的大豆这4种类别,每种3类别大豆样本取40个样本。
对每种类别中的每个的大豆样本获取高光谱图像,并对图像添加不同的标签作为实验图像。实验对象的检测算法分为3组,每组采用不同的小样本学习模型,即分别为MAML模型、MN模型、RN模型。实验结果如下表1所示。
表1不同小样本学习模型的检测算法的试验结果
由表1中的内容可知,本申请的基于高光谱图像的大豆虫害程度的小样本检测方法均具有较优的检测效果,并且在三种所采用的小样本学习模型中,RN小样本学习模型正确率达到82.75%±2.50%,模型达到很好的预测性能,比其他模型的预测效果更好。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于高光谱图像的大豆虫害程度的小样本检测方法,用于大豆的无损检测,其特征在于,所述基于高光谱图像的大豆虫害程度的小样本检测方法,包括:
步骤S1、采集具有不同虫害程度的待检测大豆样本的高光谱图像,并对所采集的高光谱图像进行黑白校正;
步骤S2、提取黑白校正后的高光谱图像的感兴趣区域,计算感兴趣区域中所有像素的光谱反射率的平均值作为待检测大豆样本的平均光谱;所述感兴趣区域为以10像素为边长的正方形区域;
步骤S3、采用Gabor滤波方法对所述平均光谱进行滤波处理,得到去除噪声后的具有平滑光谱信息的高光谱数据;
步骤S4、对步骤S3中得到的高光谱数据,使用主成分分析方法进行数据降维处理,得到消除冗余信息后的高光谱数据;
步骤S5、对步骤S4中得到的高光谱数据的三个维度进行归一化处理,对归一化处理后的高光谱数据进行标记作为测试集;
步骤S6、建立小样本学习模型,获取CAVE数据集作为训练集,利用所述训练集训练小样本学习模型,确定最终的小样本学习模型作为大豆虫害程度检测模型;所述小样本学习模型为MAML模型、MN模型或RN模型;
步骤S7、利用所述测试集测试所述大豆虫害程度检测模型的分类效果,若分类效果未满足预设条件,则返回步骤S6重新训练;否则利用所述大豆虫害程度检测模型进行大豆虫害程度检测。
2.如权利要求1所述的基于高光谱图像的大豆虫害程度的小样本检测方法,其特征在于,所述具有不同虫害程度的待检测大豆样本,包括:
正常的大豆、表面附着有食心虫虫卵的大豆、正被食心虫幼虫咬食的大豆、食心虫咬食大豆完毕脱离后的大豆。
3.如权利要求1所述的基于高光谱图像的大豆虫害程度的小样本检测方法,其特征在于,所述主成分分析方法,包括:
获取需要降维处理的高光谱数据形成数据集X且X=x1,x2,x3,…,xn,n为数据集X中数据的总个数;
设定降维处理的目标为降到k维;
按列计算数据集X的均值Xmean,然后每一位数据减去各自的均值,即Xnew=X-Xmean
计算数据集Xnew的协方差矩阵
用特征值分解方法求协方差矩阵的特征值与特征向量;
对特征值从大到小排序,选择其中最大的k个,然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵P;
将数据转换到k个特征向量的新空间中,即Y=P×Xnew,即得到降维处理后的数据集Y。
4.如权利要求1所述的基于高光谱图像的大豆虫害程度的小样本检测方法,其特征在于,所述MAML模型,包括:
所述MAML模型根据CAVE数据集中的所有数据形成期望模型适应的任务的分布p(T),p(T)中的每个任务包含训练集和测试集,其中训练集的数据小于测试集的数据,随机定义元初始参数θ,从p(T)中抽取任务Ti,训练模型对任务Ti计算一次梯度下降寻找最优的元初始参数,梯度下降公式:
其中,MAML模型由函数fθ表示,θ'i是中间参数,α是学习率,是任务Ti的损失,是任务Ti的梯度;
更新元初始参数θ为:
其中,β是元步长;
所述MAML模型包括特征提取网络,所述MAML模型的特征提取网络的网络模型为3D-ResNet18模型或3D-Conv4模型,所述3D-ResNet18模型由3D卷积层、BatchNormal归一化层、Relu激活函数、最大池化层、常规残差模块和平均池化层组成,其中所述3D-ResNet18模型的3D卷积层的卷积核为7×7×7,所述常规残差模块共有8个,每个常规残差模块中卷积层的卷积核为3×3×3,所述最大池化层的卷积核为3×3×3、学习率为0.01,损失函数为交叉熵损失函数;所述3D-Conv4模型由3D卷积层、BatchNormal归一化层、Relu激活函数和最大池化层组成,共4个卷积层,其中3D-Conv4模型的3D卷积层的卷积核为3×3×3,最大池化层的卷积核为3×3×3。
5.如权利要求1所述的基于高光谱图像的大豆虫害程度的小样本检测方法,其特征在于,所述MN模型,包括:
所述MN模型根据CAVE数据集中的所有数据形成期望模型适应的任务的分布p(T),p(T)中每个任务包含支撑集和测试样本/>其中k为类别数,通过记忆网络g(.)对支撑集S中的样本进行编码,记忆网络f(.)对测试样本/>进行编码,g(.)表示双向LSTM,f(.)表示LSTM,通过度量测试样本/>与支撑集中样本xi的余弦距离计算匹配程度,预测输出测试样本的类别/>
其中,yi是样本xi对应的类别,a是注意力机制:
所述MN模型由特征提取网络、记忆网络、距离度量网络和注意力分类网络组成,所述特征提取网络的网络模型为3D-ResNet18模型或3D-Conv4模型,训练数据使用的记忆网络g(.)为双向LSTM,测试数据使用的记忆网络f(.)为LSTM,所述距离度量网络使用余弦距离度量两个样本间的距离,所述注意力分类网络采用softmax损失函数分类。
6.如权利要求1所述的基于高光谱图像的大豆虫害程度的小样本检测方法,其特征在于,所述RN模型,包括:
所述RN模型根据CAVE数据集中的所有数据形成期望模型适应的任务的分布p(T),p(T)中的每个任务包含支撑集和查询集/>其中k为类别数,支撑集和查询集的样本输入特征提取网络得到特征向量f(xi),f(xj),然后将支撑集和查询集的样本的特征向量拼接到一起,最后将连接到一起的特征输入RN模型度量两者间的距离,并输出关系得分ri,j
ri,j=h(C(f(xi),f(xj)))
其中,h(.)为特征提取网络的网络模型,用于RN模型度量两个样本间的距离,C(.)为拼接函数,用于将两个特征拼接,所述特征提取网络的网络模型为3D-ResNet18模型或3D-Conv4模型;
所述RN模型包括3个卷积层,第1层的卷积核为1×1,后两层的卷积核均为3×3。
CN202010691640.7A 2020-07-17 2020-07-17 一种基于高光谱图像的大豆虫害程度的小样本检测方法 Active CN112016392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010691640.7A CN112016392B (zh) 2020-07-17 2020-07-17 一种基于高光谱图像的大豆虫害程度的小样本检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010691640.7A CN112016392B (zh) 2020-07-17 2020-07-17 一种基于高光谱图像的大豆虫害程度的小样本检测方法

Publications (2)

Publication Number Publication Date
CN112016392A CN112016392A (zh) 2020-12-01
CN112016392B true CN112016392B (zh) 2024-05-28

Family

ID=73498900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010691640.7A Active CN112016392B (zh) 2020-07-17 2020-07-17 一种基于高光谱图像的大豆虫害程度的小样本检测方法

Country Status (1)

Country Link
CN (1) CN112016392B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096080B (zh) * 2021-03-30 2024-01-16 四川大学华西第二医院 图像分析方法及系统
CN112816499B (zh) * 2021-04-19 2021-06-29 征图新视(江苏)科技股份有限公司 一种高光谱结合深度学习工业检测系统
CN112990371B (zh) * 2021-04-27 2021-09-10 之江实验室 一种基于特征扩增的无监督夜间图像分类方法
CN113642465B (zh) * 2021-08-13 2022-07-08 石家庄铁道大学 基于关系网络的轴承健康评估方法
CN114067160B (zh) * 2021-11-22 2023-04-07 重庆邮电大学 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法
CN115019215B (zh) * 2022-08-09 2022-12-09 之江实验室 一种基于高光谱图像的大豆病虫害识别方法和装置
CN117074353B (zh) * 2023-08-18 2024-05-03 广东省农业科学院设施农业研究所 一种荔枝果实蒂蛀虫无损检测方法和系统
CN117688835B (zh) * 2023-12-11 2024-06-04 哈尔滨航天恒星数据系统科技有限公司 一种土壤养分反演方法、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016091017A1 (zh) * 2014-12-09 2016-06-16 山东大学 一种高光谱图像分类中光谱向量互相关特征的抽取方法
CN108872091A (zh) * 2018-03-20 2018-11-23 浙江理工大学 一种基于高光谱成像的蔬菜农药残留浓度的检测方法
CN109359623A (zh) * 2018-11-13 2019-02-19 西北工业大学 基于深度联合分布适配网络的高光谱图像迁移分类方法
KR20190036459A (ko) * 2017-09-27 2019-04-04 한국과학기술원 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치
CN110516727A (zh) * 2019-08-20 2019-11-29 西安电子科技大学 基于fpga深度边缘滤波器的高光谱图像分类方法
CN110516668A (zh) * 2019-08-16 2019-11-29 浙江理工大学 一种基于高光谱成像技术的蜂蜜掺假检测方法和装置
CN110598594A (zh) * 2019-08-29 2019-12-20 武汉大学 基于空谱自适应双向长短时记忆模型的高光谱分类方法
CN111310571A (zh) * 2020-01-17 2020-06-19 中国科学院长春光学精密机械与物理研究所 一种基于空谱维滤波的高光谱图像分类方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740799B (zh) * 2016-01-27 2018-02-16 深圳大学 基于三维Gabor特征选择的高光谱遥感图像分类方法及系统
CN108444928B (zh) * 2018-03-12 2020-10-09 浙江大学 一种利用种胚谱图特征波段识别谷物种子冻伤情况的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016091017A1 (zh) * 2014-12-09 2016-06-16 山东大学 一种高光谱图像分类中光谱向量互相关特征的抽取方法
KR20190036459A (ko) * 2017-09-27 2019-04-04 한국과학기술원 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치
CN108872091A (zh) * 2018-03-20 2018-11-23 浙江理工大学 一种基于高光谱成像的蔬菜农药残留浓度的检测方法
CN109359623A (zh) * 2018-11-13 2019-02-19 西北工业大学 基于深度联合分布适配网络的高光谱图像迁移分类方法
CN110516668A (zh) * 2019-08-16 2019-11-29 浙江理工大学 一种基于高光谱成像技术的蜂蜜掺假检测方法和装置
CN110516727A (zh) * 2019-08-20 2019-11-29 西安电子科技大学 基于fpga深度边缘滤波器的高光谱图像分类方法
CN110598594A (zh) * 2019-08-29 2019-12-20 武汉大学 基于空谱自适应双向长短时记忆模型的高光谱分类方法
CN111310571A (zh) * 2020-01-17 2020-06-19 中国科学院长春光学精密机械与物理研究所 一种基于空谱维滤波的高光谱图像分类方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"Spatial-Spectral_Feature_Extraction_of_Hyperspectral_Images_using_Attribute_Profile_With_Partial_Reconstruction_and_3-D_Gabor_Filter_Bank";Mohammad Dowlatshah;《5th Conference on Signal Processing and Intelligent Systems, 18-19 December 2019, Shahrood University of Technology》;20200516;全文 *
"基于高光谱图像的西兰花表面多种农药残留检测";桂江生;《浙江大学学报》;20180925;全文 *
"高光谱成像在水果内部品质无损检测中的研究进展";马本学;《光谱学与光谱分析》;20090615;全文 *
"递归深度混合关注网络的细粒度图像分类方法";桂江生&;《计算机工程》;20190515;全文 *
SSCDenseNet:一种空-谱卷积稠密网络的高光谱图像分类算法;刘启超;肖亮;刘芳;徐金环;;电子学报;20200415(第04期);全文 *
多源异构大米品质等级非线性高光谱信息耦合识别模型研究;林萍;蒋善超;陈永明;辅小荣;顾春雷;;江苏农业科学;20181029(第20期);全文 *

Also Published As

Publication number Publication date
CN112016392A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112016392B (zh) 一种基于高光谱图像的大豆虫害程度的小样本检测方法
Perez-Sanz et al. Plant phenomics: An overview of image acquisition technologies and image data analysis algorithms
Kolhar et al. Plant trait estimation and classification studies in plant phenotyping using machine vision–A review
Al-Hiary et al. Fast and accurate detection and classification of plant diseases
Zhou et al. Wheat ears counting in field conditions based on multi-feature optimization and TWSVM
Pydipati et al. Identification of citrus disease using color texture features and discriminant analysis
Flores et al. Distinguishing seedling volunteer corn from soybean through greenhouse color, color-infrared, and fused images using machine and deep learning
CN109325431B (zh) 草原放牧绵羊采食路径中植被覆盖度的检测方法及其装置
CN106525732B (zh) 基于高光谱成像技术的苹果内外品质快速无损检测方法
Liu et al. A multispectral machine vision system for invertebrate detection on green leaves
Donis-González et al. Assessment of chestnut (Castanea spp.) slice quality using color images
Cointault et al. In‐field Triticum aestivum ear counting using colour‐texture image analysis
Aslahishahri et al. From RGB to NIR: Predicting of near infrared reflectance from visible spectrum aerial images of crops
Vu et al. Spatial and spectral features utilization on a hyperspectral imaging system for rice seed varietal purity inspection
Tao et al. Sex determination of silkworm pupae using VIS-NIR hyperspectral imaging combined with chemometrics
Zhou et al. Identification of the variety of maize seeds based on hyperspectral images coupled with convolutional neural networks and subregional voting
CN113657294A (zh) 一种基于计算机视觉的作物病虫害检测方法及系统
Tan et al. Identification of soybean seed varieties based on hyperspectral image
Parsaeian et al. Estimating oil and protein content of sesame seeds using image processing and artificial neural network
Mahalakshmi et al. RETRACTED ARTICLE: Agro Suraksha: pest and disease detection for corn field using image analysis
CN116297236A (zh) 一种基于高光谱的单粒玉米种子活力鉴别方法及装置
Abisha et al. Brinjal leaf diseases detection based on discrete Shearlet transform and Deep Convolutional Neural Network
Kuswidiyanto et al. Airborne hyperspectral imaging for early diagnosis of kimchi cabbage downy mildew using 3D-ResNet and leaf segmentation
Wu et al. A novel method for detection of pieris rapae larvae on cabbage leaves using nir hyperspectral imaging
Guan et al. A corn canopy organs detection method based on improved DBi-YOLOv8 network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant