CN113591816B - 基于自监督引导编码网络的高光谱异常检测方法和系统 - Google Patents

基于自监督引导编码网络的高光谱异常检测方法和系统 Download PDF

Info

Publication number
CN113591816B
CN113591816B CN202111148777.9A CN202111148777A CN113591816B CN 113591816 B CN113591816 B CN 113591816B CN 202111148777 A CN202111148777 A CN 202111148777A CN 113591816 B CN113591816 B CN 113591816B
Authority
CN
China
Prior art keywords
self
supervision
sample
imaging data
hyperspectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111148777.9A
Other languages
English (en)
Other versions
CN113591816A (zh
Inventor
刘忆森
周松斌
万智勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Original Assignee
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Intelligent Manufacturing of Guangdong Academy of Sciences filed Critical Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Priority to CN202111148777.9A priority Critical patent/CN113591816B/zh
Publication of CN113591816A publication Critical patent/CN113591816A/zh
Application granted granted Critical
Publication of CN113591816B publication Critical patent/CN113591816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明实施例提供一种基于自监督引导编码网络的高光谱异常检测方法和系统,采用多种物品高光谱数据与正常目标检测物高光谱数据进行合成,生成人造异常光谱数据;采用自编码网络与自监督分类器联合优化,自监督分类器以自编码网络得到的编码特征为输入,对正常特征和人造异常特征进行分类,令自监督分类器对自编码网络实现引导作用,从而学习到对异常检测更有意义的低维特征。相对与传统自编码重建误差方法,该方法能够显著提升异常检测精度。

Description

基于自监督引导编码网络的高光谱异常检测方法和系统
技术领域
本发明实施例涉及高光谱数据分析技术领域,尤其涉及一种基于自监督引导编码网络的高光谱异常检测方法和系统。
背景技术
高光谱传感技术应用场景广泛,包括食品掺假检测、水果糖度检测、药品成分分析及假药鉴定、微生物含量检测、有机质含量检测等。在许多的基于高光谱的品质控制应用场景中,存在着品质缺陷类型多样,品质异常样品数量少、难以收集等问题。因此,想要通过收集到大量的各类型异常样本,训练分类模型来进行品质控制,在实际应用中是耗时费力,成本高昂的。因此,只采用方便获得的正常/合格样本来进行无监督的训练,识别出各种异常或缺陷的样本,从而实现有效的品质控制,具有重要的实际应用意义。
当前,在机器学习领域,采用自编码网络进行无监督异常检测是常用的方法。这种方法是基于相比于正常样本,异常样本会具有更大的自编码重建误差。然而,在实际应用中,自编码网络被训练用来压缩与重构输入数据,学习到的低维特征常常与正常或异常无关,导致异常数据也具有很低的重构误差,从而异常检测精度较低。
发明内容
本发明实施例提供一种基于自监督引导编码网络的高光谱异常检测方法和系统,采用自编码网络对平均光谱进行编码解码重建,采用自监督分类器对正常和人造异常样本的自编码特征进行分类,两个网络联合优化,令自监督分类器对自编码网络实现引导作用,从而学习到对异常检测更有意义的低维特征,提升异常检测精度。
第一方面,本发明实施例提供一种基于自监督引导编码网络的高光谱异常检测方法,包括:
步骤S1、采集检测目标正常样本、检测目标异常样本的高光谱成像数据以及非检测目标的高光谱成像数据;所述检测目标异常样本为存在品质缺陷、品质异常的检测目标;基于检测目标正常样本的高光谱成像数据构建训练集,基于检测目标正常样本的高光谱成像数据以及非检测目标的高光谱成像数据构建人造异常数据集;
步骤S2、构建自监督引导编码网络,所述自监督引导编码网络包括自编码模块和自监督分类器模块;所述自编码模块用于对平均光谱进行基于编码解码的信号重建,确定平均光谱的编码特征;所述自监督分类器模块用于对所述编码特征进行特征分类;
步骤S3、采用梯度下降方法,基于所述训练集和所述人造异常数据集对所述自监督引导编码网络进行训练,确定训练集的第一重建光谱;
步骤S4、基于训练好的自监督引导编码网络进行检测目标的高光谱异常检测,得到自编码模块的第二重建光谱,确定所述第一重建光谱与所述第二重建光谱的相似性均值,以所述相似性均值的相反数作为异常分数,若判断所述异常分数大于预设阈值,则判断样本为正常,否则判断样本为异常。
作为优选的,所述步骤S1具体包括:
步骤S11、对检测目标正常样本与检测目标异常样本进行高光谱成像数据采集;对非检测目标进行高光谱成像数据采集,形成多源高光谱成像数据集;
步骤S12、基于检测目标正常样本的高光谱成像数据构建训练集,基于检测目标正常样本的高光谱成像数据与检测目标异常样本的高光谱成像数据构建测试集;
步骤S13、对所述训练集中检测目标正常样本的高光谱成像数据和所述多源高光谱成像数据集中非检测目标的高光谱成像数据进行合成,生成人造异常数据集。
作为优选的,所述步骤S12具体包括:
基于分水岭算法对检测目标正常样本的高光谱成像数据与检测目标异常样本的高光谱成像数据进行分割,基于分割后得到的有效像素的光谱进行平均得到平均光谱,以作为自监督引导编码网络的输入;
划分训练集和测试集。
作为优选的,所述步骤S13具体包括:
步骤S131、基于分水岭算法对所述多源高光谱成像数据集中非检测目标的高光谱成像数据进行分割,并对分割结果中的有效像素的光谱进行平均,得到多源高光谱数据集的平均光谱;
步骤S132、随机抽取训练集中的检测目标正常样本的正常平均光谱xn和多源高光谱数据集的平均光谱x0进行合成,生成人造异常光谱xs
xs=αxn+(1-α)x0
其中α为[0,1]之间的常系数。
作为优选的,所述步骤S2中,构建自监督引导编码网络后,还包括:
构建自监督引导编码网络损失函数:
L=γ1*LAE2*LSSC
上式中,LAE、LSSC分别为自编码模块损失函数和自监督分类器模块损失函数,γ1、γ2为取值于[0,1]之间的常系数;
自编码模块损失函数为正常样本的LAE L2范式重建误差:
Figure GDA0003360577130000031
上式中,
Figure GDA0003360577130000032
为正常样本平均光谱,
Figure GDA0003360577130000033
为与
Figure GDA0003360577130000034
对应的重建光谱,N为训练集中检测目标正常样本数;
自监督分类器模块损失函数为所述训练集和所述人造异常数据集中样本的分类交叉熵:
Figure GDA0003360577130000035
其中,
Figure GDA0003360577130000036
为训练集中样本的标签,
Figure GDA0003360577130000037
为训练集中样本特征经过自监督分类器的预测值,
Figure GDA0003360577130000038
为人造异常数据集中样本的标签,
Figure GDA0003360577130000039
为人造异常数据集中样本特征经过自监督分类器的预测值,M为人造异常数据集中样本数量。
作为优选的,所述自编码模块包括编码器和解码器,所述编码器包括m个全连接层,所述解码器包括m个全连接层,输入光谱经过编码器得到编码特征z;检测目标正常样本的特征zn和人造异常数据集中样本特征zs作为自监督分类器模块的输入;自监督分类器模块包括n个全连接层,自监督分类器模块的输出层得到softmax分类概率值。
作为优选的,所述异常分数为Score(xt)为:
Figure GDA0003360577130000041
上式中,
Figure GDA0003360577130000042
为基于训练好的自监督引导编码网络进行检测目标的高光谱异常检测,得到自编码模块的第二重建光谱;
Figure GDA0003360577130000043
为训练集中检测目标正常样本经过训练好的自编码模块得到的第一重建光谱。
第二方面,本发明实施例提供一种基于自监督引导编码网络的高光谱异常检测系统,包括:
采集模块,采集检测目标正常样本、检测目标异常样本的高光谱成像数据以及非检测目标的高光谱成像数据;所述检测目标异常样本为存在品质缺陷、品质异常的检测目标;基于检测目标正常样本的高光谱成像数据构建训练集,基于检测目标正常样本的高光谱成像数据以及非检测目标的高光谱成像数据构建人造异常数据集;
网络构建模块,构建自监督引导编码网络,所述自监督引导编码网络包括自编码模块和自监督分类器模块;所述自编码模块用于对平均光谱进行基于编码解码的信号重建,确定平均光谱的编码特征;所述自监督分类器模块用于对所述编码特征进行特征分类;
训练模块,采用梯度下降方法,基于所述训练集和所述人造异常数据集对所述自监督引导编码网络进行训练,确定训练集的第一重建光谱;
异常检测模块,基于训练好的自监督引导编码网络进行检测目标的高光谱异常检测,得到自编码模块的第二重建光谱,确定所述第一重建光谱与所述第二重建光谱的相似性均值,以所述相似性均值的相反数作为异常分数,若判断所述异常分数大于预设阈值,则判断样本为正常,否则判断样本为异常。
第三方面,本发明实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明第一方面实施例所述基于自监督引导编码网络的高光谱异常检测方法的步骤。
第四方面,本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如本发明第一方面实施例所述基于自监督引导编码网络的高光谱异常检测方法的步骤。
本发明实施例提供的一种基于自监督引导编码网络的高光谱异常检测方法和系统,采用多种物品高光谱数据与正常目标检测物高光谱数据进行合成,生成人造异常光谱数据;采用自编码网络与自监督分类器联合优化,自监督分类器以自编码网络得到的编码特征为输入,对正常特征和人造异常特征进行分类,令自监督分类器对自编码网络实现引导作用,从而学习到对异常检测更有意义的低维特征。相对与传统自编码重建误差方法,该方法能够显著提升异常检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的基于自监督引导编码网络的高光谱异常检测方法流程框图;
图2为根据本发明实施例的自监督引导编码网络结构图;
图3为根据本发明实施例的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请实施例中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例中的术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元,而是可选地还包括没有列出的部件或单元,或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
在高光谱遥感领域,对于地物目标分类的像素级分类任务,在机器学习领域,采用自编码网络进行无监督异常检测是常用的方法。这种方法是基于相比于正常样本,异常样本会具有更大的自编码重建误差。然而,在实际应用中,自编码网络被训练用来压缩与重构输入数据,学习到的低维特征常常与正常或异常无关,导致异常数据也具有很低的重构误差,从而异常检测精度较低。
因此,本发明实施例提供一种基于自监督引导编码网络的高光谱异常检测方法和系统,采用自编码网络对平均光谱进行编码解码重建,采用自监督分类器对正常和人造异常样本的自编码特征进行分类,两个网络联合优化,令自监督分类器对自编码网络实现引导作用,从而学习到对异常检测更有意义的低维特征,提升异常检测精度。以下将通过多个实施例进行展开说明和介绍。
图1为本发明实施例提供一种基于自监督引导编码网络的高光谱异常检测方法,可应用于高光谱无损检测、食品掺假检测、水果糖度检测、药品成分分析及假药鉴定、微生物含量检测和有机质含量检测中,包括:
步骤S1、采集检测目标正常样本、检测目标异常样本的高光谱成像数据以及非检测目标的高光谱成像数据;所述检测目标异常样本为存在品质缺陷、品质异常的检测目标;基于检测目标正常样本的高光谱成像数据构建训练集,基于检测目标正常样本的高光谱成像数据以及非检测目标的高光谱成像数据构建人造异常数据集;
所述步骤S1具体包括:
步骤S11、对检测目标正常样本与检测目标异常样本进行高光谱成像数据采集;对非检测目标进行高光谱成像数据采集,形成多源高光谱成像数据集;本实施例中,非检测目标可以采用与检测目标不同的多种类物品;
步骤S12、基于检测目标正常样本的高光谱成像数据构建训练集,基于检测目标正常样本的高光谱成像数据与检测目标异常样本的高光谱成像数据构建测试集;
基于分水岭算法对检测目标正常样本的高光谱成像数据与检测目标异常样本的高光谱成像数据进行分割,基于分割后得到的有效像素的光谱进行平均得到平均光谱,以作为自监督引导编码网络的输入;
划分训练集合测试集,其中训练集包括正常样本,测试集包括正常样本与异常样本。
步骤S13、对所述训练集中检测目标正常样本的高光谱成像数据和所述多源高光谱成像数据集中非检测目标的高光谱成像数据进行合成,生成人造异常数据集。
步骤S131、基于分水岭算法对所述多源高光谱成像数据集中非检测目标的高光谱成像数据进行分割,并对分割结果中的有效像素的光谱进行平均,得到多源高光谱数据集的平均光谱;
步骤S132、随机抽取训练集中的检测目标正常样本的正常平均光谱xn和多源高光谱数据集的平均光谱x0进行合成,生成人造异常光谱xs
xs=αxn+(1-α)x0
其中,α为[0,1]之间的常系数。
步骤S2、构建自监督引导编码网络,所述自监督引导编码网络包括自编码模块和自监督分类器模块;所述自编码模块用于对平均光谱进行基于编码解码的信号重建,确定平均光谱的编码特征;所述自监督分类器模块用于对所述编码特征进行特征分类;
具体的,所述自编码模块包括编码器和解码器,所述编码器包括m个全连接层,所述解码器包括m个全连接层,输入光谱经过编码器得到编码特征z;检测目标正常样本的特征zn和人造异常数据集中样本特征zs作为自监督分类器模块的输入;自监督分类器模块包括n个全连接层,自监督分类器模块的输出层得到softmax分类概率值。
构建自监督引导编码网络损失函数,一维自编码网络损失函数、二维自编码网络损失函数构成:
L=γ1*LAE2*LSSC
上式中,LAE、LSSC分别为自编码模块损失函数和自监督分类器模块损失函数,γ1、γ2为取值于[0,1]之间的常系数;
自编码模块损失函数为正常样本的LAE L2范式重建误差:
Figure GDA0003360577130000081
上式中,
Figure GDA0003360577130000082
为正常样本平均光谱,
Figure GDA0003360577130000083
为与
Figure GDA0003360577130000084
对应的重建光谱,N为训练集中检测目标正常样本数;
自监督分类器模块损失函数为所述训练集和所述人造异常数据集中样本的分类交叉熵:
Figure GDA0003360577130000085
其中,
Figure GDA0003360577130000086
为训练集中样本的标签,
Figure GDA0003360577130000087
为训练集中样本特征经过自监督分类器的预测值,
Figure GDA0003360577130000088
为人造异常数据集中样本的标签,
Figure GDA0003360577130000089
为人造异常数据集中样本特征经过自监督分类器的预测值,M为人造异常数据集中样本数量。
步骤S3、采用梯度下降方法,基于所述训练集和所述人造异常数据集对所述自监督引导编码网络进行训练,训练过程中自编码模块与自监督分类器模块联合优化,确定训练集的第一重建光谱;
步骤S4、基于训练好的自监督引导编码网络进行检测目标的高光谱异常检测,得到自编码模块的第二重建光谱,确定所述第一重建光谱与所述第二重建光谱的相似性均值,以所述相似性均值的相反数作为异常分数,若判断所述异常分数大于预设阈值,则判断样本为正常,否则判断样本为异常。
所述异常分数为Score(xt)为:
Figure GDA00033605771300000810
上式中,
Figure GDA00033605771300000811
为基于训练好的自监督引导编码网络进行检测目标的高光谱异常检测,得到自编码模块的第二重建光谱;
Figure GDA00033605771300000812
为训练集中检测目标正常样本经过训练好的自编码模块得到的第一重建光谱。
本实施例为采用本发明方法对草莓异常进行预测,具体步骤如下:
S1、对草莓样本进行近红外高光谱成像数据采集:共采集939个草莓样本,包括600个正常草莓样本,300个异常草莓样本。异常样本具体包括139个淤伤样本、100个真菌感染样本、100个泥土污染样本。
对其他物品进行高光谱数据采集:具体包括蓝莓、番茄、奶粉、药片、葡萄、三文鱼、大麦、南星和樱桃9种物品。
高光谱波段为900nm-1700nm,共256通道,去除头尾100nm高噪声段,共180个光谱特征用于建模。
构建样本数据,具体步骤如下:
采用分水岭算法对高光谱图像进行分割,得到每个样本的有效像素。分割得到的草莓有效高光谱图像放入120×120pixel的空白背景中。
将所有有效像素的光谱进行平均得到平均光谱,作为网络输入。
构建训练集与测试集:其中随机选择300个正常样本作为训练集,剩余300个正常样本和339个异常样本作为测试集。
基于训练集正常样本和多源高光谱数据集,生成人造异常数据,具体步骤为:
采用分水岭算法对多源高光谱数据进行分割,并对有效像素进行平均,得到512条多源高光谱数据集的平均光谱;
采用下述公式,随机选择训练集中的正常平均光谱xn和多源高光谱数据及中的平均光谱xo进行合成,生成人造异常光谱xs
xs=αxn+(1-α)xo
其中α为取(0.05,0.3)之间的随机常数,共得到300条人造异常光谱数据。
S2、构建自监督引导编码网络,该网络由自编码模块、自监督分类器模块两个部分组成。其中自编码网络以平均光谱为输入信号,对平均光谱进行基于编码解码的信号重建,自编码模块的具体结构为:输入层(180)-全连接层(32,ReLu)-全连接层(16,Relu)-全连接层(32,ReLu)-输出层(180,Sigmoid)。输入光谱经过编码器得到长度为16的编码特征z作为自监督分类器的输入。
自监督分类器的具体结构为输入层(16)-全连接层(32,tanh)-全连接层(16,tanh)-输出层(2,Softmax),正常样本特征zn和人造异常样本特征zs经过该分类器,得到分类概率值。
构建自监督引导编码网络损失函数,具体由一维自编码网络损失函数、二维自编码网络损失函数构成:
L=0.001*LAE+LSSC
自编码模块损失函数为正常样本的LAE L2范式重建误差:
Figure GDA0003360577130000101
上式中,
Figure GDA0003360577130000102
为正常样本平均光谱,
Figure GDA0003360577130000103
为与
Figure GDA0003360577130000104
对应的重建光谱,300为训练集中检测目标正常样本数;
自监督分类器模块损失函数为所述训练集和所述人造异常数据集中样本的分类交叉熵:
Figure GDA0003360577130000105
其中,
Figure GDA0003360577130000106
为训练集中样本的标签,
Figure GDA0003360577130000107
为训练集中样本特征经过自监督分类器的预测值,
Figure GDA0003360577130000108
为人造异常数据集中样本的标签,
Figure GDA0003360577130000109
为人造异常数据集中样本特征经过自监督分类器的预测值,M为人造异常数据集中样本数量,取300。
S3、采用梯度下降方法,利用训练集正常样本及人造异常样本训练自监督引导编码网络,训练过程中自编码模块与自监督分类模块联合优化,共训练4000个epoch,学习率为0.0005;
S4、利用训练好的自监督引导编码网络进行样本预测。预测只利用训练好的自编码模块,采用自编码模块得到的重建信号与训练集重建信号余弦相似性均值的相反数,作为异常分数Score(xt),具体计算方法为:
Figure GDA00033605771300001010
上式中,
Figure GDA00033605771300001011
为基于训练好的自监督引导编码网络进行检测目标的高光谱异常检测,得到自编码模块的第二重建光谱;
Figure GDA00033605771300001012
为训练集中检测目标正常样本经过训练好的自编码模块得到的第一重建光谱。
当Score(xt)大于阈值th时,测试样本为异常,当异常分数小于或等于阈值th时,测试样本判定为正常。本例中,阈值th的制取方法为保证正常样本和异常样本数量正确,即已知测试集中有N-个异常样本,则判定前N-个具有最大异常分数的样本为异常,其余为正常。
正常样本进行10次随机抽样及相应的训练,异常检测结果取平均值用于模型评价。以一维自编码网络(AE)和单分类支持向量机(OCSVM)作为两种对比方法。对方法异常分阈值取值方法与本发明方法保持一致。模型采用曲线下面积(AUC)、F1分数(F1 score)、正常样本预测精度(ACC_normal)、淤伤样本预测精度(ACC_bruised)、真菌感染样本预测精度(ACC_infected)、泥土污染样本预测精度(ACC_contaminated)来评价。10次建模计算的结果对比见表1。
表1对比方法与本发明实施例方法得到的预测结果对比
Figure GDA0003360577130000111
由计算结果可见,本发明实施例所述方法对于该数据集的平均AUC为90.8%,自编码网络得到的平均AUC为70.4%,单分类支持向量机得到的平均AUC为70.9%,异常识别的精度显著提升。
本发明实施例还提供一种基于自监督引导编码网络的高光谱异常检测系统,基于上述各实施例中的基于自监督引导编码网络的高光谱异常检测方法,包括:
采集模块,采集检测目标正常样本、检测目标异常样本的高光谱成像数据以及非检测目标的高光谱成像数据;基于检测目标正常样本的高光谱成像数据构建训练集,基于检测目标正常样本的高光谱成像数据以及非检测目标的高光谱成像数据构建人造异常数据集;
网络构建模块,构建自监督引导编码网络,所述自监督引导编码网络包括自编码模块和自监督分类器模块;所述检测目标异常样本为存在品质缺陷、品质异常的检测目标;所述自编码模块用于对平均光谱进行基于编码解码的信号重建,确定平均光谱的编码特征;所述自监督分类器模块用于对所述编码特征进行特征分类;
训练模块,采用梯度下降方法,基于所述训练集和所述人造异常数据集对所述自监督引导编码网络进行训练,确定训练集的第一重建光谱;
异常检测模块,基于训练好的自监督引导编码网络进行检测目标的高光谱异常检测,得到自编码模块的第二重建光谱,确定所述第一重建光谱与所述第二重建光谱的相似性均值,以所述相似性均值的相反数作为异常分数,若判断所述异常分数大于预设阈值,则判断样本为正常,否则判断样本为异常。
基于相同的构思,本发明实施例还提供了一种实体结构示意图,如图3所示,该服务器可以包括:处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840,其中,处理器810,通信接口820,存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令,以执行如上述各实施例所述基于自监督引导编码网络的高光谱异常检测方法的步骤。例如包括:
步骤S1、采集检测目标正常样本、检测目标异常样本的高光谱成像数据以及非检测目标的高光谱成像数据;基于检测目标正常样本的高光谱成像数据构建训练集,基于检测目标正常样本的高光谱成像数据以及非检测目标的高光谱成像数据构建人造异常数据集;
步骤S2、构建自监督引导编码网络,所述自监督引导编码网络包括自编码模块和自监督分类器模块;所述检测目标异常样本为存在品质缺陷、品质异常的检测目标;所述自编码模块用于对平均光谱进行基于编码解码的信号重建,确定平均光谱的编码特征;所述自监督分类器模块用于对所述编码特征进行特征分类;
步骤S3、采用梯度下降方法,基于所述训练集和所述人造异常数据集对所述自监督引导编码网络进行训练,确定训练集的第一重建光谱;
步骤S4、基于训练好的自监督引导编码网络进行检测目标的高光谱异常检测,得到自编码模块的第二重建光谱,确定所述第一重建光谱与所述第二重建光谱的相似性均值,以所述相似性均值的相反数作为异常分数,若判断所述异常分数大于预设阈值,则判断样本为正常,否则判断样本为异常。
此外,上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
基于相同的构思,本发明实施例还提供一种非暂态计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包含至少一段代码,该至少一段代码可由主控设备执行,以控制主控设备用以实现如上述各实施例所述基于自监督引导编码网络的高光谱异常检测方法的步骤。例如包括:
步骤S1、采集检测目标正常样本、检测目标异常样本的高光谱成像数据以及非检测目标的高光谱成像数据;所述检测目标异常样本为存在品质缺陷、品质异常的检测目标;基于检测目标正常样本的高光谱成像数据构建训练集,基于检测目标正常样本的高光谱成像数据以及非检测目标的高光谱成像数据构建人造异常数据集;
步骤S2、构建自监督引导编码网络,所述自监督引导编码网络包括自编码模块和自监督分类器模块;所述自编码模块用于对平均光谱进行基于编码解码的信号重建,确定平均光谱的编码特征;所述自监督分类器模块用于对所述编码特征进行特征分类;
步骤S3、采用梯度下降方法,基于所述训练集和所述人造异常数据集对所述自监督引导编码网络进行训练,确定训练集的第一重建光谱;
步骤S4、基于训练好的自监督引导编码网络进行检测目标的高光谱异常检测,得到自编码模块的第二重建光谱,确定所述第一重建光谱与所述第二重建光谱的相似性均值,以所述相似性均值的相反数作为异常分数,若判断所述异常分数大于预设阈值,则判断样本为正常,否则判断样本为异常。
基于相同的技术构思,本申请实施例还提供一种计算机程序,当该计算机程序被主控设备执行时,用以实现上述方法实施例。
所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上,也可以部分或者全部存储在不与处理器封装在一起的存储器上。
基于相同的技术构思,本申请实施例还提供一种处理器,该处理器用以实现上述方法实施例。上述处理器可以为芯片。
综上所述,本发明实施例提供的一种基于自监督引导编码网络的高光谱异常检测方法和系统,采用多种物品高光谱数据与正常目标检测物高光谱数据进行合成,生成人造异常光谱数据;采用自编码网络与自监督分类器联合优化,自监督分类器以自编码网络得到的编码特征为输入,对正常特征和人造异常特征进行分类,令自监督分类器对自编码网络实现引导作用,从而学习到对异常检测更有意义的低维特征。相对与传统自编码重建误差方法,该方法能够显著提升异常检测精度。
本发明的各实施方式可以任意进行组合,以实现不同的技术效果。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidStateDisk)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于自监督引导编码网络的高光谱异常检测方法,其特征在于,包括:
步骤S1、采集检测目标正常样本、检测目标异常样本的高光谱成像数据以及非检测目标的高光谱成像数据;基于检测目标正常样本的高光谱成像数据构建训练集,基于检测目标正常样本的高光谱成像数据以及非检测目标的高光谱成像数据构建人造异常数据集;具体包括:
步骤S11、对检测目标正常样本与检测目标异常样本进行高光谱成像数据采集;对非检测目标进行高光谱成像数据采集,形成多源高光谱成像数据集;
步骤S12、基于检测目标正常样本的高光谱成像数据构建训练集,基于检测目标正常样本的高光谱成像数据与检测目标异常样本的高光谱成像数据构建测试集;
步骤S13、对所述训练集中检测目标正常样本的高光谱成像数据和所述多源高光谱成像数据集中非检测目标的高光谱成像数据进行合成,生成人造异常数据集;
步骤S2、构建自监督引导编码网络,所述自监督引导编码网络包括自编码模块和自监督分类器模块;所述自编码模块用于对平均光谱进行基于编码解码的信号重建,确定平均光谱的编码特征;所述自监督分类器模块用于对所述编码特征进行特征分类;
步骤S3、采用梯度下降方法,基于所述训练集和所述人造异常数据集对所述自监督引导编码网络进行训练,确定训练集的第一重建光谱;基于所述测试集对所述自监督引导编码网络进行测试;
步骤S4、基于训练好的自监督引导编码网络进行检测目标的高光谱异常检测,得到自编码模块的第二重建光谱,确定所述第一重建光谱与所述第二重建光谱的相似性均值,以所述相似性均值的相反数作为异常分数,若判断所述异常分数大于预设阈值,则判断样本为正常,否则判断样本为异常。
2.根据权利要求1所述的基于自监督引导编码网络的高光谱异常检测方法,其特征在于,所述步骤S12具体包括:
基于分水岭算法对检测目标正常样本的高光谱成像数据与检测目标异常样本的高光谱成像数据进行分割,基于分割后得到的有效像素的光谱进行平均得到平均光谱,以作为自监督引导编码网络的输入;
划分训练集合测试集。
3.根据权利要求1所述的基于自监督引导编码网络的高光谱异常检测方法,其特征在于,所述步骤S13具体包括:
步骤S131、基于分水岭算法对所述多源高光谱成像数据集中非检测目标的高光谱成像数据进行分割,并对分割结果中的有效像素的光谱进行平均,得到多源高光谱数据集的平均光谱;
步骤S132、随机抽取训练集中的检测目标正常样本的正常平均光谱xn和多源高光谱数据集的平均光谱x0进行合成,生成人造异常光谱xs
xs=αxn+(1-α)x0
其中α为[0,1]之间的常系数。
4.根据权利要求3所述的基于自监督引导编码网络的高光谱异常检测方法,其特征在于,所述步骤S2中,构建自监督引导编码网络后,还包括:
构建自监督引导编码网络损失函数:
L=γ1*LAE2*LSSC
上式中,LAE、LSSC分别为自编码模块损失函数和自监督分类器模块损失函数,γ1、γ2为取值于[0,1]之间的常系数;
自编码模块损失函数为正常样本的LAE L2范式重建误差:
Figure FDA0003360577120000021
上式中,
Figure FDA0003360577120000022
为正常样本平均光谱,
Figure FDA0003360577120000023
为与
Figure FDA0003360577120000024
对应的重建光谱,N为训练集中检测目标正常样本数;
自监督分类器模块损失函数为所述训练集和所述人造异常数据集中样本的分类交叉熵:
Figure FDA0003360577120000031
其中,
Figure FDA0003360577120000032
为训练集中样本的标签,
Figure FDA0003360577120000033
为训练集中样本特征经过自监督分类器的预测值,
Figure FDA0003360577120000034
为人造异常数据集中样本的标签,
Figure FDA0003360577120000035
为人造异常数据集中样本特征经过自监督分类器的预测值,M为人造异常数据集中样本数量。
5.根据权利要求4所述的基于自监督引导编码网络的高光谱异常检测方法,其特征在于,所述自编码模块包括编码器和解码器,所述编码器包括m个全连接层,所述解码器包括m个全连接层,输入光谱经过编码器得到编码特征z;检测目标正常样本的特征zn和人造异常数据集中样本特征zs作为自监督分类器模块的输入;自监督分类器模块包括n个全连接层,自监督分类器模块的输出层得到softmax分类概率值。
6.根据权利要求1所述的基于自监督引导编码网络的高光谱异常检测方法,其特征在于,所述异常分数为Score(xt)为:
Figure FDA0003360577120000036
上式中,
Figure FDA0003360577120000037
为基于训练好的自监督引导编码网络进行样本的高光谱异常检测,得到自编码模块的第二重建光谱;
Figure FDA0003360577120000038
为训练集中检测目标正常样本经过训练好的自编码模块得到的第一重建光谱。
7.一种基于自监督引导编码网络的高光谱异常检测系统,其特征在于,包括:
采集模块,采集检测目标正常样本、检测目标异常样本的高光谱成像数据以及非检测目标的高光谱成像数据;对检测目标正常样本与检测目标异常样本进行高光谱成像数据采集;对非检测目标进行高光谱成像数据采集,形成多源高光谱成像数据集;基于检测目标正常样本的高光谱成像数据构建训练集,基于检测目标正常样本的高光谱成像数据与检测目标异常样本的高光谱成像数据构建测试集;基于检测目标正常样本的高光谱成像数据以及非检测目标的高光谱成像数据构建人造异常数据集;对所述训练集中检测目标正常样本的高光谱成像数据和所述多源高光谱成像数据集中非检测目标的高光谱成像数据进行合成,生成人造异常数据集;
网络构建模块,构建自监督引导编码网络,所述自监督引导编码网络包括自编码模块和自监督分类器模块;所述自编码模块用于对平均光谱进行基于编码解码的信号重建,确定平均光谱的编码特征;所述自监督分类器模块用于对所述编码特征进行特征分类;
训练模块,采用梯度下降方法,基于所述训练集和所述人造异常数据集对所述自监督引导编码网络进行训练,确定训练集的第一重建光谱;
异常检测模块,基于训练好的自监督引导编码网络进行检测目标的高光谱异常检测,得到自编码模块的第二重建光谱,确定所述第一重建光谱与所述第二重建光谱的相似性均值,以所述相似性均值的相反数作为异常分数,若判断所述异常分数大于预设阈值,则判断样本为正常,否则判断样本为异常。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述基于自监督引导编码网络的高光谱异常检测方法的步骤。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于自监督引导编码网络的高光谱异常检测方法的步骤。
CN202111148777.9A 2021-09-29 2021-09-29 基于自监督引导编码网络的高光谱异常检测方法和系统 Active CN113591816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111148777.9A CN113591816B (zh) 2021-09-29 2021-09-29 基于自监督引导编码网络的高光谱异常检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111148777.9A CN113591816B (zh) 2021-09-29 2021-09-29 基于自监督引导编码网络的高光谱异常检测方法和系统

Publications (2)

Publication Number Publication Date
CN113591816A CN113591816A (zh) 2021-11-02
CN113591816B true CN113591816B (zh) 2022-02-22

Family

ID=78242728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111148777.9A Active CN113591816B (zh) 2021-09-29 2021-09-29 基于自监督引导编码网络的高光谱异常检测方法和系统

Country Status (1)

Country Link
CN (1) CN113591816B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445720B (zh) * 2021-12-06 2023-06-20 西安电子科技大学 基于空谱深度协同的高光谱异常检测方法
CN114494900A (zh) * 2021-12-29 2022-05-13 青岛畅索科技有限公司 异常目标检测方法、模型训练方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584221A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于监督式生成对抗网络的异常图像检测方法
CN110298235A (zh) * 2019-05-17 2019-10-01 中国科学院西安光学精密机械研究所 基于流形约束自编码网络的高光谱异常检测方法及系统
CN111461087A (zh) * 2020-06-16 2020-07-28 南京理工大学 基于光谱保持稀疏自编码器的高光谱异常检测方法
WO2021017416A1 (zh) * 2019-07-30 2021-02-04 重庆邮电大学 一种感知对抗生成下的深度压缩动力锂电池故障诊断方法
CN112733725A (zh) * 2021-01-12 2021-04-30 西安电子科技大学 基于多级循环卷积自编码网络的高光谱图像变化检测方法
CN113111969A (zh) * 2021-05-03 2021-07-13 齐齐哈尔大学 一种基于混合度量的高光谱图像分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170178311A1 (en) * 2015-12-20 2017-06-22 Prophecy Sensors, Llc Machine fault detection based on a combination of sound capture and on spot feedback
CN112784777B (zh) * 2021-01-28 2023-06-02 西安电子科技大学 基于对抗学习的无监督高光谱图像变化检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584221A (zh) * 2018-11-16 2019-04-05 聚时科技(上海)有限公司 一种基于监督式生成对抗网络的异常图像检测方法
CN110298235A (zh) * 2019-05-17 2019-10-01 中国科学院西安光学精密机械研究所 基于流形约束自编码网络的高光谱异常检测方法及系统
WO2021017416A1 (zh) * 2019-07-30 2021-02-04 重庆邮电大学 一种感知对抗生成下的深度压缩动力锂电池故障诊断方法
CN111461087A (zh) * 2020-06-16 2020-07-28 南京理工大学 基于光谱保持稀疏自编码器的高光谱异常检测方法
CN112733725A (zh) * 2021-01-12 2021-04-30 西安电子科技大学 基于多级循环卷积自编码网络的高光谱图像变化检测方法
CN113111969A (zh) * 2021-05-03 2021-07-13 齐齐哈尔大学 一种基于混合度量的高光谱图像分类方法

Also Published As

Publication number Publication date
CN113591816A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
Sabanci et al. A convolutional neural network‐based comparative study for pepper seed classification: Analysis of selected deep features with support vector machine
CN113591816B (zh) 基于自监督引导编码网络的高光谱异常检测方法和系统
CN112381756B (zh) 一种基于块平滑神经网络的高光谱数据分析方法和系统
Raikar et al. Classification and Grading of Okra-ladies finger using Deep Learning
Karakaya et al. A comparative analysis on fruit freshness classification
Kalkan et al. Detection of contaminated hazelnuts and ground red chili pepper flakes by multispectral imaging
CN113095409B (zh) 基于注意力机制和权值共享的高光谱图像分类方法
Yang et al. Multispectral image based germination detection of potato by using supervised multiple threshold segmentation model and Canny edge detector
Alajas et al. Prediction of grape leaf black rot damaged surface percentage using hybrid linear discriminant analysis and decision tree
Yang et al. Automatic detection of multi-type defects on potatoes using multispectral imaging combined with a deep learning model
Aherwadi et al. Fruit quality identification using image processing, machine learning, and deep learning: A review
CN115760724A (zh) 食品质量检测方法和系统
Sujithra et al. CRUN‐Based Leaf Disease Segmentation and Morphological‐Based Stage Identification
Ratha et al. Papaya fruit maturity estimation using wavelet and ConvNET
Paliwal et al. An overview of deep learning models for foliar disease detection in maize crop
Sánchez et al. Classification of cocoa beans based on their level of fermentation using spectral information
Brindha et al. Automatic detection of citrus fruit diseases using MIB classifier
Mohapatra et al. A precise model for accurate rice disease diagnosis: a transfer learning approach
Wang et al. Detection of Insect-Damaged Maize Seed Using Hyperspectral Imaging and Hybrid 1D-CNN-BiLSTM Model
Wu et al. A Dense Litchi Target Recognition Algorithm for Large Scenes
Patel et al. A review on rice plant phenotyping traits estimation for disease and growth management using modern ML techniques
CN116385820A (zh) 基于多光谱影像的水体叶绿素浓度预测方法以及装置
CN115690605A (zh) 基于空谱联合的多光谱遥感图像云检测方法
CN115541531A (zh) 基于二维相关光谱预测饲料中蛋白质含量的方法
CN109460788A (zh) 基于低秩-稀疏信息组合网络的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant