CN112149582A - 一种高光谱图像材质识别方法及系统 - Google Patents

一种高光谱图像材质识别方法及系统 Download PDF

Info

Publication number
CN112149582A
CN112149582A CN202011030148.1A CN202011030148A CN112149582A CN 112149582 A CN112149582 A CN 112149582A CN 202011030148 A CN202011030148 A CN 202011030148A CN 112149582 A CN112149582 A CN 112149582A
Authority
CN
China
Prior art keywords
sample
pixel
pair
hyperspectral image
material type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011030148.1A
Other languages
English (en)
Inventor
唐娉
饶梦彬
肖保军
单小军
张正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202011030148.1A priority Critical patent/CN112149582A/zh
Publication of CN112149582A publication Critical patent/CN112149582A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种高光谱图像材质识别方法及系统。该方法包括获取不同材质类型的高光谱图像，并根据所述不同材质类型的高光谱图像构建目标材质样本集；将所述目标材质样本集中任意选取的两个样本构成输入样本对集，并将所有输入样本对集随机分成若干个实例集；利用所述实例集训练神经网络模型，得到训练好的神经网络模型；根据待识别的高光谱图像，基于所述训练好的神经网络模型，采用逐像元方法依次识别，得到所述待识别的高光谱图像的材质类型。本发明充分利用样本之间的差异性，且不限制样本的波段数量和图像尺寸，只需要少量样本就能实现高光谱图像中材质的快速准确识别。

Description

一种高光谱图像材质识别方法及系统
技术领域
本发明涉及光谱图像分类识别的领域，特别是涉及一种高光谱图像材质识别方法及系统。
背景技术
生活中的事物均涉及材质，不同材质的事物构成了事物的多样性。对于各类材质的识别是人们对目标事物感知和理解的重要因子，研究材质识别方法，对于计算机视觉、遥感、食物检查、矿物学和循环回收利用等领域都发挥着非常重要的作用。
高光谱图像具有高光谱分辨率、光谱信息丰富的优势，俗称“材料光谱”。高光谱图像所包含的信息能反映目标的外部品质特征(大小、形状、缺陷)和内部物理结构、化学成分的差异，一直是材质识别非常重要的数据来源，在材质分类、精准农业、以及环境监测等方面有着重要的应用价值。但高光谱图像光谱维度高，不同材质类型光谱有类内差异大类间差异小的现象，这使得基于高光谱图像的材质判别函数常采用复杂度高的模型，这类模型的求解需要大量的样本信息，如，近年研究较多的深度神经网络模型，然而，实际任务中要采集已知材质类型的高光谱图像样本费事费力，因此希望样本数量少时即小样本情况下能以比较高的精度基于高光谱图像识别材质。另一方面，不同传感器HSI可能具有不同光谱波段，也希望材质判别模型在光谱波段数区别不大的情况下能够通用，以增强模型的鲁棒性。
大量的研究已经表明训练充分的深度神经网络模型是高精度的保证，但小样本情况下如何能够充分训练深度神经网络，一般的做法是通过各种变换增加样本，甚至通过对抗生成网络生成虚拟样本，但样本变换和生成虚拟样本增加的样本信息对训练深度神经网络所起的作用仍然是有限的。因为，用这类方法扩增样本后，样本信息本质上与原始样本信息有较高的重叠度，所带来的新的信息量有限，故提升模型的性能很有限。
因此现有高光谱图像材质识别方法存在小样本和不同传感器高光谱图像波段数量自适应的问题。
发明内容
本发明的目的是提供一种高光谱图像材质识别方法及系统，充分利用样本之间的差异性，且不限制样本的波段数量和图像尺寸，只需要少量样本就能实现高光谱图像中材质的快速准确识别。
为实现上述目的，本发明提供了如下方案：
一种高光谱图像材质识别方法，包括：
获取不同材质类型的高光谱图像，并根据所述不同材质类型的高光谱图像构建目标材质样本集；
将所述目标材质样本集中任意选取的两个样本构成输入样本对集，并将所有输入样本对集随机分成若干个实例集；
采用深度卷积网络分别提取任一所述实例集中的每一所述输入样本对中两个单样本特征；
对每一所述单样本特征采用自适应空间光谱金字塔池化方法，提取多尺度单样本特征；
根据每一所述输入样本对对应的多尺度单样本特征，采用特征链接方法，生成样本对特征；
采用深度神经网络度量方法计算所述样本对特征的损失值；
根据所述实例集中所有的样本对特征的损失值，采用损失函数计算所述实例集的总体损失值；
根据所述实例集的总体损失值，利用反向传播机制更新神经网络模型的参数，并返回所述采用深度卷积网络分别提取任一所述实例集中的每一所述输入样本对中两个单样本特征的步骤，直至任意所述实例集的总体损失值小于损失值阈值，得到训练好的神经网络模型；所述神经网络模型的参数包括：深度卷积网络的参数取值、自适应空间光谱金字塔池化的参数取值、特征链接的参数取值和深度神经网络度量的参数取值；
根据待识别的高光谱图像，基于所述训练好的神经网络模型，采用逐像元方法依次识别，得到所述待识别的高光谱图像的材质类型。
可选的，所述获取不同材质类型的高光谱图像，并根据所述不同材质类型的高光谱图像构建目标材质样本集，具体包括：
获取所述高光谱图像的C个材质类型；C为正整数；
对所述材质类型进行1～C的编号；
将第i个材质类型选取Mi个像元作为训练样本的中心点，并按照设定规则提取所选像元对应的样本；所述设定规则为一维提取、二维提取或者三维提取；
根据所有的材质类型的像元对应的样本及材质类型确定所述目标材质样本集。
可选的，所述将所述目标材质样本集中任意选取的两个样本构成输入样本对集，并将所有输入样本对集随机分成若干个实例集，具体包括：
根据所述目标材质样本集随机选取样本xk1和样本xk2；
根据所述样本xk1和所述样本xk2确定输入样本对集pk＝[xk1，xk2]；
判断所述样本xk1和所述样本xk2的中心像元是否属于同一材质类型；
若所述样本xk1和所述样本xk2的中心像元属于同一材质类型，则所述输入样本对集pk的材质类型编号与所述样本xk1和所述样本xk2材质类型编号相同；
若所述样本xk1和所述样本xk2的中心像元不属于同一材质类型，则所述输入样本对集pk的材质类型编号为C+1。
可选的，所述根据待识别的高光谱图像，基于所述训练好的神经网络模型，采用逐像元方法依次识别，得到所述待识别的高光谱图像的材质类型，具体包括：
将所述待识别的高光谱图像上的任意像元作为中心像元，并与所述中心像元对应的设定范围邻域内的每个像元组合成像素对；
将所述像素对生成若干待识别样本对；
根据所述待识别样本对，利用训练好的神经网络模型，得到所述待识别样本对的关系评分；
根据所述待识别样本对的关系评分中最大概率值的位置，确定所述待识别样本对的材质类型，返回所述根据所述待识别样本对，利用训练好的神经网络模型，得到所述待识别样本对的关系评分的步骤，进行下一待识别样本对的材质类型的确定；
根据所有待识别样本对的材质类型确定所述中心像元的材质类型，并返回所述将所述待识别的高光谱图像上的任意像元作为中心像元，并与所述中心像元对应的设定范围邻域内的每个像元组合成像素对的步骤，进行下一中心像元的材质类型的确定；
根据所有中心像元的材质类型确定所述待识别的高光谱图像的材质类型。
一种高光谱图像材质识别系统，包括：
目标材质样本集构建模块，用于获取不同材质类型的高光谱图像，并根据所述不同材质类型的高光谱图像构建目标材质样本集；
实例集确定模块，用于将所述目标材质样本集中任意选取的两个样本构成输入样本对集，并将所有输入样本对集随机分成若干个实例集；
单样本特征提取模块，用于采用深度卷积网络分别提取任一所述实例集中的每一所述输入样本对中两个单样本特征；
多尺度单样本特征提取模块，用于对每一所述单样本特征采用自适应空间光谱金字塔池化方法，提取多尺度单样本特征；
样本对特征生产模块，用于根据每一所述输入样本对对应的多尺度单样本特征，采用特征链接方法，生成样本对特征；
样本对特征的损失值确定模块，用于采用深度神经网络度量方法计算所述样本对特征的损失值；
实例集的总体损失值确定模块，用于根据所述实例集中所有的样本对特征的损失值，采用损失函数计算所述实例集的总体损失值；
训练好的神经网络模型确定模块，用于根据所述实例集的总体损失值，利用反向传播机制更新神经网络模型的参数，并返回所述采用深度卷积网络分别提取任一所述实例集中的每一所述输入样本对中两个单样本特征的步骤，直至任意所述实例集的总体损失值小于损失值阈值，得到训练好的神经网络模型；所述神经网络模型的参数包括：深度卷积网络的参数取值、自适应空间光谱金字塔池化的参数取值、特征链接的参数取值和深度神经网络度量的参数取值；
待识别的高光谱图像的材质类型确定模块，用于根据待识别的高光谱图像，基于所述训练好的神经网络模型，采用逐像元方法依次识别，得到所述待识别的高光谱图像的材质类型。
可选的，所述目标材质样本集构建模块具体包括：
材质类型获取单元，用于获取所述高光谱图像的C个材质类型；C为正整数；
材质类型编号单元，用于对所述材质类型进行1～C的编号；
像元对应的样本提取单元，用于将第i个材质类型选取Mi个像元作为训练样本的中心点，并按照设定规则提取所选像元对应的样本；所述设定规则为一维提取、二维提取或者三维提取；
目标材质样本集确定单元，用于根据所有的材质类型的像元对应的样本及材质类型确定所述目标材质样本集。
可选的，所述实例集确定模块具体包括：
样本选取单元，用于根据所述目标材质样本集随机选取样本xk1和样本xk2；
输入样本对集确定单元，用于根据所述样本xk1和所述样本xk2确定输入样本对集pk＝[xk1，xk2]；
判断单元，用于判断所述样本xk1和所述样本xk2的中心像元是否属于同一材质类型；
输入样本对集的材质类型编号第一确定单元，用于若所述样本xk1和所述样本xk2的中心像元属于同一材质类型，则所述输入样本对集pk的材质类型编号与所述样本xk1和所述样本xk2材质类型编号相同；
输入样本对集的材质类型编号第二确定单元，用于若所述样本xk1和所述样本xk2的中心像元不属于同一材质类型，则所述输入样本对集pk的材质类型编号为C+1。
可选的，所述待识别的高光谱图像的材质类型确定模块具体包括：
像素对确定单元，用于将所述待识别的高光谱图像上的任意像元作为中心像元，并与所述中心像元对应的设定范围邻域内的每个像元组合成像素对；
待识别样本对确定单元，用于将所述像素对生成若干待识别样本对；
待识别样本对的关系评分确定单元，用于根据所述待识别样本对，利用训练好的神经网络模型，得到所述待识别样本对的关系评分；
待识别样本对的材质类型确定单元，用于根据所述待识别样本对的关系评分中最大概率值的位置，确定所述待识别样本对的材质类型，返回所述根据所述待识别样本对，利用训练好的神经网络模型，得到所述待识别样本对的关系评分的步骤，进行下一待识别样本对的材质类型的确定；
中心像元的材质类型的确定单元，用于根据所有待识别样本对的材质类型确定所述中心像元的材质类型，并返回所述将所述待识别的高光谱图像上的任意像元作为中心像元，并与所述中心像元对应的设定范围邻域内的每个像元组合成像素对的步骤，进行下一中心像元的材质类型的确定；
待识别的高光谱图像的材质类型确定单元，用于根据所有中心像元的材质类型确定所述待识别的高光谱图像的材质类型。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的一种高光谱图像材质识别方法及系统，采用深度全卷积网络方法提取单样本特征，采用自适应空间光谱金字塔池化方法提取多尺度单样本特征；并采用特征链接方法，将不同样本的多尺度特征链接起来，生成样本对特征；采用深度神经网络度量方法得到样本对的损失值；并基于所述损失值，在训练阶段计算损失值，利用后向传播算法更新模型的参数，在应用阶段以邻域投票策略，生成材质识别结果图像；本发明克服了现有的高光谱图像材质识别方法中的小样本和不同传感器高光谱图像波段数量自适应问题，充分利用样本之间的差异性，且不限制样本的波段数量和空间维度，只需要少量样本就能实现高光谱图像中材质的快速准确识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种高光谱图像材质识别方法流程示意图；
图2为本发明所提供的一种高光谱图像材质识别系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种高光谱图像材质识别方法及系统，充分利用样本之间的差异性，且不限制样本的波段数量和图像尺寸，只需要少量样本就能实现高光谱图像中材质的快速准确识别。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的一种高光谱图像材质识别方法流程示意图，如图1所示，本发明所提供的一种高光谱图像材质识别方法，包括：
S101，获取不同材质类型的高光谱图像，并根据所述不同材质类型的高光谱图像构建目标材质样本集。高光谱图像为传感器的高光谱图像库中经过辐射校正的高光谱图像。每种样本的数量可少至200像元左右。
S101具体包括：
获取所述高光谱图像的C个材质类型；C为正整数。
对所述材质类型进行1～C的编号。
将第i个材质类型选取Mi个像元作为训练样本的中心点，并按照设定规则提取所选像元对应的样本；所述设定规则为一维提取、二维提取或者三维提取。
根据所有的材质类型的像元对应的样本及材质类型确定所述目标材质样本集。
S102，将所述目标材质样本集中任意选取的两个样本构成输入样本对集，并将所有输入样本对集随机分成若干个实例集。其中每个实例集中包含多个输入样本对，是相似于小批量的输入集。
S102具体包括：
根据所述目标材质样本集随机选取样本xk1和样本xk2。
根据所述样本xk1和所述样本xk2确定输入样本对集pk＝[xk1，xk2]。
判断所述样本xk1和所述样本xk2的中心像元是否属于同一材质类型。
若所述样本xk1和所述样本xk2的中心像元属于同一材质类型，则所述输入样本对集pk的材质类型编号与所述样本xk1和所述样本xk2材质类型编号相同。
若所述样本xk1和所述样本xk2的中心像元不属于同一材质类型，则所述输入样本对集pk的材质类型编号为C+1。
具体利用公式
Figure BDA0002703363840000081
进行输入样本对集pk的材质类型编号。
根据所述的样本对标记策略，训练阶段输入的样本对集包含C+1个材质类别，假设目标材质样本集S的大小为||S||，那么输入样本对集大小为||S||2。
S103，采用深度卷积网络分别提取任一所述实例集中的每一所述输入样本对中两个单样本特征。
所述提取单样本特征的具体步骤包括：
设计一个深度全卷积神经网络
Figure BDA0002703363840000082
将所述任意实例集中样本对pk＝[xk1，xk2]的两个样本分别输入到网络
Figure BDA0002703363840000083
中，生成两个单样本特征
Figure BDA0002703363840000084
和
Figure BDA0002703363840000085
其中
Figure BDA0002703363840000086
是所述深度全卷积神经网络的参数，pk是所述样本对集中的第k个样本对，k＝1，...，||S||2。
S104，对每一所述单样本特征采用自适应空间光谱金字塔池化方法，提取多尺度单样本特征。
所述根据单样本特征，提取多尺度单样本特征的步骤，具体包括：
设计一个自适应空间光谱金字塔池化层hθ，其中θ是所述自适应金字塔池化的参数，它包含金字塔结构的层数以及每层输出特征的维度大小，将所述的单样本特征
Figure BDA0002703363840000087
分别输入到所设计的金字塔池化层hθ中，生成两个多尺度的单样本特征
Figure BDA0002703363840000088
和
Figure BDA0002703363840000089
且对于任意尺寸的输入
Figure BDA00027033638400000810
所生成的多尺度单样本特征的维度大小是一致的。
S105，根据每一所述输入样本对对应的多尺度单样本特征，采用特征链接方法，生成样本对特征。
所述根据多尺度单样本特征，生成样本对特征的步骤具体包括：
利用链接函数Cη，将所述的多尺度单样本特征
Figure BDA0002703363840000091
链接起来，得到样本对特征
Figure BDA0002703363840000092
其中η是链接函数的参数，且所述样本对特征是多尺度单样本特征的组合。
S106，采用深度神经网络度量方法计算所述样本对特征的损失值。
所述根据样本对特征，计算样本对特征损失值的步骤具体包括：设计一个深度神经网络gψ作为样本对特征度量模块，将所述的样本对特征
Figure BDA0002703363840000093
输入到网络gψ中，得到样本对pk中两个样本之间的相似性评分
Figure BDA0002703363840000094
其中ψ是样本对特征度量模块的参数，Rk＝[rk1，...，rk(C+1)]包含C+1个值，当t≠C+1时，rkt表示样本xk1，xk2同时属于第t类的概率值，rk(C+1)表示xk1，xk2不属于同一类的概率值，然后根据所述的相似性评分，利用损失计算方法，得到样本对的损失值。
S107，根据所述实例集中所有的样本对特征的损失值，采用损失函数计算所述实例集的总体损失值。
S108，根据所述实例集的总体损失值，利用反向传播机制更新神经网络模型的参数，并返回所述采用深度卷积网络分别提取任一所述实例集中的每一所述输入样本对中两个单样本特征的步骤，直至任意所述实例集的总体损失值小于损失值阈值，得到训练好的神经网络模型；所述神经网络模型的参数包括：深度卷积网络的参数取值
Figure BDA0002703363840000095
自适应空间光谱金字塔池化的参数取值θ、特征链接的参数取值η和深度神经网络度量的参数取值ψ。
S109，根据待识别的高光谱图像，基于所述训练好的神经网络模型，采用逐像元方法依次识别，得到所述待识别的高光谱图像的材质类型。
S109具体包括：
将所述待识别的高光谱图像上的任意像元作为中心像元，并与所述中心像元对应的设定范围邻域内的每个像元组合成像素对。设定范围邻域的尺寸为w×w，w不小于3。
将所述像素对生成若干待识别样本对。
根据所述待识别样本对，利用训练好的神经网络模型，得到所述待识别样本对的关系评分。
根据所述待识别样本对的关系评分中最大概率值的位置，确定所述待识别样本对的材质类型，返回所述根据所述待识别样本对，利用训练好的神经网络模型，得到所述待识别样本对的关系评分的步骤，进行下一待识别样本对的材质类型的确定。
根据所有待识别样本对的材质类型确定所述中心像元的材质类型，并返回所述将所述待识别的高光谱图像上的任意像元作为中心像元，并与所述中心像元对应的设定范围邻域内的每个像元组合成像素对的步骤，进行下一中心像元的材质类型的确定。
具体为：
剔除材质类型为C+1的值，统计邻域内个数最多的样本对材质类型，作为中心像元的材质类别。
根据所有中心像元的材质类型确定所述待识别的高光谱图像的材质类型。
图2为本发明所提供的一种高光谱图像材质识别系统结构示意图，如图2所示，本发明所提供的一种高光谱图像材质识别系统，包括：
目标材质样本集构建模块201，用于获取不同材质类型的高光谱图像，并根据所述不同材质类型的高光谱图像构建目标材质样本集。
实例集确定模块202，用于将所述目标材质样本集中任意选取的两个样本构成输入样本对集，并将所有输入样本对集随机分成若干个实例集。
单样本特征提取模块203，用于采用深度卷积网络分别提取任一所述实例集中的每一所述输入样本对中两个单样本特征。
多尺度单样本特征提取模块204，用于对每一所述单样本特征采用自适应空间光谱金字塔池化方法，提取多尺度单样本特征。
样本对特征生产模块205，用于根据每一所述输入样本对对应的多尺度单样本特征，采用特征链接方法，生成样本对特征。
样本对特征的损失值确定模块206，用于采用深度神经网络度量方法计算所述样本对特征的损失值。
实例集的总体损失值确定模块207，用于根据所述实例集中所有的样本对特征的损失值，采用损失函数计算所述实例集的总体损失值。
训练好的神经网络模型确定模块208，用于根据所述实例集的总体损失值，利用反向传播机制更新神经网络模型的参数，并返回所述采用深度卷积网络分别提取任一所述实例集中的每一所述输入样本对中两个单样本特征的步骤，直至任意所述实例集的总体损失值小于损失值阈值，得到训练好的神经网络模型；所述神经网络模型的参数包括：深度卷积网络的参数取值、自适应空间光谱金字塔池化的参数取值、特征链接的参数取值和深度神经网络度量的参数取值。
待识别的高光谱图像的材质类型确定模块209，用于根据待识别的高光谱图像，基于所述训练好的神经网络模型，采用逐像元方法依次识别，得到所述待识别的高光谱图像的材质类型。
所述目标材质样本集构建模块201具体包括：
材质类型获取单元，用于获取所述高光谱图像的C个材质类型；C为正整数。
材质类型编号单元，用于对所述材质类型进行1～C的编号。
像元对应的样本提取单元，用于将第i个材质类型选取Mi个像元作为训练样本的中心点，并按照设定规则提取所选像元对应的样本；所述设定规则为一维提取、二维提取或者三维提取。
目标材质样本集确定单元，用于根据所有的材质类型的像元对应的样本及材质类型确定所述目标材质样本集。
所述实例集确定模块202具体包括：
样本选取单元，用于根据所述目标材质样本集随机选取样本xk1和样本xk2。
输入样本对集确定单元，用于根据所述样本xk1和所述样本xk2确定输入样本对集pk＝[xk1，xk2]。
判断单元，用于判断所述样本xk1和所述样本xk2的中心像元是否属于同一材质类型。
输入样本对集的材质类型编号第一确定单元，用于若所述样本xk1和所述样本xk2的中心像元属于同一材质类型，则所述输入样本对集pk的材质类型编号与所述样本xk1和所述样本xk2材质类型编号相同。
输入样本对集的材质类型编号第二确定单元，用于若所述样本xk1和所述样本xk2的中心像元不属于同一材质类型，则所述输入样本对集pk的材质类型编号为C+1。
所述待识别的高光谱图像的材质类型确定模块209具体包括：
像素对确定单元，用于将所述待识别的高光谱图像上的任意像元作为中心像元，并与所述中心像元对应的设定范围邻域内的每个像元组合成像素对。
待识别样本对确定单元，用于将所述像素对生成若干待识别样本对。
待识别样本对的关系评分确定单元，用于根据所述待识别样本对，利用训练好的神经网络模型，得到所述待识别样本对的关系评分。
待识别样本对的材质类型确定单元，用于根据所述待识别样本对的关系评分中最大概率值的位置，确定所述待识别样本对的材质类型，返回所述根据所述待识别样本对，利用训练好的神经网络模型，得到所述待识别样本对的关系评分的步骤，进行下一待识别样本对的材质类型的确定。
中心像元的材质类型的确定单元，用于根据所有待识别样本对的材质类型确定所述中心像元的材质类型，并返回所述将所述待识别的高光谱图像上的任意像元作为中心像元，并与所述中心像元对应的设定范围邻域内的每个像元组合成像素对的步骤，进行下一中心像元的材质类型的确定。
待识别的高光谱图像的材质类型确定单元，用于根据所有中心像元的材质类型确定所述待识别的高光谱图像的材质类型。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种高光谱图像材质识别方法，其特征在于，包括：
获取不同材质类型的高光谱图像，并根据所述不同材质类型的高光谱图像构建目标材质样本集；
将所述目标材质样本集中任意选取的两个样本构成输入样本对集，并将所有输入样本对集随机分成若干个实例集；
采用深度卷积网络分别提取任一所述实例集中的每一所述输入样本对中两个单样本特征；
对每一所述单样本特征采用自适应空间光谱金字塔池化方法，提取多尺度单样本特征；
根据每一所述输入样本对对应的多尺度单样本特征，采用特征链接方法，生成样本对特征；
采用深度神经网络度量方法计算所述样本对特征的损失值；
根据所述实例集中所有的样本对特征的损失值，采用损失函数计算所述实例集的总体损失值；
根据所述实例集的总体损失值，利用反向传播机制更新神经网络模型的参数，并返回所述采用深度卷积网络分别提取任一所述实例集中的每一所述输入样本对中两个单样本特征的步骤，直至任意所述实例集的总体损失值小于损失值阈值，得到训练好的神经网络模型；所述神经网络模型的参数包括：深度卷积网络的参数取值、自适应空间光谱金字塔池化的参数取值、特征链接的参数取值和深度神经网络度量的参数取值；
根据待识别的高光谱图像，基于所述训练好的神经网络模型，采用逐像元方法依次识别，得到所述待识别的高光谱图像的材质类型。
2.根据权利要求1所述的一种高光谱图像材质识别方法，其特征在于，所述获取不同材质类型的高光谱图像，并根据所述不同材质类型的高光谱图像构建目标材质样本集，具体包括：
获取所述高光谱图像的C个材质类型；C为正整数；
对所述材质类型进行1～C的编号；
将第i个材质类型选取Mi个像元作为训练样本的中心点，并按照设定规则提取所选像元对应的样本；所述设定规则为一维提取、二维提取或者三维提取；
根据所有的材质类型的像元对应的样本及材质类型确定所述目标材质样本集。
3.根据权利要求2所述的一种高光谱图像材质识别方法，其特征在于，所述将所述目标材质样本集中任意选取的两个样本构成输入样本对集，并将所有输入样本对集随机分成若干个实例集，具体包括：
根据所述目标材质样本集随机选取样本xk1和样本xk2；
根据所述样本xk1和所述样本xk2确定输入样本对集pk＝[xk1，xk2]；
判断所述样本xk1和所述样本xk2的中心像元是否属于同一材质类型；
若所述样本xk1和所述样本xk2的中心像元属于同一材质类型，则所述输入样本对集pk的材质类型编号与所述样本xk1和所述样本xk2材质类型编号相同；
若所述样本xk1和所述样本xk2的中心像元不属于同一材质类型，则所述输入样本对集pk的材质类型编号为C+1。
4.根据权利要求1所述的一种高光谱图像材质识别方法，其特征在于，所述根据待识别的高光谱图像，基于所述训练好的神经网络模型，采用逐像元方法依次识别，得到所述待识别的高光谱图像的材质类型，具体包括：
将所述待识别的高光谱图像上的任意像元作为中心像元，并与所述中心像元对应的设定范围邻域内的每个像元组合成像素对；
将所述像素对生成若干待识别样本对；
根据所述待识别样本对，利用训练好的神经网络模型，得到所述待识别样本对的关系评分；
根据所述待识别样本对的关系评分中最大概率值的位置，确定所述待识别样本对的材质类型，返回所述根据所述待识别样本对，利用训练好的神经网络模型，得到所述待识别样本对的关系评分的步骤，进行下一待识别样本对的材质类型的确定；
根据所有待识别样本对的材质类型确定所述中心像元的材质类型，并返回所述将所述待识别的高光谱图像上的任意像元作为中心像元，并与所述中心像元对应的设定范围邻域内的每个像元组合成像素对的步骤，进行下一中心像元的材质类型的确定；
根据所有中心像元的材质类型确定所述待识别的高光谱图像的材质类型。
5.一种高光谱图像材质识别系统，其特征在于，包括：
目标材质样本集构建模块，用于获取不同材质类型的高光谱图像，并根据所述不同材质类型的高光谱图像构建目标材质样本集；
实例集确定模块，用于将所述目标材质样本集中任意选取的两个样本构成输入样本对集，并将所有输入样本对集随机分成若干个实例集；
单样本特征提取模块，用于采用深度卷积网络分别提取任一所述实例集中的每一所述输入样本对中两个单样本特征；
多尺度单样本特征提取模块，用于对每一所述单样本特征采用自适应空间光谱金字塔池化方法，提取多尺度单样本特征；
样本对特征生产模块，用于根据每一所述输入样本对对应的多尺度单样本特征，采用特征链接方法，生成样本对特征；
样本对特征的损失值确定模块，用于采用深度神经网络度量方法计算所述样本对特征的损失值；
实例集的总体损失值确定模块，用于根据所述实例集中所有的样本对特征的损失值，采用损失函数计算所述实例集的总体损失值；
训练好的神经网络模型确定模块，用于根据所述实例集的总体损失值，利用反向传播机制更新神经网络模型的参数，并返回所述采用深度卷积网络分别提取任一所述实例集中的每一所述输入样本对中两个单样本特征的步骤，直至任意所述实例集的总体损失值小于损失值阈值，得到训练好的神经网络模型；所述神经网络模型的参数包括：深度卷积网络的参数取值、自适应空间光谱金字塔池化的参数取值、特征链接的参数取值和深度神经网络度量的参数取值；
待识别的高光谱图像的材质类型确定模块，用于根据待识别的高光谱图像，基于所述训练好的神经网络模型，采用逐像元方法依次识别，得到所述待识别的高光谱图像的材质类型。
6.根据权利要求5所述的一种高光谱图像材质识别系统，其特征在于，所述目标材质样本集构建模块具体包括：
材质类型获取单元，用于获取所述高光谱图像的C个材质类型；C为正整数；
材质类型编号单元，用于对所述材质类型进行1～C的编号；
像元对应的样本提取单元，用于将第i个材质类型选取Mi个像元作为训练样本的中心点，并按照设定规则提取所选像元对应的样本；所述设定规则为一维提取、二维提取或者三维提取；
目标材质样本集确定单元，用于根据所有的材质类型的像元对应的样本及材质类型确定所述目标材质样本集。
7.根据权利要求6所述的一种高光谱图像材质识别系统，其特征在于，所述实例集确定模块具体包括：
样本选取单元，用于根据所述目标材质样本集随机选取样本xk1和样本xk2；
输入样本对集确定单元，用于根据所述样本xk1和所述样本xk2确定输入样本对集pk＝[xk1，xk2]；
判断单元，用于判断所述样本xk1和所述样本xk2的中心像元是否属于同一材质类型；
输入样本对集的材质类型编号第一确定单元，用于若所述样本xk1和所述样本xk2的中心像元属于同一材质类型，则所述输入样本对集pk的材质类型编号与所述样本xk1和所述样本xk2材质类型编号相同；
输入样本对集的材质类型编号第二确定单元，用于若所述样本xk1和所述样本xk2的中心像元不属于同一材质类型，则所述输入样本对集pk的材质类型编号为C+1。
8.根据权利要求5所述的一种高光谱图像材质识别系统，其特征在于，所述待识别的高光谱图像的材质类型确定模块具体包括：
像素对确定单元，用于将所述待识别的高光谱图像上的任意像元作为中心像元，并与所述中心像元对应的设定范围邻域内的每个像元组合成像素对；
待识别样本对确定单元，用于将所述像素对生成若干待识别样本对；
待识别样本对的关系评分确定单元，用于根据所述待识别样本对，利用训练好的神经网络模型，得到所述待识别样本对的关系评分；
待识别样本对的材质类型确定单元，用于根据所述待识别样本对的关系评分中最大概率值的位置，确定所述待识别样本对的材质类型，返回所述根据所述待识别样本对，利用训练好的神经网络模型，得到所述待识别样本对的关系评分的步骤，进行下一待识别样本对的材质类型的确定；
中心像元的材质类型的确定单元，用于根据所有待识别样本对的材质类型确定所述中心像元的材质类型，并返回所述将所述待识别的高光谱图像上的任意像元作为中心像元，并与所述中心像元对应的设定范围邻域内的每个像元组合成像素对的步骤，进行下一中心像元的材质类型的确定；
待识别的高光谱图像的材质类型确定单元，用于根据所有中心像元的材质类型确定所述待识别的高光谱图像的材质类型。
CN202011030148.1A 2020-09-27 2020-09-27 一种高光谱图像材质识别方法及系统 Pending CN112149582A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011030148.1A CN112149582A (zh) 2020-09-27 2020-09-27 一种高光谱图像材质识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011030148.1A CN112149582A (zh) 2020-09-27 2020-09-27 一种高光谱图像材质识别方法及系统

Publications (1)

Publication Number Publication Date
CN112149582A true CN112149582A (zh) 2020-12-29

Family

ID=73894196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011030148.1A Pending CN112149582A (zh) 2020-09-27 2020-09-27 一种高光谱图像材质识别方法及系统

Country Status (1)

Country Link
CN (1) CN112149582A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113588592A (zh) * 2021-06-30 2021-11-02 北京航空航天大学 基于特定谱段的典型目标材质识别方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104090972A (zh) * 2014-07-18 2014-10-08 北京师范大学 用于三维城市模型检索的图像特征提取和相似性度量方法
CN106326288A (zh) * 2015-06-30 2017-01-11 阿里巴巴集团控股有限公司 图像搜索方法及装置
CN106570521A (zh) * 2016-10-24 2017-04-19 中国科学院自动化研究所 多语言场景字符识别方法及识别系统
CN106991382A (zh) * 2017-03-13 2017-07-28 南京信息工程大学 一种遥感场景分类方法
CN107451552A (zh) * 2017-07-25 2017-12-08 北京联合大学 一种基于3d‑cnn和卷积lstm的手势识别方法
CN108921799A (zh) * 2018-06-22 2018-11-30 西北工业大学 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN109584227A (zh) * 2018-11-27 2019-04-05 山东大学 一种基于深度学习目标检测算法的焊点质量检测方法及其实现系统
CN109711466A (zh) * 2018-12-26 2019-05-03 陕西师范大学 一种基于边缘保留滤波的cnn高光谱图像分类方法
CN109902693A (zh) * 2019-02-16 2019-06-18 太原理工大学 一种基于多注意力空间金字塔特征图像识别方法
CN110533620A (zh) * 2019-07-19 2019-12-03 西安电子科技大学 基于aae提取空间特征的高光谱和全色图像融合方法
CN111242036A (zh) * 2020-01-14 2020-06-05 西安建筑科技大学 一种基于编码-解码结构多尺度卷积神经网络的人群计数方法
CN111325771A (zh) * 2020-02-17 2020-06-23 武汉大学 基于影像融合框架的高分辨率遥感影像变化检测方法
CN111582141A (zh) * 2020-04-30 2020-08-25 京东方科技集团股份有限公司 人脸识别模型训练方法、人脸识别方法及装置
CN111598030A (zh) * 2020-05-21 2020-08-28 山东大学 一种航拍图像中车辆检测和分割的方法及系统
US10776671B2 (en) * 2018-05-25 2020-09-15 Adobe Inc. Joint blur map estimation and blur desirability classification from an image

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104090972A (zh) * 2014-07-18 2014-10-08 北京师范大学 用于三维城市模型检索的图像特征提取和相似性度量方法
CN106326288A (zh) * 2015-06-30 2017-01-11 阿里巴巴集团控股有限公司 图像搜索方法及装置
CN106570521A (zh) * 2016-10-24 2017-04-19 中国科学院自动化研究所 多语言场景字符识别方法及识别系统
CN106991382A (zh) * 2017-03-13 2017-07-28 南京信息工程大学 一种遥感场景分类方法
CN107451552A (zh) * 2017-07-25 2017-12-08 北京联合大学 一种基于3d‑cnn和卷积lstm的手势识别方法
US10776671B2 (en) * 2018-05-25 2020-09-15 Adobe Inc. Joint blur map estimation and blur desirability classification from an image
CN108921799A (zh) * 2018-06-22 2018-11-30 西北工业大学 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN109584227A (zh) * 2018-11-27 2019-04-05 山东大学 一种基于深度学习目标检测算法的焊点质量检测方法及其实现系统
CN109711466A (zh) * 2018-12-26 2019-05-03 陕西师范大学 一种基于边缘保留滤波的cnn高光谱图像分类方法
CN109902693A (zh) * 2019-02-16 2019-06-18 太原理工大学 一种基于多注意力空间金字塔特征图像识别方法
CN110533620A (zh) * 2019-07-19 2019-12-03 西安电子科技大学 基于aae提取空间特征的高光谱和全色图像融合方法
CN111242036A (zh) * 2020-01-14 2020-06-05 西安建筑科技大学 一种基于编码-解码结构多尺度卷积神经网络的人群计数方法
CN111325771A (zh) * 2020-02-17 2020-06-23 武汉大学 基于影像融合框架的高分辨率遥感影像变化检测方法
CN111582141A (zh) * 2020-04-30 2020-08-25 京东方科技集团股份有限公司 人脸识别模型训练方法、人脸识别方法及装置
CN111598030A (zh) * 2020-05-21 2020-08-28 山东大学 一种航拍图像中车辆检测和分割的方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JIE FENG ET AL: "Classification of Hyperspectral Images Based on Multiclass Spatial–Spectral Generative Adversarial Networks", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
MENGBIN RAO ET AL: "A Developed Siamese CNN with 3D Adaptive Spatial-Spectral Pyramid Pooling for Hyperspectral Image Classification", 《REMOTE SENSING》 *
MENGBIN RAO ET AL: "ES-CNN: An End-to-End Siamese Convolutional Neural Network for Hyperspectral Image Classification", 《2019 JOINT URBAN REMOTE SENSING EVENT (JURSE)》 *
ZHIXIN LI ET AL: "Supervised classification of hyperspectral images via heterogeneous deep neural networks", 《2017 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM (IGARSS)》 *
张号逵等: "深度学习在高光谱图像分类领域的研究现状与展望", 《自动化学报》 *
李杨，刘小兰，廖芹副主编: "《数据科学与数学建模》", 31 January 2019 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113588592A (zh) * 2021-06-30 2021-11-02 北京航空航天大学 基于特定谱段的典型目标材质识别方法

Similar Documents

Publication Publication Date Title
CN109376804B (zh) 基于注意力机制和卷积神经网络高光谱遥感图像分类方法
CN110717354B (zh) 基于半监督k-svd与多尺度稀疏表示的超像元分类方法
CN110348399B (zh) 基于原型学习机制和多维残差网络的高光谱智能分类方法
CN107358260B (zh) 一种基于表面波cnn的多光谱图像分类方法
WO2021082480A1 (zh) 一种图像分类的方法及相关装置
CN110008948B (zh) 基于变分自编码网络的高光谱图像目标检测方法
CN107729993A (zh) 利用训练样本及折中度量的3d卷积神经网络构建方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN105654122B (zh) 基于核函数匹配的空间金字塔物体识别方法
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
CN111369605A (zh) 一种基于边缘特征的红外与可见光图像的配准方法和系统
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN110826534B (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
CN112329771A (zh) 一种基于深度学习的建筑材料样本识别方法
CN107609507A (zh) 基于特征张量和支持张量机的遥感图像目标识别方法
CN117392539B (zh) 一种基于深度学习的河流水体识别方法、电子设备及存储介质
CN112149582A (zh) 一种高光谱图像材质识别方法及系统
CN109815440A (zh) 联合图优化和投影学习的维数约简方法
CN112926648B (zh) 一种烟叶烘烤过程中烟叶尖部异常的检测方法及装置
CN117910073A (zh) 基于3d打印技术的工艺品包装设计优化系统及方法
CN110766708B (zh) 基于轮廓相似度的图像比较方法
CN112559791A (zh) 一种基于深度学习的布匹分类检索方法
CN115630660B (zh) 基于卷积神经网络的条码定位方法和装置
CN116630700A (zh) 基于引入通道-空间注意力机制的遥感图像分类方法
CN111222576A (zh) 一种高分辨率遥感图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201229

RJ01 Rejection of invention patent application after publication