CN114863223A - 结合去噪自编码器与场景增强的高光谱弱监督分类方法 - Google Patents

结合去噪自编码器与场景增强的高光谱弱监督分类方法 Download PDF

Info

Publication number
CN114863223A
CN114863223A CN202210757262.7A CN202210757262A CN114863223A CN 114863223 A CN114863223 A CN 114863223A CN 202210757262 A CN202210757262 A CN 202210757262A CN 114863223 A CN114863223 A CN 114863223A
Authority
CN
China
Prior art keywords
image
hyperspectral
images
original
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210757262.7A
Other languages
English (en)
Other versions
CN114863223B (zh
Inventor
李逸川
李皎皎
金鼎坚
陈瑶
米耀辉
朱卫平
马燕妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Aero Geophysical Survey and Remote Sensing Center for Natural Resources
Original Assignee
China Aero Geophysical Survey and Remote Sensing Center for Natural Resources
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Aero Geophysical Survey and Remote Sensing Center for Natural Resources filed Critical China Aero Geophysical Survey and Remote Sensing Center for Natural Resources
Priority to CN202210757262.7A priority Critical patent/CN114863223B/zh
Publication of CN114863223A publication Critical patent/CN114863223A/zh
Application granted granted Critical
Publication of CN114863223B publication Critical patent/CN114863223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种结合去噪自编码器与场景增强的高光谱弱监督分类方法，包括：获取并对原始高光谱图像进行预处理，得到多个波段图像；对每个波段图像依次进行切片处理和场景增强处理，得到多个训练图像；将所有的训练图像输入至原始高光谱图像分类模型进行训练，得到目标高光谱图像分类模型；利用目标高光谱图像分类模型对目标高光谱图像进行分类，得到目标高光谱图像的分类结果。本发明通过场景增强技术提升样本数据量，并结合去噪自编码器对构建的高光谱图像分类模型进行训练，利用训练好的高光谱图像分类模型，实现了对数据量大且样本少的高光谱图像的精准分类。

Description

结合去噪自编码器与场景增强的高光谱弱监督分类方法
技术领域
本发明涉及高光谱技术、人工智能及遥感分类领域，尤其涉及一种结合去噪自编码器与场景增强的高光谱弱监督分类方法。
背景技术
高光谱具备数百个波段在地物分类方面有着天然的优势，近年来随着高光谱技术的不断进步，我国成功发射GF501、GF502高光谱卫星，具备全球对地观测的能力，并研发具备亚米级空间分辨率大幅宽的机载高光谱载荷。高光谱空间和光谱分辨率的逐渐提高的同时也带来其数据量的指数级提升为基于高光谱的地表分类应用提出新的挑战。
传统高光谱地物分类方法可大致概括为两类：基于像元（pixel-based）分类方法和基于对象（object-based）分类方法。前者又可细分为波段比值法、光谱特征识别法和传统机器学习法，波段比值法最为传统适用于对某类具有特定特征的地物进行识别，且阈值的设定需要人为干预；光谱特征识别方法以光谱特征提取和光谱匹配方法为基础，这类方法需要专家知识引导的同时，且复杂场景下应用泛化能力有限；传统机器学习方法如支持向量机、随机森林等虽然相对于前两种方法克服了阈值设定的难题，且具有更好的泛化能力，但由于没有充分考虑数据的空间特征，往往存在显著的“椒盐效应”，需要配合后处理操作进行分类。基于对象方法虽然同时考虑到数据空间和光谱特征，但由于特征提取能力有限且精度很大程度上取决于初始化分割的精度，因而对于线状地物或具备多尺度特征的地物分类方面能力的不足。随着深度学习技术在遥感领域的快速发展，推动了卷积神经网络在地物分类方面的应用，得益于卷积神经网络（CNN）强大的学习能力很大程度上克服了传统方法在地物分类方面的不足。然而，目前基于CNN的高光谱分类方法仍然以监督分类方法为主，意味着需要大量标注样本作为应用的前提。但由于高光谱数据匮乏，以及数据标注成本高等原因，在实际应用中高光谱分类依然属于小样本分类问题。
发明内容
为解决上述技术问题，本发明提供了一种结合去噪自编码器与场景增强的高光谱弱监督分类方法。
本发明的结合去噪自编码器与场景增强的高光谱弱监督分类方法的技术方案如下：
获取并对原始高光谱图像进行预处理，得到所述原始高光谱图像中的每个波段对应的图像；
对所述原始高光谱图像中的每个波段对应的图像依次进行切片处理和场景增强处理，得到多个训练图像；
基于所有的训练图像，对原始高光谱图像分类模型进行训练，得到目标高光谱图像分类模型；
利用所述目标高光谱图像分类模型对目标高光谱图像进行分类，得到所述目标高光谱图像的分类结果。
本发明的结合去噪自编码器与场景增强的高光谱弱监督分类方法的有益效果如下：
本发明的方法通过图像增强技术提升样本数据量，并对构建的高光谱图像分类模型进行训练，利用训练好的高光谱图像分类模型，实现了对数据量大且样本少的高光谱图像的精准分类。
在上述方案的基础上，本发明的结合去噪自编码器与场景增强的高光谱弱监督分类方法还可以做如下改进。
进一步，所述对原始高光谱图像进行预处理，得到所述原始高光谱图像中的每个波段对应的图像，包括：
对所述原始高光谱图像进行大气校正，得到反射率图像；
对所述反射率图像进行波段筛选，得到筛选后的反射率图像；
对所述筛选后的反射率图像中的每个波段进行归一化处理，得到所有的归一化波段对应的图像；
获取所述反射率图像中的分类真值标签数据，并根据所述分类真值标签数据和所有的归一化波段对应的图像，得到所述原始高光谱图像中的每个波段对应的图像。
进一步，所述场景增强处理包括：分割增强处理和随机镶嵌增强处理；所述对所述原始高光谱图像中的每个波段对应的图像依次进行切片处理和图像增强处理，得到多个训练图像，包括：
将所述原始高光谱图像中的每个波段对应的图像进行切片处理，得到所有的切片高光谱图像；
对每个切片高光谱图像分别进行分割增强处理，得到所有的分割增强图像；
对每个分割增强图像进行随机镶嵌增强处理，得到所述多个训练图像。
进一步，所述对每个切片高光谱图像分别进行图像分割增强处理，得到所有的分割增强图像，包括：
对任一切片高光谱图像分别按照水平方向和竖直方向进行裁剪，得到所述任一切片高光谱图像对应的水平裁剪图像和竖直裁剪图像，直至得到所有的水平裁剪图像和所有的竖直裁剪图像；
对每个水平裁剪图像中预设比例的图像区域进行线性拉伸处理，并对每个竖直裁剪图像中预设比例的图像区域进行线性拉伸处理，得到所有的分割增强图像。
进一步，所述对每个分割增强图像进行随机镶嵌增强处理，得到所述多个训练图像，包括：
将每个分割增强图像裁剪为四个原始迷你切片图像，并对每个迷你切片图像随机进行旋转或翻转，得到所有的目标迷你切片图像；
将任意四个目标迷你切片图像进行镶嵌，得到所述任意四个目标迷你切片图像对应的随机镶嵌图像，直至得到所有的随机镶嵌图像后，将所有的分割增强图像和所有的随机镶嵌图像确定为所述多个训练图像。
进一步，所述原始高光谱图像分类模型包括：原始去噪自编码网络和原始语义分割网络；所述基于所有的训练图像，对原始高光谱图像分类模型进行训练，得到目标高光谱图像分类模型，包括：
将所有的训练图像输入至所述原始去噪自编码网络进行迭代训练，直至所述原始去噪自编码网络的重构误差降低且收敛时，得到目标去噪自编码网络；
将所有的训练图像输入至所述原始语义分割网络进行迭代训练，得到目标语义分割网络；
根据所述目标去噪自编码网络和所述目标语义分割网络，得到所述目标高光谱图像分类模型。
进一步，所述训练图像包括：第一训练图像和第二训练图像；所述将所有的训练图像输入至所述原始去噪自编码网络进行迭代训练，直至所述原始去噪自编码网络的重构误差降低且收敛时，得到目标去噪自编码网络，包括：
分别将每个第一训练图像进行掩膜处理并作为所述原始去噪自编码网络的输入特征，并分别将每个第二训练图像作为所述原始去噪自编码网络的输出特征进行迭代训练，直至所述原始去噪自编码网络的重构误差降低且收敛时，得到所述目标去噪自编码网络。
进一步，所述原始语义分割网络包括：原始语义分割编码器和原始语义分割解码器；所述将所有的训练图像输入至所述原始语义分割网络进行迭代训练，得到目标语义分割网络，包括：基于迁移学习方式，将所述目标去噪自编码网络的目标编码器作为所述原始语义分割编码器，并将所有的训练图像输入至所述原始语义分割网络进行迭代训练，得到所述目标语义分割网络。
本发明的结合去噪自编码器与场景增强的高光谱弱监督分类系统的技术方案如下：
包括：预处理模块、处理模块、训练模块和运行模块；
所述预处理模块用于：获取并对原始高光谱图像进行预处理，得到所述原始高光谱图像中的每个波段对应的图像；
所述处理模块用于：对所述原始高光谱图像中的每个波段对应的图像依次进行切片处理和场景增强处理，得到多个训练图像；
所述训练模块用于：基于所有的训练图像，对原始高光谱图像分类模型进行训练，得到目标高光谱图像分类模型；
所述运行模块用于：利用所述目标高光谱图像分类模型对目标高光谱图像进行分类，得到所述目标高光谱图像的分类结果。
本发明的结合去噪自编码器与场景增强的高光谱弱监督分类系统的有益效果如下：
本发明的系统通过图像增强技术提升样本数据量，并对构建的高光谱图像分类模型进行训练，利用训练好的高光谱图像分类模型，实现了对数据量大且样本少的高光谱图像的精准分类。
在上述方案的基础上，本发明的结合去噪自编码器与场景增强的高光谱弱监督分类系统还可以做如下改进。
进一步，所述预处理模块具体用于：
对所述原始高光谱图像进行大气校正，得到反射率图像；
对所述反射率图像进行波段筛选，得到筛选后的反射率图像；
对所述筛选后的反射率图像中的每个波段进行归一化处理，得到所有的归一化波段对应的图像；
获取所述反射率图像中的分类真值标签数据，并根据所述分类真值标签数据和所有的归一化波段对应的图像，得到所述原始高光谱图像中的每个波段对应的图像。
附图说明
图1为本发明实施例的结合去噪自编码器与场景增强的高光谱弱监督分类方法的流程示意图；
图2为本发明实施例的结合去噪自编码器与场景增强的高光谱弱监督分类方法中的分割增强处理和随机镶嵌增强处理的示意图；
图3为本发明实施例的结合去噪自编码器与场景增强的高光谱弱监督分类方法中的原始去噪自编码网络的结构示意图；
图4为本发明实施例的结合去噪自编码器与场景增强的高光谱弱监督分类方法中的原始解码器的结构示意图；
图5为本发明实施例的结合去噪自编码器与场景增强的高光谱弱监督分类方法中的迁移学习的原理示意图；
图6（a）为本发明实施例的结合去噪自编码器与场景增强的高光谱弱监督分类方法中的目标高光谱图像的示意图；
图6（b）为本发明实施例的结合去噪自编码器与场景增强的高光谱弱监督分类方法中的目标高光谱图像的分类结果的示意图；
图6（c）为本发明实施例的结合去噪自编码器与场景增强的高光谱弱监督分类方法中的目标高光谱图像的真值标签的示意图；
图7为本发明实施例的结合去噪自编码器与场景增强的高光谱弱监督分类系统的结构示意图。
具体实施方式
如图1所示，本发明实施例的结合去噪自编码器与场景增强的高光谱弱监督分类方法，包括如下步骤：
S1、获取并对原始高光谱图像进行预处理，得到所述原始高光谱图像中的每个波段对应的图像。
其中，原始高光谱图像为：某一区域内的高光谱图像，采用遥感技术获取得到。预处理的过程包括但不限于：大气校正处理、波段过滤处理和归一化处理等。
S2、对所述原始高光谱图像中的每个波段对应的图像依次进行切片处理和场景增强处理，得到多个训练图像。
其中，训练图像用于对后续构建的分类模型进行训练。
S3、基于所有的训练图像，对原始高光谱图像分类模型进行训练，得到目标高光谱图像分类模型。
其中，原始高光谱图像分类模型为：未经训练的网络模型，由去噪自编码网络和语义分割网络构成。目标高光谱图像分类模型为：经过训练后的网络模型，能够对高光谱图像进行分类。
S4、利用所述目标高光谱图像分类模型对目标高光谱图像进行分类，得到所述目标高光谱图像的分类结果。
其中，目标高光谱图像的获取方式与原始高光谱图像的获取方式相同。分类结果包括：目标高光谱图像对应区域中的土地、建筑物、矿物和植被等相对固定物体的分类结果。
较优地，所述对原始高光谱图像进行预处理，得到所述原始高光谱图像中的每个波段对应的图像，包括：
对所述原始高光谱图像进行大气校正，得到反射率图像。
其中，大气校正为本领域的现有技术，在此不过多赘述。反射率图像为：原始高光谱图像经过大气校正后得到的图像。
对所述反射率图像进行波段筛选，得到筛选后的反射率图像。
具体地，剔除反射率图像中受水汽影响的波段，得到过滤后的反射率图像。
对所述筛选后的反射率图像中的每个波段进行归一化处理，得到所有的归一化波段对应的图像。
其中，图像归一化处理是剔除数据中的异常高值或低值后将数值归一化至0-1范围内。
获取所述反射率图像中的分类真值标签数据，并根据所述分类真值标签数据和所有的归一化波段对应的图像，得到所述原始高光谱图像中的每个波段对应的图像。
其中，分类真值标签数据为：与原始高光谱图像大小一致的单波段掩膜数据。具体地，分类真值标签数据的数值类型为无符号整型，不同的数值代表各个像元对应的地物类型。假设某数据中包括四个地物类，分别以0，1，2，3表示，这些数据的组合为分类真值标签数据。
较优地，所述场景增强处理包括：分割增强处理和随机镶嵌增强处理；所述S2包括：
S21、将所述原始高光谱图像中的每个波段对应的图像进行切片处理，得到所有的切片高光谱图像。
其中，对图像进行切片处理的过程为：对原始高光谱图像中的每个波段对应的图像进行随机裁剪，形成若干个256×256×(N+1)大小的切片高光谱图像，具体方法是在原始高光谱图像中的每个波段对应的图像中设置一个随机点坐标（a，b），以此点为顶点生成256×256的裁剪框，并以此对数据进行裁剪，重复m次可以完成切片操作。随机点坐标a和b的取值范围分别是0至w-5和0至h-5，w和h分别代表被切片的波段图像的长和宽。在完成切片处理后，对所有的切片高光谱图像进行归一化处理，使其数值范围在0和1之间。
S22、对每个切片高光谱图像分别进行分割增强处理，得到所有的分割增强图像。
其中，S22具体包括：
S221、对任一切片高光谱图像分别按照水平方向和竖直方向进行裁剪，得到所述任一切片高光谱图像对应的水平裁剪图像和竖直裁剪图像，直至得到所有的水平裁剪图像和所有的竖直裁剪图像。
具体地，基于第一预设公式，对任一切片高光谱图像分别按照水平方向和竖直方向进行裁剪，得到所述任一切片高光谱图像对应的水平裁剪图像和竖直裁剪图像，直至得到所有的水平裁剪图像和所有的竖直裁剪图像。
其中，所述第一预设公式为：
Figure 958932DEST_PATH_IMAGE001
；X为任 一切片高光谱图像，
Figure 892122DEST_PATH_IMAGE002
为所述任一切片高光谱图像对应的水平裁剪图像，
Figure 715721DEST_PATH_IMAGE003
为所述任一切 片高光谱图像对应的竖直裁剪图像，
Figure 979343DEST_PATH_IMAGE004
表示对所述任一切片高光谱图像进行水平方 向和竖直方向的裁剪所得到的图像，D2表示所有的切片高光谱图像。
S222、对每个水平裁剪图像中预设比例的图像区域进行线性拉伸处理，并对每个竖直裁剪图像中预设比例的图像区域进行线性拉伸处理，得到所有的分割增强图像。
具体地，基于第二预设公式，对每个水平裁剪图像中预设比例的图像区域进行线性拉伸处理，并对每个竖直裁剪图像中预设比例的图像区域进行线性拉伸处理，得到所有的分割增强图像。
其中，所述第二预设公式为：
Figure 204788DEST_PATH_IMAGE005
表示对
Figure 13607DEST_PATH_IMAGE006
中预设比例的图像区域进行5%线性拉伸处理后得到的图像，
Figure 590082DEST_PATH_IMAGE007
表示对
Figure 391815DEST_PATH_IMAGE003
中 预设比例的图像区域进行5%线性拉伸处理后得到的图像，
Figure 471767DEST_PATH_IMAGE008
表示数据堆栈，
Figure 215601DEST_PATH_IMAGE009
为分割 增强图像，D3表示所有的分割增强图像。
需要说明的是，如图2所示，每个水平裁剪图像中预设比例的图像区域为：沿水平裁剪线（或水平裁剪线的平行线）划分的上半部分或下半部分图像区域，预设比例默认为50%；每个竖直裁剪图像中预设比例的图像区域为：沿竖直裁剪线（或竖直裁剪线的平行线）划分的上半部分或下半部分图像区域，预设比例默认为50%。在本实施例中，也可根据需求对预设比例进行调整，在此不设限制。
S23、对每个分割增强图像进行随机镶嵌增强处理，得到所述多个训练图像。
其中，S23具体包括：
将每个分割增强图像裁剪为四个原始迷你切片图像，并对每个迷你切片图像随机进行旋转或翻转，得到所有的目标迷你切片图像。
将任意四个目标迷你切片图像进行镶嵌，得到所述任意四个目标迷你切片图像对应的随机镶嵌图像，直至得到所有的随机镶嵌图像后，将所有的分割增强图像和所有的随机镶嵌图像确定为所述多个训练图像。
需要说明的是，每个分割增强图像裁剪均按照水平方向和垂直方向进行裁剪（田字形裁剪），得到四个原始迷你切片图像。
具体地，基于第三预设公式，对每个分割增强图像按照水平方向和垂直方向进行裁剪，得到所述每个分割增强图像对应的四个原始迷你切片图像；
其中，第三预设公式为：
Figure 217055DEST_PATH_IMAGE010
；
Figure 947114DEST_PATH_IMAGE011
表 示对
Figure 756938DEST_PATH_IMAGE012
分别进行水平方向和垂直方向裁剪后所得到的各四个原始迷你切片图像，
Figure 547039DEST_PATH_IMAGE013
和
Figure 473274DEST_PATH_IMAGE014
为任意两个分割增强图像，
Figure 741444DEST_PATH_IMAGE015
为
Figure 671354DEST_PATH_IMAGE016
对应的四个原始迷你切片图像，
Figure 632357DEST_PATH_IMAGE017
为
Figure 529775DEST_PATH_IMAGE014
对应的四个原始迷你切片图像。
具体地，基于第四预设公式，将任意四个目标迷你切片图像进行镶嵌，得到所述任意四个目标迷你切片图像对应的随机镶嵌图像，直至得到所有的随机镶嵌图像后，将所有的分割增强图像和所有的随机镶嵌图像确定为所述多个训练图像。
所述第四预设公式为：
Figure 601636DEST_PATH_IMAGE018
，
Figure 651632DEST_PATH_IMAGE019
对应的四个目标迷你切片图像，
Figure 517956DEST_PATH_IMAGE020
表示
Figure 404135DEST_PATH_IMAGE021
对应的目标迷你切片图像，
Figure 14108DEST_PATH_IMAGE022
表示对
Figure 918610DEST_PATH_IMAGE023
对应的四个目标迷你切片图像和
Figure 159099DEST_PATH_IMAGE024
对 应的目标迷你切片图像中的任意四个进行镶嵌后所得到的多个随机镶嵌图像。
较优地，所述原始高光谱图像分类模型包括：原始去噪自编码网络和原始语义分割网络。
具体地，如图3所示，在TensorFlow环境下搭建原始去噪自编码网络，该网络由现 有的UNet网络结构改造为只包含编码器与解码器结构，主要从三个方面进行改进：一是将 现有UNet网络结构中的普通卷积均替换为深度可分离卷积，从而进一步降低模型的参数 量，并提高模型的运算效率；二是去掉UNet模型中的所有跳层连接，使编码器和解码器进行 解耦，专注于隐层特征的提取；三是为了保证降维后的特征具有一定的物理意义，利用L1正 则化处理将“非负”及“合为一”作为约束条件对隐藏层的特征进行约束，具体公式如下：
Figure 906475DEST_PATH_IMAGE025
；其中，F表示降维后的隐层特征，
Figure 444772DEST_PATH_IMAGE026
表示L1正则化处理后的隐层特征，
Figure 328415DEST_PATH_IMAGE027
代表一 个无穷小的正数，
Figure 677487DEST_PATH_IMAGE028
中的角标1表示L1正则化。
所述S3包括：
S31、将所有的训练图像输入至所述原始去噪自编码网络进行迭代训练，直至所述原始去噪自编码网络的重构误差降低且收敛时，得到目标去噪自编码网络。
其中，训练图像包括：第一训练图像和第二训练图像。本实施例中第一训练图像与第二训练图像随机分配，且第一训练图像的数量与第二训练图像的数量相同。
具体地，分别将每个第一训练图像进行掩膜处理并作为所述原始去噪自编码网络的输入特征，并分别将每个第二训练图像作为所述原始去噪自编码网络的输出特征进行迭代训练，直至所述原始去噪自编码网络的重构误差降低且趋于收敛时，得到目标去噪自编码网络。
其中，对第一训练图像进行掩膜处理的实质是对图像加噪声，方法是随机生成边长为2-20像元的正方形噪声块，将50%的第一训练图像进行掩膜处理并作为原始去噪自编码网络的输入。未经加噪声处理的第二训练图像作为原始去噪自编码网络的输出。对原始去噪自编码网络进行多轮迭代的训练，训练过程中采用均方根误差作为损失函数来评价网络对于数据的重构精度，当重构误差下降并趋于收敛后代表模型训练完成，得到目标去噪自编码网络。
经过上述方案训练得到的目标去噪自编码网络，在无标签的情况下，实现了抑制输入图像噪声的同时，对输入数据的重建，通过对隐层特征进行物理条件约束使模型通过表征学习实现对高光谱有效空-谱联合特征的学习。
S32、将所有的训练图像输入至所述原始语义分割网络进行迭代训练，得到目标语义分割网络。
其中，所述原始语义分割网络包括：原始解码器和原始编码器。
具体地，基于迁移学习方式，将所述目标去噪自编码网络的目标编码器作为所述原始语义分割编码器，并将所有的训练图像输入至所述原始语义分割网络进行迭代训练，得到所述目标语义分割网络。
其中，在TensorFlow环境下搭建原始语义分割网络，该网络主要由原始解码器和原始编码器两部分组成，其中原始编码器以目标去噪自编码网络的编码器权重进行初始化，原始解码器结构如图4所示。具体地，原始编码器生成的特征图先通过一个普通卷积组合进行降维，再输入到一个池化金字塔结构中，分别形成1倍、1/2倍，1/4倍，1/8倍，1/16倍的多尺度特征，来有效扩大模型的有效感受视野，再经过上采样后组合在一起，最后通过一个通道注意力机制后，上采样至256×256与输入图像大小一致，最后由一个softmax分类器输出为分类掩膜文件，至此原始语义分割网络搭建完成。
S33、根据所述目标去噪自编码网络和所述目标语义分割网络，得到所述目标高光谱图像分类模型。
具体地，如图5所示，利用目标去噪自编码网络的目标编码器的参数对原始语义分割解码器的参数进行初始化，并利用所有的训练图像以较小的学习率对网络进行迭代训练，最终对参数进行微调，得到目标高光谱图像分类模型，用测试图像对模型的分类预测精度评价，评价指标包括精确度、召回率、F1得分、总体分类精度，具体如目标高光谱图像分类模型精度详表1所示。
表1：
平均精确度 平均召回率 F1得分 总体分类精度
0.857 0.787 0.805 0.855
具体地，将目标高光谱图像分类模型应用在图6（a）中的目标高光谱图像中，得到图6（b）和图6（c）的分类结果。其中，图6（b）为所述目标高光谱图像的分类结果，图6（c）为所述目标高光谱图像的真值标签。
本实施例的技术方案通过图像增强技术提升样本数据量，设计去噪自编码网络实现无标签的情况下通过抑制输入图像噪声同时实现对输入数据的重建，通过对隐层特征进行物理条件约束使模型通过表征学习实现对高光谱有效空谱特征的学习。本实施例的技术方案利用基于具有表征学习能力的去噪编码器构建新的语义分割模型，利用迁移学习技术结合少量训练样本实现高光谱的弱监督分类，利用训练好的高光谱图像分类模型，实现了对数据量大且样本少的高光谱图像的精准分类。
如图7所示，本发明实施例的一种结合去噪自编码器与场景增强的高光谱弱监督分类系统200，包括：预处理模块210、处理模块220、训练模块230和运行模块240；
所述预处理模块210用于：获取并对原始高光谱图像进行预处理，得到所述原始高光谱图像中的每个波段对应的图像；
所述处理模块220用于：对所述原始高光谱图像中的每个波段对应的图像依次进行切片处理和图像增强处理，得到多个训练图像；
所述训练模块230用于：基于所有的训练图像，对原始高光谱图像分类模型进行训练，得到目标高光谱图像分类模型；
所述运行模块240用于：利用所述目标高光谱图像分类模型对目标高光谱图像进行分类，得到所述目标高光谱图像的分类结果。
本实施例的技术方案通过图像增强技术提升样本数据量，设计去噪自编码网络实现无标签的情况下通过抑制输入图像噪声同时实现对输入数据的重建，通过对隐层特征进行物理条件约束使模型通过表征学习实现对高光谱有效空谱特征的学习。本实施例的技术方案利用基于具有表征学习能力的去噪编码器构建新的语义分割模型，利用迁移学习技术结合少量训练样本实现高光谱的弱监督分类，利用训练好的高光谱图像分类模型，实现了对数据量大且样本少的高光谱图像的精准分类。
上述关于本发明的结合去噪自编码器与场景增强的高光谱弱监督分类系统200中的各参数和各个模块实现相应功能的步骤，可参考上文中的结合去噪自编码器与场景增强的高光谱弱监督分类方法的实施例中的各参数和步骤，在此不做赘述。
本发明实施例提供的一种存储介质，包括：存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上文中的结合去噪自编码器与场景增强的高光谱弱监督分类方法的步骤，具体可参考上文中的结合去噪自编码器与场景增强的高光谱弱监督分类方法的实施例中的各参数和步骤，在此不做赘述。
计算机存储介质例如：优盘、移动硬盘等。
所属技术领域的技术人员知道，本发明可以实现为方法、系统和存储介质。
因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种结合去噪自编码器与场景增强的高光谱弱监督分类方法，其特征在于，包括：
获取并对原始高光谱图像进行预处理，得到所述原始高光谱图像中的每个波段对应的图像；
对所述原始高光谱图像中的每个波段对应的图像依次进行切片处理和场景增强处理，得到多个训练图像；
基于所有的训练图像，对原始高光谱图像分类模型进行训练，得到目标高光谱图像分类模型；
利用所述目标高光谱图像分类模型对目标高光谱图像进行分类，得到所述目标高光谱图像的分类结果。
2.根据权利要求1所述的结合去噪自编码器与场景增强的高光谱弱监督分类方法，其特征在于，所述对原始高光谱图像进行预处理，得到所述原始高光谱图像中的每个波段对应的图像，包括：
对所述原始高光谱图像进行大气校正，得到反射率图像；
对所述反射率图像进行波段筛选，得到筛选后的反射率图像；
对所述筛选后的反射率图像中的每个波段进行归一化处理，得到所有的归一化波段对应的图像；
获取所述反射率图像中的分类真值标签数据，并根据所述分类真值标签数据和所有的归一化波段对应的图像，得到所述原始高光谱图像中的每个波段对应的图像。
3.根据权利要求1所述的结合去噪自编码器与场景增强的高光谱弱监督分类方法，其特征在于，所述场景增强处理包括：分割增强处理和随机镶嵌增强处理；所述对所述原始高光谱图像中的每个波段对应的图像依次进行切片处理和图像增强处理，得到多个训练图像，包括：
将所述原始高光谱图像中的每个波段对应的图像进行切片处理，得到所有的切片高光谱图像；
对每个切片高光谱图像分别进行分割增强处理，得到所有的分割增强图像；
对每个分割增强图像进行随机镶嵌增强处理，得到所述多个训练图像。
4.根据权利要求3所述的结合去噪自编码器与场景增强的高光谱弱监督分类方法，其特征在于，所述对每个切片高光谱图像分别进行图像分割增强处理，得到所有的分割增强图像，包括：
对任一切片高光谱图像分别按照水平方向和竖直方向进行裁剪，得到所述任一切片高光谱图像对应的水平裁剪图像和竖直裁剪图像，直至得到所有的水平裁剪图像和所有的竖直裁剪图像；
对每个水平裁剪图像中预设比例的图像区域进行线性拉伸处理，并对每个竖直裁剪图像中预设比例的图像区域进行线性拉伸处理，得到所有的分割增强图像。
5.根据权利要求4所述的结合去噪自编码器与场景增强的高光谱弱监督分类方法，其特征在于，所述对每个分割增强图像进行随机镶嵌增强处理，得到所述多个训练图像，包括：
将每个分割增强图像裁剪为四个原始迷你切片图像，并对每个迷你切片图像随机进行旋转或翻转，得到所有的目标迷你切片图像；
将任意四个目标迷你切片图像进行镶嵌，得到所述任意四个目标迷你切片图像对应的随机镶嵌图像，直至得到所有的随机镶嵌图像后，将所有的分割增强图像和所有的随机镶嵌图像确定为所述多个训练图像。
6.根据权利要求1所述的结合去噪自编码器与场景增强的高光谱弱监督分类方法，其特征在于，所述原始高光谱图像分类模型包括：原始去噪自编码网络和原始语义分割网络；所述基于所有的训练图像，对原始高光谱图像分类模型进行训练，得到目标高光谱图像分类模型，包括：
将所有的训练图像输入至所述原始去噪自编码网络进行迭代训练，直至所述原始去噪自编码网络的重构误差降低且收敛时，得到目标去噪自编码网络；
将所有的训练图像输入至所述原始语义分割网络进行迭代训练，得到目标语义分割网络；
根据所述目标去噪自编码网络和所述目标语义分割网络，得到所述目标高光谱图像分类模型。
7.根据权利要求6所述的结合去噪自编码器与场景增强的高光谱弱监督分类方法，其特征在于，所述训练图像包括：第一训练图像和第二训练图像；所述将所有的训练图像输入至所述原始去噪自编码网络进行迭代训练，直至所述原始去噪自编码网络的重构误差降低且收敛时，得到目标去噪自编码网络，包括：
分别将每个第一训练图像进行掩膜处理并作为所述原始去噪自编码网络的输入特征，并分别将每个第二训练图像作为所述原始去噪自编码网络的输出特征进行迭代训练，直至所述原始去噪自编码网络的重构误差降低且收敛时，得到所述目标去噪自编码网络。
8.根据权利要求7所述的结合去噪自编码器与场景增强的高光谱弱监督分类方法，其特征在于，所述原始语义分割网络包括：原始语义分割编码器和原始语义分割解码器；所述将所有的训练图像输入至所述原始语义分割网络进行迭代训练，得到目标语义分割网络，包括：基于迁移学习方式，将所述目标去噪自编码网络的目标编码器作为所述原始语义分割编码器，并将所有的训练图像输入至所述原始语义分割网络进行迭代训练，得到所述目标语义分割网络。
9.一种结合去噪自编码器与场景增强的高光谱弱监督分类系统，其特征在于，包括：预处理模块、处理模块、训练模块和运行模块；
所述预处理模块用于：获取并对原始高光谱图像进行预处理，得到所述原始高光谱图像中的每个波段对应的图像；
所述处理模块用于：对所述原始高光谱图像中的每个波段对应的图像依次进行切片处理和场景增强处理，得到多个训练图像；
所述训练模块用于：基于所有的训练图像，对原始高光谱图像分类模型进行训练，得到目标高光谱图像分类模型；
所述运行模块用于：利用所述目标高光谱图像分类模型对目标高光谱图像进行分类，得到所述目标高光谱图像的分类结果。
10.根据权利要求9所述的结合去噪自编码器与场景增强的高光谱弱监督分类系统，其特征在于，所述预处理模块具体用于：
对所述原始高光谱图像进行大气校正，得到反射率图像；
对所述反射率图像进行波段筛选，得到筛选后的反射率图像；
对所述筛选后的反射率图像中的每个波段进行归一化处理，得到所有的归一化波段对应的图像；
获取所述反射率图像中的分类真值标签数据，并根据所述分类真值标签数据和所有的归一化波段对应的图像，得到所述原始高光谱图像中的每个波段对应的图像。
CN202210757262.7A 2022-06-30 2022-06-30 结合去噪自编码器与场景增强的高光谱弱监督分类方法 Active CN114863223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210757262.7A CN114863223B (zh) 2022-06-30 2022-06-30 结合去噪自编码器与场景增强的高光谱弱监督分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210757262.7A CN114863223B (zh) 2022-06-30 2022-06-30 结合去噪自编码器与场景增强的高光谱弱监督分类方法

Publications (2)

Publication Number Publication Date
CN114863223A true CN114863223A (zh) 2022-08-05
CN114863223B CN114863223B (zh) 2022-09-30

Family

ID=82625752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210757262.7A Active CN114863223B (zh) 2022-06-30 2022-06-30 结合去噪自编码器与场景增强的高光谱弱监督分类方法

Country Status (1)

Country Link
CN (1) CN114863223B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641443A (zh) * 2022-12-08 2023-01-24 北京鹰瞳科技发展股份有限公司 训练图像分割网络模型的方法、处理图像的方法及产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145830A (zh) * 2017-04-07 2017-09-08 西安电子科技大学 基于空间信息增强和深度信念网络的高光谱图像分类方法
US20190096049A1 (en) * 2017-09-27 2019-03-28 Korea Advanced Institute Of Science And Technology Method and Apparatus for Reconstructing Hyperspectral Image Using Artificial Intelligence
CN111985543A (zh) * 2020-08-06 2020-11-24 西北大学 一种高光谱图像分类模型的构建方法、分类方法及系统
CN113486869A (zh) * 2021-09-07 2021-10-08 中国自然资源航空物探遥感中心 一种基于非监督特征提取的岩性识别方法、装置及介质
CN113936217A (zh) * 2021-10-25 2022-01-14 华中师范大学 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法
CN114266952A (zh) * 2021-12-24 2022-04-01 福州大学 基于深监督的实时语义分割方法
CN114494846A (zh) * 2021-12-18 2022-05-13 南京理工大学 基于多尺度内卷网络的高光谱图像分类的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145830A (zh) * 2017-04-07 2017-09-08 西安电子科技大学 基于空间信息增强和深度信念网络的高光谱图像分类方法
US20190096049A1 (en) * 2017-09-27 2019-03-28 Korea Advanced Institute Of Science And Technology Method and Apparatus for Reconstructing Hyperspectral Image Using Artificial Intelligence
CN111985543A (zh) * 2020-08-06 2020-11-24 西北大学 一种高光谱图像分类模型的构建方法、分类方法及系统
CN113486869A (zh) * 2021-09-07 2021-10-08 中国自然资源航空物探遥感中心 一种基于非监督特征提取的岩性识别方法、装置及介质
CN113936217A (zh) * 2021-10-25 2022-01-14 华中师范大学 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法
CN114494846A (zh) * 2021-12-18 2022-05-13 南京理工大学 基于多尺度内卷网络的高光谱图像分类的方法
CN114266952A (zh) * 2021-12-24 2022-04-01 福州大学 基于深监督的实时语义分割方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641443A (zh) * 2022-12-08 2023-01-24 北京鹰瞳科技发展股份有限公司 训练图像分割网络模型的方法、处理图像的方法及产品

Also Published As

Publication number Publication date
CN114863223B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN110852225B (zh) 基于深度卷积神经网络的遥感影像红树林提取方法及系统
CN107808138B (zh) 一种基于FasterR-CNN的通信信号识别方法
CN109978848B (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN107358203B (zh) 一种基于深度卷积阶梯网络的高分辨sar图像分类方法
CN112465759A (zh) 一种基于卷积神经网络的航空发动机叶片缺陷检测方法
CN111046772A (zh) 多时相卫星遥感岛礁岸线及开发利用信息提取方法
CN109584284B (zh) 一种分层决策的滨海湿地地物样本提取方法
CN111563577B (zh) 基于Unet的跳跃层分频和多尺度鉴别的本征图像分解方法
CN114863223B (zh) 结合去噪自编码器与场景增强的高光谱弱监督分类方法
CN114764801A (zh) 基于多视觉显著特征的弱小舰船目标融合检测方法及装置
CN114140445B (zh) 基于重点关注区域提取的乳腺癌病理图像识别方法
CN112800851B (zh) 基于全卷积神经元网络的水体轮廓自动提取方法及系统
CN113837123A (zh) 一种基于谱空信息结合的中分辨率遥感图像近海养殖区提取方法
CN113449603A (zh) 一种高分辨率遥感影像地表要素识别方法及存储介质
Aroma et al. A coastal band spectral combination for water body extraction using Landsat 8 images
CN116071339A (zh) 一种基于改进鲸鱼算法优化svm的产品缺陷识别方法
CN116452872A (zh) 一种基于改进的Deeplabv3+的森林场景树种分类方法
CN115620133A (zh) 一种顾及物候与水位时序特征的红树林提取方法
CN113033686B (zh) 基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法及系统
CN109471106B (zh) 结合聚类分析和边界跟踪法的sar海洋内波条纹识别方法
CN113808055B (zh) 基于混合膨胀卷积的植物识别方法、装置及存储介质
CN113496221B (zh) 基于深度双边滤波的点监督遥感图像语义分割方法及系统
CN115049938B (zh) 一种点云图像处理方法及系统
Faza et al. Mangrove Fruit Ripeness Classification using Deep Convolutional Neural Network
CN112861807B (zh) 一种基于改进gli指数和深度学习的极地植被提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant