CN114913368A - 基于自步双向对抗学习的融合遥感图像分类方法 - Google Patents

基于自步双向对抗学习的融合遥感图像分类方法 Download PDF

Info

Publication number
CN114913368A
CN114913368A CN202210461977.8A CN202210461977A CN114913368A CN 114913368 A CN114913368 A CN 114913368A CN 202210461977 A CN202210461977 A CN 202210461977A CN 114913368 A CN114913368 A CN 114913368A
Authority
CN
China
Prior art keywords
image
pan
network
image block
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210461977.8A
Other languages
English (en)
Inventor
朱浩
易晓宇
李晓童
焦李成
侯彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210461977.8A priority Critical patent/CN114913368A/zh
Publication of CN114913368A publication Critical patent/CN114913368A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于自步双向对抗学习的融合遥感图像分类方法，包括获取第一MS图、第一PAN图；根据第一MS图、第一PAN图得到第一MS图像块、第一PAN图像块；将第一MS图像块和第一PAN图像块输入对抗网络得到第二MS图和第二PAN图；根据第一MS图、第一PAN图、第二MS图和第二PAN图得到统一大小的第三MS图像块、第三PAN图像块、第四MS图像块和第四PAN图像块；将三元组输入分类网络，对得到的损失函数整合在一起，基于自步学习的训练策略，得到训练好的分类网络；利用训练好的分类网络对待分类的图像进行分类得到分类结果。本发明采用自步学习的学习训练策略，让网络在难易样本中先后对易样本和难样本进行训练，使整个网络的训练变得平滑且迅速，提高网络效率。

Description

基于自步双向对抗学习的融合遥感图像分类方法
技术领域
本发明属于计算机视觉图像处理技术领域，涉及一种基于自步双向对抗学习的融合遥感图像分类方法。
背景技术
随着航空航天遥感技术和卫星遥感技术的不断发展和进步，从得到的遥感图像中获取想要得到的信息并应用在日常生活中已经是一种可能。其中，针对到同一场景下获取到的空间分辨率较高的全色图(PAN)和光谱信息较多的多光谱图像(MS)，可以通过提取融合二者的有效信息和特征来进行信息融合，通过融合到的分类特征应用在分类领域逐渐成为研究热点。
特征互补的多源融合已经被应用在遥感、医疗等多种领域。通常情况下，MS图和PAN图的融合分为传统的融合方法和深度学习的融合方法。在传统的融合方法中包括基于成分替代、基于多分辨率分析、融合策略结合的分类方法。基于成分替代的图像融合方法包括基于IHS变换和基于PCA变换的图像融合方法。IHS方法是将原始多光谱图像从RGB空间变换到IHS空间，然后用高分辨率图像或用不同投影方式得到的融合图像来替代I分量。在IHS系统中，三种成分的相关性比较低，这使得能够对这三种分量进行处理。I成分主要反应地物辐射总的能量以及空间分布，即表现为空间特征。而H、S则反应光谱信息。PCA变换方法则是将多光谱图像通过PCA方法将图像分解为多个成分，对于包含轮廓信息的第一主成分进行替换，有效的提高了多光谱图像的空间分辨率，缺点是因为替换成分之间的低相关性造成了颜色的扭曲。在基于多分辨率分析的图像融合中，包含着基于小波变换、基于拉普拉斯变换，基于NSCT的图像融合方法。对于基于小波变换的图像融合方法，两个图像源分别通过小波变换得到各自的高通和低通信息，之后在通过融合规则，小波逆变换后得到融合图像。在融合策略结合的融合分类方法中，有IHS结合小波变换、IHS结合NSCT、PCA结合NSCT等等。随着神经网络，深度学习的不断成熟，将其应用于MS和PAN图的特征融合成为了收到关注的方向。在深度学习的卷积神经网络中，神经网络可以有效利用网络中的神经元，隐式并行的逐层提取图像中的图像特征。在融合领域，神经网络可以分别对MS和PAN进行特征提取，最后进行级联。这样的融合方法没有考虑到两个遥感图像的相关性和差异性，有进一步发展的空间。在传统的深度学习分类任务中，没有考虑到特征相似的样本中
在无监督学习中，无标签的样本缺少问题一直是一大难题，如何能够通过少量的样本来完成大量样本的需求成为了一个重要的研究方向。其中，生成对抗网络的提出有效的解决了这个问题，也在深度学习领域中掀起了一场革命。生成对抗网络(GAN)提供了一种不需要大量标注训练数据就能学习深度表征的方式。其通过反向传播算法分别更新两个网络以执行竞争性学习而达到训练目的。GAN学习的表征可用于多种应用，包括图像合成、语义图像编辑、风格迁移、图像超分辨率技术和分类。
在神经网络训练中，存在着样本类别不平衡的问题。与人类平时学习相同，神经网络的学习过程中也存在着简单样本和难样本的问题。与传统的分类任务不同，通过增加对难样本的挖掘和学习能够有效提高分类的精度和准确性。同时训练为了能够让神经网络学习过程更平滑，效率更高，课程学习的概念被提出。课程学习是通过模拟人的认知机理，首先学习简单的、普适性的知识结构，然后逐渐增加难度，过渡到学习更复杂、更专业化的知识。课程学习需要根据先验知识赋予样本学习先后的顺序。然而先验知识的缺失是课程学习的一大桎梏。随后的自步学习，即学习算法在每一部的迭代中决定下一步的学习样本，有效了解决了样本数据中缺乏先验知识的问题，给神经网络训练提供了一种有效的途径和方法。
因此，如何使整个网络的训练过程变得平滑且迅速，同时提高网络的效率成为了亟待解决的问题。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于自步双向对抗学习的融合遥感图像分类方法。本发明要解决的技术问题通过以下技术方案实现：
本发明实施例提供了一种基于自步双向对抗学习的融合遥感图像分类方法，所述融合遥感图像分类方法包括：
步骤1、获取第一MS图、第一PAN图和标注部分区域的地表标签图，所述第一MS图、所述第一PAN图和所述地表标签图对应同一地域；
步骤2、依次分别对所述第一MS图、所述第一PAN图进行归一化处理、分割处理和统一大小处理，对应得到多个第一MS图像块、多个第一PAN图像块；
步骤3、将所述第一MS图像块和所述第一PAN图像块输入至对抗网络，对应得到第二MS图和第二PAN图，所述对抗网络包括生成网络和鉴别网络；
步骤4、以归一化后的所述第一MS图、所述第一PAN图、所述第二MS图和所述第二PAN图中对应标注的像素点为中心取样本块，以对应得到统一大小的第三MS图像块、第三PAN图像块、第四MS图像块和第四PAN图像块，其中，标注的像素点对应所述地表标签图中的标注；
步骤5、将第一三元组和第二三元组分别输入分类网络，对得到的三重损失函数通过加权的方式整合在一起，以基于自步学习的训练策略，得到训练好的分类网络，所述第一三元组包括所述第三MS图像块、所述第三PAN图像块和所述第四MS图像块，所述第二三元组包括所述第三MS图像块、所述第三PAN图像块和所述第四PAN图像块；
步骤6、利用训练好的分类网络对待分类的图像进行分类，以得到分类结果。
在本发明的一个实施例中，所述步骤2包括：
步骤2.1、分别将对所述第一MS图和所述第一PAN图中所有像素点的值归一化到[0，1]之间，归一化公式为：
Figure BDA0003622476270000041
其中，pi表示图像中的任一像素值，pmin表示图像中的最小像素值，pmax表示图像中的最大像素值；
步骤2.2、对归一化后的所述第一MS图和所述第一PAN图分别进行分割处理，对应得到多个第一MS图像块和多个第一PAN图像块；
步骤2.3、统一所述第一MS图像块和所述第一PAN图像块的大小，得到大小统一的所述第一MS图像块和所述第一PAN图像块。
在本发明的一个实施例中，所述步骤3包括：
步骤3.1、在随机产生的噪声数据中随机采样一噪声；
步骤3.2、将所述噪声输入所述生成网络，得到一组假图像，对所述第一MS图像块、所述第一PAN图像块和所述假图像均标记标签，其中，标签包括真实图像标签和假图像标签；
步骤3.3、将标记标签的所述第一MS图像块、所述第一PAN图像块和所述假图像输入所述鉴别网络，得到对应的概率值；
步骤3.4、根据所述概率值计算损失函数，利用反向传播算法，更新所述生成网络和所述鉴别网络的参数，直至所述损失函数收敛，所述生成网络和鉴别网络的训练完成，对应得到第二MS图像块、第二PAN图像块；
步骤3.5、对所有所述第二MS图像块和所有所述第二PAN图像块分别进行组合和拼接，对应得到所述第二MS图和所述第二PAN图。
在本发明的一个实施例中，所述生成网络共包括五层，其中：
所述生成网络的第一层为4*4逆卷积层，步长为2，填充为1，输入通道数64，输出通道数256；
所述生成网络的第二层为4*4逆卷积层，步长为2，填充为1，输出通道数为128；
所述生成网络的第三层为4*4逆卷积层，步长为2，填充为1，输出通道数为64；
所述生成网络的第四层为4*4逆卷积层，步长为2，填充为1，输出通道数为4。
在本发明的一个实施例中，所述鉴别网络的第一层为3*3卷积层，步长为1，填充为1，输入通道数为4，输出通道数为64；
所述鉴别网络的第一残差块的第一层为3*3卷积层，步长为2，填充为1，输出通道数为64，第二层为3*3卷积层，步长为1，填充为1，输出通道数为64；
所述鉴别网络的第二残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为128，第二层为3*3卷积层，步长为1，填充为1，输出通道数为128；
所述鉴别网络的第三残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为256，第二层为3*3卷积层，步长为1，填充为1，输出通道数为256；
所述鉴别网络的第四残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为512，第二层为3*3卷积层，步长为1，填充为1，输出通道数为512；
所述鉴别网络的全连接层输入512节点，输出64节点；
其中，所述鉴别网络的所述第一残差块、所述第二残差块、所述第三残差块和所述第四残差块的数量均为2。
在本发明的一个实施例中，所述步骤4包括：
步骤4.1、分别将对所述第一MS图、所述第一PAN图、所述第二MS图和所述第二PAN图中所有像素点的值归一化到[0，1]之间；
步骤4.2、在归一化后的所述第一MS图、所述第一PAN图、所述第二MS图和所述第二PAN图中找到有对应标注的像素点，以每个像素点为中心取预设大小的邻域作为样本块，对应得到所述第三MS图像块、所述第三PAN图像块、所述第四MS图像块和所述第四PAN图像块；
步骤4.3、统一所述第三MS图像块、所述第三PAN图像块、所述第四MS图像块和所述第四PAN图像块的大小，得到大小统一的所述第三MS图像块、所述第三PAN图像块、所述第四MS图像块和所述第四PAN图像块。
在本发明的一个实施例中，所述步骤5包括：
步骤5.1、将所述第一三元组和所述第二三元组分别输入分类网络，将分别得到的三重损失函数值通过加权的方式整合在一起；
步骤5.2、求取所有整合在一起的三重损失函数值的均值，并从所有所述第一三元组和所述第二三元组中挑选出三重损失函数值小于均值的样本；
步骤5.3、利用所述样本，重复执行步骤5.1-步骤5.2，直至达到预设条件，得到训练好的分类网络。
在本发明的一个实施例中，所述分类网络的第一层为3*3卷积层，步长为1，填充为1，输入通道数为4，输出通道数为64；
所述分类网络的第一残差块的第一层为3*3卷积层，步长为2，填充为1，输出通道数为64，第二层为3*3卷积层，步长为1，填充为1，输出通道数为64；
所述分类网络的第二残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为128，第二层为3*3卷积层，步长为1，填充为1，输出通道数为128；
所述分类网络的第三残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为256，第二层为3*3卷积层，步长为1，填充为1，输出通道数为256；
所述分类网络的第四残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为512，第二层为3*3卷积层，步长为1，填充为1，输出通道数为512；
所述分类网络的第一全连接层输入512节点，输出64节点；
所述分类网络的第二全连接层输入64节点，输出样本类别数节点；
其中，所述分类网络的所述第一残差块、所述第二残差块、所述第三残差块和所述第四残差块的数量均为2。
在本发明的一个实施例中，所述三重损失函数为：
L＝max(d(a,p)-d(a,n)+margin,0)
其中，a表示锚点，n表示负样本，p表示正样本，margin表示边缘距离，d(·)表示欧氏距离。
与现有技术相比，本发明的有益效果：
本发明由于采用了自步学习的学习训练策略，能够让网络在难易样本中先对易样本进行训练，再对难样本进行训练，能够使得整个网络的训练过程变得平滑且迅速，提高网络的效率。
本发明由于通过生成对抗网络得到了一定数量的负样本来提高模型对于难分样本的分别能力，因此能够有效提高模型对于类间样本的区分能力，提高网络的分类精度。
本发明由于使用了三重loss作为损失函数，相比于传统的分类函数，更侧重于类间差别和类内差别，在监督学习中能够提高模型对于不同种类的区分能力。
通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。
附图说明
图1为本发明实施例提供的一种基于自步双向对抗学习的融合遥感图像分类方法的流程示意图；
图2为本发明实施例提供的另一种基于自步双向对抗学习的融合遥感图像分类方法的流程示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1和图2，图1为本发明实施例提供的一种基于自步双向对抗学习的融合遥感图像分类方法的流程示意图，图2为本发明实施例提供的另一种基于自步双向对抗学习的融合遥感图像分类方法的流程示意图，本发明提供一种基于自步双向对抗学习的融合遥感图像分类方法，该基于自步双向对抗学习的融合遥感图像分类方法包括步骤1-步骤6，其中：
步骤1、获取第一MS图、第一PAN图和标注部分区域的地表标签图(groundtruth)，第一MS图、第一PAN图和地表标签图对应同一地域。
具体地，取第一MS图、第一PAN图和地表标签图均对应于同一地域，第一MS图和第一PAN图已配准，且地表标签图为有部分区域标注和部分区域未标注的地表图，本实施例不对具体地域做具体限定，其可以为任一需要处理的地域。
步骤2、依次分别对第一MS图、第一PAN图进行归一化处理、分割处理和统一大小处理，对应得到多个第一MS图像块、多个第一PAN图像块。
在一个具体实施例中，步骤2可以具体包括步骤2.1-步骤2.3，其中：
步骤2.1、分别将对第一MS图和第一PAN图中所有像素点的值归一化到[0，1]之间，即需要分别将第一MS图和第一PAN图中每个像素点均归一化到[0，1]之间，其中，归一化公式为：
Figure BDA0003622476270000101
其中，pi表示图像中的任一像素值，pmin表示图像中的最小像素值，pmax表示图像中的最大像素值。
步骤2.2、对归一化后的第一MS图和第一PAN图分别进行分割处理，对应得到多个第一MS图像块和多个第一PAN图像块。
具体地，将第一MS图和第一PAN图分别根据尺寸的大小进行分割，其中，第一MS图像块的尺寸例如为4*16*16，第一PAN图像块的尺寸例如为64*64，以将原图分割成小尺寸的图像。
步骤2.3、统一第一MS图像块和第一PAN图像块的大小，得到大小统一的第一MS图像块和第一PAN图像块。
具体地，统一第一MS图像块和第一PAN图像块的大小尺寸，对第一PAN图像块先经过一层2倍的下采样，大小变为32*32，接着将每个2*2的矩阵扩充成4*1四通道，最终第一MS图像块和第一PAN图像块的大小均为4*16*16。
步骤3、将第一MS图像块和第一PAN图像块输入至对抗网络，对应得到第二MS图和第二PAN图，对抗网络包括生成网络和鉴别网络。
在一个具体实施例中，步骤3可以具体包括步骤3.1-步骤3.5，其中：
步骤3.1、在随机产生的噪声数据中随机采样一噪声。
具体地，在随机产生的噪声数据分布中随机采样一个64维的噪声。
步骤3.2、将噪声输入生成网络，得到一组假图像，对第一MS图像块、第一PAN图像块和假图像均标记标签，其中，标签包括真实图像标签和假图像标签。
具体地，将64维的噪声输入生成网络，得到一组假图像，记为D(z)，数据的大小为4*16*16，第一MS图像块、第一PAN图像块标记真实图像标签，假数据标记假图像标签，例如，真实图像标签设置为1，假图像标签设置为0。
在一个具体实施例中，生成网络共包括五层，其中：
生成网络的第一层为4*4逆卷积层，步长为2，填充为1，输入通道数64，输出通道数256；
生成网络的第二层为4*4逆卷积层，步长为2，填充为1，输出通道数为128；
生成网络的第三层为4*4逆卷积层，步长为2，填充为1，输出通道数为64；
生成网络的第四层为4*4逆卷积层，步长为2，填充为1，输出通道数为4。
步骤3.3、将标记标签的第一MS图像块、第一PAN图像块和假图像输入鉴别网络，得到对应的概率值。
具体地，将标记标签的第一MS图像块、第一PAN图像块和假图像放入鉴别网络中，鉴别网络的输出为该输入值是真实图像的概率，当鉴别网络给出的得分越高，则所生成的图像与原有的真实图像越接近。
在一个具体实施例中，鉴别网络的第一层为3*3卷积层，步长为1，填充为1，输入通道数为4，输出通道数为64；
鉴别网络的第一残差块的第一层为3*3卷积层，步长为2，填充为1，输出通道数为64，第二层为3*3卷积层，步长为1，填充为1，输出通道数为64；
鉴别网络的第二残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为128，第二层为3*3卷积层，步长为1，填充为1，输出通道数为128；
鉴别网络的第三残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为256，第二层为3*3卷积层，步长为1，填充为1，输出通道数为256；
鉴别网络的第四残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为512，第二层为3*3卷积层，步长为1，填充为1，输出通道数为512；
鉴别网络的全连接层输入512节点，输出64节点；
其中，鉴别网络的第一残差块、第二残差块、第三残差块和第四残差块的数量均为2。
鉴别网络的处理顺序为：第一层→2个第一残差块→2个第二残差块→2个第三残差块→2个第四残差块→全连接层。
步骤3.4、根据概率值计算损失函数，利用反向传播算法，更新鉴别网络的参数，直至损失函数收敛，鉴别网络的训练完成，对应得到第二MS图像块、第二PAN图像块。
具体地，根据得到的概率值计算损失函数，具体可利用交叉熵函数计算损失函数，据生成网络和鉴别网络的损失函数，可以利用反向传播算法，更新生成网络和鉴别网络的参数，训练完成后，训练完成的生成网络和鉴别网络对应输出与第一MS图像块、第一PAN图像块相似的第二MS图像块(也即MS’图像块)、第二PAN图像块(也即PAN’图像块)。
步骤3.5、对所有第二MS图像块和所有第二PAN图像块分别进行组合和拼接，对应得到第二MS图和第二PAN图。
具体地，按照顺序将所得到的所有第二MS图像块和所有第二PAN图像块进行组合和拼接，以对应得到大小与第一MS图相同的第二MS图和第二PAN图。
步骤4、以归一化后的第一MS图、第一PAN图、第二MS图和第二PAN图中对应标注的像素点为中心取样本块，以对应得到统一大小的第三MS图像块、第三PAN图像块、第四MS图像块和第四PAN图像块，其中，标注的像素点对应地表标签图中的标注。
在一个具体实施例中，步骤4可以具体包括步骤4.1-步骤4.3，其中：
步骤4.1、分别将对第一MS图、第一PAN图、第二MS图和第二PAN图中所有像素点的值归一化到[0，1]之间。
具体地，利用归一化公式分别将第一MS图、第一PAN图、第二MS图和第二PAN图中所有像素点均归一化到[0，1]之间。
步骤4.2、在归一化后的第一MS图、第一PAN图、第二MS图和第二PAN图中找到有对应标注的像素点，以每个像素点为中心取预设大小的邻域作为样本块，对应得到第三MS图像块、第三PAN图像块、第四MS图像块和第四PAN图像块。
具体地，地表标签图中有部分区域已进行了标注，因此可以将地表标签图中已标注的像素点对应至第一MS图、第一PAN图、第二MS图和第二PAN图中，在第一MS图、第一PAN图、第二MS图和第二PAN图中以该已在地表标签图中标注的像素点为中心取预设大小的邻域作为样本块，例如第一PAN图和第二PAN图的样本块的大小为64*64，第一MS图和第二MS图的样本块的大小为16*16，每个样本块的邻域为中心点的分类所服务。对MS图和PAN图进行填充，目的是图在进行分割后不会有多余的部分。然后取每类的百分之十样本作为训练集，其余作为测试集。
步骤4.3、统一第三MS图像块、第三PAN图像块、第四MS图像块和第四PAN图像块的大小，得到大小统一的第三MS图像块、第三PAN图像块、第四MS图像块和第四PAN图像块。
具体地，统一所有第三MS图像块、第三PAN图像块、第四MS图像块和第四PAN图像块的大小尺寸，对第三PAN图像块和第四PAN图像块先经过一层2倍的下采样，大小为32*32，接着将每个2*2的矩阵扩充成4*1四通道，以得到大小同一的第三MS图像块、第三PAN图像块、第四MS图像块和第四PAN图像块。
步骤5、将第一三元组和第二三元组分别输入分类网络，对得到的三重损失函数通过加权的方式整合在一起，以基于自步学习的训练策略，得到训练好的分类网络，所述第一三元组包括所述第三MS图像块、所述第三PAN图像块和所述第四MS图像块，所述第二三元组包括所述第三MS图像块、所述第三PAN图像块和第四PAN图像块。
在本实施例中，将以同一像素点为圆心对应的第三MS图像块、第三PAN图像块和第四MS图像块作为第一三元组，将以同一像素点为圆心对应的第三MS图像块、第三PAN图像块和第四PAN图像块作为第二三元组，由此可以得到多组第一三元组和多组第二三元组。在第一三元组中，第三MS图像块作为三元组的锚点以及基准，第三PAN图像块作为正样本，第四MS图像块作为负样本。在第二三元组中，第三PAN图像块作为三元组的锚点以及基准，第三MS图像块作为正样本，第四PAN图像块作为负样本。
在本实施例的模型训练过程中，加入了自步学习作为训练策略。自步学习是通过先学习简单样本，逐步在学习中加强难度，最后学习难样本过程。传统机器学习方法的目标函数为：
Figure BDA0003622476270000151
其中，argmin的意思是求使得括号内值最小的w值。
对于自步学习来说，并不是所有的样本都能够被选择，因此要引入二分变量vi来表征每个样本是否被选择。自步学习的目标函数为：
Figure BDA0003622476270000152
其中，
Figure BDA0003622476270000153
时，vi＝1，当
Figure BDA0003622476270000154
时，vi＝0。
本实施例中的损失函数为：
Figure BDA0003622476270000155
Figure BDA0003622476270000156
在一个具体实施例中，步骤5可以具体包括步骤5.1-步骤5.3，其中：
步骤5.1、将第一三元组和第二三元组分别输入分类网络，将分别得到的三重损失函数值通过加权的方式整合在一起。
具体地，将以同一像素点为圆心的第一三元组和第二三元组分别输入分类网络，对应会得到两个三重损失函数值，对于两个三元组生成的两个三重损失函数值(即loss)，通过加权的方式整合在一起。
在一个具体实施例中，分类网络的第一层为3*3卷积层，步长为1，填充为1，输入通道数为4，输出通道数为64；
分类网络的第一残差块的第一层为3*3卷积层，步长为2，填充为1，输出通道数为64，第二层为3*3卷积层，步长为1，填充为1，输出通道数为64；
分类网络的第二残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为128，第二层为3*3卷积层，步长为1，填充为1，输出通道数为128；
分类网络的第三残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为256，第二层为3*3卷积层，步长为1，填充为1，输出通道数为256；
分类网络的第四残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为512，第二层为3*3卷积层，步长为1，填充为1，输出通道数为512；
分类网络的第一全连接层输入512节点，输出64节点；
分类网络的第二全连接层输入64节点，输出样本类别数节点；
其中，分类网络的第一残差块、第二残差块、第三残差块和第四残差块的数量均为2。
分类网络的处理顺序为：第一层→2个第一残差块→2个第二残差块→2个第三残差块→2个第四残差块→第一全连接层→第二全连接层。
在一个具体实施例中，三重损失函数为：
L＝max(d(a,p)-d(a,n)+margin,0)
其中，a表示锚点，n表示负样本，p表示正样本，margin表示边缘距离，d(·)表示欧氏距离。
步骤5.2、求取所有整合在一起的三重损失函数值的均值，并从所有第一三元组和第二三元组中挑选出三重损失函数值小于均值的样本。
具体地，利用步骤5.1可以求取所有相对应的第一三元组和第二三元组的整合在一起的三重损失函数值，由此可以求取所有整合在一起的三重损失函数值的均值，由此可以从所有的第一三元组和第二三元组中挑选出三重损失函数值小于均值的样本(样本即三元组)。
步骤5.3、利用样本，重复执行步骤5.1-步骤5.2，直至达到预设条件，得到训练好的分类网络。其中，预设条件为设定一迭代周期，即达到周期即可得到训练好的分类网络，或者预设条件为直至三重损失函数值收敛为止
本实施例引入自步学习的训练策略，首先通过迭代得到所有样本的损失，求样本损失值的均值，挑选出损失值小于均值的样本，在后续迭代中迭代挑选出来的样本，样本稳定后，再计算所有样本的损失均值，循环这个过程。
步骤6、利用训练好的分类网络对待分类的图像进行分类，以得到分类结果。
具体地，可以将待分类的MS图像和PAN图按照步骤4.2的方式提取图像块，并输入至训练好的分类网络中进行分类，便可以得到每个像素点的分类类别，为了测试，可以将测试数据集的样本块作为训练好的分类模型的输入，训练好的分类模型的输出为测试数据集中每个像素点进行分类得到的分类类别。
本发明的效果可以通过以下仿真实验进一步说明：
1.仿真条件：
硬件平台为：HP-Z840工作站，TITAN-X-12GB-GPU,64GB RAM。
软件平台为：Python，PyTorch深度学习框架。
2.仿真内容与结果：
本发明仿真实验采用本发明仿真实验的图像是呼和浩特市区遥感图像。其中PAN图像由8004*8404像素组成，MS图像由2001*2101*4像素组成。带标签的分类场景有水域、路、裸露土地、植被、城区密集高楼、城区稀疏住宅、郊区、农田、白色房顶建筑、红顶建筑和蓝顶建筑共十一类。经过训练之后，我们方法的准确率在97％，用来对比的传统方法在96％。
本发明由于采用了自步学习的学习训练策略，能够让网络在难易样本中先对易样本进行训练，再对难样本进行训练，能够使得整个网络的训练过程变得平滑且迅速，提高网络的效率。
本发明由于通过生成对抗网络得到了一定数量的负样本来提高模型对于难分样本的分别能力，因此能够有效提高模型对于类间样本的区分能力，提高网络的分类精度。
本发明由于使用了三重loss作为损失函数，相比于传统的分类函数，更侧重于类间差别和类内差别，在监督学习中能够提高模型对于不同种类的区分能力。
在发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征数据点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特征数据点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于自步双向对抗学习的融合遥感图像分类方法，其特征在于，所述融合遥感图像分类方法包括：
步骤1、获取第一MS图、第一PAN图和标注部分区域的地表标签图，所述第一MS图、所述第一PAN图和所述地表标签图对应同一地域；
步骤2、依次分别对所述第一MS图、所述第一PAN图进行归一化处理、分割处理和统一大小处理，对应得到多个第一MS图像块、多个第一PAN图像块；
步骤3、将所述第一MS图像块和所述第一PAN图像块输入至对抗网络，对应得到第二MS图和第二PAN图，所述对抗网络包括生成网络和鉴别网络；
步骤4、以归一化后的所述第一MS图、所述第一PAN图、所述第二MS图和所述第二PAN图中对应标注的像素点为中心取样本块，以对应得到统一大小的第三MS图像块、第三PAN图像块、第四MS图像块和第四PAN图像块，其中，标注的像素点对应所述地表标签图中的标注；
步骤5、将第一三元组和第二三元组分别输入分类网络，对得到的三重损失函数通过加权的方式整合在一起，以基于自步学习的训练策略，得到训练好的分类网络，所述第一三元组包括所述第三MS图像块、所述第三PAN图像块和所述第四MS图像块，所述第二三元组包括所述第三MS图像块、所述第三PAN图像块和所述第四PAN图像块；
步骤6、利用训练好的分类网络对待分类的图像进行分类，以得到分类结果。
2.根据权利要求1所述的基于自步双向对抗学习的融合遥感图像分类方法，其特征在于，所述步骤2包括：
步骤2.1、分别将对所述第一MS图和所述第一PAN图中所有像素点的值归一化到[0，1]之间，归一化公式为：
Figure FDA0003622476260000021
其中，pi表示图像中的任一像素值，pmin表示图像中的最小像素值，pmax表示图像中的最大像素值；
步骤2.2、对归一化后的所述第一MS图和所述第一PAN图分别进行分割处理，对应得到多个第一MS图像块和多个第一PAN图像块；
步骤2.3、统一所述第一MS图像块和所述第一PAN图像块的大小，得到大小统一的所述第一MS图像块和所述第一PAN图像块。
3.根据权利要求1所述的基于自步双向对抗学习的融合遥感图像分类方法，其特征在于，所述步骤3包括：
步骤3.1、在随机产生的噪声数据中随机采样一噪声；
步骤3.2、将所述噪声输入所述生成网络，得到一组假图像，对所述第一MS图像块、所述第一PAN图像块和所述假图像均标记标签，其中，标签包括真实图像标签和假图像标签；
步骤3.3、将标记标签的所述第一MS图像块、所述第一PAN图像块和所述假图像输入所述鉴别网络，得到对应的概率值；
步骤3.4、根据所述概率值计算损失函数，利用反向传播算法，更新所述生成网络和所述鉴别网络的参数，直至所述损失函数收敛，所述生成网络和鉴别网络的训练完成，对应得到第二MS图像块、第二PAN图像块；
步骤3.5、对所有所述第二MS图像块和所有所述第二PAN图像块分别进行组合和拼接，对应得到所述第二MS图和所述第二PAN图。
4.根据权利要求3所述的基于自步双向对抗学习的融合遥感图像分类方法，其特征在于，所述生成网络共包括五层，其中：
所述生成网络的第一层为4*4逆卷积层，步长为2，填充为1，输入通道数64，输出通道数256；
所述生成网络的第二层为4*4逆卷积层，步长为2，填充为1，输出通道数为128；
所述生成网络的第三层为4*4逆卷积层，步长为2，填充为1，输出通道数为64；
所述生成网络的第四层为4*4逆卷积层，步长为2，填充为1，输出通道数为4。
5.根据权利要求3所述的基于自步双向对抗学习的融合遥感图像分类方法，其特征在于，所述鉴别网络的第一层为3*3卷积层，步长为1，填充为1，输入通道数为4，输出通道数为64；
所述鉴别网络的第一残差块的第一层为3*3卷积层，步长为2，填充为1，输出通道数为64，第二层为3*3卷积层，步长为1，填充为1，输出通道数为64；
所述鉴别网络的第二残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为128，第二层为3*3卷积层，步长为1，填充为1，输出通道数为128；
所述鉴别网络的第三残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为256，第二层为3*3卷积层，步长为1，填充为1，输出通道数为256；
所述鉴别网络的第四残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为512，第二层为3*3卷积层，步长为1，填充为1，输出通道数为512；
所述鉴别网络的全连接层输入512节点，输出64节点；
其中，所述鉴别网络的所述第一残差块、所述第二残差块、所述第三残差块和所述第四残差块的数量均为2。
6.根据权利要求1所述的基于自步双向对抗学习的融合遥感图像分类方法，其特征在于，所述步骤4包括：
步骤4.1、分别将对所述第一MS图、所述第一PAN图、所述第二MS图和所述第二PAN图中所有像素点的值归一化到[0，1]之间；
步骤4.2、在归一化后的所述第一MS图、所述第一PAN图、所述第二MS图和所述第二PAN图中找到有对应标注的像素点，以每个像素点为中心取预设大小的邻域作为样本块，对应得到所述第三MS图像块、所述第三PAN图像块、所述第四MS图像块和所述第四PAN图像块；
步骤4.3、统一所述第三MS图像块、所述第三PAN图像块、所述第四MS图像块和所述第四PAN图像块的大小，得到大小统一的所述第三MS图像块、所述第三PAN图像块、所述第四MS图像块和所述第四PAN图像块。
7.根据权利要求1所述的基于自步双向对抗学习的融合遥感图像分类方法，其特征在于，所述步骤5包括：
步骤5.1、将所述第一三元组和所述第二三元组分别输入分类网络，将分别得到的三重损失函数值通过加权的方式整合在一起；
步骤5.2、求取所有整合在一起的三重损失函数值的均值，并从所有所述第一三元组和所述第二三元组中挑选出三重损失函数值小于均值的样本；
步骤5.3、利用所述样本，重复执行步骤5.1-步骤5.2，直至达到预设条件，得到训练好的分类网络。
8.根据权利要求1或7所述的基于自步双向对抗学习的融合遥感图像分类方法，其特征在于，所述分类网络的第一层为3*3卷积层，步长为1，填充为1，输入通道数为4，输出通道数为64；
所述分类网络的第一残差块的第一层为3*3卷积层，步长为2，填充为1，输出通道数为64，第二层为3*3卷积层，步长为1，填充为1，输出通道数为64；
所述分类网络的第二残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为128，第二层为3*3卷积层，步长为1，填充为1，输出通道数为128；
所述分类网络的第三残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为256，第二层为3*3卷积层，步长为1，填充为1，输出通道数为256；
所述分类网络的第四残差块的第一层为3*3卷积层，步长为3，填充为1，输出通道数为512，第二层为3*3卷积层，步长为1，填充为1，输出通道数为512；
所述分类网络的第一全连接层输入512节点，输出64节点；
所述分类网络的第二全连接层输入64节点，输出样本类别数节点；
其中，所述分类网络的所述第一残差块、所述第二残差块、所述第三残差块和所述第四残差块的数量均为2。
9.根据权利要求1或7所述的基于自步双向对抗学习的融合遥感图像分类方法，其特征在于，所述三重损失函数为：
L＝max(d(a,p)-d(a,n)+margin,0)
其中，a表示锚点，n表示负样本，p表示正样本，margin表示边缘距离，d(·)表示欧氏距离。
CN202210461977.8A 2022-04-28 2022-04-28 基于自步双向对抗学习的融合遥感图像分类方法 Pending CN114913368A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210461977.8A CN114913368A (zh) 2022-04-28 2022-04-28 基于自步双向对抗学习的融合遥感图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210461977.8A CN114913368A (zh) 2022-04-28 2022-04-28 基于自步双向对抗学习的融合遥感图像分类方法

Publications (1)

Publication Number Publication Date
CN114913368A true CN114913368A (zh) 2022-08-16

Family

ID=82765378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210461977.8A Pending CN114913368A (zh) 2022-04-28 2022-04-28 基于自步双向对抗学习的融合遥感图像分类方法

Country Status (1)

Country Link
CN (1) CN114913368A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511700A (zh) * 2022-09-15 2022-12-23 南京栢拓视觉科技有限公司 一种精细化高质量效果的材质风格迁移系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511700A (zh) * 2022-09-15 2022-12-23 南京栢拓视觉科技有限公司 一种精细化高质量效果的材质风格迁移系统
CN115511700B (zh) * 2022-09-15 2024-03-05 南京栢拓视觉科技有限公司 一种精细化高质量效果的材质风格迁移系统

Similar Documents

Publication Publication Date Title
Huang et al. Point cloud labeling using 3d convolutional neural network
CN109902806B (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
WO2021022970A1 (zh) 一种基于多层随机森林的零部件识别方法及系统
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN109886121B (zh) 一种遮挡鲁棒的人脸关键点定位方法
CN109255364B (zh) 一种基于深度卷积生成对抗网络的场景识别方法
CN111639544B (zh) 基于多分支跨连接卷积神经网络的表情识别方法
Liu et al. Multi-objective convolutional learning for face labeling
CN111783831B (zh) 基于多源多标签共享子空间学习的复杂图像精确分类方法
US11854244B2 (en) Labeling techniques for a modified panoptic labeling neural network
CN109102024B (zh) 一种用于物体精细识别的层次语义嵌入模型及其实现方法
CN110991532B (zh) 基于关系视觉注意机制的场景图产生方法
CN112801015B (zh) 一种基于注意力机制的多模态人脸识别方法
CN114821014B (zh) 基于多模态与对抗学习的多任务目标检测识别方法及装置
CN114092697B (zh) 注意力融合全局和局部深度特征的建筑立面语义分割方法
CN110826411B (zh) 一种基于无人机图像的车辆目标快速识别方法
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN110287798B (zh) 基于特征模块化和上下文融合的矢量网络行人检测方法
CN113159067A (zh) 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置
Stomberg et al. Jungle-net: Using explainable machine learning to gain new insights into the appearance of wilderness in satellite imagery
CN116883650A (zh) 一种基于注意力和局部拼接的图像级弱监督语义分割方法
CN116740516A (zh) 基于多尺度融合特征提取的目标检测方法及系统
CN114913368A (zh) 基于自步双向对抗学习的融合遥感图像分类方法
CN112215130B (zh) 一种基于2.5d/3d混合卷积模型的人体行为识别方法
CN111695436B (zh) 一种基于目标增强的高空间分辨率遥感图像场景分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination