CN115410093A - 基于双通道编码网络和条件随机场的遥感图像分类方法 - Google Patents

基于双通道编码网络和条件随机场的遥感图像分类方法 Download PDF

Info

Publication number
CN115410093A
CN115410093A CN202211050242.2A CN202211050242A CN115410093A CN 115410093 A CN115410093 A CN 115410093A CN 202211050242 A CN202211050242 A CN 202211050242A CN 115410093 A CN115410093 A CN 115410093A
Authority
CN
China
Prior art keywords
network
pixel
image
matrix
polsar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211050242.2A
Other languages
English (en)
Inventor
石俊飞
许炜楠
金海燕
王伟
贺天生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202211050242.2A priority Critical patent/CN115410093A/zh
Publication of CN115410093A publication Critical patent/CN115410093A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于双通道编码网络和条件随机场的遥感图像分类方法，步骤包括：首先对PolSAR图像预处理后，使用目标分解方法提取PolSAR图像的多特征；利用双通道编码的FCN网络分别训练原始数据和多特征并进行特征融合并得到初始分类结果；接着构建CRF的能量函数，初始分类结果作为其输入，充分考虑PolSAR图像的全局结构信息，对边缘细节分割进行改善，此外，为了防止区域过于平滑，添加了边界惩罚函数进行约束，有效克服了PolSAR图像中像素之间缺乏互联性的问题。最终使得PolSAR分类结果能够显示出良好的空间一致性和图像边缘精细结构的完整性。

Description

基于双通道编码网络和条件随机场的遥感图像分类方法
技术领域
本发明属于图像处理和遥感技术领域，涉及一种基于双通道编码网络和条件随机场(Conditional Random Field，CRF)的遥感图像分类方法
背景技术
极化合成孔径雷达(Polarimetric Synthetic Aperture Radar，PolSAR)是一种多通道、多极化模式的微波成像系统。PolSAR通过多种极化的组合方式对地物目标进行矢量测量，来得到目标特征更多的参数信息，它可以利用电磁波的特性来分析不同极化状态下的特征回波，同时发送和接收不同位置(水平和垂直)的极化信息，得到高分辨率、反映目标特征范围广的雷达图像。因此，PolSAR能够可以更全面地来描述地物目标的极化特性，在军事侦察、目标检测与识别等领域中得到了广泛应用，所以评估和分析PolSAR图像的地物分类工作具有十分重要的意义。
近些年，许多极化SAR图像分类方法和理论不断被提出，其分类方法主要分为三个方面：第一是基于统计特性的分类方法，如Kong等人基于单视PolSAR数据提出的复高斯分布的最大似然分类器；Lee等人基于多视数据提出了基于相干矩阵的复Wishart分布的距离度量分类方法；Zou等人利用Kummer U分布统计模型来实现高分辨率PolSAR图像的区域分割；此外还有Liu和Wu等人提出的关于Wishart混合分布模型的分类方法，有效地提高了PolSAR的分类性能。
第二是基于目标分解的分类方法，其基本原则是根据目标的不同散射特性或散射机制等对PolSAR图像进行分类，包括Cloude分解、Freeman分解、Yamaguchi分解等；此外Song等人利用极化散射机理进行模糊建模，提高了混合散射像素的分类精度；Ratha等人提出了通用的散射功率分解框架，通过测度距离构建新的旋转不变参数和分类策略，有效提高了PolSAR的分类精度。
第三是结合统计分布特性和目标分解的分类方法。这种方法不仅具有基于目标散射特性分解方法的优势，并结合了极化统计分布特性对PolSAR数据进行迭代聚类，因此分类结果精度更高。例如Lee等人提出H/α-Wishart以及Frerro-Famil等人提出的H/A/α-Wishart分类方法，提高了更多种不同类别地物的区分性能。
此后，随着深度学习不断在计算机视觉等领域发展，卷积神经网络的非线性拟合能力引起了研究学者们的广泛关注，各种基于神经网络的PolSAR分类研究方法不断涌现。与传统的PolSAR分类算法相比，基于深度学习的算法能够自动地从原始图像中学习PolSAR的数据的深度特征表示，并且鲁棒性能较高。卷积神经网络(Convolutional NeuralNetwork，CNN)作为一种深度学习分类算法，在PolSAR图像分类中可以表现出良好的拟合效果。然而基于CNN网络的输入维度是固定的，PolSAR图像分类中像素之间的联系并没有得到充分的探索，会存在边界不连续和计算冗余的问题。而全卷积网络(Fully ConvolutionalNetwork，FCN)可以逐像素识别图像并且不限制其输入尺寸，通过多层卷积层来提取更加复杂的PolSAR语义特征信息。因此，FCN网络在PolSAR图像分类问题上更有优势。
对于PolSAR图像来说，其存在着特殊的成像机理，图像分辨率较高且场景复杂，各种地物对象总是以多尺度的形式存在，这种信息在空间维度上以邻域的形式互相关联，并且不同特征之间存在差异性与冗余性。在PolSRA特征提取的过程中，一般直接利用极化协方差矩阵或极化相干矩阵作为网络输入，这对于PolSAR图像的特征提取不够有效，无法获取深层次的有效特征，因此难以对PolSAR数据进行更好的信息表征。
此外，FCN网络虽然在一定程度上解决了CNN网络训练阶段重复计算和邻域尺寸等问题，但它只利用了最后几个卷积层输出的特征进行分类，并没有充分利用PolSAR数据的全局信息和结构信息，边界不连续的问题依然存在，因此在PolSAR图像分类精度方面仍有待提高。
发明内容
本发明目的是提供一种基于双通道编码网络和条件随机场的遥感图像分类方法，解决了现有技术中存在的PolSAR图像特征提取不充分和图像边界定位不精准等问题，能够进一步地提高PolSAR图像分类的精度。
本发明所采用的技术方案是：
基于双通道编码网络和条件随机场的遥感图像分类方法，包括以下步骤：
步骤1，输入待分类的极化SAR图像，进行预处理；
步骤2，将预处理后极化SAR图像的T矩阵展开成9维的列向量归一化后得到列向量特征；同时将预处理后极化SAR图像的T矩阵进行三种目标分解方法得到的9维物理散射特征，归一化后获得目标分解特征；
步骤3，建立基于双通道的FCN网络，双通道的FCN网络包括一路FCN网络和二路FCN网络，将步骤2得到的列向量特征和目标分解特征分别输入一路FCN网络和二路FCN网络进行训练分别得到极化相干特征图和极化分解特征图；
步骤4，将极化相干特征图和极化分解特征图进行逐像素叠加，从而实现特征融合后进行反卷积的上采样操作，经过一维卷积和Softmax函数后得到PolSAR的初始分类结果；
步骤5，构建CRF的能量函数，将步骤4处理后的FCN网络的初始分类概率作为的CRF能量函数中的一元势，将步骤4融合后的特征向量输入到CRF能量函数中，作为CRF能量函数中的二元势；并在CRF能量函数中增加边缘惩罚函数来平衡边界信息的比重，得到CRF修正的能量函数；
步骤6，对初始分类结果的每一个像素块通过CRF修正的能量函数进行修正，获得最终的PolSAR图像预测分类结果。
本发明的特点还在于：
步骤1中采用的预处理方法为精制极化Lee滤波。
步骤2中获取列向量特征的步骤为：
将相干T矩阵中的9维矩阵元素来表示每个像素的特征向量，相干矩阵T由极化散射矩阵S在Pauli基下转换得到，表达式如下所示；
Figure BDA0003823506180000051
因此，处理后的极化SAR数据中第i个像素点的特征向量Ii可以表示为：
Figure BDA0003823506180000052
其中，特征向量中复数的实数部分用real表示，复数的虚数部分用imag表示，T矩阵的第i行第j列数据表示为Tij；将Ii矩阵中的各元素进行展开，则特征维数D＝9，由于Ii中每一个值都很小，因此将数据分别归一化到了[0,1]之间。
步骤2中的三种目标分解方法包括对PolSAR的相干T矩阵分别进行Pauli分解、Freeman分解和Cloude分解。
步骤3中所述一路FCN网络为Wishart复矩阵子网络，所述二路FCN网络为多特征编码子网络；
所述Wishart复矩阵子网络包括依次连接的Wishart网络层、传统卷积层，大池化层。
Wishart卷积网络层中，对于输入的原始数据T，进行Wishart距离计算。并采用的Wishart卷积核，将Wishart卷积转化为线性运算，Wishart卷积定义为：
h(Ii)＝sigm(W'Ii+b) (3)
其中，sigm(·)为sigmoid函数，Ii表示第i个像素点的T矩阵列向量，W为3×3的卷积核，初始化为初始聚类中心，为方便计算，将其向量化为9维列向量，卷积核个数定为聚类中心个数C。初始化为：
b＝[ln(|<T1>|),ln(|<T2>|),...,ln(|<TC>|)]' (4)
b为偏置，h表示隐层输出，T1为第一个像素的T矩阵，T2为第二个像素的T矩阵，TC为第C个像素的T矩阵。每个卷积核输出一个极化SAR像素点到聚类中心的Wishart距离映射；
多特征编码子网络采用三层空洞卷积来完成多尺度的特征学习，其中卷积核大小为，三层卷积的空洞率分别为1，2，4，之后通过的最大池化层来完成下采样，得到多尺度特征图。
步骤4具体为：
在一路FCN网络和二路FCN网络的输出通过逐像素相加后连接一个解码层，解码层包括依次连接的三层反卷积操作，将每一层反卷积操作输出均连接1×1的卷积层，卷积层输出与Softmax函数连接；
将极化相干特征图x1∈Rn与极化分解特征图x2∈Rn通过上述网络结构经过3次卷积之后通过逐像素相加的方式进行特征融合将其作为解码层的输入，解码层使用了三层反卷积操作，将每一层的特征图与编码层的大小一一对应，最后通过1×1的卷积核进行通道降维，并通过Softmax函数得到整幅图像的初始分类结果。
步骤5具体为：
步骤5.1，构建CRF的能量函数：
PolSAR图像中的全部标签变量形成随机场F＝{Fi:i＝1,2,…,K}，K代表像素的总数，PolSAR图像中某一像素点的类别标签用Fi表示；与此同时，变量T＝{Ti:i＝1,2,…,K}构成另一组随机场，PolSAR图像中像素点的颜色特征向量由Ti表示，则相应的条件随机场(F,T)表示为：
Figure BDA0003823506180000071
其中，Z(T)表示条件概率中的归一化函数，E(F|T)表示极化SAR伪彩图中颜色特征向量随机场为T和标签随机场F的势能函数，由于伪彩图中像素点分布T不变，因此将E(F|T)简化为E(F)，则对应的条件随机场能量函数表示为：
Figure BDA0003823506180000072
其中，一元势函数ψm(fi)＝-logP(fi)，用来表示来自FCN网络粗分类的输出结果，ψn(fi,fj)为两个随机变量(fi,fj)的二元势函数，表示两个相对敏感的纹理核函数和平滑核函数的加权和，公式表示如下：
Figure BDA0003823506180000073
上式中μ(fi,fj)表示标签的兼容性函数，某一像素的位置向量以及颜色特征向量分别用L和Z表示；其中纹理核函数中的θα来控制像素之间的位置接近程度，θβ用来控制颜色相近的像素具有一致分类的尺度，但是在本文的分类算法用深度学习提取的特征来代替像素中的颜色，这样使得网络具有更好的分类能力；平滑核函数中的θγ表示控制像素的位置信息，用于惩罚孤立的小区域或者噪声点；
步骤5.2，在步骤5.1中CRF能量函数的基础上增加边缘惩罚函数来平衡边界信息的比重，其表达式如下：
s(ei,ej)＝exp(-(ei-ej)2/c2 (8)
像素i，j的边缘强度用ei和ej来表示，c为归一化的常数来平衡边界惩罚的比重；如果ei和ej越接近，则s(ei,ej)接近1，否则s(ei,ej)接近0。即可以根据该项惩罚函数来决定强、弱边界的惩罚大小；结合(6)和(8)，得到的CRF修正的能量函数表达式为：
Figure BDA0003823506180000081
步骤6的具体步骤为：采用步骤5得到的CRF修正的能量函数对初始分类结果的每一个像素块重新进行修正，得到训练好的数据模型；利用该模型对测试数据集进行分类，得到测试数据集中每个像素的分类结果，将其分类结果与真实的地物类标进行对比，对于每个类别，分类正确的像素个数与测试样本中相应类别的像素总个数相比为该类的准确率，将每一类计算完成后，获得最终的PolSAR图像预测分类结果。
本发明的有益效果是，基于双通道编码的深度网络与CRF的PolSAR图像分类方法，为了解决通用卷积神经网络在PolSAR图像的分类结果中有着特征提取不充分的问题，以及无法有效保持地物的边缘细节等问题。该方法首先将不同特性的PolSAR数据特征分别引入全卷积网络中，利用全卷积网络充分学习PolSAR数据的高级特征和振幅、相位等信息。其次，网络中还引入了条件随机场模型以及边缘惩罚函数，充分利用了整个图像空间的相关性，从而在随机场框架内测量地物的类别概率，使得初始分类得到的粗糙分割结果得到了进一步细化与平滑处理。这种方法不仅保留了PolSAR图像中丰富的数据特性，也能学习到图像的高级特征，最终的特征分类结果具有更准确的边缘结构，分类精度也有所提高。
附图说明
图1是本发明的总体流程图；
图2是本发明将极化相干特征图和极化分解特征图融合的过程；
图3是本发明实施例1与不同算法对Flevoland地区PolSAR图像的分类结果图；
图4是本发明实施例2与不同算法对San Francisco地区PolSAR图像的分类结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
如图1所示，基于双通道编码网络和条件随机场的遥感图像分类方法，具体包括以下步骤：
步骤1，输入待分类的极化SAR图像，对极化SAR图像进行预处理(精制极化Lee滤波)，以此来减少噪声的影响；
步骤2，将预处理后极化SAR图像的T矩阵展开成9维的列向量归一化后得到列向量特征
Figure BDA0003823506180000091
同时将预处理后极化SAR图像的T矩阵进行三种目标分解形式，将得到的9维物理散射特征归一化后得到目标分解特征
Figure BDA0003823506180000101
步骤3，建立基于双通道的FCN网络，双通道的FCN网络包括一路FCN网络和二路FCN网络，将步骤2得到的列向量特征和目标分解特征分别输入一路FCN网络和二路FCN网络进行训练分别得到极化相干特征图和极化分解特征图；
步骤4，将极化相干特征图和极化分解特征图进行逐像素叠加，从而实现特征融合后进行反卷积的上采样操作，经过一维卷积和Softmax函数后得到PolSAR的初始分类结果；
步骤5，构建CRF的能量函数，将步骤4处理后的FCN网络的初始分类概率作为的CRF能量函数中的一元势，将步骤4融合后的特征向量输入到CRF能量函数中，作为CRF能量函数中的二元势；并在CRF能量函数中增加边缘惩罚函数来平衡边界信息的比重，构建CRF修正的能量函数；
步骤6，对初始分类结果的每一个像素块通过CRF修正的能量函数进行修正，获得最终的PolSAR图像预测分类结果。
步骤2中获取列向量特征的步骤为：
将相干T矩阵中的9维矩阵元素来表示每个像素的特征向量，相干矩阵T由极化散射矩阵S在Pauli基下转换得到，表达式如下所示；
Figure BDA0003823506180000102
因此，处理后的极化SAR数据中第i个像素点的特征向量Ii可以表示为：
Figure BDA0003823506180000111
其中，特征向量中复数的实数部分用real表示，复数的虚数部分用imag表示，T矩阵的第i行第j列数据表示为Tij。将Ii矩阵中的各元素进行展开，则特征维数D＝9，由于Ii中每一个值都很小，因此将数据分别归一化到了[0,1]之间。
在步骤2中由于每种分解特征只能描述地面物理散射的一部分特征，为了更好的利用PolSAR的数据特征，三种目标分解方法包括对PolSAR的相干T矩阵分别进行Pauli分解、Freeman分解和Cloude分解。
其中基于Pauli分解得到PolSAR图像的3维相干目标分解特征，Pauli基的抗噪性能非常好，因此这种分解方法可以在噪声环境中使用。Pauli分解是利用Pauli基对极化散射矩阵[S]进行矢量化处理，Pauli基表达式如下所示：
Figure BDA0003823506180000112
矢量化处理后可以写成向量K的表达式：
Figure BDA0003823506180000113
基于Freeman-Durden分解得到PolSAR图像的3维非相干目标分解特征，分别为表面散射功率、二次散射功率和体散射功率；
Freeman分解将协方差矩阵C分解为三种散射矩阵，极化协方差矩阵C可以由极化相干矩阵T转换得到，极化协方差矩阵C的表达式：
[C3]＝fSCS+fDCD+fVCV(12)
其中,CS、CD、CV分别为表面散射矩阵、二次散射矩阵、体散射矩阵,fS、fD、fV分别为CS、CD、CV对应的系数；
表面散射功率、二次散射功率、体散射功率分别为PS、PD、PV。
Figure BDA0003823506180000121
其中，α是二次散射的参数，β是表面散射的参数。
利用Cloude-Pottier分解得到3维特征：极化熵H、平均散射角α和各向异性度A；
极化熵(polarimetric entropy)H公式定义为：
Figure BDA0003823506180000122
其中，Pk对应于由特征值λk获得的伪概率，N为对数的底数,Pk定义为：
Figure BDA0003823506180000123
其中，N为通道数，N＝3；极化相干矩阵T分解得到多个特征值和特征向量，λk是第k个特征值，λj是第j个特征值，Pk为λk的归一化结果；
极化各向异性度(polarimetric anisotroy)A可定义为：
Figure BDA0003823506180000131
其中，λ1>λ2>λ3>0，λ2是第二个特征值，λ3是第三个特征值，由于特征值的旋转不变的，因此极化各向异性度A也是旋转不变参数。
平均散射角α定义为：
α＝P1α1+P2α2+P3α3(17)
α1为第1个特征向量中的第一个元素、α2为第2个特征向量中的第一个元素、α3为第3个特征向量中的第一个元素；
步骤3的中一路FCN网络为Wishart复矩阵子网络，二路FCN网络为多特征编码子网络。
Wishart复矩阵子网络包括依次连接的Wishart网络层、传统卷积层，这样既学习了极化复矩阵特性，又进一步学习了上下文关系。然后使用步长为2×2的最大池化层来完成下采样，确保学习到图像中每个像素点的深层次特征，得到输出的特征图。
设计Wishart复矩阵网络来学习极化SAR复矩阵信息。由于相干T矩阵是一个复共轭矩阵，对角线上的元素为实数，其他元素为复数值，因此难以直接应用到神经网络中去，这里将其转换为实数向量。为了有效学习复矩阵的Wishart统计特性，我们使用Wishart卷积网络层，利用Wishart测度而不是传统的卷积方式去学习复矩阵统计特性。
Wishart卷积网络层中，对于输入的原始数据T，进行Wishart距离计算。并采用的Wishart卷积核，将Wishart卷积转化为线性运算，Wishart卷积定义为：
h(Ii)＝sigm(W'Ii+b) (3)
其中，sigm(·)为sigmoid函数，Ii表示第i个像素点的T矩阵列向量，W为3×3的卷积核，初始化为初始聚类中心，为方便计算，将其向量化为9维列向量，卷积核个数定为聚类中心个数C。初始化为：
b＝[ln(|<T1>|),ln(|<T2>|),...,ln(|<TC>|)]' (4)
b为偏置，h表示隐层输出，T1为第一个像素的T矩阵，T2为第二个像素的T矩阵，TC为第C个像素的T矩阵。每个卷积核输出一个极化SAR像素点到聚类中心的Wishart距离映射。
对于输入的目标分解特征f，输入至多特征编码子网络得到多尺度特征；
多特征编码子网络采用三层空洞卷积来完成多尺度的特征学习，其中卷积核大小为，三层卷积的空洞率分别为1，2，4，之后通过的最大池化层来完成下采样，这样使得在相同的计算条件下，每个卷积层能够输出感受野范围不同的特征信息，得到多尺度特征图。
步骤4的具体步骤为：
在一路FCN网络和二路FCN网络的输出通过逐像素相加后连接一个解码层，解码层包括依次连接的三层反卷积操作，将每一层反卷积操作输出均连接1×1的卷积层，卷积层输出与Softmax函数连接。
将极化相干特征图x1∈Rn与极化分解特征图x2∈Rn通过上述网络结构经过3次卷积之后通过逐像素相加的方式进行特征融合将其作为解码层的输入，融合后的特征模型如图2所示。得到线性映射后的结果表示为：Y＝W(x1[i]+x2[i]),i＝1,2,…n。
解码层使用了三层反卷积操作，将每一层的特征图与编码层的大小一一对应，最后通过1×1的卷积核进行通道降维，并通过Softmax函数得到整幅图像的初始分类结果。
步骤5的具体步骤为：
步骤5.1，为了减少噪声的干扰情况，使得图像的分类结果更加平滑，对步骤4中FCN网络得到的初始分类结果进行约束。将步骤4处理后的FCN网络的初始分类结果作为CRF能量函数的一元势，将融合后的特征向量输入到CRF能量函数中，作为二元势函数。在本算法的CRF模型中，与PolSAR图像中每个像素对应的标签集为M＝{1,2,…,N}，标签的类别数量为N。PolSAR图像中的全部标签变量形成随机场F＝{Fi:i＝1,2,…,K}，K代表像素的总数，PolSAR图像中某一像素点的类别标签用Fi表示。与此同时，变量T＝{Ti:i＝1,2,…,K}构成另一组随机场，PolSAR图像中像素点的颜色特征向量由Ti表示，则相应的条件随机场(F,T)表示为：
Figure BDA0003823506180000151
其中，Z(T)表示条件概率中的归一化函数，E(F|T)表示极化SAR伪彩图中颜色特征向量随机场为T和标签随机场F的势能函数，由于伪彩图中像素点分布T不变，因此将E(F|T)简化为E(F)，则对应的条件随机场能量函数表示为：
Figure BDA0003823506180000161
其中，一元势函数ψm(fi)＝-log P(fi)，用来表示来自FCN网络粗分类的输出结果，ψn(fi,fj)为两个随机变量(fi,fj)的二元势函数，表示两个相对敏感的纹理核函数和平滑核函数的加权和，公式表示如下：
Figure BDA0003823506180000162
上式中μ(fi,fj)表示标签的兼容性函数，某一像素的位置向量以及颜色特征向量分别用L和Z表示。其中纹理核函数中的θα来控制像素之间的位置接近程度，θβ用来控制颜色相近的像素具有一致分类的尺度，但是在本文的分类算法用深度学习提取的特征来代替像素中的颜色，这样使得网络具有更好的分类能力；平滑核函数中的θγ表示控制像素的位置信息，用于惩罚孤立的小区域或者噪声点。
步骤5.2，对于PolSAR图像来说，图像区域的边界像素强度并不相同，为了使CRF能量函数不会导致边界的过度平滑，如果能量函数的权重过大，会导致不同类型边界的过度平滑，反之过小的话，噪声抑制的效果则会减弱。因此，为了确保模型的噪声抑制和良好的边缘信息，在步骤5.1中CRF能量函数的基础上增加边缘惩罚函数来平衡边界信息的比重，其表达式如下：
s(ei,ej)＝exp(-(ei-ej)2/c2 (8)
像素i，j的边缘强度用ei和ej来表示，c为归一化的常数来平衡边界惩罚的比重。如果ei和ej越接近，则s(ei,ej)接近1，否则s(ei,ej)接近0。即可以根据该项惩罚函数来决定强、弱边界的惩罚大小。结合(6)和(8)，得到的CRF修正的能量函数表达式为：
Figure BDA0003823506180000171
步骤6的具体步骤为：
采用步骤5得到的CRF修正的能量函数对初始分类结果的每一个像素块重新进行修正，得到训练好的数据模型。利用该模型对测试数据集进行分类，得到测试数据集中每个像素的分类结果，将其分类结果与真实的地物类标进行对比，对于每个类别，分类正确的像素个数与测试样本中相应类别的像素总个数相比为该类的准确率，将每一类计算完成后，获得最终的PolSAR图像预测分类结果。
下面结合仿真实验对本发明的效果进行进一步的说明：
实施例1
本实施例所用实验数据是NASA/JPL实验室AIRSAR系统在L波段获得的荷兰Flevoland地区农田数据集的全极化SAR图像，图像大小为300×270像素，有六中不同类型的作物，分别是：裸地、土豆、甜菜、豌豆、小麦和大麦，如图2(a)。
执行步骤1～6；
其中步骤1中采用精致Lee滤波进行预处理，窗口选为3×3；
得到的结果如图3(b)，图3中(a)和(b)为该地区的伪彩图和真实的地物标记，(c)-(h)分别为Wishart、SVM、CNN、FCN、多特征的FCN-ML和本发明的分类实验结果，(i)表示图像真实地物对应的颜色标签，其中白色为无标记区域，不进行考虑。
根据图3(c)和(d)所示，Wishart和SVM这两种分类方法里面有较多的错分区域，受相干斑噪声的影响比较严重，部分裸地被错分成小麦，豌豆被错分成裸地等等，区域内杂点较多一致性较差，分类精度分别为84.47％和87.76％。图3(e)中结果显示CNN中杂点少了许多，它能够利用上下文信息进行分类，分类效果明显有所提升，但在有些地区边缘效果不是很好，比如豌豆与甜菜之间，小麦与豌豆之间相互影响，分类精度为97.62％。图3(f)中FCN在CNN的基础之上增强了区域一致性，它是将整幅图像作为输入的，因此感受野较大，效果更好，分类精度为98.92％。图3(g)FCN-ML是在FCN的基础上结合了各个特征矢量，矢量叠加后的特征使得分类结果孤立点更少，这说明了多特征融合的有效性，分类精度为99.05％。本发明添加了条件随机场以及边缘惩罚函数的约束之后，对比之前的方法分类结果有了明显的提升，尤其是在豌豆和小麦之间，划分更加细致，不同种类的地物之间平滑性更好，错分率更低，精度为99.14％。因此本发明的总体分类准确率是所有对比的分类方法中最高的。表明了本发明对于PolSAR分类任务的有效性。
实施例2
本实施例所用实验数据是NASA/JPL实验室AIRSAR系统在L波段获得的加利福尼亚旧金山海湾的全极化SAR图像，图像大小为512×512像素，其中包括5类土地覆盖：裸地、山脉、海洋、城市、植被，如图4(b)。
执行步骤1～6；
其中步骤1中使用精致Lee滤波进行预处理，窗口选为3×3；
得到的结果如图4(b)，图4中(a)和(b)为该地区的伪彩图和真实的地物标记，(c)-(h)分别为Wishart、SVM、CNN、FCN、多特征的FCN-ML和本发明的分类实验结果，(i)表示图像真实地物对应的颜色标签，其中黑色为无标记区域，不予考虑。
根据图4(c)和(d)所示，Wishart和SVM这两种分类方法的结果图里面有较多的错分像素，部分山脉被错分成植被，海洋被错分成裸地等等，区域内杂点较多一致性较差，分类精度分别为89.36％和90.11％。图4(e)中CNN的分类结果杂点较少，精度整体有所提升，但在有些区域也整体出现了错分情况，比如植被与山脉之间相互影响，整体分类精度为93.41％。图4(f)中FCN改善了噪声的影响，增强了区域的一致性，但是部分类别的边缘像素仍然不精细，分类精度为94.15％。图4(g)FCN-ML在FCN的基础上结合了多个特征矢量，矢量叠加后的特征使得分类结果孤立点更少，这说明了多特征融合的有效性，但是部分同质区域没有达到良好的效果，分类精度为95.58％。如图4(h)所示，本发明在FCN-ML的基础上添加了条件随机场和边缘惩罚函数的约束，对比前五种方法分类结果得到了进一步的改善，不同种类的地物之间平滑性更好，划分更加细致，分类精度为96.31％。对比以上几个方法，本发明在PolSAR地物分类的精度上得到了进一步的改善，因此，后处理策略可以在一定程度上增强对PolSAR的分类效果。
通过上述方法，本发明基于双通道编码的深度网络和CRF的PolSAR图像分类方法，首先对PolSAR图像进行精致Lee滤波处理，然后对滤波后的图像根据不同的目标分解方法提取极化SAR图像的多种特征，采用多维特征融合的方式增强其特征表达能力。通过双通道的FCN编码网络解决了PolSAR图像在普通卷积过程中出现的空间特征信息提取不充分的问题；其次利用全连接条件随机场将获得的PolSAR图像初始分类结果作为其输入，充分考虑PolSAR图像的全局结构信息，对边缘细节分割进行改善，此外，为了防止区域过于平滑，添加了边界惩罚函数进行约束，有效克服了PolSAR图像中像素之间缺乏互联性的问题。最终使得PolSAR分类结果显示出良好的空间一致性和边界信息的完整性。

Claims (8)

1.基于双通道编码网络和条件随机场的遥感图像分类方法，其特征在于，包括以下步骤：
步骤1，输入待分类的极化SAR图像，进行预处理；
步骤2，将预处理后极化SAR图像的T矩阵展开成9维的列向量归一化后得到列向量特征；同时将预处理后极化SAR图像的T矩阵进行三种目标分解方法得到的9维物理散射特征，归一化后获得目标分解特征；
步骤3，建立基于双通道的FCN网络，所述双通道的FCN网络包括一路FCN网络和二路FCN网络，将步骤2得到的列向量特征和目标分解特征分别输入一路FCN网络和二路FCN网络进行训练分别得到极化相干特征图和极化分解特征图；
步骤4，将所述极化相干特征图和极化分解特征图进行逐像素叠加，从而实现特征融合后进行反卷积的上采样操作，经过一维卷积和Softmax函数后得到PolSAR的初始分类结果；
步骤5，构建CRF的能量函数，将步骤4处理后的FCN网络的初始分类概率作为的CRF能量函数中的一元势，将步骤4融合后的特征向量输入到CRF能量函数中，作为CRF能量函数中的二元势；并在CRF能量函数中增加边缘惩罚函数来平衡边界信息的比重，得到CRF修正的能量函数；
步骤6，对初始分类结果的每一个像素块通过CRF修正的能量函数进行修正，获得最终的PolSAR图像预测分类结果。
2.如权利要求1所述的基于双通道编码网络和条件随机场的遥感图像分类方法，其特征在于，所述步骤1中采用的预处理方法为精制极化Lee滤波。
3.如权利要求1所述的基于双通道编码网络和条件随机场的遥感图像分类方法，其特征在于，所述步骤2中获取列向量特征的步骤为：
将相干T矩阵中的9维矩阵元素来表示每个像素的特征向量，相干矩阵T由极化散射矩阵S在Pauli基下转换得到，表达式如下所示；
Figure FDA0003823506170000021
因此，处理后的极化SAR数据中第i个像素点的特征向量Ii可以表示为：
Figure FDA0003823506170000022
其中，特征向量中复数的实数部分用real表示，复数的虚数部分用imag表示，T矩阵的第i行第j列数据表示为Tij；将Ii矩阵中的各元素进行展开，则特征维数D＝9，由于Ii中每一个值都很小，因此将数据分别归一化到了[0,1]之间。
4.如权利要求1所述的基于双通道编码网络和条件随机场的遥感图像分类方法，其特征在于，所述步骤2中的三种目标分解方法包括对PolSAR的相干T矩阵分别进行Pauli分解、Freeman分解和Cloude分解。
5.如权利要求1所述的基于双通道编码网络和条件随机场的遥感图像分类方法，其特征在于，步骤3中所述一路FCN网络为Wishart复矩阵子网络，所述二路FCN网络为多特征编码子网络；
所述Wishart复矩阵子网络包括依次连接的Wishart网络层、传统卷积层，大池化层；
Wishart卷积网络层中，对于输入的原始数据T，进行Wishart距离计算；并采用的Wishart卷积核，将Wishart卷积转化为线性运算，Wishart卷积定义为：
h(Ii)＝sigm(W'Ii+b) (3)
其中，sigm(·)为sigmoid函数，Ii表示第i个像素点的T矩阵列向量，W为3×3的卷积核，初始化为初始聚类中心，为方便计算，将其向量化为9维列向量，卷积核个数定为聚类中心个数C；初始化为：
b＝[ln(|<T1>|),ln(|<T2>|),...,ln(|<TC>|)]' (4)
b为偏置，h表示隐层输出，T1为第一个像素的T矩阵，T2为第二个像素的T矩阵，TC为第C个像素的T矩阵；每个卷积核输出一个极化SAR像素点到聚类中心的Wishart距离映射；
多特征编码子网络采用三层空洞卷积来完成多尺度的特征学习，其中卷积核大小为，三层卷积的空洞率分别为1，2，4，之后通过的最大池化层来完成下采样，得到多尺度特征图。
6.如权利要求5所述的基于双通道编码网络和条件随机场的遥感图像分类方法，其特征在于，所述步骤4具体为：
在所述一路FCN网络和二路FCN网络的输出通过逐像素相加后连接一个解码层，所述解码层包括依次连接的三层反卷积操作，将每一层反卷积操作输出均连接1×1的卷积层，卷积层输出与Softmax函数连接；
将极化相干特征图x1∈Rn与极化分解特征图x2∈Rn通过上述网络结构经过3次卷积之后通过逐像素相加的方式进行特征融合将其作为解码层的输入，解码层使用了三层反卷积操作，将每一层的特征图与编码层的大小一一对应，最后通过1×1的卷积核进行通道降维，并通过Softmax函数得到整幅图像的初始分类结果。
7.如权利要求1所述的基于双通道编码网络和条件随机场的遥感图像分类方法，其特征在于，所述步骤5具体为：
步骤5.1，构建CRF的能量函数：
PolSAR图像中的全部标签变量形成随机场F＝{Fi:i＝1,2,…,K}，K代表像素的总数，PolSAR图像中某一像素点的类别标签用Fi表示；与此同时，变量T＝{Ti:i＝1,2,…,K}构成另一组随机场，PolSAR图像中像素点的颜色特征向量由Ti表示，则相应的条件随机场(F,T)表示为：
Figure FDA0003823506170000041
其中，Z(T)表示条件概率中的归一化函数，E(F|T)表示极化SAR伪彩图中颜色特征向量随机场为T和标签随机场F的势能函数，由于伪彩图中像素点分布T不变，因此将E(F|T)简化为E(F)，则对应的条件随机场能量函数表示为：
Figure FDA0003823506170000051
其中，一元势函数ψm(fi)＝-logP(fi)，用来表示来自FCN网络粗分类的输出结果，ψn(fi,fj)为两个随机变量(fi,fj)的二元势函数，表示两个相对敏感的纹理核函数和平滑核函数的加权和，公式表示如下：
Figure FDA0003823506170000052
上式中μ(fi,fj)表示标签的兼容性函数，某一像素的位置向量以及颜色特征向量分别用L和Z表示；其中纹理核函数中的θα来控制像素之间的位置接近程度，θβ用来控制颜色相近的像素具有一致分类的尺度，但是在本文的分类算法用深度学习提取的特征来代替像素中的颜色，这样使得网络具有更好的分类能力；平滑核函数中的θγ表示控制像素的位置信息，用于惩罚孤立的小区域或者噪声点；
步骤5.2，在步骤5.1中CRF能量函数的基础上增加边缘惩罚函数来平衡边界信息的比重，其表达式如下：
s(ei,ej)＝exp(-(ei-ej)2/c2 (8)
像素i，j的边缘强度用ei和ej来表示，c为归一化的常数来平衡边界惩罚的比重；如果ei和ej越接近，则s(ei,ej)接近1，否则s(ei,ej)接近0；即可以根据该项惩罚函数来决定强、弱边界的惩罚大小；结合(6)和(8)，得到的CRF修正的能量函数表达式为：
Figure FDA0003823506170000053
8.如权利要求1所述的基于双通道编码网络和条件随机场的遥感图像分类方法，其特征在于，所述步骤6的具体步骤为：
采用步骤5得到的CRF修正的能量函数对初始分类结果的每一个像素块重新进行修正，得到训练好的数据模型；利用该模型对测试数据集进行分类，得到测试数据集中每个像素的分类结果，将其分类结果与真实的地物类标进行对比，对于每个类别，分类正确的像素个数与测试样本中相应类别的像素总个数相比为该类的准确率，将每一类计算完成后，获得最终的PolSAR图像预测分类结果。
CN202211050242.2A 2022-08-31 2022-08-31 基于双通道编码网络和条件随机场的遥感图像分类方法 Pending CN115410093A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211050242.2A CN115410093A (zh) 2022-08-31 2022-08-31 基于双通道编码网络和条件随机场的遥感图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211050242.2A CN115410093A (zh) 2022-08-31 2022-08-31 基于双通道编码网络和条件随机场的遥感图像分类方法

Publications (1)

Publication Number Publication Date
CN115410093A true CN115410093A (zh) 2022-11-29

Family

ID=84163611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211050242.2A Pending CN115410093A (zh) 2022-08-31 2022-08-31 基于双通道编码网络和条件随机场的遥感图像分类方法

Country Status (1)

Country Link
CN (1) CN115410093A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197203A (zh) * 2023-09-08 2023-12-08 北京医智影科技有限公司 一种形变配准模型训练、剂量叠加方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9389311B1 (en) * 2015-02-19 2016-07-12 Sandia Corporation Superpixel edges for boundary detection
CN107392122A (zh) * 2017-07-07 2017-11-24 西安电子科技大学 基于多极化特征和fcn‑crf融合网络的极化sar影像目标检测方法
CN107944347A (zh) * 2017-11-03 2018-04-20 西安电子科技大学 基于多尺度fcn‑crf的极化sar目标检测方法
CN108446716A (zh) * 2018-02-07 2018-08-24 武汉大学 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法
CN113240040A (zh) * 2021-05-27 2021-08-10 西安理工大学 一种基于通道注意力深度网络的极化sar图像分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9389311B1 (en) * 2015-02-19 2016-07-12 Sandia Corporation Superpixel edges for boundary detection
CN107392122A (zh) * 2017-07-07 2017-11-24 西安电子科技大学 基于多极化特征和fcn‑crf融合网络的极化sar影像目标检测方法
CN107944347A (zh) * 2017-11-03 2018-04-20 西安电子科技大学 基于多尺度fcn‑crf的极化sar目标检测方法
CN108446716A (zh) * 2018-02-07 2018-08-24 武汉大学 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法
CN113240040A (zh) * 2021-05-27 2021-08-10 西安理工大学 一种基于通道注意力深度网络的极化sar图像分类方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197203A (zh) * 2023-09-08 2023-12-08 北京医智影科技有限公司 一种形变配准模型训练、剂量叠加方法及装置
CN117197203B (zh) * 2023-09-08 2024-02-20 北京医智影科技有限公司 一种形变配准模型训练、剂量叠加方法及装置

Similar Documents

Publication Publication Date Title
Li et al. A deep learning method for change detection in synthetic aperture radar images
Geng et al. Deep supervised and contractive neural network for SAR image classification
Sharifzadeh et al. Ship classification in SAR images using a new hybrid CNN–MLP classifier
Wu et al. Commonality autoencoder: Learning common features for change detection from heterogeneous images
Distante et al. Handbook of image processing and computer vision
Zhou et al. Polarimetric SAR image classification using deep convolutional neural networks
Guo et al. Scattering enhanced attention pyramid network for aircraft detection in SAR images
Reed et al. The fusion of large scale classified side-scan sonar image mosaics
ElMikaty et al. Detection of cars in high-resolution aerial images of complex urban environments
CN108596195B (zh) 一种基于稀疏编码特征提取的场景识别方法
CN112884029B (zh) 融合全极化sar与高光谱遥感的协同分类方法
Gu et al. A multi-kernel joint sparse graph for SAR image segmentation
CN115205590A (zh) 一种基于互补集成Transformer网络的高光谱图像分类方法
Wang et al. A feature-supervised generative adversarial network for environmental monitoring during hazy days
Dalmiya et al. A novel feature descriptor for automatic change detection in remote sensing images
Wu et al. Cost-sensitive latent space learning for imbalanced PolSAR image classification
CN113870157A (zh) 一种基于CycleGAN的SAR图像合成方法
Omati et al. Change detection of polarimetric SAR images based on the integration of improved watershed and MRF segmentation approaches
Gu et al. Multi-feature weighted sparse graph for SAR image analysis
Qin et al. Weakly supervised adversarial learning via latent space for hyperspectral target detection
CN115410093A (zh) 基于双通道编码网络和条件随机场的遥感图像分类方法
Liang et al. Adaptive multiple kernel fusion model using spatial-statistical information for high resolution SAR image classification
Wang et al. Fused adaptive receptive field mechanism and dynamic multiscale dilated convolution for side-scan sonar image segmentation
Dong et al. Deep shearlet network for change detection in sar images
Ma et al. Land cover classification for polarimetric sar image using convolutional neural network and superpixel

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination