CN117095309A - 一种极化sar影像旋转域特征表达提取与分类方法 - Google Patents
一种极化sar影像旋转域特征表达提取与分类方法 Download PDFInfo
- Publication number
- CN117095309A CN117095309A CN202311362154.0A CN202311362154A CN117095309A CN 117095309 A CN117095309 A CN 117095309A CN 202311362154 A CN202311362154 A CN 202311362154A CN 117095309 A CN117095309 A CN 117095309A
- Authority
- CN
- China
- Prior art keywords
- convolution
- polarization
- transducer
- input
- rotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000000605 extraction Methods 0.000 title claims abstract description 13
- 230000010287 polarization Effects 0.000 claims abstract description 106
- 230000000007 visual effect Effects 0.000 claims abstract description 57
- 239000011159 matrix material Substances 0.000 claims abstract description 52
- 230000001427 coherent effect Effects 0.000 claims abstract description 27
- 238000011176 pooling Methods 0.000 claims abstract description 26
- 238000013507 mapping Methods 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000001172 regenerating effect Effects 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种极化SAR影像旋转域特征表达提取与分类方法，该方法包括以下步骤：获取PolSAR图像中各像素的极化相干矩阵，利用不同极化方向角对应的极化旋转矩阵生成待分类像素的旋转域极化相干矩阵序列，作为3D卷积视觉Transformer的输入；在3D卷积视觉Transformer中先使用两个3D卷积块来捕获极化相干矩阵的中级特征映射；将第二个3D卷积块的输出作为后续两个3D视觉Transformer块和两个3D池化层的输入，学习旋转域极化相干矩阵的高级特征表示；利用3D视觉Transformer学习输入特征图的局部和全局特征表示；利用所提出的3D卷积视觉Transformer输出的高级特征图进行分类，即将特征表示输入分类器进行PolSAR图像分类。本发明能够高效完成对极化合成合成孔径雷达图像的分类任务。
Description
技术领域
本发明属于深度学习及图像处理技术领域，具体涉及一种基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法。
背景技术
随着遥感卫星技术的快速发展，星载合成孔径雷达（Synthetic Aperture Radar，SAR）技术朝着多极化、多模式、高分辨率等方向发展。SAR具有全天候工作、全天候条件下工作、具有一定的穿透能力、高分辨率、范围大等优点，在土地利用规划、防灾、军事目标探测识别等方面发挥着不可替代的作用。随着SAR系统的快速发展，大量的SAR数据自动解译成为一个新的挑战。深度学习在自然语言处理、图像处理等研究领域中发挥着革命性的作用，在SAR图像分类、变化检测、目标检测等方面表现出优异的性能和巨大的潜力。与传统的机器学习方法相比，深度学习具有显著的优势。基于深度学习的SAR图像解译，一直是一种不可抗拒的普遍趋势。
极化合成孔径雷达（PolSAR）图像中目标的散射特性与目标的方向直接相关。同一目标在不同方向上的散射特性可能会有很大的不同。这种由目标方向引起的解译模糊性是PolSAR图像解译的主要技术瓶颈之一。基于这一问题，提出了一种基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法。
发明内容
本发明的目的在于，提供一种极化SAR影像旋转域特征表达提取与分类方法，解决由目标方向引起的解译模糊性问题，提高对极化合成孔径雷达图像的解译性能，完成对极化合成合成孔径雷达图像的分类。
本发明所采用的技术方案如下：
一种基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法，该方法包括以下步骤：
S1、获取PolSAR图像中各像素的极化相干矩阵，利用不同极化方向角对应的极化旋转矩阵生成待分类像素的旋转域极化相干矩阵序列，作为3D卷积视觉Transformer的输入；其中，3D卷积视觉Transformer的结构依次为：输入3D卷积块/>3D卷积块/>3D视觉Transformer块/>3D池化层/>3D视觉Transformer块/>3D池化层/>3D卷积块/>输出；
S2、在3D卷积视觉Transformer中先使用两个3D卷积块来捕获极化相干矩阵的中级特征映射；
S3、将第二个3D卷积块的输出作为后续两个3D视觉Transformer块和两个3D池化层的输入，学习旋转域极化相干矩阵的高级特征表示；
S4、利用3D视觉Transformer学习输入特征图的局部和全局特征表示；
S6、利用所提出的3D卷积视觉Transformer输出的高级特征图进行分类，即将特征表示输入分类器进行PolSAR图像分类。
接上述技术方案，步骤S1中，极化相干矩阵包含PolSAR图像中目标的完全散射特性，如下所示：
式中，是极化相干矩阵/>中的元素，/>；
每个像素的偏振信息都用一个向量t P来定义：
将极化相干矩阵乘以极化旋转矩阵/>，得到旋转域极化相干矩阵/>：
其中，表示极化方向角POA，T表示转置，极化旋转矩阵/>为：
则中的元素/>如下所示：
PolSAR图像中每个像素的旋转域极化数据定义为一个向量：
式中，和/>分别表示/>的实部和虚部。
接上述技术方案，当对PolSAR图像中的一个像素进行分类时，将使用该像素的邻域窗数据作为输入；在旋转域中，再生成一系列具有不同极化方向角POA的邻域窗数据，最后输入至3D卷积视觉Transformer中；
设C表示通道数，也为每个像素的旋转域极化数据中的元素数，D表示不同极化方向角的数量，H和W表示邻域窗的高度和宽度，则输入数据的大小为，即旋转域极化相干矩阵序列的特征映射为4D的/>张量，是一个具有不同极化方向角POA的序列。
接上述技术方案，将极化方向角POA由0变为，步长为/>，从而生成9个旋转域极化相干矩阵。
接上述技术方案，步骤S2中，3D卷积块和3D池化层学习图像序列的特征表示，用旋转域极化相干矩阵序列来描述PolSAR旋转域的极化信息；设输入张量是输入，输出张量是输出/>，则3D卷积操作输出张量的第j个特征图由下式进行计算：
其中，input表示输入，out表示输出，是可学习的权重，/>是可学习的偏差，p是变量参数，/>是有效的3D互相关操作。
接上述技术方案，使用的池化操作是3D最大池化，设3D最大池化的第个特征映射为：
其中，、/>和/>表示池化核大小，d、h和w为数据坐标，步幅stride为窗的步幅，0、1和2表示3个维度，i、m和n是变量参数；大小为/>的内核滑过输入数据并计算输出值。
接上述技术方案，3D卷积块包含三层，即3D卷积、3D批处理归一化BN和Sigmoid-weighed加权线性单位SiLU激活层。
接上述技术方案，3D视觉Transformer块结构为：将特征映射通过两个卷积层展开后学习全局表示/>折叠/>通过一个卷积层后与特征映射结合再次通过一个卷积层/>得到输出特征映射。
接上述技术方案，在3D视觉Transformer中，展开和折叠操作被设计以适应4D张量；设为3D视觉Transformer中前两个3D卷积块的输出，/>被看作是视觉Transformer中的分裂补丁，所以通过简单地合并H和W的维度来展开；
设表示已展开的特征图，以及/>，然后将/>输入到Transformer中，学习全局表示/>；由于空间顺序不改变，/>折叠得到；最后，将/>与输入特征映射/>连接，使用3D卷积块融合特征，得到输出特征映射/>；
在一个3D视觉Transformer块中有4个3D卷积块，每个3D卷积块包含一个3D卷积层、一个3D-BN层和一个SiLU层；每个3D视觉Transformer块都有一个Transformer层，3D视觉Transformer块使用卷积和Transformer来学习局部和全局表示。
接上述技术方案，该方法还包括步骤：
S5、利用3D视觉Transformer中的自注意力机制描述不同观察角度下极化相干矩阵之间的规律和差异性，提高极化合成孔径雷达图像的解译性能。
本发明与现有技术相比，具有以下优点及有益效果：
本发明提出了一种基于3D-CNN和3D卷积视觉Transformer的极化SAR影像旋转域的极化相干矩阵序列特征表达提取框架，基于3D视觉Transformer块设计的3D卷积视觉Transformer主干量级轻，可以用性能低的GPU进行训练和推理；所提出的3D视觉Transformer也有其独特的优势，将其引入三维卷积，可以学习极化合成孔径雷达图像旋转域的极化相干矩阵序列的特征表示，每个极化相干矩阵的特征映射没有被分割成块，而是作为一个整体，3D卷积视觉Transformer中的3D卷积块和视觉Transformer块可以学习旋转域极化相干矩阵的高级特征表示；旋转域邻域窗数据包含全极化信息和旋转域隐藏特征，可以提高PolSAR图像的解译性能。此外，利用Transformer的自注意力机制，刻画极化SAR影像旋转域的极化相干矩阵序列之间的内在关系，提取具有相互关系的极化相干矩阵序列的特征表达。因此，该Transformer可以编码极化相干矩阵之间的自注意关系，从而提高了对极化合成孔径雷达图像的解译性能，能够高效完成对极化合成合成孔径雷达图像的分类任务。
附图说明
图1为实现极化SAR影像旋转域特征表达提取与分类方法的流程图；
图2为3D卷积视觉Transformer结构图；
图3为PolSAR图像中的一个像素的输入邻域窗数据示意图；
图4为3D数据特征学习示意图；
图5为3D视觉Transformer块结构图；
图6为PolSAR图像分类的工作流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明公开了一种基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法，包括以下步骤：利用极化旋转矩阵生成了一个极化相干矩阵序列，作为3D卷积神经网络的输入；使用3D卷积神经网络来捕获极化相干矩阵序列的高级特征表示；利用两个3D卷积块来学习极化相干矩阵的中层特征映射，然后将第二个3D卷积块的输出作为两个3D视觉Transformer和两个池化层的输入，学习旋转域极化相干矩阵的高级特征表示；利用3D视觉Transformer学习输入特征图的局部和全局特征表示；利用视觉Transformer中的自注意机制可以表达不同极化方向角的极化相干矩阵的规律性，提高极化合成孔径雷达图像的解译性能；用所提出的3D卷积视觉Transformer输出的高级特征图进行分类。本发明能够高效完成对极化合成合成孔径雷达图像的分类任务。
本发明实施例的基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法，如图1所示，包括以下步骤：
S1、利用极化旋转矩阵生成极化相干矩阵序列，作为3D卷积视觉Transformer的输入。
3D卷积视觉Transformer的具体结构为：输入3D卷积块/>3D卷积块/>3D视觉Transformer块/>3D池化层/>3D视觉Transformer块/>3D池化层/>3D卷积块/>输出，如图2所示。
极化相干矩阵包含了PolSAR图像中目标的完全散射特性，如下所示：
除了对角线上的元素外，极化相干矩阵中的元素都是复数。每个像素的偏振信息都可以用一个向量/>来定义：
其中，是极化相干矩阵/>中的元素，/>。/>和/>分别表示/>的实部和虚部。将极化相干矩阵/>乘以旋转矩阵/>，然后将旋转域极化相干矩阵/>定义如下：
其中，表示极化方向角POA，T表示转置，极化旋转矩阵/>为：
则中的元素/>如下所示：
每个像素的旋转域极化数据可以定义为一个向量：
在本方法中，将POA由0变为，步长为/>，从而生成9个旋转域极化相干矩阵。通常，当对PolSAR图像中的一个像素进行分类时，将使用该像素的邻域窗数据作为输入，如图3所示，即将待分类像素邻域窗内的像素的旋转域极化数据作为输入。在旋转域中，生成一系列具有不同POA的邻域窗数据，并可以输入到本方法中。
设C表示通道数，也为每个像素的旋转域极化数据中的元素数，D表示极化方向角的数量，H和W表示邻域窗数据的高度和宽度，那么输入数据的大小为，即极化相干矩阵的特征映射为4D的/>张量。
输入数据具有空间信息，是一个具有不同POA的序列，因此将其命名为“角度-空间”数据。在这种数据形式中，所提出的3D卷积视觉Transformer中的3D卷积块和视觉Transformer可以学习旋转域极化相干矩阵的高级特征表示。旋转域邻域窗数据包含全极化信息和旋转域隐藏特征，可以提高PolSAR图像的解译性能。
S2、在3D卷积视觉Transformer中使用两个3D卷积块来捕获极化相干矩阵的中级特征映射。
3D卷积块和3D池化层可以学习图像序列的特征表示，自然地可以用极化相干矩阵序列来描述PolSAR旋转域的极化信息。在最简单的情况下，如果输入张量是输入，而输出张量是输出/>，则3D卷积操作输出张量的第j个特征图可由下式进行计算：
其中，input表示输入，out表示输出，是可学习的权重，/>是可学习的偏差，p是变量参数，/>是有效的3D互相关操作。
该方法中使用的池化操作是3D最大池化。设3D最大池化的第个特征映射为：
其中，、/>和/>表示池化核大小，d、h和w为数据坐标，步幅stride为窗的步幅，0、1和2表示3个维度，i、m和n是变量参数。大小为/>的内核滑过输入数据并计算输出值。
图4显示了3D卷积和3D池化操作。大小为的内核滑过输入数据并计算输出值。本方法中使用的3D卷积块包含三层，即3D卷积、3D批处理归一化（BN）和Sigmoid-weighed加权线性单位（SiLU）激活层。BN层可以减少内部协变量的偏移，加速深度网络的训练。3D池化层是3D最大池化层。在3D卷积操作中，只有H和W维度被向下采样，角度维度D保持不变。
S3、将第二个3D卷积块的输出作为两个3D视觉Transformer和两个池化层的输入。极化相干矩阵的特征映射为4D的张量。故在本发明中，将卷积层均设计为3D卷积层，命名为3D视觉Transformer块。其具体结构为：将特征映射通过两个卷积层/>展开后学习全局表示/>折叠/>通过一个卷积层后与特征映射结合再次通过一个卷积层/>得到输出特征映射，如图5所示。
S4、利用3D视觉Transformer学习输入特征图的局部和全局特征表示。
在3D视觉Transformer中，展开和折叠操作被设计以适应4D张量。设为3D视觉Transformer中前两个3D卷积块的输出。/>可以被看作是视觉Transformer中的分裂补丁，所以它可以通过简单地合并H和W的维度来展开。设表示已展开的特征图，以及/>。然后将/>输入到Transformer中，学习全局表示/>。由于空间顺序不改变，/>可以折叠得到/>。最后，将/>与输入特征映射/>连接，使用3D卷积块融合特征，得到输出特征映射/>。
在一个3D视觉Transformer模块中有4个3D卷积块，每个3D卷积块包含一个3D卷积层、一个3D-BN层和一个SiLU层。每个3D视觉Transformer块都有一个Transformer层，因此所提出的方法只有两个Transformer层。所提出的3D视觉Transformer块可以使用卷积和Transformer来学习局部和全局表示。3D视觉Transformer块也可以看作Transformer的卷积，因此基于3D视觉Transformer块设计的3D卷积视觉Transformer主干量级轻，可以用性能低的GPU进行训练和推理。所提出的3D视觉Transformer也有其独特的优势。将其引入三维卷积，可以学习极化合成孔径雷达图像旋转域的极化相干矩阵序列的特征表示。每个极化相干矩阵的特征映射没有被分割成块，而是作为一个整体。利用Transformer的自注意力机制，刻画极化SAR影像旋转域的极化相干矩阵序列之间的内在关系，提取具有相互关系的极化相干矩阵序列的特征表达。因此，该Transformer可以编码极化相干矩阵之间的自注意关系，从而提高了对极化合成孔径雷达图像的解译性能。
S5、利用3D视觉Transformer中的自注意力机制可以描述不同观察角度下极化相干矩阵之间的规律和差异性，提高极化合成孔径雷达图像的解译性能；
S6、用所提出的3D卷积视觉Transformer输出的高级特征图进行分类。用本方法所提出的3D卷积视觉Transformer用于PolSAR图像的区分特征表示学习。然后将特征表示输入分类器进行PolSAR图像分类，如图6所示。对于分类任务，输入数据为旋转域中一个像素的邻域窗序列数据，通道数为C = 9，角度数为D = 9。
最后，在不同数据集上对不同方法进行了实验并进行性能评估。在RS-2 SAN数据集上测试所用方法分别为：(a) RF；(b) LeNet；(c) VGGNet；(d) MobileViT；(e) 3D-Conv-ViT。性能评估结果如表1所示。
表1 在RS-2 SAN数据集上与其他方法的性能评估对比表
如表1所示，本方法在RS-2 SAN数据集上取得了较为优秀的结果。
在RS-2 FLEVOLAND数据集上测试所用方法分别为：(a)RF；(b)LeNet；(c)VGGNet；(d)MobileViT；(e)3D-Conv-ViT。性能评估结果如表2所示。
表2 在AIRSAR FLEVOLAND数据集与其他方法的性能评估对比表
如表2所示，本方法在AIRSAR FLEVOLAND数据集也取得了较为优秀的结果。
需要说明的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法，其特征在于，该方法包括以下步骤：
S1、获取PolSAR图像中各像素的极化相干矩阵，利用不同极化方向角对应的极化旋转矩阵生成待分类像素的旋转域极化相干矩阵序列，作为3D卷积视觉Transformer的输入；其中，3D卷积视觉Transformer的结构依次为：输入3D卷积块/>3D卷积块/>3D视觉Transformer块/>3D池化层/>3D视觉Transformer块/>3D池化层/>3D卷积块/>输出；
S2、在3D卷积视觉Transformer中先使用两个3D卷积块来捕获极化相干矩阵的中级特征映射；
S3、将第二个3D卷积块的输出作为后续两个3D视觉Transformer块和两个3D池化层的输入，学习旋转域极化相干矩阵的高级特征表示；
S4、利用3D视觉Transformer学习输入特征图的局部和全局特征表示；
S6、利用所提出的3D卷积视觉Transformer输出的高级特征图进行分类，即将特征表示输入分类器进行PolSAR图像分类。
2.根据权利要求1所述的基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法，其特征在于，步骤S1中，极化相干矩阵包含PolSAR图像中目标的完全散射特性，如下所示：
式中，是极化相干矩阵/>中的元素，/>；
每个像素的偏振信息都用一个向量t P来定义：
将极化相干矩阵乘以极化旋转矩阵/>，得到旋转域极化相干矩阵/>：
其中，表示极化方向角POA，T表示转置，极化旋转矩阵/>为：
则中的元素/>如下所示：
PolSAR图像中每个像素的旋转域极化数据定义为一个向量：
式中，和/>分别表示/>的实部和虚部。
3.根据权利要求1或2所述的基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法，其特征在于，当对PolSAR图像中的一个像素进行分类时，将使用该像素的邻域窗数据作为输入；在旋转域中，再生成一系列具有不同极化方向角POA的邻域窗数据，最后输入至3D卷积视觉Transformer中；
设C表示通道数，也为每个像素的旋转域极化数据中的元素数，D表示不同极化方向角的数量，H和W表示邻域窗的高度和宽度，则输入数据的大小为，即旋转域极化相干矩阵序列的特征映射为4D的/>张量，是一个具有不同极化方向角POA的序列。
4.根据权利要求3所述的基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法，其特征在于，将极化方向角POA由0变为，步长为/>，从而生成9个旋转域极化相干矩阵。
5.根据权利要求1所述的基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法，其特征在于，步骤S2中，3D卷积块和3D池化层学习图像序列的特征表示，用旋转域极化相干矩阵序列来描述PolSAR旋转域的极化信息；设输入张量是输入，输出张量是输出/>，则3D卷积操作输出张量的第j个特征图由下式进行计算：
其中，input表示输入，out表示输出，是可学习的权重，/>是可学习的偏差，p是变量参数，/>是有效的3D互相关操作。
6.根据权利要求5所述的基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法，其特征在于，使用的池化操作是3D最大池化，设3D最大池化的第个特征映射为：
其中，、/>和/>表示池化核大小，d、h和w为数据坐标，步幅stride为窗的步幅，0、1和2表示3个维度，i、m和n是变量参数；大小为/>的内核滑过输入数据并计算输出值。
7.根据权利要求5或6所述的基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法，其特征在于，3D卷积块包含三层，即3D卷积、3D批处理归一化BN和Sigmoid-weighed加权线性单位SiLU激活层。
8.根据权利要求1所述的基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法，其特征在于，3D视觉Transformer块结构为：将特征映射通过两个卷积层展开后学习全局表示/>折叠/>通过一个卷积层后与特征映射结合再次通过一个卷积层得到输出特征映射。
9.根据权利要求8所述的基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法，其特征在于，在3D视觉Transformer中，展开和折叠操作被设计以适应4D张量；设为3D视觉Transformer中前两个3D卷积块的输出，/>被看作是视觉Transformer中的分裂补丁，所以通过简单地合并H和W的维度来展开；
设表示已展开的特征图，以及/>，然后将/>输入到Transformer中，学习全局表示/>；由于空间顺序不改变，/>折叠得到；最后，将/>与输入特征映射/>连接，使用3D卷积块融合特征，得到输出特征映射/>；
在一个3D视觉Transformer块中有4个3D卷积块，每个3D卷积块包含一个3D卷积层、一个3D-BN层和一个SiLU层；每个3D视觉Transformer块都有一个Transformer层，3D视觉Transformer块使用卷积和Transformer来学习局部和全局表示。
10.根据权利要求1所述的基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法，其特征在于，该方法还包括步骤：
S5、利用3D视觉Transformer中的自注意力机制描述不同观察角度下极化相干矩阵之间的规律和差异性，提高极化合成孔径雷达图像的解译性能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311362154.0A CN117095309B (zh) | 2023-10-20 | 2023-10-20 | 一种极化sar影像旋转域特征表达提取与分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311362154.0A CN117095309B (zh) | 2023-10-20 | 2023-10-20 | 一种极化sar影像旋转域特征表达提取与分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117095309A true CN117095309A (zh) | 2023-11-21 |
| CN117095309B CN117095309B (zh) | 2024-01-16 |
Family
ID=88770262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311362154.0A Active CN117095309B (zh) | 2023-10-20 | 2023-10-20 | 一种极化sar影像旋转域特征表达提取与分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117095309B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446716A (zh) * | 2018-02-07 | 2018-08-24 | 武汉大学 | 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法 |
| CN108446652A (zh) * | 2018-03-27 | 2018-08-24 | 武汉大学 | 基于动态纹理特征的极化sar图像地物分类方法 |
| WO2021000902A1 (zh) * | 2019-07-02 | 2021-01-07 | 五邑大学 | 一种sar图像数据增强方法、装置及存储介质 |
| CN114202696A (zh) * | 2021-12-15 | 2022-03-18 | 安徽大学 | 基于上下文视觉的sar目标检测方法、装置和存储介质 |
| CN114372521A (zh) * | 2021-12-30 | 2022-04-19 | 西安邮电大学 | 基于注意力机制和残差关系网络的sar图像分类方法 |
| CN114818889A (zh) * | 2022-04-13 | 2022-07-29 | 南通大学 | 一种基于线性自注意力Transformer的图像分类方法 |
| US20220373673A1 (en) * | 2021-05-24 | 2022-11-24 | University Of South Carolina | Human-perceptible and machine-readable shape generation and classification of hidden objects |
| CN116503636A (zh) * | 2022-12-05 | 2023-07-28 | 中国人民解放军战略支援部队信息工程大学 | 一种基于自监督预训练的多模态遥感影像分类方法 |
| CN116681927A (zh) * | 2023-05-16 | 2023-09-01 | 湖北第二师范学院 | 结合深度学习模型和传统分类器的用于PolSAR数据的分类方法及系统 |
-
2023
- 2023-10-20 CN CN202311362154.0A patent/CN117095309B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446716A (zh) * | 2018-02-07 | 2018-08-24 | 武汉大学 | 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法 |
| CN108446652A (zh) * | 2018-03-27 | 2018-08-24 | 武汉大学 | 基于动态纹理特征的极化sar图像地物分类方法 |
| WO2021000902A1 (zh) * | 2019-07-02 | 2021-01-07 | 五邑大学 | 一种sar图像数据增强方法、装置及存储介质 |
| US20220373673A1 (en) * | 2021-05-24 | 2022-11-24 | University Of South Carolina | Human-perceptible and machine-readable shape generation and classification of hidden objects |
| CN114202696A (zh) * | 2021-12-15 | 2022-03-18 | 安徽大学 | 基于上下文视觉的sar目标检测方法、装置和存储介质 |
| US20230184927A1 (en) * | 2021-12-15 | 2023-06-15 | Anhui University | Contextual visual-based sar target detection method and apparatus, and storage medium |
| CN114372521A (zh) * | 2021-12-30 | 2022-04-19 | 西安邮电大学 | 基于注意力机制和残差关系网络的sar图像分类方法 |
| CN114818889A (zh) * | 2022-04-13 | 2022-07-29 | 南通大学 | 一种基于线性自注意力Transformer的图像分类方法 |
| CN116503636A (zh) * | 2022-12-05 | 2023-07-28 | 中国人民解放军战略支援部队信息工程大学 | 一种基于自监督预训练的多模态遥感影像分类方法 |
| CN116681927A (zh) * | 2023-05-16 | 2023-09-01 | 湖北第二师范学院 | 结合深度学习模型和传统分类器的用于PolSAR数据的分类方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| HONGMIAO WANGDENG: "Land Cover Classification for Polarimetric SAR Images Based on Vision Transformer", 《REMOTE SENSING》, pages 1 - 23 * |
| LEI WANG等: "PolSAR-SSN: An End-to-End Superpixel Sampling Network for PolSAR Image Classification", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》, pages 1 - 5 * |
| RONG GUI等: "Unsupervised PolSAR Change Detection Based on Polarimetric Distance Measurements and ConvLSTM Network", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》, pages 9762 - 9776 * |
| 凌旭峰等: "基于自注意力的合成孔径雷达图像目标分类方法", 《现代雷达》, vol. 44, no. 7, pages 50 - 55 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117095309B (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | ORSIm detector: A novel object detection framework in optical remote sensing imagery using spatial-frequency channel features | |
| Cai et al. | Coarse-to-fine sparse transformer for hyperspectral image reconstruction | |
| Zhou et al. | Robust matching for SAR and optical images using multiscale convolutional gradient features | |
| Wu et al. | Towards accurate high resolution satellite image semantic segmentation | |
| Cui et al. | Image data augmentation for SAR sensor via generative adversarial nets | |
| Liu et al. | Detection of multiclass objects in optical remote sensing images | |
| Akey Sungheetha | Classification of remote sensing image scenes using double feature extraction hybrid deep learning approach | |
| CN110245711B (zh) | 基于角度旋转生成网络的sar目标识别方法 | |
| CN108154133B (zh) | 基于非对称联合学习的人脸画像-照片识别方法 | |
| CN102289807B (zh) | 基于Treelet变换和特征融合的遥感图像变化检测方法 | |
| CN112990334A (zh) | 基于改进原型网络的小样本sar图像目标识别方法 | |
| CN110633640A (zh) | 优化PointNet对于复杂场景的识别方法 | |
| Ye et al. | Robust optical and SAR image matching using attention-enhanced structural features | |
| CN112580480A (zh) | 一种高光谱遥感影像分类方法及装置 | |
| Azam et al. | Aircraft classification based on PCA and feature fusion techniques in convolutional neural network | |
| CN111126508A (zh) | 一种基于hopc改进的异源图像匹配方法 | |
| CN118262090A (zh) | 一种基于lmsfa-yolo轻量开集遥感目标检测方法 | |
| CN112862748B (zh) | 一种多维域特征联合sar船舰智能检测方法 | |
| Ahmad et al. | Attention mechanism meets with hybrid dense network for hyperspectral image classification | |
| CN117095309B (zh) | 一种极化sar影像旋转域特征表达提取与分类方法 | |
| CN117557884A (zh) | 一种基于多尺度注意力的旋转目标检测方法 | |
| Chen et al. | Hyperspectral image classification using gradient local auto-correlations | |
| CN111275680A (zh) | 基于Gabor卷积网络的SAR图像变化检测方法 | |
| CN115578599A (zh) | 一种基于超像素-超图特征增强网络的极化sar图像分类方法 | |
| Li et al. | A new framework of hyperspectral image classification based on spatial spectral interest point |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |