CN117422917A - 一种高光谱遥感图像分类方法及相关设备 - Google Patents

一种高光谱遥感图像分类方法及相关设备 Download PDF

Info

Publication number
CN117422917A
CN117422917A CN202311385349.7A CN202311385349A CN117422917A CN 117422917 A CN117422917 A CN 117422917A CN 202311385349 A CN202311385349 A CN 202311385349A CN 117422917 A CN117422917 A CN 117422917A
Authority
CN
China
Prior art keywords
remote sensing
hyperspectral remote
space
dimensional
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311385349.7A
Other languages
English (en)
Inventor
陈绵书
张子墨
胡超亚
许瑞雪
李晓妮
桑爱军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202311385349.7A priority Critical patent/CN117422917A/zh
Publication of CN117422917A publication Critical patent/CN117422917A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/58Extraction of image or video features relating to hyperspectral data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/194Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种高光谱遥感图像分类方法及相关设备,所述方法包括:获取待分类高光谱遥感图像,对待分类高光谱遥感图像通过主成分分析进行降维处理,得到降维后的图像数据;将降维后的图像数据输入注意力与多尺度密集网络,进行图像的空间‑光谱特征提取,得到图像的空间‑光谱特征图;将得到的空间‑光谱特征图输入到全连接层,将卷积输出的三维特征图转化成一维特征向量,并将前层计算得到的特征空间映射到样本空间;利用Adam优化器对提取的一维特征向量进行优化处理,利用Softmax分类器对优化后一维特征向量进行分类,获得分类结果。本发明通过利用注意力与多尺度密集网络对待分类高光谱遥感图像进行分类,减少计算量,提高图像的分类精度。

Description

一种高光谱遥感图像分类方法及相关设备
技术领域
本发明涉及图像处理技术领域,尤其涉及一种高光谱遥感图像分类方法、系统、终端及计算机可读存储介质。
背景技术
近年来,随着计算机硬件以及深度学习等技术的快速发展,高光谱遥感图像分类技术取得了长足的进步,已经获得了可接受的分类性能。高光谱遥感图像分类技术通过分析每一个像素的光谱信息与空间信息,对这个像素所属门类进行判定并标记,然后与实际地物进行对应比较,最后得出结论,实现地物目标分类。高光谱遥感图像分类技术能够区分地物特征并进行分类,在河流地图、山川地图、污染源地图等专题地图制作的领域内有着其他技术没有的优势。基于高光谱遥感图像分类后的土地规划利用,地理信息勘测等在国家发展与科技进步上有着重要的作用。
高光谱遥感图像分类方法通常是用深度学习的算法进行分类处理。然而,现有的高光谱遥感图像分类方法通常忽视了使用多尺度信息的重要性,随着深度学习过程的逐步深入,高光谱遥感图像的细节特征往往会大量丢失甚至消失,影响最终的分类精度。并且现有方法大部分使用图像块作为模型输入,这可能会导致大量的冗余,并降低测试阶段的处理效率。
因此,现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种高光谱遥感图像分类方法、系统、终端及计算机可读存储介质,旨在解决现有技术中进行高光谱遥感图像分类时忽视使用多尺度信息,导致分类精度低,处理效率不高的问题。
为实现上述目的,本发明提供一种高光谱遥感图像分类方法,所述高光谱遥感图像分类方法包括如下步骤:
获取待分类高光谱遥感图像,对所述待分类高光谱遥感图像通过主成分分析进行降维处理,得到降维后的图像数据;
将降维后的图像数据输入注意力与多尺度密集网络,进行图像的空间-光谱特征提取,得到图像的空间-光谱特征图;
将得到的空间-光谱特征图输入到全连接层,将卷积输出的三维特征图转化成一维特征向量,并将前层计算得到的特征空间映射到样本空间;
利用Adam优化器对提取的一维特征向量进行优化处理,利用Softmax分类器对优化后一维特征向量进行分类,获得分类结果。
可选地,所述的高光谱遥感图像分类方法,其中,所述获取待分类高光谱遥感图像,对所述待分类高光谱遥感图像通过主成分分析进行降维处理,得到降维后的图像数据,具体包括:
若待分类高光谱遥感图的大小为Rm×n=(x1,x2,Λ,xn),将n维的数据特征通过线性变换映射到k维,其中,k<n,m、n、k均为维数,xi(i=1,2,Λ,n)为所述待分类高光谱遥感图中任意一组列向量;
将所述待分类高光谱遥感图投影到映射空间Wn×k=(w1,w2,Λ,wk),所述待分类高光谱遥感图中的点在映射空间下的坐标为其中,w为映射空间Wn×k中的基,使投影后的总方差最大:
其中,D(x)为总方差,将D(x)展开后得到:
其中,为所述待分类高光谱遥感图的协方差矩阵,记为Λ,最终目标转化为:
D(x)=max{wΛΛT};
构造拉格朗日函数:
L(w)=wTΛw+λ(1-wTw);
其中,λ为拉格朗日函数中的待定系数,对w求导得到:
Λw=λw;
最终得到:
D(x)=wTΛw=λwTw=λ;
求解出Λ的前k个最大特征值所对应的特征向量,得到降维后的图像数据。
可选地,所述的高光谱遥感图像分类方法,其中,所述将降维后的图像数据输入注意力与多尺度密集网络,进行图像的空间-光谱特征提取,得到图像的空间-光谱特征图,具体包括:
将降维后的图像数据通过7×7×7的卷积核进行卷积,并进行平均池化;
对平均池化后的数据,在深度方向上每个瓶颈层后加入的注意力机制SENet层通过密集连接网络进行图像的空间-光谱特征提取;
在尺度方向上,采用卷积核为3×3×3,步长为1的上采样反卷积、卷积核为1×1×1的卷积、卷积核为3×3×3,步长为1的下采样卷积对图像进行空间-光谱的低、中、高等级特征提取;
每个尺度上的每个SENet层都将提取到的特征通过与下一个尺度中对应的SENet层提取到的特征通过特征融合的方式传播给下一个深度的瓶颈层;
对最高尺度、最高深度的SENet层输出的数据进行最大池化后得到图像的空间-光谱特征图。
可选地,所述的高光谱遥感图像分类方法,其中,所述瓶颈层的结构包括:卷积核为1×1×1的卷积、两个批归一化BN、两个ReLU激活函数和卷积核为3×3×3的卷积,在每个瓶颈层内对输入数据进行归一化;
所述SENet层的结构包括:批归一化BN、ReLU激活函数、卷积核为1×1×1的卷积、注意力机制SENet模型和卷积核为3×3×3的卷积。
可选地,所述的高光谱遥感图像分类方法,其中,所述注意力机制SENet模型用于对降维后的图像数据中的特征信息进行强化;
对输入特征I进行挤压操作,将输入特征I通过全局平均池化操作压缩为一维向量Z,一维向量Z的长度等于输入特征图的通道数,一维向量Z中的每一个元素代表输入特征图中的每一个通道内的特征:
其中,Fsq(I)为对输入特征I(a,b)的挤压操作,输入特征的维度为W×H×C,W为宽度,H为高度,C为通道数,输出一维向量Z的维度为1×1×C;压缩后的一维向量Z中包含全局感受野的特征且分离于不同通道之中;
对一维向量Z进行激励操作,激励操作包含两个全连接层,第一个全连接层将输出一个元素数变少的一维向量,再接上一个ReLU激活函数,第二个全连接层输出一个维度和输入一致的一维向量,再接上一个Sigmoid激活函数,激励操作通过两个全连接层中的卷积参数控制每一个通道的比重,输出S计算方式为:
S=Fex(Z,W)=σ(W2δ(W1Z));
其中,Fex(Z,W)为对一维向量Z和参数W的激活操作,W1表示第一个全连接层中的参数,W2表示第二个全连接层中的参数,δ表示ReLU激活函数,σ表示sigmoid激活函数,向量S和向量Z的维度保持一致。
可选地,所述的高光谱遥感图像分类方法,其中,所述将得到的空间-光谱特征图输入到全连接层,将卷积输出的三维特征图转化成一维特征向量,并将前层计算得到的特征空间映射到样本空间,具体包括:
将得到的空间-光谱特征图输入到全连接层,全连接层将最后一层卷积得到的特征图展开成一维特征向量,并为分类器提供输入;
其中,全连接层的激活函数使用ReLU激活函数,ReLU激活函数如下:
fReLU(x)=max(0,uTx+c);
其中,fReLU(x)表示ReLU激活函数,u为权重矩阵,c为偏差,uTx+c表示神经网络上一层的输入向量x所经历的线性变换,最后输出的非线性结果取决于神经元在网络结构中的当前位置。
可选地,所述的高光谱遥感图像分类方法,其中,所述利用Adam优化器对提取的一维特征向量进行优化处理,利用Softmax分类器对优化后一维特征向量进行分类,获得分类结果,具体包括:
所述Adam优化器通过反向传播算法的分类损失函数对提取的一维特征向量进行优化处理,分类损失函数表示如下:
其中,分别表示真实值和预测值,D表示小批量样本的总数,E表示特征覆盖类的总数;
利用Softmax分类器中的Softmax函数对优化后一维特征向量进行分类,获得分类结果,Softmax函数表示如下:
其中,xg是第g个输入特征,g=1,2,…,F;yg是对应的类标签,Wh是全连接层中权重矩阵W的第h列,bh是偏差,F是批次大小,f是类别数。
此外,为实现上述目的,本发明还提供一种高光谱遥感图像分类系统,其中,所述高光谱遥感图像分类系统包括:
图像降维处理模块,用于获取待分类高光谱遥感图像,对所述待分类高光谱遥感图像通过主成分分析进行降维处理,得到降维后的图像数据;
图像特征提取模块,用于将降维后的图像数据输入注意力与多尺度密集网络,进行图像的空间-光谱特征提取,得到图像的空间-光谱特征图;
特征转化映射模块,用于将得到的空间-光谱特征图输入到全连接层,将卷积输出的三维特征图转化成一维特征向量,并将前层计算得到的特征空间映射到样本空间;
特征优化分类模块,用于利用Adam优化器对提取的一维特征向量进行优化处理,利用Softmax分类器对优化后一维特征向量进行分类,获得分类结果。
此外,为实现上述目的,本发明还提供一种终端,其中,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的高光谱遥感图像分类程序,所述高光谱遥感图像分类程序被所述处理器执行时实现如上所述的高光谱遥感图像分类方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有高光谱遥感图像分类程序,所述高光谱遥感图像分类程序被处理器执行时实现如上所述的高光谱遥感图像分类方法的步骤。
本发明中,获取待分类高光谱遥感图像,对所述待分类高光谱遥感图像通过主成分分析进行降维处理,得到降维后的图像数据;将降维后的图像数据输入注意力与多尺度密集网络,进行图像的空间-光谱特征提取,得到图像的空间-光谱特征图;将得到的空间-光谱特征图输入到全连接层,将卷积输出的三维特征图转化成一维特征向量,并将前层计算得到的特征空间映射到样本空间;利用Adam优化器对提取的一维特征向量进行优化处理,利用Softmax分类器对优化后一维特征向量进行分类,获得分类结果,本发明通过利用注意力与多尺度密集网络对待分类高光谱遥感图像进行分类,更好的提取特征信息,减少计算量,提高图像的分类精度。
附图说明
图1是本发明高光谱遥感图像分类方法的较佳实施例的流程图;
图2是本发明高光谱遥感图像分类方法的较佳实施例中高光谱遥感图像分类流程图;
图3是本发明高光谱遥感图像分类方法的较佳实施例中注意力与多尺度密集网络的模型图;
图4是本发明高光谱遥感图像分类方法的较佳实施例中对PaviaUniversity(PU)数据集的分类结果的示意图;
图5是本发明高光谱遥感图像分类系统的较佳实施例的原理示意图;
图6为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明较佳实施例所述的高光谱遥感图像分类方法,如图1和图2所示,所述高光谱遥感图像分类方法包括以下步骤:
步骤S10、获取待分类高光谱遥感图像,对所述待分类高光谱遥感图像通过主成分分析进行降维处理,得到降维后的图像数据。
具体地,若待分类高光谱遥感图(即原始数据)大小为Rm×n=(x1,x2,Λ,xn),将n维的数据特征通过线性变换映射到k维,其中,k<n,m、n、k均为维数,xi(i=1,2,Λ,n)为所述待分类高光谱遥感图中原始数据的任意一组列向量。
将所述待分类高光谱遥感图(原始数据)投影到映射空间Wn×k=(w1,w2,Λ,wk),所述待分类高光谱遥感图中原始数据中的点在映射空间下的坐标为目标是降维后的数据在坐标轴中的分布尽可能的分散化,其中,w为映射空间Wn×k中的基,使投影后的总方差最大:
其中,D(x)为总方差,将D(x)展开后得到:
其中,为所述待分类高光谱遥感图的协方差矩阵,记为Λ,最终目标转化为:
D(x)=max{wΛΛT};
构造拉格朗日函数:
L(w)=wTΛw+λ(1-wTw);
其中,λ为拉格朗日函数中的待定系数,对w求导得到:
Λw=λw;
最终得到:
D(x)=wTΛw=λwTw=λ;
求解出Λ的前k个最大特征值所对应的特征向量,得到降维后的图像数据(即可得到降维后的结果)。
本发明首先对高光谱遥感图像的公共数据集用主成分分析法进行降维处理,得到降维后的图像数据;采用主成分分析法PCA对高光谱遥感图像进行光谱降维处理,将获取到的高光谱数据通过降维处理能够有效果的减少数据量,同时降维后的数据也不会影响最终的分类结果。
步骤S20、将降维后的图像数据输入注意力与多尺度密集网络,进行图像的空间-光谱特征提取,得到图像的空间-光谱特征图。
具体地,注意力与多尺度密集网络(SE-MSDN,Squeeze-and-Excitation Multi-Scale Dense Networks)如图3所示,首先将降维后的图像数据通过7×7×7的卷积核进行卷积,并进行平均池化;对平均池化后的数据,在深度方向上每个瓶颈层后加入的注意力机制SENet层通过密集连接网络进行图像的空间-光谱特征提取;在尺度方向上,采用卷积核为3×3×3,步长为1的上采样反卷积、卷积核为1×1×1的卷积、卷积核为3×3×3,步长为1的下采样卷积对图像进行空间-光谱的低、中、高等级特征提取;每个尺度上的每个SENet层都将提取到的特征通过与下一个尺度中对应的SENet层提取到的特征通过特征融合的方式传播给下一个深度的瓶颈层;对最高尺度、最高深度的SENet层输出的数据进行最大池化后得到图像的空间-光谱特征图。
其中,低尺度中,对图像通过进行上采样操作,可以增加图片分辨率,将提取到的特征图进行放大,提高细节信息;高尺度中,通过步幅卷积操作进行下采样操作,这使特征从细致变为粗糙。
其中,所述瓶颈层的结构包括:卷积核为1×1×1的卷积、两个批归一化BN、两个ReLU激活函数和卷积核为3×3×3的卷积,在每个瓶颈层内对输入数据进行归一化,使激活函数的输入域内的输入不太大或过小,从而加快了模型的训练过程,提高了精度;批归一化BN是深度学习中常添加的元素,通常在卷积操作之后添加BN操作,它可以在每次卷积后对数据的分布进行额外约束,从而增强模型的泛化能力,同时还可以加速模型收敛。
其中,所述SENet层的结构包括:批归一化BN、ReLU激活函数、卷积核为1×1×1的卷积、注意力机制SENet模型和卷积核为3×3×3的卷积;SENet层可以根据通道的权重自主突出重要通道,促使网络更多提取特征图的有效信息,提高网络的信息提取能力;SENet层中使用一维卷积操作得到原SENet模型中全连接层的结果,一维卷积的参数是根据特征图的通道维度决定,可以根据不同数据自行决定,以此增强模型的适应能力,可以根据不同数据集得到不同的参数,以适应不同的数据集,所以,SENet层的适应能力相对于原SENet模型更突出。
其中,所述注意力机制SENet模型用于对降维后的图像数据中的特征信息进行强化。
SE-Net模型是一种经典的通道注意力机制型;该模型通过根据通道之间的相关性提取出各通道的重要性,然后对特征图中的特征信息进行强化以提高准确率。
首先,是对输入特征I进行挤压操作(squeeze),将输入特征I通过全局平均池化操作压缩为一维向量Z,一维向量Z的长度等于输入特征图的通道数,一维向量Z中的每一个元素代表输入特征图中的每一个通道内的特征,其计算方式如下:
其中,Fsq(I)为对输入特征I(a,b)的挤压操作,输入特征的维度为W×H×C,W为宽度,H为高度,C为通道数,输出一维向量Z的维度为1×1×C;从该式中可以看出压缩后的一维向量Z中包含全局感受野的特征且分离于不同通道之中。
然后,为了能够发现不同通道之间的关联性,对一维向量Z进行激励操作(excitation),激励操作包含两个全连接层,第一个全连接层将输出一个元素数变少的一维向量,再接上一个ReLU激活函数,第二个全连接层输出一个维度和输入一致的一维向量,再接上一个Sigmoid激活函数,激励操作通过两个全连接层中的卷积参数控制每一个通道的比重,输出S计算方式为:
S=Fex(Z,W)=σ(W2δ(W1Z));
其中,Fex(Z,W)为对一维向量Z和参数W的激活操作,关于W1表示第一个全连接层中的参数,W2表示第二个全连接层中的参数,δ表示ReLU激活函数,σ表示sigmoid激活函数,向量S和向量Z的维度保持一致,输出向量S即包含着原始特征图中每一个通道的比重信息,将该向量内的每一个元素和特征图中对应通道内的元素相乘,便可以得到特征增强后的特征图X,输出特征图X的维度和最初的输入特征一致,即是通过通道注意力机制增强后的特征图。
步骤S30、将得到的空间-光谱特征图输入到全连接层,将卷积输出的三维特征图转化成一维特征向量,并将前层计算得到的特征空间映射到样本空间。
具体地,将得到的空间-光谱特征图输入到全连接层,全连接层将最后一层卷积得到的特征图(矩阵)展开成一维特征向量,并为分类器提供输入;全连接层起到将学到的特征表示映射到样本的标记空间的作用,把特征整合到一起,高度提纯特征,方便交给最后的分类器;全连接层的激活函数使用ReLU激活函数;ReLU激活函数属于一个分段线性函数,当输入为负数时,其输出值为0,神经元保持不变,而在正值时,输出保持不变,神经元被激活;ReLU激活函数不存在饱和区,即不存在梯度消失的情况。
其中,全连接层的激活函数使用ReLU激活函数,ReLU激活函数如下:
fReLU(x)=max(0,uTx+c);
其中,fReLU(x)表示ReLU激活函数,u为权重矩阵,c为偏差,uTx+c表示神经网络上一层的输入向量x所经历的线性变换,最后输出的非线性结果取决于神经元在网络结构中的当前位置。
S40、利用Adam优化器对提取的一维特征向量进行优化处理,利用Softmax分类器对优化后一维特征向量进行分类,获得分类结果。
具体地,选用Adam优化器进行优化处理;Adam优化器是一种在深度学习模型中用来代替随机梯度下降的优化算法,实现简单,计算高效,对内存需求少,参数的更新不受梯度的伸缩变换影响,在很多情况下算作默认工作性能比较优秀的优化器;对于优化器的反向传播算法通过使用分类损失函数(Softmax loss)进行训练;反向传播可以将参数进行更新,逐层求出目标函数对各神经元权值的偏导数,构成目标函数对权值向量的梯度,作为修改权值的依据,网络的学习在权值修改过程中完成;输出值与真实值的误差达到所期望值时,网络学习结束;所述Adam优化器通过反向传播算法的分类损失函数对提取的一维特征向量进行优化处理,分类损失函数表示如下:
其中,分别表示真实值和预测值,D表示小批量样本的总数,E表示特征覆盖类的总数;
进一步地,Softmax分类器是softmax函数所在的层,通常是分类网络的最后一层,在基于深度学习的分类任务中得到了广泛应用;Softmax函数,又称归一化指数函数,它是二分类函数sigmoid在多分类上的推广,目的是将多分类的结果以概率的形式展现出来,它是通过最大化地面真实类的后验概率对类间特征进行分类;利用Softmax分类器中的Softmax函数对优化后一维特征向量进行分类,获得分类结果,Softmax函数表示如下:
其中,xg是第g个输入特征,g=1,2,…,F;yg是对应的类标签,Wh是全连接层中权重矩阵W的第h列,bh是偏差,F是批次大小,f是类别数。
如图4所示,图4表示本发明对PaviaUniversity(PU)数据集(即待分类高光谱遥感图像)的分类结果,图4中的(a)表示PaviaUniversity(PU)数据集的假彩色图,图4中的(b)表示PaviaUniversity(PU)数据集的分类结果图,图4中的(c)表示PaviaUniversity(PU)数据集的颜色编码示意图。PU数据集是公开的高光谱遥感数据集,被广泛地应用于探究高光谱遥感图像分类网络模型的性能,它具有不同的像素数量、不同的波段数量、不同的空间分辨率、不同的目标地物类别数量,有利于算法的对比析;PU数据集于2001年由机载探测器在意大利北部帕维亚(Pavia)大学校园上空采集得到。
进一步地,如图5所示,基于上述高光谱遥感图像分类方法,本发明还相应提供了一种高光谱遥感图像分类系统,其中,所述高光谱遥感图像分类系统包括:
图像降维处理模块51,用于获取待分类高光谱遥感图像,对所述待分类高光谱遥感图像通过主成分分析进行降维处理,得到降维后的图像数据;
图像特征提取模块52,用于将降维后的图像数据输入注意力与多尺度密集网络,进行图像的空间-光谱特征提取,得到图像的空间-光谱特征图;
特征转化映射模块53,用于将得到的空间-光谱特征图输入到全连接层,将卷积输出的三维特征图转化成一维特征向量,并将前层计算得到的特征空间映射到样本空间;
特征优化分类模块54,用于利用Adam优化器对提取的一维特征向量进行优化处理,利用Softmax分类器对优化后一维特征向量进行分类,获得分类结果。
进一步地,如图6所示,基于上述高光谱遥感图像分类方法和系统,本发明还相应提供了一种终端,所述终端包括处理器10、存储器20及显示器30。图6仅示出了终端的部分组件,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元,例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备,例如所述终端上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据,例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中,存储器20上存储有高光谱遥感图像分类程序40,该高光谱遥感图像分类程序40可被处理器10所执行,从而实现本申请中高光谱遥感图像分类方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行所述存储器20中存储的程序代码或处理数据,例如执行所述高光谱遥感图像分类方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中,当处理器10执行所述存储器20中高光谱遥感图像分类程序40时实现以下步骤:
获取待分类高光谱遥感图像,对所述待分类高光谱遥感图像通过主成分分析进行降维处理,得到降维后的图像数据;
将降维后的图像数据输入注意力与多尺度密集网络,进行图像的空间-光谱特征提取,得到图像的空间-光谱特征图;
将得到的空间-光谱特征图输入到全连接层,将卷积输出的三维特征图转化成一维特征向量,并将前层计算得到的特征空间映射到样本空间;
利用Adam优化器对提取的一维特征向量进行优化处理,利用Softmax分类器对优化后一维特征向量进行分类,获得分类结果。
可选地,所述的高光谱遥感图像分类方法,其中,所述获取待分类高光谱遥感图像,对所述待分类高光谱遥感图像通过主成分分析进行降维处理,得到降维后的图像数据,具体包括:
若待分类高光谱遥感图的大小为Rm×n=(x1,x2,Λ,xn),将n维的数据特征通过线性变换映射到k维,其中,k<n,m、n、k均为维数,xi(i=1,2,Λ,n)为所述待分类高光谱遥感图中任意一组列向量;
将所述待分类高光谱遥感图投影到映射空间Wn×k=(w1,w2,Λ,wk),所述待分类高光谱遥感图中的点在映射空间下的坐标为其中,w为映射空间Wn×k中的基,使投影后的总方差最大:
其中,D(x)为总方差,将D(x)展开后得到:
其中,为所述待分类高光谱遥感图的协方差矩阵,记为Λ,最终目标转化为:
D(x)=max{wΛΛT};
构造拉格朗日函数:
L(w)=wTΛw+λ(1-wTw);
其中,λ为拉格朗日函数中的待定系数,对w求导得到:
Λw=λw;
最终得到:
D(x)=wTΛw=λwTw=λ;
求解出Λ的前k个最大特征值所对应的特征向量,得到降维后的图像数据。
可选地,所述的高光谱遥感图像分类方法,其中,所述将降维后的图像数据输入注意力与多尺度密集网络,进行图像的空间-光谱特征提取,得到图像的空间-光谱特征图,具体包括:
将降维后的图像数据通过7×7×7的卷积核进行卷积,并进行平均池化;
对平均池化后的数据,在深度方向上每个瓶颈层后加入的注意力机制SENet层通过密集连接网络进行图像的空间-光谱特征提取;
在尺度方向上,采用卷积核为3×3×3,步长为1的上采样反卷积、卷积核为1×1×1的卷积、卷积核为3×3×3,步长为1的下采样卷积对图像进行空间-光谱的低、中、高等级特征提取;
每个尺度上的每个SENet层都将提取到的特征通过与下一个尺度中对应的SENet层提取到的特征通过特征融合的方式传播给下一个深度的瓶颈层;
对最高尺度、最高深度的SENet层输出的数据进行最大池化后得到图像的空间-光谱特征图。
可选地,所述的高光谱遥感图像分类方法,其中,所述瓶颈层的结构包括:卷积核为1×1×1的卷积、两个批归一化BN、两个ReLU激活函数和卷积核为3×3×3的卷积,在每个瓶颈层内对输入数据进行归一化;
所述SENet层的结构包括:批归一化BN、ReLU激活函数、卷积核为1×1×1的卷积、注意力机制SENet模型和卷积核为3×3×3的卷积。
可选地,所述的高光谱遥感图像分类方法,其中,所述注意力机制SENet模型用于对降维后的图像数据中的特征信息进行强化;
对输入特征I进行挤压操作,将输入特征I通过全局平均池化操作压缩为一维向量Z,一维向量Z的长度等于输入特征图的通道数,一维向量Z中的每一个元素代表输入特征图中的每一个通道内的特征:
其中,Fsq(I)为对输入特征I(a,b)的挤压操作,输入特征的维度为W×H×C,W为宽度,H为高度,C为通道数,输出一维向量Z的维度为1×1×C;压缩后的一维向量Z中包含全局感受野的特征且分离于不同通道之中;
对一维向量Z进行激励操作,激励操作包含两个全连接层,第一个全连接层将输出一个元素数变少的一维向量,再接上一个ReLU激活函数,第二个全连接层输出一个维度和输入一致的一维向量,再接上一个Sigmoid激活函数,激励操作通过两个全连接层中的卷积参数控制每一个通道的比重,输出S计算方式为:
S=Fex(Z,W)=σ(W2δ(W1Z));
其中,Fex(Z,W)为对一维向量Z和参数W的激活操作,W1表示第一个全连接层中的参数,W2表示第二个全连接层中的参数,δ表示ReLU激活函数,σ表示sigmoid激活函数,向量S和向量Z的维度保持一致。
可选地,所述的高光谱遥感图像分类方法,其中,所述将得到的空间-光谱特征图输入到全连接层,将卷积输出的三维特征图转化成一维特征向量,并将前层计算得到的特征空间映射到样本空间,具体包括:
将得到的空间-光谱特征图输入到全连接层,全连接层将最后一层卷积得到的特征图展开成一维特征向量,并为分类器提供输入;
其中,全连接层的激活函数使用ReLU激活函数,ReLU激活函数如下:
fReLU(x)=max(0,uTx+c);
其中,fReLU(x)表示ReLU激活函数,u为权重矩阵,c为偏差,uTx+c表示神经网络上一层的输入向量x所经历的线性变换,最后输出的非线性结果取决于神经元在网络结构中的当前位置。
可选地,所述的高光谱遥感图像分类方法,其中,所述利用Adam优化器对提取的一维特征向量进行优化处理,利用Softmax分类器对优化后一维特征向量进行分类,获得分类结果,具体包括:
所述Adam优化器通过反向传播算法的分类损失函数对提取的一维特征向量进行优化处理,分类损失函数表示如下:
其中,分别表示真实值和预测值,D表示小批量样本的总数,E表示特征覆盖类的总数;
利用Softmax分类器中的Softmax函数对优化后一维特征向量进行分类,获得分类结果,Softmax函数表示如下:
其中,xg是第g个输入特征,g=1,2,…,F;yg是对应的类标签,Wh是全连接层中权重矩阵W的第h列,bh是偏差,F是批次大小,f是类别数。
本发明还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有高光谱遥感图像分类程序,所述高光谱遥感图像分类程序被处理器执行时实现如上所述的高光谱遥感图像分类方法的步骤。
综上所述,本发明提供一种高光谱遥感图像分类方法及相关设备,所述方法包括:获取待分类高光谱遥感图像,对所述待分类高光谱遥感图像通过主成分分析进行降维处理,得到降维后的图像数据;将降维后的图像数据输入注意力与多尺度密集网络,进行图像的空间-光谱特征提取,得到图像的空间-光谱特征图;将得到的空间-光谱特征图输入到全连接层,将卷积输出的三维特征图转化成一维特征向量,并将前层计算得到的特征空间映射到样本空间;利用Adam优化器对提取的一维特征向量进行优化处理,利用Softmax分类器对优化后一维特征向量进行分类,获得分类结果,本发明通过利用注意力与多尺度密集网络对待分类高光谱遥感图像进行分类,更好的提取特征信息,减少计算量,提高图像的分类精度。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关硬件(如处理器,控制器等)来完成,所述的程序可存储于一计算机可读取的计算机可读存储介质中,所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种高光谱遥感图像分类方法,其特征在于,所述高光谱遥感图像分类方法包括:
获取待分类高光谱遥感图像,对所述待分类高光谱遥感图像通过主成分分析进行降维处理,得到降维后的图像数据;
将降维后的图像数据输入注意力与多尺度密集网络,进行图像的空间-光谱特征提取,得到图像的空间-光谱特征图;
将得到的空间-光谱特征图输入到全连接层,将卷积输出的三维特征图转化成一维特征向量,并将前层计算得到的特征空间映射到样本空间;
利用Adam优化器对提取的一维特征向量进行优化处理,利用Softmax分类器对优化后一维特征向量进行分类,获得分类结果。
2.根据权利要求1所述的高光谱遥感图像分类方法,其特征在于,所述获取待分类高光谱遥感图像,对所述待分类高光谱遥感图像通过主成分分析进行降维处理,得到降维后的图像数据,具体包括:
若待分类高光谱遥感图的大小为Rm×n=(x1,x2,Λ,xn),将n维的数据特征通过线性变换映射到k维,其中,k<n,m、n、k均为维数,xi(i=1,2,Λ,n)为所述待分类高光谱遥感图中任意一组列向量;
将所述待分类高光谱遥感图投影到映射空间Wn×k=(w1,w2,Λ,wk),所述待分类高光谱遥感图中的点在映射空间下的坐标为其中,w为映射空间Wn×k中的基,使投影后的总方差最大:
其中,D(x)为总方差,将D(x)展开后得到:
其中,为所述待分类高光谱遥感图的协方差矩阵,记为Λ,最终目标转化为:
D(x)=max{wΛΛT};
构造拉格朗日函数:
L(w)=wTΛw+λ(1-wTw);
其中,λ为拉格朗日函数中的待定系数,对w求导得到:
Λw=λw;
最终得到:
D(x)=wTΛw=λwTw=λ;
求解出Λ的前k个最大特征值所对应的特征向量,得到降维后的图像数据。
3.根据权利要求1或2所述的高光谱遥感图像分类方法,其特征在于,所述将降维后的图像数据输入注意力与多尺度密集网络,进行图像的空间-光谱特征提取,得到图像的空间-光谱特征图,具体包括:
将降维后的图像数据通过7×7×7的卷积核进行卷积,并进行平均池化;
对平均池化后的数据,在深度方向上每个瓶颈层后加入的注意力机制SENet层通过密集连接网络进行图像的空间-光谱特征提取;
在尺度方向上,采用卷积核为3×3×3,步长为1的上采样反卷积、卷积核为1×1×1的卷积、卷积核为3×3×3,步长为1的下采样卷积对图像进行空间-光谱的低、中、高等级特征提取;
每个尺度上的每个SENet层都将提取到的特征通过与下一个尺度中对应的SENet层提取到的特征通过特征融合的方式传播给下一个深度的瓶颈层;
对最高尺度、最高深度的SENet层输出的数据进行最大池化后得到图像的空间-光谱特征图。
4.根据权利要求3所述的高光谱遥感图像分类方法,其特征在于,所述瓶颈层的结构包括:卷积核为1×1×1的卷积、两个批归一化BN、两个ReLU激活函数和卷积核为3×3×3的卷积,在每个瓶颈层内对输入数据进行归一化;
所述SENet层的结构包括:批归一化BN、ReLU激活函数、卷积核为1×1×1的卷积、注意力机制SENet模型和卷积核为3×3×3的卷积。
5.根据权利要求4所述的高光谱遥感图像分类方法,其特征在于,所述注意力机制SENet模型用于对降维后的图像数据中的特征信息进行强化;
对输入特征I进行挤压操作,将输入特征I通过全局平均池化操作压缩为一维向量Z,一维向量Z的长度等于输入特征图的通道数,一维向量Z中的每一个元素代表输入特征图中的每一个通道内的特征:
其中,Fsq(I)为对输入特征I(a,b)的挤压操作,输入特征的维度为W×H×C,W为宽度,H为高度,C为通道数,输出一维向量Z的维度为1×1×C;压缩后的一维向量Z中包含全局感受野的特征且分离于不同通道之中;
对一维向量Z进行激励操作,激励操作包含两个全连接层,第一个全连接层将输出一个元素数变少的一维向量,再接上一个ReLU激活函数,第二个全连接层输出一个维度和输入一致的一维向量,再接上一个Sigmoid激活函数,激励操作通过两个全连接层中的卷积参数控制每一个通道的比重,输出S计算方式为:
S=Fex(Z,W)=σ(W2δ(W1Z));
其中,Fex(Z,W)为对一维向量Z和参数W的激活操作,W1表示第一个全连接层中的参数,W2表示第二个全连接层中的参数,δ表示ReLU激活函数,σ表示sigmoid激活函数,向量S和向量Z的维度保持一致。
6.根据权利要求1所述的高光谱遥感图像分类方法,其特征在于,所述将得到的空间-光谱特征图输入到全连接层,将卷积输出的三维特征图转化成一维特征向量,并将前层计算得到的特征空间映射到样本空间,具体包括:
将得到的空间-光谱特征图输入到全连接层,全连接层将最后一层卷积得到的特征图展开成一维特征向量,并为分类器提供输入;
其中,全连接层的激活函数使用ReLU激活函数,ReLU激活函数如下:
fReLU(x)=max(0,uTx+c);
其中,fReLU(x)表示ReLU激活函数,u为权重矩阵,c为偏差,uTx+c表示神经网络上一层的输入向量x所经历的线性变换,最后输出的非线性结果取决于神经元在网络结构中的当前位置。
7.权利要求1所述的高光谱遥感图像分类方法,其特征在于,所述利用Adam优化器对提取的一维特征向量进行优化处理,利用Softmax分类器对优化后一维特征向量进行分类,获得分类结果,具体包括:
所述Adam优化器通过反向传播算法的分类损失函数对提取的一维特征向量进行优化处理,分类损失函数表示如下:
其中,分别表示真实值和预测值,D表示小批量样本的总数,E表示特征覆盖类的总数;
利用Softmax分类器中的Softmax函数对优化后一维特征向量进行分类,获得分类结果,Softmax函数表示如下:
其中,xg是第g个输入特征,g=1,2,…,F;yg是对应的类标签,Wh是全连接层中权重矩阵W的第h列,bh是偏差,F是批次大小,f是类别数。
8.一种高光谱遥感图像分类系统,其特征在于,所述高光谱遥感图像分类系统包括:
图像降维处理模块,用于获取待分类高光谱遥感图像,对所述待分类高光谱遥感图像通过主成分分析进行降维处理,得到降维后的图像数据;
图像特征提取模块,用于将降维后的图像数据输入注意力与多尺度密集网络,进行图像的空间-光谱特征提取,得到图像的空间-光谱特征图;
特征转化映射模块,用于将得到的空间-光谱特征图输入到全连接层,将卷积输出的三维特征图转化成一维特征向量,并将前层计算得到的特征空间映射到样本空间;
特征优化分类模块,用于利用Adam优化器对提取的一维特征向量进行优化处理,利用Softmax分类器对优化后一维特征向量进行分类,获得分类结果。
9.一种终端,其特征在于,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的高光谱遥感图像分类程序,所述高光谱遥感图像分类程序被所述处理器执行时实现如权利要求1-7任一项所述的高光谱遥感图像分类方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有高光谱遥感图像分类程序,所述高光谱遥感图像分类程序被处理器执行时实现如权利要求1-7任一项所述的高光谱遥感图像分类方法的步骤。
CN202311385349.7A 2023-10-24 2023-10-24 一种高光谱遥感图像分类方法及相关设备 Pending CN117422917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311385349.7A CN117422917A (zh) 2023-10-24 2023-10-24 一种高光谱遥感图像分类方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311385349.7A CN117422917A (zh) 2023-10-24 2023-10-24 一种高光谱遥感图像分类方法及相关设备

Publications (1)

Publication Number Publication Date
CN117422917A true CN117422917A (zh) 2024-01-19

Family

ID=89529700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311385349.7A Pending CN117422917A (zh) 2023-10-24 2023-10-24 一种高光谱遥感图像分类方法及相关设备

Country Status (1)

Country Link
CN (1) CN117422917A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118299022A (zh) * 2024-05-28 2024-07-05 吉林大学 手术设备信息化管理系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118299022A (zh) * 2024-05-28 2024-07-05 吉林大学 手术设备信息化管理系统及方法

Similar Documents

Publication Publication Date Title
Ghaderizadeh et al. Hyperspectral image classification using a hybrid 3D-2D convolutional neural networks
CN111695467B (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN108009559B (zh) 一种基于空谱联合信息的高光谱数据分类方法
US9978002B2 (en) Object recognizer and detector for two-dimensional images using Bayesian network based classifier
CN111191583B (zh) 基于卷积神经网络的空间目标识别系统及方法
US9792492B2 (en) Extracting gradient features from neural networks
US20190130232A1 (en) Font identification from imagery
KR101896357B1 (ko) 객체를 검출하는 방법, 디바이스 및 프로그램
CN112534445B (zh) 具有数量被减少的参数的神经网络
JP2012038244A (ja) 学習モデル作成プログラム、画像識別情報付与プログラム、学習モデル作成装置及び画像識別情報付与装置
JP2008217589A (ja) 学習装置及びパターン認識装置
CN112101364B (zh) 基于参数重要性增量学习的语义分割方法
CN110929080A (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
CN111626267B (zh) 一种利用空洞卷积的高光谱遥感图像分类方法
CN117422917A (zh) 一种高光谱遥感图像分类方法及相关设备
CN113033321A (zh) 目标行人属性识别模型的训练方法及行人属性识别方法
CN109002771B (zh) 一种基于递归神经网络的遥感图像分类方法
CN114676777A (zh) 一种基于孪生网络的自监督学习细粒度图像分类方法
CN111242228B (zh) 高光谱图像分类方法、装置、设备及存储介质
CN115909079A (zh) 结合深度特征和自注意力模型的裂缝检测方法及相关设备
WO2022200676A1 (en) Method for creating training data for artificial intelligence system to classify hyperspectral data
Wu CNN-Based Recognition of Handwritten Digits in MNIST Database
Rohith et al. Design of Deep Convolution Neural Networks for categorical signature classification of raw panchromatic satellite images
CN116704382A (zh) 一种无人机影像语义分割方法、装置、设备及存储介质
CN114005002B (zh) 基于核操作的核全连接神经网络的图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination