CN114022786A - 基于图中图卷积网络的高光谱图像分类方法 - Google Patents
基于图中图卷积网络的高光谱图像分类方法 Download PDFInfo
- Publication number
- CN114022786A CN114022786A CN202111509923.6A CN202111509923A CN114022786A CN 114022786 A CN114022786 A CN 114022786A CN 202111509923 A CN202111509923 A CN 202111509923A CN 114022786 A CN114022786 A CN 114022786A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- graph
- superpixel
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000001228 spectrum Methods 0.000 claims abstract description 58
- 230000003595 spectral effect Effects 0.000 claims abstract description 56
- 238000010586 diagram Methods 0.000 claims description 113
- 239000011159 matrix material Substances 0.000 claims description 58
- 239000013598 vector Substances 0.000 claims description 37
- 238000013145 classification model Methods 0.000 claims description 31
- 230000004927 fusion Effects 0.000 claims description 23
- 230000011218 segmentation Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 description 8
- 238000012512 characterization method Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000000701 chemical imaging Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 239000002904 solvent Substances 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于图中图卷积网络的高光谱图像分类方法，所述方法包括：获取目标光谱图像，将所述目标光谱图像分割成若干超像素块；确定若干所述超像素块分别对应的局部结构图和所述目标光谱图像对应的全局结构图；根据所述若干所述局部结构图和所述全局结构图，确定所述目标光谱图像对应的目标图像类别。本发明通过确定每一超像素块的局部结构图保留了超像素内极优的同质信息，并将其与目标光谱图像的全局结构图一起综合判定目标光谱图像的图像类别，提高了分类的准确性。解决了现有的基于图卷积的目标光谱图像分类方法在表征超像素时，采用超像素块内的均值或最大值统计变量，严重地忽略了超像素内极优的同质信息，导致分类结果不准确的问题。
Description
技术领域
本发明涉及图像处理领域，尤其涉及的是一种基于图中图卷积网络的高光谱图像分类方法。
背景技术
近年来，高光谱成像技术的发展显著地提高了目标光谱图像的光谱分辨率。精细的光谱分辨率有利于图像更好地表达地物的光谱特性，实现更加精确的像素级分类。随着无人机技术的成熟和高光谱卫星的部署，目标光谱图像数据的获取渠道越来越多。但是，在目标光谱图像分类领域，数据的标记要求标注人员具备一定的先验知识，费时费力。得益于硬件设施如图形处理单元(GPU)的快速发展和海量数据，深度学习技术在计算机视觉和自然语言处理领域取得了显著性的突破，在性能上大幅度地超越了传统的机器学习方法。与传统机器学习相比，深度学习无需过多的先验知识和手工设置，就能够从海量的数据和标签对之中自适应地学习它们之间的映射关系，因此深度学习技术也被引入到目标光谱图像分类领域，用以更好地提取地物的空间和光谱信息并进一步地提高分类的准确率。
深度学习方法虽然已经能够完全胜任处理图像或序列等欧式空间数据的任务，但是在非欧数据领域，例如图结构数据中却寸步难行。目前提出了许多的基于图卷积的目标光谱图像分类方法，通过图表示的方法来更好地提取像素点的邻近信息。在这类方法中，通常需要采用超像素分割方法，将目标光谱图像转换为若干个超像素块。然后，将超像素视为图节点，而其邻近关系视则为节点的边，以此构造目标光谱图像的图表示。然而现有的基于图卷积的目标光谱图像分类方法在表征超像素时，一般采用超像素块内的均值或最大值统计变量。这种方法虽然简单，但是严重地忽略了超像素内极优的同质信息，使得模型取得了次优解。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于图中图卷积网络的高光谱图像分类方法，旨在解决现有的基于图卷积的目标光谱图像分类方法在表征超像素时，采用超像素块内的均值或最大值统计变量，严重地忽略了超像素内极优的同质信息，导致分类结果不准确的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种基于图中图卷积网络的高光谱图像分类方法，其中，所述方法包括：
获取目标光谱图像，将所述目标光谱图像分割成若干超像素块；
确定若干所述超像素块分别对应的局部结构图和所述目标光谱图像对应的全局结构图；
根据所述若干所述局部结构图和所述全局结构图，确定所述目标光谱图像对应的目标图像类别。
在一种实施方式中，所述将所述目标光谱图像分割成若干超像素块，包括：
将所述目标光谱图像输入超像素分割算法，得到若干所述超像素块，其中，每一所述超像素块对应一个同质区域。
在一种实施方式中，将每一所述超像素块作为一个目标超像素块，所述局部结构图的确定过程，包括：
将所述目标超像素块中的每一像素点作为一个第一节点，得到第一节点矩阵；
根据全部所述第一节点之间的邻接关系，得到第一邻接矩阵；
根据所述第一节点矩阵和所述第一邻接矩阵，生成所述目标超像素块对应的所述局部结构图。
在一种实施方式中，所述全局结构图的确定过程，包括：
将每一所述超像素块作为一个第二节点，得到第二节点矩阵；
根据全部所述第二节点之间的邻接关系，得到第二邻接矩阵；
根据所述第二节点矩阵和所述第二邻接矩阵，生成所述全局结构图。
在一种实施方式中，所述根据所述若干所述局部结构图和所述全局结构图，确定所述目标光谱图像对应的目标图像类别，包括：
将若干所述局部结构图嵌入所述全局结构图，得到目标结构图；
根据所述目标结构图，确定所述目标图像类别。
在一种实施方式中，所述将若干所述局部结构图嵌入所述全局结构图，得到目标结构图，包括：
根据每一所述局部结构图对应的所述超像素块，确定每一所述局部结构图在所述全局结构图中对应的嵌入位置；
根据每一所述局部结构图对应的嵌入位置，将每一所述局部结构图嵌入所述全局结构图，得到所述目标结构图。
在一种实施方式中，所述根据所述目标结构图，确定所述目标图像类别，包括：
将所述目标结构图输入图像分类模型，得到所述目标图像类别，其中，所述图像分类模型包括第一卷积模块、第二卷积模块、融合模块以及分类模块；
所述第一卷积模块，用于根据若干所述局部结构图进行特征提取，得到若干所述超像素块分别对应的第一特征向量，根据全部所述第一特征向量确定第一特征矩阵；
所述第二卷积模块，用于根据所述第一特征矩阵和所述全局结构图进行特征提取，得到若干所述超像素块分别对应的第二特征向量；
所述融合模块，用于将每一所述超像素块对应的所述第一特征向量和所述第二特征向量进行融合，得到每一所述超像素块对应的融合特征向量；
所述分类模块，用于根据每一所述超像素块对应的融合特征向量，生成概率分布信息，根据所述概率分布信息确定所述目标图像类别。
在一种实施方式中，所述目标结构图包括若干目标结构图，若干所述目标结构图分别对应不同的超参数，所述图像分类模型包括若干图像分类模型，若干所述图像分类模型分别对应不同的所述超参数，所述超参数用于反映单位超像素块的像素点数量，所述将所述目标结构图输入图像分类模型，得到所述目标图像类别，包括：
将若干所述目标结构图一一对应地输入若干所述图像分类模型，得到若干分类结果，其中，具有对应关系的一对所述目标结构图与所述图像分类模型对应于相同的所述超参数；
根据若干所述分类结果，确定所述目标图像类别，其中，所述目标图像类别为若干所述分类结果中得票数最多的图像类别。
第二方面，本发明实施例还提供一种基于图中图卷积网络的高光谱图像分类装置，其中，所述装置包括：
图像分割模块，用于获取目标光谱图像，将所述目标光谱图像分割成若干超像素块；
结构确定模块，用于确定若干所述超像素块分别对应的局部结构图和所述目标光谱图像对应的全局结构图；
图像分类模块，用于根据所述若干所述局部结构图和所述全局结构图，确定所述目标光谱图像对应的目标图像类别。
第三方面，本发明实施例还提供一种计算机可读存储介质，其上存储有多条指令，其中，所述指令适用于由处理器加载并执行，以实现上述任一所述的基于图中图卷积网络的高光谱图像分类方法的步骤。
本发明的有益效果：本发明实施例通过获取目标光谱图像，将所述目标光谱图像分割成若干超像素块；确定若干所述超像素块分别对应的局部结构图和所述目标光谱图像对应的全局结构图；根据所述若干所述局部结构图和所述全局结构图，确定所述目标光谱图像对应的目标图像类别。本发明通过确定每一超像素块的局部结构图保留了超像素内极优的同质信息，并将其与目标光谱图像的全局结构图一起综合判定目标光谱图像的图像类别，提高了分类的准确性。解决了现有的基于图卷积的目标光谱图像分类方法在表征超像素时，采用超像素块内的均值或最大值统计变量，严重地忽略了超像素内极优的同质信息，导致分类结果不准确的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于图中图卷积网络的高光谱图像分类方法的流程示意图。
图2是本发明实施例提供的图像分类模型的工作原理图。
图3是本发明实施例提供的集成学习算法流程图。
图4是本发明实施例提供的基于图中图卷积网络的高光谱图像分类装置的内部模块示意图。
图5是本发明实施例提供的终端的原理框图。
具体实施方式
本发明公开了一种基于图中图卷积网络的高光谱图像分类，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释
近年来，高光谱成像技术的发展显著地提高了目标光谱图像的光谱分辨率。精细的光谱分辨率有利于图像更好地表达地物的光谱特性，实现更加精确的像素级分类。随着无人机技术的成熟和高光谱卫星的部署，目标光谱图像数据的获取渠道越来越多。但是，在目标光谱图像分类领域，数据的标记要求标注人员具备一定的先验知识，费时费力。得益于硬件设施如图形处理单元(GPU)的快速发展和海量数据，深度学习技术在计算机视觉和自然语言处理领域取得了显著性的突破，在性能上大幅度地超越了传统的机器学习方法。与传统机器学习相比，深度学习无需过多的先验知识和手工设置，就能够从海量的数据和标签对之中自适应地学习它们之间的映射关系，因此深度学习技术也被引入到目标光谱图像分类领域，用以更好地提取地物的空间和光谱信息并进一步地提高分类的准确率。
深度学习方法虽然已经能够完全胜任处理图像或序列等欧式空间数据的任务，但是在非欧数据领域，例如图结构数据中却寸步难行。目前提出了许多的基于图卷积的目标光谱图像分类方法，通过图表示的方法来更好地提取像素点的邻近信息。在这类方法中，通常需要采用超像素分割方法，将目标光谱图像转换为若干个超像素块。然后，将超像素视为图节点，而其邻近关系视则为节点的边，以此构造目标光谱图像的图表示。然而现有的基于图卷积的目标光谱图像分类方法在表征超像素时，一般采用超像素块内的均值或最大值统计变量。这种方法虽然简单，但是严重地忽略了超像素内极优的同质信息，使得模型取得了次优解。
针对现有技术的上述缺陷，本发明提供一种基于图中图卷积网络的高光谱图像分类方法，所述方法包括：获取目标光谱图像，将所述目标光谱图像分割成若干超像素块；确定若干所述超像素块分别对应的局部结构图和所述目标光谱图像对应的全局结构图；根据所述若干所述局部结构图和所述全局结构图，确定所述目标光谱图像对应的目标图像类别。本发明通过确定每一超像素块的局部结构图保留了超像素内极优的同质信息，并将其与目标光谱图像的全局结构图一起综合判定目标光谱图像的图像类别，提高了分类的准确性。解决了现有的基于图卷积的目标光谱图像分类方法在表征超像素时，采用超像素块内的均值或最大值统计变量，严重地忽略了超像素内极优的同质信息，导致分类结果不准确的问题。
如图1所示，所述方法包括如下步骤：
步骤S100、获取目标光谱图像，将所述目标光谱图像分割成若干超像素块。
具体地，本实施例中的目标光谱图像可以为任意一个光谱分辨率在10λ数量级范围内的高光谱图像。为了更好地提取像素点之间的邻近信息，本实施例需要先将目标光谱图像转换为若干个超像素块。其中，超像素块是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。
在一种实现方式中，所述步骤S100，具体包括如下步骤：
步骤S101、将所述目标光谱图像输入超像素分割算法，得到若干所述超像素块，其中，每一所述超像素块对应一个同质区域。
具体地，超像素分割算法是一种简单、高效的构建超像素的方法，将目标光谱图像输入超像素分割算法中，超像素分割算法会对目标光谱图像中的所有像素点进行识别，并将具有相近空间距离和相似颜色的像素点聚类为一个超像素块。因此每一个超像素块都是一个同质区域。
在一种实现方式中，所述超像素分割算法可以为SLIC超像素分割算法，其中，SLIC超像素分割算法的工作原理如下：
假设目标光谱图像为
其中，H，W，D分别表示目标光谱图像的高度，宽度和光谱维度，且图像中的每一个像素
在经过超像素分割之后，一张目标光谱图像I就被分割为一个超像素集合B＝{B1，...，BS}。该超像素集合总共包含了s个超像素，且第s个超像素
涵盖了ns个高光谱像素点。此外，fσ(xi)＝s是一个由高光谱像素点到超像素块的映射函数。
在另一种实现方式中，所述超像素分割算法还可以是快速移位图像分割算法或者分水岭分割算法。
如图1所示，所述方法还包括如下步骤：
步骤S200、确定若干所述超像素块分别对应的局部结构图和所述目标光谱图像对应的全局结构图。
具体地，由于超像素块中极优的同质信息可以提高图像分类的准确性，因此本实施例需要确定每一超像素块中的图像结构，即保留每一超像素块对应的局部结构图。同时，为了提高目标光谱图像中特征的表征能力和判别性，本实施例还需要挖掘超像素间的图像结构，即保留目标光谱图像对应的全局结构图。通过每个超像素块的局部结构图和全局结构图可以实现精准的图像分类。
在一种实现方式中，将每一所述超像素块作为一个目标超像素块，所述局部结构图的确定过程，具体包括如下步骤：
步骤S201、将所述目标超像素块中的每一像素点作为一个第一节点，得到第一节点矩阵；
步骤S202、根据全部所述第一节点之间的邻接关系，得到第一邻接矩阵；
步骤S203、根据所述第一节点矩阵和所述第一邻接矩阵，生成所述目标超像素块对应的所述局部结构图。
具体地，本实施例中确定每一超像素块的局部结构图的操作是相同的，因此本实施例以一个超像素块为例来清楚说明如何确定局部结构图，该超像素块即为目标超像素块。首先将目标超像素块中的每个像素点均作为一个节点，其中，本实施例将像素点对应的节点定义为第一节点，由所有像素点分别对应的第一节点可以组成第一节点矩阵。然后获取所有第一节点之间的邻接关系。例如，以四邻域为例，则每个第一节点与其东、南、西、北的四个第一节点具有邻接关系；以八邻域为例，则每个第一节点与其东、南、西、北、东南、东北、西南、西北的八个第一节点具有邻接关系。并基于每一个第一节点的邻接关系生成第一邻接矩阵。由于第一节点矩阵和第一邻接矩阵可以反映目标超像素块中的节点特征以及节点之间的邻接信息，因此本实施例将第一节点矩阵和第一邻接矩阵作为目标超像素块中的同质信息，即局部结构图。
举例说明，在超像素块Bs中，以每一个像素点xs，i为节点，其四邻域(上，下，左，右)为邻居节点构造对应的局部结构图表示Gi＝{XS，εs}，其中
为图的节点矩阵，而εs＝{(xs，i，xs，j)}为图的边集。之后，在边集的基础上构造相应的邻接矩阵
在一种实现方式中，所述全局结构图的确定过程，具体包括如下步骤：
步骤S204、将每一所述超像素块作为一个第二节点，得到第二节点矩阵；
步骤S205、根据全部所述第二节点之间的邻接关系，得到第二邻接矩阵；
步骤S206、根据所述第二节点矩阵和所述第二邻接矩阵，生成所述全局结构图。
具体地，为了提取目标光谱图像的全局结构图，本实施例将每一超像素块都作为一个节点，其中，本实施例中将超像素块对应的节点定义为第二节点，由所有超像素块分别对应的第二节点可以组成第二节点矩阵。然后获取所有第二节点之间的邻接关系，例如以四邻域为例，则每个第二节点与其东、南、西、北的四个第二节点具有邻接关系；以八邻域为例，则每个第二节点与其东、南、西、北、东南、东北、西南、西北的八个第二节点具有邻接关系。并基于每一个第二节点的邻接关系生成第二邻接矩阵。由于第二节点矩阵和第二邻接矩阵可以反映目标光谱图像中的节点特征以及节点之间的邻接信息，因此本实施例将第二节点矩阵和第二邻接矩阵作为目标光谱图像的全局结构图。
举例说明，根据SLIC的分割结果图，以每个超像素Bs为节点和超像素的邻接关系为边构造全局结构图。在另一种实现方式中，还可以基于所述超像素之间的欧式距离或马氏距离等构造边集。
如图1所示，所述方法还包括如下步骤：
步骤S300、根据所述若干所述局部结构图和所述全局结构图，确定所述目标光谱图像对应的目标图像类别。
具体地，由于局部结构图保留了超像素块内极优的同质信息，全局结构图又可以反映目标光谱图像的全局信息，因此本实施例采用局部结构图和全局结构图相结合的方式来对目标光谱图像进行图像分类，可以提高特征的表征能力和判别性，进而提高了图像分类的准确度。
在一种实现方式中，所述步骤S300，具体包括如下步骤：
步骤S301、将若干所述局部结构图嵌入所述全局结构图，得到目标结构图；
步骤S302、根据所述目标结构图，确定所述目标图像类别。
具体地，为了提高特征的表征能力和判别性，本实施例将各个局部结构图嵌入到全局结构图中，以得到一个图中图结构的目标结构图。目标结构图充分地表达了地物在超像素内和超像素间的信息，因此基于目标结构图对目标光谱图像进行分类，可以得到较为准确的分类结果，即目标图像类别。
在一种实现方式中，所述步骤S301，具体包括如下步骤：
步骤S3011、根据每一所述局部结构图对应的所述超像素块，确定每一所述局部结构图在所述全局结构图中对应的嵌入位置；
步骤S3012、根据每一所述局部结构图对应的嵌入位置，将每一所述局部结构图嵌入所述全局结构图，得到所述目标结构图。
具体地，由于全局结构图是将每一超像素块作为一个节点，而每一局部结构图对应于一个超像素块，因此本实施例中将每一个超像素块对应的节点作为一个嵌入位置。然后根据局部结构图与超像素块之间的对应关系，将每一局部结构图嵌入到其对应的嵌入位置，从而得到图中图结构的目标结构图。
举例说明，全局结构图中的每个节点均嵌入了一张相应的局部结构图Gi形成了图中图结构。所以，全局结构图的节点集合为Gint＝{G1，...，GS}，而其边集为εext＝{(Gi，Gj)}，其相应的邻接矩阵为
因此，Gext＝{Gint，εext}。
在一种实现方式中，所述步骤S302，具体包括如下步骤：
步骤S3021、将所述目标结构图输入图像分类模型，得到所述目标图像类别，其中，所述图像分类模型包括第一卷积模块、第二卷积模块、融合模块以及分类模块；
步骤S3022、所述第一卷积模块，用于根据若干所述局部结构图进行特征提取，得到若干所述超像素块分别对应的第一特征向量，根据全部所述第一特征向量确定第一特征矩阵；
步骤S3023、所述第二卷积模块，用于根据所述第一特征矩阵和所述全局结构图进行特征提取，得到若干所述超像素块分别对应的第二特征向量；
步骤S3024、所述融合模块，用于将每一所述超像素块对应的所述第一特征向量和所述第二特征向量进行融合，得到每一所述超像素块对应的融合特征向量；
步骤S3025、所述分类模块，用于根据每一所述超像素块对应的融合特征向量，生成概率分布信息，根据所述概率分布信息确定所述目标图像类别。
为了对目标光谱图像进行分类，本实施例预先训练了一个图像分类模型，将目标光谱图像对应的目标结构图输入图像分类模型，图像分类模型会对目标结构图进行特征提取，并基于提取的特征对其进行分类，从而输出目标光谱图像对应的目标图像类别。其中，图像分类模型主要由第一卷积模块、第二卷积模块、融合模块以及分类模块着四个模块组成。
具体地，第一卷积模块的输入为目标结构图中的各个局部结构图的信息，在第一卷积模块内会对各个局部结构图进行特征提取，得到各个局部结构图对应的第一特征向量，其中，第一特征向量可以反映地物在超像素内的局部特征。最后基于各个第一特征向量输出用于表征各局部结构图特征的第一特征矩阵。
举例说明，如图2所示，第一卷积模块
以局部结构图的节点特征矩阵
和邻接矩阵
为输入，经过图卷积操作和均值池化输出局部结构图的表征向量
具体地，
其中，
为伴有自身连接的邻接矩阵,
为邻接矩阵的度矩阵，W为可训练参数矩阵，而K则控制节点的阶数。考虑到光谱的局部相似性，对参数矩阵W施加了L1正则项，即L1＝∑ij|Wij|。在反向传播的过程中，其导数为
L1正则项的导数值会迫使参数矩阵的元素Wij趋向于零，使得参数稀疏。参数稀疏的结果可以断开神经元层之间某些不必要的连接，让深层神经元只与某些浅层的神经元连接，达到局部感知的效果，从而让局部结构图卷积能够自适应地关注光谱的局部相关性。在另一种实现方式中，所述第一卷积模块的卷积操作可以替换为图卷积(GCN)或者图注意力(GAT)等。
具体地，第二卷积模块的输入为第一特征矩阵和全局结构图中的信息，并对基于第一特征矩阵和全局结构图中的信息输出每个超像素块对应的节点的隐藏表示，即第二特征向量，其中，第二特征向量可以反映地物在超像素间的全局特征。
举例说明，如图2所示，在经过第一卷积模块的特征提取之后，所有的局部结构图都对应了一个相应的表征向量
该表征向量蕴含了超像素内的同质信息。同时，所有的局部结构图的第一特征向量组成了全局结构图的节点特征矩阵
同样地，第二卷积模块以全局结构图的节点矩阵Xext和邻接矩阵Aext为输入，输出每个节点的隐藏表示
l表示模型的层数。与第一卷积模块不同，每一层的第二卷积模块包含了图卷积操作，激活函数relu(·)和批标准化BN(·)。具体地，
其中，
为第l层的隐藏表示，而Θl为第l层的可训练参数。当l＝0时，
在经过l层操作之后，全局结构图节点的最终表示为
在另一种实现方式中，所述第二卷积模块的卷积操作可以替换为图注意力(GAT)等。
具体地，融合模块的输入为每一所述超像素块对应的所述第一特征向量和所述第二特征向量，在融合模块内将两者融合，并输出每一超像素块对应的融合特征向量。举例说明，融合模块可以整合地物在超像素内的局部特征和在超像素间的全局特征，形成融合特征HGiG＝Hint+Hext。
具体地，分类模块的输入为融合模块输出的各个超像素块的融合特征向量，分类模块中可以设置多层感知机，多层感知机基于输入的融合特征向量可以自动计算出概率分布信息。由于概率分布信息可以反映目标光谱图像隶属于各个图像类别的概率，因此可以基于该概率分布信息输出目标光谱图像对应的目标图像类别。
举例说明，融合特征HGiG经过由多层感知机MLP(·)得到相应的概率分布向量O。在训练过程采用交叉熵损失函数来计算预测与真实标签之间的损失值，即：
其中，yi为像素点xi的真实标记。因此，模型的目标函数为：
L＝Lentropy+λL1
其中，λ为超参数调整L1正则项的权重。
在一种实现方式中，所述目标结构图包括若干目标结构图，若干所述目标结构图分别对应不同的超参数，所述图像分类模型包括若干图像分类模型，若干所述图像分类模型分别对应不同的所述超参数，所述超参数用于反映单位超像素块的像素点数量，所述将所述目标结构图输入图像分类模型，得到所述目标图像类别，具体包括如下步骤：
步骤S30211、将若干所述目标结构图一一对应地输入若干所述图像分类模型，得到若干分类结果，其中，具有对应关系的一对所述目标结构图与所述图像分类模型对应于相同的所述超参数；
步骤S30212、根据若干所述分类结果，确定所述目标图像类别，其中，所述目标图像类别为若干所述分类结果中得票数最多的图像类别。
具体地，为了适应不同规模场景的目标光谱图像，本实施例引入了超参数(每块超像素中包含的像素点个数)来间接地控制超像素分割算法中超像素个数的设置。同时为了避免超像素分割算法中超像素个数的设置对图像分类模型的性能的影响，实现可以设置多个图像分类模型，每个图像分类模型对应不同的超参数，以适应不同规模的场景。其中，每个超参数对应的目标结构图经过对应的图像分类模型，每个图像分类模型可以输出一个分类结果。这些分类结果可以采用相对多数投票法原则来确定目标光谱图像最终的目标图像类别。
举例说明，如图3所示，为了适应不同规模场景的目标光谱图像数据，引入了超参数np(每块超像素中包含的像素点个数)来间接地控制超像素分割算法中超像素个数的设置，即
同时，为了避免超像素分割算法中超像素个数的设置对模型分类性能的影响，事先设置了4个超参数np∈[50，100，150，200]对应了不同规模的场景。每个超参数np对应的图中图经过不同的GiGCN得到相应的分类结果。这四个分类结果在标签空间中采用了相对多数投票法原则来决策每个像素点最终的预测结果，提高了模型的鲁棒性。
在另一种实现方式中，还可以采用绝对多数投票法和加权投票法等确定所述目标光谱图像对应的目标图像类别。
总的来说，本发明的技术方案是一种基于图中图(Graph-in-Graph,GiG)的图卷积神经网络(Graph-in-Graph Convolutional Network，GiGCN)用于目标光谱图像分类。首先使用简单的线性迭代聚类方法(Simple Linear Iterative Clustering，SLIC)过分割目标光谱图像，形成若干个超像素块。在过分割的情境下，每一个超像素块等价于一个同质区域。这些同质区域以区域内的像素点为节点和像素的四邻域为邻接关系的方式转换为图结构表示，称为内部图。同时，以超像素为节点和超像素间的邻近关系为边构造外部图结构表示。然后，外部图的每个节点都嵌入了一张相应的内部图，形成图中图结构，充分地表达了地物在超像素内和超像素间的信息，即局部和全局信息。之后，构造了一个GiGCN网络来分层地提取图中图结构的分层信息。GiGCN由内部图卷积和外部图卷积组成，并以分层的方式逐步提取内部图和外部图的特征。在内部图卷积中，同质区域内的像素点特征沿着内部图的边进行交互；而在外部图中，属于同种地物的同质区域特征沿着外部图的边进行交互。之后，融合了地物局部和全局信息的特征送入到分类器之中以得到外部图节点(即每一张内部图)的标签，同时同质区域内的像素点均共享该标签。最后，不同超参数设定的超像素分割图的分类结果通过相对多数投票法来决定像素点最终的类别标签，以减缓超参数设置对模型分类性能的影响。
本发明的优点在于：
1、充分地挖掘了地物在超像素内和超像素间的局部和全局信息，提高特征的表征能力和判别性，同时，还采用了基于集成学习的方法来克服单一超像素个数难以分割不同规模场景目标光谱图像的不足。
2、能够以分层的方式有效地提取图中图数据结构中内部图和外部图的特征，并将其融合为一个具有较高的判别性和表征能力的融合特征，进而提高模型的分类精度。
基于上述实施例，本发明还提供了一种基于图中图卷积网络的高光谱图像分类装置，如图4所示，所述装置包括：
图像分割模块01，用于获取目标光谱图像，将所述目标光谱图像分割成若干超像素块；
结构确定模块02，用于确定若干所述超像素块分别对应的局部结构图和所述目标光谱图像对应的全局结构图；
图像分类模块03，用于根据所述若干所述局部结构图和所述全局结构图，确定所述目标光谱图像对应的目标图像类别。
基于上述实施例，本发明还提供了一种终端，其原理框图可以如图5所示。该终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏。其中，该终端的处理器用于提供计算和控制能力。该终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于图中图卷积网络的高光谱图像分类方法。该终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图5中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一种实现方式中，所述终端的存储器中存储有一个或者一个以上的程序，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行基于图中图卷积网络的高光谱图像分类方法的指令。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了一种基于图中图卷积网络的高光谱图像分类，所述方法包括：获取目标光谱图像，将所述目标光谱图像分割成若干超像素块；确定若干所述超像素块分别对应的局部结构图和所述目标光谱图像对应的全局结构图；根据所述若干所述局部结构图和所述全局结构图，确定所述目标光谱图像对应的目标图像类别。本发明通过确定每一超像素块的局部结构图保留了超像素内极优的同质信息，并将其与目标光谱图像的全局结构图一起综合判定目标光谱图像的图像类别，提高了分类的准确性。解决了现有的基于图卷积的目标光谱图像分类方法在表征超像素时，采用超像素块内的均值或最大值统计变量，严重地忽略了超像素内极优的同质信息，导致分类结果不准确的问题。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于图中图卷积网络的高光谱图像分类方法，其特征在于，所述方法包括：
获取目标光谱图像，将所述目标光谱图像分割成若干超像素块；
确定若干所述超像素块分别对应的局部结构图和所述目标光谱图像对应的全局结构图；
根据所述若干所述局部结构图和所述全局结构图，确定所述目标光谱图像对应的目标图像类别。
2.根据权利要求1所述的基于图中图卷积网络的高光谱图像分类方法，其特征在于，所述将所述目标光谱图像分割成若干超像素块，包括：
将所述目标光谱图像输入超像素分割算法，得到若干所述超像素块，其中，每一所述超像素块对应一个同质区域。
3.根据权利要求1所述的基于图中图卷积网络的高光谱图像分类方法，其特征在于，将每一所述超像素块作为一个目标超像素块，所述局部结构图的确定过程，包括：
将所述目标超像素块中的每一像素点作为一个第一节点，得到第一节点矩阵；
根据全部所述第一节点之间的邻接关系，得到第一邻接矩阵；
根据所述第一节点矩阵和所述第一邻接矩阵，生成所述目标超像素块对应的所述局部结构图。
4.根据权利要求1所述的基于图中图卷积网络的高光谱图像分类方法，其特征在于，所述全局结构图的确定过程，包括：
将每一所述超像素块作为一个第二节点，得到第二节点矩阵；
根据全部所述第二节点之间的邻接关系，得到第二邻接矩阵；
根据所述第二节点矩阵和所述第二邻接矩阵，生成所述全局结构图。
5.根据权利要求1所述的基于图中图卷积网络的高光谱图像分类方法，其特征在于，所述根据所述若干所述局部结构图和所述全局结构图，确定所述目标光谱图像对应的目标图像类别，包括：
将若干所述局部结构图嵌入所述全局结构图，得到目标结构图；
根据所述目标结构图，确定所述目标图像类别。
6.根据权利要求5所述的基于图中图卷积网络的高光谱图像分类方法，其特征在于，所述将若干所述局部结构图嵌入所述全局结构图，得到目标结构图，包括：
根据每一所述局部结构图对应的所述超像素块，确定每一所述局部结构图在所述全局结构图中对应的嵌入位置；
根据每一所述局部结构图对应的嵌入位置，将每一所述局部结构图嵌入所述全局结构图，得到所述目标结构图。
7.根据权利要求5所述的基于图中图卷积网络的高光谱图像分类方法，其特征在于，所述根据所述目标结构图，确定所述目标图像类别，包括：
将所述目标结构图输入图像分类模型，得到所述目标图像类别，其中，所述图像分类模型包括第一卷积模块、第二卷积模块、融合模块以及分类模块；
所述第一卷积模块，用于根据若干所述局部结构图进行特征提取，得到若干所述超像素块分别对应的第一特征向量，根据全部所述第一特征向量确定第一特征矩阵；
所述第二卷积模块，用于根据所述第一特征矩阵和所述全局结构图进行特征提取，得到若干所述超像素块分别对应的第二特征向量；
所述融合模块，用于将每一所述超像素块对应的所述第一特征向量和所述第二特征向量进行融合，得到每一所述超像素块对应的融合特征向量；
所述分类模块，用于根据每一所述超像素块对应的融合特征向量，生成概率分布信息，根据所述概率分布信息确定所述目标图像类别。
8.根据权利要求7所述的基于图中图卷积网络的高光谱图像分类方法，其特征在于，所述目标结构图包括若干目标结构图，若干所述目标结构图分别对应不同的超参数，所述图像分类模型包括若干图像分类模型，若干所述图像分类模型分别对应不同的所述超参数，所述超参数用于反映单位超像素块的像素点数量，所述将所述目标结构图输入图像分类模型，得到所述目标图像类别，包括：
将若干所述目标结构图一一对应地输入若干所述图像分类模型，得到若干分类结果，其中，具有对应关系的一对所述目标结构图与所述图像分类模型对应于相同的所述超参数；
根据若干所述分类结果，确定所述目标图像类别，其中，所述目标图像类别为若干所述分类结果中得票数最多的图像类别。
9.一种基于图中图卷积网络的高光谱图像分类装置，其特征在于，所述装置包括：
图像分割模块，用于获取目标光谱图像，将所述目标光谱图像分割成若干超像素块；
结构确定模块，用于确定若干所述超像素块分别对应的局部结构图和所述目标光谱图像对应的全局结构图；
图像分类模块，用于根据所述若干所述局部结构图和所述全局结构图，确定所述目标光谱图像对应的目标图像类别。
10.一种计算机可读存储介质，其上存储有多条指令，其特征在于，所述指令适用于由处理器加载并执行，以实现上述权利要求1-8任一所述的基于图中图卷积网络的高光谱图像分类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111509923.6A CN114022786A (zh) | 2021-12-10 | 2021-12-10 | 基于图中图卷积网络的高光谱图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111509923.6A CN114022786A (zh) | 2021-12-10 | 2021-12-10 | 基于图中图卷积网络的高光谱图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114022786A true CN114022786A (zh) | 2022-02-08 |
Family
ID=80068417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111509923.6A Pending CN114022786A (zh) | 2021-12-10 | 2021-12-10 | 基于图中图卷积网络的高光谱图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114022786A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114860246A (zh) * | 2022-03-29 | 2022-08-05 | 湖北大学 | 一种图中图卷积神经网络的软件系统中类交互关系预测方法 |
| CN118053051A (zh) * | 2024-04-16 | 2024-05-17 | 南京信息工程大学 | 基于超像素自注意力机制的高光谱遥感图像分类方法 |
| CN118212438A (zh) * | 2024-05-17 | 2024-06-18 | 中国人民解放军火箭军工程大学 | 一种高光谱图像聚类方法、设备及产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106997597A (zh) * | 2017-03-22 | 2017-08-01 | 南京大学 | 一种基于有监督显著性检测的目标跟踪方法 |
| US20170372162A1 (en) * | 2016-06-24 | 2017-12-28 | Ebay | Automated saliency map estimation |
| CN112329818A (zh) * | 2020-10-20 | 2021-02-05 | 南京信息工程大学 | 基于图卷积网络嵌入表征的高光谱图像非监督分类方法 |
| CN112347970A (zh) * | 2020-11-18 | 2021-02-09 | 江苏海洋大学 | 一种基于图卷积神经网络的遥感影像地物识别方法 |
-
2021
- 2021-12-10 CN CN202111509923.6A patent/CN114022786A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170372162A1 (en) * | 2016-06-24 | 2017-12-28 | Ebay | Automated saliency map estimation |
| CN106997597A (zh) * | 2017-03-22 | 2017-08-01 | 南京大学 | 一种基于有监督显著性检测的目标跟踪方法 |
| CN112329818A (zh) * | 2020-10-20 | 2021-02-05 | 南京信息工程大学 | 基于图卷积网络嵌入表征的高光谱图像非监督分类方法 |
| CN112347970A (zh) * | 2020-11-18 | 2021-02-09 | 江苏海洋大学 | 一种基于图卷积神经网络的遥感影像地物识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| PAN YANG等: "Hyperspectral Image Classification With Spectral and Spatial Graph Using Inductive Representation Learning Network", IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING, 8 December 2020 (2020-12-08) * |
| 周静;杨凡;史凌;郑忠龙;: "基于协同表征的二部图矿石图像分割", 计算机工程, no. 10, 15 October 2016 (2016-10-15) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114860246A (zh) * | 2022-03-29 | 2022-08-05 | 湖北大学 | 一种图中图卷积神经网络的软件系统中类交互关系预测方法 |
| CN118053051A (zh) * | 2024-04-16 | 2024-05-17 | 南京信息工程大学 | 基于超像素自注意力机制的高光谱遥感图像分类方法 |
| CN118212438A (zh) * | 2024-05-17 | 2024-06-18 | 中国人民解放军火箭军工程大学 | 一种高光谱图像聚类方法、设备及产品 |
| CN118212438B (zh) * | 2024-05-17 | 2024-08-13 | 中国人民解放军火箭军工程大学 | 一种高光谱图像聚类方法、设备及产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107092870B (zh) | 一种高分辨率影像语义信息提取方法 | |
| CN109886066B (zh) | 基于多尺度和多层特征融合的快速目标检测方法 | |
| CN114022786A (zh) | 基于图中图卷积网络的高光谱图像分类方法 | |
| Tong et al. | Salient object detection via bootstrap learning | |
| CN108830326B (zh) | 一种mri图像的自动分割方法及装置 | |
| WO2024021413A1 (zh) | 一种结合超像素和多尺度分层特征识别的图像分割方法 | |
| CN113313164B (zh) | 一种基于超像素分割与图卷积的数字病理图像分类方法及系统 | |
| Chen et al. | Hyperspectral remote sensing image classification based on dense residual three-dimensional convolutional neural network | |
| CN111986125A (zh) | 一种用于多目标任务实例分割的方法 | |
| CN107491734A (zh) | 基于多核融合与空间Wishart LapSVM的半监督极化SAR图像分类方法 | |
| CN109829507B (zh) | 航拍高压输电线路环境检测方法 | |
| Jing et al. | Object-based change detection for VHR remote sensing images based on a Trisiamese-LSTM | |
| CN113177592B (zh) | 一种图像分割方法、装置、计算机设备及存储介质 | |
| CN112906813A (zh) | 一种基于密度聚类和胶囊神经网络的浮选工况识别方法 | |
| CN112561926A (zh) | 三维图像分割方法、系统、存储介质及电子设备 | |
| CN111079807B (zh) | 一种地物分类方法及装置 | |
| CN114332457A (zh) | 图像实例分割模型训练、图像实例分割方法和装置 | |
| Jia et al. | Saliency detection via a unified generative and discriminative model | |
| Song et al. | Small UAV-based multi-temporal change detection for monitoring cultivated land cover changes in mountainous terrain | |
| CN115439493A (zh) | 一种乳腺组织切片癌变区域分割方法及装置 | |
| Li et al. | AEMS: an attention enhancement network of modules stacking for lowlight image enhancement | |
| Wu et al. | Improved mask R-CNN-based cloud masking method for remote sensing images | |
| CN107292268A (zh) | 快速脊波反卷积结构学习模型的sar图像语义分割方法 | |
| CN116933141B (zh) | 一种基于多核图学习的多光谱激光雷达点云分类方法 | |
| CN114463173A (zh) | 一种基于超像素分割的高光谱遥感图像子图重构方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |