CN116385841A - 一种基于知识图谱的多模态地物目标识别方法 - Google Patents
一种基于知识图谱的多模态地物目标识别方法 Download PDFInfo
- Publication number
- CN116385841A CN116385841A CN202310181739.6A CN202310181739A CN116385841A CN 116385841 A CN116385841 A CN 116385841A CN 202310181739 A CN202310181739 A CN 202310181739A CN 116385841 A CN116385841 A CN 116385841A
- Authority
- CN
- China
- Prior art keywords
- graph
- knowledge
- attention
- ground object
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 13
- 230000003595 spectral effect Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 claims description 3
- 230000000452 restraining effect Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 6
- 230000004931 aggregating effect Effects 0.000 abstract 1
- 230000007246 mechanism Effects 0.000 abstract 1
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000006978 adaptation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/58—Extraction of image or video features relating to hyperspectral data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于知识图谱的多模态地物目标识别方法。首先对两模态数据进行预处理,去除数据冗余;然后利用超像素构建图结构,以实体节点为顶点,聚合周围节点信息;接着通过图拓扑约束将两模态数据对齐统一;再利用自注意力和互注意力机制融合两模态数据;同时利用目标关系构建领域知识图谱,获取目标实体间语义关系。最后通过知识图谱对融合数据识别结果辅助识别,实现对目标分类任务,本发明提供的基于知识图谱的多模态地物目标识别方法,能够在深度学习框架下克服多源信息不平衡难题,完成多模态地物目标识别。
Description
技术领域
本发明涉及多模态识别技术领域,主要涉及一种基于知识图谱的多模态地物目标识别方法。
背景技术
目前,随着人工智能的飞速发展,越来越多的方法可以用于地物目标识别。从早期的传统机器学习方法到计算机算力提升后逐渐强大的深度学习方法再到如今能够从多个单一模态中提取并融合特征的多模态方法,都推动着地物目标识别领域的进步和不断发展。深度学习方法在数据分析上所取得成效,各种深度学习模型由简单变得复杂,不断地衍生了各种各样的模型来对包含更多抽象信息的数据进行识别。因此也促使许多研究者利用深度学习方法对遥感图像进行地物目标识别。
然而,深度学习地物目标识别算法对训练数据量需求很大,搜集标注数据和从头开始训练地物目标识别模型是非常费力的。同时,为确保模型能够进行高效的学习,这一过程中需要不断调整模型的结构与参数,消耗大量时间。目前为止,很多的遥感图像识别任务中,主要是集中在单模态分类上,只考虑到单一模态图像中提取特征获得的结果,却忽略了能存在多种地物目标的情况。然而在包含多种模态的图像数据信息量大,存在多源信息不平衡和冗余干扰,将导致分类计算过程中的复杂度直线上升。为了减少计算过程的复杂度,需要考虑标签之间的语义关联来减少信息量的计算。知识图谱提供了一种高效的数据组织与管理模式,借助多模态知识图谱的节点关联特性对多模态遥感图像多分类任务有着重大的理论意义。
发明内容
发明目的:本文针对上述问题,通过对多模态数据综合分析,提出一种基于知识图谱的多模态地物目标识别方法,并应用于高光谱和多光谱融合的分类网络。
技术方案:为实现上述目的,本发明采用的技术方案为:
一种基于知识图谱的多模态地物目标识别方法,包括以下步骤:
步骤S1、通过PCA降维保留高光谱数据中的显著性特征,去除噪声和干扰特征,同时降低信息冗余,减小计算量。
步骤S2、分别对高光谱和多光谱数据构造具有标记和未标记样本的空间图,通过图卷积运算获得非线性谱空间特征。
步骤S3、通过图拓扑对齐高光谱和多光谱节点信息,约束高光谱图像。
步骤S4、利用自注意力和互注意力融合HSI和MSI的特征向量,获得富含两模态信息的融合特征。
步骤S5、构建目标实体知识图谱,利用知识图谱信息辅助目标识别,实现多模态分类任务。
进一步的,步骤S1中通过PCA降维保留高光谱数据中的显著性特征方法具体包括:
将X进行零均值化,接着求出协方差矩阵:
将C的特征向量按对应特征值大小从上到下按行排列成矩阵,取前k行组成矩阵P,最后将特征向量组成矩阵P与高光谱矩阵X相乘得到降维到k维后的高光谱数据:
Y=PX
进一步的,步骤S2中图卷积运算获得非线性谱空间特征具体包括:
图可以定义为G=(V,b),其中V是一系列节点{v1,v2,…,vM},b表示边集。每个节点vi表示一个N维谱特征向量。整个特征矩阵由M个特征向量组成,X=[x1,x2,...,xM]T。稀疏对称邻接矩阵,由/>表示,体现每对节点之间的连接关系。W是第l层中滤波器矩阵。因此,整个图结构所有节点的卷积运算可以表示如下:
进一步的,步骤S3中图拓扑对齐方法具体包括:
图拓扑对齐是对不同图结构内部边的约束。具体而言,计算每个图中节点对之间的距离,比较这些距离与对应图中的距离的差异,称之为GWD距离,通过最小化这种差异进行约束,实现图拓扑对齐。
在GWD设置中,对应边可以被视为对偶图中的两个节点,其中边投影到节点中。学习矩阵现在成为一种运输计划,有助于对齐不同图形中的边。
进一步的,步骤S4中自注意力和互注意力融合方法具体包括:
利用自注意力和互注意力融合特征张量。直观地说,高光谱和多光谱并不总是同等重要,它们的贡献应该相应地加权。通过扩展中的注意力块自适应地融合高光谱和多光谱特征。当自注意在单个支路内施加注意力时,互注意在对应支路的引导下进一步施加注意力。两个支路交叉注意力输出的特征向量被重新塑造回特征张量,并连接形成融合特征。
进一步的,步骤S5中知识图谱信息辅助目标识别方法具体包括:
以关联关系作为边、标签类别作为实体来组建知识图谱,并以三元组的形式存储起来。以(E1,R,E2)的形式来代表一条事实,描述了E1、E2两个实体标签之间的关联。
在目标类型关联知识图谱中,每个目标实体均用语义树进行存储,因此采用了欧式距离和余弦距离两种相似度来计算实体节点之间的关联值。通过记录目标实体之间的关系,模拟人脑对关联目标的分析,利用已存在的基础知识推理可能存在的目标实体。
有益效果:
本发明提供的基于知识图谱的多模态地物目标识别方法,能够在深度学习框架下克服多源信息不平衡难题,完成多模态地物目标识别。
附图说明
图1是本发明提供的基于知识图谱的多模态地物目标识别方法原理框图。
具体实施方式
下面结合附图对本发明作更进一步的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供的基于知识图谱的多模态地物目标识别方法,具体原理如图1所示。首先通过PCA降维保留高光谱数据中的显著性特征,去除噪声和干扰特征,同时降低信息冗余,减小计算量。然后分别对高光谱和多光谱数据构造具有标记和未标记样本的空间图,通过图卷积运算获得非线性谱空间特征。再通过图拓扑对齐高光谱和多光谱节点信息,约束高光谱图像。然后利用自注意力和互注意力融合HSI和MSI的特征向量,获得富含两模态信息的融合特征。最后构建目标实体知识图谱,利用知识图谱信息辅助目标识别,实现多模态分类任务。
将X进行零均值化,接着求出协方差矩阵:
将C的特征向量按对应特征值大小从上到下按行排列成矩阵,取前k行组成矩阵P,最后将特征向量组成矩阵P与高光谱矩阵X相乘得到降维到k维后的高光谱数据:
Y=PX
图可以定义为G=(V,b),其中V是一系列节点{v1,v2,…,vM},b表示边集。每个节点vi表示一个N维谱特征向量。整个特征矩阵由M个特征向量组成,X=[x1,x2,...,xM]T。稀疏对称邻接矩阵,由/>表示,体现每对节点之间的连接关系。W是第l层中滤波器矩阵。因此,整个图结构所有节点的卷积运算可以表示如下:
图拓扑对齐是对不同图结构内部边的约束。具体而言,计算每个图中节点对之间的距离,比较这些距离与对应图中的距离的差异,称之为GWD距离,通过最小化这种差异进行约束,实现图拓扑对齐。
利用自注意力和互注意力融合特征张量。直观地说,高光谱和多光谱并不总是同等重要,它们的贡献应该相应地加权。通过扩展中的注意力块自适应地融合高光谱和多光谱特征。当自注意在单个支路内施加注意力时,互注意在对应支路的引导下进一步施加注意力。两个支路交叉注意力输出的特征向量被重新塑造回特征张量,并连接形成融合特征。
以关联关系作为边、标签类别作为实体来组建知识图谱,并以三元组的形式存储起来。以(E1,R,E2)的形式来代表一条事实,描述了E1、E2两个实体标签之间的关联。
在目标类型关联知识图谱中,每个目标实体均用语义树进行存储,因此采用了欧式距离和余弦距离两种相似度来计算实体节点之间的关联值。通过记录目标实体之间的关系,模拟人脑对关联目标的分析,利用已存在的基础知识推理可能存在的目标实体。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种基于知识图谱的多模态地物目标识别方法,其特征在于,包括以下步骤:
步骤S1、通过PCA降维保留高光谱数据中的显著性特征,去除噪声和干扰特征,同时降低信息冗余,减小计算量;
步骤S2、分别对高光谱和多光谱数据构造具有标记和未标记样本的空间图,通过图卷积运算获得非线性谱空间特征;
步骤S3、通过图拓扑对齐高光谱和多光谱节点信息,约束高光谱图像;
步骤S4、利用自注意力和互注意力融合HSI和MSI的特征向量,获得富含两模态信息的融合特征;
步骤S5、构建目标实体知识图谱,利用知识图谱信息辅助目标识别,实现多模态分类任务。
4.根据权利要求1所述的一种基于知识图谱的多模态地物目标识别方法,其特征在于,步骤S3中图拓扑对齐的方法包括:
图拓扑对齐是对不同图结构内部边的约束,具体而言,计算每个图中节点对之间的距离,比较这些距离与对应图中的距离的差异,称之为GWD距离,通过最小化这种差异进行约束,实现图拓扑对齐。
5.根据权利要求1所述的一种基于知识图谱的多模态地物目标识别方法,其特征在于,步骤S4中自注意力和互注意力融合HSI和MSI的特征向量的方法为:
通过扩展中的注意力块自适应地融合高光谱和多光谱特征,当自注意在单个支路内施加注意力时,互注意在对应支路的引导下进一步施加注意力,两个支路交叉注意力输出的特征向量被重新塑造回特征张量,并连接形成融合特征。
6.根据权利要求1所述的一种基于知识图谱的多模态地物目标识别方法,其特征在于,步骤S5中知识图谱信息辅助目标识别的方法包括:
以关联关系作为边、标签类别作为实体来组建知识图谱,并以三元组的形式存储起来;以(E1,R,E2)的形式来代表一条事实,描述了E1、E2两个实体标签之间的关联;
在目标类型关联知识图谱中,每个目标实体均用语义树进行存储,因此采用欧式距离和余弦距离两种相似度来计算实体节点之间的关联值,通过记录目标实体之间的关系,模拟人脑对关联目标的分析,利用已存在的基础知识推理可能存在的目标实体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310181739.6A CN116385841B (zh) | 2023-02-28 | 2023-02-28 | 一种基于知识图谱的多模态地物目标识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310181739.6A CN116385841B (zh) | 2023-02-28 | 2023-02-28 | 一种基于知识图谱的多模态地物目标识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116385841A true CN116385841A (zh) | 2023-07-04 |
CN116385841B CN116385841B (zh) | 2023-11-21 |
Family
ID=86975895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310181739.6A Active CN116385841B (zh) | 2023-02-28 | 2023-02-28 | 一种基于知识图谱的多模态地物目标识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116385841B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117422932A (zh) * | 2023-11-17 | 2024-01-19 | 中国矿业大学 | 一种基于多模态强化图注意力网络的高光谱图像分类方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112200317A (zh) * | 2020-09-28 | 2021-01-08 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 多模态知识图谱构建方法 |
CN112818966A (zh) * | 2021-04-16 | 2021-05-18 | 武汉光谷信息技术股份有限公司 | 多模态遥感影像数据检测方法及系统 |
CN113486190A (zh) * | 2021-06-21 | 2021-10-08 | 北京邮电大学 | 一种融合实体图像信息和实体类别信息的多模态知识表示方法 |
CN113780097A (zh) * | 2021-08-17 | 2021-12-10 | 北京数慧时空信息技术有限公司 | 基于知识图谱和深度学习的耕地提取方法 |
CN114219963A (zh) * | 2021-12-31 | 2022-03-22 | 武汉大学 | 地学知识引导的多尺度胶囊网络遥感地物分类方法及系统 |
CN115001983A (zh) * | 2022-06-28 | 2022-09-02 | 杭州师范大学 | 基于高阶聚类系数的网络结构差异性评估方法 |
CN115203241A (zh) * | 2022-05-10 | 2022-10-18 | 北京市遥感信息研究所 | 一种天空地多源异构数据的管理方法 |
CN115330650A (zh) * | 2022-08-12 | 2022-11-11 | 西安电子科技大学 | 一种基于知识图谱的多源异构遥感图像融合方法 |
CN115456923A (zh) * | 2022-09-14 | 2022-12-09 | 湖南大学 | 基于高光谱和多光谱图像融合生成高光谱图像的方法及系统 |
-
2023
- 2023-02-28 CN CN202310181739.6A patent/CN116385841B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112200317A (zh) * | 2020-09-28 | 2021-01-08 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 多模态知识图谱构建方法 |
CN112818966A (zh) * | 2021-04-16 | 2021-05-18 | 武汉光谷信息技术股份有限公司 | 多模态遥感影像数据检测方法及系统 |
CN113486190A (zh) * | 2021-06-21 | 2021-10-08 | 北京邮电大学 | 一种融合实体图像信息和实体类别信息的多模态知识表示方法 |
CN113780097A (zh) * | 2021-08-17 | 2021-12-10 | 北京数慧时空信息技术有限公司 | 基于知识图谱和深度学习的耕地提取方法 |
CN114219963A (zh) * | 2021-12-31 | 2022-03-22 | 武汉大学 | 地学知识引导的多尺度胶囊网络遥感地物分类方法及系统 |
CN115203241A (zh) * | 2022-05-10 | 2022-10-18 | 北京市遥感信息研究所 | 一种天空地多源异构数据的管理方法 |
CN115001983A (zh) * | 2022-06-28 | 2022-09-02 | 杭州师范大学 | 基于高阶聚类系数的网络结构差异性评估方法 |
CN115330650A (zh) * | 2022-08-12 | 2022-11-11 | 西安电子科技大学 | 一种基于知识图谱的多源异构遥感图像融合方法 |
CN115456923A (zh) * | 2022-09-14 | 2022-12-09 | 湖南大学 | 基于高光谱和多光谱图像融合生成高光谱图像的方法及系统 |
Non-Patent Citations (2)
Title |
---|
DONGHAN YU: "Knowledge embedding based graph convolutional network", 《ASSPCIATION FOR COMPUTING MACHINERY》 * |
刘帅,张旭含,李笑迎: "基于双分支卷积网络的高光谱与多光谱图像协同土地分类", 《农业工程学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117422932A (zh) * | 2023-11-17 | 2024-01-19 | 中国矿业大学 | 一种基于多模态强化图注意力网络的高光谱图像分类方法 |
CN117422932B (zh) * | 2023-11-17 | 2024-05-28 | 中国矿业大学 | 一种基于多模态强化图注意力网络的高光谱图像分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116385841B (zh) | 2023-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | CNN-enhanced graph convolutional network with pixel-and superpixel-level feature fusion for hyperspectral image classification | |
Huang et al. | Part-level graph convolutional network for skeleton-based action recognition | |
CN109165306B (zh) | 基于多任务哈希学习的图像检索方法 | |
Costea et al. | Creating roadmaps in aerial images with generative adversarial networks and smoothing-based optimization | |
Xu et al. | Augmenting strong supervision using web data for fine-grained categorization | |
Cevikalp et al. | Semi-supervised dimensionality reduction using pairwise equivalence constraints | |
Michel et al. | Scale invariant and deformation tolerant partial shape matching | |
Chen et al. | Recursive context routing for object detection | |
Luo et al. | Cross-spatiotemporal land-cover classification from VHR remote sensing images with deep learning based domain adaptation | |
CN116385841B (zh) | 一种基于知识图谱的多模态地物目标识别方法 | |
CN117033609B (zh) | 文本视觉问答方法、装置、计算机设备和存储介质 | |
CN112364747B (zh) | 一种有限样本下的目标检测方法 | |
CN114529832A (zh) | 一种预设遥感图像重叠阴影分割模型训练方法及装置 | |
CN116386148B (zh) | 基于知识图谱引导的小样本动作识别方法及系统 | |
CN103336974B (zh) | 一种基于局部约束稀疏表征的花卉类别辨识方法 | |
Merciol et al. | Efficient and large-scale land cover classification using multiscale image analysis | |
Treboux et al. | Towards retraining of machine learning algorithms: an efficiency analysis applied to smart agriculture | |
CN116049434A (zh) | 电力施工安全知识图谱的构建方法、装置及电子设备 | |
CN113392786B (zh) | 基于归一化和特征增强的跨域行人重识别方法 | |
CN115641449A (zh) | 一种用于机器人视觉的目标跟踪方法 | |
Huang et al. | Modeling multiple aesthetic views for series photo selection | |
Wang et al. | Cross-layer progressive attention bilinear fusion method for fine-grained visual classification | |
Li et al. | Image Classification Algorithm Based on Proposal Region Clustering Learning-Unsupervised Deep Learning | |
Li et al. | CoCALC: a self-supervised visual place recognition approach combining appearance and geometric information | |
CN112445939A (zh) | 一种社交网络群体发现系统、方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |