CN115424040B - 一种基于改进自我注意力机制和张量rx的高光谱图像异常目标检测方法 - Google Patents
一种基于改进自我注意力机制和张量rx的高光谱图像异常目标检测方法 Download PDFInfo
- Publication number
- CN115424040B CN115424040B CN202210923508.3A CN202210923508A CN115424040B CN 115424040 B CN115424040 B CN 115424040B CN 202210923508 A CN202210923508 A CN 202210923508A CN 115424040 B CN115424040 B CN 115424040B
- Authority
- CN
- China
- Prior art keywords
- tensor
- hyperspectral image
- attention mechanism
- improved self
- abnormal target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/58—Extraction of image or video features relating to hyperspectral data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供的是一种基于改进自我注意力机制和张量RX的高光谱异常检测方法。(1)利用改进自我注意力机制对高光谱图像进行变换;(2)对经过改进自我注意力机制变换的高光谱图像采用张量RX进行异常目标检测。本发明利用深度置信网络(DBN)对高光谱图像进行重建,增大了异常目标点和背景之间的差距;利用改进自我注意力机制,更好地突出了测试点像素,以及其和周围像素点之间的关系;利用张量RX,更加突出了测试点的空间特性,同时考虑了光谱特性和空间特性,改善了检测效果。
Description
技术领域
本发明涉及的是一种高光谱图像目标检测方法,具体涉及一种基于改进自我注意力机制和张量RX的高光谱图像异常目标检测方法。
背景技术
高光谱图像具有数百个光谱维和丰富的光谱信息,该特征使其应用在分类、光谱解混和目标检测等领域。在这些应用中,高光谱图像异常目标检测因为在民用和军事中的重要性而得到了更为广泛的关注。近些年,出现了较多的高光谱图像异常目标检测的方法。RX检测方法是最为经典的,其认为像素符合高斯分布,异常目标由测试点和背景之间的马氏距离决定。全局RX和局部RX是两种RX检测器的版本,两者都估计背景统计(即平均值和协方差矩阵)。在GRX中,整个图像用于背景统计。在LRX中,滑动双窗口用于获取局部背景统计信息。对于GRX或LRX,检测性能取决于协方差矩阵的估计,计算复杂度通常很高。为了克服这个问题,出现了通过随机投影基于降维的RX,随机投影域中,马氏距离也可以有效地用于计算异常目标检测结果,该结果与原始域中的结果相似。在GRX和LRX中,检测结果基于测试点矢量计算;然而异常目标通常是多像素对象,仅使用测试点矢量可能会降低检测精度。基于广义似然比设计准则,提出了一阶广义似然比和二阶广义似然比两种自适应的异常目标检测器。在没有先验知识和存在高斯噪声的情况下,这两个检测器可以检测多像素异常目标。此外,高光谱数据可以被视为三维张量。测试点向量及其邻域向量可以形成以测试点为中心的测试张量块。基于张量的方法同时考虑了高光谱图像的空间和频谱特性,这可以降低虚警率。基于张量的自适应子空间检测器(TBASD)是背景联合稀疏表示(BJSR)的张量版本,它在不破坏空间-光谱结构的情况下探索空间-光谱特征。然而,基于张量的方法的计算复杂度比较高。随着深度学习理论的最新进展,出现了较多的基于深度学习特征提取的高光谱图像处理算法,在异常目标检测领域有基于栈式自动编码器的自适应子空间模型(SAEASM),基于变换的卷积神经网络检测(CNND)和一种基于联合深度置信网络的方法(JDBN)等。
上述异常目标检测算法主要在原始光谱域中进行,基于变换域的方法通常可以更好地抑制噪声进而突出异常目标,基于变换域的方法构成了另一个研究方向。s核RX(KRX)是一种经典的变换域方法,它将低维原始数据空间中的线性非高斯模型扩展到高维特征空间中的非线性高斯域。此外,基于分数傅立叶熵(FrFE)的RX(FrFE-RX)算法处理分数傅立叶域(FrFD)中的信号。近些年,注意力机制,尤其是自我注意力,在视觉任务的深度特征表征中发挥着越来越重要的作用,也在高光谱图像处理中得到了广泛的关注。对于基于注意力的方法,如变换的双向编码器表示(BERTSI),它们以相等的权力处理所有关系,而不突出显示测试点像素及其子像素之间的关系。尽管测试点像素周围的像素提供了作为空间的判别信息,测试点像素应该比周围像素更为重要。
发明内容
本发明的目的在于提供一种能够更有效地进行高光谱图像异常目标检测的基于改进自我注意力机制和张量RX的高光谱图像异常目标检测方法。
本发明的目的是这样实现的:
首先,高光谱图像中的测试张量经过改进自我注意力机制变换;
步骤1:高光谱图像中的每个测试张量3Γx∈Rw×w×D转换为像素二维矩阵Y∈RM×D(M=w×w),其中,w为窗口尺寸,D为光谱波段数;随后,利用深度置信网络(DBN)对Y进行重建;重建矩阵Yd∈RM×D(M=w×w)变换为张量3Γd∈Rw×w×D。
步骤2:3Γd中的中心张量3Γcd∈R1×1×D作为卷积核与3Γd按照公式(1)进行卷积,其结果张量3Γr∈Rw×w×1变换为权重矩阵Z∈Rw×w,bT是偏差参数。
步骤3:3Γx作为值张量和Z进行点乘,得到3Γz∈Rw×w×D;3Γz的中心张量3Γcz∈R1 ×1×D和Z的中心点xz∈R1×1进行点除,得到张量3Γcy∈R1×1×D。
步骤4:3Γcy作为卷积核与3Γcx按照公式(2)进行卷积,得到3Γy,进而获得经过改进自我注意力机制变换的高光谱图像。
随后,在经过改进自我注意力机制变换的高光谱图像上按照公式(3)采用张量RX进行异常目标检测即可获取最后的检测结果,其中,X∈Rm×D(m=w×w)是对应3Γy的二阶矩阵,B∈Rn×D(n=wb×wb)(wb对应背景张量窗口尺寸)是对应背景张量的二阶矩阵,ξx是异常目标检测的阈值。
本发明的优点在于:
1、利用深度置信网络(DBN)对高光谱图像进行重建,增大了异常目标点和背景之间的差距;
2、利用改进自我注意力机制,更好地突出了测试点像素,以及其和周围像素点之间的关系;
3、利用张量RX,更加突出了测试点的空间特性,同时考虑了光谱特性和空间特性,改善了检测效果。
附图说明
图1为采用改进自我注意力机制和张量RX的高光谱图像异常目标检测方法的流程图;
图2为改进自我注意力机制的算法流程图;
图3为数据L及8种检测方法的检测结果二值图,其中图3(a)为数据L的第100波段图,图3(b)为数据L的真实地物分布示意图,图3(c)为全局RX(GRX)检测结果二值图,图3(d)为局部RX(LRX)检测结果二值图,图3(e)为核RX(KRX)检测结果二值图,图3(f)为分数傅里叶熵RX(FrFE-RX)检测结果二值图,图3(g)为分数傅里叶熵局部RX(FrFE-LRX)检测结果二值图,图3(h)为基于主成分分析降维的张量RX(PCA-TRX)检测结果二值图,图3(i)为基于分数傅里叶熵的张量RX(FrFT-TRX)检测结果二值图,图3(j)为基于改进自我注意力机制的张量RX(ISA-TRX)检测结果二值图;
图4为数据L的8种检测方法的ROC曲线;
图5为数据L的8种检测方法的AUC值;
图6为数据L的8种检测方法的可分性图;
图7为数据P及8种检测方法的检测结果二值图,其中图7(a)为数据L的第100波段图,图7(b)为数据L的真实地物分布示意图,图7(c)为全局RX(GRX)检测结果二值图,图7(d)为局部RX(LRX)检测结果二值图,图7(e)为核RX(KRX)检测结果二值图,图7(f)为分数傅里叶熵RX(FrFE-RX)检测结果二值图,图7(g)为分数傅里叶熵局部RX(FrFE-LRX)检测结果二值图,图7(h)为基于主成分分析降维的张量RX(PCA-TRX)检测结果二值图,图7(i)为基于分数傅里叶熵的张量RX(FrFT-TRX)检测结果二值图,图7(j)为基于改进自我注意力机制的张量RX(ISA-TRX)检测结果二值图;
图8为数据L的8种检测方法的ROC曲线;
图9为数据L的8种检测方法的AUC值;
图10为数据L的8种检测方法的可分性图。
具体实施方式
下面结合附图举例对本发明做更详细地描述,举例分别采用真实高光谱图像数据L和数据P:
参照图1,是采用改进自我注意力机制和张量RX的高光谱图像异常目标检测方法的流程图,该方法分为两个部分,第一部分为改进自我注意力机制变换,第二部分为张量RX检测,其中,改进自我注意力机制变换中的测试张量窗口尺寸和张量RX中的内外窗口尺寸的选择对本方法的检测结果会产生影响。
参照图2,改进自我注意力机制的算法流程图,其中,高光谱图像中的每个测试张量3Γx∈Rw×w×D转换为像素二维矩阵Y∈RM×D(M=w×w),其中,w为窗口尺寸,D为光谱波段数;随后,利用深度置信网络(DBN)对Y进行重建,符号表示DBN重建;重建矩阵Yd∈RM×D(M=w×w)变换为张量3Γd∈Rw×w×D;接下来,3Γd中的中心张量3Γcd∈R1×1×D作为卷积核与3Γd进行卷积,符号表示卷积,其卷积结果张量3Γr∈Rw×w×1变换为权重矩阵Z∈Rw×w;3Γx作为值张量和Z进行点乘,符号表示点乘,得到3Γz∈Rw×w×D;3Γz的中心张量3Γcz∈R1×1×D和Z的中心点xz∈R1×1进行点除,符号表示点除,得到张量3Γcy∈R1×1×D;最后3Γcy作为卷积核与3Γcx进行卷积,得到3Γy,进而获得经过改进自我注意力机制变换的高光谱图像。
参照图3,是数据L及8种检测方法的检测结果二值图。数据L是由AVIRIS传感器获得的洛杉矶机场数据,空间分辨率7.1m,空间尺寸为100×100个像素点和205个波段。图3(a)为数据L的第100波段图;图3(b)为数据L的真实地物分布示意图;图3(c)为全局RX(GRX)检测结果二值图;图3(d)为局部RX(LRX)检测结果二值图,内外窗口尺寸为7×7和9×9;图3(e)为核RX(KRX)检测结果二值图,核参数为10-5,内外窗口尺寸为5×5和9×9;图3(f)为分数傅里叶熵RX(FrFE-RX)检测结果二值图,分数阶为0.2;图3(g)为分数傅里叶熵局部RX(FrFE-LRX)检测结果二值图,分数阶为0.2,内外窗口尺寸为7×7和9×9;图3(h)为基于主成分分析降维的张量RX(PCA-TRX)检测结果二值图,降维后维数为10,内外窗口尺寸为7×7和9×9;图3(i)为基于分数傅里叶熵的张量RX(FrFT-TRX)检测结果二值图,分数阶为1,内外窗口尺寸为7×7和9×9;图3(j)为基于改进自我注意力机制的张量RX(ISA-TRX)检测结果二值图,改进自我注意力机制中测试张量窗口尺寸为5×5,张量RX的双窗尺寸为3×3和41×41。由参照图3可见,所提出的ISA-TRX方法的检测结果二值图清晰度高于7种对比方法。
参照图4数据L的8种检测方法的ROC曲线,参照图5是对应的AUC值,由参照图4和参照图5可见,所提出的ISA-TRX方法的ROC曲线和对应的AUC值均优于7种对比方法。
参照图6,是数据L的8种检测方法的可分性图,由参照图6可见,所提出的ISA-TRX方法的背景和异常目标的间隔大于7种对比算法,其背景压缩能力在可以接受的范围,所以所提出的ISA-TRX方法的可分性总体上优于7种对比算法。
由图3、4、5和6可见,针对数据L,本发明的ISA-TRX方法检测效果优于GRX、LRX、KRX、FrFE-RX、FrFE-LRX、PCA-TRX和FrFT-TRX这7种对比算法。
进一步采用数据P验证本发明的优越性。参照图7是数据P及8种检测方法的检测结果二值图。数据P是由ROSIS-03传感器获得的帕维亚数据,空间分辨率1.3m,空间尺寸为150×150个像素点和102个波段。图7(a)为数据P的第100波段图;图7(b)为数据P的真实地物分布示意图;图7(c)为全局RX(GRX)检测结果二值图;图7(d)为局部RX(LRX)检测结果二值图,内外窗口尺寸为25×25和81×81;图7(e)为核RX(KRX)检测结果二值图,核参数为10-1,内外窗口尺寸为25×25和29×29;图7(f)为分数傅里叶熵RX(FrFE-RX)检测结果二值图,分数阶为1;图7(g)为分数傅里叶熵局部RX(FrFE-LRX)检测结果二值图,分数阶为1,内外窗口尺寸为25×25和77×77;图7(h)为基于主成分分析降维的张量RX(PCA-TRX)检测结果二值图,降维后维数为20,内外窗口尺寸为3×3和37×37;图7(i)为基于分数傅里叶熵的张量RX(FrFT-TRX)检测结果二值图,分数阶为1,内外窗口尺寸为3×3和37×37;图7(j)为基于改进自我注意力机制的张量RX(ISA-TRX)检测结果二值图,改进自我注意力机制中测试张量窗口尺寸为5×5,张量RX的双窗尺寸为3×3和39×39。由参照图3可见,所提出的ISA-TRX方法的检测结果二值图清晰度高于7种对比方法。
参照图8数据P的8种检测方法的ROC曲线,参照图9是对应的AUC值,由参照图8和参照图9可见,所提出的ISA-TRX方法的ROC曲线和对应的AUC值均优于7种对比方法。
参照图10,是数据P的8种检测方法的可分性图,由参照图10可见,所提出的ISA-TRX方法的背景和异常目标的间隔大于GRX、KRX、FrFE-RX、FrFE-LRX、PCA-TRX和FrFT-TRX这6种对比算法,不优于LRX,其背景压缩能力优于LRX,所以所提出的ISA-TRX方法的可分性总体上优于7种对比算法。
由图7、8、9和10可见,针对数据P,本发明的ISA-TRX方法检测效果优于GRX、LRX、KRX、FrFE-RX、FrFE-LRX、PCA-TRX和FrFT-TRX这7种对比算法。
上述为本发明特举之实施例,并非用以限定本发明。本发明提供的基于改进自我注意力机制和张量RX的高光谱图像异常目标检测方法同样适用于其他的高光谱图像异常目标检测。在不脱离本发明的实质和范围内,可做些许的调整和优化,以本发明的保护范围以权利要求为准。
Claims (2)
1.一种基于改进自我注意力机制和张量RX的高光谱图像异常目标检测方法,其特征是包括以下步骤:
(1)利用改进自我注意力机制对高光谱图像进行变换得到变换后的高光谱图像;
(2)对经过改进自我注意力机制变换的高光谱图像采用张量RX进行异常目标检测;
其中,步骤(1)中采用改进自我注意力机制具体包括:
(1.1)高光谱图像中的每个测试张量3Γx∈Rw×w×D转换为像素二维矩阵Y∈RM×D(M=w×w),其中,w为窗口尺寸,D为光谱波段数;随后,利用深度置信网络对Y进行重建;重建矩阵Yd∈RM×D(M=w×w)变换为张量3Γd∈Rw×w×D;
(1.2)3Γd中的中心张量3Γcd∈R1×1×D作为卷积核与3Γd按照公式(1)进行卷积,其结果张量3Γr∈Rw×w×1变换为权重矩阵Z∈Rw×w;bT是偏差参数;
其中,表示卷积;
(1.3)3Γx作为值张量和Z进行点乘,得到3Γz∈Rw×w×D;3Γz的中心张量3Γcz∈R1×1×D和Z的中心点xz∈R1×1进行点除,得到张量3Tcy∈R1×1×L;
(1.4)3Γcy作为卷积核与3Γcx按照公式(2)进行卷积,得到3Γy,进而获得经过改进自我注意力机制变换的高光谱图像;
2.根据权利要求1所述的一种基于改进自我注意力机制和张量RX的高光谱图像异常目标检测方法,其特征是对经过改进自我注意力机制变换的高光谱图像采用张量RX进行异常目标检测,具体包括:在经过改进自我注意力机制变换的高光谱图像上按照公式(3)采用张量RX进行异常目标检测即可获取最后的检测结果,其中,X∈Rm×D(m=w×w)是对应3Γy的二阶矩阵,其中wb对应背景张量窗口尺寸,是对应背景张量的二阶矩阵,ξx是异常目标检测的阈值;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210923508.3A CN115424040B (zh) | 2022-08-02 | 2022-08-02 | 一种基于改进自我注意力机制和张量rx的高光谱图像异常目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210923508.3A CN115424040B (zh) | 2022-08-02 | 2022-08-02 | 一种基于改进自我注意力机制和张量rx的高光谱图像异常目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115424040A CN115424040A (zh) | 2022-12-02 |
CN115424040B true CN115424040B (zh) | 2023-04-18 |
Family
ID=84196669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210923508.3A Active CN115424040B (zh) | 2022-08-02 | 2022-08-02 | 一种基于改进自我注意力机制和张量rx的高光谱图像异常目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115424040B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116990243B (zh) * | 2023-09-26 | 2024-01-19 | 湖南大学 | 一种基于gap框架的轻量化注意力高光谱计算重构方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9940520B2 (en) * | 2015-05-01 | 2018-04-10 | Applied Research LLC. | Automatic target recognition system with online machine learning capability |
CN107316009B (zh) * | 2017-06-09 | 2020-08-28 | 哈尔滨工业大学 | 基于张量线性判别分析降维的高光谱图像目标检测方法 |
CN109949278B (zh) * | 2019-03-06 | 2021-10-29 | 西安电子科技大学 | 基于对抗自编码网络的高光谱异常检测方法 |
CN112434571B (zh) * | 2020-11-09 | 2023-07-25 | 西安理工大学 | 一种基于注意力自编码网络的高光谱异常检测方法 |
-
2022
- 2022-08-02 CN CN202210923508.3A patent/CN115424040B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115424040A (zh) | 2022-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Palsson et al. | Multispectral and hyperspectral image fusion using a 3-D-convolutional neural network | |
Li et al. | Collaborative representation for hyperspectral anomaly detection | |
Yousif et al. | Improving urban change detection from multitemporal SAR images using PCA-NLM | |
US8230272B2 (en) | Methods and systems for detection of anomalies in digital data streams | |
CN111046800B (zh) | 一种基于低秩与稀疏分解的高光谱图像异常目标检测方法 | |
CN115424040B (zh) | 一种基于改进自我注意力机制和张量rx的高光谱图像异常目标检测方法 | |
Zhang et al. | Transferred CNN based on tensor for hyperspectral anomaly detection | |
CN113327231B (zh) | 一种基于空谱联合的高光谱异常目标检测方法和系统 | |
Tu et al. | Ensemble entropy metric for hyperspectral anomaly detection | |
Zhao et al. | Hyperspectral time-series target detection based on spectral perception and spatial-temporal tensor decomposition | |
Liu et al. | Moving dim and small target detection in multiframe infrared sequence with low SCR based on temporal profile similarity | |
CN110781832B (zh) | 基于联合深度置信网络的高光谱图像异常目标检测方法 | |
Wang et al. | Hyperspectral image feature classification using stationary wavelet transform | |
Wang et al. | Multiple Spectral-Spatial Representation Based on Tensor Decomposition for HSI Anomaly Detection | |
Wang et al. | Self-adaptive low-rank and sparse decomposition for hyperspectral anomaly detection | |
Cheng et al. | Hyperspectral anomaly detection via low-rank decomposition and morphological filtering | |
Yufeng et al. | Research on SAR image change detection algorithm based on hybrid genetic FCM and image registration | |
CN114694014A (zh) | 一种基于多层神经网络的sar图像舰船目标检测方法 | |
CN112686814B (zh) | 一种基于仿射低秩的图像去噪方法 | |
Tang et al. | Hyperspectral classification of two-branch joint networks based on Gaussian pyramid multiscale and wavelet transform | |
Jiang et al. | Hyperspectral image dimension reduction and target detection based on weighted mean filter and manifold learning | |
Rhee | Forensic detection of jpeg compressed image | |
Li et al. | Hyperspectral Anomaly Detection via Optimal Kernel and High-Order Moment Correlation Representation | |
Ganesh et al. | Adaptive Noise Detection Using Texture Feature Extraction and Random Forest Classification. | |
CN113553914B (zh) | 一种casi高光谱数据异常目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |