CN116129289A - 一种注意力边缘交互的光学遥感图像显著性目标检测方法 - Google Patents
一种注意力边缘交互的光学遥感图像显著性目标检测方法 Download PDFInfo
- Publication number
- CN116129289A CN116129289A CN202310204943.5A CN202310204943A CN116129289A CN 116129289 A CN116129289 A CN 116129289A CN 202310204943 A CN202310204943 A CN 202310204943A CN 116129289 A CN116129289 A CN 116129289A
- Authority
- CN
- China
- Prior art keywords
- features
- edge
- attention
- module
- salient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Astronomy & Astrophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种注意力边缘交互的光学遥感图像显著性目标检测方法,旨在提高光学遥感图像中显著性目标的检测精度。当前光学遥感图像的显著目标检测存在以下两方面问题:由于边缘信息没有得到充分利用,显著性目标预测图在光学遥感图像的一些复杂场景中容易出现边界模糊;模型提取的高级语义信息在逐步向浅层传递的过程中,较深层捕获的位置信息可能同时被逐渐稀释。针对第一个问题,本发明设计了多尺度注意力交互模块来有效融合精细的边缘特征。针对第二个问题,本发明设计了语义指导融合模块来减少低层次特征在融合过程中的信息损失。结合上述两个设计,本发明设计的模型可以鲁棒且准确地检测到光学遥感图像中的显著性目标,并具有处理各种复杂场景的能力,值得大力推广。
Description
技术领域
本发明属于计算机视觉领域,涉及对显著性目标检测模型的改进,具体为一种注意力边缘交互的光学遥感图像显著性目标检测方法。
背景技术
显著性目标检测被广泛用作其他计算机视觉任务的预处理过程,其主要目的是从图像中检测和分割出最有吸引力的目标。在计算机视觉中,显著性目标检测的示例应用包括:无监督视频目标分割、语义分割、行人重识别等。近年来,随着深度学习的不断发展,光学遥感图像的显著目标检测研究得到广泛关注。由于光学遥感图像是通过部署在卫星或飞机上的远程传感器从高空自上而下地收集的。与自然图像相比,光学遥感图像中的显著性目标通常在其数量、形状、尺寸、位置和方向等方面更加多样和复杂,也更难以从背景中识别。因此,光学遥感图像中的显著性目标检测通常比自然图像中的显著性目标检测更具挑战性。目前专门针对光学遥感图像显著目标检测的研究较少,直接使用自然图像显著性目标检测的方法效果不好。为此本发明设计了两个模块来提高光学遥感图像中的显著性目标检测精度。具体方法如下:为了解决光学遥感图像一些复杂场景的显著性目标预测图容易出现边界模糊的问题,设计了多尺度注意力交互模块来交互细化显著性区域特征和显著性边缘特征,使网络能够充分探索显著性目标检测和边缘检测的互补信息;为了解决网络在特征融合过程中的语义稀释问题,设计了语义指导融合模块来增强语义信息的传播,加强了显著性目标特征的表达并抑制了冗余的背景特征。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了一种注意力边缘交互的光学遥感图像显著性目标检测方法。解决了当前的光学遥感图像显著目标检测模型在一些复杂场景上检测性能较差的问题。
(二)技术方案
为实现以上目的,本发明提出一种注意力边缘交互的光学遥感图像显著性目标检测方法,该网络能够利用注意力和边缘感知机制充分探索显著性区域与边缘这两种特征之间的互补性,从而产生具有高质量边缘的显著性区域特征。首先,为了能够提高显著性区域与边缘特征的融合质量,本发明提出了多尺度注意力交互(Multi-scale AttentionInteraction,MAI)模块,此模块由多尺度注意力聚合(Multi-scale AggregationAttention,MAA)模块,门机制和特征交互结构组成。其中多尺度注意力聚合模块旨在探索显著性区域特征的多尺度信息,并嵌入顺序的通道-空间注意力增强对显著性特征的关注。门机制旨在对边缘特征进行抛光以减少非显著性线索的影响,而特征交互结构旨在对上述两种预处理的特征进行交互细化。其次,为了减少特征融合过程中的信息损失,本发明提出了语义指导融合(Semantics-guided Fusion,SF)模块,此模块引入高级语义信息来指导低级特征的融合。最后,共获得一个显著性区域特征图和一个边缘特征图,分别将这两个特征图送入一个卷积层中得到显著性目标和显著性边缘的最终检测结果。
本发明所述的一种注意力边缘交互的光学遥感图像显著性目标检测方法,包括以下步骤:
S1.模型的整体架构是一个编码器-解码器网络,编码器网络采用EfficientNet-B7提取显著性区域特征和显著性边缘特征,解码器网络设计为一个双分支交互结构,在两个分支的交互节点处添加多尺度注意力交互模块,旨在利用注意力和边缘感知机制对显著性区域特征和显著性边缘特征进行预处理,然后将两种特征交互细化以获得边缘增强的显著性区域特征和注意力增强的边缘特征。
S2.高层次的显著性区域特征和边缘特征在经过多尺度注意力交互模块的交互细化后会逐渐分别与低层次的显著性区域特征和边缘特征进行融合。在显著性区域特征的最后两个融合阶段,即s2与上采样特征的融合阶段以及s1与上采样特征的融合阶段,引入语义指导融合模块来增强语义信息的传播。
S3.在多尺度注意力交互模块和语义指导融合模块的合作下,高级显著性区域特征和边缘特征逐渐交互细化并与低级显著性区域特征和边缘特征融合,最终得到细化后的显著性区域特征图和边缘特征图再将这两张特征图分别输入到一个卷积层来预测显著性目标和显著性边缘。
(三)有益效果
本发明提供了一种注意力边缘交互的光学遥感图像显著性目标检测方法。具备以下有益效果:
本发明通过使用多尺度注意力交互模块解决了显著性区域特征与边缘特征融合不充分的问题。通过语义指导融合模块解决了高级语义信息稀释的问题。
本发明提出的模型性能较好,在EORSSD,ORSSD,ORSI-4199三个光学遥感图像数据集上的实验结果表明本发明算法要优于现有的先进算法。
附图说明
图1为本发明的整体框架结构图;
图2为本发明构建的多尺度注意力交互模块的结构图;
图3为本发明构建的语义指导融合模块及其特征可视化图;
图4为本发明的显著性目标预测图;
具体实施方式
下面将结合附图对本发明中的技术方法进行清楚、完整地描述。一种注意力边缘交互的光学遥感图像显著性目标检测方法,其具体实施方式步骤如下:
(S1):设计编码器-解码器网络
本发明使用的编码器网络为高效率、高性能的EfficientNet-B7,解码器网络设计为双分支交互的结构,其中一条分支用于显著性目标检测,另外一条为显著性边缘检测,两条分支的交互节点为提出的多尺度注意力交互模块,以实现显著性区域特征和边缘特征的逐步细化。显著性目标检测分支的末端配置有两个语义指导融合模块,其将高级语义信息引入到低级特征的融合过程中以减少重要信息的损失。
(S2):设计多尺度注意力交互模块。
如图2的左框所示,本发明提出的多尺度注意力交互(MAI)模块对边缘特征和显著区域特征进行交互优化。实质上,多尺度注意力交互模块执行了三个步骤,其中有两个单独的特征处理操作,然后是特征交互。
首先,显著性区域特征通过多尺度聚合注意力(MAA)模块捕获多尺度、多形状区域特征,在一个特征层次内获得综合性的信息,这有利于在光学遥感图像中捕捉各种大小和形状的显著性目标。多尺度聚合注意力模块如图2右框所示,该模块由六个并行的卷积分支组成。除了第一个分支只有一个1×1卷积以保留输入特征的原始信息外,其余第j(j=2,3,4,5,6)个分支按顺序采用一个1×1卷积,一个1×(2j-1)卷积,一个(2j-1)×1卷积和一个空洞率为2j-1的3×3空洞卷积。此外,通过在并行的卷积分支之间进行自上而下信息传播可以有效保留显著性目标的局部细节。具体来说,当j=1,2,3,4,5时,第j个分支的输出特征被馈送到第j+1个分支。该结构还具有级联残差的功能,其迫使每个分支学习不同于其他分支的独特特征,从而减少特征冗余,实现高效有用的特征提取。然后使用通道连接和一个3×3卷积来集成这些分支的输出特征,如下所示:
为了进一步增强集成后的特征,本发明采用一个轻量级卷积块注意力模块(CBAM)执行顺序的通道-空间注意力,以自适应方式进一步精炼,其表达式如下:
接着,边缘特征通过一个门机制来抛光边缘特征。具体流程如下:
最后,注意力处理的显著区域特征和门处理的边缘特征分别通过通道连接和乘法将进行交互融合,生成边缘增强的显著性区域特征和注意力增强的边缘特征。在此之后,它们分别通过两个连续的3×3卷积来进一步优化交互特征。此外,每个分支中都使用一个短连接来保留原始信息,最终生成MAI-i模块的输出特征(和)。
(S3):设计语义指导融合模块。
如图3底部框所示,语义指导融合(SF)模块通过上采样和按元素乘法将最高层次的注意力-边缘交互特征注入到低层特征si和(i=1,2)中。然后使用短连接来保留低层特征的细节,接着使用一个3×3卷积来调制。最后将两个融合特征进行通道连接,并分别输入到一个3×3卷积和一个1×1卷积进一步细化并调整通道数,得到如下所示的
以下结合实验数据及预测图对本发明效果进行详细描述。
表1比较了本发明提出的方法与其他方法在EORSSD,ORSSD和ORSI-4199数据集上的计算效率和精度对比,其中最好的分数进行了加粗显示。从表1的实验结果可以看出,本发明提出的方法AEINet优于其他15个模型,其中在所有数据集上有8个指标排名第一,1个指标排名第三。与三个网络组中表现最好的三个模型(ACCoNet,EMFINet和MCCNet)相比,本发明提出的模型参数和FLOPs最少。特别地,模型参数只有67.4M,而ACCoNet、EMFINet、MCCNet的参数分别是102.55M,107.26M和67.65M。模型的FLOPs只有15.04G,而ACCoNet、EMFINet和MCCNet分别是179.96G、480.9G和112.8G。从上面的定量比较和计算复杂度比较可以得出本发明提出的方法是有效和高效的。
表1本发明在EORSSD,ORSSD,ORSI-4199数据集上与先进方法的比较。
表2本发明提出的模块对模型性能的影响。
表2示例了本发明提出的模块的有效性。从表2所示的定量比较来看,随着提出的模块的增加,从上到下可以看到和Sm分数在增加,MAE分数在减小,说明了每个提出的模块对模型整体性能的提升作用。总之,本发明完整的模型在EORSSD数据集上将“Baseline”提高了1.15%的1.95%的Sm和0.29%的MAE。在ORSSD数据集上,性能提升更为显著,即本发明完整的模型在Sm和MAE上分别将“Baseline”提高了2.26%、2.48%和0.38%。
图4示例了本发明提出的模型的有效性。本发明提出的模型(图4的最后一列)可以在大目标,低对比度的目标,细长的目标,小目标和带有杂乱背景的截断目标这些不同的场景中产生最准确的显著性图,有效地改进了光学遥感图像一些复杂场景中显著性目标的分割精度。
本发明提出了一种注意力边缘交互的光学遥感图像显著性目标检测方法。其通过多尺度注意力交互模块实现显著性目标检测和显著性边缘检测分支之间的交互,并为显著性区域和边缘特征的细化提供边缘增强的注意力和注意力增强的边缘。此外,本发明提出的语义指导融合模块将高级语义信息引入到低级特征中进行融合,有效缓解了语义稀释的问题,进一步提高了检测精度。从大量实验结果来看,本发明提出的方法充分结合注意力和边缘感知机制的性能优势,其光学遥感图像的显著性目标检测性能优于其他先进的算法。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (3)
1.一种注意力边缘交互的光学遥感图像显著性目标检测方法,其特征在于:包括以下步骤:
S1.模型的整体架构是一个编码器-解码器网络,编码器网络采用EfficientNet-B7提取显著性区域特征和显著性边缘特征,解码器网络设计为一个双分支交互结构,在两个分支的交互节点处添加多尺度注意力交互模块,旨在利用注意力和边缘感知机制对显著性区域特征和显著性边缘特征进行预处理,然后将两种特征交互细化以获得边缘增强的显著性区域特征和注意力增强的边缘特征。
S2.高层次的显著性区域特征和边缘特征在经过多尺度注意力交互模块的交互细化后会逐渐分别与低层次的显著性区域特征和边缘特征进行融合。在显著性区域特征的最后两个融合阶段,即s2与上采样特征的融合阶段以及s1与上采样特征的融合阶段,引入语义指导融合模块来增强语义信息的传播。
2.根据权利要求1所述的多尺度注意力交互模块,其特征在于:交互细化编码器网络提取的显著性区域特征和边缘特征。首先,多尺度注意力交互模块分别采用了多尺度聚合注意力模块和门机制对显著性区域特征和边缘特征进行预处理,其中,多尺度聚合注意力模块采用6条并行的卷积分支并在分支之间添加了自上而下的信息传播来捕获显著性区域特征的不同上下文信息,门机制利用sigmoid函数对边缘特征进行细化。这两种预处理方法改善了显著性区域特征和边缘特征的质量。然后,预处理后的显著性区域特征和边缘特征通过通道连接和按元素乘的方式进行交互融合,最终获得边缘增强的显著性区域特征和注意力增强的边缘特征。
3.根据权利要求1所述的语义指导融合模块,其特征在于:语义指导融合模块将最深层次交互后的语义特征通过上采样和按元素乘的方式将语义信息注入到两个浅层特征中,然后再将这两个注入了语义信息的浅层特征进行融合,以有效缓解语义信息稀释的问题。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310204943.5A CN116129289A (zh) | 2023-03-06 | 2023-03-06 | 一种注意力边缘交互的光学遥感图像显著性目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310204943.5A CN116129289A (zh) | 2023-03-06 | 2023-03-06 | 一种注意力边缘交互的光学遥感图像显著性目标检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116129289A true CN116129289A (zh) | 2023-05-16 |
Family
ID=86308253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310204943.5A Pending CN116129289A (zh) | 2023-03-06 | 2023-03-06 | 一种注意力边缘交互的光学遥感图像显著性目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116129289A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116612122A (zh) * | 2023-07-20 | 2023-08-18 | 湖南快乐阳光互动娱乐传媒有限公司 | 图像显著性区域的检测方法及装置、存储介质及电子设备 |
CN116645696A (zh) * | 2023-05-31 | 2023-08-25 | 长春理工大学重庆研究院 | 一种用于多模态行人检测的轮廓信息引导特征检测方法 |
CN117351374A (zh) * | 2023-12-05 | 2024-01-05 | 山东大学 | 一种遥感图像显著性目标检测方法、系统、设备及介质 |
CN117893561A (zh) * | 2024-03-14 | 2024-04-16 | 大连理工大学 | 一种基于局部对比度计算方法的红外细小目标检测算法 |
-
2023
- 2023-03-06 CN CN202310204943.5A patent/CN116129289A/zh active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116645696A (zh) * | 2023-05-31 | 2023-08-25 | 长春理工大学重庆研究院 | 一种用于多模态行人检测的轮廓信息引导特征检测方法 |
CN116645696B (zh) * | 2023-05-31 | 2024-02-02 | 长春理工大学重庆研究院 | 一种用于多模态行人检测的轮廓信息引导特征检测方法 |
CN116612122A (zh) * | 2023-07-20 | 2023-08-18 | 湖南快乐阳光互动娱乐传媒有限公司 | 图像显著性区域的检测方法及装置、存储介质及电子设备 |
CN116612122B (zh) * | 2023-07-20 | 2023-10-10 | 湖南快乐阳光互动娱乐传媒有限公司 | 图像显著性区域的检测方法及装置、存储介质及电子设备 |
CN117351374A (zh) * | 2023-12-05 | 2024-01-05 | 山东大学 | 一种遥感图像显著性目标检测方法、系统、设备及介质 |
CN117351374B (zh) * | 2023-12-05 | 2024-03-08 | 山东大学 | 一种遥感图像显著性目标检测方法、系统、设备及介质 |
CN117893561A (zh) * | 2024-03-14 | 2024-04-16 | 大连理工大学 | 一种基于局部对比度计算方法的红外细小目标检测算法 |
CN117893561B (zh) * | 2024-03-14 | 2024-06-07 | 大连理工大学 | 一种基于局部对比度计算方法的红外细小目标检测算法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111325751B (zh) | 基于注意力卷积神经网络的ct图像分割系统 | |
Jiang et al. | Pointgroup: Dual-set point grouping for 3d instance segmentation | |
CN116129289A (zh) | 一种注意力边缘交互的光学遥感图像显著性目标检测方法 | |
CN108829677B (zh) | 一种基于多模态注意力的图像标题自动生成方法 | |
CN110516536B (zh) | 一种基于时序类别激活图互补的弱监督视频行为检测方法 | |
CN110751185A (zh) | 目标检测模型的训练方法和装置 | |
CN113807355A (zh) | 一种基于编解码结构的图像语义分割方法 | |
CN110866938B (zh) | 一种全自动视频运动目标分割方法 | |
CN113269089B (zh) | 基于深度学习的实时手势识别方法及系统 | |
CN113378933A (zh) | 甲状腺超声图像分类和分割网络、训练方法、装置及介质 | |
CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
Li et al. | Research on object detection algorithm based on deep learning | |
Wang et al. | TF-SOD: a novel transformer framework for salient object detection | |
CN110633706B (zh) | 一种基于金字塔网络的语义分割方法 | |
Lu et al. | MFNet: Multi-feature fusion network for real-time semantic segmentation in road scenes | |
Cheng et al. | A survey on image semantic segmentation using deep learning techniques | |
Cong et al. | Multi-Projection Fusion and Refinement Network for Salient Object Detection in 360$^{\circ} $ Omnidirectional Image | |
CN113538474A (zh) | 基于边缘特征融合的3d点云分割目标检测系统 | |
CN111275732B (zh) | 一种基于深度卷积神经网络的前景对象图像分割方法 | |
Yang et al. | Monocular depth estimation based on multi-scale depth map fusion | |
Kanwal et al. | CVit-Net: A conformer driven RGB-D salient object detector with operation-wise attention learning | |
CN116363361A (zh) | 基于实时语义分割网络的自动驾驶方法 | |
CN115439722A (zh) | 基于图像和属性图融合网络的三维cad模型检索方法 | |
Zhang et al. | Transcending the limit of local window: Advanced super-resolution transformer with adaptive token dictionary | |
CN114333062A (zh) | 基于异构双网络和特征一致性的行人重识别模型训练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |