CN114627363A - 一种基于多任务学习的全景海上船舶态势感知方法 - Google Patents
一种基于多任务学习的全景海上船舶态势感知方法 Download PDFInfo
- Publication number
- CN114627363A CN114627363A CN202210216773.8A CN202210216773A CN114627363A CN 114627363 A CN114627363 A CN 114627363A CN 202210216773 A CN202210216773 A CN 202210216773A CN 114627363 A CN114627363 A CN 114627363A
- Authority
- CN
- China
- Prior art keywords
- ship
- panoramic
- situation
- remote sensing
- marine vessel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于船舶检测技术领域,公开了一种基于多任务学习的全景海上船舶态势感知方法,包括如下步骤:获取遥感图像训练数据集;根据遥感图像训练数据集建立多任务学习的全景海上船舶态势感知网络模型;获取实时遥感图像数据;将实时遥感图像数据输入全景海上船舶态势感知网络模型进行多任务的船舶态势预测,得到船舶态势预测结果;根据船舶态势预测结果进行海上船舶态势可视化。本发明解决了现有技术存在的缺乏对于具体环境的考虑导致的实用性低,检测准确性低,以及不同态势感知系统之间相互孤立导致的海上船舶态势感知结果具有非唯一性影响最终的检测准确性的问题。
Description
技术领域
本发明属于船舶检测技术领域,具体涉及一种基于多任务学习的全景海上船舶态势感知方法。
背景技术
随着遥感卫星技术的发展,可用于地面和海面观测的数据呈指数级增长,同时根据不同分辨率和波段组合生成各种具有不同特性的遥感数据。遥感数据越来越多,也越来越复杂,在使用遥感数据分析确保海上航行安全的任务中,这些庞大而复杂的数据不可能总是由航海指挥人员人工分析的,还要求指挥人员具备大量的专业知识才能进行有效的了解和分析,这造成大量的人力资源流入和分析缓慢,严重的是可能会导致航海人员错过最佳的决策时间或做出不准确的错误决定,使航海安全受到极大的威胁。
现有的海上船舶态势感知技术主要有两个:一是利用船舶自动识别系统AIS的船舶轨迹数据和船舶行为是否偏离预计航道来判断船舶的态势,然而对于相同的航行运动,在某些情境下是异常的,而在另一些情境下是正常的,因此需要将船舶的运动行为置于具体环境来判断船舶的态势,这种船舶态势判断方法缺乏对于具体环境的考虑,导致其实用性低,检测准确性低;另一种方法是结合遥感图像数据的丰富、客观、全局三个特性,针对每一个不同的海上态势任务提出相应的智能化解译算法,实现船舶自身及周围环境态势信息的快速、准确地感知,这种方法是虽然能够有效地实现自主感知海上态势要素,但对于不同的态势感知任务却需要多个不同的算法模型去完成,这就使得不同态势感知系统之间相互孤立,忽视了整个海上船舶态势感知任务中子任务之间的相关性,特别是当不同任务的内容之间有重叠部分时,如果在它们的重叠部分中它们的分析结果不相同,则就会造成整体的海上船舶态势感知结果具有非唯一性,影响最终的检测准确性。
发明内容
为了解决现有技术存在的缺乏对于具体环境的考虑导致的实用性低,检测准确性低,以及不同态势感知系统之间相互孤立导致的海上船舶态势感知结果具有非唯一性影响最终的检测准确性的问题,提出一种基于多任务学习的全景海上船舶态势感知方法。
本发明所采用的技术方案为:
一种基于多任务学习的全景海上船舶态势感知方法,包括如下步骤:
获取遥感图像训练数据集;
根据遥感图像训练数据集建立多任务学习的全景海上船舶态势感知网络模型;
获取实时遥感图像数据;
将实时遥感图像数据输入全景海上船舶态势感知网络模型进行多任务的船舶态势预测,得到船舶态势预测结果;
根据船舶态势预测结果进行海上船舶态势可视化。
进一步地,获取遥感图像训练数据集,包括如下步骤:
获取历史遥感图像数据集并进行预处理和数据增强,得到预处理后历史遥感图像数据集;
根据数据样本标签生成预处理后历史遥感图像数据集中每张样本图像对应的标签图,得到遥感图像训练数据集。
进一步地,预处理为图像格式处理和归一化处理,数据增强为颜色变换处理和几何变化处理。
进一步地,标签图包括船舶目标中心点标签图、船舶目标中心点偏移量标签图、目标定向边界框尺寸标签图、目标定向边界框旋转角度标签图以及航向点头部距中心点偏移量标签图。
进一步地,多任务学习的全景海上船舶态势感知网络模型包括特征提取模块、特征融合模块、船舶检测及航向预测模块、海陆分割模块以及推理结果合并模块,特征提取模块设置有特征提取网络模型。
进一步地,多任务的船舶态势预测包括同时进行的船舶检测、航向预测以及海陆分割;
船舶检测和航向预测使用中心点检测方法,海陆分割使用语义分割方法。
进一步地,根据遥感图像训练数据集建立多任务学习的全景海上船舶态势感知网络模型,包括如下步骤:
设置特征提取网络模型及其超参数;
设置损失函数及其权重和优化器并更新超参数;
根据损失函数及其权重、优化器以及特征提取网络模型及其更新后的超参数建立初始的全景海上船舶态势感知网络模型;
将遥感图像训练数据集输入初始的全景海上船舶态势感知网络模型进行优化,得到最优的全景海上船舶态势感知网络模型及其对应的模型参数。
进一步地,损失函数的公式为:
式中,L为全景海上船舶态势感知网络模型的损失函数;Ldet、Loff、Lbox、Lhead、Lheatmap、Lseg、Lreg分别为船舶检测任务的损失函数、中心点偏移量的损失函数、定向边界框尺寸的损失函数、航向点回归的损失函数、预测中心的损失函数、海陆分割任务的损失函数以及航向预测任务的损失函数;λ1、λ2、λoff、λbox、λhead均为损失函数的权重。
进一步地,将实时遥感图像数据输入全景海上船舶态势感知网络模型进行多任务的船舶态势预测,包括如下步骤:
获取实时遥感图像数据并进行预处理,得到预处理后实时图像数据;
使用全景海上船舶态势感知网络模型对预处理后实时图像数据进行多任务的船舶态势预测,得到船舶态势预测图;
根据船舶态势预测图得到船舶态势预测结果。
进一步地,船舶态势预测结果包括船舶检测得到的目标定向边界框、航向预测得到的航向点以及海陆分割得到的海陆分割掩模图。
本发明的有益效果为:
本发明提供的基于多任务学习的全景海上船舶态势感知方法,综合考虑了具体海上环境和船舶行为对船舶态势进行判断,提高了海上船舶态势感知的实用性和准确性,并且本发明采用了多任务学习的深度学习架构,对船舶检测、航向预测以及海陆分割的多个海上船舶态势感知任务进行统一整合,以多任务学习的形式提供全局、准确的海上船舶态势感知功能,从而加强航海安全保障建设,并且将船舶态势预测结果进行可视化展示,进一步提高了实用性。
本发明的其他有益效果将在具体实施方式中进一步进行说明。
附图说明
图1是本实施例中基于多任务学习的全景海上船舶态势感知方法的流程图。
图2是本实施例中多任务学习的全景海上船舶态势感知网络模型的结构示意图。
图3是本实施例中海上船舶态势可视化的示意图。
图4是本实施例中定向边界框定义示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
如图1所示,本实施例提供一种基于多任务学习的全景海上船舶态势感知方法,包括如下步骤:
获取遥感图像训练数据集,包括如下步骤:
获取历史遥感图像数据集并进行预处理和数据增强,得到预处理后历史遥感图像数据集;
预处理为图像格式处理和归一化处理,图像格式处理将遥感图像训练数据集的每张样本图像转换为模型能够识别的格式,归一化处理将每张样本图像转换为512×512大小,数据增强为颜色变换处理和几何变化处理,扩充遥感图像训练数据集的训练样本数量,提高了模型的准确性;
根据数据样本标签生成预处理后历史遥感图像数据集中每张样本图像对应的标签图,得到遥感图像训练数据集;
标签图包括船舶目标中心点标签图、船舶目标中心点偏移量标签图、目标定向边界框尺寸标签图、目标定向边界框旋转角度标签图以及航向点头部距中心点偏移量标签图;
其中,如图4的(a)-(c)所示,对定向边界框的定义为:采用边界框的长边作为高h,短边作为宽w,指定中心点到短边w的中线作为基准线,而该基准线与Y轴的夹角即定向边界框的旋转角度θ,得到定向边界框的参数(Cx,Cy,w,h,θ),其中θ∈[-90°,0°)∪(0°,90°],(Cx,Cy)为中心点坐标;
根据遥感图像训练数据集建立多任务学习的全景海上船舶态势感知网络模型,包括如下步骤:
设置特征提取网络模型及其超参数;
设置损失函数及其权重和Adam优化器并更新超参数,损失函数的公式为:
式中,L为全景海上船舶态势感知网络模型的损失函数;Ldet、Loff、Lbox、Lhead、Lheatmap、Lseg、Lreg分别为船舶检测任务的损失函数(变体的Focal loss函数)、中心点偏移量的损失函数(Smooth L1 loss函数)、定向边界框尺寸的损失函数(Smooth L1 loss函数)、航向点回归的损失函数(Smooth L1 loss函数)、预测中心的损失函数(Cross EntropyLoss函数)、海陆分割任务的损失函数以及航向预测任务的损失函数;λ1、λ2、λoff、λbox、λhead均为损失函数的权重;本实施例中,Loff、Lbox、Lhead只对样本中心点位置的预测值计算损失,设定λ1=1,λ2=1,λoff=0.1,λbox=0.1,λhead=0.1;
根据损失函数及其权重、优化器以及特征提取网络模型及其更新后的超参数建立初始的全景海上船舶态势感知网络模型;
将遥感图像训练数据集输入初始的全景海上船舶态势感知网络模型进行优化,得到最优的全景海上船舶态势感知网络模型及其对应的模型参数;
将模型训练过程中模型在测试集上的平均精度均值mAP指标和平均交并比mIoU指标上最平衡的模型参数作为最优的模型参数进行保存,输出对应的最优的全景海上船舶态势感知网络模型;
如图2所示,多任务学习的全景海上船舶态势感知网络模型包括特征提取模块、特征融合模块、船舶检测及航向预测模块、海陆分割模块以及推理结果合并模块,特征提取模块设置有特征提取网络模型,多任务的船舶态势预测包括同时进行的船舶检测、航向预测以及海陆分割;
船舶检测和航向预测使用中心点检测方法,海陆分割使用语义分割方法,得到船舶态势预测结果;
本实施例中特征提取网络模型为ResNet101模型,特征融合模块基于特征金字塔FPN采用跳过连接Skip connection的方式将特征提取模块的4层特征图进行融合,船舶检测及航向预测模块使用中心点检测方法将特征融合部分最后一层特征图作为该模块的输入特征,然后在该模块采用5个分支分别用于输出船舶目标中心点预测图Heatmap、船舶目标中心点偏移量预测图Offset、目标定向边界框尺寸预测图Box size、目标定向边界框旋转角度预测图Angle以及航向点头部距中心点偏移量预测图Ship Head,并在每个分支中采用一个3×3和一个1×1的卷积作为该模块的输出层,海陆分割模块使用语义分割方法对特征融合模块的每层特征进行拼接操作concat,最后采用两个3×3大小的卷积核输出分割图(预测图),推理结果合并模块将船舶检测及航向预测模块和海陆分割模块的输出进行合并推理,得到船舶态势预测图;
工作流程:
将船舶检测及航向预测模块预测得到的船舶目标中心点预测图利用一个3×3的最大池化层筛选出预测的目标中心点;
海陆分割模块使用船舶弱监督语义分割方法预测海洋、陆地和船舶三类,然后将船舶与海洋和陆地进行分离,最后得到海陆分割的预测结果;
将海陆分割的预测结果与船舶检测及航向预测模块预测的目标中心点进行置信度融合,去除融合后置信度低于0.1的中心点;
根据筛选后的中心点寻找匹配相应的定向边界框尺寸、旋转角度以及航向点偏移量,并根据中心点坐标、定向边界框尺寸和旋转角度得出初始的目标定向边界框;
采用非极大值抑制抑制方法将初始的目标定向边界框之间的交并比IoU大于0.5的船舶目标作为检测的同一目标,即需要将置信度低的一方去除得到最终的目标定向边界框;
根据航向点偏移量和中心点位置计算得到该目标的航向角,航向角用于表示船舶目标的头部朝向,提供船舶航行的方向信息,数值表示范围为0°-360°,根据航向角得到航向点;
获取实时遥感图像数据;
将实时遥感图像数据输入全景海上船舶态势感知网络模型进行多任务的船舶态势预测,包括如下步骤:
获取实时遥感图像数据并进行预处理,得到预处理后实时图像数据;
使用全景海上船舶态势感知网络模型对预处理后实时图像数据进行多任务的船舶态势预测,得到船舶态势预测图;
根据船舶态势预测图得到船舶态势预测结果,船舶态势预测结果包括船舶检测得到的目标定向边界框、航向预测得到的航向点以及海陆分割得到的海陆分割掩模图;
根据船舶态势预测结果使用Opencv图像处理方法在如图3(a)所示的预处理后实时图像数据的原图图层上进行海上船舶态势可视化信息叠加,得到由如图3(b)所示的示意图。
本发明提供的基于多任务学习的全景海上船舶态势感知方法,综合考虑了具体海上环境和船舶行为对船舶态势进行判断,提高了海上船舶态势感知的实用性和准确性,并且本发明采用了多任务学习的深度学习架构,对船舶检测、航向预测以及海陆分割的多个海上船舶态势感知任务进行统一整合,以多任务学习的形式提供全局、准确的海上船舶态势感知功能,从而加强航海安全保障建设,并且将船舶态势预测结果进行可视化展示,进一步提高了实用性。
本发明不局限于上述可选的实施方式,任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制,本发明的保护范围应当以权利要求书中界定的为准,并且说明书可以用于解释权利要求书。
Claims (10)
1.一种基于多任务学习的全景海上船舶态势感知方法,其特征在于:包括如下步骤:
获取遥感图像训练数据集;
根据遥感图像训练数据集建立多任务学习的全景海上船舶态势感知网络模型;
获取实时遥感图像数据;
将实时遥感图像数据输入全景海上船舶态势感知网络模型进行多任务的船舶态势预测,得到船舶态势预测结果;
根据船舶态势预测结果进行海上船舶态势可视化。
2.根据权利要求1所述的基于多任务学习的全景海上船舶态势感知方法,其特征在于:获取遥感图像训练数据集,包括如下步骤:
获取历史遥感图像数据集并进行预处理和数据增强,得到预处理后历史遥感图像数据集;
根据数据样本标签生成预处理后历史遥感图像数据集中每张样本图像对应的标签图,得到遥感图像训练数据集。
3.根据权利要求2所述的基于多任务学习的全景海上船舶态势感知方法,其特征在于:所述的预处理为图像格式处理和归一化处理,所述的数据增强为颜色变换处理和几何变化处理。
4.根据权利要求2所述的基于多任务学习的全景海上船舶态势感知方法,其特征在于:所述的标签图包括船舶目标中心点标签图、船舶目标中心点偏移量标签图、目标定向边界框尺寸标签图、目标定向边界框旋转角度标签图以及航向点头部距中心点偏移量标签图。
5.根据权利要求1所述的基于多任务学习的全景海上船舶态势感知方法,其特征在于:所述的多任务学习的全景海上船舶态势感知网络模型包括特征提取模块、特征融合模块、船舶检测及航向预测模块、海陆分割模块以及推理结果合并模块,所述的特征提取模块设置有特征提取网络模型。
6.根据权利要求5所述的基于多任务学习的全景海上船舶态势感知方法,其特征在于:所述的多任务的船舶态势预测包括同时进行的船舶检测、航向预测以及海陆分割;
所述的船舶检测和航向预测使用中心点检测方法,所述的海陆分割使用语义分割方法。
7.根据权利要求6所述的基于多任务学习的全景海上船舶态势感知方法,其特征在于:根据遥感图像训练数据集建立多任务学习的全景海上船舶态势感知网络模型,包括如下步骤:
设置特征提取网络模型及其超参数;
设置损失函数及其权重和优化器并更新超参数;
根据损失函数及其权重、优化器以及特征提取网络模型及其更新后的超参数建立初始的全景海上船舶态势感知网络模型;
将遥感图像训练数据集输入初始的全景海上船舶态势感知网络模型进行优化,得到最优的全景海上船舶态势感知网络模型及其对应的模型参数。
9.根据权利要求6所述的基于多任务学习的全景海上船舶态势感知方法,其特征在于:将实时遥感图像数据输入全景海上船舶态势感知网络模型进行多任务的船舶态势预测,包括如下步骤:
获取实时遥感图像数据并进行预处理,得到预处理后实时图像数据;
使用全景海上船舶态势感知网络模型对预处理后实时图像数据进行多任务的船舶态势预测,得到船舶态势预测图;
根据船舶态势预测图得到船舶态势预测结果。
10.根据权利要求9所述的基于多任务学习的全景海上船舶态势感知方法,其特征在于:所述的船舶态势预测结果包括船舶检测得到的目标定向边界框、航向预测得到的航向点以及海陆分割得到的海陆分割掩模图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210216773.8A CN114627363A (zh) | 2022-03-07 | 2022-03-07 | 一种基于多任务学习的全景海上船舶态势感知方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210216773.8A CN114627363A (zh) | 2022-03-07 | 2022-03-07 | 一种基于多任务学习的全景海上船舶态势感知方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114627363A true CN114627363A (zh) | 2022-06-14 |
Family
ID=81899139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210216773.8A Pending CN114627363A (zh) | 2022-03-07 | 2022-03-07 | 一种基于多任务学习的全景海上船舶态势感知方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114627363A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114926726A (zh) * | 2022-07-20 | 2022-08-19 | 陕西欧卡电子智能科技有限公司 | 基于多任务网络的无人船感知方法及相关设备 |
CN116580313A (zh) * | 2023-03-31 | 2023-08-11 | 数字太空(北京)科技股份公司 | 一种基于数字孪生和遥感的异常船只识别方法及装置 |
-
2022
- 2022-03-07 CN CN202210216773.8A patent/CN114627363A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114926726A (zh) * | 2022-07-20 | 2022-08-19 | 陕西欧卡电子智能科技有限公司 | 基于多任务网络的无人船感知方法及相关设备 |
CN114926726B (zh) * | 2022-07-20 | 2022-10-28 | 陕西欧卡电子智能科技有限公司 | 基于多任务网络的无人船感知方法及相关设备 |
CN116580313A (zh) * | 2023-03-31 | 2023-08-11 | 数字太空(北京)科技股份公司 | 一种基于数字孪生和遥感的异常船只识别方法及装置 |
CN116580313B (zh) * | 2023-03-31 | 2023-11-14 | 数字太空(北京)科技股份公司 | 一种基于数字孪生和遥感的异常船只识别方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112818903B (zh) | 一种基于元学习和协同注意力的小样本遥感图像目标检测方法 | |
CN109583369B (zh) | 一种基于目标区域分割网络的目标识别方法及装置 | |
CN109255317B (zh) | 一种基于双网络的航拍图像差异检测方法 | |
CN111368690B (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及系统 | |
CN114627363A (zh) | 一种基于多任务学习的全景海上船舶态势感知方法 | |
WO2023287276A1 (en) | Geographic data processing methods and systems for detecting encroachment by objects into a geographic corridor | |
CN112347895A (zh) | 一种基于边界优化神经网络的舰船遥感目标检测方法 | |
CN113469177A (zh) | 基于深度学习的排水管道缺陷检测方法及系统 | |
CN114565860B (zh) | 一种多维度增强学习合成孔径雷达图像目标检测方法 | |
CN107731011B (zh) | 一种港口泊船监测方法、系统及电子设备 | |
CN110610165A (zh) | 一种基于yolo模型的船舶行为分析方法 | |
CN110490155B (zh) | 一种禁飞空域无人机检测方法 | |
US11670182B2 (en) | Systems and methods for intelligently displaying aircraft traffic information | |
CN113033315A (zh) | 一种稀土开采高分影像识别与定位方法 | |
Zhang et al. | A object detection and tracking method for security in intelligence of unmanned surface vehicles | |
CN115909096A (zh) | 无人机巡航管道隐患分析方法、装置及系统 | |
CN110837941B (zh) | 对油气管道进行风险预测的方法及装置 | |
Valčić et al. | Hybrid method for estimating wind loads on ships based on elliptic Fourier analysis and radial basis neural networks | |
KR20210150776A (ko) | 해상이미지의 기계학습을 통한 파랑정보 추정시스템 | |
CN115482277A (zh) | 一种社交距离风险预警方法及装置 | |
CN106952503A (zh) | 一种基于自适应多传感器管理的海上态势感知方法 | |
WO2021247961A1 (en) | System for asset management and coating maintenance | |
CN116823838B (zh) | 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统 | |
Pavlove et al. | Efficient Deep Learning Methods for Automated Visibility Estimation at Airports | |
CN110895680A (zh) | 一种基于区域建议网络的无人艇水面目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |