CN113822297A - 一种海上舰艇目标识别装置及方法 - Google Patents
一种海上舰艇目标识别装置及方法 Download PDFInfo
- Publication number
- CN113822297A CN113822297A CN202111001948.5A CN202111001948A CN113822297A CN 113822297 A CN113822297 A CN 113822297A CN 202111001948 A CN202111001948 A CN 202111001948A CN 113822297 A CN113822297 A CN 113822297A
- Authority
- CN
- China
- Prior art keywords
- camera
- target
- attitude
- sea
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 238000011176 pooling Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 239000013535 sea water Substances 0.000 claims description 2
- 241000282414 Homo sapiens Species 0.000 abstract description 2
- 230000036544 posture Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种海上舰艇目标识别装置及方法，识别系统通过云台连接在水面无人舰艇上，通过云台调整摄像头姿态使其获取的画面基本保持稳定，内部识别系统由姿态识别系统和型号识别系统两部分组成。识别系统通过识别船型，舷号等特征对船型做出判断；姿态识别系统通过船上舰炮等特征的排列顺序检测舰船姿态。本发明工作环境复杂多变，且多为人类无法工作的极端条件。本专利重新对神经网络中的卷积核进行设计，使其在样本量少和复杂工况下具有良好的鲁棒性。
Description
技术领域
本发明涉及模式识别与控制领域，针对海上舰艇目标与姿态识别，属于模式识别与控制领域。
背景技术
现代战争乃至未来战争，人的直接参与愈来愈少，武器装备日益向智能化方向发展，因而自动目标识别技术是一切智能武器系统中的关键技术，可帮助我海军在技术上确保平时对我海域的信息进行实时准确地跟踪和监视,战时对作战海域及其相关区域的敌方信息进行精确有效的侦察和判断。研究ATR技术的一个主要目的就是要使系统具备在复杂背景条件下检测、分类、识别目标的能力。
无人艇要具备自主执行任务能力，其必须配备“眼睛”功能，也就是具备目标识别能力，也正因为此，目标识别技术也是现代军事信息技术研究的核心问题之一，在军事情报收集和监控，武器制导等领域具有重要的理论和应用价值。其中，目标识别指对目标属性的识别,目标属性包括运动属性(位置、速度、加速度等)、类间属性(空中、海上、水下)、类型属性(舰船类型或型号)等。目标识别的重要意义在于,它与目标状态估计相结合，构成战场态势评定和威胁估计的基础是战术决策的重要依据。
发明内容
本发明解决了基于水面无人舰艇自主目标识别问题。识别系统通过云台连接在水面无人舰艇上，通过云台调整摄像头姿态使其获取的画面基本保持稳定，内部识别系统由姿态识别系统和型号识别系统两部分组成。识别系统通过识别船型，舷号等特征对船型做出判断；姿态识别系统通过船上舰炮等特征的排列顺序检测舰船姿态。
一套应用于船上的目标检测装置，包括防水外壳(1)、摄像头(2)、六自由度云台(3)和底座(4)。其中防水外壳(1)用于在海浪等复杂环境下保护摄像头、传感器、处理器等免于收到海水侵蚀；摄像头(2)用于对目标图像进行获取，摄像头(2)的内部电路将获取到的目标图像通过串口传给处理器；六自由度云台(3)用于维持摄像头的稳定，增加识别成功率；底座(4)用于连接六自由度云台和船体，使六自由度云台能够在船体上保持稳定。防水外壳(1)中有一小孔，摄像机(2)通过小孔对外进行观察，摄像机(2)通过螺丝固定在六自由度云台(3)上；防水外壳(1)和六自由度云台(3)通过卡口固定；六自由度云台和底座通过螺丝固定；底座(4)同样用螺丝固定在船体上。
一套海上舰艇目标识别检测方法如图2所示，该方法包括如下步骤：
S1：六自由度云台内置的陀螺仪感知相机姿态，并将拍摄到的海上舰船目标的姿态信息传至姿态识别算法。摄像头内置的陀螺仪感知相机位置，同样将相机位置信息传至姿态识别算法。姿态识别算法解算相机位置和姿态信息，通过相机位置和姿态信息对拍摄的海上舰船目标的图像进行位移、旋转等变换，并将完成变换后的图像发送至目标识别算法。
S2：六自由度云台内置的陀螺仪感知相机姿态，并通过姿态解算和PD算法控制电机使相机保持水平，并将舰艇姿态参数和相机位置参数发送至目标识别算法，并抄送至舰艇进行决策。
S3：目标识别算法将姿态识别算法所发送的数据进行聚类识别，结合舰艇姿态信息推算舰艇大小和方位，将目标舰艇类型，大小和方位发送至舰艇进行决策。
一套海上舰艇目标识别检测神经网络，其特征在于：
输入图片通过两组特异化卷积核1卷积层和maxpool最大池化层，再通过两组特异化卷积核2卷积层和maxpool最大池化层，接下来进行3*3*512层的普通卷积核和maxpool最大化池化层，最后进行三个线性化变换全连接层和softmax权重层得到获得识别信息。
一套新型卷积核算法，其特征在于：新型卷积核共有三组参数，分别是1*n卷积核，n*1卷积核和偏置角θ，三者共同组成一个偏置的方形矩阵。
一套新型卷积核算法，其特征在于：卷积核去掉了中间的元素，并将其数字由周围八个数的平均数代替。
一套新型海天线识别算法，其特征在于：
S1：对被检测图像经过暗通道预处理去除海上光线干扰。
S2：使用中值滤波、非线性增强等预处理，得到行均值梯度图，粗略估算海天线位置；
S3：对除海天线以外的区域进行平滑滤波处理，平滑二者背景中灰度起伏较大的噪声；
S4：利用Hough等直线拟合法对天空区域和海面区域滤波后的图像进行海天线提取。
本装置工作环境复杂多变，且多为人类无法工作的极端条件。本专利重新对神经网络中的卷积核进行设计，使其在样本量少和复杂工况下具有良好的鲁棒性。
附图说明
图1是本发明硬件整体结构图
图2是本发明软件整体结构图
图3是本发明所使用的识别系统
图4是本文所使用的卷积神经网络
图5是本文所使用的特异性卷积核1和特异性卷积核2
图6是特异化卷积核的算法示意图
图7是一种新型海天线识别方法
图中：如图1所示，一种海上目标识别系统，包括1.摄像头防水外壳，2.摄像头镜头，3、云台电机，4、云台底座。
如图2所示，云台由图像采集系统和云台系统组成，两者将所获得的数据通过图像处理算法将处理完的信息上报给舰艇进行决策。
图3所示为一套图像识别系统的基本组成，经过若干个神经网络，采集的信息最终被处理成军舰型号参数和军舰姿态参数。
图4所示为本专利中所使用的卷积神经网络，通过修改和替换卷积核，本专利中的神经网络具有更快地训练速度和更高的准确性。本专利中使用的特异性卷积核如图5所示。
图5所示为本专利中使用的特异性卷积核。
图6为图5的解释。
具体实施方式
下面结合附图对海上舰艇姿态识别系统进行说明：
如图1所示，4底座通过一组螺丝与船体相连，3电机为六个直线电机，上端与1摄像机相连，下端与4底座相连，通过调节直线电机的长度改变上方摄像头的姿态，通过不同的电机协同控制，上方云台可以实现六个自由度的独立控制，电机由云台姿态控制系统独立控制，在海面水文条件复杂的情况下保持摄像头的稳定。
本系统的软件结构如图2所示，图1所示的云台硬件由图像采集系统和云台系统两个子系统组成，其中云台系统主要负责控制电机的运动，其控制信号由云台运动控制系统给出，云台运动控制系统通过内置的陀螺仪感知舰船姿态，通过姿态解算和PD算法控制电机使相机保持水平。云台运动控制系统同时输出舰船运动信息和云台姿态信息，姿态识别算法通过结合运动信息、云台姿态信息和图像数据测算出目标舰船姿态，同时目标识别算法将图像数据中的数据进行提取，将目标信息交由舰艇进行决策。
图2中的目标识别算法和姿态识别算法如图3所示，首先使用神经网络对输入的原始图像进行舰首部位的识别。军舰姿态的识别和军舰型号的识别将并行完成。对于军舰型号的识别部分，算法将首先进行舷号的识别，若可以提取舷号信息，系统将提取得到的舷号信息与数据库进行比对，输出舰船信息供使用者决策。若无法提取舷号信息，通过对舰炮，雷达，直升机坪等关键信息的提取，将其位置与数据库中模型进行比对，也可以输出舰船信息供使用者决策。
图3中的神经网络具体由图四组成，输入图片通过两组特异化卷积核1卷积层和maxpool最大池化层，再通过两组特异化卷积核2卷积层和maxpool最大池化层，接下来进行3*3*512层的普通卷积核和maxpool最大化池化层，最后进行三个线性化变换全连接层和softmax权重层得到获得识别信息。
图4中的特异化卷积核1和特异化卷积核2分别如图5所示。图中左侧所示为一个5*5特异化卷积核1的产生过程。特异化卷积核1共有三组参数，分别是1*n卷积核，n*1卷积核和偏置角θ，三者共同组成一个偏置的方形矩阵(如图5的1-3中黑色网格所示)。在这个偏置的方形矩阵中画出与原始图片进行卷积计算的矩阵(如图5的1-3中网格所示)，对于每个相应网格，取距离其最近的四个网格中的数字与两者间的距离取加权平均填入网格中(如图6所示)。在图6中放大了图5中的一个区域，右侧放大图中的点是要计算的元素，算法为Elementred＝Σmi*Li/4；对于边长为L的卷积核，这种新型卷积核减少了L*L-2.8*L–1个元素的训练量，使神经网络可以在小样本量下更快地训练得到。
图中右侧所示的是特异化卷积核2的示意图，相较于现今通常使用的3*3卷积核，特异化卷积核去掉了中间的元素，并将其数字由周围八个数的平均数组成，这种新型卷积在基本不影响训练质量的基础上减小了1/9训练参数，使神经网络可以在小样本量下更快地训练得到。
系统还可以对海天线进行识别，由于水文条件复杂，环境光干扰强、海空背景复杂，图像质量差等原因，图像的噪声过大，导致海天线难以检测。本发明为此提出了一种海天线检测的新方法。首先，对被检测图像经过暗通道预处理去除海上光线干扰，使用中值滤波、非线性增强等预处理，得到行均值梯度图，粗略估算海天线位置；接下来对除海天线以外的区域(天空区域和海面区域)进行平滑滤波处理，平滑二者背景中灰度起伏较大的噪声(波浪或云等特征)；最后利用Hough等直线拟合法对天空区域和海面区域滤波后的图像进行海天线提取。
Claims (6)
1.一种海上舰艇目标识别装置，其特征在于：包括防水外壳(1)、摄像头(2)、六自由度云台(3)和底座(4)；其中防水外壳(1)用于在海浪等复杂环境下保护摄像头、传感器、处理器免于收到海水侵蚀；摄像头(2)用于对目标图像进行获取，摄像头(2)的内部电路将获取到的目标图像通过串口传给处理器；六自由度云台(3)用于维持摄像头的稳定，增加识别成功率；底座(4)用于连接六自由度云台和船体，使六自由度云台能够在船体上保持稳定；防水外壳(1)中有一小孔，摄像机(2)通过小孔对外进行观察，摄像机(2)通过螺丝固定在六自由度云台(3)上；防水外壳(1)和六自由度云台(3)通过卡口固定；六自由度云台和底座通过螺丝固定；底座(4)同样用螺丝固定在船体上。
2.利用权利要求1所述装置进行的一种海上舰艇目标识别方法，其特征在于：该方法包括如下步骤：
S1：六自由度云台内置的陀螺仪感知相机姿态，并将拍摄到的海上舰船目标的姿态信息传至姿态识别算法；摄像头内置的陀螺仪感知相机位置，同样将相机位置信息传至姿态识别算法；姿态识别算法解算相机位置和姿态信息，通过相机位置和姿态信息对拍摄的海上舰船目标的图像进行位移、旋转等变换，并将完成变换后的图像发送至目标识别算法；
S2：六自由度云台内置的陀螺仪感知相机姿态，并通过姿态解算和PD算法控制电机使相机保持水平，并将舰艇姿态参数和相机位置参数发送至目标识别算法，并抄送至舰艇进行决策；
S3：目标识别算法将姿态识别算法所发送的数据进行聚类识别，结合舰艇姿态信息推算舰艇大小和方位，将目标舰艇类型，大小和方位发送至舰艇进行决策。
3.根据权利要求2所述的一种海上舰艇目标识别方法，其特征在于：海上舰艇目标识别检测神经网络中，输入图片通过两组特异化卷积核1卷积层和maxpool最大池化层，再通过两组特异化卷积核2卷积层和maxpool最大池化层，接下来进行3*3*512层的普通卷积核和maxpool最大化池化层，最后进行三个线性化变换全连接层和softmax权重层得到获得识别信息。
4.根据权利要求2所述的一种海上舰艇目标识别方法，其特征在于：一套新型卷积核算法中，卷积核共有三组参数，分别是1*n卷积核，n*1卷积核和偏置角θ，三者共同组成一个偏置的方形矩阵。
5.根据权利要求2所述的一种海上舰艇目标识别方法，其特征在于：该方法的卷积核算法中，卷积核去掉了中间的元素，并将其数字由周围八个数的平均数代替。
6.根据权利要求2所述的一种海上舰艇目标识别方法，其特征在于：该方法的海天线识别方法过程如下，
S1：对被检测图像经过暗通道预处理去除海上光线干扰；
S2：使用中值滤波、非线性增强等预处理，得到行均值梯度图，粗略估算海天线位置；
S3：对除海天线以外的区域进行平滑滤波处理，平滑二者背景中灰度起伏较大的噪声；
S4：利用Hough等直线拟合法对天空区域和海面区域滤波后的图像进行海天线提取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111001948.5A CN113822297B (zh) | 2021-08-30 | 2021-08-30 | 一种海上舰艇目标识别装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111001948.5A CN113822297B (zh) | 2021-08-30 | 2021-08-30 | 一种海上舰艇目标识别装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113822297A true CN113822297A (zh) | 2021-12-21 |
| CN113822297B CN113822297B (zh) | 2024-03-01 |
Family
ID=78923311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111001948.5A Active CN113822297B (zh) | 2021-08-30 | 2021-08-30 | 一种海上舰艇目标识别装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113822297B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115620557A (zh) * | 2022-12-20 | 2023-01-17 | 深之蓝海洋科技股份有限公司 | 智慧口岸的智能作业系统和智能作业方法 |
| CN118314331A (zh) * | 2024-06-06 | 2024-07-09 | 湖南大学 | 一种面向海面场景的目标检测方法及其系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106643683A (zh) * | 2016-10-15 | 2017-05-10 | 中国人民解放军海军大连舰艇学院 | 一种海面目标自动检测装置及目标检测方法 |
| CN107197199A (zh) * | 2017-05-22 | 2017-09-22 | 哈尔滨工程大学 | 一种智能监控装置及目标跟踪方法 |
| CN110850403A (zh) * | 2019-11-18 | 2020-02-28 | 中国船舶重工集团公司第七0七研究所 | 一种多传感器决策级融合的智能船水面目标感知识别方法 |
| KR102282876B1 (ko) * | 2020-10-22 | 2021-07-28 | 한화시스템 주식회사 | 함정 자세 확인장치 및 확인방법 |
-
2021
- 2021-08-30 CN CN202111001948.5A patent/CN113822297B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106643683A (zh) * | 2016-10-15 | 2017-05-10 | 中国人民解放军海军大连舰艇学院 | 一种海面目标自动检测装置及目标检测方法 |
| CN107197199A (zh) * | 2017-05-22 | 2017-09-22 | 哈尔滨工程大学 | 一种智能监控装置及目标跟踪方法 |
| CN110850403A (zh) * | 2019-11-18 | 2020-02-28 | 中国船舶重工集团公司第七0七研究所 | 一种多传感器决策级融合的智能船水面目标感知识别方法 |
| KR102282876B1 (ko) * | 2020-10-22 | 2021-07-28 | 한화시스템 주식회사 | 함정 자세 확인장치 및 확인방법 |
Non-Patent Citations (2)
| Title |
|---|
| JIANFENG CAI 等: "A Multi-Degree of Freedom Manipulator Based on Active Vision Positioning", ARTIFICIAL INTELLIGENCE AND ROBOTICS RESEARCH, vol. 6, no. 3, pages 75 - 90 * |
| 李杨韬 等, 电子设计工程, vol. 24, no. 9, pages 12 - 14 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115620557A (zh) * | 2022-12-20 | 2023-01-17 | 深之蓝海洋科技股份有限公司 | 智慧口岸的智能作业系统和智能作业方法 |
| CN118314331A (zh) * | 2024-06-06 | 2024-07-09 | 湖南大学 | 一种面向海面场景的目标检测方法及其系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113822297B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107563303B (zh) | 一种基于深度学习的鲁棒性舰船目标检测方法 | |
| CN113822297B (zh) | 一种海上舰艇目标识别装置及方法 | |
| Pizarro et al. | Relative Pose Estimation for Instrumented, Calibrated Imaging Platforms. | |
| CN110414396A (zh) | 一种基于深度学习的无人艇感知融合算法 | |
| Liu et al. | Detection and pose estimation for short-range vision-based underwater docking | |
| CN109887040A (zh) | 面向视频监控的运动目标主动感知方法及系统 | |
| CN116245916B (zh) | 一种面向无人艇的红外舰船目标跟踪方法及装置 | |
| CN109859202B (zh) | 一种基于usv水面光学目标跟踪的深度学习检测方法 | |
| CN111062310B (zh) | 一种基于虚拟样本生成的少样本无人机图像识别方法 | |
| CN108303078A (zh) | 一种基于立体视觉的全方向船舶防撞预警与导航系统 | |
| CN110619276A (zh) | 基于无人机移动监控的异常及暴力检测系统和方法 | |
| CN106096617B (zh) | 一种基于改进主动轮廓模型的全景海天线提取方法 | |
| CN110334703A (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
| CN109165684A (zh) | 一种无人船海上大类目标视觉图像识别方法 | |
| Li et al. | Vision-based target detection and positioning approach for underwater robots | |
| CN111144208A (zh) | 一种海上船舶目标的自动检测和识别方法及目标检测器 | |
| CN107730539B (zh) | 自主水下机器人控制系统及声纳目标跟踪方法 | |
| CN116087982A (zh) | 一种融合视觉和雷达系统的海上落水人员识别及定位方法 | |
| CN109202911B (zh) | 一种基于全景视觉的集群两栖机器人三维定位方法 | |
| CN114429435A (zh) | 退化视觉环境下宽视场范围目标搜索装置、系统及方法 | |
| CN112215902B (zh) | 仿鹰眼中脑回路返回抑制机制的无人靶机目标检测方法 | |
| Cortés-Pérez et al. | A mirror-based active vision system for underwater robots: From the design to active object tracking application | |
| Larsson et al. | Latent space metric learning for sidescan sonar place recognition | |
| CN117454680A (zh) | 一种海洋搜索集群设计系统及方法 | |
| CN112987765A (zh) | 一种仿猛禽注意力分配的无人机/艇精准自主起降方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |