CN111832484B - 一种基于卷积感知哈希算法的回环检测方法 - Google Patents
一种基于卷积感知哈希算法的回环检测方法 Download PDFInfo
- Publication number
- CN111832484B CN111832484B CN202010675615.XA CN202010675615A CN111832484B CN 111832484 B CN111832484 B CN 111832484B CN 202010675615 A CN202010675615 A CN 202010675615A CN 111832484 B CN111832484 B CN 111832484B
- Authority
- CN
- China
- Prior art keywords
- neural network
- pictures
- convolutional neural
- convolution
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 230000008447 perception Effects 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims abstract description 16
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 35
- 238000012360 testing method Methods 0.000 claims description 12
- 238000007476 Maximum Likelihood Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 6
- 230000010485 coping Effects 0.000 abstract description 2
- 230000008878 coupling Effects 0.000 abstract description 2
- 238000010168 coupling process Methods 0.000 abstract description 2
- 238000005859 coupling reaction Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于卷积感知哈希算法的回环检测方法,其包括构建建立地图所需场景的图像数据集,构建并训练卷积神经网络,将训练好的卷积神经网络模型应用于SLAM系统进行回环检测。本发明基于卷积感知哈希算法的回环检测方法通过贪婪算法解决卷积神经网络的输出与哈希值之间的耦合问题,使用孪生网络输出的交叉熵作为损失函数训练卷积神经网络获得训练好的卷积神经网络。本发明具有较高的准确率和召回率,根据不同场景训练的网络,在应对不同场景时具备优秀的适应能力,能够很好的完成回环检测的功能,辅助SLAM构建正确的高精度地图。
Description
技术领域
本发明涉及即时定位与建图(SLAM)中的回环检测技术领域,更具体地,涉及一种基于深度卷积感知哈希的回环检测方法。
背景技术
在视觉SLAM(simultaneous localization and mapping,即时定位与地图构建)中,视觉里程计仅考虑相邻时间上的关键帧,如果上一时刻产生误差,那么误差必定会累积到下一时刻,使得整个SLAM出现累积误差,长期的估计结果必然是不可靠的。SLAM后端虽然可以估计最大后验误差,但在只存在相邻关键帧数据时,同样无法消除累计误差。
回环检测的意义就是给出除了相邻关键帧的约束外,时间更久远的约束。当机器人察觉相机经过了同一个地方,采集到了相似的数据这一情况,我们就可以提供更好的估计,得到一个全局已知的估计。回环检测关系到SLAM估计的轨迹和地图在长时间下的正确性,对机器人进行了重定位,能够非常有效的提升SLAM建图的精度。回环检测目前采用的技术一般为词袋法,通过识别图片上的特征并保存为单词,通过比较两帧图片上的特征数量来获得两帧图像的相似度,当相似度达到一定阈值,认为两帧是同一地点,认为发生回环。
词袋的回环检测算法完全依赖于外观,没有利用图中任何的几何信息,这容易导致外观相似的图像容易被当成回环。并且,由于词袋不在乎单词顺序,只在意单词有无的表达方式,更容易引发感知偏差。
发明内容
本发明的目的在于提供一种能够克服上述技术问题的卷积感知哈希算法的回环检测方法,本发明所述方法的特征在于基于深度学习技术,使用一种图像编码的技术来解决回环检测精度低、效率低的问题。
本发明基于卷积感知哈希算法的回环检测方法,包括以下步骤:
1)构建建立地图所需场景的图像数据集,图像数据集由两组图片组成,第一组图片中全为相似的图片,第二组图片中全为不相似的图片,将图像数据集划分为训练集和测试集,训练训练集中包含第一组图片的部分和第二组图片的部分,训练集用于卷积神经网络的训练,测试集用于检测训练好的神经网络是否有效;
2)构建并训练卷积神经网络,其包括以下步骤:
a)构建两个结构相同的卷积神经网络模块,每个卷积神经网络模块包括卷积层、池化层以及全连接层;
b)从训练集的两组图片中随机选取两张图片构成一组输入图片同时输入所构建的两个卷积神经网络模块,通过贪婪算法分别将两个卷积神经网络模块的输出变换成两个哈希码,卷积神经网络模块的输出和哈希码的连接方式如下:
其中,H是哈希码,O是卷积神经网络的输出,lr是超参数,L是交叉熵;
再计算两张图像的最大似然估计,两张图像对应的两个哈希码的最大似然函数如下:
通过最大似然函数计算损失函数,损失函数设置如下:
其中,n是指哈希码的位数,i,j分别指两张图片,α是超参数,hi是第i张图像对应的哈希码,hj是第j张图像对应的哈希码,si,j指输入的两张图片是否归属为一类图片;
c)将损失函数代回卷积神经网络进行反向传播,训练卷积神经网络并对训练好的神经网络进行测试,得到训练好的卷积神经网络模型;
3)将训练好的卷积神经网络模型应用于SLAM系统,不断的将构建地图的关键帧输入训练好的两个卷积神经网络模型中的其中一个,并计算关键帧的哈希码,再将计算得到哈希码的关键帧存储无序图中;
4)回环检测:
将当前获得的关键帧的哈希码和之前存储的每个哈希码根据如下公式分别计算汉明距离:
其中hi,hj表示两幅图的哈希码,表示异或操作;将计算得到的最小汉明距离与设定的阈值进行比较,若小于设定的阈值,则认为两帧图像为相似场景或者为同一场景,发生回环。
本发明的有益效果:
本发明基于卷积感知哈希算法的回环检测方法,通过贪婪算法解决卷积神经网络的输出与哈希值之间的耦合问题,使用孪生网络输出的交叉熵作为损失函数训练卷积神经网络获得训练好的卷积神经网络。通过视觉SLAM实时建立地图,并存储关键帧作为地图数据库,将关键帧输入训练好的卷积神经网络,计算获得对应关键帧的哈希值,与地图数据库进行对比,检测是否发生回环。本发明具有较高的准确率和召回率,根据不同场景训练的网络,在应对不同场景时具备优秀的适应能力,能够很好的完成回环检测的功能,辅助SLAM构建正确的高精度地图。
附图说明
图1是基于卷积感知哈希算法的回环检测方法的流程图。
图2是卷积神经网络模块的结构图。
图3为卷积网络哈希算法的学习流程示意图。
图4为回环检测的流程示意图。
具体实施方式
下面结合附图对本发明的实施方式进行详细描述。
本实施例中基于卷积感知哈希算法的回环检测方法,包括以下步骤:
1)构建建立地图所需场景的图像数据集,图像数据集由两组图片组成,第一组图片中全为相似的图片,第二组图片中全为不相似的图片,将图像数据集划分为训练集和测试集,训练训练集中包含第一组图片的部分和第二组图片的部分,训练集用于卷积神经网络的训练,测试集用于检测训练好的神经网络是否有效。
本实施例中图像数据集包含2万个类别,每个类中包含类似的图片。将数据集按照8:2的比例分成训练集和测试集,训练集用于卷积神经网络的训练,测试集用于检测训练好的神经网络是否有效。
2)构建并训练卷积神经网络,其包括以下步骤:
a)构建两个结构相同的卷积神经网络模块,每个卷积神经网络模块包括卷积层、池化层以及全连接层。
具体实施中可随场景复杂程度改变卷积层结构的卷积核大小和卷积层数量。卷积神经网络模块输入的图像尺寸为224x224x3像素的图像,可根据场景的不同人为选取5层至22层卷积层。高阶池化层均设计为均方差池化层,将卷积层输出的特征转换成样本协方差矩阵。
在场景简单,特征少的情况下可构建5层卷积网络,选择11x11的卷积核;在场景复杂,特征较多的情况下,构建深层卷积网络,随层数的加深,增加3x3卷积核的比例,提取更多的特征。同时采取“dropout”技术,以0.2的概率将每个隐层神经元的输出设置为0,避免过拟合。
本实施例中,每个卷积神经网络模块包括5层,第一个稠密块采用6个1x1卷积核和6个3x3卷积核,稠密块的内部每一层网络的输出由前一层网络的直接输出和经过卷积核卷积的输出组成,每个稠密块内部都经历这种运算。第一个稠密块的输出尺寸为56x56,经过一层池化层,输出尺寸变为28x28。第二个稠密块采用12个1x1的卷积核和12个3x3的卷积核输出,稠密块内部同样经历上述输出。第二个稠密块的输出尺寸为28x28,经过池化层变为14x14。第三个稠密块采用24个1x1的卷积核和24个3x3的卷积核,经历同样的操作输出7x7,第四个稠密块采用16个1x1的卷积核和16个3x3的卷积核,最终与全连接层连接。
b)从训练集的两组图片中随机选取两张图片构成一组输入图片同时输入所构建的两个卷积神经网络模块,通过贪婪算法分别将两个卷积神经网络模块的输出变换成两个哈希码,卷积神经网络模块的输出和哈希码的连接方式如下:
其中,H是哈希码,O是卷积神经网络的输出,lr是超参数,L是交叉熵;最终输出为哈希码。
再计算两张图像的最大似然估计,两张图像对应的两个哈希码的最大似然函数如下:
通过最大似然函数计算损失函数,损失函数设置如下:
其中,n是指哈希码的位数,i,j分别指两张图片,α是超参数,hi是第i张图像对应的哈希码,hj是第j张图像对应的哈希码,si,j指输入的两张图片是否归属为一类图片;
c)将损失函数代回卷积神经网络进行反向传播,训练卷积神经网络并对训练好的神经网络进行测试,得到训练好的卷积神经网络模型。
当卷积网络模块的输出使得相似的图片的哈希码的汉明距离足够小,不相似的图片的汉明距离足够大时证明网络训练完毕,保存网络模型。将测试集的图片输入卷积网络,观察结果,是否依旧能保持相似的图片的哈希码的汉明距离足够小,不相似的图片的哈希码的汉明距离足够大,如果能够实现,说明模型训练完成,保存模型。
3)将训练好的卷积神经网络模型应用于SLAM系统,不断的将构建地图的关键帧输入训练好的两个卷积神经网络模型中的其中一个,并计算关键帧的哈希码,再将计算得到哈希码的关键帧存储无序图中。
具体的,启动机器人开始构建SLAM地图,机器人的双目摄像头左右相机拍摄照片,根据一定条件适当的选取一些图片作为构建地图的关键帧。将构建地图的关键帧输入训练好的一个卷积网络模块,计算得到关键帧的哈希码,并将计算得到哈希码的关键帧存储在无序图中,无序图是一种根据哈希码排序的容器。
在机器人不断的运行构建地图的过程中,如果经过以前经过的场景,这时拍摄的照片同样会被根据一定的条件选取为关键帧。
4)回环检测:
将当前获得的关键帧的哈希码和之前存储的每个哈希码根据如下公式分别计算汉明距离:
其中hi,hj表示两幅图的哈希码,表示异或操作;将计算得到的最小汉明距离与设定的阈值进行比较,若小于设定的阈值,则认为两帧图像为相似场景或者为同一场景,发生回环。机器人就可以以此消除累计误差,减少SLAM构建的地图的漂移和尺寸变化。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (1)
1.一种基于卷积感知哈希算法的回环检测方法,其特征在于,包括以下步骤:
1)构建建立地图所需场景的图像数据集,图像数据集由两组图片组成,第一组图片中全为相似的图片,第二组图片中全为不相似的图片,将图像数据集划分为训练集和测试集,训练集中包含第一组图片的部分和第二组图片的部分,训练集用于卷积神经网络的训练,测试集用于检测训练好的神经网络是否有效;
2)构建并训练卷积神经网络,其包括以下步骤:
a)构建两个结构相同的卷积神经网络模块,每个卷积神经网络模块包括卷积层、池化层以及全连接层;
b)从训练集的两组图片中随机选取两张图片构成一组输入图片同时输入所构建的两个卷积神经网络模块,通过贪婪算法分别将两个卷积神经网络模块的输出变换成两个哈希码,卷积神经网络模块的输出和哈希码的连接方式如下:
其中,H是哈希码,O是卷积神经网络的输出,lr是超参数,L是交叉熵;再计算两张图像的最大似然估计,两张图像对应的两个哈希码的最大似然函数如下:
通过最大似然函数计算损失函数,损失函数设置如下:
其中,n是指哈希码的位数,i,j分别指两张图片,α是超参数,hi是第i张图像对应的哈希码,hj是第j张图像对应的哈希码,si,j指输入的两张图片是否归属为一类图片;
c)将损失函数代回卷积神经网络进行反向传播,训练卷积神经网络并对训练好的神经网络进行测试,得到训练好的卷积神经网络模型;
3)将训练好的卷积神经网络模型应用于SLAM系统,不断的将构建地图的关键帧输入训练好的两个卷积神经网络模型中的其中一个,并计算关键帧的哈希码,再将计算得到哈希码的关键帧存储无序图中;
4)回环检测:
将当前获得的关键帧的哈希码和之前存储的每个哈希码根据如下公式分别计算汉明距离:
其中hi,hj表示两幅图的哈希码,表示异或操作;将计算得到的最小汉明距离与设定的阈值进行比较,若小于设定的阈值,则认为两帧图像为相似场景或者为同一场景,发生回环。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010675615.XA CN111832484B (zh) | 2020-07-14 | 2020-07-14 | 一种基于卷积感知哈希算法的回环检测方法 |
JP2021035168A JP7097641B2 (ja) | 2020-07-14 | 2021-03-05 | 畳み込み知覚ハッシュアルゴリズムに基づくループ検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010675615.XA CN111832484B (zh) | 2020-07-14 | 2020-07-14 | 一种基于卷积感知哈希算法的回环检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111832484A CN111832484A (zh) | 2020-10-27 |
CN111832484B true CN111832484B (zh) | 2023-10-27 |
Family
ID=72924137
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010675615.XA Active CN111832484B (zh) | 2020-07-14 | 2020-07-14 | 一种基于卷积感知哈希算法的回环检测方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7097641B2 (zh) |
CN (1) | CN111832484B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112348865B (zh) * | 2020-10-30 | 2023-12-01 | 深圳市优必选科技股份有限公司 | 一种回环检测方法、装置、计算机可读存储介质及机器人 |
CN112381151B (zh) * | 2020-11-17 | 2024-03-22 | 有米科技股份有限公司 | 相似视频的确定方法及装置 |
CN112396167B (zh) * | 2020-12-30 | 2022-07-15 | 桂林电子科技大学 | 一种外观相似度与空间位置信息融合的回环检测方法 |
CN112861609B (zh) * | 2020-12-30 | 2024-04-09 | 中国电子科技集团公司信息科学研究院 | 一种多线程的内容关键帧识别效率提高方法 |
CN112836688B (zh) * | 2021-03-26 | 2023-09-26 | 广东电网有限责任公司江门供电局 | 瓦片图像的特征提取方法、装置、电子设备及存储介质 |
CN114565671A (zh) * | 2022-02-21 | 2022-05-31 | 北京航空航天大学 | 一种基于自编码器的回环检测方法 |
CN115147718B (zh) * | 2022-06-21 | 2024-05-28 | 北京理工大学 | 面向无人移动端视觉分析的场景自适应系统及其方法 |
CN115631319B (zh) * | 2022-11-02 | 2023-06-23 | 北京科技大学 | 一种基于交叉注意力网络的回环检测方法 |
CN115659249B (zh) * | 2022-12-28 | 2023-09-19 | 成都大汇物联科技有限公司 | 一种智能测站控制系统异常检测方法 |
CN118069885B (zh) * | 2024-04-19 | 2024-07-09 | 山东建筑大学 | 一种动态视频内容编码检索方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109658445A (zh) * | 2018-12-14 | 2019-04-19 | 北京旷视科技有限公司 | 网络训练方法、增量建图方法、定位方法、装置及设备 |
CN109783682A (zh) * | 2019-01-19 | 2019-05-21 | 北京工业大学 | 一种基于点对相似度的深度非松弛哈希图像检索方法 |
WO2020140386A1 (zh) * | 2019-01-02 | 2020-07-09 | 平安科技(深圳)有限公司 | 基于TextCNN知识抽取方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9754351B2 (en) * | 2015-11-05 | 2017-09-05 | Facebook, Inc. | Systems and methods for processing content using convolutional neural networks |
-
2020
- 2020-07-14 CN CN202010675615.XA patent/CN111832484B/zh active Active
-
2021
- 2021-03-05 JP JP2021035168A patent/JP7097641B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109658445A (zh) * | 2018-12-14 | 2019-04-19 | 北京旷视科技有限公司 | 网络训练方法、增量建图方法、定位方法、装置及设备 |
WO2020140386A1 (zh) * | 2019-01-02 | 2020-07-09 | 平安科技(深圳)有限公司 | 基于TextCNN知识抽取方法、装置、计算机设备及存储介质 |
CN109783682A (zh) * | 2019-01-19 | 2019-05-21 | 北京工业大学 | 一种基于点对相似度的深度非松弛哈希图像检索方法 |
Non-Patent Citations (1)
Title |
---|
基于深度学习的视觉SLAM回环检测方法;余宇;胡峰;;计算机工程与设计(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111832484A (zh) | 2020-10-27 |
JP7097641B2 (ja) | 2022-07-08 |
JP2022018066A (ja) | 2022-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111832484B (zh) | 一种基于卷积感知哈希算法的回环检测方法 | |
CN114782691B (zh) | 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备 | |
CN109543667B (zh) | 一种基于注意力机制的文本识别方法 | |
CN110348376B (zh) | 一种基于神经网络的行人实时检测方法 | |
CN111611847B (zh) | 基于尺度注意力空洞卷积网络的视频动作检测方法 | |
CN108734210B (zh) | 一种基于跨模态多尺度特征融合的对象检测方法 | |
US11640714B2 (en) | Video panoptic segmentation | |
CN111382686B (zh) | 一种基于半监督生成对抗网络的车道线检测方法 | |
CN109272493A (zh) | 一种基于递归卷积神经网络的单目视觉里程计方法 | |
CN111027555B (zh) | 一种车牌识别方法、装置及电子设备 | |
CN114445420B (zh) | 编解码结构结合注意力机制的图像分割模型及其训练方法 | |
CN112541434B (zh) | 一种基于中心点跟踪模型的人脸识别方法 | |
CN111241326B (zh) | 基于注意力金字塔图网络的图像视觉关系指代定位方法 | |
CN114511798A (zh) | 基于transformer的驾驶员分心检测方法及装置 | |
CN113313031B (zh) | 一种基于深度学习的车道线检测和车辆横向定位方法 | |
CN111275702B (zh) | 一种基于卷积神经网络的回环检测方法 | |
CN115410059B (zh) | 基于对比损失的遥感图像部分监督变化检测方法及设备 | |
CN112419317A (zh) | 一种基于自编码网络的视觉回环检测方法 | |
CN111275751B (zh) | 一种无监督绝对尺度计算方法及系统 | |
CN111401209B (zh) | 一种基于深度学习的动作识别方法 | |
CN111241986B (zh) | 一种基于端到端关系网络的视觉slam闭环检测方法 | |
CN114913597B (zh) | 基于OpenPose和轻量化神经网络的跌倒检测方法及系统 | |
CN117095033B (zh) | 一种基于图像与几何信息引导的多模态点云配准方法 | |
CN115409842B (zh) | 一种基于卷积自编解码器的遥感图像无监督变化检测方法 | |
CN113192009B (zh) | 一种基于全局上下文卷积网络的人群计数方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |