CN113379795A - 一种基于条件卷积和光流特征的多目标跟踪与分割方法 - Google Patents
一种基于条件卷积和光流特征的多目标跟踪与分割方法 Download PDFInfo
- Publication number
- CN113379795A CN113379795A CN202110557528.9A CN202110557528A CN113379795A CN 113379795 A CN113379795 A CN 113379795A CN 202110557528 A CN202110557528 A CN 202110557528A CN 113379795 A CN113379795 A CN 113379795A
- Authority
- CN
- China
- Prior art keywords
- optical flow
- tracks
- track
- objects
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000004083 survival effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract 1
- 230000005764 inhibitory process Effects 0.000 abstract 1
- 238000011160 research Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种基于条件卷积和光流特征的多目标跟踪与分割方法，首先，将视频每幅图像经过多层卷积操作提取不同尺度大小的外观特征图，同时提取与下一时刻图像的光流场特征，缩放为同样的尺度的运动特征，对外观特征和运动特征融合；其次，利用掩码的非最大抑制算法，合并可能同一对象的分割掩码，生成对应同意物体的唯一掩码；利用重识别网络，对检测和历史轨迹进行匹配，从而得到跟踪和分割的结果。本发明利用条件卷积和光流特征的融合算法，提高了图像目标检测和分割的便捷性和有效性，降低了单张图像检测的不可靠性，同时利用关联特征得到了跟踪的匹配结果。
Description
技术领域
本专利涉及计算机视觉与机器学习领域，特别是指一种面向行人的多目标与分割的处理方法。
背景技术
近年来，随着人工智能产业的持续火热，计算机视觉逐渐成为较为活跃的研究领域，而多目标跟踪是计算机视觉领域中具有重要研究意义的课题之一。随着计算机性能的不断提高与深度学习技术的不断发展，基于深度学习的目标跟踪技术逐渐成为研究热点，在取得突破性进展的同时被广泛应用于模式识别、无人驾驶、人机交互、智能机器人和视频监控等领域。
行人目标检测与跟踪是计算机视觉领域的一个重要方向，由于其技术应用场景愈发复杂，如何优化算法性能来应对这样的复杂场景，是我们的重要研究目标。当前的复杂环境问题主要有以下几点。(1)行人的遮挡问题，对于行人的遮挡可以大致的划分为行人的主动性和被动性遮挡，针对遮挡的情况可以划分为部分遮挡和完全遮挡，其中的完全遮挡可能会导致追踪目标和前期检测目标的不匹配并导致ID跳变，造成判断失误。(2)行人的外观刚性形变问题，如果行人自身发生不确定的形变(动作或者行人重叠等变化)，追踪行人的特征就会产生变化，导致低匹配的追踪失效。这个问题也可能由拍摄光线、摄像角度等因素引起。(3)视频模糊或视频背景复杂问题，视频中行人的高速运动会导致行人的外观特征(如轮廓、纹理、边缘等)变得模糊，而造成追踪失效。同时，复杂的环境也对追踪算法的模型有着较高的要求。
根据轨迹生成模式划分，多目标跟踪算法可以大致分为两类：离线多目标跟踪和在线多目标跟踪。
离线算法能够预先获得连续图像序列的整体信息，其中包括全序列的图像信息和检测结果，而后将多目标跟踪任务转化为检测结果的聚类。计算聚类检测结果的最大后验概率的过程，也就是实现多目标跟踪预测的过程，可以被转化为不同形式、不同类别的数理模型。其中有一些工作将多目标跟踪问题转化为图优化任务，将邻近帧间的目标检测匹配看作图中节点之间的边，进而可以通过最小代价网络流，k最短路径或者基于多裁剪和多分割的子图分解方法进行处理。
在线跟踪算法运行中，跟踪器只能接受到当前帧的图像信息和检测结果。所以，多目标跟踪问题可以被转化为将已有轨迹与当前图像中获取到的检测结果进行相似性度量，判定各个检测结果是否为正在跟踪目标轨迹的延伸的过程，这一过程被称为数据关联。大量研究针对多目标跟踪过程中的数据关联任务进行算法研究，例如，采用随机森林的方法对不同轨迹之前的外观特征进行匹配。
发明内容
为了解决现有的行人遮挡、跟踪准确度不高、鲁棒性差等问题，本发明提出了一种融合神经网络提取的特征和光流特征的多目标跟踪与分割方法。
本发明解决其技术问题所采用的技术方案是：
一种基于条件卷积和光流特征的多目标跟踪与分割方法，包括如下步骤：
步骤一：输入当前时刻图像帧，通过卷积神经网络提取当前图的像五个不同尺度大小的外观特征fi，i＝1,2,3,4,5，同时，输入当前图像相对于上一帧和下一帧的光流结果，通过下采样以及多个卷积层计算得到与fi相同大小的五个相应尺度的光流特征pi，i＝1,2,3,4,5；将光流特征pi与外观特征fi相乘，计算公共特征，再将公共特征与外观特征fi按元素相加，得到含有运动信息的特征图，并传入特征金字塔网络；
步骤二：对特征金字塔网络提取的特征图进行检测，得到当前图片上检测到的目标信息D1＝{d1,d2,d3,…}，其中每个d包含{class,score,box,mask,offset}，class代表该目标类别，只对行人进行检测，scores代表检测的置信度得分，box代表回归的边界框，mask代表分割掩码，offset表示该目标在下一帧上的偏移量；
步骤三：去除D1中置信度小于检测阈值θ的目标，并将检测集合D1进行基于分割掩码的非最大值抑制(Mask NMS)处理，结果检测初始化为活跃轨迹T＝{t1,t2,t3,…}，删除的检测设为不活跃轨迹inactive_tracks＝{t1,t2,t3,…},并删除不活跃轨迹中存活时间大于max_age的轨迹；
步骤四：输入第二帧图片以及该图片相对于下一帧的光流特征，并重复步骤一和步骤二得到第二帧图片上的D；
步骤五：每个活跃轨迹t通过offset去计算在第二帧上可能出现的位置dp，如果dp置信度大于回归阈值λ的用于更新T中的轨迹，否则添加到不活跃的轨迹inactive_tracks；
步骤六：通过重识别(re-ID)网络分别提取D和T中对象的n＝128维外观特征向量，并遍历循环计算外观特征向量的欧式距离
通过匈牙利算法进行匹配，D中成功匹配上的对象用于更新T中的对象，未成功匹配的对象再与不活跃轨迹Inactive_Track进行外观特征向量的匹配，成功匹配的轨迹添加到活跃轨迹中，D中仍未匹配的对象初始化为新的轨迹添加到T中，以此达到更新轨迹的目的；
步骤七：循环输入视频的下一帧，并重复步骤四和步骤五；
步骤八：对于每张图片上对象的分割结果，当出现某个像素点被分配给多个对象时，将该像素点分配给置信度得分更高的对象。
本发明的技术构思为：将光流特征与神经网络提取的特征融合，并通过网络中的offset分支去预测目标在下一帧上的位置，以此增强网络对遮挡目标的检测能力。然后通过re-ID网络对目标进行关联，以此来更新轨迹。
本发明的有益效果为：利用光流特征，提出了一种鲁棒性强、像素级的多目标跟踪方法，提高了多目标跟踪并分割的跟踪精度，降低了漏检和误检率
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图对本发明做进一步说明。
参照图1，一种基于条件卷积和光流特征的多目标跟踪与分割方法，包括如下步骤：
步骤一：输入当前时刻图像帧，通过卷积神经网络提取当前图的像五个不同尺度大小的外观特征fi，i＝1,2,3,4,5，同时，输入当前图像相对于上一帧和下一帧的光流结果，通过下采样以及多个卷积层计算得到与fi相同大小的五个相应尺度的光流特征pi，i＝1,2,3,4,5；将光流特征pi与外观特征fi相乘，计算公共特征，再将公共特征与外观特征fi按元素相加，得到含有运动信息的特征图，并传入特征金字塔网络；
步骤二：对特征金字塔网络提取的特征图进行检测，得到当前图片上检测到的目标信息D1＝{d1,d2,d3,…}，其中每个d包含{class,score,box,mask,offset}，class代表该目标类别，在本发明中，只对行人进行检测，scores代表检测的置信度得分，box代表回归的边界框，mask代表分割掩码，offset表示该目标在下一帧上的偏移量；
步骤三：去除D1中置信度小于检测阈值θ的目标，并将检测集合D1进行基于分割掩码的非最大值抑制(Mask NMS)处理，结果检测初始化为活跃轨迹T＝{t1,t2,t3,…}，删除的检测设为不活跃轨迹inactive_tracks＝{t1,t2,t3,…},并删除不活跃轨迹中存活时间大于max_age的轨迹；
步骤四：输入第二帧图片以及该图片相对于下一帧的光流特征，并重复步骤一和步骤二得到第二帧图片上的D；
步骤五：每个活跃轨迹t通过offset去计算在第二帧上可能出现的位置dp，如果dp置信度大于回归阈值λ的用于更新T中的轨迹，否则添加到不活跃的轨迹inactive_tracks；
步骤六：通过重识别(re-ID)网络分别提取D和T中对象的n＝128维外观特征向量，并遍历循环计算外观特征向量的欧式距离
通过匈牙利算法进行匹配，D中成功匹配上的对象用于更新T中的对象，未成功匹配的对象再与不活跃轨迹Inactive_Track进行外观特征向量的匹配，成功匹配的轨迹添加到活跃轨迹中，D中仍未匹配的对象初始化为新的轨迹添加到T中，以此达到更新轨迹的目的；
步骤七：循环输入视频的下一帧，并重复步骤四和步骤五；
步骤八：对于每张图片上对象的分割结果，当出现某个像素点被分配给多个对象时，将该像素点分配给置信度得分更高的对象。
本实施例的方案将光流特征与神经网络提取的特征融合，并通过网络中的offset分支去预测目标在下一帧上的位置，以此增强网络对遮挡目标的检测能力。然后通过re-ID网络对目标进行关联，以此来更新轨迹。
如上所述，本专利实施的具体实现步骤使本发明更加清晰。在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。
Claims (1)
1.一种基于条件卷积和光流特征的多目标跟踪与分割方法，其特征在于，所述方法包括如下步骤：
步骤一：输入当前帧图片，通过卷积神经网络提取当前图片五个不同尺度大小的外观特征fi，i＝1,2,3,4,5，同时，输入当前图片相对于上一帧和下一帧的光流结果，通过下采样以及多个卷积层计算得到与fi相同大小的五个相应尺度的光流特征pi，i＝1,2,3,4,5；将光流特征pi与外观特征fi相乘，计算公共特征，再将公共部分与外观特征fi按元素相加，得到含有运动信息的特征图，并传入特征金字塔网络；
步骤二：对特征金字塔网络提取的特征图进行检测，得到当前图片上检测到的目标信息D1＝{d1,d2,d3,…}，其中每个d包含{class,score,box,mask,offset}，class代表该目标类别，只对行人进行检测，scores代表检测的置信度得分，box代表回归的边界框，mask代表分割掩码，offset表示该目标在下一帧上的偏移量；
步骤三：去除D1中置信度小于检测阈值θ的目标，并将检测结果D1进行Mask NMS处理，剩下的对象初始化为活跃轨迹T＝{t1,t2,t3,…}，删除的对象添加到不活跃轨迹inactive_tracks＝{t1,t2,t3,…}，并删除不活跃轨迹中存活时间大于max_age的轨迹；
步骤四：输入第二帧图片以及该图片相对于下一帧的光流特征，并重复步骤一和步骤二得到第二帧图片上的D；
步骤五：轨迹T通过offset去计算在第二帧上可能出现的位置pred_Detection，pred_Detection中大于回归阈值λ的用于更新T中的轨迹，否则添加到不活跃的轨迹inactive_tracks；
步骤六：通过重识别(re-ID)网络分别提取D和T中对象的n＝128维外观特征向量，并遍历循环计算外观特征向量的欧式距离
通过匈牙利算法进行匹配，D中成功匹配上的对象用于更新T中的对象，未成功匹配的对象再与不活跃轨迹Inactive_Track进行外观特征向量的匹配，成功匹配的轨迹添加到活跃轨迹中，D中仍未匹配的对象初始化为新的轨迹添加到T中，以此达到更新轨迹的目的；
步骤七：循环输入视频的下一帧，并重复步骤四和步骤五；
步骤八：对于每张图片上对象的分割结果，当出现某个像素点被分配给多个对象时，将该像素点分配给置信度得分更高的对象。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110557528.9A CN113379795B (zh) | 2021-05-21 | 2021-05-21 | 一种基于条件卷积和光流特征的多目标跟踪与分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110557528.9A CN113379795B (zh) | 2021-05-21 | 2021-05-21 | 一种基于条件卷积和光流特征的多目标跟踪与分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113379795A true CN113379795A (zh) | 2021-09-10 |
| CN113379795B CN113379795B (zh) | 2024-03-22 |
Family
ID=77571600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110557528.9A Active CN113379795B (zh) | 2021-05-21 | 2021-05-21 | 一种基于条件卷积和光流特征的多目标跟踪与分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113379795B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114091630A (zh) * | 2022-01-24 | 2022-02-25 | 阿里巴巴达摩院(杭州)科技有限公司 | 获取目标对象移动轨迹信息的方法、装置及系统 |
| WO2023083231A1 (en) * | 2021-11-12 | 2023-05-19 | Huawei Technologies Co., Ltd. | System and methods for multiple instance segmentation and tracking |
| CN118397038A (zh) * | 2024-06-24 | 2024-07-26 | 中南大学 | 基于深度学习的运动目标分割方法、系统、设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020155873A1 (zh) * | 2019-02-02 | 2020-08-06 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
| CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
-
2021
- 2021-05-21 CN CN202110557528.9A patent/CN113379795B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020155873A1 (zh) * | 2019-02-02 | 2020-08-06 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
| CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023083231A1 (en) * | 2021-11-12 | 2023-05-19 | Huawei Technologies Co., Ltd. | System and methods for multiple instance segmentation and tracking |
| US12033307B2 (en) | 2021-11-12 | 2024-07-09 | Huawei Technologies Co., Ltd. | System and methods for multiple instance segmentation and tracking |
| CN114091630A (zh) * | 2022-01-24 | 2022-02-25 | 阿里巴巴达摩院(杭州)科技有限公司 | 获取目标对象移动轨迹信息的方法、装置及系统 |
| CN118397038A (zh) * | 2024-06-24 | 2024-07-26 | 中南大学 | 基于深度学习的运动目标分割方法、系统、设备及介质 |
| CN118397038B (zh) * | 2024-06-24 | 2024-09-03 | 中南大学 | 基于深度学习的运动目标分割方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113379795B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111640140B (zh) | 目标跟踪方法、装置、电子设备及计算机可读存储介质 | |
| CN110660082B (zh) | 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法 | |
| CN113379795A (zh) | 一种基于条件卷积和光流特征的多目标跟踪与分割方法 | |
| CN110288627B (zh) | 一种基于深度学习和数据关联的在线多目标跟踪方法 | |
| Lin et al. | ReCF: Exploiting response reasoning for correlation filters in real-time UAV tracking | |
| CN112507859B (zh) | 一种用于移动机器人的视觉跟踪方法 | |
| CN111354022B (zh) | 基于核相关滤波的目标跟踪方法及系统 | |
| CN114926859B (zh) | 一种结合头部跟踪的密集场景下行人多目标跟踪方法 | |
| Ding et al. | 3dmotformer: Graph transformer for online 3d multi-object tracking | |
| CN111127519A (zh) | 一种双模型融合的目标跟踪控制系统及其方法 | |
| Silva et al. | Monocular trail detection and tracking aided by visual SLAM for small unmanned aerial vehicles | |
| Saleh et al. | Artist: Autoregressive trajectory inpainting and scoring for tracking | |
| Weng et al. | Sequential forecasting of 100,000 points | |
| Wang et al. | Effective multiple pedestrian tracking system in video surveillance with monocular stationary camera | |
| CN111739066A (zh) | 一种基于高斯过程的视觉定位方法、系统及存储介质 | |
| Lotfi et al. | Robust object tracking based on recurrent neural networks | |
| CN118038341A (zh) | 多目标跟踪方法、装置、计算机设备以及存储介质 | |
| CN118189959A (zh) | 一种基于yolo姿态估计的无人机目标定位方法 | |
| Pérez-Cutiño et al. | Event-based human intrusion detection in UAS using deep learning | |
| CN117392417A (zh) | 一种基于语义拓扑结构的视觉slam相似度方法 | |
| Guo et al. | Global-Local MAV Detection Under Challenging Conditions Based on Appearance and Motion | |
| Zhang et al. | A reliable unmanned aerial vehicle multi-target tracking system with global motion compensation for monitoring Procapra przewalskii | |
| Liu et al. | Online multi-object tracking under moving unmanned aerial vehicle platform based on object detection and feature extraction network | |
| Ju et al. | Online multi-object tracking based on hierarchical association framework | |
| Guclu et al. | Rgb-d indoor mapping using deep features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |