CN111931619A - 一种基于优化聚类算法的跨域步态重识别方法 - Google Patents
一种基于优化聚类算法的跨域步态重识别方法 Download PDFInfo
- Publication number
- CN111931619A CN111931619A CN202010757753.2A CN202010757753A CN111931619A CN 111931619 A CN111931619 A CN 111931619A CN 202010757753 A CN202010757753 A CN 202010757753A CN 111931619 A CN111931619 A CN 111931619A
- Authority
- CN
- China
- Prior art keywords
- dbscan
- gaitset
- network
- gait
- training set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005021 gait Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013095 identification testing Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于优化聚类算法的跨域步态重识别方法,首先使用有标签的源域训练集初始化GaitSet网络参数;然后利用训练好的GaitSet网络输出的特征,通过优化后的聚类算法,给无标签的目标域训练集聚类赋伪标签,获得带有伪标签的目标域训练集;最后通过带有伪标签yt的目标域训练集更新GaitSet网络参数,最终通过更新后的GaitSet网络进行跨域步态重识别。本发明方法解决了传统聚类算法,聚类结果不可靠和噪声大的问题,提高了聚类结果的可靠性,提升跨域场景下的识别精度。
Description
技术领域
本发明涉及步态识别技术领域,尤其可以应用于跨域的步态识别方面,具体地说,提出了一种利用优化的聚类算法来提升跨域场景下的步态识别。
背景技术
首先介绍行人重识别技术,行人重识别是指输入一个目标行人图像或视频片段,在拍摄区域不重叠的多摄像头监控网络中搜索与目标行人身份相同的行人。十多年来,该领域的研究人员从手工制作的特征到深度卷积神经网络(CNN)或递归神经网络(RNN),现有方法的性能得到了显著提高。
然而,这些方法只考虑在单个数据集上训练和测试模型,而忽略了跨域(交叉数据集)的情况,因此,研究人员也研究了无监督的跨域行人重识别任务,通常的做法是首先采用CNN对有标记的源域数据进行预训练,然后在未标记的目标域数据中提取特征。再利用K-means或DBSCAN等聚类方法应用于目标域数据生成伪标签。最后,利用带有伪标签的目标样本对CNN进行微调。
步态识别是行人重识别的一种特例。步态是一种极具潜质的生物特征,它反映了行人的行走模式。由于存在运动差异和体型差异,每个人的步态都是唯一的,利用步态可以唯一识别视频中的目标行人。现存的步态识别技术可分为传统步态识别和基于深度学习的步态识别两类:
传统的步态识别方法大致分为两类:基于模型的步态识别和基于外形的步态识别,前者是通过对人体肢体运动模式进行建模来刻画步态参数,如运动轨迹、肢体长度、肢体弯曲角度等,然后利用运动模式的差异辨别不同的行人,后者则是直接从捕获的步态序列中提取步态的空间信息和时序信息,然后通过计算特征之间的相似性来完成步态识别。
近些年,深度学习在图像、视频、语音等方面取得了突破性的进展,并展现了强大的特征学习能力。目前,最先进的基于深度学习的方法进行步态识别的工作是发表在AAAI2019上的GaitSet,它巧妙的将步态轮廓图当作没有时序关系的图像集,让深度神经网络自身优化去提取并利用步态轮廓图之间的时序关系,从而充分利用时间-空间信息,并取得了当前在单个步态数据集上最好的步态识别效果。
尽管深度学习对步态识别有了很大的改进,但现有的研究只考虑在单个步态数据集上进行模型的训练和测试,它们仍然忽略了一个更实用但更具挑战性的任务-跨域/数据集的步态识别。由于跨域会存在域间类别数不对等和数据风格不一致等问题,所以将一个步态数据集上训练的模型直接应用于其他步态数据集进行测试,通常会获得较差的结果。
发明内容
本发明针对跨域步态识别任务,提出了一种基于优化聚类算法的跨域步态重识别方法。为了从步态序列中学习到有效的特征,我们采用当前最先进的深度学习模型GaitSet作为本发明的主干网络。首先,我们在源域数据集上有监督的训练GaitSet网络,并将此作为目标域上的先验知识。接着,使用优化聚类方法,给无标签的目标域训练集生成伪标签。最后通过优化后的伪标签更新GaitSet网络参数,是其在无真实标签的目标域达到不错的重识别效果。总之,我们的方法通过优化聚类算法,使得伪标签越来越可靠,从而提升跨域步态识别的性能。
一种基于优化聚类算法的跨域步态重识别方法,步骤如下:
步骤1、使用有标签的源域训练集初始化GaitSet网络参数;
步骤2、利用训练好的GaitSet网络输出的特征,通过优化后的聚类算法,给无标签的目标域训练集聚类赋伪标签,获得带有伪标签的目标域训练集;
步骤3、利用步骤2获得的目标域训练集伪标签yt,进一步通过带有伪标签yt的目标域训练集更新GaitSet网络参数,最终通过更新后的GaitSet网络进行跨域步态重识别;
步骤1具体操作如下:
通过有标签的源域训练集训练GaitSet网络,并同时使用Triplet loss梯度反传更新GaitSet网络的参数。采用的Triplet loss的数学定义如下:
步骤2、具体操作如下:
采用3个DBSCAN:DBSCANoriginal、DBSCANloose和DBSCANtight来减轻错误聚类带来的风险。
DBSCAN是一种基于密度聚类的传统算法,其用到的主要参数有两个,一个族内半径,一个是族内样本数。本发明的3个DBSCAN均设置组内样本数为4,其次它们的族内半径分别设置如下:DBSCANoriginal的族内半径取值为0.6,DBSCANloose的族内半径取值为0.62和DBSCANtight的族内半径取值为0.58。
通过松散性Rindep和紧致性Rcomp来判别DBSCAN聚类后的族的可靠性,松散性Rindep的数学定义如下:
其中,f是经过GaitSet网络输出的特征,I(f)指DBSCANoriginal聚类的一个族,Iloose(f)指DBSCANloose聚类的一个族。
紧致性Rcomp的数学定义如下:
其中,f是经过GaitSet网络输出的特征,I(f)指DBSCANoriginal聚类的一个族,Icomp(f)指DBSCANtight聚类的一个族。
当Rindep和Rcomp都越接近于1,说明对应的族越可靠。通过设定松散性阈值α和紧致性阈值β来判断族的可靠性,当Rindep>α且Rcomp>β(α,β∈[0,1])时,即认定该族是可靠的,否则就丢弃该族。
最终3个DBSCAN通过松散性和紧致性判定获得可靠的目标域训练集伪标签yt。
步骤3、具体操作如下:
通过带有伪标签yt的目标域训练集再次采用步骤1的训练方式训练GaitSet网络,同样使用Triplet loss反传梯度,更新步骤1中得到的GaitSet网络参数,最终通过更新后的GaitSet网络进行跨域步态重识别,即在目标域的测试集进行步态的重识别测试。
本发明有益结果如下:
1、一定程度上,解决了传统聚类算法,聚类结果不可靠和噪声大的问题。
2、利用本发明介绍的紧致性、松散性和3个DBSCAN优化聚类过程,提高了聚类结果的可靠性。
3、将本发明介绍的优化聚类算法应用于跨域步态重识别场景,提升跨域场景下的识别精度。
附图说明
图1为本发明方法的整体框架流程图;
图2为本发明提出的好的松散性展示图;
图3为本发明提出的差的松散性展示图;
图4为本发明提出的好的紧致性展示图;
图5为本发明提出的差的紧致性展示图。
具体实施方式
以下结合附图及实施例,对本发明进行进一步的详细说明。
本发明提出了一种基于优化聚类算法的跨域步态重识别方法。图1为本发明方法整体框架流程图;下面详细说明本发明的各个步骤:
步骤1、使用有标签的源域训练集初始化GaitSet网络参数;
目前在单数据集上的步态识别识别性能最好是GaitSet网络,该网络很好的利用步态序列的时空信息,取得了SOTA的步态识别性能。采用GaitSet网络作为主干模型,首先通过有标签的源域训练集训练GaitSet网络,并同时使用Triplet loss梯度反传更新GaitSet网络的参数。采用的Triplet loss的数学定义如下:
步骤2、利用训练好的GaitSet网络输出的特征,通过优化后的聚类算法,给无标签的目标域训练集聚类赋伪标签,获得带有伪标签的目标域训练集;
传统的聚类算法,如DBSCAN,聚类后的伪标签往往都是存在错误聚类的情况,这是跨域识别性能低下的重要原因之一,本发明采用3个DBSCAN:DBSCANoriginal、DBSCANloose和DBSCANtight来减轻错误聚类带来的风险。
DBSCAN是一种基于密度聚类的传统算法,其用到的主要参数有两个,一个族内半径,一个是族内样本数。本发明的3个DBSCAN均设置组内样本数为4,其次它们的族内半径分别设置如下:DBSCANoriginal的族内半径取值为0.6,DBSCANloose的族内半径取值为0.62和DBSCANtight的族内半径取值为0.58。
通过松散性Rindep和紧致性Rcomp来判别DBSCAN聚类后的族的可靠性,松散性Rindep的数学定义如下:
其中,f是经过GaitSet网络输出的特征,I(f)指DBSCANoriginal聚类的一个族,Iloose(f)指DBSCANloose聚类的一个族。
紧致性Rcomp的数学定义如下:
其中,f是经过GaitSet网络输出的特征,I(f)指DBSCANoriginal聚类的一个族,Icomp(f)指DBSCANtight聚类的一个族。
当Rindep和Rcomp都越接近于1,说明对应的族越可靠。通过设定松散性阈值α和紧致性阈值β来判断族的可靠性,当Rindep>α且Rcomp>β(α,β∈[0,1])时,即认定该族是可靠的,否则就丢弃该族。
最终3个DBSCAN通过松散性和紧致性判定获得可靠的目标域训练集伪标签yt。
图2为本发明提出的好的松散性展示图;
图3为本发明提出的差的松散性展示图;
图4为本发明提出的好的紧致性展示图;
图5为本发明提出的差的紧致性展示图。
步骤3、利用步骤2获得的目标域训练集伪标签yt,进一步通过带有伪标签yt的目标域训练集更新GaitSet网络参数,最终通过更新后的GaitSet网络进行跨域步态重识别;
通过带有伪标签yt的目标域训练集再次采用步骤1的训练方式训练GaitSet网络,同样使用Triplet loss反传梯度,更新步骤1中得到的GaitSet网络参数,最终通过更新后的GaitSet网络进行跨域步态重识别,即在目标域的测试集进行步态的重识别测试。
Claims (4)
1.一种基于优化聚类算法的跨域步态重识别方法,其特征在于,步骤如下:
步骤1、使用有标签的源域训练集初始化GaitSet网络参数;
步骤2、利用训练好的GaitSet网络输出的特征,通过优化后的聚类算法,给无标签的目标域训练集聚类赋伪标签,获得带有伪标签的目标域训练集;
步骤3、利用步骤2获得的目标域训练集伪标签yt,进一步通过带有伪标签yt的目标域训练集更新GaitSet网络参数,最终通过更新后的GaitSet网络进行跨域步态重识别。
3.根据权利要求2所述的一种基于优化聚类算法的跨域步态重识别方法,其特征在于,步骤2具体操作如下:
采用3个DBSCAN:DBSCANoriginal、DBSCANloose和DBSCANtight来减轻错误聚类带来的风险;
DBSCAN是一种基于密度聚类的传统算法,其用到的主要参数有两个,一个族内半径,一个是族内样本数;本发明的3个DBSCAN均设置组内样本数为4,其次它们的族内半径分别设置如下:DBSCANoriginal的族内半径取值为0.6,DBSCANloose的族内半径取值为0.62和DBSCANtight的族内半径取值为0.58;
通过松散性Rindep和紧致性Rcomp来判别DBSCAN聚类后的族的可靠性,松散性Rindep的数学定义如下:
其中,f是经过GaitSet网络输出的特征,I(f)指DBSCANoriginal聚类的一个族,Iloose(f)指DBSCANloose聚类的一个族;
紧致性Rcomp的数学定义如下:
其中,f是经过GaitSet网络输出的特征,I(f)指DBSCANoriginal聚类的一个族,Icomp(f)指DBSCANtight聚类的一个族;
当Rindep和Rcomp都越接近于1,说明对应的族越可靠;通过设定松散性阈值α和紧致性阈值β来判断族的可靠性,当Rindep>α且Rcomp>β(α,β∈[0,1])时,即认定该族是可靠的,否则就丢弃该族;
最终3个DBSCAN通过松散性和紧致性判定获得可靠的目标域训练集伪标签yt。
4.根据权利要求3所述的一种基于优化聚类算法的跨域步态重识别方法,其特征在于,步骤3具体操作如下:
通过带有伪标签yt的目标域训练集再次采用步骤1的训练方式训练GaitSet网络,同样使用Tripletloss反传梯度,更新步骤1中得到的GaitSet网络参数,最终通过更新后的GaitSet网络进行跨域步态重识别,即在目标域的测试集进行步态的重识别测试。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010757753.2A CN111931619B (zh) | 2020-07-31 | 2020-07-31 | 一种基于优化聚类算法的跨域步态重识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010757753.2A CN111931619B (zh) | 2020-07-31 | 2020-07-31 | 一种基于优化聚类算法的跨域步态重识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111931619A true CN111931619A (zh) | 2020-11-13 |
CN111931619B CN111931619B (zh) | 2024-04-05 |
Family
ID=73314973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010757753.2A Active CN111931619B (zh) | 2020-07-31 | 2020-07-31 | 一种基于优化聚类算法的跨域步态重识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111931619B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378714A (zh) * | 2021-06-10 | 2021-09-10 | 大连海事大学 | 一种跨场景不变和类别信息保持的步态表示方法及系统 |
CN113792758A (zh) * | 2021-08-18 | 2021-12-14 | 中国矿业大学 | 一种基于自监督学习和聚类的滚动轴承故障诊断方法 |
CN116246349A (zh) * | 2023-05-06 | 2023-06-09 | 山东科技大学 | 一种基于渐进式子域挖掘的单源域领域泛化步态识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555390A (zh) * | 2019-08-09 | 2019-12-10 | 厦门市美亚柏科信息股份有限公司 | 基于半监督训练方式的行人重识别方法、装置及介质 |
CN110688898A (zh) * | 2019-08-26 | 2020-01-14 | 东华大学 | 基于时空双流卷积神经网络的跨视角步态识别方法 |
CN110942025A (zh) * | 2019-11-26 | 2020-03-31 | 河海大学 | 一种基于聚类的无监督跨域行人重识别方法 |
CN111027442A (zh) * | 2019-12-03 | 2020-04-17 | 腾讯科技(深圳)有限公司 | 用于行人重识别的模型训练方法、识别方法、装置及介质 |
-
2020
- 2020-07-31 CN CN202010757753.2A patent/CN111931619B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555390A (zh) * | 2019-08-09 | 2019-12-10 | 厦门市美亚柏科信息股份有限公司 | 基于半监督训练方式的行人重识别方法、装置及介质 |
CN110688898A (zh) * | 2019-08-26 | 2020-01-14 | 东华大学 | 基于时空双流卷积神经网络的跨视角步态识别方法 |
CN110942025A (zh) * | 2019-11-26 | 2020-03-31 | 河海大学 | 一种基于聚类的无监督跨域行人重识别方法 |
CN111027442A (zh) * | 2019-12-03 | 2020-04-17 | 腾讯科技(深圳)有限公司 | 用于行人重识别的模型训练方法、识别方法、装置及介质 |
Non-Patent Citations (1)
Title |
---|
汪堃;雷一鸣;张军平;: "基于双流步态网络的跨视角步态识别", 模式识别与人工智能, no. 05 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378714A (zh) * | 2021-06-10 | 2021-09-10 | 大连海事大学 | 一种跨场景不变和类别信息保持的步态表示方法及系统 |
CN113378714B (zh) * | 2021-06-10 | 2024-03-19 | 大连海事大学 | 一种跨场景不变和类别信息保持的步态表示方法及系统 |
CN113792758A (zh) * | 2021-08-18 | 2021-12-14 | 中国矿业大学 | 一种基于自监督学习和聚类的滚动轴承故障诊断方法 |
CN113792758B (zh) * | 2021-08-18 | 2023-11-07 | 中国矿业大学 | 一种基于自监督学习和聚类的滚动轴承故障诊断方法 |
CN116246349A (zh) * | 2023-05-06 | 2023-06-09 | 山东科技大学 | 一种基于渐进式子域挖掘的单源域领域泛化步态识别方法 |
CN116246349B (zh) * | 2023-05-06 | 2023-08-15 | 山东科技大学 | 一种基于渐进式子域挖掘的单源域领域泛化步态识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111931619B (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111860678B (zh) | 一种基于聚类的无监督跨域行人重识别方法 | |
Wulfmeier et al. | Incremental adversarial domain adaptation for continually changing environments | |
CN107506712B (zh) | 一种基于3d深度卷积网络的人类行为识别的方法 | |
CN106056628B (zh) | 基于深度卷积神经网络特征融合的目标跟踪方法及系统 | |
CN107609460B (zh) | 一种融合时空双重网络流和attention机制的人体行为识别方法 | |
CN111931619A (zh) | 一种基于优化聚类算法的跨域步态重识别方法 | |
CN110942025A (zh) | 一种基于聚类的无监督跨域行人重识别方法 | |
CN113326731B (zh) | 一种基于动量网络指导的跨域行人重识别方法 | |
CN110929679B (zh) | 一种基于gan的无监督自适应行人重识别方法 | |
Rodriguez et al. | One-shot learning of human activity with an MAP adapted GMM and simplex-HMM | |
CN108491766B (zh) | 一种端到端的基于深度决策森林的人群计数方法 | |
CN111611847A (zh) | 基于尺度注意力空洞卷积网络的视频动作检测方法 | |
CN109635708B (zh) | 一种基于三数据集交叉迁移学习的无监督行人再识别方法 | |
CN114240997B (zh) | 一种智慧楼宇在线跨摄像头多目标追踪方法 | |
CN110188668B (zh) | 一种面向小样本视频动作分类的方法 | |
CN112819065A (zh) | 基于多重聚类信息的无监督行人难样本挖掘方法和系统 | |
CN116310754A (zh) | 检测伪造人脸图像视频的增量学习方法及系统 | |
CN113642482A (zh) | 一种基于视频时空上下文的视频人物关系分析方法 | |
CN113449676A (zh) | 一种基于双路互促进解纠缠学习的行人重识别方法 | |
Bohdal et al. | Feed-forward source-free domain adaptation via class prototypes | |
Sun et al. | Weak supervised learning based abnormal behavior detection | |
CN114067155B (zh) | 基于元学习的图像分类方法、装置、产品及存储介质 | |
CN110046608B (zh) | 基于半耦合鉴别字典学习的叶遮挡行人重识别方法及系统 | |
CN115049894A (zh) | 一种基于图学习的全局结构信息嵌入网络的目标重识别方法 | |
CN113449601A (zh) | 基于渐进性平滑损失的行人重识别模型训练和识别方法与装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |