CN113705507B - 基于深度学习的混合现实开集人体姿态识别方法 - Google Patents
基于深度学习的混合现实开集人体姿态识别方法 Download PDFInfo
- Publication number
- CN113705507B CN113705507B CN202111026314.5A CN202111026314A CN113705507B CN 113705507 B CN113705507 B CN 113705507B CN 202111026314 A CN202111026314 A CN 202111026314A CN 113705507 B CN113705507 B CN 113705507B
- Authority
- CN
- China
- Prior art keywords
- human body
- domain
- samples
- mixed reality
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种基于深度学习的混合现实开集人体姿态识别方法,使用基于混合现实的开集人体姿态识别算法的神经网络,通过基于样本数量不平衡问题的决策边界设置训练损失函数,得到训练后的神经网络将从虚拟域中学习到的域不变特征迁移到真实域中指导真实域中进行特征提取,实现混合现实人体姿态识别。本发明能够在准确识别已知人类活动的同时,检测出训练集中未出现过的未知活动。
Description
技术领域
本发明涉及的是一种可穿戴传感器领域的技术,具体是一种基于可穿戴式传感器设备和深度学习的混合现实开集人体姿态识别方法。
背景技术
可穿戴式传感器例如加速度计和陀螺仪等惯性测量单元(Inertial MeasurementUnits,简称IMU)由于其低廉的价格和灵活性而被广泛应用于人体姿态识别(HumanActivity Recognition,简称HAR)。由于现实生活中会出现各种各样无法预测的未知行为动作,而现有的基于可穿戴式传感器设备的人体姿态识别仅能解决闭集问题,即只能识别训练集中出现过的人类活动,当测试集中出现训练集中未出现过的未知动作姿态时,已有的闭集算法不可避免地会将未知类错误地识别为已知动作中的某一类,这会造成算法精度的大幅下降,鲁棒性降低。因此,如何在仅使用少量有标签数据的情况下,准确识别出人类行为并检测出未知动作成为一个亟待解决的问题。
现有的自适应图像分类方法无法适用于时序数据的原因在于,时序数据包含了空域与时域两个域的信息,且时间相关性不能随意打乱。并且人类不同行为活动之间由于交叠部分导致识别困难的难题。例如,用吸尘器打扫卫生这一项复杂活动由站立、走路等一系列基本活动组成。同时因为目标域已知类和未知类数量不均衡会极大地影响最终的识别效果。当目标域的未知类的数目极少、已知类样本数量很多时,已知类占据主要地位,未知类的识别精度显然会下降。
发明内容
本发明针对现有深度学习算法依赖于大量人工标记数据而并未关注真实域已知类和未知类数目不平衡问题,提出一种基于深度学习的混合现实开集人体姿态识别方法,能够在准确识别已知人类活动的同时,检测出训练集中未出现过的未知活动。
本发明是通过以下技术方案实现的:
本发明涉及一种基于深度学习的混合现实开集人体姿态识别方法,使用基于混合现实的开集人体姿态识别算法的神经网络,通过基于样本数量不平衡问题的决策边界设置训练损失函数,得到训练后的神经网络将从虚拟域中学习到的域不变特征迁移到真实域中指导真实域中进行特征提取,实现混合现实人体姿态识别。
所述的人体姿态识别的应用领域包括:智能健康监测、老年人智能生活辅助设备、工厂工人行为监控、运动评估、交互娱乐等。
所述的混合现实人体姿态识别是指:虚拟域包含Ns个有标签样本,真实域/>包含Nt个无标签样本,其中:虚拟域DS使用的是从动作捕捉数据集AMASS中生成的虚拟数据,其具有大量有标签数据且无需人工打标签,真实域Dt使用的是从真实人类活动中采集的数据,x为输入的IMU数据,y为相应的标签;虚拟域有K类样本,真实域除了与虚拟域相同的K类样本外还有一类额外的未知类,用符号表示为Cs=K,Ct=K+1,所以
所述的基于混合现实的开集人体姿态识别算法的神经网络包括:特征生成器G和分类器C,其中:特征生成器G从输入进网络的IMU数据中提取特征,分类器C从G中获取特征并将其分为K+1类,前K类即为训练集和测试集共有的已知人类动作,第K+1类为测试集中出现的未知动作,从而将未知动作与K个已知动作分开,其中p(y|x)表示输入x经过网络后的分类概率:p(y|x)=C(G(x))。
所述的基于样本数量不平衡问题的决策边界是指:决策边界t随着真实域已知类和未知类样本总体数目信息的改变而改变,当给定的类别的样本数量足够大,则样本的近似重复数量其中:给定的类别i的样本数量为ni,β为控制/>增长速率的超参且β∈[0,1)。
所述的训练,通过对抗训练的策略实现,从而检测出真实域中的未知类,减小未知行为对已知动作分类的干扰,具体包括:
①根据真实域的数据情况构建决策边界,具体为:计算阈值其中:/>和/>分别为真实域中未知类样本与已知类样本的有效数目;
②将虚拟域的数据输入神经网络并计算标准的交叉熵损失函数 其中:xs,ys分别为虚拟域的IMU数据和其所对应的标签;
③将真实域数据输入神经网络,计算平衡二元交叉熵损失函数 即为所述的决策边界的优化目标函数。得到整体优化目标/>其中:迁移参数λ控制两个损失函数之间的重要性,其优选随着训练的迭代过程从0逐渐增加到1;
④使用随机梯度下降法进行神经网络的训练,经过多次迭代计算目标损失函数L可使算法收敛。
技术效果
本发明整体解决了闭集人体姿态识别无法在实际应用中泛化地判别未知类的技术问题。现有的基于深度学习的人体姿态识别仅能识别规定的已知人类活动,当出现未见过的行为活动时,由于softmax分类的封闭性,不可避免地将未知动作识别为规定动作中的某一类。由于基于深度学习的人体姿态识别需要大量的有标签数据,而有标签数据的获取需要大量的人力物力,成为影响识别识别效果的一大关键因素。测试用的目标域数据集中的已知活动与未知活动的数量极大地影响最终的识别效果,举例来说,当数据集中的未知类活动样本的数量极少,已知类活动样本的数目很多时,已知类会占主导地位,导致最终未知类的识别效果不好,即现有的方法不能很好地解决数据集中已知类与未知类样本数量不均衡问题。
与现有技术相比,本发明基于本发明的人体姿态识别可以在仅使用少量有标签数据的情况下,在识别出未知类的同时,将已知类准确分类,准确识别出规定的正常人体活动,并且检测出人体异常行为活动,从而方便对识别出的人体活动进行后续处理操作,很好地应对现实生活中出现的活动不可预知性的难题;提出的混合现实方法能够将从虚拟域数据学习到的特征迁移到真实域,使得真实域在仅使用少量有标签数据的情况下达到较好的识别效果;提出的决策边界可以解决真实域中的样本不均衡问题,网络的泛化能力更强。在此基础上提出了基于混合现实的开集人体姿态识别方法及结果定量评估方法。
附图说明
图1为本发明基于混合现实的开集人体姿态识别问题示意图;
图2为本发明所用的神经网络结构示意图;
图3为本发明流程示意图。
具体实施方式
如图3所示,为本实施例涉及一种基于可穿戴传感器设备和深度学习的混合现实开集人体姿态识别方法,具体步骤包括:
步骤一:构建神经网络。
本实施例采用的基于混合现实的开集人体姿态识别算法的神经网络的输入数据分别为虚拟IMU产生的人体姿态数据和利用可穿戴式传感器采集的真实人体姿态数据,从虚拟域IMU数据迁移到真实域IMU数据的混合现实方法仅使用少量有标签的真实IMU数据,对抗式训练策略使得网络模型在准确识别已知动作的同时包含检测未知的人体行为动作的能力。
如图2所示,所述的基于混合现实的开集人体姿态识别算法的神经网络包括:特征生成器、分类器以及在特征生成器和分类器之间的一层梯度反转层(Gradient ReversalLayer,GRL),其中:特征生成器由用于提取输入数据的特征的卷积层组成,分类器由用于对输入的特征进行分类的全连接层组成,梯度反转层在虚拟域数据反向传播更新网络参数时不做任何改变,在真实域数据反向传播更新网络时将梯度数据的符号反转,用于形成对抗训练。
步骤二:网络初始化。设定神经网络训练的收敛条件和最大迭代次数;初始化网络模型参数;设定优化目标函数的超参。
步骤三:数据预处理:将虚拟域和真实域的缺失数据以插值的方式进行数据补全,剔除数据中的异常值。由于IMU数据为时间序列,因此使用滑窗将时序数据分割为固定长度的数据片段。为保证人类活动动作的连续性,移动步长为滑窗长度的一半。
本实施例中的虚拟域的数据来自AMASS数据集。原始AMASS数据集为公开的动作捕捉数据集,将连续动作划分为11类动作(打扫房间、走路、跑步、蹦跳、站立、坐、躺、伸展上肢、伸展下肢、和其他物体交互、上下楼梯),可穿戴式传感器部署在6个身体部位(头部、脊柱、右膝、右手腕、左膝、左手腕),每个部位包含加速度计和陀螺仪两种传感器,采样率为60Hz。真实域的数据来自公开数据集Pamap2,该数据集是从现实生活中采集的真实人体姿态数据,记录了9名受试者进行的12项日常活动(躺、坐、站、步行、跑步、骑自行车、北欧式健走、熨衣服、真空吸尘、跳绳、上下楼梯),手部、头部和脚踝上各有1个IMU(加速度计、陀螺仪、磁力计、温度计),采样率为100Hz;除此之外,胸前还系有一个心率监测器。为使两个域的数据保持一致,在本实施例中虚拟域仅使用AMASS中的头部、右膝和右手腕部位的传感器数据;真实域仅使用Pamap2的加速度计和传感器数据,并且将上下楼梯合并为一类活动。已知类选择“走路、跑步、站立、坐、躺”五类活动,未知类选择Pamap2中剩下的活动类别。
步骤四:网络训练:
4.1)将处理后的虚拟域和真实域的IMU数据分别以mini-batch的形式封装成dataloader,根据真实域的数据情况计算阈值其中:/>和/>分别为真实域中未知类样本与已知类样本的有效数目;
4.2)将虚拟域的数据输入神经网络,计算标准的交叉熵损失函数
4.3)将真实域数据输入神经网络,计算平衡二元交叉熵损失函数 整体优化目标为:/>
4.4)使用随机梯度下降法更新网络参数。
根据整体优化目标可知:特征生成器与分类器对于/>的优化目标是相反的,二者形成对抗。特征生成器需要最大化/>即最小化/>反向传播是指将预测值和真实值的差距逐层向后传递,然后每层网络都会根据传回来的误差计算梯度,进而更新本层网络的参数。为方便使用反向传播来整体优化目标函数,在特征生成器与分类器之间添加了一个梯度反转层,正向传播时正常传递权值;反向传播时,神经元权值增量符号取反,即与目标函数优化方向相反进而达到对抗的目的。
所述的自适应参数λ使用以下策略将其从0逐渐增加到1:其中:p随着训练的迭代过程不断增加。
步骤五:检查损失函数是否收敛或是否达到预先设定的最大迭代次数。当不满足要求时,重复步骤三;当满足要求时,终止网络训练,保存网络模型和参数。
步骤六:使用训练好的网络模型与参数进行人体姿态识别。
本实施例通过以下方式对人体姿态识别结果进行定量评估:对于标签为k的样本xk来说,其实验分类标签为真实标签为y,根据针对测试数据分类的实验结果/>与真实标签y进行对比计算,已知类的平均识别准确率/>其中:nk为第k类活动的样本数,/> 未知类的平均识别准确率/>nk为第k类活动的样本数, 实验样本的整体准确率/>nk为第k类活动的样本数,
经过具体实际实验,在从AMASS到Pamap2的开集混合现实条件下,其中:已知类为较为常见的基本人类活动5类(站、躺、步行、跑步、上下楼),未知类为熨衣服,实验结果中已知类的平均识别准确率KN=79.5%,未知类的平均识别准确率UNK=88.0%,整体活动识别准确率ACC=80.1%。为验证解决数据集中的不平衡问题,更改测试集中的未知类的数目为原始数目的50%,实验整体准确率ACC从75.0%提升到78.7%。
与现有技术相比,本方法可以在准确识别已知人类活动的同时,检测出训练集中未出现过的未知活动,显著提升了真实域中数据不平衡时的识别精度;除此之外,独创的混合现实域迁移使得算法在仅使用少量有标签数据的情况下可以达到很高的识别精度。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整,本发明的保护范围以权利要求书为准且不由上述具体实施所限,在其范围内的各个实现方案均受本发明之约束。
Claims (7)
1.一种基于深度学习的混合现实开集人体姿态识别方法,其特征在于,使用基于混合现实的开集人体姿态识别算法的神经网络,通过基于样本数量不平衡问题的决策边界设置训练损失函数,得到训练后的神经网络将从虚拟域中学习到的域不变特征迁移到真实域中指导真实域中进行特征提取,实现混合现实人体姿态识别;
所述的训练,具体包括:①根据真实域的数据情况构建决策边界,具体为:计算阈值其中:/>和/>分别为真实域中未知类样本与已知类样本的有效数目;②将虚拟域的数据输入神经网络并计算标准的交叉熵损失函数/> 其中:xs,ys分别为虚拟域的IMU数据和其所对应的标签;③将真实域数据输入神经网络,计算平衡二元交叉熵损失函数/> 即为所述的决策边界的优化目标函数;得到整体优化目标/> 其中:迁移参数λ控制两个损失函数之间的重要性;④使用随机梯度下降法进行神经网络的训练,经过多次迭代计算目标损失函数L可使算法收敛。
2.根据权利要求1所述的基于深度学习的混合现实开集人体姿态识别方法,其特征是,所述的混合现实人体姿态识别是指:虚拟域包含Ns个有标签样本,真实域包含Nt个无标签样本,其中:虚拟域DS使用的是从动作捕捉数据集AMASS中生成的虚拟数据,其具有大量有标签数据且无需人工打标签,真实域Dt使用的是从真实人类活动中采集的数据,x为输入的IMU数据,y为相应的标签;虚拟域有K类样本,真实域除了与虚拟域相同的K类样本外还有一类额外的未知类,用符号表示为Cs=K,Ct=K+1,所以/>
3.根据权利要求1所述的基于深度学习的混合现实开集人体姿态识别方法,其特征是,所述的基于混合现实的开集人体姿态识别算法的神经网络包括:特征生成器G和分类器C,其中:特征生成器G从输入进网络的IMU数据中提取特征,分类器C从G中获取特征并将其分为K+1类,前K类即为训练集和测试集共有的已知人类动作,第K+1类为测试集中出现的未知动作,从而将未知动作与K个已知动作分开,其中p(y|x)表示输入x经过网络后的分类概率:p(y|x)=C(G(x))。
4.根据权利要求1所述的基于深度学习的混合现实开集人体姿态识别方法,其特征是,所述的基于样本数量不平衡问题的决策边界是指:决策边界t随着真实域已知类和未知类样本总体数目信息的改变而改变,当给定的类别的样本数量足够大,则样本的近似重复数量 其中:给定的类别i的样本数量为ni,β为控制/>增长速率的超参且β∈[0,1)。
5.根据权利要求1所述的基于深度学习的混合现实开集人体姿态识别方法,其特征是,所述的迁移参数λ随着训练的迭代过程从0逐渐增加到1。
6.根据权利要求1所述的基于深度学习的混合现实开集人体姿态识别方法,其特征是,所述的迁移参数λ使用以下策略将其从0逐渐增加到1:其中:p随着训练的迭代过程不断增加。
7.根据权利要求1所述的基于深度学习的混合现实开集人体姿态识别方法,其特征是,所述的人体姿态识别,通过以下方式进行定量评估:对于标签为k的样本xk来说,其实验分类标签为真实标签为y,根据针对测试数据分类的实验结果/>与真实标签y进行对比计算,已知类的平均识别准确率/>其中:nk为第k类活动的样本数,/> 未知类的平均识别准确率/>nk为第k类活动的样本数,/> 实验样本的整体准确率/>nk为第k类活动的样本数,/>
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111026314.5A CN113705507B (zh) | 2021-09-02 | 2021-09-02 | 基于深度学习的混合现实开集人体姿态识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111026314.5A CN113705507B (zh) | 2021-09-02 | 2021-09-02 | 基于深度学习的混合现实开集人体姿态识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113705507A CN113705507A (zh) | 2021-11-26 |
CN113705507B true CN113705507B (zh) | 2023-09-19 |
Family
ID=78657383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111026314.5A Active CN113705507B (zh) | 2021-09-02 | 2021-09-02 | 基于深度学习的混合现实开集人体姿态识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113705507B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115690566B (zh) * | 2022-10-24 | 2024-01-19 | 广东工业大学 | 一种基于深度迁移聚类学习的深海动物新物种识别方法 |
CN117103272B (zh) * | 2023-09-14 | 2024-03-15 | 南通大学 | 多形态障碍物整理机械臂的平推和多自由度抓取控制方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108062170A (zh) * | 2017-12-15 | 2018-05-22 | 南京师范大学 | 基于卷积神经网络和智能终端的多类别人体姿态识别方法 |
CN109508686A (zh) * | 2018-11-26 | 2019-03-22 | 南京邮电大学 | 一种基于层次化特征子空间学习的人体行为识别方法 |
CN110135306A (zh) * | 2019-04-30 | 2019-08-16 | 电子科技大学 | 基于角度损失函数的行为识别方法 |
CN111126218A (zh) * | 2019-12-12 | 2020-05-08 | 北京工业大学 | 一种基于零样本学习的人体行为识别方法 |
KR20200080419A (ko) * | 2018-12-19 | 2020-07-07 | 한국항공대학교산학협력단 | 인공신경망 기반 손동작 인식 방법 및 장치 |
-
2021
- 2021-09-02 CN CN202111026314.5A patent/CN113705507B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108062170A (zh) * | 2017-12-15 | 2018-05-22 | 南京师范大学 | 基于卷积神经网络和智能终端的多类别人体姿态识别方法 |
CN109508686A (zh) * | 2018-11-26 | 2019-03-22 | 南京邮电大学 | 一种基于层次化特征子空间学习的人体行为识别方法 |
KR20200080419A (ko) * | 2018-12-19 | 2020-07-07 | 한국항공대학교산학협력단 | 인공신경망 기반 손동작 인식 방법 및 장치 |
CN110135306A (zh) * | 2019-04-30 | 2019-08-16 | 电子科技大学 | 基于角度损失函数的行为识别方法 |
CN111126218A (zh) * | 2019-12-12 | 2020-05-08 | 北京工业大学 | 一种基于零样本学习的人体行为识别方法 |
Non-Patent Citations (1)
Title |
---|
"MARS: Mixed Virtual and Real Wearable Sensors for Human Activity Recognition With Multidomain Deep Learning Model";Ling Pei etal.;《IEEE》;第9383-9396页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113705507A (zh) | 2021-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hussain et al. | Hand gesture recognition using deep learning | |
Munoz-Organero | Outlier detection in wearable sensor data for human activity recognition (HAR) based on DRNNs | |
Ibraheem et al. | Survey on various gesture recognition technologies and techniques | |
Anand et al. | Wearable motion sensor based analysis of swing sports | |
Uddin et al. | Random forests based recognition of human activities and postural transitions on smartphone | |
CN104729507B (zh) | 一种基于惯性传感器的步态识别方法 | |
CN113705507B (zh) | 基于深度学习的混合现实开集人体姿态识别方法 | |
Ibraheem et al. | Vision based gesture recognition using neural networks approaches: a review | |
CN108052896A (zh) | 基于卷积神经网络与支持向量机的人体行为识别方法 | |
Yao et al. | Robust gait recognition using hybrid descriptors based on skeleton gait energy image | |
Giorgi et al. | Try walking in my shoes, if you can: Accurate gait recognition through deep learning | |
Das et al. | MMHAR-EnsemNet: A multi-modal human activity recognition model | |
CN114118167B (zh) | 一种针对行为识别的基于自监督少样本学习的动作序列分割方法 | |
CN112464738B (zh) | 改进朴素贝叶斯算法基于手机传感器的用户行为识别方法 | |
Aung et al. | Gait biometric-based human recognition system using deep convolutional neural network in surveillance system | |
Bezobrazov et al. | Artificial intelligence for sport activitity recognition | |
Adiwinata et al. | Fish species recognition with faster r-cnn inception-v2 using qut fish dataset | |
Badave et al. | Evaluation of person recognition accuracy based on openpose parameters | |
CN117133057A (zh) | 基于人体姿态识别的体育运动计数和违规动作判别方法 | |
Gupta et al. | Progression modelling for online and early gesture detection | |
CN114881079A (zh) | 面向穿戴式传感器的人体运动意图异常检测方法及系统 | |
CN107123126A (zh) | 一种人流运动场景热度估计方法 | |
CN110705599B (zh) | 一种基于在线迁移学习的人体动作识别方法 | |
Uslu et al. | A segmentation scheme for knowledge discovery in human activity spotting | |
Albert et al. | Data augmentation of kinematic time-series from rehabilitation exercises using GANs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |