CN113486718B - 一种基于深度多任务学习的指尖检测方法 - Google Patents
一种基于深度多任务学习的指尖检测方法 Download PDFInfo
- Publication number
- CN113486718B CN113486718B CN202110635017.4A CN202110635017A CN113486718B CN 113486718 B CN113486718 B CN 113486718B CN 202110635017 A CN202110635017 A CN 202110635017A CN 113486718 B CN113486718 B CN 113486718B
- Authority
- CN
- China
- Prior art keywords
- fingertip
- loss function
- points
- regression
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度多任务学习的指尖检测方法,包括下列步骤:(一)特征图的获取;(二)对于上述过程获得的六个特征图,转变为多任务学习框架中三个分支所需的三个特征向量;(三)最小化目标函数:针对手部检测和指尖检测两个任务,多任务框架中同时优化三个分支中的三个不同损失函数,网络框架总的损失函数L由三种函数组合而得,即分类损失函数Lconf,手部回归损失函数Lbox和指尖回归损失函数Ltip;对于具有任意数量指尖的不同的手,每一只手均产生五个关键点,包括实点和空点,引入空点的虚拟回归标签,对于一张训练图像,将空点的虚拟回归标签统一设置为训练图像的左上角。
Description
技术领域
本发明属于人工智能、计算机视觉领域,涉及一种基于深度神经网络的多任务学习的指尖检测技术。该方法旨在通过手部区域与指尖检测联合求解,实现指尖个数不确定情形下的的指尖检测,可用于在人机交互场景中,从手指指尖个数不确定的手部输入图像中检测手部区域和指尖位置。
背景技术
本发明涉及到的背景技术有:
(1)特征提取网络(参考文献[1]):基于深度多任务学习的指尖检测方法需要使用预训练的卷积神经网络提取输入图片的特征。考虑到速度性能,本发明使用MobileNet作为特征提取网络。作为一种经典的轻量级CNN,它具有可分解的特点,其关键部分是采用了深度分离卷积,不仅大大压缩了模型的体积,降低了其计算复杂度,同时又能保证其性能,提高网络速度。且与其它经典的网络相比,MobileNet参数量更少。它小巧而高效的特点在很多移动终端检测场景中得到了广泛的应用,例如人脸识别,目标分类,目标检测等。
(2)多任务学习(参考文献[2]):多任务学习的基本原理是利用多个任务间的相互关系,通过共享每个任务的特征,将关联任务一起学习,通过相互关联的特性,每个任务可以联合另外的任务来获得相关提升。目前暂时没有基于多任务学习策略的指尖检测方法。本发明为了同时完成手部检测和指尖检测两个任务,通过共享相同的CNN特征提取网络和三个分支来实现多任务处理。
参考文献
[1]Howard A G,Zhu M,Chen B,et al.Mobilenets:Efficient ConvolutionalNeural Networks for Mobile Vision Applications[J].ArXiv Preprint,2017.
[2]Caruana R J M L.Multitask Learning[J].Machine Learning,1997,28(1):41-75.
[3]Liu W,Anguelov D,Erhan D,et al.SSD:Single Shot MultiBox Detector[C].Proceedings of the European Conference on Computer Vision,Springer,Cham,2016:21-37.
发明内容
本发明提出了一种基于深度多任务学习的指尖检测方法,使用一个端到端多任务学习框架完成手部区域与指尖检测的联合求解,解决了指尖个数不确定情形下的指尖检测问题。技术方案如下:
一种基于深度多任务学习的指尖检测方法,包括下列步骤:
(一)特征图的获取,方法如下:
(1)使用预训练的卷积神经网络提取输入图片的特征,获得输出特征图S1和S2;
(2)通过共享卷积层对输出特征图进行卷积操作,获得四个特征图S3,...,S6。
(二)对于上述过程获得的六个特征图,转变为多任务学习框架中三个分支所需的三个特征向量,具体过程为:
(1)对于这六个特征图,通过通道数为C1+C2+C3的卷积核进行操作;
(2)所有输出特征均通过permute层和flatten层,然后通过concat层拼接成三个特征向量,三个的特征向量分别位于三个分支中:N表示所有六个特征图中的锚点的数目,即候选边界框的个数;Si,i=1,2,...,6表示第i个特征图的大小;α表示每个特征图中每个位置的默认锚点框个数;第一个分支的向量大小为N×C1,参数C1为2,其两个值1和0分别表示是和否的预测;后两个分支中,手部边界框有四个坐标以及指尖有十个坐标,因此C2和C3分别为4和10;
(三)针对手部检测和指尖检测两个任务,多任务框架中同时优化三个分支中的三个不同损失函数,以最小化以下目标函数:
L=Lconf(C,Cgt)+Lbox(B,Bgt)+Ltip(P,Pgt)
网络框架总的损失函数L由三种函数组合而得,即分类损失函数Lconf,手部回归损失函数Lbox和指尖回归损失函数Ltip;对于以上三个损失函数,分别对应使用二分类的softmax损失函数,smooth L1损失函数和新定义的Root loss函数;集合C和Cgt分别表示所有锚点的分类置信度和真实分类;集合B和P分别表示预测的手部边界框的坐标集合和指尖点的坐标集合,集合Bgt和Pgt表示相应的真实值;
其中,
新定义的Root loss是分段函数,当x轴坐标值接近于零时,Root loss函数梯度值逐渐增加,增加损失函数对微小误差的敏感度,得到更精确的指尖定位结果;
指尖回归损失函数Ltip定义如下:
其中,LR即新定义的Root loss函数,P和Pgt分别代表预测值和真实值;大写字母R表示可见的指尖点,即实点,N表示不可见的指尖点,即空点;
对于具有任意数量指尖的不同的手,每一只手均产生五个关键点,包括实点和空点,引入空点的虚拟回归标签,对于一张训练图像,将空点的虚拟回归标签统一设置为训练图像的左上角,即坐标值为(0,0);
(四)模型训练过程中,当分类损失函数Lconf,手部回归损失函数Lbox和指尖回归损失函数Ltip的值均不断下降至稳定时,总目标函数L达最小值,即可结束训练。
进一步地,使用MobileNet作为特征提取网络,使用预训练的卷积神经网络提取输入图片的特征。
进一步地,新定义的Root loss如下:
其中,参数ω主要决定非线性区域范围(-ω,ω),参数φ和r共同控制函数曲线的曲率;由于在零点即z=0处不可导,因此,添加一个偏移量∈以确保它在任何点处都可微分,中设置参数r大于等于2,以满足参数z的取值较小时具有较大梯度的条件;参数Cr是损失函数中的线性区域和非线性区域的连接;
进一步地,步骤(三)中,在训练阶段,将实点坐标对应回归到指尖的位置,将空点坐标回归到左上角;在测试阶段,首先获得所有可能的指尖点,然后通过两个过滤方法来将其中的空点去除掉:当检测点之间的距离d大于阈值δ时,将远离手部边界框区域的检测点过滤;如果预测的指尖点到左上角的距离d小于阈值δ,也将其移除。
附图说明
图1:一种基于深度多任务学习的指尖检测方法图
图2:多任务学习网络架构示意图
图3:损失函数对比图
图4:多指尖回归策略图
图5:一种基于深度多任务学习的指尖检测方法流程图
图6:本发明与对比方法结果示意图
具体实施方式
本发明采用的技术方案为:一种基于深度多任务学习的指尖检测方法,主要从三个方面进行说明:一是针对现存问题而采取的改进技术方案,二是基于上述方案的完整实现流程,三是本发明的有益效果。
一、技术方案:列举了本发明的技术方案。方法流程图如图5所示。
步骤a,使用特征提取网络获得两个特征图S1和S2,以及通过额外的卷积操作获得四个特征图S3,...,S6。
步骤b,通过定义的功能层将其转变为三个特征向量,分别输入三个分支中。
步骤c,通过计算三个分支中的损失函数Lconf,Lbox和Ltip,以最小化总目标函数。
步骤d,若多任务学习框架对应的损失函数未收敛,则循环执行步骤a至步骤c。
二、基于深度多任务学习的指尖检测方法的实现。
(一)特征图的获取
多任务学习网络需要统一尺寸的RGB图像作为输入,首先对其进行特征提取,具体过程为:
(1)首先使用预训练的卷积神经网络提取输入图片的特征,获得特征图S1和S2。
(2)通过共享卷积层对其进行额外的卷积操作,获得四个特征图S3,...,S6,如图2所示,不同大小和参数的立方体代表不同层中提取的特征图。
说明1:数据集的选取
本发明使用公开数据集EgoGesture评估模型的性能。该数据集是从许多不同的环境条件收集而来,例如,复杂的背景,不同光照变化,不同用户的手和方向,近似皮肤的背景,以及摄像机移动导致的图像模糊等。各种不同的环境条件可以避免训练数据过于统一。
说明2:特征提取网络的选取
考虑到速度性能,本发明使用MobileNet作为特征提取网络。其关键部分是采用深度分离卷积,降低了其计算复杂度的同时,又能保证其性能,提高网络速度。
(二)三个特征向量的计算
对于上述过程获得的六个特征图,需要转变为多任务学习框架中三个分支所需的三个特征向量,具体过程为:
(1)对于这六个特征图,通过通道数为C1+C2+C3的卷积核进行操作,如图2中的虚线箭头所示。
(2)所有输出特征均通过permute层和flatten层,然后通过concat层拼接成三个特征向量,三个的特征向量分别位于三个分支中,大小为N×Ci(i=1,2,3),其中N表示所有六个特征图中的锚点的数目,即候选边界框的个数;Si(i=1,2,...,6)表示第i个特征图的大小;α表示每个特征图中每个位置的默认锚点框个数。如图2所示,第一个分支的向量大小为N×C1,参数C1为2,其两个值1和0分别表示是和否的预测。后两个分支中C2和C3分别为4(手部边界框的四个坐标)和10(指尖的十个坐标)。
说明3:锚点框的选择
锚点框的选择有多种方法可以实现,本发明中锚点框的选择类似于SSD(参考文献[3]),它们是一些大小和纵横比不同的预定义框。
(三)最小化目标函数
本发明旨在完成两项不同的任务,即手部检测和指尖检测任务。如图1所示,多任务框架中同时优化了三个分支中的三个不同损失函数,以最小化以下目标函数:
L=Lconf(C,Cgt)+Lbox(B,Bgt)+Ltip(P,Pgt) (1)
网络框架总的损失函数L由三种函数组合而得,即分类损失函数Lconf,手部回归损失函数Lbox和指尖回归损失函数Ltip。对于以上三个损失,分别对应使用二分类的softmax损失函数,smooth L1损失函数和新定义的Root loss函数。集合C和Cgt分别表示所有锚点的分类置信度和真实分类。集合B和P分别表示预测的手部边界框的坐标集合和指尖点的坐标集合,集合Bgt和Pgt表示相应的真实值。
说明4:Root loss的定义
其中,参数ω主要决定非线性区域范围(-ω,ω)。参数φ和r共同控制函数曲线的曲率。由于在零点(z=0)处不可导,因此,添加一个偏移量∈以确保它在任何点处都可微分。中设置参数r大于等于2,以满足参数z的取值较小时具有较大梯度的条件。参数Cr是损失函数中的线性区域和非线性区域的连接,可以通过上述四个参数进行计算。
如图3所示,当x轴坐标值接近于零时,Root loss函数梯度值逐渐增加,这样可以增加损失函数对微小误差的敏感度,并可得到更精确的指尖定位结果。
说明5:指尖回归损失Ltip与多指尖回归策略
为实现指尖个数不确定的指尖检测任务,本发明提出了一种多指尖回归策略。受到个数固定的关键点检测的启发,提出了不可见指尖点的回归标签。具体来说,指尖回归损失定义如下:
其中字母LR表示所提出的Root loss,P和Pgt分别代表预测值和真实值。大写字母R表示可见的指尖点,即实点,N表示不可见的指尖点,即空点。
对于具有任意数量指尖的不同的手,每一只手均产生五个关键点,包括实点和空点。完成回归任务的关键是引入空点的虚拟回归标签(Dummy Regression Label,DRL)。对于一张训练图像,将空点的虚拟回归标签统一设置为训练图像的左上角,即坐标值为(0,0)。图4是多指尖回归策略的图示,在训练阶段(左),将实点(P1-P3)对应回归到指尖的位置,将空点坐标回归到左上角。在测试阶段(右),首先获得所有可能的指尖点,然后通过两个过滤方法来将其中的空点去除掉。两个过滤策略如图的中间部分所示,当检测点之间的距离d大于阈值δ时,将远离手部边界框区域的检测点过滤;其次,如果预测的指尖点到左上角的距离d小于阈值δ,也将其移除。
(四)多任务学习网络框架训练完成标志
模型训练过程中,当分类损失函数Lconf,手部回归损失函数Lbox和指尖回归损失函数Ltip的值均不断下降至大概稳定时,总目标函数L达最小值,即可结束训练。
Claims (3)
1.一种基于深度多任务学习的指尖检测方法,包括下列步骤:
(一)特征图的获取,方法如下:
(1)使用预训练的卷积神经网络提取输入图片的特征,获得输出特征图S1和S2;
(2)通过共享卷积层对输出特征图进行卷积操作,获得四个特征图S3,...,S6;
(二)对于上述过程获得的六个特征图,转变为多任务学习框架中三个分支所需的三个特征向量,具体过程为:
(1)对于这六个特征图,通过通道数为C1+C2+C3的卷积核进行操作;
(2)所有输出特征均通过permute层和flatten层,然后通过concat层拼接成三个特征向量,三个的特征向量分别位于三个分支中:N表示所有六个特征图中的锚点的数目,即候选边界框的个数;Si,i=1,2,...,6表示第i个特征图的大小;α表示每个特征图中每个位置的默认锚点框个数;第一个分支的向量大小为N×C1,参数C1为2,其两个值1和0分别表示是和否的预测;后两个分支中,手部边界框有四个坐标以及指尖有十个坐标,因此C2和C3分别为4和10;
(三)针对手部检测和指尖检测两个任务,多任务框架中同时优化三个分支中的三个不同损失函数,以最小化以下目标函数:
L=Lconf(C,Cgt)+Lbox(B,Bgt)+Ltip(P,Pgt)
网络框架总的损失函数L由三种函数组合而得,即分类损失函数Lconf,手部回归损失函数Lbox和指尖回归损失函数Ltip;对于以上三个损失函数,分别对应使用二分类的softmax损失函数,smooth L1损失函数和Root loss函数;集合C和Cgt分别表示所有锚点的分类置信度和真实分类;集合B和P分别表示预测的手部边界框的坐标集合和指尖点的坐标集合,集合Bgt和Pgt表示相应的真实值;
其中,
Root loss是分段函数,当x轴坐标值接近于零时,Root loss函数梯度值逐渐增加,增加损失函数对微小误差的敏感度,得到更精确的指尖定位结果;Root loss分段函数的定义如下:
其中,参数ω主要决定非线性区域范围(-ω,ω),参数φ和r共同控制函数曲线的曲率;由于在零点即z=0处不可导,因此,添加一个偏移量∈以确保它在任何点处都可微分,中设置参数r大于等于2,以满足参数z的取值较小时具有较大梯度的条件;参数Cr是损失函数中的线性区域和非线性区域的连接;
指尖回归损失函数Ltip定义如下:
Ltip=∑i∈RLR(Pi-Pi gt)+∑j∈NLR(Pj-Pj gt) (4)
其中,LR即Root loss函数,P和Pgt分别代表预测值和真实值;大写字母R表示可见的指尖点,即实点,N表示不可见的指尖点,即空点;
对于具有任意数量指尖的不同的手,每一只手均产生五个关键点,包括实点和空点,引入空点的虚拟回归标签,对于一张训练图像,将空点的虚拟回归标签统一设置为训练图像的左上角,即坐标值为(0,0);
(四)模型训练过程中,当分类损失函数Lconf,手部回归损失函数Lbox和指尖回归损失函数Ltip的值均不断下降至稳定时,总目标函数L达最小值,即可结束训练。
2.根据权利要求1所述的指尖检测方法,其特征在于,所述的预训练的卷积神经网络为预训练的MobileNet卷积神经网络。
3.根据权利要求1所述的指尖检测方法,其特征在于,步骤(三)中,在训练阶段,将实点坐标对应回归到指尖的位置,将空点坐标回归到左上角;在测试阶段,首先获得所有可能的指尖点,然后通过两个过滤方法来将其中的空点去除掉:当检测点之间的距离d大于阈值δ时,将远离手部边界框区域的检测点过滤;如果预测的指尖点到左上角的距离d小于阈值δ,也将其移除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110635017.4A CN113486718B (zh) | 2021-06-08 | 2021-06-08 | 一种基于深度多任务学习的指尖检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110635017.4A CN113486718B (zh) | 2021-06-08 | 2021-06-08 | 一种基于深度多任务学习的指尖检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113486718A CN113486718A (zh) | 2021-10-08 |
CN113486718B true CN113486718B (zh) | 2023-04-07 |
Family
ID=77934751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110635017.4A Active CN113486718B (zh) | 2021-06-08 | 2021-06-08 | 一种基于深度多任务学习的指尖检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113486718B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114067108B (zh) * | 2022-01-13 | 2022-04-19 | 深圳比特微电子科技有限公司 | 一种基于神经网络的目标检测方法、装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110232311A (zh) * | 2019-04-26 | 2019-09-13 | 平安科技(深圳)有限公司 | 手部图像的分割方法、装置及计算机设备 |
CN111353501A (zh) * | 2020-02-25 | 2020-06-30 | 暗物智能科技(广州)有限公司 | 一种基于深度学习的书本点读方法及系统 |
CN112348036A (zh) * | 2020-11-26 | 2021-02-09 | 北京工业大学 | 基于轻量化残差学习和反卷积级联的自适应目标检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106934355A (zh) * | 2017-02-28 | 2017-07-07 | 西交利物浦大学 | 基于深度卷积神经网络的车内手检测方法 |
CN110941995A (zh) * | 2019-11-01 | 2020-03-31 | 中山大学 | 基于轻量级网络的实时目标检测与语义分割的多任务学习方法 |
CN111368768A (zh) * | 2020-03-10 | 2020-07-03 | 浙江理工大学桐乡研究院有限公司 | 一种基于人体关键点的员工手势指引检测方法 |
CN112861871A (zh) * | 2021-02-07 | 2021-05-28 | 天津理工大学 | 一种基于目标边界定位的红外目标检测方法 |
-
2021
- 2021-06-08 CN CN202110635017.4A patent/CN113486718B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110232311A (zh) * | 2019-04-26 | 2019-09-13 | 平安科技(深圳)有限公司 | 手部图像的分割方法、装置及计算机设备 |
CN111353501A (zh) * | 2020-02-25 | 2020-06-30 | 暗物智能科技(广州)有限公司 | 一种基于深度学习的书本点读方法及系统 |
CN112348036A (zh) * | 2020-11-26 | 2021-02-09 | 北京工业大学 | 基于轻量化残差学习和反卷积级联的自适应目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113486718A (zh) | 2021-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109543502B (zh) | 一种基于深度多尺度神经网络的语义分割方法 | |
WO2020108362A1 (zh) | 人体姿态检测方法、装置、设备及存储介质 | |
CN110246181B (zh) | 基于锚点的姿态估计模型训练方法、姿态估计方法和系统 | |
CN109766873B (zh) | 一种混合可变形卷积的行人再识别方法 | |
CN110674741A (zh) | 一种基于双通道特征融合的机器视觉中手势识别方法 | |
CN110334584B (zh) | 一种基于区域全卷积网络的手势识别方法 | |
CN117252904B (zh) | 基于长程空间感知与通道增强的目标跟踪方法与系统 | |
CN112966574A (zh) | 人体三维关键点预测方法、装置及电子设备 | |
CN111476133A (zh) | 面向无人驾驶的前背景编解码器网络目标提取方法 | |
CN114882524A (zh) | 一种基于全卷积神经网络的单目三维手势估计方法 | |
CN115375948A (zh) | 基于全局注意力的卷积-Transformer的RGB-T目标跟踪网络 | |
CN113486718B (zh) | 一种基于深度多任务学习的指尖检测方法 | |
CN113988164B (zh) | 一种面向代表点自注意力机制的轻量级点云目标检测方法 | |
CN116128944A (zh) | 一种基于特征交互和可靠对应关系估计的三维点云配准方法 | |
Tian et al. | Real-time semantic segmentation network based on lite reduced atrous spatial pyramid pooling module group | |
CN117252928B (zh) | 用于电子产品模块化智能组装的视觉图像定位系统 | |
CN116597267B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
CN110942463B (zh) | 一种基于生成对抗网络的视频目标分割方法 | |
CN112767440A (zh) | 一种基于siam-fc网络的目标跟踪方法 | |
CN112308213A (zh) | 一种基于全局特征关系的卷积神经网络压缩方法 | |
CN113128460B (zh) | 基于知识蒸馏的多分辨率行人重识别方法 | |
CN112487927B (zh) | 一种基于物体关联注意力的室内场景识别实现方法及系统 | |
Si et al. | Image semantic segmentation based on improved DeepLab V3 model | |
Tsai et al. | Deep Learning Based AOI System with Equivalent Convolutional Layers Transformed from Fully Connected Layers | |
CN109871835B (zh) | 一种基于互斥正则化技术的人脸识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |