CN111931551A - 一种基于轻量级级联网络的人脸检测方法 - Google Patents
一种基于轻量级级联网络的人脸检测方法 Download PDFInfo
- Publication number
- CN111931551A CN111931551A CN202010459767.6A CN202010459767A CN111931551A CN 111931551 A CN111931551 A CN 111931551A CN 202010459767 A CN202010459767 A CN 202010459767A CN 111931551 A CN111931551 A CN 111931551A
- Authority
- CN
- China
- Prior art keywords
- face
- network
- net
- candidate
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims description 16
- 238000013461 design Methods 0.000 claims description 5
- 238000009795 derivation Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 210000001331 nose Anatomy 0.000 claims description 3
- 230000001373 regressive effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于轻量化级联神经网络的人脸检测方法。该级联网络具有三个级联子网络,分别是P‑Net、R‑Net、O‑Net。每一个子网络都会有三个输出,分别是面部/非面部分类、人脸的候选框位置以及人脸特征点定位。该方法为:首先,构建图像金字塔,使得图片中的人脸缩放到P‑Net能够检测的适宜尺寸,并利用P‑Net进行检测,快速生成人脸候选窗口。然后,R‑Net网络对P‑Net网络生成的人脸候选窗口进一步过滤,拒绝大部分非面部窗口。最后,O‑Net网络对R‑Net网络生成的人脸候选窗口再次过滤,输出最终的人脸候选框和5个人脸特征点。本发明能够在资源受限的设备中部署。相比于MTCNN框架,速度提升25%,资源占用减少40%以上。
Description
技术领域
本发明涉及一种基于轻量级级联网络的人脸检测方法,属于人脸检测技术领域。
背景技术
近些年来,由于深度学习算法的高效与高精确度,使得其愈来愈多地被用在人脸检测中。 Pang等人设计了一个两级级联的残差网络进行人脸检测,并在2015双目立体匹配数据集中 获得了最高的准确率。Qin等人提出了级联网络的联合训练法,以提高模型准确率。Jiang等 人通过在WIDER face数据集上利用Faster-RCNN方式进行人脸检测,取得了较好的成果, 同时加快了运算速率。Zhang等人通过设计三层级联网络,使得模型在FDDB数据集中,准 确率超过了92%。
现有的人脸检测算法,通常基于大型神经网络,它们的参数量(Params)通常超过20M, 运行所需的浮点计算力(FLOPs)大于1000M,虽然这些网络能够取得较高的精度,但由于 它们消耗的算力资源较大,部署在资源受限的设备中时,进行一次人脸检测与识别所需时间 大于1s,会造成设备的卡顿,甚至影响设备正常使用。
发明内容
发明目的:本发明提供一种基于轻量级级联网络的人脸检测方法,该方法在保证人脸检 测精度的同时,减少了网络参数,以提高人脸检测的速度。
技术方案:本发明所述的一种基于轻量级级联网络的人脸检测方法,包括以下步骤:
(1)构建图像金字塔,使得图片中的人脸缩放到第一级网络P-Net能够检测的适宜尺寸, 并利用第一级网络P-Net进行检测,快速生成人脸候选窗口;
(2)第二级网络R-Net网络对第一级网络P-Net网络生成的人脸候选窗口进一步过滤, 拒绝大部分非面部窗口;
(3)第三级网络O-Net网络对第二级网络R-Net网络生成的人脸候选窗口再次过滤,输 出最终的人脸候选框和5个人脸特征点;
三级所述网络均包括:面部/非面部分类、人脸的候选框位置以及人脸特征点定位三个训 练任务;
对于人脸的候选框位置任务,需要预测每个候选窗口与图片中人脸真实区域之间的偏移, 该任务包含了4个坐标,即边界框的左边、顶部、高度和宽度,学习目标被制定为回归问题, 对于每个样本xi,计算其人脸候选框的欧几里得距离如下式所示:
进一步地,步骤(1)所述的构建图像金字塔,并并利用第一级网络P-Net进行检测的具 体方法是:
假设图片大小为W×H像素,设置的最小可识别人脸大小为A×A像素,首先进入循环: 将图片送入P-Net网络中进行推导,然后将图片按照缩放因子α进行缩放,使得图片大小为 α·W×α·H,再将图片送入P-Net网络中进行推导,直至α·W<A或α·H<A时退出循环。
进一步地,步骤(2)所述的第二级网络R-Net网络对第一级网络P-Net网络生成的人脸 候选窗口进一步过滤的具体方法是:
根据P-Net输出的人脸框图,将框图统一缩放至24×24像素,利用R-Net检测框图中是 否包含人脸,并输出人脸框图的坐标;
所述第二级网络R-Net网络的结构设计,加入了两个SE结构与一个残差结构的网络层。
进一步地,步骤(3)所述第三级网络O-Net网络对第二级网络R-Net网络生成的人脸候 选窗口再次过滤,输出最终的人脸候选框和5个人脸特征点的具体方法是:
根据R-Net输出的人脸框图,将框图统一缩放至48×48像素,利用O-Net检测框图中是 否包含人脸,并输出人脸的框图坐标;
所述第三级网络O-Net网络的结构设计,加入了两个SE结构与两个残差网络结构。
本发明所要解决的关键技术问题:传统的基于神经网络的人脸识别算法MTCNN算法所 需要消耗的资源较大,其子网络参数较多,无法在资源受限的设备中部署,或者部署后,网 络进行一次人脸检测的时间过长。
本发明的优点和有益效果:针对MTCNN网络计算量过大、网络参数众多的问题,通过 使用GAP层(Global Average Pooling,全局平均池化层)代替R-Net与O-Net的全连接层、 适当降低卷积核数量以及重新设计P-Net结构的方式,降低MTCNN网络中的计算量和网络 参数,利用残差结构和SE结构增强网络的特征提取能力和网络的鲁棒性,发明了能够在资 源受限的设备中使用的Mobile MTCNN人脸检测框架。Mobile MTCNN框架相比于MTCNN框架,能够大幅减少网络的参数和所需计算量,在保证检测精度的前提下,节省20%以上的检测时间。在进行人脸检测时,不会消耗过多的算力,对于内存的消耗小于250M,适合部署在资源受限的系统中。
附图说明
图1为本发明流程图。
图2为P-Net网络结构。
图3为R-Net网络结构。
图4为O-Net网络结构。
图5为本发明与MTCNN框架子网络的Params与FLOPs对比。
图6为本发明与MTCNN框架的准确率对比。
具体实施方式
下面将结合具体实施方式对本发明作进一步描述。
首先,结合图1介绍Mobile-MTCNN方案的人脸检测过程。Mobile-MTCNN有三个子网络,P-Net、R-Net和O-Net,每个网络都需要判断输入的图片中是否包含人脸,并输出图片中包含人脸的概率,即人脸置信度,记为P-Net_p,R-Net_p,O-Net_p。在IMTCNN框架中, 包含三个人脸置信度阈值,记为P-Net_Threshold、R-Net_Threshold、O-Net_Threshold。
使用Mobile-MTCNN方案进行人脸检测包含以下三个步骤:
(1)构建图像金字塔,使得图片中的人脸缩放到P-Net能够检测的适宜尺寸(12*12像 素),并利用P-Net进行检测,如果P-Net_p>P-Net_Threshold,则输出P-Net预测的人脸回归 框坐标;
(2)R-Net网络对P-Net网络生成的人脸候选窗口,缩放到24*24大小进行检测,如果 R-Net_p>R-Net_Threshold,根据R-Net输出的人脸回归框坐标;
(3)O-Net网络对R-Net网络生成的人脸候选窗口缩放到48*48大小进行检测,如果O-Net_p>O-Net_Threshold,则输出O-Net网络检测出的人脸置信度、人脸回归框坐标和人脸 关键点坐标。
Mobile-MTCNN有三个子网络,P-Net、R-Net和O-Net,他们的结构如图2至图4所示。他们都采用了轻量化的神经网络结构。
在图2所示的P-Net网络结构中,在输入部分,设计了两个分支进行特征提取。通过这 种方式,可以融合两种不同的特征提取方法的优点,增强网络的特征提取能力。
在图3所示的R-Net网络结构中,加入了两个SE结构与一个残差结构的网络层。SE结 构关注于卷积层中各个通道之间的关系,利用SE结构可以使模型自动学习到不同通道所提 取特征的重要程度。残差结构的应用,可以使得网络在拥有同等层数的条件下,收敛地更快, 并且增加网络的鲁棒性。
在图4所示的O-Net网络结构中,加入了两个SE结构与两个残差网络结构。在使用了 残差结构后,再使用SE结构,能够更加精确地学习出每个通道的重要性,从而为网络输出 带来更好的效果。
R-Net与O-Net网络结构中均使用了GAP层,它的作用是替代全连接层。GAP层不仅具 有和全连接层类似的作用,并且可以大幅减少网络参数,以达到网络轻量化的效果。
在网络训练时,每个子网络均有三类任务,分别是面部/非面部分类、人脸的候选框位置 以及人脸特征点定位。
对于脸的候选框位置任务,需要预测每个候选窗口与图片中人脸真实区域之间的偏移。 该任务包含了4个坐标,即边界框的左边、顶部、高度和宽度。学习目标被制定为回归问题, 对于每个样本xi,计算其人脸候选框的欧几里得距离如下式所示。
对于人脸特征点定位任务,它也被定义为回归问题,与边界框回归任务类似,该任务包 含了面部五个点的位置,每个点包含两个坐标,共有10个坐标数据。对于每个样本xi,计算 其人脸特征点定位的欧几里得距离如下式所示。
本发明所使用的三个级联网络可以布置在资源受限的开发板中,三个子网络P-Net、R-Net 与O-Net的参数量分别为6.8k、21.7k和39.7k。部署在RK3399开发板(CPU主频1.5GHz, 板载2GB内存)上,当输入图像大小为320*240时,图片的平均检测时间为81.8ms。无论是 人物头部扭动还是对脸部进行部分遮挡,Mobile-MTCNN框架均能正确检测人脸。
为了评估本发明的性能,图5对比了本发明与MTCNN方案(Zhang K,Zhang Z,Li Z,Qiao Y.Joint Face Detection and Alignment using Multi-task CascadedConvolutional Networks.2016) 当输入为320*240像素的图片时的网络参数量(Params)与浮点运算量(FLOPs)。图6对比 了这两种方案在错误数为13时,在FDDB数据集上的表现。总的来看,Mobile MTCNN网 络与MTCNN网络相比,P-Net在Params基本不变的情况下,FLOPs降低了13.7%,R-Net 的Params与FLOPs的使用均下降超过45%,O-Net的Params与Flops的使用均下降了超过 75%,整体检测速度下降了25%以上。在FDDB数据集上进行测试,在错误数数量相同的情 况下,准确率仅下降1.1%。这说明本发明中提出的利用残差网络与SE模块对MTCNN框架 的子网络进行重构的方案具有很强的鲁棒性。
本发明所公开的技术手段不仅限于上述技术手段所公开的技术手段,还包括由以上技术 特征等同替换所组成的技术方案。本发明的未尽事宜,属于本领域技术人员的公知常识。
Claims (4)
1.一种基于轻量级级联网络的人脸检测方法,其特征在于:该方法包括以下步骤:
(1)构建图像金字塔,使得图片中的人脸缩放到第一级网络P-Net能够检测的适宜尺寸,并利用第一级网络P-Net进行检测,快速生成人脸候选窗口;
(2)第二级网络R-Net网络对第一级网络P-Net网络生成的人脸候选窗口进一步过滤,拒绝大部分非面部窗口;
(3)第三级网络O-Net网络对第二级网络R-Net网络生成的人脸候选窗口再次过滤,输出最终的人脸候选框和5个人脸特征点;
三级所述网络均包括:面部/非面部分类、人脸的候选框位置以及人脸特征点定位三个训练任务;
对于人脸的候选框位置任务,需要预测每个候选窗口与图片中人脸真实区域之间的偏移,该任务包含了4个坐标,即边界框的左边、顶部、高度和宽度,学习目标被制定为回归问题,对于每个样本xi,计算其人脸候选框的欧几里得距离如下式所示:
2.根据权利要求1所述的基于轻量级级联网络的人脸检测方法,其特征在于:步骤(1)所述的构建图像金字塔,并并利用第一级网络P-Net进行检测的具体方法是:
假设图片大小为W×H像素,设置的最小可识别人脸大小为A×A像素,首先进入循环:将图片送入P-Net网络中进行推导,然后将图片按照缩放因子α进行缩放,使得图片大小为α·W×α·H,再将图片送入P-Net网络中进行推导,直至α·W<A或α·H<A时退出循环。
3.根据权利要求1所述的基于轻量级级联网络的人脸检测方法,其特征在于:步骤(2)所述的第二级网络R-Net网络对第一级网络P-Net网络生成的人脸候选窗口进一步过滤的具体方法是:
根据P-Net输出的人脸框图,将框图统一缩放至24×24像素,利用R-Net检测框图中是否包含人脸,并输出人脸框图的坐标;
所述第二级网络R-Net网络的结构设计,加入了两个SE结构与一个残差结构的网络层。
4.根据权利要求1所述的基于轻量级级联网络的人脸检测方法,其特征在于:步骤(3)所述第三级网络O-Net网络对第二级网络R-Net网络生成的人脸候选窗口再次过滤,输出最终的人脸候选框和5个人脸特征点的具体方法是:
根据R-Net输出的人脸框图,将框图统一缩放至48×48像素,利用O-Net检测框图中是否包含人脸,并输出人脸的框图坐标;
所述第三级网络O-Net网络的结构设计,加入了两个SE结构与两个残差网络结构。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010459767.6A CN111931551B (zh) | 2020-05-26 | 2020-05-26 | 一种基于轻量级级联网络的人脸检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010459767.6A CN111931551B (zh) | 2020-05-26 | 2020-05-26 | 一种基于轻量级级联网络的人脸检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111931551A true CN111931551A (zh) | 2020-11-13 |
CN111931551B CN111931551B (zh) | 2022-04-12 |
Family
ID=73316488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010459767.6A Active CN111931551B (zh) | 2020-05-26 | 2020-05-26 | 一种基于轻量级级联网络的人脸检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111931551B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112381075A (zh) * | 2021-01-18 | 2021-02-19 | 北京蒙帕信创科技有限公司 | 一种机房特定场景下进行人脸识别的方法及系统 |
CN114821747A (zh) * | 2022-05-26 | 2022-07-29 | 深圳市科荣软件股份有限公司 | 一种工地人员异常状态识别方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109063666A (zh) * | 2018-08-14 | 2018-12-21 | 电子科技大学 | 基于深度可分离卷积的轻量化人脸识别方法及系统 |
WO2019035544A1 (ko) * | 2017-08-18 | 2019-02-21 | 연세대학교 산학협력단 | 학습을 이용한 얼굴 인식 장치 및 방법 |
CN110163114A (zh) * | 2019-04-25 | 2019-08-23 | 厦门瑞为信息技术有限公司 | 一种人脸角度及人脸模糊度分析方法、系统和计算机设备 |
CN110197146A (zh) * | 2019-05-23 | 2019-09-03 | 招商局金融科技有限公司 | 基于深度学习的人脸图像分析方法、电子装置及存储介质 |
CN110718227A (zh) * | 2019-10-17 | 2020-01-21 | 深圳市华创技术有限公司 | 一种基于多模态交互的分布式物联网设备协同方法及其系统 |
-
2020
- 2020-05-26 CN CN202010459767.6A patent/CN111931551B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019035544A1 (ko) * | 2017-08-18 | 2019-02-21 | 연세대학교 산학협력단 | 학습을 이용한 얼굴 인식 장치 및 방법 |
CN109063666A (zh) * | 2018-08-14 | 2018-12-21 | 电子科技大学 | 基于深度可分离卷积的轻量化人脸识别方法及系统 |
CN110163114A (zh) * | 2019-04-25 | 2019-08-23 | 厦门瑞为信息技术有限公司 | 一种人脸角度及人脸模糊度分析方法、系统和计算机设备 |
CN110197146A (zh) * | 2019-05-23 | 2019-09-03 | 招商局金融科技有限公司 | 基于深度学习的人脸图像分析方法、电子装置及存储介质 |
CN110718227A (zh) * | 2019-10-17 | 2020-01-21 | 深圳市华创技术有限公司 | 一种基于多模态交互的分布式物联网设备协同方法及其系统 |
Non-Patent Citations (2)
Title |
---|
CHAKKRITTERMRITTHIKUN等: "On-device facial verification using NUF-Net model of deep learning", 《ENGINEERING APPLICATIONS OF ARTIFICIAL INTELLIGENCE》 * |
刘长伟: "基于MTCNN和Facenet的人脸识别", 《邮电设计技术》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112381075A (zh) * | 2021-01-18 | 2021-02-19 | 北京蒙帕信创科技有限公司 | 一种机房特定场景下进行人脸识别的方法及系统 |
CN114821747A (zh) * | 2022-05-26 | 2022-07-29 | 深圳市科荣软件股份有限公司 | 一种工地人员异常状态识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111931551B (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11263434B2 (en) | Fast side-face interference resistant face detection method | |
CN109063565B (zh) | 一种低分辨率人脸识别方法及装置 | |
CN110781838A (zh) | 一种复杂场景下行人的多模态轨迹预测方法 | |
Yu et al. | Auto-fas: Searching lightweight networks for face anti-spoofing | |
CN111898504A (zh) | 一种基于孪生循环神经网络的目标跟踪方法及系统 | |
CN111931551B (zh) | 一种基于轻量级级联网络的人脸检测方法 | |
CN113536972B (zh) | 一种基于目标域伪标签的自监督跨域人群计数方法 | |
CN110163239A (zh) | 一种基于超像素和条件随机场的弱监督图像语义分割方法 | |
CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
CN108734145B (zh) | 一种基于密度自适应人脸表征模型的人脸识别方法 | |
CN112287906B (zh) | 一种基于深度特征融合的模板匹配跟踪方法及系统 | |
CN114972312A (zh) | 基于YOLOv4-Tiny改进的绝缘子缺陷检测方法 | |
CN111199238A (zh) | 一种基于双流卷积神经网络的行为识别方法及设备 | |
CN110503049B (zh) | 基于生成对抗网络的卫星视频车辆数目估计方法 | |
CN111767826A (zh) | 一种定时定点场景异常检测方法 | |
Niu et al. | Boundary-aware RGBD salient object detection with cross-modal feature sampling | |
WO2022222036A1 (zh) | 车位确定方法及装置 | |
CN114398350A (zh) | 训练数据集的清洗方法、装置及服务器 | |
Zhu et al. | Multi-scale region-based saliency detection using W 2 distance on N-dimensional normal distributions | |
CN111127355A (zh) | 一种对缺损光流图进行精细补全的方法及其应用 | |
CN104680118A (zh) | 一种人脸属性检测模型生成方法及系统 | |
CN110135224B (zh) | 一种监控视频的前景目标提取方法及系统、存储介质及终端 | |
CN115618099A (zh) | 神经网络架构搜索的方法、装置及电子设备 | |
CN114937153A (zh) | 弱纹理环境下基于神经网络的视觉特征处理系统及方法 | |
CN114170662A (zh) | 人脸识别方法及装置、存储介质、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |