CN110232352A - 一种用于人脸识别的多任务级联卷积神经网络模型的改进方法 - Google Patents

一种用于人脸识别的多任务级联卷积神经网络模型的改进方法 Download PDF

Info

Publication number
CN110232352A
CN110232352A CN201910507399.5A CN201910507399A CN110232352A CN 110232352 A CN110232352 A CN 110232352A CN 201910507399 A CN201910507399 A CN 201910507399A CN 110232352 A CN110232352 A CN 110232352A
Authority
CN
China
Prior art keywords
face
network
task
recognition
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910507399.5A
Other languages
English (en)
Other versions
CN110232352B (zh
Inventor
朱志良
蔡壮
乔梁
徐腾腾
范珊珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201910507399.5A priority Critical patent/CN110232352B/zh
Publication of CN110232352A publication Critical patent/CN110232352A/zh
Application granted granted Critical
Publication of CN110232352B publication Critical patent/CN110232352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用于人脸识别的多任务级联卷积神经网络模型的改进方法,包括:根据任务相关性对人脸分类、姿态分类、边界框回归,人脸关键点定位四个任务进行改进,增强了模型的泛化能力,提高了模型的检测效果,然后根据多任务特性对优化算法进行改进,采用带有Frank‑Wolfe优化器的基于上界的多梯度下降算法,对原有的优化方法进行了替换,在训练过程中能够使模型快速的收敛且损失更小,极大的提高了模型的预测效果。本发明的技术方案解决了现有技术中的多目标学习无论任务之间是否存在竞争都采用对各个损失函数加权加和构成一个总的损失函数的形式,而权值的选取都是根据经验进行选取的,需要花费大量的时间去调整,达不到很优的预测效果的问题。

Description

一种用于人脸识别的多任务级联卷积神经网络模型的改进 方法
技术领域
本发明涉及人工智能技术领域,具体而言,尤其涉及一种用于人脸识别的多任务级联卷积神经网络模型的改进方法。
背景技术
MTCNN是一种用于人脸识别和对齐的多任务级联卷积神经网络,它主要包括三个网络:P网络、R网络和O网络,每个网络中都有人脸分类、边界框回归和人脸关键点定位三个任务,训练过程中人脸分类采用交叉熵损失,边界框回归和人脸关键点定位采用欧氏距离损失。
第一阶段:使用全卷积网络P网络来生成候选框和边界框回归向量,使用边界框回归的方法来校正这些候选框使用非极大值抑制来合并高度重合的候选框。
第二阶段:使用R网络改善候选框,将通过P网络的候选框输入R网络中,拒绝掉大部分错误的窗口,继续使用边界框回归调整候选框非极大值抑制合并重合的候选框。
第三阶段:最后使用O网络输出最终的人脸框和特征点位置。和第二步类似,但是不同的是生成5个特征点位置。
多任务学习是一种学习范式,其中来自多任务的数据被用来获得优于独立学习每个任务的性能,即便是真实世界中看似无关的任务也因数据共享的过程而存在很强的依赖性,尽管自动驾驶和目标操纵看似无关,但相同的光学规律、材料属性以及动力学都对基础数据产生了影响。这启发人们在学习系统中使用多任务作为归纳偏好典型的多任务学习系统被给定一组输入点和每点各种任务的目标集。设置跨任务的归纳偏好的常用方法是设计一个参数化假设类,它会在不同任务中共享一些参数。一般而言,可以通过为每个任务最小化经验风险的加权和这种优化问题来学习这些参数。但是,只有当一个参数组在所有任务中都有效时,这样的线性组合公式才有意义。换言之,只有当任务之间不存在竞争关系时,最小化经验风险的加权和才有效,但这种情况比较少有。目标冲突的多任务学习需要对任务之间的模型进行权衡,但这已经超出了线性组合能够实现的范围,而现在的多目标学习无论任务之间是否存在竞争都采用对各个损失函数加权加和构成一个总的损失函数的形式,而权值的选取都是根据经验进行选取的,需要花大量的时间去调整,而且不一定达到很优的效果。
发明内容
根据上述提出的技术问题,而提供一种用于人脸识别的多任务级联卷积神经网络模型的改进方法。本发明主要根据任务相关性对任务进行改进,提高人脸识别的准确度,根据多任务特性对优化算法进行改进,计算成本小到可以忽略不计;这两点改进使得多梯度下降法可以大规模应用于多任务模型,也能够很好的适应MTCNN模型,模型任务越多,优化效果越好。
本发明采用的技术手段如下:
一种用于人脸识别的多任务级联卷积神经网络模型的改进方法,包括:根据任务相关性对任务进行改进,根据多任务特性对优化算法进行改进。
进一步地,所述的根据任务相关性对任务进行改进,包括对人脸分类、姿态分类、边界框回归,人脸关键点定位四个任务进行改进。
进一步地,所述的根据多任务特性对优化算法进行改进,具体为将ADAM优化算法改为带有Frank-Wolfe优化器的基于上界的多梯度下降算法。
进一步地,所述改进方法具体包括以下步骤:
步骤1:对WIDER FACE数据集中的图片进行随机裁剪,计算IOU值,标定正样本、负样本、部分脸样本、左脸样本、右脸样本,从CELEBA数据集中收集人脸关键点样本;
步骤2:将步骤1中的所有样本送入P网络中,对P网络进行训练;
步骤3:将数据集中的图片输进训练好的P网络中,将输出的图片沿着边界框进行裁剪,用裁剪好的图片对R网络进行训练;
步骤4:R网络训练结束后,将数据集输入P网络,将P网络的输出输入到R网络,将R网络输出的图片沿边界框进行裁剪,用裁剪好的图片对O网络进行训练;
步骤5:将训练好的R网络模型、P网络模型、O网络模型放入预测部分,对人脸进行预测。
进一步地,所述步骤2-步骤5中的训练过程均包括采用带有Frank-Wolfe优化器的基于上界的多梯度下降算法进行优化直至模型收敛的步骤。
较现有技术相比,本发明具有以下优点:
1、本发明提供的用于人脸识别的多任务级联卷积神经网络模型的改进方法,通过根据任务相关性对任务进行改进,提高了模型的泛化能力,提高的模型的预测效果。
2、本发明提供的用于人脸识别的多任务级联卷积神经网络模型的改进方法,通过根据多任务特性对优化算法进行改进,能够快速的使模型达到收敛,且损失更小。
基于上述理由本发明可在人工智能等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人脸检测流程图。
图2为本发明实施例提供的P网络模型图。
图3本发明实施例提供的R网络模型图。
图4为本发明实施例提供的O网络模型图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
实施例
本发明提供了一种用于人脸识别的多任务级联卷积神经网络模型的改进方法,包括:根据任务相关性对人脸分类、姿态分类、边界框回归,人脸关键点定位四个任务进行改进;根据多任务特性对优化算法进行改进,具体为将ADAM优化算法改为带有Frank-Wolfe优化器的基于上界的多梯度下降算法。
如图1所示,本发明提供了一种用于人脸识别的多任务级联卷积神经网络模型的改进方法,具体包括以下步骤:
步骤1:对WIDER FACE数据集中的图片进行随机裁剪,计算IOU值,标定正样本、负样本、部分脸样本、左脸样本、右脸样本,从CELEBA数据集中收集人脸关键点样本;
步骤2:将步骤1中的所有样本送入如图1所示的P网络中,对P网络进行训练,采用带有Frank-Wolfe优化器的基于上界的多梯度下降算法进行优化直至模型收敛;
步骤3:将数据集中的图片输进训练好的P网络中,将输出的图片沿着边界框进行裁剪,用裁剪好的图片对R网络进行训练,采用带有Frank-Wolfe优化器的基于上界的多梯度下降算法进行优化直至模型收敛;
步骤4:R网络训练结束后,将数据集输入P网络,将P网络的输出输入到如图2所示的R网络,将R网络输出的图片沿边界框进行裁剪,用裁剪好的图片对如图3所示的O网络进行训练,采用带有Frank-Wolfe优化器的基于上界的多梯度下降算法进行优化直至模型收敛;
步骤5:将训练好的R网络模型、P网络模型、O网络模型放入预测部分,对人脸进行预测。
作为本发明优选的实施方式,本发明的改进方法通过添加任务对网络模型进行改进,人脸姿态与人脸识别有一定的联系,将姿态识别看做一个二分类问题(正脸或者侧脸),训练过程中采用交叉熵损失,通过增加相关任务来增加网络的泛化能力,提高人脸识别的准确度。
采用最新的算法进行优化,MTCNN在训练过程中采用ADAM进行优化,但是由于多任务学习有其自己的特殊性,利用ADAM进行优化并不是最合适的。作为本发明优选的实施方式,本发明的改进方法采用多目标学习作为多目标优化算法更为合适;
多目标学习作为多目标优化算法基于多梯度下降算法;多梯度下降算法可以在训练的过程中沿着使模型最优的方向动态的调整各个损失函数的权值,但是它有两点局限性,第一它无法扩展到高维度梯度,而高维度梯度自然会出现在深度网络中,第二,该算法明确要求计算每个任务的梯度,这就导致反向迭代的次数会被线性缩放,训练时间会大致乘以任务数量,使训练时间增加,这就使得多梯度下降算法无法大规模应用。作为本发明优选的实施方式,本发明提供的改进方法,多目标学习作为多目标优化算法对上述缺点做了两点改进,第一,开发了基于Frank-Wolfe且可以扩展到高维问题的优化器,第二,给多梯度下降优化目标提供了一个上界,并表明可以在没有明确任务梯度的情况下通过单次反向迭代来计算该优化目标,这使得该方法的计算成本小到可以忽略不计。这两点改进使得多梯度下降法可以大规模应用于多任务模型,也能够很好的适应MTCNN模型,模型任务越多,优化效果越好,这也是加入姿态任务的原因之一。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种用于人脸识别的多任务级联卷积神经网络模型的改进方法,其特征在于,包括:根据任务相关性对任务进行改进;根据多任务特性对优化算法进行改进。
2.根据权利要求1所述的用于人脸识别的多任务级联卷积神经网络模型的改进方法,其特征在于,所述的根据任务相关性对任务进行改进,包括对人脸分类、姿态分类、边界框回归,人脸关键点定位四个任务进行改进。
3.根据权利要求1所述的用于人脸识别的多任务级联卷积神经网络模型的改进方法,其特征在于,所述的根据多任务特性对优化算法进行改进,具体为将ADAM优化算法改为带有Frank-Wolfe优化器的基于上界的多梯度下降算法。
4.根据权利要求1或2或3所述的用于人脸识别的多任务级联卷积神经网络模型的改进方法,其特征在于,所述改进方法具体包括以下步骤:
步骤1:对WIDER FACE数据集中的图片进行随机裁剪,计算IOU值,标定正样本、负样本、部分脸样本、左脸样本、右脸样本,从CELEBA数据集中收集人脸关键点样本;
步骤2:将步骤1中的所有样本送入P网络中,对P网络进行训练;
步骤3:将数据集中的图片输进训练好的P网络中,将输出的图片沿着边界框进行裁剪,用裁剪好的图片对R网络进行训练;
步骤4:R网络训练结束后,将数据集输入P网络,将P网络的输出输入到R网络,将R网络输出的图片沿边界框进行裁剪,用裁剪好的图片对O网络进行训练;
步骤5:将训练好的R网络模型、P网络模型、O网络模型放入预测部分,对人脸进行预测。
5.根据权利要求1所述的用于人脸识别的多任务级联卷积神经网络模型的改进方法,其特征在于,所述步骤2-步骤5中的训练过程均包括采用带有Frank-Wolfe优化器的基于上界的多梯度下降算法进行优化直至模型收敛的步骤。
CN201910507399.5A 2019-06-12 2019-06-12 一种用于人脸识别的多任务级联卷积神经网络模型的改进方法 Active CN110232352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910507399.5A CN110232352B (zh) 2019-06-12 2019-06-12 一种用于人脸识别的多任务级联卷积神经网络模型的改进方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910507399.5A CN110232352B (zh) 2019-06-12 2019-06-12 一种用于人脸识别的多任务级联卷积神经网络模型的改进方法

Publications (2)

Publication Number Publication Date
CN110232352A true CN110232352A (zh) 2019-09-13
CN110232352B CN110232352B (zh) 2022-11-25

Family

ID=67858909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910507399.5A Active CN110232352B (zh) 2019-06-12 2019-06-12 一种用于人脸识别的多任务级联卷积神经网络模型的改进方法

Country Status (1)

Country Link
CN (1) CN110232352B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462093A (zh) * 2020-04-02 2020-07-28 北京小白世纪网络科技有限公司 一种基于眼底图像进行疾病分类的方法
CN111783898A (zh) * 2020-07-09 2020-10-16 腾讯科技(深圳)有限公司 图像识别模型的训练、图像识别方法、装置及设备
CN113128478A (zh) * 2021-05-18 2021-07-16 电子科技大学中山学院 模型训练方法、行人分析方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760859A (zh) * 2016-03-22 2016-07-13 中国科学院自动化研究所 基于多任务卷积神经网络的网纹人脸图像识别方法及装置
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN107239736A (zh) * 2017-04-28 2017-10-10 北京智慧眼科技股份有限公司 基于多任务级联卷积神经网络的人脸检测方法及检测装置
US20180025217A1 (en) * 2016-07-22 2018-01-25 Nec Laboratories America, Inc. Liveness detection for antispoof face recognition
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法
CN109460729A (zh) * 2018-11-01 2019-03-12 浩云科技股份有限公司 一种嵌入式多人脸检测方法及系统
CN109829354A (zh) * 2018-11-29 2019-05-31 四川商通实业有限公司 一种基于深度学习的人脸识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760859A (zh) * 2016-03-22 2016-07-13 中国科学院自动化研究所 基于多任务卷积神经网络的网纹人脸图像识别方法及装置
US20180025217A1 (en) * 2016-07-22 2018-01-25 Nec Laboratories America, Inc. Liveness detection for antispoof face recognition
US20180025213A1 (en) * 2016-07-22 2018-01-25 Nec Laboratories America, Inc. Camera system for traffic enforcement
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN107239736A (zh) * 2017-04-28 2017-10-10 北京智慧眼科技股份有限公司 基于多任务级联卷积神经网络的人脸检测方法及检测装置
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法
CN109460729A (zh) * 2018-11-01 2019-03-12 浩云科技股份有限公司 一种嵌入式多人脸检测方法及系统
CN109829354A (zh) * 2018-11-29 2019-05-31 四川商通实业有限公司 一种基于深度学习的人脸识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHA ZHANG ET.AL.: "Improving Multiview Face Detection with Multi-Task Deep Convolutional Neural Network", 《IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》 *
KAIPENG ZHANG ET.AL.: "Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks", 《IEEE SIGNAL PROCESSING LETTERS》 *
OZAN SENER ET.AL.: "Multi-Task Learning as Multi-Objective Optimization", 《32ND CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS (NEURIPS 2018)》 *
任成娟: "多任务学习及卷积神经网络在人脸识别中的运用", 《电子技术与软件工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462093A (zh) * 2020-04-02 2020-07-28 北京小白世纪网络科技有限公司 一种基于眼底图像进行疾病分类的方法
CN111783898A (zh) * 2020-07-09 2020-10-16 腾讯科技(深圳)有限公司 图像识别模型的训练、图像识别方法、装置及设备
CN111783898B (zh) * 2020-07-09 2021-09-14 腾讯科技(深圳)有限公司 图像识别模型的训练、图像识别方法、装置及设备
CN113128478A (zh) * 2021-05-18 2021-07-16 电子科技大学中山学院 模型训练方法、行人分析方法、装置、设备及存储介质
CN113128478B (zh) * 2021-05-18 2023-07-14 电子科技大学中山学院 模型训练方法、行人分析方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110232352B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN110232352A (zh) 一种用于人脸识别的多任务级联卷积神经网络模型的改进方法
Nishizaki et al. Stackelberg solutions to multiobjective two-level linear programming problems
CN111625816A (zh) 一种入侵检测方法及装置
Huang et al. Orthogonal least squares algorithm for training cascade neural networks
KR101963686B1 (ko) 타겟 시스템 제어
KR20190018885A (ko) 중첩 신경망을 프루닝하는 방법 및 장치
CN110674857A (zh) 一种基于多尺度堆叠网络的广告点击分类方法
CN108921281A (zh) 一种基于深度网络和对抗技术的领域适配方法
WO2019142241A1 (ja) データ処理システムおよびデータ処理方法
Gori et al. A recursive neural network model for processing directed acyclic graphs with labeled edges
Thathachar et al. Parallel algorithms for modules of learning automata
Gosavi Relative value iteration for average reward semi-Markov control via simulation
Woodland Weight limiting, weight quantisation and generalisation in multi-layer perceptrons
US20210365617A1 (en) Design and optimization algorithm utilizing multiple networks and adversarial training
Hovd et al. Verifying stability of approximate explicit MPC
Çakıcı et al. Performance analysis for load frequency control of interconnected power systems with different techniques
Nowosad et al. Neural network as a new approach for data assimilation
Ohkubo et al. RBF< cd0215f. gif> SOM: An Efficient Algorithm for Large-Scale Multi-System Learning
Yao et al. State space representation and phase analysis of gradient descent optimizers
CN111931858A (zh) 一种单核与双核结合的在线分类器
CN113591781B (zh) 基于服务机器人云平台的图像处理方法及系统
Ubukata et al. Basic Consideration of Online and Mini-Batch Algorithms for MMMs-induced Fuzzy Co-clustering
Ahuja et al. Evolutionary optimisation–based design of 2–DOF observer controller for integral process with dead time: a comparative study
Nowicki et al. Rough Neural Network Classifier
Zhang et al. A Levenberg-Marquardt Algorithm Based Incremental Scheme for Complex-Valued Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant