CN105095857B - 基于关键点扰动技术的人脸数据增强方法 - Google Patents

基于关键点扰动技术的人脸数据增强方法 Download PDF

Info

Publication number
CN105095857B
CN105095857B CN201510363031.8A CN201510363031A CN105095857B CN 105095857 B CN105095857 B CN 105095857B CN 201510363031 A CN201510363031 A CN 201510363031A CN 105095857 B CN105095857 B CN 105095857B
Authority
CN
China
Prior art keywords
key point
face
transformation
image
disturbance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510363031.8A
Other languages
English (en)
Other versions
CN105095857A (zh
Inventor
杨小康
晏轶超
潘岑蕙
徐奕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201510363031.8A priority Critical patent/CN105095857B/zh
Publication of CN105095857A publication Critical patent/CN105095857A/zh
Application granted granted Critical
Publication of CN105095857B publication Critical patent/CN105095857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于关键点扰动技术的人脸数据增强方法,该方法利用首先采用基于人脸关键点技术的人脸对齐方法,然后对关键点位置进行扰动,再分别用线性变换、仿射变换、分块仿射变换得到新的人脸图片。本发明基于人脸关键点技术的人脸对齐方法,以线性变换、仿射变换、分块仿射变换进行人脸对齐,并对关键点位置进行扰动,使一张人脸图片能够生成多张人脸图片。本发明是一种能够解决人脸识别训练过程中数据不足的方法,通过一张人脸图片生成多张图片,从而增加训练量,提高人脸识别的准确率。

Description

基于关键点扰动技术的人脸数据增强方法
技术领域
本发明涉及的是一种人脸识别技术领域的人脸对齐方法,具体涉及的是一种基于关键点扰动技术的人脸数据增强方法。
背景技术
人脸识别技术是计算机视觉的重要分支,一直以来都具有极高的学术研究价值和广泛的市场应用前景。一个完整的人脸识别系统包含以下四种技术:人脸检测、人脸对齐、人脸特征提取、人脸比对。而人脸特征提取是人脸识别系统中非常关键的步骤。常用的人脸特征提取技术包括:单层人工特征、二层Encoding特征和利用深度学习方法学习出的层次化特征。其中利用深度学习得到的高层特征因为能够表达人的眼睛颜色、嘴巴形状、性别等更高级的语义信息,具有更强的描述能力。利用这种特征进行比对识别能够大大提高人脸识别的识别率。因此,基于深度学习的理论已经成为2013以来最炙手可热的人脸识别理论。2014年,Facebook在CVPR发表的论文表明其在LFW数据集上的识别率达到了97.25%。
虽然深度学习有着广阔的应用前景,但进一步提升深度学习方法的人脸识别率却存在一些难题,主要是深度学习模型的训练需要海量数据的支持,而大规模数据采集的难度较大,同时需要耗费大量的人力和物力。对一般的科研机构而言,采集如此多的数据非常困难。
经检索,申请号为CN201310628537.8的中国发明专利,该发明公开了一种人脸对齐方法,包括:步骤1)、在参考集中找到与输入人脸图像在图像特征上最相似的K个近邻人脸图像样本,其中所述参考集包括已标定面部特征点的多个人脸图像样本;步骤2)、从所述K个近邻人脸图像样本的面部特征点中得到所述输入人脸图像的面部特征点;步骤3)、对所述输入人脸图像的面部特征点和所述输入人脸图像的边界点做分块三角剖分,每块单独计算仿射变换,对齐到指定的脸。但是该专利技术仍旧没有解决上述训练样本量不足的问题。
发明内容
本发明为解决上述内容中提到的训练样本量不足的问题,提供一种基于关键点扰动技术的人脸数据增强方法,增大训练数据量,提高人脸识别的准确率。
为实现上述目的,本发明采用的技术方案是:本发明首先采用基于人脸关键点技术的人脸对齐方法,然后对关键点位置进行扰动,再分别用线性变换、仿射变换、分块仿射变换得到新的人脸图片。
本发明所述方法包括以下步骤:
第一步、对图像I(x,y)检测关键点{P(x,y)}n,并找出其中三个重要关键点位置P1(x1,y1)、P2(x2,y2)、P3(x3,y3);
优选地,第一步具体包括:
1.1)将彩色原图像转化成为灰度图像I(x,y);
1.2)对灰度图像I(x,y)使用基于Viola and Jones框架的人脸检测算法,找出人脸区域图像
1.3)使用基于SDM的关键点检测技术,计算图像中人脸关键点位置{P(x,y)}n,并找出其中分别代表双眼中心位置,嘴巴中心位置的三个关键点位置P1(x1,y1)、P2(x2,y2)、P3(x3,y3)。
第二步、对图像的关键点P1(x1,y1)、P2(x2,y2)、P3(x3,y3)进行扰动,得到新的关键点位置
优选地,第二步具体包括:
2.1)根据三个关键点P1(x1,y1)、P2(x2,y2)、P3(x3,y3)的相对位置,确定关键点的扰动范围{h,v},其中h代表水平方向的扰动范围,v代表垂直方向的扰动范围;
2.2)在扰动范围{h,v}内生成三组随机数{Pr(x,y)}3,基于此对关键点进行扰动,得到扰动后的关键点
2.3)重复m次扰动,得到m组新的关键点
第三步、根据扰动后关键点位置对图像I(x,y)根据传统变换定义分别进行线性变换、仿射变换、分块放射变换,得到对齐后的图像;
优选地,第三步具体包括:
3.1)根据扰动后的关键点和原关键点P1(x1,y1)、P2(x2,y2)、P3(x3,y3)的变换对应关系,计算相应变换矩阵;
首先设第i组关键点位置其中i=1,2,3…m, 为变换前图像上的点,原关键点P1(x1,y1)、P2(x2,x2)、P3(x3,y3)为变换后图像上的点,联立 方程组,计算变换矩阵
求解上述方程组,得到:
得到关于第i组关键点位置的变换矩阵
3.2)根据得到的变换矩阵和线性变换的性质,对图像I(x,y)进行线性变换,得到m张变换后的图像{Il(x,y)}m
使用第i组(i=1,2,3…m)关键点位置得到的 变换矩阵计算线性变换后的图像
其中p为奇偶校验参数,可以被设置为1或者-1。
3.3)根据得到的变换矩阵和仿射变换的性质,对图像I(x,y)进行仿射变换,得到m张变换后的图像{Ia(x,y)}m
使用第i组(i=1,2,3…m)关键点位置得到的 变换矩阵计算线性变换后的图像
3.4)根据得到的变换矩阵和分块仿射变换的性质,对图像I(x,y)进行分块仿射变换,得到m张变换后的图像{Ipl(x,y)}m
首先按照人脸关键点位置{P(x,y)}n将图像I(x,y)分成N块,然后分别对每一块图 像区域Rj(x,y)(j=1,2,3…N),使用第i组(i=1,2,3…m)关键点位置得到的变换矩阵计算仿射变换后的图像区域
最后将得到的图像区域(j=1,2,3…N)组合成完整的分块仿射图像{Ipl(x,y)}i
本发明的原理是,采用基于人脸关键点技术的人脸对齐方法,对关键点位置进行扰动,然后分别用线性变换、仿射变换、分块仿射变换得到新的人脸图片。本发明利用了基于Viola and Jones框架的人脸检测算法和基于SDM的关键点检测技术,并根据扰动后关键点位置分别采用线性变换、仿射变换和分块仿射变换。通过这种方式能够生成多张符合实际应用场景要求的训练样本,大大增加训练数据量,提高人脸识别的准确率。
由于线性变换、仿射变换、分块仿射变换都是基于纯粹的2D人脸图像,不需要通过复杂的运算就能够对人脸图像进行多姿态变换,相当于建立了一个多姿态的人脸数据库,明显丰富了训练样本包含的信息,所以在一定程度上提高了人脸识别的准确率。
与现有技术相比,本发明具有以下有益效果:
本发明基于Viola and Jones框架的人脸检测算法和基于SDM的关键点检测技术,对人脸关键点位置进行扰动,然后分别用线性变换、仿射变换、分块仿射变换得到新的人脸图片,是一种能够获得符合实际应用场景的人脸图像样本的有效方法,通过扩大训练数据量,有效地提高了人脸识别的准确率。在比较人脸识别技术性能的过程中,通过本发明增加训练数据量的人脸识别算法,比如使用HG特征的人脸识别算法、使用Fisher特征的人脸识别算法、基于深度学习的人脸识别算法等,其人脸识别的准确率与没有使用本发明增加训练数据量,即用较少数据量进行训练相比,有显著的提高,证明了本发明的有效性。
附图说明
图1是本发明一实施例的方法流程图。
图2是关键点扰动后生成的图片。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示,为本发明一实施例的方法总体流程图:
第一步、对图像I(x,y)检测关键点{P(x,y)}n,并找出其中三个重要关键点位置P1(x1,y1)、P2(x2,y2)、P3(x3,y3),具体步骤包括:
1.1)将彩色原图像转化成为灰度图像I(x,y);
1.2)对灰度图像I(x,y)使用基于Viola and Jones框架的人脸检测算法,找出人脸区域图像
1.3)使用基于SDM的关键点检测技术,计算图像中人脸关键点位置{P(x,y)}n,并找出其中分别代表双眼中心位置,嘴巴中心位置的三个关键点位置P1(x1,y1)、P2(x2,y2)、P3(x3,y3),该实施例中n=31。
第二步、对图像的关键点P1(x1,y1)、P2(x2,y2)、P3(x3,y3)进行扰动,得到新的关键点位置具体步骤包括:
2.1)根据三个关键点P1(x1,y1)、P2(x2,y2)、P3(x3,y3)的相对位置,确定关键点的扰动范围{h,v},其中h代表水平方向的扰动范围,v代表垂直方向的扰动范围,该实施例中h=5,v=5;
2.2)在扰动范围{h,v}内生成三组随机数{Pr(x,y)}3,基于此对关键点进行扰动, 得到扰动后的关键点
2.3)重复m次扰动,得到m组新的关键点该实施例中m=2。
第三步、根据扰动后关键点位置对图像I(x,y)进行线性变换、仿射变换、分块放射变换,得到对齐后的图像,具体步骤包括:
3.1)根据扰动后的关键点和原关键点P1(x1,y1)、P2(x2,y2)、P3(x3,y3)的变换对应关系,计算相应变换矩阵;
首先设第i组关键点位置其中i=1,2,3…m, 为变换前图像上的点,原关键点P1(x1,y1)、P2(x2,y2)、P3(x3,y3)为变换后图像上的点,联立 方程组,计算变换矩阵
求解上述方程组,得到:
得到关于第i组关键点位置的变换矩阵
3.2)根据得到的变换矩阵和线性变换的性质,对图像I(x,y)进行线性变换,得到m张变换后的图像{Il(x,y)}m
使用第i组(i=1,2,3…m)关键点位置得到的 变换矩阵计算线性变换后的图像
其中p为奇偶校验参数,可以被设置为1或者-1,该实施例中p=1。
3.3)根据得到的变换矩阵和仿射变换的性质,对图像I(x,y)进行仿射变换,得到m张变换后的图像{Ia(x,y)}m
使用第i组(i=1,2,3…m)关键点位置得到的 变换矩阵计算线性变换后的图像
3.4)根据得到的变换矩阵和分块仿射变换的性质,对图像I(x,y)进行分块仿射变换,得到m张变换后的图像{Ipl(x,y)}m
首先按照人脸关键点位置{P(x,y)}n将图像I(x,y)分成N块,然后分别对每一块图 像区域Rj(x,y)(j=1,2,3…N),使用第i组(i=1,2,3…m)关键点位置得到的变换矩阵计算仿射变换后的图像区域
最后将得到的图像区域(j=1,2,3…N)组合成完整的分块仿射图像{Ipl(x,y)}i
实施效果
依据上述步骤,对5种常见特征编码人脸识别方法(HG、Fisher、VLAD、LLC、VQ)和2种以DCNN为基础的人脸识别方法(ImageNet、DeepFace)进行识别准确率评估。在该实施例中,用CASIA-WebFace数据库作为原训练数据,有标注的LFW数据库作为测试数据。图2是一组关键点扰动后生成的样例图片。
表1是五种常见特征编码人脸识别方法在使用原训练数据和使用经过本发明提出的方法扩大的训练数据的人脸识别准确率。可以看出,在使用经过本发明提出的方法扩大的训练数据后,五种常见特征编码人脸识别方法的人脸识别准确率都有提高。
表2是2种以DCNN为基础的人脸识别方法,在使用原训练数据和使用经过本发明提出的方法扩大的训练数据的人脸识别准确率。可以看出,在使用经过本发明提出的方法扩大的训练数据后,2种以DCNN为基础的人脸识别方法的人脸识别准确率都有明显的提升,由此可见,增大训练数据量对提升以深度学习为基础的方法有明显的帮助。
表1
表2
特征编码 是否使用扩大的训练数据 准确率
ImageNet 93.17
DeepFace 95.23
ImageNet 94.82
DeepFace 96.10
实验表明,将之与直接使用人脸数据库作为训练数据相比,本实施例采用的方法能够获得符合实际应用场景的人脸图像样本,并通过扩大训练数据量,有效地提高了人脸识别的准确率。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。

Claims (4)

1.一种基于关键点扰动技术的人脸数据增强方法,其特征在于,包括以下步骤:
第一步、对灰度图像I(x,y)检测关键点{P(x,y)}n,并找出其中分别代表双眼中心位置、嘴巴中心位置的三个重要关键点位置P1(x1,y1)、P2(x2,y2)、P3(x3,y3);
第二步、对灰度图像I(x,y)的关键点P1(x1,y1)、P2(x2,y2)、P3(x3,y3)进行m次扰动,得到新的关键点位置
第三步、根据扰动后关键点位置对灰度图像I(x,y)依次进行线性变换、仿射变换、分块放射变换,得到对齐后的图像。
2.根据权利要求1所述的基于关键点扰动技术的人脸数据增强方法,其特征是,所述的第一步包括以下步骤:
1.1)将彩色原图像转化成为灰度图像I(x,y);
1.2)对灰度图像I(x,y)使用基于Viola and Jones框架的人脸检测算法,找出人脸区域图像
1.3)使用基于SDM的关键点检测技术,计算图像中人脸关键点位置Pn(x,y),并找出其中分别代表双眼中心位置,嘴巴中心位置的三个重要关键点位置P1(x1,y1)、P2(x2,y2)、P3(x3,y3)。
3.根据权利要求1所述的基于关键点扰动技术的人脸数据增强方法,其特征是,所述的第二步包括以下步骤:
2.1)根据三个关键点P1(x1,y1)、P2(x2,y2)、P3(x3,y3)的相对位置,确定关键点的扰动范围{h,v},其中h代表水平方向的扰动范围,v代表垂直方向的扰动范围;
2.2)在扰动范围{h,v}内生成三组随机数{Pr(x,y)}3,基于此对关键点进行扰动,得到扰动后的关键点
2.3)重复m次扰动,得到m组新的关键点
4.根据权利要求1-3之一所述的基于关键点扰动技术的人脸数据增强方法,其特征是,所述的第三步包括以下步骤:
3.1)根据扰动后的关键点和原关键点P1(x1,y1)、P2(x2,y2)、P3(x3,y3)的变换对应关系,计算相应变换矩阵;
3.2)根据得到的变换矩阵和线性变换的性质,对灰度图像I(x,y)进行线性变换,得到m张变换后的图像{Il(x,y)}m
3.3)根据得到的变换矩阵和仿射变换的性质,对灰度图像I(x,y)进行仿射变换,得到m张变换后的图像{Ia(x,y)}m
3.4)根据得到的变换矩阵和分块仿射变换的性质,对灰度图像I(x,y)进行分块仿射变换,得到m张变换后的图像{Ipl(x,y)}m
CN201510363031.8A 2015-06-26 2015-06-26 基于关键点扰动技术的人脸数据增强方法 Active CN105095857B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510363031.8A CN105095857B (zh) 2015-06-26 2015-06-26 基于关键点扰动技术的人脸数据增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510363031.8A CN105095857B (zh) 2015-06-26 2015-06-26 基于关键点扰动技术的人脸数据增强方法

Publications (2)

Publication Number Publication Date
CN105095857A CN105095857A (zh) 2015-11-25
CN105095857B true CN105095857B (zh) 2018-11-16

Family

ID=54576246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510363031.8A Active CN105095857B (zh) 2015-06-26 2015-06-26 基于关键点扰动技术的人脸数据增强方法

Country Status (1)

Country Link
CN (1) CN105095857B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550657B (zh) * 2015-12-23 2019-01-29 北京化工大学 基于关键点的改进sift人脸特征提取方法
CN106682587A (zh) * 2016-12-02 2017-05-17 厦门中控生物识别信息技术有限公司 图像库构建方法及装置
CN108388833A (zh) * 2018-01-15 2018-08-10 阿里巴巴集团控股有限公司 一种图像识别方法、装置及设备
CN110163033B (zh) 2018-02-13 2022-04-22 京东方科技集团股份有限公司 正样本获取方法、行人检测模型生成方法和行人检测方法
CN110738082B (zh) * 2018-07-20 2023-01-24 北京陌陌信息技术有限公司 人脸关键点的定位方法、装置、设备及介质
CN109685018A (zh) * 2018-12-26 2019-04-26 深圳市捷顺科技实业股份有限公司 一种人证校验方法、系统及相关设备
CN111178337B (zh) * 2020-01-07 2020-12-29 南京甄视智能科技有限公司 人脸关键点数据增强方法、装置、系统以及模型训练方法
CN111507259B (zh) * 2020-04-17 2023-03-24 腾讯科技(深圳)有限公司 脸部特征提取方法、装置、电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7936926B2 (en) * 2007-03-13 2011-05-03 Aisin Seiki Kabushiki Kaisha Apparatus, method, and program for face feature point detection
CN103577815A (zh) * 2013-11-29 2014-02-12 中国科学院计算技术研究所 一种人脸对齐方法和系统
CN103649997A (zh) * 2011-07-13 2014-03-19 高通股份有限公司 用于校准成像装置的方法和设备
CN103824049A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联神经网络的人脸关键点检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7684595B2 (en) * 2006-06-23 2010-03-23 The United States Of America As Represented By The Secretary Of The Navy Method of facial recognition
US9105119B2 (en) * 2013-05-02 2015-08-11 Emotient, Inc. Anonymization of facial expressions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7936926B2 (en) * 2007-03-13 2011-05-03 Aisin Seiki Kabushiki Kaisha Apparatus, method, and program for face feature point detection
CN103649997A (zh) * 2011-07-13 2014-03-19 高通股份有限公司 用于校准成像装置的方法和设备
CN103577815A (zh) * 2013-11-29 2014-02-12 中国科学院计算技术研究所 一种人脸对齐方法和系统
CN103824049A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联神经网络的人脸关键点检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种层级处理的人脸光照归一化方法;黎利辉;《西南师范大学学报(自然科学版)》;20140520;第105页-第111页 *

Also Published As

Publication number Publication date
CN105095857A (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
CN105095857B (zh) 基于关键点扰动技术的人脸数据增强方法
CN108596024B (zh) 一种基于人脸结构信息的肖像生成方法
Lee et al. Intra-class variation reduction using training expression images for sparse representation based facial expression recognition
CN109919830B (zh) 一种基于美学评价的带参考人眼图像修复方法
CN107292813A (zh) 一种基于生成对抗网络的多姿态人脸生成方法
CN106778785B (zh) 构建图像特征提取模型的方法及图像识别的方法、装置
CN111667400B (zh) 一种基于无监督学习的人脸轮廓特征风格化生成方法
CN105678232A (zh) 一种基于深度学习的人脸图片特征提取与对比方法
CN109657612B (zh) 一种基于人脸图像特征的质量排序系统及其使用方法
CN108629338A (zh) 一种基于lbp和卷积神经网络的人脸美丽预测方法
Shu et al. Kinship-guided age progression
CN106778852A (zh) 一种修正误判的图像内容识别方法
CN113807265B (zh) 一种多样化的人脸图像合成方法及系统
CN105095867A (zh) 基于深度学习的快速动态人脸提取、识别方法
CN109558805A (zh) 基于多层深度特征的人体行为识别方法
CN104200505A (zh) 一种人脸视频图像的漫画式动画生成方法
CN113537008A (zh) 基于自适应运动放大和卷积神经网络的微表情识别方法
CN106960457A (zh) 一种基于图像语义提取和涂鸦的彩绘画创作方法
CN107679501A (zh) 一种基于标签自提纯的深度学习方法
CN105046189A (zh) 一种双向二维迭代非相关判别分析的人脸识别方法
CN106203448A (zh) 一种基于非线性尺度空间的场景分类方法
CN114155572A (zh) 一种面部表情识别方法和系统
CN107146215A (zh) 一种基于颜色直方图和凸包的显著性检测方法
CN116486495A (zh) 一种基于注意力与生成对抗网络的人脸图像隐私保护方法
CN103778416B (zh) 一种自适应逼近人脸图像产生方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant