CN108090460A - 基于韦伯多方向描述子的人脸表情识别特征提取算法 - Google Patents

基于韦伯多方向描述子的人脸表情识别特征提取算法 Download PDF

Info

Publication number
CN108090460A
CN108090460A CN201711472273.6A CN201711472273A CN108090460A CN 108090460 A CN108090460 A CN 108090460A CN 201711472273 A CN201711472273 A CN 201711472273A CN 108090460 A CN108090460 A CN 108090460A
Authority
CN
China
Prior art keywords
directions
gabor
weber
expression
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711472273.6A
Other languages
English (en)
Other versions
CN108090460B (zh
Inventor
杨巨成
李梦
于洋
代翔子
毛磊
任德华
吴超
刘建征
张传雷
陈亚瑞
赵婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Science and Technology
Original Assignee
Tianjin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology filed Critical Tianjin University of Science and Technology
Priority to CN201711472273.6A priority Critical patent/CN108090460B/zh
Publication of CN108090460A publication Critical patent/CN108090460A/zh
Application granted granted Critical
Publication of CN108090460B publication Critical patent/CN108090460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression

Abstract

本发明涉及一种基于韦伯多方向描述子的人脸表情识别特征提取算法,其主要技术特点是:将人脸表情图像进行Gabor小波变换,并将同一尺度各方向的Gabor特征进行融合;将Gabor特征图像分为不重叠的子块,并分别在水平、垂直、两个对角线方向上构建图结构;计算图结构在0°、45°、90°、135°方向上的特征值,取四个特征值中最大的一个作为韦伯多方向描述子的差分激励;分别计算中心像素在两个相互垂直方向上的梯度,并把两者中较大的梯度方向作为韦伯多方向描述子的主方向。本发明设计合理,能提取到更多有效、更具鉴别力的纹理细节特征,显著提高了人脸表情识别率,并且具有较好的识别稳定性及泛化能力,可广泛应用于人脸表情识别等图像处理领域。

Description

基于韦伯多方向描述子的人脸表情识别特征提取算法
技术领域
本发明属于图像处理领域,尤其是一种基于韦伯多方向描述子的人脸表情识别特征提取算法(WOD-GS)。
背景技术
人脸表情包含着丰富且复杂的情感信息,在人际交往和互动中扮演着重要角色。近年来,随着人工智能的发展,人脸表情识别在情感计算领域中已经成为一个研究热点。
特征提取算法在人脸表情识别系统中起着至关重要的作用。现有的人脸表情特征提取方法可以划分为四种类型:第一种方法是采用几何特征进行特征提取,测量眼睛、眉毛、嘴巴等显著性变化部位的位置、距离、形状变化及相互比例等几何特征进行表情识别,然而该方法丢失了一些重要的识别和信息,识别结果的精确性不高。第二种方法是基于整体统计特征的方法,主要包括主成分分析(PCA)、线性判别分析(LDA)、局部保持投影(LPP)等,该方法直接利用整个图像的内在属性信息,通过编码成更低维或子空间信息来计算图像间的相似性,由于忽略了大量的细节信息,外界因素的干扰导致识别率严重下降。第三种方法是基于频率域特征提取,其中Gabor小波变换是其中具有代表性的一种方法,该方法首先把图像的空间域特征转化为频率域特征,再提取相关低层次的特征,然而经过Gabor小波多尺度多方向的变换,特征矩阵维度很高,特征提取算法的时间复杂度很高,造成识别效率较低。第四种方法主要是利用光流法并通过建立光流模型来表示图像中人脸部位的结构及运动信息,然而该方法的计算量特别大,限制了它的进一步应用。
最近,韦伯局部描述子(WLD)和局部图结构(LGS)特征提取算法具有简单和高效性特点,已经成为一个研究热点。2010年,陈杰等人受到韦伯定律的启发,提出了韦伯局部描述子(WLD),WLD用局部刺激比率大小及梯度方向两部分来描述图像纹理细节,然而,其存在的缺点是:计算差励时仅仅考虑中心像素与周围像素的对比度信息,忽视了周围像素间具有的内在关系。之后有学者分别从不同角度对WLD算法进行改进,但是这些算法仅计算水平、垂直方向的梯度信息,图像的空间结构信息没有得到充分利用。2011年,Abusham等人将图结构思想用于特征提取,在4×3的邻域内通过构建图结构(LGS)来提取图像特征,该方法的缺点是位于目标像素两边的像素点个数不同,算法不具有对称性。 2014年,Mohd等人提出了对称图结构(SLGS)算法,在一定程度上弥补了原始LGS 算法的不足,但是,以上图结构算法仍然缺少梯度方向信息。
综上所述,现有的人脸表情局部特征提取算法在表征人脸特征方面在识别率方面还有待提高。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于韦伯多方向描述子的人脸表情识别特征提取算法,能够在人脸表情识别的过程中,尽量准确地描述人脸特征,从而提高识别率。
本发明解决其技术问题是采取以下技术方案实现的:
一种基于韦伯多方向描述子的人脸表情识别特征提取算法,包括以下步骤:
步骤1:将人脸表情图像进行Gabor小波变换,并将同一尺度各方向的Gabor 特征进行融合;
步骤2:将一副人脸表情Gabor特征图像分为不重叠的子块,在每个子块上采用5×5的窗口,并分别在水平、垂直、两个对角线方向上构建图结构;
步骤3:分别计算图结构在0°、45°、90°、135°方向上的特征值,取四个特征值中最大的一个作为韦伯多方向描述子的差分激励;
步骤4:分别计算中心像素在两个相互垂直方向上的梯度,并把两者中较大的梯度方向作为韦伯多方向描述子的主方向。
进一步,所述步骤1的具体实现方法为:将人脸表情图像经过Gabor小波变换转化为5个尺度、8个方向的Gabor特征图,将同一尺度8个方向的Gabor 特征进行融合,得到不同尺度下的人脸表情融合图。
进一步,所述Gabor小波变换采用Gabor滤波器,该Gabor滤波器的核函数G(k,x,y,θ)采用如下公式计算:
其中,x,y代表中心像素点,θ代表Gabor核函数的方向,ku,v是滤波器的中心频率,由它确定Gabor尺度因子v和方向u,σ是滤波器的带宽;
并且,采用如下公式计算MGv(x,y):
其中,MGv(x,y)代表在第v个尺度上融合8个方向后的Gabor特征。
进一步,所述步骤3的实现方法为:在图结构中,对于目标像素0°方向、 135°方向、90°方向以及45°方向的像素,箭头按照逆时针方向连接,如果箭头所指方向的像素灰度值大于箭头尾端像素值,则该边的权值赋值为1,反之,该边的权值赋值为0;在目标像素0°方向、90°方向、45°方向以及135°方向的像素按照顺时针方向比较,通过比较相邻像素的灰度值,在每个方向上得到一个8位的二进制序列,再把每位的二进制数乘以相应边上的权重得到该方向上最终的特征值,最后分别计算0°、45°、90°、135°方向上的特征值,取四个方向中最大特征值作为韦伯多方向描述子的差分激励。
进一步,所述计算0°、45°、90°、135°方向上的特征值采用如下公式:
WOD-GS(XC,YC)=max(feature,feature45°,feature90°,feature135°)
其中,XC,YC表示该邻域的中心像素,feature表示用图结构算法在0°方向上取得的特征值,feature45°表示用图结构算法在45°方向上取得的特征值, feature90°表示用图结构算法在90°方向上取得的特征值,feature135°表示用图结构算法在135°方向上取得的特征值。
进一步,所述步骤4采用如下公式计算中心像素在两个相互垂直方向上的梯度:
θ(xc,yc)=max[θ(0°,90°),θ(45°,135°)]
其中,θ的取值范围为
本发明的优点和积极效果是:
本发明采用Gabor特征融合能够降低特征维度并加强Gabor信号幅值强度,在5×5的邻域内建立韦伯多方向描述子特征,通过构建多方向的图结构,选取最大的方向特征值作为最终的差分激励;在韦伯描述子特征方向上,新增添在对角线上的梯度方向信息,最终得到图像的特征值,从而能够提取到更多有效、更具鉴别力的纹理细节特征,在不同的人脸表情人脸数据库中,都能较好地描述人脸不同表情之间的纹理变化特征,显著提高了人脸表情识别率,并且具有较好的识别稳定性及泛化能力,可广泛应用于人脸表情识别等图像处理领域。
附图说明
图1为本发明将一幅表情图像经过Gabor变换后的特征实例图;
图2为本发明的各个尺度上的Gabor特征融合实例图;
图3为本发明在计算韦伯多方向描述子的差分激励时,在0°、90°45°、 135°方向上使用的图结构实例图;
图4为本发明的演示图结构在45°方向上的计算过程实例图;
图5为本发明的在5×5邻域内构建的梯度方向示意图;
图6为本发明与LGS、SLGS、WLD、MOW-SLGS、OSLWGS在JAFFE数据库上得到的识别率结果图;
图7为本发明与LGS、SLGS、WLD、MOW-SLGS、OSLWGS在CK+数据库上得到的识别率结果图。
具体实施方式
以下结合附图对本发明实施例做进一步详述:
一种基于韦伯多方向描述子的人脸表情识别特征提取算法,包括以下步骤:
步骤1:将人脸表情图像经过Gabor小波变换转化为5个尺度、8个方向的 Gabor特征图,将同一尺度8个方向的Gabor特征进行融合,得到不同尺度下的人脸表情融合图,并将各尺度下的人脸表情融合图分为不重叠的子块。
在本步骤中,Gabor小波变换采用Gabor滤波器,该Gabor滤波器的核函数 G(k,x,y,θ)计算公式如下:
其中,(x,y)代表中心像素点,θ代表Gabor核函数的方向,ku,v是滤波器的中心频率,由它确定Gabor尺度因子v和方向u,σ是滤波器的带宽。
在本实施例中,选取Gabor滤波器的参数:尺度因子v取为5,方向u取为 8,利用下述公式在第v个尺度上融合8个方向后的Gabor特征:
其中,MGv(x,y)代表在第v个尺度上融合8个方向后的Gabor特征。
通过上述计算公式,将每幅人脸表情图像变换为5个尺度Gabor特征融合图,其产生一组Gabor特征图像如图1及图2所示。
步骤2:将一副人脸表情Gabor特征整合图像分为不重叠的子块后,在每个子块上采用5×5的窗口,并分别在水平、垂直、两个对角线方向上构建图结构,如图3所示。
步骤3:计算图结构0°、45°、90°、135°方向上的特征值,取四个方向中最大特征值作为韦伯多方向描述子的差分激励WOD-GS值,其计算公式如下:
WOD-GS(XC,YC)=max(feature,feature45°,feature90°,feature135°)
其中,(xc,yc)表示该邻域的中心像素,feature表示用图结构算法在水平方向上(即0°方向)上取得的特征值,feature45°表示用图结构算法在45°方向上取得的特征值,feature90°表示用图结构算法在90°方向上取得的特征值, feature135°表示用图结构算法135°方向上取得的特征值。
通过上述公式,计算得到WOD-GS算法的差分激励值。
图4给出了计算韦伯45°方向上描述子的差分激励WOD-GS值原理图:
WOD-GS(0110 0001)=0×27+1×26+1×25+0×24+0×23+0×22+0×21+1×20=97。
步骤4:计算WOD-GS算法的梯度方向。
如图5所示,通过本步骤计算将得到目标像素的梯度方向,计算公式如下:
θ(xc,yc)=max[θ(0°,90°),θ(45°,135°)]
根据上述公式,最终得到5×5邻域内WOD-GS算法的差分激励值和梯度方向。
下面通过实现结果对本发明做进一步验证。
如图6所示,在JAFFE人脸表情数据库上,当训练样本数据取7、9、11、 12、13、14时,本发明(WOD-GS算法)的识别率均高于LGS、SLGS、WLD、MOW-SLGS、 OSLWGS算法,尤其是当训练样本数为14时,上述五种对比算法的识别率分别为 91.25%、95.00%、92.29%、96.50%、97.62%,而本发明的识别率已经可以达到 100%。
如图7所示,在CK+人脸表情数据库上,当每个样本每种表情的训练样本数据取1、2、3时,本发明(WOD-GS算法)的识别率均高于LBP、LGS、WLD算法,尤其是当训练样本数为2时,其他LGS、SLGS、WLD、MOW-SLGS、OSLWGS算法的识别率分别为93.50%、94.31%、90.86%、96.04%、94.67%,而本发明的识别率同样已经可以达到98.83%。
通过在两个人脸表情数据库上的比较,可以看出本发明的人脸表情识别率优于列出的其它算法,而且本发明鲁棒性强,不易受光照、姿态变化变化影响。
本发明识别结果稳定性要明显好于其他五种算法,在两种人脸表情数据库上的表现都很好。
本发明相对于LGS和WLD算法来说,克服了它们空间结构特征信息提取不充分和图像纹理变化方向描述不充分的问题,同时该算法融合Gabor小波变换达到滤波去噪及突出图像细节的目的,因此对人脸表情图像的识别率均优于其他算法。
需要强调的是,本发明所述的实施例是说明性的,而不是限定性的,因此本发明包括并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式,同样属于本发明保护的范围。

Claims (6)

1.一种基于韦伯多方向描述子的人脸表情识别特征提取算法,其特征在于包括以下步骤:
步骤1:将人脸表情图像进行Gabor小波变换,并将同一尺度各方向的Gabor特征进行融合;
步骤2:将一副人脸表情Gabor特征图像分为不重叠的子块,在每个子块上采用5×5的窗口,并分别在水平、垂直、两个对角线方向上构建图结构;
步骤3:分别计算图结构在0°、45°、90°、135°方向上的特征值,取四个特征值中最大的一个作为韦伯多方向描述子的差分激励;
步骤4:分别计算中心像素在两个相互垂直方向上的梯度,并把两者中较大的梯度方向作为韦伯多方向描述子的主方向。
2.根据权利要求1所述的基于韦伯多方向描述子的人脸表情识别特征提取算法,其特征在于:所述步骤1的具体实现方法为:将人脸表情图像经过Gabor小波变换转化为5个尺度、8个方向的Gabor特征图,将同一尺度8个方向的Gabor特征进行融合,得到不同尺度下的人脸表情融合图。
3.根据权利要求2所述的基于韦伯多方向描述子的人脸表情识别特征提取算法,其特征在于:所述Gabor小波变换采用Gabor滤波器,该Gabor滤波器的核函数G(k,x,y,θ)采用如下公式计算:
其中,x,y代表中心像素点,θ代表Gabor核函数的方向,ku,v是滤波器的中心频率,由它确定Gabor尺度因子v和方向u,σ是滤波器的带宽;
并且,采用如下公式计算MGv(x,y):
其中,MGv(x,y)代表在第v个尺度上融合8个方向后的Gabor特征。
4.根据权利要求1所述的基于韦伯多方向描述子的人脸表情识别特征提取算法,其特征在于:所述步骤3的实现方法为:在图结构中,对于目标像素0°方向、135°方向、90°方向以及45°方向的像素,箭头按照逆时针方向连接,如果箭头所指方向的像素灰度值大于箭头尾端像素值,则该边的权值赋值为1,反之,该边的权值赋值为0;在目标像素0°方向、90°方向、45°方向以及135°方向的像素按照顺时针方向比较,通过比较相邻像素的灰度值,在每个方向上得到一个8位的二进制序列,再把每位的二进制数乘以相应边上的权重得到该方向上最终的特征值,最后分别计算0°、45°、90°、135°方向上的特征值,取四个方向中最大特征值作为韦伯多方向描述子的差分激励。
5.根据权利要求3所述的基于韦伯多方向描述子的人脸表情识别特征提取算法,其特征在于:所述计算0°、45°、90°、135°方向上的特征值采用如下公式:
WOD-GS(XC,YC)=max(feature,feature45°,feature90°,feature135°)
其中,XC,YC表示该邻域的中心像素,feature表示用图结构算法在0°方向上取得的特征值,feature45°表示用图结构算法在45°方向上取得的特征值,feature90°表示用图结构算法在90°方向上取得的特征值,feature135°表示用图结构算法在135°方向上取得的特征值。
6.根据权利要求1所述的基于韦伯多方向描述子的人脸表情识别特征提取算法,其特征在于:所述步骤4采用如下公式计算中心像素在两个相互垂直方向上的梯度:
θ(xc,yc)=max[θ(0°,90°),θ(45°,135°)]
其中,θ的取值范围为
CN201711472273.6A 2017-12-29 2017-12-29 基于韦伯多方向描述子的人脸表情识别特征提取方法 Active CN108090460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711472273.6A CN108090460B (zh) 2017-12-29 2017-12-29 基于韦伯多方向描述子的人脸表情识别特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711472273.6A CN108090460B (zh) 2017-12-29 2017-12-29 基于韦伯多方向描述子的人脸表情识别特征提取方法

Publications (2)

Publication Number Publication Date
CN108090460A true CN108090460A (zh) 2018-05-29
CN108090460B CN108090460B (zh) 2021-06-08

Family

ID=62180154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711472273.6A Active CN108090460B (zh) 2017-12-29 2017-12-29 基于韦伯多方向描述子的人脸表情识别特征提取方法

Country Status (1)

Country Link
CN (1) CN108090460B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117795A (zh) * 2018-08-17 2019-01-01 西南大学 基于图结构的神经网络表情识别方法
CN110263681A (zh) * 2019-06-03 2019-09-20 腾讯科技(深圳)有限公司 面部表情的识别方法和装置、存储介质、电子装置
CN111353472A (zh) * 2020-03-30 2020-06-30 蚌埠学院 一种基于LBP和Gabor方向韦伯局部描述子的指静脉识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110010396A1 (en) * 2009-07-07 2011-01-13 Palo Alto Research Center Incorporated System and method for dynamic state-space abstractions in external-memory and parallel graph search
CN107194351A (zh) * 2017-05-22 2017-09-22 天津科技大学 基于韦伯局部对称图结构的人脸识别特征提取算法
CN107229949A (zh) * 2017-05-25 2017-10-03 贵州宇鹏科技有限责任公司 一种复杂光照下图像特征提取方法
CN107358147A (zh) * 2017-05-22 2017-11-17 天津科技大学 基于局部循环图结构的人脸识别特征提取算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110010396A1 (en) * 2009-07-07 2011-01-13 Palo Alto Research Center Incorporated System and method for dynamic state-space abstractions in external-memory and parallel graph search
CN107194351A (zh) * 2017-05-22 2017-09-22 天津科技大学 基于韦伯局部对称图结构的人脸识别特征提取算法
CN107358147A (zh) * 2017-05-22 2017-11-17 天津科技大学 基于局部循环图结构的人脸识别特征提取算法
CN107229949A (zh) * 2017-05-25 2017-10-03 贵州宇鹏科技有限责任公司 一种复杂光照下图像特征提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUCHENG YANG ET.AL: "Face Expression Recognition Using Gabor Features and a Novel Weber Local Descriptor", 《CCBR2018》 *
SONG DONG ET.AL: "Finger Vein Recognition Based on Multi-Orientation Weighted Symmetric Local Graph Structure", 《KSII TRANSACTIONS ON INTERNET AND INFORMATION SYSTEMS》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117795A (zh) * 2018-08-17 2019-01-01 西南大学 基于图结构的神经网络表情识别方法
CN109117795B (zh) * 2018-08-17 2022-03-25 西南大学 基于图结构的神经网络表情识别方法
CN110263681A (zh) * 2019-06-03 2019-09-20 腾讯科技(深圳)有限公司 面部表情的识别方法和装置、存储介质、电子装置
CN110263681B (zh) * 2019-06-03 2021-07-27 腾讯科技(深圳)有限公司 面部表情的识别方法和装置、存储介质、电子装置
CN111353472A (zh) * 2020-03-30 2020-06-30 蚌埠学院 一种基于LBP和Gabor方向韦伯局部描述子的指静脉识别方法
CN111353472B (zh) * 2020-03-30 2023-04-07 蚌埠学院 一种基于LBP和Gabor方向韦伯局部描述子的指静脉识别方法

Also Published As

Publication number Publication date
CN108090460B (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN107977932B (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN107154023B (zh) 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN102592136B (zh) 基于几何图像中中频信息的三维人脸识别方法
CN103927511B (zh) 基于差异特征描述的图像识别方法
CN107292250A (zh) 一种基于深度神经网络的步态识别方法
CN109858466A (zh) 一种基于卷积神经网络的人脸关键点检测方法及装置
CN110728324B (zh) 基于深度复值全卷积神经网络的极化sar图像分类方法
CN110473142B (zh) 基于深度学习的单幅图像超分辨率重建方法
CN104123560B (zh) 基于相位编码特征和多度量学习的模糊人脸图像验证方法
CN105574534A (zh) 基于稀疏子空间聚类和低秩表示的显著性目标检测方法
CN104392246B (zh) 一种基于类间类内面部变化字典的单样本人脸识别方法
CN104299232B (zh) 一种基于自适应窗方向波域和改进fcm的sar图像分割方法
CN108961675A (zh) 基于卷积神经网络的跌倒检测方法
CN110458192B (zh) 基于视觉显著性的高光谱遥感图像分类方法及系统
CN109902585B (zh) 一种基于图模型的手指三模态融合识别方法
CN104298974A (zh) 一种基于深度视频序列的人体行为识别方法
CN104268593A (zh) 一种小样本情况下多稀疏表示的人脸识别方法
CN103208097B (zh) 图像多方向形态结构分组的主分量分析协同滤波方法
CN109886881A (zh) 人脸妆容去除方法
CN105809173B (zh) 一种基于仿生物视觉变换的图像rstn不变属性特征提取及识别方法
CN110533077A (zh) 用于高光谱图像分类的形状自适应卷积深度神经网络方法
CN108090460A (zh) 基于韦伯多方向描述子的人脸表情识别特征提取算法
CN109816617B (zh) 基于导向滤波和图论显著性的多模态医学图像融合方法
CN106169174A (zh) 一种图像放大方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant