CN106650678B - Gabor小波子带相关结构人脸识别方法 - Google Patents
Gabor小波子带相关结构人脸识别方法 Download PDFInfo
- Publication number
- CN106650678B CN106650678B CN201611240833.0A CN201611240833A CN106650678B CN 106650678 B CN106650678 B CN 106650678B CN 201611240833 A CN201611240833 A CN 201611240833A CN 106650678 B CN106650678 B CN 106650678B
- Authority
- CN
- China
- Prior art keywords
- subband
- gabor wavelet
- face
- distribution
- dependency structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 241000039077 Copula Species 0.000 claims abstract description 35
- 230000001815 facial effect Effects 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims abstract description 17
- 238000005286 illumination Methods 0.000 claims abstract description 16
- 230000000694 effects Effects 0.000 claims abstract description 11
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 27
- 238000005315 distribution function Methods 0.000 claims description 19
- 230000001186 cumulative effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 5
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 230000007812 deficiency Effects 0.000 claims description 3
- 238000002513 implantation Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract 1
- 238000011017 operating method Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 7
- 239000004744 fabric Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000000631 nonopiate Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及了一种利用Gabor小波子带相关结构的人脸识别方法。Gabor小波能在不同尺度和不同方向把人脸图像分解成若干子带。由于Gabor小波是一种冗余变换,它分解的子带之间存在较强的相关性。一个Gabor小波子带可看成是一个随机变量的观察数据,因而可以用多维随机变量的相关结构来表示Gabor小波的子带相关性。Copula是一种创建多维统计模型的工具,它的作用是刻画随机变量间的相关结构。本发明利用高斯copula来刻画Gabor小波子带间的相关结构,这种相关结构对人脸具有很好的区分能力。操作步骤为:先对人脸进行预处理,再进行Gabor小波分解和高斯copula提取相关特征矩阵,最后利用相关特征矩阵进行人脸识别。本方法对光照变化和图像噪声有较强的鲁棒性、识别率高、应用前景广。
Description
技术领域
本发明涉及人脸识别技术,尤其是涉及一种基于Gabor小波分解子带相关结构特征的人脸识别技术。
背景技术
人脸是一种重要的生物特征。与指纹特征一样,人脸特征在人的身份确认中具有重要的地位和作用。目前主流的人脸识别技术包括:局部描述子技术、Gabor特征技术以及近来出现的深度学习技术。深度学习复杂度极高,计算很耗时,在普通场合都不适用。LBP(局部二进制模式)是广泛应用的局部描述子。然而LBP及其扩展版的描述子容易受到图像中噪声的干扰,比如光照变化大的人脸照片和夜间拍摄的含噪声较强的人脸照片。Gabor特征方法是利用Gabor小波子带的能量(平均值)当作人脸特征,通常Gabor能量特征的表达能力不如统计模型如概率统计模型等能力强。
Gabor滤波器能模拟人的感受野函数,十分适合表达纹理图像。二维Gabor滤波器函数为:
其中σx和σy是在x和y方向的高斯标准差,F是频域的中心频率。借助于小波变换的多分辨分析,对Gabor滤波器进行扩展便可以得到具有多尺度性能的Gabor小波。Gabor小波表示如下:
pm,n=amaxf-mp(x′,y′),
其中K是整数,amax是常量,表示最大分解尺度,f是尺度因子。m(=0,1,…,S-1)和n(=0,1,…,K-1)是Gabor小波的尺度参数和方向参数,S和K是自然数。利用Gabor小波进行分解时能得到S个尺度和K个方向的共S×K个分解子带。Gabor小波在光照变化和图像噪声情况下稳定性较好,广泛应用于机器视觉领域。
Copula是构建多维统计分布的工具,它能刻画变量间的相关结构。给定一随机向量[x1,…,xn],则Copula密度具有如下形式:
其中fi(xi)和Fi(xi)是随机变量xi对应的边缘密度函数和边缘分布函数。c(F1(x1),…,Fn(xn))是copula函数的密度函数,它代表变量间的相关结构。本发明正是利用c(F1(x1),…,Fn(xn))来提取人脸特征。高斯copula是最常见的copula函数,它能很好地捕获对称变量间具有对称形状的相关结构。高斯copula的分布函数为:
G(u1,…,un)=Φ(Φ-1(u1),Φ-1(u2),…,Φ-1(un))
其中Φ是标准正态分布函数;Φ-1是Φ的逆函数;ui=Fi(x)。高斯copula的密度函数为:
其中ξ=[ξ1,…,ξn],ξi=Φ-1(ui),i=1,…,n。R是高斯copula的相关矩阵,它决定随机变量之间的相关特性。在边缘分布给定情况下,用最大似然估计可以推出相关矩阵R为:
其中L是R的行列数,也是边缘分布函数的个数。
发明内容
本发明利用Gabor小波子带的相关结构实现人脸识别。用Gabor小波对人脸图片分解后会得到若干分解子带。由于Gabor函数的非正交特性,这些分解子带之间有较强的相关性。经过研究发现,这些相关特性能表征一副人脸图像。用本发明用高斯Copula函数来刻画这些相关结构。本发明方法具体实施步骤如下:
步骤(1)对人脸图像预处理。人脸采集时,由于光照变化和图像噪声会影响识别准确率。预处理主要去除光照影响和图像噪声。设输入的人脸图像为I,依次进行下面三方面的预处理:
(1a)首先,用Gamma矫正消除部分光照,Gamma矫正是将像素的指数值替换本身的值,表示为:I=Iλ,λ是矫正因子,这里取0.2。
(1b)其次,用直方图规定化增强图像。选取一副无光照和噪声影响的正面图像的直方图作为参照,根据该参照人脸图片将当前的人脸图片进行规定化处理,进一步去光照和噪声影响,增强图片效果。
(1c)最后,用高斯差分算子(DoG)滤波消除图像噪声同时增强图像边缘。DoG表示为:
步骤(2)用Gabor小波对预处理后的人脸图像进行5尺度8方向分解,共产生40个子带。每个子带是与原图像一样大小的矩阵。
步骤(3)用高斯copula刻画子带间的相关结构,具体操作如下:
(3a)对每一个子带进行拉直操作,即从上到下、从左到右拼接形成一维向量。共产生40个一维向量。分别用V1到V40表示这些向量。若人脸图像的尺寸为128×128像素,则Vi(1≤i≤40)长度为16384。
(3b)对每一个向量计算其经验分布。这样做的目的是计算每一个子带的边缘分布。当人脸图像尺寸一般较小时,会导致子带像素不足情况,用一般的分布(如Weibull分布和Gamma分布)函数难以取得好的效果。对于大尺寸人脸图片用Weibull分布进行拟合边缘拟合每个子带向量Vi,Weibull分布的密度函数表示为:α和β是该函数的两个参数;Weibull分布的累积分布函数为:用最大似然方法估计尺度参数和这样可以得到并将ui带入高斯copula密度函数。
对于尺寸较小的图片(比如32×32以下的图片)本发明用经验分布对每个子带进行拟合,得到累积分布值。先对向量Vi进行从小到大排序,然后计算累计分布。用ecdf表示经验分布函数,则累积分布表示为:
[Ei,Vsort]=ecdf(Vi),1≤i≤40
其中Ei为一向量,它是在Vsort点处的累积概率值,Ei长度与Vi相同。Vsort是Vi排序后的值(从小到大)。
(3c)最后用样条插值方法计算出每个样本点的经验分布函数值。最终经验分布表示如下:
Fi=spline(Vsort,Ei,Vi),1≤i≤40
Fi为向量Vi在对应点上的经验分布函数值。
(3d)用高斯copula连接这些经验分布函数的输出值。将ui=Fi带入高斯copula密度函数。
(3e)用最大似然估计方法计算出高斯copula密度函数的相关矩阵R,表示为:
其中ξ=[ξ1,…,ξn],ξi=Φ-1(Fi);Fi由(3c)步骤中的公式计算;L为ξi向量的长度,也是Gabor子带中像素的个数。R便是人脸的特征矩阵,它刻画Gabor小波子带之间的相关结构。
步骤(4)KLD特征匹配。这一步是将特征矩阵R与数据库里面保存的人脸特征矩阵Rq(q是自然数,小于或等于数据库人脸记录数)进行比较,找出最相似的人脸。KLD特征匹配是根据两个高斯copula密度函数之间的KLD距离(Kullback–Leibler distance)进行比较。设两个高斯copula函数分别为g1和g2,它们对应的相关矩阵为R1和R2,则两个高斯copula之间的KLD为:
其中tr(·)表示求矩阵的迹;n是R的行列数,也是Gabor小波子带个数,这里等于40。
与目前主流的基于LBP和Gabor小波(或Gabor滤波器)人脸识别技术相比,本发明对光照和噪声鲁棒性好,识别率高。经过实验验证,本发明对人脸识别准确率高,响应速度快。
附图说明
图1是本发明的人脸识别流程图。
图2是图1中步骤(3)的具体实现。
具体实施方式
下面结合附图对本发明作进一步说明。图1所示为本发明方法流程,具体实施步骤如下:
步骤(1)对人脸图像预处理。人脸采集时,由于光照变化和图像噪声会影响识别准确率。预处理主要去除光照影响和图像噪声。设输入的人脸图像为I,依次进行下面三方面的预处理:
(1a)首先,用Gamma矫正消除部分光照,Gamma矫正是将像素的指数值替换本身的值,表示为:I=Iλ,λ是矫正因子,这里取0.2。
(1b)其次,用直方图规定化增强图像。选取一副无光照和噪声影响的正面图像的直方图作为参照,根据该参照人脸图片将当前的人脸图片进行规定化处理,进一步去光照和噪声影响,增强图片效果。
(1c)最后,用高斯差分算子(DoG)滤波消除图像噪声同时增强图像边缘。DoG表示为:
步骤(2)用Gabor小波对预处理后的人脸图像进行5尺度8方向分解,共产生40个子带。每个子带是与原图像一样大小的矩阵。
步骤(3)用高斯copula刻画子带间的相关结构(如图2所示),具体操作如下:
(3a)对每一个子带进行拉直操作,即从上到下、从左到右拼接形成一维向量。共产生40个一维向量。分别用V1到V40表示这些向量。若人脸图像的尺寸为128×128像素,则Vi(1≤i≤40)长度为16384。
(3b)对每一个向量计算其经验分布。这样做的目的是计算每一个子带的边缘分布。当人脸图像尺寸一般较小时,会导致子带像素不足情况,用一般的分布(如Weibull分布和Gamma分布)函数难以取得好的效果。对于大尺寸人脸图片用Weibull分布进行拟合边缘拟合每个子带向量Vi,Weibull分布的密度函数表示为:α和β是该函数的两个参数;Weibull分布的累积分布函数为:用最大似然方法估计尺度参数和这样可以得到并将ui带入高斯copula密度函数。
对于尺寸较小的图片(比如32×32以下的图片)本发明用经验分布对每个子带进行拟合,得到累积分布值。图2是以经验分布为例进行说明,先对向量Vi进行从小到大排序,然后计算累计分布。用ecdf表示经验分布函数,则累积分布表示为:
[Ei,Vsort]=ecdf(Vi),1≤i≤40
其中Ei为一向量,它是在Vsort点处的累积概率值,Ei长度与Vi相同。Vsort是Vi排序后的值(从小到大)。
(3c)最后用样条插值方法计算出每个样本点的经验分布函数值。最终经验分布表示如下:
Fi=spline(Vsort,Ei,Vi),1≤i≤40
Fi为向量Vi在对应点上的经验分布函数值。
(3d)用高斯copula连接这些经验分布函数的输出值。将ui=Fi带入高斯copula密度函数。
(3e)用最大似然估计方法计算出高斯copula密度函数的相关矩阵R,表示为:
其中ξ=[ξ1,…,ξn],ξi=Φ-1(Fi);Fi由(3c)步骤中的公式计算;L为ζi向量的长度,也是Gabor子带中像素的个数。R便是人脸的特征矩阵,它刻画Gabor小波子带之间的相关结构。
步骤(4)KLD特征匹配。这一步是将特征矩阵R与数据库里面保存的人脸特征矩阵Rq(q是自然数,小于或等于数据库人脸记录数)进行比较,找出最相似的人脸。KLD特征匹配是根据两个高斯copula密度函数之间的KLD距离(Kullback–Leibler distance)进行比较。设两个高斯copula函数分别为g1和g2,它们对应的相关矩阵为R1和R2,则两个高斯copula之间的KLD为:
其中tr(·)表示求矩阵的迹;n是R的行列数,也是Gabor小波子带个数,这里等于40。
Claims (1)
1.Gabor小波子带相关结构人脸识别方法,其特征在于它包括以下步骤:
步骤(1)对人脸图像预处理:人脸采集时,由于光照变化和图像噪声会影响识别准确率,预处理主要去除光照影响和图像噪声,设输入的人脸图像为I,依次进行下面三方面的预处理:
(1a)首先,用Gamma矫正消除部分光照:Gamma矫正是将像素的指数值替换本身的值,表示为:a=aλ,λ是矫正因子,这里取0.2;
(1b)其次,用直方图均衡化增强图像:选取一幅无光照和噪声影响的正面图像的直方图作为参照,根据参照人脸图像将当前的人脸图像进行规定化处理,进一步去光照和噪声影响,增强图片效果;
(1c)最后,用高斯差分算子DoG滤波消除图像噪声同时增强图像边缘,DoG表示为:
步骤(2)用Gabor小波对预处理后的人脸图像进行5尺度8方向分解,共产生40个子带,每个子带是与原图像一样大小的矩阵;
步骤(3)用高斯copula刻画子带间的相关结构,具体操作如下:
(3a)对每一个子带进行拉直操作,即从上到下、从左到右拼接形成一维向量,共产生40个一维向量,分别用V1到V40表示这些向量;
(3b)对每一个向量计算其经验分布:这样做的目的是计算每一个子带的边缘分布;由于人脸图像尺寸小,导致子带像素不足情况,用Weibull分布和Gamma分布函数难以取得好的效果,因此采用经验分布对每个子带进行拟合,得到累积分布值;先对向量Vi进行从小到大排序,然后计算累计分布;用ecdf表示经验分布函数,则累积分布表示为:
[Ei,Vsort]=ecdf(Vi),1≤i≤40
其中Ei为一向量,它的元素是Vsort中对应元素的累积概率值,Ei长度与Vi相同;Vsort是Vi按照从小到大排序后的向量;
(3c)最后用样条插值方法计算出每个样本点的经验分布函数值,最终经验分布表示如下:
Fi=spline(Vsort,Ei,Vi),1≤i≤40
Fi为向量Vi在对应点上的经验分布函数值;
(3d)用高斯copula连接这些经验分布函数的输出值,将ui=Fi带入高斯copula密度函数;
(3e)用最大似然估计方法计算出高斯copula密度函数的相关矩阵R,表示为:
其中ξ=[ξ1,…,ξn],ξi=Φ-1(Fi),i=1…n,Fi由(3c)步骤中的公式计算;L为ξi向量的长度,也是Gabor子带中像素的个数;R便是人脸的特征矩阵,它刻画Gabor小波子带之间的相关结构;
步骤(4)KLD特征匹配:这一步是将特征矩阵R与数据库里面保存的人脸特征矩阵Rq进行比较,找出最相似的人脸,其中q是自然数,小于或等于数据库人脸记录数;KLD特征匹配是根据两个高斯copula密度函数之间的Kullback–Leibler distance距离进行比较;设两个高斯copula函数分别为g1和g2,它们对应的相关矩阵为R1和R2,则两个高斯copula之间的KLD为:
其中tr(·)表示求矩阵的迹;n是相关矩阵的行列数,也是Gabor小波子带个数,这里等于40。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611240833.0A CN106650678B (zh) | 2016-12-29 | 2016-12-29 | Gabor小波子带相关结构人脸识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611240833.0A CN106650678B (zh) | 2016-12-29 | 2016-12-29 | Gabor小波子带相关结构人脸识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106650678A CN106650678A (zh) | 2017-05-10 |
CN106650678B true CN106650678B (zh) | 2019-10-22 |
Family
ID=58835422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611240833.0A Expired - Fee Related CN106650678B (zh) | 2016-12-29 | 2016-12-29 | Gabor小波子带相关结构人脸识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106650678B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107688787B (zh) * | 2017-09-01 | 2020-09-29 | 宜宾学院 | 基于Gabor小波的近端指间关节纹路识别方法 |
CN108256581B (zh) * | 2018-01-19 | 2021-06-11 | 宜宾学院 | Gabor小波域copula模型图像分类方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101075291A (zh) * | 2006-05-18 | 2007-11-21 | 中国科学院自动化研究所 | 一种用于人脸识别的高效提升训练方法 |
CN103136376A (zh) * | 2013-03-26 | 2013-06-05 | 李朝荣 | 基于copula和Gabor小波的旋转不变图像检索方法 |
CN105741549A (zh) * | 2016-04-18 | 2016-07-06 | 北京航空航天大学 | 一种基于空间copula理论的交通流量预测方法 |
-
2016
- 2016-12-29 CN CN201611240833.0A patent/CN106650678B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101075291A (zh) * | 2006-05-18 | 2007-11-21 | 中国科学院自动化研究所 | 一种用于人脸识别的高效提升训练方法 |
CN103136376A (zh) * | 2013-03-26 | 2013-06-05 | 李朝荣 | 基于copula和Gabor小波的旋转不变图像检索方法 |
CN105741549A (zh) * | 2016-04-18 | 2016-07-06 | 北京航空航天大学 | 一种基于空间copula理论的交通流量预测方法 |
Non-Patent Citations (2)
Title |
---|
基于Gabor小波变换与K-L高斯黎曼流形判别的人脸识别;黄淼;《计算机工程》;20160930;第42卷(第9期);第208-213页 * |
基于Gabor小波能量子带分块的稀疏表示人脸识别;李志星;《燕山大学学报》;20130630;第37卷(第1期);第68-74页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106650678A (zh) | 2017-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Aptoula et al. | Deep learning with attribute profiles for hyperspectral image classification | |
Allili | Wavelet modeling using finite mixtures of generalized Gaussian distributions: Application to texture discrimination and retrieval | |
CN104268593B (zh) | 一种小样本情况下多稀疏表示的人脸识别方法 | |
CN107944379A (zh) | 基于深度学习的眼白图像超分辨率重建与图像增强方法 | |
CN106570183B (zh) | 一种彩色图像检索和分类方法 | |
Bouchaffra et al. | Structural hidden Markov models for biometrics: Fusion of face and fingerprint | |
Ramesha et al. | Face recognition system using discrete wavelet transform and fast PCA | |
Jacobsen et al. | Stylometry of paintings using hidden Markov modelling of contourlet transforms | |
Siravenha et al. | Plant classification from leaf textures | |
Mukhedkar et al. | Fast face recognition based on Wavelet Transform on PCA | |
Abdollahifard et al. | Stochastic simulation of patterns using Bayesian pattern modeling | |
Su et al. | Bayesian depth estimation from monocular natural images | |
CN106650678B (zh) | Gabor小波子带相关结构人脸识别方法 | |
Kara et al. | Using wavelets for texture classification | |
Doghmane et al. | A novel discriminant multiscale representation for ear recognition | |
Li et al. | Image denoising algorithm based on incoherent dictionary learning | |
CN106446870B (zh) | 一种人体轮廓特征提取方法和装置 | |
Agarwal et al. | Image forgery detection using Markov features in undecimated wavelet transform | |
Kaur et al. | Illumination invariant face recognition | |
Abukmeil et al. | Palmprint recognition via bandlet, ridgelet, wavelet and neural network | |
Si et al. | Learning active basis models by EM-type algorithms | |
CN105956571B (zh) | 一种人脸图像的年龄估计方法 | |
Rana et al. | Comparative Analysis of Face Recognition using DCT, DWT and PCA for Rotated faces | |
Karamizadeh et al. | Taxonomy of filtering based illumination normalization for face recognition | |
CN103984918A (zh) | 一种基于类内及类间变化的人脸图像识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191022 Termination date: 20201229 |