CN109598262A - 一种儿童人脸表情识别方法 - Google Patents
一种儿童人脸表情识别方法 Download PDFInfo
- Publication number
- CN109598262A CN109598262A CN201910109814.1A CN201910109814A CN109598262A CN 109598262 A CN109598262 A CN 109598262A CN 201910109814 A CN201910109814 A CN 201910109814A CN 109598262 A CN109598262 A CN 109598262A
- Authority
- CN
- China
- Prior art keywords
- image
- expression
- child
- covariance matrix
- children
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000014509 gene expression Effects 0.000 claims abstract description 87
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 239000013598 vector Substances 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 238000011160 research Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种儿童人脸表情识别方法,其采用二维离散小波变换把每幅儿童表情图像分解为低通和高通的四幅子图像,并分别把每幅子图像划分为多个区域图像,然后提取每个区域图像中每个像素位置处的Gabor特征、LBP特征、一阶和二阶偏导特征,并把这些特征连同该像素处的坐标位置串联一个特征矢量,然后计算这些特征矢量的区域协方差矩阵,因此,每幅儿童表情图像对应多个区域协方差矩阵。在进行待识别的儿童表情图像,采用同样的方法获得区域协方差矩阵,然后采用基于广义特征值距离的度量方式对每幅图像所对应的区域协方差矩阵进行分类识别。本发明的识别方法有效解决了表情类内差异大的问题,提高了儿童人脸表情识别的准确率。
Description
技术领域
本发明涉及模式识别与图像处理领域,具体涉及一种基于离散二维小波分解和区域协方差的儿童人脸表情识别方法。
背景技术
人脸的面部表情识别是生物特征识别研究的重要内容,是当前模式识别和计算机视觉研究的热点。自动面部表情识别的研究始于上世纪70年代,在上世纪90年代随着计算机软硬件设备的发展以及人脸检测、定位等关键技术的提高而得到迅速发展。目前,人脸表情识别技术水平已经得到很大发展,并在教育、娱乐等部分场合下开始得到应用。但是,纵观现有表情识别文献可以发现,目前的面部表情识别方法研究大多是针对成年人,对儿童的面部表情识别问题很少有文献报道。另一方面,儿童的面部表情识别在很多场合下具有重要的应用前景。例如,在儿童社会情绪能力发展研究中,面部表情识别是一项重要的内容,是进行儿童的社会情绪能力检测的重要手段。
儿童人脸表情图像大多存在部分人脸被遮挡、姿态变化和拍照人脸表情图像存在尺度变化,因此,儿童非人脸表情识别主要需解决表情类内差异大、特征提取针对性弱等问题,使得人脸表情识别系统更具实用性。
有鉴于此,本发明人针对上述儿童人脸识别中存在的诸多问题,而深入构思,进而开发出本发明。
发明内容
本发明的目的在于提供一种儿童人脸表情识别方法,其有效解决了表情类内差异大的问题,提高了儿童人脸表情识别的准确率。
为实现上述目的,本发明采用的技术方案是:
一种儿童人脸表情识别方法,其具体包括以下步骤:
步骤1、获取多副儿童表情图像,对每一副儿童表情图像标识类别,并进行二维离散小波变换获取每一儿童表情图像的协方差矩阵,从而建立儿童表情数据库;
步骤1.1、输入N幅儿童表情图像Ii(i=1,…,N)及其对应的标识向量y(I);
步骤1.2、然后运用二维离散小波变换(2D-DWT)方法对每幅儿童表情图像Ii进行处理获取儿童表情图像的协方差矩阵,其具体如下:
步骤1.2.1、采用二维离散小波变换把每幅表情图像Ii分解为低通和高通的四幅子图像Iil(l=1,2,3,4),并将每幅子图像Iil按人脸区域划为不同的区域图像I(r)(r=1,2,3,4,5);
步骤1.2.2、对每副子图像的每个面部表情图像区域进行特征提取;
儿童表情图像I的一个区域图像I(r)(r=1,2,3,4,5)经过Gabor特征和LBP特征提取后,该区域图像的每个像素位置分别对应一组Gabor特征和一个LBP特征;
定义GUV(x,y)(u=0,…,5;v=1,…,5)和LBPs,R(x,y)分别代表在像素位置(x,y)处所提取的Gabor特征(共30个)和LBP特征。现把GUV(x,y)和LBPs,R(x,y)连同图像在(x,y)处的灰度值、一阶和二阶导数排列成一个维数为36的特征矢量x,即
x=[I(x,y),|Gx|,|Gy|,|Gxx|,|Gyy|,LBPS,R(x,y),G0,1(x,y),…,G5,5(x,y)]T,
其中,
设区域图像I(r)(r=1,2,3,4,5)的像素个数为N(r),则经特征提取后,I(r)对应一个元素个数为N(r)的特征向量集其中代表集合的第k个元素。那么,特征向量集X(r)对应的协方差矩阵RCM为:
其中,是集合的均值;
步骤2、获取待识别的儿童表情图像It,并利用步骤1得到的儿童表情数据进行表情识别;
首先采用离散二维小波变换对该儿童表情图像进行分解获得四副子图像,然后将每一子图像按人脸区域划为不同的区域图像;接着对每一区域图像进行特征提取,获取相应的协方差矩阵;
然后,根据协方差矩阵将待识别的儿童表情图像It与儿童表情识别数据库中的图像Ii进行相似度比较,获取与儿童表情图像It最相似的表情图像
其中,D(It,Ii)为两幅表情图像之间的相似性距离;其表达式为:
d(Ct,Ci)为两个协防差矩阵之间的距离,其表达式如下:
获取最相似的儿童表情图像后,其对应的表情类别y(i*)即为待识别的儿童表情图像It的表情类别。
本发明方法与现有技术相比,具有以下的优点:
1.本发明基于离散二维小波分解和人脸区域划分,充分利用图像的局部特征和全局特征。
2.本发明采用区域协方差矩阵进行图像描述的主要优点在于RCM从统计分析角度描述图像的内容,能适应图像的尺度变换、旋转变换以及光照变换,即在这些变换下协方差矩阵仍能保持很好的不变性。
3.本发明使用区域协方差矩阵进行表情识别,可以避免高维向量的产生从而降低计算复杂度,同时融合了多种表情特征,可以更有效的进行儿童人脸表情识别。
4.本发明采用基于广义特征值距离的度量方式对每幅图像所对应的RCM进行匹配表情识别方法能够有效地识别强度较大的表情,取得良好的识别率以及识别速度,并对各类表情间的变化具有良好的鲁棒性。
附图说明
图1为本发明儿童人脸表情识别方法框图;
图2为本发明不同的区域协方差描述图。
具体实施方式
如图1和图2所示,本发明揭示了一种儿童人脸表情识别方法,其具体包括以下步骤:
步骤1、获取多副儿童表情图像,对每一副儿童表情图像标识类别,并进行二维离散小波变换获取每一儿童表情图像的协方差矩阵,从而建立儿童表情数据库;
步骤1.1、输入N幅儿童表情图像Ii(i=1,…,N)及其对应的标识向量y(I);
步骤1.2、然后运用二维离散小波变换(2D-DWT)方法对每幅儿童表情图像Ii进行处理获取儿童表情图像的协方差矩阵,其具体如下:
步骤1.2.1、进行离散二维小波变换图像分解和儿童人脸表情图像区域划分;
二维离散小波变换(2D-DWT)旨在将二维图像分解成高频和低频的不同分量图像。原始图像经2D-DWT后被分解为四部分子图像,其中低频图像与原始图像最相似,保留了大部分原始图像的信息,而高频图像则与虽然与原始图像差别较大,但保留图像的大部分边缘信息。因此,经2D-DWT后各子图像包含原始图像的不同信息,对图像的识别具有各自的作用。本发明把每副儿童表情图像Ii分解四幅不同的表情子图像Ii1、Ii2、Ii3和Ii4。
为了更好地进行面部表情的识别,必须对每幅子图像Iil(l=1,2,3,4)进行表情特征提取。为此,本发明的区域划分方式把每幅表情子图像Iil划分为五个区域和区域的具体划分方式为:区域为整个图像面部区域,区域为上半部人脸区域,区域则为下半部人脸区域,区域为左半部人脸区域,区域则为右半部人脸区域。
步骤1.2.2、对每副子图像的每个面部表情图像区域进行特征提取;
儿童表情图像I的一个区域图像I(r)(r=1,2,3,4,5)经过Gabor特征和LBP特征提取后,该区域图像的每个像素位置分别对应一组Gabor特征和一个LBP特征。
设GUV(x,y)(u=0,…,5;v=1,…,5)和LBPs,R(x,y)分别代表在像素位置(x,y)处所提取的Gabor特征(共30个)和LBP特征。现把GUV(x,y)和LBPs,R(x,y)连同图像在(x,y)处的灰度值、一阶和二阶导数排列成一个维数为36的特征矢量x,即
x=[I(x,y),|Gx|,|Gy|,|Gxx|,|Gyy|,LBPS,R(x,y),G0,1(x,y),…,G5,5(x,y)]T,
其中,
设区域图像I(r)(r=1,2,3,4,5)的像素个数为N(r),则经特征提取后,I(r)对应一个元素个数为N(r)的特征向量集其中代表集合的第k个元素。那么,特征向量集X(r)对应的协方差矩阵RCM为:
其中,是集合的均值。
C(r)是一个实对称非负定矩阵,且C(r)的尺寸大小仅取决于特征向量的维数,与区域图像I(r)的尺寸大小无关。
步骤2、获取待识别的儿童表情图像,并利用步骤1得到的儿童表情数据进行表情识别;
假设It是待识别的儿童表情图像,首先采用离散二维小波变换对该儿童表情图像进行分解获得四副子图像,然后对每一子图像进行按人脸区域划为不同的区域图像;接着对每一区域图像进行特征提取,获取相应的协方差矩阵。该部分处理与步骤1.2相同,此处不再进行赘述。
然后,根据协方差矩阵将待识别的儿童表情图像It与儿童表情识别数据库中的图像Ii进行相似度比较,获取与儿童表情图像It最相似的表情图像
其中,D(It,Ii)为两幅表情图像之间的相似性距离。
两幅表情图像It和Ii之间的相似性距离为:
其中,d(Ct,Ci)为两个协防差矩阵之间的距离,其表达式如下:
获取最相似的儿童表情图像后,其对应的表情类别y(i*)即为待识别的儿童表情图像It的表情类别。
本发明方法与现有技术相比,具有以下的优点:
1.基于离散二维小波分解和人脸区域划分,充分利用图像的局部特征和全局特征。
2.采用区域协方差矩阵进行图像描述的主要优点在于RCM从统计分析角度描述图像的内容,能适应图像的尺度变换、旋转变换以及光照变换,即在这些变换下协方差矩阵仍能保持很好的不变性。
3.使用区域协方差矩阵进行表情识别,可以避免高维向量的产生从而降低计算复杂度,同时融合了多种表情特征,可以更有效的进行儿童人脸表情识别。
4.用基于广义特征值距离的度量方式对每幅图像所对应的RCM进行匹配表情识别方法能够有效地识别强度较大的表情,取得良好的识别率以及识别速度,并对各类表情间的变化具有良好的鲁棒性。
以上所述,仅是本发明实施例而已,并非对本发明的技术范围作任何限制,故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (1)
1.一种儿童人脸表情识别方法,其具体包括以下步骤:
步骤1、获取多副儿童表情图像,对每一副儿童表情图像标识类别,并进行二维离散小波变换获取每一儿童表情图像的协方差矩阵,从而建立儿童表情数据库;
步骤1.1、输入N幅儿童表情图像Ii(i=1,…,N)及其对应的标识向量y(I);
步骤1.2、然后运用二维离散小波变换(2D-DWT)方法对每幅儿童表情图像Ii进行处理获取儿童表情图像的协方差矩阵,其具体如下:
步骤1.2.1、采用二维离散小波变换把每幅表情图像Ii分解为低通和高通的四幅子图像Iil(l=1,2,3,4),并将每幅子图像Iil按人脸区域划为不同的区域图像I(r)(r=1,2,3,4,5);
步骤1.2.2、对每副子图像的每个面部表情图像区域进行特征提取;
儿童表情图像I的一个区域图像I(r)(r=1,2,3,4,5)经过Gabor特征和LBP特征提取后,该区域图像的每个像素位置分别对应一组Gabor特征和一个LBP特征;
定义GUV(x,y)(u=0,…,5;v=1,…,5)和LBPs,R(x,y)分别代表在像素位置(x,y)处所提取的Gabor特征(共30个)和LBP特征。现把GUV(x,y)和LBPs,R(x,y)连同图像在(x,y)处的灰度值、一阶和二阶导数排列成一个维数为36的特征矢量x,即
x=[I(x,y),|Gx|,|Gy|,|Gxx|,|Gyy|,LBPS,R(x,y),G0,1(x,y),…,G5,5(x,y)]T,
其中,
设区域图像I(r)(r=1,2,3,4,5)的像素个数为N(r),则经特征提取后,I(r)对应一个元素个数为N(r)的特征向量集其中代表集合的第k个元素。那么,特征向量集X(r)对应的协方差矩阵RCM为:
其中,是集合的均值;
步骤2、获取待识别的儿童表情图像It,并利用步骤1得到的儿童表情数据进行表情识别;
首先采用离散二维小波变换对该儿童表情图像进行分解获得四副子图像,然后将每一子图像按人脸区域划为不同的区域图像;接着对每一区域图像进行特征提取,获取相应的协方差矩阵;
然后,根据协方差矩阵将待识别的儿童表情图像It与儿童表情识别数据库中的图像Ii进行相似度比较,获取与儿童表情图像It最相似的表情图像
其中,D(It,Ii)为两幅表情图像之间的相似性距离;其表达式为:
d(Ct,Ci)为两个协防差矩阵之间的距离,其表达式如下:
获取最相似的儿童表情图像后,其对应的表情类别y(i*)即为待识别的儿童表情图像It的表情类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910109814.1A CN109598262A (zh) | 2019-02-11 | 2019-02-11 | 一种儿童人脸表情识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910109814.1A CN109598262A (zh) | 2019-02-11 | 2019-02-11 | 一种儿童人脸表情识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109598262A true CN109598262A (zh) | 2019-04-09 |
Family
ID=65967271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910109814.1A Pending CN109598262A (zh) | 2019-02-11 | 2019-02-11 | 一种儿童人脸表情识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109598262A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110414493A (zh) * | 2019-06-02 | 2019-11-05 | 四川仕虹腾飞信息技术有限公司 | 一种心理状态分析方法与系统 |
CN114708644A (zh) * | 2022-06-02 | 2022-07-05 | 杭州魔点科技有限公司 | 一种基于家庭基因模板的人脸识别方法和系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006106921A (ja) * | 2004-10-01 | 2006-04-20 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像表示装置及びその方法 |
CN101154265A (zh) * | 2006-09-29 | 2008-04-02 | 中国科学院自动化研究所 | 基于局部二值模式特征和图匹配的虹膜识别方法 |
CN101281598A (zh) * | 2008-05-23 | 2008-10-08 | 清华大学 | 基于多部件多特征融合的人脸识别方法 |
CN104809480A (zh) * | 2015-05-21 | 2015-07-29 | 中南大学 | 一种基于分类回归树和AdaBoost的眼底图像视网膜血管分割方法 |
CN106228544A (zh) * | 2016-07-14 | 2016-12-14 | 郑州航空工业管理学院 | 一种基于稀疏表示和标签传播的显著性检测方法 |
CN106257489A (zh) * | 2016-07-12 | 2016-12-28 | 乐视控股(北京)有限公司 | 表情识别方法及系统 |
CN106650637A (zh) * | 2016-12-02 | 2017-05-10 | 华中师范大学 | 一种基于条件随机森林的笑脸检测器及方法 |
CN106991385A (zh) * | 2017-03-21 | 2017-07-28 | 南京航空航天大学 | 一种基于特征融合的人脸表情识别方法 |
CN107871325A (zh) * | 2017-11-14 | 2018-04-03 | 华南理工大学 | 基于Log‑Euclidean协方差矩阵描述符的图像非刚性配准方法 |
-
2019
- 2019-02-11 CN CN201910109814.1A patent/CN109598262A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006106921A (ja) * | 2004-10-01 | 2006-04-20 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像表示装置及びその方法 |
CN101154265A (zh) * | 2006-09-29 | 2008-04-02 | 中国科学院自动化研究所 | 基于局部二值模式特征和图匹配的虹膜识别方法 |
CN101281598A (zh) * | 2008-05-23 | 2008-10-08 | 清华大学 | 基于多部件多特征融合的人脸识别方法 |
CN104809480A (zh) * | 2015-05-21 | 2015-07-29 | 中南大学 | 一种基于分类回归树和AdaBoost的眼底图像视网膜血管分割方法 |
CN106257489A (zh) * | 2016-07-12 | 2016-12-28 | 乐视控股(北京)有限公司 | 表情识别方法及系统 |
CN106228544A (zh) * | 2016-07-14 | 2016-12-14 | 郑州航空工业管理学院 | 一种基于稀疏表示和标签传播的显著性检测方法 |
CN106650637A (zh) * | 2016-12-02 | 2017-05-10 | 华中师范大学 | 一种基于条件随机森林的笑脸检测器及方法 |
CN106991385A (zh) * | 2017-03-21 | 2017-07-28 | 南京航空航天大学 | 一种基于特征融合的人脸表情识别方法 |
CN107871325A (zh) * | 2017-11-14 | 2018-04-03 | 华南理工大学 | 基于Log‑Euclidean协方差矩阵描述符的图像非刚性配准方法 |
Non-Patent Citations (4)
Title |
---|
YANWEI PANG ET AL: "Gabor-Based Region Convariance Matrices for Face Recognition", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 * |
董慧颖: "《典型目标识别与图像除雾技术》", 31 October 2016 * |
谢成俊: "《小波分析理论及工程应用》", 31 March 2015 * |
辛明海: "基于2D-DWT和RCM的儿童面部表情识别方法", 《福建电脑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110414493A (zh) * | 2019-06-02 | 2019-11-05 | 四川仕虹腾飞信息技术有限公司 | 一种心理状态分析方法与系统 |
CN114708644A (zh) * | 2022-06-02 | 2022-07-05 | 杭州魔点科技有限公司 | 一种基于家庭基因模板的人脸识别方法和系统 |
CN114708644B (zh) * | 2022-06-02 | 2022-09-13 | 杭州魔点科技有限公司 | 一种基于家庭基因模板的人脸识别方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106682598B (zh) | 一种基于级联回归的多姿态的人脸特征点检测方法 | |
CN105894047B (zh) | 一种基于三维数据的人脸分类系统 | |
WO2019169816A1 (zh) | 一种用于精细化识别车辆属性的深度神经网络及训练方法 | |
Tuzel et al. | Human detection via classification on riemannian manifolds | |
Rekha et al. | Shape, texture and local movement hand gesture features for indian sign language recognition | |
CN102663411B (zh) | 一种目标人体识别方法 | |
CN105447532A (zh) | 身份认证方法和装置 | |
CN111126240B (zh) | 一种三通道特征融合人脸识别方法 | |
Cai et al. | Traffic sign recognition algorithm based on shape signature and dual-tree complex wavelet transform | |
JP2009140009A (ja) | 情報処理装置および情報処理方法、プログラム、並びに記録媒体 | |
Hobson et al. | HEp-2 staining pattern recognition at cell and specimen levels: datasets, algorithms and results | |
CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
CN104966075B (zh) | 一种基于二维判别特征的人脸识别方法与系统 | |
CN102930300A (zh) | 一种飞机目标识别方法及系统 | |
CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
CN108875448B (zh) | 一种行人再识别方法及装置 | |
CN109598262A (zh) | 一种儿童人脸表情识别方法 | |
CN112949728B (zh) | 基于切片图像筛选和特征聚合的mri图像分类方法 | |
CN109389017B (zh) | 行人再识别方法 | |
Youlian et al. | Face detection method using template feature and skin color feature in rgb color space | |
CN110490210B (zh) | 一种基于紧致通道间t采样差分的彩色纹理分类方法 | |
Işikdoğan et al. | Automatic recognition of Turkish fingerspelling | |
CN114898464B (zh) | 一种基于机器视觉的轻量化精准手指语智能算法识别方法 | |
Zhang et al. | Extraction of karyocytes and their components from microscopic bone marrow images based on regional color features | |
Wang et al. | Face detection based on color template and least square matching method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190409 |