CN110046583A - 基于半监督多视图增量字典学习的彩色人脸识别方法 - Google Patents

基于半监督多视图增量字典学习的彩色人脸识别方法 Download PDF

Info

Publication number
CN110046583A
CN110046583A CN201910314310.3A CN201910314310A CN110046583A CN 110046583 A CN110046583 A CN 110046583A CN 201910314310 A CN201910314310 A CN 201910314310A CN 110046583 A CN110046583 A CN 110046583A
Authority
CN
China
Prior art keywords
dictionary
training sample
sample set
semi
multiple view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910314310.3A
Other languages
English (en)
Inventor
刘茜
姜波
夏志坚
高鹏
张佳垒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201910314310.3A priority Critical patent/CN110046583A/zh
Publication of CN110046583A publication Critical patent/CN110046583A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于半监督多视图增量字典学习的彩色人脸识别方法，属于人脸识别技术领域，充分利用了增量学习技术，将训练阶段又划分为两个子阶段：训练样本集和字典初始化阶段与训练样本集和字典更新阶段；在训练样本集和字典初始化阶段，采用与基于半监督多视图字典学习的彩色人脸识别方法相同的方式使用初始彩色人脸图像训练样本集进行字典学习，获得初始字典；在训练样本集和字典更新阶段，根据彩色人脸图像训练样本集的变化，对已经学习得到的字典做简单修改，然后再进行字典更新；与基于半监督多视图字典学习的彩色人脸识别方法相比，在彩色人脸图像训练样本集发生变化时，可以大大减少更新字典所耗费的训练时间。

Description

基于半监督多视图增量字典学习的彩色人脸识别方法
技术领域
本发明属于人脸识别技术领域，具体涉及基于半监督多视图增量字典学习的彩色人脸识别方法。
背景技术
专利申请号201710800074.7基于半监督多视图字典学习的彩色人脸识别方法的目标函数定义如下：
其中，XR、XG、XB分别表示彩色人脸图像训练样本集的R、G、B彩色分量训练样本集，XRl、XGl、XBl分别表示有类别标记的R、G、B彩色分量训练样本集，c表示有类别标记的彩色人脸图像训练样本的类别数，Xip表示Xil中第p类的样本，XRu、XGu、XBu分别表示无类别标记的R、G、B彩色分量训练样本集，Di表示对应Xi的字典，Ai表示使用字典Di重构Xi的稀疏编码系数，Aip表示使用字典Di重构Xip的稀疏编码系数，Aiu表示使用字典Di重构Xiu的稀疏编码系数，λ是一个权重系数，0表示一个零矩阵，
Diq表示字典Di中对应第q类的子字典，Aipq表示使用子字典Diq重构Xip的稀疏编码系数。该目标函数采用字典和稀疏编码系数两组变量依次更新的方式进行迭代求解。
得到字典DR,DG,DB之后，对于一个待识别样本y，令yR、yG、yB分别表示该样本的R、G、B彩色分量，按照下面的公式计算yR,yG,yB的稀疏编码系数βR,βG,βB：
令βiq表示βi中对应子字典Diq的稀疏编码系数，计算根据判定待识别样本y的类别。
基于半监督多视图字典学习的彩色人脸识别方法在训练阶段只能利用固定不变的彩色人脸图像训练样本集进行字典学习。一旦彩色人脸图像训练样本集发生变化，例如增加或更新少量彩色人脸图像训练样本，基于半监督多视图字典学习的彩色人脸识别方法都需要重新运行整个字典学习过程来重新学习所有字典，不能充分利用已经学习得到的字典来减少更新字典所耗费的训练时间。
发明内容
发明目的：本发明的目的在于提供基于半监督多视图增量字典学习的彩色人脸识别方法，在彩色人脸图像训练样本集发生变化时，可以大大减少更新字典所耗费的训练时间。
技术方案：为实现上述目的，本发明采用如下技术方案：
基于半监督多视图增量字典学习的彩色人脸识别方法，包括如下步骤：
步骤1，训练样本集和字典初始化阶段，采用与基于半监督多视图字典学习的彩色人脸识别方法相同的方式使用初始彩色人脸图像训练样本集进行字典学习，获得初始字典；
步骤2，训练样本集和字典更新阶段，当彩色人脸图像训练样本集的发生变化时，对步骤1中学习得到的字典做简单修改，然后再进行字典更新；
步骤3，识别阶段，根据实际应用的需求，在步骤1结束后进行识别或在步骤2结束后进行识别；识别方式与基于半监督多视图字典学习的彩色人脸识别方法相同。
进一步地，所述的步骤1中，目标函数定义如下：
其中，XR、XG、XB分别表示彩色人脸图像训练样本集的R、G、B彩色分量训练样本集，XRl、XGl、XBl分别表示有类别标记的R、G、B彩色分量训练样本集，c表示有类别标记的彩色人脸图像训练样本的类别数，Xip表示Xil中第p类的样本，XRu、XGu、XBu分别表示无类别标记的R、G、B彩色分量训练样本集，Di表示对应Xi的字典，Ai表示使用字典Di重构Xi的稀疏编码系数，Aip表示使用字典Di重构Xip的稀疏编码系数，Aiu表示使用字典Di重构Xiu的稀疏编码系数，λ是一个权重系数，0表示一个零矩阵，
Diq表示字典Di中对应第q类的子字典，Aipq表示使用子字典Diq重构Xip的稀疏编码系数。公式(I)采用字典DR,DG,DB和稀疏编码系数AR,AG,AB两组变量依次更新的方式进行迭代求解。
进一步地，所述的步骤2中，具体做法如下：
步骤2-1，如果是更换了某个类别的彩色人脸图像训练样本，或更换了无类别标记的彩色人脸图像训练样本，或增加了无类别标记的彩色人脸图像训练样本，只更新彩色人脸图像训练样本集的对应样本；如果是增加了一个新类别的彩色人脸图像训练样本，在彩色人脸图像训练样本集中增加一个类别的样本，并在字典DR,DG,DB中各增加一个对应新类别的初始化的子字典。
进一步地，所述的步骤2中，还包括：
步骤2-2，根据公式(I)求解AR,AG,AB，令
步骤2-3，根据公式(I)更新DR,DG,DB；
步骤2-4，根据公式(I)更新AR,AG,AB，令
如果J1-J2＞ε，ε是一个比较小的阈值，0＜ε＜0.1，转向步骤2-3；否则，步骤2结束。
进一步地，所述的步骤3中，具体做法如下：
得到字典DR,DG,DB之后，对于一个待识别样本y，令yR、yG、yB分别表示该样本的R、G、B彩色分量，按照下面的公式计算yR,yG,yB的稀疏编码系数βR,βG,βB：
令βiq表示βi中对应子字典Diq的稀疏编码系数，计算
根据
判定待识别样本y的类别。
有益效果：与现有技术相比，本发明的基于半监督多视图增量字典学习的彩色人脸识别方法充分利用了增量学习技术，将训练阶段又划分为两个子阶段：训练样本集和字典初始化阶段与训练样本集和字典更新阶段。在训练样本集和字典初始化阶段，采用与基于半监督多视图字典学习的彩色人脸识别方法相同的方式使用初始彩色人脸图像训练样本集进行字典学习，获得初始字典。在训练样本集和字典更新阶段，根据彩色人脸图像训练样本集的变化，对已经学习得到的字典做简单修改，然后再进行字典更新，可以大大减少更新字典所耗费的训练时间。
附图说明
图1为人脸示例图片；
图2为训练时间波动图。
具体实施方式
以下结合实例和附图对本发明做进一步的说明。
基于半监督多视图增量字典学习的彩色人脸识别方法，包括如下步骤：
步骤1，训练样本集和字典初始化阶段，采用与基于半监督多视图字典学习的彩色人脸识别方法相同的方式使用初始彩色人脸图像训练样本集进行字典学习，获得初始字典；
步骤2，训练样本集和字典更新阶段，当彩色人脸图像训练样本集的发生变化时，对步骤1中学习得到的字典做简单修改，然后再进行字典更新；
步骤3，识别阶段，根据实际应用的需求，在步骤1结束后进行识别或在步骤2结束后进行识别；识别方式与基于半监督多视图字典学习的彩色人脸识别方法相同。
进一步地，步骤1中，目标函数定义如下：
其中，XR、XG、XB分别表示彩色人脸图像训练样本集的R、G、B彩色分量训练样本集，XRl、XGl、XBl分别表示有类别标记的R、G、B彩色分量训练样本集，c表示有类别标记的彩色人脸图像训练样本的类别数，Xip表示Xil中第p类的样本，XRu、XGu、XBu分别表示无类别标记的R、G、B彩色分量训练样本集，Di表示对应Xi的字典，Ai表示使用字典Di重构Xi的稀疏编码系数，Aip表示使用字典Di重构Xip的稀疏编码系数，Aiu表示使用字典Di重构Xiu的稀疏编码系数，λ是一个权重系数，0表示一个零矩阵，
Diq表示字典Di中对应第q类的子字典，Aipq表示使用子字典Diq重构Xip的稀疏编码系数。公式(I)采用字典DR,DG,DB和稀疏编码系数AR,AG,AB两组变量依次更新的方式进行迭代求解。
进一步地，步骤2中，具体做法如下：
步骤2-1，如果是更换了某个类别的彩色人脸图像训练样本，或更换了无类别标记的彩色人脸图像训练样本，或增加了无类别标记的彩色人脸图像训练样本，只更新彩色人脸图像训练样本集的对应样本；如果是增加了一个新类别的彩色人脸图像训练样本，在彩色人脸图像训练样本集中增加一个类别的样本，并在字典DR,DG,DB中各增加一个对应新类别的初始化的子字典。
步骤2-2，根据公式(I)求解AR,AG,AB，令
步骤2-3，根据公式(I)更新DR,DG,DB；
步骤2-4，根据公式(I)更新AR,AG,AB，令
如果J1-J2＞ε，ε是一个比较小的阈值，0＜ε＜0.1，转向步骤2-3；否则，步骤2结束。
进一步地，步骤3中，具体做法如下：
得到字典DR,DG,DB之后，对于一个待识别样本y，令yR、yG、yB分别表示该样本的R、G、B彩色分量，按照下面的公式计算yR,yG,yB的稀疏编码系数βR,βG,βB：
令βiq表示βi中对应子字典Diq的稀疏编码系数，计算
根据
判定待识别样本y的类别。
实验验证选用Face Recognition Grand Challenge(FRGC)version 2Experiment 4彩色人脸数据库(P.J.Phillips,P.J.Flynn,T.Scruggs,K.Bowyer,J.Chang,K.Hoffman,J.Marques,J.Min,W.Worek,“Overview of the Face Recognition GrandChallenge”,IEEE Conf.Computer Vision and Pattern Recognition,vol.1,pp.947-954,2005)。该数据库规模较大，包含了training、target、query三个子库，training子库包含222个人的12776张图片，target子库包含466个人的16028张图片，query子库包含466个人的8014张图片。实验选用了training集合的40个人，每个人36幅彩色图像。所有选中的原始图像都进行了校正(使两眼处于水平位置)、缩放和裁剪，每个图像样本只保留60×60大小的人脸及附近区域。处理后的人脸示例图片见图1。
在FRGC数据库上，基于半监督多视图字典学习的彩色人脸识别方法和基于半监督多视图增量字典学习的彩色人脸识别方法采用增量方式运行，运行时训练样本和测试样本的选取方式如下：
(1)首先将男性的20个类和女性的20个分离并按照原始类别序号排列，然后按照男1女1男2女2……的方式合并排列40个类；
(2)有类别标记的训练样本类别初始时为第1-10类，增量时每次增加1类，按照(1)的类别排列序列从第11类开始依次向后取，直到第20类为止；
(3)无类别标记的训练样本类别初始时为第1-10、21-40类，增量时不增加类别；
(4)测试样本类别初始时为第1-10类，增量时每次增加1类，按照(1)的类别排列序列从第11类开始依次向后取，直到第20类为止；
(5)每类样本的选择是根据1、3、10、12、17、19、34、36、4、5、8、9、11、14、15、18、20、21、24、25、28、32、2、6、7、13、16、22、23、26、27、29、30、31、33、35的序列依次选取8个有类别标记的训练样本、14个无类别标记的样本和14个测试样本。
图2显示了基于半监督多视图字典学习的彩色人脸识别方法(即图中的SMDL方法)和基于半监督多视图增量字典学习的彩色人脸识别方法(即图中的SMIDL方法)的训练时间。除了在初始时(即有类别标记的训练样本类别数为10时)的训练时间相同之外，与基于半监督多视图字典学习的彩色人脸识别方法相比，基于半监督多视图增量字典学习的彩色人脸识别方法的训练时间大大减少，这验证了基于半监督多视图增量字典学习的彩色人脸识别方法的有效性。

Claims (5)

1.基于半监督多视图增量字典学习的彩色人脸识别方法，其特征在于，包括如下步骤：
步骤1，训练样本集和字典初始化阶段，采用与基于半监督多视图字典学习的彩色人脸识别方法相同的方式使用初始彩色人脸图像训练样本集进行字典学习，获得初始字典；
步骤2，训练样本集和字典更新阶段，当彩色人脸图像训练样本集的发生变化时，对步骤1中学习得到的字典做简单修改，然后再进行字典更新；
步骤3，识别阶段，根据实际应用的需求，在步骤1结束后进行识别或在步骤2结束后进行识别；识别方式与基于半监督多视图字典学习的彩色人脸识别方法相同。
2.根据权利要求1所述的基于半监督多视图增量字典学习的彩色人脸识别方法，其特征在于：所述的步骤1中，目标函数定义如下：
其中，XR、XG、XB分别表示彩色人脸图像训练样本集的R、G、B彩色分量训练样本集，XRl、XGl、XBl分别表示有类别标记的R、G、B彩色分量训练样本集，c表示有类别标记的彩色人脸图像训练样本的类别数，Xip表示Xil中第p类的样本，XRu、XGu、XBu分别表示无类别标记的R、G、B彩色分量训练样本集，Di表示对应Xi的字典，Ai表示使用字典Di重构Xi的稀疏编码系数，Aip表示使用字典Di重构Xip的稀疏编码系数，Aiu表示使用字典Di重构Xiu的稀疏编码系数，λ是一个权重系数，0表示一个零矩阵，
Diq表示字典Di中对应第q类的子字典，Aipq表示使用子字典Diq重构Xip的稀疏编码系数。公式(I)采用字典DR,DG,DB和稀疏编码系数AR,AG,AB两组变量依次更新的方式进行迭代求解。
3.根据权利要求2所述的基于半监督多视图增量字典学习的彩色人脸识别方法，其特征在于：所述的步骤2中，具体做法如下：
步骤2-1，如果是更换了某个类别的彩色人脸图像训练样本，或更换了无类别标记的彩色人脸图像训练样本，或增加了无类别标记的彩色人脸图像训练样本，只更新彩色人脸图像训练样本集的对应样本；如果是增加了一个新类别的彩色人脸图像训练样本，在彩色人脸图像训练样本集中增加一个类别的样本，并在字典DR,DG,DB中各增加一个对应新类别的初始化的子字典。
4.根据权利要求3所述的基于半监督多视图增量字典学习的彩色人脸识别方法，其特征在于：所述的步骤2中，还包括：
步骤2-2，根据公式(I)求解AR,AG,AB，令
步骤2-3，根据公式(I)更新DR,DG,DB；
步骤2-4，根据公式(I)更新AR,AG,AB，令
如果J1-J2＞ε，0＜ε＜0.1，转向步骤2-3；否则，步骤2结束。
5.根据权利要求4所述的基于半监督多视图增量字典学习的彩色人脸识别方法，其特征在于：所述的步骤3中，具体做法如下：
得到字典DR,DG,DB之后，对于一个待识别样本y，令yR、yG、yB分别表示该样本的R、G、B彩色分量，按照下面的公式计算yR,yG,yB的稀疏编码系数βR,βG,βB：
令βiq表示βi中对应子字典Diq的稀疏编码系数，计算
根据
判定待识别样本y的类别。
CN201910314310.3A 2019-04-18 2019-04-18 基于半监督多视图增量字典学习的彩色人脸识别方法 Pending CN110046583A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910314310.3A CN110046583A (zh) 2019-04-18 2019-04-18 基于半监督多视图增量字典学习的彩色人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910314310.3A CN110046583A (zh) 2019-04-18 2019-04-18 基于半监督多视图增量字典学习的彩色人脸识别方法

Publications (1)

Publication Number Publication Date
CN110046583A true CN110046583A (zh) 2019-07-23

Family

ID=67277874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910314310.3A Pending CN110046583A (zh) 2019-04-18 2019-04-18 基于半监督多视图增量字典学习的彩色人脸识别方法

Country Status (1)

Country Link
CN (1) CN110046583A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472533A (zh) * 2019-07-31 2019-11-19 北京理工大学 一种基于半监督训练的人脸识别方法
CN112417986A (zh) * 2020-10-30 2021-02-26 四川天翼网络服务有限公司 一种基于深度神经网络模型的半监督在线人脸识别方法及系统
CN113177487A (zh) * 2021-05-06 2021-07-27 南京信息工程大学 行人重识别方法、装置、计算机设备和存储介质
CN113326738A (zh) * 2021-05-06 2021-08-31 南京信息工程大学 基于深度网络和字典学习的行人目标检测与重识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169928A (zh) * 2017-05-12 2017-09-15 武汉华大联创智能科技有限公司 一种基于深层线性映射学习的人脸超分辨率重建算法
CN107392190A (zh) * 2017-09-07 2017-11-24 南京信息工程大学 基于半监督多视图字典学习的彩色人脸识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169928A (zh) * 2017-05-12 2017-09-15 武汉华大联创智能科技有限公司 一种基于深层线性映射学习的人脸超分辨率重建算法
CN107392190A (zh) * 2017-09-07 2017-11-24 南京信息工程大学 基于半监督多视图字典学习的彩色人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAO-YUAN JING等: "Uncorrelated Multi-View Discrimination Dictionary Learning for Recognition", 《PROCEEDINGS OF THE TWENTY-EIGHTH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 *
张志武等: "面向分类的增量字典学习算法", 《计算机工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472533A (zh) * 2019-07-31 2019-11-19 北京理工大学 一种基于半监督训练的人脸识别方法
CN112417986A (zh) * 2020-10-30 2021-02-26 四川天翼网络服务有限公司 一种基于深度神经网络模型的半监督在线人脸识别方法及系统
CN112417986B (zh) * 2020-10-30 2023-03-10 四川天翼网络股份有限公司 一种基于深度神经网络模型的半监督在线人脸识别方法及系统
CN113177487A (zh) * 2021-05-06 2021-07-27 南京信息工程大学 行人重识别方法、装置、计算机设备和存储介质
CN113326738A (zh) * 2021-05-06 2021-08-31 南京信息工程大学 基于深度网络和字典学习的行人目标检测与重识别方法
CN113326738B (zh) * 2021-05-06 2023-07-07 南京信息工程大学 基于深度网络和字典学习的行人目标检测与重识别方法
CN113177487B (zh) * 2021-05-06 2023-07-18 南京信息工程大学 行人重识别方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN110046583A (zh) 基于半监督多视图增量字典学习的彩色人脸识别方法
CN107766447B (zh) 一种使用多层注意力网络机制解决视频问答的方法
Lee et al. Intra-class variation reduction using training expression images for sparse representation based facial expression recognition
CN108121975B (zh) 一种联合原始数据和生成数据的人脸识别方法
CN110533057B (zh) 一种单样本与少样本场景下的汉字验证码识别方法
CN105740790B (zh) 基于多核字典学习的彩色人脸识别方法
CN105138998B (zh) 基于视角自适应子空间学习算法的行人重识别方法及系统
Varga et al. Fully automatic image colorization based on Convolutional Neural Network
CN105574475B (zh) 一种基于共同向量词典的稀疏表示分类方法
CN107330355B (zh) 一种基于正样本平衡约束的深度行人再标识方法
CN109447123B (zh) 一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法
CN107392190B (zh) 基于半监督多视图字典学习的彩色人脸识别方法
CN112784929B (zh) 一种基于双元组扩充的小样本图像分类方法及装置
CN105844635A (zh) 一种基于结构字典的稀疏表示深度图像重建算法
CN106529586A (zh) 基于补充文本特征的图像分类方法
Suo et al. Group structured dirty dictionary learning for classification
CN113688894B (zh) 一种融合多粒度特征的细粒度图像分类方法
CN110598022B (zh) 一种基于鲁棒深度哈希网络的图像检索系统与方法
Zhao et al. Transfer learning with ensemble of multiple feature representations
Zheng et al. Improved sparse representation with low-rank representation for robust face recognition
CN106960185B (zh) 线性判别深度信念网络的多姿态人脸识别方法
CN110796022A (zh) 一种基于多流形耦合映射的低分辨人脸识别方法
CN115049814B (zh) 采用神经网络模型的护眼灯智能调节方法
CN112364791A (zh) 一种基于生成对抗网络的行人重识别方法和系统
CN109815478A (zh) 基于卷积神经网络的药化实体识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190723

RJ01 Rejection of invention patent application after publication