CN111401157A - 一种基于三维特征的人脸识别方法和系统 - Google Patents
一种基于三维特征的人脸识别方法和系统 Download PDFInfo
- Publication number
- CN111401157A CN111401157A CN202010136983.7A CN202010136983A CN111401157A CN 111401157 A CN111401157 A CN 111401157A CN 202010136983 A CN202010136983 A CN 202010136983A CN 111401157 A CN111401157 A CN 111401157A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- face
- ncc
- features
- face recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 238000009877 rendering Methods 0.000 claims abstract description 11
- 230000009466 transformation Effects 0.000 claims abstract description 11
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000741 silica gel Substances 0.000 description 1
- 229910002027 silica gel Inorganic materials 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于三维特征的人脸识别方法和系统，方法包括获取三维人脸模型，并将三维人脸模型进行二维投影得到二维人脸图像；采用人脸关键点的三维坐标获取变换矩阵，利用变换矩阵对所述三维人脸模型进行三维人脸对齐；将对齐后的三维人脸模型归一化得到NCC特征，并将NCC特征渲染至三维人脸网格上作为PNCC特征；以所述二维人脸图像和PNCC特征作为神经网络的输入，得到神经网络的输出作为提取的待识别特征；利用所述待识别特征与预设的人脸特征数据库中已有的特征进行比对，实现人脸识别。本发明提升了脸部特征识别的精度和速度，降低人脸识别错误率。
Description
技术领域
本申请属于三维建模和人脸识别技术领域，具体涉及一种基于三维特征的人脸识别方法和系统。
背景技术
近年来，随着欧美发达国家的人脸识别技术开始进入实用阶段后，人脸识别技术迅速成为近年来全球的一个市场热点，它具有非接触、直观、适应性强、安全性好、易于推广等优点，因此人脸识别被人们称为最自然、最直观的一种生物特征识别技术。它可以广泛用于公安、海关、金融等多个重要行业及领域，具有广阔的市场应用前景。
目前的人脸识别技术分为二维人脸识别、三维人脸识别两大类。实际上人脸本身是三维的，利用二维图像信息进行人脸识别必然会损失一部分信息，因此，二维人脸识别性能的进一步提升一直受到光线、姿态、表情等因素的不利影响，且由于无法记录脸部深度信息，造成人脸数据不完整，给虚假照片、视频或人脸硅胶面套以可乘之机。相比而言，基于三维特征的人脸识别不仅可以减少环境光对人脸识别造成的影响，而且在颜色、纹理、深度等方面的数据更丰富，在获得人脸的深度信息后，便可以抵抗来自照片、视频等攻击，从而提高人脸识别的安全性。这些优点使得基于三维特征的人脸识别比二维人脸识别更精确。
现有技术如申请号为201810353351.9的中国专利文献，其利用对齐后的三维人脸重建模型计算K阶矩作为特征向量，再计算与人脸特征数据库中已有的特征向量之间的欧式距离或余弦距离实现三维人脸识别。又如申请号为201610883797.3的中国专利文献，其对三维模型进行PCA降维，删除冗余或起到干扰作用的人脸特征，提高了人脸识别精度和泛化性能。但是上述专利都是从传统特征上进行操作，不管是K阶矩还是PCA降维，都没有深度CNN网络提取特征精度高，而且传统特征提取速度慢，不能达到实用目的。
发明内容
本申请的目的在于提供一种基于三维特征的人脸识别方法和系统，提升了脸部特征识别的精度和速度，降低人脸识别错误率。
为实现上述目的，本申请所采取的技术方案为：
一种基于三维特征的人脸识别方法，所述基于三维特征的人脸识别方法，包括：
获取三维人脸模型，并将三维人脸模型进行二维投影得到二维人脸图像；
采用人脸关键点的三维坐标获取变换矩阵，利用变换矩阵对所述三维人脸模型进行三维人脸对齐；
将对齐后的三维人脸模型归一化得到NCC特征，并将NCC特征渲染至三维人脸网格上作为PNCC特征；
以所述二维人脸图像和PNCC特征作为神经网络的输入，得到神经网络的输出作为提取的待识别特征；
利用所述待识别特征与预设的人脸特征数据库中已有的特征进行比对，实现人脸识别。
作为优选，所述人脸关键点为两个眼睛和一个嘴巴。
作为优选，所述将NCC特征渲染至三维人脸网格上作为PNCC特征，包括：
利用z-buffering技术将NCC特征渲染至三维人脸网格上，渲染过程如下：
PNCC＝z-buffer(V3d(p),NCC)
V3d(p)＝f*R*S+[t2d,0]T
其中，NCC是通过主成分分析描述的三维人脸空间，即NCC特特征；V3d(p)是待渲染三维人脸网格，对于V3d(p)而言，f是尺度参数，R是一个旋转矩阵，S是三维人脸数据，t2d是平移矢量。
作为优选，所述神经网络以ResNet卷积神经网络作为基础网络。
本申请还提供一种基于三维特征的人脸识别系统，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一技术方案所述的基于三维特征的人脸识别方法的步骤。
本申请提供的基于三维特征的人脸识别方法和系统，将PNCC特征和二维人脸图像一起输入到神经网络中，使得神经网络的输入不仅包含了二维信息还包含了对应的三维纹理信息，提升了识别的精度，尤其是可以有效抵抗照片、视频等攻击，因为假活体不具有深度等信息，进一步推动了人脸识别在金融等需要高精度的领域的落地。
附图说明
图1为本申请的基于三维特征的人脸识别方法的流程图；
图2为本申请的PNCC特征生成示意图；
图3为本申请的人脸识别特征获取的流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。
其中一个实施例中，提供一种基于三维特征的人脸识别方法，基于三维人脸模型实现人脸识别特征的准确、高效提取，与现有的人脸识别技术相比，本申请最主要的区别在于如何利用三维人脸信息获得更好的效果。其中，人脸识别应理解为一种基于人的脸部特征信息进行身份认证的生物特征识别技术。
如图1所述，本实施例的基于三维特征的人脸识别方法，包括：
(1)获取三维人脸模型
三维人脸模型可以是直接由三维扫描得到，本实施例中为了降低外界干扰，利用三维人体建模模型直接获得三维人脸模型，比现有的三维模型扫描技术更精确。根据三维人体模型坐标估计出人脸所在位置，这种检测人脸的方式不受角度、光照等影响。
并且在获取三维人脸模型之后，将三维人脸模型进行二维投影得到二维人脸图像，得到人脸的二维信息。
(2)三维人脸对齐
采用人脸关键点的三维坐标获取变换矩阵，利用变换矩阵对所述三维人脸模型进行三维人脸对齐。
在三维人脸模型中可直接获取人脸关键点的三维坐标，并且本实施例中的人脸关键点取两个眼睛和一个嘴巴，在获取变换矩阵时，首先从模型中定义出两个眼睛的中心点(Veyel_c、Veyer_c)以及嘴巴的中心点(Vmouth_c)的位置。
并且通过对三个关键点的三维坐标点求平均，得到这三个关键点的平均位置(Veyel_m、Veyer_m、Vmouth_m)。然后利用三维人脸模型上对应的三个中心点的位置以及平均位置求得一个变换矩阵Mv，其中包含了旋转和平移的信息，利用该矩阵就可以将所有的待测试三维人脸模型变换到一个相对稳定的位置。三维人脸对齐为现有的常规技术，其具体实施步骤本实施例中不再详述。
三维人脸对齐排除了位置差异性给后续网络训练带来的不利影响，提高了本申请人脸特征提取的准确性。
(3)三维特征获取
将对齐后的三维人脸模型归一化到0～1之间，本实施例中的归一化操作是把以整个人脸区域三个维度坐标的最大值为基准，所有对应维度的值除以相应的最大值。
归一化后每个顶点具有独一无二的三维坐标称之为NCC(Normalized CoordinateCode)，如图2(a)所示。NCC特征有三个通道，与RGB三通道类似，可当作一种纹理信息加入到CNN网络中。为了让三维信息和二维信息一样加入到CNN网络的卷积中有含义，必须保证三维模型和二维图像在空间上具有对应关系。因此需要将NCC特征渲染至三维人脸网格(预设的通用三维人脸模型)上，得到的图像作为输入CNN网络的特征，称为PNCC(ProjectedNormalized Coordinate Code)特征，这个特征包含了详细的人脸纹理信息，如图2(b)所示。
在一实施例中，为了提高渲染的效果，利用z-buffering技术(z-buffer算法)将NCC特征渲染至三维人脸网格上，z-buffering技术应理解为一种考虑空间遮挡关系的纹理贴图技术，渲染过程如下：
PNCC＝z-buffer(V3d(p),NCC)
V3d(p)＝f*R*S+[t2d,0]T
其中，NCC是通过主成分分析(PCA)描述的三维人脸空间，即NCC特；V3d(p)是待渲染的三维人脸网格，对于V3d(p)而言，f是尺度参数，R是一个旋转矩阵，S是三维人脸数据，t2d是平移矢量。
(4)人脸识别
如图3所示，以所述二维人脸图像和PNCC特征作为神经网络的输入，得到神经网络的输出作为提取的待识别特征；利用所述待识别特征与预设的人脸特征数据库中已有的特征进行比对，实现人脸识别。
本实施例中的神经网络以ResNet卷积神经网络作为基础网络，且在基础网络上提供根据任务特点进行改进的空间。在输入方面，将二维人脸图像和从三维人脸模型中得到的PNCC特征分别缩放到224*224的大小，再将两者叠加到一起得到一个6*224*224的数据块作为神经网络的输入。
本实施例中使用的ResNet卷积神经网络的网络结构上采用34层的结构，数据输入后先采用一个7*7、stride为2的卷积以及一个pool层将数据的尺度减小到64*64，以便于较快后续网络的处理，后经过32个7*7的卷积，最后通过一个fc层输出一个1000维的特征作为身份识别比对所用的特征，即待识别特征。结合二维图像和三维特征一起进行人脸识别的方法大大提升了识别精度。
本申请将PNCC的三维特征描述作为了人脸特征提取神经网络的输入参数，与RGB三通道二维图像一起，构成了人脸识别特征提取网络的输入，通过这样的设计，有效提升了人脸特征提取的完备性和人脸识别的准确性和识别的精度，尤其是可以有效抵抗照片、视频等攻击，因为假活体不具有深度等信息，进一步推动了人脸识别在金融等需要高精度的领域的落地。
在另一实施例中，提供一种基于三维特征的人脸识别系统，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例中所述的基于三维特征的人脸识别方法的步骤。
本申请的基于三维特征的人脸识别系统，即一种计算机设备，该计算机设备可以是终端，其内部结构可以包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述基于三维特征的人脸识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
关于基于三维特征的人脸识别系统的进一步限定，可参数上述对于基于三维特征的人脸识别方法的限定，这里不再进行赘述。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (5)
1.一种基于三维特征的人脸识别方法，其特征在于，所述基于三维特征的人脸识别方法，包括：
获取三维人脸模型，并将三维人脸模型进行二维投影得到二维人脸图像；
采用人脸关键点的三维坐标获取变换矩阵，利用变换矩阵对所述三维人脸模型进行三维人脸对齐；
将对齐后的三维人脸模型归一化得到NCC特征，并将NCC特征渲染至三维人脸网格上作为PNCC特征；
以所述二维人脸图像和PNCC特征作为神经网络的输入，得到神经网络的输出作为提取的待识别特征；
利用所述待识别特征与预设的人脸特征数据库中已有的特征进行比对，实现人脸识别。
2.如权利要求1所述的基于三维特征的人脸识别方法，其特征在于，所述人脸关键点为两个眼睛和一个嘴巴。
3.如权利要求2所述的基于三维特征的人脸识别方法，其特征在于，所述将NCC特征渲染至三维人脸网格上作为PNCC特征，包括：
利用z-buffering技术将NCC特征渲染至三维人脸网格上，渲染过程如下：
PNCC＝z-buffer(V3d(p)，NCC)
V3d(p)＝f*R*S+[t2d，0]T
其中，NCC是通过主成分分析描述的三维人脸空间，即NCC特特征；V3d(p)是待渲染的三维人脸网格，对于V3d(p)而言，f是尺度参数，R是一个旋转矩阵，S是三维人脸数据，t2d是平移矢量。
4.如权利要求1所述的基于三维特征的人脸识别方法，其特征在于，所述神经网络以ResNet卷积神经网络作为基础网络。
5.一种基于三维特征的人脸识别系统，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的基于三维特征的人脸识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010136983.7A CN111401157A (zh) | 2020-03-02 | 2020-03-02 | 一种基于三维特征的人脸识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010136983.7A CN111401157A (zh) | 2020-03-02 | 2020-03-02 | 一种基于三维特征的人脸识别方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111401157A true CN111401157A (zh) | 2020-07-10 |
Family
ID=71432149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010136983.7A Pending CN111401157A (zh) | 2020-03-02 | 2020-03-02 | 一种基于三维特征的人脸识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111401157A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528902A (zh) * | 2020-12-17 | 2021-03-19 | 四川大学 | 一种基于3d人脸模型的视频监控动态人脸识别方法及装置 |
| CN113284229A (zh) * | 2021-05-28 | 2021-08-20 | 上海星阑信息科技有限公司 | 三维人脸模型生成方法、装置、设备及存储介质 |
| CN113313097A (zh) * | 2021-07-30 | 2021-08-27 | 浙江大华技术股份有限公司 | 人脸识别方法、终端及计算机可读存储介质 |
| CN117894059A (zh) * | 2024-03-15 | 2024-04-16 | 国网江西省电力有限公司信息通信分公司 | 一种3d人脸识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122705A (zh) * | 2017-03-17 | 2017-09-01 | 中国科学院自动化研究所 | 基于三维人脸模型的人脸关键点检测方法 |
| CN110097035A (zh) * | 2019-05-15 | 2019-08-06 | 成都电科智达科技有限公司 | 一种基于3d人脸重建的人脸特征点检测方法 |
-
2020
- 2020-03-02 CN CN202010136983.7A patent/CN111401157A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122705A (zh) * | 2017-03-17 | 2017-09-01 | 中国科学院自动化研究所 | 基于三维人脸模型的人脸关键点检测方法 |
| CN110097035A (zh) * | 2019-05-15 | 2019-08-06 | 成都电科智达科技有限公司 | 一种基于3d人脸重建的人脸特征点检测方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528902A (zh) * | 2020-12-17 | 2021-03-19 | 四川大学 | 一种基于3d人脸模型的视频监控动态人脸识别方法及装置 |
| CN113284229A (zh) * | 2021-05-28 | 2021-08-20 | 上海星阑信息科技有限公司 | 三维人脸模型生成方法、装置、设备及存储介质 |
| CN113284229B (zh) * | 2021-05-28 | 2023-04-18 | 上海星阑信息科技有限公司 | 三维人脸模型生成方法、装置、设备及存储介质 |
| CN113313097A (zh) * | 2021-07-30 | 2021-08-27 | 浙江大华技术股份有限公司 | 人脸识别方法、终端及计算机可读存储介质 |
| CN117894059A (zh) * | 2024-03-15 | 2024-04-16 | 国网江西省电力有限公司信息通信分公司 | 一种3d人脸识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Min et al. | Kinectfacedb: A kinect database for face recognition | |
| Kang et al. | Study of a full-view 3D finger vein verification technique | |
| CN111401157A (zh) | 一种基于三维特征的人脸识别方法和系统 | |
| Li et al. | A comprehensive survey on 3D face recognition methods | |
| Bronstein et al. | Three-dimensional face recognition | |
| Cohen et al. | Inference of human postures by classification of 3D human body shape | |
| Blanz et al. | Fitting a morphable model to 3D scans of faces | |
| US20150378444A1 (en) | Hand pointing estimation for human computer interaction | |
| CN111091075B (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| CN108182397B (zh) | 一种多姿态多尺度的人脸验证方法 | |
| Danelakis et al. | A survey on facial expression recognition in 3D video sequences | |
| Vretos et al. | 3D facial expression recognition using Zernike moments on depth images | |
| WO2012126135A1 (en) | Method of augmented makeover with 3d face modeling and landmark alignment | |
| CN114648613B (zh) | 基于可变形神经辐射场的三维头部模型重建方法及装置 | |
| CN109858433B (zh) | 一种基于三维人脸模型识别二维人脸图片的方法及装置 | |
| US20230103385A1 (en) | 3d reconstruction method and apparatus | |
| CN113570684A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN109937434A (zh) | 图像处理方法、装置、终端和存储介质 | |
| CN110991258B (zh) | 一种人脸融合特征提取方法及系统 | |
| CN112528902A (zh) | 一种基于3d人脸模型的视频监控动态人脸识别方法及装置 | |
| CN117315211B (zh) | 数字人合成及其模型训练方法、装置、设备及存储介质 | |
| Lan et al. | The application of 3D morphable model (3DMM) for real-time visualization of acupoints on a smartphone | |
| CN112699857A (zh) | 基于人脸姿态的活体验证方法、装置及电子设备 | |
| CN106778491B (zh) | 人脸3d特征信息的获取方法及设备 | |
| Jin et al. | Learning facial expressions with 3D mesh convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200710 |
|
| RJ01 | Rejection of invention patent application after publication |