CN112288851B - 一种基于双支流网络的三维人脸建模方法 - Google Patents

一种基于双支流网络的三维人脸建模方法 Download PDF

Info

Publication number
CN112288851B
CN112288851B CN202011147653.4A CN202011147653A CN112288851B CN 112288851 B CN112288851 B CN 112288851B CN 202011147653 A CN202011147653 A CN 202011147653A CN 112288851 B CN112288851 B CN 112288851B
Authority
CN
China
Prior art keywords
face
texture
image
map
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011147653.4A
Other languages
English (en)
Other versions
CN112288851A (zh
Inventor
陈军
柴笑宇
梁超
徐东曙
孙志宏
李希希
邱焰升
姚红豆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202011147653.4A priority Critical patent/CN112288851B/zh
Publication of CN112288851A publication Critical patent/CN112288851A/zh
Application granted granted Critical
Publication of CN112288851B publication Critical patent/CN112288851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双支流网络的三维人脸建模方法，该方法包括以下步骤：1)构建基于自编码器结构的人脸形状重建支流，获得身份空间图和表情空间图；2)利用身份空间图和表情空间图分别表达身份属性成分和表情属性成分；3)构建基于语义区域的面部纹理重建支流，获得具有高真实度的面部纹理图；4)构建融合模块，其过程为：将重建的面部形状模型与重建的面部纹理图按照预定义的三维顶点拓扑关系进行对应组合，得到最终重建的三维人脸模型。本发明通过将人脸的身份和表情属性进行解耦学习，并利用双支流网络进行面部形状与面部纹理的处理，实现对具有大幅度表情的精确三维人脸重建。

Description

一种基于双支流网络的三维人脸建模方法
技术领域
本发明属于计算机视觉和计算机图形学领域，尤其涉及一种基于双支流网络的三维人脸建模方法。
背景技术
单目人脸重建旨在从单张人脸图像中恢复出对应的三维人脸模型。近年来，因为其在实际中的广泛应用，例如人脸对齐，人脸编辑以及虚拟现实等方面，大量的研究工作已经投入到该领域中。
然而，从单张图像中重建出精确的人脸几何形状并恢复出逼真的面部纹理图是一件非常具有挑战性的事情。其中一项难以避免的挑战是人脸表情的多样性，这是一种人类与生俱来的属性。人脸表情的多样性和模糊性成为了三维人脸重建过程中必须要解决的关键问题。
为了提升人脸重建的效果，许多方法采用了基于深度学习的技术并取得了明显的进步。2015年，普林斯顿大学Kyle Genova等人利用卷积神经网络直接从输入图像中回归出人脸形状和面部纹理的3DMM参数用于三维人脸重建任务。但是该方法受限于3DMM的线性基，其表达能力远不足以覆盖真实世界下的人脸外观的多样性，因此导致其不能准确表述带有复杂表情的人脸几何形状，且在面部纹理表达中丢失了高频细节信息。2018年，上海交通大学Yao Feng等人在深度学框架下提出利用二维UV位置图去表达人脸几何形状以避免3DMM线性基的约束，并联合实现三维人脸重建和人脸对齐的任务。但是该方法仅使用一副UV图表达人脸几何形状，没有区分身份成分和表情成分，因此当输入人脸图像中具有大幅度表情时，重建结果仍然不能准确描述原始人脸表情。2019年，帝国理工学院的BarisGecer采用了生成对抗网络在展开的UV空间中去生成高保真的面部纹理图。然而，可用于训练的面部纹理图的数据量十分有限，存在获取困难和成本高的缺点，因此该方法限制了其应用范围。
综上所述，现有的方法要么以线性3DMM的方法，利用神经网络估计出表达能力有限的模型参数；或者利用无约束的三维人脸表达方式，但是没有专门针对人脸表情的属性进行处理，因此会造成在大幅度表情的条件下的预测错误，从而降低最终的三维人脸重建精度。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于双支流网络的三维人脸建模方法。
本发明解决其技术问题所采用的技术方案是：一种基于双支流网络的三维人脸建模方法，包括以下步骤：
1、一种基于双支流网络的三维人脸建模方法，其特征在于，包括以下几个步骤：
(1)预处理待输入的人脸图像；
(2)构建基于深度自编码器的人脸形状重建支流，其过程为：利用形状编码器提取输入图像中人脸对应的隐编码特征向量；构建身份空间图解码器，用于从人脸的隐编码特征向量中预测身份空间图；构建表情空间图解码器，用于从人脸的隐编码特征向量中预测表情空间图；构建人脸参数解码器，用于从人脸的隐编码特征向量中预测一个包含了纹理参数，姿态参数和光照参数的人脸参数集；
然后利用身份空间图和表情空间图以分别表达身份属性成分和表情属性成分，其过程为：首先，分解人脸三维形状为基础成分、身份成分和表情成分；然后，将这三个存在于三维空间中的空间形式表示为二维平面上的图像形式，分别为基础空间图、身份空间图和表情空间图；其中，基础成分对于所有情况下的人脸均保持不变，身份空间图对应于不同的身份人脸形状，表情空间图对应于不同表情的人脸形状；空间图中的R，G和B的值分别记录了对应人脸三维形状的空间位置信息中的x，y和z的值；最终的面部空间图由基础空间图、身份空间图和表情空间图进行叠加而成；
(3)构建基于语义区域的面部纹理重建支流，用于获得具有高真实度的面部纹理图；
(4)利用融合模块将人脸形状重建支流的输出结果面部空间图和面部纹理重建支流的输出结果面部纹理图进行融合，得到最终的三维人脸重建模型。
进一步的，步骤(3)中基于语义区域的面部纹理重建支流的过程处理如下，
构建面部语义区域风格编码提取模块，对输入人脸图像进行面部语义区域的解析，得到n个面部区域的局部语义图；然后对每个局部语义图进行特征提取，得到了一组n个风格语义编码对；
然后构建以U-Net为结构的面部纹理转换网络，对于U-Net中编码器输出的特征图，使用n个风格语义编码对转换网络中表示n个面部局部语义区域的特征进行基于区域的标准化操作；利用参数解码器输出的纹理参数，输入到3DMM获得面部色彩图；将面部色彩图展开至二维平面空间，作为内容图像；输入内容图像至面部纹理转换网络，得到对应于风格语义编码的具有高真实度的面部纹理图。
进一步的，所述步骤(2)中人脸形状重建支流的结构中：形状编码器以多尺度卷积网络结构为基础，基于FaceNet人脸识别网络的主体结构，输出维度为128的隐编码特征向量，该过程如以下公式表示：
fL＝ε(I)
其中，ε(·)表示形状编码器，fL表示隐编码特征向量，其对应于输入的人脸图像I。
进一步的，所述步骤(2)中人脸形状重建支流的结构中：具有身份空间图解码器、表情空间图解码器和一个参数解码器，两个空间图解码器具有相同的网络结构，使用“反卷积层+BN批标准化+ReLu激活操作”的八个子结构进行级联，且最后一个激活层为tanh，空间图解码器用于从隐编码特征向量中分别预测身份空间图和表情空间图，该过程如以下公式表示：
Figure BDA0002740185680000031
其中，
Figure BDA0002740185680000032
和
Figure BDA0002740185680000033
分别表示身份解码器和表情解码器，Aid和Aexp分别表示身份空间图和表情空间图，fL表示隐编码特征向量；
参数解码器以多层感知机为结构，用于从隐编码特征向量中预测一个维度为111的参数集合，该参数集合中包含纹理参数，姿态参数和光照参数，该过程如以下公式表示：
Figure BDA0002740185680000034
其中，
Figure BDA0002740185680000035
表示参数解码器，
Figure BDA0002740185680000036
表示参数集合，其中
Figure BDA0002740185680000037
分别是维度为99的纹理参数pt，维度为3的姿态参数ph和维度为9的光照参数pl。
进一步的，所述步骤(2)中人脸形状重建支流的训练中，使用了损失函数对预测结果进行约束：
Figure BDA0002740185680000038
其中，
Figure BDA0002740185680000039
为参数损失，
Figure BDA00027401856800000310
为空间图损失，
Figure BDA00027401856800000311
为对称损失；
参数损失用来度量预测的参数集合与标定的真实参数集的差异；为了测量该差异，使用欧几里得距离计算参数集中各维度的误差：
Figure BDA00027401856800000312
其中，
Figure BDA00027401856800000313
表示预测的参数集合，
Figure BDA00027401856800000314
表示训练数据集中标定的参数集合，ωr表示对预测参数集合
Figure BDA00027401856800000315
的规则化因子；
空间图损失用来度量预测的人脸空间图与标定的人脸空间图的差异；利用平方误差损失计算人脸空间图中各空间位置的误差；空间图损失包含三个部分，分别是身份空间图损失
Figure BDA0002740185680000041
表情空间图损失
Figure BDA0002740185680000042
和面部空间图损失
Figure BDA0002740185680000043
该过程如下表示：
Figure BDA0002740185680000044
其中，A和
Figure BDA0002740185680000045
分别表示人脸形状重建支流预测的空间图和训练数据集中标定的空间图；Aid，Aexp，Af分别表示身份空间图、表情空间图和面部空间图；W表示面部区域权重图，用于在计算身份空间图的过程中，利用面部区域权重图，对面部不同区域赋予不同权重值，增强身份空间图的判别性；||·||2表示2范数；
对称损失用来度量预测的身份空间图的对称性，利用其左右对称的特点以一范式的方式进行空间误差的约束：
Figure BDA0002740185680000046
其中，
Figure BDA0002740185680000047
表示水平翻转操作；||·||1表示1范数。
进一步的，所述步骤(3)中面部纹理重建支流的结构中：面部语义区域风格编码提取模块由预训练的人脸解析器和语义区域风格特征提取器构成，预训练的人脸解析器对输入人脸图像进行面部语义区域解析，得到n个人脸区域图，每个人脸区域图与输入人脸图像中的特定语义区域一一对应；语义区域风格特征提取器由包含了n个滤波器的分组卷积操作构成，用来分别对n个人脸区域图进行特征提取，在特征图经过全连接层的维度变换之后，得到了一组包含n个语义风格编码对
Figure BDA0002740185680000048
的向量，该过程如下表示：
Figure BDA0002740185680000049
其中，
Figure BDA00027401856800000410
表示预训练的人脸解析网络，
Figure BDA00027401856800000411
和θs分别表示语义区域风格特征提取器和其网络权值，I为输入的人脸图像。
进一步的，所述步骤(3)中面部纹理重建支流的结构中：构建以U-Net为结构的面部纹理转换网络，编码器和解码器具有对称的结构，对应8个卷积层和8个反卷积层，编码器输出的特征图大小为n×16×16；对于该特征图，转换网络首先接受n个风格语义编码对对其进行基于区域的标准化操作；然后，将转换后的特征图送入解码器进行处理，该过程如下表示：
Figure BDA0002740185680000051
其中，X为纹理转换网络中编码器的输出特征图，
Figure BDA0002740185680000052
和
Figure BDA0002740185680000053
为对应的语义区域的均值和方差，
Figure BDA0002740185680000054
和
Figure BDA0002740185680000055
来自对应区域的风格编码对；n表示面部局部语义区域的数量；
Figure BDA0002740185680000056
为进行了风格转换之后的特征图，用来作为纹理转换网络中解码器的输入。
进一步的，所述步骤(3)中面部纹理重建支流的结构中：构建纹理转换网络的输入图像数据，首先，将参数集中的纹理参数输入到3DMM，并将输出结果展开至二维平面空间得到面部色彩图
Figure BDA0002740185680000057
其中
Figure BDA0002740185680000058
和Bt分别指3DMM中的平均纹理部分和纹理基础部分，pt指的是参数解码器预测的纹理参数；然后，根据面部色彩图自带的区域信息进行划分得到包含了n个语义区域的面部区域图Is；将面部色彩图和面部区域图进行通道上的拼接[Iu,Is]，作为数为输入图像数据；面部纹理转换网络对输入图像数据进行处理，得到由风格语义编码对控制的具有高真实度的面部纹理图，该过程如下表示：
Figure BDA0002740185680000059
其中，
Figure BDA00027401856800000510
和θt分别表示变换网络和其网络权值，Iu表示面部色彩图，Is表示面部区域图。
进一步的，所述步骤(3)中面部纹理重建支流中，使用了损失函数对预测结果进行约束：
Figure BDA00027401856800000511
其中，
Figure BDA00027401856800000512
为风格损失，
Figure BDA00027401856800000513
为人脸关键点损失；
风格损失用来度量生成的面部纹理图与真实的面部纹理图的风格差异；利用预训练的VGG19网络的第二层、第三层、第四层和第五层中卷积操作的特征输出来计算生成的面部纹理图与真实的面部纹理图之间的特征图的差异：
Figure BDA00027401856800000514
其中，φl(·)表示VGG19网络的第l层的激活输出，其维度为Wl×Hl×Cl；C表示所用到的第二层、第三层、第四层和第五层中卷积操作；Tf和
Figure BDA00027401856800000515
分别表示预测的面部纹理图和真实的纹面纹理图；
人脸关键点损失用来使生成的面部纹理图中的结构信息与面部色彩图中的结构信息相一致；为了度量差异，使用欧几里得距离计算人脸关键点中各坐标之间的误差：
Figure BDA00027401856800000516
其中，
Figure BDA0002740185680000061
表示一个人脸关键点检测器，用来输出68个具有二维坐标的人脸关键点。
进一步的，所述步骤(4)中的具体实现方式如下：首先根据预定义的三维顶点拓扑关系，将面部形状重建支流的输出结果人脸形状图和面部纹理重建支流的输出结果人脸纹理图按照逐个顶点的拓扑关系进行一一对应的组合，构成最终的三维人脸重建模型F＝[Af，Tf]，Af表示面部空间图，Tf表示面部纹理图；
然后利用可微分渲染层
Figure BDA0002740185680000062
将完整的三维人脸模型渲染到二维平面，重构出输入人脸图像
Figure BDA0002740185680000063
pl和ph分别表示参数解码器预测的光照参数和姿态参数；然后，计算重构人脸图像Ir与输入人脸图像I之间的像素值误差，构成自监督训练模式；在此过程中，使用了损失函数对预测结果进行约束：
Figure BDA0002740185680000064
其中，
Figure BDA0002740185680000065
为重构误差损失函数，
Figure BDA0002740185680000066
为身份相似度损失函数，
Figure BDA0002740185680000067
为对抗损失函数；
重构误差损失函数用来度量渲染重构的人脸图像Ir与输入的人脸图像I的差异；利用二范式损失计算人脸图像之间各个对应像素的误差：
Figure BDA0002740185680000068
其中，S表示图像的面积，
Figure BDA0002740185680000069
为面部可见区域的掩膜；
身份相似度损失函数用来度量渲染重构的人脸图像Ir与输入的人脸图像I之间的身份相似度，通过度量输入人脸图像的隐编码特征向量fL和渲染重构的人脸图像经过FaceNet的隐编码特征向量
Figure BDA00027401856800000610
之间的余弦分数：
Figure BDA00027401856800000611
其中，COS(·)表示余弦距离计算方式；
对抗损失函数用来使渲染重构的人脸图像Ir在真实度上与输入人脸图像I之间尽可能的接近，通过使用patchGAN的判别器对生成的Ir和原始的I进行判别：
Figure BDA00027401856800000612
其中，
Figure BDA00027401856800000613
表示patchGAN的判别器。
和现有技术相比，本发明的主要有益效果为：本发明通过将完整的人脸面部几何形状解耦为身份属性成分和表情属性成分，并利用人脸形状重建支流进行对应的身份空间图和表情空间图的预测，实现属性分解的面部形状重建；基于语义区域的面部纹理重建支流，结合输入人脸图像的真实纹理与面部区域图，生成高保真的面部纹理图；利用融合模块组合人脸几何重建支流和面部纹理重建支流的输出结果，得到最终的人脸三维重建模型。
本发明可以解决传统三维人脸重建方法中，由于线性3DMM模型表达能力的限制以及非线性3DMM方法中没有对人脸表情属性进行处理，导致对于大幅度表情的条件下的人脸图像重建的误差较大的问题。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明实施例的整体框架示意图。
图2为本发明实施例的人脸空间图合成的示意图，(a)-(e)分别为基础空间图、身份空间图，表情空间图，面部空间图和人脸。
图3为本发明实施例的人脸面部纹理重建支流的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
图1是本发明的流程图，输入人脸图像经过预处理后，进入双支流网络。对于面部形状重建支流，首先利用形状编码器，对输入的人脸图像提取卷积特征，得到输入人脸图像的隐编码特征向量；然后分别构建身份空间图解码器、表情空间图解码器和一个参数解码器；身份空间图解码器和表情空间图解码器用于从隐编码特征向量中分别预测身份空间图和表情空间图；参数解码器用于从隐编码特征向量中预测一个包含了纹理参数，姿态参数和光照参数的参数集合。对于面部纹理重建支流，首先利用面部语义区域风格编码提取模块对输入人脸图像进行基于语义区域的风格特征提取，得到对应n个面部区域的n个风格编码对；然后再利用基于U-Net的面部纹理转换网络，在编码器的输出位置接受是风格编码对，对输入的面部色彩图进行基于面部语义区域的风格变换，获得具有高真实度的面部纹理图。最后利用融合模块根据预定义的三维顶点拓扑关系，将面部形状重建支流的输出结果面部空间图和面部纹理重建支流的输出结果面部纹理图按照逐个顶点的拓扑关系进行一一对应的组合，形成最终的三维人脸重建模型。
如图1所示，本发明实施例提供的一种基于双支流网络的三维人脸建模方法，具体包括以下步骤：
步骤一：本实例包括合成训练数据和真实训练数据。合成训练数据用于训练人脸形状重建支流，使用公开的人脸数据集300W-LP合成，合成步骤为：首先，使用300W-LP中自带标注的3DMM参数分别得到基础人脸模型、身份人脸模型和表情人脸模型；然后，使用身份人脸模型减去基础人脸模型得到身份属性成分，使用表情人脸模型减去身份人脸模型得到表情属性成分；最后，将基础人脸模型、身份属性成分和表情属性成分分别展开到二维平面空间，得到对应的基础空间图、身份空间图和表情空间图。真实训练数据采用CelebA数据集，用于对整个网络框架进行端到端的自监督训练。以上所有的图像在使用时尺寸都被归一化为256×256。
步骤二：如图1中的人脸形状重建支流结构所示，实现基于人脸形状重建支流的面部空间图的预测。
(1)利用多尺度卷积操作(本实施例采取预训练的FaceNet网络结构的主体部分)作为形状编码器，对输入的人脸图像提取卷积特征，并对其进行全局池化操作输出128维的隐编码特征向量fL＝εM(I)，以此作为对输入人脸图像的高维特征表示；
(2)构建身份空间图解码器、表情空间图解码器和一个参数解码器。两个空间图解码器具有相同的网络结构，使用“反卷积层+BN批标准化+ReLu激活操作”的八个子结构进行级联，且最后一个激活层为tanh。空间图解码器用于从隐编码特征向量中分别预测身份空间图和表情空间图。最终的面部空间图由基础空间图、身份空间图和表情空间图进行叠加而成；该过程如下表示：
Af＝Abase+Aid+Aexp
其中，Af表示最终的面部空间图，Abase表示基础空间图，Aid表示身份空间图，Aexp表示表情空间图。
Figure BDA0002740185680000081
其中，
Figure BDA0002740185680000082
和
Figure BDA0002740185680000083
分别表示身份解码器和表情解码器。
该过程中使用到的损失函数为空间图损函数，空间图损失包含三个部分，分别是身份空间图损失
Figure BDA0002740185680000084
表情空间图损失
Figure BDA0002740185680000085
和面部空间图损失
Figure BDA0002740185680000086
Figure BDA0002740185680000087
其中，A和
Figure BDA0002740185680000088
分别表示人脸形状重建支流预测的空间图和训练数据集中标定的空间图；W表示面部区域权重图，用于在计算身份空间图的过程中，利用面部区域权重图，对面部不同区域赋予不同权重值，增强身份空间图的判别性，||·||2表示2范数。
(3)参数解码器以多层感知机为结构，用于从隐编码特征向量中预测一个维度为111的参数集合，该参数集合中包含纹理参数，姿态参数和光照参数。该过程如以下公式表示：
Figure BDA0002740185680000091
其中，
Figure BDA0002740185680000092
表示参数解码器，
Figure BDA0002740185680000093
表示参数集合，其中
Figure BDA0002740185680000094
分别是维度为99的纹理参数pt，维度为3的姿态参数ph和维度为9的光照参数pl。
该过程中使用到的损失函数为参数损失函数：
Figure BDA0002740185680000095
其中，
Figure BDA0002740185680000096
表示预测的参数集合，
Figure BDA0002740185680000097
表示训练数据集中的参数集合，ωr表示对预测参数集合
Figure BDA0002740185680000098
的规则化因子。
(4)整个人脸形状重建支流的训练中，使用了总损失函数对预测结果进行约束：
Figure BDA0002740185680000099
其中，
Figure BDA00027401856800000910
为参数损失，
Figure BDA00027401856800000911
为空间图损失，
Figure BDA00027401856800000912
为对称损失；
对称损失用来度量预测的身份空间图的对称性，利用其左右对称的特点以一范式的方式进行空间误差的约束：
Figure BDA00027401856800000913
其中，
Figure BDA00027401856800000914
表示水平翻转操作；||·||1表示1范数。
步骤三：如图3中的面部纹理重建支流结构所示，基于面部语义区域风格化的面部纹理图的预测。
(1)面部语义区域风格编码提取模块由预训练的人脸解析器和语义区域风格特征提取器构成，用于对输入人脸图像进行面部语义区域的解析，得到n个面部区域的局部语义图，并对每个局部语义图进行特征提取，得到了一组包含n个风格语义编码对
Figure BDA00027401856800000915
的向量。该过程如下表示：
Figure BDA00027401856800000916
其中，
Figure BDA00027401856800000917
表示预训练的人脸解析网络，
Figure BDA00027401856800000918
和θs分别表示语义区域风格特征提取器和其网络权值。
(2)构建以U-Net为结构的面部纹理转换网络，接受输入的面部色彩图和风格语义编码对，其作用是对面部色彩图进行基于面部语义区域的风格转化，合成具有高真实度的面部纹理图。该过程如下表示：
Figure BDA0002740185680000101
其中，X为纹理转换网络中编码器的输出特征图，
Figure BDA0002740185680000102
和
Figure BDA0002740185680000103
为对应的语义区域的均值和方差，
Figure BDA0002740185680000104
和
Figure BDA0002740185680000105
来自对应区域的风格编码对；
Figure BDA0002740185680000106
为进行了风格转换之后的特征图，用来作为纹理转换网络中解码器的输入。
(3)构建纹理转换网络的输入图像数据，利用纹理参数得到面部色彩图Iu，利用其语义区域信息得到面部区域图Is，将面部色彩图和面部区域图进行通道上的拼接[Iu,Is]，作为输入图像数据；纹理转换网络的处理过程如下：
Figure BDA0002740185680000107
其中，
Figure BDA0002740185680000108
和θt分别表示变换网络和其网络权值，Iu表示面部色彩图，Is表示面部区域图。
(4)面部纹理重建支流中，使用了损失函数对预测结果进行约束：
Figure BDA0002740185680000109
其中，
Figure BDA00027401856800001010
为风格损失，
Figure BDA00027401856800001011
为人脸关键点损失；
风格损失用来度量生成的面部纹理图与真实的面部纹理图的风格差异；利用预训练的VGG19网络的第二层、第三层、第四层和第五层中卷积操作的特征输出来计算生成的面部纹理图与真实的面部纹理图之间的特征图的差异：
Figure BDA00027401856800001012
其中，φl(·)表示VGG19网络的第l层的激活输出，其维度为Wl×Hl×Cl；C表示所用到的第二层、第三层、第四层和第五层中卷积操作；Tf和
Figure BDA00027401856800001013
分别表示预测的面部纹理图和真实的纹面纹理图；
人脸关键点损失用来使生成的面部纹理图中的结构信息与面部色彩图中的结构信息相一致；为了度量差异，使用欧几里得距离计算人脸关键点中各坐标之间的误差：
Figure BDA00027401856800001014
其中，
Figure BDA00027401856800001015
表示一个人脸关键点检测器，用来输出68个具有二维坐标的人脸关键点。
步骤四：如图1中的融合模块所示，利用融合模块得到最终的三维人脸重建模型并实现自监督训练模式。
(1)根据预定义的三维顶点拓扑关系，将面部形状重建支流的输出结果人脸形状图Af和面部纹理重建支流的输出结果人脸纹理图Tf按照逐个顶点的拓扑关系进行一一对应的组合，形成最终的三维人脸重建模型F＝[Af，Tf]；
(2)利用可微分渲染层将完整的三维人脸模型渲染到二维平面，重构出输入人脸图像
Figure BDA0002740185680000111
并计算与输入人脸图像I之间的重构误差，以度量渲染的人脸图图像与标定的真实人脸图像的差异：
Figure BDA0002740185680000112
其中，S表示图像的面积，
Figure BDA0002740185680000113
为面部可见区域的掩膜。
(3)为了使重构的人脸图像Ir与输入人脸图像I尽可能的相似，使用身份损失函数对Iid进行约束：身份相似度损失函数用来度量重构的人脸图像Ir与输入人脸图像I之间的身份相似度，
Figure BDA0002740185680000114
其中，fL表示输入人脸图像经过FaceNet的隐编码特征向量，
Figure BDA0002740185680000115
表示重构人脸图像经过FaceNet的隐编码特征向量，COS(·)表示余弦距离计算方式。
(4)为了使重构的人脸图像Ir在真实度上与输入人脸图像I之间尽可能的接近，对抗损失函数用来使重构的人脸图像Ir在真实度上与输入人脸图像I之间尽可能的接近，通过是用patchGAN的判别器对生成的Ir和原始的I进行判别：
Figure BDA0002740185680000116
其中，
Figure BDA0002740185680000117
表示patchGAN的判别器。
本发明包括训练阶段和测试阶段。在训练阶段，采用“先部分后整体”的策略。首先，固定面部纹理重建支流中的网络权值，使用合成训练数据单独训练人脸形状重建支流，共计训练50个epoch；然后，固定人脸形状重建支流中的网络权值，单独训练面部纹理重建支流，共计训练50个epoch；最后，使用真实训练数据CelebA数据集，对整个网络框架进行端到端的自监督训练，共计训练100个epoch。在测试阶段，采用训练后的双支流网络对输入人脸图像分别获取三维面部空间图和面部纹理图，通过融合模块得到最终的三维人脸重建模型。
应当理解的是，对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (9)

1.一种基于双支流网络的三维人脸建模方法，其特征在于，包括以下几个步骤：
(1)预处理待输入的人脸图像；
(2)构建基于深度自编码器的人脸形状重建支流，其过程为：利用形状编码器提取输入图像中人脸对应的隐编码特征向量；构建身份空间图解码器，用于从人脸的隐编码特征向量中预测身份空间图；构建表情空间图解码器，用于从人脸的隐编码特征向量中预测表情空间图；构建人脸参数解码器，用于从人脸的隐编码特征向量中预测一个包含了纹理参数，姿态参数和光照参数的人脸参数集；
然后利用身份空间图和表情空间图以分别表达身份属性成分和表情属性成分，其过程为：首先，分解人脸三维形状为基础成分、身份成分和表情成分；然后，将这三个存在于三维空间中的空间形式表示为二维平面上的图像形式，分别为基础空间图、身份空间图和表情空间图；其中，基础成分对于所有情况下的人脸均保持不变，身份空间图对应于不同的身份人脸形状，表情空间图对应于不同表情的人脸形状；空间图中的R，G和B的值分别记录了对应人脸三维形状的空间位置信息中的x，y和z的值；最终的面部空间图由基础空间图、身份空间图和表情空间图进行叠加而成；
(3)构建基于语义区域的面部纹理重建支流，用于获得具有高真实度的面部纹理图；
步骤(3)中基于语义区域的面部纹理重建支流的过程处理如下，
构建面部语义区域风格编码提取模块，对输入人脸图像进行面部语义区域的解析，得到n个面部区域的局部语义图；然后对每个局部语义图进行特征提取，得到了一组n个风格语义编码对；
然后构建以U-Net为结构的面部纹理转换网络，对于U-Net中编码器输出的特征图，使用n个风格语义编码对转换网络中表示n个面部局部语义区域的特征进行基于区域的标准化操作；利用参数解码器输出的纹理参数，输入到3DMM获得面部色彩图；将面部色彩图展开至二维平面空间，作为内容图像；输入内容图像至面部纹理转换网络，得到对应于风格语义编码的具有高真实度的面部纹理图；
(4)利用融合模块将人脸形状重建支流的输出结果面部空间图和面部纹理重建支流的输出结果面部纹理图进行融合，得到最终的三维人脸重建模型。
2.根据权利要求1所述的一种基于双支流网络的三维人脸建模方法，其特征在于：所述步骤(2)中人脸形状重建支流的结构中：形状编码器以多尺度卷积网络结构为基础，基于FaceNet人脸识别网络的主体结构，输出维度为128的隐编码特征向量，该过程如以下公式表示：
fL＝ε(I)
其中，ε(·)表示形状编码器，fL表示隐编码特征向量，其对应于输入的人脸图像I。
3.根据权利要求1所述的一种基于双支流网络的三维人脸建模方法，其特征在于：所述步骤(2)中人脸形状重建支流的结构中：具有身份空间图解码器、表情空间图解码器和一个参数解码器，两个空间图解码器具有相同的网络结构，使用“反卷积层+BN批标准化+ReLu激活操作”的八个子结构进行级联，且最后一个激活层为tanh，空间图解码器用于从隐编码特征向量中分别预测身份空间图和表情空间图，该过程如以下公式表示：
Figure FDA0003772453160000021
其中，
Figure FDA0003772453160000022
和
Figure FDA0003772453160000023
分别表示身份解码器和表情解码器，Aid和Aexp分别表示身份空间图和表情空间图，fL表示隐编码特征向量；
参数解码器以多层感知机为结构，用于从隐编码特征向量中预测一个维度为111的参数集合，该参数集合中包含纹理参数，姿态参数和光照参数，该过程如以下公式表示：
Figure FDA0003772453160000024
其中，
Figure FDA0003772453160000025
表示参数解码器，
Figure FDA0003772453160000026
表示参数集合，其中
Figure FDA0003772453160000027
分别是维度为99的纹理参数pt，维度为3的姿态参数ph和维度为9的光照参数pl。
4.根据权利要求1所述的一种基于双支流网络的三维人脸建模方法，其特征在于：所述步骤(2)中人脸形状重建支流的训练中，使用了损失函数对预测结果进行约束：
Figure FDA0003772453160000028
其中，
Figure FDA0003772453160000029
为参数损失，
Figure FDA00037724531600000210
为空间图损失，
Figure FDA00037724531600000211
为对称损失；
参数损失用来度量预测的参数集合与标定的真实参数集的差异；为了测量该差异，使用欧几里得距离计算参数集中各维度的误差：
Figure FDA00037724531600000212
其中，
Figure FDA00037724531600000213
表示预测的参数集合，
Figure FDA00037724531600000214
表示训练数据集中标定的参数集合，ωr表示对预测参数集合
Figure FDA00037724531600000215
的规则化因子；
空间图损失用来度量预测的人脸空间图与标定的人脸空间图的差异；利用平方误差损失计算人脸空间图中各空间位置的误差；空间图损失包含三个部分，分别是身份空间图损失
Figure FDA0003772453160000031
表情空间图损失
Figure FDA0003772453160000032
和面部空间图损失
Figure FDA0003772453160000033
该过程如下表示：
Figure FDA0003772453160000034
其中，A和
Figure FDA0003772453160000035
分别表示人脸形状重建支流预测的空间图和训练数据集中标定的空间图；Aid，Aexp，Af分别表示身份空间图、表情空间图和面部空间图；W表示面部区域权重图，用于在计算身份空间图的过程中，利用面部区域权重图，对面部不同区域赋予不同权重值，增强身份空间图的判别性；||·||2表示2范数；
对称损失用来度量预测的身份空间图的对称性，利用其左右对称的特点以一范式的方式进行空间误差的约束：
Figure FDA0003772453160000036
其中，
Figure FDA0003772453160000037
表示水平翻转操作；||·||1表示1范数。
5.根据权利要求1所述的一种基于双支流网络的三维人脸建模方法，其特征在于：所述步骤(3)中面部纹理重建支流的结构中：面部语义区域风格编码提取模块由预训练的人脸解析器和语义区域风格特征提取器构成，预训练的人脸解析器对输入人脸图像进行面部语义区域解析，得到n个人脸区域图，每个人脸区域图与输入人脸图像中的特定语义区域一一对应；语义区域风格特征提取器由包含了n个滤波器的分组卷积操作构成，用来分别对n个人脸区域图进行特征提取，在特征图经过全连接层的维度变换之后，得到了一组包含n个语义风格编码对
Figure FDA0003772453160000038
的向量，该过程如下表示：
Figure FDA0003772453160000039
其中，
Figure FDA00037724531600000310
表示预训练的人脸解析网络，
Figure FDA00037724531600000311
和θs分别表示语义区域风格特征提取器和其网络权值，I为输入的人脸图像。
6.根据权利要求1所述的一种基于双支流网络的三维人脸建模方法，其特征在于：所述步骤(3)中面部纹理重建支流的结构中：构建以U-Net为结构的面部纹理转换网络，编码器和解码器具有对称的结构，对应8个卷积层和8个反卷积层，编码器输出的特征图大小为n×16×16；对于该特征图，转换网络首先接受n个风格语义编码对对其进行基于区域的标准化操作；然后，将转换后的特征图送入解码器进行处理，该过程如下表示：
Figure FDA0003772453160000041
其中，X为纹理转换网络中编码器的输出特征图，
Figure FDA0003772453160000042
和
Figure FDA0003772453160000043
为对应的语义区域的均值和方差，
Figure FDA0003772453160000044
和
Figure FDA0003772453160000045
来自对应区域的风格编码对；n表示面部局部语义区域的数量；
Figure FDA0003772453160000046
为进行了风格转换之后的特征图，用来作为纹理转换网络中解码器的输入。
7.根据权利要求1所述的一种基于双支流网络的三维人脸建模方法，其特征在于：所述步骤(3)中面部纹理重建支流的结构中：构建纹理转换网络的输入图像数据，首先，将参数集中的纹理参数输入到3DMM，并将输出结果展开至二维平面空间得到面部色彩图
Figure FDA0003772453160000047
其中
Figure FDA0003772453160000048
和Bt分别指3DMM中的平均纹理部分和纹理基础部分，pt指的是参数解码器预测的纹理参数；然后，根据面部色彩图自带的区域信息进行划分得到包含了n个语义区域的面部区域图Is；将面部色彩图和面部区域图进行通道上的拼接[Iu,Is]，作为数为输入图像数据；面部纹理转换网络对输入图像数据进行处理，得到由风格语义编码对控制的具有高真实度的面部纹理图，该过程如下表示：
Figure FDA0003772453160000049
其中，
Figure FDA00037724531600000410
和θt分别表示变换网络和其网络权值，Iu表示面部色彩图，Is表示面部区域图。
8.根据权利要求1所述的一种基于双支流网络的三维人脸建模方法，其特征在于：所述步骤(3)中面部纹理重建支流中，使用了损失函数对预测结果进行约束：
Figure FDA00037724531600000411
其中，
Figure FDA00037724531600000412
为风格损失，
Figure FDA00037724531600000413
为人脸关键点损失；
风格损失用来度量生成的面部纹理图与真实的面部纹理图的风格差异；利用预训练的VGG19网络的第二层、第三层、第四层和第五层中卷积操作的特征输出来计算生成的面部纹理图与真实的面部纹理图之间的特征图的差异：
Figure FDA00037724531600000414
其中，φl(·)表示VGG19网络的第l层的激活输出，其维度为Wl×Hl×Cl；C表示所用到的第二层、第三层、第四层和第五层中卷积操作；Tf和
Figure FDA00037724531600000415
分别表示预测的面部纹理图和真实的纹面纹理图；
人脸关键点损失用来使生成的面部纹理图中的结构信息与面部色彩图中的结构信息相一致；为了度量差异，使用欧几里得距离计算人脸关键点中各坐标之间的误差：
Figure FDA0003772453160000051
其中，
Figure FDA0003772453160000052
表示一个人脸关键点检测器，用来输出68个具有二维坐标的人脸关键点。
9.根据权利要求1所述的一种基于双支流网络的三维人脸建模方法，其特征在于：所述步骤(4)的具体实现方式如下：首先根据预定义的三维顶点拓扑关系，将面部形状重建支流的输出结果人脸形状图和面部纹理重建支流的输出结果人脸纹理图按照逐个顶点的拓扑关系进行一一对应的组合，构成最终的三维人脸重建模型F＝[Af,Tf]，Af表示面部空间图，Tf表示面部纹理图；
然后利用可微分渲染层
Figure FDA0003772453160000053
将完整的三维人脸模型渲染到二维平面，重构出输入人脸图像
Figure FDA0003772453160000054
pl和ph分别表示参数解码器预测的光照参数和姿态参数；然后，计算重构人脸图像Ir与输入人脸图像I之间的像素值误差，构成自监督训练模式；在此过程中，使用了损失函数对预测结果进行约束：
Figure FDA0003772453160000055
其中，
Figure FDA0003772453160000056
为重构误差损失函数，
Figure FDA0003772453160000057
为身份相似度损失函数，
Figure FDA0003772453160000058
为对抗损失函数；
重构误差损失函数用来度量渲染重构的人脸图像Ir与输入的人脸图像I的差异；利用二范式损失计算人脸图像之间各个对应像素的误差：
Figure FDA0003772453160000059
其中，S表示图像的面积，
Figure FDA00037724531600000510
为面部可见区域的掩膜；
身份相似度损失函数用来度量渲染重构的人脸图像Ir与输入的人脸图像I之间的身份相似度，通过度量输入人脸图像的隐编码特征向量fL和渲染重构的人脸图像经过FaceNet的隐编码特征向量
Figure FDA00037724531600000511
之间的余弦分数：
Figure FDA00037724531600000512
其中，COS(·)表示余弦距离计算方式；
对抗损失函数用来使渲染重构的人脸图像Ir在真实度上与输入人脸图像I之间尽可能的接近，通过使用patchGAN的判别器对生成的Ir和原始的I进行判别：
Figure FDA00037724531600000513
其中，
Figure FDA00037724531600000514
表示patchGAN的判别器。
CN202011147653.4A 2020-10-23 2020-10-23 一种基于双支流网络的三维人脸建模方法 Active CN112288851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011147653.4A CN112288851B (zh) 2020-10-23 2020-10-23 一种基于双支流网络的三维人脸建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011147653.4A CN112288851B (zh) 2020-10-23 2020-10-23 一种基于双支流网络的三维人脸建模方法

Publications (2)

Publication Number Publication Date
CN112288851A CN112288851A (zh) 2021-01-29
CN112288851B true CN112288851B (zh) 2022-09-13

Family

ID=74423860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011147653.4A Active CN112288851B (zh) 2020-10-23 2020-10-23 一种基于双支流网络的三维人脸建模方法

Country Status (1)

Country Link
CN (1) CN112288851B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967373B (zh) * 2021-02-03 2022-07-22 重庆邮电大学 一种基于非线性3dmm的人脸图像特征编码方法
CN112818915A (zh) * 2021-02-25 2021-05-18 华南理工大学 基于3dmm软生物特征的深度伪造视频检测方法及系统
CN113538221A (zh) * 2021-07-21 2021-10-22 Oppo广东移动通信有限公司 三维人脸的处理方法、训练方法、生成方法、装置及设备
CN113470182B (zh) * 2021-09-03 2022-02-18 中科计算技术创新研究院 人脸几何特征编辑方法及深度人脸重塑编辑方法
WO2023050992A1 (zh) * 2021-09-30 2023-04-06 广州视源电子科技股份有限公司 用于人脸重建的网络训练方法、装置、设备及存储介质
CN114241102B (zh) * 2021-11-11 2024-04-19 清华大学 基于参数化模型的人脸细节重建和编辑方法
CN115457611B (zh) * 2022-10-21 2023-04-21 中国矿业大学 一种基于特征解耦网络的静脉识别方法
CN116310045B (zh) * 2023-04-24 2023-08-04 天度(厦门)科技股份有限公司 一种三维人脸纹理创建方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034974A (zh) * 2012-12-07 2013-04-10 武汉大学 基于支撑集驱动稀疏编码的人脸图像超分辨率重建方法
CN110782503A (zh) * 2019-09-16 2020-02-11 中国电子进出口有限公司 一种基于两分支深度相关网络的人脸图像合成方法和装置
CN111553284A (zh) * 2020-04-29 2020-08-18 武汉大学 人脸图像处理方法、装置、计算机设备和存储介质
CN111753782A (zh) * 2020-06-30 2020-10-09 西安深信科创信息技术有限公司 一种基于双流网络的假脸检测方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018102700A1 (en) * 2016-12-01 2018-06-07 Pinscreen, Inc. Photorealistic facial texture inference using deep neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034974A (zh) * 2012-12-07 2013-04-10 武汉大学 基于支撑集驱动稀疏编码的人脸图像超分辨率重建方法
CN110782503A (zh) * 2019-09-16 2020-02-11 中国电子进出口有限公司 一种基于两分支深度相关网络的人脸图像合成方法和装置
CN111553284A (zh) * 2020-04-29 2020-08-18 武汉大学 人脸图像处理方法、装置、计算机设备和存储介质
CN111753782A (zh) * 2020-06-30 2020-10-09 西安深信科创信息技术有限公司 一种基于双流网络的假脸检测方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
High-Fidelity Monocular Face reconstruction Based on an Unsupervised Model-Based Face Autoencoder;Ayush Tewari;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20200201;第42卷;第357-370页 *
Multimodel 2D+3D facial expression recognition with deep fusion convolutional neural network;H.Li,J.Sun,Z.Xu,and L.Chen;《IEEE Trans. Multimedia》;20171231;第19卷(第12期);第2816-2831页 *

Also Published As

Publication number Publication date
CN112288851A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN112288851B (zh) 一种基于双支流网络的三维人脸建模方法
Lu et al. 3DCTN: 3D convolution-transformer network for point cloud classification
Chen et al. I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling
CN113168710A (zh) 三维对象重建
CN111950477B (zh) 一种基于视频监督的单图像三维人脸重建方法
CN112950775A (zh) 一种基于自监督学习的三维人脸模型重建方法及系统
Jiang et al. Dual attention mobdensenet (damdnet) for robust 3d face alignment
CN113112583B (zh) 基于红外热成像的3d人体重构方法
CN114049435A (zh) 一种基于Transformer模型的三维人体重建方法及系统
CN113421328B (zh) 一种三维人体虚拟化重建方法及装置
Kang et al. Competitive learning of facial fitting and synthesis using uv energy
CN112818860B (zh) 基于端到端多任务多尺度神经网络的实时三维人脸重建方法
Guo et al. 3d face from x: Learning face shape from diverse sources
CN111462274A (zh) 一种基于smpl模型的人体图像合成方法及系统
CN115457197A (zh) 基于素描草图的人脸三维重建模型训练方法、重建方法及装置
CN117315169A (zh) 基于深度学习多视密集匹配的实景三维模型重建方法和系统
Wang et al. Paccdu: pyramid attention cross-convolutional dual unet for infrared and visible image fusion
CN113538662B (zh) 一种基于rgb数据的单视角三维物体重建方法及装置
CN114283265A (zh) 一种基于3d旋转建模的无监督人脸转正方法
CN114972619A (zh) 一种基于自对齐双重回归的单图像人脸三维重建方法
Yu et al. Pvnn: A neural network library for photometric vision
Correia et al. 3D reconstruction of human bodies from single-view and multi-view images: A systematic review
CN113468923B (zh) 基于细粒度多模态共同表征的人-物体交互行为检测方法
Yang et al. Underwater image restoration for seafloor targets with hybrid attention mechanisms and conditional generative adversarial network
Xie et al. Design of painting art style rendering system based on convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant