CN105374063B - 基于半监督局部小块排列的人脸动画生成方法 - Google Patents
基于半监督局部小块排列的人脸动画生成方法 Download PDFInfo
- Publication number
- CN105374063B CN105374063B CN201510653862.9A CN201510653862A CN105374063B CN 105374063 B CN105374063 B CN 105374063B CN 201510653862 A CN201510653862 A CN 201510653862A CN 105374063 B CN105374063 B CN 105374063B
- Authority
- CN
- China
- Prior art keywords
- fritter
- local
- vertex
- face
- manifold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于半监督局部小块排列的人脸动画生成方法。本发明将人脸模型看成一个满足流形约束的三维数据顶点集,并假设待驱动的人脸小块的流形坐标和驱动后的人脸小块间相差一个局部线性变换。首先根据待驱动人脸模型的拓扑结构为每个顶点选择合适的邻域,进而构造该顶点相关的小块;然后把待驱动人脸的小块投影到流形子空间中,得到小块的流形坐标;最后利用一系列局部线性变换,根据待驱动的人脸小块的局部坐标求解驱动后的人脸小块,在此过程中利用一组已有的运动数据作为待驱动人脸相应顶点的标注数据来约束求解过程,使得待求的人脸小块能以半监督的方式求解。本方法提高了人脸驱动的准确性,改善了人脸驱动结果的视觉效果。
Description
技术领域
本发明涉及计算机人脸动画和视觉领域,尤其涉及半监督局部小块排列的人脸动画的生成方法。
背景技术
半监督局部小块排列的人脸动画生成方法是把人脸模型看成一个满足流形约束的三维数据顶点集,并假设待驱动的人脸小块的流形坐标和驱动后的人脸小块间相差一个局部线性变换。
使用数据驱动人脸动画有很多方法,例如融合形变的方法,表情编码技术等。融合形变方法是根据给定的运动数据将多个形变的目标人脸进行线性合并从而产生目标人脸。这种方法对所选择的关键形变有很大的依赖性,而且会耗费很大的人力,而且不能很好的保存人脸表情的细节问题。表情编码技术允许通过预定的参数创建面部表情,最受欢迎的表情编码技术有面部行为编码系统(FACS)和MPEG-4面部动画方法。表情编码方法只能处理明显的面部动画的改变,而忽略一些细微的改变。对于一些高分辨率的复杂的模型,运动数据和适当的参数很难对应起来。
人脸动画生成最适当的方法是使用运动数据直接驱动人脸模型,不仅可以记录全局的运动,而且可以记录面部的局部形变,同时也不需要繁琐的手动操作。Pighin等通过离散数据的插入,利用一组已知的面部特征值对人脸模型进行形变,从而产生较好的人脸动画,然而数据的插入依赖于特征值和人脸模型上的其他向量的欧氏距离矩阵,可能会产生不自然的人脸动画。拉普拉斯(Laplacian)方法是通过半监督方法将原始脸转换成目标脸,将一组已知的运动数据作为标签,约束条件是二者在每一点处都具有相似的拓扑结构。
基于半监督局部小块排列的人脸动画生成方法提高了人脸驱动的准确性,改善了人脸驱动结果的视觉效果,为影视制作与人机交互领域提供了新的技术与方法。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于半监督局部小块排列的人脸动画生成方法。本发明解决其技术问题所采用的技术方案包括以下步骤:
步骤1、给定待驱动的三维人脸模型,根据三维人脸模型的拓扑结构为模型中的每个顶点选择邻域,并根据邻域为每个顶点构造相应的局部小块;
步骤2、利用现有流形学习方法,把局部小块投影到流形子空间,得到各个局部小块在流形子空间中的流形坐标;
步骤3、为每个局部小块的流形坐标计算一个局部的线性变换,并将所有局部线性变换整合成一个排列矩阵,利用排列矩阵对待驱动的三维人脸模型的局部小块的流形坐标进行变换,使三维人脸模型的流形坐标转换为全局坐标;
步骤4、选择一组运动数据作为待驱动三维人脸模型的部分顶点的标注数据,构造人脸驱动的形状约束条件;
步骤5、将步骤4中的形状约束条件和步骤3中的局部小块计算线性变化的过程相结合,并通过求解最小二乘问题得到驱动后的人脸。
步骤1所述的根据待驱动的三维人脸模型,根据三维人脸模型的拓扑结构为模型中的每个顶点选择邻域,该邻域为三维人脸模型上所有边与当前顶点相连的顶点集合,同时每个顶点相应的局部小块包括该顶点本身以及该顶点的邻域。根据模型拓扑结构构造的局部小块能够有效捕捉模型的局部集合特征。
步骤2所述的流形学习方法为局部线性嵌入方法(LLE)或局部切空间排列方法(LTSA),具体的局部线性嵌入方法(LLE)如下:
设为当前顶点,为的邻域顶点集,设和分别是和的流形坐标。当采用LLE时,LLE假设当前顶点可由它的邻域顶点线性重构得到,重构系数能够通过求解如下目标函数获得:
(公式1)
其中是线性重构系数;指代邻域顶点的权重;ki表示当前顶点领域中顶点的个数,符号||□||2表示向量的二范数,即向量所有元素平方和的平方根。在
约束下,重构系数表示为:其中
LLE认为可通过优化如下目标函数,从而用同样的重构系数来求解
(公式2)
其中
局部切空间排列方法(LTSA)如下:
用局部切空间来估计局部小块流形坐标的近似值。每个局部小块的目标函数为:
(公式3)
其中是单位阵,Qi是构成局部
切空间的正交基,是局部小块中的顶点在这组正交基下的局部坐标。的作用是将局部小块中的所有顶点减去这些顶点的均值,相当于以均值为中心将小块
坐标中心化。是矩阵的左奇异向量。因此,最优的Θi可表示为
LTSA假设在Qi和之间存在一个仿射变换,故有其中Ai是仿射变换矩
阵,Ei是误差。
LTSA通过求解如下优化问题来计算 由于Ai可表示为上式可改写为:假设Ui是与的d个最大的奇异值对应的右奇异向量,原优化问题可表示为:
(公式4)
其中线性变化
步骤3是将每个局部小块的流形坐标对应的局部线性变换表示为Ri和ci,局部小块流形坐标转换为全局坐标通过如下优化问题来求解:
(公式5)
其中Φi是零空间为的正交投影,且Φi≈Li,是局部小块转换后的全局坐标,符号表示矩阵的F范数,即矩阵所有元素平方和的平方根。
。因此优化问题的目标函数表示为:其中
是排列矩阵,n是模型上顶点的总数。L可通过迭代公式L(bi)=L(bi)+Li,(i=1,...,n)来计
算,其中迭代前L的初始值设为0,bi是第i个顶点处的局部小块所包含的顶点在整个人脸模
型中的序号构成的集合。所以利用排列矩阵对待驱动模型的局部小块的流形坐标进行变
换,小块流形坐标转换为全局坐标的过程表示为如下优化问题:
步骤4是将在待驱动人脸上随机选择部分顶点作为有标注的数据,根据这些顶点的位置在演员面部标记特征点,利用运动捕捉设备跟踪演员面部产生运动时这些特征点的运动轨迹,把每一帧中特征点的位置作为一组运动数据,把运动数据看作标注数据,构造人脸驱动的形状约束条件。设Xl为标注数据,是待求的驱动后的人脸上的相应顶点,形状约束可表示为
(公式6),
其中符号表示矩阵的范数,即矩阵所有元素平方和的平方根。
步骤5用形状约束对局部小块流形坐标转换为全局坐标的过程进行正则化,对应优化问题如下:
(公式7)
其中β是正则化因子。
优化问题通过如下方法求解:对Xt中顶点的位置进行调整,使得有标注数据的待求顶点排在前面,而无标注数据的顶点排在后面,得到因此优化问题改写为:
(公式8)
易知上述问题实际上是一个最小二乘问题,具体如下:
(公式9)
其闭式解为
本发明具有的有益的效果如下:
通过学习半监督局部小块排列的框架和流形方法以及局部小块的流形坐标对应的局部线性变换,指导人脸动画的生成过程,不仅提高了人脸驱动的准确性,而且改善了人脸驱动结果的视觉效果,为影视制作与人机交互领域提供了新的技术与方法。
附图说明
图1是本发明流程图;
图2是半监督局部小块排列的框架示意图;
具体实施方式
下面结合附图对本发明坐进一步说明。
如图1所示,基于半监督局部小块排列的人脸动画生成方法,具体包括如下步骤:
步骤1、给定待驱动的三维人脸模型,根据三维人脸模型的拓扑结构为模型中的每个顶点选择邻域,并根据邻域为每个顶点构造相应的局部小块;
步骤2、利用现有流形学习方法,把局部小块投影到流形子空间,得到各个局部小块在流形子空间中的流形坐标;
步骤3、为每个局部小块的流形坐标计算一个局部的线性变换,并将所有局部线性变换整合成一个排列矩阵,利用排列矩阵对待驱动的三维人脸模型的局部小块的流形坐标进行变换,使三维人脸模型的流形坐标转换为全局坐标;
步骤4、选择一组运动数据作为待驱动三维人脸模型的部分顶点的标注数据,构造人脸驱动的形状约束条件;
步骤5、将步骤4中的形状约束条件和步骤3中的局部小块计算线性变化的过程相结合,并通过求解最小二乘问题得到驱动后的人脸。
步骤1所述的根据待驱动的三维人脸模型,根据三维人脸模型的拓扑结构为模型中的每个顶点选择邻域,该邻域为三维人脸模型上所有边与当前顶点相连的顶点集合,同时每个顶点相应的局部小块包括该顶点本身以及该顶点的邻域。根据模型拓扑结构构造的局部小块能够有效捕捉模型的局部集合特征。
如图2所示,步骤2所述的流形学习方法为局部线性嵌入方法(LLE)或局部切空间排列方法(LTSA),具体的局部线性嵌入方法(LLE)如下:
设为当前顶点,为的邻域顶点集,设和分别是和的流形坐标。当采用LLE时,LLE假设当前顶点可由它的邻域顶点线性重构得到,重构系数能够通过求解如下目标函数获得:
(公式1)
其中是线性重构系数;指代邻域顶点的权重;ki表示当前
顶点领域中顶点的个数,符号表示向量的二范数,即向量所有元素平方和的平方根。在
约束下,重构系数表示为:其中
LLE认为可通过优化如下目标函数,从而用同样的重构系数来求解
(公式2)
其中
局部切空间排列方法(LTSA)如下:
用局部切空间来估计局部小块流形坐标的近似值。每个局部小块的目标函数为:
(公式3)
其中是单位阵,Qi是构成局部
切空间的正交基,是局部小块中的顶点在这组正交基下的局部坐标。的作用是将局部小块中的所有顶点减去这些顶点的均值,相当于以均值为中心将小
块坐标中心化。是矩阵的左奇异向量。因此,最优的Θi可表示为
LTSA假设在Qi和之间存在一个仿射变换,故有其中Ai是仿射变换矩
阵,Ei是误差。
LTSA通过求解如下优化问题来计算由于Ai可表示
为上式可改写为:假设Ui是与
的d个最大的奇异值对应的右奇异向量,原优化问题可表示为:
(公式4)
其中线性变化
步骤3是将每个局部小块的流形坐标对应的局部线性变换表示为Ri和ci,局部小块流形坐标转换为全局坐标通过如下优化问题来求解:
(公式5)
其中Φi是零空间为的正交投影,且Φi≈Li,是局部小块转换后的全局坐标,符号表示矩阵的F范数,即矩阵所有元素平方和的平方根。
。因此优化问题的目标函数表示为:其中
是排列矩阵,n是模型上顶点的总数。L可通过迭代公式L(bi)=L(bi)+Li,(i=1,...,n)来计
算,其中迭代前L的初始值设为0,bi是第i个顶点处的局部小块所包含的顶点在整个人脸模
型中的序号构成的集合。所以利用排列矩阵对待驱动模型的局部小块的流形坐标进行变
换,小块流形坐标转换为全局坐标的过程表示为如下优化问题:
步骤4是将在待驱动人脸上随机选择部分顶点作为有标注的数据,根据这些顶点的位置在演员面部标记特征点,利用运动捕捉设备跟踪演员面部产生运动时这些特征点的运动轨迹,把每一帧中特征点的位置作为一组运动数据,把运动数据看作标注数据,构造人脸驱动的形状约束条件。设Xl为标注数据,是待求的驱动后的人脸上的相应顶点,形状约束可表示为
(公式6),
其中符号表示矩阵的范数,即矩阵所有元素平方和的平方根。
步骤5用形状约束对局部小块流形坐标转换为全局坐标的过程进行正则化,对应优化问题如下:
(公式7)
其中β是正则化因子。
优化问题通过如下方法求解:对Xt中顶点的位置进行调整,使得有标注数据的待求顶点排在前面,而无标注数据的顶点排在后面,得到因此优化问题改写为:
(公式8)
易知上述问题实际上是一个最小二乘问题,具体如下:
(公式9)
其闭式解为
Claims (7)
1.基于半监督局部小块排列的人脸动画生成方法,其特征在于包括以下步骤:
步骤1、给定待驱动的三维人脸模型,根据三维人脸模型的拓扑结构为模型中的每个顶点选择邻域,并根据邻域为每个顶点构造相应的局部小块;
步骤2、利用现有流形学习方法,把局部小块投影到流形子空间,得到各个局部小块在流形子空间中的流形坐标;
步骤3、为每个局部小块的流形坐标计算一个局部的线性变换,并将所有局部线性变换整合成一个排列矩阵,利用排列矩阵对待驱动的三维人脸模型的局部小块的流形坐标进行变换,使三维人脸模型的流形坐标转换为全局坐标;
步骤4、选择一组运动数据作为待驱动三维人脸模型的部分顶点的标注数据,构造人脸驱动的形状约束条件;
步骤5、将步骤4中的形状约束条件和步骤3中的局部小块计算线性变化的过程相结合,并通过求解最小二乘问题得到驱动后的人脸。
2.如权利要求1所述的基于半监督局部小块排列的人脸动画生成方法,其特征在于步骤1所述的根据待驱动的三维人脸模型,根据三维人脸模型的拓扑结构为模型中的每个顶点选择邻域,该邻域为三维人脸模型上所有边与当前顶点相连的顶点集合,同时每个顶点相应的局部小块包括该顶点本身以及该顶点的邻域;根据模型拓扑结构构造的局部小块能够有效捕捉模型的局部集合特征。
3.如权利要求1所述的基于半监督局部小块排列的人脸动画生成方法,其特征在于步骤2所述的流形学习方法为局部线性嵌入方法或局部切空间排列方法,具体的局部线性嵌入方法LLE如下:
设为当前顶点,为的邻域顶点集,设和分别是和的流形坐标;当采用LLE时,LLE假设当前顶点可由它的邻域顶点线性重构得到,重构系数能够通过求解如下目标函数获得:
其中是线性重构系数;指代邻域顶点的权重;ki表示当前顶点领域中顶点的个数,符号||·||2表示向量的二范数,即向量所有元素平方和的平方根;在约束下,重构系数表示为:其中LLE认为可通过优化如下目标函数,从而用同样的重构系数来求解
其中
4.如权利要求3所述的基于半监督局部小块排列的人脸动画生成方法,其特征在于局部切空间排列方法如下:
用局部切空间来估计局部小块流形坐标的近似值;每个局部小块的目标函数为:
其中 是单位阵,Qi是构成局部切空间的正交基,是局部小块中的顶点在这组正交基下的局部坐标;的作用是将局部小块中的所有顶点减去这些顶点的均值,相当于以均值为中心将小块坐标中心化;是矩阵的左奇异向量;因此,最优的Θi可表示为局部切空间排列方法的实现:假设在Qi和之间存在一个仿射变换,故有其中Ai是仿射变换矩阵,Ei是误差;
局部切空间排列方法通过求解如下优化问题来计算 由于Ai可表示为上式可改写为:假设Ui是与的d个最大的奇异值对应的右奇异向量,原优化问题可表示为:
其中线性变化
5.如权利要求1所述的基于半监督局部小块排列的人脸动画生成方法,其特征在于步骤3是将每个局部小块的流形坐标对应的局部线性变换表示为Ri和ci,局部小块流形坐标转换为全局坐标通过如下优化问题来求解:
其中Φi是零空间为的正交投影,且Φi≈Li,是局部小块转换后的全局坐标,符号表示矩阵的F范数,即矩阵所有元素平方和的平方根;因此优化问题的目标函数表示为:其中(S没有解释)是排列矩阵,n是模型上顶点的总数;L可通过迭代公式L(bi)=L(bi)+Li,(i=1,...,n)来计算,其中迭代前L的初始值设为0,bi是第i个顶点处的局部小块所包含的顶点在整个人脸模型中的序号构成的集合;所以利用排列矩阵对待驱动模型的局部小块的流形坐标进行变换,小块流形坐标转换为全局坐标的过程表示为如下优化问题:
6.如权利要求1所述的基于半监督局部小块排列的人脸动画生成方法,其特征在于步骤4是将在待驱动人脸上随机选择部分顶点作为有标注的数据,根据这些顶点的位置在演员面部标记特征点,利用运动捕捉设备跟踪演员面部产生运动时这些特征点的运动轨迹,把每一帧中特征点的位置作为一组运动数据,把运动数据看作标注数据,构造人脸驱动的形状约束条件;设Xl为标注数据,Xl t是待求的驱动后的人脸上的相应顶点,形状约束可表示为
其中符号表示矩阵的范数,即矩阵所有元素平方和的平方根。
7.如权利要求1所述的基于半监督局部小块排列的人脸动画生成方法,其特征在于步骤5用形状约束对局部小块流形坐标转换为全局坐标的过程进行正则化,对应优化问题如下:
其中β是正则化因子,符号表示矩阵的F范数;
优化问题通过如下方法求解:对Xt中顶点的位置进行调整,使得有标注数据的待求顶点排在前面,而无标注数据的顶点排在后面,得到因此优化问题改写为:
易知上述问题实际上是一个最小二乘问题,具体如下:
其闭式解为
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510653862.9A CN105374063B (zh) | 2015-10-10 | 2015-10-10 | 基于半监督局部小块排列的人脸动画生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510653862.9A CN105374063B (zh) | 2015-10-10 | 2015-10-10 | 基于半监督局部小块排列的人脸动画生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105374063A CN105374063A (zh) | 2016-03-02 |
CN105374063B true CN105374063B (zh) | 2018-11-02 |
Family
ID=55376233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510653862.9A Active CN105374063B (zh) | 2015-10-10 | 2015-10-10 | 基于半监督局部小块排列的人脸动画生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105374063B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111275778B (zh) * | 2020-01-08 | 2023-11-21 | 杭州未名信科科技有限公司 | 人脸简笔画生成方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101930537A (zh) * | 2010-08-18 | 2010-12-29 | 北京交通大学 | 基于弯曲不变量相关特征的三维人脸识别方法及系统 |
CN101976453A (zh) * | 2010-09-26 | 2011-02-16 | 浙江大学 | 一种基于gpu的三维人脸表情合成方法 |
CN103413351A (zh) * | 2013-07-26 | 2013-11-27 | 南京航空航天大学 | 基于压缩感知理论的三维人脸快速重建方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101528757B1 (ko) * | 2013-10-15 | 2015-06-16 | 한국과학기술연구원 | 이분된 로컬 영역을 가지는 윤곽선 분할 기반 특징을 이용한 물체 인식 방법 |
-
2015
- 2015-10-10 CN CN201510653862.9A patent/CN105374063B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101930537A (zh) * | 2010-08-18 | 2010-12-29 | 北京交通大学 | 基于弯曲不变量相关特征的三维人脸识别方法及系统 |
CN101976453A (zh) * | 2010-09-26 | 2011-02-16 | 浙江大学 | 一种基于gpu的三维人脸表情合成方法 |
CN103413351A (zh) * | 2013-07-26 | 2013-11-27 | 南京航空航天大学 | 基于压缩感知理论的三维人脸快速重建方法 |
Non-Patent Citations (2)
Title |
---|
一种三维人脸表情动画快速生成方法;余淼;《江苏广播电视大学学报》;20080531;41-44 * |
基于单张图像的三维人脸建模与表情动画;丁彬 等;《计算机工程与设计》;20120731;第33卷(第7期);2744-2863 * |
Also Published As
Publication number | Publication date |
---|---|
CN105374063A (zh) | 2016-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9609307B1 (en) | Method of converting 2D video to 3D video using machine learning | |
CN103606186B (zh) | 一种图像与视频的虚拟发型建模方法 | |
CN111161364B (zh) | 一种针对单视角深度图的实时形状补全和姿态估计方法 | |
CN108876814B (zh) | 一种生成姿态流图像的方法 | |
WO2024032464A1 (zh) | 三维人脸重建方法及其装置、设备、介质、产品 | |
CN101303772A (zh) | 一种基于单幅图像的非线性三维人脸建模方法 | |
CN110399809A (zh) | 多特征融合的人脸关键点检测方法及装置 | |
CN112164130B (zh) | 基于深度对抗网络的视频-动画风格迁移方法 | |
CN104008564A (zh) | 一种人脸表情克隆方法 | |
CN105096311A (zh) | 基于gpu的深度图修复和虚实场景结合技术 | |
CN110827295A (zh) | 基于体素模型与颜色信息耦合的三维语义分割方法 | |
CN104915978A (zh) | 基于体感相机Kinect的真实感动画生成方法 | |
CN110443883A (zh) | 一种基于dropblock的单张彩色图片平面三维重建方法 | |
CN106373182A (zh) | 一种增强现实人脸互动娱乐方法 | |
CN104778736A (zh) | 单视频内容驱动的服装三维动画生成方法 | |
CN105184789A (zh) | 一种基于点云约减的相机定位系统及方法 | |
CN111259950A (zh) | 一种基于3d模型训练yolo神经网络的方法 | |
CN102270345A (zh) | 基于第二代条带波变换图像特征表示和人体运动跟踪方法 | |
CN117218246A (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
CN105374063B (zh) | 基于半监督局部小块排列的人脸动画生成方法 | |
WO2024169276A9 (zh) | 轨迹信息处理方法、装置、计算机设备和可读存储介质 | |
CN103208130B (zh) | 大规模群体表演动画合成方法及设备 | |
CN104917532A (zh) | 人脸模型压缩方法 | |
CN102724530B (zh) | 基于反馈控制的平面视频立体化方法 | |
CN113920270B (zh) | 一种基于多视角全景的布局重建方法及其系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |