CN114493994B - 一种用于三维场景的古画风格迁移方法 - Google Patents
一种用于三维场景的古画风格迁移方法 Download PDFInfo
- Publication number
- CN114493994B CN114493994B CN202210036936.4A CN202210036936A CN114493994B CN 114493994 B CN114493994 B CN 114493994B CN 202210036936 A CN202210036936 A CN 202210036936A CN 114493994 B CN114493994 B CN 114493994B
- Authority
- CN
- China
- Prior art keywords
- content
- picture
- style
- ancient
- dimensional scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010422 painting Methods 0.000 title claims abstract description 51
- 238000013508 migration Methods 0.000 title claims abstract description 39
- 230000005012 migration Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000003062 neural network model Methods 0.000 claims abstract description 37
- 238000005516 engineering process Methods 0.000 claims abstract description 5
- 239000000463 material Substances 0.000 claims abstract description 5
- 238000003709 image segmentation Methods 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims abstract description 4
- 230000000007 visual effect Effects 0.000 claims abstract description 4
- 238000013507 mapping Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims 1
- 230000001537 neural effect Effects 0.000 claims 1
- 238000012800 visualization Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 25
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种用于三维场景的古画风格迁移方法，使用古画图片和内容图片训练VGG‑19神经网络模型，再将古画图片和内容图片输入训练好的VGG‑19神经网络模型中，输出生成图像，使用OpenCV图像分割算法grabCut对生成的图像中待风格迁移的三维场景模型的内容进行语义分割，通过Shader着色器技术生成UV古画中的色彩纹理，并通过Shader计算待风格迁移的三维场景模型的顶点纹理，定义三维场景模型各位置的材质属性信息，在Unity3D中将古画中的色彩纹理进行可视化迁移。本发明古画风格迁移方法解决了现有文化遗产三维场景风格过于现代的问题，为文化遗产三维场景古风快速可视化提供了解决思路。
Description
技术领域
本发明属于图像风格迁移技术领域，具体地说，涉及一种用于三维场景的古画风格迁移方法。
背景技术
现有的3D建模技术越来越成熟，文化遗产的三维场景模拟不仅可以再现目标建筑物的真实外观，还可以可视化目标文化遗产建筑所在的地形、地貌和其他自然地理环境要素。然而现有的场景构建方法缺乏历史文化特征的可视化，导致构建的文化遗产三维场景在建筑风格上过于现代，无法向用户展示其历史状况。除了这些文化遗产建筑之外，同一时期还诞生了许多著名的画作，他们表达了文化遗产建筑在其历史时期的自然景观、建筑特征和民俗，具有重要的历史文化价值。
因此，通过学习和借鉴古代名画的历史文化特征要素，将其历史文化风格迁移到三维虚拟场景中，以期提升其历史文化内涵。所谓的风格迁移，即将某一张图像的笔触、颜色等风格迁移至另外一张图像上，实现某一类风格图的生成。目前风格迁移在二维图像中的应用较为广泛，而在三维场景及其模型中的研究和应用较少。
发明内容
针对现有技术中存在的问题，本发明提供了一种用于三维场景的古画风格迁移方法，对三维场景及其模型的风格迁移进行探索试验，能够在三维场景中拓展、增加风格迁移。
为实现上述技术目的，本发明所采用的技术方案是：一种用于三维场景的古画风格迁移方法，包括如下步骤：
(1)收集古画图片和内容图片，分别构成古画图片集和内容图片集，所述内容图片为多视角三维场景图；
(2)分别将步骤(1)收集的古画图片和内容图片输入VGG-19神经网络模型中进行处理，得到对应的风格特征和内容特征；
(3)使用VGG-19神经网络模型的滤波器函数对步骤(2)得到的风格特征和内容特征进行编码，得到风格特征与内容特征的特征映射，并且通过VGG-19神经网络模型的自适应规范层对得到的特征映射进行归一化处理，获取噪声图片特征图；
(4)将步骤(3)获取的噪声图片特征图与步骤(1)中收集的古画图片进行对比分析，构建风格损失函数Lstyle；将步骤(3)获取的噪声图片特征图与步骤(1)中收集的内容图片进行对比分析，构建内容损失函数Lcontent，以风格损失函数Lstyle和内容损失函数Lcontent构建总损失函数Ltotal＝αLcontent+βLstyle，其中，α表示内容损失函数的权重参数，β表示风格损失函数的权重参数；
(5)重复步骤(2)-(4)，直至总损失函数收敛，完成对VGG-19神经网络模型的训练；
(6)再次将古画图片和内容图片输入训练好的VGG-19神经网络模型中，通过VGG-19神经网络模型的解码器输出生成图像，所述生成图像包含对应于待风格迁移的三维场景模型的内容；
(7)使用OpenCV图像分割算法grabCut对生成的图像中待风格迁移的三维场景模型的内容进行语义分割，通过Shader着色器技术生成UV古画中的色彩纹理，并通过Shader计算待风格迁移的三维场景模型的顶点纹理，定义三维场景模型各位置的材质属性信息，在Unity3D中将古画中的色彩纹理进行可视化迁移。
进一步地，步骤(2)的具体过程为：在VGG-19神经网络模型的原始CNN表征之上，新建一个特征空间，使用建立的特征空间去捕获输入的古画图片的风格特征；提取古画图片的图像特征与内容，再使用VGG-19神经网络模型中的深层网络获取内容图片的高层特征，提取出内容特征。
进一步地，步骤(3)包括如下子步骤：
(3.1)在VGG-19神经网络模型的19层卷积网络中均使用滤波器函数对得到的风格特征和内容特征进行编码，分别得到风格特征映射与内容特征映射；
(3.2)通过VGG-19神经网络模型的自适应规范层对得到的特征映射进行归一化处理，将古画图片的方差和均值分别替代偏移量和缩放系数，使得内容图片特征的均值和方差与古画图片特征保持一致，产生特征映射获取噪声图片特征图；
其中，x表示内容图片，y表示古画图片，μ(x)表示内容图片的均值，σ(x)表示内容图片的方差，μ(y)表示古画图片的均值，σ(y)表示古画图片的方差。
进一步地，步骤(4)中构建的风格损失函数Lstyle为：
其中，l表示VGG-19神经网络模型中的第l卷积网络，wl表示第l层卷积网络的权重，El表示第l层卷积网络的风格损失。
进一步地，所述第l层卷积网络的风格损失El为：
其中，表示第l卷积网络第i个卷积第j个位置的噪音图像特征的Gram矩阵，/>表示第l卷积网络第i个卷积第j个位置的古画图片特征的Gram矩阵，Ml表示第l卷积网络中Gram矩阵的长与宽的积，Nl表示特征矩阵的信道数。
进一步地，步骤(4)中构建的内容损失函数Lcontent为：
其中，表示噪声图片在第l层第i个卷积的第j个位置的特征，/>表示内容图片在第l层第i个卷积的第j个位置的特征。
与现有技术相比，本发明的有益效果是：
(1)本发明用于三维场景的古画风格迁移方法是基于VGG-19卷积神经网络模型对古画图片和内容图片进行训练生成，在此基础上提取古画中的色彩纹理，在最大程度上保留原图内容的同时，初步的实现了三维场景古画风格迁移的可视化；
(2)本发明用于三维场景的古画风格迁移方法能够填补风格迁移算法在三维场景及其模型中的应用空白，为风格迁移算法三维场景的应用提供一个很好的示范案例；
(3)本发明用于三维场景的古画风格迁移方法，结合了文学、美学、计算机科学等多学科领域方法，生成不同历史时期的历史文化风格图片，在节约了大量人力物力的前提下，快速实现文化遗产三维场景的历史文化特征迁移可视化，能够较为真实的展现文化遗产的历史文化状况，以较为新颖的方法实现对历史文化遗产的保护。
附图说明
图1是本发明用于三维场景的古画风格迁移方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
如图1为本发明用于三维场景的古画风格迁移方法的流程图，该古画风格迁移方法具体包括如下步骤：
(1)收集古画图片和内容图片，分别构成古画图片集和内容图片集，所述内容图片为多视角三维场景图；具体地，根据文化遗产建筑对应的历史年代确定用于风格迁移的古画图片；明确构图要素，生成文化遗产三维场景构图，将生成的图片作为风格迁移的内容图片。
(2)分别将步骤(1)收集的古画图片和内容图片输入VGG-19神经网络模型中进行处理，得到对应的风格特征和内容特征；具体地，在VGG-19神经网络模型的原始CNN表征之上，新建一个特征空间，使用建立的特征空间去捕获输入的古画图片的风格特征；提取古画图片的图像特征与内容，再使用VGG-19神经网络模型中的深层网络获取内容图片的高层特征，提取出内容特征。
(3)使用VGG-19神经网络模型的滤波器函数对步骤(2)得到的风格特征和内容特征进行编码，得到风格特征与内容特征的特征映射，并且通过VGG-19神经网络模型的自适应规范层对得到的特征映射进行归一化处理，获取噪声图片特征图，从而实现任意风格图片的风格传递；具体地，步骤(3)包括如下子步骤：
(3.1)在VGG-19神经网络模型的19层卷积网络中均使用滤波器函数对得到的风格特征和内容特征进行编码，分别得到风格特征映射与内容特征映射；
(3.2)通过VGG-19神经网络模型的自适应规范层对得到的特征映射进行归一化处理，将古画图片的方差和均值分别替代偏移量和缩放系数，使得内容图片特征的均值和方差与古画图片特征保持一致，产生特征映射获取噪声图片特征图；
其中，x表示内容图片，y表示古画图片，μ(x)表示内容图片的均值，σ(x)表示内容图片的方差，μ(y)表示古画图片的均值，σ(y)表示古画图片的方差。
(4)将步骤(3)获取的噪声图片特征图与步骤(1)中收集的古画图片进行对比分析，构建风格损失函数Lstyle；将步骤(3)获取的噪声图片特征图与步骤(1)中收集的内容图片进行对比分析，构建内容损失函数Lcontent，以风格损失函数Lstyle和内容损失函数Lcontent构建总损失函数Ltotal＝αLcontent+βLstyle，其中，α表示内容损失函数的权重参数，β表示风格损失函数的权重参数；通过调节生成图像中风格和内容的权重占比，实现对风格迁移效果的简单优化。
本发明中构建的风格损失函数Lstyle为：
其中，l表示VGG-19神经网络模型中的第l卷积网络，wl表示第l层卷积网络的权重，El表示第l层卷积网络的风格损失，El为：
其中，表示第l卷积网络第i个卷积第j个位置的噪音图像特征的Gram矩阵，/>表示第l卷积网络第i个卷积第j个位置的古画图片特征的Gram矩阵，Ml表示第l卷积网络中Gram矩阵的长与宽的积，Nl表示特征矩阵的信道数。
本发明中构建的内容损失函数Lcontent为：
其中，表示噪声图片在第l层第i个卷积的第j个位置的特征，/>表示内容图片在第l层第i个卷积的第j个位置的特征。
(5)重复步骤(2)-(4)，直至总损失函数收敛，完成对VGG-19神经网络模型的训练，在VGG-19神经网络模型中，解码器部分的网络结构与编码器是对称的，此处使用VGG-19神经网络模型来训练解码器，通过设置初始随机参数，使用ReLu作为激活函数，使得VGG-19神经网络模型在梯度下降方法的支撑下，不断进行更新，直至网络逐渐收敛。
(6)再次将古画图片和内容图片输入训练好的VGG-19神经网络模型中，通过VGG-19神经网络模型的解码器输出生成图像，生成图像包含对应于待风格迁移的三维场景模型的内容。
(7)使用OpenCV图像分割算法grabCut对生成的图像中待风格迁移的三维场景模型的内容进行语义分割，通过Shader着色器技术生成UV古画中的色彩纹理，并通过Shader计算待风格迁移的三维场景模型的顶点纹理，定义三维场景模型各位置的材质属性信息，例如粗糙度、反射性等，在Unity3D中将古画中的色彩纹理进行可视化迁移。
将本发明用于三维场景的古画风格迁移方法用于代表性历史价值的古画进行风格迁移，初步的实现了古画风格特征提取至三维场景的映射，改善了现有文化遗产场景过于现代感的状况，使得迁移后的文化遗产三维场景具有一定的艺术性和历史价值。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (6)
1.一种用于三维场景的古画风格迁移方法，其特征在于，包括如下步骤：
(1)收集古画图片和内容图片，分别构成古画图片集和内容图片集，所述内容图片为多视角三维场景图；
(2)分别将步骤(1)收集的古画图片和内容图片输入VGG-19神经网络模型中进行处理，得到对应的风格特征和内容特征；
(3)使用VGG-19神经网络模型的滤波器函数对步骤(2)得到的风格特征和内容特征进行编码，得到风格特征与内容特征的特征映射，并且通过VGG-19神经网络模型的自适应规范层对得到的特征映射进行归一化处理，获取噪声图片特征图；
(4)将步骤(3)获取的噪声图片特征图与步骤(1)中收集的古画图片进行对比分析，构建风格损失函数Lstyle；将步骤(3)获取的噪声图片特征图与步骤(1)中收集的内容图片进行对比分析，构建内容损失函数Lcontent，以风格损失函数Lstyle和内容损失函数Lcontent构建总损失函数Ltotal＝αLcontent+βLstyle，其中，α表示内容损失函数的权重参数，β表示风格损失函数的权重参数；
(5)重复步骤(2)-(4)，直至总损失函数收敛，完成对VGG-19神经网络模型的训练；
(6)再次将古画图片和内容图片输入训练好的VGG-19神经网络模型中，通过VGG-19神经网络模型的解码器输出生成图像，所述生成图像包含对应于待风格迁移的三维场景模型的内容；
(7)使用OpenCV图像分割算法grabCut对生成的图像中待风格迁移的三维场景模型的内容进行语义分割，通过Shader着色器技术生成UV古画中的色彩纹理，并通过Shader计算待风格迁移的三维场景模型的顶点纹理，定义三维场景模型各位置的材质属性信息，在Unity3D中将古画中的色彩纹理进行可视化迁移。
2.根据权利要求1所述用于三维场景的古画风格迁移方法，其特征在于，步骤(2)的具体过程为：在VGG-19神经网络模型的原始CNN表征之上，新建一个特征空间，使用建立的特征空间去捕获输入的古画图片的风格特征；提取古画图片的图像特征与内容，再使用VGG-19神经网络模型中的深层网络获取内容图片的高层特征，提取出内容特征。
3.根据权利要求1所述用于三维场景的古画风格迁移方法，其特征在于，步骤(3)包括如下子步骤：
(3.1)在VGG-19神经网络模型的19层卷积网络中均使用滤波器函数对得到的风格特征和内容特征进行编码，分别得到风格特征映射与内容特征映射；
(3.2)通过VGG-19神经网络模型的自适应规范层对得到的特征映射进行归一化处理，将古画图片的方差和均值分别替代偏移量和缩放系数，使得内容图片特征的均值和方差与古画图片特征保持一致，产生特征映射获取噪声图片特征图；
其中，x表示内容图片，y表示古画图片，μ(x)表示内容图片的均值，σ(x)表示内容图片的方差，μ(y)表示古画图片的均值，σ(y)表示古画图片的方差。
4.根据权利要求1所述用于三维场景的古画风格迁移方法，其特征在于，步骤(4)中构建的风格损失函数Lstyle为：
其中，l表示VGG-19神经网络模型中的第l卷积网络，wl表示第l层卷积网络的权重，El表示第l层卷积网络的风格损失。
5.根据权利要求4所述用于三维场景的古画风格迁移方法，其特征在于，所述第l层卷积网络的风格损失El为：
其中，表示第l卷积网络第i个卷积第j个位置的噪音图像特征的Gram矩阵，/>表示第l卷积网络第i个卷积第j个位置的古画图片特征的Gram矩阵，Ml表示第l卷积网络中Gram矩阵的长与宽的积，Nl表示特征矩阵的信道数。
6.根据权利要求1所述用于三维场景的古画风格迁移方法，其特征在于，步骤(4)中构建的内容损失函数Lcontent为：
其中，表示噪声图片在第l层第i个卷积的第j个位置的特征，/>表示内容图片在第l层第i个卷积的第j个位置的特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210036936.4A CN114493994B (zh) | 2022-01-13 | 2022-01-13 | 一种用于三维场景的古画风格迁移方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210036936.4A CN114493994B (zh) | 2022-01-13 | 2022-01-13 | 一种用于三维场景的古画风格迁移方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114493994A CN114493994A (zh) | 2022-05-13 |
| CN114493994B true CN114493994B (zh) | 2024-04-16 |
Family
ID=81511908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210036936.4A Active CN114493994B (zh) | 2022-01-13 | 2022-01-13 | 一种用于三维场景的古画风格迁移方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114493994B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805803A (zh) * | 2018-06-13 | 2018-11-13 | 衡阳师范学院 | 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法 |
| CN110490791A (zh) * | 2019-07-10 | 2019-11-22 | 西安理工大学 | 基于深度学习风格迁移的服饰图像艺术化生成方法 |
| WO2020088280A1 (zh) * | 2018-11-01 | 2020-05-07 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法和系统 |
| CN111325272A (zh) * | 2020-02-19 | 2020-06-23 | 南方科技大学 | 古画检测模型训练方法、古画检测方法、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018042388A1 (en) * | 2016-09-02 | 2018-03-08 | Artomatix Ltd. | Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures |
-
2022
- 2022-01-13 CN CN202210036936.4A patent/CN114493994B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805803A (zh) * | 2018-06-13 | 2018-11-13 | 衡阳师范学院 | 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法 |
| WO2020088280A1 (zh) * | 2018-11-01 | 2020-05-07 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法和系统 |
| CN110490791A (zh) * | 2019-07-10 | 2019-11-22 | 西安理工大学 | 基于深度学习风格迁移的服饰图像艺术化生成方法 |
| CN111325272A (zh) * | 2020-02-19 | 2020-06-23 | 南方科技大学 | 古画检测模型训练方法、古画检测方法、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 浅谈学习迁移在美术教学中的运用;孙中雯;;艺术科技;20160715(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114493994A (zh) | 2022-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110211192B (zh) | 一种基于深度学习的三维模型到二维图像的渲染方法 | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| CN103218846B (zh) | 三维树木模型的水墨画模拟方法 | |
| CA2565600C (en) | Dynamic wrinkle mapping | |
| CN103854306A (zh) | 一种高真实感的动态表情建模方法 | |
| Zhang et al. | Real-time bas-relief generation from a 3D mesh | |
| CN114066871B (zh) | 一种新冠肺炎病灶区域分割模型训练的方法 | |
| CN114511440A (zh) | 神经网络中的自适应卷积 | |
| CN115661404A (zh) | 一种多细粒度树木实景参数化建模方法 | |
| Pirk et al. | Modeling plant life in computer graphics | |
| CN111275798A (zh) | 三维模型与特效交互系统及方法 | |
| CN115546273A (zh) | 一种面向室内鱼眼图像的场景结构深度估计方法 | |
| He | Application of local color simulation method of landscape painting based on deep learning generative adversarial networks | |
| Ge et al. | 3D Reconstruction of Ancient Buildings Using UAV Images and Neural Radiation Field with Depth Supervision | |
| CN114493994B (zh) | 一种用于三维场景的古画风格迁移方法 | |
| CN108062758A (zh) | 一种基于图像分割算法的人群生成仿真方法及系统 | |
| CN114882197B (zh) | 一种基于图神经网络的高精度三维人脸重建方法 | |
| CN115984510A (zh) | 一种风格化人脸纹理建模方法及系统、设备、存储介质 | |
| CN110706347A (zh) | 一种通过建筑的线框图创建3d建筑模型的实现方法 | |
| CN111627098B (zh) | 对图像中水流区域识别并生成动态水流视频的方法及装置 | |
| Qi | Computer aided design simulation of 3D garden landscape based on virtual reality | |
| CN114493997A (zh) | 一种基于数字高程模型与风格迁移的地形水墨画生成方法 | |
| CN113658323A (zh) | 一种基于图卷积的三维重建网络模型的方法及计算机设备 | |
| CN113836833A (zh) | 基于深度学习从图像序列中模拟动态台风场景的方法 | |
| CN113838199A (zh) | 一种三维地形生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |