CN112927368B - 一种基于三维参数表达的人体衣物图片编辑和视频生成方法 - Google Patents
一种基于三维参数表达的人体衣物图片编辑和视频生成方法 Download PDFInfo
- Publication number
- CN112927368B CN112927368B CN202110193749.2A CN202110193749A CN112927368B CN 112927368 B CN112927368 B CN 112927368B CN 202110193749 A CN202110193749 A CN 202110193749A CN 112927368 B CN112927368 B CN 112927368B
- Authority
- CN
- China
- Prior art keywords
- clothes
- human body
- dimensional
- human
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn - After Issue
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 238000009877 rendering Methods 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract 1
- 230000001131 transforming effect Effects 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 7
- 239000004744 fabric Substances 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000037237 body shape Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Abstract
本发明提供了一种基于三维参数表达的人体衣物图片编辑和视频生成方法，包括：利用采集的大量真实人体衣物数据集，先通过现有方法提取数据集中的衣物三维参数特征；再通过深度学习的方法，找到衣服参数特征、三维形状与RGB人体衣物图像之间的隐式映射；之后通过隐式映射和生成网络，对衣服三维参数空间及人体信息做编辑、变换和处理，从而生成新的人体图片及视频。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及到一种基于三维参数表达的人体衣物图片编辑和视频生成方法。
背景技术
在计算机视觉领域里，三维重建技术在科研、教育、影视艺术等方面都有许多应用价值。三维重建技术生成的模型结果可以应用在影音、游戏设计、建筑设计等不同领域，是科研和工业领域合作的一大突破口。而关于人体服装图像的服装三维信息提取和二维编辑生成方法，由于隐式表达了衣服的内秉三维、纹理信息以及人体的形态、姿态信息，因此是三维重建和三维数字化方向的一个较大的难题。现有的方法可以从图像中恢复衣服的三维几何和形状参数，但没有办法进一步通过参数控制来生成给定形状衣服的RGB生成结果。
发明内容
鉴于此，本发明提供了一种基于三维参数表达的人体衣物图片编辑和视频生成方法。
本发明提供了一种基于三维参数表达的人体衣物图片编辑和视频生成方法，该基于三维参数表达的人体衣物图片编辑和视频生成方法包括：
(1)制备数据采集设备；利用所述数据采集设备对设定组合的衣服以及形态进行单帧采集，获得每组所述衣服以及形态的整体点云；
(2)对所述整体点云用人体模板拟合生成人体网络模型；
(3)利用基于二维纹理展开的衣服表达和参数化生成设定模型，来对每一件衣服点云提取三维形状参数；
(4)利用每组所述三维形状参数作为约束，计算对应的所述三维形状参数的损失函数；
(5)构建生成设定网络，以所述衣服以及形态的整体点云作为输入，建立从三维衣物参数信息到运动人体穿着的三维衣服模型的映射；
(6)对数据视角下的所述人体网络模型进行约束；
(7)通过输入所述衣服以及形态的整体点云的几何信息，输出是对应的二维衣服纹理展开图；
(8)通过输入所述人体网格模型，输出是对应的人体模型纹理展开图；
(9)对所述二维衣服纹理展开图以及所述人体模型纹理展开图生成人体和彩色衣服模型的RGB渲染结果，并与该数据视角下的衣服RGB图像进行约束；
(10)合并各个网络成分，从而生成从衣服参数信息及人体信息；
(11)通过对输入的所述衣服参数信息以及人体信息进行编辑，并过隐式映射，得到人体衣物图片编辑结果；
(12)给定所述衣服参数信息以及所述人体信息序列，通过隐式映射，得到带衣服人体的RGB视频生成结果。
优选的，所述数据采集设备包括：多台RGB相机；所述多台RGB相机标定至一圆球内部并同步运行，且每天所述RGB相机配置有结构光发射和接收设备。
优选的，所述整体点云为通过多视角三维建模软件进行整体建模。
优选的，所述人体网络模型的最小化能量函数的过程采用 Levenberg-Marquardt算法进行优化迭代。
优选的，所述三维形状参数提取衣服以及对应的人体模型的渲染图。
优选的，在计算对应的所述三维形状参数的损失函数时，以所述渲染图作为输入，所述渲染图修复衣服的参数作为输出。
优选的，将每个单帧采集数据中的衣服通过最近邻匹配的方式匹配到人体模型的纹理坐标上，并将衣服的颜色值渲染到纹理图上。
优选的，对图像中的衣服做形状上的编辑，输出相应的带衣服人体图像结果。
优选的，通过所述RGB相机的输入对姿态序列、形态参数以及衣服参数，实现基于三维参数表达的人体衣物视频生成。
本发明中通过利用衣服的参数化提取方法，建立衣服参数、人体信息与生成RGB图像之间的联系，可以有效从图像中获取衣物和人体的三维参数信息，并通过获取的三维信息来重新渲染生成图像结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图对本申请实施例提供的基于三维参数表达的人体衣物图片编辑和视频生成方法进行说明。
本发明基于参数空间映射和基于神经网络渲染器生成的方法，利用了卷积神经网络架构，建立人体、衣物三维信息和生成的RGB图像之间的深度映射，从而进行单视角衣物三维服装提取和二维图像编辑，以及视频的生成。具体步骤如下：
(1)制备数据采集设备；利用所述数据采集设备对设定组合的衣服以及形态进行单帧采集，获得每组所述衣服以及形态的整体点云；具体的，使用经过标定和同步的多台RGB相机，并配置有结构光发射和接收设备，放置在一个直径10米的球内，用于对场景中心的人体进行数据采集和三维重建。
在通过数据采集设备进行数据采集时：优选的为进行1000人的数据采集，每个人不同衣服/不同姿态共100个组合，并进行单帧采集。对第i组数据，将通过现有的多视角三维建模软件进行整体建模，得到人物和衣物的整体三维点云。对采集到的点云进行逐件衣物分割，得到每件衣服的点云
其中i代表第i 组数据，j代表第i组数据中的第j件衣物的点云。
(2)对所述整体点云用人体模板拟合生成人体网络模型；具体为，对整体点云用现有人体模版做拟合，其中人体模版为T(β，p)表示在形态参数β和姿态参数p下生成的人体网格模型。拟合所用能量函数如下：
其中
代表T(β，p)中的三维顶点，
代表每次迭代过程中与这个三维顶点距离最近的点云中的点，而
代表了
顶点对应的法向量。λ±在
时取为 1，在
时取为10，从而约束人体模型在点云之内。最小化能量函数的过程采用Levenberg-Marquardt算法进行优化迭代。
(3)利用基于二维纹理展开的衣服表达和参数化生成设定模型，来对每一件衣服点云提取三维形状参数；具体的，利用现有的基于二维纹理展开的衣服表达和参数化生成模型Netparam，来对每一件衣服点云
提取三维形状参数。具体过程如下：先将衣服对应的人体模型T(βi，pi)做法向渲染图N(βi，pi)，再将N(βi，pi)送入Netparam里基于卷积神经网络的Enchuman模块，以及将
送入Netparam里基于pointnet的Enccloth_point模块，得到输出
表示该件衣服在参数空间的表达信息，即衣服的三维形状参数。
(4)利用每组所述三维形状参数作为约束，计算对应的所述三维形状参数的损失函数；具体为，提取的每一组数据的衣服参数
作为约束，对 RGB图像中的第j类衣服构建卷积神经网络
用于从RGB图像中恢复衣服的参数：
(5)构建生成设定网络，以所述衣服以及形态的整体点云作为输入，建立从三维衣物参数信息到运动人体穿着的三维衣服模型的映射；具体为，构建生成网络Netanim，以三维衣物参数与人体信息作为输入，输出是在给定人体信息下的衣服几何表示。具体过程如下：Netanim包括Decparam模块和Enc-Decgeo模块。网络通过Decparam模块先将三维衣物参数
转化为衣服的二维几何纹理展开图
然后将
和人体的法向渲染图N(βi，pi)合并输入Enc-Decgeo模块，得到在给定姿态和形态的人体、以及给定衣服参数下，生成的模型
即建立了从三维衣物参数信息到运动人体穿着的三维衣服模型的映射：
该网络用采集的衣服模型和生成的模型
的二维几何展开图的一范数差来约束：
其中
为数据采集的衣服点云，geo(·)代表将点云转化为二维几何纹理展开的运算。
(6)对数据视角下的所述人体网络模型进行约束；具体为，训练神经网络渲染器Neuren，其中Neuren的输入是三维网格模型，输出是给定视角的渲染结果。对每组数据，以提取的衣服参数
以及该数据对应的人体网格模型 T(βi，pi)作为输入，喂给Netanim，再将得到的衣服网格模型结果
喂给Neuren进行渲染。渲染过程中先将顶点颜色赋成(255,255,255)，从而生成渲染的轮廓图maskren。将该轮廓图与该数据视角下的衣服轮廓图maskpic进行约束，损失函数如下：
Lossmask＝||maskren-maskpic||1
该网络同时训练Neuren和更新训练的Netanim，同时约束渲染器性能和约束 Netanim生成的衣服满足图像轮廓要求。
(7)通过输入所述衣服以及形态的整体点云的几何信息，输出是对应的二维衣服纹理展开图；具体为，将每帧中的衣服
通过最近邻匹配的方式匹配到人体模型的纹理坐标上，并将衣服的颜色值渲染到纹理图tex_gtcloth上。
(8)通过输入所述人体网格模型，输出是对应的人体模型纹理展开图；具体为，训练衣服纹理提取网络Nettex，其输入是数据集中的RGB图像和衣服
的几何信息，输出是对应的二维衣服颜色纹理展开图texcloth。损失函数是tex_gtcloth和texcloth的一范数差。
(9)对所述二维衣服纹理展开图以及所述人体模型纹理展开图生成人体和彩色衣服模型的RGB渲染结果，并与该数据视角下的衣服RGB图像进行约束；具体为将步骤(2)中拟合的人体模型T(βi，pi)同样对应到人体模型的纹理坐标上，并将图像中人身体露出来的颜色渲染到纹理图tex_gthuman上。
(10)合并各个网络成分，从而生成从衣服参数信息及人体信息；具体为，训练人体纹理提取网络Nettex_human，其输入是数据集中的RGB图像和人体模型 T(βi，pi)的几何信息，输出是对应的二维人体颜色纹理展开图texhuman。损失函数是图像中人体露出身体部分对应纹理坐标上tex_gthuman和texhuman的一范数差。
(11)通过对输入的所述衣服参数信息以及人体信息进行编辑，并过隐式映射，得到人体衣物图片编辑结果；具体为，将RGB图像通过两个纹理提取网络Nettex和Nettex_human，分别生成两张纹理展开图texcloth和texhuman。再固定 Netanim参数，输入人体信息和衣服参数得到生成的衣服网格模型结果
将两张纹理展开图texcloth和texhuman，以及人体模型T(βi，pi)和第 i组数据所有衣服网格模型
通过Neuren做合并颜色渲染，生成人体和彩色衣服模型的RGB渲染结果rgbren，并与该数据视角下的衣服RGB图像进行一范数约束，同时强化约束Nettex和Nettex_human，以及优化Neuren的RGB渲染功能。损失函数如下：
Lossrgb＝rgbren-rgbpic||1
同时，合并以上训练好的各个网络成分，生成从衣服参数信息
及人体信息(包含形态参数βi和姿态参数pi)，到生成带衣服的人体RGB图像的隐式映射fgen：
(12)给定所述衣服参数信息以及所述人体信息序列，通过隐式映射，得到带衣服人体的RGB视频生成结果。具体为，通过fgen中的Netparam模块输出结果，对输入RGB图片中提取出的衣服参数
做编辑，并过隐式映射fgen的其它模块，可以得到人体衣物图片编辑结果，即：对图像中的衣服做形状上的编辑(比如变长/变宽等)，然后输出相应的带衣服人体图像结果。从而实现人体衣物图片编辑的功能。
给定衣服参数Param和人体运动姿态参数序列pi(i＝0，1，2，...，n)，以及人体形态参数β，通过隐式映射fgen，得到带衣服人体的运动视频结果。其中姿态序列、形态参数以及衣服参数，都可以从一张或一组给定的RGB输入中获得，从而实现基于三维参数表达的人体衣物视频生成。
本发明中通过利用衣服的参数化提取方法，建立衣服参数、人体信息与生成RGB图像之间的联系，可以有效从图像中获取衣物和人体的三维参数信息，并通过获取的三维信息来重新渲染生成图像结果。
Claims (9)
1.一种基于三维参数表达的人体衣物图片编辑和视频生成方法，其特征在于，该方法包括：
(1)制备数据采集设备；利用所述数据采集设备对设定组合的衣服以及形态进行单帧采集，获得每组所述衣服以及形态的整体点云；
(2)对所述整体点云用人体模板拟合生成人体网络模型；
(3)利用基于二维纹理展开的衣服表达和参数化生成设定模型，来对每一件衣服点云提取三维形状参数；
(4)利用每组所述三维形状参数作为约束，计算对应的所述三维形状参数的损失函数；
(5)构建生成设定网络，以所述衣服以及形态的整体点云作为输入，建立从三维衣物参数信息到运动人体穿着的三维衣服模型的映射；
(6)对数据视角下的所述人体网络模型进行约束；
(7)通过输入所述衣服以及形态的整体点云的几何信息，输出是对应的二维衣服纹理展开图；
(8)通过输入所述人体网络 模型，输出是对应的人体模型纹理展开图；
(9)对所述二维衣服纹理展开图以及所述人体模型纹理展开图生成人体和彩色衣服模型的RGB渲染结果，并与该数据视角下的衣服RGB图像进行约束；
(10)合并各个网络成分，从而生成从衣服参数信息及人体信息，到生成带衣服的人体RGB图像的隐式映射fgen；
(11)通过对输入的所述衣服参数信息以及人体信息进行编辑，并隐式映射，得到人体衣物图片编辑结果；
(12)给定所述衣服参数信息以及所述人体信息序列，通过隐式映射，得到带衣服人体的RGB视频生成结果。
2.如权利要求1所述的基于三维参数表达的人体衣物图片编辑和视频生成方法，其特征在于，所述数据采集设备包括：多台RGB相机；所述多台RGB相机标定至一圆球内部并同步运行，且每台所述RGB相机配置有结构光发射和接收设备。
3.如权利要求1所述的基于三维参数表达的人体衣物图片编辑和视频生成方法，其特征在于，所述整体点云为通过多视角三维建模软件进行整体建模。
4.如权利要求3所述的基于三维参数表达的人体衣物图片编辑和视频生成方法，其特征在于，所述人体网络模型的最小化能量函数的过程采用Levenberg-Marquardt算法进行优化迭代。
5.如权利要求4所述的基于三维参数表达的人体衣物图片编辑和视频生成方法，其特征在于，所述三维形状参数提取衣服以及对应的人体模型的渲染图。
6.如权利要求5所述的基于三维参数表达的人体衣物图片编辑和视频生成方法，其特征在于，在计算对应的所述三维形状参数的损失函数时，以所述渲染图作为输入，所述渲染图修复衣服的参数作为输出。
7.如权利要求1所述的基于三维参数表达的人体衣物图片编辑和视频生成方法，其特征在于，将每个单帧采集数据中的衣服通过最近邻匹配的方式匹配到人体模型的纹理坐标上，并将衣服的颜色值渲染到纹理图上。
8.如权利要求1-7任意一项所述的基于三维参数表达的人体衣物图片编辑和视频生成方法，其特征在于，对图像中的衣服做形状上的编辑，输出相应的带衣服人体图像结果。
9.如权利要求1-7任意一项所述的基于三维参数表达的人体衣物图片编辑和视频生成方法，其特征在于，通过RGB相机的输入对姿态序列、形态参数以及衣服参数，实现基于三维参数表达的人体衣物视频生成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110193749.2A CN112927368B (zh) | 2021-02-20 | 2021-02-20 | 一种基于三维参数表达的人体衣物图片编辑和视频生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110193749.2A CN112927368B (zh) | 2021-02-20 | 2021-02-20 | 一种基于三维参数表达的人体衣物图片编辑和视频生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112927368A CN112927368A (zh) | 2021-06-08 |
| CN112927368B true CN112927368B (zh) | 2021-11-19 |
Family
ID=76170021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110193749.2A Withdrawn - After Issue CN112927368B (zh) | 2021-02-20 | 2021-02-20 | 一种基于三维参数表达的人体衣物图片编辑和视频生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112927368B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104794722A (zh) * | 2015-04-30 | 2015-07-22 | 浙江大学 | 利用单个Kinect计算着装人体三维净体模型的方法 |
| CN105006016A (zh) * | 2015-05-21 | 2015-10-28 | 北京航空航天大学 | 一种贝叶斯网络约束的部件级三维模型构建方法 |
| CN110619285A (zh) * | 2019-08-29 | 2019-12-27 | 福建天晴数码有限公司 | 人体骨骼关键点提取方法及计算机可读存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160088284A1 (en) * | 2010-06-08 | 2016-03-24 | Styku, Inc. | Method and system for determining biometrics from body surface imaging technology |
| CN104268763A (zh) * | 2014-09-30 | 2015-01-07 | 江苏中佑石油机械科技有限责任公司 | 3d试衣营销平台 |
| CN104618819A (zh) * | 2015-03-05 | 2015-05-13 | 广州新节奏智能科技有限公司 | 基于电视终端的3d体感购物系统及方法 |
| CN104978762B (zh) * | 2015-07-13 | 2017-12-08 | 北京航空航天大学 | 服装三维模型生成方法及系统 |
| CN106557941B (zh) * | 2015-09-30 | 2020-04-07 | 捷荣科技集团有限公司 | 一种基于人体模型的衣服订制方法和系统 |
| CN105787751A (zh) * | 2016-01-06 | 2016-07-20 | 湖南拓视觉信息技术有限公司 | 三维人体虚拟试衣方法和系统 |
| CN106952302B (zh) * | 2017-02-14 | 2019-12-13 | 深圳奥比中光科技有限公司 | 人体模型自动创建方法及三维试衣系统 |
| CN108765537A (zh) * | 2018-06-04 | 2018-11-06 | 北京旷视科技有限公司 | 一种图像的处理方法、装置、电子设备和计算机可读介质 |
-
2021
- 2021-02-20 CN CN202110193749.2A patent/CN112927368B/zh not_active Withdrawn - After Issue
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104794722A (zh) * | 2015-04-30 | 2015-07-22 | 浙江大学 | 利用单个Kinect计算着装人体三维净体模型的方法 |
| CN105006016A (zh) * | 2015-05-21 | 2015-10-28 | 北京航空航天大学 | 一种贝叶斯网络约束的部件级三维模型构建方法 |
| CN110619285A (zh) * | 2019-08-29 | 2019-12-27 | 福建天晴数码有限公司 | 人体骨骼关键点提取方法及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112927368A (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584353B (zh) | 一种基于单目视频重建三维人脸表情模型的方法 | |
| CN109636831B (zh) | 一种估计三维人体姿态及手部信息的方法 | |
| CN110310319B (zh) | 光照分离的单视角人体服装几何细节重建方法及装置 | |
| CN104915978B (zh) | 基于体感相机Kinect的真实感动画生成方法 | |
| CN105006016B (zh) | 一种贝叶斯网络约束的部件级三维模型构建方法 | |
| CN109816784B (zh) | 三维重构人体的方法和系统及介质 | |
| CN101916454A (zh) | 基于网格变形和连续优化的高分辨率人脸重建方法 | |
| CN107657664B (zh) | 人脸表情合成后的图像优化方法、装置、存储介质和计算机设备 | |
| CN109242954A (zh) | 基于模板变形的多视角三维人体重建方法 | |
| CN112734890B (zh) | 基于三维重建的人脸替换方法及装置 | |
| CN113744374B (zh) | 一种基于表情驱动的3d虚拟形象生成方法 | |
| CN115951784B (zh) | 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法 | |
| CN113421328B (zh) | 一种三维人体虚拟化重建方法及装置 | |
| WO2021063271A1 (zh) | 人体模型重建方法、重建系统及存储介质 | |
| CN104778736A (zh) | 单视频内容驱动的服装三维动画生成方法 | |
| CN110070605A (zh) | 一种实时人体无标记动作捕获方法 | |
| CN112819951A (zh) | 一种基于深度图修复的带遮挡三维人体重建方法 | |
| CN113077545B (zh) | 一种基于图卷积的从图像中重建着装人体模型的方法 | |
| CN112365589B (zh) | 一种虚拟三维场景展示方法、装置及系统 | |
| CN112927368B (zh) | 一种基于三维参数表达的人体衣物图片编辑和视频生成方法 | |
| CN113284249B (zh) | 一种基于图神经网络的多视角三维人体重建方法及系统 | |
| CN111611997B (zh) | 一种基于人体动作迁移的卡通定制形象运动视频生成方法 | |
| CN113763536A (zh) | 一种基于rgb图像的三维重建方法 | |
| Li | Task Image Setting of 3D Animation Based on Virtual Reality and Artificial Intelligence | |
| Hetang et al. | Novel View Synthesis from a Single RGBD Image for Indoor Scenes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| AV01 | Patent right actively abandoned |
Granted publication date: 20211119 Effective date of abandoning: 20231101 |
|
| AV01 | Patent right actively abandoned |
Granted publication date: 20211119 Effective date of abandoning: 20231101 |
|
| AV01 | Patent right actively abandoned | ||
| AV01 | Patent right actively abandoned |