CN112966390A - 基于双重三维距离场的衣服处理方法以及装置 - Google Patents

基于双重三维距离场的衣服处理方法以及装置 Download PDF

Info

Publication number
CN112966390A
CN112966390A CN202110311897.XA CN202110311897A CN112966390A CN 112966390 A CN112966390 A CN 112966390A CN 202110311897 A CN202110311897 A CN 202110311897A CN 112966390 A CN112966390 A CN 112966390A
Authority
CN
China
Prior art keywords
clothes
dimensional
distance field
point cloud
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110311897.XA
Other languages
English (en)
Other versions
CN112966390B (zh
Inventor
刘烨斌
苏肇祺
于涛
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xinchangyuan Technology Co ltd
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110311897.XA priority Critical patent/CN112966390B/zh
Publication of CN112966390A publication Critical patent/CN112966390A/zh
Application granted granted Critical
Publication of CN112966390B publication Critical patent/CN112966390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提出一种基于双重三维距离场的衣服处理方法以及装置。其中方法包括：从预设的人体衣物数据集中提取标准姿态下的衣服三维点云，并获取每件衣服的第一法向信息；根据衣服三维点云和法向信息，在三维空间中提取三维距离场点云样本；将衣服三维点云中距离边缘预设距离的点云部分剔除，再对剔除后的点云提取三维无符号距离场点云样本；根据三维距离场点云样本和三维无符号距离场点云样本，建立双重距离场样本；构建生成网络，基于双重距离场样本训练生成网络；获取待处理衣服的深度特征向量，通过训练好的生成网络获得待处理衣服的深度特征向量对应的双重距离场；基于移动立方体算法，从双重距离场中获取标准姿态下待处理衣服的三维模型。

Description

基于双重三维距离场的衣服处理方法以及装置
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种基于双重三维距离场的衣服处理方法、装置、计算机设备和存储介质。
背景技术
在计算机视觉和图形学领域中国，三维重建技术在科技、教育、工业、娱乐等方面都有丰富的应用价值。三维重建的结果可以应用在虚拟场景、建筑和人体生成上，对虚拟现实和增强现实的发展有较大的推进作用。而关于人体三维衣服几何生成和动态仿真方法，由于传统方法难以对不同衣服的拓扑、形状进行连续的表达和生成，因此是一个目前计算机视觉研究的热点课题。现有的方法对固定衣服模版的衣服进行形状特征编辑，但是，无法对衣服几何拓扑上大的形状变化进行表达。
发明内容
本申请的目的旨在至少在一定程度上解决上述的技术问题之一。
为此，本申请的第一个目的在于提出一种基于双重三维距离场的衣服处理方法，以实现对衣物的三维几何表达。
本申请的第二个目的在于提出一种基于双重三维距离场的衣服处理装置。
本申请的第三个目的在于提出一种计算机设备。
本申请的第四个目的在于提出一种计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种基于双重三维距离场的衣服处理方法，包括：
从预设的人体衣物数据集中提取标准姿态下的衣服三维点云，并获取每件衣服的第一法向信息；
根据所述衣服三维点云和所述法向信息，在三维空间中提取三维距离场点云样本；
将所述衣服三维点云中距离边缘预设距离的点云部分剔除，再对剔除后的点云提取三维无符号距离场点云样本；
根据所述三维距离场点云样本和所述三维无符号距离场点云样本，建立双重距离场样本；
构建生成网络，基于所述双重距离场样本训练所述生成网络；其中，所述生成网络以衣物的深度特征向量和空间坐标点作为输入，以所述空间坐标点的距离场值和包络距离场值作为输出；
获取待处理衣服的深度特征向量，通过训练好的所述生成网络获得所述待处理衣服的深度特征向量对应的双重距离场；
基于移动立方体算法，从所述双重距离场中获取标准姿态下所述待处理衣服的三维模型。
在本申请一些实施例中，所述三维距离场点云样本包括空间三维点和每个点对应的三维距离场值；所述三维无符号距离场点云样本包括所述空间三维点和相对剔除后点云的无符号距离场值；其中，所述根据所述三维距离场点云样本和所述三维无符号距离场点云样本，建立双重距离场样本，包括：
根据所述相对剔除后点云的无符号距离场的值和所述预设距离，获得包络距离场值；
基于所述空间三维点、所述三维距离场值、所述包络距离场值，建立所述双重距离场样本。
在本申请一些实施例中，所述预设距离为0.05米。
在本申请一些实施例中，所述方法还包括：
从所述人体衣物数据集中提取动态姿态下衣服点云，并获取每件衣服的第二法向信息；
根据所述标准姿态下的衣服三维点云、所述第一法向信息、所述动态姿态下衣服点云和所述第二法向信息，获取动态仿真样本；
构建动态仿真网络，其中，所述动态仿真网络以所述衣物的深度特征向量、人体形态参数、姿态参数以及空间坐标作为输入，以所述空间坐标在所述姿态参数下仿真后的目标坐标位置作为输出；
根据所述动态仿真样本训练所述动态仿真网络；
以标准姿态衣服三维模型作为输入，利用训练好的所述动态仿真网络生成任意姿态下的衣服模型。
在本申请一些实施例中，所述方法还包括：
通过对姿态序列进行动态编辑，基于所述任意姿态下的衣服模型生成动态姿态序列下的衣服模型序列。
为达上述目的，本申请第二方面实施例提出了一种基于双重三维距离场的衣服处理装置，包括：
第一获取模块，用于从预设的人体衣物数据集中提取标准姿态下的衣服三维点云，并获取每件衣服的第一法向信息；
第一提取模块，用于根据所述衣服三维点云和所述法向信息，在三维空间中提取三维距离场点云样本；
第二提取模块，用于将所述衣服三维点云中距离边缘预设距离的点云部分剔除，再对剔除后的点云提取三维无符号距离场点云样本；
建立模块，用于根据所述三维距离场点云样本和所述三维无符号距离场点云样本，建立双重距离场样本；
第一训练模块，用于构建生成网络，基于所述双重距离场样本训练所述生成网络；其中，所述生成网络以衣物的深度特征向量和空间坐标点作为输入，以所述空间坐标点的距离场值和包络距离场值作为输出；
第二获取模块，用于获取待处理衣服的深度特征向量，通过训练好的所述生成网络获得所述待处理衣服的深度特征向量对应的双重距离场；
第三获取模块，用于基于移动立方体算法，从所述双重距离场中获取标准姿态下所述待处理衣服的三维模型。
在本申请一些实施例中，所述三维距离场点云样本包括空间三维点和每个点对应的三维距离场值；所述三维无符号距离场点云样本包括所述空间三维点和相对剔除后点云的无符号距离场值；其中，所述建立模块具体用于：
根据所述相对剔除后点云的无符号距离场的值和所述预设距离，获得包络距离场值；
基于所述空间三维点、所述三维距离场值、所述包络距离场值，建立所述双重距离场样本。
在本申请一些实施例中，所述预设距离为0.05米。
在本申请一些实施例中，所述装置还包括：
第四获取模块，用于从所述人体衣物数据集中提取动态姿态下衣服点云，并获取每件衣服的第二法向信息；
第五获取模块，用于根据所述标准姿态下的衣服三维点云、所述第一法向信息、所述动态姿态下衣服点云和所述第二法向信息，获取动态仿真样本；
构建模块，用于构建动态仿真网络，其中，所述动态仿真网络以所述衣物的深度特征向量、人体形态参数、姿态参数以及空间坐标作为输入，以所述空间坐标在所述姿态参数下仿真后的目标坐标位置作为输出；
第二训练模块，用于根据所述动态仿真样本训练所述动态仿真网络；
生成模块，用于以标准姿态衣服三维模型作为输入，利用训练好的所述动态仿真网络生成任意姿态下的衣服模型。
在本申请一些实施例中，所述生成模块还用于：
通过对姿态序列进行动态编辑，基于所述任意姿态下的衣服模型生成动态姿态序列下的衣服模型序列。
为达上述目的，本申请第三方面实施例提出了一种计算机设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面实施例所述的基于双重三维距离场的衣服处理方法。
为达上述目的，本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请第一方面实施例所述的基于双重三维距离场的衣服处理方法。
根据本申请实施例的技术方案，利用双重三维距离场方法，先从大规模三维人体衣物数据中，将标准姿态下的衣服网格模型转换成双重距离场的形式；再通过深度学习的方法，建立从深度语义向量到双重距离场的深度映射，从而习得能表达该双重三维距离场的深度学习网络和深度特征，实现衣服的几何表达；再通过对应点云随机采样方法，用深度学习方法习得从标准姿态下的衣服模型到不同姿态衣服模型之间的转换，从而实现衣服的动态仿真。三维几何表达主要采用了利用三维体空间信息进行表面建模的三维距离场方法；建立深度映射主要通过基于全连接神经网络的模型；而三维衣物动态仿真主要通过三维语义联系加上神经网络完成。由此，本申请通过建立三维衣物表面模型、三维体空间信息和不同姿态之间衣物的信息关联，可以从已有数据集当中生成衣物的可变形状、拓扑的三维表达，并进行衣物的动态仿真。本申请适用于对衣服进行三维几何表达和动态序列生成。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种基于双重三维距离场的衣服处理方法的流程图；
图2为本申请另一个实施例的基于双重三维距离场的衣服处理方法的流程图；
图3是根据本申请一个实施例的基于双重三维距离场的衣服处理装置的结构示意图；
图4根据本申请另一个实施例的基于双重三维距离场的衣服处理装置的结构框图；
图5是根据本申请一个实施例的计算机设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于双重三维距离场的衣服处理方法、装置、计算机设备和存储介质。
图1为本申请实施例所提供的一种基于双重三维距离场的衣服处理方法的流程示意图。需要说明的是，本申请实施例的基于双重三维距离场的衣服处理方法可应用于本申请实施例的基于双重三维距离场的衣服处理装置，该衣服处理装置被配置于计算机设备。
如图1所示，该基于双重三维距离场的衣服处理方法可以包括如下步骤。
在步骤101中，从预设的人体衣物数据集中提取标准姿态下的衣服三维点云，并获取每件衣服的第一法向信息。
在本申请实施例中，可从已有的大规模人体衣物数据集中，通过二进制文件提取的方法，提取标准姿态下衣物三维点云
Figure BDA0002990116250000071
其中i代表第i组数据，j代表第i组数据中的第j件衣物。计算该件衣服对应的法向信息(即上述的第一法向信息)
Figure BDA0002990116250000072
作为一种示例，该衣服的法向信息的计算方式可如下：
对衣服三维点云
Figure BDA0002990116250000073
中，每个vk(1≤k≤m)，找到它所在的三角面片集合
Figure BDA0002990116250000074
对每个面片通过邻边叉乘方法，进行法向计算得到面片法向
Figure BDA0002990116250000075
再取平均值并做归一化得到vk对应的法向
Figure BDA0002990116250000076
其中avg表示求算术平均值，norm表示对求得向量进行归一化。从而得到该件衣服法向信息
Figure BDA0002990116250000077
{n1，n2，...，nm}。
在步骤102中，根据衣服三维点云和法向信息，在三维空间中提取三维距离场点云样本。
在本申请实施例中，可通过已有的三维网络模型生成三维距离场样本的方式，利用已有标准姿态下衣服的三维点云
Figure BDA0002990116250000081
和法向信息
Figure BDA0002990116250000082
在三维空间中提取三维距离场点云样本
Figure BDA0002990116250000083
其中，
Figure BDA0002990116250000084
为体空间中随机采样的100000个空间三维点，
Figure BDA0002990116250000085
为每个点对应的三维距离场值。作为一种示例，
Figure BDA0002990116250000086
具体公式如下：
对任意
Figure BDA0002990116250000087
假设
Figure BDA0002990116250000088
到v的距离最近，则sdf(v)＝(v-vk)·nk，其中nk为vk对应的法向。
Figure BDA0002990116250000089
在步骤103中，将衣服三维点云中距离边缘预设距离的点云部分剔除，再对剔除后的点云提取三维无符号距离场点云样本。
在本申请一些实施例中，该预设距离可为0.05米。在本申请实施例中，可将衣服三维点云
Figure BDA00029901162500000810
和距离边缘0.05米的点云部分剔除，再对剔除后的点云提取三维无符号距离场点云样本
Figure BDA00029901162500000811
其中，
Figure BDA00029901162500000812
为体空间中随机采样的100000个空间三维点，
Figure BDA00029901162500000813
为相对剔除后每个点云对应的无符号距离场值。作为一种示例，
Figure BDA00029901162500000814
具体公式如下：
假设
Figure BDA00029901162500000815
为
Figure BDA00029901162500000816
剔除边缘附近点后的点云，对任意
Figure BDA00029901162500000817
假设
Figure BDA00029901162500000818
到v的距离最近，则ndf(v)＝abs((v-v′k)·n′k)，其中n′k为v′k对应的法向。
Figure BDA00029901162500000820
在步骤104中，根据三维距离场点云样本和三维无符号距离场点云样本，建立双重距离场样本。
在本申请一些实施例中，可根据相对剔除后点云的无符号距离场的值和预设距离，获得包络距离场值，并基于空间三维点、三维距离场值、包络距离场值，建立双重距离场样本。例如，该双重距离场样本表示如下：
Figure BDA0002990116250000091
该双重距离场包含了衣服网格模型的三维距离场信息样本
Figure BDA0002990116250000092
以及包络距离场信息样本
Figure BDA0002990116250000093
其中
Figure BDA0002990116250000094
表示
Figure BDA0002990116250000095
中的空间点v到衣服三维模型的表面距离，正值代表该点在衣服外部，负值代表内部。而
Figure BDA0002990116250000096
代表衣服网格模型所在的包络距离场，小于0的部分空间代表衣服网格模型所在的空间范围。
在步骤105中，构建生成网络，基于双重距离场样本训练生成网络；其中，生成网络以衣物的深度特征向量和空间坐标点作为输入，以空间坐标点的距离场值和包络距离场值作为输出。
例如，构建生成网络Netdoublesdf，以衣物的深度特征向量
Figure BDA0002990116250000097
和空间坐标点(x，y，z)作为输入，输出是该空间坐标点的距离场值sdf(x，y，z)和包络距离场值msdf(x，y，z)，该生成网络表示如下：
Figure BDA0002990116250000098
可见，生成网络Netdoublesdf包括两个模型：距离场生成模型Msdf和包络距离场生成模型Mmsdf。例如，Msdf和Mmsdf分别包含了8层全连接层、非线性层和正则化层。其中第8层不包含非线性层。
在本申请实施例中，分两个步骤训练生成网络Netdoublesdf：第一步骤，先训练距离场生成模型Msdf，从样本
Figure BDA0002990116250000099
和习得从三维空间点(x，y，z)到距离场值sdf(x，y，z)的深度映射。训练过程中，约束在衣物特征向量
Figure BDA00029901162500000910
下Msdf生成的距离场值与真值之间的差：
Figure BDA00029901162500000911
训练过程中同时训练衣物特征向量
Figure BDA00029901162500000912
和模型Msdf。
第二步骤，从样本
Figure BDA0002990116250000101
训练包络距离场生成模型Mmsdf，固定衣物特征向量
Figure BDA0002990116250000102
直接训练模型Mmsdf。训练过程中，约束在固定衣物特征向量
Figure BDA0002990116250000103
下Mmsdf生成的包络距离场值与真值之间的差：
Figure BDA0002990116250000104
从而通过以上训练，生成训练好的模型Netdoublesdf，它可以从坐标点(x，y，z)和衣服深度特征向量
Figure BDA0002990116250000105
中恢复双重距离场值sdf(x，y，z)，msdf(x，y，z)。
在步骤106中，获取待处理衣服的深度特征向量，通过训练好的生成网络获得待处理衣服的深度特征向量对应的双重距离场。
可选地，对待处理衣服的深度特征向量
Figure BDA0002990116250000106
进行主成分分析，并从主成分空间当中，采样衣服深度特征c，通过训练好的生成网络Netdoublesdf可以得到c对应的双重距离场{sdfc，msdfc}。
在步骤107中，基于移动立方体算法，从双重距离场中获取标准姿态下待处理衣服的三维模型。
作为一种示例，在该双重距离场下，在空间中均匀采样512*512*512个三维空间点，计算每个点的sdfc，msdfc值，并用已有的移动立方体算法，可以从双重距离场{sdfc，msdfc}中获取标准姿态下衣服的三维模型Mc。通过对衣服深度特征c进行主成分变换和特征插值，可以实现不同衣服形状、不同拓扑的统一框架衣服生成，从而实现了衣服的几何表达。
为了实现衣服的动态仿真，可选地，在本申请一些实施例中，如图2所示，该基于双重三维距离场的衣服处理方法还可包括如下步骤。
在步骤201中，从人体衣物数据集中提取动态姿态下衣服点云，并获取每件衣服的第二法向信息。
在本申请实施例中，可从已有的大规模人体衣物数据集中，通过二进制文件提取的方法，提取动态姿态下衣服点云
Figure BDA0002990116250000111
其中i代表第i组数据，j代表第i组数据中的第j件衣物，
Figure BDA0002990116250000112
代表第i组数据中的第j件衣物，在姿态参数p下的点云模型。例如，对每个i和j，共有300个不同的姿态参数p。之后以
Figure BDA0002990116250000113
作为输入，用衣服的法向信息的计算方式求取法向的方法计算对应法向信息
Figure BDA0002990116250000114
其中，该第二向信息的计算方法与上述第一法向信息的计算方式一致，在此不再赘述。
在步骤202中，根据标准姿态下的衣服三维点云、第一法向信息、动态姿态下衣服点云和第二法向信息，获取动态仿真样本。
在本申请实施例中，对每组数据
Figure BDA0002990116250000115
通过法向采样的方法，采样出动态仿真样本
Figure BDA0002990116250000116
其中
Figure BDA0002990116250000117
为体空间中随机采样的100000个空间三维点，
Figure BDA0002990116250000118
为
Figure BDA0002990116250000119
每个点在姿态参数p下仿真后的目标坐标值。具体方法如下：
对每组数据
Figure BDA00029901162500001110
对
Figure BDA00029901162500001111
找到它在
Figure BDA00029901162500001112
中对应的最近邻面片，并求出它关于该面片的法向投影点
Figure BDA00029901162500001113
和法向距离
Figure BDA00029901162500001114
pr是法向投影函数，而dis是法向距离计算函数。然后将改投影点映射到动态姿态下的衣服点云上，方法为
Figure BDA00029901162500001115
其中f是从法向投影点pv和法向距离disv恢复三维点的函数。
Figure BDA00029901162500001116
在步骤203中，构建动态仿真网络，其中，动态仿真网络以衣物的深度特征向量、人体形态参数、姿态参数以及空间坐标作为输入，以空间坐标在姿态参数下仿真后的目标坐标位置作为输出。
在本申请实施例中，构建动态仿真网络Netanim，以训练好的衣物的深度特征向量
Figure BDA00029901162500001117
第i组数据对应人体形态参数si，姿态参数p以及空间坐标v作为输入，输出是该空间坐标点在姿态参数p下仿真后的目标坐标位置：
Figure BDA0002990116250000121
Netanim包含了8层全连接层、非线性层和正则化层。其中第8层不包含非线性层。
在步骤204中，根据动态仿真样本训练动态仿真网络。
例如，可利用动态仿真样本
Figure BDA0002990116250000122
训练动态仿真网络Netanim，从而实现从标准姿态衣服到任意姿态衣服的深度映射。训练过程中约束仿真后的坐标位置与真值之间的一范数差：
Figure BDA0002990116250000123
在步骤205中，以标准姿态衣服三维模型作为输入，利用训练好的动态仿真网络生成任意姿态下的衣服模型。
在本申请实施例中，以标准姿态衣服三维模型Mc作为输入，利用训练好的动态仿真网络Netanim生成任意姿态p下的衣服模型Mc，p。
在本申请一些实施例中，还可通过对姿态序列进行动态编辑，基于任意姿态下的衣服模型生成动态姿态序列{p(i)}下的衣服模型序列
Figure BDA0002990116250000124
从而实现衣服的动态仿真。
根据本申请实施例的基于双重三维距离场的衣服处理方法，利用双重三维距离场方法，先从大规模三维人体衣物数据中，将标准姿态下的衣服网格模型转换成双重距离场的形式；再通过深度学习的方法，建立从深度语义向量到双重距离场的深度映射，从而习得能表达该双重三维距离场的深度学习网络和深度特征，实现衣服的几何表达；再通过对应点云随机采样方法，用深度学习方法习得从标准姿态下的衣服模型到不同姿态衣服模型之间的转换，从而实现衣服的动态仿真。三维几何表达主要采用了利用三维体空间信息进行表面建模的三维距离场方法；建立深度映射主要通过基于全连接神经网络的模型；而三维衣物动态仿真主要通过三维语义联系加上神经网络完成。由此，本申请通过建立三维衣物表面模型、三维体空间信息和不同姿态之间衣物的信息关联，可以从已有数据集当中生成衣物的可变形状、拓扑的三维表达，并进行衣物的动态仿真。本申请适用于对衣服进行三维几何表达和动态序列生成。
为了实现上述实施例，本申请还提出了一种基于双重三维距离场的衣服处理装置。
图3是根据本申请一个实施例的基于双重三维距离场的衣服处理装置的结构示意图。如图3所示，该基于双重三维距离场的衣服处理装置300可以包括：第一获取模块301、第一提取模块302、第二提取模块303、建立模块304、第一训练模块305、第二获取模块306和第三获取模块307。
具体地，第一获取模块301用于从预设的人体衣物数据集中提取标准姿态下的衣服三维点云，并获取每件衣服的第一法向信息。
第一提取模块302用于根据衣服三维点云和法向信息，在三维空间中提取三维距离场点云样本。
第二提取模块303用于将衣服三维点云中距离边缘预设距离的点云部分剔除，再对剔除后的点云提取三维无符号距离场点云样本。
建立模块304用于根据三维距离场点云样本和三维无符号距离场点云样本，建立双重距离场样本。在本申请一些实施例中，三维距离场点云样本包括空间三维点和每个点对应的三维距离场值；三维无符号距离场点云样本包括空间三维点和相对剔除后点云的无符号距离场值。
在本申请实施例中，建立模块304具体用于：根据相对剔除后点云的无符号距离场的值和预设距离，获得包络距离场值；基于空间三维点、三维距离场值、包络距离场值，建立双重距离场样本。作为一种示例，预设距离为0.05米。
第一训练模块305用于构建生成网络，基于双重距离场样本训练生成网络；其中，生成网络以衣物的深度特征向量和空间坐标点作为输入，以空间坐标点的距离场值和包络距离场值作为输出。
第二获取模块306用于获取待处理衣服的深度特征向量，通过训练好的生成网络获得待处理衣服的深度特征向量对应的双重距离场。
第三获取模块307用于基于移动立方体算法，从双重距离场中获取标准姿态下待处理衣服的三维模型。
在本申请一些实施例中，如图4所示，该基于双重三维距离场的衣服处理装置300还可包括：第四获取模块308、第五获取模块309、构建模块310、第二训练模块311和生成模块312。其中，第四获取模块308用于从人体衣物数据集中提取动态姿态下衣服点云，并获取每件衣服的第二法向信息；第五获取模块309用于根据标准姿态下的衣服三维点云、第一法向信息、动态姿态下衣服点云和第二法向信息，获取动态仿真样本；构建模块310用于构建动态仿真网络，其中，动态仿真网络以衣物的深度特征向量、人体形态参数、姿态参数以及空间坐标作为输入，以空间坐标在姿态参数下仿真后的目标坐标位置作为输出；第二训练模块311用于根据动态仿真样本训练动态仿真网络；生成模块312用于以标准姿态衣服三维模型作为输入，利用训练好的动态仿真网络生成任意姿态下的衣服模型。
在本申请一些实施例中，生成模块312还用于：通过对姿态序列进行动态编辑，基于所述任意姿态下的衣服模型生成动态姿态序列下的衣服模型序列。
需要说明的是，前述对基于双重三维距离场的衣服处理方法实施例的解释说明也适用于该实施例的基于双重三维距离场的衣服处理装置，此处不再赘述。
根据本申请实施例的基于双重三维距离场的衣服处理装置，利用双重三维距离场方法，先从大规模三维人体衣物数据中，将标准姿态下的衣服网格模型转换成双重距离场的形式；再通过深度学习的方法，建立从深度语义向量到双重距离场的深度映射，从而习得能表达该双重三维距离场的深度学习网络和深度特征，实现衣服的几何表达；再通过对应点云随机采样方法，用深度学习方法习得从标准姿态下的衣服模型到不同姿态衣服模型之间的转换，从而实现衣服的动态仿真。三维几何表达主要采用了利用三维体空间信息进行表面建模的三维距离场方法；建立深度映射主要通过基于全连接神经网络的模型；而三维衣物动态仿真主要通过三维语义联系加上神经网络完成。由此，本申请通过建立三维衣物表面模型、三维体空间信息和不同姿态之间衣物的信息关联，可以从已有数据集当中生成衣物的可变形状、拓扑的三维表达，并进行衣物的动态仿真。本申请适用于对衣服进行三维几何表达和动态序列生成。
为了实现上述实施例，本申请还提出了一种计算机设备。
图5是根据本申请一个实施例的计算机设备的结构示意图。如图5所示，该计算机设备500可以包括：存储器501、处理器502及存储在所述存储器501上并可在所述处理器502上运行的计算机程序503，所述处理器502执行所述计算机程序503时，实现本申请上述任一个实施例所述的基于双重三维距离场的衣服处理方法。
为了实现上述实施例，本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请上述任一个实施例所述的基于双重三维距离场的衣服处理方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于双重三维距离场的衣服处理方法，其特征在于，包括：
从预设的人体衣物数据集中提取标准姿态下的衣服三维点云，并获取每件衣服的第一法向信息；
根据所述衣服三维点云和所述法向信息，在三维空间中提取三维距离场点云样本；
将所述衣服三维点云中距离边缘预设距离的点云部分剔除，再对剔除后的点云提取三维无符号距离场点云样本；
根据所述三维距离场点云样本和所述三维无符号距离场点云样本，建立双重距离场样本；
构建生成网络，基于所述双重距离场样本训练所述生成网络；其中，所述生成网络以衣物的深度特征向量和空间坐标点作为输入，以所述空间坐标点的距离场值和包络距离场值作为输出；
获取待处理衣服的深度特征向量，通过训练好的所述生成网络获得所述待处理衣服的深度特征向量对应的双重距离场；
基于移动立方体算法，从所述双重距离场中获取标准姿态下所述待处理衣服的三维模型。
2.根据权利要求1所述的方法，其特征在于，所述三维距离场点云样本包括空间三维点和每个点对应的三维距离场值；所述三维无符号距离场点云样本包括所述空间三维点和相对剔除后点云的无符号距离场值；其中，所述根据所述三维距离场点云样本和所述三维无符号距离场点云样本，建立双重距离场样本，包括：
根据所述相对剔除后点云的无符号距离场的值和所述预设距离，获得包络距离场值；
基于所述空间三维点、所述三维距离场值、所述包络距离场值，建立所述双重距离场样本。
3.根据权利要求1或2所述的方法，其特征在于，所述预设距离为0.05米。
4.根据权利要求1所述的方法，其特征在于，还包括：
从所述人体衣物数据集中提取动态姿态下衣服点云，并获取每件衣服的第二法向信息；
根据所述标准姿态下的衣服三维点云、所述第一法向信息、所述动态姿态下衣服点云和所述第二法向信息，获取动态仿真样本；
构建动态仿真网络，其中，所述动态仿真网络以所述衣物的深度特征向量、人体形态参数、姿态参数以及空间坐标作为输入，以所述空间坐标在所述姿态参数下仿真后的目标坐标位置作为输出；
根据所述动态仿真样本训练所述动态仿真网络；
以标准姿态衣服三维模型作为输入，利用训练好的所述动态仿真网络生成任意姿态下的衣服模型。
5.根据权利要求4所述的方法，其特征在于，还包括：
通过对姿态序列进行动态编辑，基于所述任意姿态下的衣服模型生成动态姿态序列下的衣服模型序列。
6.一种基于双重三维距离场的衣服处理装置，其特征在于，包括：
第一获取模块，用于从预设的人体衣物数据集中提取标准姿态下的衣服三维点云，并获取每件衣服的第一法向信息；
第一提取模块，用于根据所述衣服三维点云和所述法向信息，在三维空间中提取三维距离场点云样本；
第二提取模块，用于将所述衣服三维点云中距离边缘预设距离的点云部分剔除，再对剔除后的点云提取三维无符号距离场点云样本；
建立模块，用于根据所述三维距离场点云样本和所述三维无符号距离场点云样本，建立双重距离场样本；
第一训练模块，用于构建生成网络，基于所述双重距离场样本训练所述生成网络；其中，所述生成网络以衣物的深度特征向量和空间坐标点作为输入，以所述空间坐标点的距离场值和包络距离场值作为输出；
第二获取模块，用于获取待处理衣服的深度特征向量，通过训练好的所述生成网络获得所述待处理衣服的深度特征向量对应的双重距离场；
第三获取模块，用于基于移动立方体算法，从所述双重距离场中获取标准姿态下所述待处理衣服的三维模型。
7.根据权利要求6所述的装置，其特征在于，还包括：
第四获取模块，用于从所述人体衣物数据集中提取动态姿态下衣服点云，并获取每件衣服的第二法向信息；
第五获取模块，用于根据所述标准姿态下的衣服三维点云、所述第一法向信息、所述动态姿态下衣服点云和所述第二法向信息，获取动态仿真样本；
构建模块，用于构建动态仿真网络，其中，所述动态仿真网络以所述衣物的深度特征向量、人体形态参数、姿态参数以及空间坐标作为输入，以所述空间坐标在所述姿态参数下仿真后的目标坐标位置作为输出；
第二训练模块，用于根据所述动态仿真样本训练所述动态仿真网络；
生成模块，用于以标准姿态衣服三维模型作为输入，利用训练好的所述动态仿真网络生成任意姿态下的衣服模型。
8.根据权利要求7所述的装置，其特征在于，所述生成模块还用于：
通过对姿态序列进行动态编辑，基于所述任意姿态下的衣服模型生成动态姿态序列下的衣服模型序列。
9.一种计算机设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1至5中任一所述的基于双重三维距离场的衣服处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一所述的基于双重三维距离场的衣服处理方法。
CN202110311897.XA 2021-03-24 2021-03-24 基于双重三维距离场的衣服处理方法以及装置 Active CN112966390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110311897.XA CN112966390B (zh) 2021-03-24 2021-03-24 基于双重三维距离场的衣服处理方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110311897.XA CN112966390B (zh) 2021-03-24 2021-03-24 基于双重三维距离场的衣服处理方法以及装置

Publications (2)

Publication Number Publication Date
CN112966390A true CN112966390A (zh) 2021-06-15
CN112966390B CN112966390B (zh) 2022-10-28

Family

ID=76278289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110311897.XA Active CN112966390B (zh) 2021-03-24 2021-03-24 基于双重三维距离场的衣服处理方法以及装置

Country Status (1)

Country Link
CN (1) CN112966390B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706670A (zh) * 2021-08-17 2021-11-26 复旦大学 生成动态三维人体网格模型序列的方法及装置
CN117173368A (zh) * 2023-10-31 2023-12-05 杭州新畅元科技有限公司 一种人体模板动态表达方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685848A (zh) * 2018-12-14 2019-04-26 上海交通大学 一种三维点云与三维传感器的神经网络坐标变换方法
CN111914946A (zh) * 2020-08-19 2020-11-10 中国科学院自动化研究所 针对离群点移除方法的对抗样本生成方法、系统和装置
CN111968121A (zh) * 2020-08-03 2020-11-20 电子科技大学 一种基于实例嵌入与语义融合的三维点云场景分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685848A (zh) * 2018-12-14 2019-04-26 上海交通大学 一种三维点云与三维传感器的神经网络坐标变换方法
CN111968121A (zh) * 2020-08-03 2020-11-20 电子科技大学 一种基于实例嵌入与语义融合的三维点云场景分割方法
CN111914946A (zh) * 2020-08-19 2020-11-10 中国科学院自动化研究所 针对离群点移除方法的对抗样本生成方法、系统和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姜翰青等: "基于多视图深度采样的自然场景三维重建", 《计算机辅助设计与图形学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706670A (zh) * 2021-08-17 2021-11-26 复旦大学 生成动态三维人体网格模型序列的方法及装置
CN113706670B (zh) * 2021-08-17 2023-12-08 复旦大学 生成动态三维人体网格模型序列的方法及装置
CN117173368A (zh) * 2023-10-31 2023-12-05 杭州新畅元科技有限公司 一种人体模板动态表达方法、装置、设备及介质
CN117173368B (zh) * 2023-10-31 2024-01-26 杭州新畅元科技有限公司 一种人体模板动态表达方法、装置、设备及介质

Also Published As

Publication number Publication date
CN112966390B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
KR102288280B1 (ko) 영상 학습 모델을 이용한 영상 생성 방법 및 장치
CN106919899B (zh) 基于智能机器人的模仿人脸表情输出的方法和系统
CN112966390B (zh) 基于双重三维距离场的衣服处理方法以及装置
CN103310481B (zh) 一种基于模糊熵迭代的点云精简方法
JP2024522287A (ja) 三次元人体再構成方法、装置、デバイスおよび記憶媒体
CN111968165A (zh) 动态人体三维模型补全方法、装置、设备和介质
WO2006013813A1 (ja) 情報処理装置およびプログラム
CN112950769A (zh) 三维人体重建方法、装置、设备及存储介质
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质
CN105261062A (zh) 一种人物分段建模方法
CN113808277B (zh) 一种图像处理方法及相关装置
CN111784818A (zh) 生成三维人体模型的方法、装置及计算机可读存储介质
CN111709270A (zh) 一种基于深度图像的三维外形恢复和姿态估计方法和装置
CN115018959A (zh) 三维虚拟模型的驱动处理方法、装置、设备和存储介质
CN109816789B (zh) 一种基于深度神经网络的三维模型参数化方法
CN115115752A (zh) 虚拟服装的形变预测方法和装置、存储介质及电子设备
CN117237542B (zh) 基于文本的三维人体模型生成方法和装置
CN114494003A (zh) 一种联合形状变换和纹理转换的古文字生成方法
CN110047145A (zh) 基于深度学习和有限元建模的组织变形模拟系统及方法
CN111882659B (zh) 一种融合人体脚型规律和可视外壳的高精度人体脚型重建方法
CN115482557B (zh) 人体图像生成方法、系统、设备及存储介质
CN107644686A (zh) 基于虚拟现实的医学数据采集系统及方法
CN108256578A (zh) 一种灰度图像的识别方法、装置、设备及可读存储介质
CN112907733A (zh) 重建三维模型的方法及装置和三维模型采集及重建系统
CN116029912A (zh) 图像处理模型的训练、图像处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221221

Address after: Room 3346, Floor 3, International Innovation Expo Center, No. 267, Kejiyuan Road, Baiyang Street, Qiantang District, Hangzhou, Zhejiang 310020

Patentee after: Hangzhou Xinchangyuan Technology Co.,Ltd.

Address before: 100084 Tsinghua Yuan, Beijing, Haidian District

Patentee before: TSINGHUA University