CN114998405A - 基于图像驱动的数字化人体模型构建方法 - Google Patents
基于图像驱动的数字化人体模型构建方法 Download PDFInfo
- Publication number
- CN114998405A CN114998405A CN202210790323.XA CN202210790323A CN114998405A CN 114998405 A CN114998405 A CN 114998405A CN 202210790323 A CN202210790323 A CN 202210790323A CN 114998405 A CN114998405 A CN 114998405A
- Authority
- CN
- China
- Prior art keywords
- image
- human body
- model
- neural network
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于图像驱动的数字化人体模型构建方法,包括使用成像设备进行人体拍摄,得到人体在不同姿势下的图像;将得到的图像与标准化的人体参数化模型进行对齐,得到对齐后的形状姿势参数;构建初始神经网络并进行训练,得到将对齐后的模型图像向三维模型转换的神经网络;将拍摄得到的单视角RGB‑D序列导入训练后的神经网络中得到动态人体三维模型序列。
Description
技术领域
本申请涉及计算机视觉与计算机图形学领域,特别涉及基于图像驱动的数字化人体模型构建方法。
背景技术
单视角人体动态重建是计算机图形学和计算机视觉领域的重点问题。高质量的人体重建序列在影视娱乐、人体数字化等领域有着广泛的应用前景和重要的应用价值。但是高质量、高拟真度的人体动态序列获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统对人体建模来实现。
虽然效果较为真实,但是也显著存在着一些缺点:第一,设备复杂,这些方法往往需要多相机阵列的搭建;第二,建模速度慢,重建一个三维人体模型往往需要至少10分钟到数小时的时间,而重建人体动态序列则需要更久的时间。
发明内容
本申请实施例提出了基于图像驱动的数字化人体模型构建方法,借助单个RGBD相机的拍摄数据即可在实际应用中方便地生成人体动态模型序列,简化了建模所需的设备规模;同时由于处理数据的规模减少,因此也缩短了建模时长。
具体的,本申请实施例提出的基于图像驱动的数字化人体模型构建方法,包括:
S1,使用成像设备进行人体拍摄,得到人体在不同姿势下的图像;
S2,将得到的图像与标准化的人体参数化模型进行对齐,得到对齐后的形状姿势参数;
S3,构建初始神经网络并进行训练,结合已得到的形状姿势参数得到将对齐后的模型图像向三维模型转换的神经网络;
S4,将拍摄得到的单视角RGB-D序列导入训练后的神经网络中得到动态人体三维模型序列。
可选的,所述S2包括:
S21,构建对应人体参数化模型的能量函数;
S22,对能量函数进行最优化求解,得到对应人体参数化模型的形状姿势参数。
可选的,所述S21包括:
可选的,所述S3包括:
S32,建立对应神经网络的损失函数表达式,对表达式进行求解,得到损失最小情况下的神经网络。
可选的,所述S31包括:
可选的,所述S32包括:
通过图像和扫描模型数据进行端到端的训练,其损失函数定义为
可选的,所述S4包括:
S41,将单视角RGB-D序列按深度信息逐步导入训练后的神经网络中;
S42,在神经网络中按深度信息对图像中的RGB信息进行转换,得到与姿势相关的动态数据序列。
有益效果:
通过构建图像到三维模型转换的神经网络,代替了现有技术中使用大量样本图像构建人体三维模型的复杂方案,同时由于仅需使用单个相机拍摄的RGB-D图像序列,代替现有技术中使用多相机阵列构成的图像采集系统,从而在大幅简化系统结构的同时也降低了构建成本。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提出的基于图像驱动的数字化人体模型构建方法的流程图。
具体实施方式
为使本申请的结构和优点更加清楚,下面将结合附图对本申请的结构作进一步地描述。
本申请实施例提出一种图像驱动的数字人体化身模型构建方法,应用于单视角人体动态重建,相较于其他重建方法,该方法可以重建更加动态、并且与姿势相关的人体动态模型序列。
具体的,本申请实施例提出的基于图像驱动的数字化人体模型构建方法,如图1所示,包括:
S1,使用成像设备进行人体拍摄,得到人体在不同姿势下的图像;
S2,将得到的图像与标准化的人体参数化模型进行对齐,得到对齐后的形状姿势参数;
S3,构建初始神经网络并进行训练,结合已得到的形状姿势参数得到将对齐后的模型图像向三维模型转换的神经网络;
S4,将拍摄得到的单视角RGB-D序列导入训练后的神经网络中得到动态人体三维模型序列。
在实施中,基于密集多视点相机系统采集人体多个姿势下的三维模型,基于深度学习的方法构建单视角图像到模型的映射关系,在使用过程中只需输入单视角RGBD图像序列,神经网络就会推测出动态连续的人体三维模型序列。该方法主要包括以下步骤:使用包括多相机系统或扫描仪等设备在内的成像设备对单个人体采集不同姿势下的高质量模型;然后对每个模型对齐人体参数化模型;随后构建从图像到模型映射的神经网络,并对进行网络训练;训练完成后,可以获得一个训练好的、由图像驱动的端到端的映射网络;最后,可以通过同一人体拍摄的单视角RGBD序列生成与之对应的动态人体三维模型序列。
在实际应用过程中,通过同一人体拍摄的单视角RGBD序列生成与之对应的动态人体三维模型序列,并且该序列具有姿势相关的动态几何细节。
根据本发明实施例的图像驱动的人体三维模型,利用多相机系统或扫描仪获得同一人体的不同姿势下的模型,通过神经网络建立图像到模型的映射关系,在实际应用中可以方便快捷地仅适用单个RGBD图像即可重建相应的动态人体三维模型序列。该方法所需的输入信息非常容易采集,拥有广阔的应用前景,可以在PC机或工作站等硬件系统上快速实现。
可选的,所述S2包括:
S21,构建对应人体参数化模型的能量函数;
S22,对能量函数进行最优化求解,得到对应人体参数化模型的形状姿势参数。
在实施中,步骤S2用于确定步骤S1中图像对应的不同的形状参数以及姿势参数。由于每张图像对应的形状参数和姿势参数会对后续神经网络优化过程产生重要影响,因此在本步骤中需要借助能量函数进行计算。
具体的,S21包括:
在实施中,这里的能量函数包含姿势函数表达式和形状参数表达式,后两个函数表达式分别通过范数、绝对值的方式进行求解。
为了构建图像到三维模型映射的神经网络,对应的执行步骤S3包括:
S32,建立对应神经网络的损失函数表达式,对表达式进行求解,得到损失最小情况下的神经网络。
在实施中,需要对图像进行编码,采用卷积神经网络提取输入图像的特征图;此
外,在参数化人体模型上采样个节点,每个节点定义一个局部编码器来编码空间点的位置
信息以及当前人体姿势信息,用多层感知器(MLP)来表示。
具体的,构建神经网络的步骤S31包括:
可选的,所述S32包括:
通过图像和扫描模型数据进行端到端的训练,其损失函数定义为
可选的,所述S4包括:
S41,将单视角RGB-D序列按深度信息逐步导入训练后的神经网络中;
S42,在神经网络中按深度信息对图像中的RGB信息进行转换,得到与姿势相关的动态数据序列。
训练完成后,获得一个训练好的、由图像驱动的端到端的映射网络,在实际应用过程中,通过同一人体拍摄的单视角RGBD序列生成与之对应的动态人体三维模型序列,并且该序列具有姿势相关的动态几何细节。
以上所述仅为本申请的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (7)
1.基于图像驱动的数字化人体模型构建方法,其特征在于,所述方法包括:
S1,使用成像设备进行人体拍摄,得到人体在不同姿势下的图像;
S2,将得到的图像与标准化的人体参数化模型进行对齐,得到对齐后的形状姿势参数;
S3,构建初始神经网络并进行训练,结合已得到的形状姿势参数得到将对齐后的模型图像向三维模型转换的神经网络;
S4,将拍摄得到的单视角RGB-D序列导入训练后的神经网络中得到动态人体三维模型序列。
2.根据权利要求1所述的基于图像驱动的数字化人体模型构建方法,其特征在于,所述S2包括:
S21,构建对应人体参数化模型的能量函数;
S22,对能量函数进行最优化求解,得到对应人体参数化模型的形状姿势参数。
7.根据权利要求1所述的基于图像驱动的数字化人体模型构建方法,其特征在于,所述S4包括:
S41,将单视角RGB-D序列按深度信息逐步导入训练后的神经网络中;
S42,在神经网络中按深度信息对图像中的RGB信息进行转换,得到与姿势相关的动态数据序列。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210790323.XA CN114998405A (zh) | 2022-07-06 | 2022-07-06 | 基于图像驱动的数字化人体模型构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210790323.XA CN114998405A (zh) | 2022-07-06 | 2022-07-06 | 基于图像驱动的数字化人体模型构建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114998405A true CN114998405A (zh) | 2022-09-02 |
Family
ID=83020487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210790323.XA Pending CN114998405A (zh) | 2022-07-06 | 2022-07-06 | 基于图像驱动的数字化人体模型构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114998405A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115937374A (zh) * | 2022-12-27 | 2023-04-07 | 北京元起点信息科技有限公司 | 一种数字人体建模方法、装置、设备及介质 |
-
2022
- 2022-07-06 CN CN202210790323.XA patent/CN114998405A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115937374A (zh) * | 2022-12-27 | 2023-04-07 | 北京元起点信息科技有限公司 | 一种数字人体建模方法、装置、设备及介质 |
CN115937374B (zh) * | 2022-12-27 | 2023-11-07 | 北京元起点信息科技有限公司 | 一种数字人体建模方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111462329B (zh) | 一种基于深度学习的无人机航拍影像的三维重建方法 | |
CN112465955B (zh) | 一种动态人体三维重建和视角合成方法 | |
CN114666564B (zh) | 一种基于隐式神经场景表示进行虚拟视点图像合成的方法 | |
CN112330795B (zh) | 基于单张rgbd图像的人体三维重建方法及系统 | |
CN113762147B (zh) | 人脸表情迁移方法、装置、电子设备及存储介质 | |
CN115484410B (zh) | 基于深度学习的事件相机视频重建方法 | |
Chen et al. | Single-image super-resolution using multihypothesis prediction | |
CN113962858A (zh) | 一种多视角深度获取方法 | |
CN112950475A (zh) | 一种基于残差学习及空间变换网络的光场超分辨率重建方法 | |
Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
CN109949217A (zh) | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 | |
CN113096239A (zh) | 一种基于深度学习的三维点云重建方法 | |
CN116721207A (zh) | 基于Transformer模型的三维重建方法、装置、设备及存储介质 | |
CN116778063A (zh) | 一种基于特征纹理网格和哈希编码的快速虚拟视点合成方法及装置 | |
CN114998405A (zh) | 基于图像驱动的数字化人体模型构建方法 | |
CN115375838A (zh) | 一种基于无人机的双目灰度图像的三维重建方法 | |
Waizenegger et al. | Real-time patch sweeping for high-quality depth estimation in 3D video conferencing applications | |
CN114429531A (zh) | 虚拟视点图像的生成方法及装置 | |
CN116957931A (zh) | 一种基于神经辐射场的相机图像画质提升方法 | |
CN115937374B (zh) | 一种数字人体建模方法、装置、设备及介质 | |
CN113920270B (zh) | 一种基于多视角全景的布局重建方法及其系统 | |
CN116703719A (zh) | 一种基于人脸3d先验信息的人脸超分辨率重建装置及方法 | |
CN113486928B (zh) | 一种基于有理多项式模型可微分张量表达的多视影像对齐方法 | |
CN115330935A (zh) | 一种基于深度学习的三维重建方法及系统 | |
CN114723915A (zh) | 一种基于多视红外的稠密点云生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |