CN116524132A - 由单张人体图像生成人体浮雕的建模方法及系统 - Google Patents

由单张人体图像生成人体浮雕的建模方法及系统 Download PDF

Info

Publication number
CN116524132A
CN116524132A CN202310528023.9A CN202310528023A CN116524132A CN 116524132 A CN116524132 A CN 116524132A CN 202310528023 A CN202310528023 A CN 202310528023A CN 116524132 A CN116524132 A CN 116524132A
Authority
CN
China
Prior art keywords
human body
relief
height
image
height field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310528023.9A
Other languages
English (en)
Inventor
张玉伟
孙华辉
刘延庆
杨洪广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202310528023.9A priority Critical patent/CN116524132A/zh
Publication of CN116524132A publication Critical patent/CN116524132A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了由单张人体图像生成人体浮雕的建模方法及系统，属于计算机图形学的几何建模技术领域，要解决的技术问题为如何通过单张图像生成高质量人体浮雕模型，无需手工交互。包括如下步骤：采集多个具有颜色纹理贴图的3D人体模型，对于每个3D人体模型，将3D人体模型朝不同方向投影，得到像素对齐的人体遮罩图、彩色人体图像和人体浮雕高度场；基于3D人体模型以及其在每个投影方向下的彩色人体图像、人体遮罩图和人体浮雕高度场构建训练样本，汇总训练样本构建人体浮雕数据集；基于人体浮雕数据集对所述人体浮雕映射模型进行模型训练，得到训练后人体浮雕映射模型；通过所述训练后的人体浮雕模型预测输出人体浮雕高度场。

Description

由单张人体图像生成人体浮雕的建模方法及系统
技术领域
本发明涉及计算机图形学的几何建模技术领域，具体地说是由单张人体图像生成人体浮雕的建模方法及系统。
背景技术
人体浮雕广泛应用于硬币奖章、建筑装潢等领域，现有人体浮雕建模借助商业软件以手工雕刻为主，费事、费力。
如何通过单张图像生成高质量人体浮雕模型，无需手工交互，是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供由单张人体图像生成人体浮雕的建模方法及系统，来解决如何通过单张图像生成高质量人体浮雕模型，无需手工交互的技术问题。
第一方面，本发明一种由单张人体图像生成人体浮雕的建模方法，基于构建的人体浮雕数据集，通过深度神经网络实现单张彩色人体图像到人体浮雕高度场的端到端映射，所述方法包括如下步骤：
采集多个具有颜色纹理贴图的3D人体模型，对于每个3D人体模型，将所述3D人体模型朝不同方向投影，得到在每个投影方向下的人体遮罩图、彩色人体图像和人体高度场，并将所述人体高度场进行几何优化，将人体高度场转化为人体浮雕高度场，得到像素对齐的人体遮罩图、彩色人体图像和人体浮雕高度场；
对于每个3D人体模型，基于所述3D人体模型以及其在每个投影方向下的彩色人体图像、人体遮罩图和人体浮雕高度场构建训练样本，汇总所有训练样本构建人体浮雕数据集；
基于U型编码-解码架构构建人体浮雕映射模型，所述人体浮雕映射模型用于以彩色人体图像和人体遮罩图为输入，预测输出人体浮雕高度场；
基于所述人体浮雕数据集对所述人体浮雕映射模型进行模型训练，得到训练后人体浮雕映射模型；
对于待建模的彩色人体图像，提取所述彩色人体图像的人体遮罩图，以所述彩色人体图像和对应的人体遮罩图为输入，通过所述训练后的人体浮雕模型预测输出人体浮雕高度场。
作为优选，所述3D人体模型包括单人3D人体模型和多人3D人体模型；
对于每个3D人体模型，在OpenGL环境中将所述3D人体模型朝不同方向投影，得到每个投影方向下的人体遮罩图和渲染图，同时采样每个投影方向下的人体高度场；
其中，投影方向在单位球空间内选择；
对人体高度场进行几何优化，将人体高度场转化为人体浮雕高度场，包括如下步骤：
将人体高度场内人体轮廓像素点从初始高度位置偏移到背景平面，并以轮廓像素点的偏移值为输入条件求解如下线性方程：
L·ΔD＝0
其中，L为高度场拉普拉斯算子，ΔD为求解后人体高度场内部像素点的高度偏移值；
将每个像素点高度偏移值与求解前的高度值相加，得到新的人体高度场D′，求解过程中背景平面像素点高度值求解前后保持不变；
对新的人体高度场D′进行线性压缩，线性表达式为：
D*＝α·D′
其中，α为高度场压缩系数，用于调节人体浮雕整体厚度；
构造高度场几何优化能量方程生成人体浮雕，所述高度场几何优化能量方程表示为：
求高度场几何优化能量方程等价求解如下方程：
ΔH+μ·H＝divG+μ·D*
其中，H为待求解的浮雕高度场，divG为初始高度场D的散度，μ为高度层次保持系数。
作为优选，所述人体浮雕映射模型包括四个输入通道和一个输出通道，所述四个输入通道中，其中三个输入通道用于输入彩色人体图像、另外一个输入通道用于输入人体遮罩图，所述一个输出通道用于输出预测的人体浮雕高度场；
所述人体浮雕映射模型包括编码器和解码器，所述编码器用于对通过四个输入通道输入的彩色人体图像和人体遮罩图进行卷积和池化操作，得到人体特征图；
所述解码器用于对人体特征图进行卷积、上采样和特征图串联操作，并通过输出通道输出人体浮雕高度场。
作为优选，基于所述人体浮雕数据集对所述人体浮雕映射模型进行模型训练，包括如下步骤；
将人体浮雕数据集中彩色人体图像和对应的人体遮罩图为输入，对所述人体浮雕映射模型进行模型训练，通过人体浮雕映射模型输出预测的人体浮雕高度场；
设定预测的人体浮雕高度场为d′，实际人体浮雕高度场为d，在进行模型训练时，第i行第j列像素点的高度梯度通过如下公式计算得到：
其中，step表示相邻像素点之间的距离；
通过如下公式计将高度梯度转化为高度法向：
其中，nxi,j,nyi,j,nzi,j表示像素点(i,j)法向在x,y,z三个方向上的分量；
基于人体浮雕高度场中像素点的法向损失和高度损失构建损失函数，通过损失函数最小化对所述人体浮雕映射模型进行模型训练，所述损失函数定义为：
L＝Ln+β·Ld
其中，β为法向损失项Ln和高度损失项Ld的平衡系数；
法向损失项Ln定义为预测法向分量和真实法向分量的误差平方和：
高度损失项Ld定义为预测高度和真实高度的误差平方和：
其中，M为人体浮雕高度场的行数/列数。
作为优选，对于待建模的彩色人体图像，通过对所述彩色人体图像进行抠图、并保存为单通道二值图像的方式，得到人体遮罩图。
第二方面，本发明一种由单张人体图像生成人体浮雕的建模系统，执行如第一方面任一项所述的方法，所述系统包括人体浮雕数据集构建模块、人体浮雕映射模型训练模块以及人体浮雕高度场预测模块：
其中，所述人体浮雕数据集构建模块用于执行如下：
采集多个具有颜色纹理贴图的3D人体模型，对于每个3D人体模型，将所述3D人体模型朝不同方向投影，得到在每个投影方向下的人体遮罩图、彩色人体图像和人体高度场，并将所述人体高度场进行几何优化，将人体高度场转化为人体浮雕高度场，得到像素对齐的人体遮罩图、彩色人体图像和人体浮雕高度场；
对于每个3D人体模型，基于所述3D人体模型以及其在每个投影方向下的彩色人体图像、人体遮罩图和人体浮雕高度场构建训练样本，汇总所有训练样本构建人体浮雕数据集；
其中，所述人体浮雕映射模型训练模块用于执行如下：
基于U型编码-解码架构构建人体浮雕映射模型，所述人体浮雕映射模型用于以彩色人体图像和人体遮罩图为输入，预测输出人体浮雕高度场；
基于所述人体浮雕数据集对所述人体浮雕映射模型进行模型训练，得到训练后人体浮雕映射模型；
其中，所述人体浮雕高度场预测模块用于执行如下：对于待建模的彩色人体图像，提取所述彩色人体图像的人体遮罩图，以所述彩色人体图像和对应的人体遮罩图为输入，通过所述训练后的人体浮雕模型预测输出人体浮雕高度场。
作为优选，所述3D人体模型包括单人3D人体模型和多人3D人体模型；
对于每个3D人体模型，在OpenGL环境中将所述3D人体模型朝不同方向投影，得到每个投影方向下的人体遮罩图和渲染图，同时采样每个投影方向下的人体高度场；
其中，投影方向在单位球空间内选择；
所述人体浮雕数据集构建模块用于执行如下对人体高度场进行几何优化：
将人体高度场内人体轮廓像素点从初始高度位置偏移到背景平面，并以轮廓像素点的偏移值为输入条件求解如下线性方程：
L·ΔD＝0
其中，L为高度场拉普拉斯算子，ΔD为求解后人体高度场内部像素点的高度偏移值；
将每个像素点高度偏移值与求解前的高度值相加，得到新的人体高度场D′，求解过程中背景平面像素点高度值求解前后保持不变；
对新的人体高度场D′进行线性压缩，线性表达式为：
D*＝α·D′
其中，α为高度场压缩系数，用于调节人体浮雕整体厚度；
构造高度场几何优化能量方程生成人体浮雕，所述高度场几何优化能量方程表示为：
求高度场几何优化能量方程等价求解如下方程：
ΔH+μ·H＝divG+μ·D*
其中，H为待求解的浮雕高度场，divG为初始高度场D的散度，μ为高度层次保持系数。
作为优选，所述人体浮雕映射模型包括四个输入通道和一个输出通道，所述四个输入通道中，其中三个输入通道用于输入彩色人体图像、另外一个输入通道用于输入人体遮罩图，所述一个输出通道用于输出预测的人体浮雕高度场；
所述人体浮雕映射模型包括编码器和解码器，所述编码器用于对通过四个输入通道输入的彩色人体图像和人体遮罩图进行卷积和池化操作，得到人体特征图；
所述解码器用于对人体特征图进行卷积、上采样和特征图串联操作，并通过输出通道输出人体浮雕高度场.
作为优选，所述人体浮雕模型训练模块用于执行如下对所述人体浮雕映射模型进行模型训练；
将人体浮雕数据集中彩色人体图像和对应的人体遮罩图为输入，对所述人体浮雕映射模型进行模型训练，通过人体浮雕映射模型输出预测的人体浮雕高度场；
设定预测的人体浮雕高度场为d′，实际人体浮雕高度场为d，在进行模型训练时，第i行第j列像素点的高度梯度通过如下公式计算得到：
其中，step表示相邻像素点之间的距离；
通过如下公式计将高度梯度转化为高度法向：
其中，nxi,j,nyi,j,nzi,j表示像素点(i,j)法向在x,y,z三个方向上的分量；
基于人体浮雕高度场中像素点的法向损失和高度损失构建损失函数，通过损失函数最小化对所述人体浮雕映射模型进行模型训练，所述损失函数定义为：
L＝Ln+β·Ld
其中，β为法向损失项Ln和高度损失项Ld的平衡系数；
法向损失项Ln定义为预测法向分量和真实法向分量的误差平方和：
高度损失项Ld定义为预测高度和真实高度的误差平方和：
其中，M为人体浮雕高度场的行数/列数。
作为优选，对于待建模的彩色人体图像，所述人体浮雕高度场预测模块用于通过对所述彩色人体图像进行抠图、并保存为单通道二值图像的方式，得到人体遮罩图。
本发明的由单张人体图像生成人体浮雕的建模方法及系统具有以下优点：以具有颜色纹理贴图的3D人体模型为输入，构建大型人体浮雕数据集，设计了U型卷积神经网络，以数据集样本作为监督信号对神经网络进行训练，实现单张图像到人体浮雕高度场的端到端映射，仅需单张图像即可快速生成高质量人体浮雕模型，无须手工交互，既可以用于单人浮雕建模，也可用于具备复杂遮挡关系的多人体浮雕建模，实现了智能人体浮雕建模。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
图1为实施例1由单张人体图像生成人体浮雕的建模方法的流程框图；
图2为实施例1由单张人体图像生成人体浮雕的建模方法中人体浮雕数据集中彩色人体图像、人体遮罩图和人体浮雕图像的示意图；
图3为实施例1由单张人体图像生成人体浮雕的建模方法中单张图像到人体浮雕的神经网络架构；
图4为实施例1由单张人体图像生成人体浮雕的建模方法中单张图像智能人体浮雕建模效果图；
其中，图2中，A表示彩色人体图像，B表示人体遮罩图，C表示人体浮雕图像。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
本发明实施例提供由单张人体图像生成人体浮雕的建模方法及系统，用于解决如何通过单张图像生成高质量人体浮雕模型，无需手工交互的技术问题。
实施例1：
本发明一种由单张人体图像生成人体浮雕的建模方法，基于构建的人体浮雕数据集，通过深度神经网络实现单张彩色人体图像到人体浮雕高度场的端到端映射，该方法包括如下步骤：
S100、采集多个具有颜色纹理贴图的3D人体模型，对于每个3D人体模型，将所述3D人体模型朝不同方向投影，得到在每个投影方向下的人体遮罩图、彩色人体图像和人体高度场，并将所述人体高度场进行几何优化，将人体高度场转化为人体浮雕高度场，得到像素对齐的人体遮罩图、彩色人体图像和人体浮雕高度场；
对于每个3D人体模型，基于所述3D人体模型以及其在每个投影方向下的彩色人体图像、人体遮罩图和人体浮雕高度场构建训练样本，汇总所有训练样本构建人体浮雕数据集；
S200、基于U型编码-解码架构构建人体浮雕映射模型，所述人体浮雕映射模型用于以彩色人体图像和人体遮罩图为输入，预测输出人体浮雕高度场；
基于所述人体浮雕数据集对所述人体浮雕映射模型进行模型训练，得到训练后人体浮雕映射模型；
S300、对于待建模的彩色人体图像，提取所述彩色人体图像的人体遮罩图，以所述彩色人体图像和对应的人体遮罩图为输入，通过所述训练后的人体浮雕模型预测输出人体浮雕高度场。
本实施例中3D人体模型包括单人3D人体模型和多人3D人体模型。对应的，待建模的彩色人体图像可以是单人的也可以是多人的。
步骤S100为人体浮雕数据集构建，该步骤以具有色彩纹理的3D人体模型为输入，通过不同角度投影生成彩色人体图像、遮罩图和人体高度场，然后将人体高度场通过几何优化转化为人体浮雕高度场，具体实现方法如下：
(1)搜集具有不同光照环境、人体姿态和衣服纹理的3D人体模型，包括单人3D人体模型852个，多人3D人体模型91个；
对于同一3D人体模型，在OpenGL环境中将3D人体朝不同方向投影，得到该投影方向下的人体遮罩图和彩色人体图像，同时采样该投影方向下的人体高度场；
本实施例中，投影方向在单位球空间内进行选择，经度方向±45°范围内每隔5°、纬度方向±10°范围内每隔10°进行投影，总共投影得到66899组数据样本，每一组均包含像素对齐的彩色人体图像、遮罩图和人体高度场，投影分辨率为768*768；
(2)对人体高度场进行几何优化，将其转化为人体浮雕高度场，由于人体姿态复杂多样，采样后的初始人体高度场D在边缘遮挡处存在大尺度非连续特征，而浮雕高度范围有限，需要对非连续特征进行特别处理，以下通过两步操作进行高度场几何优化：
第一步，将人体轮廓像素点从初始高度位置偏移到背景平面，并以轮廓像素点的偏移值为输入条件求解线性方程：L·ΔD＝0，其中L为高度场拉普拉斯算子，ΔD为求解后人体高度场内部像素点的高度偏移值；
求解完毕后，将每个像素点高度偏移值与求解前的高度值相加，得到新的人体高度场D′，求解过程中背景平面像素点高度值求解前后保持不变；
此步操作可以最大限度保持人体高度层次的合理性，防止高度场过度变形；
第二步，对新的人体高度场D′进行线性压缩D*＝α·D′，其中α为高度场压缩系数，用于调节人体浮雕整体厚度；
接着，构造以下高度场几何优化能量方程生成人体浮雕：
求解高度场几何优化能量方程等价于求解如下方程：
ΔH+μ·H＝divG+μ·D*
其中，H为待求解的浮雕高度场，divG为初始高度场D的散度，μ为高度层次保持系数，求解之前，α设置为0.1，μ设置为0.01。
在每一个初始人体高度场D上进行以上两步操作，最终构建的人体浮雕数据集除彩色人体图像和遮罩图之外，还包含像素对齐的人体浮雕数据样本。图2展示了数据集内同一3D人体模型不同映射角度下的数据样本示例效果。
步骤S200中，人体浮雕映射模型包括四个输入通道和一个输出通道，四个输入通道中，其中三个输入通道用于输入彩色人体图像、另外一个输入通道用于输入人体遮罩图，所述一个输出通道用于输出预测的人体浮雕高度场。人体浮雕映射模型包括编码器和解码器，编码器用于对通过四个输入通道输入的彩色人体图像和人体遮罩图进行卷积和池化操作，得到人体特征图；解码器用于对人体特征图进行卷积、上采样和特征图串联操作，并通过输出通道输出人体浮雕高度场。
如图3所示，左侧网络输入为4个通道，包含3个通道彩色人体图像和1个通道人体遮罩图，右侧输出为1个通道人体浮雕高度场，输入输出分辨率均为768*768。左侧的编码器部分，图像经过卷积、池化等多模块操作，分辨率依次降低，通道数依此增加。右侧解码器部分，特征图通过卷积、上采样、特征图串联等多模块操作，分辨率恢复到768*768。
本实施例中，使用构建好的人体浮雕数据集对上人体浮雕映射模型进行训练。具体执行如下：
假设预测的浮雕高度场为d′，真实浮雕高度场为d，模型练时，第i行第j列(i＝1,2…768,j＝1,2…768)像素点的高度梯度通过公式1计算得到：
其中step为相邻像素点之间的距离，本实施例将浮雕定义在[-1,1]长度和宽度范围之内，因此step＝2.0/767≈0.0026；
接着，通过公式2将高度梯度转化为高度法向：
其中，nxi,j,nyi,j,nzi,j为像素点(i,j)法向在x,y,z三个方向上的分量；
基于人体浮雕高度场中像素点的法向损失和高度损失构建损失函数，通过损失函数最小化对所述人体浮雕映射模型进行模型训练，网络训练的损失函数定义为：
L＝Ln+β·Ld
其中，β为法向损失项Ln和高度损失项Ld的平衡系数；
法向损失项Ln定义为预测法向分量和真实法向分量的误差平方和，如公式3：
高度损失项Ld定义为预测高度和真实高度的误差平方和，如公式4：
步骤S300中，以单张人体图像为输入进行智能人体浮雕建模时，需要提前生成人体遮罩图(任意抠图方法即可，保存为单通道二值图像)，然后与人体图像一起输入训练后的人体浮雕映射模型。采用以上方法，人体浮雕建模效果如图4所示。
本实施例的方法，以具有颜色纹理贴图的3D人体模型为输入，构建大型人体浮雕数据集；设计了U型卷积神经网络，以数据集样本作为监督信号对神经网络进行训练，实现单张图像到人体浮雕高度场的端到端映射。本实施例的方法仅需单张图像即可快速生成高质量人体浮雕模型，无须手工交互，既可以用于单人浮雕建模，也可用于具备复杂遮挡关系的多人体浮雕建模。
实施例2：
本发明一种由单张人体图像生成人体浮雕的建模系统，包括人体浮雕数据集构建模块、人体浮雕映射模型训练模块以及人体浮雕高度场预测模块，该系统可执行实施例1公开的方法，用于基于构建的人体浮雕数据集，通过深度神经网络实现单张彩色人体图像到人体浮雕高度场的端到端映射。
人体浮雕数据集构建模块用于执行如下：
(1)采集多个具有颜色纹理贴图的3D人体模型，对于每个3D人体模型，将所述3D人体模型朝不同方向投影，得到在每个投影方向下的人体遮罩图、彩色人体图像和人体高度场，并将所述人体高度场进行几何优化，将人体高度场转化为人体浮雕高度场，得到像素对齐的人体遮罩图、彩色人体图像和人体浮雕高度场；
(2)对于每个3D人体模型，基于所述3D人体模型以及其在每个投影方向下的彩色人体图像、人体遮罩图和人体浮雕高度场构建训练样本，汇总所有训练样本构建人体浮雕数据集。
本实施例中，3D人体模型包括单人3D人体模型和多人3D人体模型；对应的，待建模的彩色人体图像可以是单人的也可以是多人的。
作为人体浮雕数据集构建模块的具体实施，该模块以具有颜色纹理贴图的3D人体模型为输入，通过不同角度投影生成彩色人体图像、遮罩图和人体高度场，然后将人体高度场通过几何优化转化为人体浮雕，具体用于执行如下的操作：
(1)搜集具有不同光照环境、人体姿态和衣服纹理的3D人体模型，包括单人3D人体模型852个，多人3D人体模型91个；
对于同一3D人体模型，在OpenGL环境中将3D人体朝不同方向投影，得到该投影方向下的人体遮罩图和彩色人体图像，同时采样该投影方向下的人体高度场；
本实施例中，投影方向在单位球空间内进行选择，经度方向±45°范围内每隔5°、纬度方向±10°范围内每隔10°进行投影，总共投影得到66899组数据样本，每一组均包含像素对齐的彩色人体图像、遮罩图和人体高度场，投影分辨率为768*768；
(2)对人体高度场进行几何优化，将其转化为人体浮雕高度场，由于人体姿态复杂多样，采样后的初始人体高度场D在边缘遮挡处存在大尺度非连续特征，而浮雕高度范围有限，需要对非连续特征进行特别处理，以下通过两步操作进行高度场几何优化：
第一步，将人体轮廓像素点从初始高度位置偏移到背景平面，并以轮廓像素点的偏移值为输入条件求解线性方程：L·ΔD＝0，其中L为高度场拉普拉斯算子，ΔD为求解后人体高度场内部像素点的高度偏移值；
求解完毕后，将每个像素点高度偏移值与求解前的高度值相加，得到新的人体高度场D′，求解过程中背景平面像素点高度值求解前后保持不变；
此步操作可以最大限度保持人体高度层次的合理性，防止高度场过度变形；
第二步，对新的人体高度场D′进行线性压缩D*＝α·D′，其中α为高度场压缩系数，用于调节人体浮雕整体厚度；
接着，构造以下高度场几何优化能量方程生成人体浮雕：
求解高度场几何优化能量方程等价于求解如下方程：
ΔH+μ·H＝divG+μ·D*
其中，H为待求解的浮雕高度场，divG为初始高度场D的散度，μ为高度层次保持系数，求解之前，α设置为0.1，μ设置为0.01。
在每一个初始人体高度场D上进行以上两步操作，最终构建的人体浮雕数据集除彩色人体图像和遮罩图之外，还包含像素对齐的人体浮雕数据样本。
人体浮雕映射模型训练模块用于执行如下：
(1)基于U型编码-解码架构构建人体浮雕映射模型，所述人体浮雕映射模型用于以彩色人体图像和人体遮罩图为输入，预测输出人体浮雕高度场；
(2)基于所述人体浮雕数据集对所述人体浮雕映射模型进行模型训练，得到训练后人体浮雕映射模型。
本实施例中，人体浮雕映射模型包括四个输入通道和一个输出通道，四个输入通道中，其中三个输入通道用于输入彩色人体图像、另外一个输入通道用于输入人体遮罩图，所述一个输出通道用于输出预测的人体浮雕高度场。人体浮雕映射模型包括编码器和解码器，编码器用于对通过四个输入通道输入的彩色人体图像和人体遮罩图进行卷积和池化操作，得到人体特征图；解码器用于对人体特征图进行卷积、上采样和特征图串联操作，并通过输出通道输出人体浮雕高度场。
本实施例中，人体浮雕映射模型巡训练模块用于使用构建好的人体浮雕数据集对上人体浮雕映射模型进行训练。具体执行如下：
假设预测的浮雕高度场为d′，真实浮雕高度场为d，模型练时，第i行第j列(i＝1,2…768,j＝1,2…768)像素点的高度梯度通过公式1计算得到：
其中step为相邻像素点之间的距离，本实施例将浮雕定义在[-1,1]长度和宽度范围之内，因此step＝2.0/767≈0.0026；
接着，通过公式2将高度梯度转化为高度法向：
其中，nxi,j,nyi,j,nzi,j为像素点(i,j)法向在x,y,z三个方向上的分量；
基于人体浮雕高度场中像素点的法向损失和高度损失构建损失函数，通过损失函数最小化对所述人体浮雕映射模型进行模型训练，网络训练的损失函数定义为：
L＝Ln+β·Ld
其中，β为法向损失项Ln和高度损失项Ld的平衡系数；
法向损失项Ln定义为预测法向分量和真实法向分量的误差平方和，如公式3：
高度损失项Ld定义为预测高度和真实高度的误差平方和，如公式4：
人体浮雕高度场预测模块用于执行如下：对于待建模的彩色人体图像，提取所述彩色人体图像的人体遮罩图，以所述彩色人体图像和对应的人体遮罩图为输入，通过所述训练后的人体浮雕模型预测输出人体浮雕高度场。
以单张人体图像为输入进行智能人体浮雕建模时，需要提前生成人体遮罩图，本实施例中，人体浮雕高度场预测模块用于通过任意抠图方法对彩色人体图像进行抠图、并保存为单通道二值图像的方式得到人体遮罩图，然后将人体遮罩图和人体彩色图像作为输入、输入到训练后的人体浮雕映射模型，预测得到人体浮雕高度。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (10)

1.一种由单张人体图像生成人体浮雕的建模方法，其特征在于，基于构建的人体浮雕数据集，通过深度神经网络实现单张彩色人体图像到人体浮雕高度场的端到端映射，所述方法包括如下步骤：
采集多个具有颜色纹理贴图的3D人体模型，对于每个3D人体模型，将所述3D人体模型朝不同方向投影，得到在每个投影方向下的人体遮罩图、彩色人体图像和人体高度场，并将所述人体高度场进行几何优化，将人体高度场转化为人体浮雕高度场，得到像素对齐的人体遮罩图、彩色人体图像和人体浮雕高度场；
对于每个3D人体模型，基于所述3D人体模型以及其在每个投影方向下的彩色人体图像、人体遮罩图和人体浮雕高度场构建训练样本，汇总所有训练样本构建人体浮雕数据集；
基于U型编码-解码架构构建人体浮雕映射模型，所述人体浮雕映射模型用于以彩色人体图像和人体遮罩图为输入，预测输出人体浮雕高度场；
基于所述人体浮雕数据集对所述人体浮雕映射模型进行模型训练，得到训练后人体浮雕映射模型；
对于待建模的彩色人体图像，提取所述彩色人体图像的人体遮罩图，以所述彩色人体图像和对应的人体遮罩图为输入，通过所述训练后的人体浮雕模型预测输出人体浮雕高度场。
2.根据权利要求1所述的由单张人体图像生成人体浮雕的建模方法，其特征在于，所述3D人体模型包括单人3D人体模型和多人3D人体模型；
对于每个3D人体模型，在OpenGL环境中将所述3D人体模型朝不同方向投影，得到每个投影方向下的人体遮罩图和渲染图，同时采样每个投影方向下的人体高度场；
其中，投影方向在单位球空间内选择；
对人体高度场进行几何优化，将人体高度场转化为人体浮雕高度场，包括如下步骤：
将人体高度场内人体轮廓像素点从初始高度位置偏移到背景平面，并以轮廓像素点的偏移值为输入条件求解如下线性方程：
L·ΔD＝0
其中，L为高度场拉普拉斯算子，ΔD为求解后人体高度场内部像素点的高度偏移值；
将每个像素点高度偏移值与求解前的高度值相加，得到新的人体高度场D′，求解过程中背景平面像素点高度值求解前后保持不变；
对新的人体高度场D′进行线性压缩，线性表达式为：
D*＝α·D′
其中，α为高度场压缩系数，用于调节人体浮雕整体厚度；
构造高度场几何优化能量方程生成人体浮雕，所述高度场几何优化能量方程表示为：
求高度场几何优化能量方程等价求解如下方程：
ΔH+μ·H＝divG+μ·D*
其中，H为待求解的浮雕高度场，divG为初始高度场D的散度，μ为高度层次保持系数。
3.根据权利要求1所述的由单张人体图像生成人体浮雕的建模方法，其特征在于，所述人体浮雕映射模型包括四个输入通道和一个输出通道，所述四个输入通道中，其中三个输入通道用于输入彩色人体图像、另外一个输入通道用于输入人体遮罩图，所述一个输出通道用于输出预测的人体浮雕高度场；
所述人体浮雕映射模型包括编码器和解码器，所述编码器用于对通过四个输入通道输入的彩色人体图像和人体遮罩图进行卷积和池化操作，得到人体特征图；
所述解码器用于对人体特征图进行卷积、上采样和特征图串联操作，并通过输出通道输出人体浮雕高度场。
4.根据权利要求1-3任一项所述的由单张人体图像生成人体浮雕的建模方法，其特征在于，基于所述人体浮雕数据集对所述人体浮雕映射模型进行模型训练，包括如下步骤；
将人体浮雕数据集中彩色人体图像和对应的人体遮罩图为输入，对所述人体浮雕映射模型进行模型训练，通过人体浮雕映射模型输出预测的人体浮雕高度场；
设定预测的人体浮雕高度场为d′，实际人体浮雕高度场为d，在进行模型训练时，第i行第j列像素点的高度梯度通过如下公式计算得到：
其中，step表示相邻像素点之间的距离；
通过如下公式计将高度梯度转化为高度法向：
其中，nxi,j,nyi,j,nzi,j表示像素点(i,j)法向在x,y,z三个方向上的分量；
基于人体浮雕高度场中像素点的法向损失和高度损失构建损失函数，通过损失函数最小化对所述人体浮雕映射模型进行模型训练，所述损失函数定义为：
L＝Ln+β·Ld
其中，β为法向损失项Ln和高度损失项Ld的平衡系数；
法向损失项Ln定义为预测法向分量和真实法向分量的误差平方和：
高度损失项Ld定义为预测高度和真实高度的误差平方和：
其中，M为人体浮雕高度场的行数/列数。
5.根据权利要求1-3任一项所述的由单张人体图像生成人体浮雕的建模方法，其特征在于，对于待建模的彩色人体图像，通过对所述彩色人体图像进行抠图、并保存为单通道二值图像的方式，得到人体遮罩图。
6.一种由单张人体图像生成人体浮雕的建模系统，其特征在于，执行如权利要求1-5任一项所述的方法，所述系统包括人体浮雕数据集构建模块、人体浮雕映射模型训练模块以及人体浮雕高度场预测模块：
其中，所述人体浮雕数据集构建模块用于执行如下：
采集多个具有颜色纹理贴图的3D人体模型，对于每个3D人体模型，将所述3D人体模型朝不同方向投影，得到在每个投影方向下的人体遮罩图、彩色人体图像和人体高度场，并将所述人体高度场进行几何优化，将人体高度场转化为人体浮雕高度场，得到像素对齐的人体遮罩图、彩色人体图像和人体浮雕高度场；
对于每个3D人体模型，基于所述3D人体模型以及其在每个投影方向下的彩色人体图像、人体遮罩图和人体浮雕高度场构建训练样本，汇总所有训练样本构建人体浮雕数据集；
其中，所述人体浮雕映射模型训练模块用于执行如下：
基于U型编码-解码架构构建人体浮雕映射模型，所述人体浮雕映射模型用于以彩色人体图像和人体遮罩图为输入，预测输出人体浮雕高度场；
基于所述人体浮雕数据集对所述人体浮雕映射模型进行模型训练，得到训练后人体浮雕映射模型；
其中，所述人体浮雕高度场预测模块用于执行如下：对于待建模的彩色人体图像，提取所述彩色人体图像的人体遮罩图，以所述彩色人体图像和对应的人体遮罩图为输入，通过所述训练后的人体浮雕模型预测输出人体浮雕高度场。
7.根据权利要求6所述的由单张人体图像生成人体浮雕的建模系统，其特征在于，所述3D人体模型包括单人3D人体模型和多人3D人体模型；
对于每个3D人体模型，在OpenGL环境中将所述3D人体模型朝不同方向投影，得到每个投影方向下的人体遮罩图和渲染图，同时采样每个投影方向下的人体高度场；
其中，投影方向在单位球空间内选择；
所述人体浮雕数据集构建模块用于执行如下对人体高度场进行几何优化：
将人体高度场内人体轮廓像素点从初始高度位置偏移到背景平面，并以轮廓像素点的偏移值为输入条件求解如下线性方程：
L·ΔD＝O
其中，L为高度场拉普拉斯算子，ΔD为求解后人体高度场内部像素点的高度偏移值；
将每个像素点高度偏移值与求解前的高度值相加，得到新的人体高度场D′，求解过程中背景平面像素点高度值求解前后保持不变；
对新的人体高度场D′进行线性压缩，线性表达式为：
D*＝α·D
其中，α为高度场压缩系数，用于调节人体浮雕整体厚度；
构造高度场几何优化能量方程生成人体浮雕，所述高度场几何优化能量方程表示为：
求高度场几何优化能量方程等价求解如下方程：
ΔH+μ·H＝divG+μ·D*
其中，H为待求解的浮雕高度场，divG为初始高度场D的散度，μ为高度层次保持系数。
8.根据权利要求6所述的由单张人体图像生成人体浮雕的建模系统，其特征在于，所述人体浮雕映射模型包括四个输入通道和一个输出通道，所述四个输入通道中，其中三个输入通道用于输入彩色人体图像、另外一个输入通道用于输入人体遮罩图，所述一个输出通道用于输出预测的人体浮雕高度场；
所述人体浮雕映射模型包括编码器和解码器，所述编码器用于对通过四个输入通道输入的彩色人体图像和人体遮罩图进行卷积和池化操作，得到人体特征图；
所述解码器用于对人体特征图进行卷积、上采样和特征图串联操作，并通过输出通道输出人体浮雕高度场。
9.根据权利要求6-8任一项所述的由单张人体图像生成人体浮雕的建模系统，其特征在于，所述人体浮雕模型训练模块用于执行如下对所述人体浮雕映射模型进行模型训练；
将人体浮雕数据集中彩色人体图像和对应的人体遮罩图为输入，对所述人体浮雕映射模型进行模型训练，通过人体浮雕映射模型输出预测的人体浮雕高度场；
设定预测的人体浮雕高度场为d′，实际人体浮雕高度场为d，在进行模型训练时，第i行第j列像素点的高度梯度通过如下公式计算得到：
其中，step表示相邻像素点之间的距离；
通过如下公式计将高度梯度转化为高度法向：
其中，nxi,j,nyi,j,nzi,j表示像素点(i,j)法向在x,y,z三个方向上的分量；
基于人体浮雕高度场中像素点的法向损失和高度损失构建损失函数，通过损失函数最小化对所述人体浮雕映射模型进行模型训练，所述损失函数定义为：
L＝Ln+β·Ld
其中，β为法向损失项Ln和高度损失项Ld的平衡系数；
法向损失项Ln定义为预测法向分量和真实法向分量的误差平方和：
高度损失项Ld定义为预测高度和真实高度的误差平方和：
其中，M为人体浮雕高度场的行数/列数。
10.根据权利要求6-8任一项所述的由单张人体图像生成人体浮雕的建模系统，其特征在于，对于待建模的彩色人体图像，所述人体浮雕高度场预测模块用于通过对所述彩色人体图像进行抠图、并保存为单通道二值图像的方式，得到人体遮罩图。
CN202310528023.9A 2023-05-08 2023-05-08 由单张人体图像生成人体浮雕的建模方法及系统 Pending CN116524132A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310528023.9A CN116524132A (zh) 2023-05-08 2023-05-08 由单张人体图像生成人体浮雕的建模方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310528023.9A CN116524132A (zh) 2023-05-08 2023-05-08 由单张人体图像生成人体浮雕的建模方法及系统

Publications (1)

Publication Number Publication Date
CN116524132A true CN116524132A (zh) 2023-08-01

Family

ID=87404485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310528023.9A Pending CN116524132A (zh) 2023-05-08 2023-05-08 由单张人体图像生成人体浮雕的建模方法及系统

Country Status (1)

Country Link
CN (1) CN116524132A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6424351B1 (en) * 1999-04-21 2002-07-23 The University Of North Carolina At Chapel Hill Methods and systems for producing three-dimensional images using relief textures
CN108492373A (zh) * 2018-03-13 2018-09-04 齐鲁工业大学 一种人脸浮雕几何建模方法
CN109191563A (zh) * 2018-07-23 2019-01-11 齐鲁工业大学 一种2.5d人像浅浮雕建模方法及系统
CN110517333A (zh) * 2019-08-16 2019-11-29 杭州电子科技大学上虞科学与工程研究院有限公司 动态浅浮雕模型建模方法
CN110751665A (zh) * 2019-10-23 2020-02-04 齐鲁工业大学 一种由人像浮雕重建3d人像模型的方法及系统
CN111583412A (zh) * 2020-04-29 2020-08-25 齐鲁工业大学 构建书法浮雕深度学习网络的方法及构建书法浮雕的方法
CN112561797A (zh) * 2020-12-09 2021-03-26 齐鲁工业大学 花卉浮雕模型构建方法及基于线条图的花卉浮雕重建方法
CN113379890A (zh) * 2021-04-22 2021-09-10 浙江大学 一种基于单张照片的人物浅浮雕模型生成方法
CN114155358A (zh) * 2021-10-02 2022-03-08 齐鲁工业大学 人像浮雕数据集构建方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6424351B1 (en) * 1999-04-21 2002-07-23 The University Of North Carolina At Chapel Hill Methods and systems for producing three-dimensional images using relief textures
CN108492373A (zh) * 2018-03-13 2018-09-04 齐鲁工业大学 一种人脸浮雕几何建模方法
CN109191563A (zh) * 2018-07-23 2019-01-11 齐鲁工业大学 一种2.5d人像浅浮雕建模方法及系统
CN110517333A (zh) * 2019-08-16 2019-11-29 杭州电子科技大学上虞科学与工程研究院有限公司 动态浅浮雕模型建模方法
CN110751665A (zh) * 2019-10-23 2020-02-04 齐鲁工业大学 一种由人像浮雕重建3d人像模型的方法及系统
CN111583412A (zh) * 2020-04-29 2020-08-25 齐鲁工业大学 构建书法浮雕深度学习网络的方法及构建书法浮雕的方法
CN112561797A (zh) * 2020-12-09 2021-03-26 齐鲁工业大学 花卉浮雕模型构建方法及基于线条图的花卉浮雕重建方法
CN113379890A (zh) * 2021-04-22 2021-09-10 浙江大学 一种基于单张照片的人物浅浮雕模型生成方法
CN114155358A (zh) * 2021-10-02 2022-03-08 齐鲁工业大学 人像浮雕数据集构建方法

Similar Documents

Publication Publication Date Title
CN110443842B (zh) 基于视角融合的深度图预测方法
CN111583135B (zh) 一种核预测神经网络蒙特卡罗渲染图像去噪方法
CN112861729B (zh) 一种基于伪深度图引导的实时深度补全方法
CN111882002A (zh) 一种基于msf-am的低照度目标检测方法
CN112818764B (zh) 一种基于特征重建模型的低分辨率图像人脸表情识别方法
CN105046672A (zh) 一种图像超分辨率重建方法
CN113762147B (zh) 人脸表情迁移方法、装置、电子设备及存储介质
CN111476835B (zh) 多视角图像一致性的无监督深度预测方法、系统、装置
CN110533591B (zh) 基于编解码器结构的超分辨图像重建方法
CN113436237B (zh) 一种基于高斯过程迁移学习的复杂曲面高效测量系统
CN111028335A (zh) 一种基于深度学习的点云数据的分块面片重建方法
CN113822825B (zh) 基于3d-r2n2的光学建筑目标三维重建方法
CN112581626B (zh) 一种基于非参数化和多注意力机制的复杂曲面测量系统
CN111222453A (zh) 基于密集连接和几何结构约束的遥感影像变化检测方法
CN116524132A (zh) 由单张人体图像生成人体浮雕的建模方法及系统
CN117237663A (zh) 一种大感受野的点云修复方法
CN115849202B (zh) 基于数字孪生技术的智能起重机操作目标识别方法
CN112017159A (zh) 一种遥感场景下的地面目标真实感仿真方法
CN111274901A (zh) 一种基于深度门控递归单元的手势深度图像连续检测方法
DE102018128592A1 (de) Erzeugen eines Bilds unter Verwendung einer Map, die verschiedene Klassen von Pixeln repräsentiert
CN112785684B (zh) 一种基于局部信息加权机制的三维模型重建方法
CN113593007A (zh) 一种基于变分自编码的单视图三维点云重建方法及系统
CN109598686B (zh) 一种基于bayer模板的卫星影像重建方法
Lee et al. A Parareal Architecture for Very Deep Convolutional Neural Networks
US6903740B1 (en) Volumetric-based method and system for visualizing datasets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination