CN104537716A - 三维数字人像与虚拟场景的合成系统 - Google Patents
三维数字人像与虚拟场景的合成系统 Download PDFInfo
- Publication number
- CN104537716A CN104537716A CN201510027347.XA CN201510027347A CN104537716A CN 104537716 A CN104537716 A CN 104537716A CN 201510027347 A CN201510027347 A CN 201510027347A CN 104537716 A CN104537716 A CN 104537716A
- Authority
- CN
- China
- Prior art keywords
- dimensional digital
- portrait
- synthesis
- scene
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及三维数字人像与虚拟场景的合成系统。该系统包括四个组成模块：三维数字人像模块、虚拟场景模块、合成模块、共享输出模块，三维数字人像模块和虚拟场景模块是合成模块的输入，合成模块的结果传递给共享输出模块。该系统通过编辑三维数字人像和虚拟场景的合成方式，生成更具娱乐性的人像和场景合影，合成出新的、以假乱真的美丽画面，满足用户进行内容创造的需要。
Description
技术领域
本发明属于一般的图像数据处理领域，涉及三维数字人像与虚拟场景的合成系统。
背景技术
人物和场景的合成，是一种典型的摄影技法。它可以不受地点、时间、季节、条件的限制，可以让用户通过简单编辑，将人像置于预设的优美场景之中，使人像和场景有机结合，合成出新的、以假乱真的美丽画面，进一步满足用户方便完成内容创造的需求。
本发明将提出三维数字人像与虚拟场景的合成系统。三维数字人像是指已经建好的三维数字人像模型，它是具有照片真实感的三维几何模型，不但逼真地再现了用户的形状，还有特定的姿态。虚拟场景是指计算机通过数字技术建立的数字化场景，该场景中，其来源包括预先制作好的二维图像和三维立体场景、甚至是即时抓拍的数字照片。
根据检索，与本发明相关的有专利有CN201310530450和CN200810302744。1）专利CN201310530450为基于旋转摄像头拍摄的人景图像合成方法和系统，它将同一个摄像头旋转拍摄的人物和景物图像合成在一起。2）专利CN200810302744为一种图像合成系统，它从前景图像中提取出前景物体，并将之与背景图像合成在一起，合成后图像的色彩具有一致度。与之相比，本发明合成的对象是三维数字人像和虚拟场景，不再是二维图像。
简而言之，本发明的特征在于三维数字人像和虚拟场景的合成，三维数字人像与虚拟场景间提供了灵活的合成机制，用户进而将结果共享给朋友。
发明内容
为了满足用户进行内容生成的需要，本发明提出一种三维数字人像和虚拟场景的合成系统，该系统可以生成更具娱乐性的人像和场景合影。将三维数字人像置于预设的虚拟场景中，使人像和场景有机结合，包括人人合成、人景合成。
该合成系统，其组成包括四部分：三维数字人像模块、虚拟场景模块、合成模块、共享输出模块。三维数字人像模块和虚拟场景模块是合成模块的输入，合成模块的结果传递给共享输出模块。
1）三维数字人像模块
三维数字人像模块提供个性化的三维数字人像模型M的建模功能。个性化建模是指在计算机中创建人像的三维几何模型，重建出的模型不仅具有个体的形状特性，而且具有个体特定的姿态特性，具有显著的个性化特征，达到照片真实感的逼真度，能够识别出个体的身份。
当前，可以采用的建模方法有多种，例如，三维人体扫描仪、基于高清图像的人像自动建模系统、职业美工使用的三维数字人像专业建模软件。尽管建模方法有很大的不同，建立的三维数字人像模型的结果是可以统一的。
为了便于三维数字人像与虚拟场景的合成，本发明将三维数字人像M统一表示为带纹理的三角网格模型。在模型中，三维网格表示了三维数字人像的几何外形，纹理则是在三维数字人像的表面上绘制色彩CM的图案。纹理贴图是在三维模型着色方面最引人注意、也是最拟真的方法，它将平面图像直接贴到三维网格上。从而，在保持需要较小存储空间的前提下，三维数字人像M具有高逼真度，具有照片真实感。
2）虚拟场景模块
该模块提供画面优美的虚拟场景，该场景为在一定的时间、空间内发生的一定的任务行动或因人物关系所构成的具体画面，并通过计算机，以数字化的方式表现出来。场景的主题不但可以是风景，也可以是人物场景。该虚拟场景的素材来源多样，可以是预先制作好的二维图像和三维立体场景、甚至是即时抓拍的数字照片。
为了方便与三维人像的合成，虚拟场景也表示为三维坐标形式。对于二维图像和数字照片，通过场景分割算法，自动标识出地面范围，作为三维数字人像底部的活动空间。对于三维场景，也标识出三维数字人像在场景中的活动空间。简而言之，就是将虚拟场景S表示为三维形式，进而将其分割，标识出三维数字人像的活动区域SG。
简而言之，虚拟场景S为划分出活动区域SG的三维场景。与三维数字人像相同，该场景也统一表示为带纹理的三角网格模型。从而，通过相同的表示方法，本发明统一了三维数字人像和虚拟场景的表示，为后继的合成奠定了操作的基础。
3）合成模块
该模块向用户提供合成的编辑工具，方便用户生成理想的合成结果。该编辑操作是在三维空间内完成的。首先，三维数字人像M的位置被限制在虚拟场景所设定的活动空间SG中，并与之有机地结合在一起；然后，用户在该活动空间中，通过拖放三维数字人像，更改三维数字人像的位置，并通过旋转和缩放功能，完成三维数字人像模型的编辑；最后，根据虚拟场景的色彩效果，自动调整三维数字人像的色彩，将三维数字人像模型和虚拟场景自然地合成在一起。
具体而言，在虚拟场景S的活动区域SG内，三维数字人像模型M与虚拟场景S合理地合成在一起，形成一个和谐的三维画面。
在合成过程中，本发明使用了泊松合成机制，以虚拟场景中与三维数字人像相邻区域Ω的色彩CS作为边界约束，调节三维数字人像的色彩CM，生成三维数字人像的最终色彩C。该泊松合成机制可公式化表示为：
其中，为梯度算子，s.t代表约束，说明：合成后的三维数字人像，其在边界Ω处的色彩，与虚拟场景在该边界处的色彩CS相等。
根据欧拉-拉格朗日方程，上面的变分方程有最优解时，当且仅当：
其中，为拉普拉斯算子，即在区域Ω上，先求梯度（），再求散度（div）。从而，将求解变换成带约束的线性方程组最小二乘求解。
从物理意义上讲，上述变分方程的意义是指，本发明的色彩合成是以三维数字人像模型的梯度场为指导，将合成边界Ω上三维数字人像色彩CM和虚拟场景色彩CS的差异平滑地扩散到预期合成结果C中，从而，三维数字人像模型M能够自然地融合到虚拟场景S中，其色彩与虚拟场景相一致。
4）共享输出模块
该模块提供二维和三维两种输出功能，方便结果在用户间共享。在二维方面，提供渲染功能，输出合成结果特定视角下的二维图像文件；在三维方面，则提供整个三维数字人像和虚拟场景合成结果的三维场景文件。
需要着重指出的是，在共享输出时，用户的视角信息是非常重要的因素之一。这是因为，视角很大程度上决定了用户生成结果的满意度。因此，在二维输出时，是用户选定视角下的二维图像渲染结果；而在三维方面，则将用户的视角，以视锥体的参数记录下来，直接输出，完成三维场景文件的共享。
本发明的有益效果是，提出三维数字人像和虚拟场景的合成系统，通过编辑三维数字人像和虚拟场景的合成方式，方便用户创造出理想的画面。
附图说明
图1是本发明的组成图；
图2是本发明实施过程的人景合成实例流程；
图3是本发明实施过程的人人合成实例流程。
具体实施方式
图1为本发明的组成图，具体包括上文所述的四个组成模块：三维数字人像模块、虚拟场景模块、合成模块、共享输出模块。三维数字人像模块和虚拟场景模块是合成模块的输入，合成模块的结果传递给共享输出模块。
图2说明了本发明实施过程的人景合成实例流程。具体包括：1）使用三维扫描仪建立三维数字人像：使用三维扫描仪扫描用户，通过三维表面重建，建立个性化的三维数字人像，该人像具有照片真实感；2）使用预定好的风景图像建立虚拟场景：通过著名的风景图像，建立图像库，并对库中的每幅图像，标识出三维数字人像的底部活动空间，在三维坐标系中，建立虚拟场景；3）三维数字人像与风景场景的合成：在虚拟场景中，用户编辑三维数字人像，合成出预期的人景合成效果；4）输出人景合成图片：通过渲染，建立三维数字人像和风景场景的合成图片，并可通过图片文件，共享给用户的朋友。
图3说明了本发明实施过程的人人合成实例流程。具体包括：1）使用多幅高清图像建立三维数字人像：使用用户多幅高清图像，通过计算机视觉的图像建模方法，建立高逼真度的三维数字人像模型；2）使用三维扫描仪建立虚拟人物场景：通过对著名人物雕塑的扫描，建立虚拟人物场景，并在场景中建立三维数字人像的活动空间；3）三维数字人像与虚拟人物场景的合成：在虚拟人物场景中，合成出预期的人人合成效果；4）输出人人合成文件：将三维数字人像和人物场景的合成结果，存储为三维场景文件，共享给用户的朋友。
上述为本发明的两个具体实例，描述较为具体和详细，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均属于侵犯本发明的保护范围的行为。
Claims (4)
1.三维数字人像与虚拟场景的合成系统，将三维数字人像置于预设的虚拟场景中，使人像和场景有机结合，包括人景合成、人人合成，其特征在于，系统包括四个组成模块：三维数字人像模块、虚拟场景模块、合成模块、共享输出模块，三维数字人像模块和虚拟场景模块是合成模块的输入，合成模块的结果传递给共享输出模块；
所述三维数字人像模块提供个性化的三维数字人像模型M，个性化的三维数字人像模型M建模是指在计算机中创建人像的三维几何模型，该模型不仅具有个体的形状特性，而且具有个体特定的姿态特性，达到照片的逼真度，能够识别出个体的身份，建模方法有：三维人体扫描仪、基于高清图像的人像自动建模系统、三维数字人像专业建模软件；
所述虚拟场景模块提供虚拟场景，以数字化的方式表现出来，虚拟场景表示为三维坐标形式，对于二维图像和数字照片，通过场景分割算法，自动标识出地面范围，作为三维数字人像底部的活动空间；对于三维场景，标识出三维数字人像在场景中的活动空间，将虚拟场景S表示为三维形式，进而将其分割，标识出三维数字人像的活动区域SG；
所述合成模块向用户提供合成的编辑工具，方便用户生成合成结果，该编辑操作是在三维空间内完成，首先，三维数字人像模型M的位置被限制在虚拟场景所设定的活动空间SG中，然后，用户在该活动空间中，完成三维数字人像模型的编辑；最后，根据虚拟场景的色彩效果，自动调整三维数字人像的色彩，将三维数字人像模型和虚拟场景合成在一起；
所述共享输出模块提供二维和三维两种输出功能，结果在用户间共享，在二维方面，提供渲染功能，输出合成结果的二维图像文件；在三维方面，则提供整个三维数字人像和虚拟场景合成结果的三维场景文件。
2.根据权利要求1所述的三维数字人像与虚拟场景的合成系统，其特征在于，所述合成过程，使用泊松合成机制，以虚拟场景中与三维数字人像相邻区域Ω的色彩CS作为边界约束，调节三维数字人像的色彩CM，生成三维数字人像的最终色彩C，该泊松合成机制公式化表示为：
其中，为梯度算子，s.t代表约束，说明：合成后的三维数字人像，其在边界Ω处的色彩，与虚拟场景在该边界处的色彩CS相等；
根据欧拉-拉格朗日方程，上面的变分方程有最优解时，当且仅当：
其中，为拉普拉斯算子，即在区域Ω上，先求梯度（），再求散度（div），从而，将求解变换成带约束的线性方程组最小二乘求解。
3.根据权利要求1所述的三维数字人像与虚拟场景的合成系统，其特征在于，所述人景合成具体过程包括：1）使用三维扫描仪建立三维数字人像：使用三维扫描仪扫描用户，通过三维表面重建，建立个性化的三维数字人像，该人像具有照片真实感；2）使用预定好的风景图像建立虚拟场景：通过著名的风景图像，建立图像库，并对库中的每幅图像，标识出三维数字人像的底部活动空间，在三维坐标系中，建立虚拟场景；3）三维数字人像与风景场景的合成：在虚拟场景中，用户编辑三维数字人像，合成出预期的人景合成效果；4）输出人景合成图片：通过渲染，建立三维数字人像和风景场景的合成图片，并可通过图片文件，共享给用户的朋友。
4.根据权利要求1所述的三维数字人像与虚拟场景的合成系统，其特征在于，所述人人合成具体过程包括：1）使用多幅高清图像建立三维数字人像：使用用户多幅高清图像，通过计算机视觉的图像建模方法，建立高逼真度的三维数字人像模型；2）使用三维扫描仪建立虚拟人物场景：通过对著名人物雕塑的扫描，建立虚拟人物场景，并在场景中建立三维数字人像的活动空间；3）三维数字人像与虚拟人物场景的合成：在虚拟人物场景中，合成出预期的人人合成效果；4）输出人人合成文件：将三维数字人像和人物场景的合成结果，存储为三维场景文件，共享给用户的朋友。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510027347.XA CN104537716B (zh) | 2015-01-20 | 2015-01-20 | 三维数字人像与虚拟场景的合成系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510027347.XA CN104537716B (zh) | 2015-01-20 | 2015-01-20 | 三维数字人像与虚拟场景的合成系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104537716A true CN104537716A (zh) | 2015-04-22 |
| CN104537716B CN104537716B (zh) | 2018-01-26 |
Family
ID=52853235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510027347.XA Active CN104537716B (zh) | 2015-01-20 | 2015-01-20 | 三维数字人像与虚拟场景的合成系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104537716B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046742A (zh) * | 2015-06-26 | 2015-11-11 | 吴鹏 | 模拟图像成像方法和模拟眼镜 |
| CN105867615A (zh) * | 2016-03-24 | 2016-08-17 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN107085509A (zh) * | 2017-04-19 | 2017-08-22 | 腾讯科技（深圳）有限公司 | 一种在虚拟场景中前景图片的处理方法及终端 |
| CN107194979A (zh) * | 2017-05-11 | 2017-09-22 | 上海微漫网络科技有限公司 | 一种虚拟角色的场景合成方法及系统 |
| CN108600509A (zh) * | 2018-03-21 | 2018-09-28 | 阿里巴巴集团控股有限公司 | 三维场景模型中信息的分享方法及装置 |
| CN110400375A (zh) * | 2019-07-31 | 2019-11-01 | 陶峰 | 混合现实交互系统 |
| CN111223192A (zh) * | 2020-01-09 | 2020-06-02 | 北京华捷艾米科技有限公司 | 一种图像处理方法及其应用方法、装置及设备 |
| CN117593462A (zh) * | 2023-11-30 | 2024-02-23 | 约翰休斯(宁波)视觉科技有限公司 | 三维空间场景的融合方法和系统 |
| CN117593462B (zh) * | 2023-11-30 | 2024-06-07 | 约翰休斯(宁波)视觉科技有限公司 | 三维空间场景的融合方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101551904A (zh) * | 2009-05-19 | 2009-10-07 | 清华大学 | 基于混合梯度场和混合边界条件的图像合成方法和装置 |
| CN103337079A (zh) * | 2013-07-09 | 2013-10-02 | 广州新节奏智能科技有限公司 | 一种虚拟增强现实的教学方法及装置 |
| CN103761758A (zh) * | 2013-12-27 | 2014-04-30 | 一派视觉（北京）数字科技有限公司 | 一种旅游虚拟人物照相方法及系统 |
| CN103971394A (zh) * | 2014-05-21 | 2014-08-06 | 中国科学院苏州纳米技术与纳米仿生研究所 | 人脸动画合成方法 |
-
2015
- 2015-01-20 CN CN201510027347.XA patent/CN104537716B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101551904A (zh) * | 2009-05-19 | 2009-10-07 | 清华大学 | 基于混合梯度场和混合边界条件的图像合成方法和装置 |
| CN103337079A (zh) * | 2013-07-09 | 2013-10-02 | 广州新节奏智能科技有限公司 | 一种虚拟增强现实的教学方法及装置 |
| CN103761758A (zh) * | 2013-12-27 | 2014-04-30 | 一派视觉（北京）数字科技有限公司 | 一种旅游虚拟人物照相方法及系统 |
| CN103971394A (zh) * | 2014-05-21 | 2014-08-06 | 中国科学院苏州纳米技术与纳米仿生研究所 | 人脸动画合成方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046742A (zh) * | 2015-06-26 | 2015-11-11 | 吴鹏 | 模拟图像成像方法和模拟眼镜 |
| CN105867615A (zh) * | 2016-03-24 | 2016-08-17 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN107085509A (zh) * | 2017-04-19 | 2017-08-22 | 腾讯科技（深圳）有限公司 | 一种在虚拟场景中前景图片的处理方法及终端 |
| CN107085509B (zh) * | 2017-04-19 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 一种在虚拟场景中前景图片的处理方法及终端 |
| CN107194979A (zh) * | 2017-05-11 | 2017-09-22 | 上海微漫网络科技有限公司 | 一种虚拟角色的场景合成方法及系统 |
| CN108600509A (zh) * | 2018-03-21 | 2018-09-28 | 阿里巴巴集团控股有限公司 | 三维场景模型中信息的分享方法及装置 |
| WO2019179224A1 (zh) * | 2018-03-21 | 2019-09-26 | 阿里巴巴集团控股有限公司 | 三维场景模型中信息的分享方法及装置 |
| CN110400375A (zh) * | 2019-07-31 | 2019-11-01 | 陶峰 | 混合现实交互系统 |
| CN111223192A (zh) * | 2020-01-09 | 2020-06-02 | 北京华捷艾米科技有限公司 | 一种图像处理方法及其应用方法、装置及设备 |
| CN111223192B (zh) * | 2020-01-09 | 2023-10-03 | 北京华捷艾米科技有限公司 | 一种图像处理方法及其应用方法、装置及设备 |
| CN117593462A (zh) * | 2023-11-30 | 2024-02-23 | 约翰休斯(宁波)视觉科技有限公司 | 三维空间场景的融合方法和系统 |
| CN117593462B (zh) * | 2023-11-30 | 2024-06-07 | 约翰休斯(宁波)视觉科技有限公司 | 三维空间场景的融合方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104537716B (zh) | 2018-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104537716A (zh) | 三维数字人像与虚拟场景的合成系统 | |
| Boeykens | Using 3D Design software, BIM and game engines for architectural historical reconstruction | |
| US9202309B2 (en) | Methods and apparatus for digital stereo drawing | |
| CN101916456B (zh) | 一种个性化三维动漫的制作方法 | |
| US10210668B2 (en) | Technique for extruding a 3D object into a plane | |
| CN106780759A (zh) | 基于图片构建场景立体全景图的方法、装置及vr系统 | |
| CN104715468A (zh) | 一种基于Unity3D的裸眼3D内容制作的改进方法 | |
| CN105913496A (zh) | 一种将真实服饰快速转换为三维虚拟服饰的方法及系统 | |
| Patnode | Character Modeling with Maya and ZBrush: Professional polygonal modeling techniques | |
| Kalarat | Applying relief mapping on augmented reality | |
| KR102337020B1 (ko) | 3d스캔데이터를 이용한 증강현실 동영상제작시스템 및 그 방법 | |
| Li et al. | 3D paper‐cut modeling and animation | |
| CN108346177B (zh) | 一种基于Unity3D的虚拟陶瓷设计方法 | |
| Manovich | Image future | |
| CN102438108A (zh) | 一种影片处理方法 | |
| Pérez et al. | Touring the Forum Adiectum of Augusta Emerita in a virtual reality experience | |
| KR101780496B1 (ko) | 컴퓨터그래픽 툴에 의한 캐릭터 모델링 기반 3d 디지털액터 영상 구현방법 | |
| Husinsky et al. | Virtual stage: Interactive puppeteering in mixed reality | |
| Slater et al. | Photorealistic rendering utilizing close-range photogrammetry | |
| Bradbury et al. | Frequency-based controls for terrain editing | |
| Cosker | Facial capture and animation in visual effects | |
| Wang et al. | Artificial intelligence application of virtual reality technology in digital media art creation | |
| Urella et al. | A VR scene modelling platform for PTSD treatment | |
| Anggraeni | Optimizing 2D Animation Production Time in Creating Traditional Watercolor Looks by Integrating Traditional and Digital Media Using traditional watercolor for backgrounds in digital 2D animation | |
| Bradbury et al. | Frequency-based creation and editing of virtual terrain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210325 Address after: Room 609, 6th Floor, South 1 Building, Dongbei Wangcun, Haidian District, Beijing Patentee after: China Telecom Puxin (Beijing) Technology Development Co.,Ltd. Address before: 410013 room 1301, science and technology building, 233 Yuelu Avenue, Changsha City, Hunan Province Patentee before: HUNAN HUASHEN TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |