CN110663066A - 图像处理装置、图像处理系统、图像处理方法和程序 - Google Patents

Abstract

提供了可以实时生成基于输入图像的三维图像的装置和方法。执行对输入图像的每个图像帧的处理，并生成三维图像。参考作为输入图像的主体的属性信息与作为三维图像的渲染元素的材质之间的对应数据的模板数据库，选择与主体属性相对应的材质，并且生成三维图像。人的面部的组成单元中的材质被记录在模板数据库中。在面部的组成单元中应用掩模图像，图像处理单元从模板数据库获取与每个组成相对应的材质，并执行在面部的组成单元中的材质设置。

Description

图像处理装置、图像处理系统、图像处理方法和程序

技术领域

本公开内容涉及图像处理装置、图像处理系统、图像处理方法以及程序。更具体地，本公开内容涉及执行三维(3D)图像的渲染的图像处理装置、图像处理系统和图像处理方法以及程序。

背景技术

近年来，使用计算机图形(CG)技术的三维(3D)图像生成技术被用于各种领域，例如电影和游戏领域。

例如，PTL 1(日本公开特许公报第2012-185624号)公开了一种用于以低计算成本来高质量地绘制人的面部的三维面部模型数据生成装置。

该PTL 1公开了一种装置，该装置执行如下处理：在获取面部的面部表情数据之后，仅切出人的面部的一部分，然后粘贴与响应于面部表情而变形的面部的形状相对应的纹理，以生成并显示质量高且不会不舒适的三维面部图像。

此外，PTL 2(日本公开特许公报第2010-113548号)描述了采用纹理映射技术的多边形三维图形绘制装置。

PTL 2公开了一种装置，该装置通过将与身体反射相关的系数提供至纹理数据可以在一个多边形中表现出多个不同的反射，从而使得能够以更少量的模型数据来实现身体的更高级质感表达。

[引用清单]

[专利文献]

[PTL 1]

日本公开特许公报第2012-185624号

[PTL 2]

日本公开特许公报第2010-113548号

发明内容

[技术问题]

然而，尽管PTL 1中公开的技术公开了一种将从人的视频中剪切出的面部纹理粘贴到面部模型以执行渲染的处理，但是因为没有考虑到反射特性针对具有彼此不同特性等的每个部分而改变，因此在与成像时的照明环境不同的条件下显示3D图像的情况下，3D图像有时变得不自然。

另一方面，根据PTL 2中公开的技术，通过纹理数据保持表示身体的材质类型的材质参数例如反射系数，并且通过执行充分利用材质参数的渲染来实现精细质感表达。

然而，PTL 2中公开的这种配置是预先以纹理数据的对应关系记录一个材质参数的配置，因此具有可以针对每个纹理仅表达一种独特质感的问题。具体地，PTL 2中公开的配置具有这样的问题：例如，不能实现根据光源方向的最佳质感表达。

本公开内容已经考虑到例如上述问题并且提供了实现更自然、更真实的三维(3D)图像的显示处理的图像处理装置、图像处理系统和图像处理方法以及程序。

在本公开内容的一个工作示例中，输入将成为显示目标的人的捕获图像，并且根据输入的捕获图像(纹理)分析人的属性，例如性别和年龄，然后执行面部器官、皮肤区域、身体部位、头发、衣服等的特征量检测。此外，从预先准备的模板数据库自动生成适合于成像对象的材质设置的纹理图和指定材质的应用范围的掩模图像，以在实时的基础上自动地将合适的材质设置为任意的人3D图像模型数据，从而实现具有真实感的渲染。

此外，根据本公开内容的工作示例，在人的三维(3D)图像的显示处理中，预先从用户获取关于要应用什么CG效果的定制信息，并且根据输入纹理(捕获图像)，执行面部器官、皮肤区域、身体部位、头发、衣服等的特征量检测。此后，从与用户选择相关联的模板数据库自动生成用于材质设置的纹理图和指定材质的应用范围的掩模图像，以自动地在实时基础上将合适的材质设置为任意的人3D图像模型数据，从而实现对用户有利的渲染。

[问题的解决方案]

本公开内容的第一方面在于：

一种图像处理装置，包括：

图像处理部，其被配置成基于输入图像执行三维图像生成处理，其中，

图像处理部参考模板数据库来根据成像对象属性选择材质并执行三维图像的生成处理，该模板数据库包括输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据(correspondance data)。

此外，本公开内容的第二方面在于：

一种图像处理系统，包括：

发送装置，其被配置成发送图像；以及

接收装置，其被配置成对来自发送装置的输入图像执行处理，以生成三维图像并在显示部上显示该三维图像，其中，

接收装置的图像处理部参考模板数据库来根据成像对象属性选择材质并执行三维图像的生成处理，该模板数据库包括输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。

此外，本公开内容的第三方面在于：

一种由图像处理装置执行的图像处理方法，其中，

图像处理装置包括图像处理部，图像处理部被配置成基于输入图像执行三维图像生成处理，并且

图像处理部参考模板数据库来根据成像对象属性选择材质并执行三维图像的生成处理，该模板数据库包括输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。

此外，本公开内容的第四方面在于：

一种用于使图像处理装置执行图像处理的程序，其中，

图像处理装置包括图像处理部，图像处理部被配置成基于输入图像执行三维图像生成处理，并且

该程序使图像处理部参考模板数据库来根据成像对象属性选择材质并执行三维图像的生成处理，该模板数据库包括输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。

要注意的是，本公开内容的程序是例如可以由存储介质或通信介质向可以执行各种程序代码的图像处理装置或计算机系统提供的程序，存储介质或通信介质以计算机可读形式提供程序。通过提供以计算机可读形式描述的程序，根据程序的处理在图像处理装置或计算机系统上实现。

基于在下文中描述的本公开内容的工作示例和附图，根据具体实施方式，本公开内容的其他目的、特征和优点将变得清楚。应注意，本说明书中的系统是多个装置的逻辑组合，并且不限于组成装置在同一外壳中的配置。

[发明的有益效果]

根据本公开内容的工作示例的配置，提供了一种装置和方法，使得能够基于输入图像在实时的基础上生成3D图像。

具体地，例如，执行对输入图像的图像帧的处理以生成三维图像。参考模板数据库来根据成像对象属性选择材质以生成三维图像，所述模板数据库是输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。模板数据库中记录了人的面部的组成单元的材质，并且图像处理部应用面部的组成单元的掩模图像，并从模板数据库获取每个组成的材质，以执行面部的组成单元中的材质设置。

通过本配置，提供了一种装置和方法，使得能够基于输入图像在实时的基础上生成3D图像。

应注意，本说明书中描述的效果仅是示例性的，并且本公开内容的效果不限于此。此外，本公开内容可以证明另外的效果。

附图说明

图1是示出3D图像和材质的渲染处理的视图。

图2是示出纹理图的视图。

图3是示出本公开内容的图像处理系统的配置的示例和处理的示例的视图。

图4是示出本公开内容的另一图像处理系统的配置的示例和处理的示例的视图。

图5是示出本公开内容的另一图像处理系统的配置的示例和处理的示例的视图。

图6是示出图像处理装置的配置的示例的视图。

图7是示出存储在存储部中的数据和模板数据库的示例的视图。

图8是示出存储在存储部中的数据和模板数据库的另一示例的视图。

图9是示出由本公开内容的图像处理装置执行的处理序列的流程图。

图10是示出特征点的视图。

图11是示出掩模图像的示例的视图。

图12是示出掩模图像的生成处理的示例的图。

图13是示出掩模图像的生成处理的另一示例的图。

图14是示出掩模图像的生成处理的又一示例的视图。

图15是示出掩模图像的生成处理的再一示例的视图。

图16是示出掩模图像的生成处理的又一示例的视图。

图17是示出掩模图像的生成处理的又一示例的视图。

图18是示出存储在存储部中的数据和模板数据库的又一示例的视图。

图19是示出存储在存储部中的数据和模板数据库的再一示例的视图。

图20是示出由本公开内容的图像处理装置执行的另一处理序列的流程图。

图21是示出图像处理装置的硬件配置的示例的视图。

具体实施方式

在下文中，参照附图描述本公开内容的图像处理装置、图像处理系统和图像处理方法以及程序的细节。应注意，根据以下项目给出描述。

1.计算机图形(CG)处理的概述

2.图像处理系统的配置的示例

3.图像处理装置的配置的示例

4.由图像处理装置执行的处理

5.用于生成基于用户输入信息定制的3D图像的处理的示例

6.图像处理装置的硬件配置的示例

7.本公开内容的组成部分的概要

[1.计算机图形学(CG)处理的概述]

首先，描述计算机图形(CG)处理的概述。

如上所描述，近年来，使用计算机图形(CG)技术的三维(3D)图像生成技术被用于各种领域，例如电影和游戏领域。

作为三维图像的绘制处理执行的渲染是通过“材质”到作为三维模型的划分区域的“网格”的设置处理来执行的。

网格是三角形、四边形等的多边形区域，其是三维模型的精细划分区域。

通过将材质设置到该网格，执行三维图像的绘制处理，即渲染。

尽管“材质”通常是主体的原材质或材质类型，但是在作为三维图像绘制工艺执行的计算机图形(CG)中，它是作为主体的特性的光学特性和材质质感的限定信息，并且具有要设置到对象的材质类型的含义。

例如，在渲染人的情况下，成为渲染的目标的元素包括人的皮肤、眼球、嘴巴、头发、衣服等。这样的元素中的每个针对具有不同特性的每个部分被划分成多个网格，并且通过为每个网格设置最佳材质，即，通过设置最佳光学特性和材质质感，可以生成具有真实感的三维模型数据。

应注意，在下文中描述的本公开内容的图像处理装置生成并且显示基于视频进行处理的3D图像CG，该视频是通过对(例如通过网络)接收的成像对象(例如人)进行成像而获得的。

在这种情况下，在人的成像视频中，针对每个帧更新捕获的图像和网格。

对于在帧单元中更新的数据，执行用于将适当的材质设置到例如皮肤、眼球、嘴唇、头发、衣服等部分的处理，以在实时的基础上执行3D图像的生成和显示。

例如，作为用于移动的人的网格设置处理，已知一种方法，通过该方法，将作为统计学人体形状模型的SCAPE(形体还原及人体动画)模型适配到成像对象图像来执行网格生成。根据该网格生成方法，从基础模型获取面部器官的位置等，并且生成与基础模型相对应的3D图像。

然而，在获得的信息仅是作为屏幕空间的图像的捕获图像(纹理图像)以及网格的情况下，需要估计针对每个帧要应用的各种材质的位置。在本公开内容的处理中，根据屏幕空间的捕获图像执行面部器官检测、特征点检测、语义分割等，以在要设置的每个材质单元中生成掩模图像，然后确定每种材质的应用范围，然后执行材质设置过程。

在下文中详细描述本公开内容的特定过程。

如上所描述，“材质”是作为主体的特性的光学特性和材质质感的限定信息。

“材质”与要设置到配置三维模型的每个网格的对象(主体)的材质类型相对应。例如，

在三维模型包括例如金属、木材、人体皮肤、头发等彼此不同的物质的情况下，需要对这些物质单元中的网格进行分类，并且需要在每种物质的网格中设置与物质的材质类型一致的“材质”。

如图1所示，“材质”的元素包括“纹理”和“着色器(shader)”。

“纹理”是要粘贴到网格上的图像，以及

“着色器”是用于计算主体被光照时在主体表面上出现的明和暗的算法，即，用于计算反射光的强度的算法，并且是用于基于光源和要设置的材质计算网格中的每个像素的绘制颜色的算法。

基本着色器包括Lambert着色器、Phong着色器、Blinn着色器等。

此外，目标为人物表达的着色器包括皮肤着色器、头发着色器、眼球着色器等。

对于成为三维模型的组件的网格，可以通过设置接近网格的实际材质类型的材质(特别是纹理或着色器)来生成具有真实感的三维模型数据。

纹理是可以通过合成具有彼此不同的效果的多个纹理图来生成的图像数据。

如图2所示，纹理图例如包括以下类型。

(1)基色图

(2)光泽图

(3)法线图

(4)腔图

(5)金属图

参照图2描述纹理图的效果和表达。

(1)基色图是作为基础(图案)的颜色信息。

(2)光泽图是用于控制物质的平滑度的纹理图，并且亮度越高的地方表示越清晰的镜面化(镜面反射)。黑色(0,0)表示完全漫反射，白色(1,0)表示完全镜面反射。

具体地，光泽图表示光彩度并且可以表现出光泽的差异，例如，对于面部的每个部分。

(3)法线图是一种纹理图，它表达细微的不规则事物，并且可以表达面部的细微的不规则事物，例如皱纹、痣等。

(4)当意在抑制镜面化(镜面反射)的强度时，使用腔图。例如，可以产生例如毛孔或污渍的微小阴影。

(5)金属图是在执行金属度的控制的情况下使用的纹理图，黑色(0,0)与非金属相对应，白色(1,0)与金属相对应。例如，如果将金属图应用于金属化部分，则可以表现出金属的质感。

以这种方式，纹理是可以通过合成具有各自不同效果的多个纹理图来生成的图像数据。

参照图1和图2所描述的，在绘制(渲染)三维图像的情况下，需要在包括多边形例如三角形或四边形的多边形区域的网格单元中设置最佳材质。

“材质”的元素包括“纹理”和“着色器”，并且通过确定“纹理”和“着色器”将三维模型的组成单元的材质类型、光源方向等考虑在内，可以执行提供真实感的三维图像的绘制处理(渲染)。

例如，在要执行将人的面部的皮肤绘制(渲染)为三维图像的情况下，根据人的皮肤特性的最佳材质被设置到与面部的皮肤区域相对应的网格区域。

通常，在该渲染处理中，关于将哪个纹理图用来提供预期的CG效果，设计者将在预先进行各种调查之后执行渲染。

由于大多数最新的渲染引擎是基于物理的(PBR)类型，因此每种材质的设置可以设置定量地正确的值，并且可以以更接近真实的质感再现许多三维模型。特别地，即使与真实物品相比，金属物质的表达也没有劣势。

然而，当涉及人类表情时，甚至皮肤的反射率也取决于各部分而变化，并且很难获得并设置正确的值。此外，仅通过设置正确的值，尽管它偏离了PBR的原理，由于存在无法再现自然表情的作为外观的情况，因此这种材质设置的设备对3D表达的质量影响很大。

如果花费很多时间来进行渲染处理，并且重复尝试设置具有各种纹理和着色器的各种材质的试错，则可以执行更接近真实感的三维模型图像的绘制。

然而，如果尝试绘制三维图像模型，在该三维图像模型中实时地将计算机图形(CG)效果应用到例如通过网络接收的视频，则需要在非常短的时间内执行将材质设置到每个网格的设置，并且无法执行充分的调研。因此，材质设置变得不恰当，并且3D图像经常变得不自然。

本公开内容的处理解决了如上所描述的这些问题。

具体地，例如，在要绘制实时地将计算机图形(CG)效果应用到例如通过网络接收的视频的三维图像模型的情况下，使得可以生成具有更高真实感并且指示真实感的自然图像。

此外，本公开内容的处理使得可以进行虚拟化妆，例如，在显示部上显示基于自己的脸部的三维图像，并且将计算机图形(CG)效果应用于该显示图像。

在下文中，描述了本公开内容的配置。

[2.图像处理系统的配置的示例]

在下文中，描述了本公开内容的图像处理系统的配置的示例。

应注意，在下文中，作为系统配置的示例，描述以下两个示例。

(a)一种系统配置，其中，发送装置侧基于捕获的图像生成3D模型，并将3D模型发送到接收装置，并且接收装置侧应用3D模型以生成用于显示的3D图像并显示用于显示的3D图像。

(b)一种系统配置，其中，发送装置将捕获的图像和深度数据发送到接收装置，并且接收装置侧生成3D模型，应用所生成的3D模型以生成用于显示的3D图像并显示用于显示的3D图像。

首先，参照图3。

(a)描述了一种系统配置，其中，发送装置侧基于捕获的图像生成3D模型并将3D模型发送到接收装置，并且接收装置侧应用3D模型以生成用于显示的3D图像，并显示用于显示的3D图像。

图3所示的图像处理系统被配置成使得在发送装置110侧由多个摄像机(多摄像机)捕获图像并且生成深度数据(距离信息)，并且利用捕获的图像和深度数据来对每个成像帧执行3D建模处理，以生成纹理化3D模型。

发送装置110针对每个帧将所生成的3D模型发送到接收装置120。

接收装置120利用所接收的3D模型生成用于显示的3D图像，并显示用于显示的3D图像。

描述了图3所示的图像处理系统的配置和处理。

图3所示的图像处理系统包括发送装置110和接收装置120。

发送装置110根据捕获的成像对象图像生成3D模型，并通过网络30将3D模型发送到接收装置120。

接收装置120对从发送装置110接收的成像对象图像执行计算机图形(CG)处理，以生成三维(3D)图像，并在显示部124上显示3D图像30。

在发送装置110中，包括摄像机的图像获取部111捕获成像对象10的输入视频。

图像获取部111包括多个摄像机(RGB、深度)，并且通过从各种角度对成像对象10进行成像来获取RGB图像和深度图像。

换句话说，图像获取部111从各种角度捕获图像，所述各种角度是生成成像对象10的三维图像所必需的。

由图像获取部111捕获的图像被输入到三维模型信息生成部113和发送信息生成部114。

三维模型信息生成部113基于捕获的成像对象10的图像生成成像对象的三维模型信息。

由三维模型信息生成部113生成的三维模型信息包括在图3中表示为发送数据130的数据中的网格数据131、纹理信息132和UV图133。

网格数据131是三角形、四边形等的多边形区域，其是如上所描述的三维模型的精细划分区域。

通过将材质设置到该网格，执行三维图像的绘制处理，即渲染。

纹理信息132是要粘贴到网格数据131的纹理的原始材质信息。

UV图133是当要执行将纹理粘贴到网格数据的处理(所谓的纹理映射)时所需的坐标信息。

除了由三维模型信息生成部113生成的三维模型信息(网格数据131、纹理信息132和UV图133)之外，发送信息生成部114还生成成像对象10的属性信息134和特征点信息135，并通过通信部115发送它们。

属性信息134特别是例如性别、年龄、种族、皮肤类型和组成部分(嘴巴、眼睛、鼻子等)的信息。应注意，尽管可以通过图像分析获得这样的属性信息，但是可以使用用户在发送装置110上输入的信息。

特征点信息135是指示成像对象10的面部器官的各部分的特征点等，面部器官例如眼睛、鼻子、脸颊、衣服等。基于由图像获取部111捕获的图像来执行该特征点提取。

以这种方式，除了由三维模型信息生成部113生成的三维模型信息(网格数据131、纹理信息132和UV图133)之外，发送信息生成部114还通过通信部115和网络20将成像对象10的属性信息134和特征点信息135发送到接收装置120。

应注意，在成像对象10相同的情况下，属性信息134可以仅被发送一次。对于图像帧的每次发送，顺序地发送其他信息。

接收装置120从发送装置110接收上述数据，并且图像处理部122应用接收数据，以通过对从发送装置110接收的成像对象10的图像(纹理)进行计算机图形(CG)处理来执行处理，以生成三维图像并在显示部124上显示3D图像30。

应注意，在接收装置120要执行三维图像的实时显示处理的情况下，作为对其的预处理，执行作为成像对象10的基础的三维图像的生成，将三维图像存储到数据库123中的处理，等等。

在该预处理中将实时处理所需的各种数据存储到数据库123中之后，执行通过实时处理进行的三维图像显示处理。

在实时处理中，对于从发送装置110接收的成像对象图像在实时的基础上执行通过计算机图形(CG)处理进行的处理，以生成三维图像并在显示部上显示得到的3D图像30。

在该实时处理中，例如，执行根据成像对象的属性信息进行的对最佳材质的设置，以生成更自然的三维图像，并显示三维图像。

应注意，尽管图3所示的本公开内容的图像处理系统的配置的示例被配置成使得三维模型信息(网格数据131、纹理信息132和UV图133)由发送装置110侧生成并被发送到接收装置120，但是图像处理系统可以另外具有如下系统配置：在该系统配置中，三维模型信息的生成处理由接收装置120侧执行。

参照图4，

(b)一种系统配置，其中描述了：发送装置将捕获的图像和深度数据发送到接收装置，并且接收装置侧生成3D模型，应用所生成的3D模型以生成用于显示的3D图像，并显示用于显示的3D图像。

在图4所示的图像处理系统中，图像(RGB，深度)由发送装置110侧上的多个摄像机(多摄像机)捕获，并且捕获的图像和深度数据针对每个成像帧被发送到接收装置120。

接收装置120利用所接收的捕获的图像和深度数据来对每个成像帧执行3D建模处理，以生成纹理化3D模型。

此外，接收装置120利用所生成的3D模型来生成用于显示的3D图像并显示用于显示的3D图像。

描述了图4所示的图像处理系统的配置和处理。

图4所示的图像处理系统包括发送装置110和接收装置120。

发送装置110捕获成像对象图像，并通过网络30将图像发送到接收装置120。

接收装置120对从发送装置110接收的成像对象图像执行计算机图形(CG)处理以生成三维(3D)图像，并在显示部124上显示3D图像30。

在发送装置110中，包括摄像机的图像获取部111捕获成像对象10的输入视频。

图像获取部111包括多个摄像机并从各个方向对成像对象10进行成像以获得图像。

具体地，图像获取部111从生成成像对象10的三维图像所需要的各个方向捕获的图像。

由图像获取部111捕获的图像被输入到发送信息生成部114。

发送信息生成部114生成成像对象10的属性信息134和特征点信息135，并将它们与由图像获取部111获取的捕获的图像信息137和深度信息136一起通过通信部115进行发送。

应注意，在成像对象10相同的情况下，属性信息134可以仅被发送一次。对于图像帧的每次发送，顺序地发送其他信息。

接收装置120从发送装置110接收上述数据，并且图像处理部122应用接收数据，以通过对从发送装置110接收的成像对象10的图像(纹理)进行计算机图形(CG)处理来执行处理，以生成三维图像并在显示部124上显示3D图像30。

在图4所示的配置中，接收装置120的图像处理部122被配置成使得其包括三维模型信息生成部。具体地，图像处理部122基于成像对象10的捕获的图像生成成像对象的三维模型信息。

由图像处理部122生成的三维模型信息包括上文参照图3描述的网格数据、纹理信息和UV图。

网格数据131是三角形、四边形等的多边形区域，其是如上所描述的三维模型的精细划分区域。

通过将材质设置到该网格，执行三维图像的绘制处理，即渲染。

应注意，在接收装置120要执行三维图像的实时显示处理的情况下，作为对其的预处理，执行作为成像对象10的基础的三维图像的生成，将三维图像存储到数据库123中的处理，等等。

在该预处理中将实时处理所需的各种数据存储到数据库123中之后，执行通过实时处理进行的三维图像显示处理。

在实时处理中，对于从发送装置110接收的成像对象图像在实时的基础上执行通过计算机图形(CG)处理进行的处理，以生成三维图像，并执行在显示部上显示得到的3D图像30的处理。

在该实时处理中，例如，执行根据成像对象的属性信息进行的对最佳材质的设置，以生成更自然的三维图像，并显示三维图像。

下面参照图5描述应用了将三维模型信息生成部设置到图4所示的接收装置120侧的图像处理部122的配置的特定处理的示例。

应注意，尽管以下描述针对将三维模型信息生成部设置到接收装置120侧的图像处理部122的处理的示例，但是下面描述的处理是不同的，同样，在上文参照图3描述的在发送装置110侧上提供3D模型信息生成部的配置示例中，仅在该处理和类似的处理的执行主体中可以应用。

如图5所示，接收装置120从发送装置110接收以下信息：

捕获的图像信息137，

深度信息136，

属性信息134，以及

特征点信息135。

图像处理部122执行例如以下处理。

(a1)三维(3D)模型的生成和修改(去除阴影和反射(镜面)等)

(a2)掩模图像生成

(a3)成像对象属性信息获取

(a4)成像对象属性关联模板数据库的创建

图像处理部122执行例如上述处理。

(a1)3D模型的生成和修改(去除阴影和反射(镜面)等)是基于从发送装置110接收的成像对象10的捕获图像生成成像对象的三维模型信息并修改纹理信息的过程。

要生成的三维模型信息包括网格数据、纹理信息和UV图。

网格数据是三角形、四边形等的多边形区域，其是如上所描述的三维模型的精细划分区域。

通过将材质设置到该网格，执行三维图像的绘制处理，即渲染。

纹理信息132是要粘贴到网格数据131的纹理的原始材质信息。

UV图是当要执行将纹理粘贴到网格数据(所谓的纹理映射)的处理时所需的坐标信息。

此外，图像处理部122根据场合需要执行所生成的纹理信息的修改(去除阴影和反射(镜面)等)。

接收装置120执行CG处理，例如将材质设置到网格单元，即，以网格为单位粘贴纹理，通过着色器等设置用于所生成的3D模型的像素值，以生成用于显示的3D图像。

然而，基于从接收装置输入的捕获图像来生成的纹理图像有时包括在成像对象10成像时由环境光造成的阴影、反射等。如果材质设置(即例如纹理粘贴的CG处理)基于包括这种剩余对比度信息的图像来执行，则有时会反映出成像时的阴影或反射，从而导致产生不自然的图像。

作为用于防止出现如上所述的这种问题的处理，执行纹理图像的修改。

(a2)掩模图像生成是用于在执行网格单元的材质设置的情况下隐藏除材质设置目标区域之外的区域的掩模图像的生成处理。

例如，在通过CG处理生成人的3D图像模型的情况下，需要将不同的材质设置到例如人的皮肤、头发等的不同部分。

生成用于限定刚刚描述的这种材质设置范围的掩模图像。

在下文中描述特定掩模图像的示例和材质设置的示例。

(a3)成像对象属性信息获取处理是用于获取由发送装置110成像的成像对象的属性信息的处理。

特定属性信息是例如性别、年龄、种族、皮肤类型和组成部分(嘴巴、眼睛、鼻子等)的信息。应注意，尽管可以通过图像分析获得这样的属性信息，但是可以使用用户在发送装置110上输入的信息。

(a4)成像对象属性关联模板数据库的创建过程是创建如下数据库：该数据库将在上文中描述的成像对象的属性信息与材质信息(例如纹理)相互关联。

通过将该模板数据库存储到发送装置120的数据库123中，可以高速执行在实时基础上的3D图像模型的生成处理。

在下文中描述模板数据库的特定示例。

以这种方式，图5所示的接收装置120的图像处理部122执行以下处理。

(a1)纹理图像的3D模型的生成和修改(去除阴影和反射(镜面)等)

(a2)掩模图像生成

(a3)成像对象属性信息获取

(a4)成像对象属性关联模板数据库的创建

作为图像处理部122的上述处理的结果而生成的数据被存储在作为存储部的数据库123中。

如图5所示，在数据库123中，存储以下信息。

(b1)掩模图像

(b2)成像对象属性信息

(b3)成像对象属性关联模板数据库

这样的数据是由图5所示的接收装置120的图像处理部122基于从发送装置110接收的数据而生成的数据。

在将预定的数据存储到数据库中之后，执行实时处理，即以下实时处理：接收装置120接收从发送装置110发送的成像对象图像等的数据，对接收数据在实时的基础上执行CG处理，以生成用于显示的3D图像并且将用于显示的3D图像显示在显示部上。

在实时处理中，发送装置110侧上的图像获取部111捕获成像对象10的实时图像。

由图像获取部111捕获的图像被输入到发送信息生成部114。

发送信息生成部114通过通信部115和网络20向接收装置120发送：

捕获的图像信息137，

深度信息136，

属性信息134，以及

特征点信息135

应注意，如在上文中所描述的，在成像对象10没有变化的情况下，属性信息134可以仅发送一次。

接收装置120使用从发送装置110输入的信息来生成3D图像并显示3D图像，该3D图像是要在显示部124上显示的输出视频。

应注意，在实时处理中，执行以下处理：利用成像对象的当前的捕获的图像，应用已经在预处理中获取并存储在数据库123中的信息，以生成经CG处理的3D图像并且显示3D图像。

[3.图像处理装置的配置示例]

现在，参照图6等描述执行3D图像生成处理的图像处理装置的特定配置，即，图5所示的接收装置120的特定配置。

图6是示出图像处理装置的配置的示例(即，与图5所示的接收装置120相对应的图像处理装置200的配置的示例)的视图。

如图6所示，图像处理装置200包括图像输入部(通信部)201、用户输入部(用户IF)202、图像处理部203、存储部(DB)204和显示部205。

图像输入部(通信部)201与图4和图5所示的接收装置120的通信部121相对应。

用户输入部(用户IF)202是在接收装置120中配置的输入部，尽管在图4和图5所示的接收装置120中未示出。

图像处理部203与图4和图5所示的接收装置120的图像处理部122相对应。

存储部(DB)204与图4和图5所示的接收装置120的数据库123相对应。

显示部205与图4和图5所示的接收装置120的显示部124相对应。

如图6所示，图像处理部203包括图像信息分析部211、网格编辑部212、材质应用部213和渲染部214。

图像信息分析部211包括特征量提取部211a和属性分析部211b。

网格编辑部212包括网格获取部212a、网格划分部212b和模型添加部212c。

材质应用部213包括掩模图像生成部213a和纹理图生成部213b。

通过在上文中参照图4描述的预处理从发送装置110获取的数据和通过图像处理部203的处理而生成数据被存储在存储部(DB)204中。此外，存储了在上文参照图5描述的实时处理中图像处理部203生成的数据。

图7示出了存储部(DB)204的存储数据的示例。

如图7所示，掩模图像222、成像对象属性信息223、模板数据库224等被存储在存储部(DB)204中。

掩模图像222是用于在实时处理中应用的网格的材质设置处理中掩蔽除材质设置区域之外的区域的掩模图像。

在本公开内容的处理中，执行根据从发送装置110接收的不同帧的捕获图像中的每一个来检测面部器官的各部分，例如眼睛、鼻子、脸颊或衣服、或者执行特征点检测、等等，以生成在要设置到每个部分的材质单元中的掩模图像。然后，确定每种材质的应用范围，然后执行每个部分的材质设置处理。

掩模图像222是要应用于每个成像对象组成单元(部分单元)的掩蔽的图像。

在下文中描述掩模图像和应用处理的特定示例。

成像对象属性信息223是通过在上文中参照图5描述的处理获取的信息。

特定属性信息是例如性别、年龄、种族、皮肤类型和组成部分(嘴巴、眼睛、鼻子等)的信息。应注意，尽管也可以通过图像分析获得这样的属性信息，但是也可以使用用户在发送装置110或接收装置120上输入的信息。

如图7所示，模板数据库224包括：

材质与属性信息的对应数据。

属性信息包括成像对象属性信息和部位属性信息(portion attributeinformation)。

材质包括纹理图。

成像对象属性信息是作为成像对象的人的属性信息，例如“性别”、“年龄”、“种族”和“皮肤类型”。

部位属性信息是成为人的面部的各部位(例如眼睛、鼻子、眉毛和脸颊)的识别信息的属性信息。

可以基于在预处理或实时处理中从发送装置110接收的图像数据来获取这样的属性信息，或者可以基于用户输入信息来获取这样的属性信息。

该模板数据库是属性信息与材质的对应数据。

在图像处理装置200的图像处理部203通过实时处理执行用于生成应用了CG效果的3D图像的处理的情况下，图像处理部203可以参考模板数据库以例如根据人的捕获的图像立即获取要设置到从发送装置110接收的成像对象图像中检测到的如人的眼睛、鼻子、脸颊等这些部位的材质。

具体地，通过利用模板数据库，可以在构造从发送装置110发送的成像对象视频的帧单元中在短时间内在成像对象组成单元(部分单元)中执行最佳材质设置，并且3D图像生成可以被执行为实时处理。

应注意，尽管根据图7所示的模板数据库224的配置，仅将纹理图记录为材质，而不记录着色器。

如上所述，着色器是用于计算网格中的每个像素的绘制颜色的算法。在执行利用图7所示的设置的模板数据库进行的处理的情况下，从模板数据库获取纹理，而对于着色器，每次在帧单元中执行计算处理，以执行网格中的像素单元中绘制颜色的确定处理。

图8示出了具有与图7所示的模板数据库224的设置不同的设置的模板数据库204的配置的示例。

图8所示的模板数据库224在其中记录了纹理图和着色器作为材质。

如果利用具有图8所示的设置的模板数据库，则变得不仅可以从模板数据库获取纹理而且还可以获取着色器的信息，并且变得可以确定网格中的纹理以及帧单元和成像对象组成单元(部分单元)中的每个像素的绘制颜色。

[4.图像处理装置执行的处理]

现在，参照图9等描述了由在实时的基础上执行3D图像生成处理的图像处理装置执行的特定处理，即，由具有参照图6描述的配置的图像处理装置200(＝图5的接收装置120)执行的特定处理。

图9是示出由图像处理装置执行的即由图6所示的图像处理装置200(＝图5的接收装置120)执行的处理的序列的流程图。

在下文中，参照流程图描述了由图6所示的图像处理装置200(＝图5的接收装置120)执行的处理的特定示例。

应注意，在包括具有程序执行功能的CPU等的控制器的数据处理部的控制下，根据存储在例如图像处理装置的存储部中的程序来执行根据图9所示的流程图的处理。

按顺序描述图9所示的流程的步骤中的处理。

(步骤S101)

首先，图像处理装置200的图像输入部201输入成为3D图像的生成源的捕获的图像信息137和深度信息。

应注意，对构造例如从图5所示的发送装置110发送的成像对象的捕获的视频的每个图像帧来执行该流程中所示的步骤S101至步骤S109的处理。

具体地，在最后的步骤S109处，在从发送装置110发送的图像帧单元中执行应用了CG效果的3D图像的渲染。

(步骤S102)

然后在步骤S102处，图像信息分析部211的属性分析部211b基于输入的捕获图像来分析成像对象的人的属性(性别、年龄、皮肤类型等)。

应注意，也可以预先执行该处理，或者可以将该处理执行为实时处理。

如在上文中所述描的，通过分析从发送装置110发送的捕获的图像信息137或3D模型信息来执行属性信息获取处理。

特定属性信息包括例如性别、年龄、种族、皮肤类型和组成部分(嘴巴、眼睛、鼻子等)等的信息。应注意，尽管可以通过图像分析获得这样的属性信息，但是可以使用用户输入的信息。

(步骤S103)

然后在步骤S103处，特征量提取部211a基于在步骤S101处输入的捕获图像的特征量来设置与成像对象(人)的各个部位(作为面部器官的眼睛、鼻子、嘴巴和眉毛、皮肤区域、身体部位、头发、衣服等)相对应的分割区域。

图10中示出了作为面部器官的眼睛、鼻子、嘴巴、眉毛等的特征点的示例。

在图10所示的示例中，特征点1至17是指示面部的轮廓的特征点。

特征点18至22和23至27是指示眉毛的特征点。

特征点28至36是指示鼻子的特征点。

特征点37至48是指示眼睛的特征点。

特征点49至68是指示嘴巴的特征点。

例如，从图像中检测到特征点，以设置与各部分(作为面部器官的眼睛、鼻子、嘴和眉毛、皮肤区域、身体部位、头发、衣服等)相对应的分割区域。

应注意，对于分割区域的设置，除了基于上述特征点的处理之外，还可以使用常规上已知的语义分割。

例如，对于面部区域、手、头发、衣服等的区域检测或者对于分割区域的设置，可以使用语义分割。

(步骤S104)

然后在步骤S104，掩模图像生成部213a生成要应用的掩模图像，以基于特征量在分割区域单元中执行材质设置。

如在上文中所描述的，掩模图像是用于在以实时处理应用的对网格的材质设置处理中掩蔽除材质设置区域之外的区域的掩模图像。

在本公开内容的处理中，每当从发送装置110接收帧时，根据不同帧的捕获图像中的每一个，执行各个部分例如面部器官如眼睛、鼻子、脸颊等以及衣服的检测、特征点检测等等，以生成在要设置到每个部分的材质单元中的掩模图像并确定材质的应用范围，然后执行每个部分的材质设置处理。

掩模图像是被应用于成像对象组成单元(部分单元)的掩蔽的图像。

参照图11描述掩模图像的示例。

图11示出了以下附图。

(A)输入图像

(1)至(8)每个分割区域单元的掩模图像

例如，(1)面部掩模是在材质设置到成像对象图像中的面部区域时应用的掩模。利用面部掩模，掩蔽除面部区域之外的图像区域。通过利用该面部掩模执行材质设置处理，材质仅应用于面部区域，而材质不应用于任何其他区域。

类似地，(2)手掩模是在材质设置到成像对象图像中的手部区域时应用的掩模。利用手掩模，掩蔽除手部区域之外的图像区域。通过利用该手掩模执行材质设置处理，材质仅应用于手部区域，而材质不应用于任何其他区域。

上述也类似地应用于(3)头发掩模、(4)衣服掩模、(5)眼睛掩模、(6)鼻子掩模、(7)嘴巴掩模和(8)脸颊掩模，并且所提及的掩模中的每一个是具有用于掩蔽除材质设定目标区域之外的所有图像区域的配置的掩模图像。

在步骤S104，掩模图像生成部213a生成要应用的掩模图像，以基于特征量执行分割区域单元的材质设置，即，例如如图11所示的掩模图像。

应注意，图11所示的掩模图像是示例，并且响应于成像对象生成各种掩模图像。

对于掩模图像的生成处理，可以应用利用模板图像的配置。例如，图11所示的(1)面部掩模、(2)手掩模、(3)头发掩模、(4)衣服掩模、(5)眼睛掩模、(6)鼻子掩模、(7)嘴巴掩模和(8)脸颊掩模的掩模图像的模板图像被预先存储在存储部204中，并且通过根据从发送装置输入的成像对象图像修改任何模板掩模图像，可以生成适配于输入图像的掩模图像。

参照图12描述应用模板图像的眼睛掩模图像的生成处理的示例。

例如，如图12的(1)所示的这种应用于眼睛的模板掩模图像被预先存储在存储部204中。

掩模图像生成部213a从通过图像输入部201输入的成像对象的捕获图像中的特征点中选择眼睛区域附近的特征点作为使用的特征点。图12的(2)中的使用的特征点是在成像对象图像的左眼区域附近的特征点。

特征点与在上文中参照图10描述的特征点相对应。

基于特征点执行用于将(1)所示的模板掩模图像适配到捕获的图像的眼睛区域的旋转处理和调整大小处理。

图12的(3)示出了旋转处理，以及(4)示出了调整大小处理。

如图12的(3)所示，基于特征点{17,29}的线计算模板图像的旋转角度。

此外，如图12的(4)所示，调整特征点{17,23,24,25,26,27,29}的区域中的模板图像的大小以适配于输入图像。在本示例中，执行在X方向(水平方向)上调整大小至0.9倍，并且在Y方向(垂直方向)上调整大小至1.0倍。

通过执行如上所描述的这样的处理，可以利用(1)所示的模板掩模图像生成适配于捕获的图像的眼睛区域的眼睛掩模图像。

图13是示出应用模板图像的鼻子掩模图像的生成处理的示例的图。

例如，如图13的(1)所示的这种应用于鼻子的模板掩模图像被预先存储在存储部204中。

掩模图像生成部213a从通过图像输入部201输入的成像对象的捕获图像中的特征点中选择鼻子区域附近的特征点作为使用的特征点。图13的(2)中的使用的特征点是在成像对象图像的左鼻区域附近的特征点。

特征点与在上文中参照图10描述的特征点相对应。

基于特征点执行用于将(1)所示的模板掩模图像适配到捕获的图像的鼻子区域的旋转处理和调整大小处理。

图13的(3)示出了旋转处理，(4)示出了调整大小处理。

如图13的(3)所示，基于特征点{37,46}的线计算模板图像的旋转角度。

此外，如图13的(4)所示，调整特征点{28,29,30,31,40,43}的区域中的模板图像的大小以适配于输入图像。在本示例中，执行在X方向(水平方向)上调整大小至0.7倍，并且在Y方向(垂直方向)上调整大小至1.1倍。

通过执行如上所描述的这样的处理，可以利用(1)所示的模板掩模图像生成适配于捕获的图像的鼻子区域的鼻子掩模图像。

图14是示出应用模板图像的脸颊掩模图像的生成处理的示例的图。

例如，如图14的(1)所示的这种应用于脸颊的模板掩模图像被预先存储在存储部204中。

掩模图像生成部213a从通过图像输入部201输入的成像对象的捕获图像中的特征点中选择脸颊区域附近的特征点，作为使用的特征点。图14的(2)中的使用的特征点是在成像对象图像的左脸颊区域附近的特征点。

特征点与在上文中参照图10描述的特征点相对应。

基于特征点执行用于将(1)所示的模板掩模图像适配到捕获的图像的脸颊区域的旋转处理和调整大小处理。

图14的(3)示出了旋转处理，(4)示出了调整大小处理。

如图14的(3)所示，基于特征点{17,29}的线计算模板图像的旋转角度。

此外，如图14的(4)所示，调整特征点{17,29,55}的区域中的模板图像的大小以适配于输入图像。在本示例中，执行在X方向(水平方向)上调整大小至0.8倍，并且在Y方向(垂直方向)上调整大小至1.0倍。

通过执行如上所描述的这样的处理，可以利用(1)所示的模板掩模图像生成适配于捕获的图像的脸颊区域的脸颊掩模图像。

图15是示出应用模板图像的嘴巴周边区域掩模图像的生成处理的示例的图。

例如，如图15的(1)所示的这种应用于嘴巴周边区域的模板掩模图像被预先存储在存储部204中。

掩模图像生成部213a从通过图像输入部201输入的成像对象的捕获图像中的特征点中选择嘴巴周边区域的区域附近的特征点，作为使用的特征点。图15的(2)中的使用的特征点是在成像对象图像的嘴巴周边区域附近的特征点。

特征点与在上文中参照图10描述的特征点相对应。

基于特征点执行用于将(1)所示的模板掩模图像适配到捕获的图像的嘴巴周边区域的旋转处理和调整大小处理。

图15的(3)示出了旋转处理，(4)示出了调整大小处理。

如图15的(3)所示，基于特征点{49,55}的线计算模板图像的旋转角度。

此外，如图15的(4)所示，调整特征点{9,31,49,55}的区域中的模板图像的大小以适配于输入图像。在本示例中，执行在X方向(水平方向)上调整大小至1.3倍，并且在Y方向(垂直方向)上调整大小至0.9倍。

通过执行如上所描述的这样的处理，可以利用(1)所示的模板掩模图像生成适配于捕获的图像的嘴巴周边区域的嘴巴周边区域掩模图像。

不使用模板图像的掩模图像生成处理也是可以的。

图16是示出用于在不利用模板图像的情况下生成嘴唇掩模图像的处理的示例的视图。

掩模图像生成部213a从通过图像输入部201输入的成像对象的捕获图像中的特征点中选择嘴唇区域附近的特征点，作为使用的特征点。图16的(2)中的使用的特征点是在成像对象图像的嘴唇区域附近的特征点。

特征点与在上文中参照图10描述的特征点相对应。

基于特征点生成嘴唇掩模图像。

图16的(3)示出了上嘴唇掩模图像的生成处理，以及(4)示出了下嘴唇掩模图像的生成处理。

如图16的(3)所示，在上嘴唇掩模图像的生成处理中，基于特征点{49,50,51,52,53,54,55,65,64,63,62,61}的轮廓生成上嘴唇掩模图像。

此外，如图16的(4)所示，在下嘴唇掩模图像的生成处理中，基于特征点{49,60,59,58,57,56,55,65,64,63,62,61}的轮廓生成下嘴唇掩模图像。

通过执行如上所描述的这样的处理，可以在不利用模板掩模图像的情况下生成适配于捕获的图像的嘴唇区域的嘴唇掩模图像。

图17是示出用于在不利用模板图像的情况下生成嘴巴内部区域掩模图像的处理的示例的视图。

掩模图像生成部213a从通过图像输入部201输入的成像对象的捕获图像中的特征点中选择嘴巴内部区域附近的特征点，作为使用的特征点。图17的(2)中的使用的特征点是在成像对象图像的嘴巴内部区域附近的特征点。

特征点与在上文中参照图10描述的特征点相对应。

基于特征点生成嘴巴内部区域图像。

图17的(3)示出了嘴巴内部区域嘴唇掩模图像的生成处理。

如图17的(3)所示，在嘴巴内部区域掩模图像的生成处理中，基于特征点{61,62,63,64,65,66,67,68}的轮廓生成嘴巴内部区域掩模图像。

通过执行如上所描述的这样的处理，可以在不利用模板掩模图像的情况下生成适配于捕获的图像的嘴巴内部区域的嘴巴内部区域掩模图像。

另外，对于其他(1)面部掩模、(2)手掩模、(3)头发掩模、(4)衣服掩模等的掩模图像，可以利用或不利用或不利用模板图像来生成根据成像对象图像的掩模图像。

以这种方式，在图9所示的流程的步骤S104中，例如，通过上述处理执行掩模图像生成处理。

对图9的流程图的步骤S105等的处理进行描述。

(步骤S105)

在步骤S105，网格获取部212a将网格设置到与捕获的图像相对应的3D模型，并且网格划分部212b根据掩模图像执行网格划分处理。

如上所描述，网格是三角形、四边形等的多边形区域，其是三维模型的精细划分区域。

通过将材质设置到该网格，执行三维图像的绘制处理，即渲染。在要绘制(渲染)三维图像的情况下，需要在网格单元中设置最佳材质。

对于成为三维模型的组成的网格，可以通过设置接近网格的实际材质类型的材质(特别是纹理或着色器)来生成具有真实感的三维模型数据。

通过利用从发送装置输入的捕获图像和通过在上文中参照图4描述的预处理存储在数据库中的成像对象的三维模型数据来应用规定算法，可以获取网格。应注意，优选地，将渲染过程生成的最终CG效果应用的三维图像的设置(例如光源位置的设置条件等)考虑在内来执行网格的设置。

在步骤S105，网格获取部212a首先在与输入的捕获图像相对应的三维模型上设置网格，并且网格划分部212b根据在步骤S104处生成的掩模图像来执行网格划分处理。

掩模图像包括各种掩模图像，例如，如在上文中参照图11描述的(1)面部掩模到(8)面颊掩模等。它们是在每个部分的材质应用处理中利用的掩模。

然而，由掩模图像规定的各部分的区域和由网格规定的分割区域在许多情况下并不彼此一致。

例如，出现这样的情况：一个网格区域是在未被眼睛掩模掩蔽的区域(＝与眼睛相对应的材质应用区域)与未使用眼睛掩模掩蔽的除眼睛之外的区域(＝与眼睛相对应的材质非应用区域)之间延伸的一个三角形区域。

由于在网格单元中执行材质设置，如果存在如上所描述的网格，则对眼睛区域和除眼睛之外的区域执行相同材质的设置处理。

为了防止刚刚描述的这种情况，需要执行新的网格设置，使得根据掩模图像重新划分网格，以形成未被掩模图像掩蔽的材质应用区域和被掩模图像掩蔽的材质非应用区域。

该处理由网格划分部212b执行。

换句话说，执行根据在步骤S104生成的掩模图像的网格划分处理。

(步骤S106)

然后在步骤S106，模型添加部212c基于特征量信息来放置存储在存储部(DB)204中的三维模型。例如，执行将角膜模型放置在眼球的前面的处理或类似处理。

尽管三维图像的生成处理基本上被执行为用于将材质设置到网格的处理，但是对于特定部分例如眼球，如果执行用于粘贴预先准备的三维模型的处理，则可以增加真实感。

在步骤S106，执行刚刚描述的这种三维模型添加处理。

应注意，三维模型被预先存储在存储部(DB)204中。例如，可以利用在预处理中从发送装置110接收的三维模型信息。

例如，在用于将角膜模型放置在眼球前的处理的情况下，通过设置在黑色虹膜中设置白色高亮区域的模型来设置注视方向。

例如，为了将高亮区域设置到黑色虹膜中的适当位置，优选地检测从发送装置接收的捕获图像的注视方向，并且基于检测到的注视方向确定高亮区域设置位置。

此外，优选地将光源位置设置在面部图像的前方，使得通过渲染生成的3D图像中的面部图像的黑色虹膜中的高光区域与所显示的3D图像的光源位置彼此对应。

(步骤S107)

然后在步骤S107，纹理图生成部213b根据属性分析结果和模板数据库生成每种材质所需的纹理图(基色、光泽、腔、法线等)。

如上所描述，在要执行三维图像的生成处理的情况下，对于作为三维图像的组成的网格，设置接近网格的实际材质类型的材质，特别是纹理或着色器。通过该材质设置处理，可以生成具有真实感的三维图像。

纹理是可以通过合成具有彼此不同的效果的多个纹理图来生成的图像数据。

如在上文中参照图2所描述的，纹理图例如包括以下类型。

(1)基色图

(2)光泽图

(3)法线图

(4)腔图

(5)金属图

(1)基色图是作为基础(图案)的颜色信息。

(2)光泽图是用于控制物质的平滑度的纹理图，并且亮度越高的地方表示越明显的镜面化(镜面反射)。黑色(0,0)表示完全漫反射，白色(1,0)表示完全镜面反射。

具体地，光泽图表示光彩度，并且可以表现出光泽的差异，例如，对于面部的每个部分。

(3)法线图是一种纹理图，它表达细微的不规则事物，并且可以表达面部的细微的不规则事物，例如皱纹和痣。

(4)当意在抑制镜面化(镜面反射)的强度时，使用腔图。例如，可以产生例如毛孔或污渍的微小阴影。

(5)金属图是在执行金属度的控制的情况下使用的纹理图，黑色(0,0)对应非金属，白色(1,0)对应金属。例如，如果将金属图应用于金属化部分，则可以表现出金属的质感。

以这种方式，纹理是可以通过合成具有各自不同效果的多个纹理图来生成的图像数据。

在步骤S107处，确定纹理，所述纹理是将材质设置到通过渲染生成的三维图像的每个网格的元素。

对于该纹理确定处理，利用存储在存储部(DB)204中的模板数据库224。

如在上文中参照图7所描述的，模板数据库224包括：

属性信息与材质的对应数据。

属性信息包括成像对象属性信息和部位属性信息。

材质包括纹理图。

成像对象属性信息是作为成像对象的人的属性信息，例如“性别”、“年龄”、“种族”和“皮肤类型”。

部位属性信息是作为人的面部的每个部分(例如，眼睛、鼻子、眉毛和脸颊等)的识别信息的属性信息。

如上所描述的这种属性信息是可以在步骤S102获取的信息。例如，可以在上文中参照图4描述的预处理中或在上文中参照图5描述的实时处理中基于从发送装置110接收的图像数据来获取属性信息，或者可以基于用户输入信息来获取属性信息。

如图7所示，模板数据库是属性信息与材质之间的对应数据。

在图像处理装置200的图像处理部203通过实时处理执行用于生成应用了CG效果的3D图像的处理的情况下，图像处理部203可以例如根据捕获的人的图像参考模板数据库来立即获取要设置到从发送装置110接收的成像对象图像中检测到的人的部分(例如眼睛、鼻子、脸颊等)的材质。

根据图7所示的模板数据库224的配置，纹理图被记录为材质。

具体地，记录响应于属性信息(成像对象属性和部分属性)而应用的纹理图的设置。

具体地，要应用的纹理图与例如以下的成像对象属性和部分属性相对应：

(a)要粘贴到眼睛周围区域中的网格的纹理图的设置，

(b)要粘贴到鼻梁的区域中的网格的纹理图的设置，

(c)要粘贴到眉毛的区域中的网格的纹理图的设置，

(d)要粘贴到脸颊的区域中的网格的纹理图的设置，

.....

例如，记录20至35岁高加索女性的正常皮肤的这种成像对象属性。

通过利用该模板数据库，可以在构造从发送装置110发送的成像对象视频的帧单元中在短时间内执行成像对象组成单元(部分单元)的最佳材质设置，并且可以将3D图像生成执行为实时处理。

应注意，在执行利用图7所示的设置的模板数据库进行的处理的情况下，从模板数据库获取纹理，而对于着色器，每次在帧单元中执行计算处理以执行网格中的像素单元中的绘制颜色的确定处理。

如在上文中所描述的，图8所示的模板数据库224具有在其中被记录为材质的纹理图和着色器。

如果利用图8所示的设置的模板数据库，则还可以与纹理一起从模板数据库获取着色器的信息，并且可以确定在帧单元和成像对象组成单元(部分单元)中的网格中的纹理以及每个像素的绘制颜色。

应注意，在利用图7或图8所示的模板数据库执行材质设置的情况下，还可以根据用户的喜好来执行模板数据库的设置改变。

例如，尽管也可以是如下配置：利用预先设置为默认数据的材质作为要设置到鼻子区域的材质，但是也可以执行这样的处理以改变设置，使得设置具有更强调鼻梁的纹理的材质。

此外，可以执行这样的处理以改变设置，使得作为要设置到脸颊的材质，具有看起来为更光滑的皮肤类型的纹理的材质。

(步骤S108)

在步骤S108，渲染部214执行渲染以将材质应用于3D模型。

在该处理中，在步骤S107，利用与从模板数据库224获取的属性信息(成像对象属性和部分属性)相对应的纹理图来执行到每个部分的网格的材质设置，即粘贴纹理。此外，应用作为像素单元的绘制颜色的确定算法的着色器，以执行像素单元中的绘制颜色的确定处理。

应注意，在利用图8所示的模板数据库224的情况下，还可以与纹理一起从模板数据库中获取着色器的信息，并且可以在帧单元的成像对象组成单元(部分单元)中执行对网格中的纹理以及每个像素的绘制颜色的确定。

(步骤S109)

最后，在步骤S109，显示部205显示在步骤S108生成的渲染结果。

应注意，对于由图像输入部201输入的每个图像帧执行步骤S101至S109的处理。

该处理被执行为实时处理，并且例如，在实时的基础上将由图5所示的发送装置110侧捕获的图像显示为在接收装置120侧应用CG效果的三维图像。

使该实时处理能够实现的重要元素之一是模板数据库。

具体地，通过利用与成像对象属性和部分属性相对应来登记要应用的纹理图的模板数据库，可以在构造从发送装置110发送的成像对象视频的帧单元中执行成像对象组成单元(部分单元)的最佳材质设置，并且3D图像生成可以被执行为实时处理。

[5.用于生成基于用户输入信息进行定制的3D图像的处理的示例]

现在，描述用于生成基于用户输入信息进行定制的3D图像的处理的示例。

图6所示的图像处理装置200可以通过用户输入部202输入通过渲染而生成的三维图像的定制信息。

例如，可以输入面部的装饰设置信息，特别是各种设置信息例如设置唇膏的颜色、腮红的颜色、应用区域和眉毛作为定制信息。

图像处理装置200的图像处理部203可以利用通过用户输入部202输入的定制信息来执行要在显示部205上显示的三维图像的渲染。

例如，可以执行例如以下处理：将图像输入部201设置为成像部，生成对由成像部捕获的自身面部图像执行化妆的3D图像，并在显示部205上显示该3D图像。

在如刚刚描述的这种处理中，如下处理成为可能：生成并显示不是真实再现成像对象的3D图像，而是通过应用用于实现自己的理想皮肤类型或变得好像化了妆的材质来反映出在photo booth或虚拟化妆中的美丽皮肤效果的3D图像。

在本工作示例中，执行利用作为允许各种定制(修改、改变)的属性信息-材质对应数据的模板数据库的处理。

参考图18描述了在本工作示例中应用的模板数据库的示例。

如图18所示，模板数据库224是

可定制属性信息与材质之间的对应数据，其是可以由用户校正和改变的信息。

可定制属性信息包括成像对象属性信息和部位属性信息。

可定制材质包括纹理图。

成像对象属性信息是作为成像对象的人的可定制属性信息，例如“性别”、“年龄”、“种族”和“皮肤类型”等。

部位属性信息是作为人面部的每个部分(例如眼睛、鼻子、眉毛和脸颊等)的识别信息的可定制信息。

在本工作示例中，可以基于从用户输入部202输入的用户输入信息来设置和改变属性信息与材质之间的对应关系。

在图像处理装置200的图像处理部203执行用于生成通过实时处理执行了CG效果的3D图像的处理的情况下，图像处理部203可以参考模板数据库来立即获取要被设置到从发送装置110接收的成像对象图像——例如捕获的人的图像——检测到的人的各部分例如眼睛、鼻子、脸颊等的材质。

具体地，通过利用模板数据库，可以在构造通过图像输入部201输入的成像对象视频的帧单元中在短时间内执行成像对象组成单元(部分单元)的最佳材质设置，并且3D图像生成可以被执行为实时处理。

应注意，在图18中所示的模板数据库224的配置中，仅将纹理图记录为材质，而不记录着色器。

如上所描述，着色器是用于计算网格中的每个像素的绘制颜色的算法。在执行利用图18所示的设置的模板数据库进行的处理的情况下，从模板数据库获取纹理，并且关于着色器，每次在帧单元中执行计算处理，以执行网格中的像素单元中的绘制颜色的确定处理。

图19示出了具有与图18所示的模板数据库224的设置不同的设置的模板数据库204的配置的示例。

图19所示的模板数据库224具有在其中被记录为材质的纹理图和着色器。

如果利用具有图19所示的设置的模板数据库，则还可以与纹理一起从模板数据库获取着色器的信息，并且可以在帧单元和成像对象组成单元(部分单元)中确定网格中每个纹理和每个像素的绘制颜色。

在本工作示例中，执行利用其中将各种可定制属性信息与材质彼此相关联的模板数据库的处理。

以这种方式，通过利用其中将各种可定制属性信息与材质彼此相关联的模板数据库，可以生成并显示不是真实再现成像对象的3D图像，而是允许应用例如实现自身理想的皮肤类型或化妆的材质并且反映出虚拟化妆效果的3D图像。

图20所示的流程图是利用通过用户输入部202输入的定制信息来执行要在显示部205上显示的三维图像的渲染的处理序列的流程图。

在以下描述中，根据流程图描述了三维图像生成处理的特定示例，由图6所示的图像处理装置200(＝图5的接收装置120)执行的用户输入信息被反映在该三维图像生成处理上。

应注意，例如，根据存储在图像处理装置的存储部中的程序，在包括设置有具有程序执行功能的CPU等的控制器的数据处理部的控制下，执行根据图20所示的流程图的处理。

接下来描述图20所示的流程的步骤的处理。

(步骤S201)

首先，在步骤S201，从通过图像处理装置200的用户输入部202输入的用户输入信息获取用户期望的定制信息(CG效果等)。

(步骤S202)

然后，图像处理装置200的图像输入部201输入成为3D图像的生成源的捕获图像(纹理)。

应注意，对于构造从图像输入部201输入的成像对象的捕获视频的每个图像帧，执行流程图所示的步骤S202至S209的处理。

具体地，在最后的步骤S209，执行在输入图像帧单元中应用CG效果的3D图像的渲染。

(步骤S203至S206)

接下来的步骤S203至S206的处理类似于在上文中参照图9所示的流程图描述的步骤S103至S106的处理。

具体地，执行下面描述的处理。

然后在步骤S203，特征量提取部211a基于在步骤S202输入的捕获图像的特征量设置与成像对象(人)的各部分(作为面部器官的眼睛、鼻子、嘴巴和眉毛、皮肤区域、身体部位、头发、衣服等)相对应的分割区域。

例如，基于作为在上文中参照图10描述的面部器官的眼睛、鼻子、嘴巴、眉毛的特征点来设置与各部分(作为面部器官的眼睛、鼻子、嘴巴和眉毛、皮肤区域、身体部位、头发、衣服等)相对应的分割区域。

然后在步骤S204，掩模图像生成部213a生成要应用的掩模图像，以基于特征量执行在分割区域单元中的材质设置。

例如，生成与在上文中参照图11描述的各种部分相对应的掩模图像。

此外，在步骤S205，网格获取部212a将网格设置到与捕获的图像相对应的3D模型，并且网格划分部212b根据掩模图像执行网格划分处理。

如上所描述，网格是例如三角形、四边形等的多边形区域，其是三维模型的精细划分区域。

通过将材质设置到网格，执行三维图像的绘制处理，即渲染。在执行三维图像的绘制(渲染)情况下，需要在网格单元中设置最佳材质。

通过将接近网格的实际材质类型的材质设置到作为三维模型的组成的网格，特别是通过将纹理或着色器设置到作为三维模型的组成的网格，可以生成具有真实感的三维模型数据。

在步骤S205，网格获取部212a首先在与输入的捕获图像相对应的三维模型上设置网格，并且网格划分部212b根据在步骤S204生成的掩模图像执行网格划分处理。

然后在步骤S206，模型添加部212c基于特征量信息放置被存储在存储部(DB)204中的三维模型。例如，执行将角膜模型放置在眼球的前面等的处理。

应注意，三维模型预先存储在存储部(DB)204中。

(步骤S207)

然后在步骤S207，纹理图生成部213b根据参照图18和图19描述的可定制模板数据库生成每种材质所需的纹理图(基色、光泽、腔、法线等)。

通过利用参照图18和图19描述的可定制模板数据库，可以在构造通过图像输入部201输入的的成像对象视频的帧单元中在短时间内执行在部分单元中最佳材质设置，并且3D图像生成可以被执行为实时处理。

在步骤S207，确定作为要设置到通过渲染生成的三维图像的每个网格的材质的元素的纹理。

存储在存储部(DB)204中的模板数据库224，即可定制属性信息与材质之间的对应数据，被用于纹理的确定处理。

在步骤S201获取的用户输入信息可以应用于定制信息。

例如，在图18所示的模板数据库224的配置中，纹理图被记录为材质。

具体地，记录响应于可定制属性信息而应用的纹理图的设置。

具体地，例如，在应用如20至35岁高加索女性的正常皮肤这种可定制信息的情况下，对与如下定制属性信息相对应的纹理图：

(a)要粘贴到眼睛周围区域中的网格的纹理图的设置，

(b)要粘贴到鼻梁的区域中的网格的纹理图的设置，

(c)要粘贴到眉毛的区域中的网格的纹理图的设置，

(d)要粘贴到脸颊的区域中的网格的纹理图的设置，

.....

进行登记。

通过利用该模板数据库，可以在构造从图像输入部输入的成像对象视频的帧单元中在短时间内执行部分单元的最佳材质设置，并且可以将3D图像生成执行为实时处理。

应注意，在执行利用图18所示的设置的模板数据库进行的处理的情况下，从模板数据库获取纹理，而对于着色器，每次在帧单元中执行计算处理，以执行网格中的像素单元中的绘制颜色的确定处理。

如在上文中所描述的，图19所示的模板数据库224具有在其中被记录为材质的纹理图和着色器。

如果利用图19所示的设置的模板数据库，则还可以与纹理一起从模板数据库获取着色器的信息，并且可以确定在帧单元和部分单元中的网格中的纹理以及每个像素的绘制颜色。

(步骤S208)

在步骤S108，渲染部214执行渲染以将材质应用于3D模型。

在该处理中，利用在步骤S207为从模板数据库224获取的定制属性信息准备的纹理图来执行到每个部分的网格的材质设置，即纹理的粘贴。此外，应用作为像素单元的绘制颜色的确定算法的着色器，以执行在像素单元中的绘制颜色的确定处理。

(步骤S209)

最后，在步骤S209，显示部205显示在步骤S208生成的渲染结果。

应注意，对于由图像输入部201输入的每个图像帧执行步骤S201至S209的处理。

处理被执行为实时处理。

使该实时处理能够实现的重要元素之一是模板数据库。

具体地，通过利用其中登记了为属性信息(其可以通过各种用户请求进行修改或改变(定制))准备的纹理图的模板数据库，可以在构造从图像输入部201输入的成像对象视频的帧单元中执行成像对象组成单元的最佳材质设置，并且3D图像生成可以被执行为实时处理。

[6.图像处理装置的硬件配置的示例]

现在，参照图21描述图6所示的图像处理装置200和图3至图5所示的发送装置110和接收装置120的硬件配置的示例。

图21示出了与图6所示的图像处理装置200和图3至图5所示的发送装置110和接收装置120相对应的图像处理装置300的硬件配置的示例。

图像处理装置300具体可以是信息处理装置，例如PC(个人计算机)、平板PC、智能电话或平板终端。

在附图中，图像处理装置100包括控制器301、ROM(只读存储器)302、RAM(随机存取存储器)303、输入/输出接口305和将它们彼此连接的总线304。

控制器301根据场合需要来适当地访问RAM 303等，并在执行各种算术运算处理的情况下全面地控制图像处理装置300的全部块。控制器301可以是CPU(中央处理单元)、GPU(图形处理单元)等。ROM 302是非易失性存储器，其中固定地存储由控制器301执行的OS的固件、程序、各种参数等。RAM 303用作控制器301的工作区域等，并临时保留OS、正在执行的各种应用程序以及处理期间的各种数据。

输入部306、输出部307、存储部308、通信部309、可以加载可移动介质311的驱动器310等连接到输入/输出接口305。

应注意，输入/输出接口105可以被配置成不仅连接到上述部件，而且还通过USB(通用串行总线)终端、IEEE终端等连接到外部外围装置。

输入部306是包括例如图6所示的图像处理装置200的图像输入部201、用户输入部202等的输入部。成像输入部可以包括例如成像部等。

输入部306例如包括诸如鼠标、键盘、触摸板和其他输入设备的指示设备。

输出部307包括图6所示的图像处理装置200的显示部205。

存储部308与图6所示的图像处理装置200的存储部(DB)204相对应。例如，存储部308是非易失性存储器，例如HDD(硬盘驱动器)、闪存(SSD；固态驱动器)或不同的固态存储器。在存储部308中，存储OS、各种应用程序和各种数据。存储部308还用作针对输入图像、图像信息、生成的输出图像等的存储区域。

通信部309是例如用于以太网(注册商标)的NIC(网络接口卡)，并且通过网络执行通信处理。

驱动器310用于利用可移动介质311的数据记录和再现处理。

可移动介质311包括例如BD、DVD、CD、HDD、闪存等。

[7.本公开内容的构成的总结]

已经参考具体的工作示例详细描述了本公开内容的工作示例。然而，不言而喻的是，本领域的技术人员可以在不脱离本公开内容的主题的情况下对工作示例进行修改或替换。换句话说，已经以示例的形式公开了本发明，并且不应该限制性地解释本发明。为了确定本公开内容的主题，应该将权利要求考虑在内。

应注意，本说明书中公开的技术可以采用如下所描述的配置。

(1)一种图像处理装置，包括：

图像处理部，其被配置成基于输入图像执行三维图像生成处理，其中，

图像处理部参考模板数据库根据成像对象属性来选择材质并执行三维图像的生成处理，该模板数据库包括输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。

(2)根据(1)所述的图像处理装置，其中，

输入图像包括运动图像数据，并且

图像处理部针对构造运动图像数据的每个图像帧执行新的三维图像的生成处理。

(3)根据(1)或(2)所述的图像处理装置，其中，

输入图像包括运动图像数据，并且

图像处理部更新作为三维图像的配置单元的网格和构造运动图像数据的每个图像帧的材质的设置，并执行新的三维图像的生成处理。

(4)根据(1)至(3)中任一项所述的图像处理装置，其中，

模板数据库包括其中记录成像对象的组成单元的材质的数据库，并且

图像处理部应用组成单元的掩模图像，以从模板数据库获取每个组成的材质，并执行组成单元的材质设置。

(5)根据(1)至(4)中任一项所述的图像处理装置，其中，

输入图像包括人的面部图像，

模板数据库包括其中记录输入图像中包括的人的面部的组成单元的材质的数据库，并且

图像处理部应用输入图像中包括的人的面部的组成单元的掩模图像，以从模板数据库获取每个组成的材质，并执行面部的组成单元的材质设置。

(6)根据(1)至(5)中任一项所述的图像处理装置，其中，

模板数据库包括纹理作为材质，并且

图像处理部根据成像对象属性从模板数据库中选择纹理，并执行三维图像的生成处理。

(7)根据(1)至(6)中任一项所述的图像处理装置，其中，

模板数据库包括纹理和着色器作为材质，并且

图像处理部根据成像对象属性从模板数据库中选择纹理和着色器，并执行三维图像的生成处理。

(8)根据(1)至(7)中任一项所述的图像处理装置，其中，

图像处理部

包括特征量提取部，其被配置成从输入图像提取特征量，

基于由特征量提取部提取的特征量来识别成像对象的组成，并且

以所识别的组成为单位来执行材质设置。

(9)根据(1)至(8)中任一项所述的图像处理装置，其中，

图像处理部

包括特征量提取部，其被配置成从输入图像提取特征量，

基于由特征量提取部提取的特征量来识别成像对象的组成，并且

以所识别的组成为单位执行掩模图像生成处理。

(10)根据(1)至(9)中任一项所述的图像处理装置，其中，

图像处理部包括网格划分部，网格划分部被配置成根据成像对象的组成来执行作为材质设置单元的网格的划分处理。

(11)根据(1)至(10)中任一项所述的图像处理装置，其中，

成像对象的属性信息包括性别、年龄、种族或皮肤类型中的至少之一。

(12)根据(1)至(11)中任一项所述的图像处理装置，其中，

成像对象的属性信息包括通过输入图像的分析处理获取的属性信息或通过用户输入获取的属性信息。

(13)根据(1)至(12)中任一项所述的图像处理装置，其中，

属性信息与存储在模板数据库中的材质之间的对应数据包括用户可定制的数据，并且

图像处理装置被配置成响应于通过用户输入部输入的输入信息来改变属性信息与材质之间的对应数据。

(14)根据(1)至(13)中任一项所述的图像处理装置，其中，

输入图像包括通过网络接收的图像。

(15)一种图像处理系统，包括：

发送装置，其被配置成发送图像；以及

接收装置，其被配置成对来自发送装置的输入图像执行处理，以生成三维图像并在显示部上显示三维图像，其中，

接收装置的图像处理部参考模板数据库根据成像对象属性来选择材质并执行三维图像的生成处理，该模板数据库包括输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。

(16)根据(15)所述的图像处理系统，其中，

图像包括运动图像数据，并且

接收装置的图像处理部更新作为三维图像的配置单元的网格和构造运动图像数据的每个图像帧的材质的设置，并执行新的三维图像的生成处理。

(17)根据(15)或(16)所述的图像处理系统，其中，

模板数据库包括其中记录成像对象的组成单元的材质的数据库，并且

接收装置的图像处理部应用组成单元的掩模图像，以从模板数据库获取每个组成的材质，并执行组成单元的材质设置。

(18)根据(15)至(17)中任一项所述的图像处理系统，其中，

输入图像包括人的面部图像，

模板数据库包括其中记录人的面部的组成单元的材质的数据库，并且

图像处理部应用在输入图像中包括的人的面部的组成单元的掩模图像，以从模板数据库获取每个组成的材质，并执行面部的组成单元的材质设置。

(19)一种由图像处理装置执行的图像处理方法，其中，

图像处理装置包括图像处理部，图像处理部被配置成基于输入图像执行三维图像生成处理，并且

图像处理部参考模板数据库来根据成像对象属性选择材质并执行三维图像的生成处理，该模板数据库包括输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。

(20)一种用于使图像处理装置执行图像处理的程序，其中，

图像处理装置包括图像处理部，图像处理部被配置成基于输入图像执行三维图像生成处理，并且

该程序使图像处理部参考模板数据库来根据成像对象属性选择材质并执行三维图像的生成处理，该模板数据库包括输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。

此外，说明书中描述的一系列处理可以由硬件、软件或它们的复合配置来执行。在执行软件处理的情况下，可以将记录处理序列的程序安装到包含在硬件中的专用计算机中的存储器中以便被执行，或将程序安装到通用的可以执行各种处理的计算机中使得程序被执行。例如，程序可以预先被记录在记录介质中。除了从记录介质安装到计算机之外，还可以通过例如LAN(局域网)或因特网的网络来接收程序，并将程序安装到例如硬盘的内置记录介质中。

应注意，说明书中描述的各种处理不仅可以根据描述按时间序列执行，而且可以根据执行处理的装置的处理能力或根据场合需要并行或单独执行。此外，本说明书中的系统是多个装置的逻辑集组合，并且不限于组成装置在同一外壳中的配置。

[工业适用性]

如上所描述，根据本公开内容的工作示例的配置，实现了可以在实时基础上基于输入图像来生成3D图像的装置和方法。

具体地，例如，执行对输入图像的图像帧的处理以生成三维图像。参考作为输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据的模板数据库，来根据成像对象属性选择材质以生成三维图像。模板数据库具有记录在其中的人的面部的组成单元的材质，并且图像处理部应用面部的组成单元的掩模图像，以从模板数据库获取每个组成单元的材质，并执行面部的组成单元中的材质设置。

通过本结构，实现了可以在实时基础上基于输入图像来生成3D图像的装置和方法。

110 发送装置

111 图像获取部

113 三维模型信息生成部

114 发送信息生成部

115 通信部

120 接收装置

121 通信部

122 图像处理部

123 数据库

124 显示部

200 图像处理装置

201 图像输入部

202 用户输入部

203 图像处理部

204 存储部

205 显示部

211 图像信息分析部

211a 特征量提取部

211b 属性分析部

212 网格编辑部

212a 网格获取部

212b 网格划分部

212c 模型添加部

213 材质应用部

213a 掩模图像生成部

213b 纹理图生成部

214 渲染部

222 掩模图像

223 成像对象属性信息

224 模板数据库

301 控制器

302 ROM

303 RAM

304 总线

305 输入/输出接口

306 输入部

307 输出部

308 存储部

309 通信部

310 驱动器

311 可移动介质

Claims (20)

1.一种图像处理装置，包括：

图像处理部，其被配置成基于输入图像执行三维图像生成处理，其中，

所述图像处理部参考模板数据库来根据成像对象属性选择材质并且执行三维图像的生成处理，所述模板数据库包括所述输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。

2.根据权利要求1所述的图像处理装置，其中，

所述输入图像包括运动图像数据，并且

所述图像处理部对构成所述运动图像数据的每个图像帧执行新的三维图像的生成处理。

3.根据权利要求1所述的图像处理装置，其中，

所述输入图像包括运动图像数据，并且

所述图像处理部对构成所述运动图像数据的每个图像帧更新作为三维图像的配置单元的网格和材质的设置，并且执行新的三维图像的生成处理。

4.根据权利要求1所述的图像处理装置，其中，

所述模板数据库包括其中记录了所述成像对象的组成单元的材质的数据库，并且

所述图像处理部应用所述组成单元的掩模图像，以从所述模板数据库获取每个组成的材质，并且执行所述组成单元的材质设置。

5.根据权利要求1所述的图像处理装置，其中，

所述输入图像包括人的面部图像，

所述模板数据库包括其中记录了所述输入图像中包括的人的面部的组成单元的材质的数据库，并且

所述图像处理部应用所述输入图像中包括的人的面部的组成单元的掩模图像，以从所述模板数据库获取每个组成的材质，并执行所述面部的组成单元的材质设置。

6.根据权利要求1所述的图像处理装置，其中，

所述模板数据库包括纹理作为所述材质，并且

所述图像处理部从所述模板数据库根据成像对象属性选择纹理，并执行三维图像的生成处理。

7.根据权利要求1所述的图像处理装置，其中，

所述模板数据库包括纹理和着色器作为所述材质，并且

所述图像处理部从所述模板数据库根据成像对象属性选择纹理和着色器，并执行三维图像的生成处理。

8.根据权利要求1所述的图像处理装置，其中，

所述图像处理部

包括特征量提取部，其被配置成从所述输入图像提取特征量，

基于由所述特征量提取部提取的所述特征量来识别所述成像对象的组成，并且

以所识别的组成为单位来执行材质设置。

9.根据权利要求1所述的图像处理装置，其中，

所述图像处理部

包括特征量提取部，其被配置成从所述输入图像提取特征量，

基于由所述特征量提取部提取的所述特征量来识别所述成像对象的组成，并且

以所述所识别的组成为单位来执行掩模图像生成处理。

10.根据权利要求1所述的图像处理装置，其中，

所述图像处理部包括网格划分部，所述网格划分部被配置成根据所述成像对象的组成来执行作为材质设置单元的网格的划分处理。

11.根据权利要求1所述的图像处理装置，其中，

所述成像对象的属性信息包括性别、年龄、种族或皮肤类型中的至少一个。

12.根据权利要求1所述的图像处理装置，其中，

所述成像对象的属性信息包括通过所述输入图像的分析处理获取的属性信息或通过用户输入获取的属性信息。

13.根据权利要求1所述的图像处理装置，其中，

存储在所述模板数据库中的属性信息与材质之间的对应数据包括用户可定制的数据，并且

所述图像处理装置被配置成响应于通过用户输入部输入的输入信息来改变所述属性信息与所述材质之间的对应数据。

14.根据权利要求1所述的图像处理装置，其中，

所述输入图像包括通过网络接收的图像。

15.一种图像处理系统，包括：

发送装置，其被配置成发送图像；以及

接收装置，其被配置成对来自所述发送装置的输入图像执行处理，以生成三维图像并在显示部上显示所述三维图像，其中，

所述接收装置的图像处理部参考模板数据库来根据成像对象属性选择材质并且执行所述三维图像的生成处理，所述模板数据库包括所述输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。

16.根据权利要求15所述的图像处理系统，其中，

所述图像包括运动图像数据，并且

所述接收装置的图像处理部对构成所述运动图像数据的每个图像帧更新作为三维图像的配置单元的网格和材质的设置，并且执行新的三维图像的生成处理。

17.根据权利要求15所述的图像处理系统，其中，

所述模板数据库包括其中记录了所述成像对象的组成单元的材质的数据库，并且

所述接收装置的图像处理部应用所述组成单元的掩模图像，以从所述模板数据库获取每个组成的材质，并且执行所述组成单元的材质设置。

18.根据权利要求15所述的图像处理系统，其中，

所述输入图像包括人的面部图像，

所述模板数据库包括其中记录了人的面部的组成单元的材质的数据库，并且

所述图像处理部应用所述输入图像中包括的所述人的面部的组成单元的掩模图像，以从所述模板数据库获取每个组成的材质，并且执行所述面部的组成单元的材质设置。

19.一种由图像处理装置执行的图像处理方法，其中，

所述图像处理装置包括图像处理部，所述图像处理部被配置成基于输入图像执行三维图像生成处理，并且

所述图像处理部参考模板数据库来根据成像对象属性选择材质并且执行三维图像的生成处理，所述模板数据库包括所述输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。

20.一种用于使图像处理装置执行图像处理的程序，其中，

所述图像处理装置包括图像处理部，所述图像处理部被配置成基于输入图像执行三维图像生成处理，并且

所述程序使所述图像处理部参考模板数据库来根据成像对象属性选择材质并且执行三维图像的生成处理，所述模板数据库包括所述输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。

Images