CN101958004A

CN101958004A - 图像处理装置以及图像处理方法

Info

Publication number: CN101958004A
Application number: CN201010224315.6A
Authority: CN
Inventors: 中村泉三郎; 尾崎典雅; 鹈饲健生; 柿原利政
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-07-14
Filing date: 2010-07-07
Publication date: 2011-01-26
Also published as: US20110012911A1; US8698830B2; JP2011022727A

Abstract

本发明涉及一种图像处理装置以及图像处理方法，并且提供能够在制作CG时容易地指定纹理映射图像的切换定时的制作环境。通过图像映射单元，基于由矩阵开关(160)取出的图像数据(T1)的图像被纹理映射到由图像生成单元(140)生成的CG图像的纹理映射目标(对象或者对象的一部分)的表面上。图像选择控制单元(180)控制矩阵开关(160)，以使得由矩阵开关(160)取出的图像数据(T1)为与CG描述数据中的赋予给纹理映射目标的属性相对应的图像输入。纹理映射图像根据被赋予给纹理映射目标的属性而变化。通过改变被赋予给纹理映射目标的属性，能够在制作CG时容易地指定要纹理映射的图像的切换定时。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及图像处理装置以及图像处理方法，尤其涉及通过将基于图像数据的图像纹理映射到计算机图形图像上来进行图像合成的图像处理装置等。

背景技术

在三维图形系统中，将三维坐标分解为三角形等多边形(多角形)，并通过绘制该多边形来绘制整个图像。因此，在此情况下，可以说三维图像是用多边形的组合定义的。但是，身边大多物体的表面具有由复杂的模样重复构成的图案，而且模样或图案越是复杂、精细，越是难以用三角形等对各模样或图案建模。因此，作为解决上述问题的手段而使用纹理映射(Texture Mapping)。

纹理映射是通过将使用扫描仪等获取的图像数据贴在物体表面上来用少的顶点数实现真实性高的图像，其定义从对象(Object)坐标系向纹理(Texture)坐标系的映射，并且求出从窗口(Window)坐标系向纹理坐标系的映射，从而求出与窗口坐标系中的各像素(Pixel，Picture Cell Element)对应的纹理的元素、即纹元(Texel，Texture Cell Element)。

使用在纹理上的图像数据保存在被称为纹理存储器的存储区域中。因此，当进行使用运动图像数据随时更新纹理存储器的处理时，可基于运动图像进行纹理映射处理。

例如，专利文献1中记载了以下三维特效装置：在对多个输入图像进行纹理映射的装置中，使纹理坐标随着时间的流逝而变化，由此使要纹理映射的图像逐渐转变(Transition)。

另外，例如在专利文献2中记载了分析CG数据并自动选择网目调(screen tone)的、以来自立体对象数据的动画表现作为纹理(如在动画中用于阴影的纹理)二维图像的生成方法。

在先技术文献

专利文献

专利文献1：日本专利文献特开2002-369076号公报；

专利文献2：日本专利文献特开2003-256865号公报。

发明内容

发明要解决的问题

即使在纹理映射动画图像的情况下，在CG制作工序中也无法在使用时一边看要被纹理映射的图像一边进行操作。另一方面，在通过CG制作动画的情况下，有时在制作中想有意识地决定在动画的移动/变化中期望替换要纹理映射的运动图像的点(时间点)。

以往，由于运动图像的切换是在使用时通过操作图像选择单元来进行的，因此难以与CG的动画动作的特定的定时相匹配。由于动画动作的进行速度可被改变，因此在这种情况下也难以配合定时。

本发明的目的在于提供在将制作的CG利用于直播等的情况下能够在制作CG时容易地指定要纹理映射的图像的切换定时的制作环境。

解决问题的手段

本发明的概念在于一种图像处理装置，包括：

图像选择单元，其从多个输入图像数据中选择一个图像数据；

图像生成单元，其基于计算机图形描述数据来生成计算机图形图像；

图像映射单元，其将所述图像生成单元绘制的计算机图形图像的对象或者对象的一部分作为纹理映射目标，并将基于由所述图像选择单元选择的图像数据的图像纹理映射到该纹理映射目标的表面上；以及

图像选择控制单元，其根据所述计算机图形描述数据中的被赋予给所述纹理映射目标所的属性来控制由所述图像选择单元选择的图像数据。

在本发明中，通过图像选择单元从多个输入图像数据中选择一个图像数据。例如，图像选择单元具有开关矩阵，该开关矩阵包括输入多个输入图像数据的输入线、以及输出从所述多个输入图像数据中选择的一个图像数据的输出线，并且图像选择单元将输出至所述输出线的图像数据输入到图像映射单元中。另外，例如图像选择单元从向图像映射单元输入的多个输入图像数据中选择一个图像数据作为在该图像映射单元中使用的图像数据。

另外，例如图像选择单元具有开关矩阵，该开关矩阵包括输入多个输入图像数据的输入线、以及输出从所述多个输入图像数据选择的一个图像数据的多个输出线，并且图像选择单元将输出至所述输出线的图像数据输入到图像映射单元中，并从向该图像映射单元输入的多个图像数据中选择一个图像数据作为在该图像映射单元中使用的图像数据。

通过图像生成单元，基于计算机图形描述数据来生成计算机图形图像。在此情况下，三维坐标被分解为三角形等多边形(多角形)，通过绘制该多边形而进行图像整体的绘制。另外，通过图像映射单元，由图像生成单元绘制的计算机图形的对象或者对象的一部分被作为纹理映射目标，并且基于由图像选择单元取出的图像数据的图像被纹理映射在该纹理映射目标的表面上。例如，对象的一部分可以是面或者多边形网格的分割单元等。

通过图像选择控制单元，根据计算机图形描述数据中的被赋予给纹理映射目标的属性来控制由图像选择单元取出的图像数据。属性例如是材质定义或者材质定义所带的表面信息。例如通过信息生成单元来生成属性的值和图像数据的对应关系。在图像选择控制单元中，例如基于该对应关系来控制由图像选择单元取出的图像数据。

如此，基于由图像选择单元取出的图像数据的图像被纹理映射到纹理映射目标的表面上。另外，由图像选择单元取出的图像数据根据计算机图形描述数据中的被赋予给纹理映射目标的属性来控制。因此，通过改变被赋予给纹理映射目标的属性，能够容易地在制作CG时指定要纹理映射的图像的切换定时。

在本发明中，例如也可以还具有图像选择操作单元，该图像选择操作单元通过操作者的操作来切换由图像选择单元选择的图像数据。在此情况下，操作者能够强制地切换由图像选择单元选择的图像数据，从而即使被赋予给纹理映射目标的属性没有变化，也能够在任意的定时将被纹理映射到该纹理映射目标上的图像变更为期望的图像。

发明效果

根据本发明，根据计算机图形描述数据中的被赋予给该纹理映射目标的属性来控制被纹理映射到纹理映射目标的表面上的图像的图像数据，并通过改变赋予给纹理映射目标的属性，能够在制作CG时容易地指定被纹理映射到纹理映射目标的图像的切换定时。

附图说明

图1是示出作为第一实施方式的图像处理装置的构成例的框图；

图2是示出材质所带的表面信息的例子的图；

图3是示出构成图像选择操作单元(控制台)的外观的一个示例图；

图4是示出图像生成单元和图像映射单元的具体构成例的框图；

图5是示出图像生成单元和图像映射单元的功能框的构成例的图；

图6的(a)和(b)是示出进行纹理映射时的纹理图像和UV映射的一个例子的图；

图7是示出对CG对象的每个面(多边形的部分集合)赋予不同属性的图；

图8是示出图像分配表的一个示例图，该图像分配表示出了CG描述数据中的被赋予给纹理映射目标的属性的各值和图像数据之间的对应关系；

图9是示出图像分配表的一个示例图，该图像分配表示出了CG描述数据中的被赋予给纹理映射目标的属性(环境色)的各值和图像数据之间的对应关系；

图10是示出CG动画执行当中的图像生成单元和图像选择控制单元的控制部的处理例的流程图；

图11是示出CG动画执行当中的图像生成单元的控制部的处理例的流程图；

图12是示出CG动画执行当中的图像选择控制单元的控制部的处理例的流程图；

图13是用于说明有关纹理映射的各个处理的动作定时的图；

图14的(a)～(h)是操作者在制作CG描述数据过程中确认动画动作时观看的动画的运动图像的一个示例的图；

图15的(a)～(h)是示出每当纹理映射目标的属性发生变化时纹理映射图像便发生变化的图；

图16是示出了作为第二实施方式的图像处理装置的构成例的框图；

图17是示出图像生成单元和图像映射单元的功能框的构成例的图；

图18是示出CG动画执行当中的图像生成单元和图像选择控制单元的控制部的处理例的流程图；

图19是示出CG动画执行当中的图像生成单元的控制部的处理例的流程图；

图20是示出CG动画执行当中的图像选择控制单元的控制部的处理例的流程图；

图21是示出作为第三实施方式的图像处理装置的构成例的框图；

图22是示出图像选择操作单元所具有的控制台的一个外观例的图；

图23的(a)和(b)是示出在分配输出总线时显示的GUI显示例和在选择输出总线时显示的GUI显示例的图；

图24是示出图像生成单元和图像映射单元的功能框的构成例的图；

图25是用于说明有关纹理映射的各个处理的动作定时的图；

图26是示出图像处理装置的变形例的框图；

图27是示出图像处理装置的变形例的框图。

具体实施方式

下面对用于实施发明的方式(下面称为“实施方式”)进行说明。说明按以下顺序进行。

1.第一实施方式

2.第二实施方式

3.第三实施方式

4.变形例

<1.第一实施方式>

[图像处理装置的构成]

对本发明的第一实施方式进行说明。图1示出了作为第一实施方式的图像处理装置100的构成例。该图像处理装置100具有：CG(Computer Graphics：计算机图形)制作单元110、表面指定单元120、网络130、图像生成单元140以及图像映射单元150。另外，该图形处理装置100包括矩阵开关160、图像选择操作单元170以及图像选择控制单元180。CG制作单元110、表面指定单元120以及图像生成单元140分别与网络130连接。矩阵开关160构成了图像选择单元。

CG制作单元110由带有CG制作软件的个人计算机(PC：Personal Computer)构成。该CG制作单元110输出预定格式的CG描述数据。CG描述数据的格式例如有Collada(注册商标)。Collada是用于在XML(Extensible Markup Language，可扩展标记语言)的基础上实现3D的CG数据交换的描述定义。在CG描述数据中例如描述有如下的信息。

(a)材质的定义

该材质的定义是CG对象的表面性质(外貌)。该材质的定义中包含色彩、反射方式、发光、凹凸等信息。并且，该材质的定义中有时包含纹理映射的信息。纹理映射如上述是将图像贴到CG对象上的方法，其能够减轻处理系统的负荷的同时表现出复杂的模样等。图2示出了材质所带的表面信息的例子。另外，代替色彩，有时也指定纹理映射。

(b)几何学信息Geometry的定义

该几何学信息Geometry的定义中包含关于多边形网格的位置坐标、顶点坐标等的信息。

(c)摄像机的定义

该摄像机的定义中包含摄像机的参数。

(d)动画的定义

该动画的定义中包含动画的各关键帧中的各种值的信息。另外，该动画的定义中包含动画的各关键帧的时间信息。各种信息例如是对应的对象(节点)的关键帧点的时间、位置或顶点的坐标值、大小、切线向量、插值方法、各种信息在动画中的变化等的信息。

(e)场景中的节点(对象)的位置、方向、大小、对应的几何学信息定义、对应的材质定义

这些信息并不零散，例如被如下对应起来。

·节点…几何学信息

·节点…材质(多个)

·几何学信息…多边形集合(多个)

·多边形集合…材质(与节点对应的材质中的一个)

·动画…节点

构成一个画面的描述被称为场景。各个定义被称为库，并且在场景中被参考。例如，在存在两个长方体的对象的情况下，每个对象分别被描述为一个节点，并且各节点可联想材质定义中的一个。其结果是，每个长方体的对象可联想材质定义，从而可用依照各材质定义的色彩和反射特性来绘制。

或者，在长方体的对象通过多个多边形集合来描述、并且多边形集合可联想材质定义的情况下，每个多边形集合可用不同的材质定义来绘制。例如，长方体具有6个面，但有时长方体的对象用三个多边形集合描述，例如，其中的三个面为一个多边形集合，一个面为一个多边形集合，两个面为一个多边形集合。由于各个多边形集合能够联想不同的材质定义，因此也可以用不同的色彩来绘制每个面。在后述的图像映射单元中，对象或对象的一部分(面或者多边形网格的分割单元等)被设为纹理映射的对象。

下面示出了作为CG描述数据的Collada文件的实例(部分摘录例)。例如，在该实例中，定义了名称(值)为“01MatDefault”的材质。并且，该材质的实际内容描述了应参考“01MatDefault-fx”的效果。另外，在该实例的<library_visual_scenes>中，描述了对″#Box01-lib″的几何学信息定义结合“01MatDefault″的材质定义来进行绘制。

[Collada文件的实例]

<library_materials>

<material id＝″01MatDefault″name＝″01MatDefault″>材质定义

<instance_effect url＝″#01MatDefault-fx″/>参考效果

</material>

</library_materials>

<library_effects>

<effect id＝″01MatDefault-fx″name＝″01MatDefault″>这是材质的内容

<profile_COMMON>

<phong>

</emission>

<ambient>在这里着色

</ambient>

</diffuse>

</specular>

</shininess>

</reflective>

</reflectivity>

<color sid＝″transparent″>1.000000 1.000000 1.000000 1.000000</color

>

</transparent>

</transparency>

</phong>

</technique>

</profile_COMMON>

</effect>

</library_effects>

<library_geometries>

<mesh>

<float_array id＝″Box01-lib-Position-array″count＝″24″>位置信息的阵

列

-4.673016 -8.585480 0.000000

4.673016 -8.585480 0.000000

-4.673016 8.585480 0.000000

4.673016 8.585480 0.000000

-4.673016 -8.585480 10.185543

4.673016 -8.585480 10.185543

-4.673016 8.585480 10.185543

4.673016 8.585480 10.185543

</float_array>

<technique_common>

<param name＝″X″type＝″float″/>位置信息的阵列的排列说明

</accessor>

</technique_common>

</source>

<float_array id＝″Box01-lib-UV0-array″count＝″24″>UV坐标的阵列

0.0000000.000000由于是单纯的立方体，因此只有0和1

1.0000000.000000

0.0000001.000000

1.0000001.000000

0.0000000.000000

1.0000000.000000

0.0000001.000000

1.0000001.000000

0.0000000.000000

1.0000000.000000

0.0000001.000000

1.0000001.000000

</float_array>

<technique_common>

UV坐标的说明

</accessor>

</technique_common>

</source>

</vertices>

<input semantic＝″NORMAL″offset＝″1″source＝″#Box01-lib-Normal0″/

>

<input semantic＝″TEXCOORD″offset＝″2″set＝″0″source＝″#Box01-lib-

UV0″/>

<p>0 0 9 2 1 11 3 2 10</p>顶点信息

</polygons>

</mesh>

</geometry>

</library_geometries>

<library_animations>

<float_array id＝″Box01-translate-animation-inputX-array″count＝″4″>

0.000000 1.000000 1.033333 1.333333动画中的X坐标值变化的时间

</float_array>

<technique_common>

</accessor>

</technique_common>

</source>

<float_array id＝″Box01-translate-animation-outputX-array″count＝″4″>

-43.404125 -43.404125 -23.897228 13.150181动画中的X坐标值本身

</float_array>

<technique_common>

<accessor source＝″#Box01-translate-animation-outputX-array″count＝″4″

>

</accessor>

</technique_common>

</source>

<float_array id＝″Box01-translate-animation-intanX-array″count＝″4″>

0.000000 0.000000 1.884578 -0.000000

</float_array>

<technique_common>

</accessor>

</technique_common>

</source>

<float_array id＝″Box01-translate-animation-outtanX-array″count＝″4″>

0.000000 0.000000 16.961202 0.000000

</float_array>

<technique_common>

</aceessor>

</technique_common>

</source>

<Name_array id＝″Box01-translate-animation-interpolationX-array″count＝″

4″>

BEZIER BEZIER BEZIER BEZIER

</Name_array>

<technique_common>

<accessor source＝″#Box01-translate-animation-interpolationX-array″c

ount＝″4″>

</accessor>

</technique_common>

</source>

<input semantic＝″INPUT″source＝″#Box01-translate-animation-inputX″/

>

<input semantic＝″OUTPUT″source＝″#Box01-translate-animation-outpu

tX″/>

<input semantic＝″IN_TANGENT″source＝″#Box01-translate-animation-i

ntanX″/>

<input semantic＝″OUT_TANGENT″source＝″#Box01-translate-animatio

n-outtanX″/>

<input semantic＝″INTERPOLATION″source＝″#Box01-translate-animat

ion-interpolationX″/>

</sampler>

<channel source＝″#Box01-translate-animationX″target＝″Box01/translate.

X″/>这里确定(target)以上是什么动画信息

</animation>

<library_visual_scenes>

<visual_scene id＝″RootNode″name＝″RootNode″>

<instance_geometry url＝″#Box01-lib″>参考几何学信息定义

<bind_material>

<technique_common>

<instance_material symbol＝″01MatDefault″target＝″#01MatDefault″/>

参考材质

</technique_common>

</bind_material>

</instance_geometry>

</node>

</visual_scene>

</library_visual_scenes>

返回到图1，矩阵开关160构成了图像选择单元，该图像选择单元从多个输入图像数据中选择性地获取一个图像数据。该矩阵开关160包括10条输入线、4条输出总线161～164、交叉点开关组165～168。

10条输入线在图中沿一个方向排列，“1”～“9”的每条输入线被输入来自VTR、视频摄像机等的图像数据。“10”的输入线被输入从图像生成单元140输出的CG图像数据。4条输出总线161～164与输入线交叉地沿其他方向排列。

交叉点开关组165在10条输入线和输出总线161交叉的各个交叉点处执行各自的连接。基于图像选择控制单元180的控制或者操作者的图像选择操作，该交叉点开关组165被控制，从而输入到10条输入线上的图像数据中的某一个被选择性地输出到输出总线161上。该输出总线161构成用于纹理映射的图像数据T1的输出线(辅助输出线)。

另外，交叉点开关组166、167、168分别在10条输入线和输出总线162、163、164交叉的各交叉点处执行各自的连接。基于操作者的图像选择操作，该交叉点开关组166、167、168被控制，从而输入到10条输入线上的图像数据中的某一个被选择性地输出到输出总线162、163、164上。

该输出总线162、163、164构成用于外部输出的图像数据OUT1、OUT2、OUT3的输出线。交叉点开关组165～168的各个交叉点开关的接通/断开动作由于对由连续的帧数据构成的图像数据进行切换，因此在作为帧的断开处的垂直消隐区间内进行。

图像选择操作单元170接受发给上述矩阵开关160的指示的操作输入。该图像选择操作单元170由与各个输出总线分别对应的按钮行构成，按钮行的每个按钮被构成为与各输入线相对应。

图3示出了构成图像选择操作单元170(控制台)的外观的一个示例。在该图像选择操作单元170上，被设置成与输出总线161～164分别相对应的沿左右方向延伸的按钮行171～174在上下方向上排列。各按钮行由用于对输入线的每一个和对应的输出总线的连接进行选择的择一式按钮构成，选中的按钮被点亮。

在图像选择操作单元(控制台)170的上部设置有文字显示部175，在该文字显示部175上显示用于识别向各个输入线的输入图像的文字。另外，在图像选择操作单元(控制台)170的左部设置有文字显示部176，在该文字显示部176上显示用于识别各按钮行所对应的输出总线上得到的图像数据的文字。

图像生成单元140基于由CG制作单元110制作的CG描述数据来生成三维空间图像、即CG图像。该图像生成单元140不进行耗费时间的渲染处理，而是按照动画帧的实际时间生成图像。图像生成单元140在读入CG描述数据后，将各种定义等信息保存在存储器上，并且这些信息之间的对应关系也作为数据结构而被保存。

另外，图像生成单元140还将用于执行动画的关键帧中的各种值保存在存储器中。例如，当绘制某个节点的几何学信息中的多边形集合时，参考该几何学信息和对应起来的材质定义，依照其色彩等的指定来绘制该多边形集合。在动画的情况下，使当前时间逐个帧地前进，并通过对当前时间前后的关键帧中的各值进行内插来确定各值，由此进行绘制。

从表面指定单元120向该图像生成单元140发送作为纹理映射输入图像的目标的CG的对象或者对象的一部分(以面或者多边形网格为分割单位等)的指定信息。图像生成单元140控制图像映射单元150，以便将输入图像纹理映射到该指定信息所示的预定的多边形(多边形集合)的表面上。

图像映射单元150将输入图像纹理映射到图像生成单元140所绘制的CG中由表面指定单元120指定的纹理映射目标的表面上。该图像映射单元150与上述的图像生成单元140被安装成一体。该图像映射单元150可通过CPU(Central Processing Unit，中央处理器)上的基于软件的控制、以及GPU(Graphics Processing Unit，图形处理器)等的基于硬件的动作来实现。控制软件指定进行纹理映射的多边形集合并将其指示给软件。

[图像生成单元以及图像映射单元的构成例]

图4示出了图像生成单元140和图像映射单元150的具体构成例。图像生成单元140和图像映射单元150包括图像输入输出部141、GPU142、本地存储器143、CPU144以及主存储器145。另外，图像生成单元140和图像映射单元150包括外围设备控制部146、硬盘驱动器(HDD)147、以太网电路148a以及网络端子148b。另外，图像生成单元140和图像映射单元150包括USB(Universal Serial Bus，通用串行总线)端子149以及SDRAM(SynchronousDRAM，同步动态随机存储器)151。“以太网”是注册商标。

图像输入输出部141输入用于进行纹理映射的图像数据，并且输出被适当地纹理映射了基于图像数据的图像的CG图像的图像数据。该图像输入输出部141最大能够输入四个系统的图像数据，并且最大能够输出四个系统的图像数据。这里被处理的图像数据例如是由SMPTE 292M规定的HD-SDI(High Definition television-Serial Digital Interface，高清串行信号接口)规格的图像数据。GPU142和主存储器145能够同等地对图像输入输出部141进行存取。

主存储器145起到CPU144的工作区域的功能，并且暂时存储从图像输入输出部141输入的图像数据。CPU144控制图像生成单元140和图像映射单元150的整体。该CPU144与外围设备控制部146连接。该外围设备控制部146进行CPU144和外围设备之间的接口处理。

CPU144经由外围设备控制部146与内置的硬盘驱动器147连接。另外，CPU144经由外围设备控制部146、以太网电路148a与网络端子148b连接。另外，CPU144经由外围设备控制部146与USB端子149连接。并且，CPU144经由外围设备控制部146与SDRAM 151连接。

CPU144进行纹理坐标的控制。即，该CPU144对输入图像数据进行用于将基于该输入图像数据的图像纹理映射到GPU142所绘制的多边形的表面上的处理。GPU142基于保存在硬盘驱动器147等中的CG描述数据生成来CG图像，并且根据需要将输入图像纹理映射到被指定的纹理映射目标的表面上。本地存储器143在起到GPU142的工作区域的功能的同时，暂时存储由GPU142制作的CG图像的图像数据。

CPU144除了能够对主存储器145进行存取之外，也能够对本地存储器143进行存取。同样，GPU142能够对本地存储器143进行存取，并且也能够对主存储器145进行存取。由GPU142生成并起初存储在本地存储器143中的CG图像数据从该本地存储器143中依次被读出，并从图像输入输出部141输出。

图5示出了上述图像生成单元140和图像映射单元150的功能框图的构成例。该图像生成单元140和图像映射单元150包括图像输入部152、纹理图像存储部153、CG控制部154、CG绘制部155、纹理坐标控制部156、帧缓冲器157以及图像输出部158的功能框。

图像输入部152和图像输出部158由图像输入输出部141构成。另外，纹理图像存储部153由主存储器145构成。另外，CG控制部154和纹理坐标控制部156由CPU144构成。另外，CG绘制部155由GPU142构成。另外，帧缓冲器157由本地存储器143构成。

通过成对地增加图像输入部152和纹理图像存储部153，能够增加图像输入的系统。另外，通过成对地增加帧缓冲器157和图像输出部158，能够增加图像输出的系统。

图6的(a)、(b)示出了进行纹理映射时的纹理图像和UV图的一个示例。图6的(a)表示纹理图像，图6的(b)表示UV图。这里，UV图是表示在将某个对象(节点)的表面考虑为纸面时由该纸面上的坐标表示的地图。当平面地扩展该地图时，该平面上的点(x，y)与对象表面上的点(u，v)相对应。因此，通过进行将纹理图像贴在UV图上的处理，能够进行将纹理图像贴到对象的表面上的纹理映射。图6的(b)示出了将纹理图像贴在UV图上的状态。

返回到图1，如上所述，表面指定单元120指定输入图像被纹理映射的纹理映射目标。并且，表面指定单元120经由网络130向图像生成单元140发送该指定信息。该表面指定单元120例如由GUI(Graphical User Interface，图形用户界面)实现。表面指定单元120显示CG描述数据中的对象或对象的一部分作为选择项以供操作者从中选择。

在本实施方式中，在CG描述数据中，纹理映射目标通过与材质定义对应起来而被赋予材质定义所带的表面信息等的属性。例如，在将材质定义对应到CG对象上的情况下，CG对象的所有面具有相同的表面属性(色彩等)。例如在石头或汤匙形状的金属制品的情况下，通过这样的对应关系能够制成CG。

另一方面，多数物品针对其每个面而具有不同的表面属性，例如即使铅笔，针对其周围、芯、被削的木纹等也分别具有不同的表面属性。在用CG制作这样的物品的情况下，也可以将各个部分制成不同的CG对象并将它们进行组合。但是，在该情况下，如图7所示，将物品作为一个CG对象并对每个面(多边形的部分集合)赋予不同的属性来制作CG的作业也是较容易的。

一般来说，在CG对象的制成作业中进行如下的操作：将构成表面的多边形集合划分为若干个部分，将材质定义对应到每一个部分上，并为目标多边形的每个定点决定用于纹理映射的UV坐标值。生成与上述操作对应的CG描述数据。通过在这样的CG描述数据中应用本发明，能够将输入图像纹理映射到CG对象的表面的一部分上，并且能够在动画的中途切换输入图像。

表面指定单元120生成CG描述数据中的被赋予给纹理映射目标的属性的各值和图像数据之间的对应关系，并将表示该对应关系的图像分配表设定在图像生成单元140中。这里，属性是材质定义或材质定义所带的表面信息等。表面指定单元120例如显示赋予给纹理映射目标的预定属性的各值和向10条输入线输入的各图像输入作为选择项，使操作者从中进行选择，由此生成属性的各值与图像数据之间的对应关系。

图8是图像分配表的一个例子，其中示出了参考赋予给纹理映射目标的属性中的“属性m”时的图像分配表的一个例子。在如图8所示的图像分配表中，“属性m”的值P1与图像输入“1”相对应，“属性m”的值P2与图像输入“2”相对应。

图8的图像分配表是在被赋予给纹理映射目标的“属性m”的值与设定值P1、P2一致的情况下进行动作以将图像输入“1”、“2”纹理映射时的表的例子。

与此相对，也可以构成为：在属性的值落入某个范围的情况下进行动作以将对应的图像输入纹理映射。作为一个例子，对在制作CG描述数据时能够有意地使得绘制CG对象的面的色彩(与该面对应的材质定义中的色彩的定义)与要纹理映射的图像输入对应起来的动作进行说明。下面通过RGBA(Red Green Blue Alpha，红、绿、蓝、透明)表示色彩。

关于包含在CG描述数据中的材质定义，假设根据其环境色(ambient色)来决定被纹理映射的图像输入。图9示出了图像分配表的其他示例。在该图9所示的图像分配表中，属性是“环境色”。并且“0.588235 0.952941 0.921569 1.000000”与图像输入“1”对应，“0 0 0.9 1.000000”与图像输入“2”对应，“1 0.38 0.278431 1.000000”与图像输入“3”对应。

色彩的值由四个浮动小数点值的组表示。这与CG对象的名称和材质定义的名称不同，在根据是否完全一致来进行判定的方法中，由于处理系统之间存在差异等，因此有可能由于计算误差而错误地被判定为不一致。因此并不是依据是否完全一致而是设置某种程度的范围来进行一致判定。

例如，在对是否纹理映射图像输入“1”的判定中，对图像分配表的值设置1％的允许范围，并以是否满足以下不等式来进行一致判定。

0.58235265≤R≤0.59411735

0.94341159≤G≤0.96247041

0.91235331≤B≤0.93078469

0.95≤A≤1.0

这里，各值如下算出。

0.588235×0.99＝0.58235265

0.588235×1.01＝0.59411735

0.952941×0.99＝0.94341159

0.952941×1.01＝0.96247041

0.921569×0.99＝0.91235331

0.921569×1.01＝0.93078469

由于超过1的值或者不到0的值应当避免，因此此时分别设置为1或0。关于是否进行图像输入“2”、“3”的纹理映射，也同样进行判定。

另外，在图像分配表中，如果对于与不同的图像输入对应起来的不同色彩设置如上所述的允许范围，则在色彩空间中可能会产生值重复的区域。此时，通过设置关于该区域内的值应该选择哪个图像输入的规则、例如设置选择与指定色彩间的距离(RGBA空间的欧几里德距离)近的那一个等的规则，也能够应对上述的情形。

在通过PC上的软件来制作CG描述数据的过程中操作者为了确认动画动作，通过简单的渲染(renderging)等来生成动画的运动图像并通过肉眼观察。此时，当各面的色彩变化时，操作者能够容易识别出该变化。根据上述的处理，由于该色彩的变化和纹理映射的图像输入相对应，因此制作CG描述数据时虽不进行纹理映射，但能够容易地在头脑中绘制出纹理映射转变的形态。

返回到图1，图像选择控制单元180根据CG描述数据中的被赋予给纹理映射目标的属性来控制由矩阵开关160选择的图像数据T1。该图像数据T1是被选择性地输出到输出总线161的用于纹理映射的图像数据。图像选择控制单元180基于被设定在图像生成单元140中的图像分配表来控制由矩阵开关160选择的图像数据T1。

例如，当图像生成单元140中设定的图像分配表为如上述图8所示的图像分配表时，如下进行控制。即，当赋予给CG描述数据中的纹理映射目标的“属性m”的值随着动画的前进而变为p1时，进行控制，以使得图像输入“1”作为图像数据T1被选择。另外，当赋予给CG描述数据中的纹理映射目标的“属性m”的值随着动画的前进而变为p2时，进行控制以使得图像输入“2”作为图像数据T1被选择。当被设定在图像生成单元140的图像分配表是上述图9所示的图像分配表时也一样。但是，在此情况下，例如如上所述并不是根据是否完全一致来进行判定，而是设置某种程度的范围来进行一致判定。

[图像处理装置的动作例]

对图1所示的图像处理装置100的动作例进行说明。在CG制作单元110中，通过CG制作软件而生成用于生成预定的CG图像的CG描述数据。如此在CG制作单元110中生成的CG描述数据经由网络130被发送给图像生成单元140和表面指定单元120。

在表面指定单元(GUI)120中，CG描述数据中的对象或对象的一部分被作为选择项，并通过操作者的操作来指定要纹理映射输入图像的纹理映射目标。该指定信息从表面指定单元120被发送给图像生成单元140。另外，在表面指定单元120中，通过操作者的操作而生成CG描述数据中的被赋予给纹理映射目标的属性的各值和图像数据(输入线)之间的对应关系。并且，通过该表面指定单元120，将表示该对应关系的图像分配表(参考图8、图9)设定在图像生成单元140中。

在图像生成单元140中基于由CG制作单元110制作的CG描述数据生成三维空间图像、即CG图像。另外，如上所述，作为纹理映射目标的对象或对象的一部分的指定信息从表面指定单元120被发送给该图像生成单元140。通过该图像生成单元140控制图像映射单元150，以便将输入图像(基于图像数据T1的图像)纹理映射在纹理映射目标的表面上。

图像映射单元150在图像生成单元140的控制下，将基于由矩阵开关160得到的图像数据T1的图像纹理映射到纹理映射目标的表面上。并且，在从图像生成单元140引出的输出端子140a上输出基于图像数据T1的图像被纹理映射在纹理映射目标的表面上的CG图像的图像数据Vout。

另外，图像生成单元140监视由CG制作单元110制作的CG描述数据中的被赋予给纹理映射目标的属性的值。并且，图像生成单元140对该属性的值与由表面指定单元120设定的图像分配表中的各值进行比较，并与其比较结果相对应地向图像选择控制单元180发送控制信号。

并且，图像选择控制单元180控制矩阵开关160中的交叉点开关组165。即当属性的值与图像分配表中的值一致、或者属性的值相对于图像分配表中的值处于一定的范围内时，获取与该值对应的图像输入作为图像数据T1。

在此情况下，当在图像生成单元140中设定了图8所示的图像分配表时如下所示。当被赋予给纹理映射目标的“属性m”的值随着动画的前进而变为p1时，从矩阵开关160获取图像数据“1”作为图像数据T1。因此，在图像映射单元150中，基于图像输入“1”的图像被纹理映射到纹理映射目标的表面上。

另外，当被赋予给纹理映射目标的“属性m”的值变为p2时，从矩阵开关160获取图像输入“2”作为图像数据T1。因此，在图像映射单元150中，基于图像输入“2”的图像被纹理映射到纹理映射目标的表面上。

图10的流程图示出了在CG动画执行当中的图像生成单元140和图像选择控制单元180的控制部的处理例。该处理例中假定了图像生成单元140和图像选择控制单元180被共用的控制部(CPU)控制的情况。另外，该处理例是在图像生成单元140中设定了图8所示的图像分配表时的例子。

控制部随着CG动画的执行而在步骤ST1中开始处理。控制部在步骤ST2中将帧编号i设定为1。并且，控制部在步骤ST3中调查被赋予给纹理映射目标的属性m的值，并转移到步骤ST4的处理中。

在步骤ST4中，控制部判断属性m的值是否为p1。当属性m的值是p1时，控制部在步骤ST5中，使矩阵开关160选择图像输入“1”作为图像数据T1。另外，当属性m的值不是p1时，控制部转移到步骤ST6的处理中。

在该步骤ST6中，控制部判断属性m的值是否为p2。当属性m的值是p2时，控制部在步骤ST7中，使矩阵开关160选择图像输入“2”作为图像输入T1。另外，在属性m的值不是p2时，控制部转移到步骤ST8的处理中。

控制部在步骤ST5的处理之后或者步骤ST7的处理之后，转移到步骤ST8的处理中。在该步骤ST8中，控制部进行帧i中的CG的绘制、即随着动画的前进而进行CG的绘制，同时向图像映射单元150指示纹理映射。之后，控制部转移到步骤ST9的处理中。

在该步骤ST9中，控制部判断帧编号i是否小于总帧数。当帧编号i小于总帧数时，控制部在步骤ST10中使帧编号i递增(increment)，之后返回到步骤ST3的处理，并进入下一帧的处理。在步骤ST9中，当帧编号i大于或等于总帧数时，控制部在步骤ST11中结束处理。即，该动画结束。

图11的流程图示出了CG动画执行当中的图像生成单元140的控制部的处理例。图12的流程图示出了CG动画执行当中的图像选择控制单元180的控制部的处理例。这些处理例中假定了图像生成单元140和图像选择控制单元180分别由单独的控制部(CPU)控制的情况。另外，这些处理例是在图像生成单元140中设定了图8所示的图像分配表时的例子。

基于图11的流程图，对图像生成单元140的控制部的处理例进行说明。控制部随着CG动画的执行，在步骤ST21中开始处理。控制部在步骤ST22中将帧编号i设定为1。并且，控制部在步骤ST23中将被赋予给纹理映射目标的属性m的值发送给图像选择控制单元180。接着，控制部在步骤ST24中进行帧i中的CG的绘制，并向图像映射单元150指示纹理映射。

接着，控制部在步骤ST25中判断帧编号i是否小于总帧数。当帧编号i小于总帧数时，控制部在步骤ST26中使帧编号i递增，之后返回到步骤ST23的处理中，并进入下一帧的处理。在步骤ST25中，当帧编号i大于或等于总帧数时，控制部在步骤ST27中结束处理。

基于图12的流程图对图像选择控制单元180的控制部的处理例进行说明。控制部在步骤ST31中接收属性m的值，由此开始处理。之后，控制部转移到步骤ST32的处理中。在该步骤ST32中，控制部调查被赋予给纹理映射目标的属性m的值。

接着，控制部在步骤S33中判断属性m的值是否为p1。当属性m的值是p1时，控制部在步骤ST34中使矩阵开关160选择图像输入“1”作为图像数据T1。控制部在步骤ST34的处理后，在步骤ST37中结束处理。

另外，当在步骤ST33中属性m的值不是p1时，控制部在步骤ST35中判断属性m的值是否为p2。当属性m的值是p2时，控制部在步骤ST36中使矩阵开关160选择图像输入“2”作为图像数据T1。控制部在步骤ST36的处理之后，在步骤ST37中结束处理。另外，当在步骤ST35中属性m的值不是p2时，控制部在步骤ST37中结束处理。

在以上的例子中，图8的图像分配表为两行，但是即使具有比这多的行、并且属性m的值和图像输入的对应较多也容易明白，只要重复进行与行数相当的次数的比较即可。

接着，对图1的图像处理装置100中的动作定时进行说明。如上所述，由图像生成单元生成CG图像，并且由图像映射单元150将基于输入图像数据T1的图像(输入图像)纹理映射到所生成的CG图像的纹理映射目标上。然后输出纹理映射后的CG图像的图像数据。

此时，输入图像数据T1以帧或者场为单位被暂时写入到纹理映射图像存储部153(参考图5)中。之后，基于输入图像T1的图像被纹理映射到CG图像的纹理映射目标上。其结果是，纹理映射后的CG图像的输出图像数据被暂时写入帧缓冲器157(参考图5)中。之后，输出图像数据从该帧缓冲器157被读出并输出。

输出CG图像中的纹理映射图像从被输入的时间点起被延迟一帧时间以上。换句话说，输出CG图像中的纹理映射图像是过去了一帧以上的输入图像。根据处理的复杂程度，有时到输入图像被输出为止需要2帧或者3帧。

因此，如果图像选择控制单元180在进行用于生成动画的各帧的处理的时间点(帧)选择要在该帧中使用的输入图像，则输出图像就会发生延迟。需要比CG图像帧的生成提前预定帧数的时间来进行输入图像的选择。

作为一个例子，假设在CG图像的生成和输入图像的处理中需要一帧时间，并且在将输入图像用于纹理映射时需要一帧时间，之后输出被合成的CG图像。在此情况下，例如以图13所示的定时进行输入图像的选择和其他的控制。

即，控制部在帧1中，调查被赋予给帧A的纹理映射目标的属性的值。并且，控制部在该帧1中，指示矩阵开关160，以选择与属性的值相对应的图像输入作为图像数据T1。矩阵开关160在该帧1的末端进行切换，以选择被指示的图像输入作为图像数据T1。

接着，控制部在帧2中，输入用于纹理映射到在帧A中生成的CG图像的图像数据。即，在该帧2中，图像T1的1帧的量被暂时存储在纹理图像存储部153中。

接着，控制部在帧3(帧A)中基于CG描述数据来绘制帧A的CG以生成CG图像，并将该图像数据暂时存储在帧缓冲器157中。

接着，控制部在帧4中使用从纹理图像存储部153读出的图像数据对CG图像的纹理映射目标进行纹理映射，将处理后的CG图像的图像数据暂时存储在帧缓冲器157中。

接着，控制部在帧5，从帧缓冲器157中读出被纹理映射了输入图像的CG图像的图像数据，并输出该图像数据。

图13所示的定时是一个例子，处理所需要的时间(帧数)有时还会增加。在此情况下，也只要对矩阵开关160的动作定时进行控制以使切换后的图像数据T1正好被用于在对应的CG图像的生成即可。

在图13的定时例中，即使在帧3处绘制的CG的内容简单从而在在比一帧的时间短的时间内完成的情况下，也为了遵守处理定时，而不在帧3的期间进行纹理映射，而是按照如图所示确定的每帧的定时进行处理。

在图1所示的图像处理装置100中，基于由矩阵开关160获取的图像数据T1的图像被纹理映射到纹理映射目标的表面上。另外，根据CG描述数据中的被赋予给纹理映射目标的属性来控制由矩阵开关160获取的图像数据。因此，通过改变被赋予给纹理映射目标的属性，能够在CG制作中容易地指定要纹理映射的图像的切换定时。另外，动画动作的前进速度虽能够在使用时指定，但通过在快进以及慢进的情况下也都如图13所示那样以与帧相对应的定时进行控制，能够在CG制作时所指定的动画动作中的时间位置进行要纹理映射的图像的切换。

在通过PC上的软件来制成CG描述数据的过程中操作者为了确认动画动作，通过简易的渲染等来生成动画的运动图像并通过肉眼观看。此时，当各面的色彩变化时，操作者能够容易识别出该变化。根据图1所示的图像处理装置100，色彩的变化(属性的变化)和要纹理映射的图像输入相对应。因此，操作者在制作CG描述数据时虽不进行纹理映射，但能够在头脑中容易地绘制出纹理映射转变的形态。

图14的(a)～(h)示出了操作者在CG描述数据制作当中确认动画动作时观看的动画的运动图像的一个例子。该例子示出了将CG图像的对象的面设为纹理映射目标、并且该面的色彩被改变的形态。

这里，例如假设“蓝”对应于“直升机的图像输入”，“红”对应于“汽车的图像输入”、“黄”对应于“咖啡杯的图像输入”。在此情况下，操作者如图15的(a)～(h)所示，容易地在头脑中绘制出纹理图像转变的形态。图像输入是运动图像，但在图15中简单地如静止图像那样进行了图示。实际使用时的运动图像的内容根据每次使用而不同。

在图1所示的图像处理装置100中，当被赋予给纹理映射目标的属性的值与图像分配表中所存在的值一致、或者相对于该值而处于一定范围内时，纹理映射图像被设为预定的图像。即，在此情况下，在图像选择控制单元180的控制下，从矩阵开关160输出并被提供给图像映射单元150的图像数据T1被设为与该属性的值对应的图像输入。

上面虽然没有描述，但在该状态下，也可以通过操作者对图像选择操作单元(控制台)170(参考图3)的按钮的按压操作，使得操作者能够任意地切换成为图像数据T1的图像输入。在此情况下，操作者能够通过矩阵开关160强制地切换作为图像数据T1而选择的图像数据。即，即使被提供给映射对象的属性的值没有变化，也能够在任意的定时将被映射到该纹理映射目标的图像改变为期望的图像。

<2.第二实施方式>

[图像处理装置的构成]

对本发明的第二实施方式进行说明。图16示出了作为第二实施方式的图像处理装置100A的构成例。在该图16中，对于与图1对应的部分标注相同符号，并适当省略其说明。该图像处理装置100A具有：CG制作单元110、表面指定单元120、网络130、图像生成单元140A、图像映射单元150A、以及图像选择控制单元180A。CG制作单元110、表面指定单元120A以及图像生成单元140A分别与网络130连接。

CG制作单元110由带有CG制作软件的个人计算机(PC：Personal Computer)构成。该CG制作单元110输出预定格式的CG描述数据。该CG制作单元110是与上述图1所示的图像处理装置100的CG制作单元110相同。

表面指定单元120指定输入图像被纹理映射的纹理映射目标(CG的对象或者对象的一部分)，并将该指定信息经由网络130发送给图像生成单元140A。另外，该表面指定单元120生成CG描述数据中的被提供给纹理映射目标的属性的各值和图像数据之间的对应关系，并将表示该对应关系的图像分配表设定在图像生成单元140A中。该表面指定单元120与上述图1所示的图像处理装置100的表面指定单元120相同。

图像生成单元140A基于由CG制作单元110制作的CG描述数据来生成三维空间图像、即CG图像。另外，该图像生成单元140A控制图像映射单元150A，以便基于从表面指定单元120发来的纹理映射目标的指定信息而将输入图像纹理映射到该纹理映射目标的表面上。

图像映射单元150A将输入图像纹理映射到图像生成单元140A所绘制的CG中由表面指定单元120指定的纹理映射目标的表面上。该图像映射单元150A与上述图像生成单元140A被安装成一体。该图像映射单元150A可通过CPU上的基于软件的控制和GPU等的基于硬件的动作来实现。控制软件指定进行纹理映射的多边形集合并将其指示给硬件。

图像选择控制单元180A根据CG描述数据中的被赋予给纹理映射目标的属性来控制被输入到图像映射单元150A的多个图像数据中实际被使用的图像数据。在该实施方式中，在图像映射单元150A中输入了四个系统的图像数据T1～T4，其中某个图像数据被选择性地用作用于纹理映射图像的图像数据。该图像选择控制单元180A与上述的图像生成单元140A被安装成一体。

该图像选择控制单元180A基于如上述设定在图像生成单元140A中的图像分配表来控制在图像映射单元150A中使用的图像数据。

例如，当图像生成单元140A中设定的图像分配表为如上述图8所示的图像分配表时，如下进行控制。即，当CG描述数据中的被赋予给纹理映射目标的“属性m”的值变为p1时，进行控制以使图像数据T1被使用。另外，当CG描述数据中的被赋予给纹理映射目标的“属性m”的值为变p2时，进行控制以使图像数据T2被使用。

图17示出了上述图像生成单元140A和图像映射单元150A的功能框的构成例。在该图17中，对于与图5对应的部分标注相同符号。单元140A、150A具有：图像输入部152-1～152-4、纹理图像存储部153-1～153-4、CG控制部154、CG绘制部155、纹理坐标控制部156、帧缓冲器157以及图像输出部158的功能框。

图像输入部152-1～152-4以及图像输出部158由图像输入输出部141构成。另外，纹理图像存储部153-1～153-4由主存储器145构成。另外，CG控制部154和纹理坐标控制部156由CPU144构成。另外，CG绘制部155由GPU142构成。另外，帧缓冲器157由本地存储器143构成。

图像输入部152-1和纹理图像存储部153-1与图像数据T1的输入系统相对应。图像输入部152-2和纹理图像存储部153-2与图像数据T2的输入系统相对应。图像输入部152-3和纹理图像存储部153-3与图像数据T3的输入系统相对应。图像输入部152-4和纹理图像存储部153-4与图像数据T4的输入系统相对应。在图像映射单元150A中，被存储在纹理图像存储部153-1～153-4的图像数据T1～T4的某一个被选择性地用作用于纹理映射的图像数据。

[图像处理装置的动作例]

对图16所示的图像处理装置100A的动作例进行说明。CG制作单元110通过CG制作软件来生成用于生成预定的CG图像的CG描述数据。如此由CG制作单元110生成的CG描述数据经由网络130被发送给图像生成单元140A和表面指定单元120。

在表面指定单元(GUI)120中，CG描述数据中的对象或者对象的一部分被设为选择项，并通过操作者的操作来指定要纹理映射输入图像的纹理映射目标。该指定信息从表面指定单元120被发送给图像生成单元140A。另外，在表面指定单元120中，通过操作者的操作而生成CG描述数据中的被赋予给纹理映射目标的属性的各值和图像数据之间的对应关系。并且，通过该表面指定单元120，将表示该对应关系的图像分配表设定在图像生成单元140A中。

在图像生成单元140A中基于由CG制作单元110制作的CG描述数据生成三维空间图像，即CG图像。另外，如上所述，作为纹理映射目标的对象或对象的一部分的指定信息从表面指定单元120被发送给该图像生成单元140A。通过该图像生成单元140A控制图像映射单元150A，以便将输入图像纹理映射在纹理映射目标的表面上。

图像映射单元150A在图像生成单元140A的控制下，将输入图像纹理映射到纹理映射目标的表面上。并且，在从图像生成单元140A引出的输出端子140a上输出纹理映射后的CG图像的图像数据Vout。

这里，图像映射单元150A被输入四个系统的图像数据T1～T4。在图像映射单元150A中实际被使用的图像数据通过图像选择控制单元180A被设为图像数据T1～T4中的某一个。在此情况下，例如图像生成单元140A监视由CG制作单元110制作的CG描述数据中的被赋予给纹理映射目标的属性的值。并且，对该属性的值与由表面指定单元120设定的图像分配表中的各值进行比较，并根据该比较结果向图像选择控制单元180A发出控制信号。

并且，通过图像选择控制单元180A来控制向图像映射单元150A中输入的四个系统的图像数据T1～T4中实际被使用的图像数据。即，当属性的值与图像分配表中的值一致或者属性的值相对于图像分配表中的值处于一定的范围内时，图像映射单元150A使用与该值相对应的图像数据。

例如，当在图像生成单元140A中设定了图8所示的图像分配表时，如下所示。当被赋予给纹理映射目标的“属性m”的值为变p1时，在图像映射单元150A中切换为使用图像数据T1。因此，在图像映射单元150A中，将基于图像数据T1的图像纹理映射到纹理映射目标的表面上。另外，当被赋予给纹理映射目标的“属性m”的值变为p2时，在图像映射单元150A切换为使用图像数据T2。因此，在图像映射单元150A中，将基于图像数据T2的图像纹理映射到纹理映射目标的表面上。

图18的流程图示出了CG动画执行当中的图像生成单元140A和图像选择控制单元180A的控制部的处理例。该处理例中假定了图像生成单元140A和图像选择控制单元180A被共用的控制部(CPU)控制的情况。另外，该处理例是在图像生成单元140A中设定了图8所示的图像分配表时的例子。

控制部随着CG动画的执行而在步骤ST41中开始处理。控制部在步骤ST42中将帧编号i设定为1。并且，控制部在步骤ST43中调查被赋予给纹理映射目标的属性m的值，并转移到步骤ST44的处理中。

在该步骤ST44中，控制部判断属性m的值是否为p1。当属性m的值是p1时，控制部在步骤ST45中指示图像映射单元150A，以使其使用图像数据T1(输入“1”)进行纹理映射。另外，当属性m的值不是p 1时，控制部转移到步骤ST46的处理中。

在该步骤ST46中，控制部判断属性m的值是否为p2。当属性m的值是p2时，控制部在步骤ST47中指示图像映射单元150A，以使其使用图像数据T2(输入“2”)进行纹理映射。另外，当属性m的值不是p2时，控制部转移到步骤ST48的处理中。

控制部在步骤ST45的处理之后或者步骤ST47的处理之后，转移到步骤ST48的处理中。在该步骤ST48中，控制部进行CG的绘制。之后，控制部转移到步骤ST49的处理中。

在该步骤ST49中，控制部判断帧编号i是否小于总帧数。当帧编号i小于总帧数时，控制部在步骤ST50中使帧编号i递增，之后返回到步骤ST43的处理，并进入下一帧的处理。在步骤ST49中，当帧编号i大于或等于总帧数时，控制部在步骤ST51中结束处理。即，该动画结束。

图19的流程图示出了CG动画执行当中的图像生成单元140A的控制部的处理例。图20的流程图示出了CG动画执行当中的图像选择控制单元180A的控制部的处理例。这些处理例中假定了图像生成单元140A和图像选择控制单元180A由不同的控制部(CPU)控制的情况。另外，这些处理例是在图像生成单元140A中设定了图8所示的图像分配表时的例子。

基于图19的流程图，对图像生成单元140A的控制部的处理例进行说明。控制部随着CG动画的执行而在步骤ST61中开始处理。控制部在步骤ST62中将帧编号i设定为1。并且，控制部在步骤ST62中将被赋予给纹理映射目标的属性m的值发送给图像选择控制单元180A。接着，控制部在步骤ST64中进行CG的绘制。

接着，控制部在步骤ST65中判断帧编号i是否小于总帧数。当帧编号i小于总帧数时，控制部在步骤ST66中使帧编号i递增，之后返回到步骤ST63的处理，并进入下一帧的处理。在步骤ST65中，当帧编号i大于或等于总帧数时，控制部在步骤ST67中结束处理。即，该动画结束。

基于图20的流程图，对图像选择控制单元180A的控制部的处理例进行说明。控制部在步骤ST71中接收属性m的值，由此开始处理。之后控制部转移到步骤ST72的处理中。在该步骤ST72中，控制部调查纹理映射目标的属性m的值。

接着，控制部在步骤ST37中判断属性m的值是否为p1。当属性m的值是p1时，控制部在步骤ST74中指示在图像映射单元150A，以使其使用图像数据T1(输入“1”)进行纹理映射。控制部在步骤ST74的处理后，在步骤ST77中结束处理。

另外，在步骤ST73中，当属性m的值不是p1时，控制部在步骤ST75中判断属性m的值是否为p2。当属性m的值是p2时，控制部在步骤ST76中指示图像映射单元150A，以使其使用图像数据T2(输入“2”)进行纹理映射。控制部在步骤ST76的处理之后在步骤ST77中结束处理。另外，控制部在步骤ST75中判断出属性m的值不是p2时，在步骤ST77中结束处理。

在图16所示的图像处理装置100A中，基于从输入图像数据T1～T4中选择的一个图像数据的图像被纹理映射到纹理映射目标的表面上。另外，根据CG描述数据中的被赋予给纹理映射目标的属性来控制被纹理映射单元150A使用的图像数据。

因此，在该图像处理单元100A中，也与上述图1所示的图像处理装置100同样地，能够通过改变被赋予给纹理映射目标的属性来在制作CG时容易地指定要纹理映射的图像的切换定时。

<3.第三实施方式>

[图像处理装置的构成]

对本发明的第三实施方式进行说明。图21示出了作为第三实施方式的图像处理装置100B的构成例。在该图21中，对于与图1对应的部分标注相同符号，并适当省略其说明。该图像处理装置100B具有：CG制作单元110、表面指定单元120、网络130、图像生成单元140B、以及图像映射单元150B。另外，该图形处理装置100B包括：矩阵开关160B、图像选择操作单元170B、图像选择控制单元180B、以及节目预览混合器(program preview mixer)190。CG制作单元110、表面指定单元120、图像生成单元140B以及图像选择控制单元180B分别与网络130连接。

CG制作单元110由带有CG制作软件的个人计算机(PC：Personal Computer)构成。该CG制作单元110输出预定格式的CG描述数据。该CG制作单元110与上述图1所示的图像处理装置100的CG制作单元110相同。

矩阵开关160B构成了图像选择单元，该图像选择单元从多个输入图像数据中选择性地获取一个图像数据。该矩阵开关160B包括10条输入线、13条输出总线211～223、交叉点开关组231～243。该矩阵开关160B构成效果转换器(effect switcher)的一部分，其除了向作为外部设备的图像映射单元150B提供图像数据之外，还用于向内部的图像合成单元(混合器)等提供图像数据。

输出总线211、212是用于向图像映射单元150B提供图像数据的总线。另外，输出总线213～221是用于向外部输出图像数据的总线。另外，输出总线222、223是用于向内部的图像合成单元(混合器)提供图像数据的总线。

10条输入线在图中沿一个方向排列，“1”～“9”的每条输入线被输入来自VTR、视频摄像机等的图像数据。“10”的输入线被输入从图像生成单元140输出的CG图像数据。13条输出总线211～223与输入线交叉地沿其他方向排列。

交叉点开关组231、232在10条输入线和输出总线211、212交叉的各个交叉点处执行各自的连接。基于图像选择控制单元180B的控制或者操作者的图像选择操作，该交叉点开关组231、232的连接被控制，从而输入到10条输入线上的图像数据中的某一个被选择性地输出到输出总线211、212上。该输出总线211、212构成用于纹理映射的图像数据(映射输入)T1、T2的输出线。

另外，交叉点开关组233～241分别在10条输入线和输出总线213～221交叉的各交叉点处执行各自的连接。基于操作者的图像选择操作，该交叉点开关组233～241被控制，从而输入到10条输入线上的图像数据中的某一个被选择性地输出到输出总线213～221上。该输出总线213～221构成用于外部输出的图像数据OUT1～OUT9的输出线。

另外，交叉点开关组242、243分别在10条输入线和输出总线222、223交叉的各交叉点处执行各自的连接。基于操作者的图像选择操作，该交叉点开关组242、243被控制，从而输入到10条输入线上的图像数据中的某一个被选择性地输出到输出总线222、223上。

被输出到该输出总线222、223上的图像数据被输入到节目预览混合器190中。该节目预览混合器190对从输出总线222、223输入的图像数据进行合成处理。节目(PGM)输出从该节目预览混合器190经由节目输出总线251被输出到外部，预览输出从该节目预览混合器190经由预览输出总线252被输出到外部。

交叉点开关组231～243的各个交叉点开关的接通/断开动作由于对由连续的帧数据构成的图像数据进行切换，因此在作为帧的断开处的垂直消隐区间内进行。

图像选择操作单元170B接受发给上述矩阵开关160B的指示的操作输入。该图像选择操作单元170B具有控制台260，控制台260具有用于操作矩阵开关160B的各交叉点开关组的开关的接通/断开的按钮行。

图22示出了控制台260的一个示例的外观。在该控制台260上，被设置成沿左右方向延伸的按钮行261～264在上下方向上排列。各按钮行预先通过操作者的设定操作而被设定为与上述矩阵开关160A的13条输出总线的某一个相对应。各按钮行由用于对输入线的每一个和对应的输出总线的连接进行选择的择一式按钮构成，选中的按钮被点亮。

在控制台260的上部设置有文字显示部265，在该文字显示部265上显示用于识别向各个输入线的输入图像的文字。该文字显示部265例如由LCD(Liquid Crystal Display，液晶显示器)等显示元件构成。另外，在控制台260的左部设置有文字显示部266。

在该文字显示部266上显示用于识别各按钮行所对应的输出总线的文字。该文字显示部266例如由LCD等显示元件构成。对应于被分配给向图像映射单元150B提供映射输入的输出总线的按钮行，例如显示“CG”。

例如，通过GUI(Graphical User Interface，图形用户接口)来实现将该控制台260的按钮行261～264对应到哪个输出总线上。图23的(a)示出了在分配输出总线时显示的GUI显示例。在该GUI显示中，四个按钮行261～264用“1”～“4”表示。操作者通过操作与该“1”～“4”相对应的“选择按钮”来显示输出总线的选择项，并通过从该选择项中选择期望的输出总线，能够对各个按钮行分配期望的输出总线。

图23的(b)示出了在选择输出总线时显示的GUI显示例。在该GUI显示中，构成用于向图像映射单元150B输出图像数据T1、T2的输出线的输出总线211、212被显示为作为选择项的“CG”。另外，在该GUI显示中，构成用于外部输出的图像数据OUT1～OUT9的输出总线213～221被显示为作为选择项的“OUT1”～“OUT9”。另外，在该GUI显示中，向节目预览混合器190输入图像数据的输出总线222、223被显示为作为选择项的“PP-A”、“PP-B”。

图像生成单元140B基于由CG制作单元110制作的CG描述数据生成三维空间图像、即CG图像。该图像生成单元140B不进行耗费时间的渲染处理，而是按照动画帧的实际时间生成图像。图像生成单元140B在读入CG描述数据后，将各种定义等信息保存在存储器中，并且这些信息之间的对应关系也作为数据结构而被保存。

表面指定单元120指定输入图像被纹理映射的纹理映射目标(CG的对象或者对象的一部分)，并将该指定信息经由网络130发送给图像生成单元140B。另外，该表面指定单元120生成CG描述数据中的被赋予给纹理映射目标的属性的各值和图像数据之间的对应关系，并将表示该对应关系的图像分配表设定在图像生成单元140B中。该表面指定单元120与如上述图1所示的图像处理装置100的表面指定单元120相同。

图像生成单元140B基于由CG制作单元110制作的CG描述数据来生成三维空间图像、即CG图像。另外，该图像生成单元140B控制图像映射单元150B，以便基于从表面指定单元120发来的纹理映射目标的指定信息而将输入图像纹理映射到该纹理映射目标的表面上。

图像映射单元150B将输入图像纹理映射到图像生成单元140B所绘制的CG中由表面指定单元120指定的纹理映射目标的表面上。该图像映射单元150B与上述图像生成单元140B被安装成一体，并且该图像映射单元150B可通过CPU上的基于软件的控制和GPU等的基于硬件的动作来实现。控制软件指定进行纹理映射的多边形集合并将其指示给硬件。该图像映射单元150B和上述的图像生成单元140B与图1所示图像处理装置100中的图像映射单元150和图像生成单元140同样地构成(参考图4、图5)。

图像选择控制单元180B根据CG描述数据中的被赋予给纹理映射目标的属性来控制由矩阵开关160B选择的图像数据T1、T2。该图像数据T1、T2是被选择性地输出到输出总线211、212的用于纹理映射的图像数据。图像选择控制单元180B基于图像生成单元140B中设定的图像分配表来控制由矩阵开关160B选择的图像数据T1、T2。

图24示出了上述图像生成单元140B和图像映射单元150B的功能框的构成例。在该图24中，对于与图5对应的部分标注相同符号。单元140B、150B具有：图像输入部152-1和152-2、纹理图像存储部153-1和153-2、CG控制部154、CG绘制部155、纹理坐标控制部156、帧缓冲器157、以及图像输出部158的功能框。

图像输入部152-1、152-2以及图像输出部158由图像输入输出部141构成。另外，纹理图像存储部153-1、153-2由主存储器145构成。另外，CG控制部154和纹理坐标控制部156由CPU144构成。另外，CG绘制部155由GPU142构成。另外，帧缓冲器157由本地存储器143构成。

图像输入部152-1和纹理图像存储部153-1与图像数据T1的输入系统相对应。图像输入部152-2和纹理图像存储部153-2与图像数据T2的输入系统相对应。在图像映射单元150B中，作为用于纹理映射的图像数据，选择性地切换使用被存储在纹理图像存储部153-1、153-2中的图像数据T1、T2的某一个。

在图21所示的图像处理装置100B中，输入到图像映射单元150B的图像数据T1、T2被存储在纹理图像存储部153-1、153-2中(参考图24)。因此，当图像映射单元150B读取被输入到纹理图像存储部153-1、153-2中的图像数据时，能够进行图像的切换。

即，在当前图像数据T1正被使用于纹理映射的情况下，比绘制提前几个帧预先调查CG描述数据的动画。然后指示矩阵开关160，以便输出接下来被切换选择的图像输入(图像输入“1”～“10”中的某一个)作为图像数据T2。并且，图像映射单元150B在预定的定时将用于纹理映射的图像数据从图像数据T1切换到图像数据T2。

图25示出了控制定时的一个例子，以该定时进行输入图像的选择和其他的控制。假定当前图像数据T1正被用于纹理映射。

在比帧A提前几帧的帧，控制部调查被赋予给帧A的纹理映射目标的属性的值。并且，控制部指示矩阵开关160，以使其选择与属性的值相对应的图像输入作为图像数据T2。矩阵开关160在该帧的末端进行切换，以选择被指示的图像输入作为图像数据T2。由此，被指示的图像输入被存储到与图像数据T2对应的纹理图像存储部153-2(参考图24)中。

控制部在帧3(帧A)中，基于CG描述数据将用于纹理映射的图像数据从图像数据T1切换到图像数据T2。即，关于用于纹理映射的图像数据，将从纹理图像存储部153-1的读出切换为从纹理图像存储部153-2的读出。另外，控制部在帧3(帧A)中，进行帧A的CG的绘制来生成CG图像，并将该图像数据暂时存储在帧缓冲器157中。

接着，控制部在帧4中，使用在帧3处读出的图像数据，对在帧3中生成的CG图像的纹理映射目标进行纹理映射，并将处理后的CG图像的图像数据暂时存储在帧缓冲器157中。

接着，控制部在帧5中，从帧缓冲器157读出纹理映射了输入图像的CG图像的图像数据，并输出该图像数据。

根据如图25所示的控制定时，能够获得如下的优点。在诸如停止动画的动作这样的控制变更的情况下，在从接受到停止的指示之后，需要在图像的选择和被选图像在CG绘制中的使用都完成的时间点停止。假如在只有图像的选择结束了的时间点停止，则由于被停止的动画CG尚未到达至要进行图像切换的帧处，因此纹理映射的图像和CG的构成不能正好一致。在图25所示的控制定时的情况下，与上述图13所示的控制定时相比，由于从图像的选择到被选图像在CG中的利用为止的帧数减少，因此针对停止等控制变更的反应时间变短。另外，图像的选择和CG绘制由相同的CPU进行控制。其结果是，反应性好，容易维持连贯性，因此操作性提高。

虽省略详细说明，但图21所示的图像处理装置100B的其他动作与上述图1所示的图像处理装置100的动作相同。因此，在该图21所示的图像处理装置100B中也能够获得与图1所示的图像处理装置100同样的效果。

另外，图21所示的图像处理装置100B被构成为将输出到开关矩阵160B的两条输出总线211、212上的图像数据T1、T2输入到图像映射单元150B中。但是，从开关矩阵160B被输入到图像映射单元150B的图像数据的个数不限于两个，也可以利用3个以上的图像数据或者两个为一对的多对的图像数据。

<4.变形例>

在上述实施方式中，由表面指定单元120生成属性的各值和图像数据之间的对应关系，并将表示该对应关系的图像分配表设定在图像生成单元140、140A、140B中。并且，在CG描述数据中的被赋予给纹理映射目标的属性的值与图像分配表中存在的属性的值相一致或者处于其一定范围内时，将用于纹理映射的图像数据切换为与该属性的值相对应的图像数据。

但是，也可以考虑如下构成：属性的各值和图像数据的对应关系没有被预先设定，并仅是在CG描述数据中的被赋予给纹理映射目标的属性的值发生了变化时切换用于纹理映射的图像数据。在此情况下，图像数据的切换顺序可以被预先设定，也可以被随机地切换。

或者，例如在图21的构成例中，也可以使得交替地切换图像数据T1和T2来进行纹理映射，并且可通过手动操作来进行交叉点开关组231、232的动作。在此情况下，如果还显示图像数据T1和T2中的哪一个当前正被使用，则能够提高操作性。即，如果操作当前没被使用的总线的交叉点开关组，则能够在预先在CG描述数据中规定的下一切换定时进行期望的图像数据的纹理映射。

另外，在上述第一实施方式中，CG制作单元110、表面指定单元120、图像生成单元140和图像映射单元150分别单独存在，并且彼此经由网络130连接。但是，也可以考虑将它们形成为一体的构成。

图26示出了对图1所示的图像处理装置100进行变形的图像处理装置100C。该图像处理装置100C的CG制作单元、表面指定单元、图像生成单元以及图像映射单元由一台个人计算机310构成。虽省略详细说明，但该图像处理装置100C的其他部分与图1所示的图像处理装置100同样地构成，并同样地进行动作。

另外，在上述的第三实施方式中，CG制作单元110、表面指定单元120、图像生成单元140B以及图像映射单元150B分别单独存在，并且彼此经由网络130连接。但是，也可以考虑将它们形成为一体的构成。

图27示出了对图21所示的图像处理装置100B进行变形的图像处理装置100D。该图像处理装置100D的CG制作单元、表面指定单元、图像生成单元以及图像映射单元由一台个人计算机320构成。虽省略详细说明，但该图像处理装置100D的其他部分与图21所示的图像处理装置100B同样地构成，并同样地进行动作。

虽省略详细说明，但关于图16所示的第二实施方式的图像处理装置100A，也可以考虑将CG制作单元110、表面指定单元120、图像生成单元140A以及图像映射单元150A形成为一体的构成。

在以上的例子中，作为被参考的属性的例子，示出了色彩，但在使用色彩以外的属性的构成中，也能够在制作CG描述数据时引入图像数据的切换。通过使用在色彩或其他预览中人眼可看到的属性，能够发挥即便在没有进行纹理映射的预览中也容易想象结果的优点。

在使用图9的例子中，示出了将色彩的范围例如设为正负1％的例子，但其他的例子也容易实现，例如将色彩空间分割为距离各指定色彩近的各区域，并且通过将图像数据对应到每个区域来使得任意的色彩值都与一个图像输入相对应，从而选择要纹理映射的图像数据。

另外，在通过设置多组的图像分配表和图像选择单元(交叉点开关组)的组来进行多个纹理映射的情况下，也由于仅是单纯地增加了数量，因此能够容易地应用本发明。

另外，也可以如下构成：根据属性的值不仅切换图像数据，而且还进行执行还是不执行纹理映射动作本身的切换。如果属性的值与图像分配表的内容一致或者被包含在一定范围内则进行图像数据的选择并进行纹理映射、否则不进行纹理映射的构成对于本领域技术人员来说也是能够容易实现的。根据用途区分是否停止这样的纹理映射动作也是能够容易实现的。

[产业上的可用性]

本发明在将制作的CG利用于直播等的情况下能够在制作CG时容易地指定要被纹理映射的图像的切换定时，本发明能够应用于播放系统中的特效装置等。

Claims

1.一种图像处理装置，包括：

图像选择控制单元，其根据所述计算机图形描述数据中的被赋予给所述纹理映射目标的属性来控制由所述图像选择单元选择的图像数据。

2.如权利要求1所述的图像处理装置，其中，

还包括信息设定单元，其设定所述属性的值和图像数据之间的对应关系，

所述图像选择控制单元基于由所述信息设定单元设定的所述对应关系来控制由所述图像选择单元取出的图像数据。

3.如权利要求2所述的图像处理装置，其中，

所述属性是材质定义或者材质定义所带的表面信息。

4.如权利要求1所述的图像处理装置，其中，

所述图像选择单元具有开关矩阵，所述开关矩阵包括输入多个输入图像数据的输入线、以及输出从所述多个输入图像数据中选择的一个图像数据的输出线，并且

所述图像选择单元将输出至所述输出线的图像数据输入到所述图像映射单元中。

5.如权利要求1所述的图像处理装置，其中，

所述图像选择单元从向所述图像映射单元输入的多个输入图像数据中选择一个图像数据作为在该图像映射单元中使用的图像数据。

6.如权利要求1所述的图像处理装置，其中，

所述图像选择单元具有开关矩阵，所述开关矩阵包括输入多个输入图像数据的输入线、以及输出从所述多个输入图像数据中选择的一个图像数据的多个输出线，

所述图像选择单元将输出至所述多个输出线的图像数据输入到所述图像映射单元中，并且

所述图像选择单元从向该图像映射单元输入的多个图像数据中选择一个图像数据作为在该图像映射单元中使用的图像数据。

7.如权利要求1所述的图像处理装置，其中，

还包括图像选择操作单元，所述图像选择操作单元通过操作者的操作来切换由所述图像选择单元选择的图像数据。

8.一种图像处理方法，包括以下步骤：

图像选择步骤，用于从多个输入图像数据中选择一个图像数据；

图像生成步骤，用于基于计算机图形描述数据来生成计算机图形图像；

图像映射步骤，用于将在所述图像生成步骤中绘制的计算机图形图像的对象或者对象的一部分作为纹理映射目标，并将基于在所述图像选择步骤中选择的图像数据的图像纹理映射到该纹理映射目标的表面上；以及

图像选择控制步骤，用于根据所述计算机图形描述数据中的被赋予给所述纹理映射目标的属性来控制在所述图像选择步骤中选择的图像数据。