CN103026388A

CN103026388A - 图像生成装置

Info

Publication number: CN103026388A
Application number: CN201280001856XA
Authority: CN
Inventors: 佐佐木泰治; 矢羽田洋; 小川智辉
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2011-04-28
Filing date: 2012-04-27
Publication date: 2013-04-03
Also published as: US20130113701A1; JPWO2012147363A1; WO2012147363A1

Abstract

图像生成装置(100)具备检测观察者的观察位置的检测部(210)；算出将从基准位置至观察位置的位移量r(r为比1大的实数)倍而得到的虚拟观察位置的位置算出部(220)；生成从虚拟观察位置观察的图像的生成部(230)；与将生成的图像输出到外部显示器的输出部(240)。

Description

图像生成装置

技术领域

本发明涉及一种生成表示3维物体的图像的图像生成装置。

背景技术

以前，已知使用OpenGL等API(Application Programming Interface：应用程序接口)群进行的3维计算机图形处理技术、使用多视点图像的自由视点图像生成技术(例如参照专利文献1)等、生成从指定的观察位置观察的表示3维物体的图像的技术。

另外，已知一种自由视点电视，对观察显示了表示3维物体的图像的显示画面的观察者，检测该观察者位置，并生成应从该检测的位置观察到的、表示该3维物体的图像，显示在显示画面中。

根据现有的自由视点电视，观察者通过相对显示画面移动，能观察应从移动位置看到的、显示3维物体的图像。

现有技术文献

专利文献1：日本特开2008-21210号公报

发明概要

发明要解决的问题

但是，根据现有的自由视点电视，观察者对于当前正在观察的图像中表示的物体，为了从角度与当前的观察角度大不相同的观察角度进行观察，必需较大地移动。

发明内容

因此，本发明鉴于上述问题而做出，其目的在于提供一种生成图像的图像生成装置，在要变更图像中表示的物体的观察角度的情况下，观察者的移动量比以前少。

为了解决上述课题，涉及本发明一方式的图像生成装置，将表示3维物体的图像输出到外部显示设备，其特征在于：具备：检测部件，对观察由所述显示设备显示的图像的观察者的观察位置进行检测；位置算出部件，算出将从与由所述显示设备显示的图像的显示区域相对置的规定基准位置至由所述检测部件检测的观察位置的位移量r倍而得到的虚拟视点，其中r为比1大的实数；生成部件，取得用于生成表示所述3维物体的图像的数据，生成从由所述位置算出部件算出的虚拟视点观察的、表示所述3维物体的图像；和输出部件，将由所述生成部件生成的图像输出到所述显示设备。

发明效果

根据具备上述构成的涉及本发明一方式的图像生成装置，在观察图像的观察者移动的情况下，构成生成图像的观察位置的虚拟观察位置的移动量为观察者移动量的r(r是比1大的实数)倍。由此，在要变更物体的观察角度的情况下，观察者的移动量比现有技术少。

附图说明

图1是图像生成装置100的构成图。

图2是表示构成图像生成装置100的主要功能块的功能框图。

图3是表示实空间中的坐标系与虚拟空间中的坐标系的关系图。

图4是模式地表示显示面310与基准位置430的关系的模式图。

图5(a)是用于说明阴影处理的模式图之1，图5(b)是用于说明阴影处理的模式图之2。

图6是用于说明利用透视投影变换法的图像生成的模式图。

图7是表示右眼原图像与左眼原图像的关系的模式图。

图8是图像生成处理的流程图。

图9是用于说明图像生成装置100生成的图像的模式图。

图10(a)是表示设虚拟观察位置K940为视点位置的图像的图，图10(b)是表示设虚拟视点位置J950为视点位置的图像的图。

图11是表示构成图像生成装置1100的主要功能块的功能框图。

图12是用于说明图像生成装置1100生成的图像的模式图。

图13是第1变形图像生成处理的流程图。

图14(a)是表示设虚拟观察位置K940为视点位置的图像的图，图14(b)是表示设虚拟视点位置J950为视点位置的原图像的图。

图15是表示构成图像生成装置1500的主要功能块的功能框图。

图16是用于说明图像生成装置1500生成的图像的模式图。

图17(a)是表示设虚拟观察位置K940为视点位置的图像的图，图17(b)是表示设虚拟视点位置J950为视点位置的原图像的图。

图18是表示构成图像生成装置1800的主要功能块的功能框图。

图19是模式地表示显示面310与基准位置1930的关系的模式图。

图20是用于说明图像生成装置1800生成的图像的模式图。

图21(a)是表示设虚拟观察位置K2040为视点位置的图像的图，图21(b)是表示设虚拟视点位置J2050为视点位置的图像的图。

图22是用于说明感应一例的模式图之1。

图23是用于说明感应一例的模式图之2。

图24是用于说明头跟踪一例的模式图之1。

图25是用于说明头跟踪一例的模式图之2。

图26是用于说明光源位置设定一例的模式图之1。

图27是用于说明光源位置设定一例的模式图之2。

图28是模式表示观测者与对象的位置关系的模式图。

图29是用于说明设置侧面屏幕时的一例的模式图。

图30是用于说明形成椭圆形状时的一例的模式图。

图31是用于说明1平面+偏移方式的模式图。

图32用于说明使用1平面+偏移方式的一例的模式图。

图33是用于说明实物大小缩放系数的模式图。

图34是模式地表示显示器旋转类型的图像生成装置的模式图。

图35是用于说明图像生成装置100中的应用一例的模式图。

图36是模式地表示用户进入屏幕的状态的模式图之1。

图37是模式地表示用户进入屏幕的方法的模式图之2。

图38是用于说明使听障者与健全者的通信圆滑化的系统的模式图之1。

图39是用于说明使听障者与健全者的通信圆滑化的系统的模式图之2。

图40是表示图像生成装置4000的构成的框图。

具体实施方式

<想到本发明方式的实施方式的过程>

现有的自由视点电视能让观察自由视点电视的显示画面中表示的物体的观察者感到好像实际观察具有立体构造的物体。

但是，发明者注意到，在要对当前正在观察的图像中表示的物体从角度与当前的观察角度大不相同的观察角度进行观察的情况下，观察者必需相对显示画面较大地移动，所以在这种情况下，观察者对较大的移动感到烦恼。

因此，发明者通过开发生成图像的图像生成装置，在要变更图像中表示的物体的观察角度的情况下，观察者相对显示画面的移动量比现有技术少即可，由此认为能降低上述观察者感到的烦恼。

另外，发明者为了实现该想法，想到一种图像生成装置，在检测观察者的观察位置的情况下，生成从虚拟观察位置看到的图像，该虚拟观察位置是将从规定的基准位置至观察位置的位移量r(r为比1大的实数)倍后的位置。

<实施方式1>

<概要>

下面，作为涉及本发明方式的图像生成装置的一实施方式，说明图像生成装置100，该图像生成装置100生成对虚拟空间中虚拟存在的立体物的3DCG(3维计算机图形)图像，输出到外部显示器。

图2是表示构成图像生成装置100的主要功能块的功能框图。

如图所示，图像生成装置100具备检测观察者的观察位置的检测部210；算出将从基准位置至观察位置的位移量r(r为比1大的实数)倍后的视点位置的位置算出部220；生成从视点位置观察的3DCG图像的生成部230；和将生成的图像输出到外部显示器的输出部240。

首先，参照附图说明该图像生成装置100的硬件构成。

<硬件构成>

图1是图像生成装置100的构成图。

如图所示，图像生成装置100由集成电路110、摄像机130、硬盘装置140、光盘装置150与输入装置160构成，连接于外部显示器190。

集成电路110是集成了处理器111、存储器112、右眼帧缓冲器113、左眼帧缓冲器114、选择器115、总线116、第1接口121、第2接口122、第3接口123、第4接口124、第5接口125与第6接口的LSI(Large ScaleIntegration：大规模集成电路)，连接于摄像机130、硬盘装置140、光盘装置150、输入装置160与显示器190。

存储器112连接于总线116，由RAM(Random Access Memory)与ROM(Read Only Memory)构成，存储规定处理器111的动作的程序。存储器112的存储区域中的部分区域被处理器111用作主存储区域。

右眼帧缓冲器113是连接于总线116与选择器115的RAM，用于存储右眼图像(后述)。

左眼帧缓冲器114是连接于总线116与选择器115的RAM，用于存储左眼图像(后述)。

选择器115连接于总线116、处理器111、右眼帧缓冲器113、左眼帧缓冲器114与第6接口126，由处理器111控制，具有以规定周期(例如1/120秒周期)交替选择右眼帧缓冲器113中存储的右眼图像与左眼帧缓冲器114中存储的左眼图像后输出到第6接口126的功能。

总线116连接于处理器111、存储器112、右眼帧缓冲器113、左眼帧缓冲器114、选择器115、第1接口121、第2接口122、第3接口123、第4接口124与第5接口125，具有传递所连接的电路间的信号的功能。

第1接口121、第2接口122、第3接口123、第4接口124与第5接口125分别连接于总线116，分别具有对摄像装置132(后述)与总线116间的信号交换进行中介的功能、对测距装置131与总线116间的信号交换进行中介的功能、交换总线116与硬盘装置140间的信号的功能、交换总线116与光盘装置150间的信号的功能、交换输入装置160与总线116间的信号的功能。第6接口126连接于选择器115，具有交换选择器115与外部显示器190间的信号的功能。

处理器111连接于总线116，通过执行存储器112中存储的程序，实现控制选择器115、测距装置131、摄像装置132、硬盘装置140、光盘装置150与输入装置160的功能。另外，处理器111具有如下功能，即通过执行存储器112中存储的程序，控制这些装置，使图像生成装置100执行图像生成处理。在后面的<图像生成处理>项目中用流程图来详细说明该图像生成处理。

摄像机130由测距装置131与摄像装置132构成。该摄像机130安装在显示器190的显示面侧上部，具有对显示器190的显示面附近的被摄体进行摄影的功能。

摄像装置132连接于第1接口121，由处理器111控制，具备固体摄像元件(例如CMOS(Complementary Metal Oxide Semiconductor)图象传感器)、与将外部光聚光于固体摄像元件的透镜群，具有如下功能，即以规定的帧速率(例如30fps)来摄影外部的被摄体，生成由规定数量(例如640×480)象素构成的图像并输出。

测距装置131连接于第2接口122，由处理器111控制，具有以象素单位测定至被摄体的距离的功能。该测距装置131的测距方法例如利用TOF(Time Of Flight：飞行时间)测距方式实现，即通过向被摄体照射红外线等激光，测定来自该被摄体的反射光再次返回前的時间，算出距离。

硬盘装置140连接于第3接口123，由处理器111控制，具有内置硬盘并向内置的硬盘中写入数据的功能、和从内置的硬盘中读出数据的功能。

光盘装置150连接于第4接口124，由处理器111控制，具有能装拆地安装作为数据记录介质的光盘(例如Blu-ray(注册商标)盘)、并从安装的光盘中读出数据的功能。

输入装置160连接于第5接口125，由处理器111控制，具有受理来自用户的操作、将受理到的操作变换为电信号后发送给处理器111的功能。该输入装置160例如由键盘与鼠标实现。

显示器190连接于第6接口126，是液晶显示器，具有显示基于从图像生成装置100发送来的信号的图像的功能，例如具有水平方向为890mm、垂直方向为500mm构成的长方形显示面。

下面，参照附图来说明具备上述硬件构成的图像生成装置100中从功能面看的各构成要素。

<功能构成>

如图2所示，图像生成装置100由检测部210、位置算出部220、生成部230与输出部240构成。

检测部210连接于位置算出部220，由采样图像保持部211与头跟踪部212构成，具有检测观察显示器190的图像显示面的观察者的观察位置的功能。

头跟踪部212连接于采样图像保持部211与坐标变换部222(后述)，通过执行程序的处理器111控制测距装置131与摄像装置132来实现，具有以下4个功能。

摄影功能：以规定的帧速率(例如30fps)对存在于显示器190的显示面附近的被摄体进行摄影、生成由规定数量(例如640×480)象素构成的图像的功能。

测距功能：以规定的帧速率(例如30fps)测定至存在于显示器190的显示面附近的被摄体的距离的功能。

脸检测功能：通过执行利用采样图像保持部211中存储的采样图像的匹配处理、检测所摄影的被摄体中包含的脸的区域的功能。

眼位置算出功能：在检测到脸的区域的情况下，通过进一步执行利用采样图像保持部211中存储的采样图像的匹配处理，确定右眼位置与左眼位置，算出实空间中右眼坐标与左眼坐标的功能。另外，下面在不区别左右地表现右眼位置与左眼位置的情况下，仅表现为观察位置。

图3是表示实空间中的坐标系(以下称为“实坐标系”)、与虚拟空间中的坐标系(以下称为“虚拟坐标系”)的关系的图。

所谓实坐标系是设置显示器190的现实世界中的坐标系，所谓虚拟坐标系是为了图像生成装置100生成3DCG图像而虚拟构筑的虚拟空间中的坐标系。

如图所示，实坐标系与虚拟坐标系均以显示器190的显示面310的中央为原点，以水平方向为X轴、垂直方向为Y轴、进深方向为Z轴。这里，从观察显示面310的观察者300看，以右方向为X轴的正方向、上方向为Y轴的正方向、显示面310的近前方向为Z轴的正方向。

从由实坐标系表示的实坐标向由虚拟坐标系表示的虚拟坐标的变换通过向实坐标乘以作为坐标变换系数的RealToCG系数来算出。

例如图3所示，在实空间中的显示面310的高度为500mm、虚拟空间中的屏幕区域的高度为100.0的情况下，RealToCG系数为100.0/500=0.20。

再返回图2，接着说明图像生成装置100的功能构成。

采样图像保持部211连接于头跟踪部212，作为存储器112的存储区域的一部分实现，具有存储头跟踪部212执行的用于检测脸区域的匹配处理中所利用的采样图像、与头跟踪部212执行的用于算出右眼坐标与左眼坐标的匹配处理中所利用的采样图像的功能。

位置算出部220连接于检测部210与生成部230，由参数保持部221与坐标变换部222构成，具有算出将从基准位置至观察位置的位移量r倍后的视点位置的功能。

坐标变换部222连接于头跟踪部212、参数保持部221、视点变换部235(后述)与对象数据保持部231(后述)，由执行程序的处理器111实现，具有以下3个功能。

基准位置计算功能：对由头跟踪部212确定的右眼位置与左眼位置分别算出包含眼位置的、与显示器190的显示面平行的基准平面，计算所算出的基准平面中与显示器190的显示面中央相对置的位置作为基准位置的功能。这里，所谓基准平面中与显示面中央相对置的位置是指基准平面上的点中、至显示面中央的距离为最短的点的位置。

图4是模式地表示从Y轴(参照图3)的正方向俯视显示器190的情况下、显示器190的显示面310与基准位置430的关系的模式图。这里，显示面310与Z轴垂直。

图中，位置K440表示由头跟踪部212确定的观察位置。位置J450如后所述。

基准平面420是包含位置K440的、与显示面310平行的平面。

基准位置430是基准平面420上的点中、至显示面中央410的距离最短的点的位置。

接着说明坐标变换部222具有的功能。

视点位置算出功能：对于由头跟踪部212确定的右眼位置与左眼位置各自，分别算出各自的基准平面中、将距各自的基准位置的位移量r倍后的右眼视点位置与左眼视点位置的功能。这里，所谓算出基准平面中将位移量r倍后的视点位置是对以基准位置作为起点、以眼的位置作为终点的基准平面上的矢量、维持矢量的方向不变、算出将矢量的大小r倍后得到的矢量的终点位置，作为视点位置。另外，该r值也可由利用图像生成装置100的用户使用输入装置160自由设定。下面，在不区别左右地表现右眼视点位置与左眼视点位置的情况下，仅表现为视点位置。

图4中，位置J450表示由头跟踪部212确定的眼的位置是位置K440的情况下、坐标变换部222算出的视点位置。

位置J450为基准平面420中将从基准位置430至位置K440的位移量r倍后的位置。

接着，说明坐标变换部222具有的功能。

坐标变换功能：将算出的、表示右眼视点位置的坐标(下面称为“右眼视点坐标”。)与表示左眼视点位置的坐标(下面称为“左眼视点坐标”。)分别变换为虚拟坐标系中的虚拟右视点坐标与虚拟左视点坐标的功能。

作为从实坐标至虚拟坐标的变换系数的RealToCG系数，通过从对象数据保持部231(后述)中读出屏幕区域的高度并从参数保持部221(后述)中读出显示面310的高度后、将读出的屏幕区域的高度除以读出的显示面310的高度来算出。

例如图3所示，在实空间中显示面310的高度为500mm、虚拟空间中的屏幕区域的高度为100.0的情况下，当观察者300存在于Z轴上距显示面310的中央1000mm的位置时，该观察者300在虚拟坐标系中的Z坐标为1000×(100.0/500)=200。

这里，将由虚拟右视点坐标表示的虚拟空间上的位置称为虚拟右视点位置，将由虚拟左视点坐标表示的虚拟空间上的位置称为虚拟左视点位置。另外，下面以不区别左右地表现虚拟右视点位置与虚拟左视点位置的情况下，仅表现为虚拟视点位置。

再次返回图2，继续说明图像生成装置100的功能构成。

参数保持部221连接于坐标变换部222，作为存储器112的存储区域的一部分来实现，具有存储坐标变换部222为了算出实空间中的坐标而利用的信息与表示实空间中显示面310的尺寸的信息的功能。

生成部230连接于位置算出部220与输出部240，由对象数据保持部231、3维对象构筑部232、光源设定部233、阴影处理部234、视点变换部235与光栅化部236构成，具有实现生成从视点位置观察的3DCG图像的、所谓图形流水线(graphics pipeline)处理的功能。

对象数据保持部231连接于3维对象构筑部232、光源设定部233、视点变换部235与坐标变换部222，作为内置于硬盘装置140中的硬盘的存储区域及安装在光盘装置150中的光盘中的存储区域来实现，具有存储涉及作为虚拟空间中虚拟存在的立体物的对象的位置与形状的信息、涉及虚拟空间中虚拟存在的光源的位置与光源特性的信息、与涉及屏幕区域的位置与形状的信息的功能。

3维对象构筑部232与对象数据保持部231与阴影处理部234连接，由执行程序的处理器111实现，具有从对象数据保持部231中读出涉及虚拟空间中虚拟存在的对象的位置与形状的信息后将这些对象展开到虚拟空间的功能。这里，该对象向虚拟空间的展开例如通过就构成目标的对象、对表示该对象形状的信息进行旋转、移动、放大、缩小等处理等来实现。

光源设定部233连接于对象数据保持部231与阴影处理部234，由执行程序的处理器111实现，具有从对象数据保持部231中读出涉及虚拟空间中虚拟存在的光源的位置与光源特性的信息后、将该光源设定在虚拟空间的功能。

阴影处理部234连接于3维对象构筑部232、光源设定部233与视点变换部235，由执行程序的处理器111实现，具有执行对由3维对象构筑部232展开的对象中的每个对象附加基于由光源设定部233设定的光源的阴影的阴影处理的功能。

图5(a)、(b)是用于说明阴影处理部234执行的阴影处理的模式图。

图5(a)是表示在球形对象A502的上部设定光源A501时的实例的模式图。此时，对对象A502附加阴影，使上部反射大，下部反射少。之后，计算由对象A502生成的、至对象X503上的影区域，向该计算出的影区域附加影。

图5(b)是表示在球形对象B512的左上部设定光源B511时的实例的模式图。此时，对对象B512附加阴影，使左上部反射大，右下部反射少。之后，计算由对象B512生成的、至对象Y513上的影区域，向该计算出的影区域附加影。

视点变换部235连接于坐标变换部222、对象数据保持部231与阴影处理部234，由执行程序的处理器111实现，具有如下功能，利用透视投影变换法，生成对由阴影处理部234进行阴影处理后的对象的、从由坐标变换部222算出的虚拟右眼视点位置看到的、至屏幕区域的投影图像(以下称为“右眼原图像”。)、与从由坐标变换部222算出的虚拟左眼视点位置看到的、至屏幕区域的投影图像(以下称为“左眼原图像”。)。这里，该利用透视投影变换法生成图像通过指定视点位置、前裁剪(clipping)区域、后裁剪区域与屏幕区域来进行。

图6是用于说明利用视点变换部235利用的透视投影变换法的图像生成的模式图。

图中，视锥台区域610是分别连结所指定的前裁剪区域602的端点与所指定的后裁剪区域的端点的线段(图6中的粗线)所包围的区域。

该利用透视投影变换法的图像生成是在屏幕区域604中生成对从指定的视点位置601看到的视锥台区域610中包含的对象依据远近法的2维投影图像的图像生成方法。根据该透视投影变换法，在连结视点位置、前裁剪区域的各个端点、后裁剪区域的各个端点的直线上配置屏幕区域的各个端点，所以能生成让观察显示所生成的图像的显示器显示面的观察者宛如经由该显示面观看对象的图像。

图7是表示视点变换部235生成的右眼原图像与左眼原图像的关系的模式图。

如图所示，在观察者以站立姿势观察显示器190的显示面310的情况下，因为右眼的位置与左眼的位置在X轴(参照图3)方向上彼此为不同坐标，所以右眼原图像与左眼原图像的关系是彼此在X轴方向上产生视差的图像关系。另外，在观察者以横卧姿势观察显示器190的显示面310的情况下，因为右眼的位置与左眼的位置在Y轴方向上彼此为不同的坐标，所以右眼原图像与左眼原图像的关系是彼此在Y轴方向上产生视差的图像关系。这样，视点变换部235生成右眼原图像与左眼原图像，使彼此在对应于观察者姿势的方向之方向上产生视差。

再次返回图2，接着说明图像生成装置100的功能构成。

光栅化部236连接于视点变换部235、左眼帧缓冲部241(后述)与右眼帧缓冲部242(后述)，由执行程序的处理器111实现，具有以下2个功能。

纹理贴附功能：在由视点变换部235生成的右眼原图像与左眼原图像中进行纹理贴附的功能。

光栅化处理功能：从贴附了纹理的右眼原图像与左眼原图像分别生成光栅形式的右眼图像与光栅形式的左眼图像的功能。这里生成的光栅(raster)形式的图像例如是位图形式的图像。另外，在该光栅化处理中决定构成所生成的图像的象素的象素值。

输出部240连接于生成部230，由右眼帧缓冲部242、左眼帧缓冲部241与选择部243构成，具有将由生成部230生成的图像输出到显示器190的功能。

右眼帧缓冲部242连接于光栅化部236与选择部243，由执行程序的处理器111与右眼帧缓冲器113实现，具有在由光栅化部236生成右眼图像的情况下、将生成的右眼图像存储在构成本单元的右眼帧缓冲器113中的功能。

左眼帧缓冲部241连接于光栅化部236与选择部243，由执行程序的处理器111与左眼帧缓冲器114实现，具有在由光栅化部236生成左眼图像的情况下、将生成的左眼图像存储在构成本单元的左眼帧缓冲器114中的功能。

选择部243连接于右眼帧缓冲部242与左眼帧缓冲部241，通过执行程序的处理器111控制选择器115来实现，具有以规定周期(例如1/120秒周期)交替选择右眼帧缓冲部242中存储的右眼图像与左眼帧缓冲部241中存储的左眼图像后输出到显示器190的功能。观察显示器190的观察者通过佩戴与该规定周期同步动作的主动式(active)快门眼镜，可观察具有进深感的立体图像。

下面，参照附图，说明上述构成的图像生成装置100执行的动作。

<动作>

这里，说明图像生成装置100执行的动作中、作为特征动作的图像生成处理。

<图像生成处理>

图像生成处理是图像生成装置100生成对应于观察显示器190的显示面310的观察者的观察位置的、该显示面310中显示的图像的处理。

在该图像生成处理中，图像生成装置100与头跟踪部212执行的摄影的帧速率同步地，重复进行右眼图像与左眼图像这2个图像的生成。

图8是图像生成处理的流程图。

图像生成处理通过利用图像生成装置的用户操作输入装置160、向图像生成装置100输入开始图像生成处理的命令来开始。

若开始图像生成处理，则头跟踪部212对存在于显示器190的显示面310附近的被摄体进行摄影，尝试摄影到的被摄体中包含的脸区域的检测(步骤S800)。接着，在脸区域的检测成功的情况下(步骤S810：是)，头跟踪部212确定右眼位置与左眼位置(步骤S820)，算出右眼位置的右眼坐标与左眼位置的左眼坐标。

若算出右眼坐标与左眼坐标，则坐标变换部222从算出的右眼坐标与左眼坐标分别算出右视点坐标与左视点坐标(步骤S830)。

在步骤S810的处理中，在脸区域的检测失败的情况下(步骤S810：否)，坐标变换部222向右视点坐标与左视点坐标分别代入事先设定的各自的规定值(步骤S840)。

在步骤S830的处理终止的情况下，或在步骤S840的处理终止的情况下，坐标变换部222将右视点坐标与左视点坐标分别变换为虚拟右视点坐标与虚拟左视点坐标(步骤S850)。

若将右视点坐标与左视点坐标分别变换为虚拟右视点坐标与虚拟左视点坐标，则视点变换部235生成从该虚拟右视点坐标看到的右眼原图像、与从该虚拟左视点坐标看到的左眼原图像(步骤S860)。

若生成右眼原图像与左眼原图像，则光栅化部236对这些右眼原图像与左眼原图像分别进行纹理贴附处理与光栅化处理，生成各个右眼图像与左眼图像。之后，将生成的右眼图像存储在右眼帧缓冲部242中，将生成的左眼图像存储在左眼帧缓冲部241中(步骤S870)。

若存储右眼图像与左眼图像，则图像生成装置100在待机直到头跟踪部212下次对被摄体进行摄影的规定時间之后，再次重复步骤S800以下的处理(步骤S880)。

<考察>

下面，考察具备上述构成的图像生成装置100生成的图像由观察该图像的观察者如何观察。

图9是用于说明图像生成装置100生成的图像的模式图，表示虚拟空间中对象、屏幕区域与虚拟视点位置的位置关系。

图中，屏幕区域604与Z轴垂直，该图是从虚拟空间内Y轴(参照图3)的正方向俯视屏幕区域604的图。

虚拟观察位置K940是对应于图4中位置K440的虚拟空间上的位置。即，是对应于由头跟踪部212确定的观察位置的虚拟空间上的位置。

虚拟视点位置J950是对应于图4中位置J450的虚拟空间上的位置。即，是由坐标变换部222算出的虚拟视点位置。

虚拟基准平面920是对应于图4中基准平面420的虚拟空间上的平面。

虚拟基准位置930是对应于图4中基准位置430的虚拟空间上的位置。

图10(a)是设透视投影变换法中的屏幕区域为屏幕区域604时、设虚拟观察位置K940为视点位置的、包含对象900的图像，图10(b)是设透视投影变换法中的屏幕区域为屏幕区域604时、设虚拟视点位置J950为视点位置的、包含对象900的图像。

如图9所示，虚拟视点位置J950从虚拟基准位置930的位移量为虚拟观察位置K940从虚拟基准位置930的位移量的r倍。由此，如图10(a)、(b)所示，在从虚拟视点位置J950看对象900的情况下，与比虚拟观察位置K940看对象900的情况相比，更象从对象900的侧面侧在看。

这样，从图4中的位置K440的位置观察显示器190的观察者，宛如从将自基准位置430的位移量r倍后的位置J450观察显示器190的角度来观察图像。

如图9所示，虚拟视点位置J950中屏幕区域604的视角比虚拟观察位置K940中屏幕区域604的视角小。

<变形例1>

下面，作为涉及本发明方式的图像生成装置的一实施方式，说明变形涉及实施方式1的图像生成装置100的一部分的图像生成装置1100。

<概要>

图像生成装置1100的硬件构成与涉及实施方式1的图像生成装置100相同，但所执行的程序的一部分与涉及实施方式1的图像生成装置100不同。

涉及实施方式1的图像生成装置100是如下实例，在检测到观察显示器190的显示面310的观察者的观察位置的情况下，生成从将从基准位置至观察位置的位移量r倍后的视点位置看到的图像。此时，视点位置下显示面310的视角比观察位置下显示面310的视角小。

相反，涉及变形例1的图像生成装置1100与涉及实施方式1的图像生成装置100一样，是在检测到观察者的观察位置的情况下，生成从将从基准位置至观察位置的位移量r倍后的视点位置看到的图像的构成实例，但是将生成的图像设为视角与观察位置下显示面310的视角相等的图像的构成实例。

下面，对于涉及本变形例1的图像生成装置1100的构成，主要参照附图来说明与涉及实施方式1的图像生成装置100的不同之处。

<构成>

<硬件构成>

图像生成装置1100的硬件构成与涉及实施方式1的图像生成装置100的构成相同。从而省略说明。

<功能构成>

图11是表示构成图像生成装置1100的主要功能块的功能框图。

如图所示，图像生成装置1100与涉及实施方式1的图像生成装置100相比，坐标变换部222变形为坐标变换部1122，视点变换部235变形为视点变换部1135。伴随这些变形，位置算出部220变形为位置算出部1120，生成部230变形为生成部1130。

坐标变换部1122从涉及实施方式1的坐标变换部222变形了其功能的一部分，连接于头跟踪部212、参数保持部221、视点变换部1135与对象数据保持部231，由执行程序的处理器111实现，除涉及实施方式1的坐标变换部222具有的基准位置计算功能、视点位置算出功能、坐标变换功能外，还具有以下的追加坐标变换功能。

追加坐标变换功能：将由头跟踪部212算出的右眼坐标与左眼坐标分别变换为虚拟坐标系中的虚拟右观察坐标与虚拟左观察坐标的功能。

视点变换部1135从涉及实施方式1的视点变换部235变形其功能的一部分，连接于坐标变换部1122、对象数据保持部231、阴影处理部234与光栅化部236，由执行程序的处理器111实现，具有以下4个功能。

视角算出功能：算出从由视点变换部1135算出的虚拟右观察坐标所示的虚拟右观察位置看到的屏幕区域视角(以下称为“右观察位置视角”。)、与从由视点变换部1135算出的虚拟左观察坐标所示的虚拟左观察位置看到的屏幕区域视角(以下称为“左观察位置视角”。)的功能。以下，在不区别左右地表现左观察位置视角与右观察位置视角的情况下，仅表现为观察位置视角。

放大屏幕区域算出功能：算出包含屏幕区域的平面中、具有从虚拟右眼视点位置看到的右观察位置视角的区域，作为右放大屏幕区域，算出包含屏幕区域的平面中、具有从虚拟左眼视点位置看到的左观察位置视角的区域，作为左放大屏幕区域的功能。这里，视点变换部1135算出所算出的右放大屏幕区域，使右放大屏幕区域的中央与屏幕区域的中央一致，算出所算出的左放大屏幕区域，使左放大屏幕区域的中央与屏幕区域的中央一致。

图12是表示虚拟空间中对象、屏幕区域、放大屏幕区域、虚拟观察位置与虚拟视点位置的关系的模式图。

图中，视角K1260是从虚拟观察位置K940看到的屏幕区域604的视角。

视角J1270是构成与视角K1260相等的角度的角。

放大屏幕区域1210是包含屏幕区域604的平面中、具有从虚拟视点位置J950看到的视角J1270的区域。另外，放大屏幕区域1210的中央为与屏幕区域中央910一致的位置。

接着说明视点变换部1135具有的功能。

放大原图像生成功能：利用透视投影变换法、生成关于由阴影处理部234执行阴影处理后的对象的、从坐标变换部1122算出的虚拟右眼视点位置看到的向放大屏幕区域的投影图像(以下称为“右眼放大原图像”。)、与从坐标变换部222算出的虚拟左眼视点位置看到的向放大屏幕区域的投影图像(以下称为“左眼放大原图像”。)的功能。以下，在左眼放大原图像与右眼放大原图像不区别左右表现的情况下，仅表现为放大原图像。

图像缩小功能：缩小修正右眼放大原图像，使右眼放大原图像的尺寸与屏幕区域的尺寸相等，生成右眼原图像，并且缩小修正左眼放大原图像，使左眼放大原图像的尺寸与屏幕区域的尺寸相等，生成左眼原图像的功能。

以下，参照附图来说明上述构成的图像生成装置1100进行的动作。

<动作>

这里，说明图像生成装置1100执行的动作中、作为特征动作的第1变形图像生成处理。

<第1变形图像生成处理>

第1变形图像生成处理是图像生成装置1100生成对应于观察显示器190的显示面310的观察者的观察位置的、该显示面310中显示的图像的处理，从实施方式1中的图像生成处理(参照图8)变形该处理的一部分。

图13是第1变形图像生成处理的流程图。

如图所示，第1变形图像生成处理是如下处理，即：相对于实施方式1中的图像生成处理(参照图8)，在步骤S850的处理与步骤S860的处理之间，追加步骤S1354的处理与步骤S1358的处理，在步骤S860的处理与步骤S870的处理之间追加步骤S1365的处理，还将步骤S840的处理变形为步骤S1340的处理，将步骤S860的处理变形为步骤S1360的处理。

因此，这里说明步骤S1340的处理、步骤S1354的处理、步骤S1358的处理、步骤S1360的处理与步骤S1365的处理。

在步骤S810的处理中，在脸区域的检测失败的情况下(步骤S810：否)，坐标变换部222向右眼坐标、左眼坐标、右视点坐标与左视点坐标分别代入事先设定的各个规定值(步骤S1340)。

在步骤S850的处理中，若将右视点坐标与左视点坐标分别变换为虚拟右视点坐标与虚拟左视点坐标，则坐标变换部1122将右眼坐标与左眼坐标分别变换为虚拟坐标系中的虚拟右观察坐标与虚拟左观察坐标(步骤S1354)。

若将右眼坐标与左眼坐标分别变换为虚拟坐标系中的虚拟右观察坐标与虚拟左观察坐标，则视点变换部1135算出从视点变换部1135算出的虚拟右观察坐标所示的虚拟右观察位置看到的、作为屏幕区域视角的右观察位置视角、与从视点变换部1135算出的虚拟左观察坐标所示的虚拟左观察位置看到的、作为屏幕区域视角的左观察位置视角(步骤S1358)。

若算出右观察位置视角与左观察位置视角，则视点变换部1135生成具有右观察位置视角的右放大原图像、与具有左观察位置视角的左放大原图像(步骤S1360)。

若生成右放大原图像与左放大原图像，则由生成的右放大原图像与左放大原图像分别生成右眼原图像与左眼原图像(步骤S1365)。

<考察>

以下，考察具备上述构成的图像生成装置1100生成的图像由观察该图像的观察者如何进行观察。

图14(a)是设透视投影变换法下的屏幕区域为屏幕区域604(参照图12)时、以虚拟观察位置K940为视点位置的、包含对象900的图像，图14(b)是通过对设透视投影变换法下的屏幕区域为屏幕区域604时、以虚拟视点位置J950为视点位置的、包含对象900的图像进行缩小修正所得到的图像(以下称为“缩小修正图像”。)、即原图像。

如图12所示，虚拟视点位置J950从虚拟基准位置930的位移量是将虚拟观察位置K940从虚拟基准位置930的位移量的r倍后的位移量。由此，如图14(a)、(b)所示，在从虚拟视点位置J950看对象900的情况下，与从虚拟观察位置K940看对象900的情况相比，更象从对象900的侧面侧在看。并且，显示器190的显示面310中显示的图像，是关于具有从虚拟视点位置J950看到的屏幕区域604的视角的区域的图像。因此，变形例1中，从图4中的位置K440的位置观察显示器190的观察者所观察的图像(参照图14(b))在实施方式1中与从图4中位置K440的位置观察显示器190的观察者所观察的图像(参照图10(b))相比，为不适感更少的图像。

<变形例2>

以下，作为本发明方式中的图像生成装置的一实施方式，说明进一步变形涉及变形例1的图像生成装置1100的一部分的图像生成装置1500。

<概要>

图像生成装置1500的硬件构成与涉及变形例1的图像生成装置1100相同，实行的程序的一部分与涉及变形例1的图像生成装置1100不同。

涉及变形例1的图像生成装置1100是执行放大屏幕区域的算出、使放大屏幕区域的中央与屏幕区域的中央一致的构成实例。相反，涉及变形例2的图像生成装置1500是执行放大屏幕区域的算出、使放大屏幕区域中位移方向侧的边与屏幕区域的位移方向侧的边彼此一致。

以下，就涉及本变形例2的图像生成装置1500的构成，参照附图，主要说明与涉及变形例1的图像生成装置1100的不同点。

<构成>

<硬件构成>

图像生成装置1500的硬件构成与涉及变形例1的图像生成装置1100的构成相同。由此，省略说明。

<功能构成>

图15是表示构成图像生成装置1500的主要功能块的功能框图。

如图所示，图像生成装置1500与涉及变形例1的图像生成装置1100相比，将视点变换部1135变形为视点变换部1535。另外，伴随该变形，将生成部1130变形为生成部1530。

视点变换部1535从涉及变形例1的视点变换部1135变形其功能的一部分，连接于坐标变换部1122、对象数据保持部231、阴影处理部234与光栅化部236，由执行程序的处理器111实现，除涉及变形例1的视点变换部1135具有的视角算出功能、放大原图像生成功能、图像缩小功能外，还具有变形放大屏幕区域算出功能。

变形放大屏幕区域算出功能：算出包含屏幕区域的平面中、具有从虚拟右眼视点位置看到的右观察位置视角的区域，作为右放大屏幕区域，算出包含屏幕区域的平面中、具有从虚拟左眼视点位置看到的左观察位置视角的区域，作为左放大屏幕区域的功能。这里，视点变换部1535算出所算出的右放大屏幕区域，使右放大屏幕区域中位移方向侧的边与屏幕区域的位移方向侧的边一致，算出所算出的左放大屏幕区域，使左放大屏幕区域中位移方向侧的边与屏幕区域的位移方向侧的边一致。

图16是表示虚拟空间中对象、屏幕区域、放大屏幕区域、虚拟观察位置与虚拟视点位置的关系的模式图。

图中，视角K1670是构成与视角K1260相等的角度的角。

放大屏幕区域1610是包含屏幕区域604的平面中、具有从虚拟视点位置J950看到的视角J1670的区域。另外，放大屏幕区域中位移方向侧的边与屏幕区域的位移方向侧的边一致。

<考察>

以下，考察具备上述构成的图像生成装置1500生成的图像由观察该图像的观察者如何进行观察。

图17(a)是设透视投影变换法下的屏幕区域为屏幕区域604(参照图12)时、以虚拟观察位置K940为视点位置的、包含对象900的图像，图17(b)是通过对设透视投影变换法下的屏幕区域为屏幕区域604时、以虚拟视点位置J950为视点位置的、包含对象900的图像进行缩小修正所得到的缩小修正图像、即原图像。

如图17(b)所示，变形例2中，从图4中的位置K440的位置观察显示器190的观察者的图像与变形例1中从图4中的位置K440的位置观察显示器190的观察者的图像(参照图14(b))相比，对象900的位置向左侧(位移方向侧)移位。

<变形例3>

以下，作为涉及本发明方式的图像生成装置的一实施方式，说明变形涉及实施方式1的图像生成装置100的一部分的图像生成装置1800。

<概要>

图像生成装置1800的硬件构成与涉及实施方式1的图像生成装置100相同，实行的程序的一部分与涉及实施方式1的图像生成装置100不同。

涉及实施方式1的图像生成装置100是在与显示器190的显示面310平行的平面、即基准平面上算出视点位置的算出的构成实例。相反，涉及变形例3的图像生成装置1800为在显示器190的显示面310的视角一定的曲面、即基准曲面上算出视点位置的算出的构成实例。

以下，就涉及本变形例3的图像生成装置1800的构成，参照附图，主要说明与涉及实施方式1的图像生成装置100的不同点。

<构成>

<硬件构成>

图像生成装置1800的硬件构成与涉及变形例1的图像生成装置1100的构成相同。从而省略说明。

<功能构成>

图18是表示构成图像生成装置1800的主要功能块的功能框图。

如图所示，图像生成装置1800与涉及实施方式1的图像生成装置100相比，将坐标变换部222变形为坐标变换部1822。另外，伴随该变形，将位置算出部220变形为位置算出部1820。

坐标变换部1822从涉及实施方式1的坐标变换部222变形其功能的一部分，连接于头跟踪部212、参数保持部221、视点变换部235与对象数据保持部231，由执行程序的处理器111实现，除涉及实施方式1的坐标变换部222具有的坐标变换功能外，还具有以下的变形基准位置计算功能与变形视点位置算出功能。

变形基准位置计算功能：对头跟踪部212确定的右眼位置与左眼位置，分别算出眼位置下对显示器190的显示面310的视角，并算出由对显示面310的视角与算出的视角相等的位置的集合构成的基准曲面，计算所算出的基准曲面中、与显示面310中央相对置的位置，作为基准位置的功能。这里，所谓基准曲面中与显示面中央相对置的位置是通过显示面中央的显示面的垂线与基准曲面的交点位置。

图19是模式表示从Y轴(参照图3)的正方向俯视显示器190时、显示器190的显示面310与基准位置430的关系的模式图。这里，显示面与Z轴垂直。

图中，位置K440表示头跟踪部212确定的观察位置(参照图4)。位置J1950如后所述。

视角K1960是从位置K440看到的显示面310的视角。

基准曲面1920是对显示面310的视角与视角K1960相等的位置的集合构成的曲面。

基准位置1930是基准曲面1920上的点中、通过显示面中央410的显示面310的垂线与基准曲面1920的交点位置。

接着，说明坐标变换部1822具有的功能。

变形视点位置算出功能：对头跟踪部212确定的右眼位置与左眼位置、分别算出将各个基准曲面中、距各个基准位置的位移量r倍后的右眼视点位置与左眼视点位置的功能。这里，所谓算出将基准曲面中位移量r倍而得到的视点位置是指对于以基准位置为起点、以眼的位置为终点的基准曲面上的矢量，算出维持矢量方向不变、将矢量大小r倍而得到的矢量的终点位置，作为视点位置。这里，为了使算出的视点位置不进入显示器190的显示面310的背后，也可将算出的视点位置限制在显示面310的表面侧。另外，以下在不区别左右地表现右眼视点位置与左眼视点位置的情况下，仅表现为视点位置。

图19中，位置J1950在头跟踪部212确定的眼的位置是位置K440的情况下，表示坐标变换部1822算出的视点位置。

<考察>

以下，考虑具备上述构成的图像生成装置1800生成的图像由观察该图像的观察者如何观察。

图20是用于说明图像生成装置1800生成的图像的模式图，表示虚拟空间中对象、屏幕区域与虚拟视点位置的位置关系。

图中，屏幕区域604与Z轴垂直，该图为从虚拟空间内Y轴(参照图3)的正方向俯视屏幕区域604的图。

虚拟观察位置K2040是对应于图19中位置K440的虚拟空间上的位置。即，是对应于头跟踪部212确定的观察位置的虚拟空间上的位置。

虚拟视点位置J2050是对应于图19中位置J1950的虚拟空间上的位置。即，是坐标变换部1822算出的虚拟视点位置。

虚拟基准曲面2020是对应于图19中基准曲面1920的虚拟空间上的曲面。

虚拟基准位置2030是对应于图19中基准位置1930的虚拟空间上的位置。

图21(a)是设透视投影变换法中的屏幕区域为屏幕区域604时、设虚拟观察位置K2040为视点位置的、包含对象900的图像，图21(b)是设透视投影变换法中的屏幕区域为屏幕区域604时、设虚拟视点位置J2050为视点位置的、包含对象900的图像。

如图20所示，虚拟视点位置J2050距虚拟基准位置2030的位移量为虚拟观察位置K2040距虚拟基准位置2030的位移量的r倍。由此，如图21(a)、(b)所示，在从虚拟视点位置J2050看对象900的情况下，与从虚拟观察位置K2040看对象900的情况相比，更象从对象900的侧面侧在看。

这样，从图19中的位置K440的位置观察显示器190的观察者，宛如从将自基准位置1930的位移量r倍后的位置J1950观察显示器190的角度来观察图像。并且，显示器190的显示面310中显示的图像从虚拟观察位置K2040看到的屏幕区域604的视角与从虚拟视点位置J2050看到的屏幕区域604的视角彼此相等。因此，变形例3中，从图4(或图19)中的位置K440的位置观察显示器190的观察者观察的图像(参照图21(b))与实施方式1中从图4中的位置K440的位置观察显示器190的观察者观察的图像(参照图10(b))相比，为不适感更少的图像。

<其他变形例>

头跟踪部212因测距装置131的精度，按照每一帧在观察位置会发生少量的误差。此时，也可构成为使用低通滤波器来从多个前面的观察位置中消除测定误差。

作为摄像机130的设置方法，考虑在显示器190的上部配置摄像机130的方法，此时，如图22上段所示，与显示器190处于极近距离的区域等不进入测距装置131或摄像装置132的视场角，为死角，存在不能感应的课题。因此，为了感应位于与显示器190极近距离的观察者，也可如图22下段所示，将摄像机130配置在观察者的后方来取得。此时，使取得的X值、Y值反转，Z值通过计测显示器190与摄像机130的距离，从显示器190与摄像机130的距离减去Z值后，求出值。为了取得显示器190与摄像机130的距离关系，若在显示器190侧准备构成记号的标记图像，则头跟踪部212通过与该标记进行图案匹配，则能容易计测与显示器190的距离。由此，能感应与显示器190极近距离的观察者。

另外，为了感应位于与显示器190极近距离的观察者，也可如图23所示，将摄像机130配置在显示器190上部，倾斜配置，以便极近距离的观察者能感应。此时，使用摄像机130与显示器190的倾角α的信息，修正坐标。为了取得倾角α，也可在摄像机130上搭载陀螺仪传感器。由此，能感应与显示器190极近距离的观察者。

另外，为了感应处于与显示器190极近距离的观察者，也可构成为将摄像机130配置在显示器190上部，放置以追随观察者。构成为使摄像机130旋转，以便被识别脸的观察者进入摄像机130的图像。

另外，在将摄像机130从后方装配在显示器190上的方式的情况下，因为不能把握摄像机130与显示器190的位置关系，所以存在不能正确跟踪观察者位置的课题。在图24上段的实例中，观察者在X、Y轴位于中心位置，但从后方装配的摄像机130由于不能把握与显示器190的位置关系，所以不能修正摄像机130与显示器190的中心的差分，在图24上段的实例中，会将观察者位置误检测为X=-200mm、Y=-300mm。因此，如图24下段左例所示，为了使用户的头的中心位于显示器190的中心，也可提示进行站立，以该位置为基准来把握摄像机130与显示器190的位置关系。例如，在图24上段的实例中，若观察者站立以便头来到显示器190的中心，则摄像机130取得用户头部为X=-200mm、Y=-300mm，但在之后的头跟踪中，修正处理，以便该地点变为中心(X=0mm、Y=0mm)。

另外，如图25上段所示，也可在显示器190上准备有进深的虚拟盒，以GUI等调整盒的坐标，进行校准，以便使观察者站立在各角落(左上、右上、右下、左下)地点，在该地点，连结屏幕平面的角落与虚拟盒的角落的直线存在于观察者的视线上。由此，在观察者能直观地校准的同时，能使用多个地点信息更高精度地校准。

作为校准方法，如图25下段左所示，也可图像生成装置100感应物理尺寸已知的对象来进行。例如，也可让图像生成装置100保持操作显示器190的遥控器的形状信息，通过如图25下段左所示放置遥控器，进行坐标的修正。因为图像生成装置100已知遥控器的形状，所以能容易识别，另外，因为知道大小，所以能根据摄像机130上的尺寸与实际尺寸的关系来计算遥控器位置的进深。不仅遥控器，也可使用塑料瓶或智能手机等各种身旁的物品。

另外，如图25下段右所示，也可构成为在显示器190中显示栅格，以便知道距中心的距离，让观察者输入从中心至摄像机130的距离。由此，因为能把握摄像机130与显示器190的位置关系，所以能修正。

显示器190的大小的信息也可根据HDMI(High-Definition MultimediaInterface：高清多媒体接口)信息设定，或由用户通过GUI等设定。

在多个人位于显示器190前的情况下，进行哪个人物的头部检测的选择若能由“举手”等固定姿态决定，则能简易地选择人物。此时，构成为让头跟踪部212具有通过对“举手”的姿态进行图案匹配等来识别的功能，识别该姿态，记忆执行该姿态的人物的脸，进行头跟踪。另外，多个人位于电视前时的选择不仅通过姿态，也可将拍摄了多个人物的影像移动到画面上，由GUI等选择进行跟踪的人物。

另外，光源位置的设定如图26所示，若构成为与现实世界的光源(例如照明)位置匹配，则现场感增强。在图26上段，相对于现实世界的照明位置位于观察者的上边，CG上的光源位置位于3维模型的后方(观察者位置的相反方向)，所以阴影或影子让用户感到不适。另一方面，如图26下段所示，若现实世界的照明位置与CG空间的照明位置一致，则阴影或影子无不适感，现场感增强。从而，要求取得现实世界的照明的位置信息或强度。为了取得现实世界的照明的位置信息及强度，如图27所示，也可构成为利用照度传感器。照度传感器是测定光量的传感器，用于若在人们感到暗时则点亮光源，相反若感到亮则熄灭光源的用途。若如图27所示配置多个照度传感器，则能根据各照度传感器的大小来确定光的方向。例如，若图27的A、B的光量大C、D的光量小，则可知光从右上来。为了这样使用传感器来确定光源位置，也可降低显示器190的面板亮度，抑制光的干扰。另外，为了知道现实世界的照明位置信息，也可由用户利用GUI等设定。此时，例如图像生成装置100指示观察者向照明正下方移动，或指示输入从观察者的头部至照明的距离。此时，图像生成装置100通过由头跟踪部212取得观察者的状况位置，确定位置信息，向该位置信息的Y值加上现实世界的照明与头部的距离，能确定照明的位置信息。另外，为了确定现实世界的照明位置，也可根据由摄像机130摄影的影像的亮度信息来确定。

另外，通过执行利用采样图像的匹配来确定右眼位置与左眼位置的确定，但也可根据检测的脸区域来算出脸的中心位置，再根据该脸的中心位置算出各眼的位置。例如，若脸的中心位置的坐标为(X1、Y1、Z1)，则左眼的位置坐标为(X1-3cm、Y1、Z1)，右眼的位置坐标为(X1+3cm、Y1、Z1)。并且，虚拟右视点位置与虚拟左视点位置的算出也可在算出对应于脸的中心位置的虚拟视点位置后，根据该虚拟视点位置，算出虚拟右视点位置与虚拟左视点位置。例如，若对应于脸的中心位置的虚拟视点位置为(X1、Y1、Z1)，则虚拟左视点位置的坐标为{X1-(3cm*RealToCG系数)、Y1、Z1}，虚拟右视点位置的坐标为{X1+(3cm*RealToCG系数)、Y1、Z1}。

另外，为了舒适地显示对象，也可构成为在视锥台的空间中，在比屏幕区域更靠近观察者侧的空间中，包含对象的坐标。图28的左图是表示观察者与对象在CG上的坐标的关系的图。此时，对象1与对象2全部包含在视锥台的范围内，但在进行了视点移动的右图中，对象1与对象2会超出视锥台。这里，对象1由于进入屏幕区域中看不到的区域中，所以没有不适感，而对象2由于原本应看见的部分缺失，所以不适感大。因此，在CG模型的坐标的进深位置比屏幕区域的CG上进深坐标更靠近观察者侧的情况下，限制成其不超出比视锥台的空间的屏幕区域更靠近观察者侧的空间(区域A)。由此，观察者即便对位于近前的对象，也能视听无不适感的图像。为了对象不超出区域A，将覆盖对象的立方体虚拟地模型化，计算该立方体与区域A的包含关系。在超出区域A的情况下，向横向或后方(用户的相反侧)移动，以不超出区域A。另外，此时也可缩小对象的比例。另外，也可始终将对象配置在区域B(视锥台的空间中，屏幕区域内侧(观察者位置的相反侧))。另外，如图29右所示通过左右对开地在侧面设置屏幕，观察者的视野角增加，所以如图29左所示，位于近前的对象的可视听区域增加。此时，视点变换部235构成为不仅进行中心显示器用变换，还根据观察位置执行对侧面显示器的透视投影变换，在侧面显示器中显示影像。另外，如图30所示，若是椭圆形显示器，则只要区分成多个矩形区域，对其分别进行透视投影变换，显示图像即可。

另外，若是使用主动式快门方式或偏光方式眼镜的3D电视，则也可通过以图案匹配来确定眼镜的形状，执行右眼位置与左眼位置的确定。

作为生成3D影像的部件，有图31所示的1平面+偏移(1plane+offset)方式。1平面+偏移方式用于Blu-ray(注册商标)3D等3D影像格式中、字幕或菜单等简易的3D图形显示中。1平面+偏移方式相对于描绘2D图形的平面、以指定的偏移量向左右移位平面，生成左眼用图象(image)与右眼用图象。通过将该图象合成到影像等的平面，如图31所示，能制作左眼与右眼用视差图像，所以能对平面图象附加深度。能对观察者表现为平面图象从显示器突起。图像生成装置100的生成部230虽然使用3维计算机图形的描绘来说明，但在由1平面+偏移方式来生成3D影像的情况下，也可构成为求出右眼位置与左眼位置的倾角，平面移位。即，如图32上段所示，在观察者横卧的姿态下，当左眼来到下侧时，向上下施加偏移，生成左右影像。这构成为如图32下段所示，对应于观察者的眼位置的角度，以大小为1的矢量值来施加偏移。由此，能在自由视点影像中对应于观察者的眼的位置、以最佳形式生成1平面+偏移的3D影像。

为了进一步增加现场感，要求以实物大小来显示描绘的对象。例如，为了在屏幕上显示人物的模型，要求以实际的人的尺寸来显示。参照图33来说明该方法。如图33所示，对象中除坐标数据外，还包含“实物大小缩放(scaling)系数”信息。该信息是用于将对象的坐标数据变换为现实世界的尺寸的信息。这里，设实物大小缩放系数是将坐标数据的数值变换为mm的系数。由于存在该系数，例如在实物大小缩放系数为10.0的情况下，若对象尺寸为40.0，则能将现实世界尺寸变换为40.0×10.0=400(mm)。这里，说明生成部230以真实尺寸显示对象用的、将该对象变换为CG上的坐标信息的方法。生成部230为了将该对象变换为CG上的坐标信息，对该对象使用实物大小缩放系数，缩放为现实世界的尺寸之后，乘以RealToCG系数来求出。例如图33中说明显示器物理尺寸为1000mm的显示器、与显示器物理尺寸为500mm的显示器中显示的情况。在显示器物理尺寸为1000mm的显示器的情况下，在图33的实例模型的情况下，CG上的坐标因为RealToCG系数是0.05，所以通过将该系数乘以CG模型的现实世界尺寸400mm，可求出CG上的坐标20.0。另外，在显示器物理尺寸为1000mm的显示器的情况下，在图33的实例模型的情况下，CG上的坐标因为RealToCG系数是0.1，所以通过将该系数乘以400mm，能求出CG上的坐标40.0。这样，通过将实物大小缩放系数包含在模型信息中，能以现实世界空间的尺寸来描绘对象。

如图34所示，也可构成为以连结显示器中心与观察者的线为轴，与观察者的运动匹配来使显示器旋转。此时，使显示器旋转，以便摄像机130始终完全正面地捕捉观察者。通过如此构成，观察者能从360度观察CG上的物体。

另外，r值也可利用显示器的物理尺寸(英寸数)来调整。在显示器的尺寸大的情况下，若移动量不大，则因为未绕入物体，所以增大r值，若显示器的尺寸小，则减小r值。据此，即便用户不调整，也能设定适当的倍率。

另外，r值也可根据人的身高等身体尺寸来调整。也可构成为大人相比孩子当身体运动时的幅度大，所以孩子的r值比大人的r值大。据此，即便用户不调整，也能设定适当的倍率。

图35表示图像生成装置100的应用例(应用)。这是用户与CG空间上的CG角色取得联系，进行游戏等的应用。例如，还考虑养成CG角色的游戏或与CG角色成为朋友、恋爱的游戏等。另外，也可是CG角色作为用户的代理，进行工作等。例如，若用户说“想去夏威夷”，则CG角色从因特网上检索夏威夷的旅行计划，将结果通知给用户。通信因自由视点3D影像的现场感而容易了解，用户爱着CG角色。

描述这种应用例中的课题与对策。

为了进一步增加用户与CG角色在相同空间中的现场感，也可将“温度传感器”搭载于图像生成装置100。也可通过从“温度传感器”取得室内的温度，对应于该温度，改变CG角色的服装。例如，若室温低，则CG角色穿着足够衣服，若室温高，则CG角色穿着少。由此，能增加与用户的一体感。

近年来，通过因特网，偶像等名人利用推特或博客等传递自身想法的情况急剧增加。提供将这种字符信息具有现场感来表现的方法。CG角色模仿偶像等名人，在该CG角色中组入模型化后的名人的推特或博客的URL或访问API信息，若更新推特或博客，则再现装置经由该URL或访问API取得推特或博客的字符信息，并象说话似地移动CG角色嘴部分的CG顶点坐标，同时，根据该名人的声音特性来发生字符信息。由此，因为用户感到宛如名人实际注释其推特或博客的内容，所以能比仅读字符信息更感到现场感。另外，为了进一步增加现场感，也可从推特或博客网址取得该名人的推特或博客的声音流、该声音流中嘴的动作的运动捕捉信息。此时，再现装置通过边再现声音流，边根据嘴的动作的运动捕捉信息来移动顶点坐标，能更自然地再现名人的讲话。

如图36所示，若用户自身能进入屏幕内，则用户与CG角色能更圆滑地通信。因此，用图37来说明用户与CG角色进入同一屏幕的构成。首先，图37左构成中，在电视(例如显示器190)中配置头跟踪设备(例如摄像机130)的情况下，头跟踪部212利用头跟踪识别用户，同时，从画面全体的进深信息的深度映射中抽取用户的体部分。例如右上所示，若有深度映射，则区别背景与用户。从摄像机摄影的图像中切除确定的用户区域。将其用作CG世界上的纹理。对于人类的模型而言，将该图像作为纹理贴附，使之处于用户位置(X，Y坐标值、Z值反转等)，出现在CG世界上，进行绘制。此时，如图37中下所示进行显示。但是，此时因为是来自前面的摄像机影像，所以左右相反，用户感到不适。从而，使用户的纹理以Y轴为轴左右反转，如图37右下所示显示。这样，期望现实世界的用户与屏幕上的用户成镜面关系。由此，用户能无不适感地进入屏幕上。

如图37右下所示，为了用户的脸不超出屏幕，在屏幕侧显示用户的背部，也可构成为在用户的后方保持头跟踪设备。另外，也可根据前方的深度映射信息生成CG模型，摄像机从后方取得照片或影像，作为纹理贴附在模型上显示。

另外，作为用户与CG角色进入同一屏幕空间时的例，考虑在好的地理位置风景中的散步。此时，通过边再现背景好的位置影像，边合成CG模型与用户，享受有现场感的散步。位置影像也可利用BD-ROM等光盘发布。

听障者与健全者的通信课题存在健全者不会使用手语等问题。提供解决该问题的图像生成装置。图38与图39是该系统构成的概要。用户A是听障者，用户B是健全者。用户A的电视(例如显示器190)中显示用户B的模型，用户B的电视中显示用户A的模型。说明本系统中的处理步骤。首先，说明图38中听障者用户A的信息发送中的处理步骤。STEP1.用户A进行手语。STEP2.图像生成装置的头跟踪部(例如头跟踪部212)不仅识别用户的头部位置，还识别、解释手语姿态。STEP3.图像生成装置将手语信息变换为字符信息，将字符信息经由因特网等网络传递给用户B的图像生成装置。STEP4.用户B的图像生成装置若接受数据，则将字符信息变换为声音，输出到用户B。接着，说明图39中健全者用户B的信息发送中的处理步骤。STEP1.健全者用户A发音说话。STEP2.图像生成装置在用麦克风取得声音的同时，识别嘴的动作。STEP3.图像生成装置将声音、声音识别结果的字符信息、嘴的动作信息经由因特网等网络传递给用户A的图像生成装置。STEP4.用户A的图像生成装置边在画面上显示字符信息，边以模型再现嘴的动作来显示。或者也可将字符信息变换为手语姿态，反映到用户A的模型动作上。由此，即便是不知手语的健全者，也能与听障者自然交流。

<补充>

以上，作为涉及本发明的图像生成装置的一实施方式，用实施方式1、变形例1、变形例2、变形例3、其他变形例来说明了多个图像生成装置的实例，但也可如下变形，本发明当然不限于上述实施方式等所示的图像生成装置。

(1)实施方式1中，图像生成装置100是将所生成的图像作为虚拟空间上模型化的CG图像来生成的构成实例。但是，若能生成从指定的位置看到的图像，则未必限于生成为在虚拟空间上模型化的CG图像的构成。作为一例，考虑利用从多个位置实际摄影的图像间插补来生成图像的技术(例如专利文献1记载的自由视点图像生成技术)来生成图像的构成实例等。

(2)实施方式1中，图像生成装置100是检测观察者的右眼位置与左眼位置，根据检测到的右眼位置与左眼位置，分别生成右眼图像与左眼图像的构成实例。但是，若能至少检测观察者的位置，根据检测的观察者的位置生成图像，则未必检测观察者的右眼位置与左眼位置，生成右眼图像与左眼图像。作为一例，考虑头跟踪部212确定观察者的脸的中心位置，设为观察位置，坐标变换部222根据该观察位置，算出虚拟视点位置，视点变换部235生成从该虚拟视点位置看到的原图像，光栅化部236根据该原图像生成图像的构成实例等。

(3)实施方式1中，图像生成装置100是将基准平面中从基准位置到观察位置的位移量的X轴分量与Y轴分量均r倍后算出视点位置的算出的构成实例。但是，作为其他一例，考虑将基准平面中从基准位置至观察位置的位移量的X轴分量r1(r1为比1大的实数)倍、将Y轴分量r2(r2为与r1不同的比1大的实数)倍后算出视点位置的算出的构成实例等。

(4)实施方式1中，说明为显示器190是液晶显示器。但是，只要具有在显示区域中显示图像的功能，则未必限于是液晶显示器的构成。作为一例，考虑利用墙面等作为显示区域来显示图像的投影仪的构成实例等。

(5)实施方式1中，图像生成装置100中构成描绘目标的对象自身的形状或位置既可随时间变动，也可不随时间变动。

(6)实施方式2中，图像生成装置1100是视角J1270(参照图12)为与视角K1260相等角度的构成实例。但是，视角J1270是比从虚拟视点位置J950看到的屏幕区域604的视角大的角度，若是在视角J1270内纳入屏幕区域604的构成，则未必限于视角J1270为与视角K1260相等的角度的构成。

(7)以下，进一步说明涉及本发明一方式的图像生成装置的构成及其变形例与各效果。

(a)涉及本发明一方式的图像生成装置，将表示3维物体的图像输出到外部显示设备，其特征在于：具备：检测部件，对观察由所述显示设备显示的图像的观察者的观察位置进行检测；位置算出部件，算出将从与由所述显示设备显示的图像的显示区域相对置的规定基准位置至由所述检测部件检测的观察位置的位移量r倍后得到的虚拟视点，其中r为比1大的实数；生成部件，取得用于生成表示所述3维物体的图像的数据，生成从由所述位置算出部件算出的虚拟视点观察的、表示所述3维物体的图像；和输出部件，将由所述生成部件生成的图像输出到所述显示设备。

根据具备上述构成的涉及本发明一方式的图像生成装置，在观察图像的观察者移动的情况下，构成生成图像的观察位置的虚拟观察位置的移动量为观察者的移动量的r(r为比1大的实数)倍。由此，在变更物体的观察角度的情况下，观察者相对显示画面的移动量比现有技术少即可。

图40是表示上述变形例中图像生成装置4000的构成的框图。

如图所示，图像生成装置4000由检测部件4010、位置算出部件4020、生成部件4030与输出部件4040构成。

检测部件4010连接于位置算出部件4020，具有对观察由外部显示设备显示的图像的观察者的观察位置进行检测的功能。检测部件4010作为一例，实现为检测部210(参照图2)。

位置算出部件4020连接于检测部件4010与生成部件4030，具有算出将从面对由外部显示设备显示的图像显示区域的规定基准位置至由检测部件4020检测的观察位置的位移量r(r为从1大的实数)倍而得到的虚拟视点的功能。位置算出部件4020作为一例，实现为位置算出部220。

生成部件4030连接于位置算出部件4020与输出部件4040，具有取得用于生成表示3维物体的图像的3维坐标数据，生成从由位置算出部件4020算出的虚拟视点观察的、表示该3维物体的图像的功能。生成部件4030作为一例，实现为生成部230。

输出部件4040具有将由生成部件4030生成的图像输出到外部显示设备的功能。输出部件4040作为一例，实现为输出部240。

(b)另外，也可以是，所述显示区域是平面状区域，所述基准位置是包含由所述检测部件检测到的观察位置的、与所述显示区域平行的基准平面中、与所述显示区域的中央相对置的位置，所述位置算出部件进行所述虚拟视点的算出，以使得所算出的虚拟视点成为在所述基准平面中将所述位移量r倍后得到的位置。

通过这种构成，能将虚拟视点设为包含观察位置的、与显示区域平行的平面上的点。

(c)另外，也可以是，所述显示区域是长方形，所述生成部件进行所述图像的生成，以使得所生成的图像成为包含所述观察位置的水平面中所述显示区域的幅度所成的视角以上的视场角，该视角是由所述位置算出部件算出的虚拟视点处的视角。

通过这种构成，生成的图像为具有虚拟视点中显示区域的幅度所成的视角以上视场角的图像。由此，生成的图像能让观察该图像的观察者较少感到不适。

(d)另外，也可以是，具备视角算出部件，该视角算出部件算出所述观察位置处的视角，该观察位置处的视角是包含所述观察位置的水平面中所述显示区域的幅度所成的视角，所述生成部件进行所述图像的生成，以使得所生成的图像成为具有与由所述视角算出部件算出的视角相等的视场角的图像。

通过这种构成，生成的图像变为具有与观察位置下显示区域的幅度所成的视角相等的视场角的图像。由此，生成的图像能让观察该图像的观察者更少感到不适。

(e)也可以是，所述生成部件通过将所生成的图像尺寸缩小修正为所述显示区域的尺寸以使得所生成的图像成为以由所述位置算出部件算出的虚拟视点为视点的图像，从而来进行所述图像的生成。

通过这种构成，能将生成的图像尺寸收敛在能在显示区域中显示的尺寸中。

(f)另外，也可以是，所述生成部件进行所述图像的生成，以使得执行所述缩小修正前的图像的中央与所述显示区域的中央一致。

通过这种构成，能生成缩小修正成图像中中央位置上显示的显示物的位置不移动的图像。

(g)另外，也可以是，所述生成部件进行所述图像的生成，以使得执行所述缩小修正前的图像中某一边成为包含所述显示区域某一边的边。

通过这种构成，能生成缩小修正成图像中某一边位置上显示的显示物的位置不移动的图像。

(h)另外，也可以是，所述显示区域是长方形，

具备视角算出部件，该视角算出部件算出所述观察位置处的视角，该观察位置处的视角是包含所述观察位置的水平面中所述显示区域的幅度所成的视角，

所述基准位置是所述幅度所成的视角与由所述视角算出部件算出的视角相等的位置的集合所构成的基准曲面中、与所述显示区域的中央相对置的位置，所述位置算出部件进行所述虚拟视点的算出，以使得所算出的虚拟视点在所述基准曲面中将所述位移量r倍而得到的位置。

通过这种构成，虚拟视点中显示区域的幅度所成的视角与观察位置中显示区域的幅度所成的视角相等。由此，生成的图像能让观察该图像的观察者较少感到不适。

(i)也可以是，具备存储部件，该存储部件用于存储用于生成输出到所述显示设备的图像的数据，所述生成部件通过从所述存储部件取得用于生成输出到所述显示设备的图像的数据来进行所述图像的生成。

通过这种构成，能将用于生成输出到显示设备的图像的数据存储在本装置内加以利用。

(j)也可以是，所述检测部件进行所述观察位置的检测，以使得所述观察者的右眼的右眼观察位置与所述观察者的左眼的左眼观察位置作为所述观察位置被算出，所述位置算出部件进行所述虚拟视点的算出，以使得将从所述基准位置至由所述检测部件检测的右眼观察位置的位移量r倍后的右眼虚拟视点、和将从所述基准位置至由所述检测部件检测的左眼观察位置的位移量r倍后的左眼虚拟视点，作为所述虚拟视点被算出，所述生成部件进行所述图像的生成，以使得从由所述位置算出部件算出的右眼虚拟视点观察的右眼图像、和从由所述位置算出部件算出的左眼虚拟视点观察的左眼图像，作为所述图像被生成，所述输出部件进行所述输出，以交替地输出由所述生成部件生成的右眼图像、和由所述生成部件生成的左眼图像。

通过这种构成，例如佩戴具有让右眼看右眼图像、让左眼看左眼图像的功能的3D眼镜的观察者能享受有进深感的3D图像。

(k)也可以是，所述3维物体是虚拟空间中的虚拟物体，具备坐标变换部件，该坐标变换部件将表示由所述位置算出部件算出的虚拟视点的坐标变换为由所述虚拟空间中的坐标系表示的虚拟坐标系虚拟视点坐标，所述生成部件利用由所述坐标变换部件变换的虚拟坐标系虚拟视点坐标来进行所述图像的生成。通过这种构成，能在图像中表示虚拟空间中虚拟存在的虚拟物体。

产业上的可利用性

本发明能广泛利用于具有生成图像的功能的装置。

符号说明

210 检测部

211 采样图像保持部

212 头跟踪部

220 位置算出部

221 参数保持部

222 坐标变换部

230 生成部

231 对象数据保持部

232 3维对象构筑部

233 光源设定部

234 阴影处理部

235 视点变换部

236 光栅化部

240 输出部

241 左眼帧缓冲部

242 右眼帧缓冲部

243 选择部

Claims

1.一种图像生成装置，将表示3维物体的图像输出到外部显示设备，其特征在于：

具备：

检测部件，对观察由所述显示设备显示的图像的观察者的观察位置进行检测；

位置算出部件，算出将从与由所述显示设备显示的图像的显示区域相对置的规定基准位置至由所述检测部件检测的观察位置的位移量r倍而得到的虚拟视点，其中r为比1大的实数；

生成部件，取得用于生成表示所述3维物体的图像的数据，生成从由所述位置算出部件算出的虚拟视点观察的、表示所述3维物体的图像；和

输出部件，将由所述生成部件生成的图像输出到所述显示设备。

2.根据权利要求1所述的图像生成装置，其特征在于：

所述显示区域是平面状区域，

所述基准位置是包含由所述检测部件检测到的观察位置并与所述显示区域平行的基准平面中、与所述显示区域的中央相对置的位置，

所述位置算出部件进行所述虚拟视点的算出，以使得所算出的虚拟视点成为在所述基准平面中将所述位移量r倍而得到的位置。

3.根据权利要求2所述的图像生成装置，其特征在于：

所述显示区域是长方形，

所述生成部件进行所述图像的生成，以使得所生成的图像成为包含所述观察位置的水平面中所述显示区域的幅度所成的视角以上的视场角，该视角是由所述位置算出部件算出的虚拟视点处的视角。

4.根据权利要求3所述的图像生成装置，其特征在于：

所述生成部件进行所述图像的生成，以使得所生成的图像成为具有与由所述视角算出部件算出的视角相等的视场角的图像。

5.根据权利要求4所述的图像生成装置，其特征在于：

所述生成部件通过将所生成的图像的尺寸缩小修正为所述显示区域的尺寸以使得所生成的图像成为以由所述位置算出部件算出的虚拟视点为视点的图像，从而来进行所述图像的生成。

6.根据权利要求5所述的图像生成装置，其特征在于：

所述生成部件进行所述图像的生成，以使得执行所述缩小修正前的图像的中央与所述显示区域的中央一致。

7.根据权利要求5所述的图像生成装置，其特征在于：

所述生成部件进行所述图像的生成，以使得执行所述缩小修正前的图像中某一边成为包含所述显示区域某一边的边。

8.根据权利要求1所述的图像生成装置，其特征在于：

所述显示区域是长方形，

所述基准位置是所述幅度所成的视角与所述视角算出部件算出的视角相等的位置的集合所构成的基准曲面中、与所述显示区域的中央相对置的位置，

所述位置算出部件进行所述虚拟视点的算出，以使得所算出的虚拟视点成为在所述基准曲面中将所述位移量r倍而得到的位置。

9.根据权利要求1所述的图像生成装置，其特征在于：

具备存储部件，该存储部件用于存储用于生成输出到所述显示设备的图像的数据，

所述生成部件通过从所述存储部件取得用于生成输出到所述显示设备的图像的数据来进行所述图像的生成。

10.根据权利要求1所述的图像生成装置，其特征在于：

所述检测部件进行所述观察位置的检测，以使得所述观察者的右眼的右眼观察位置与所述观察者的左眼的左眼观察位置作为所述观察位置被算出，

所述位置算出部件进行所述虚拟视点的算出，以使得将从所述基准位置至由所述检测部件检测的右眼观察位置的位移量r倍后的右眼虚拟视点、和将从所述基准位置至由所述检测部件检测的左眼观察位置的位移量r倍后的左眼虚拟视点，作为所述虚拟视点被算出，

所述生成部件进行所述图像的生成，以使得从由所述位置算出部件算出的右眼虚拟视点观察的右眼图像、和从由所述位置算出部件算出的左眼虚拟视点观察的左眼图像，作为所述图像被生成，

所述输出部件进行所述输出，以交替地输出由所述生成部件生成的右眼图像、和由所述生成部件生成的左眼图像。

11.根据权利要求1所述的图像生成装置，其特征在于：

所述3维物体是虚拟空间中的虚拟物体，

具备坐标变换部件，该坐标变换部件将表示由所述位置算出部件算出的虚拟视点的坐标变换为由所述虚拟空间中的坐标系表示的虚拟坐标系虚拟视点坐标，

所述生成部件利用由所述坐标变换部件变换的虚拟坐标系虚拟视点坐标来进行所述图像的生成。