CN101911129B - 图像处理装置以及图像处理方法 - Google Patents

Abstract

存储部(201)除了存储配置于3维虚拟空间的实像目标的形状、位置、朝向以外，还存储视点的位置、视线的方向、作为虚拟的镜子的虚拟镜面的位置、朝向等。更新部(202)根据用户的指示输入等更新存储于存储部(201)的值。镜像配置部(203)相对于实像目标把适当的镜像目标配置于虚拟镜面的相反侧。判定部(204)判定在从视点向视线方向观看虚拟空间时，实像目标是否不是看起来重叠于镜像目标等。根据判定，调整部(205)把镜像目标向容易看到的位置移动。生成部(206)把该虚拟空间投射于2维平面。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及适用于使用镜像从多个方向显示在3维虚拟空间所配置的目标的样子的图像处理装置、图像处理方法、信息记录介质以及程序。 

背景技术

作为体育训练用装置，存在从各种角度在监视器中显示指导员的动作姿势，对运动员指导训练动作的装置。例如，在专利文献1中公开了如下的训练系统装置：通过分别由监视器对从正面、背部、上部等多方向看到的模仿人的人物目标的样子显示微小时间(例如，1秒)，指导运动员的训练动作，从而运动员能够有效地且快乐地进行运动。 

专利文献1：日本特开2004-105220号公报 

在现实世界中，在同时从多个方向看对象物的样子时，典型地使用镜子。镜子与人关系密切，通过看镜像，在瞬间容易判断从哪个方向观看对象物。但是，在使用镜子的情况下，由于视点的方向不同，有时实像和镜像产生重叠，难以看到镜像。如专利文献1那样，如果每隔微小时间切换显示观看对象物的视点的位置，则能够从任何方向观看对象物，但是也存在对象物的一连串的动作在切换的瞬间被中断，从而，不能同时显示从多个方向看到的样子的问题。 

发明内容

本发明用于解决以上那样的课题，其目的在于提供适于使用镜像从多个方向显示在3维虚拟空间所配置的目标的样子的图像处理装置、图像处理方法、信息记录介质以及程序。 

为了实现上述目的，本发明的第1观点涉及的图像处理装置，具备存储部，该存储部存储：在虚拟空间内配置的视点的位置及视线的方向；在该虚拟空间内配置的实像目标的形状、位置及朝向；在该虚拟空间内配置的虚拟镜面的位置及朝向；和在该虚拟空间内配置的镜像目标的形 状、位置及朝向。 

在此，视点是观看3维虚拟空间的虚拟相机，视线是虚拟相机朝着的方向。该虚拟空间的2维图像是通过把从该视点向该视线方向看到的该虚拟空间投射于2维平面(也称作投射面或者投影面)而生成的。实像目标是配置于3维虚拟空间内的包含人物等的目标。每个实像目标的形状例如是利用被称作多边形(Polygon)的基于微小的多角形的组合等的表面(surface)来定义(模型化)的。 

进而，为了在虚拟空间内表现实像目标反射在镜子中的样子，配置了作为虚拟的镜子的虚拟镜面。相对于该虚拟镜面，在视点被配置侧的相反侧的适当的位置，以适当的形状及朝向，由后述的镜像配置部配置实像目标的镜像亦即镜像目标。而且，后述的生成部通过把从视点向视线方向看到的该镜像目标投射到投射面来生成实像目标的镜像。 

另外，图像处理装置具备更新部，该更新部基于来自用户的指示输入或时间的经过把存储于存储部的以下内容的至少一项进行更新：该实像目标的形状、位置或朝向、该视点的位置和该视线的方向。 

也就是说，若用户使用控制器等输入装置，进行了表示改变用于指定虚拟相机的位置(视点)、朝向(视线方向)、虚拟相机的变焦倍率等的参数的指示，则更新部基于该指示的输入更新存储于存储部的表示视点的位置和视线的方向的视线向量。 

此外，设虚拟镜面无限地扩展，把虚拟空间分为实像空间和镜像空间两个。而且，在用户要把虚拟相机隔着虚拟镜面向背面侧(也就是说，镜像空间侧)移动时(例如，与虚拟镜面冲突那样的情况下)，以从虚拟镜面弹回的方式移动虚拟相机，而不向镜像空间侧移动。 

另外，若用户进行了表示改变用于指定实像目标的位置和朝向的参数的指示，则更新部基于指示的输入在3维空间内使实像目标平行移动或旋转，以更新实像目标的位置和朝向。 

进而，图像处理装置具备镜像配置部，该镜像配置部计算表示该实像目标的相对于该虚拟镜面的镜像的镜像目标的形状、位置及朝向并存储于存储部。 

也就是说，如上述那样，在本图像处理装置中，在3维虚拟空间内配置作为虚拟的镜子的虚拟镜面，相对于虚拟镜面在视点被配置侧的相反侧的适当的位置以及以适当的朝向，镜像配置部配置作为实像目标的镜像的镜像目标。通过将镜像目标投影于投射面，将实像目标被镜子反射的样子表现出来。 

另外，图像处理装置具备判定部，该判定部判定若在该虚拟空间中从该视点的位置向该视线的方向观看该实像目标和该镜像目标，该实像目标和该镜像目标是否看起来相互邻近。 

也就是说，在从视点的位置向视线的方向观看虚拟空间时，有时镜像目标被掩盖在实像目标的背后，镜像目标的一部分从视点看不到。或者即使在某个瞬间看到了镜像目标的全部，由于镜像目标过于接近实像目标，在实像目标(及镜像目标)改变姿势时，也有可能掩盖镜像目标的一部分。 

在本实施方式中，将这样在从视点的位置向视线的方向观看虚拟空间时，实像目标掩盖了镜像目标的状态，或者即使在当前时间点不掩盖但是若改变了姿势，则存在实像目标掩盖镜像目标的可能性的状态叫做实像目标和镜像目标看起来相互邻近的状态。判定部判定是否满足规定的条件，判定是否是该实像目标和该镜像目标看起来相互邻近的状态。 

另外，图像处理装置具备调整部，在判定为该实像目标和该镜像目标看起来相互邻近的情况下，该调整部调整存储于存储部的该镜像目标的位置，以使该实像目标和该镜像目标不是看起来相互邻近。 

也就是说，若判定部判断为实像目标与镜像目标过近，掩盖了镜像目标的一部分，则调整部调整镜像目标的位置和朝向，以使从视点向视线的方向观看容易看到镜像目标。 

另外，图像处理装置具备生成部，该生成部根据所存储的该实像目标的形状、位置及朝向、该视点的位置及该视线的方向、该镜像目标的形状、位置及朝向，生成从该视点向该视线的方向观看该虚拟空间而得到的图像。 

也就是说，生成部为了在2维平面描绘3维虚拟空间内的目标，把 从视点向视线的方向看到的3维虚拟空间内的全部目标的样子向投射面投射，进行描绘。生成部把所描绘的图像数据存储于例如帧缓冲器等，若产生了垂直同步中断，则把帧缓冲器的内容转送到监视器等显示装置。 

这样，本发明的图像处理装置，调整镜像目标的位置和朝向并配置于虚拟空间内，以使运动员容易看到实像目标的镜像。 

另外，调整部也可以将该镜像目标相对通过该视点的规定的旋转轴旋转移动，来调整该镜像目标的位置和朝向。 

也就是说，调整部以在保持视点和镜像目标的距离的同时，水平移动镜像目标的位置，并在移动后也不改变相对于视点的镜像目标的朝向的方式，调整镜像目标的方向。 

另外，调整部也可以保持该镜像目标和该视点之间的距离不变，而使该镜像目标相对于配置于该虚拟空间内的地平面平行移动，来调整该镜像目标的位置。 

也就是说，与上述的相对于规定的旋转轴使镜像目标进行旋转移动的情况相同，调整部保持视点和镜像目标的距离的同时，相对于地平面平行移动镜像目标的位置。但是，不改变镜像目标的朝向，移动后也同样保持。 

另外，也可以是，在把该实像目标和该镜像目标投影在配置于从该视点的位置向该视线的方向离开规定的距离后的位置的投影面时，若两者的投影地重叠，则判定部判定为两者看起来相互邻近。 

也就是说，在从视点的位置向视线方向观看时，实像目标和镜像目标看起来重叠的情况下，判定部判定为两者看起来相互邻近。 

另外，也可以是，对于该实像目标和该镜像目标的每个，将包含其的球形的束缚区域(bounding area)与其建立对应关系，在把该实像目标的束缚区域和该镜像目标的束缚区域投影到配置于从该视点的位置向该视线的方向离开规定的距离后的位置的投影面的情况下，若两者的投影地重叠，则判定部判定为两者看起来相互邻近，调整部进行调整以 使该两者的投影地相切。 

在此，所谓束缚区域是实像目标和镜像目标的每个在被固定了位置的状态下可以改变姿势的范围。在从视点向视线方向观看，实像目标和镜像目标的每个的束缚区域重叠时，有可能看到两目标重叠。因此，在这样的情况下，判定部判定为该2个目标看起来相互邻近。而且，调整部调整镜像目标的位置，以使得两目标的束缚区域相切，也就是说，以使得两目标保持不重叠的最短距离。 

另外，也可以是，若调整了该镜像目标的位置，调整部则把存储于存储部的该视点的位置调整预先与该调整量相对应的量，若调整了该镜像目标的朝向，调整部则把存储于存储部的该视线的方向调整预先与该调整量相对应的量。 

也就是说，若调整了镜像目标的位置，则有时会得到不自然程度明显的镜像。为了缓和该不自然程度，调整部也可以根据移动后的镜像目标的位置和朝向来调整视点的位置和视线的方向。 

另外，本发明的其他的观点的图像处理方法具备控制具有存储部、更新部、镜像配置部、判定部、调整部和生成部的图像处理装置的以下的步骤。 

首先，在存储步骤中，存储部存储：配置于虚拟空间内的视点的位置及视线的方向；配置于该虚拟空间内的实像目标的形状、位置及朝向；配置于该虚拟空间内的虚拟镜面的位置及朝向；和配置于该虚拟空间内的镜像目标的形状、位置及朝向。 

在更新步骤中，更新部基于来自用户的指示输入或时间的经过把存储于存储部的以下内容的至少一项进行更新：该实像目标的形状、位置或朝向、该视点的位置和该视线的方向。 

在镜像配置步骤中，镜像配置部计算表示该实像目标的相对于该虚拟镜面的镜像的镜像目标的形状、位置及朝向并存储于存储部。 

在判定步骤中，判定部判定若在该虚拟空间中从该视点的位置向该视线的方向观看该实像目标和该镜像目标，该实像目标和该镜像目标是 否看起来相互邻近。 

在调整步骤中，在判定为该实像目标和该镜像目标看起来相互邻近的情况下，调整部调整存储于存储部的该镜像目标的位置，以使该实像目标和该镜像目标不是看起来相互邻近。 

在生成步骤中，生成部根据所存储的该实像目标的形状、位置及朝向、该视点的位置及该视线的方向、该镜像目标的形状、位置及朝向，生成从该视点向该视线的方向观看该虚拟空间而得到的图像。 

另外，本发明的其他的观点的程序，构成为，使计算机作为上述的图像处理装置发挥功能。本发明的其他的观点的程序构成为，使计算机执行上述的图像处理方法。 

另外，能够将本发明的程序记录于小型磁盘(CD)、软盘、硬盘、光磁盘、数字视频盘、磁带、半导体存储器等的计算机可读取的信息记录介质。可以使上述程序与执行该程序的计算机独立，通过计算机通信网进行发行、销售。另外，可以将上述信息记录介质与该计算机独立地进行发行、销售。 

本发明能够提供适用于使用镜像从多个方向显示在3维虚拟空间所配置的目标的样子的图像处理装置、图像处理方法、信息记录介质以及程序。 

附图说明

图1是表示实现本发明的实施方式所涉及的图像处理装置等的典型的游戏装置的概要构成的示意图。 

图2是表示本实施方式涉及的图像处理装置的概要构成的说明图。 

图3是表示在本实施方式中假定的对象(实像)目标、虚拟镜面、镜像目标的配置例的图。 

图4是说明本实施方式涉及的图像处理装置的动作的流程图。 

图5A是从上部表示了实像目标和镜像目标的关系的图，表示使用了平面状的虚拟镜面的情况。 

图5B是从上部表示了实像目标和镜像目标的关系的图，表示使用了球面状的虚拟镜面的情况。 

图6A是表示使镜像目标相对于通过视点的规定的旋转轴进行旋转移动来进行调整的状况的图。 

图6B是表示使镜像目标保持与视点之间的距离的同时，相对于配置在该虚拟空间内的地平面进行平行移动来进行调整的状况的图。 

图7是表示与距视点的距离相应，投射地区域变小的状况的图。 

图8A是从上部表示使用了1个以上的虚拟镜面的情况的例的图，是表示调整部对镜像目标进行调整之前的状况的图。 

图8B是从上部表示使用了1个以上的虚拟镜面的情况的例的图，是表示调整部对镜像目标进行调整之后的状况的图。 

图9A是从上部表示使用了1个以上的虚拟镜面的另外的例的图，是表示调整部对镜像目标进行调整之前的状况的图。 

图9B是从上部表示使用了1个以上的虚拟镜面的另外的例的图，是表示调整部对镜像目标进行调整之后的状况的图。 

图10是表示从上部观看虚拟镜面的边界附近看到的状况的图。 

符号的说明 

100游戏装置 

101CPU 

102ROM 

103RAM 

104接口 

105控制器 

106外部存储器 

107图像处理部 

108DVD-ROM驱动器 

109NIC 

110语音处理部 

200图像处理装置 

201存储部 

202更新部 

203镜像配置部 

204判定部 

205调整部 

206生成部 

具体实施方式

以下说明本发明的实施方式。在以下，为了容易理解，说明在游戏装置中应用本发明的实施方式，但是，即使在各种计算机、PDA、移动电话等信息处理装置中也同样能够应用本发明。也就是说，以下说明的实施方式是用于说明而不是对本申请发明的范围的限制。因此，作为本领域技术人员能够采用把这些各要素或全部要素置换为与此相等的要素的实施方式，但是这些实施方式也包含于本发明的范围内。 

(实施方式) 

图1是表示实现本发明的一个实施方式所涉及的图像处理装置的典型的游戏装置的概要构成的示意图。以下，参照本图进行说明。 

游戏装置100具备CPU(Central Processing Unit，中央处理器)101、ROM(Read Only Memory，只读存储器)102、RAM(Random Access Memory，随机存取存储器)103、接口104、控制器105、外部存储器106、图像处理部107、DVD(Digital Versatile Disk)-ROM驱动器108、NIC(Network Interface Card，网络接口卡)109和语音处理部110。 

把存储了游戏用的程序和数据的DVD-ROM安装到DVD-ROM驱动器108，并接通游戏装置100的电源，从而，执行该程序，实现本实施方式的图像处理装置。 

CPU 101控制游戏装置100整体的动作，与各构成要素相连接，交换控制信号和数据。 

ROM102存储在刚接通电源后所执行的IPL(Initial Program Loader，初始程序装入)。通过CPU 101执行该IPL，从而将记录于DVD-ROM的程序读出到RAM103，由CPU 101开始执行。 

另外，在ROM102中记录对于游戏装置100整体的动作控制所需要的操作系统的程序和各种数据。 

RAM103用于暂时存储数据和程序，保持从DVD-ROM读出的程序和数据、其他游戏的推进和聊天通信所需要的数据等。 

通过接口104连接的控制器105接受用户在执行游戏时进行的操作输入。 

在通过接口104自由装卸地连接的外部存储器106中例如以可重写的方式存储聊天通信的日志数据等。用户借助于控制器105进行指示输入，从而，能够适当地把这些数据存储于外部存储器106。 

在安装于DVD-ROM驱动器108的DVD-ROM中，如上述那样记录了用于实现游戏的的程序和伴随于游戏的图像数据和语音数据。通过CPU 101的控制，DVD-ROM驱动器108进行针对安装在其中的DVD-ROM的读出处理，读出需要的程序和数据。所读出的数据被暂时存储于RAM103等。 

在由CPU 101和图像处理部107具备的图像运算处理器(未图示)把从DVD-ROM读出的数据进行了加工处理后，图像处理部107将其记录于图像处理部107具备的帧存储器(未图示)。记录于帧存储器的图像信息以规定的同步定时被变换为视频信号并向连接于图像处理部107的监视器(未图示)输出。从而，能够显示各种图像。 

图像运算处理器能够高速执行2维的图像的叠加运算和α混合等的透过运算、各种饱和运算。 

另外，通过Z缓冲法绘制配置于3维虚拟空间的附加了各种纹理信息的多边形信息，能够高速执行获得从规定的视点位置俯瞰配置于3维虚拟空间的多边形而得到的绘制图像的运算。 

进而，通过CPU 101和图像运算处理器协调动作，能够按照定义字 符的形状的字体信息，把字符串作为2维图像向帧存储器进行描绘，或向各多边形表面进行描绘。字体信息被记录于ROM 102，但也能够利用记录于DVD-ROM的专用的字体信息。 

NIC 109用于把游戏装置100连接到互联网等计算机通信网(未图示)。NIC 109例如，由在构成LAN(Local Area Network)时使用的按照10BASE-T/100BASE-T标准的装置或用于使用电话线路与互联网连接的模拟调制解调器、ISDN(Integrated Services Digital Network)调制解调器、ADSL(Asymmetric Digital Subscriber Line)调制解调器、用于使用有线电视线路与互联网连接的电缆调制解调器等，和进行这些与CPU101之间的联系的接口(未图示)构成。 

通过NIC 109与互联网内的SNTP服务器连接，并从这里取得信息，从而能够得到当前的日期时间信息。另外，各种网络游戏的服务器装置也可以进行构成设定，以实现与SNTP服务器同样的机能。 

语音处理部110将从DVD-ROM读出的语音数据变换为模拟语音信号，并从与其连接的扬声器(未图示)输出。另外，在CPU 101的控制下，生成在游戏进行过程中应该产生的效果音和乐曲数据，并使与其相对应的语音从扬声器输出。 

此外，游戏装置100也可以构成为，使用硬盘等大容量外部存储装置，实现与ROM 102、RAM 103、安装于DVD-ROM驱动器108的DVD-ROM等相同的机能。 

此外，本实施方式涉及的图像处理装置200在游戏装置100或便携式的游戏装置上被实现，但是也能够在一般的计算机上实现。一般的计算机与上述游戏装置100同样，具备CPU、RAM、ROM、DVD-ROM驱动器及NIC，具有具备了比游戏装置100简易的机能的图像处理部，作为外部存储装置，除了具有硬盘以外，还能够利用软盘、光磁盘、磁带等。另外，不是利用控制器而是利用键盘和鼠标等作为输入装置。而且，若在安装了游戏程序后执行该程序，则能够作为图像处理装置而发挥功能。 

以下，只要没有注释，关于图像处理装置200，利用图1所示的游 戏装置100加以说明。可以将图像处理装置200根据需要适当置换为一般的计算机的要素，这些实施方式也包含于本发明的范围内。 

(图像处理装置的概要构成) 

图2是表示本实施方式涉及的图像处理装置200的概要构成的示意图。以下参照本图进行说明。 

在本实施方式中，如图3所示那样，把实像目标(character，人物)300和平面状的虚拟的镜子(虚拟镜面)310配置于1张该虚拟空间。而且，表示如下的例：以好像在虚拟镜面映出了实像目标300的镜像的方式，配置镜像目标300’、即成为实像目标的镜像的目标，由此，从2个方向对游戏者(Player)显示该目标的样子。 

此外，在本实施方式中，虚拟镜面310不是作为目标被配置于虚拟空间的虚拟镜面，而是用于求出镜像目标300’的形状和位置而使用的。但是，为了容易理解，在本图中清楚记载了虚拟镜面310的形状。 

图像处理装置200，是考虑根据用户的指示或者时间的经过而变化的、3维虚拟空间内的实像目标的位置和朝向、虚拟相机(视点)的位置和朝向等，显示实像目标和其镜像的装置，如图2所示，具备存储部201、更新部202、镜像配置部203、判定部204、调整部205和生成部206等。 

以下就图像处理装置200的各构成要素进行说明。 

存储部201存储用于表现3维虚拟空间内部的各种信息。 

首先，存储部201存储3维虚拟空间内的各要素(也称作目标或者模型)的形状信息。将各目标表现为，将其形状称为多边形的、利用微小的多角形(例如三角形和四角形等)的组合定义的表面(surface)。 

存储部201存储各目标(包含实像目标及通过后述的镜像配置部203计算出的镜像目标的两者)的在虚拟空间内的形状、位置及朝向。例如，存储部201存储表现虚拟空间的整体的全局坐标系(世界坐标系)和按每个目标固定的局部坐标系。典型地，目标的代表点(例如重心)是局部坐标系的原点，基于局部坐标系定义目标的表面形状(即，构成目标的多 边形的形状和配置该多边形的位置)。另一方面，基于全局坐标系定义各个目标的位置。而且，例如，根据从目标的代表点向目标的正面方向延伸的方向向量，利用全局坐标来定义目标的朝向。 

此外，对于位置信息，可以使用直角坐标系来定义，也可以使用使用了1个动向径和2个偏角的极坐标系，而利用(r，θ， 

)来表示。 

进而，存储部201存储映出3维虚拟空间内的目标的镜像的虚拟的镜面(以下称为虚拟镜面)的位置、朝向，以及视点的位置和视线的方向。在此，所谓视点的位置，是虚拟的相机在该虚拟空间中观看目标的位置，典型地利用全局坐标系来定义。另一方面，所谓视线的方向，是虚拟相机(视点)观看该虚拟空间的方向。此外，存储部201也存储投射该虚拟空间的投射面的位置和朝向等。 

此外，关于虚拟镜面、视点和投射面，也如上述那样，使用全局坐标系和局部坐标系来定义位置和朝向。 

此外，在通过后述的更新部202更新了虚拟相机的位置、朝向等时，基于这些改变后的值计算出投射面的位置、朝向。 

进而，存储部201也存储粘贴在每个目标的表面的被称为纹理的图像数据和照射该虚拟空间的光源的位置等。通过把纹理信息粘贴在目标的表面形状上，能够表现目标的质感。 

存储于存储部201的这些信息例如被预先保存在DVD-ROM，CPU101从安装于DVD-ROM驱动器108的DVD-ROM读出并暂时存储于RAM 103。或者，也可以使CPU 101读出存储于外部存储器106的这些信息，并暂时存储于RAM 103。此外，CPU 101例如能够根据游戏的推进随时更新暂时存储的信息。这样，CPU 101、RAM 103、DVD-ROM驱动器108等通过协同动作，作为存储部201而发挥作用。 

接下来，更新部202基于用户操作通过接口104连接的输入装置进行了指示的指示输入等，或者基于用户通过程序等所指示的内容等，除了更新存储于存储部201的目标的位置以及朝向之外，还更新视点的位置和视线的方向。另外，基于更新后的视点的位置、视线的方向等，也计算出并更新投射面的位置及朝向。CPU 101和RAM 103通过协同动 作，作为更新部202而发挥作用。 

镜像配置部203，为了考虑由更新部202更新后的虚拟空间内的目标的朝向和位置来生成虚拟空间内的目标的镜像，相对于虚拟镜面，在视点和该目标被配置侧的相反侧配置镜像目标。此外，镜像目标的形状和所配置的位置及场所被存储于存储部201。而且，后述的生成部206把该镜像目标投影到投射面来生成虚拟的镜像。CPU 101和RAM 103通过协同动作，作为镜像配置部203而发挥作用。 

判定部204，判定当在该虚拟空间中从该视点的位置向该视线的方向观看该实像目标和该镜像目标时，两者是否看起来相互邻近。如上述那样，在本实施方式中，将在从视点的位置向视线的方向观看虚拟空间时，实像目标掩盖了镜像目标的状态，或者，即使在当前时间点没有掩盖，但若改变了姿势则实像目标有可能掩盖镜像目标的状态，表述为“实像目标和镜像目标看起来相互邻近”。例如，在图3中，因为镜像目标300’接近而使左足被实像目标300的右手掩盖，所以处于“实像目标和镜像目标看起来相互邻近”状态。 

判定部204用于判定这样的实像目标和镜像目标看起来相互邻近的状态。CPU 101和RAM 103通过协同动作，作为判定部204而发挥作用。 

在由判定部204判定为实像的目标和镜像目标看起来相互邻近的情况下，调整部205调整该镜像目标的位置和朝向，把该镜像目标从该实像目标分离开而配置。CPU 101和RAM 103通过协同动作，作为调整部205而发挥作用。 

生成部206基于由更新部202更新的目标的位置及朝向、以及视点的位置和投射面的位置及朝向，生成从该视点将该3维虚拟空间内的各目标投射(投影)于投射面，并显示于监视器等显示装置的图像数据。在本实施方式中，例如利用1点透视法进行透视投影。CPU 101、RAM 103、图像处理部107通过协同动作，作为生成部206而发挥作用。 

(图像处理装置的动作) 

参照图4说明具有以上那样的构成的图像处理装置200的动作。 

图像处理装置若接通电源开始了处理，则需要的信息(例如虚拟相机的位置和朝向以及目标的形状、位置及朝向等)被读入RAM 103，存储部201被初始化(步骤S11)。 

用户可以使用控制器105进行如下目的的指示：除了改变虚拟相机(视点)的位置、虚拟相机的朝向(视线方向)、虚拟相机的撮影倍率(变焦率)之外，还改变目标的位置和朝向以及目标的位移等参数。 

首先，更新部202判断是否存在该用户的改变与虚拟相机有关的参数的指示输入(步骤S12)。在存在指示输入的情况下(步骤S12，是)，更新部202按照指示更新存储部201的虚拟相机的位置、朝向(步骤S13)。进而，更新部202根据更新后的虚拟相机的位置和朝向以及变焦率，计算出将用于投射从视点向视线方向观看到的虚拟空间的投射面配置于该虚拟空间内的位置和朝向(步骤S14)。 

也就是说，更新部202计算出与将视点作为起点的视线向量(表示视线的朝向的向量)垂直相交的朝向，并将其作为投射面的朝向。而且，在放大时，使投射面以接近3维空间内的撮影对象的方式(以从视点远离的方式)进行平行移动，在缩小时，使投射面以从撮影对象远离的方式(以接近视点的方式)进行平行移动。在改变视线向量的朝向(即，使虚拟相机摇撮)时，也随着视线向量的朝向的改变来改变投射面的朝向。这样，更新部202根据视点的位置及视点所看的方向(视线向量的朝向)以及变焦倍率等决定投射面的位置和朝向，并存储(更新)在存储部201。 

此外，在不存在用户的改变与虚拟相机有关的参数的指示输入的情况下(步骤S12；否)，处理进入步骤S15。 

接下来，更新部202判断是否存在来自该用户的与目标的位置和朝向有关的指示输入(步骤S15)。在存在指示输入的情况下(步骤S15；是)，更新部202基于指示输入在3维空间内使目标进行平行移动或旋转，更新存储于存储部201的目标的位置和朝向(步骤S16)。在不存在指示输入的情况下(步骤S15；否)，处理进入步骤S17。 

此外，可以根据控制程序等提供虚拟相机的位置和朝向、撮影倍率、目标的位置以及朝向等参数。或者也可以与时间的经过相对应地把参数 改变为规定的值，或随机地改变。 

接下来，镜像配置部203为了考虑由更新部202更新后的实像的目标的形状、位置、朝向和虚拟镜面的位置、朝向，在虚拟空间中，在虚拟镜面的、视点和目标被配置侧的相反侧配置镜像目标，而计算出镜像目标的形状、位置、朝向(步骤S17)。图5A是表示从上部看到的隔着虚拟镜面501的实像目标500及其镜像目标500’的状况的图。因为在本实施方式中，虚拟镜面是平面状，所以如图5A所示那样，镜像目标500’和实像目标500相对于虚拟镜面501成面对称。 

也就是说，计算出镜像目标500’的形状、位置及朝向，以使得在如下的位置存在相对应的镜像目标500’的点，即，以与在延伸与虚拟镜面501垂直的线时通过的到实像目标500的点的距离相同的距离在同一线上向虚拟镜面501的相反侧延伸后的位置。 

因此，镜像目标500’具有与实像目标500左右对称的形状。镜像目标500’的位置(代表点的位置)在通过实像目标500的代表点P的从虚拟镜面501垂直延长的线上，从点P变为在虚拟镜面的相反侧离开相同的距离后的点P’。另外，例如，在设实像目标500的方向向量(例如，从代表点开始的表示目标的正面方向的向量)为F，且，设F与从虚拟镜面501垂直延长的线之间的角度为α时，镜像目标500’的方向向量F’和垂线N之间的角度成为180°-α。 

此外，若在虚拟空间的地面描绘相对于虚拟镜面501对称的图案，则能够更使用户感觉到“像镜子似的”。 

在本实施方式中，使用了平面状的虚拟镜面，但是，也可以把通过简单的坐标变换求出镜像的例如球面镜作为虚拟镜面来使用。在把球面镜作为虚拟镜面的情况下，如图5B所示那样求出镜像目标。也就是说，计算出镜像目标500”的形状、位置及朝向，以使得在如下的位置存在对应的镜像目标500”的点，即，以与在延伸与虚拟镜面510上的各点的切面垂直的线时通过的到实像目标500的点的距离相同的距离在同一线上向虚拟镜面510的相反侧延伸后的位置。 

接着，判定部204判定在从视点向视线方向观看虚拟空间时实像的 目标和镜像目标是否看起来相互邻近(步骤S18)。 

在本实施方式中，使用实像目标和镜像目标的各自的束缚区域来判定两者是否看起来相互邻近。如上述那样，所谓束缚区域是目标以位置被固定的状态可改变姿势的范围。例如把目标的重心作为中心点，并以该目标在位置被固定的状态下、从中心点到能够到达的最远为止的距离为半径的球体，作为该目标的束缚区域。 

判定部204，在从视点向视线方向观看，并看到实像目标和镜像目标的各个束缚区域相互重叠的情况下，判定为实像目标和镜像目标看起来相互邻近。可以通过把实像目标和镜像目标的束缚区域投射到投射面，并判断各个投射地区域是否重叠，来对此进行判定。 

例如，首先，准备具备与投射面的各象素相对应的排列要素的排列，并在对应于投射了实像目标的区域的该排列要素中存储规定的值(例如1)。接下来，将对应于投射了镜像目标的区域的排列要素加上规定的值(例如1)。如果在该排列中存储了规定的值以上(该情况为2以上)的值，则能够判断为投射地区域重叠。 

也能够基于实像目标(或者镜像目标)距视点的距离计算出实像目标和镜像目标的束缚区域的投射地区域是否重叠。例如，在使用了1点透视法的情况下，相对于实像目标(或者镜像目标)的距离变大，实像目标(或者镜像目标)的束缚区域的投射地区域则变小。也就是说，如图7所示那样，在设束缚区域的投射地区域的直径为X，实际的束缚区域的直径为D，从视点710到投射面720的距离为L，从视点710到束缚区域的中心点为止的距离为L1时，X可利用下式求出： 

X＝(L/L1)*D 

因此，与实像目标和镜像目标的各自的束缚区域的中心点相对应的投射面上的2点间的距离如果比把利用上式计算出的两束缚区域的投射地区域的半径(将各自的直径除以2)进行相加后的值小的话，则判定为两束缚区域看起来重叠。 

此外，在作为投射方法而使用了平行投影的情况下，投射地区域的半径与距视点的距离无关，而成为与束缚区域的半径相同的值。 

若由判断部204判断为实像目标和镜像目标不邻近(步骤S18；否)，处理则进入步骤S20。另一方面，在判断为两目标邻近的情况下(步骤S18；是)，调整部205，以在投射面上看从实像目标离开的方式，调整镜像目标的位置(步骤S19)。图6表示从上部看到的镜像目标601、由调整部205调整了位置和朝向的镜像目标601’及视点610的状况。在图6中，设实像目标的代表点朝向图面，位于镜像目标601的左上的位置的点x。在本实施方式中，如图6A所示那样，以相对于通过视点610的从图面向垂直方向延伸的轴，使镜像目标601旋转移动，而使投射在投射面上的实像目标和镜像目标601的代表点之间的距离扩大的方式，调整实像目标的位置及朝向。 

也就是说，相对于地平面平行地，向以虚线的箭头所示的方向移动镜像目标601。这时，以镜像目标601和移动后的镜像目标601’的各自的方向向量与从两者的代表点向视点延伸的各个线所成的角度成为相同的β的方式，调整镜像目标的朝向。 

此外，也可以如图6B所示那样调整镜像目标的位置(调整后的镜像目标表示为601”)。也就是说，也可以不改变方向向量的朝向，而只使镜像目标的位置相对于地平面平行移动。 

此外，在上述图6A及6B所示的任意的方法中，在实像目标和镜像目标完全重叠的情况下，因为作为镜像目标从实像目标离开的方向有2个方向，所以向任意一个规定的方向移动即可。 

例如也可以将上述的旋转移动的量或平行移动的量设为规定的量。或者，也可以是以如下的距离移动：在从视点向视线方向观看时，看上去两者各自的束缚区域相互相切或在这个程度以上离开的距离。束缚区域表示如上述那样各目标可改变姿势的范围的区域。由此，为了从该视点向该视线方向观看，而实像目标和镜像目标看上去不重叠，两目标之间的距离至少为看上去两者的束缚区域相切的距离。因此，如果以离开该距离以上而移动了镜像目标，则能够避免实像目标和镜像目标看上去重叠的情况。 

此外，如在步骤S18的说明中所记载的那样，能够基于距两目标的视点的距离分别计算出投射地区域上的实像目标和镜像目标的各自 的束缚区域的半径。因此，对于以两目标的束缚区域的各自的投射地区域相切或这个程度以上地使两目标分离，以如下方式进行即可。也就是说，调整部205以如下方式使镜像目标从实像目标离开而移动即可，即，使将实像目标和镜像目标的束缚区域的各自的中心点投射到投射面时的2点间的距离成为将两者的束缚区域的各自的半径相加后的值以上。 

接下来，生成部206对该虚拟空间内的全部目标实施步骤S20和S21，描绘该虚拟空间的2维图像。 

首先，生成部206求出目标(包含实像目标、镜像目标)的投射地区域(步骤S20)。在本实施方式中，如上述那样，因为利用1点透视法将各目标透视投影到投射面，所以距视点远的目标被较小地投影，近的目标被较大地投影。但是，也可以代替1点透视法，而采用平行投影。 

若求出了投影地，则将对应纹理的对应区域粘贴(映射)在投影地的各区域来进行描绘(步骤S21)。这时，生成部206为了进行隐面处理，例如，使用Z缓冲法等。也就是说，生成部206按构成要描绘的图像数据的每个象素，以与视点(投射面)最近的多边形相对应的纹理信息的颜色涂该象素。 

在视线方向和多边形的表面形状的朝向相同的情况下，意味该表面迎着与视线向量相反的方向，所以，生成部206也可以不描绘这样的表面。 

另外，在粘贴纹理时，考虑相对于形成各目标的多边形的光源的朝向。也就是说，求出构成目标的表面形状的各多边形的法线和光源向量形成的角度，并在越接近于0度时(即角度近)越提高纹理的明度。相反地，在越接近直角时，则越降低明度。但是，在通过将明度乘以反射率而使质感变化的情况下，即使多边形的法线和光源向量所成的角度为直角，也不把明度完全设为0。通过这样做，即使在昏暗部分也能够表现出质感(粗糙感和光滑感等)。此外，也可以不是求出角度本身，而是根据向量的内积求出角度的余弦，并在越接近1时越使明度明亮。另外，也可以应用双线性亮度插值法(gouraud shading)和双线性法向量插值法(Phong Shading)等，以使得在多边形的边界处明亮度的差异不明显。 

这时，也可以将实像目标和镜像目标全都用相同的光源(原来配置于虚拟空间的光源)来照射。或者，为了看起来更自然，也可以将光源以相对于虚拟镜面面对称的方式配置。在这种情况下，目标也好，虚拟的光源也好，照射实像目标和镜像目标的两者。由此，在想要得到更自然的照明的情况下，也可以是，实像目标用的光源只照射实像目标，并且，镜像目标用的光源只照射镜像目标。 

若完成了以上的图像生成处理，则直到垂直同步中断产生为止生成部206进行待机(步骤S22)。在该待机过程中，也可以协同地执行其他的处理(例如，基于时间的经过和来自用户的处理，更新存储于RAM103内的各目标及虚拟相机的位置和朝向等的处理)。 

若产生了垂直同步中断，则生成部206把所描绘的图像数据(通常存储于帧缓冲器)的内容向监视器(未图示)转送，并显示图像(步骤S23)，返回步骤S12。 

以上，就本发明的实施方式进行了说明，但是本发明不限定于上述的实施方式，能够进行各种变形和应用。另外，也能够把上述的实施方式的各构成要素自由地组合。 

例如，在上述实施方式中，判定部使用束缚区域判定从视点向视线方向观看时实像目标和镜像目标是否看起来相互邻近。也可以不是那样，只在从视点向视线方向看而两目标看起来重叠的情况下，判定部判断为两目标看起来相互邻近。通过把实像目标和镜像目标投射于投射面，并根据在投射地区域是否存在重叠的部分来判定看起来是否重叠。 

能够以与上述的判定束缚区域的投射地区域中的重叠的方法同样的手段来检测出投射面区域中的两目标的重叠。例如，准备具有与投射面的各象素相对应的排列要素的排列，并将对应于实像目标所投射的区域的该排列要素加上规定的值(例如1)。如果在该排列中存储了规定的值以上(该情况下为2以上)的值，则能够检测出在投射地区域中存在重叠。 

此外，在把实像目标和镜像目标看起来重叠的状态作为两目标看起来相互邻近的条件时，与使用束缚区域的情况不同，难以预先计算出 移动什么程度看起来不重叠。由此，例如，调整部使镜像目标以规定的距离向与实像目标离开的方向移动，并再次判定在两目标的投射地区域中是否存在重叠即可。而且，直到两目标的投射地区域不重叠为止，进行以规定的距离移动镜像目标的处理。 

此外，在这种情况下，调整部如上述那样，也可以使镜像目标相对于通过视点的规定的旋转轴旋转移动，或者也可以保持与视点之间的距离的同时，相对于配置于该虚拟空间内的地平面进行平行移动。 

另外，在上述实施方式中，就使用1个虚拟镜面的情况进行了说明，但是虚拟镜面的数量不限于此。 

图8是从上部表示相对于实像目标800分别把虚拟镜面810a、810b、810c放置于正面、左、右的例的图。镜像配置部把与虚拟镜面的数量(在该情况下为3枚)相同数量的镜像目标800a、800b、800c的每个按与步骤S17同样的顺序，配置于虚拟镜面810a、810b、810c的背面侧(参照图8A)。 

在现实中需要考虑到如镜像的镜像、该镜像…那样，无限地产生镜像的情况，但在本实施方式中，关于1个虚拟镜面，配置1个镜像目标，以减少计算量。接着，调整部以与步骤S18和S19同样的顺序进行调整，使得在从视点820向视线方向观看时，实像目标800和镜像目标800a不是看起来邻近。图8B是表示作为调整的结果例如向箭头方向移动了镜像目标800a的位置的例的图。 

图9与图8同样是从上部表示相对于实像目标800，夹着虚拟镜面810a，把810b和810c分别斜着配置的例的图。镜像配置部如图9A所示那样，把镜像目标800a、800b、800c的每个以与步骤S17同样的顺序配置于虚拟镜面810a、810b、810c的背面侧。调整部以与步骤S18和S19同样的顺序进行调整，使得在从视点820向视线方向观看时，实像目标800和镜像目标800a不是看起来邻近。图9B是表示作为调整的结果例如向箭头方向移动了镜像目标800a的位置的例的图。 

进而，在镜像彼此相互接近的情况下，也可以应用避免这种情况的手段(未图示)。例如，在实像和镜像A看起来相互邻近时，若移动镜 像A，则存在镜像A和另外的镜像B看起来相互邻近的情况。这时，调整部固定镜像A的移动后的位置，移动镜像B即可。关于该移动，把镜像A作为“上述的实像”，把镜像B作为“上述的镜像”，应用上述的镜像的移动的手段即可。 

此外，在这种情况下，视点(虚拟相机)的位置与上述实施方式同样，不能移动到由虚拟镜面810a～810c隔开的镜像空间侧。 

另外，在上述实施方式中，调整部不过于调整镜像目标的位置和朝向。但是，若只改变了镜像目标的位置和朝向，则存在作为镜像不自然程度明显的情况。为了缓和这种情况，调整部也可以根据移动后的镜像目标的位置和朝向，调整存储于存储部的视点的位置和视线的方向。例如，在移动了镜像目标的情况下，以移动量的规定的比例把视点向相同的方向移动即可。而且，例如，在进行视点的移动前，以通过从视点向视线的方向延伸的线与投射面相交的点的方式，调整视线的方向即可。 

另外，在上述实施方式中，构成为不能把视点(虚拟相机)移动到由虚拟镜面隔开了的镜像空间侧，但是，也可以把视点移动到镜像空间侧。在这种情况下，生成部也可以描绘配置于视点移动后的镜像空间的镜像目标。或者为了看起来更自然，生成部也可以不描绘该镜像目标。 

另外，在上述实施方式中，构成为，没有将虚拟镜面作为目标配置于虚拟空间。但是，为了表现实像和镜像的差异，也可以作为1个面目标在虚拟空间上配置虚拟镜面。而且，对虚拟镜面乘以表示透过信息的α值进行显示。据此，可以以使虚拟镜面好像存在反射率的方式，半透明地描绘存在于虚拟镜面的背面侧的镜像目标，从而没有不协调感地表现实像和镜像的差异。此外，在使用多个虚拟镜面的情况下，也可以以对各个虚拟镜面使乘以α值的比例变化来使反射率好像不同的方式进行描绘。由此，将各镜像目标以不同的透过率进行描绘，能够明确地描绘镜像目标间的差异。 

或者，也可以使虚拟镜面目标具有颜色，并对其乘以α值。据此，如在带颜色的镜子中映出的镜像那样，描绘镜像目标，使与实像目标的差异清楚。在使用多个虚拟镜面的情况下，也可以使各个虚拟镜面的颜 色变化。由此，能够更明确地表现各镜像目标的差异。 

此外，为了更接近现实的镜子而表现虚拟镜面，也可以使实像空间和虚拟镜面之间的边界及虚拟镜面和镜像空间之间的边界，具有不连续性。通常，镜子有一定的厚度，在玻璃部分中也产生折射。因此，如图10中表示从上部看到的状况那样，设实像空间和虚拟镜面之间的边界为W2，设虚拟镜面和镜像空间之间的边界为W1，并在W1和W2之间设置空间。而且，把该W1和W2之间的空间作为表示虚拟镜面的厚度的部分，利用表现玻璃的边缘那样的灰色或者绿色等规定的颜色涂满。 

从W1到W2的部分在现实中通常由玻璃构成，但是若不考虑该玻璃部分产生的折射，将地面相对于W1对称地配置(用虚线表示延长地面的图案的一部分后的线，而且，用点线来表示其镜像)。在此，为了看起来好像恰似产生了折射，在视线相对于虚拟镜面不垂直的情况下，将相对于W1对称的地面的图像，相对于W1和地面水平地并且向接近视点的方向移动δ。此外，优选将该δ设定得比W(从W1到W2的宽度)小。由此，能够更接近现实的镜子来表现虚拟镜面。或者也可以是，不把从W1到W2的空间以规定的颜色涂满，而将地面的图案延长进行粘贴，并对粘贴后的图像实施线性变换，以使得与在镜像空间描绘的地面连上。 

此外，关于本申请，主张以日本国专利申请特愿第2007-284836号为基础的优先权，将该基础申请的内容全部引入本申请。 

Claims (7)

1.一种图像处理装置(200)，其特征在于，具备：

存储部(201)，存储：配置于虚拟空间内的视点的位置及视线的方向；配置于该虚拟空间内的实像目标的形状、位置及朝向；在该虚拟空间内配置的虚拟镜面的位置及朝向；和配置于该虚拟空间内的镜像目标的形状、位置及朝向；

更新部(202)，基于来自用户的指示输入或时间的经过把存储于上述存储部(201)的以下内容的至少一项进行更新：该实像目标的形状、该实像目标的位置、该实像目标的朝向、该视点的位置或者该视线的方向；

镜像配置部(203)，按相对于该虚拟镜面，在该实像目标被配置侧的相反侧配置该镜像目标的方式，计算表示该实像目标的相对于该虚拟镜面的镜像的镜像目标的形状、位置及朝向并存储于上述存储部(201)；

判定部(204)，判定若在该虚拟空间中从该视点的位置向该视线的方向观看该实像目标和该镜像目标，该实像目标和该镜像目标是否看起来相互邻近；

调整部(205)，在判定为该实像目标和该镜像目标看起来相互邻近的情况下，调整存储于上述存储部(201)的该镜像目标的位置，以使该实像目标和该镜像目标不是看起来相互邻近；和

生成部(206)，根据上述所存储的该实像目标的形状、位置及朝向、该视点的位置及该视线的方向、该镜像目标的形状、位置及朝向，生成从该视点向该视线的方向观看该虚拟空间而得到的图像。

2.根据权利要求1所记载的图像处理装置(200)，其特征在于，

上述调整部(205)将该镜像目标相对于通过该视点的规定的旋转轴旋转移动来调整该镜像目标的位置及朝向。

3.根据权利要求1所记载的图像处理装置(200)，其特征在于，

上述调整部(205)保持该镜像目标和该视点之间的距离不变，而使该镜像目标相对于配置于该虚拟空间内的地平面平行移动，来调整该镜像目标的位置。

4.根据权利要求1所记载的图像处理装置(200)，其特征在于，

在把该实像目标和该镜像目标投影在配置于从该视点的位置向该视线的方向离开规定的距离后的位置的投影面时，若两者的投影地重叠，则上述判定部(204)判定为两者看起来相互邻近。

5.根据权利要求1所记载的图像处理装置(200)，其特征在于，

对于该实像目标和该镜像目标的每个，将包含其的球形的束缚区域与其建立对应关系，

在把该实像目标的束缚区域和该镜像目标的束缚区域投影到配置于从该视点的位置向该视线的方向离开规定的距离后的位置的投影面时，若两者的投影地重叠，则上述判定部(204)判定为两者看起来相互邻近，

上述调整部(205)进行调整以使该两者的投影地相切。

6.根据权利要求2所记载的图像处理装置(200)，其特征至于，

上述调整部(205)，若调整了该镜像目标的位置，则把存储于上述存储部(201)的该视点的位置调整预先与该调整的量相对应的量，

上述调整部(205)，若调整了该镜像目标的朝向，则把存储于上述存储部(201)的该视线的方向调整预先与该调整量相对应的量。

7.一种图像处理方法，是控制具备存储部(201)、更新部(202)、镜像配置部(203)、判定部(204)、调整部(205)和生成部(206)的图像处理装置(200)的图像处理方法，其中，具备：

存储步骤，上述存储部(201)存储：配置于虚拟空间内的视点的位置及视线的方向；配置于该虚拟空间内的实像目标的形状、位置及朝向；配置于该虚拟空间内的虚拟镜面的位置及朝向；和配置于该虚拟空间内的镜像目标的形状、位置及朝向；

更新步骤，上述更新部(202)基于来自用户的指示输入或时间的经过把存储于上述存储部(201)的以下内容的至少一项进行更新：该实像目标的形状、该实像目标的位置、该实像目标的朝向、该视点的位置或者该视线的方向；

镜像配置步骤，上述镜像配置部(203)按相对于该虚拟镜面，在该实像目标被配置侧的相反侧配置该镜像目标的方式，计算表示该实像目标的相对于该虚拟镜面的镜像的镜像目标的形状、位置及朝向并存储于上述存储部(201)；

判定步骤，上述判定部(204)判定若在该虚拟空间中从该视点的位置向该视线的方向观看该实像目标和该镜像目标，该实像目标和该镜像目标是否看起来相互邻近；

调整步骤，在判定为该实像目标和该镜像目标看起来相互邻近的情况下，上述调整部(205)调整存储于上述存储部(201)的该镜像目标的位置，以使该实像目标和该镜像目标不是看起来相互邻近；和

生成步骤，上述生成部(206)根据上述所存储的该实像目标的形状、位置及朝向、该视点的位置及该视线的方向、该镜像目标的形状、位置及朝向，生成从该视点向该视线的方向观看该虚拟空间而得到的图像。

Images