CN1746821A

CN1746821A - 虚拟现实呈现装置和信息处理方法

Info

Publication number: CN1746821A
Application number: CNA2005100981268A
Authority: CN
Inventors: 奥野泰弘; 松井太一
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-09-07
Filing date: 2005-09-07
Publication date: 2006-03-15
Anticipated expiration: 2025-09-07
Also published as: US7292240B2; CN100356300C; US20060050069A1; JP2006079174A; JP4500632B2

Abstract

提供实际尺寸观察方式，其中观察者通过被沉浸在实际尺寸的虚拟三维空间中进行观察，以及缩小尺寸观察方式，其中观察者通过缩小虚拟三维空间计算机图形学图像进行观察。一种虚拟现实呈现装置包括：观察方式设置单元，用于作为观察方式设置实际尺寸观察方式或缩小尺寸观察方式；位置和方位信息获取单元，用于获取观察者的位置和方位信息；以及产生单元，用于按照设置的观察方式以及位置和方位信息由表示虚拟三维空间的计算机图形学数据产生计算机图形学图像。

Description

虚拟现实呈现装置和信息处理方法

技术领域

本发明涉及用于提供虚拟的三维空间(3D)的经历的虚拟现实呈现装置和信息处理方法。

背景技术

虚拟现实(VR)呈现装置已经能够得到了。虚拟现实呈现装置例如包括：图像显示器，例如头戴的显示器(HMD)，位置和方位检测装置，例如位置和方位传感器，用于检测观察者的视点的位置和方位，以及计算机图形学(CG)图像产生装置。

例如，使用磁位置和方位传感器作为位置和方位检测装置。磁位置和方位传感器被安装在观察者佩带的HMD中，使得可以检测观察者的头的位置和方位。磁位置和方位传感器检测磁源(发送器)和磁传感器(接收器)之间的相对位置和方位。例如，作为磁位置和方位传感器的FASTRAK^是可以得到的，其是Polhemus的产品。FASTRAK^是一种用于在一个预定的范围内实时地检测三维位置(X，Y，Z)和方位(倾斜，偏转和滚动)的设备。

CG图像产生装置把3D模拟CG图像置于具有和现实空间相同的比例的虚拟空间中，并根据被位置和方位检测装置检测的观察者的视点的位置和方位来再现虚拟空间。

在图像显示器例如HMD上显示按照上述产生的CG图像使得观察者能够感觉到其好像沉浸在虚拟的CG空间中。

在上述的系统中，为了移动虚拟空间内的位置，观察者必须实际地移动该位置。必须移动设备的位置，并且需要具有和虚拟空间相同的尺寸的现实空间。因而，提供了用于单独地指示位置移动的位置移动指令装置。例如，使用位置和方位传感器指定一个方向，通过按下被单独提供的按钮命令沿所述方向进行位置移动，或者使用一种装置例如操纵杆命令位置移动。在虚拟的3D空间内自由地移动位置并进行观察被称为“预排”。在这种情况下，CG图像的再现视点根据观察者的视点的位置和方位而改变。因而，如果视点的位置和方位在移动的位置中改变，则可以从该视点观察虚拟空间。

此外，近年来，研发了通过组合3D CG图像和现实世界中的图像而向用户呈现现实世界中不存在的信息的技术。这种技术被称为扩大的现实(AR)系统或混和现实(MR)系统，例如在美国专利6522312中所述。

MR系统能够在真实的对象上叠加3D CG图像。美国专利6522312提出了一种系统，其允许用户通过在真实的对象上叠加虚拟的对象来自由地控制虚拟的对象。

在已知的系统中，当观察者沉浸在虚拟的3D空间中并保持在虚拟的3D空间内移动观察位置时，观察者难于知道观察者在虚拟的3D空间内所在的位置。

发明内容

本发明解决了上述的问题。

按照本发明的一个方面，提供一种虚拟现实呈现装置，其能够在虚拟的三维空间中显示虚拟对象，并能够使观察者沉浸在虚拟三维空间中并进行观察，所述虚拟现实呈现装置包括：观察方式设置单元，其被配置用于作为观察方式设置实际尺寸观察方式，其中观察者通过被沉浸在实际尺寸的虚拟三维空间中进行观察，或者设置缩小尺寸观察方式，其中观察者通过缩小虚拟三维空间计算机图形学图像的尺寸来进行观察；位置和方位信息获取单元，其被配置用于获取观察者的位置和方位信息；以及产生单元，其被配置用于按照由位置和方位获取单元获取的观察者的位置和方位信息以及由观察方式设置单元设置的观察方式，由表示虚拟的三维空间的计算机图形学数据来产生计算机图形学图像。

按照本发明的第二方面，提供一种信息处理方法，包括：设置步骤，用于设置虚拟的三维空间的观察方式；位置和方位信息获取步骤，用于获取观察者的位置和方位信息；以及产生步骤，用于按照在位置和方位信息获取步骤获取的观察者的位置和方位信息以及在设置步骤中设置的观察方式，由表示虚拟三维空间的计算机图形学数据来产生计算机图形学图像。所述观察方式是实际尺寸观察方式，其中观察者通过被沉浸在实际尺寸的虚拟三维空间中进行观察，或者是缩小尺寸观察方式，其中观察者通过缩小虚拟三维空间的尺寸来进行观察。

本发明的其它特征由下面结合附图进行的详细说明可以被更清楚地看出，在所有附图中，相同的标号表示相同或相似的部件。

附图说明

被包括在说明书中并作为说明书的一部分的附图用于说明本发明的实施例，并且和说明书一道用于解释本发明的原理。其中：

图1表示按照本发明的一个实施例的系统结构；

图2是按照所述实施例的流程图；

图3是实际尺寸观察方式处理的流程图；

图4是缩小的尺寸的观察方式处理的流程图；

图5是由缩小尺寸显示位置自动设置单元进行的处理的流程图；以及

图6表示实际尺寸观察方式的图像和缩小尺寸观察方式的图像的显示的例子。

具体实施方式

下面按照附图详细说明本发明的示例的实施例。

图1是表示本发明的一个示例的实施例的图。位置和方位传感器控制器103、位置和方位传感器104、操纵杆105、存储器106和107以及HMD 108通过总线102和中央处理单元(CPU)101相连。操纵杆105是控制杆并获取和杆的倾斜的方向相应的值。可以用例如键盘或用于视频游戏的输入装置代替操纵杆105。存储器106可以和存储器107相同。位置和方位传感器104与位置和方位传感器控制器103相连。位置和方位传感器控制器103是用于提供位置和方位传感器104的位置和方位的接口。位置和方位传感器104被安装在HMD 108中，用于检测HMD 108的位置和方位。经历虚拟现实的两个或多个观察者可以使用两组或多组HMD及位置和方位传感器。要在虚拟的三维空间内呈现的三维模拟CG数据120被预先记录在存储器107中。

现在说明在存储器106中包含的观察方式设置单元113。

观察方式设置单元113设置在存储器107中记录的观察方式126的值。在本实施例中，观察方式126被设置为实际尺寸观察方式或缩小尺寸观察方式，在示例的实施例中，每种方式通过记录一个表示相应的方式的整数来识别。在这个例子中，对于实际尺寸观察方式记录“0”，对于缩小尺寸观察方式记录“1”。

除去上述的处理之外，观察方式设置单元113设置移动速度参数124，使得其相应于设置的观察方式。移动速度参数124将在下面进行说明。

即使在观察者正在经历虚拟现实时，也可以通过按下按钮或其类似物来自由地操作观察方式设置单元113。如下所述，因为按照本实施例的虚拟现实呈现装置每当显示一帧时确定观察方式，即使当观察者正在经历虚拟现实时，如果通过观察方式设置单元113改变观察方式，显示也能立即反映所述的改变。

下面参照图2所示的流程图说明按照本实施例的处理的整个流程。视点参考位置123被预先初始化为观察者在虚拟三维空间内开始经历虚拟现实的位置。

在步骤S201，位置和方位检测单元111获得在HMD 108中安装的位置和方位传感器104的位置和方位，按照获得的位置和方位检测观察者的视点的位置和方位，并记录观察者的视点的位置和方位作为传感器的位置和方位121。位置和方位检测单元111通过位置和方位传感器控制器103获得位置和方位传感器104的位置和方位，这是已知技术。位置和方位传感器104由预定的参考点计算位置和方位。在地板上的一个特定的位置被预先设置为参考点，并由参考点计算位置和方位。观察者不必位于参考点，并且观察者可以移动到其它的位置。

在步骤S202，获得操纵杆105的值，并把获得的值作为操纵杆值记录在存储器107中。沿前后方向的值、沿左右方向的值和沿上下方向的值作为操纵杆值122被记录。

在步骤S203，视点参考位置移动单元118更新视点参考位置123(观察者的原点)。视点参考位置移动单元118把由操纵杆值122乘以移动速度参数124获得的值加到视点参考位置123上。因为操纵杆值122包括沿前后方向、左右方向和上下方向的值，相应于各个方向的值被加到视点参考位置123上。视点参考位置123表示观察者在虚拟三维空间中所在的位置，并作为用于计算观察者的视点的参考点。操纵杆值122乘以移动速度参数124，以便调节在视点参考位置123由操纵杆105获得的值的反映程度。使用操纵杆105通过操作而引起的移动量随着移动速度参数124的值的增加而增加。在缩小尺寸观察方式中，设置一个大于实际尺寸观察方式的值是方便的，因为在缩小尺寸观察方式中，可能进行大面积的运动。虽然在本实施例中移动速度参数124由观察方式设置单元113来设置，但移动速度参数124也可以被预先确定。此外，移动速度参数124可以在观察期间通过任何输入方法被自由地改变。

在步骤S204，确定在存储器107中记录的观察方式126的值。观察方式126由观察方式设置单元113设置。如果观察方式126被设置为“0”，即实际尺寸观察方式，则在步骤S205进行实际尺寸观察方式处理114。如果观察方式126被设置为“1”，即缩小尺寸观察方式，则在步骤S206进行缩小尺寸观察方式处理115。实际尺寸观察方式处理114和缩小尺寸观察方式处理115将在下面说明。在实际尺寸观察方式处理114和缩小尺寸观察方式处理115中，确定CG数据的位置和尺寸，并确定在存储器107中记录的视点的位置和方位125。视点的位置和方位125表示用于开始CG呈现的位置和方位。

在步骤S207，CG产生单元112呈现CG数据120作为从视点的位置和方位125可看到的。这个处理可以按照已知的用于CG产生的通用处理来实现。

在步骤S208，在步骤S207中呈现的CG图像被在HMD 108的图像显示单元上显示。

按照上述可以显示用于屏幕的虚拟现实图像。按照顺序连续地重复整个处理使得能够再现虚拟现实图像为运动图像。如果HMD 108能够进行立体显示，则在步骤S207便产生由左眼的观点看的CG图像和由右眼的观点看的图像，并在步骤S208在HMD 108的用于各个眼睛的显示单元上显示CG图像。可以按照由位置和方位传感器104获得的位置和方位计算左眼和右眼的视点的位置。

借助于实际尺寸观察方式处理114，观察者能够在由CG数据限定的虚拟三维空间内预排，并经历虚拟三维空间。在实际尺寸观察方式处理114中，按照通过把按照操纵杆105设置的视点参考位置123加到传感器位置和方位121上而获得的位置和方位，产生CG图像，并显示图6所示的实际尺寸观察方式图像601。

下面说明在图2中步骤S205的实际尺寸观察方式处理114。图3是实际尺寸观察方式处理114的流程图。

在步骤S301中，记录通过把视点参考位置123的位置和方位加到传感器位置和方位121上而获得的结果，作为视点位置和方位125。

然后，在步骤S302，把CG数据120置于实际尺寸的虚拟空间的原点(或一个预先确定的固定位置)。如果在这个处理之前通过缩小尺寸观察方式处理115缩小CG数据120的尺寸，则CG数据120被返回实际尺寸。如果把观察者位置指示CG图像127加到CG数据120，则除去观察者位置指示CG图像127。

借助于缩小尺寸观察方式处理115，观察者能够从俯视虚拟三维空间的观点检查观察位置和虚拟三维空间的整个视野。在缩小尺寸观察方式处理115中，当实际尺寸观察方式处理114被改变为缩小尺寸观察方式处理115时，使用相对于传感器位置和方位121具有预定的位置关系的位置(缩小尺寸显示位置129)产生虚拟三维空间的缩小尺寸的图像，并显示图6所示的缩小尺寸观察方式图像602。

下面说明在图2中的步骤S206进行的缩小尺寸观察方式处理115。图4是缩小尺寸观察方式处理115的流程图。

在步骤S401，传感器位置和方位121作为视点位置和方位125被记录。

在步骤S402，由视点参考位置123的高度成分计算有效显示高度130，并且这样控制CG数据120，使得高于或等于有效显示高度130的CG数据的部分不被显示或者被半透明地显示。进行这个处理是为了解决这样的问题：如果虚拟三维空间包括大楼或者具有多层的建筑物，只能以缩小尺寸的显示方式观察大楼的外观。通过确定视点参考位置123所在的地板并通过引用预先准备的表示从地板到屋顶的高度的数据来计算有效显示高度130。在视点不被沉浸在封闭的虚拟空间的情况下，可以省略这个处理。

在步骤S403，把观察者位置指示CG图像127加到CG数据120。观察者位置指示CG图像127使用箭头形的CG图像指示在实际尺寸观察方式下观察者在虚拟三维空间中的位置。观察者位置指示CG图像127可以通过读出预先准备的CG数据被显示。或者，观察者位置指示CG图像127可以在程序存储器中在那时被产生。因为观察者位置指示CG图像127在CG数据120的坐标系统中被记录，如果CG数据120的位置改变或者CG数据120的尺寸缩小，则观察者位置指示CG图像127的位置改变或观察者位置指示CG图像127的尺寸缩小。

在步骤S404，视点参考位置123作为产生的观察者位置指示CG图像127的位置被设置。因为视点参考位置123在实际尺寸观察方式下是观察者的视点的位置的参考点，当由观察方式设置单元113把观察方式从缩小尺寸观察方式改变为实际尺寸观察方式时，观察者所在的位置等于观察者位置指示CG图像127被显示的位置。虽然观察者位置指示CG图像127在本实施例中在视点参考位置123被显示，但是观察者位置指示CG图像127可以在通过把传感器位置和方位121加到视点参考位置123上而获得的位置上被显示。在这种情况下，相应于观察者头部的位置在缩小尺寸的虚拟三维空间CG图像中被显示。

在步骤S405，CG数据120(包括观察者位置指示CG图像127)的尺寸以缩小比例128被缩小，CG数据120的原点的位置被移动到由缩小尺寸显示位置129表示的位置。移动CG数据的原点的位置和缩小CG数据的尺寸可以使用已知的技术来进行。缩小比例128和缩小尺寸显示位置129可以被预先设置，或者借助于接收一个输入被在任何时刻改变。此外，缩小尺寸显示位置自动设置单元116和缩小比例自动设置单元117被这样提供，使得缩小尺寸CG数据总是能够出现在可以容易看到的位置上。

下面说明缩小尺寸显示位置自动设置单元116。图5是表示由缩小尺寸显示位置自动设置单元116执行的处理的例子的流程图。

当观察方式被从实际尺寸观察方式改变为缩小尺寸观察方式时，缩小尺寸显示位置自动设置单元116在缩小尺寸观察方式处理115的视点位置和方位125在步骤S401被更新之后立即操作。换句话说，当缩小尺寸观察方式处理115被设置时，进行缩小尺寸显示位置自动设置单元116的操作。

在步骤S501，缩小尺寸显示位置129被这样设置，使得缩小尺寸CG数据在视点位置和方位125的前方被显示。相对于视点位置和方位125具有预定位置关系的位置(即，在视点前方的并和视点隔开一个预定距离的位置)被计算。

当实际尺寸观察方式被改变为缩小尺寸观察方式时，在步骤S501中使用的视点位置和方位125等于传感器位置和方位121。

在步骤S502，根据视点位置和方位125的高度成分确定缩小尺寸显示位置129的高度成分。例如，低于视点高度一个预定值的位置被确定为缩小尺寸显示位置129的高度。

因而，当观察方式从实际尺寸观察方式改变为缩小尺寸观察方式时，按照观察者的视点位置和方位125，可容易观察的位置被自动地设置为缩小尺寸显示位置129。

在另一个例子中，缩小尺寸显示位置129可被这样设置，使得在步骤S403呈现的观察者位置指示CG图像127的位置被设置在屏幕的中央。

下面说明缩小比例自动设置单元117。

例如，缩小比例自动设置单元117能够这样自动地计算和设置缩小比例128，以使得CG数据120总是利用已知技术按照CG数据120的尺寸被缩小为预定的尺寸。在另一个例子中，缩小比例自动设置单元117能够这样自动地计算和设置缩小比例128，以使得利用已知技术在屏幕内显示整个CG图像。

在步骤S207的处理中，使用通过上述的处理设置的缩小尺寸显示位置129和缩小比例128，产生相应于观察者的视点位置和方位125的虚拟三维空间的缩小尺寸图像。虚拟三维空间的缩小尺寸图像被固定在缩小尺寸显示位置129。因而，虚拟三维空间的缩小尺寸图像的方向和尺寸按照在观察者的位置和方位与缩小尺寸显示位置129之间的相互关系而改变。例如，当接近缩小尺寸显示位置129时，观察者能够观察虚拟三维空间的缩小尺寸图像。

如上所述，按照这个实施例，在缩小尺寸观察方式下，观察者容易知道其所在的位置。此外，观察者能够容易地移动到所需的位置。因而，借助于在实际尺寸观察方式和缩小尺寸观察方式之间进行改变，观察者能够容易地在虚拟三维空间中预排。

使用透明的HMD的一种合成的现实呈现系统也是可能的。在这种情况下，观察者能够观察表示相互叠加的虚拟三维空间和真实空间的场景的缩小尺寸的三维模型。因而，观察者能够把其手指指向缩小尺寸的三维模型以便进行讨论或类似活动。

不脱离本发明的范围和构思可以作出许多明显不同的实施例，应当理解，本发明不限于其特定的实施例，下面的权利要求的范围应当给予最宽的解释，使得包括所有这些改型、等效结构和功能。

Claims

1.一种虚拟现实呈现装置，其能够在虚拟的三维空间中显示虚拟对象，以及能够使观察者沉浸在虚拟三维空间中并进行观察，所述虚拟现实呈现装置包括：

观察方式设置单元，其被配置用于作为观察方式设置实际尺寸观察方式，其中观察者通过被沉浸在实际尺寸的虚拟三维空间中进行观察，或者设置缩小尺寸观察方式，其中观察者通过缩小虚拟三维空间计算机图形学图像的尺寸来进行观察；

位置和方位信息获取单元，其被配置用于获取观察者的位置和方位信息；以及

产生单元，其被配置用于按照由位置和方位获取单元获取的观察者的位置和方位信息以及由观察方式设置单元设置的观察方式，由表示虚拟三维空间的计算机图形学数据来产生计算机图形学图像。

2.如权利要求1所述的虚拟现实呈现装置，还包括视点参考位置移动单元，其被配置用于移动视点参考位置，所述视点参考位置表示观察者在虚拟三维空间中所在的位置，其中

基于视点参考位置移动单元的控制输入的移动量在实际尺寸观察方式和缩小尺寸观察方式之间是不同的。

3.如权利要求1所述的虚拟现实呈现装置，还包括缩小尺寸显示位置自动设置单元，其被配置用于当设置缩小尺寸观察方式时，按照观察者的头部的位置和方位，设置缩小尺寸虚拟三维空间计算机图形学图像在缩小尺寸观察方式下被显示的位置。

4.如权利要求3所述的虚拟现实呈现装置，其中缩小尺寸显示位置自动设置单元被配置用于这样设置缩小尺寸显示位置，使得相应于在虚拟三维空间计算机图形学图像中的视点参考位置的位置位于屏幕的中央。

5.如权利要求3所述的虚拟现实呈现装置，其中所述缩小尺寸显示位置自动设置单元被配置用于当改变观察方式时，把缩小尺寸显示位置设置在观察者的前方。

6.如权利要求1所述的虚拟现实呈现装置，还包括缩小比例自动设置单元，其被配置用于自动地设置在缩小尺寸观察方式下的缩小尺寸虚拟三维空间计算机图形学图像的缩小比例。

7.如权利要求6所述的虚拟现实呈现装置，其中所述缩小比例自动设置单元被配置用于这样设置缩小比例，以使得整个虚拟三维空间计算机图形学图像被容纳在一个屏幕内。

8.如权利要求1所述的虚拟现实呈现装置，其中表示视点参考位置的计算机图形学图像被加到缩小尺寸观察方式中的缩小尺寸虚拟三维空间计算机图形学图像上，并显示所述计算机图形学图像。

9.如权利要求1所述的虚拟现实呈现装置，还包括视点参考位置移动单元，其被配置用于移动表示观察者在虚拟三维空间中所在的位置的视点参考位置，其中

在缩小尺寸观察方式下，不显示高于或等于按照视点参考位置确定的有效高度的计算机图形学图像的部分。

10.如权利要求1所述的虚拟现实呈现装置，还包括视点参考位置移动单元，其被配置用于移动表示观察者在虚拟三维空间中所在的位置的视点参考位置，其中

在缩小尺寸观察方式下，半透明地显示高于或等于按照视点参考位置确定的有效高度的计算机图形学图像的部分。

11.一种信息处理方法，包括：

设置步骤，用于设置虚拟的三维空间的观察方式；

位置和方位信息获取步骤，用于获取观察者的位置和方位信息；以及

产生步骤，用于按照在位置和方位信息获取步骤获取的观察者的位置和方位信息以及在设置步骤中设置的观察方式，由表示虚拟三维空间的计算机图形学数据产生计算机图形学图像，其中

所述观察方式是实际尺寸观察方式，其中观察者通过被沉漫在实际尺寸的虚拟三维空间中进行观察，或者是缩小尺寸观察方式，其中观察者通过缩小虚拟三维空间的尺寸来进行观察。

12.一种用于使计算机执行如权利要求11所述的信息处理方法的程序。