CN101164084B - 图像处理方法和图像处理设备 - Google Patents

Abstract

获取观察者的视点的位置和朝向(2030)，获取可移动部分的移动量(2032)，虚拟对象的可移动部分基于现实对象的可移动部分的移动量而移动，以及生成从观察者的视点观察到的图像(2040)。

Description

图像处理方法和图像处理设备

技术领域

本发明涉及一种通过将虚拟空间的图像叠加于现实空间上而向观察者呈现该图像的技术。

背景技术

混合实境(MR)系统为用户提供一种通过将现实空间的图像与虚拟空间的图像组合在一起而获得的混合实境空间图像，所述虚拟空间图像是依照用户的视点的位置、朝向等信息生成的。MR系统可以向观察者呈现仿佛虚拟对象存在于现实空间一样的情形，并且能使观察者以实际尺寸以及高于常规虚拟现实(VR)系统的真实性的感觉进行观察。

另一方面，在设计和制造领域中，使用三维(3D)CAD的设计(形状和设计)已成为主流。在这种情况下，作为一种用于对借助3D-CAD设计的对象进行评估的方法，目前流行使用一种在计算机屏幕上将借助3D-CAD创建的数据(立体格式)显示为3D-CG并对其进行虚拟评估的系统，一种通过快速原型化设备或类似设备来生成简单原型并通过触觉对其进行评估的方法，以及其他类似的方法。

但是，对在计算机屏幕上将3D-CAD数据显示为3D-CG的方法来说，评估是在虚拟空间上进行的，并且该对象是无法被评估为具有现实空间上的实际尺寸的感觉。此外，借助快速原型化设备或类似设备来创建简单原型(简单的实体模型)的方法或类似的方法在识别粗略形状方面是非常有效的，但是由于加工精度、材料等限制，这种方法无法再现基于3D-CAD而设计的详细信息，例如细节、颜色以及类似的设计细节。

为了在更接近成品的情况下评估设计数据，目前提出了如下方法。即，使用MR系统将通过转换3D-CAD数据创建的3D数据叠加在由快速原型化设备或类似设备基于3D-CAD数据而创建的简单原型(简单的实体模型)上，同时将位置和朝向相匹配。由此，视觉和触觉评估同时实现，并且设计数据可以在一种更接近成品对象的状态下被评估。

此外，还提出了这样一种方法，其中该方法在简单原型上布置索引、从作为图像数据输入的现实空间的图像信息中检测所布置的索引，并且使用检测到的索引的位置和朝向信息来校正现实空间与虚拟空间之间的配准。

但是，常规方法只能处理作为刚体的简单原型。更具体的说，当简单原型具有可移动部分时，无法在依照可移动部分的移动来移动3D-CG数据的同时将3D-CG数据叠加在简单原型上。此外，无法使用布置在可移动部分上的索引的位置和朝向信息来校正现实空间与虚拟空间之间配准。

发明内容

本发明是鉴于上述问题而做出的，并且本发明的目的是提供一种用于在简单原型具有可移动部分时，将3D-CG数据叠加在简单原型之上，同时依照所述可移动部分的移动来移动3D-CG数据的技术。

为了实现本发明的目标，例如，本发明的图像处理方法包括以下过程。

即，一种用于生成和输出虚拟空间的图像的图像处理方法，其特征在于包括：

第一获取步骤，获取观察者的视点的位置和朝向；

第二获取步骤，获取具有可移动部分的现实对象的位置和朝向；

用于获取可移动部分的移动量的获取步骤；

移动步骤，根据所述移动量来移动代表现实对象的虚拟对象中的、与可移动部分相对应的部分；

生成步骤，根据观察者的视点的位置和朝向以及现实对象的位置和朝向，来生成当从所述视点观察虚拟对象时看到的图像，所述虚拟对象中的与所述可移动部分相对应的部分在所述移动步骤中被移动；以及

输出步骤，输出在所述生成步骤中生成的图像。

为了实现本发明的目标，例如，本发明的图像处理设备包括以下配置。

即，一种用于生成和输出虚拟空间的图像的图像处理设备，其特征在于包括：

第一获取单元，用于获取观察者的视点的位置和朝向；

第二获取单元，用于获取具有可移动部分的现实对象的位置和朝向；

用于获取可移动部分的移动量的获取单元；

移动单元，用于根据所述移动量来移动代表现实对象的虚拟对象中的、与可移动部分相对应的部分；

生成单元，用于根据观察者的视点的位置和朝向以及现实对象的位置和朝向，来生成当从所述视点观察虚拟对象时看到的图像，所述虚拟对象中的与所述可移动部分相对应的部分被所述移动单元移动；以及

输出单元，用于输出由所述生成单元生成的图像。

通过以下结合附图的描述，本发明的其他特征和优点将变得显而易见，其中，在整个附图中相同的参考字符表示相同或相似的部分。

附图说明

被引入并构成说明书一部分的附图例示了本发明的实施例，并且与说明书一起用于说明本发明的原理。

图1是示出根据本发明第一实施例的依照现实对象的可移动部分的移动来移动虚拟对象中的可移动部分的系统的设备外观的视图；

图2是示出HMD 100的具体结构的视图；

图3是示出计算机400的功能配置的框图；

图4是示出依照本发明第一实施例的、向观察者的右眼和左眼呈现MR空间的图像的处理序列的示意图，其中该MR空间的图像是依照其位置和朝向来观看的；

图5是示出根据本发明第二实施例的、依照现实对象的可移动部分的移动来移动虚拟对象的可移动部分的系统的外观的视图；

图6是示出根据本发明第二实施例的计算机400的功能配置的框图；

图7是示出根据本发明第二实施例的向观察者的右眼和左眼呈现MR空间的图像的处理序列的示意图，其中该MR空间的图像是根据其位置和朝向来观看的；

图8是示出根据本发明第三实施例的依照现实对象的可移动部分的移动来移动虚拟对象的可移动部分的系统的外观的视图；

图9是示出根据本发明第三实施例的向观察者的右眼和左眼呈现MR空间的图像的处理序列的示意图，其中该MR空间的图像是依照其位置和朝向来观看的；

图10是示出根据本发明第四实施例的依照现实对象的可移动部分的移动来移动虚拟对象的可移动部分的系统的外观的视图；

图11是示出根据本发明第四实施例的向观察者的右眼和左眼呈现MR空间的图像的处理序列的示意图，其中该MR空间的图像是根据其位置和朝向来观看的；

图12是示出计算机400的基本配置的框图；

图13示出了在本发明第一实施例中使用的简单原型300的可移动部分301的移动模式；

图14示出了用于管理索引的位置和朝向信息的数据结构的示例；以及

图15是用于计算观察者(用户)的位置和朝向的处理流程图。

具体实施方式

现在依照附图来详细描述本发明的优选实施例。

[第一实施例]

图1是示出系统的外观的视图，其中在向观察者(用户)显示通过将虚拟空间叠加于现实空间之上所获取的MR空间的处理中，当将代表具有可移动部分的现实对象(简单原型)叠加于该现实对象上时，所述系统依照所述可移动部分的移动来移动虚拟对象中的与可移动部分相对应的部分。

参考图1，参考数字200表示用于生成磁场的发射机。参考数字100表示头戴式显示器(在下文中将其称为HMD)，该头戴式显示器安装在观察者的头部上，以便向眼部之前的位置呈现通过组合现实空间和虚拟空间所形成的图像。HMD 100包括摄像机102R和102L、显示设备101R和101L以及磁性接收机201。

摄像机102R和102L分别连续捕捉从佩戴HDM100的观察者的右眼和左眼看到的现实空间，并且将所捕捉的画面图像输出到计算机400。

显示设备101R和101L分别附接到HMD 100，由此当观察者将HMD 100佩戴在头部上时，所述显示设备位于右眼和左眼前方，并且根据计算机400输出的图像信号来显示图像。由此，计算机400生成的图像被呈现给观察者右眼和左眼之前的位置。

磁性接收机201检测发射机200所生成的磁场中的变化，并且向位置和朝向测量设备205输出检测结果信号。该检测结果信号表示磁场变化，其中该变化是依照磁性接收机201在一个坐标系(下文中称为传感器坐标系)上的位置和朝向而被检测的，所述坐标系将发射机200的位置作为原点，并且将在该原点位置处相互垂直的三个轴作为x-、y-和z-轴。

位置和朝向测量设备205根据这个信号而获取在传感器坐标系中的磁性接收机201的位置和朝向，并且向计算机400输出用以表示所获取的位置和朝向的数据。

图2示出了HMD 100的具体结构。

参考数字101表示视频显示设备，它包括大小为0.5到几英寸的小型液晶显示设备。参考数字103表示雕刻面棱镜，它用作放大视频显示设备101的图像的透镜。借助这种配置，显示在视频显示设备101上的图像被作为与大小为90英寸的图像等价的图像而呈现到例如观察者前方2米的位置。

参考数字102(102R，102L)表示视频输入设备，该视频输入设备包含诸如CCD摄像机、CMOS摄像机等成像设备。参考数字104表示成像系统棱镜，该成像系统棱镜用作用于将现实空间上的光会聚到视频输入设备102的透镜。由于成像系统透镜104被设置在雕刻面棱镜103的外部，以使得它们的光轴相互一致，视频输入设备102输入的图像与视频显示设备101显示的图像之间的视差被移除，由此非常自然地再现现实空间的图像。

回过来参考图1，参考数字300表示现实对象(在下文中将其称为简单原型)。该简单原型300具有可移动部分301，其中如图1的箭头所示，当操作者手动所述可移动部分301时，所述可移动部分301自由地围绕轴体302移动。轴体302用作可移动部分301可绕其移动的轴。用于测量可移动部分301的移动量的旋转编码器201附接于简单原型300，并且向计算机400输出用以表示测得的移动量的信号。

参考数字350表示在观测简单原型300时用作为支撑物的工作台。

参考数字400表示计算机，其中该计算机生成要输出到HMD 100的显示设备101R和101L的图像信号，接收和管理来自位置朝向测量设备205的数据以及基于来自旋转编码器210的信号的数据等。例如，该计算机400通常包括PC(个人计算机)、WS(工作站)等。图12是示出计算机400的基本配置的框图。

参考数字1201表示CPU，该CPU使用存储在RAM 1202和ROM1203中的程序和数据来控制整个计算机500，并且对与I/F 1207相连的外部设备的数据通信进行控制。此外，CPU 1201执行那些由计算机400执行的稍后描述的处理。

参考数字1202表示RAM，它具有用于临时存储从外部存储设备1205加载的程序和数据的区域，以及在CPU 1201执行各种处理时需要的工作区域。

参考数字1203表示ROM，它存储引导程序、计算机400的设置数据等。

参考数字1204表示操作单元，其包括键盘、鼠标、摇杆等，并且可以向CPU 1201输入各种指令。

参考数字1205表示外部存储设备，该设备用作大容量信息存储设备，例如硬盘驱动器设备等。该外部存储设备1205存储OS(操作系统)、使CPU 1201执行稍后描述的处理的程序、数据等。在CPU1201的控制下，某些或所有这些程序和数据被加载到RAM 1202。此外，在这个外部存储设备1205中还保存有后续描述中给出的数据(信息)(或者稍后描述的处理中所需的数据)，并且这些数据在需要时在CPU 1201的控制下被加载到RAM 1202上。

参考数字1206表示显示单元，该显示单元包括CRT、液晶显示器等，并且它可以借助于图像和字符来显示各种信息。

参考数字1207表示与位置和朝向测量设备205、HMD 100、旋转编码器210等相连的I/F。经由该I/F 207，计算机400可以与位置和朝向测量设备205、HMD 100、旋转编码器210等进行数据通信。

参考数字1208表示用于互连上述单元的总线。

计算机400捕捉那些从摄像机102R和102L获取的现实空间的图像，并且根据从磁性接收机201获得的位置和朝向以及简单原型300的预定位置和朝向来生成将要从摄像机102R和102L看到的虚拟对象的图像。该计算机400将所生成的图像叠加到先前捕捉的现实空间的图像上，并且将重叠的图像输出到显示设备101R和101L。通过这种方式，与双眼的位置和朝向相对应的MR图像被显示在位于头戴HMD100的观察者的右眼和左眼前方的位置。

图3是示出该计算机400的功能配置的框图。在该实施例的以下描述中，假设图3所示的各个单元是由软件实现的。应该指出的是，CPU 1201进行软件执行处理。但是，图3所示的某些或所有单元可以由硬件实现。

参考数字401R和401L表示视频捕捉单元，这些单元分别捕捉从摄像机102R和102L作为数字信号输入的图像。

参考数字404表示位置和朝向信息输入单元，该单元提取那些从位置和朝向测量设备205输出的数据。这些数据表示磁性接收机201在传感器坐标系上的位置和朝向。

参考数字406表示代表简单原型300并被用于生成叠加在该简单原型300上的虚拟对象的图像的3D-CG绘图数据。该3D-CG绘图数据包括用以指示虚拟对象的几何形状以及颜色的数据、纹理数据等。此外，该3D-CG绘图数据包括用以指示简单原型300在传感器坐标系中的位置和朝向的数据(包括可移动部分301的初始位置和朝向数据)。

参考数字3405表示位置和朝向计算单元，该单元使用从位置和朝向信息输入单元404输入的用以表示磁性接收机201在传感器坐标系中的位置和朝向的数据，以及用以表示简单原型300在传感器坐标系中的位置和朝向的数据，来计算相对于磁性接收机201的位置和朝向而言的简单原型300的位置和朝向。

参考数字420表示旋转量信息输入单元，该单元接收来自旋转编码器210的信号，将其转换成数字数据，并且将该数字数据输出到旋转角度计算单元421。

参考数字421表示旋转角度计算单元，该单元根据从旋转量信息输入单元420接收的信号来计算可移动部分301的旋转角度(移动量)。

参考数字407表示CG渲染单元，该单元首先将代表简单原型300的虚拟对象布置在预定位置和朝向(从3D-CG绘图数据中获取)。该CG渲染单元407布置与可移动部分相对应的虚拟对象的一部分，以便将其围绕轴体302旋转可移动部分301的当前旋转角度(旋转角度计算单元421计算的旋转角度)。由于在CG领域中，用于围绕预定轴来旋转与可移动部分301相对应的部分(局部虚拟对象)的技术是现有技术，因此，其描述将被省略。

接下来，CG渲染单元407生成依照摄像机102R和102L的位置和朝向而要查看的虚拟对象的图像(如果磁性接收机201与摄像机102R和102L之间的位置和朝向关系是作为偏置值预先获得的，那么可以通过向磁性接收机201测得的位置和朝向中添加该偏置来计算摄像机102R和102L的位置和朝向)。应该指出的是，虚拟对象是叠加在简单原型300上的。

由此，虚拟对象的图像变成这样一个图像，其中该图像被布置成在虚拟空间上具有预定的位置和朝向，并且是根据由位置和朝向计算单元405计算的摄像机102R和102L的位置和朝向而查看的。应该指出的是，用于生成从具有预定位置和朝向的视点查看的虚拟对象的图像的处理是一种现有技术，而与之相关的详细描述将被省略。在后续描述中，摄像机102R和102L在某些情况下也被称为“视点”。

参考数字402R和402L表示视频合成单元，这些单元将由CG渲染单元407生成并且要依照摄像机102R和102L的位置和取向而查看的虚拟对象的图像叠加到从视频捕捉单元401R和401L输入的现实空间的图像上，并且将这些图像分别输出到视频生成单元403R和403L。由此，可以生成依照摄像机102R的位置和朝向而查看的MR空间的图像以及依照摄像机102L的位置和朝向而查看的MR空间的图像。

视频生成单元403R和403L分别将从视频合成单元402R和402L输出的MR空间的图像转换成模拟信号，并且将经转换的模拟信号作为视频信号输出到显示设备101R和101L。这样一来，MR空间的与双眼相对应的图像被显示在头戴HMD 100的观察者的右眼和左眼之前。

在下文中参考图4来描述用于向观察者的右眼和左眼呈现MR空间的要依照位置和朝向而查看的图像的处理，其中图4示出了该处理的序列。

首先参考图4的左侧来描述用于从3D-CAD数据中生成简单原型300以及3D-CG绘图数据的处理序列。

一般来说，在使用3D-CAD系统所进行的诸如形状、设计等方面的设计任务(1010)的情况下，通常的惯例是将3D-CAD数据作为每个单独的3D-CAD系统所独有的立体数据(solid data)来存储。简单原型300是根据该立体数据并且使用诸如铅平板印刷(stereolithography)等快速原型化设备来生成的(1110)。

另一方面，3D立体数据被表述为相应设计部分的几何参数集合，并且不能被保持原样地渲染为CG。因此，3D立体数据被转换成适合渲染3D-CG的数据格式(如VRML等等)(1210)。这个MR系统使用以这种方式转换的3D绘图数据406来生成虚拟空间。所生成的3D-CG绘图数据被保存在计算机400的外部存储设备1205中，并且根据需要而被加载到RAM 102。

下面参考图4的右侧来描述通过使用该3D-CG绘图数据406来生成虚拟空间的图像(虚拟对象的图像)、将这些图像叠加在现实空间的图像上、以及将其呈现给观察者，该处理是由MR系统执行的。

如上所述，磁性接收机201对发射机200生成的磁场中的变化进行测量(2020)，并且将测量结果作为信号输出到位置和朝向测量设备205。该位置和朝向测量设备205根据接收信号而将用以指示磁性接收机201在传感器坐标系上的位置和朝向(如上所述，如果添加了偏置值，则是摄像机102R和102L的位置和朝向)的数据输出到计算机400(2030)。

另一方面，由于旋转量信息输入单元420接收到用以表示由旋转编码器210测得的可移动部分301的当前旋转角度的信号(2031)，因此，它将该信号A/D转换为数字数据，并且将数字数据输出到旋转角度计算单元421。该旋转角度计算单元421根据这个数据来执行用于计算可移动部分301的当前旋转角度的处理(2032)。

假设d0是旋转编码器210的初始测量值(当可移动部分301的旋转角度为0°时，它是旋转编码器210计数的计数值)，d1是旋转编码器210的当前测量值，并且r是在可移动部分301旋转360°时旋转编码器210的测量值。由此，可移动部分301的当前角度θ是如下给出的：

θ＝360×(d1-d0)/(r-d0)

在将齿轮比为g的齿轮附接于旋转编码器210时，可移动部分301的当前角度θ被如下计算：

θ＝360×g×(d1-d0)/(r-d0)

无论哪一种情况，这种计算都是由旋转角度计算单元421执行的。图13示出了在本实施例中使用的简单原型300的可移动部分301的移动模式。简单模型300是由主体1301和可移动部分301组成的，其中如图13中的箭头1302所示，可移动部分的角度是可以由观察者围绕轴A而手动改变的。这个角度是由旋转编码器210测得的。

参考图13，参考数字301a表示在角度θ为0°时(当旋转编码器210的测量值为d0时)的可移动部分301；而301b表示当前角度为θ(当旋转编码器210的测量值为d1时)的可移动部分301。

回过来参考图4，CG渲染单元407生成“要叠加在简单原型300上的虚拟对象”的图像，这些图像分别是从摄像头102R和102L查看的(2040)。在该图像生成处理中，CG渲染单元407首先把“要叠加在简单原型300上的虚拟对象”布置在传感器坐标系上的预定位置和朝向处。在这种情况下，CG渲染单元407布置虚拟对象的与可移动部分301相对应的部分的模型，以便将其围绕轴体302(图13中的轴A)旋转角度θ。通过这种方式，虚拟对象的可移动部分可以移动实际可移动部分301的相同移动量，并且它们的旋转角度可以匹配。

然后，CG渲染单元407使用由位置和朝向计算单元405计算的“用以表示摄像机102R和102L在传感器坐标系上的位置和朝向的数据”来生成分别从摄像机102R和102L的位置和朝向查看的“将要叠加在简单原型300上的虚拟对象”的图像。

应该指出的是，所生成图像的数据被临时存储在RAM 1202的预定区域中。此外，为了生成虚拟对象的图像，保存在外部存储设备1205中的3D-CG绘图数据被读出到RAM 1202上，并且被使用。

另一方面，与处理2020、2030、2040、2031和2032并行地，由摄像机102R和102L捕捉的现实空间的图像被视频捕捉单元401R和401L输入到计算机400中(3010)，并且在RAM 1202上被渲染(3020)。

视频合成单元402R将CG渲染单元407渲染的用于右眼的图像(虚拟对象的图像)叠加在从视频捕捉单元401R输入的用于右眼的现实空间的图像上，并且将经叠加的图像(MR空间的图像)输出到视频生成单元403R(4010)。

另一方面，视频合成单元402L将CG渲染单元407渲染的用于左眼的图像(虚拟对象的图像)叠加在从视频捕捉单元401L输入的用于左眼的现实空间的图像上，并且将经叠加的图像(MR空间的图像)输出到视频生成单元403L(4010)。

更具体的说，在将虚拟对象的图像叠加到现实空间的图像上的处理中，执行用于将从摄像机102R的位置和朝向看到的虚拟对象的图像叠加于来自摄像机102R的现实空间的图像上的处理，以及执行用于将从摄像机102L的位置和朝向看到的虚拟对象的图像叠加于来自摄像机102L的现实空间的图像上的处理。由此可以生成从观察者右眼看到的MR空间的图像，以及从观察者左眼看到的MR空间的图像。

视频生成单元403R和403L分别将MR空间的所接收图像转换成作为模拟信号的视频信号，并且将其经由I/F 1207输出到显示设备101R和101L(4020)。

通过以显示设备(101R，101L)的视频更新间隔或短于处理2040的执行时间的间隔，重复执行处理2020～4020，可以实时地呈现信息。

在本实施例中，磁性传感器被用作传感器。但是，取而代之，也可以使用其他类型的传感器，例如超声波传感器等。

在本实施例中，使用旋转编码器来测量可移动部分301的旋转角度。但是，该旋转角度也可以使用其他测量设备来测量，并且本发明并没有特别地局限于该测量设备。

在本实施例中，可移动部分的移动仅仅包括围绕着一个固定轴的旋转。但是，作为“移动”，不但可以包括旋转，而且可以包括诸如平移等的其他移动模式。在这种情况下，可以测量移动量的设备(诸如线性编码器、磁性或光学位置和朝向测量设备等的设备)必须附接于现实对象。

如上所述，当基于由3D-CAD数据生成的3D数据而产生的简单原型具有可移动部分时，可以叠加简单原型以及3D-CG数据，并且可以通过依照可移动部分的移动对基于相同3D数据生成的3D-CG数据进行移动，来叠加和现实简单原型和3D-CG数据。

在本实施例的描述中，简单原型300的位置和朝向是固定的。当将磁性传感器附接于简单原型300来测量其在传感器坐标系中的位置和朝向时，并且当对将要叠加于简单原型300上的虚拟对象的位置和朝向进行相应移动时，该虚拟物体可以始终叠加在简单原型300上。在第三实施例中将对这种处理进行详细描述。

在本实施例中，使用视频透视(see-through)类型的HMD。作为替换，可以使用光学透视类型的HMD。在这种情况下，计算机400不必执行将虚拟空间的图像叠加于现实空间的图像上的处理，即处理4010。在处理4020中，由视频生成单元403R和403L在处理器4010中生成的现实空间的图像(用于右眼和左眼的现实空间的图像)被转换成作为模拟信号的视频信号，并且经由I/F 1207而被输出到显示设备101R和101L。

[第二实施例]

本实施例描述这样一个系统，其中该系统可以将索引布置在简单原型300和可移动部分301上，以便对观察简单原型300(简单实体模型)的观察者的视点的位置和朝向进行校正。

第一实施例例示了这样一种情况，其中观察者的视点的位置和朝向是使用磁性测得的。但是，当使用磁性时，测量精度根据环境而变得不稳定。例如，当磁性发射机附近存在金属物体时，该磁场受到干扰，并且磁性传感器输出不稳定的值。测量精度随着磁性发射机与磁性传感器之间距离的增大而恶化。作为测量设备的另一个示例，光学测量设备是可用的。但是，在这种情况下，当在用于发射光的设备与用于接收光的设备之间存在屏蔽物体时，将无法进行测量。

因此，在本实施例中，捕捉布置在简单原型300和可移动部分301上的索引的图像，而观察者的视点的位置和朝向被使用所捕捉的图像来校正。

例如，这些索引可以通过具有各不相同的颜色的圆形标记(circular marker)或特征点来配置，所述特征点例如是具有各不相同的纹理特征的固有特征。作为替换，四边形索引可以用作所述索引，其中每一个四边形索引都是由具有一定面积的四边形区域形成的。这些索引可以采用任何类型，只要投影在被捕捉图像上的图形的图像坐标可被检测并且这些索引可被单独识别即可。

图5是显示系统外观的视图，其中在把通过将虚拟空间叠加于现实空间所获得的MR空间呈现给观察者(用户)的处理中，当将一个代表具有可移动部分的现实对象(简单原型)的虚拟对象叠加于该现实对象上时，该系统依照该可移动部分的移动来移动虚拟对象中的与可移动部分相对应的部分。

图5中的与图1的相同参考数字表示与图1相同的部分，并且其描述将被省略。图5中的配置与图1的配置的区别在于：索引310和311被分别布置在简单原型300和可移动部分311上。在图5中，布置在简单原型300和可移动部分301中的每一个上的索引的数量是1。但是，该索引的数量并不局限于此。在简单原型300和可移动部分301上可以布置多个索引，但是在简单原型300上也可以不布置索引。

应该指出的是，每一个索引的位置信息和朝向信息都是由一个层坐标系来表述的。也就是说，布置在简单原型300上的索引的位置信息和朝向信息是使用一个简单原型坐标系来描述的(该坐标系将简单原型300上的一个点当作原点，并且把在这个原点的位置处相互垂直的三个轴作为x-、y-、z-轴)。附接于可移动部分301的索引的位置信息和朝向信息是使用可移动部分坐标系来描述的(该坐标系将可移动部分301上的一个点当作原点，并且把在这个原点的位置处相互垂直的三个轴当作x-、y-、z-轴)，其中该坐标系是简单原型坐标系的子坐标系。

图14示出了用于管理索引位置和朝向信息的数据结构的示例。图14示出了这样一种情况，其中布置在简单原型300上的四边形索引(下文中成为正方形标记)的名称是mock_01，并且布置在可移动部分301上的正方形标记的名称是unit_01。参考数字1401表示用以指示世界坐标系与简单原型坐标系(实体模型坐标系)之间关系的坐标变换信息。参考数字1403表示布置于实体模型坐标系上的简单原型300上的正方形标记mock_01的信息(位置和朝向信息，大小信息，ID信息)。

参考数字1402表示用以表示简单原型坐标系(实体模型坐标系)与可移动部分坐标系(单元坐标系，unit coordinate system)之间关系的坐标变换信息。该坐标变换信息1402是基于旋转角度计算单元421的输出而更新的。参考数字1404表示在单元坐标系上附接于可移动部分301的正方形标记unit_01的信息(位置和朝向信息、大小信息、ID信息)。

例如，处于世界坐标系上的正方形标记unit_01的位置和朝向可以通过将基于坐标变换信息1402和坐标变换信息1401的变换应用于unit_01的位置和朝向信息来计算。此外，在世界坐标系上的正方形标记mock_01的位置和朝向可以通过将基于坐标变换信息1401的变换应用于mock_01的位置和朝向信息1403而计算出。

这样，通过使用分层结构来管理索引的位置和朝向信息，可以很容易管理布置在可移动部分与世界坐标系上的索引的位置和朝向信息之间的关系。

图6是示出依照本实施例的计算机400的功能配置的框图。在图6中，与图3相同的参考数字表示相同的部分，并且其描述将被省略。图6的配置与图3的配置的区别在于添加了索引检测单元410，并且位置和朝向计算单元405的功能与图3的不同。

图15是用于计算位置和朝向的处理的流程图，其中该处理是在CPU 1201执行位置和朝向计算单元405中的软件程序时实施的。应该指出的是，在后续处理之前，依照本流程图的程序代码已被加载到RAM 1202上。

在步骤S15000，位置和朝向计算单元405使用从位置和朝向信息输入单元404输入的用以指示磁性接收机201在传感器坐标系上的位置和朝向的数据，以及用以指示简单原型300在传感器坐标系上的位置和朝向的数据，来计算简单原型300相对于磁性接收机201的位置和朝向。

在步骤S15010，位置和朝向计算单元405根据旋转角度计算单元421的输出值来校正布置在可移动部分301上的索引的信息。例如，单元405将来自旋转角度计算单元421的输出值在变换(旋转)状态1402下从实体模型坐标系置换到图14中的单元坐标系。

由于将要在变换状态1402(旋转)下置换的值可以直接从来自旋转角度计算单元421的输出值计算出，因此，布置在可移动部分301上的索引的位置和朝向可以被很容易地实时更新的。

在步骤S15020，位置和朝向计算单元405使用已校正的索引信息以及索引检测单元410检测出的索引的图像坐标信息来校正摄像机的视点的位置和朝向的信息。

依照本实施例，由于布置在可移动部分301上的索引的信息是根据旋转角度计算单元421的输出来调整的，因此，与没有调整索引信息的情况或与可移动部分301上基本不布置索引的情况相比，观察者的视点的位置和朝向可以被更为准确地校正或计算。依照本实施例，由于可以将索引布置在可移动部分之上，因此可以提升索引布置的自由度。

此外，虚拟图像可以根据可移动部分上的索引而被精确地叠加在可移动部分上。

图7是示出用于向观察者的右眼和左眼呈现那些依照位置和朝向而被看到的MR空间的图像的处理序列的示意图。图7中的与4相同的参考数字表示相同的处理，并且其描述将被省略。

在下文中使用图6和7来描述通过使用布置在简单原型300和可移动部分301上的索引来校正观察者的视点的位置和朝向的处理。应该指出的是，除了下文描述的这些要点之外，其他要点与第一实施例中的要点基本上是相同的。

索引被布置简单原型300之上，该简单原型300是基于3D立体数据并且使用诸如铅平板印刷等的快速原型制作设备而生成的(1120)。计算索引的布置位置。计算结果连同由上述等式基于旋转编码器210的测量值而确定的旋转角度一起被记录在外部存储设备1205中(1130)。

在下文中参考图7的右侧来描述通过使用3D-CG绘图数据405来生成虚拟空间的图像(虚拟对象的图像)、将这些图像叠加在现实空间的图像上、并将其呈现给观察者，其中这些处理是由MR系统执行的。

在本实施例中，作为第一实施例的补充，由于摄像机102R和102L捕捉的现实空间的图像被射频捕捉单元401R和401L输入到计算机400，因此，索引检测单元410执行用于从这些图像中提取索引的处理(3011)。借助该提取处理，可以检测出图像中的每个索引的位置。

另一方面，如上所述，当操作者将可移动部分301手动旋转指定角度时，此时的角度可以被计算出。索引在传感器坐标系上的位置和朝向是使用存储在外部存储设备1205上的“布置在可移动部分301上的索引的位置”以及简单原型300的位置和朝向来计算的，而通过将索引旋转该旋转角度所获得的当前索引位置(传感器坐标系上的位置)也被计算出。

借助上述处理，由于附接于可移动部分301的索引在传感器坐标系中的位置以及索引在图像上的位置是可以获取的，因此，磁性接收机201的测量结果可以利用这些位置之间的关系而被校正(2033)。由于这种校正方法是本领域技术人员已知的，因此对其的详细描述将被省略。同样，本发明并不局限于这种特定的校正方法。

因此，在借助前述处理校正了视点的位置和朝向之后，后续处理以与第一实施例中相同的方式执行。

在本实施例中，可移动部分的移动只包括围绕某个旋转轴的旋转。但是，与第一实施例中一样，作为“移动”，可以包含的不但是旋转，而且还可以是其他移动模式，例如平移等等。例如，当线性编码器测量到平移时，该线性编码器的测量值可以以变换(平移)的数值而被从实体模型坐标系置换到图14中的单元坐标系。

在本实施例的描述中，观察者的视点的位置和朝向是使用磁性来测量的，并且是基于索引而被校正的。作为替换，观察者的视点的位置和朝向也可以仅仅基于索引而在不使用磁性的情况下被测量。在摄像调查或类似的领域中已知一种用于从索引的3D坐标位置和图像坐标位置中计算摄像机的位置和朝向的方法(例如，参见R.M.Haralick，，C.Lee，K.Ottenberg以及M.Nolle：Review and analysis of solutions ofthe three point perspective pose estimation problem，InternationalJournal of Computer Vision，vol.13，no.13，pp 331-356，1994.，D.G.Lowe：Fitting parameterized three-dimensional models to images，IEEE Transactions on PAMI，vol.13，no.5，PP.441-450，1991.)。

[第三实施例]

在第三实施例中，简单原型300的位置是固定的。但是，这个实施例将说明这样一种情况，其中当观察者持有简单原型300时，该简单原型300的位置和朝向被改变，并且可移动部分301的位置和朝向可以任意改变。在这种情况下，在简单原型300上附接一个与磁性接收机201相同的磁性接收机。

图8是示出系统外观的视图，其中在把通过将虚拟空间叠加于现实空间所获取的MR空间呈现给观察者(用户)的处理中，当将一个代表了具有可移动部分的现实对象(简单原型)的虚拟对象叠加于该现实对象上时，该系统依照可移动部分的移动来移动虚拟对象中的与可移动部分相对应的部分。

图8中的与图1相同的参考数字表示相同的部分，并且对其的描述将被省略。图8的配置与图1的配置的区别在于使用了简单原型(图8中的摄像机)300’、可移动部分301’、旋转编码器210’以及磁性传感器(接收机)202来替换简单原型300、可移动部分301以及旋转编码器210。

参考数字300’表示摄像机的简单原型，其中该简单原型具有可移动部分301’。与第一实施例中一样，旋转编码器210’被附接，以便测量可移动部分301’的旋转角度。此外，磁性传感器202被附接，以便测量简单原型300’在传感器坐标系上的位置和朝向。

图9是示出用于向观察者的右眼和左眼呈现MR空间的图像的处理序列的示意图，其中所述图像是依照其位置和朝向而被看到的。图9中的与图4相同的参考数字表示相同的处理，并且其描述将被省略。图9的配置与图4的配置的区别在于简单原型300’的位置和朝向是在处理2010中测得的。

更具体的说，在第一实施例中，简单原型300的预定位置和朝向数据是从外部存储设备1205中进行读出而获取的。但是在本实施例中，这些数据是从传感器202中获得的。由此，除了用于获取简单原型300(300’)的位置和朝向的获取方法之外，本实施例实质上与第一实施例是相同的。

[第四实施例]

在本实施例中，第二和第三实施例被组合在一起。更具体的说，简单原型300包括用于在其位置和朝向任意改变时获取所述位置和朝向的磁性传感器202，而索引被布置在简单原型300和可移动部分301上。这样一来，在第二实施例的系统中，视点的位置和朝向的测量精度可以提高。

图10是示出系统的外观的视图，其中在把通过将虚拟空间叠加于现实空间之上所获取的MR空间呈现给观察者(用户)的处理中，当将一个代表了具有可移动部分的现实对象(简单原型)的虚拟对象叠加于该现实对象上时，该系统依照该可移动部分的移动来移动虚拟对象中的与可移动部分相对应的部分。图10中的与图1、5和8相同的参考数字表示相同的部分，并且其描述将被省略。如图10所示，该系统的配置使用依照第二和第三实施例的配置。

图11是示出用于向观察者的右眼和左眼呈现MR空间的图像的处理序列的示意图，其中所述图像是依照其位置和朝向而被看到的。图11中的与图4相同的参考数字表示相同的处理，并且其描述将被省略。

应该指出的是，依照本实施例的处理的描述可以通过在第二和第三实施例的描述中用索引310’和311’替换索引310和311以及用简单原型300’和可移动部分301’替换简单原型300和可移动部分301而给出。

[其他实施例]

通过提供一种记录有可以实施上述的系统或设备实施例的功能的软件的程序代码的记录介质(或存储介质)，以及由系统或设备的计算机(或CPU或MPU)读出并执行存储在该记录介质中的程序代码，也可以实现本发明的目标。在这种情况下，从记录介质中读出的程序代码本身实施上述实施例的功能，并且本发明是由存储有程序代码的记录介质构成的。

上述实施例的功能不但可以通过执行计算机读出的程序代码来实施，而且还可以由运行在计算机上的操作系统(OS)基于程序代码指令所执行的某些或所有实际处理操作来实施。

此外，在将那些从记录介质中读出的程序代码写入功能扩展卡或功能扩展单元的存储器中之后，上述实施例的功能也可以通过由功能扩展卡或功能扩展单元中安装的CPU或类似设备执行的某些或所有实际处理操作来实施，其中所述功能扩展卡或功能扩展单元是基于程序代码的指令而插入到计算机中或与计算机相连的。

在将本发明应用于记录介质时，该记录介质存储与前述流程图相对应的程序代码。

在不脱离本发明的实质和范围的情况下，可以实现本发明的众多显著不同的实施例，由此应该理解，除了所附的权利要求中的限定之外，本发明并不局限于其特定实施例。

本申请要求于2005年4月21日提交的日本申请第2005-123980号的优先权，将该申请通过引用并入本文。

Claims (7)

1.一种用于生成和输出虚拟空间的图像的图像处理方法，其特征在于包括：

第一获取步骤，获取观察者的视点的位置和朝向；

第二获取步骤，获取具有可移动部分的现实对象的位置和朝向；

用于获取可移动部分的移动量的获取步骤；

移动步骤，根据所述移动量来移动虚拟对象中的与可移动部分相对应的部分，所述虚拟对象代表现实对象；

生成步骤，根据观察者的视点的位置和朝向以及现实对象的位置和朝向，来生成当从所述视点观察虚拟对象时看到的图像，所述虚拟对象中的与所述可移动部分相对应的部分在所述移动步骤中被移动；以及

输出步骤，输出在所述生成步骤中生成的图像。

2.根据权利要求1的方法，其特征在于还包括：

输入步骤，输入从所述视点看到的现实空间的图像，并且

所述输出步骤包括一个输出在所述生成步骤中生成的图像并且同时将该图像叠加在所述输入步骤中输入的图像之上的步骤。

3.根据权利要求2的方法，其特征在于还包括：

校正步骤，对在所述第一获取步骤中获取的观察者的视点的位置和朝向进行校正。

4.根据权利要求3的方法，其特征在于还包括：

当将索引布置在现实对象的可移动部分上时，

在保持单元中保持被布置索引的位置和/或朝向的保持步骤，以及

所述校正步骤包括：

检测步骤，从所述输入步骤输入的图像中获取与布置在可移动部分上的索引的图像坐标相关的特征值；以及

计算步骤，根据在所述获取步骤中获取的所述移动量来对布置在可移动部分上的索引的位置和/或朝向进行计算，并且

所述校正步骤使用与所述检测步骤中获得的索引的图像坐标和在所述计算步骤中计算出的索引的位置和/或朝向相关的特征值，来校正在所述第一获取步骤中获取的观察者的视点的位置和朝向。

5.根据权利要求3的方法，其特征在于还包括：

管理步骤，使用坐标系的变换信息来管理与在可移动部分上布置的索引相关联的信息，以及

所述校正步骤包括：

检测步骤，在所述输入步骤中输入的物理空间的图像上获取与在可移动部分上布置的索引的图像坐标相关的特征值；以及

计算步骤，根据在所述获取步骤中获取的移动量来更新变换信息，并且使用已更新变换信息来计算与布置在可移动部分上的索引的图像坐标相关的特征值；并且

所述校正步骤使用与在所述检测步骤中获得的索引的图像坐标相关的特征值以及与在所述计算步骤中计算出的索引的图像坐标相关的特征值来校正在所述第一获取步骤中获取的观察者的视点的位置和朝向。

6.根据权利要求5的方法，其特征在于：坐标系的变换信息包括从世界坐标系变换到固定部分的坐标系的第一变换信息，以及从固定部分的坐标系变换到可移动部分的坐标系的第二变换信息，以及

所述计算步骤根据在所述获取步骤中获取的移动量来更新第二变换信息，并且在世界坐标系中使用已更新的第二变换信息以及第一变换信息来计算与在可移动部分上布置的索引的图像坐标相关的特征值。

7.一种用于生成和输出虚拟空间的图像的图像处理设备，其特征在于包括：

第一获取单元，用于获取观察者的视点的位置和朝向；

第二获取单元，用于获取具有可移动部分的现实对象的位置和朝向；

用于获取可移动部分的移动量的获取单元；

移动单元，用于根据所述移动量来移动代表现实对象的虚拟对象中的、与可移动部分相对应的部分；

生成单元，用于根据观察者的视点的位置和朝向以及现实对象的位置和朝向，来生成当从所述视点观察虚拟对象时看到的图像，所述虚拟对象中的与所述可移动部分相对应的部分被所述移动单元移动；以及

输出单元，用于输出由所述生成单元生成的图像。

Images