CN110431602A - 信息处理系统、用于控制信息处理系统的控制方法和程序 - Google Patents

Abstract

一种信息处理系统，用于属于第一和第二检测设备的相对位置以及其安装方向的信息，所述是生成基于以下执行：第一和第二检测设备提供在真实空间中相互不同的位置处，并且用于对真实空间进行成像并获取三维信息，三维信息包括到真实空间中布置的对象上的预定点的距离数据，以及相对于对象的预定部分的方向的方向信息；第一检测设备获取的到对象上的预定点的距离的数据和关于对象的方向信息；以及第二检测设备获取的到对象上的预定点的距离的数据和关于对象的方向信息。

Description

信息处理系统、用于控制信息处理系统的控制方法和程序

技术领域

本发明涉及信息处理系统、用于控制信息处理系统的控制方法和程序。

背景技术

已研发的信息处理系统使用布置在不同位置处的多个相机对用户进行成像，并通过处理成像获得的图像获取关于用户在真实空间中的三维信息(诸如用户的位置和姿势的信息)。利用该装置，可以进行信息处理，用于在虚拟空间中显示反映用户在真实空间中的位置和姿势等三维信息的虚拟三维图像，并将所得信息提供给诸如游戏的信息处理。

发明内容

[技术问题]

为了进行这样的信息处理，需要设置在真实空间中相互不同位置处的多个相机的相对位置、以及关于多个相机中每一个的视图方向的信息。为此，在过去，用户已经测量了每个相机的相对位置，并将由于测量获得的信息设置到信息处理系统。

然而，为了使用家用游戏机来实现这样的信息处理系统，例如，需要强制用户在玩游戏之前执行上述测量。这给用户带来了沉重的负担。

本发明是鉴于上述情况做出的。本发明的目标之一是提供一种信息处理系统、控制该信息处理系统的方法以及可以使用多个相机促进对处理的设置的程序。

[问题解决方案]

用于解决上述相关技术示例的问题的本发明的一个方面包括：第一和第二检测设备，其提供在真实空间中相互不同的位置处，并且每一个被配置为对真实空间进行成像并获取三维信息，三维信息包括到真实空间中提供的对象上的预定点的距离的数据，以及相对于对象的预定部分的方向的方向信息；以及装置，其被配置为基于以下生成与第一和第二检测设备的相对位置和安装方向相关的信息：到对象上的所述预定点的距离的数据和关于对象的方向信息、第一检测设备获取的距离的数据和方向信息；以及到对象上的预定点的距离的数据和关于对象的方向信息、第二检测设备获取的距离的数据和方向信息。获取关于由与相对位置和安装方向相关的信息已经生成的第一和第二检测设备中的每一个检测到的对象的三维信息，并为预定的处理提供三维信息。

[发明的有益效果]

根据本发明，可以使用多个相机促进对处理的设置。

附图说明

图1是说明根据本发明实施例的信息处理系统配置的示例的框图。

图2是根据本发明实施例解释信息处理系统中世界坐标系的设置示例的辅助的示意图。

图3是说明根据本发明实施例执行相对位置计算处理的成像装置的一个示例的功能框图。

图4描绘了根据本发明实施例解释相对位置计算处理概况的辅助的示意图。

图5是说明根据本发明实施例执行三维信息生成处理的成像装置的一个示例的功能框图。

图6是说明根据本发明实施例的成像装置的操作的示例的流程图。

图7是说明根据本发明实施例的信息处理系统配置的另一个示例的框图。

具体实施方式

将参照附图描述本发明的实施例。如图1中的示例所示，根据本实施例的信息处理系统10包括成像装置11a、11b、…，显示控制装置12a、12b、…，以及服务器装置13。为多个用户中的每一个提供成像装置11a、11b、…中的相应的一个、以及显示控制装置12a、12b、…中的相应的一个。服务器装置13在用户之间共享。应当注意的是，在下面的描述中，当成像装置11a、11b、…和显示控制装置12a、12b、…不需要彼此区分时，成像装置11a、11b、…和显示控制装置12a、12b、…将分别简称为成像装置11和显示控制装置12。此外，显示控制装置12连接到相应的用户穿戴的显示装置20。

应当注意的是，在下面的描述中，根据本实施例的信息处理系统10获取关于真实空间中的多个用户中的每个的姿势的信息，并使用所获取的关于姿势的信息在预定的虚拟空间中布置相应的三维模型，从而生成虚拟空间信息。每个用户都存在于真实空间(称为处理目标空间)的预定范围内。例如，每个用户都出现在用户的房间内。

在本实施例中，为每个用户提供成像装置11，并且其至少包括多个相机111a、111b、…(在多个相机111a、111b、…不需要彼此区分的情况下，以下称为相机111)、控制部分112、存储部分113、以及通信部分114。在本实施例中，相机111被布置在处理目标空间或邻近处理目标空间的真实空间中的相互不同的位置处。安装每个相机111，以便对包含相应用户的处理目标空间进行成像。

相机111例如是深度相机。相机111从相机111布置的位置以预定的视图方向对真实空间中的对象进行成像，并在输出通过成像获取的图像的同时输出距离信息作为数据。在图像数据中的每个点(每个像素)处，距离信息与表示到在对应像素处成像对象的距离的信息相关联。设置相机111的视图方向，以便从相机111的布置位置对用户出现的范围进行成像。

此外，在本实施例中，每个相机111在每一预定的时间重复执行成像，并且在相应的视场中顺序输出通过成像获得的图像数据，以及关于在视场中的每一点处成像的对象的距离的信息。这里，是深度相机的每个相机111a、111b、…测量到视图坐标系(视场中心位于顶部的四角棱锥系统的坐标系)中成像的目标对象的距离，并且在执行相应的透视变换后输出有关成像对象的信息。具体来说，在本实施例中，相机111a、111b、…输出在各自的ξηζ正交坐标系(以下简称相机111的局部坐标系)中的距离信息，其中视场中的横向分别定义为ξa、ξb、…，视场中的竖向分别定义为ηa、ηb、…，并且相机111的深度方向分别定义为ζa、ζb、…，其原点位于相机111a、111b、..的相应位置上(可以是重心位置)。

应当注意的是，相机111之间的轴的比例是相同的。也就是说，当相机111a的ξa改变“1”时世界坐标系中的变化量(自变化前的距离)与当相机111b的ξb改变“1”时世界坐标系中的变化量相同(同样适用于η和ζ轴的每一个)。

控制部分112是诸如中央处理器(CPU)的程序控制设备，并且根据存储部分113中存储的程序进行操作。在本实施例中，控制部分112接收从多个相机111a、111b、…的每一个输出的图像数据和距离信息的输入。此外，控制部分112基于接收到的图像数据和距离信息生成关于相机111a、111b、…的每个相互相对位置的信息。此外，控制部分112基于从每个相机111接收到的图像数据和距离信息，生成与处理目标空间中的对象(特别是用户的身体)相关的三维信息，并将三维信息发送到服务器装置13。这里，三维信息例如由虚拟地设置在处理目标空间中的xyz正交坐标系(世界坐标系)表示，如图2所示。三维信息是当处理目标空间被划分成具有预定形状的小块(例如，立方体形状的块；xi<x<xi+1,yi<y<yi+1,zi<z<zi+1)时关于对象的颜色(至少是用户P的身体的表面)的信息、或者表示每个块中不存在对象的信息的阵列。控制部分112的操作将在后面详细描述。

存储部分113是磁盘设备、存储设备等，并且存储由控制部分112执行的程序。此外，存储部分113还用作控制部分112的工作存储器。通信部分114是网络接口等，并根据从控制部分112输入的指令将图像数据和距离信息发送到服务器装置13。

显示控制装置12包括控制部分121、存储部分122、通信部分123和接口部分124。这里，控制部分121是诸如CPU的程序控制设备，并且根据存储部分122中存储的程序进行操作。在本实施例中，控制部分121通过通信部分123从服务器装置13接收虚拟空间信息。在虚拟空间信息中，在预定的虚拟空间中布置三维模型。然后，控制部分121使用虚拟空间信息、用户在虚拟空间中的位置以及关于用户的视场的信息渲染从用户处观看的该虚拟空间的绘制图像。控制部分121通过接口部分124输出通过渲染获得的图像。在本实施例的一个示例中，控制部分121执行渲染以生成从用户的左眼对应位置观看的虚拟空间的绘制图像(左眼图像)和从用户的右眼对应位置观看的虚拟空间的绘制图像(右眼图像)，并将生成的图像输出到显示装置20。

存储部分122是磁盘设备、存储设备等，并且存储由控制部分121执行的程序。此外，存储部分122还用作控制部分121的工作存储器。通信部分123是网络接口等。通信部分123与服务器装置13通信以接收从服务器装置13发送的三维信息等，并将三维信息等输出到控制部分121。接口部分124连接到用户穿戴的显示装置20，并向显示装置20输出关于绘制图像的信息。

服务器装置13是服务器计算机，并且包括控制部分131、存储部分132和通信部分133。控制部分131是诸如CPU的程序控制设备，并根据存储部分132中存储的程序进行操作。在本实施例中，控制部分131接收由每个用户的成像装置11发送的三维信息。在本实施例的示例中，控制部分131执行游戏程序，并在游戏程序定义的虚拟三维空间(虚拟空间)中的多个预定位置中的每个位置上布置三维模型。布置基于三维信息的三维模型，该三维信息关于由从相应用户的成像装置11接收到的三维信息表示的相应用户。

这里，例如，三维模型生成如下。即，在本实施例的一个示例中，服务器装置13的控制部分131将关于用户的三维信息映射在虚拟空间中，并且在虚拟空间中布置与关于用户的三维信息相对应的图像。

作为一个示例，控制部分131确定关于颜色的信息或者表示要在虚拟空间中的每个点(当虚拟空间由xyz正交坐标系表示时，可以是(X1,Y1,Z1)，(X2,Y1,Z1)，…，(XN,Y1,Z1)，(X1,Y2,Z1)，…，(X1,Y1,Z2)，…，(XN,YM,ZL)中的每个网格点)处布置的不存在对象的信息。然后，控制部分131基于该信息在任何网格点处布置具有关于要布置的颜色的信息的三维模型元素(虚拟三维图形元素)。三维模型元素具有预定的形状(例如，立方体形状)，其重心位于对应的网格点处，并且以该信息表示的颜色着色。此外，在网格点处没有对象的情况下，控制部分131不在该网格点布置任何内容。

此处生成的指示具有预定形状的三维模型元素是否布置在虚拟空间中的每个点的信息对应于三维模型的一个示例。根据这个示例的三维模型，体素至少沿着用户的轮廓被布置。

此外，三维模型不限于此示例。例如，三维模型可以是关于表示包围设置了有关颜色的信息的网格点(存在对象的网格点)的包络面的网格的信息。

以这种方式，服务器装置13的控制部分131可以在虚拟空间中布置每个用户的三维模型，并且可以在虚拟空间中布置表示游戏处理所需的虚拟对象的三维模型(例如，球或类似物)。可通过物理计算(例如，与另一个三维模型(用户的身体等)碰撞的确定、在重力方向上的移动、初始速度的设置等)确定球或类似物的位置。由于这种游戏处理广为人知，这里省略了详细的描述。

此外，服务器装置13的控制部分131向每个用户的显示控制装置12分配有关布置各种三维模型的虚拟空间的信息。

存储部分132是磁盘设备、存储设备等，并且存储由控制部分131执行的程序。此外，存储部分132还作为控制部分131的工作存储器工作。通信部分133是网络接口等，并将从成像装置11接收的信息输出到控制部分131。此外，通信部分133还将从控制部分131输入的信息(关于虚拟空间的信息)分配到显示控制装置12。

显示装置20例如是用户戴在头上的头戴式显示器等。显示装置20显示从显示控制装置12输出的图像数据，以向用户呈现图像数据。在本实施例的一个示例中，显示装置20包括多个标记25，其表示用户在头部穿戴了显示装置20时的用户的头部的背面、头部的侧面和正面(正面的方向)。例如，标记25中的每一个都可以是具有预定形状的发光部分。

显示装置20可包括例如左眼图像显示部分21和右眼图像显示部分22。左眼图像显示部分21呈现给用户的左眼。右眼图像显示部分22呈现给用户的右眼。如上所述，在本实施例的一个示例中，显示控制装置12输出左眼图像和右眼图像。在这种情况下，显示装置20在左眼图像显示部分21上输出和显示左眼图像，同时在右眼图像显示部分22上输出和显示右眼图像。

接下来，将描述成像装置11的控制部分112的操作。在本实施例的一个示例中，如上文所述，控制部分121执行生成关于相机111的相互相对位置的信息的处理(相对位置生成处理)、以及生成和发送三维信息的处理(三维信息生成处理))。因此，将单独描述这些处理。

<相对位置生成处理>

根据本实施例的一个示例的执行相对位置生成处理的控制部分112在功能上包括图像数据接收部分31、距离信息接收部分32、方向检测部分33和相对位置计算部分34，如图3所示。

图像数据接收部分31在预定的时间点(即，在特定时间)接收从每个相机111输出的图像数据，并将图像数据输出到方向检测部分33。距离信息接收部分32在预定的时间点(即，在特定时间)接收从每个相机111输出的距离信息，并将距离信息输出到方向检测部分33和相对位置计算部分34。

方向检测部分33基于图像数据接收部分31在预定时间点(即，在特定时间)从每个相机111接收到的图像数据、以及距离信息接收部分32在预定时间点(即，在特定时间)从每个相机111接收到的距离信息生成矢量信息。矢量信息表示在对应的相机111的局部坐标系中由对应的相机111成像的用户的正面方向。

在本实施例的一个示例中，如上文所述，用户穿戴的显示装置20包括多个标记25。因此，方向检测部分33从每个相机111输出的图像数据中检测例如提供在用户的头部侧面的标记25和提供在用户的正面的标记25，并获取表示相应检测到的标记25类型的信息(例如，该类型指示标记是提供在侧面部分的标记或是提供在正面的标记)以及在其中检测标记25的图像数据的坐标信息。由于这种标记检测处理可以使用公知的图像识别处理，因此此处省略了其详细描述。

也就是说，方向检测部分33检测并获取图像数据中显示装置20的每个标记25的位置(ξi,ηi)(i是分配给每个标记25的编号，i＝1，2，…)(某些标记25的位置可能是未知的)。然后，方向检测部分33从距离信息中提取关于到与图像数据中的每个位置相对应的位置中的被摄物的距离的信息ζi(不包括到位置未知标记25的距离)。

方向检测部分33基于获取的关于每个标记25位置的信息(ξi,ηi,ζi)，估计表示用户头部方向的矢量信息(ξv,ηv,ζv)。例如，方向检测部分33估计用户头部的中心位置，并计算从估计的中心位置连接到用户正面标记位置的矢量，以将计算出的矢量用作表示用户头部方向的矢量信息。

应当注意的是，对于用户头部中心位置的估计，例如，在检测到用户头部左右两侧的标记的情况下，可以将其二者之间的平均位置估计为用户头部的中心位置。此外，例如，在检测到用户头部侧面的标记位置和用户正面的标记位置的情况下，可以基于到正面标记的距离和关于图像数据上头部侧面标记的位置的信息来执行估计用户头部的中心位置的处理。如果每个估计头部中心位置的处理都基于关于每个检测到的标记的位置的信息采用相应的预定方法，则这是足够的。此外，作为另一种方法，方向检测部分33可以通过执行从图像数据识别人类头部的图像识别处理来估计用户头部的中心位置。

方向检测部分33向相对位置计算部分34输出基于来自每个相机111a，111b，…的图像数据和距离信息输入估计出的矢量信息(ξvj,ηvj,ζvj)(j＝a，b，…)。矢量信息(ξvj,ηvj,ζvj)(j＝a，b，…)表示在每个相机111的局部坐标系中的用户头部的方向。

相对位置计算部分34接收已经由方向检测部分33为每个相机111a、111b、…估计的并且在每个相机111的局部坐标系中将用户头部的方向表示为对象的预定部分的矢量信息(ξvj,ηvj,ζvj)(j＝a，b，…)的输入。此外，相对位置计算部分34从输入图像数据中获取作为对象上的预定点的用户头部的预定位置(例如，可以是提供在用户头部正面的显示装置20的标记25的位置)。如果该位置是方向检测部分33检测到的位置，则可从方向检测部分33获取该位置。或者，可以通过相对位置计算部分34从通过图像识别处理中输入的图像数据中获取该位置。

相对位置计算部分34基于在相应的局部坐标系中获取的关于用户头部的预定位置的信息以及表示用户头部在相应局部坐标系中的方向的矢量信息(ξvj,ηvj,ζvj)，为每个相机111a、111b、…获取在原点位于作为对象上的预定点的用户头部的预定位置上的相应局部坐标中的关于相机111的位置和视图方向的信息。

作为一个示例，如图4(a)所示，假定在第一相机111a的局部坐标系中用户头部的位置为(-1、1、3)，并且假定用户头部的方向为(0、0、-1)。假定在第二相机111b的局部坐标系中用户头部的位置为(0、2、4)，并且假定用户头部的方向为(0.7071、0、-0.7071)(注意，)。

首先，相对位置计算部分34计算将原点移动到第一相机111a的局部坐标系中用户头部的位置的第一相机111a的位置。例如，考虑坐标围绕ηa轴旋转的状态(图4(b))。在这种情况下，在ξ’a,ηa,ζ’a坐标系中(这是原点移动到用户头部位置后的坐标系)(ηa保持不变，因为ηa没有变化)，第一相机111a的位置是(-1、-1、3)(ηa的符号相反)。此外，方向是(0，0，-1)，其中ξa和ηa的符号相反。

接下来，相对位置计算部分34旋转地变换第二相机111b的局部坐标系，使得关于第二相机111b的方向的信息与关于第一相机111a的方向的信息匹配。如图4(c)所示，根据该示例的旋转变换对应于在ξb和ζb平面上围绕ηb轴旋转-45度的变换。因此，相对位置计算部分34将用户头部在旋转变换后的位置计算为(2，2，2)，并且方向为(0，0，-1)，其中原点在第二相机111b处。

然后，相对位置计算部分34将原点移动到第二相机111b的局部坐标系中用户头部的位置来计算第二相机111b的位置。在这种情况下，同样地，该处理也类似于第一相机111a的处理。因此，原点移动到用户的头部位置的第二相机111b的位置是(2、-2、2)。此外，方向是(-0.7071，0，-0.7071)，其中ξa和ηa的符号与旋转变换前关于方向的信息相反。

这样，第一相机111a和第二相机111b的局部坐标系彼此匹配，其原点位于用户头部位置。因此，可以获取关于第一相机111a和第二相机111b的相对坐标的信息。在上述示例中，变换后的局部坐标系(彼此匹配的)中的第一和第二相机111a和111b的位置分别为(-1、-1、3)和(2、-2、2)，并且其方向(在这种情况下，视图的方向)分别为(0、0、-1)和(-0.7071、0、-0.7071)。

即使在有三个或多个相机111的情况下，相对位置计算部分34也会执行类似的处理，以获取关于xyz正交坐标系(世界坐标系)中每个相机111的相对位置有关的信息(坐标信息)，在该坐标系中，用户头部的方向被设置为z轴，并且x轴设置为平行于地板，原点位于作为对象上的预定点的用户头部。另外，相对位置计算部分34利用坐标信息获取用于将每个相机111的局部坐标系变换到世界坐标系的变换参数信息。一种变换参数信息的方法在世界坐标系中的原点位置和ζ轴方向已知的情况下执行从局部坐标系到世界坐标系的变换。由于该变换参数信息的方法是广为人知，这里省略了对它的详细描述。

<三维信息生成处理>

接下来，将描述由控制部分112执行的三维信息生成处理。如图5所示，执行根据本实施例的三维信息生成处理的控制部分112功能上包括图像数据接收部分41、距离信息接收部分42、相对位置信息获取部分43、距离信息处理部分44、和三维信息生成处理部分45。

图像数据接收部分41依次接收从每个相机111输出的图像数据，并将图像数据输出到距离信息处理部分44。距离信息接收部分42依次接收从每个相机111输出的距离信息，并将距离信息输出到距离信息处理部分44。相对位置信息获取部分43获取用于将每个相机111的局部坐标系(其已经由控制部分112通过相对位置生成处理计算出)变换到世界坐标系的变换参数信息，并将变换参数信息输出到距离信息处理部分44。

基于从每个相机111输出的距离信息，距离信息处理部分44获取每个相机111在相应相机111的局部坐标系中的视场中每个点(ξ,η)处的到被摄对象的距离信息(ζ(ξ,η))。然后，距离信息处理部分44在相应的局部坐标系中生成视场中的每个点(ξ,η)的成像对象的表面的坐标(ξ,η,ζ(ξ,η))。然后，距离信息处理部分44获取图像数据接收部分41接收到的图像数据中关于对应点(ξ,η)处的颜色的信息，并将获取的颜色存储为关于坐标(ξ,η,ζ(ξ,η))处的颜色的信息。

距离信息处理部分44使用从相对位置信息获取部分43输出的每个相机111的相对位置信息，将每个相机111的局部坐标系中视场中每个点处的成像对象的表面(ξ,η,ζ(ξ,η))变换为原点在用户头部的世界坐标系的值(x，y，z)。因此，距离信息处理部分44可以为每个相机111获取世界坐标系中对应相机111的视场中的被摄物表面的坐标，以及关于被摄物在该坐标处的颜色的信息。距离信息处理部分44向三维信息生成处理部分45输出为每个相机111获取的世界坐标系中关于被摄物的表面的一组坐标的信息，以及关于被摄物在该坐标处的颜色的信息。

三维信息生成处理部分45基于从距离信息处理部分44输入的关于世界坐标系中被摄物的表面的一组坐标的信息和关于被摄物在该坐标处的颜色的信息，记录包含在与关于被摄物的颜色相关的信息相关联的输入信息中的世界坐标系中的坐标。具体地，三维信息生成处理部分45将处理目标空间划分为具有预定形状的小块(例如，立方体形状的块；xi<x<xi+1,yi<y<yi+1,zi<z<zi+1)，并与同该组的对应坐标一起输入的关于被摄物的颜色的信息相关联地记录用于识别小块的每个信息，其包括从距离信息处理部分44输入的世界坐标系中被摄物的表面的坐标。

此时，当三维信息生成处理部分45已经从相互不同的相机111中获取关于在属于同一小块的坐标处的被摄物的颜色的信息片段时，三维信息生成处理部分45选择其中一个信息片段作为要与对应的小块相关联的被摄物的颜色。或者，三维信息生成处理部分45计算获取的关于颜色的信息片段的平均值，并将平均值记录为与坐标相对应的小块中的被摄物的颜色。

以这种方式，在本实施例中，设置关于处理目标空间中虚拟设置的每个小块处的颜色的信息。应当注意的是，表示不存在对象的信息与任何未与该颜色相关的信息相关联地记录的小块相关联并记录。

三维信息生成处理部分45输出其中排列了关于被摄物的颜色的信息或表示处理目标空间中每个小块处不存在对象的信息的阵列数据作为三维信息。

<操作>

根据本实施例的信息处理系统10具有上述配置，并且其操作如下。信息处理系统10的每个用户将相应成像装置11的相机111布置在多个位置，以便相机111能够对用户玩游戏的真实空间中的预定区域进行成像。此时，用户调整相机111的方向，以便相机111可以对用户成像。

当用户将显示装置20穿戴在头部并激活成像装置11时，成像装置11启动图6所示的处理。成像装置11的控制部分112获取作为每个相机111a、111b、…成像的对象上的预定点的用户头部的位置，以及作为每个相机111的局部坐标系中的信息的关于用户头部方向的信息(S1)。

基于在处理S1中获取的信息，控制部分112计算原点位于作为对象上的预定点的用户头部的预定位置处的每个局部坐标处的关于每个相机111的位置和视图方向的信息(S2)。根据此处计算的信息，控制部分112进一步计算用于将每个相机111的局部坐标系变换为世界坐标系的变换参数信息(S3)。

控制部分112基于从每个相机111输出的信息，计算每个相机111的局部坐标系中的视场中每个点处的关于对象的信息。控制部分112将该坐标变换为世界坐标，以获取世界坐标系中的每个点处的关于对象的信息，从而生成三维信息(S4)。

控制部分112为预定的处理(例如，游戏处理)提供生成的三维信息(S5)。具体地，控制部分112将此处生成的三维信息作为游戏处理发送到服务器装置13。

服务器装置13在游戏程序定义的虚拟三维空间(虚拟空间)中的多个预定位置中的相应一个位置处布置由从每个用户的成像装置11接收的三维信息表示的三维模型。如上所述，服务器装置13在游戏程序定义的方法确定的位置中的一个相应位置处布置由从用户的相应成像装置11接收的三维信息的片段表示的三维模型中的每一个。服务器装置13还在虚拟空间中布置表示游戏处理所需的虚拟对象的三维模型(例如，球或类似物)，并通过物理计算(例如，与另一个三维模型(用户的身体等)碰撞的确定、在重力方向上的移动、初始速度的设置等)确定球或类似物的位置。然后，服务器装置13向每个用户的显示控制装置12分配关于其中布置各种三维模型的虚拟空间的信息。应当注意的是，服务器装置13将每个用户在虚拟空间中的位置以及关于每个用户的视场的信息包括到虚拟空间信息中，以便每个用户都能被识别。

显示控制装置12从服务器装置13接收其中三维模型布置在预定的虚拟空间中的虚拟空间信息。显示控制装置12使用接收到的虚拟空间信息、用户在虚拟空间中的位置以及关于用户视场的信息来渲染从用户处观看的虚拟空间的绘制图像，并将通过渲染获得的图像输出到用户所穿戴的显示装置20。

本实施例的一个示例以该方式配置。通过这种配置，当每个用户在用户的房间中布置多个相机111并激活相应的成像装置11时，成像装置11获取对象上的预定点(如用户身体的一部分)以及每个相机111的局部坐标系中的预定点的方向，并且然后从中计算出相互变换的参数。因此，在不强制用户执行麻烦的安装工作(如强制用户测量布置相机111的位置)的情况下，可以获取关于对应用户的三维信息。

<生成相对位置的另一个示例>

在本实施例的一个示例中，如上所述，用户穿戴的显示装置20检测多个标记25以估计表示作为对象上的预定点的用户头部的位置和方向的矢量信息(ξv,ηv,ζv)。然而，本实施例并不限于此。

例如，在本实施例的一个示例中，相机111可以包括骨架跟踪设备。骨架跟踪设备从图像数据和诸如到图像的距离的信息来估计作为被摄物的用户身体的各部分的位置，并计算和输出用户的骨架模型数据(如头部中心、颈关节的位置、肩关节的位置等信息)。由于这种骨架跟踪设备广为人知，这里省略了它的详细描述。

以这种方式，在相机111包括骨架跟踪设备的情况下，在由骨架跟踪设备获取的关于用户骨架的各部分的位置信息片段中的关于与预定对象上的预定点最近的部位的位置的信息(在上述示例中，用户头部的位置，特别是用户头部正面的显示装置20的标记25的位置)被用于计算关于对应相机111的视场中的对象上的预定点的位置信息(作为骨架跟踪设备的相机111的局部坐标系中的位置信息)。

在这种情况下，控制部分112通常可以从关于骨架模型的信息中获取用户头部的中心位置。因此，控制部分112通过将作为骨架跟踪设备的相机111的局部坐标系中的位置信息偏移对应于普通用户的体型的预定量，计算出估计为位于用户头部正面的显示装置20的标记25的位置的位置。

此外，控制部分112可以基于骨架跟踪设备计算的关于预定关节的位置信息的片段获取关于用户身体的平面的信息。相应地，控制部分112计算该平面的法向，并估计表示对象上预定点的方向的矢量信息(ξv,ηv,ζv)，其中面向相机111侧的一侧作为正面(或通过参考肘关节位置等来确定正面)。

此后，执行与上述处理类似的处理，以基于作为对象的预定部分的用户头部的位置和表示已经为每个相机111a、111b、…估计的每个相机111的局部坐标系中的用户头部方向的矢量信息(ξvj,ηvj,ζvj)(j＝a,b,…))，获取关于原点位于用户头部的预定位置的每个局部坐标处的对应相机111的位置和视图方向的信息。

然后，得到关于xyz正交坐标系(世界坐标系)中每个相机111的相对位置的信息(坐标信息)。在xyz正交坐标系(世界坐标系)中，用户头部的方向设置为z轴，并且x轴设置为与地板平行，其原点位于作为对象上的预定点的用户的头部。此外，从该坐标信息中获取用于将每个111相机的局部坐标系变换为世界坐标系的变换参数信息。

<检测对象上的点的另一个示例>

此外，在本实施例的另一个示例中，控制部分112可以在每个相机111获取的图像数据上执行分段处理，以识别预定的注意部分(如用户身体的一部分)并提取包括注意部分中包含的预定特征的点(边缘部分等)。控制部分112可从每个相机111捕获的图像中获取与对象的相同点(注意点)相对应的位置的信息。

在这种情况下，在控制部分112已经基于一部分相机111(称为参考相机)获取的信息获取了关于提取的注意点的方向的信息的情况下，控制部分112可以生成关于对象的三维信息。因此，控制部分112可以基于生成的三维信息，通过计算关于原点位于注意点的相机111的相对位置的信息，获取用于将不是参考相机的相机111的局部坐标系变换为世界坐标系的变换参数信息。

具体地，在控制部分112已经从第一和第二相机111a和111b的每一个获取的信息中得到关于注意点的位置和方向的信息的情况下，控制部分112获取关于原点位于注意点的第一和第二相机111a和111b中每一个的位置的信息，并且获取关于第一和第二相机111a、111b的相对位置的信息。然后，控制部分112获取用于将第一和第二相机111a、111b的局部坐标系变换为世界坐标系的变换参数信息。控制部分112基于第一和第二相机111a和111b获取的信息，通过计算关于世界坐标系中对象上每个点的位置的信息，生成关于对象的三维信息。

与之相比，在第三相机111c未获得注意点的位置或方向的情况下，控制部分112基于第三相机111c成像的图像数据，使用三维同步定位与建图(SLAM)方法生成关于该对象的三维信息。然后，控制部分112将基于第一和第二相机111a和111b获取的信息生成的关于对象的三维信息与基于第三相机111c成像的图像数据生成的关于对象的三维信息进行比较，并获取与第三相机111c的局部坐标中的点相对应的世界坐标系中的坐标值。然后，基于此处得到的与第三相机111c的局部坐标中的点相对应的世界坐标系中坐标值，控制部分112获取用于将第三相机111c的局部坐标变换为世界坐标系的变换参数信息。

<游戏处理的另一个示例>

此外，在上述描述中，信息处理系统10将成像装置11获取的信息发送给服务器装置13，服务器装置13执行游戏处理。然而，本实施例并不限于此。

根据本发明实施例的一个示例的信息处理系统包括成像装置11和游戏处理装置14，如图7所示。这里，由于成像装置11与上文所述的成像装置11相似，因此省略了对其的重复描述。游戏处理装置14例如是家用游戏机。游戏处理装置14接收从成像装置11输出的三维信息的输入，在虚拟游戏空间中布置由三维信息表示的对象，并执行预定的游戏处理。此外，游戏处理装置14将图像数据与游戏处理相关联地输出到连接到游戏处理装置14或显示装置20的监视器，使监视器或显示装置20输出和显示图像数据。

在本实施例的这个示例中，同样地，当用户将多个相机111布置在用户玩游戏的房间中并激活成像装置11时，成像装置11获取对象上的预定点(如用户身体的一部分)和每个相机111的局部坐标系中的对象的方向。然后从中计算相互变换的参数。因此，在不强制用户执行麻烦的安装工作(如强制用户测量布置相机111的位置)的情况下，可以获取关于用户的三维信息。因此，关于用户的三维信息可用于游戏处理装置14中的游戏处理。

<与地板接触位置的估计>

应当注意的是，成像装置11可以基于相机111成像的图像数据以及距离信息识别地板，并且输出世界坐标系中代表地板位置的坐标信息(例如，关于估计要出现在地板上的三个点的坐标信息)。

关于地板位置的信息可以输出到服务器装置13或游戏处理装置14，并且当服务器装置13或游戏处理装置14在虚拟空间中布置用户的三维模型时，可以用作参考位置。具体地，服务器装置13将虚拟空间中与地面或地板相对应的位置与从成像装置11输入的地板位置相匹配，并布置从成像装置11输入的对象的三维模型。

或者，在成像装置11的相机111包括骨架跟踪设备的情况下，成像装置11可以输出从骨架跟踪设备输出的用户的脚骨的位置(世界坐标系中的坐标值)作为关于地板位置的信息。在这种情况下，同样地，当服务器装置13或游戏处理装置14在虚拟空间中布置用户的三维模型时，该信息也用作参考位置。

根据本实施例的这个示例，由相应的成像装置11获取关于用户和为每个用户(每个成像装置11)检测到的地板之间的接触位置的信息，并输出到服务器装置13或游戏处理装置14。当服务器装置13或游戏处理装置14在虚拟空间中布置相应用户的三维模型时，服务器装置13或游戏处理装置14将关于接触位置的信息用作参考位置。例如，这样可以使显示在虚拟空间中反映用户的高度，并防止用户的一部分穿透地板的不自然的绘图。

<修改>

此外，在上述描述中，提供在用户侧的成像装置11和显示控制装置12可以是集成装置。在这种情况下，可以共享每个硬件资源；例如，控制部分112和控制部分121可以由共享处理器实现。同样，成像装置11和游戏处理装置14可以是集成装置。

[参考符号列表]

10 信息处理系统，

11 成像装置，

12 显示控制装置，

13 服务器装置，

14 游戏处理装置，

20 显示装置，

21 左眼图像显示部分，

22 右眼图像显示部分，

25 标记，

31 图像数据接收部分，

32 距离信息接收部分，

33 方向检测部分，

34 相对位置计算部分，

41 图像数据接收部分，

42 距离信息接收部分，

43 相对位置信息获取部分，

44 距离信息处理部分，

45 三维信息生成处理部分，

111 相机，

112、121、131 控制部分，

113、122、132 存储部分，

114、123、133 通信部分，

124 接口部分。

Claims (5)

1.一种信息处理系统，其获取并处理关于真实空间中提供的对象的三维信息，所述信息处理系统包括：

第一和第二检测设备，其提供在所述真实空间中相互不同的位置处，并且每一个被配置为对所述真实空间进行成像并获取所述三维信息，所述三维信息包括到所述真实空间中提供的所述对象上的预定点的距离的数据，以及相对于所述对象的预定部分的方向的方向信息；以及

装置，其被配置为基于以下生成与所述第一和第二检测设备的相对位置和安装方向相关的信息：到所述对象上的所述预定点的所述距离的所述数据和关于所述对象的所述方向信息、所述第一检测设备获取的所述距离的所述数据和所述方向信息；以及到所述对象上的所述预定点的所述距离的所述数据和关于所述对象的所述方向信息、所述第二检测设备获取所述距离的所述数据和所述方向信息，

其中，获取关于由与所述相对位置和所述安装方向相关的信息已经生成的所述第一和第二检测设备中的每一个检测到的所述对象的所述三维信息，并将为预定的处理提供所述三维信息。

2.根据权利要求1所述的信息处理系统，

其中所述预定的处理

通过至少在与所述对象上的每个位置相对应的虚拟空间中每个点处布置预定的三维模型元素，生成虚拟空间信息，并且

使用所述生成的虚拟空间信息生成通过渲染从用户的视点观看的图像获得的图像，并将所述图像呈现给所述用户。

3.根据权利要求1或2所述的信息处理系统，还包括：

第三检测设备，其提供在所述真实空间中与所述第一第二检测设备的所述位置不同的位置处，并被配置为对所述真实空间中提供的所述对象进行成像，并且获取关于所述真实空间中的所述对象的所述三维信息，

其中，所述装置被配置为通过将基于所述第一和第二检测设备中的每一个获得的信息形成的关于所述对象的所述三维信息和基于所述第三检测设备获得的信息形成的关于所述对象的所述三维信息进行比较，生成与所述第三检测设备相对所述第一和第二检测设备的相对位置和安装方向相关的信息。

4.一种用于控制信息处理系统的方法，其获取并处理关于真实空间中提供的对象的三维信息，所述信息处理系统包括：

第一和第二检测设备，其提供在所述真实空间中相互不同的位置处，并且每一个被配置为对所述真实空间进行成像并获取所述三维信息，所述三维信息包括到所述真实空间中提供的所述对象上的预定点的距离的数据，以及相对于所述对象的预定部分的方向的方向信息，所述方法包括：

使所述信息处理系统基于以下生成与所述第一和第二检测设备的相对位置和安装方向相关的信息：到所述对象上的所述预定点的所述距离的所述数据和关于所述对象的所述方向信息、所述第一检测设备获取的所述距离的所述数据和所述方向信息；以及到所述对象上的所述预定点的所述距离的所述数据和关于所述对象的所述方向信息、所述第二检测设备获取所述距离的所述数据和所述方向信息；以及

使所述信息处理系统获取关于由与所述相对位置和所述安装方向相关的信息已经生成的所述第一和第二检测设备中的每一个检测到的所述对象的所述三维信息，并且为预定的处理提供关于所述对象的所述三维信息。

5.一种程序，使信息处理系统获取并处理关于真实空间中提供的对象的三维信息，所述信息处理系统包括：

第一和第二检测设备，其提供在所述真实空间中相互不同的位置处，并且每一个被配置为对所述真实空间进行成像并获取所述三维信息，所述三维信息包括到所述真实空间中提供的所述对象上的预定点的距离的数据，以及相对于所述对象的预定部分的方向的方向信息，所述程序用作：

装置，其被配置为基于以下生成与所述第一和第二检测设备的相对位置和安装方向相关的信息：到所述对象上的所述预定点的所述距离的所述数据和关于所述对象的所述方向信息、所述第一检测设备获取的所述距离的所述数据和所述方向信息；以及到所述对象上的所述预定点的所述距离的所述数据和关于所述对象的所述方向信息、所述第二检测设备获取所述距离的所述数据和所述方向信息；以及

装置，其被配置为获取关于由与所述相对位置和所述安装方向相关的信息已经生成的所述第一和第二检测设备中的每一个检测到的所述对象的所述三维信息，并且为预定的处理提供关于所述对象的所述三维信息。