CN111033573A - 信息处理装置、系统、图像处理方法、计算机程序及存储介质 - Google Patents

Abstract

信息处理设备根据从真实物体信息获取单元获取的真实物体信息来生成表示被检测的真实物体的第一虚拟物体。信息处理设备：根据第一虚拟物体与第二虚拟物体的接触确定结果来确定第一虚拟物体的显示状态；基于包括第一虚拟物体和第二虚拟物体的虚拟空间、HMD的位置姿势、确定的显示状态以及从HMD获取的真实空间图像来生成结合有虚拟空间的图像与真实空间的图像的混合现实图像；以及在头戴式显示器(HMD)上显示混合现实图像。

Description

信息处理装置、系统、图像处理方法、计算机程序及存储介质

技术领域

本发明涉及一种用于检测物理空间中的物理物体(以下简称为“物理物体”)与虚拟空间中的虚拟物体(以下简称为“虚拟物体”)之间的触碰的信息处理装置。

背景技术

为了实现物理空间和虚拟空间之间的无缝连接，积极地进行对MR(混合现实)系统的研究。在MR系统中，例如，HMD(头戴式显示器)经常用作显示设备。MR系统也用于工业领域，例如，在无需制造原型的情况下实现真实的模拟。例如，可以通过将工厂的虚拟空间叠加在物理空间上来模拟工厂中的布局。在那种场合，为了进行诸如关于当虚拟物体放置在工厂中的某处时手是否可以到达虚拟空间中的虚拟物体的模拟，需要检测作为物理物体的手与虚拟物体之间的触碰。

当在结合有物理空间与虚拟空间的混合现实空间中，向用户呈现物理物体之间或物理物体与虚拟物体之间的触碰时，需要将这两个物体如何相互触碰可视化。但是，在某些情况下，可视化使用户无法识别物理物体。为了解决这种问题，日本特开2017-033299号公报公开了这样一种技术：当虚拟物体彼此触碰时，留下触碰轨迹以清楚地指示触碰。

发明内容

技术问题

然而，日本特开2017-033299号公报中公开的技术针对虚拟物体之间的触碰，其没有讨论向用户呈现物理物体之间或物理物体与虚拟物体之间的触碰的要点。本发明的主要目的是提供一种信息处理装置，该信息处理装置向用户呈现物理物体之间或物理物体与虚拟物体之间的触碰。

技术方案

本发明提供了一种信息处理装置，其包括：拍摄图像获取部，其从图像摄取设备获得物理空间图像，所述物理空间图像是物理空间的图像；位置朝向信息获取部，其获取表示图像摄取设备的视点的位置和朝向的位置朝向信息；虚拟物体创建部，其检测物理空间中的物理物体并创建表示检测到的物理物体的第一虚拟物体；触碰检测部，其检测第一虚拟物体与第二虚拟物体之间的触碰；确定部，其根据触碰检测部的检测结果来确定第一虚拟物体的显示状态；混合现实图像创建部，其基于包括第一虚拟物体和第二虚拟物体的虚拟空间、位置朝向信息、显示状态以及物理空间图像，创建结合有虚拟空间的图像与物理空间图像的混合现实图像；以及图像输出部，其输出要在预定显示设备上显示的所创建的混合现实图像。

发明的有益效果

根据本发明，能够向用户呈现物理物体之间或物理物体与虚拟物体之间的触碰。

附图说明

图1是MR系统的框图。

图2是信息处理装置的硬件框图。

图3是表示图像处理的流程图。

图4是示出了作为物理物体的手与虚拟物体触碰的情况的说明图。

具体实施方式

下面将参考附图详细描述实施例。以下实施例公开了实际实现本发明的示例，并且代表权利要求中所述特征的实际示例。

(系统构造)

图1是包括根据本实施例的信息处理装置的MR系统的框图。MR系统包括信息处理装置1000、作为头戴式显示设备的示例的HMD 1200、显示设备1300以及物理物体信息获取单元1400。信息处理装置1000以有线或无线方式连接至HMD 1200、显示设备1300和物理物体信息获取单元1400中的各个。

信息处理装置1000根据从物理物体信息获取单元1400获得的用于检测物理空间中的物理物体的物理物体信息(例如，立体图像或距离图像)来检测物理物体之间或物理物体与虚拟物体之间的触碰。根据检测结果，信息处理装置1000结合从HMD 1200获得的物理空间的图像(即，物理空间图像)和虚拟空间的图像(即，虚拟空间图像)来创建混合现实空间的图像(即，混合现实图像)。信息处理装置1000在HMD 1200和显示设备1300中的至少一个上显示如上所述创建的混合现实图像。物理物体信息获取单元1400由用于获取物理物体信息的立体相机或距离图像相机构成。显示设备1300是通用FPD(平板显示器)或CRT(阴极射线管)。当用户仅是佩戴HMD 1200的人时，不需要显示设备1300。当多个用户需要确认与呈现给佩戴HMD 1200的人的混合现实图像相同的混合现实图像时，使用显示设备1300。

(HMD)

HMD 1200包括用于右眼的图像摄取单元1210R、用于左眼的图像摄取单元1210L、用于右眼的图像显示单元1220R以及用于左眼的图像显示单元1220L。图像摄取单元1210R和1210L是用于拍摄物理空间的图像并且将拍摄图像作为物理空间图像输入到信息处理装置1000的图像摄取设备。当用户在他或她的头上佩戴HMD 1200的情况下，图像摄取单元1210R定位于拍摄与用户的右眼的可视范围类似的范围内的图像的位置处，并且图像摄取单元1210L定位于拍摄与用户的左眼的可视范围类似的范围内的图像的位置处。因此，由图像摄取单元1210R和1210L拍摄的物理空间图像是包括用户的可视范围的立体图像。

图像显示单元1220R和1220L均是由液晶屏幕等构成的显示设备。在用户在他或她的头上佩戴HMD 1200的状态下，图像显示单元1220R和1220L布置在HMD 1200上，使得图像显示单元1220R位于用户的右眼的前方并且图像显示单元1220L位于用户的左眼的前方。在图像显示单元1220R和1220L上显示具有视差的图像。因此，HMD 1200向用户呈现立体图像。图像显示单元1220R和1220L显示由信息处理装置1000创建的混合现实图像。

如上所述，本实施例中的HMD 1200是视频透视型，其在图像显示单元1220R和1220L上显示基于由图像摄取单元1210R和1020R拍摄的物理空间图像来创建的混合现实图像。然而，HMD 1200可以是光学透视型，其在能够以透射观看(transmission viewing)的方式观察物理空间的显示介质上以叠加的方式显示虚拟空间图像。

(信息处理装置)

信息处理装置1000用作拍摄图像获取部分1010和视点信息测量部分1020，以对从HMD 1200获得的物理空间图像执行处理。信息处理装置1000还用作物理物体检测部分1030、虚拟化部分1040，虚拟物体保持部分1060、触碰检测部分1070以及显示切换部分1080，以对从物理物体信息获取单元1400获得的物理物体信息执行处理。此外，信息处理装置1000用作混合现实空间创建部分1090和图像输出部分1100，以在HMD 1200和显示设备1300中的至少一个上显示混合现实图像。

上述功能可以通过硬件来实现，但是在本实施例中通过执行计算机程序来用软件来实现。为此，信息处理装置1000具有图2所示的硬件构造。信息处理装置1000包括CPU(中央处理单元)2010，ROM(只读存储器)2020和RAM(随机存取存储器)2030。信息处理装置1000还包括输入接口(I/F)2040和输出接口(I/F)2050。CPU 2010，ROM 2020，RAM 2030，输入I/F2040和输出I/F 2050经由总线2000以可通信的方式互连。

当RAM 2030用作工作区域的同时，CPU 2010通过执行从ROM 2020读取的计算机程序来控制信息处理装置1000的操作。操作系统(OS)，与本实施例有关的各种处理程序，设备驱动程序等被存储在ROM 2020中，并且在被临时存储在RAM 2030中之后由CPU 2010执行。输入I/F 2040连接到HMD 1200和物理物体信息获取单元1400，并且其从HMD 1200和物理物体信息获取单元1400获得表示为信息处理装置1000能够处理的格式的图像、信息等的信号。输出I/F 2050连接到HMD 1200和显示设备1300，并且其输出表示为HMD 1200和显示设备1300能够处理的格式的图像的信号。将在下面描述信息处理装置1000的各种功能。

拍摄图像获取部分1010从HMD 1200获得由图像摄取单元1210R和1210L拍摄的物理空间图像。拍摄图像获取部分1010将获得的物理空间图像发送到视点信息测量部分1020和混合现实空间创建部分1090。

视点信息测量部分1020对从拍摄图像获取部分1010获得的物理空间图像执行图像处理，并提取表示每个图像中的特征(例如点，线和标记)的信息(特征信息)。视点信息测量部分1020通过使特征信息的图像中的位置与预先准备的空间的布局相对应来测量视点的位置-方向。视点信息测量部分1020将表示测量结果的位置-方向信息发送到混合现实空间创建部分1090。位置方向信息表示HMD 1200的位置和HMD 1200朝着的方向(即，注视方向)。因此，视点信息测量部分1020具有获得位置朝向信息的功能。

尽管在本实施例中通过对可视图像执行图像处理来测量位置和朝向，但是可以通过使用例如利用红外光拍摄的图像或由超声波传感器或磁传感器检测到的结果来获得物理物体的位置和朝向。可替代地，物理物体的位置和朝向可以通过使用由距离传感器拍摄的距离图像来获得，或者可以以机械方式来测量。

物理物体检测部分1030从物理物体信息获取单元1400获得物理物体信息。物理物体检测部分1030从获得的物理物体信息中检测物理空间中的物理物体，并将检测结果和物理物体信息发送到虚拟化部分1040。

虚拟化部分1040基于从物理物体检测部分1030获得的物理物体的检测结果和物理物体信息两者，创建表示物理空间中的物理物体的虚拟物体，从而将物理空间中的物理物体虚拟化为虚拟空间中的虚拟物体。虚拟化部分1040进行控制以在虚拟物体保持部分1060中保持与所创建的虚拟物体的形状、所创建的虚拟物体在虚拟空间中的位置和朝向等有关的信息。例如，可以通过使用可从Surreal Vision Ltd.获得的KinectFusion(注册商标)来进行物理空间中的物理物体到虚拟空间中的虚拟物体的虚拟化。KinectFusion意味着使用Kinect(注册商标)进行实时三维重建。当通过使用KinectFusion进行到虚拟物体的虚拟化时，将距离图像相机用作物理物体信息获取单元1400。首先，虚拟化部分1040根据从距离图像相机获得的作为物理物体信息的距离图像在物理物体表面上产生一组点。然后，虚拟化部分1040通过如下步骤来进行三维重构：基于ICP(迭代最近点)估计相机的位置和朝向，创建三维物体，以及执行渲染。虚拟化部分1040可以通过KinectFusion以外的方法进行物理物体到虚拟物体的虚拟化(即，虚拟物体的创建)。

虚拟物体保持部分1060保持关于构成虚拟空间的虚拟物体的信息(例如，虚拟物体的形状及其在虚拟空间中的位置-朝向)，关于照射虚拟空间的光源的信息(例如光源的位置-朝向)，以及关于虚拟空间的信息。虚拟物体保存部分1060还不仅保持关于由虚拟化部分1040创建的虚拟物体的信息，而且保持关于通过执行计算机程序创建的虚拟物体的信息。此外，虚拟物体保存部分1060保持关于由虚拟化部分1040从多个物理物体创建的多个虚拟物体的信息。在虚拟物体保存部分1060中保持的那些各种类型的信息由触碰检测部分1070和混合现实空间创建部分1090读取。

触碰检测部分1070检测虚拟物体之间的触碰，并将检测结果发送到显示切换部分1080。由于检测虚拟物体之间的触碰的技术是已知的，因此省略对该技术的描述。

显示切换部分1080根据对虚拟物体之间的触碰的检测的结果，确定已经依据物理物体信息虚拟化的虚拟物体的显示状态。当依据物理物体信息虚拟化的虚拟物体与另一虚拟物体触碰时，显示切换部分1080将相关虚拟物体设置为要显示(可视化)。当两个物体彼此不触碰时，显示切换部分1080将相关虚拟物体设置为不显示(不可视化)。显示切换部1080进行控制，以将表示虚拟物体的显示状态的信息与关于虚拟物体的信息相关联地保持在虚拟物体保持部1060中。尽管在该实施例中假定以单色显示虚拟物体，但是例如可以通过将虚拟物体显示为线框、以闪烁方式显示虚拟物体、以半透明的形式显示虚拟物体或根据与触碰位置的距离利用渐变显示虚拟物体来使虚拟物体可视化。

混合现实空间创建部分1090基于虚拟物体保持部分1060中保持的虚拟物体和作为视点信息测量部分1020的测量结果给出的视点位置朝向信息两者来创建虚拟空间图像。此处创建的虚拟空间图像是在从HMD 1200的由位置朝向信息表示的位置和朝向来观看包括虚拟物体保持部1060中保持的虚拟物体的虚拟空间时获得的图像。换句话说，虚拟空间图像作为在与物理空间图像的朝向和范围相同的朝向和范围的条件下拍摄的图像给出。混合现实空间创建部1090通过将从拍摄图像获取部1010获得的物理空间图像叠加在所创建的虚拟空间图像上，来执行对混合现实空间的图像的创建(即，混合现实图像的创建)。混合现实空间创建部分1090将所创建的混合现实图像发送到图像输出部分1100。因为创建在从由位置朝向信息表示的预定位置观看虚拟物体时所获得的虚拟空间的技术是已知的，所以省略对该技术的详细描述。

图像输出部分1100将从混合现实空间创建部分1090获得的混合现实图像发送到HMD 1200和显示设备1300中的至少一个。HMD 1200通过图像显示单元1220R和1220L显示从图像输出部分1100获得的混合现实图像。显示设备1300也显示从图像输出部分1100获得的混合现实图像。

(处理)

图3是表示上述MR系统中的包括物理物体触碰检测的图像处理的流程图。在图像处理中，创建并显示混合现实图像。此处，例如，假设物理物体是用户的手，并且检测手是否与虚拟物体触碰。当然，物理物体不限于手。

在信息处理装置1000中，物理物体检测部分1030从物理物体信息获取单元1400获得与用户的手相关的物理物体信息(S3000)。虚拟化部分1040从物理物体检测部分1030获得关于手的物理物体信息，并从物理物体信息创建手的虚拟物体(多边形)(S3100)。从而将物理空间中的手虚拟化为虚拟物体。手多边形被保持在虚拟物体保持部分1060中。显示切换部分1080将保持在虚拟物体保持部分1060中的手多边形设置为不显示(S3200)。

触碰检测部1070检测保持在虚拟物体保持部1060中的手多边形是否与其他虚拟物体触碰(S3300)。如果检测结果示出手形多边形与其他虚拟物体触碰(S3400：是)，则显示切换部分1080将手形多边形设置为要显示(S3500)。如果检测到的结果示出手形多边形没有与其他虚拟物体触碰(S3400：否)，则显示切换部分1080将手形多边形设置为不显示(S3600)。

混合现实空间创建部分1090基于保持在虚拟物体保持部分1060中的虚拟物体、作为视点信息测量部分1020的测量结果的位置朝向信息以及从拍摄图像获取部分1010获得的物理空间图像来创建混合现实图像(S3700)。图像输出部分1100将创建的混合现实图像输出到HMD 1200(S3800)。信息处理装置1000确定在输出混合现实图像之后是否要结束处理(S3900)。如果不结束处理(S3900：否)，则信息处理装置1000重复执行S3000和后续步骤中的处理。如果要结束处理(S3900：是)，则信息处理装置1000立即结束处理。

利用根据本实施例的上述信息处理装置1000，仅当虚拟化的物理物体与其他虚拟物体触碰时，虚拟化物理物体，并且将虚拟化的物理物体的图像可视化。因此，可以在不干扰由HMD 1200拍摄的在现实世界中的图像的情况下向用户呈现物理物体与虚拟物体之间的触碰。此外，当另一个虚拟物体也是虚拟化的物理物体的图像时，可以向用户呈现物理物体之间的触碰。

由于与其他虚拟物体的触碰而已经可视化的虚拟物体即使在触碰状态被清除之后也可以继续可视化。在这种情况下，可以进行控制，使得相关虚拟物体对于和其发生触碰的其他虚拟物体的相对位置相对于在发生触碰时的位置保持不变。这可以通过在发生触碰时保持相对位置，并且通过将虚拟物体绘制成定位在相对于作为参考的其他虚拟物体的相对位置处来实现。图4是示出作为物理物体的手与虚拟物体触碰的情况的说明图。作为物理物体的手4020被虚拟化为虚拟物体。

当其他虚拟物体4010与手4020的虚拟物体彼此不触碰时，不显示虚拟化的手4030，并且用户只能观看到作为物理物体的手4020。当其他虚拟物体4010与手4020的虚拟物体彼此触碰时，可视化并且显示虚拟化的手4030。那时，将虚拟化的手4030对于其他虚拟物体4010的相对位置固定在恒定位置。

由于虚拟化的手4030对于其他虚拟物体4010的相对位置在虚拟化的手4030被可视化的状态下被固定到恒定位置，因此可以向用户呈现物理物体与虚拟物体之间的触碰条件(即，物体彼此如何触碰)。

在以上描述中，由信息处理装置1000的一个单元执行包括物理物体触碰检测的图像处理。然而，可以由包括信息处理装置1000的多个单元的系统来执行包括物理物体触碰检测的图像处理。换句话说，多个信息处理装置中的各个都可以执行触碰检测。可以将各个信息处理装置的触碰检测结果收集到任何一个信息处理装置，并且这一个信息处理装置可以利用基于那些触碰检测结果的综合判断来确定虚拟化的物理物体是否要可视化。可以根据各个信息处理装置的触碰检测结果来改变表示虚拟物体的方式。例如，可以根据触碰时间和触碰区域来改变虚拟物体的亮度、颜色、轮廓等。

本发明还可以通过以下处理来实现：经由网络或存储介质向系统或设备提供用于实现上述实施例的一个或更多个功能的一个或更多个程序，并使系统或设备中的一个或更多个处理器读取一个或更多个程序并执行读取的(多个)程序。可替代地，本发明还可以通过实现一个或更多个功能的电路(例如，ASIC)实现。

上述实施例中的任何一个都表示实现本发明的实例，并且本发明的技术范围不应由上述实施例在限制意义上解释。换句话说，在不脱离本发明的技术范围或主要特征的情况下，可以以各种形式来实现本发明。

本发明不限于上述实施例，并且可以在不脱离本发明的精神和范围的情况下进行各种改变和修改。因此，此处所附权利要求书使本发明的范围向公众公开。

本申请要求于2017年8月22日提交的日本专利申请第2017-159101号的优先权，其全部内容通过引用合并于此。

Claims (14)

1.一种信息处理装置，其包括：

拍摄图像获取部，其从图像摄取设备获得物理空间图像，所述物理空间图像是由图像拾取设备拍摄的物理空间的图像；

位置朝向信息获取部，其获取表示图像摄取设备的视点的位置和朝向的位置朝向信息；

虚拟物体创建部，其检测物理空间中的物理物体并创建表示检测到的物理物体的第一虚拟物体；

触碰检测部，其检测第一虚拟物体与第二虚拟物体之间的触碰；

确定部，其根据触碰检测部的检测结果来确定第一虚拟物体的显示状态；

混合现实图像创建部，其基于包括第一虚拟物体和第二虚拟物体的虚拟空间、位置朝向信息、显示状态以及物理空间图像，创建组合有虚拟空间的图像与物理空间图像的混合现实图像；以及

图像输出部，其输出要在预定显示设备上显示的所创建的混合现实图像。

2.根据权利要求1所述的信息处理装置，其中，确定部在第一虚拟物体与第二虚拟物体彼此触碰时将第一虚拟物体设置为要显示，并且在第一虚拟物体与第二虚拟物体彼此没有触碰时将第一虚拟物体设置为不显示。

3.根据权利要求2所述的信息处理装置，其中，混合现实图像创建部创建第一虚拟物体对于第二虚拟物体的相对位置固定的混合现实图像。

4.根据权利要求1至3中的任一项所述的信息处理装置，其中，确定部初始将第一虚拟物体设定为不显示，并且在触碰检测部检测到第一虚拟物体与第二虚拟物体彼此触碰时，将第一虚拟物体设置为要显示。

5.根据权利要求1至3中任一项所述的信息处理装置，其中，当第一虚拟物体与第二虚拟物体彼此触碰时，确定部将第一虚拟物体显示为线框、以闪烁的方式显示第一虚拟物体、或以半透明的形式显示第一虚拟物体。

6.根据权利要求1至3中任一项所述的信息处理装置，其中，当第一虚拟物体与第二虚拟物体彼此触碰时，确定部根据与触碰位置的距离利用渐变来显示第一虚拟物体。

7.根据权利要求1至6中的任一项所述的信息处理装置，其中，虚拟物体创建部通过创建表示其他物理物体的虚拟物体来创建第二虚拟物体。

8.据权利要求1至7中的任一项所述的信息处理装置，其中，位置朝向信息获取部从测量图像摄取设备的视点的位置和朝向的测量部获取表示图像摄取设备的视点的位置和朝向的位置朝向信息。

9.根据权利要求8所述的信息处理装置，其中，测量部基于从图像检测到的特征来测量图像摄取设备的视点的位置和朝向。

10.一种系统，包括根据权利要求1至9中的任何一项所述的多个信息处理装置，

其中，所述多个信息处理装置中的各个中的触碰检测部检测第一虚拟物体与第二虚拟物体之间的触碰；

所述信息处理装置中的任何一个基于各个信息处理装置中的触碰检测结果，通过综合判断来确定第一虚拟物体的显示状态。

11.根据权利要求10所述的系统，其中，所述信息处理装置中的任何一个根据各个信息处理装置中的触碰检测结果来改变表示所述第一虚拟物体的方式。

12.一种图像处理方法，所述图像处理方法由连接至图像摄取设备并且连接至显示设备的信息处理装置执行，所述图像摄取设备拍摄作为物理空间的图像的物理空间图像，所述图像处理方法包括以下步骤：

获得表示图像摄取设备的视点的位置朝向的位置和朝向信息；

检测物理空间中的物理物体，并且创建表示检测到的物理物体的第一虚拟物体；

检测第一虚拟物体与第二虚拟物体之间的触碰；

根据触碰检测结果确定第一虚拟物体的显示状态；以及

基于包括第一虚拟物体和第二虚拟物体的虚拟空间、位置朝向信息、显示状态以及物理空间图像，创建结合有虚拟空间的图像与物理空间图像的混合现实图像，并在显示设备上显示创建的混合现实图像。

13.一种计算机程序，所述计算机程序用于连接至图像摄取设备并且连接至显示设备的计算机，所述图像摄取设备拍摄作为物理空间的图像的物理空间图像，所述计算机程序使计算机执行以下步骤：

获得表示图像摄取设备的视点的位置和朝向的位置朝向信息；

检测物理空间中的物理物体，并且创建表示检测到的物理物体的第一虚拟物体；

检测第一虚拟物体与第二虚拟物体之间的触碰；

根据触碰检测结果确定第一虚拟物体的显示状态；以及

基于包括第一虚拟物体和第二虚拟物体的虚拟空间、位置朝向信息、显示状态以及物理空间图像，创建结合有虚拟空间的图像与物理空间图像的混合现实图像，并且在显示设备上显示创建的混合现实图像。

14.一种存储介质，其存储根据权利要求13所述的计算机程序，所述存储介质能够由计算机读取。

Images