CN102414640B

CN102414640B - 信息处理装置、信息处理方法和程序

Info

Publication number: CN102414640B
Application number: CN201080018132.7A
Authority: CN
Inventors: 松田晃一
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-04-28
Filing date: 2010-03-17
Publication date: 2016-01-20
Anticipated expiration: 2030-03-17
Also published as: JP2010257359A; CN102414640A; EP2426578A1; TWI423075B; US9772683B2; WO2010125868A1; TW201042536A; US20120092333A1; JP5158007B2; EP2426578A4

Abstract

提供了一种配置，其中未被显示在显示器上的数据作为虚拟物体而总是可观察的。例如，在使用PC的数据处理中，诸如已被剪切或复制的数据的未被显示在PC的显示器上的数据可以被设定为虚拟物体并且被粘贴在用户的手指等上以总是可观察的。根据该配置，未被显示在PC的显示区域上的数据可以被粘贴在PC的显示区域以外的空间上并且被显示为可观察的，这允许提高数据处理的效率。

Description

信息处理装置、信息处理方法和程序

技术领域

本发明涉及信息处理装置、信息处理方法和程序。更具体地，本发明涉及用于利用使真实世界中的真实物体与电子图像组合的混合现实(MR)来执行数据处理的信息处理装置、信息处理方法和程序。

背景技术

例如，当用户使用个人计算机(PC)执行数据处理时，用户对PC的显示器上显示的数据执行处理。作为示例，这里描述了复制或剪切数据的情况。在该情况下，用户指定显示器上显示的字符串或图像区域等，随后输入执行针对另一区域的数据剪切或数据复制的命令。

以这种方式已被剪切或复制的处理数据被存储在PC中的存储器中，但是在处理期间可能从显示区域消失。为了使用户确认已被剪切或复制的处理数据的内容，需要执行如下一个处理，例如：

(a)总是在显示器的部分区域上显示处理数据；

(b)将处理数据存储在复制缓冲区中，并且响应于用户操作，取回复制缓冲区中存储的数据以显示在显示器上；或者

(c)响应于用户操作，将处理数据粘贴到显示器的指定区域以显示。

例如，通过执行一个以上处理，可以确认已被剪切或复制的处理数据的内容。

然而，在以上处理中，处理(a)需要总是在显示器上显示处理数据，这占用显示器的至少部分区域。这可能引起减少用户在显示器上使用的例如文档创建屏幕区域的主要工作区域的问题。处理(b)需要用于显示复制缓冲区中存储的数据的用户操作，引起了增加用户的处理负担的问题。处理(c)也需要用户操作并且当处理数据被错误粘贴时具有需要诸如删除或撤销的额外处理的问题。

本发明旨在通过使用利用例如混合现实(MR)的数据处理来解决以上问题。对于关于混合现实的现有技术，参见例如专利文献1(JP-A-2008-304268)和专利文献2(JP-A-2008-304269)。这些文献描述了利用相机拍摄图像创建真实世界的三维(3D)地图的处理。

现有技术文献

专利文献

专利文献1：JP-A-2008-304268

专利文献2：JP-A-2008-304269

发明内容

本发明要解决的问题

本发明的目的在于提供如下的信息处理装置、信息处理方法和程序，它们通过利用混合现实(MR)的数据处理，通过例如创建其中各种数据被电子粘贴到PC等的显示器以外的区域的组合图像并且使得该组合图像是可观察的，允许有效地使用用于主要工作区域的显示器以外的空间区域。

解决问题的手段

根据本发明的第一方面提供了一种信息处理装置，包括：

存储器，用于存储在使用第一显示器的数据处理中生成的处理数据；

3D信息分析器，用于分析相机拍摄图像中包括的真实物体的3D位置；以及

虚拟物体管理器，用于接收从3D信息分析器输入的分析信息，将真实物体的构成部分确定为虚拟物体显示位置并且在第二显示器上显示其中真实物体和虚拟物体组合的组合图像，

其中该虚拟物体管理器，

响应于关于第二显示器上显示的虚拟物体的处理请求输入，将与经受处理请求的虚拟物体对应的数据输出到执行使用第一显示器的数据处理的数据处理器或者该数据处理器可访问的存储器。

此外，在本发明的信息处理装置的一个实施例中，信息处理装置包括通信部并且执行与执行使用第一显示器的数据处理的数据处理器的通信以传送或接收关于使用第一显示器的数据处理的数据。

此外，在本发明的信息处理装置的一个实施例中，3D信息分析器包括手识别模块，该手识别模块识别相机拍摄图像中包括的用户的手的每个手指并且分析由手识别模块识别的用户的手的每个手指的3D位置，并且虚拟物体管理器将用户的手的每个手指的位置确定为虚拟物体显示位置并且在第二显示器上显示其中虚拟物体与用户的手的每个手指的位置组合的组合图像。

此外，在本发明的信息处理装置的一个实施例中，存储器中存储的数据是使用第一显示器的数据处理中的已被剪切或复制的数据。

此外，在本发明的信息处理装置的一个实施例中，虚拟物体管理器接收从3D信息分析器输入的分析信息，将第二显示器上显示的图像中包括的真实物体的构成部分确定为虚拟物体显示位置并且将确定信息登记在虚拟物体信息管理表格中。

此外，在本发明的信息处理装置的一个实施例中，虚拟物体管理器登记关于虚拟物体是否被显示在第二显示器上的与虚拟物体信息管理表格中登记的虚拟物体显示位置对应的显示位置的状态信息。

此外，在本发明的信息处理装置的一个实施例中，虚拟物体管理器参考虚拟物体信息管理表格中的状态信息来确定是否可以显示新的虚拟物体，并且在用户输入请求时删除第二显示器上正显示的虚拟物体。

此外，根据本发明的第二方面提供了一种在信息处理装置中执行的信息处理方法，该方法包括：

其中控制器在存储器中存储将应用于使用第一显示器的数据处理的处理数据的步骤；

3D信息分析步骤，其中3D信息分析器分析相机拍摄图像中包括的真实物体的3D位置；

其中虚拟物体管理器接收从3D信息分析器输入的分析信息，将真实物体的构成部分确定为虚拟物体显示位置并且在第二显示器上显示其中真实物体和虚拟物体组合的组合图像的步骤；以及

其中响应于关于第二显示器上显示的虚拟物体的处理请求输入，虚拟物体管理器将与经受处理请求的虚拟物体对应的数据输出到执行使用第一显示器的数据处理的数据处理器或者该数据处理器可访问的存储器的步骤。

此外，根据本发明的第三方面提供了一种用于使信息处理装置执行信息处理的程序，该程序包括：

其中使控制器在存储器中存储将应用于使用第一显示器的数据处理的处理数据的步骤；

使3D信息分析器分析相机拍摄图像中包括的真实物体的3D位置的3D信息分析步骤；

使虚拟物体管理器接收从3D信息分析器输入的分析信息，将真实物体的构成部分确定为虚拟物体显示位置并且在第二显示器上显示其中真实物体和虚拟物体组合的组合图像的步骤；以及

使虚拟物体管理器响应于关于第二显示器上显示的虚拟物体的处理请求输入，将与经受处理请求的虚拟物体对应的数据输出到执行使用第一显示器的数据处理的数据处理器或者该数据处理器可访问的存储器的步骤。

注意，本发明的程序是如下程序：通过可以以计算机可读格式提供程序的存储介质或通信介质，可以提供给能够执行各种程序代码的图像处理装置或计算机系统的程序。以计算机可读格式提供该程序使得根据该程序的处理能够在图像处理装置或计算机系统上执行。

基于本发明的实施例和附图，根据下面的详细描述，本发明的其他目的、特征和优点将是明显的。注意，如这里使用的“系统”是多个单元的在逻辑上聚集的配置并且不限于同一个机箱内的部件单元。

本发明的优点

根据本发明的一个实施例的配置，例如，在使用PC的数据处理中，诸如已被剪切或复制的未被显示在PC的显示器上的数据可以被设定为虚拟物体并且粘贴在用户的手的手指等上以总是可观察的。根据该配置，未被显示在PC的显示区域上的数据可以粘贴在PC的显示区域以外的空间上并且被显示为可观察的，这允许提高数据处理的效率。

附图说明

图1是图示本发明的信息处理装置的一个实施例的配置的示图。

图2是图示本发明的信息处理装置执行的虚拟物体显示的示例的示图。

图3是图示本发明的信息处理装置执行的处理的示例的示图。

图4是图示本发明的信息处理装置执行的虚拟物体显示的示例的示图。

图5是图示本发明的信息处理装置执行的登记虚拟物体粘贴位置的设定的处理序列的流程图的示图。

图6是图示本发明的信息处理装置执行的登记虚拟物体粘贴位置的设定时使用的表格的配置示例的示图。

图7是图示本发明的信息处理装置执行的粘贴虚拟物体的处理序列的流程图的示图。

图8是图示本发明的信息处理装置执行的使用与虚拟物体对应的数据的数据处理序列的流程图的示图。

图9是图示本发明的信息处理装置执行的使用与虚拟物体对应的数据的数据处理序列的流程图的示图。

图10是图示本发明的信息处理装置执行的虚拟物体显示的示例的示图。

图11是图示本发明的信息处理装置执行的登记虚拟物体粘贴位置的设定时使用的表格的配置示例的示图。

具体实施方式

下文参照附图详细描述了根据本发明的信息处理装置、信息处理方法和程序。

根据如下项目依次描述本发明。

1.本发明的信息处理装置的配置示例和处理示例

2.本发明的信息处理装置执行的处理序列示例

3.其上将粘贴虚拟物体的真实物体的示例

[1.本发明的信息处理装置的配置示例和处理示例]

从图1开始参照附图描述本发明的信息处理装置的配置示例和处理示例。图1示出了本发明的信息处理装置的配置示例。

用户100可以操作个人计算机(PC)120来执行各种数据处理。如所示出的，PC120包括应用执行部121、存储器122和通信部123。应用执行部121执行用户指定的应用程序。例如，应用程序包括文档创建应用和绘图应用。存储器122包括RAM、ROM等并且被用作应用程序的存储区域和工作区域。例如，存储器122还被用作诸如以后描述的复制和剪切的处理中的处理数据的存储区域。通信部123执行与混合现实(MR)生成器130进行通信的处理。

用户100佩戴包括用于显示虚拟物体的显示器的眼镜141。眼镜141包括用于拍摄周围环境的相机142。眼镜141和相机142连接到混合现实(MR)生成器130。用户100在观察设置在眼镜141上的显示器上显示的图像的同时执行任务。

眼镜141的显示器显示相机142拍摄的真实世界图像，并且进一步结合真实世界图像显示由混合现实(MR)生成器130生成的虚拟物体。

在图1中的示例中，用户100操作个人计算机(PC)120并且相机142拍摄用户100操作的个人计算机(PC)120。因此，眼镜141的显示器显示作为真实世界图像的例如包括用户100操作的个人计算机(PC)120的显示器以及该显示器周围的各种真实物体的图像。此外，混合现实(MR)生成器130生成的虚拟物体被显示为叠置在真实世界图像上。相机142的取向响应于用户100的移动而改变。例如，当用户看他/她的手时，眼镜141的显示器显示作为真实世界图像的手的图像，结合该图像显示虚拟物体。例如，如图2中所示的真实物体和虚拟物体的组合图像被显示为显示图像200。

在描述图2之前，描述图1中所示的混合现实(MR)生成器130的配置。如图1中所示，混合现实(MR)生成器130包括3D信息分析器131、虚拟物体管理模块132、存储器133和通信部134。

3D信息分析器131接收用户佩戴的相机142拍摄的图像并且分析拍摄图像中包括的物体的3D位置。该3D位置分析通过应用例如，同时定位和地图创建(SLAM)来执行。SLAM是从相机拍摄图像中包括的各种真实物体选取特征点并且结合相机的位置和姿态来检测选取的特征点的位置的处理。注意，在前述专利文献1(JP-A-2008-304268)和专利文献2(JP-A-2008-304269)中描述了SLAM。此外在AndrewJ.Davison的″Real-timeSimultaneouslocalisationandmappingwithasinglecamera″，Proceedingsofthe9thInternationalConferenceonComputerVision，Ninth，(2003)中描述了SLAM的基本处理。

3D信息分析器131通过应用例如前述SLAM来计算用户佩戴的相机142拍摄的图像中包括的真实物体的3D位置。然而，3D信息分析器131可以被配置为使用除了前述SLAM以外的任何其他方法来确定相机拍摄图像中包括的物体的3D位置。

虚拟物体管理模块132管理将显示在用户佩戴的眼镜141的显示器上的虚拟物体。虚拟物体是存储器133中存储的数据。具体地，例如，用户佩戴的眼镜141的显示器显示图2中所示的显示图像200。显示图像200中包括的手的图像是相机142拍摄的真实图像(真实物体)。结合该真实图像(真实物体)，显示图2中示出的虚拟物体201至203。

图1中示出的用户100可以在眼镜141的显示器上观察粘贴在用户100的手上的图1中所示的虚拟物体150的图像。图中所示的虚拟物体150与图2中所示的虚拟物体201至203对应并且不是真实世界中的物体(真实物体)。

图2中所示的虚拟物体201至203是与图1中所示的虚拟物体150对应的数据，是用户通过PC120已复制或剪切的处理数据。根据用户100对PC120的操作通过PC120中的应用执行部121进行的处理，处理数据被存储在PC120中的存储器122中。

存储器122中存储的数据通过PC120的通信部123和混合现实(MR)生成器130的通信部134之间的通信被传送到混合现实(MR)生成器130。混合现实(MR)生成器130将从PC120接收到的数据存储在混合现实(MR)生成器130中的存储器133中。

混合现实(MR)生成器130的虚拟物体管理模块132在用户佩戴的眼镜141的显示器上显示作为虚拟物体的存储器133中存储的数据。具体地，例如，虚拟物体管理模块132确定虚拟物体的显示位置并且在确定的显示位置处显示虚拟物体。

在图2中所示的示例中，显示三个虚拟物体201至203，它们的显示位置被设定在作为真实世界图像显示的用户的“手”的各手指上。

虚拟物体201“改变”；

虚拟物体202“是的，我们能”；以及

虚拟物体203“照片图像”。

所有这些是用户100通过PC120已剪切或复制并且存储在PC120的存储器122中的数据。这些数据通过通信被传送到混合现实(MR)生成器130并且被存储在混合现实(MR)生成器130的存储器133中。混合现实(MR)生成器130的虚拟物体管理模块132将存储器133中存储的数据设定为虚拟物体，确定每个虚拟物体的显示位置并且将虚拟物体显示在用户佩戴的眼镜141的显示器上。

尽管图1中所示的装置包括作为两个彼此进行数据通信的分立单元的PC120和混合现实(MR)生成器130，但是PC120和混合现实(MR)生成器130也可以被集成为一个单元，其中可以省略图1中示出的通信部。例如，PC120也可以包括混合现实(MR)生成器130的3D信息分析器131和虚拟物体管理模块132以在一个PC中执行处理。

就是说，尽管在图1中示出了个人计算机(PC)120和混合现实(MR)生成器130，但是本发明的信息处理装置可以是图1中所示的混合现实(MR)生成器130的一个单元或者可以是混合现实(MR)生成器130和PC120的两个分立单元。或者信息处理装置可以是具有这两个单元的功能的一个单元。

从图3开始参照附图描述应用图1中的配置的处理的具体示例。例如，用户100正在PC120的应用执行部121中运行文档创建应用并且创建如图3中所示的文档。这里，当用户100设定数据区域301并且输入剪切命令时，数据区域301中的数据被存储在PC120的存储器122中。随后，数据通过通信被传送到混合现实(MR)生成器130并且被存储在混合现实(MR)生成器130的存储器133中。

混合现实(MR)生成器130的3D信息分析器131接收用户100佩戴的相机142拍摄的图像并且通过应用例如SLAM来计算拍摄图像中包括的物体的3D位置。例如，3D信息分析器131将设定在图3中所示的PC的显示器的四个角处的标志321a至d选择为特征点并且计算特征点的3D位置。

尽管在图3中所示的示例中设定标志321a至d用于识别特征点，但是设定这些标志不是必需的。可替选地，3D信息分析器131可以从图像检测例如物体的角部的物体的形状，并且将检测到的角部选择为特征点以确定特征点的3D位置。注意，可以使用现有的Harris角部检测器通过特征点提取来执行角部的检测。

注意，3D信息分析器131还可以被配置为从拍摄图像检测特定物体。具体地，3D信息分析器131可以包括识别人的手或手指的手识别模块。手识别模块使用图像分析检测将被确定为人的手或手指的物体。这种特定物体检测模块保存关于特定物体(例如，人的手或手指)的特征信息，并且当从图像检测到具有该特征信息的物体时，将检测到的物体确定为特定物体。

″HandyAR：MarkerlessInspectionofAugmentedRealityObjectsUsingFingertipTracking″公开了手指识别算法。例如，3D信息分析器131被配置为包括执行该文献中描述的算法的模块以执行识别人的手或手指的处理。

通过根据相机142拍摄的图像计算用户的手的每个手指的3D位置并且显示具有粘贴在每个手指的位置上的虚拟物体的图像，可以生成如前面参照图2描述的显示图像200。

虚拟物体管理模块132从3D信息分析器131获得相机拍摄图像中包括的真实物体的3D位置信息。例如，虚拟物体管理模块132获得用户的每个手指的位置信息。此外，虚拟物体管理模块132获得已被剪切或复制并且存储在存储器133中的数据，随后将获得的数据设定为虚拟物体，并且随后将具有粘贴在用户的每个手指的位置上的虚拟物体的图像显示在用户100佩戴的眼镜141的显示器上。

图4示出了当图3中所示的数据区域301被用户剪切并且被设定为虚拟物体时显示在用户100佩戴的眼镜141的显示器上的数据的示例。图4中所示的显示图像350是用户100佩戴的眼镜141的显示器上显示的图像。

具有设定的标志321a至d的显示器的图像是用户100操作的PC120的真实图像。这是由相机142拍摄的真实图像。再者，手360是用户的实际的手的图像。结合该真实图像，显示虚拟物体371。虚拟物体371是用户100通过PC120已处理的数据，例如，已被剪切或复制的数据。

虚拟物体371是混合现实(MR)生成器130的存储器133中存储的数据。虚拟物体管理模块132从3D信息分析器131获得相机拍摄图像中包括的真实物体(用户的手的手指)的3D位置信息并且将虚拟物体371的显示位置设定为与所获得的真实物体的位置信息对应的位置以执行显示处理。

通过这些处理，用户100可以总是将已从PC120的显示区域移除的数据确认为虚拟物体371。

[2.本发明的信息处理装置执行的处理序列示例]

接下来，从图5开始参照附图中所示的流程图描述处理序列，该处理序列包括将用户的每个手指设定为虚拟物体粘贴/显示位置的处理和显示虚拟物体的处理。下文描述的处理序列包括如下处理：

(a)登记将用户的每个手指设定为虚拟物体粘贴/显示位置的处理(图5)；

(b)将虚拟物体粘贴在用户的每个手指上并且显示它们的处理(图7)；

(c)在使用针对用户手指设定的虚拟物体作为将由PC处理的数据时(即，在粘贴虚拟物体时)混合现实(MR)生成器130进行的处理(图8)；以及

(d)在使用针对用户手指设定的虚拟物体作为将由PC处理的数据时(即，在粘贴虚拟物体时)PC120进行的处理(图9)。

(a)登记将用户的每个手指设定为虚拟物体粘贴/显示位置的处理

在开始时，参照图5中所示的流程图描述登记将用户的每个手指设定为虚拟物体粘贴/显示位置的处理。该处理在混合现实(MR)生成器130侧执行。

首先，在步骤S101中，混合现实(MR)生成器130被设定到粘贴目标登记模式中。尽管在图1中所示的混合现实(MR)生成器130中没有示出，但是混合现实(MR)生成器130包括输入部，其用于执行模式设定等，允许通过用户操作进行模式设定。

接着，在步骤S102中，3D信息分析器(手识别模块)131分析从相机142输入的图像并且分析该图像中包括的真实物体的3D位置。在该示例中，具有将被分析的3D位置的真实物体是用户的手的每个手指。3D信息分析器(手识别模块)131区分用户的一只手的每个手指并且还分析每个手指的3D位置。

在步骤S103中，用户使用另一只手的手指指示(触摸)手指以使其成为粘贴目标。随后，在步骤S104中，3D信息分析器(手识别模块)131通过图像分析识别哪个手指已被指示。已具有关于人的手指的区分信息的3D信息分析器(手识别模块)131可以执行诸如用户指示的手指是拇指还是其他手指的区分。3D信息分析器(手识别模块)131将关于用户指示的将成为虚拟物体粘贴位置的手指的信息输出到虚拟物体管理模块132。

接着，在步骤S105中，虚拟物体管理模块132登记由3D信息分析器(手识别模块)131通知的被指示将成为虚拟物体粘贴位置的手指。注意，当所指示的手指已被登记为虚拟物体粘贴位置时，虚拟物体管理模块132向用户通知所指示的手指已被登记。虚拟物体管理模块132忽略该指示并且不操作。

虚拟物体管理模块132在存储器133中存储并且管理虚拟物体信息管理表格，该虚拟物体信息管理表格包括作为管理信息的被登记为虚拟物体粘贴位置的位置信息以及关于虚拟物体是否已被粘贴在该粘贴位置的状态信息。例如，虚拟物体信息管理表格是存储如图6中所示的信息的管理表格。虚拟物体管理模块132在适当地更新和参考该虚拟物体信息管理表格的同时执行处理。

在步骤S106中，确定粘贴目标登记模式是否继续。如果确定其继续，则重复步骤S102至S106的处理。在步骤S106中，如果粘贴目标登记模式不继续，则登记结束。

在图5的处理中，尽管将手的手指设定为虚拟物体粘贴目标，但是任何其他物体可以被设定为虚拟物体粘贴目标。例如，如后面描述的，如图10中所示，也可以执行诸如将PC的框架设定为虚拟物体粘贴位置的处理。

接着，参照图7中所示的流程图描述使用根据图5中所示的流程登记的虚拟物体粘贴目标的虚拟物体粘贴处理序列。图7中所示的流程是将虚拟物体粘贴在用户的每个手指上以将它们显示在用户100佩戴的眼镜141的显示器上的处理。该处理在图1中所示的混合现实(MR)生成器130侧执行。

首先，在步骤S151中，混合现实(MR)生成器130的虚拟物体管理模块132获得混合现实(MR)生成器130的存储器133中存储的数据。注意，该数据是在混合现实(MR)生成器130的控制器的控制下通过通信部134从PC120接收的处理数据。就是说，该数据是用户通过PC120上的数据处理已剪切或复制的数据。

接着，在步骤S152中，虚拟物体管理模块132确定是否存在其上未粘贴虚拟物体的任何可用的粘贴位置。该处理可以由3D信息分析器131使用基于相机142获得的图像的分析信息来执行或者可以参考前面参照图6描述的虚拟物体信息管理表格来执行。

在步骤S153中，确定虚拟物体是否粘贴在所有登记的虚拟物体粘贴位置上。如果虚拟物体被粘贴在所有登记的虚拟物体粘贴位置上，则步骤S153的结果是“是”并且该处理前往步骤S156。另一方面，如果存在任何可用的虚拟物体粘贴位置，则步骤S153的结果是“否”并且该处理前往步骤S154。

例如，在参考其中设定图6中所示的登记信息的虚拟物体信息管理表格的情况下，从(3)开始的条目将被检测为在该时间其上未粘贴虚拟物体的可用的虚拟物体粘贴位置。在该情况下，由于存在可用的虚拟物体粘贴位置，因此步骤S153的结果是“否”并且该处理前往步骤S154。

在步骤S154中，按照可用粘贴位置的登记顺序(例如，按照拇指、食指、中指的顺序)确定粘贴目标。注意，粘贴位置的设定可以被配置为用户可选择的。

接着，在步骤S155中，虚拟物体管理模块132将在前一步骤S151中从存储器获得的数据粘贴在所选择的虚拟物体粘贴位置上。

3D信息分析器131总是分析从相机142输入的图像以了解作为真实物体的手的每个手指的3D位置。虚拟物体管理模块132在根据从3D信息分析器131输入的手指的位置信息动态地改变虚拟物体的显示位置的同时，在用户100佩戴的眼镜141的显示器上显示真实物体和虚拟物体的组合图像。

通过该处理，例如参照图2和4描述的虚拟物体粘贴/显示数据被显示在用户佩戴的眼镜141的显示器上。

接着，描述步骤S153的结果是“是”的情况下的处理。在该情况下，在所有登记的虚拟物体粘贴位置上粘贴有虚拟物体，因此步骤S153的结果是“是”并且该处理前往步骤S156。

在步骤S156中，进行用户询问。具体地，询问用户是否可以删除虚拟物体。例如，该询问可以通过通信部向用户操作的PC120传送消息并且将该消息显示在PC的显示器上。或者该询问可以使用混合现实(MR)生成器130的输出部(扬声器或显示器)输出消息。注意，选择将被删除的虚拟物体的处理可以是例如如下处理：以从最早粘贴的虚拟物体开始的顺序连续地向用户询问是否可以删除虚拟物体。或者该处理可以是如下处理：根据在多个粘贴的虚拟物体中由用户指定可被删除的虚拟物体的指定信息，选择将被删除的虚拟物体。

如果用户允许通过用户输入进行删除，则该处理前往步骤S157以执行虚拟物体的删除。注意，用户输入可以通过PC120执行或者可以通过混合现实(MR)生成器130的输入部执行。或者用户输入可以使用基于相机142拍摄的图像并且由混合现实(MR)生成器130的3D信息分析器131获得的分析(例如，用户指定的可以删除的虚拟物体的指定信息)来执行。

当执行删除时，该处理前往步骤S155。在步骤S155中，虚拟物体管理模块132将在前一步骤S151中从存储器获得的数据粘贴在通过删除设定的可用的虚拟物体粘贴位置上。通过该处理，例如参照图2和4描述的虚拟物体粘贴/显示数据被显示在用户佩戴的眼镜141的显示器上。

另一方面，在步骤S156中，如果用户不允许删除，则该处理前往步骤S158。在步骤S158中，执行向用户通知不能粘贴和显示新的虚拟物体的处理并且该处理结束。例如，这种通知用户的处理可以通过通信部向用户操作的PC120传送消息并且在PC的显示器上显示该消息。或者该处理可以使用混合现实(MR)生成器130的输出部(扬声器或显示器)输出消息。

接着，参照图8和9中所示的流程图描述使用虚拟物体作为将由PC处理的数据的处理序列(即，粘贴虚拟物体)。该处理包括混合现实(MR)生成器130侧的处理和PC120侧的处理。

在开始时，参照图8中所示的流程图描述混合现实(MR)生成器130中的处理。首先，在步骤S201中，混合现实(MR)生成器130分析虚拟物体粘贴位置(例如，手指F)的指定信息。

在观察眼镜141的显示器的同时，用户100使用另一只手的手指指定例如如图2中所示的粘贴在用户的一只手的手指上的多个虚拟物体中的一个虚拟物体。3D信息分析器(手识别模块)131分析从相机142输入的图像并且分析该图像中包括的用户指定位置以及作为真实物体的该位置处的手指的类型。该信息被提供给虚拟物体管理模块132。

接着，在步骤S202中，虚拟物体管理模块132确定是否存在被粘贴在3D信息分析器(手识别模块)131分析的用户指定位置(例如，用户的一个手指)上的任何虚拟物体。该处理可以参考例如参照图6描述的虚拟物体信息管理表格来执行。

如果虚拟物体被粘贴在用户指定位置上，则步骤S203的结果是“是”并且处理前往步骤S204。

在步骤S204中，从存储器133获得与粘贴在用户指定位置的虚拟物体对应的数据并且通过通信部134将其传送到PC120。

响应于用户100输入的关于眼镜141的显示器上显示的虚拟物体的处理请求，虚拟物体管理模块132将与经受处理请求的虚拟物体对应的数据输出到执行使用PC120的数据处理的数据处理器或者PC120可访问的存储器。

在图1中所示的配置中，混合现实(MR)生成器130通过通信部134将数据输出到PC120。PC120从混合现实(MR)生成器130接收数据并且将该数据存储在PC120的存储器122中。

另一方面，如果虚拟物体被粘贴在用户指定位置上，则步骤S203的结果是“否”并且该处理前往步骤S205。

在步骤S205中，向用户通知虚拟物体未被粘贴在用户指定位置上。该通知通过PC120或者混合现实(MR)生成器130的输出部执行。

接着，参照图9中所示的流程图描述在完成图8中所示的混合现实(MR)生成器130侧的处理之后将执行的PC120侧的处理序列。PC120从混合现实(MR)生成器130接收将被处理的数据并且将该数据存储在PC120的存储器122中。

首先，在步骤S301中，用户将屏幕上位置指定信息输入到PC120。这是在其上将要粘贴与虚拟物体对应的数据的位置。例如，使用鼠标或键盘进行指定。或者，如果显示器具有触摸屏，则用户用手指触摸屏幕，随后通过计算给出触摸位置信息。

在步骤S302中，PC120的应用执行部121计算显示器上的用户指定位置的坐标(x，y)。

在步骤S303中，与指定位置(x，y)对应的位置被确定为用于插入数据的目标。例如，该目标可以在字符之间。

在步骤S304中，确定在PC120中的存储器122中是否存在将被处理的从混合现实(MR)生成器130接收的数据。如果存在将被处理的数据，则步骤S304的结果是“是”并且该处理前往步骤S305，其中应用执行部121从存储器122取回数据并且将该数据粘贴在所确定的目标上用于插入。如果不存在将被处理的数据，则步骤S304的结果是“否”并且该处理结束而不执行步骤S305中的处理。

这样，用户100佩戴的眼镜141上显示的虚拟物体被用作真实世界中由用户操作的PC120的处理数据。

[3.其上将粘贴虚拟物体的真实物体的示例]

在以上实施例中，用户的手的手指被用作虚拟物体粘贴目标。然而，虚拟物体粘贴目标不限于用户的手的手指并且可以是用户100佩戴的眼镜141上显示的各种真实物体。

例如，如图10中所示，PC120的外框也可以被设定为虚拟物体粘贴位置。图10示出了如参照图4描述的由用户100佩戴的眼镜141的显示器上显示的显示图像350。

具有所设定的标志321a至d的显示器的图像是用户100操作的PC120的真实图像并且也是相机142拍摄的真实图像。结合该真实图像，显示虚拟物体401至403。虚拟物体401至403是用户100通过PC120已处理的数据，例如已被剪切或复制的数据。

在图10中所示的示例中，这些虚拟物体401至403的粘贴位置被设定为右侧标志321a和321b之间的区间。具体地，设定由图10中的箭头指示的虚拟物体粘贴区间380。确定标志321a的真实空间坐标(xa，ya，za)和标志321b的真实空间坐标(xb，yb，zb)，随后从(xa，ya，za)到(xb，yb，zb)的区间被等分为多个子区间，并且随后将每个子区间设定为虚拟物体粘贴区域。

在该情况下，将例如如图11中所示设定虚拟物体信息管理表格。注意，图11中所示的表格也示出了实际的粘贴虚拟物体作为参考数据。因此，不限于用户的手的各种物体可以被用作虚拟物体粘贴位置。

根据本发明的配置，可以在不必缩窄信息呈现屏幕、或者不必每次示出复制缓冲区的内容或者不必粘贴和撤销的情况下，确认复制内容。再者，当用户使用他/她的手指或身体作为复制缓冲区时，为了复制来自信息呈现屏幕的内容并且粘贴位于远处的另一信息呈现屏幕上的内容，用户可以移动到目标屏幕以粘贴内容，允许直观的粘贴操作。再者，3D物体被例示和显示为真实世界中的3D物体，这便于直观的形状识别等以及粘贴中的取向等的指定。

上文参照具体实施例详细描述了本发明。然而，显然的是，本领域的技术人员在不偏离本发明的精神的情况下可以对实施例进行修改和替换。换言之，本发明以示例性方式公开并且不应被解释为限制。本发明的范围由所附权利要求限定。

再者，这里描述的一系列处理可以通过硬件、软件或者它们的组合实现。软件实现的处理可以通过如下方式执行：将其中记录处理序列的程序安装到构建为专用硬件的计算机中的存储器中并且执行该程序，或者将程序安装到能够执行各种处理的通用计算机中并且执行该程序。例如，程序可以被预先记录在记录介质中。除了将程序从记录介质安装到计算机之外，可以通过诸如LAN(局域网)和互联网的网络来接收程序，并且将其安装到诸如内建硬盘等的记录介质中。

注意，这里描述的各种处理不仅可以根据描述按时间顺序执行，而且可以根据处理单元的处理能力或者在需要时并行地或者单独地执行。再者，如这里使用的“系统”是多个单元的在逻辑上聚集的配置并且不限于同一个机箱内的部件单元。

工业适用性

如已描述的，根据本发明的一个实施例的配置，例如，在使用PC的数据处理中，诸如已被剪切或复制的数据的未被显示在PC的显示器上的数据可以被设定为虚拟物体并且被粘贴在用户的手的手指等上以总是可观察的。根据该配置，未被显示在PC的显示区域上的数据可以被粘贴在PC的显示区域以外的空间上并且被显示为可观察的，这允许提高数据处理的效率。

附图标记的描述

100用户

120个人计算机(PC)

121应用执行部

122存储器

123通信部

130混合现实(MR)生成器

1313D信息分析器

132虚拟物体管理模块

133存储器

134通信部

141眼镜

142相机

150虚拟物体

200显示图像

201至203虚拟物体

321a至321d标志

350显示图像

360手

370虚拟物体

380虚拟物体粘贴区间

401至403虚拟物体

Claims

1.一种信息处理装置，包括：

三维3D信息分析器，用于分析相机拍摄图像中包括的真实物体的3D位置；以及

虚拟物体管理器，用于接收从所述3D信息分析器输入的分析信息，将所述真实物体的构成部分确定为虚拟物体显示位置并且在第二显示器上显示其中所述真实物体和所述虚拟物体组合的组合图像，

其中所述3D信息分析器包括手识别模块，所述手识别模块识别相机拍摄图像中包括的用户的手的每个手指并且分析由所述手识别模块识别的用户的手的每个手指的3D位置，

其中所述虚拟物体管理器，

接收从所述3D信息分析器输入的分析信息，将所述第二显示器上显示的图像中包括的真实物体的构成部分确定为虚拟物体显示位置并且将确定信息登记在虚拟物体信息管理表格中，

响应于关于所述第二显示器上显示的虚拟物体的处理请求输入，将与经受处理请求的虚拟物体对应的数据输出到执行使用所述第一显示器的数据处理的数据处理器或者所述数据处理器能够访问的存储器，以及

将用户的手的每个手指的位置确定为虚拟物体显示位置，将用户的手的每个手指的位置登记在所述虚拟物体信息管理表格中并且在所述第二显示器上显示其中所述虚拟物体与用户的手的每个手指的位置组合的组合图像，

其中，当用户指示手指以限定虚拟物体粘贴位置时，所述3D信息分析器识别该手指并且将该手指限定为粘贴目标，随后输出关于用户指示的将成为虚拟物体粘贴位置的该手指的信息。

2.根据权利要求1所述的信息处理装置，进一步包括通信部并且

执行与执行使用所述第一显示器的数据处理的数据处理器的通信以传送或接收关于使用所述第一显示器的数据处理的数据。

3.根据权利要求1所述的信息处理装置，其中所述存储器中存储的数据是使用所述第一显示器的数据处理中的已被剪切或复制的数据。

4.根据权利要求1所述的信息处理装置，其中所述虚拟物体管理器

登记关于虚拟物体是否被显示在所述第二显示器上的与所述虚拟物体信息管理表格中登记的虚拟物体显示位置对应的显示位置的状态信息。

5.根据权利要求4所述的信息处理装置，其中所述虚拟物体管理器

参考所述虚拟物体信息管理表格中的所述状态信息来确定是否能够显示新的虚拟物体，并且在通过用户输入请求时删除所述第二显示器上正显示的虚拟物体。

6.一种在信息处理装置中执行的信息处理方法，所述方法包括：

其中三维3D信息分析器分析相机拍摄图像中包括的真实物体的3D位置的3D信息分析步骤；

其中虚拟物体管理器接收从所述3D信息分析器输入的分析信息，将所述真实物体的构成部分确定为虚拟物体显示位置，在第二显示器上显示其中所述真实物体和所述虚拟物体组合的组合图像，识别相机拍摄图像中包括的用户的手的每个手指并且分析所识别的用户的手的每个手指的3D位置的步骤；

其中所述虚拟物体管理器接收从所述3D信息分析器输入的分析信息，将所述第二显示器上显示的图像中包括的真实物体的构成部分确定为虚拟物体显示位置并且将确定信息登记在虚拟物体信息管理表格中的步骤；

其中响应于关于所述第二显示器上显示的虚拟物体的处理请求输入，所述虚拟物体管理器将与经受处理请求的虚拟物体对应的数据输出到执行使用所述第一显示器的数据处理的数据处理器或者所述数据处理器能够访问的存储器的步骤；

将用户的手的每个手指的位置确定为虚拟物体显示位置，将用户的手的每个手指的位置登记在所述虚拟物体信息管理表格中并且在所述第二显示器上显示其中所述虚拟物体与用户的手的每个手指的位置组合的组合图像的步骤；以及

当用户指示手指以限定虚拟物体粘贴位置时，识别该手指并且将该手指限定为粘贴目标，随后输出关于用户指示的将成为虚拟物体粘贴位置的该手指的信息的步骤。