CN102395948B - 信息处理设备、信息处理方法以及程序 - Google Patents

信息处理设备、信息处理方法以及程序 Download PDF

Info

Publication number
CN102395948B
CN102395948B CN201080016939.7A CN201080016939A CN102395948B CN 102395948 B CN102395948 B CN 102395948B CN 201080016939 A CN201080016939 A CN 201080016939A CN 102395948 B CN102395948 B CN 102395948B
Authority
CN
China
Prior art keywords
display
data
display part
display data
virtual objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080016939.7A
Other languages
English (en)
Other versions
CN102395948A (zh
Inventor
松田晃一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102395948A publication Critical patent/CN102395948A/zh
Application granted granted Critical
Publication of CN102395948B publication Critical patent/CN102395948B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及一种信息处理设备、一种信息处理方法以及一种程序。实现了使得不显示在显示部上的数据总是被观察为虚拟对象的配置。实现了通过在诸如具有显示部的个人计算机(PC)和便携式电话的各种显示设备中，将延伸到显示部的区域以外的非显示数据在显示部的显示数据附近的位置处显示为虚拟对象的配置。该配置允许用户总是观察到和看到显示在PC等的有限的显示区域上的数据以及已经到了显示部以外的数据，从而增强了数据处理效率。

Description

信息处理设备、信息处理方法以及程序
技术领域
本发明涉及一种信息处理设备、一种信息处理方法以及一种程序。更具体地，本发明涉及使用融合了真实世界中的真实对象与电子显示的混合现实(MR：Mixed Reality)来执行数据处理的信息处理设备、信息处理方法以及程序。
背景技术
例如，在用户使用PC(个人电脑)执行数据处理时的情况下，用户对显示在PC的显示部(显示器)上的数据执行处理。然而，例如，在执行文档创建的情况下，如果应用于文档创建的页面的显示尺寸变得大于PC的显示部的尺寸(例如窗口尺寸)，则不可能在PC屏幕内显示整个页面，使得必须在屏幕上只显示一部分页面时进行工作。
就是说，在PC的屏幕内不再显示延伸到屏幕以外的信息。为了显示延伸到PC屏幕以外的区域，尽管有可能通过进行滚动处理来显示该区域，但是出现了由滚动而导致的隐藏迄今为止已被显示的区域的问题。为了显示整个页面，尽管有可能执行诸如缩小整个页面或者将屏幕划分为两个的处理，但是当执行了这样的处理时，例如，出现了字符尺寸变小的问题，使得难以进行工作。
通过使用如下数据处理，本发明解决了这样的问题，该数据处理使用了例如混合现实(MR：Mixed Reality)。要注意，作为描述混合现实的相关技术，例如存在专利文献1(日本未审查专利申请公开第2008-304268号)和专利文献2(日本未审查专利申请公开第2008-304269号)。这些文献描述了关于通过使用由相机捕获的图像来创建真实世界的三维地图的处理。
引用列表
专利文献
专利文献1：日本未审查专利申请公开第2008-304268号
专利文献2：日本未审查专利申请公开第2008-304269号
发明内容
技术问题
本发明的目的是提供生成如下合成图像的信息处理设备、信息处理方法以及程序，在该合成图像中，通过使用混合现实(MR：Mixed Reality)的数据处理，各段数据以电子方式附接在PC等的显示部(显示器)外部的区域，并且使得该合成图像可被观察到，从而能够有效地利用用作主要工作区域的显示部外部的空间区域。
问题的解决方案
本发明的第一方面在于一种信息处理设备，其包括：
应用执行部，其在使用第一显示部的数据处理中将非显示数据以及该非显示数据的位置信息存储到存储器中，非显示数据与第一显示部的显示数据相邻；
三维信息分析部，其分析包括在相机捕获图像中的、包含第一显示部的真实对象的三维位置；以及
虚拟对象管理部，其接收对存储器中存储的非显示数据和该非显示数据的位置信息、以及由三维信息分析部分析的第一显示部的三维位置信息，生成由虚拟对象和包括在相机捕获图像中的真实对象形成的合成图像，并且在第二显示部上显示合成图像，其中虚拟对象由非显示数据形成；
其中，虚拟对象管理部在从所述第二显示部上显示的、所述第一显示部的显示数据的边界到所述第一显示部外部的延伸方向上的位置处，设置虚拟对象在第二显示部上的显示位置。
此外，在根据本发明的信息处理设备的实施例中，虚拟对象管理部将作为存储器中存储的非显示数据的位置信息的坐标数据变换到相机坐标系，并且通过应用变换后的坐标数据来确定虚拟对象的显示位置，其中相机坐标系用作第二显示部的显示图像中的显示位置的指示符。
此外，在根据本发明的信息处理设备的实施例中，虚拟对象管理部判断在变换到相机坐标系后的虚拟对象的显示位置与形成包括在相机捕获图像中的真实对象的平面之间是否存在交叉，并且如果存在交叉，则执行坐标重新变换处理以便将变换后的坐标数据定位在形成真实对象的平面中，并且通过应用重新变换后的坐标数据来确定虚拟对象的显示位置。
此外，在根据本发明的信息处理设备的实施例中，信息处理设备包括具有应用执行部的第一设备以及具有三维信息分析部和虚拟对象管理部的第二设备，并且经由通信部将由应用执行部存储到第一设备中的第一存储器中的数据传送到第二设备，并且在第二设备中，三维信息分析部和虚拟对象管理部执行使用所接收的数据的处理。
此外，本发明的第二方面在于一种在信息处理设备中执行的信息处理方法，其包括：
应用执行步骤，应用执行部在使用第一显示部的数据处理中将非显示数据以及该非显示数据的位置信息存储到存储器中，非显示数据与第一显示部的显示数据相邻；
三维信息分析步骤，三维信息分析部分析包括在相机捕获图像中的、包含第一显示部的真实对象的三维位置；以及
虚拟对象管理步骤，虚拟对象管理部接收存储器中存储的非显示数据和该非显示数据的位置信息、以及由三维信息分析部分析的所述第一显示部的三维位置信息，生成由虚拟对象和包括在相机捕获图像中的真实对象形成的合成图像，并且在第二显示部上显示合成图像，其中虚拟对象由非显示数据形成；
其中，虚拟对象管理步骤具有如下步骤：在从所述第二显示部上显示的、所述第一显示部的显示数据的边界到所述第一显示部外部的延伸方向上的位置处，设置虚拟对象在第二显示部上的显示位置。
此外，本发明的第二方面在于一种用于使得在信息处理设备中执行信息处理的程序，其包括：
应用执行步骤，其使得应用执行部在使用第一显示部的数据处理中将非显示数据以及该非显示数据的位置信息存储到存储器中，非显示数据与第一显示部的显示数据相邻；
三维信息分析步骤，其使得三维信息分析部分析包括在相机捕获图像中的、包含第一显示部的真实对象的三维位置；以及
虚拟对象管理步骤，其使得虚拟对象管理部接收存储器中存储的非显示数据和该非显示数据的位置信息、以及由三维信息分析部分析的第一显示部的三维位置信息，生成由虚拟对象和包括在相机捕获图像中的真实对象形成的合成图像，并且在第二显示部上显示合成图像，其中虚拟对象由非显示数据形成；
其中，虚拟对象管理步骤具有如下步骤，其使得在从所述第二显示部上显示的、所述第一显示部的显示数据的边界到所述第一显示部外部的延伸方向上的位置处，设置虚拟对象在第二显示部上的显示位置。
要注意，例如，根据本发明的程序是可以由以计算机可读格式提供的存储介质或通信介质提供给能够执行各种程序代码的图像处理设备或者计算机系统的程序。通过以计算机可读格式提供这样的程序，在图像处理设备或者计算机系统上实施了根据该程序的处理。
根据对本发明的实施例和附图的以下描述，本发明的其他目的、特点和优点将是显而易见的。要注意，在本说明书中使用的术语系统指的是多个设备的逻辑集合，并且不限于其中构成设备位于同一壳体内的情况。
发明的有利效果
根据本发明的实施例的配置，实现了通过在诸如具有显示部的PC和便携式电话的各种显示设备中，将延伸到显示部的区域以外的非显示数据在显示部的显示数据附近的位置处显示为虚拟对象的配置。该配置允许用户总是不仅观察和查看到显示在PC等的有限的显示区域上的数据，也观察和查看到已经到了显示部以外的数据，从而增强了数据处理效率。
附图说明
[图1]图1是解释关于根据本发明的信息处理设备的实施例的配置的图。
[图2]图2是解释关于由根据本发明的信息处理设备执行的对虚拟对象的显示示例的图。
[图3]图3是解释关于由根据本发明的信息处理设备执行的处理示例的图。
[图4]图4是解释关于如下具体处理示例的图，该具体处理示例图示了由根据本发明的信息处理设备执行的处理的示例。
[图5]图5是解释关于如下具体处理示例的图，该具体处理示例图示了由根据本发明的信息处理设备执行的处理的示例。
[图6]图6是图示如下流程图的图，该流程图解释了关于由根据本发明的信息处理设备执行的处理序列。
[图7]图7是解释关于如下具体处理示例的图，该具体处理示例图示了由根据本发明的信息处理设备执行的处理的示例。
[图8]图8是解释关于如下具体处理示例的图，该具体处理示例图示了由根据本发明的信息处理设备执行的处理的示例。
[图9]图9是解释关于如下具体处理示例的图，该具体处理示例图示了由根据本发明的信息处理设备执行的处理的示例。
[图10]图10是解释关于如下具体处理示例的图，该具体处理示例图示了由根据本发明的信息处理设备执行的处理的示例。
[图11]图11是图示如下流程图的图，该流程图解释了关于由根据本发明的信息处理设备执行的处理序列。
[图12]图12是解释关于如下具体处理示例的图，该具体处理示例图示了由根据本发明的信息处理设备执行的处理的示例。
[图13]图13是解释关于如下具体处理示例的图，该具体处理示例图示了由根据本发明的信息处理设备执行的处理的示例。
[图14]图14是解释关于如下具体处理示例的图，该具体处理示例图示了由根据本发明的信息处理设备执行的处理的示例。
下文中，将参照这些图详细描述根据本发明的信息处理设备、信息处理方法和程序。
具体实施方式
将按照以下题目来描述本发明。
1.关于根据本发明的信息处理设备执行的配置示例和处理示例(实施例1)
2.对适合于现实世界中的对象的形状的虚拟对象的显示处理(实施例2)
3.使用其他显示设备的处理示例
根据本发明的实施例，提供了一种信息处理设备，其包括：应用执行部，其在使用第一显示部的数据处理中将非显示数据以及该非显示数据的位置信息存储到存储器中，非显示数据与第一显示部的显示数据相邻；三维信息分析部，其分析包括在相机捕获图像中的、包含第一显示部的真实对象的三维位置；以及虚拟对象管理部，其接收对存储器中存储的非显示数据和该非显示数据的位置信息、以及由三维信息分析部分析的第一显示部的三维位置信息，生成由虚拟对象和包括在相机捕获图像中的真实对象形成的合成图像，并且在第二显示部上显示合成图像，其中虚拟对象由非显示数据形成；其中，虚拟对象管理部在位于所述第二显示部上显示的、所述第一显示部的显示数据的边界到所述第一显示部外部的延伸方向上的位置处，，设置虚拟对象在第二显示部上的显示位置。
此外，根据本发明的另一实施例，还提供了一种在信息处理设备中执行的信息处理方法，其包括：应用执行步骤，应用执行部在使用第一显示部的数据处理中将非显示数据以及该非显示数据的位置信息存储到存储器中，非显示数据与第一显示部的显示数据相邻；三维信息分析步骤，三维信息分析部分析包括在相机捕获图像中的、包含第一显示部的真实对象的三维位置；以及虚拟对象管理步骤，虚拟对象管理部接收存储器中存储的非显示数据和该非显示数据的位置信息、以及由三维信息分析部分析的所述第一显示部的三维位置信息，生成由虚拟对象和包括在相机捕获图像中的真实对象形成的合成图像，并且在第二显示部上显示合成图像，其中虚拟对象由非显示数据形成；其中，虚拟对象管理步骤具有如下步骤：在位于从所述第二显示部上显示的、所述第一显示部的显示数据的边界到所述第一显示部外部的延伸方向上的位置处，设置虚拟对象在第二显示部上的显示位置。
[1.关于根据本发明的信息处理设备执行的配置示例和处理示例]
以下将参照图1来描述根据本发明的信息处理设备执行的配置示例和处理示例，作为根据本发明的信息处理设备和信息处理方法的示例。图1是示出根据本发明的信息处理设备的配置示例的图。
用户100通过操作PC(个人电脑)来执行各种数据处理。如图中所示，PC 120具有应用执行部121、存储器122和通信部123。在应用执行部121中，执行由用户选择的应用程序。例如，应用程序是文档创建应用或绘画应用。存储器122由RAM、ROM等形成，并且用作用于应用程序的存储区域或者工作区域。存储器122也用作例如用于非显示数据、非显示数据的位置信息等的存储区域，非显示数据由于稍后描述的滚动操作等而不再显示在PC的显示部(显示器)上。通信部123执行与交互混合现实(MR：Mixed Reality)生成设备130的通信处理。
用户100佩戴着具有显示虚拟对象的显示器的眼镜141。眼镜141配备有捕获周围环境的相机142。眼镜141和相机142连接到交互混合现实(MR：Mixed Reality)生成设备130。用户100在观察到显示在提供给眼镜141的显示器上的图像的同时进行工作。
在眼镜141的显示器上，显示作为由相机142捕获的图像的真实世界图像，并且将由混合现实(MR)生成设备130生成的虚拟对象与真实世界图像一起显示。
在图1的示例中，用户100正在操作PC(个人电脑)120，并且相机142正在捕获由用户100操作的PC(个人电脑)120。因此，在眼镜141的显示器上，例如显示包括由用户100操作的PC(个人电脑)120的显示器和其周围的各种真实对象的图像作为真实世界图像。此外，由混合现实(MR)生成设备130生成的虚拟对象在被叠加在该真实世界图像上的同时被显示。当用户100移动时，相机142的朝向也改变。例如，当用户看他或她自己的手时，在眼镜141的显示器上显示手的图像作为真实世界对象，并且将虚拟对象与该真实世界图像一起显示。
当用户100在面对PC 120的屏幕的同时执行处理时，相机142捕获在PC 120的屏幕的图像上居中的图像。结果，例如，在由用户100佩戴的眼镜141的显示器上显示如图2中所示的显示器的显示图像150。图2中所示的显示器的显示图像150是真实对象和虚拟对象的合成图像。
在进行对图2的描述之前，将描述图1中所示的混合现实(MR)生成设备130的配置。如图1中所示，混合现实(MR)生成设备130具有三维信息分析部131、虚拟对象管理模块132、存储器133和通信部134。
三维信息分析部131执行接收通过由用户佩戴的相机142捕获的图像的输入、并分析所捕获的图像中包括的对象的三维位置的处理。例如作为应用了SLAM(即时定位与地图构建)的处理来执行该三维位置分析处理。SLAM是从由相机捕获的图像中包括的各种真实对象中选择特征点、并将所选择的特征点的位置和相机的位置/高度一起检测的处理。要注意，在上述专利文献1(日本未审查专利申请公开第2008-304268号)和专利文献2(日本未审查专利申请公开第2008-304269号)中描述了SLAM。要注意，在Andrew J.Davison的论文《Real-time simultaneous localizationand mapping with a single camera》(Proceedings of the 9th InternationalConference on Computer Vision，Ninth，(2003))中描述了SLAM的基本处理。
三维信息分析部131例如通过应用上述SLAM来计算通过由用户佩戴的相机142捕获的图像中包括的真实对象的三维位置。然而，要注意，可以将三维信息分析部131设置为不仅通过上述SLAM、也通过其他方法来得到相机捕获的图像中包括的对象的三维位置。
虚拟对象管理模块132执行对要显示在由用户佩戴的眼镜141的显示器上的虚拟对象的管理。虚拟对象是存储在存储器133中的数据。具体地，例如，在由用户佩戴的眼镜141的显示器上显示图2中所示的显示器的显示图像150。显示器的显示图像150中包括的PC图像151是由相机142捕获的真实图像(真实对象)。将图2中示出的虚拟对象161与该真实图像(真实对象)一起显示。
图1中示出的用户100可以在眼镜141的显示器上观察到例如图2中所示的真实对象和虚拟对象的合成图像。图2中示出的PC图像151是由相机142捕获的真实对象。PC图像151内的PC显示部152也是真实图像。在PC显示部152上显示正在由用户创建的文档的一部分。
另一方面，图2中示出的显示图像150中包括的虚拟对象161不是真实世界的对象(真实对象)。图2中示出的虚拟对象161是显示在PC图像151内的PC显示部152内的、正在由用户处理的页面的一部分。
尽管用户操作图1中示出的PC 120来设定页面的尺寸并将字符等录入所设置的尺寸的页面，但是页面尺寸大到使得页面延伸到PC 120的显示区域以外，并且在PC的显示器上不显示整个页面。图2中所示的虚拟对象221是延伸到PC 120的显示区域以外的非显示数据。在检测到存在非显示数据时，PC 120的应用执行部121将该非显示数据以及其位置信息存储到PC 120内部的存储器122中。
通过PC 120的通信部123和混合现实(MR)生成设备130的通信部134之间的通信，将存储器122中存储的数据发送到混合现实(MR)生成设备130。混合现实(MR)生成设备130将从PC 120接收的数据存储到混合现实(MR)生成设备130内部的存储器133。
混合现实(MR)生成设备130的虚拟对象管理模块132执行在由用户佩戴的眼镜141的显示器上显示存储器133中存储的数据作为虚拟对象的处理。具体地，例如，虚拟对象管理模块132执行确定虚拟对象的显示位置并在所确定的显示位置处显示虚拟对象的处理。
图2中所示的示例示出了在显示为真实对象图像的PC图像151的PC显示部152上方显示虚拟对象161的情况。通过应用与非显示数据一起由PC 120的应用执行部121存储到存储器122中的位置信息，由虚拟对象管理模块132确定该显示位置。该位置信息也通过通信从PC 120发送到混合现实(MR)生成设备130中。
图2中所示的虚拟对象161是由于用户100在PC 120上做出的操作而已经到了PC 120的显示部(显示器)的区域以外的非显示数据。该非显示数据与其位置信息一起通过通信被发送到混合现实(MR)生成设备130，并且被存储到混合现实(MR)生成设备130的存储器133中。通过在存储器133中作为虚拟对象存储的数据，混合现实(MR)生成设备130的虚拟对象管理模块132执行确定虚拟对象的显示位置并在由用户佩戴的眼镜141的显示器上显示虚拟对象的处理。
要注意，在图1中所示的设备的情况下，PC 120和混合现实(MR)生成设备130被配置为两个分立的设备，并且在这两个设备之间执行数据通信。然而，也有可能将PC 120和混合现实(MR)生成设备130配置为单个设备，在该情况下可以忽略图1中示出的每个设备中的通信部。例如，也有可能通过在PC 120中设置混合现实(MR)生成设备130的三维信息分析部131和虚拟对象管理模块132来在单个PC内执行处理。
就是说，尽管在图1中将PC(个人电脑)120和交互混合现实(MR：Mixed Reality)生成设备130示为两个独立的设备，但是根据本发明的信息处理设备可以是单独由交互混合现实(MR：Mixed Reality)生成设备130配置的设备，或者可以是通过由交互混合现实(MR：Mixed Reality)生成设备130和PC 120构成的两个设备配置的设备。可替选地，信息处理设备也可以由结合了这两个设备的功能的单个设备来配置。
以下参照图3，将给出对应用了图1中的配置的具体处理示例的描述。用户100正在执行PC 120的应用执行部121中的文档创建应用，并且正在创建文档，其中在如图3(a)中所示的PC 120的显示部201上显示正在被创建的文档。在PC 120的显示部201上显示要被创建的文档的页面202a，并且用户正在将字符等录入页面202a。在显示部201上，显示了约一半的页面202a，而其余的是隐藏的。
随着文档创建进程，用户向上移动(滚动)页面202a，并且在显示下半部的同时继续录入工作。就是说，如图3(b)中所示，显示要被创建的文档页面202b的下侧，并且用户可以将字符等录入文档页面202b。然而，在图3(b)中示出的状态中，在显示部201上只显示页面202b的下半部，并且上侧中其余的区域位于显示部201的区域以外，并且不能被用户查看。
在根据本发明的设备中，将延伸到显示部201以外的数据(即，非显示数据)与其位置信息一起临时存储到PC 120的存储器122中。此后，将非显示数据与位置信息一起经由通信部123发送到混合现实(MR)生成设备130。混合现实(MR)生成设备130将从PC 120接收的数据(即，非显示数据和位置信息)存储到混合现实(MR)生成设备130内部的存储器133中。
混合现实(MR)生成设备130的三维信息分析部131接收通过由用户100佩戴的相机142捕获的图像的输入，并且通过应用例如上述SLAM来计算被捕获图像中所包括的对象的三维位置。例如，三维信息分析部131选择标记321a至321d作为特征点，并且计算这些特征点的三维位置，其中在图3中所示的PC的显示器的四个角处设置标记321a至321d。
要注意，尽管图3中所示的示例图示了设置标记321a至321d用于识别特征点的示例，但不一定需要设置这样的标记。也有可能检测真实对象的形状(例如，图像中包括的真实对象的角部(角))，选择所检测的角部(角)作为特征点，并且判断特征点的三维位置。要注意，可以使用现有的哈里斯角点检测器(Harris Corner Detector)通过特征点提取处理来执行角部(角)检测处理。
要注意，三维信息分析部131可以被配置为具有从所捕获的图像中检测特定对象的功能。具体地，例如，如果预先登记了PC的形状和特征信息，并且通过应用所登记的信息辨识了PC的屏幕区域，则有可能从所捕获的图像中准确迅速地辨识PC的屏幕区域。
虚拟对象管理模块132从三维信息分析部131获取相机捕获的图像中包括的真实对象的三维位置信息。例如，虚拟对象管理模块132获取PC的显示部周围的四个点的位置信息。此外，虚拟对象管理模块132获取存储器133中存储的非显示数据(即，在PC 120的操作期间已经到了PC屏幕以外的非显示数据)，并且在用户100的眼镜141的显示器上显示所获取的数据作为虚拟对象。
虚拟对象的显示位置是由虚拟对象管理模块132确定的。通过应用从PC 120接收的非显示数据的位置信息、以及从三维信息分析部131获取的真实对象在相机捕获的图像内的三维位置信息，确定显示位置。
虚拟对象管理模块132以从PC显示部的显示数据显示在眼镜141的显示器上的边界延伸到PC显示部外部的方向，设置虚拟对象相对于用户100的眼镜141的显示器的显示位置。就是说，虚拟对象管理模块132生成并显示合成图像，在该合成图像中将虚拟对象161设置在诸如位于图2中的显示数据150中的位置处。通过这样的显示处理，用户能够观察到要被处理的整个页面而没有不协调感。
参照图4，将给出对由PC 120的应用执行部121存储到存储器122中的非显示数据的位置信息的描述。
当由于例如滚动操作而存在不再显示在屏幕上的非显示数据时，PC120的应用执行部121将非显示数据存储到存储器122中。在图4的示例中，将由虚线框所指示的非显示数据330的数据内容存储到PC 120的存储器122中。
此外，PC 120的应用执行部121通过被取作xy平面的、定义了PC的显示部201的平面，设置特定位置作为原点。在图中示出的示例中，取显示部201的左上角处的点作为原点350。
通过取水平方向作为x轴并且取竖直方向作为y轴来设置与显示部201平行的平面。将该坐标系设置为对应于PC显示部的坐标系。应用执行部121得到非显示数据330在这个对应于PC显示部的坐标系中的位置。
图4中所示的非显示数据330的四个角的坐标是以下四个点的坐标，如图中所示。
(x10，y10)
(x11，y11)
(x12，y12)
(x13，y13)
要注意，尽管在图4中所示的示例中非显示数据的位置信息由非显示数据的四个角的坐标代表，但是所需的位置信息随非显示数据的形状而变化。应用执行部121执行如下处理：根据在显示非显示数据作为虚拟对象时变得必要的非显示数据的形状来获取位置信息，并将该位置信息存储到存储器122中。
在如图4中所示的具有矩形形状的非显示数据330的情况下，获取其四个角的每个的坐标数据作为非显示数据的位置信息。将参照图5描述随后的处理。如图5中所示，应用执行部121将这四段坐标数据作为非显示数据的位置信息与非显示数据的实质数据一起存储到存储器122中。
将PC 120侧上的存储器122中存储的非显示数据及其位置信息经由通信部被发送到混合现实(MR)生成设备130，并且被存储到混合现实(MR)生成设备130的存储器133中。
混合现实(MR)生成设备130的虚拟对象管理模块132通过应用以这种方式从PC 120接收的非显示数据的位置信息以及从三维信息分析部131获取的真实对象在相机捕获的图像内的三维位置信息，确定虚拟对象(非显示数据)的显示位置。通过该处理，生成先前参照图2描述的显示数据150，并且将其显示在用户100的眼镜141中设置的显示器上。
参照图6中所示的流程图，将描述根据本发明的信息处理设备的处理序列，作为根据本发明的信息处理方法的示例。
图3中所示的流程图的步骤S101至S103中的处理是图1中所示的PC 120中的处理。
步骤S104至S107中的处理是图1中示出的混合现实(MR)生成设备130中的处理。
首先，当在步骤S101中PC 120的应用执行部121检测到存在延伸到PC的显示部的区域以外的非显示数据时，在步骤S102中应用执行部121将非显示数据的实质数据及其位置信息存储到PC 120的存储器122中。该处理是参照图4和图5描述的处理。非显示数据的位置信息是例如非显示数据的四个角中的每个在PC显示部的平面中的坐标数据。
接下来，在步骤S103中将存储器中存储的非显示数据和位置信息经由通信部传送到混合现实(MR)生成设备130。
自步骤S104以下的处理作为混合现实(MR)生成设备130中的处理来执行。
首先，在步骤S104中混合现实(MR)生成设备130将从PC 120传送的非显示数据及其位置信息存储到混合现实(MR)生成设备130侧上的存储器133中。
接下来，在步骤S105中混合现实(MR)生成设备130的虚拟对象管理模块132获取存储器133中存储的数据(即，非显示数据及其位置信息)。
在步骤S106中虚拟对象管理模块132执行将从存储器133获取的非显示数据的位置信息变换到从三维信息分析部131获取的对应于相机捕获的图像的相机坐标系的处理。
将参照图7描述该处理。三维信息分析部131先前已经获取了相机捕获的图像中包括的PC 120的显示部的四个角处的每个标记321a至321d的三维位置信息。如图7中所示，已经获取了以下各条位置信息。
标记321a＝(Xa，Ya，Za)
标记321b＝(Xb，Yb，Zb)
标记321c＝(Xc，Yc，Zc)
标记321d＝(Xd，Yd，Zd)
基于该三维位置信息，虚拟对象管理模块132计算作为相机坐标系中的真实对象的PC的显示部的平面，并且执行坐标变换以便在所计算的平面中设置从PC 120获取的非显示数据330。页面在PC显示部内的位置也包括在相机捕获的图像中，并且执行坐标变换以便按照从相机获取的页面在PC显示部内的位置，设置从PC 120获取的非显示数据330。要注意，当以使得相机捕获的图像中的PC显示部的平面被取作XY平面并且垂直于PC显示部的方向被取作Z轴的方式来设置相机坐标系时，四个标记的Z坐标都变成0，从而能够有不使用Z坐标的设置。
可以以使得在由图7中所示的PC显示部的平面定义的XY平面中设置先前从PC 120接收的非显示数据的四个角的坐标的方式来执行坐标变换。如图7中所示，将非显示数据330的四个角在对应于PC显示部的坐标系(x，y)中的位置坐标如下地变换到相机坐标系(X，Y)的坐标。
(x10，y10)→(X10，Y10)
(x11，y11)→(X11，Y11)
(x12，y12)→(X12，Y12)
(x13，y13)→(X13，Y13)
虚拟对象管理模块132将这些坐标设置为虚拟对象的显示位置。以这种方式，在图6中所示的流程图的步骤S106中，虚拟对象管理模块132执行将从存储器133获取的非显示数据的位置信息变换到从三维信息分析部131获取的对应于相机捕获的图像的相机坐标系。
在步骤S107中虚拟对象管理模块132执行如下处理，其中在步骤S106中计算出的虚拟对象的显示位置处，将从存储器133获取的非显示数据显示为虚拟对象。
通过该处理，在由用户100佩戴的眼镜141的显示器上显示图8中所示的显示数据400。图8中所示的显示数据400代表其中将作为真实对象的PC 401和虚拟对象402一起显示的合成图像。如图8中所示，虚拟对象管理模块132以从PC显示部的显示数据的边界延伸到PC显示部外部的方向来设置虚拟对象的显示位置。通过这样的显示处理，用户能够观测到要被处理的整个页面而没有不协调感。
通过该处理，用户100有可能总是将作为虚拟对象的延伸到PC的显示部以外的非显示数据与显示在PC的显示部上的数据一起查看。
要注意，例如每次用户操作PC 120并且由于例如滚动操作等而改变非显示数据的范围时，都执行参照图6中所示的流程图描述的处理。每次对非显示数据的区域或内容做出改变，应用执行部121都执行对存储器122中存储的数据的更新。将所更新的数据发送到混合现实(MR)生成设备130。混合现实(MR)生成设备130基于所更新的数据，执行改变虚拟对象的显示方式的处理作为实时更新处理。
[2.对适合于现实世界中的对象的形状的虚拟对象的显示处理]
接下来，将给出对适合于现实世界中的对象的形状的虚拟对象的显示处理的描述，作为本发明的第二实施例。
在上述实施例中，通过扩大对应于PC的屏幕的平面来执行对虚拟对象的显示。然而，例如，如图9中所示，存在PC的显示部的平面被真实世界中的墙壁521阻挡的情况。如果在这样的情况下执行上述对虚拟对象的显示处理，则以穿透墙壁的方式显示虚拟对象，使得用户观察到引起不协调感的数据。
以下，生成如图9中所示的显示数据500并将其呈现给用户。就是说，按照真实世界中的真实对象(例如，图9中示出的墙壁521a和521b)的形状来显示虚拟对象512。
该实施例是使得有可能沿着真实世界的对象来显示虚拟对象512的实施例。例如，如图9中所示，有可能沿着作为真实对象的墙壁521b的表面来显示虚拟对象512。要注意，在该实施例中也应用参照图1描述的配置作为设备配置。
参照图10，将给出对在该实施例中由PC 120的应用执行部121存储到存储器122的非显示数据的位置信息的描述。当由于例如滚动操作而存在不再显示在屏幕上的非显示数据时，PC 120的应用执行部121将非显示数据存储到存储器122中。在图10中的示例中，将由虚线框表示的非显示数据530的数据内容存储到PC 120的存储器122中。
此外，如在先前描述的实施例中那样，PC 120的应用执行部121通过取显示部201的左上角处的点作为原点、取水平方向作为x轴并取竖直方向作为y轴，设置与显示部201平行的平面。将该坐标系设置为对应于PC显示部的坐标系。应用执行部121得到非显示数据530在这个对应于PC显示部的坐标系中的位置。
图10中所示的非显示数据530的四个角的坐标是以下四个点的坐标，如图中所示。
(x10，y10)
(x11，y11)
(x12，y12)
(x13，y13)
将PC 120侧上的存储器122中存储的非显示数据及其位置信息经由通信部发送到混合现实(MR)生成设备130，并且存储到混合现实(MR)生成设备130的存储器133中。
混合现实(MR)生成设备130的虚拟对象管理模块132通过应用以这种方式从PC 120接收的非显示数据的位置信息以及从三维信息分析部131获取的真实对象在相机捕获的图像内的三维位置信息，确定虚拟对象(非显示数据)的显示位置。
在该实施例中，生成参照图9描述的显示数据500。就是说，以使得沿着真实对象的表面来显示虚拟对象的方式来确定虚拟对象的显示位置。
参照图11中所示的流程图，将描述根据本发明的信息处理设备的处理序列，作为根据本发明的信息处理方法的示例。
图11中所示的流程图的步骤S201至S203中的处理是图1中所示的PC 120中的处理。
步骤S204至S209中的处理是图1中示出的混合现实(MR)生成设备130中的处理。
首先，当在步骤S201中PC 120的应用执行部121检测到存在延伸到PC的显示部的区域以外的非显示数据时，在步骤S202中应用执行部121将非显示数据的实质数据及其位置信息存储到PC 120的存储器122中。该处理是参照图10描述的处理。非显示数据的位置信息是例如非显示数据的四个角中的每个在PC显示部的平面中的坐标数据。
接下来，在步骤S203中将存储器中存储的非显示数据和位置信息经由通信部传送到混合现实(MR)生成设备130。
自步骤S204以下的处理作为混合现实(MR)生成设备130中的处理来执行。
首先，在步骤S204中混合现实(MR)生成设备130将从PC 120传送的非显示数据及其位置信息存储到混合现实(MR)生成设备130侧上的存储器133中。
接下来，在步骤S205中混合现实(MR)生成设备130的虚拟对象管理模块132获取存储器133中存储的数据(即，非显示数据及其位置信息)。
在步骤S206中虚拟对象管理模块132执行如下处理：将从存储器133获取的非显示数据的位置信息变换到从三维信息分析部131获取的对应于相机捕获的图像的相机坐标系。
该处理与先前作为根据第一实施例的处理而描述的图6中所示的流程图的步骤S106的处理相同。
就是说，三维信息分析部131获取相机捕获的图像中包括的PC 120的显示部的四个角处的每个标记321a至321d的三维位置信息。如先前参照图7所描述的，获取以下位置信息。
标记321a＝(Xa，Ya，Za)
标记321b＝(Xb，Yb，Zb)
标记321c＝(Xc，Yc，Zc)
标记321d＝(Xd，Yd，Zd)
基于该三维位置信息，虚拟对象管理模块132计算作为相机坐标系中的真实对象的PC的显示部的平面，并且执行坐标变换以便在所计算的平面中设置从PC 120获取的非显示数据530。页面在PC显示部内的位置也包括在相机捕获的图像中，并且执行坐标变换以便按照从相机获取的页面在PC显示部内的位置，设置从PC 120获取的非显示数据530。
在该坐标变换中，可以以使得在由PC显示部的平面定义的XY平面中设置先前从PC 120接收的非显示数据的四个角的坐标的方式来执行坐标变换。将非显示数据330的四个角在对应于PC显示部的坐标系(x，y，z)中的位置坐标如下地变换到相机坐标系(X，Y，Z)中的坐标。
(x10，y10，z10)→(X10，Y10，Z10)
(x11，y11，z11)→(X11，Y11，Z11)
(x12，y12，z12)→(X12，Y12，Z12)
(x13，y13，z13)→(X13，Y13，Z13)
要注意，在该实施例中，与在先前的实施例中的那样不同，还通过考虑Z方向来执行处理。
在步骤S207中虚拟对象管理模块132判断通过相机坐标系中的四个坐标得到的平面是否与真实对象的平面交叉，其中这四个坐标表示由步骤S206中的变换处理得到的虚拟对象的显示位置。真实对象的平面是从由三维信息分析部131获取的真实对象的三维位置信息中获取的。
如果虚拟对象的显示平面不与真实对象的平面交叉，则步骤S207中的判断变为否。在该情况下，处理前进到步骤S209，并且通过应用步骤S206中计算出的变换后的坐标来显示虚拟对象。该处理是与先前描述的第一实施例中的那样相同的处理，其中在通过扩大PC显示部的平面得到的平面中显示虚拟对象。
另一方面，如果在步骤S207中判断出通过相机坐标系中的四个坐标得到的平面与真实对象的平面交叉，其中这四个坐标表示由步骤S206中的变换处理得到的虚拟对象的显示位置，则处理前进到步骤S208。
就是说，这与图9中所示的状态的情况相对应。在该情况下，在步骤S208中执行对表示虚拟对象的显示位置的坐标进行重新变换的处理。就是说，执行对表示步骤S206中计算出的虚拟对象的显示位置的四个坐标进行重新变换的处理。
作为对表示虚拟对象的显示位置的四个坐标进行变换以使得在形成真实对象的平面中设置坐标的处理来执行该变换处理。将参照图12描述该处理。
在步骤S206中所计算出的表示虚拟对象的显示位置的四个角的坐标是图12中示出的点541至544。如图中所示，这些坐标是以下坐标。
点541＝(X10，Y10，Z10)
点542＝(X11，Y11，Z11)
点543＝(X13，Y13，Z13)
点544＝(X12，Y12，Z12)
然而，由这四个点代表的平面与作为真实对象的墙壁521的平面交叉。要注意，形成作为真实对象的墙壁521的平面是通过三维信息分析部131的分析得到的。例如，图12中所示的墙壁的四个角处的点被检测为特征点，并且由这些特征点形成的平面被判断为形成作为真实对象的墙壁521的平面。
在图12中所示的示例中，墙壁521b的平面是由表示四个角的坐标的以下四个坐标定义的。
(X30，Y30，Z30)
(X31，Y31，Z31)
(X32，Y32，Z32)
(X33，Y33，Z33)
虚拟对象管理模块132对虚拟对象的四个点541至544的坐标进行变换以便在形成上述墙壁521b的平面中展开图12中所示的虚拟对象的四个点541至544。结果，得到了图中所示的坐标变换。
点541(X10，Y10，Z10)→变换后(X10v，Y10v，Z10v)(＝点541)
点542(X11，Y11，Z10)→变换后(X11v，Y11v，Z11v)(＝点552)
点543(X13，Y13，Z13)→变换后(X13v，Y13v，Z13v)(＝点553)
点544(X12，Y12，Z12)→变换后(X12v，Y12v，Z12v)(＝点544)
以这种方式计算四个变换后的坐标。要注意，从图中可知，点541和点544在坐标位置中在变换之前和之后保持不变。
至于位于穿透墙壁521b的位置处的点542和点543，执行将这些点变换到墙壁521b的平面中的位置的处理。
在步骤S208中的该坐标变换处理之后，处理前进到步骤S209。在步骤S209中，通过将从存储器133获取的非显示数据视为虚拟对象，虚拟对象管理模块132执行在步骤S208中计算出的虚拟对象的显示位置处显示虚拟对象的处理。
通过该处理，例如，在由用户100佩戴的眼镜141的显示器上显示图13中所示的显示数据500。图13中所示的显示数据500代表其中将作为真实对象的PC 511和虚拟对象512一起显示的合成图像。
用户100有可能总是将作为虚拟对象的延伸到PC的显示部以外的非显示数据与PC的显示部的显示数据一起查看。
要注意，每次用户操作PC 120并且由于例如滚动操作等而改变非显示数据的范围，都执行参照图11中所示的流程图描述的处理。每次对非显示数据的区域或内容做出改变，应用执行部121都执行对存储器122中存储的数据的更新。将所更新的数据发送到混合现实(MR)生成设备130。混合现实(MR)生成设备130基于所更新的数据，执行改变虚拟对象的显示方式的处理作为实时更新处理。
[3.使用其他显示设备的处理示例]
在上述实施例中，描述是针对如下配置的，该配置使用户在操作PC时能够观察到作为虚拟对象的不再显示在PC的显示屏幕上的数据。
然而，应用本发明的处理(即，虚拟对象显示处理)可以不仅用于PC上要处理的数据，也在各种具有显示部的设备中使用。例如，如图14中所示，在观察位于要在便携式电话600的显示部上显示的数据的显示区域外部的部分的情况下，通过执行上述虚拟对象显示处理，可以在由用户100佩戴的眼镜141的显示器上显示如图14中所示的显示数据700。
显示用户拥有的作为真实对象的便携式电话图像701和作为地图数据的虚拟对象702作为显示数据700，以允许用户在便携式电话的显示部外部的区域中查看广阔的地图信息。
根据本发明的配置，例如，因为在真实世界中原样显示已被滚动到PC等的显示部的屏幕以外的信息，不需要操作滚动条来显示信息，使得有可能总是在广阔的区域上查看数据。而且，因为以与用户正在操作的屏幕相邻的方式在屏幕外部显示虚拟对象，所以有可能总是在广阔的区域上查看信息而没不引起视觉不适感。
上文中，已经参考具体实施例详细描述了本发明。然而，显然本领域普通技术人员可以对于这些实施例做出各种修改和替换而不脱离本发明的范围。就是说，本发明已经通过示例方式进行了公开，而不应该做限制性解释。本发明的范围应该参照所附权利要求来确定。
而且，说明书中描述的一系列处理可以通过硬件、软件或二者的组合配置来执行。如果处理要由软件执行，则可以通过将记录有处理序列的程序安装到嵌入专用硬件中的计算机中的存储器中、或者通过将该程序安装到能够执行各种处理的通用计算机中来执行处理。例如，程序可以预先记录在记录介质上。除了从记录介质安装到计算机中以外，程序可以经由诸如LAN(局域网)或者因特网的网络来接收，并且安装到诸如硬盘的内建记录介质中。
要注意，说明书中所述的各种处理不仅可以如所述地在顺序上依次执行，也可以取决于执行处理的设备的处理能力并行地或者独立地执行。而且，本说明书中所使用的术语系统指的是多个设备的逻辑集合，并且不限于其中构成设备位于同一壳体内的情况。
产业适用性
如上文中所述，根据本发明的实施例的配置，实现了通过在诸如具有显示部的PC和便携式电话的各种显示设备中，将延伸到显示部的区域以外的非显示数据在显示部的显示数据附近的位置处显示为虚拟对象的配置。该配置允许用户总是不仅观察和查看到显示在PC等的有限的显示区域上的数据，也观察和查看到已经到了显示部以外的数据，从而增强了数据处理效率。
附图标记
100 用户
120 PC(个人电脑)
121 应用执行部
122 存储器
123 通信部
130 混合现实(MR)生成设备
131 三维信息分析部
132 虚拟对象管理模块
133 存储器
134 通信部
141 眼镜
142 相机
150 显示器的显示图像
151 PC图像
152 PC显示部
161 虚拟对象
201 显示部
202 页面
321a至321d 标记
330 非显示数据
350 原点
401 PC
402 虚拟对象
500 显示数据
511 PC
512 虚拟对象
521 墙壁
530 非显示数据
600 便携式电话
700 显示数据
701 便携式电话图像
702 虚拟对象

Claims (5)

1.一种用于显示图像的信息处理设备，其包括：
应用执行部，其在使用第一显示部的数据处理中将非显示数据以及该非显示数据的位置信息存储到存储器中，所述非显示数据与所述第一显示部的显示数据相邻；
三维信息分析部，其分析包括在相机捕获图像中的、包含所述第一显示部的真实对象的三维位置；以及
虚拟对象管理部，其接收所述存储器中存储的非显示数据和该非显示数据的位置信息、以及由所述三维信息分析部分析的所述第一显示部的三维位置信息的输入，生成由虚拟对象和包括在所述相机捕获图像中的真实对象形成的合成图像，并且在第二显示部上显示所述合成图像，其中所述虚拟对象由所述非显示数据形成；
其中，所述虚拟对象管理部在从所述第二显示部上显示的、所述第一显示部的显示数据的边界到所述第一显示部外部的延伸方向上的位置处，设置所述虚拟对象在所述第二显示部上的显示位置。
2.根据权利要求1所述的用于显示图像的信息处理设备，其中，所述虚拟对象管理部将作为所述存储器中存储的非显示数据的位置信息的坐标数据变换到相机坐标系，并且通过应用变换后的坐标数据来确定所述虚拟对象的显示位置，其中所述相机坐标系用作所述第二显示部的显示图像中的显示位置的指示符。
3.根据权利要求2所述的用于显示图像的信息处理设备，其中，所述虚拟对象管理部判断在变换到所述相机坐标系后的所述虚拟对象的显示位置与形成包括在所述相机捕获图像中的真实对象的平面之间是否存在交叉，并且如果存在交叉，则执行坐标重新变换处理以便将变换后的坐标数据定位在形成所述真实对象的平面中，并且通过应用重新变换后的坐标数据来确定所述虚拟对象的显示位置。
4.根据权利要求1至3中任一项所述的用于显示图像的信息处理设备，其中：
所述信息处理设备包括：
第一设备，其具有所述应用执行部，以及
第二设备，其具有所述三维信息分析部和所述虚拟对象管理部；并且
经由通信部将由所述应用执行部存储到所述第一设备中的第一存储器中的数据传送到所述第二设备，并且在所述第二设备中，所述三维信息分析部和所述虚拟对象管理部执行使用所接收的数据的处理。
5.一种在信息处理设备中执行的用于显示图像的信息处理方法，其包括：
应用执行步骤，应用执行部在使用第一显示部的数据处理中将非显示数据以及该非显示数据的位置信息存储到存储器中，所述非显示数据与所述第一显示部的显示数据相邻；
三维信息分析步骤，三维信息分析部分析包括在相机捕获图像中的、包含所述第一显示部的真实对象的三维位置；以及
虚拟对象管理步骤，虚拟对象管理部接收所述存储器中存储的非显示数据和该非显示数据的位置信息、以及由所述三维信息分析部分析的所述第一显示部的三维位置信息的输入，生成由虚拟对象和包括在所述相机捕获图像中的真实对象形成的合成图像，并且在第二显示部上显示所述合成图像，其中所述虚拟对象由所述非显示数据形成；
其中，所述虚拟对象管理步骤具有如下步骤：在从所述第二显示部上显示的、所述第一显示部的显示数据的边界到所述第一显示部外部的延伸方向上的位置处，设置所述虚拟对象在所述第二显示部上的显示位置。
CN201080016939.7A 2009-04-23 2010-03-17 信息处理设备、信息处理方法以及程序 Expired - Fee Related CN102395948B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-105294 2009-04-23
JP2009105294A JP5158006B2 (ja) 2009-04-23 2009-04-23 情報処理装置、および情報処理方法、並びにプログラム
PCT/JP2010/054541 WO2010122859A1 (ja) 2009-04-23 2010-03-17 情報処理装置、および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN102395948A CN102395948A (zh) 2012-03-28
CN102395948B true CN102395948B (zh) 2015-06-24

Family

ID=43010982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080016939.7A Expired - Fee Related CN102395948B (zh) 2009-04-23 2010-03-17 信息处理设备、信息处理方法以及程序

Country Status (9)

Country Link
US (1) US8994721B2 (zh)
EP (1) EP2423789B1 (zh)
JP (1) JP5158006B2 (zh)
KR (1) KR20120008030A (zh)
CN (1) CN102395948B (zh)
BR (1) BRPI1015167A2 (zh)
RU (1) RU2536363C2 (zh)
TW (1) TWI469622B (zh)
WO (1) WO2010122859A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2980005A1 (fr) * 2011-09-09 2013-03-15 Movea Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede
CN103959344B (zh) * 2011-12-20 2017-03-01 英特尔公司 跨越多个设备的增强现实表示
US9164972B2 (en) * 2012-06-07 2015-10-20 Microsoft Technology Licensing, Llc Managing objects in panorama display to navigate spreadsheet
WO2014069248A1 (ja) * 2012-11-02 2014-05-08 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
CN103676172B (zh) * 2013-12-23 2017-04-19 Tcl集团股份有限公司 一种3d电子沙盘显示装置及方法
US10001645B2 (en) * 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
KR102182162B1 (ko) * 2014-02-20 2020-11-24 엘지전자 주식회사 Hmd 및 그 제어 방법
JP6348741B2 (ja) * 2014-03-18 2018-06-27 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US9696549B2 (en) * 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
US9952656B2 (en) 2015-08-21 2018-04-24 Microsoft Technology Licensing, Llc Portable holographic user interface for an interactive 3D environment
JP6586834B2 (ja) 2015-09-14 2019-10-09 富士通株式会社 作業支援方法、作業支援プログラム、及び作業支援システム
JP2018189999A (ja) * 2015-09-29 2018-11-29 株式会社会津ラボ 関連情報表示装置
US10353564B2 (en) * 2015-12-21 2019-07-16 Sap Se Graphical user interface with virtual extension areas
JP6602743B2 (ja) 2016-12-08 2019-11-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
FR3074331A1 (fr) * 2017-11-28 2019-05-31 Orange Procede d'affichage en realite mixte d'au moins un objet virtuel, terminal et systeme associes
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
US11379033B2 (en) * 2019-09-26 2022-07-05 Apple Inc. Augmented devices
CN113711175A (zh) * 2019-09-26 2021-11-26 苹果公司 呈现计算机生成现实环境的可穿戴电子设备
DE112020001415T5 (de) 2019-09-27 2021-12-09 Apple Inc. Umgebung für Fernkommunikation
TWI757824B (zh) 2020-08-10 2022-03-11 宏碁股份有限公司 擴增實境螢幕系統及擴增實境螢幕顯示方法
US11175791B1 (en) * 2020-09-29 2021-11-16 International Business Machines Corporation Augmented reality system for control boundary modification
GB2620175A (en) * 2022-06-30 2024-01-03 Sony Interactive Entertainment Europe Ltd Representing virtual objects outside of a display screen

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1665313A (zh) * 2004-03-02 2005-09-07 株式会社东芝 产生图像的装置和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6407817B1 (en) * 1993-12-20 2002-06-18 Minolta Co., Ltd. Measuring system with improved method of reading image data of an object
JP3287312B2 (ja) * 1998-08-13 2002-06-04 日本電気株式会社 ポインティング装置
FI117488B (fi) * 2001-05-16 2006-10-31 Myorigo Sarl Informaation selaus näytöllä
JP4393169B2 (ja) * 2003-12-04 2010-01-06 キヤノン株式会社 複合現実感提示方法および装置
US20050285878A1 (en) * 2004-05-28 2005-12-29 Siddharth Singh Mobile platform
JP4434890B2 (ja) * 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
JP2006105640A (ja) * 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
JP4533087B2 (ja) * 2004-10-28 2010-08-25 キヤノン株式会社 画像処理方法、画像処理装置
JP2006154902A (ja) * 2004-11-25 2006-06-15 Olympus Corp 手書き画像表示システム及び空間手書き用携帯情報端末
JP4933164B2 (ja) * 2005-07-01 2012-05-16 キヤノン株式会社 情報処理装置、情報処理方法、プログラムおよび記憶媒体
JP2008304269A (ja) 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP5380789B2 (ja) 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
KR100927009B1 (ko) * 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
JP5499762B2 (ja) * 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1665313A (zh) * 2004-03-02 2005-09-07 株式会社东芝 产生图像的装置和方法

Also Published As

Publication number Publication date
RU2011141838A (ru) 2013-05-10
US8994721B2 (en) 2015-03-31
TWI469622B (zh) 2015-01-11
JP2010257123A (ja) 2010-11-11
EP2423789B1 (en) 2020-04-29
EP2423789A1 (en) 2012-02-29
KR20120008030A (ko) 2012-01-25
EP2423789A4 (en) 2014-12-03
RU2536363C2 (ru) 2014-12-20
BRPI1015167A2 (pt) 2016-04-19
US20120032955A1 (en) 2012-02-09
JP5158006B2 (ja) 2013-03-06
WO2010122859A1 (ja) 2010-10-28
CN102395948A (zh) 2012-03-28
TW201103312A (en) 2011-01-16

Similar Documents

Publication Publication Date Title
CN102395948B (zh) 信息处理设备、信息处理方法以及程序
RU2524836C2 (ru) Информационный процессор, способ обработки и программа
EP2915140B1 (en) Fast initialization for monocular visual slam
KR101841668B1 (ko) 입체 모델 생성 장치 및 방법
JP5871345B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
KR101816041B1 (ko) 시스루 스마트 안경 및 그 투시 방법
JP5936155B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
WO2013035758A1 (ja) 情報表示システム、情報表示方法、及び記憶媒体
EP2490182A1 (en) authoring of augmented reality
CN106020436A (zh) 图像分析装置及图像分析方法
CN104808923B (zh) 一种屏幕控制方法和电子设备
JP2011028309A5 (zh)
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
CN104899361B (zh) 一种远程操控方法及装置
KR20120076175A (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
JP2018010599A (ja) 情報処理装置、パノラマ画像表示方法、パノラマ画像表示プログラム
KR20190048810A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
JP7341736B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101902131B1 (ko) 시뮬레이션 파노라마 실내영상 제작 시스템
CN106125937B (zh) 一种信息处理方法和处理器
KR20150028533A (ko) 실내 공간 정보 구축을 위한 이동식 정보수집 장치
JP2009008577A (ja) オブジェクト認識装置及びオブジェクト認識用プログラム
CN116797643A (zh) 获取vr中用户注视区域的方法、存储介质及电子设备
JP2023021808A (ja) 支援システム、支援側装置、支援方法、およびプログラム
JP2023021806A (ja) 支援システム、支援側装置、支援方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150624

Termination date: 20210317

CF01 Termination of patent right due to non-payment of annual fee