CN104081319B - 信息处理设备和信息处理方法 - Google Patents

信息处理设备和信息处理方法 Download PDF

Info

Publication number
CN104081319B
CN104081319B CN201380007190.3A CN201380007190A CN104081319B CN 104081319 B CN104081319 B CN 104081319B CN 201380007190 A CN201380007190 A CN 201380007190A CN 104081319 B CN104081319 B CN 104081319B
Authority
CN
China
Prior art keywords
real object
processing device
message processing
real
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380007190.3A
Other languages
English (en)
Other versions
CN104081319A (zh
Inventor
多井坚郎
多井坚一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104081319A publication Critical patent/CN104081319A/zh
Application granted granted Critical
Publication of CN104081319B publication Critical patent/CN104081319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种信息处理设备包括处理电路，该处理电路被配置为基于真实对象和预定对象之间的显示位置关系来发出与真实对象有关的控制命令。真实对象是有形的可移动对象，并且预定对象是另一个真实对象和虚拟对象中的至少一个。

Description

信息处理设备和信息处理方法
技术领域
本公开涉及一种信息处理设备和信息处理方法。
背景技术
近来已经公开了许多与AR(augmented reality，增强现实)有关的技术，AR通过在用成像设备拍摄的图像之上叠加与该图像相关联的信息、该图像中包括的目标对象等来扩展现实世界。
例如，下述的专利文献1公开了一种用于给图像提供与图像的拍摄位置和朝向相对应的标签的技术。此外，下述的专利文献2公开了一种与能够通过利用混合现实(mixedreality，MR)技术来有效地利用显示屏幕之外的空间区域的用户界面有关的技术。
引用列表
专利文献
专利文献1：JP 2011-244058A
专利文献2：JP 2011-28309A
发明内容
技术问题
但是，上述文献没有公开一种允许用户通过利用在现实世界中存在的真实对象来直接操作虚拟信息或虚拟对象的方法。因此，鉴于这种情形而作出的本技术旨在提供一种能够通过利用在现实世界中存在的真实对象来直接操作虚拟信息或虚拟对象的新的改进的信息处理设备、信息处理方法和程序。
解决问题的方案
一种信息处理设备包括处理电路，该处理电路被配置为基于真实对象和预定对象之间的显示位置关系来发出与真实对象有关的控制命令。真实对象是有形的可移动对象，预定对象是另一个真实对象和虚拟对象中的至少一个。
本发明的有益效果
根据如上所述的本公开，可以利用在现实世界中存在的真实对象来直接操作虚拟信息和虚拟对象。
附图说明
图1是示出在没有利用MR时使用用户界面的操作方法的说明图。
图2是示出使用AR虚拟桌面应用中的用户界面的操作方法的说明图。
图3是示出用于利用AR虚拟桌面应用的装置的配置例的说明图。
图4是示出用于在AR虚拟桌面应用中利用的装置的配置例的说明图。
图5是示出真实对象的识别方法的说明图。
图6是示出根据第一实施例的信息处理设备的功能配置的说明图。
图7是示出根据第一实施例的命令发出处理流程的示例的流程图。
图8是示出基于真实对象和虚拟对象之间的位置关系的命令发出处理的说明图。
图9是示出基于多个真实对象之间的位置关系的命令发出处理的说明图。
图10是示出基于真实对象和显示对象之间的位置关系的命令发出处理的说明图。
图11是示出从多首歌曲中选择期望的歌曲的方法的说明图。
图12是示出多个虚拟对象的显示例的说明图。
图13是示出利用多个虚拟对象的操作方法的说明图。
图14是示出根据第一实施例的技术的应用例的说明图。
图15是示出根据第一实施例的技术的应用例的说明图。
图16是示出根据第一实施例的技术的应用例的说明图。
图17是示出根据第一实施例的技术的应用例的说明图。
图18是示出根据第二实施例的信息处理设备的功能配置的说明图。
图19是示出根据第二实施例的命令发出处理流程的示例的流程图。
图20是示出利用姿势的选择屏幕切换方法的说明图。
图21是示出利用姿势的执行操作方法的说明图。
图22是示出能够执行根据本公开的信息处理设备的功能的硬件配置的说明图。
具体实施方式
在下文中，将参照附图详细地描述本公开的优选实施例。注意，在本说明书和附图中，具有基本上相同的功能和结构的构成要素用相同的附图标记表示，并且省略对这些构成要素的重复说明。
将按照以下顺序进行描述。
1:引言
1-1关于AR虚拟桌面应用
1-2关于物理对象识别技术
2:第一实施例(利用对象之间的位置关系的用户界面)
2-1:系统配置例
2-2:信息处理设备100的配置
2-3:信息处理设备100的操作
2-4:关于操作方法
2-5:应用例
3:第二实施例(考虑姿势的操作界面)
3-1:系统配置例
3-2:信息处理设备100的配置
3-3:信息处理设备100的操作
3-4:关于操作方法
4:硬件配置例
5:总结
<1:引言>
首先，将介绍与本实施例有关的技术。
1-1:关于AR虚拟桌面应用
首先，作为与本实施例有关的技术的示例，将介绍AR虚拟桌面应用。本技术涉及能够通过利用混合现实(MR)技术来有效地利用显示屏幕之外的空间区域的用户界面。现在将参照图1至4简要地描述该技术。
图1是示出使用正常用户界面(即，没有利用MR时)的操作方法的说明图。另一方面，图2是示出使用AR虚拟桌面应用中的用户界面(即，利用MR时)的操作方法的说明图。此外，图3是示出用于利用AR虚拟桌面应用的装置的配置例的说明图。
对于没有利用MR的正常用户界面，如图1所示，用户可以通过操作鼠标，在显示设备DSP的显示屏幕内移动在该显示屏幕上显示的显示鼠标光标D_CUR。
用户通过操作鼠标将显示鼠标光标D_CUR移动到显示设备DSP的显示屏幕上显示的显示对象D_OBJ上。然后，用户通过执行预定的鼠标操作来指定显示鼠标光标D_CUR，并通过移动鼠标，可以在显示设备DSP的显示屏幕内移动指定的对象。
但是，如果显示鼠标光标D_CUR或显示对象D_OBJ位于显示设备DSP显示屏幕的边缘，则即使用户沿着使显示鼠标光标D_CUR向外进一步移动的方向移动鼠标，显示鼠标光标D_CUR也不能移动得超出显示屏幕。
另一方面，对于在利用MR的AR虚拟桌面应用中的用户界面，如图2所示，虚拟鼠标光标V_CUR和虚拟对象V_OBJ被显示得超出显示设备DSP的显示屏幕。
在本公开中，术语“虚拟对象”是指基于MR技术在用户佩戴的头戴式显示器(HMD)上显示的用户可见的对象。但是，虚拟对象不能由成像设备拍摄。相反，在现实世界中存在的真实对象(有形的对象)和在显示设备DSP上显示的显示对象能够由成像设备拍摄。
此外，类似于正常用户界面，显示鼠标光标D_CUR和显示对象D_OBJ被显示在显示设备DSP的显示屏幕内。显示鼠标光标D_CUR和显示对象D_OBJ的显示与虚拟鼠标光标V_CUR和虚拟对象V_OBJ的显示具有连续性。如图2所示，当显示鼠标光标D_CUR和显示对象D_OBJ被移动得超出显示设备DSP时，超出显示设备DSP显示虚拟鼠标光标V_CUR和虚拟对象V_OBJ。
因此，对于AR虚拟桌面应用中的用户界面，由于利用超出显示设备DSP的空间区域，所以便利性高。
例如，如上述的利用MR技术的AR虚拟桌面应用那样的AR虚拟桌面应用由诸如图3中示出的装置配置来实现。如图3所示，用户U利用照相机CA和头戴式显示器HMD。请注意，还可以使用包括与它们等同的功能的装置。例如，由于诸如装备有照相机的移动电话或智能电话的装置包括图像拍摄功能和显示功能，所以可以利用这种装置替代图3中示出的配置。但是，为了方便下面的描述，将使用配置组合了照相机CA和头戴式显示器HMD的示例来进行描述。
头戴式显示器HMD显示由照相机CA拍摄的目标对象的图像。另外，头戴式显示器HMD在目标对象的这个图像之上叠加虚拟鼠标光标V_CUR和虚拟对象V_OBJ。在图3中示出的示例中，虚拟应用窗口在头戴式显示器HMD上被显示为虚拟对象V_OBJ。照相机CA以指向用户的视线方向的方式被设置在头戴式显示器HMD中。
在AR虚拟桌面应用中，由用户U操作的真实对象(鼠标光标等)的位置被用来确定在拍摄图像上叠加显示的虚拟对象V_OBJ的位置。因此，用户需要预先掌握利用鼠标光标等的用户界面的操作过程。显然，当执行某种操作时，例如，需要移动鼠标光标。
例如，当播放音乐内容时，用户必须通过搜索按音乐内容数据文件存储的文件夹来执行回放操作，并且用鼠标选择期望的音乐内容。在这种情况下，用户需要预先知道诸如内容文件的虚拟信息所处的位置。尽管存在能够利用虚拟空间的环境的事实，但是这种操作只是在扩展桌面。也就是说，这种操作不能被认为是充分地利用MR技术。
因此，本发明的发明人想到通过用于利用操作与诸如鼠标的操作装置不同的物品来实现直观的用户界面，以有效地利用MR技术。具体地，如图4所示，本发明的发明人想到了利用用户正试图播放的实际的压缩盘(CD)作为操作目标以使得能够播放对应于该CD的音乐内容，而不是在播放音乐内容时选择音乐内容数据文件的技术。显然，该技术并不限于音乐内容，并且可以被应用于视频内容、书阅读器等。
为了以具体的方式实现上述想法，需要用于识别诸如实际CD的物品的位置、运动、类型、属性等的技术(在下文中称为“物理对象识别技术”)。因此，在详细地描述与本实施例有关的技术之前，将讨论物理对象识别技术。请注意，在下面的描述中，诸如实际CD等的物品也被称为“真实对象”。真实对象的此示例是可移动的，也是便携式的(用户容易携带)。
1-2关于物理对象识别技术
如图5所示，通过用物理对象识别设备基于由用户佩戴的照相机CA拍摄的图像来识别在拍摄的图像中包括的真实对象的位置、朝向、形状、类型等，来执行物理对象识别技术。物理对象识别设备使用的物理对象识别技术的已知示例是“加速鲁棒特征(Speeded-UpRobust Features，SURF)”。
SURF是从在拍摄的图像中包括的各种真实对象选择特征点并检测选择的特征点的位置以及照相机的位置和朝向的技术。例如，SURF的基本处理在“H.Bay,A.Ess,T.Tuytelaars and L.V.Gool,“Speeded-Up Robust Features(SURF)”,Computer Vision-ECCV(2006)”中被描述。
通过应用SURF或某一其它技术，可以识别真实对象的形状、朝向、位置、类型等。例如，如图5所示，如果用户把CD盒拿在手里并且CD盒在照相机的成像范围中，则可以使用上述的物理对象识别技术基于由照相机拍摄的图像来识别CD盒的形状等。此外，通过利用该识别结果，可以检测真实世界中的物理对象(在这种情况下，CD盒)和真实对象或虚拟对象之间的位置关系。
在上文中，介绍了与本实施例有关的技术。虽然为了容易说明而描述了具有HMD和照相机的头戴式装置的示例，但是根据本实施例的技术的应用范围不限于此。
<2:第一实施例(利用对象之间的位置关系的用户界面)>
现在将描述本技术的第一实施例。第一实施例涉及利用对象之间的位置关系的用户界面的配置。特别地，本实施例涉及用于实现利用诸如CD盒的真实对象的直观用户界面的技术。
2-1:系统配置例
首先，将描述能够实现根据第一实施例的技术的系统的配置例。该系统由例如成像单元101、信息处理设备100、显示单元104、输出控制设备200和输出装置210构成。但是，信息处理设备100可以与成像单元101和显示单元104一体地形成。此外，输出装置210可以是输出音频的音频输出装置或者显示图像的显示装置。另外，信息处理设备100的功能中的一些或全部可以由云计算系统实现。在下面，描述将关注于信息处理设备100的配置。
2-2:信息处理设备100的配置(图6)
将参照图6描述根据第一实施例的信息处理设备100的配置。图6是示出信息处理设备100的功能配置的说明图。如图6所示，信息处理设备100主要包括成像单元101、三维信息分析单元102、虚拟对象管理单元103、显示单元104、位置关系分析单元105、命令发出单元106和通信单元107。
例如，成像单元101包括用于收集从真实对象入射的光的透镜和用于基于接收到的光的量来产生电信号的图像传感器。例如，拍摄真实对象的图像的成像单元101可以是在由用户佩戴的HMD上设置的照相机CA。
可以利用的图像传感器的示例包括CCD图像传感器和CMOS图像传感器。成像单元101拍摄真实对象的图像，并且将拍摄的图像输出到三维信息分析单元102和显示单元104。
三维信息分析单元102分析在从成像单元101输入的拍摄图像中包括的三维信息。三维信息分析单元102包括位置/朝向检测单元121和对象识别单元122。
三维信息分析单元102中的位置/朝向检测单元121分析输入的真实对象的拍摄图像，并且检测真实对象的三维空间中的位置和朝向。例如，可以使用上述SURF技术来执行该检测方法。位置/朝向检测单元121将检测到的真实对象的位置和朝向输出到虚拟对象管理单元103。
三维信息分析单元102中的对象识别单元122分析输入的真实对象的拍摄图像，并且识别真实对象的ID。
例如，对象识别单元122从输入的真实对象的拍摄图像检测一个或多个特征点的位置。此外，对象识别单元122将输入的真实对象的特征点的位置与在诸如内存的存储单元(未示出)中存储的多个真实对象的特征点的位置匹配。
对于多个真实对象中的每一个，该存储单元存储这些真实对象的ID和每一个特征点的位置。对象识别单元122将其特征点被存储在存储单元中的多个真实对象当中具有离输入的真实对象的特征点的距离最短的特征点的真实对象的ID设置为输入的真实对象的ID。例如，特征点是位于多边形的方形或圆形的周线上的点。对象识别单元122将识别的真实对象ID输出到虚拟对象管理单元103。
虚拟对象管理单元103获取与真实对象相对应的虚拟对象，并且基于识别的真实对象的ID和位置来控制该虚拟对象将被叠加的位置。此外，虚拟对象管理单元103包括虚拟对象获取单元131和叠加位置控制单元132。
虚拟对象获取单元131从数据库获取关于与识别的真实对象的ID相对应的虚拟对象的显示信息，该数据库例如被预先存储在内存或其它这种存储单元中。例如，如果输入的真实对象被识别为CD，则可以从数据库获取具有音符的形状的图标作为对应的虚拟对象。虚拟对象获取单元131将获取的虚拟对象显示信息输出到显示单元104和位置关系分析单元105。
叠加位置控制单元132基于检测到的真实对象的位置和朝向，控制由虚拟对象获取单元131获取的虚拟对象将被叠加的位置。例如，叠加位置控制单元132计算作为检测到的真实对象的CD的中心的位置，并且在计算出的位置上叠加虚拟对象。叠加位置控制单元132把要叠加虚拟对象的位置输出到显示单元104和位置关系分析单元105。
显示单元104在包括真实对象的拍摄图像上叠加从虚拟对象管理单元103输入的虚拟对象。
实时地执行由成像单元101进行的对真实对象的图像的拍摄、由三维信息分析单元102进行的对拍摄图像的三维信息分析、以及由虚拟对象管理单元103进行的对虚拟对象的获取和位置控制。结果，如果用户移动真实对象，则与该真实对象相对应的虚拟对象也移动以跟随真实对象。
位置关系分析单元105分析在由成像单元101拍摄的图像中包括的给定真实对象(在下文中，“真实对象A”)和不同于对象A的预定对象(在下文中，“对象B”)之间的位置关系。现在将考虑对象A是CD且对象B是用于CD回放的应用窗口的示例。
例如，这里作为用于CD回放的应用窗口的对象B可以是在显示装置(例如，图4中示出的显示设备DSP等)上显示的显示对象或者在诸如HMD的显示单元104上显示的虚拟对象。但是，在本示例中，对象B的位置没有跟随对象A的位置。
如果对象B是诸如由显示装置显示的应用窗口的显示对象，则真实对象A和对象B被包括在由成像单元101拍摄的图像中。该拍摄图像由三维信息分析单元102分析，由此检测真实对象A的位置和朝向以及显示对象B的位置和朝向。位置关系分析单元105分析由三维信息分析单元102分析的真实对象A和真实对象B之间的位置关系。
另一方面，例如，如果对象B是诸如虚拟应用窗口的虚拟对象，则叠加位置控制单元132与由成像单元101拍摄的真实对象A的位置和朝向毫无相关地控制对象B的位置和朝向。叠加位置控制单元132还可以基于由成像单元101拍摄的真实对象A的初始位置和朝向来控制对象B的位置和朝向。
如果对象B是虚拟对象，则位置关系分析单元105分析由三维信息分析单元102分析的真实对象A与由虚拟对象管理单元103控制的虚拟对象B之间的位置关系。
位置关系分析单元105将关于真实对象A和对象B是否处于预定位置关系(诸如，靠近)的信号输出到命令发出单元106。
更具体地，位置关系分析单元105计算真实对象A和对象B之间的三维空间中的距离。如果计算出的距离等于或小于预定阈值，则位置关系分析单元105确定真实对象A和对象B靠近，并且将预定的电信号输出到命令发出单元106。此外，真实对象A和对象B之间的距离的计算可以通过只考虑在预定的方向上的距离来进行。
但是，当计算真实对象A和对象B之间的三维空间中的距离时，如果对象B是显示对象，则基于显示装置的显示平面的坐标必须被转换为三维空间坐标。例如，对于基于显示装置的显示平面的坐标，显示装置中的显示屏幕的一角用作原点。此外，形成该角的两条边中的一条边被取为x轴，另一条边被取为y轴。
如果从位置关系分析单元105输入了指示真实对象A和对象B处于预定位置关系的信号，则命令发出单元106发出与真实对象A有关的预定命令。此外，该预定命令可以与真实对象A有关，也与对象B有关。
例如，如果真实对象A是CD，则当使该CD靠近用于CD回放的应用窗口(对象B)时，命令发出单元106发出执行CD回放的命令。
这里，信息处理设备100通过有线或无线网络与输出控制设备200连接。发出的命令通过通信单元107被发送到输出控制设备200。输出控制设备200通过执行接收到的命令来控制输出装置210。输出装置210可以是音频回放装置、视频回放装置等。
输出控制设备200可以是信息处理设备100的一部分。在这种情况下，从图6中示出的信息处理设备100的配置中去除通信单元107，从而将命令从命令发出单元106直接发送到输出控制设备200。
在上文中，主要描述了信息处理设备100的配置。
2-3:信息处理设备100的操作(图7)
接下来，将参照图7描述根据第一实施例的信息处理设备100的操作。图7是示出根据第一实施例的信息处理设备100的操作的流程图。
如图7所示，首先，信息处理设备100从拍摄图像检测真实对象(S101)。在此阶段，信息处理设备100检测真实对象的位置和朝向。然后，信息处理设备100从拍摄图像识别真实对象的类型(S102)。接下来，信息处理设备100基于真实对象的类型、位置等，获取要在虚拟空间中显示的预定的虚拟对象(S103)。例如，如果真实对象是CD盒，则信息处理设备100获取由音符标记的图标或音乐播放器画面作为虚拟对象。
接下来，信息处理设备100显示和叠加在步骤S103中获取的虚拟对象(S104)。例如，信息处理设备100在虚拟空间中显示音乐播放器画面，或者在CD盒上叠加由音符标记的图标。然后，信息处理设备100基于真实对象的位置和朝向来控制虚拟对象的显示位置(S105)。例如，如果用户已经使CD盒靠近音乐播放器画面，则信息处理设备100移动叠加在CD盒上的图标以跟随CD盒的移动。
接下来，信息处理设备100检测真实对象和预定对象之间的位置关系(例如，音乐播放器画面等，或者窗口)(S106)。然后，信息处理设备100确定在步骤S106中检测到的位置关系是否满足预定的位置关系(S107)。例如，信息处理设备100确定真实对象和预定对象是否接触，或者确定真实对象和预定对象之间的距离是否等于或小于预定的距离。
如果真实对象和预定对象处于预定的位置关系，则处理前进到步骤S108。另一方面，如果真实对象和预定对象未处于预定的位置关系，则处理返回到步骤S105。如果处理前进到步骤S108，则信息处理设备100基于真实对象的类型、预定对象的类型或者位置关系，发出预设定的命令(S108)，然后结束与命令发出处理有关的这一系列处理。下面将描述各个对象的具体示例、各命令的具体示例以及具体的操作方法。
在上文中，描述了根据第一实施例的信息处理设备100的操作。虽然描述了在基于位置关系发出命令时执行的基本处理的流程，但是，可选地，处理步骤中的一些可以互换或被修改。此外，应用这里描述的基本处理流程的下述的各操作方法可以构成可执行的用户界面。
2-4:关于操作方法
接下来，将参照图8至12描述可以使用根据第一实施例的信息处理设备100的功能执行的用户界面及其操作方法的示例。
(使真实对象靠近虚拟对象(窗口)的操作(图8))
首先，将参照图8描述使真实对象靠近虚拟对象(窗口)的操作方法。图8是示出基于真实对象和虚拟对象之间的位置关系的命令发出处理的说明图。如图8所示，佩戴设置有照相机CA的HMD的用户可以把CD作为真实对象R_OBJ移动到期望的位置。
此外，用户佩戴的HMD叠加由照相机CA(其由图8中示出的示例中的显示装置包括)拍摄的图像(参考图像或参考场景)，并且在增强现实场景的一部分中显示虚拟对象V_OBJ。在图8中示出的示例中，作为虚拟对象V_OBJ，显示与作为真实对象R_OBJ的CD相对应的用于CD回放的应用窗口。
用户可以通过观看在HMD上显示的画面来识别在真实对象R_OBJ和虚拟对象V_OBJ之间的位置关系。
用户移动作为真实对象R_OBJ的CD以使其靠近作为虚拟对象V_OBJ的应用窗口。此时，真实对象R_OBJ由成像单元101拍摄，并且由三维信息分析单元102分析其位置。此外，位置关系分析单元105检测到已经使真实对象R_OBJ和虚拟对象V_OBJ靠近在一起，并且输出预定的信号。
当从位置关系分析单元105输出指示使真实对象R_OBJ和虚拟对象V_OBJ靠近在一起的信号时，从命令发出单元106发出预定的命令。
在图8中示出的示例中，发出用于执行在CD上包括的歌曲的回放的命令作为预定的命令，并且从作为输出装置210的扬声器播放在CD上包括的歌曲。
因此，通过直接操作真实对象R_OBJ，用户可以只通过改变在HMD上显示的虚拟对象V_OBJ和真实对象R_OBJ之间的位置关系来播放在CD上包括的歌曲。因此，用户不需要掌握用于发出预定的命令的复杂操作方法。此外，用户也不需要搜索歌曲的数据文件。另外，由于利用实际对象来进行操作，所以操作自身是非常直观的。
(使真实对象靠近另一个真实对象的操作+图标操作(图9))
接下来，将参照图9描述用于使真实对象靠近另一个真实对象(在图9中示出的示例中，CD播放器)的操作方法。图9是示出基于真实对象和另一个真实对象之间的位置关系的命令发出处理的说明图。如图9所示，佩戴设置有照相机CA的HMD的用户可以将CD作为真实对象R_OBJ1移动到期望的位置。
此外，用户佩戴的HMD叠加由照相机CA(由在图9中示出的示例中的显示装置包括)拍摄的图像，并且显示虚拟对象V_OBJ。在图9中示出的示例中，作为虚拟对象V_OBJ，显示与作为真实对象R_OBJ1的CD相对应的音符图标。
用户可以通过观看在HMD上显示的画面来识别在真实对象R_OBJ1和虚拟对象V_OBJ之间的位置关系。
用户移动作为真实对象R_OBJ1的CD以使其靠近作为真实对象V_OBJ2的CD播放器。此时，充当真实对象R_OBJ1的CD由成像单元101拍摄，并且由三维信息分析单元102分析其位置。此外，位置关系分析单元105检测到已经使充当真实对象R_OBJ1的CD靠近充当真实对象V_OBJ2的CD播放器，并且输出预定的信号。
当从位置关系分析单元105输出指示使充当真实对象R_OBJ1的CD和充当真实对象V_OBJ2的CD播放器靠近在一起的信号时，从命令发出单元106发出预定的命令。在图9中示出的示例中，发出用于执行在CD上包括的歌曲的回放的命令作为预定的命令，并且从作为输出装置210的扬声器播放在CD上包括的歌曲。
但是，如果当CD和CD播放器处于预定的位置关系时突然播放歌曲，则用户可能会感到不安或惊讶。因此，尽管引起突兀觉的用户界面可能有趣的，但是它会导致不适感。因此，该方法可以被配置为，如图9所示，例如，当CD和CD播放器处于预定的位置关系时，虚拟对象V_OBJ从CD跳向CD播放器。此外，该方法可以被配置为使得在跳出的虚拟对象V_OBJ到达CD播放器的时刻播放歌曲。通过应用这种方法，因为可以在视觉上识别该时刻，所以实现了缓解用户的不适感并且允许更容易的操作的用户界面。
因此，通过直接操作真实对象R_OBJ，用户可以播放在CD上包括的歌曲。结果，用户不需要掌握用于发出预定的命令的复杂操作方法。此外，用户也不需要搜索歌曲的数据文件。另外，由于利用实际对象来进行操作，所以操作自身是非常直观的。而且，通过还使用虚拟对象V_OBJ，实现了可以由用户容易地操作的用户界面。
(使真实对象靠近另一个真实对象(显示对象)的操作(图10))
在图8中示出的示例中，描述了通过使真实对象R_OBJ靠近虚拟对象V_OBJ来播放歌曲的用户界面的示例。但是，如图10所示，可以使用显示对象D_OBJ代替虚拟对象V_OBJ。在这种情况下，也通过实质上与参照图8描述的处理流程相同的处理，基于对象之间的位置关系来执行歌曲的回放。请注意，由于显示对象D_OBJ是由照相机CA拍摄的显示对象，所以它是真实对象R_OBJ的示例。
(基于使真实对象靠近的操作来选择轨道的方法(图11))
至此已描述了用于通过使CD靠近充当目标的对象(CD播放器、窗口等)来播放作为真实对象R_OBJ的示例的CD上的歌曲的用户界面。但是，可能有用户想通过指定在CD上包括的各个轨道来播放歌曲的情况。因此，图11提出了一种使得用户能够从多个轨道选择并播放一个期望的轨道的用户界面。
例如，如图11所示，显示代表多个轨道(例如，诸如视频或音频轨道的多个部分)的图标的窗口被显示为使得用户可以播放与他/她使真实对象R_OBJ所靠近的轨道相对应的歌曲。请注意，尽管考虑表示各个轨道的图标和真实对象R_OBJ之间的位置关系的点不同，但是选择轨道之后执行的处理实质上与参照图8等描述的处理流程相同。应用这种技术使得能够快速且直观地选择和播放期望的轨道。请注意，由于用户在选择期间不执行任何特殊的操作，所以操作步骤相对于图8中示出的示例中的操作步骤没有增加。
(利用多个图标显示来选择轨道的方法(图12和13))
在图11中示出的示例中，示出了用于在窗口中显示代表多个轨道的图标的方法。但是，由于存在可以显示虚拟对象V_OBJ的环境，如图12所示，所以代表多个轨迹的虚拟对象V_OBJ可以被显示在作为真实对象R_OBJ的CD的一侧。例如，可以在CD盒的四个角上显示代表各个轨道#1至#4的虚拟对象V_OBJ。
在这种情况下，如图13所示，可以通过用户执行操作以使代表期望的轨道的虚拟对象V_OBJ靠近窗口来播放期望的轨道。如上所述，虚拟对象V_OBJ可以被显示为跟随真实对象R_OBJ的位置和朝向。因此，在如图13中那样的配置中，如果用户旋转CD盒，则希望虚拟对象V_OBJ被显示为跟随CD盒的四个角的移动。
应用这种配置使得用户能够通过调整真实对象R_OBJ的方向并使其靠近窗口来容易地播放期望的轨道。因此，用户可以快速且直观地选择和播放期望的轨道。请注意，类似于图11的示例，由于用户在选择期间不执行任何特殊的操作，所以操作步骤相对于图8中示出的示例中的操作步骤没有增加。
2-5:应用例
在上文中，描述了用于播放CD上的歌曲的用户界面的示例。但是，根据本实施例的技术的应用范围并不限于此。例如，通过基于这种操作模式在实现期间考虑公知技术常识可以想到的下述的操作模式和变型例自然也被包括在根据本实施例的技术的应用范围中。
(书阅读器中的应用(图14))
图14是示出根据书实施例的技术的应用例的说明图。现在将参照图14描述书阅读器中的应用例。在这种情况下，例如，希望发出与书有关的预定命令的用户使作为真实对象的书靠近书阅读器中的应用窗口，从而书和应用窗口处于预定的位置关系。
书阅读器中的应用窗口可以是在显示装置上显示的显示对象，或者可以是在HMD上显示的虚拟对象。
例如，用户拿着书使得照相机CA可以拍摄封面的图像。在这种情况下，书识别单元122将记录有预先从图像提取的特征点或关于封面的图像的信息的多本书的数据库与该书封面的拍摄图像匹配。在数据库中记录的书当中与被拍摄的书最相似的书被识别为拍摄了其图像的书。
如果拍摄的书和应用窗口处于预定的位置关系，则位置关系分析单元105检测该位置关系，并且命令发出单元106发出预定的命令。在书阅读器的情况下，命令发出单元106发出朗读靠近应用窗口的书的内容或者在屏幕上显示文本的命令。
此外，命令发出单元106可以发出用于从服务器获取与靠近应用窗口的书有关的数字数据的命令。与书有关的数字数据的示例包括该书的文本数据、关于该书的出版信息、同一作者的书的列表、基于该书的推荐书的列表等。
另外，该系统还可以被配置为在数据库中预先记录与书的每一节相对应的页的图像，从而用户使书靠近应用窗口同时打开对应于期望的节的页。
例如，在数据库中预先记录该书中的每一章的第一页的图像。在用户使书靠近应用窗口令他/她想要读的书的章的第一页打开时，从该章开始读。
在上文中，参照图16描述了根据本实施例的技术的应用例。
(其它应用例(图15至17))
在上文中，主要描述了充当操作目标的真实对象(在下文中，“操作目标对象”)是CD的情况。如果操作目标对象是CD，则控制目标内容是CD中包括的歌曲，输出目的地是AR音乐播放器，并且由命令发出单元106发出的命令是用于播放CD中包括的歌曲的命令。
图15是示出根据本实施例的技术的应用例的说明图。图15示出对于操作目标对象是不同于上述CD的东西的情况把操作目标对象、控制目标内容、输出目的地和命令相关联的列表。
如图15所示，当用户移动DVD使得DVD和媒体播放器处于预定的位置关系时，播放在DVD上包括的视频。
当用户移动数字照相机使得数字照相机和数字相框处于预定的位置关系时，显示在数字照相机中包含的照片。
当用户移动书使得书和语音程序处于预定的位置关系时，朗读在书中包括的章节。
当用户移动书使得书和文本编辑器处于预定的位置关系时，将在书中包括的章节复制并粘贴到文本编辑器。
当用户移动书使得书和图像编辑软件处于预定的位置关系时，将在书中包括的照片复制并粘贴到图像编辑软件。
当用户移动名片使得名片和移动电话或信息终端处于预定的位置关系时，记录在名片上包括的联系人信息。
此外，如果用户移动食物使得该食物和虚拟空间中的化身(avatar)处于预定的位置关系，并且如果化身喜欢该食物，则显示指示化身将吃该食物的姿势。请注意，在图15中的控制目标内容当中，“偏爱食物”是指化身喜欢该食物物品的信息。
如果在一个操作目标对象中包括多个内容，则三维信息分析单元102或虚拟对象管理单元103分析或管理与多个播放器中的每一个相对应的信息。
此外，位置关系分析单元105分析操作目标对象和所述多个播放器中的每一个之间的位置关系。如果操作目标对象和播放器中的任何一个处于预定的位置关系，则位置关系分析单元105输出对应于该播放器的信号，并且命令发出单元106发出对应于该播放器的命令。
例如，如果使包括歌曲和视频的DVD靠近AR音乐播放器，则命令发出单元106发出播放歌曲的命令。此外，如果使该DVD靠近媒体播放器，则命令发出单元106发出播放视频的命令。
过去，当发出与包括多个内容的对象相对应的期望命令时，用户需要操作GUI等以便选择要发出的命令。但是，根据上述方法，用户可以执行直观的操作，不必例如预先掌握GUI操作方法。
请注意，除非另有说明，在图17中，输出目的地对象可以是真实对象、显示对象或虚拟对象。
现在将参照图16和17更详细地描述操作目标对象是食物的情况。
图16是示出用户使处于虚拟空间中的化身的偏爱食物靠近的示例的说明图。图17是示出用户使除了处于虚拟空间中的化身的偏爱食物以外的东西靠近的示例的说明图。
如图16所示，例如，当用户使作为偏爱食物的草莓作为真实对象R_OBJ靠近虚拟空间中的化身时，首先，由三维信息分析单元102分析由成像单元101拍摄的真实对象是草莓这一事实。此外，虚拟对象获取单元131获取“草莓是化身的偏爱食物”的事实作为与作为真实对象的草莓相关联的信息。
显示单元104显示作为预先存储的虚拟对象V_OBJ的草莓，并且显示指示化身将吃显示的草莓的姿势。
另一方面，如图17所示，当用户使不是偏爱食物的苹果作为真实对象R_OBJ靠近虚拟空间中的化身时，首先，由三维信息分析单元102分析由成像单元101拍摄的真实对象是草莓这一事实。此外，虚拟对象获取单元131获取“苹果不是化身的偏爱食物”的事实作为与作为真实对象的苹果相关联的信息。
显示单元104显示作为预先存储的虚拟对象V_OBJ的苹果，并且显示指示化身不喜欢吃显示的苹果的姿势。
此外，虚拟对象获取单元131可以被配置为：如果在获取的图像中包括的真实对象未被包括在预先记录有只关于化身的偏爱食物的信息的数据库中(如果该真实对象不是化身的偏爱食物)，则不获取虚拟对象。在这种情况下，即使使真实对象靠近，显示单元104的显示也不改变，从而，如用户观看到的，化身不会出现反应。
因此，可以应用本技术通过如下方式来提供甚至更加真实的游戏：例如，允许用户通过作为真实对象的食物而把食物给予虚拟空间中的化身来进行交流。
3:第二实施例(考虑姿势的操作界面)
接下来，将描述根据本技术的第二实施例。第二实施例涉及用于通过组合第一实施例的配置和利用真实对象的姿势来实现更复杂的操作的技术。
3-1:系统配置例
首先，将描述能够实现根据第二实施例的技术的系统的配置例。该系统由例如成像单元101、信息处理设备100、显示单元104、输出控制设备200和输出装置210构成。但是，信息处理设备100可以与成像单元101和显示单元104一体地形成。此外，输出装置210可以是输出音频的音频输出装置或者显示图像的显示装置。另外，信息处理设备100的功能中的一些或全部可以由云计算系统来实现。在下面，描述将关注于信息处理设备100的配置。
3-2:信息处理设备100的配置(图18)
将参照图18描述根据第二实施例的信息处理设备100的配置。图18是示出信息处理设备100的功能配置的说明图。如图18所示，信息处理设备100主要包括成像单元101、三维信息分析单元102、虚拟对象管理单元103、显示单元104、位置关系分析单元105、命令发出单元106和通信单元107。
例如，成像单元101包括用于收集从真实对象入射的光的透镜和用于基于接收到的光的量产生电信号的图像传感器。例如，拍摄真实对象的图像的成像单元101可以是在用户佩戴的HMD上设置的照相机CA。
可以利用的图像传感器的示例包括CCD图像传感器和CMOS图像传感器。成像单元101拍摄真实对象的图像，并且将拍摄的图像输出到三维信息分析单元102和显示单元104。
三维信息分析单元102分析在从成像单元101输入的拍摄图像中包括的三维信息。三维信息分析单元102包括位置/朝向检测单元121、对象识别单元122和运动识别单元123。
三维信息分析单元102中的位置/朝向检测单元121分析输入的真实对象的拍摄图像，并且检测真实对象的三维空间中的位置和朝向。例如，可以使用上述SURF技术来执行该检测方法。位置/朝向检测单元121将检测到的真实对象的位置和朝向输出到虚拟对象管理单元103。
三维信息分析单元102中的对象识别单元122分析输入的真实对象的拍摄图像，并且识别真实对象的ID。
例如，对象识别单元122从输入的真实对象的拍摄图像检测一个或多个特征点的位置。此外，对象识别单元122将输入的真实对象的特征点的位置与在诸如内存的存储单元(未示出)中存储的多个真实对象的特征点的位置匹配。
对于多个真实对象中的每一个，该存储单元存储这些真实对象的ID和每一个特征点的位置。对象识别单元122将其特征点被存储在存储单元中的多个真实对象当中具有离输入的真实对象的特征点的距离最短的特征点的真实对象的ID设置为输入的真实对象的ID。例如，特征点是位于多边形的方形或圆形的周线上的点。对象识别单元122将识别的真实对象ID输出到虚拟对象管理单元103。
此外，运动识别单元123通过监视由位置/朝向检测单元121检测到的真实对象的位置来识别真实对象的运动。例如，如果真实对象沿着给定的轨迹移动，则运动识别单元123确定该轨迹是否对应于预定的模式。如果确定真实对象的轨迹对应于预定的模式，则运动识别单元123识别存在姿势，因此通过位置关系分析单元105将指示该预定模式的信息(在下文中，“姿势信息”)输入到虚拟对象管理单元103或输入到命令发出单元106中。
例如，上述姿势信息被用于基于姿势的类型的虚拟对象的显示控制和命令的选择。例如，如果识别了投掷真实对象的姿势，则执行显示控制，使得被叠加在真实对象上的图标(虚拟对象)跳动。此外，如果识别了左右抖动真实对象的姿势，则切换显示对象或虚拟对象的显示，或者选择诸如停止内容回放的预定命令。
虚拟对象管理单元103获取与真实对象相对应的虚拟对象，并且基于识别的真实对象的ID和位置来控制将叠加该虚拟对象的位置。例如，通过利用虚拟对象管理单元103的功能来实现基于姿势的虚拟对象的显示控制。此外，虚拟对象管理单元103包括虚拟对象获取单元131和叠加位置控制单元132。
虚拟对象获取单元131从数据库获取关于与识别的真实对象的ID相对应的虚拟对象的显示信息，例如，该数据库被预先存储在存储器或其它这种存储单元中。例如，如果输入的真实对象被识别为CD，则可以从数据库获取具有音符的形状的图标作为对应的虚拟对象。虚拟对象获取单元131将获取的虚拟对象显示信息输出到显示单元104和位置关系分析单元105。
叠加位置控制单元132基于检测到的真实对象的位置和朝向来控制由虚拟对象获取单元131获取的虚拟对象将被叠加的位置。例如，叠加位置控制单元132计算作为检测到的真实对象的CD的中心的位置，并且在计算出的位置上叠加虚拟对象。叠加位置控制单元132把要叠加虚拟对象的位置输出到显示单元104和位置关系分析单元105。
显示单元104在包括真实对象的拍摄图像上叠加从虚拟对象管理单元103输入的虚拟对象。
实时地执行由成像单元101进行的对真实对象的图像的拍摄、由三维信息分析单元102进行的对拍摄图像的三维信息分析、以及由虚拟对象管理单元103进行的对虚拟对象的获取和位置控制。结果，如果用户移动真实对象，则与该真实对象相对应的虚拟对象也移动以跟随真实对象。
位置关系分析单元105分析在由成像单元101拍摄的图像中包括的给定真实对象(在下文中，“真实对象A”)和除了对象A以外的预定对象(在下文中，“对象B”)之间的位置关系。现在将考虑对象A是CD且对象B是用于CD回放的应用窗口的示例。
例如，这里作为用于CD回放的应用窗口的对象B可以是在外部显示装置上显示的显示对象或者在诸如HMD的显示单元104上显示的虚拟对象。但是，在本示例中，对象B的位置没有跟随对象A的位置。
如果对象B是诸如由外部显示装置显示的应用窗口的显示对象，则真实对象A和对象B被包括在由成像单元101拍摄的图像中。该拍摄图像由三维信息分析单元102分析，由此检测真实对象A的位置和朝向以及显示对象B的位置和朝向。位置关系分析单元105分析由三维信息分析单元102分析的真实对象A和显示对象B之间的位置关系。
另一方面，例如，如果对象B是诸如虚拟应用窗口的虚拟对象，则叠加位置控制单元132与由成像单元101拍摄的真实对象A的位置和朝向毫无相关地控制对象B的位置和朝向。叠加位置控制单元132还可以基于由成像单元101拍摄的真实对象A的初始位置和朝向来控制对象B的位置和朝向。
如果对象B是虚拟对象，则位置关系分析单元105分析由三维信息分析单元102分析的真实对象A与由虚拟对象管理单元103控制的虚拟对象B之间的位置关系。
位置关系分析单元105将关于真实对象A和对象B是否处于预定的位置关系(例如，接近)的信号输出到命令发出单元106。
更具体地，位置关系分析单元105计算真实对象A和对象B之间的三维空间中的距离。如果计算出的距离等于或小于预定的阈值，则位置关系分析单元105确定真实对象A和对象B接近，并且将预定的电信号输出到命令发出单元106。此外，真实对象A和对象B之间的距离的计算可以通过只考虑在预定方向上的距离来执行。
但是，当计算真实对象A和对象B之间的三维空间中的距离时，如果对象B是显示对象，则基于显示装置的显示平面的坐标必须被转换为三维空间坐标。例如，对于基于显示装置的显示平面的坐标，显示装置中的显示屏幕的一个角用作原点。此外，形成该角的两条边中的一条边被取为x轴，另一条边被取为y轴。
如果从位置关系分析单元105输入指示真实对象A和对象B处于预定位置关系的信号，则命令发出单元106发出与真实对象A有关的预定命令。此外，该预定命令可以与真实对象A有关，也与对象B有关。另外，该预定命令可以与真实对象A、对象B以及识别的姿势预先相关联。
例如，如果真实对象A是CD，则当使该CD被靠近用于CD回放的应用窗口(对象B)时，命令发出单元106发出执行CD回放的命令。此外，如果左右抖动CD，则命令发出单元106发出例如改变轨道或者增大/减小音量的命令。
这里，信息处理设备100通过有线或无线网络与输出控制设备200连接。发出的命令通过通信单元107被发送到输出控制设备200。输出控制设备200通过执行接收到的命令来控制输出设备210。输出装置210可以是音频回放装置、视频回放装置等。
输出控制设备200可以是信息处理设备100的一部分。在这种情况下，从图18中示出的信息处理设备100的配置去除通信单元107，从而将命令从命令发出单元106直接发送到输出控制设备200。
在上文中，主要描述了信息处理设备100的配置。
3-3:信息处理设备100的操作(图19)
接下来，将参照图19描述根据第二实施例的信息处理设备100的操作。图19是示出根据第二实施例的信息处理设备100的操作的流程图。
如图19所示，首先，信息处理设备100从拍摄的图像检测真实对象(S111)。在此阶段，信息处理设备100检测真实对象的位置和朝向。然后，信息处理设备100从拍摄的图像识别真实对象的类型(S112)。接下来，信息处理设备100基于真实对象的类型、位置等来获取要在虚拟空间中显示的预定的虚拟对象(S113)。例如，如果真实对象是CD盒，则信息处理设备100获取由音符标记的图标或音乐播放器画面作为虚拟对象。
接下来，信息处理设备100显示和叠加在步骤S113中获取的虚拟对象(S114)。例如，信息处理设备100在虚拟空间中显示音乐播放器画面，或者在CD盒上叠加由音符标记的图标。然后，信息处理设备100基于真实对象的位置和朝向来控制虚拟对象的显示位置(S115)。例如，如果用户已经使CD盒靠近音乐播放器画面，则信息处理设备100移动在CD盒上叠加的图标，以跟随CD盒的移动。
此外，信息处理设备100监视真实对象的运动，并且如果通过真实对象的运动形成的轨迹形成预定模式，则信息处理设备100确定存在姿势，并基于该姿势执行显示控制(S116)。例如，如果确定存在左右抖动真实对象时的姿势(做出预定姿势)，则信息处理设备100执行处理以切换虚拟对象的类型。请注意，具体的姿势示例和具体的显示控制方法将在下面描述。
接下来，信息处理设备100检测真实对象和预定对象之间的位置关系(例如，音乐播放器画面等，或者窗口)(S117)。然后，信息处理设备100确定在步骤S117中检测到的位置关系是否满足预定的位置关系(S118)。例如，信息处理设备100确定真实对象和预定对象是否接触，或者确定真实对象和预定对象之间的距离是否等于或小于预定的距离。
如果真实对象和预定对象处于预定的位置关系，则处理前进到步骤S119。另一方面，如果真实对象和预定对象未处于预定的位置关系，则处理返回到步骤S115。如果处理前进到步骤S119，则信息处理设备100基于真实对象的类型、预定对象的类型或者位置关系来发出预设定的命令(S119)，然后结束与命令发出处理有关的一系列处理。下面将描述各个对象的具体示例、各命令的具体示例以及具体的操作方法。
在上文中，描述了根据第二实施例的信息处理设备100的操作。虽然描述了在基于位置关系发出命令时执行的考虑姿势的处理的流程，但是，可选地，处理步骤中的一些可以被互换或修改。此外，应用这里描述的处理流程的下述的各操作方法可以构成可执行的用户界面。
3-4:关于操作方法
接下来，将参照图20至21描述可以使用根据第二实施例的信息处理设备100的功能执行的用户界面及其操作方法的示例。
(基于姿势的选择画面的切换操作(图20))
通过与姿势组合可以进行更加复杂的操作。如图20所示，这种更加复杂的操作的示例包括基于姿势切换与在窗口中显示的多个轨道相对应的图标的显示的操作。例如，可以基于左右抖动或旋转作为真实对象R_OBJ的CD盒的操作来切换轨道选择画面。更具体地，一种可能的方法是控制显示器，使得当向右抖动或旋转真实对象R_OBJ时在右方向上滚动图标阵列。
其它的有效的方法可以包括通过旋转操作逐个地滚动轨道的方法、以及在窗口中显示的多个轨道基于上下抖动操作一次全部改变的方法。在图20中示出的示例中，例如，当向右旋转CD盒时，轨道#1至#3的显示一次全部地切换到轨道#2至#4，并且当在垂直方向上抖动CD盒时，轨道#1至#3的显示一次全部地切换到轨道#4至#6。
应用这种方法是十分方便的，因为这使得能够在真实对象R_OBJ不离开用户的手的情况下切换轨道选择画面。此外，操作步骤的数量低，并且实现了直观的用户界面。显然，该方法可以与根据上述的第一实施例的技术和根据至此描述的第二实施例的技术都进行组合。
(基于姿势的图标投掷操作(图21))
虽然参照图20描述了基于姿势切换轨道选择画面的操作，但是，在本示例中，将提出一种用于基于姿势来控制伴随真实对象R_OBJ的虚拟对象V_OBJ的运动的方法。例如，如图21所示，当作出抛掷真实对象R_OBJ的姿势时，可以使伴随真实对象R_OBJ显示的虚拟对象V_OBJ向上跳动。应用该方法使得当CD远离CD播放器时即使不使CD靠近CD播放器也能够播放CD上的歌曲。
此外，由于虚拟对象V_OBJ实际上出现跳动，所以可以在游戏中使用该方法来刺激用户的娱乐感。应用这种方法是十分方便的，因为这使得能够只通过轻微的操作来播放歌曲。此外，操作步骤的数量低，并且实现了直观的用户界面。显然，该方法可以与根据上述的第一实施例的技术和根据至此描述的第二实施例的技术都自由地组合。
在上文中，描述了可以使用根据第二实施例的信息处理设备100的功能执行的用户界面及其操作方法的示例。
<4:硬件配置例(图22)>
上述的信息处理设备100的每个组成元件的功能可以通过例如使用图22中示出的信息处理设备的硬件配置来实现。具体地，每个组成元件的功能通过使用计算机程序控制图22中示出的硬件来实现。请注意，该硬件的模式是任意的。其示例可以包括个人计算机、移动电话、PHS、例如PDA的便携式信息终端、游戏机或者各种信息家用电器。这里，PHS是个人手持电话的缩写，PDA是个人数据助理的缩写。
如图22所示，该硬件(其是示例处理电路)主要包括CPU 902、ROM 904、RAM 906、主机总线908、桥接器910、外部总线912、接口914、输入单元916、输出单元918、存储单元920、驱动器922、校正端口924和通信单元926。这里，CPU是中央处理单元的缩写，ROM是只读存储器的缩写，RAM是随机存取存储器的缩写。
CPU 902充当计算处理设备或控制设备，并且基于在ROM 904、RAM 906、存储单元920或可移动存储介质928中存储的各种程序来控制各个组成元件中的全部或部分操作。ROM 904是用于存储例如要读入到CPU 902中的程序和用于计算的数据的装置。例如，RAM908临时地或永久地存储要读入到CPU 902的程序和在执行这些程序时适当地改变的各种参数。
这些组成元件通过例如能够进行高速数据传输的主机总线908来互连。另一方面，例如，主机总线908通过桥接器910与具有相对较低的数据传输速度的外部总线912连接。此外，用作输入单元916的例如是鼠标、键盘、触摸面板、按钮、开关、控制杆等。此外，能够利用红外线或其它电磁波发送控制信号的遥控器(在下文中，“遥控器”)也可以用作输入单元916。
输出单元918的示例包括能够通过视觉或听觉向用户通知获取的信息的设备，例如，诸如CRT、LCD、PDP或ELD的显示器、诸如扬声器或头戴式电话的音频输出装置、打印机、移动电话、传真机等。这里，CRT是阴极射线管的缩写，LCD是液晶显示器的缩写，PDP是等离子体显示面板的缩写，ELD是电致发光显示器的缩写。
存储单元920是存储各种数据的装置。可以用作存储单元920的装置的示例包括诸如HDD的磁存储装置、半导体存储装置、光学存储装置、磁光存储装置等。这里，HDD是硬盘驱动器的缩写。
驱动器922是用于读取在诸如磁盘、光盘、磁光盘或半导体存储器的可移动存储介质928上记录的信息或者在可移动存储介质928上写入信息的设备。可移动存储介质928也可以是DVD介质、蓝光介质、HD-DVD介质、各种半导体存储介质等。显然，可移动存储介质928可以是具有非接触式IC芯片的IC卡、电子装置等。这里，IC是集成电路的缩写。
例如，校正端口924是用于与外部校正装置930连接的USB端口、IEEE 1394端口、SCSI、RS-232C端口或者光学音频端口。例如，外部校正装置930是打印机、便携式音乐播放器、数字照相机、数字摄像机、IC录像机等。这里，USB是通用串行总线的缩写，SCSI是小型计算机系统接口的缩写。
通信单元926是用于与网络932连接的通信装置。其示例可以包括有线或无线LAN、蓝牙(BluetoothTM)、用于WUSB的通信卡、光学通信路由器、ADSL路由器、各种通信调制解调器等。与通信单元926连接的网络932包括诸如互联网、家庭LAN、红外线通信、可见光通信、广播、卫星通信等的有线或无线连接网络。这里，LAN是局域网的缩写，WUSB是无线USB的缩写，ADSL是非对称数字用户线的缩写。
<5:总结>
最后，将总结本实施例的技术概念。例如，下述的技术概念可以被应用于诸如PC、移动电话、便携式游戏机、便携式信息终端、家用电器和汽车导航系统的各种信息处理设备。例如，由于在下面的(1)中描述的信息处理设备基于对象之间的位置关系发出命令，所以该信息处理设备可以在发出命令时被直观地操作。此外，由于与发出的命令有关的虚拟对象被叠加在第一或第二对象上，所以可以预先知道可能随后被执行的处理的内容，这使得可以放心地进行操作。
另外，本技术还可以被配置为如下。
一种信息处理设备，包括：
处理电路，被配置为基于真实对象和预定对象之间的显示位置关系来发出与真实对象有关的控制命令，其中
真实对象是有形的可移动对象，并且预定对象是另一个真实对象和虚拟对象中的至少一个。
根据信息处理设备的一个方面，
有形的可移动对象是便携式对象。
根据另一个方面
虚拟对象是被添加到参考场景的对象，使得参考场景和虚拟对象被显示为增强现实场景。
根据另一个方面
响应于外部输入，控制命令使得处理电路把真实对象带入到增强现实场景中的虚拟对象。
根据另一个方面
虚拟对象包括应用窗口，并且当真实对象至少部分地被包括在增强现实场景中的应用窗口中时，真实对象的内容由与应用窗口相关联的应用执行。
根据另一个方面
预定对象是另一个真实对象，并且
响应于真实对象被检测为接近所述另一个真实对象，控制命令使得处理电路将与真实对象相关联的图标移动到在增强现实场景中显示的所述另一个真实对象。
根据另一个方面
在图标被移动到增强现实场景中的所述另一个真实对象时，使用来自真实对象的内容执行与所述另一个真实对象相关联的应用。
根据另一个方面
预定对象是另一个真实对象，并且
响应于真实对象被检测为在预定的距离内接近所述另一个真实对象，控制命令使得处理电路使与真实对象相关联的图标跳动到增强现实场景中的所述另一个真实对象。
根据另一个方面
预定对象是显示显示对象的另一个真实对象，并且
响应于真实对象被检测为接近显示对象，控制命令使得处理电路使用真实对象的内容来执行与显示对象相关联的应用。
根据另一个方面
内容在增强的现实场景中被显示为多个部分，并且响应于真实对象被检测为接近所述多个部分中的一个，控制命令使得处理电路使用所述多个部分中的所述一个来执行应用。
根据另一个方面
所述多个部分包括视频轨道和音频轨道中的至少一种。
根据另一个方面
内容在增强的现实场景中被显示为与真实对象相关联的多个部分，并且响应于所述多个部分中的一个被检测为接近应用窗口，控制命令使得处理电路使用所述多个部分中的所述一个来执行应用。
根据另一个方面
所述多个部分包括视频轨道和音频轨道中的至少一种。
根据另一个方面
真实对象是书，并且预定对象是书阅读器应用。
根据另一个方面
真实对象是CD、DVD、数字照相机、书、名片和食物。
根据另一个方面
真实对象是物品，并且
增强现实场景包括化身，该化身展现与该物品是否为化身的偏爱物品相对应的姿势。
根据另一个方面
响应于用真实对象作出的姿势，处理电路使得控制命令将预定对象从第一虚拟现实对象切换到第二虚拟现实对象。
根据另一个方面
响应于检测到投掷真实对象的姿势，控制命令使得处理电路将与真实对象相关联的图标跳动到增强现实场景中的所述另一个真实对象。
根据信息处理方法实施例，该实施例包括从处理电路发出控制命令，该控制命令基于真实对象和预定对象之间的显示位置关系与真实对象有关，其中
真实对象是有形的可移动对象，并且预定对象是另一个真实对象和虚拟对象中的至少一个。
根据另一信息处理设备实施例，该设备包括
接口，接收关于真实对象的运动的信息；以及
处理电路，被配置为基于真实对象和预定对象之间的显示位置关系发出与真实对象的运动有关的控制命令，其中
真实对象是有形的可移动对象，并且预定对象是另一个真实对象和虚拟对象中的至少一个。
根据另一种信息处理设备实施例，该设备包括
命令发出单元，被配置为当用户观看到的第一对象和用户能够移动其位置的第二对象处于预定的位置关系时，发出与第二对象相关联的预定命令；以及
显示控制单元，被配置为在第一或第二对象上叠加与预定命令有关的虚拟对象。
根据信息处理设备的一个方面，
命令发送单元被配置为将由命令发出单元发出的预定命令发送到能够执行该预定命令的装置。
根据另一个方面
命令发出单元被配置为执行与第二对象相关联且也与第一对象相关联的预定命令。
根据另一个方面
位置确定单元被配置为当多个虚拟对象被叠加在第二对象上时，基于第二对象的位置和形状来确定每个虚拟对象的显示位置，
其中，显示控制单元被配置为在由位置确定单元确定的显示位置处显示各个虚拟对象。
根据另一个方面
显示控制单元被配置为当第一对象和第二对象不处于预定位置关系时显示第一虚拟对象，并且当第一对象和第二对象处于预定位置关系时显示与第一虚拟对象不同的第二虚拟对象。
根据另一个方面
命令发出单元被配置为当第一对象和第二对象之间的距离等于或小于预定阈值时确定满足预定的位置关系并发出预定命令。
根据另一个方面
命令发出单元被配置为当第二对象的运动模式形成预定的轨迹时发出预定命令。
根据另一个方面
命令发出单元被配置为基于轨迹的类型发出预定命令。
根据另一个方面
命令发出单元被配置为当第二对象满足相对于第一对象的预定位置关系并且第二对象的运动模式形成预定的轨迹时发出预定命令。
根据另一个方面
命令发出单元被配置为当多个预定命令与第二对象相关联并且多个虚拟对象被叠加在第一对象上时，基于第二对象和虚拟对象中的每一个之间的位置关系来选择要发出的预定命令。
根据另一个方面
命令发出单元被配置为当多个预定命令与第二对象相关联并且多个虚拟对象被叠加在第二对象上时，基于第一对象和虚拟对象中的每一个之间的位置关系来选择要发出的预定命令。
根据另一个方面
命令发出单元被配置为当多个预定命令与第二对象相关联并且第二对象形成预定的轨迹时，发出与该预定的轨迹相对应的预定命令。
根据另一个方面
第一对象是虚拟空间中的对象。
根据另一个方面
第一对象的位置可以由用户移动。
根据另一个方面
显示控制单元被配置为通过控制头戴式装置来显示虚拟对象，该头戴式装置可以由用户佩戴在头部上并且具有使得用户能够看到显示信息的显示单元。
根据另一个方面
头戴式装置还包括成像单元或传感器，并且
基于由成像单元拍摄的第二对象的图像或者由传感器检测到的第二对象的检测结果来检测第二对象的位置。
根据信息处理方法实施例，该实施例包括
当用户观看到的第一对象和用户能够移动其位置的第二对象处于预定的位置关系时，发出与第二对象相关联的预定命令；以及
在第一或第二对象上叠加与该预定命令有关的虚拟对象。
(注释)
上述的位置关系分析单元105和命令发出单元106是命令发出单元的示例。上述的虚拟对象管理单元103是显示控制单元和位置确定单元的示例。上述的通信单元107是命令发送单元的示例。上述的HMD是头戴式装置的示例。
本领域的技术人员应该理解，可以根据设计要求和其它因素进行各种修改、组合、子组合和替换，只要它们在所附权利要求或其等同物的范围内即可。
附图标记列表
100 信息处理设备
101 成像单元
102 三维信息分析单元
103 虚拟对象管理单元
104 显示单元
105 位置关系分析单元
106 命令发出单元
107 通信单元
121 位置/朝向检测单元
122 对象识别单元
123 运动识别单元
131 虚拟对象获取单元
132 叠加位置控制单元
200 输出控制设备
210 输出装置

Claims (20)

1.一种信息处理设备，包括：
处理电路，被配置为从拍摄的图像检测真实对象，检测所述真实对象的位置和朝向，识别所述真实对象的类型，基于所述真实对象的位置、朝向和类型中的至少一个来确定要叠加地显示在拍摄的图像上的虚拟对象，并且基于所述真实对象和预定对象之间的位置关系来发出与所述真实对象的所述类型有关的控制命令，其中
所述真实对象是有形的可移动对象，并且所述预定对象是另一个真实对象和所述虚拟对象中的至少一个。
2.根据权利要求1所述的信息处理设备，其中
有形的可移动对象是便携式对象。
3.根据权利要求1所述的信息处理设备，其中
虚拟对象是被添加到参考场景的对象，使得参考场景和该虚拟对象被显示为增强现实场景。
4.根据权利要求3所述的信息处理设备，其中
响应于外部输入，控制命令使得处理电路将真实对象带入到增强现实场景中的虚拟对象。
5.根据权利要求4所述的信息处理设备，其中
虚拟对象包括应用窗口，并且当真实对象至少部分地被包括在增强现实场景中的应用窗口中时，与真实对象有关的内容由与应用窗口相关联的应用执行。
6.根据权利要求1所述的信息处理设备，其中
预定对象是另一个真实对象，并且
响应于真实对象被检测为接近所述另一个真实对象，控制命令使得处理电路将与真实对象相关联的图标移动到在增强现实场景中显示的所述另一个真实对象的图像。
7.根据权利要求6所述的信息处理设备，其中
在图标被移动到增强现实场景中的所述另一个真实对象的图像时，使用与真实对象有关的内容执行与所述另一个真实对象相关联的应用。
8.根据权利要求1所述的信息处理设备，其中
预定对象是另一个真实对象，并且
响应于真实对象被检测为在预定距离内接近所述另一个真实对象，控制命令使得处理电路使与真实对象相关联的图标跳动到增强现实场景中的所述另一个真实对象的图像。
9.根据权利要求1所述的信息处理设备，其中
预定对象是显示显示对象的另一个真实对象，并且
响应于真实对象被检测为接近该显示对象，控制命令使得处理电路使用与真实对象有关的内容来执行与显示对象相关联的应用。
10.根据权利要求5所述的信息处理设备，其中
内容在增强现实场景中被显示为多个部分，并且响应于真实对象被检测为接近所述多个部分中的一个，控制命令使得处理电路使用所述多个部分中的所述真实对象接近的所述一个来执行应用。
11.根据权利要求10所述的信息处理设备，其中
所述多个部分包括视频轨道和音频轨道中的至少一种。
12.根据权利要求5所述的信息处理设备，其中
内容在增强现实场景中被显示为与真实对象相关联的多个部分，并且响应于所述多个部分中的一个被检测为接近应用窗口，控制命令使得处理电路使用接近所述应用窗口的所述多个部分中的所述一个来执行应用。
13.根据权利要求12所述的信息处理设备，其中
所述多个部分包括视频轨道和音频轨道中的至少一种。
14.根据权利要求1所述的信息处理设备，其中
真实对象是书，并且预定对象是书阅读器应用。
15.根据权利要求1所述的信息处理设备，其中
真实对象是CD、DVD、数字照相机、书、名片和食物。
16.根据权利要求4所述的信息处理设备，其中
真实对象是物品，并且
增强现实场景包括化身，该化身展现与该物品是否为化身的偏爱物品相对应的姿势。
17.根据权利要求4所述的信息处理设备，其中
响应于用真实对象作出的姿势，处理电路使得控制命令将预定对象从第一虚拟现实对象切换到第二虚拟现实对象。
18.根据权利要求6所述的信息处理设备，其中
响应于检测到投掷真实对象的姿势，控制命令使得处理电路使与真实对象相关联的图标跳动到增强现实场景中的所述另一个真实对象的图像。
19.一种信息处理方法，包括：
从拍摄的图像检测真实对象；
检测所述真实对象的位置和朝向；
识别所述真实对象的类型；
基于所述真实对象的位置、朝向和类型中的至少一个来确定要叠加地显示在拍摄的图像上的虚拟对象；并且
从处理电路发出控制命令，该控制命令基于所述真实对象和预定对象之间的位置关系而与所述真实对象的所述类型有关，其中
所述真实对象是有形的可移动对象，并且所述预定对象是另一个真实对象和所述虚拟对象中的至少一个。
20.一种信息处理设备，包括：
接口，接收关于真实对象的类型和所述真实对象的运动的信息；以及
处理电路，被配置为从拍摄的图像检测真实对象，检测所述真实对象的位置和朝向，基于所述真实对象的位置、朝向和类型中的至少一个来确定要叠加地显示在拍摄的图像上的虚拟对象，基于所述真实对象和预定对象之间的位置关系来发出与所述真实对象的所述类型和所述运动有关的控制命令，其中
所述真实对象是有形的可移动对象，并且所述预定对象是另一个真实对象和所述虚拟对象中的至少一个。
CN201380007190.3A 2012-02-06 2013-01-29 信息处理设备和信息处理方法 Active CN104081319B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-022707 2012-02-06
JP2012022707A JP6044079B2 (ja) 2012-02-06 2012-02-06 情報処理装置、情報処理方法及びプログラム
PCT/JP2013/000459 WO2013118457A1 (en) 2012-02-06 2013-01-29 Information processing apparatus, and information processing method

Publications (2)

Publication Number Publication Date
CN104081319A CN104081319A (zh) 2014-10-01
CN104081319B true CN104081319B (zh) 2017-08-25

Family

ID=47846100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380007190.3A Active CN104081319B (zh) 2012-02-06 2013-01-29 信息处理设备和信息处理方法

Country Status (5)

Country Link
US (1) US10401948B2 (zh)
EP (1) EP2812776B1 (zh)
JP (1) JP6044079B2 (zh)
CN (1) CN104081319B (zh)
WO (1) WO2013118457A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
WO2015075847A1 (ja) * 2013-11-21 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報通信方法
KR102227659B1 (ko) * 2014-03-12 2021-03-15 삼성전자주식회사 Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법
US9934613B2 (en) * 2014-04-29 2018-04-03 The Florida International University Board Of Trustees Systems for controlling a movable object
EP3699736B1 (en) * 2014-06-14 2023-03-29 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP6292181B2 (ja) * 2014-06-27 2018-03-14 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
WO2016006070A1 (ja) * 2014-07-09 2016-01-14 日立マクセル株式会社 携帯情報端末装置及びそれと連携するヘッドマウントディスプレイ
JP6512829B2 (ja) * 2015-01-09 2019-05-15 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9659381B2 (en) * 2015-01-26 2017-05-23 Daqri, Llc Real time texture mapping for augmented reality system
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
JP6521055B2 (ja) * 2015-03-20 2019-05-29 株式会社リコー 表示装置、表示制御方法、表示制御プログラムおよび表示システム
JP2016206695A (ja) * 2015-04-15 2016-12-08 株式会社ウイズ コンテンツ提供用のアプリケーションプログラムおよびコンテンツ提供方法
CN107852488B (zh) 2015-05-22 2021-03-30 三星电子株式会社 用于通过hmd设备显示虚拟图像的系统和方法
AU2016324039B2 (en) 2015-09-16 2021-09-30 Magic Leap, Inc. Head pose mixing of audio files
US20170140215A1 (en) * 2015-11-18 2017-05-18 Le Holdings (Beijing) Co., Ltd. Gesture recognition method and virtual reality display output device
CN105630160A (zh) * 2015-12-21 2016-06-01 黄鸣生 虚拟现实使用界面系统
US20170185142A1 (en) * 2015-12-25 2017-06-29 Le Holdings (Beijing) Co., Ltd. Method, system and smart glove for obtaining immersion in virtual reality system
CN105718054B (zh) * 2016-01-18 2019-05-10 天词信息科技（上海）有限公司 增强现实物的非接触式智能终端控制方法及装置、系统
CN105955470A (zh) * 2016-04-26 2016-09-21 乐视控股（北京）有限公司 一种头盔显示器的控制方法及装置
CN105915766B (zh) * 2016-06-07 2018-11-09 腾讯科技（深圳）有限公司 基于虚拟现实的控制方法和装置
CN106200898A (zh) * 2016-06-24 2016-12-07 张睿卿 虚拟现实软件平台系统
CN109416583B (zh) * 2016-07-05 2022-06-03 索尼公司 信息处理装置、信息处理方法及程序
CN106201222A (zh) * 2016-08-09 2016-12-07 深圳市金立通信设备有限公司 一种虚拟现实界面的显示方法及终端
EP3299931A1 (en) * 2016-09-27 2018-03-28 Alcatel Lucent Altered-reality control method and altered-reality control system
US10732797B1 (en) * 2017-01-10 2020-08-04 Lucasfilm Entertainment Company Ltd. Virtual interfaces for manipulating objects in an immersive environment
US10747301B2 (en) * 2017-03-28 2020-08-18 Magic Leap, Inc. Augmented reality system with spatialized audio tied to user manipulated virtual object
WO2018207662A1 (ja) * 2017-05-11 2018-11-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10429949B2 (en) * 2017-06-30 2019-10-01 Htc Corporation User interaction apparatus and method
CN107993292B (zh) * 2017-12-19 2021-08-31 北京盈拓文化传媒有限公司 增强现实场景复原方法、装置及计算机可读存储介质
KR102122600B1 (ko) 2018-03-07 2020-06-12 매직 립, 인코포레이티드 주변 디바이스들의 시각적 추적
US10635895B2 (en) * 2018-06-27 2020-04-28 Facebook Technologies, Llc Gesture-based casting and manipulation of virtual content in artificial-reality environments
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US20220057636A1 (en) * 2019-01-24 2022-02-24 Maxell, Ltd. Display terminal, application control system and application control method
EP3916678A4 (en) * 2019-01-28 2022-04-27 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD FOR CONTROLLING A GRAPHIC OBJECT OF THE ELECTRONIC DEVICE
CN113906370B (zh) * 2019-05-29 2024-08-02 苹果公司 为物理元素生成内容
JP6967041B2 (ja) * 2019-08-20 2021-11-17 株式会社Cygames 画像認識モデルを用いた識別子情報推論のための電子装置、方法、プログラム及びシステム
JP7335221B2 (ja) * 2019-08-20 2023-08-29 株式会社Cygames 画像認識モデルを用いた識別子情報推論のための電子装置、方法、プログラム及びシステム
EP4270159A3 (en) * 2019-09-26 2024-01-03 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
WO2021084882A1 (ja) * 2019-10-28 2021-05-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP6935531B1 (ja) * 2020-04-01 2021-09-15 エヌエイチエヌ コーポレーション 情報処理プログラムおよび情報処理システム
US20210358294A1 (en) * 2020-05-15 2021-11-18 Microsoft Technology Licensing, Llc Holographic device control
US11768535B1 (en) * 2020-05-18 2023-09-26 Apple Inc. Presenting computer-generated content based on extremity tracking
JP7494130B2 (ja) * 2021-01-19 2024-06-03 株式会社東芝 情報処理システム、情報処理方法およびプログラム
JP2022118501A (ja) * 2021-02-02 2022-08-15 キヤノン株式会社 表示システム、表示装置とその制御方法及びプログラム
US11941231B2 (en) 2021-08-29 2024-03-26 Snap Inc. Camera interfaces to interact with IoT devices
US11954774B2 (en) * 2021-08-29 2024-04-09 Snap Inc. Building augmented reality experiences with IoT devices
US11614619B1 (en) * 2022-04-11 2023-03-28 Voyetra Turtle Beach, Inc. Headset dynamic windowing
US20240143067A1 (en) * 2022-11-01 2024-05-02 Samsung Electronics Co., Ltd. Wearable device for executing application based on information obtained by tracking external object and method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011119167A2 (en) * 2010-03-26 2011-09-29 Hewlett-Packard Development Company, L.P. Associated file

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07175587A (ja) * 1993-10-28 1995-07-14 Hitachi Ltd 情報処理装置
US5732227A (en) * 1994-07-05 1998-03-24 Hitachi, Ltd. Interactive information processing system responsive to user manipulation of physical objects and displayed images
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US5838326A (en) * 1996-09-26 1998-11-17 Xerox Corporation System for moving document objects in a 3-D workspace
US6373968B2 (en) * 1997-06-06 2002-04-16 Oki Electric Industry Co., Ltd. System for identifying individuals
US6118887A (en) * 1997-10-10 2000-09-12 At&T Corp. Robust multi-modal method for recognizing objects
JP2000350865A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
JP4332964B2 (ja) * 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
US7215322B2 (en) * 2001-05-31 2007-05-08 Siemens Corporate Research, Inc. Input devices for augmented reality applications
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
US6757411B2 (en) * 2001-08-16 2004-06-29 Liska Biometry Inc. Method and system for fingerprint encoding and authentication
AU2003217587A1 (en) * 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US6738631B1 (en) * 2002-05-06 2004-05-18 Nokia, Inc. Vision-guided model-based point-and-click interface for a wireless handheld device
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
EP1709519B1 (en) * 2003-12-31 2014-03-05 ABB Research Ltd. A virtual control panel
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
JP5167248B2 (ja) * 2006-05-11 2013-03-21 プライムセンス リミテッド 深度マップによるヒューマノイド形状のモデル化
US7805015B2 (en) * 2006-10-27 2010-09-28 International Business Machines Corporation Method of point identification and tracking in a digital video environment
US7971156B2 (en) * 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
WO2008111452A1 (ja) * 2007-03-09 2008-09-18 Omron Corporation 認識処理方法およびこの方法を用いた画像処理装置
US7909248B1 (en) * 2007-08-17 2011-03-22 Evolution Robotics Retail, Inc. Self checkout with visual recognition
US8427424B2 (en) * 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
JP2010145861A (ja) * 2008-12-19 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
WO2010099035A1 (en) * 2009-02-25 2010-09-02 Honda Motor Co., Ltd. Body feature detection and human pose estimation using inner distance shape contexts
JP5429279B2 (ja) * 2009-03-17 2014-02-26 富士通株式会社 データ照合装置およびプログラム
US9195898B2 (en) * 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US8189925B2 (en) * 2009-06-04 2012-05-29 Microsoft Corporation Geocoding by image matching
JP5263049B2 (ja) 2009-07-21 2013-08-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
EP2339537B1 (en) * 2009-12-23 2016-02-24 Metaio GmbH Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method
US20110181497A1 (en) * 2010-01-26 2011-07-28 Roni Raviv Object related augmented reality play system
US8947455B2 (en) * 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
JP2011203823A (ja) * 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20110234631A1 (en) * 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
JP5743416B2 (ja) * 2010-03-29 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20110254765A1 (en) * 2010-04-18 2011-10-20 Primesense Ltd. Remote text input using handwriting
US8593402B2 (en) * 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
JP2011244058A (ja) 2010-05-14 2011-12-01 Sony Corp 情報処理装置、情報処理システム、及びプログラム
US20120011142A1 (en) * 2010-07-08 2012-01-12 Qualcomm Incorporated Feedback to improve object recognition
US8818025B2 (en) * 2010-08-23 2014-08-26 Nokia Corporation Method and apparatus for recognizing objects in media content
WO2012027597A2 (en) * 2010-08-27 2012-03-01 Intel Corporation Capture and recall of home entertainment system session
US8615136B2 (en) * 2010-10-08 2013-12-24 Industrial Technology Research Institute Computing device and method for motion detection
US8578299B2 (en) * 2010-10-08 2013-11-05 Industrial Technology Research Institute Method and computing device in a system for motion detection
US9529424B2 (en) * 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
KR101669119B1 (ko) * 2010-12-14 2016-10-25 삼성전자주식회사 다층 증강 현실 시스템 및 방법
US20120170800A1 (en) * 2010-12-30 2012-07-05 Ydreams - Informatica, S.A. Systems and methods for continuous physics simulation from discrete video acquisition
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
US8666195B1 (en) * 2011-03-15 2014-03-04 Google Inc. Image alignment
US8493353B2 (en) * 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
US8843346B2 (en) * 2011-05-13 2014-09-23 Amazon Technologies, Inc. Using spatial information with device interaction
WO2012166814A1 (en) * 2011-05-31 2012-12-06 Honda Motor Co., Ltd. Online environment mapping
US8223088B1 (en) * 2011-06-09 2012-07-17 Google Inc. Multimode input field for a head-mounted display
US8773513B2 (en) * 2011-07-01 2014-07-08 Seiko Epson Corporation Context and epsilon stereo constrained correspondence matching
US9245193B2 (en) * 2011-08-19 2016-01-26 Qualcomm Incorporated Dynamic selection of surfaces in real world for projection of information thereon
US9218063B2 (en) * 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US8453075B2 (en) * 2011-09-02 2013-05-28 International Business Machines Corporation Automated lithographic hot spot detection employing unsupervised topological image categorization
US9053483B2 (en) * 2011-09-30 2015-06-09 Microsoft Technology Licensing, Llc Personal audio/visual system providing allergy awareness
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US20140068526A1 (en) * 2012-02-04 2014-03-06 Three Bots Ltd Method and apparatus for user interaction
US9310882B2 (en) * 2012-02-06 2016-04-12 Sony Computer Entertainment Europe Ltd. Book object for augmented reality
GB2500416B8 (en) * 2012-03-21 2017-06-14 Sony Computer Entertainment Europe Ltd Apparatus and method of augmented reality interaction
US9696547B2 (en) * 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
US10025486B2 (en) * 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011119167A2 (en) * 2010-03-26 2011-09-29 Hewlett-Packard Development Company, L.P. Associated file

Also Published As

Publication number Publication date
JP2013161267A (ja) 2013-08-19
WO2013118457A1 (en) 2013-08-15
US20150022444A1 (en) 2015-01-22
US10401948B2 (en) 2019-09-03
EP2812776B1 (en) 2019-12-04
JP6044079B2 (ja) 2016-12-14
CN104081319A (zh) 2014-10-01
EP2812776A1 (en) 2014-12-17

Similar Documents

Publication Publication Date Title
CN104081319B (zh) 信息处理设备和信息处理方法
US10845969B2 (en) System and method for navigating a field of view within an interactive media-content item
US9465437B2 (en) Method and apparatus for controlling screen by tracking head of user through camera module, and computer-readable recording medium therefor
KR102126292B1 (ko) 이동 단말에서 화면 표시 방법 및 이를 위한 이동 단말
EP1784709B1 (en) Multi-planar three-dimensional user interface
JP4561888B2 (ja) 情報処理装置、及び情報処理装置における振動制御方法
JP5075943B2 (ja) 情報提供装置および情報提供方法
US20120102438A1 (en) Display system and method of displaying based on device interactions
CN101833413A (zh) 信息处理装置、动画附加方法和程序
JP5295839B2 (ja) 情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラム
CN107168614A (zh) 用于查看图像的应用
US20170243611A1 (en) Method and system for video editing
AU2019222974B2 (en) Interfaces and techniques to retarget 2d screencast videos into 3d tutorials in virtual reality
EP1960990A2 (en) Voice and video control of interactive electronically simulated environment
CN101833391A (zh) 信息处理设备、信息处理方法及程序
US11627360B2 (en) Methods, systems, and media for object grouping and manipulation in immersive environments
CN106796810B (zh) 在用户界面上从视频选择帧
JP2011257929A (ja) 情報提供装置および情報提供方法
JP4912377B2 (ja) 表示装置、表示方法、ならびに、プログラム
JP6101393B1 (ja) 情報処理装置、制御方法およびプログラム
KR101935000B1 (ko) 기기 제어 방법 및 그 장치
KR20220025618A (ko) 사용자 행동 기반의 실감 학습 콘텐츠 제공 방법
US20190250787A1 (en) Information processing device, information processing method, and recording medium
KR20150142747A (ko) 사용자 제스처 기반의 영상 재생 장치 및 그 동작 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant