CN103377487B - 信息处理设备、显示控制方法以及程序 - Google Patents

信息处理设备、显示控制方法以及程序 Download PDF

Info

Publication number
CN103377487B
CN103377487B CN201310116242.2A CN201310116242A CN103377487B CN 103377487 B CN103377487 B CN 103377487B CN 201310116242 A CN201310116242 A CN 201310116242A CN 103377487 B CN103377487 B CN 103377487B
Authority
CN
China
Prior art keywords
real
information
concern
world
input picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310116242.2A
Other languages
English (en)
Other versions
CN103377487A (zh
Inventor
多井坚郎
多井坚一郎
贝野彰彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103377487A publication Critical patent/CN103377487A/zh
Application granted granted Critical
Publication of CN103377487B publication Critical patent/CN103377487B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

提供有一种信息处理设备，该信息处理设备包括：图像获取单元，获取通过使用图像拍摄设备对真实空间成像所生成的输入图像；显示控制单元，将与输入图像中所示的一个或更多个真实物体相关联的虚拟物体叠加在输入图像上；以及选择单元，在用户从一个或更多个真实物体中指定了至少一个真实物体之后，在多帧之间选择指定的真实物体作为关注物体。显示控制单元根据关注物体与图像拍摄设备之间的相对位置或姿势来改变由与关注物体相关联的虚拟物体所显示的被显示的信息。

Description

信息处理设备、显示控制方法以及程序
技术领域
本公开涉及一种信息处理设备、显示控制方法以及程序。
本公开包含与2012年4月11日向日本专利局提交的日本优先权专利申请JP 2012-090049中所公开的主题相关的主题，该优先权专利申请的全部内容通过引用并入于此。
背景技术
近年来，所谓的增强现实(AR)技术引起了关注，该技术将额外信息叠加在真实空间上并且将此叠加的额外信息呈现给用户。在AR技术中呈现给用户的信息被称为标注(annotation)，并且可以使用各种形式的虚拟物体(诸如文字、图标或动画)使该信息可视化。标注通常显示在与输入图像中所示的任何一个真实物体相关联的位置处。
当通过AR技术将信息提供给用户时，重要的是不损失信息的可视性(visibility)。如果存在许多呈现的信息，则作为过多虚拟物体被叠加在图像上的结果可视性趋向于降低。因此，下面的PTL 1建议通过将多个虚拟物体整合为一个集体的虚拟物体而改进信息的可视性。
引用列表
专利文献
PTL1
JP 2010-238098A
发明内容
技术问题
但是，用户所请求的信息通常仅是所呈现的繁杂信息中的一部分。如果不与其它信息进行区分地对用户所期望的信息进行整合，则其反而可以导致可视性的降低。此外，虽然叠加在图像上的信息可以作为用户(他或她)自身移动或用户对终端进行移动的结果而发生改变，但是关于在这样发生改变的情况下应当如何处置用户所期望的信息，上述PTL 1并未提出有利的解决方案。
因此，期望的是提供一种布置，该布置可以在通过AR应用所呈现的大量信息中，将用户所期望的信息与其它信息进行区分，并且该布置可以选择性地改进此期望的信息的可视性。
问题的解决方案
根据本公开的实施例，提供有一种信息处理设备，该信息处理设备包括：图像获取单元，获取通过使用图像拍摄设备对真实空间成像所生成的输入图像；显示控制单元，将与输入图像中所示的一个或更多个真实物体相关联的虚拟物体叠加在输入图像上；以及选择单元，在用户从一个或更多个真实物体中指定了至少一个真实物体之后，选择指定的真实物体作为多帧之间的关注物体。显示控制单元根据关注物体与图像拍摄设备之间的相对位置或姿势来改变由与关注物体相关联的虚拟物体所显示的被显示的信息。
此外，根据本公开的实施例，提供有一种显示控制方法，该显示控制方法包括：获取通过使用图像拍摄设备对真实空间进行成像所生成的输入图像；将与输入图像中所示的一个或更多个真实物体相关联的虚拟物体叠加在输入图像上；在用户从一个或更多个真实物体中指定了至少一个真实物体之后，选择指定的真实物体作为多帧之间的关注物体；以及根据关注物体与图像拍摄设备之间的相对位置或姿势来改变由与关注物体相关联的虚拟物体所显示的被显示的信息。
此外，根据本公开的实施例，提供有一种用于使计算机控制信息处理设备用作下述单元的程序：图像获取单元，获取通过使用图像拍摄设备对真实空间进行成像所生成的输入图像；显示控制单元，将与输入图像中所示的一个或更多个真实物体相关联的虚拟物体叠加在输入图像上；以及选择单元，在用户从一个或更多个真实物体中指定了至少一个真实物体之后，选择指定的真实物体作为多帧之间的关注物体。显示控制单元根据关注物体与图像拍摄设备之间的相对位置或姿势来改变由与关注物体相关联的虚拟物体所显示的被显示的信息。
本发明的有利的效果
根据本公开的实施例，在通过AR应用所呈现的大量信息中，可以选择性地改进用户所期望的信息的可视性。
附图说明
图1是用于描述根据本公开的实施例的信息处理设备的概要的说明图。
图2是用于描述可以通过现存的AR技术来显示的图像的示例的说明图。
图3是用于描述着重地显示位于图像的中心的虚拟物体的示例的说明图。
图4是用于描述与本公开相关的技术的基本原理的说明图。
图5是示出根据本公开的实施例的信息处理设备的硬件配置的示例的框图。
图6是示出根据本公开的实施例的信息处理设备的逻辑功能的配置的示例的框图。
图7是用于描述用于选择默认物体的标准的第一示例的说明图。
图8是用于描述用于选择默认物体的标准的第二示例的说明图。
图9是用于描述用于选择默认物体的标准的第三示例的说明图。
图10是示出用于锁定关注物体的用户界面的示例的说明图。
图11是用于描述用于对被显示的信息进行控制的控制参数的第一示例的说明图。
图12是用于描述用于对被显示的信息进行控制的控制参数的第二示例的说明图。
图13是用于描述用于对被显示的信息进行控制的控制参数的第三示例的说明图。
图14是示出标注DB的配置的示例的说明图。
图15A是用于描述根据比例进行的被显示的信息的控制的示例的第一说明图。
图15B是用于描述根据比例进行的被显示的信息的控制的示例的第二说明图。
图16A是用于描述根据距离进行的被显示的信息的控制的示例的第一说明图。
图16B是用于描述根据距离进行的被显示的信息的控制的示例的第二说明图。
图17A是用于描述根据角度进行的被显示的信息的控制的示例的第一说明图。
图17B是用于描述根据角度进行的被显示的信息的控制的示例的第二说明图。
图18是示出在未锁定状态下显示控制处理的流程的示例的流程图。
图19是示出在锁定状态下显示控制处理的流程的示例的流程图。
具体实施方式
在下文中，将参照附图详细地描述本公开的优选实施例。注意的是，在本说明书以及附图中，采用相同的附图标记来表示基本上具有相同功能和结构的结构元素，并且省略对这些结构元素的重复说明。
将按照下面的顺序进行描述
1.概要
2.根据实施例的设备的配置
2-1.硬件配置
2-2.功能配置
2-3.被显示的信息的控制的示例
3.处理流程
3-1.未锁定状态
3-2.锁定状态
4.结论
1.概要
首先，将使用图1至图4描述与本公开相关的技术的概要。
图1是用于描述根据本公开的实施例的信息处理设备100的概要的说明图。参照图1，示出了用户Ua所持有的信息处理设备100。信息处理设备100包括：图像拍摄单元102，其具有指向真实空间10的透镜；以及显示单元110。在图1的示例中，在真实空间10中存在各种真实物体12a至12e。信息处理设备100的图像拍摄单元102对真实空间10进行成像。信息处理设备100的控制单元(未在图中示出)接收由图像拍摄单元102所拍摄的图像作为输入图像，并且对增强现实(AR)应用进行操作。与输入图像中所示的一个或更多个真实物体中的每个真实物体相关联的虚拟物体被叠加在从AR应用所输出的图像上。显示单元110显示虚拟物体的叠加图像。
在图1中，便携式终端被示为信息处理设备100的示例。但是，信息处理设备100不限于这样的示例。信息处理设备100可以是，例如，PC(个人计算机)、PDA(个人数字助理)、智能手机、游戏终端、PND(便携式导航装置)、内容播放器或数字家用电器。此外，代替于操作在用户所操作的终端上，AR应用还可以操作在能够与终端(例如，应用服务器)进行通信的另外的装置上。
图2是用于描述可以通过现存的AR技术来显示的图像的示例的说明图。参照图2，多个虚拟物体V01至V07被叠加在图像Im01上。每个虚拟物体示出了关于与各自虚拟物体相关联的真实物体的信息。但是，当呈现这样繁杂的信息时，AR应用的可视性将降低。通常地，用户所请求的信息仅是此信息的一部分。在图2的示例中，假定用户关注与真实物体12a相关的信息(即，由虚拟物体V01所示的信息)。但是，因为不但虚拟物体V01，而且还有多个其它虚拟物体被叠加在图像Im01上，所以对于用户不容易从各种信息中识别与真实物体12a相关的信息。
图3示出了着重地显示位于图像的中心的虚拟物体的示例。参照图3，与图1的多个虚拟物体类似的多个虚拟物体V01至V07被叠加在图像Im02上。但是，在图3的示例中，与位于图像的中心的真实物体相关联的虚拟物体V03被显示为大于其它虚拟物体。通过这样的着重显示，至少在此时可以确保特定信息的可视性。
但是，如上所述，AR应用通常使用由图像拍摄设备所拍摄的图像作为输入图像，该图像拍摄设备安装在用户所携带的终端中。在用户和终端一起移动的情况下，难以连续地维持终端的位置和姿势以使得摄像装置角度不发生改变。因此，当假定诸如用户移动或用户对终端进行移动的条件时，难以说明仅通过着重地显示预定位置(例如，在图像的中心)的虚拟物体便可以足够地确保用户所期望的信息的可视性。
因此，在与本公开相关的技术中，采用下述的一种布置：该布置允许用户采用简单的技术来指定关注的真实物体(在下文中，被称为“关注物体”)。另外，通过在多帧之间维持关注物体的指定，与关注物体相关的信息的可视性连续地改进而不受摄像装置角度的改变所影响。
图4是用于描述与本公开相关的技术的基本原理的说明图。
参照图4，示出了两个状态ST1与ST2之间的状态转变。状态ST1是还未指定关注物体的状态。AR应用的初始状态可以是状态ST1。状态ST2是已经指定了关注物体的状态。在本公开中，从状态ST1到状态ST2的转变被称为“(关注物体的)锁定”。锁定的触发通常可以是某一种类的用户输入。在本公开中，从状态ST2到状态ST1的转变被称为“锁定释放”。锁定释放的触发可以是例如某一种类的用户输入，或可以是从锁定的时间起经过预定时间。
图4右上侧中的图像Im11和图像Im12是在未锁定关注物体的状态ST1中可以显示的图像的示例。从图像Im11所示的多个真实物体中选择真实物体14a作为默认物体。与其它虚拟物体相比，与默认物体14a相关联的虚拟物体被更加着重地显示。但是，当摄像装置角度发生改变时，默认物体也可以发生改变。例如，在图像Im12中，选择真实物体14b代替真实物体14a作为默认物体。
相比之下，图4右下侧中的图像Im21和图像Im22是在锁定关注物体的状态ST2中可以显示的图像的示例。从图像Im21所示的多个真实物体中选择真实物体14a作为关注物体。与其它虚拟物体相比，与关注物体14a相关联的虚拟物体被更加着重地显示。即使当摄像装置角度发生变改变时，锁定的关注物体也不发生改变。例如，在图像Im22中，真实物体14a仍被选择为关注物体，并且与其它虚拟物体相比，与关注物体14a相关联的虚拟物体继续被更加着重地显示。
通过在多帧之间维持这样的关注物体选择，在对应于终端的移动的被显示的信息发生改变的情况下，可以以高可视性并且不使用户看不到该信息地为用户提供与所关注的真实物体相关的信息。从下面的部分起将详细描述用于执行这样的布置的实施例。
2.根据实施例的设备的配置
2-1.硬件配置
图5是示出根据实施例的信息处理设备100的硬件配置的一个示例的框图。如图5所示，信息处理设备100包括图像拍摄单元102、传感器单元104、输入单元106、存储单元108、显示单元110、通信单元112、总线116以及控制单元118。
(1)图像拍摄单元
图像拍摄单元102是拍摄图像的摄像装置模块。图像拍摄单元102使用图像拍摄元件(诸如CCD(电耦合器件)或CMOS(互补金属氧化物半导体))对真实空间进行成像以生成拍摄图像。由图像拍摄单元102所生成的拍摄图像被用作用于由控制单元118所执行的显示控制处理的输入图像。注意的是，图像拍摄单元102不需要是信息处理设备100的一部分。作为一个示例，无线地或使用线连接至信息处理设备100的图像拍摄设备可以被当作图像拍摄单元102。
(2)传感器单元
传感器单元104可以包括各种传感器，诸如定位传感器(例如，GPS(全球定位系统)模块)、地磁传感器、加速度传感器以及陀螺仪传感器。定位传感器测量终端的当前位置。地磁传感器测量终端的当前姿态(定向)。由传感器单元104所获得的测量结果可以用于各种应用，诸如获取地理位置所特有的数据、支持环境识别以及检测用户输入。注意的是，可以从信息处理设备100的配置中省略传感器104。
(3)输入单元
输入单元106是用户所使用的以对信息处理设备100进行操作或将信息输入到信息处理设备100中的输入装置。作为一个示例，输入单元106可以包括触摸传感器，其检测用户在显示单元110的屏幕上所作出的触摸。代替此示例(或除此示例之外)，输入单元106可以包括指点装置(诸如鼠标或触摸板)。另外，输入单元106可以包括另外的类型的输入装置，诸如键盘、单个按钮或多个按钮、或单个开关或多个开关。
(4)存储单元
存储单元108由存储介质(诸如半导体存储器或硬盘驱动器)所构成，并且存储用于由信息处理设备100进行的处理的程序和数据。由存储单元108所存储的数据可以包括拍摄图像数据、传感器数据以及稍后描述的各种数据库(DB)中的数据。注意的是，代替于存储在存储单元108中，本说明书中所描述的程序和数据中的一些可以从外部数据源(例如，数据服务器、网络存储或外部存储器)获取。
(5)显示单元
显示单元110是包括显示器(诸如LCD(液晶显示器)、OLED(有机发光二极管)、或CRT(阴极射线管))的显示模块。作为一个示例，显示单元110被用于显示由信息处理设备100所生成的AR应用的图像。注意的是，显示单元110也不需要是信息处理设备100的一部分。作为一个示例，无线地或是使用线连接至信息处理设备100的显示设备可以被当作显示单元110。
(6)通信单元
通信单元112是用作中介器的通信接口，该中介器用于信息处理设备100与其它设备进行的通信。通信单元112支持任意的无线通信协议或有线通信协议，并且创建与其它设备的通信连接。
(7)总线
总线116将图像拍摄单元102、传感器单元104、输入单元106、存储单元108、显示单元110、通信单元112以及控制单元118彼此相连。
(8)控制单元
控制单元118对应于处理器(诸如CPU(中央处理单元)或DSP(数字信号处理器))。通过执行存储单元108或另外的存储介质中所存储的程序，控制单元118使信息处理设备100以稍后描述的各种方式工作。
2-2.功能配置
图6是示出由图5所示的信息处理设备100的存储单元108和控制单元118所实现的逻辑功能的配置的示例的框图。参照图6，信息处理设备100具有图像获取单元120、数据获取单元130、环境识别单元140、环境数据库(DB)150、选择单元160、显示控制单元170以及标注DB 180。
(1)图像获取单元
图像获取单元120获取由图像拍摄单元102所生成的拍摄图像作为输入图像。由图像获取单元120所获取的输入图像是对真实空间进行投影的图像。这些输入图像通常是运动图像中所包括的帧中的每一帧。图像获取单元120将所获取的输入图像输出到环境识别单元140和显示控制单元170。
(2)数据获取单元
数据获取单元130获取用于由环境识别单元140进行的环境识别的数据和用于由显示控制单元170进行的显示控制的数据。例如，数据获取单元130可以获取由传感器单元104所生成的传感器数据(例如，位置数据和姿势数据)。此外，数据获取单元130可以通过使用终端的当前位置对外部数据库进行查询来获取与存在于终端当前位置附近的真实物体相关的数据(例如，稍后描述地图数据、用于图像识别的特定数据、标注数据等)。
(3)环境识别单元
环境识别单元140识别输入图像中所示的一个或更多个真实物体。环境识别单元140例如可以基于将每个真实物体的标识符与真实空间中的位置相关联的地图数据来识别进入根据终端的位置和姿势而判断的摄像装置角度的真实物体。环境识别单元140可以经由数据获取单元130而从外部数据库获取此地图数据。替选地，环境识别单元140可以通过将已知的环境识别技术(诸如SURF方法中的环境识别技术(参见H.Bay,A.Ess,T.Tuytelaars以及L.V.Gool,“Speeded-Up Robust Features(SURF)”,Computer Vision-ECCV,2006)，或SLAM方法中的环境识别技术(参见Andrew J.Davison，“Real-TimeSimultaneous Localization and Mapping with a Single Camera”，Proceedings ofthe 9th IEEE International Conference on Computer Vision卷2,2003,1403页-1410页))应用到输入图像来识别输入图像中所示的一个或更多个真实物体。环境识别单元140将环境识别结果存储在环境DB 150中。
注意的是，当选择了关注物体时(即，当处于锁定状态时)环境识别单元140可以仅识别输入图像中的关注物体。以此方式，可以降低环境识别处理所必须的处理开销。在未锁定状态下，环境识别单元140识别输入图像中的默认物体和其它真实物体。
(4)环境DB
环境DB 150是存储由环境识别单元140进行的环境识别的结果的数据库。由环境DB 150所存储的环境识别的结果可以包括例如在全球坐标系统中的识别的真实物体和终端的三维位置和姿势。此外，环境识别的结果可以包括在终端所特有的坐标系统(通常地，该坐标系统具有采用拍摄表面作为标准的垂直方向、水平方向以及深度方向上的坐标轴)中的识别的真实物体的位置和姿势。此外，环境识别的结果可以包括在图像拍摄表面的二维坐标系统中识别的真实物体的位置。显示控制单元170(将稍后描述)通过使用由环境DB150所存储的此数据可以确定AR空间中虚拟物体的位置。
(5)选择单元
选择单元160从输入图像中所示的一个或更多个真实物体中选择默认物体或关注物体。例如，在用户还未指定关注物体的未锁定状态(图4中所示的状态ST1)中，选择单元160从输入图像所示的真实物体中选择通过给定标准而指定的真实物体作为默认物体。此外，当用户指定了至少一个真实物体时，选择单元160选择(锁定)指定的真实物体作为关注物体。当处于锁定状态时在关注物体的指定被释放之前(图4中所示的ST2)，选择单元160继续在多帧之间选择指定的真实物体作为关注物体。
(5-1)默认物体的选择
在本实施例中，选择单元160依照给定的标准自动地选择默认物体。给定的标准可以是例如与输入图像中的真实物体的二维位置、真实空间中的真实物体的三维位置以及以图像拍摄设备作为标准的真实物体的姿势中的至少一个相关的标准。
图7是用于描述用于选择默认物体的标准的第一示例的说明图。在第一示例中，用于选择默认物体的标准与输入图像中真实物体的二维位置相关。更具体地，位于最接近输入图像的中心的真实物体被选择为默认物体。参照图7，在作为示例的输入图像Im31中识别15a至15f。在这些真实物体15a至15f中，真实物体15a在相对于图像拍摄表面的XY平面中位于最接近于输入图像的中心。因此，在第一示例中，选择单元160选择真实物体15a作为默认物体。注意的是，其不限于这样的示例，并且选择单元160可以选择位于输入图像中预定任意位置的真实物体作为默认物体。
图8是用于描述用于选择默认物体的标准的第二示例的说明图。在第二示例中，用于选择默认物体的标准与真实空间中真实物体的三维位置相关。更具体地，在真实空间中位于以预定距离与终端分离的位置的真实物体被选择为默认物体。在此，预定距离可以由用户设置或可以根据AR应用的意图而限定。参照图8，在作为示例的输入图像Im32中识别真实物体16a至16e。真实物体16a至16e中的每个与终端之间的距离分别地是距离Da至De。在此，假定被规定为选择标准的预定距离Ddft最接近于距离Da。在此情况下，选择单元160选择真实物体16a作为默认物体。
图9是用于描述用于选择默认物体的标准的第三示例的说明图。在第三示例中，用于选择默认物体的标准与真实物体相对于图像拍摄设备的姿势和输入图像中的真实物体的二维位置相关。更具体地，从在输入图像的中心的预定区域上所示的真实物体中，可以选择面对图像拍摄表面的真实物体(此真实物体的正面面对图像拍摄表面的方向)作为默认物体。在图9的示例中，预定区域是区域CA。在作为示例的输入图像Im33的区域CA中示出了真实物体17a至17c。真实物体17a至17C的姿势由环境识别单元140所识别，并且可以分别地表示为例如法向量Va至Vc。法向量Va近似地垂直于图像拍摄表面，而另一方面法向量Vb和Vc具有显著地偏离垂直于图像拍摄表面的角度。在此情况下，选择单元160选择真实物体17a作为默认物体。
注意的是，图7至图9所示的默认物体的选择标准仅为示例。上述的标准可以按照任何方式合并，或其它选择标准可以用于选择默认物体。
(5-2)关注物体的选择
根据检测到用于锁定关注物体的触发，选择单元160从未锁定状态转变到锁定状态，并且在锁定状态下选择关注物体。可以经由信息处理设备100所提供的用户界面来检测用于锁定关注物体的触发。此用户界面可以是显示在屏幕上的图形用户界面，或可以是物理的用户界面(诸如，一个或多个钥匙，或一个或多个按钮)。此外，可以使用基于手势识别或声音识别的用户界面。
更具体地，在本实施例中，选择单元160选择当经由用户界面检测到预定用户输入时的默认物体作为关注物体。因此，对终端的位置或姿势进行调整，以使得将用户所关注的真实物体选择作为默认物体，并且之后用户可以通过如上所述地将触发提供到信息处理设备100而将此真实物体锁定为关注物体。
图10是示出用于锁定关注物体的用户界面的示例的说明图。图10的左侧示出了在未锁定状态下的真实物体18a(其被选择为默认物体)。在屏幕上，与真实物体18a相关联的虚拟物体V11被叠加在图像上。此时，用户按下按钮B1。然后，选择单元160从未锁定状态转变到锁定状态。图10的右侧示出了在锁定状态下的真实物体18a(其被选择为默认物体)。此外，在屏幕上，虚拟物体V11的显示连同用于提示用户真实物体18a被锁定为关注物体而被显示的信息一起发生改变。根据这样的用户界面，用户不需要在屏幕上具体地指定输入图像中所示的多个真实物体中的哪个真实物体被选择为关注物体。注意的是，如上所述，其它类型的用户输入(诸如触摸屏幕或声音命令的输入)也可以代替按下按钮B1来用于锁定关注物体。
当一旦锁定关注物体时，选择单元160继续在多帧之间选择相同的关注物体，而不依赖于在输入图像中关注物体的位置或姿势。因此，即使在锁定状态中用户移动或对终端进行移动时，维持关注物体并且可以连续地呈现与关注物体相关的信息。用于释放锁定的触发可以是与上述用于锁定关注物体的触发类似的触发，或可以是从锁定的时间起经过预定时间。
(6)显示控制单元
显示控制单元170对增强现实(AR)应用的显示进行控制。更具体地，显示控制单元170从标注DB 180获取与输入图像中所显示的真实物体相关的信息，并且将示出所获取的信息的虚拟物体叠加在与真实物体相关联的输入图像上。
在未锁定关注物体的未锁定状态下，显示控制单元170对与默认物体相关联的虚拟物体的显示进行控制，以使得由选择单元160所选择的默认物体能够被用户识别。例如，显示控制单元170将与默认物体相关联的虚拟物体的显示属性(诸如形状、尺寸、亮度、颜色或渗透性(permeability))设置为不同于其它虚拟物体的显示属性。
在锁定关注物体的锁定状态下，显示控制单元170对与此关注物体相关联的虚拟物体的显示进行控制，以使得由选择单元160所选择的关注物体能够被用户识别。与关注物体之外的真实物体相关的信息可以简要地显示或根本不显示，以使得仅关注物体的存在被用户识别。
此外，显示控制单元170根据默认物体或关注物体与图像拍摄设备之间的相对位置和姿势中的至少一个来改变由与默认物体或关注物体相关联的虚拟物体所显示的被显示的信息。例如，显示控制单元170计算依赖于关注物体与图像拍摄设备之间的相对位置或姿势的至少一个控制参数。然后，显示控制单元170依照所计算的控制参数来改变被显示的信息。
例如，随着拍摄设备与关注物体(默认物体)的距离减少，显示控制单元170可以增加被显示的信息的粒度。在本公开中，信息的粒度具有信息的详细程度的意义。通常地，具有高粒度的信息的信息量大于具有低粒度的信息的信息量。例如，在口述的信息提供服务中，可以说明与诸如产品的详细描述或综述的信息相比，诸如产品的名称、价格、或评级的信息是具有低粒度的信息。此外，在地图信息提供服务中，可以说明与诸如设施的详细描述或事件信息的信息相比，诸如设施的名称或位置的信息是具有较低粒度的信息。
此外，显示控制单元170可以根据相对于关注物体(默认物体)的图像拍摄表面的姿势来改变例如被显示的信息的类型。例如，通过使用户从前、上、下、左或右方向中的任何一个方向上查看相同的真实物体可以显示不同类型的信息。
图11是用于描述用于对被显示的信息进行控制的控制参数的第一示例的说明图。在第一示例中，控制参数是投影在图像拍摄表面上的真实物体的比例SC。参照图11，示出了在输入图像Im41中所示的真实物体19a。真实物体19a在真实空间中的尺寸为Hreal。投影在图像拍摄表面上(在图像内)的真实物体19a的尺寸为Hscr。控制参数SC可以被计算为SC＝Hscr/Hreal。控制参数SC的值随着图像拍摄设备与真实物体的距离减少而变大。
图12是用于描述用于对被显示的信息进行控制的控制参数的第二示例的说明图。在第二示例中，控制参数是图像拍摄设备与真实物体的距离DIST。参照图12，示出了输入图像Im42中所示的真实物体19b。在真实空间中，真实物体19b和信息处理设备100分别地在位置Pobj和Pdev。控制参数DIST可以被计算为DIST＝|Pdev-Pobj|。
图13是用于描述用于对被显示的信息进行控制的控制参数的第三示例的说明图。在第三示例中，控制参数是真实物体相对于图像拍摄表面的角度ANG。参照图13，示出了输入图像Im43中所示的真实物体19c。由真实物体19c的法向量Vobj相对于图像拍摄表面的深度方向(Z方向)而产生的角度可以根据真实物体19c的姿势和终端的姿势而计算，该角度可以作为环境识别的结果而由环境DB 150所存储。
在本实施例中，显示控制单元170通过过滤适合于上述的控制参数的数据来从标注DB 180中所累积的标注数据中提取要被显示的信息。
(7)标注DB
标注DB 180是累积用户所提供的、与真实空间中所存在的一个或更多个真实物体中的每个相关的信息的数据库。在AR应用中呈现给用户的信息由显示控制单元170从标注DB 180中所选择，并且使其以虚拟物体的形式可视化。
图14是示出标注DB 180的配置的示例的说明图。参照图14，标注数据库180具有7个数据项：种类182a、物体ID 182b、标注ID 182c、控制类型182d、显示范围182e、数据182f以及描述182g。
种类182a示出了对应于标注中的每个的真实物体的类型。例如，标注184a和184b的种类是菜单。标注184c和184d的种类是设施。标注184e至184h的种类是展览品。
物体ID 182b是用于识别对应于标注中的每个的真实物体的标识符。对于一个真实物体可以存在多个标注。
标注ID 182c是用于唯一地识别标注中的每个的标识符。
控制类型182d示出当对标注中的每个进行过滤时所使用的控制参数的类型。例如，使用表示比例的控制参数SC对标注184a和184b进行过滤。使用表示距离的控制参数DIST对标注184c和184d进行过滤。使用表示距离的控制参数DIST和表示角度的控制参数ANG对标注184e至184h进行过滤。
显示范围182e示出将显示标注中的每个的控制参数的值的范围。在此，控制参数是由控制类型182d所示的类型的控制参数。例如，在控制参数SC的值包括在范围{1.0，3.0}中的情况下，显示标注数据184a的信息。在控制参数SC的值包括在范围{3.0，5.0}中的情况下，显示标注数据184b的信息。在控制参数DIST的值包括在范围{100，1000}中的情况下，显示标注数据184c的信息。在控制参数DIST的值包括在范围{30，120}中的情况下，显示标注数据184d的信息。在控制参数DIST的值包括在范围{1.0，3.0}中并且控制参数ANG的值等于或小于-15度的情况下，显示标注数据184e的信息。以图14中所示的方式还显示了标注数据184f至184h。
数据182f是标注中的每个的信息实体。可以以任何形式描述该信息，诸如图像形式或到外部数据源的链接形式。
描述182g示出了标注中的每个的信息的概要描述。例如，标注数据184a是菜单项的评级信息。标注信息184b是评论意见(review comment)，其对应于比评价信息更详细的信息。标注数据184c是指示设施的位置的标签。标注数据184d是提供到设施入口的指引的指引信息，其对应于比设施位置更详细的信息。标注数据184e至184g是在分别地从右侧、前侧以及左侧查看展览品的情况下展览品的概要信息。标注数据184h是用于展览品的详细信息。
在关注物体是真实物体MN1的情况下，例如显示控制单元170通过使用针对真实物体MN1而计算的控制参数SC的值来从标注数据184a和184b中提取一个或全部两个数据集。例如，如果SC＝2.0，则提取标注数据184a，并且如果SC＝4.0，则提取标注数据184b。
类似地，在关注物体是真实物体FC2的情况下，例如显示控制单元170通过使用针对真实物体FC2而计算的控制参数DIST的值来从标注数据184c和184d中提取一个或全部两个数据集。在此，应当注意的是，标注数据184c和184d的显示范围互相重叠。例如，如果DIST＝110(米)，则提取标注数据184c和184d两者。通过应用这样部分重叠的范围，在用户逐渐地接近(或远离)真实物体FC2的情况下，新信息可以顺序地呈现给用户，而不是通过突然地替换被显示的信息使用户感到困惑。
显示控制单元170可以对与关注物体相关联的虚拟物体的显示进行控制，以使得被显示的信息的改变是用户所预估的。例如，在真实物体FC2是关注物体的情景下，在控制参数DIST的值短暂地超过120(米)的情况下，显示控制单元170将补充的虚拟物体叠加在图像上，该补充的虚拟物体示出通过更加接近真实物体FC2而要显示的新信息。以此方式，将为用户提供用于通过更加接近关注物体而获得信息的积极性。
注意的是，可以不使用诸如图14所例示的数据配置来实现对被显示的信息进行的控制。例如，显示控制单元170可以通过根据控制参数的值从具有高粒度的信息中提取部分信息或自动地创建信息的概要来动态地生成具有较低粒度的信息。在此情况下，标注DB180的数据配置可以进一步简化。
2-3.被显示的信息的控制的示例
(1)第一示例
图15A和图15B是用于描述根据比例进行的被显示的信息的控制的示例的说明图。
参照图15A，示出了对安装在餐馆前面的菜单实例20进行成像的信息处理设备100。在菜单实例20中陈列多个菜单项。信息处理设备100的环境识别单元140将输入图像中所示的这些菜单项识别为真实物体。显示控制单元170从标注DB 180中提取与识别的真实物体相关联的信息，并且将指示所提取的信息的虚拟物体叠加在图像上。在图15A的示例中，虚拟物体V21以及虚拟物体V22a至V22d被叠加在图像上。这些虚拟物体V21以及虚拟物体V22a至V22d以星级示出了针对菜单项目中的每个的评级得分。虚拟物体V21示出了与被选择为关注物体或默认物体的菜单项R21相关的评级得分。
参照图15B，示出了用户使信息处理设备100更加接近图15A中所示的菜单实例20的情景。通过减少菜单项R21与信息处理设备100之间的距离，菜单项R21的比例将变得更大。结果，示出与菜单项R21相关的评论意见的虚拟物体V23而不是与菜单项R21相关的评级得分被叠加在图像上。
根据第一示例，用户首先在未锁定状态下通过对整个菜单实例进行成像而概览多个评级得分，并且选择菜单项中的一个进行关注。然后，用户关注的菜单项被锁定为关注物体，并且之后用户通过移动终端更加接近菜单项可以浏览与此菜单项相关的详细信息。
(2)第二示例
图16A和图16B是用于描述根据距离进行的被显示的信息的控制的示例的说明图。
参照图16A，示出了对具有各种设施的娱乐公园的远景成像的信息处理设备100。信息处理设备100的环境识别单元140将输入图像中所示的各个设施识别为真实物体。显示控制单元170从标注DB 180中提取与识别的真实物体相关联的信息，并且将指示所提取的信息的虚拟物体叠加在图像上。在图16A的示例中，虚拟物体V31被叠加在图像上。虚拟物体V31指示设施R31的位置，连同示出到设施R31的距离。
参照图16B，示出了用户接近图16A所示的设施R31的情景。设施R31与信息处理设备100之间的距离减小，并且作为结果，示出与设施R31相关的入口指引信息的虚拟物体V32而不是与设施31相关的粗略位置信息被叠加在图像上。
根据第二示例，用户锁定预期的设施作为关注物体，并且朝向此设施移动而同时参考由AR应用所提供的信息。同时，例如无需连续地维持摄像装置角度以使得预期的设施位于图像的中心。另外，当接近预期的设施时，用户可以浏览与此设施相关的更详细的信息。
(3)第三示例
图17A和图17B是用于描述根据角度进行的被显示的信息的控制的示例的说明图。
参照图17A，示出了对陈列有各种展览品的博物馆内部进行成像的信息处理设备100。信息处理设备100的环境识别单元140将在输入图像中所示的各个展览品识别为真实物体。显示控制单元170从标注DB 180中提取与识别的真实物体相关联的信息，并且将指示所提取的信息的虚拟物体叠加在图像上。在图17A的示例中，虚拟物体V41被叠加在图像上。在从前方查看展览品R41的情况下，虚拟物体V41示出与展览品R41相关的概要信息。
参照图17B，示出了从不同于图17A的示例的角度对展览品R41进行成像的信息处理装置100。展览品R41的姿势相对于图像拍摄表面而发生改变，并且作为结果，除了虚拟物体V41之外，在从右侧查看展览品R41的情况下示出与展览品R41相关的概要信息的虚拟物体V42也被叠加在图像上。
根据第三示例，用户锁定预期的展览品作为关注物体。AR应用为用户提供了针对此展览品的信息。当用户移动终端时，用户将注意到依赖于终端的姿势，还提供了针对此展览品其它类型的信息。如果锁定关注物体，则当移动终端时用户无需过于关注摄像装置角度。因此，用户可以欣赏预期的展览品并且同时参考所提供的信息而不会感觉到压力。
在如使用图15A至图17B所描述的本实施例中，由虚拟物体所显示的被显示的信息根据对应的真实物体与终端之间的相对位置或姿势而发生改变。但是，如果锁定关注物体，则无论终端如何移动，用户都可以以能够区分此信息与其它信息的方式连续地并且清晰直观地识别与关注物体相关的信息。
3.处理流程
3-1.未锁定状态
图18是示出由信息处理设备100所执行的在未锁定状态下的显示控制处理的流程的示例的流程图。
参照图18，首先，图像获取单元120获取由图像拍摄单元102所生成的拍摄图像作为输入图像(步骤S110)。然后，图像获取单元120将所获取的输入图像输出到环境识别单元140和显示控制单元170。
接下来，环境识别单元140识别输入图像中所示的一个或更多个真实物体(步骤S120)。然后，环境识别单元140将与识别的真实物体的位置和姿势相关的识别结果存储在环境DB 150中。
接下来，选择单元160依照给定的标准从由环境识别单元140所识别的真实物体中选择默认物体(步骤S130)。然后，选择单元160将所选择的默认物体的标识符输出到显示控制单元170。
接下来，显示控制单元170计算用于由选择单元160所选择的默认物体的控制参数的值(步骤S140)。在此，所计算的控制参数可以是例如由标注DB 180的控制类型182d所显示的类型的参数(例如，比例、距离以及角度中的至少一个)。
接下来，显示控制单元170通过使用所计算的控制参数的值来从标注DB 180中提取与默认物体相关的被显示的信息(步骤S150)。
接下来，显示控制单元170生成与默认物体相关联的虚拟物体，该虚拟物体指示所提取的被显示的信息(步骤S160)。
此外，显示控制单元170还可以生成与除默认物体之外的真实物体相关联的虚拟物体(步骤S170)。
然后，显示控制单元170将在步骤S160和步骤S170中所生成的虚拟物体叠加在与真实物体相关联的图像上(步骤S180)。
之后，处理返回至步骤S110，并且针对新获取的输入图像重复上述的显示控制处理。同时，监测转变到锁定状态的触发，并且在检测到此触发的情况下，信息处理设备100执行在锁定状态下的显示控制处理(如下所述)。
3-2.锁定状态
图19是示出由信息处理设备100所执行的在锁定状态下的显示控制处理的流程的示例的流程图。
参照图19，首先，图像获取单元120获取由图像拍摄单元102所生成的拍摄图像作为输入图像(步骤S110)。然后，图像获取单元120将所获取的输入图像输出到环境识别单元140和显示控制单元170。
接下来，环境识别单元140在输入图像中识别由选择单元160所选择的关注物体(步骤S220)。然后，环境识别单元140将与关注物体的位置和姿势相关的识别结果存储在环境DB 150中。
在输入图像中示出关注物体的情况下执行随后的处理(步骤S230)。
在输入图像中示出关注物体的情况下，显示控制单元170计算用于由选择单元160所选择的关注物体的控制参数的值(步骤S240)。在此，所计算的控制参数可以是例如由标注DB 180的控制类型182d所显示的类型的参数(例如，比例、距离以及角度中的至少一个)。
接下来，显示控制单元170通过使用所计算的控制参数的值来从标注DB 180中提取与关注物体相关的被显示的信息(步骤S250)。
接下来，显示控制单元170生成与关注物体相关联的虚拟物体，该虚拟物体指示所提取的被显示的信息(步骤S260)。
然后，显示控制单元170将在步骤S260中所生成的虚拟物体叠加在与关注物体相关联的图像上(步骤S180)。
之后，处理返回至步骤S110，并且针对新获取的输入图像重复上述显示控制处理。同时，监测转变到未锁定状态(锁定释放)的触发，并且在检测到触发的情况下，信息处理设备100的状态返回至未锁定状态。
4.结论
到目前为止，使用图1至图19详细地描述了与本公开相关的技术的实施例。根据本公开的上述实施例，在用于与真实物体相关联的增强现实的被显示的信息根据真实物体与终端之间的相对位置或姿势而发生改变的情况下，依照用户进行的指定，输入图像中所示的至少一个真实物体被选择作为关注物体，并且在多帧之间维持此选择(即，锁定)。另外，对与关注物体相关联的被显示的信息动态地进行控制。因此，如果锁定关注物体，则无论终端如何移动，用户都可以以能够区分此信息与其它信息的形式连续地并且清晰直观地识别与关注物体相关的信息。因此，即使存在通过AP应用可以提供的大量信息，并且即使此信息处于信息的内容动态地发生改变的情况下，也可以选择性地并且有效地改进用户所期望的信息的可视性。
此外，根据本公开的上述实施例，在未指定关注物体的情况下，自动地选择通过给定标准而指定的真实物体作为默认物体，并且对虚拟物体的显示进行控制以使得默认物体能够被识别。因此，在还未选择关注物体的阶段，用户可以通过移动终端来识别并且自由地浏览与各个真实物体相关的对应的信息。
此外，根据本公开的上述实施例，当检测到预定用户输入时所选择的默认物体被选择为关注物体。因此，当确定哪个真实物体是所关注的时，用户可以容易地指定关注物体。即使在输入图像中示出多个真实物体的情况下，也将减轻用户的负担，因为不需要再次执行诸如精确地触摸或指向关注物体的操作。
由本说明书中所描述的每个设备所执行的控制处理的序列可以通过软件、硬件或软件和硬件的组合来实现。在这样的软件中所包括的程序可以预先存储在例如设置在每个设备的内部或外部的存储介质上。作为一个示例，在执行期间，这样的程序被写入到RAM(随机访问存储器)中并且由处理器(诸如CPU)所执行。
代替于实现在本公开的设备自身中，设备的一些逻辑功能可以实现在存在于云计算环境中的设备中。在这样的情况下，在逻辑功能之间所交换的信息可以经由图5所示的通信单元112而在设备之间发送或接收。
尽管参照附图详细地描述了本公开的优选实施例，但是本公开的技术范围不限于此。本领域内技术人员应当理解根据设计需求和其它因素可以产生各种修改、组合、子组合以及替选，只要其落入所附的权利要求或其等价物的范围中。
此外，本技术还可以如下配置。
(1)一种信息处理设备，包括：
图像获取单元，获取通过使用图像拍摄设备对真实空间进行成像所生成的输入图像；
显示控制单元，将与所述输入图像中所示的一个或更多个真实物体相关联的虚拟物体叠加在所述输入图像上；以及
选择单元，在用户从所述一个或更多个真实物体中指定了至少一个真实物体之后，选择所述指定的真实物体作为多帧之间的关注物体，其中
所述显示控制单元根据所述关注物体与所述图像拍摄设备之间的相对位置或姿势来改变由与所述关注物体相关联的所述虚拟物体所显示的被显示的信息。
(2)根据(1)所述的信息处理设备，其中，当未由所述用户指定所述关注物体时，所述选择单元从所述一个或更多个真实物体中选择由给定的标准所识别的真实物体作为默认物体，并且
其中，所述显示控制单元以所述默认物体能够被所述用户识别的方式来对与所述默认物体相关联的虚拟物体的显示进行控制。
(3)根据(2)所述的信息处理设备，其中，所述选择单元选择当检测到预定用户输入时所选择的所述默认物体作为所述关注物体。
(4)根据(1)至(3)中的任一个所述的信息处理设备，其中，所述显示控制单元根据依赖于所述图像拍摄设备与所述关注物体的距离和所述关注物体相对于图像拍摄表面的角度中的至少一个的参数来对改变所述被显示的信息。
(5)根据(4)所述的信息处理设备，其中，当所述图像拍摄设备与所述关注物体的所述距离落入第一范围中时，所述显示控制单元采用第一信息作为所述被显示的信息，并且当所述距离落入比所述第一范围更近的第二范围中时，所述显示控制单元采用第二信息作为所述被显示的信息，作为所述被显示的信息所述第二信息比所述第一信息更详细。
(6)根据(4)所述的信息处理设备，其中，当所述关注物体相对于所述图像拍摄表面的所述角度落入第一范围中时，所述显示控制单元采用第一信息作为所述被显示的信息，并且当所述角度落入不同于所述第一范围的第二范围中时，所述显示控制单元采用不同于所述第一信息的第二信息作为所述被显示的信息。
(7)根据(4)所述的信息处理设备，其中，当投影在所述图像拍摄表面的所述关注物体的比例落入第一范围中时，所述显示控制单元采用第一信息作为所述被显示的信息，并且当所述比例落入大于所述第一范围的第二范围中时，所述显示控制单元采用第二信息作为所述被显示的信息，作为所述被显示的信息所述第二信息比所述第一信息更详细。
(8)根据(5)至(7)中的任一个所述的信息处理设备，其中，所述第一范围与所述第二范围部分地重叠。
(9)根据(5)至(8)中的任一个所述的信息处理设备，其中，所述显示控制单元以所述被显示的信息的改变是所述用户所预估的方式来对与所述关注物体相关联的所述虚拟物体的显示进行控制。
(10)根据(1)至(9)中的任一个所述的信息处理设备，进一步包括：
识别单元，使用所述输入图像来识别所述一个或更多个真实物体。
(11)根据(10)所述的信息处理设备，其中，当选择了所述关注物体时所述识别单元在所述输入图像中仅识别所述关注物体。
(12)根据(1)至(9)中的任一个所述的信息处理设备，进一步包括：
识别单元，通过使用所述图像拍摄设备的位置对数据库进行查询来识别所述一个或更多个真实物体。
(13)根据(2)所述的信息处理设备，其中，所述给定的标准是与在所述输入图像中的所述真实物体的二维位置相关的标准。
(14)根据(2)或(13)所述的信息处理设备，其中，所述给定的标准是与在所述真实空间中的所述真实物体以所述图像拍摄设备作为标准的三维位置相关的标准。
(15)根据(13)或(14)所述的信息处理设备，其中，所述给定标准是与以所述图像拍摄设备作为标准的所述真实物体的姿势相关的标准。
(16)根据(1)至(15)中的任一个所述的信息处理设备，其中，所述信息处理设备是还包括所述图像拍摄设备的便携式终端。
(17)根据(1)至(16)中的任一个所述的信息处理设备，其中，使用云计算环境中的设备代替所述信息处理设备来实现所述图像获取单元、所述显示控制单元以及所述选择单元中的至少一个。
(18)一种显示控制方法，包括：
获取通过使用图像拍摄设备对真实空间进行成像所生成的输入图像；
将与所述输入图像中所示的一个或更多个真实物体相关联的虚拟物体叠加在所述输入图像上；
在用户从所述一个或更多个真实物体中指定了至少一个真实物体之后，选择所述指定的真实物体作为多帧之间的关注物体；以及
根据所述关注物体与所述图像拍摄设备之间的相对位置或姿势来改变由与所述关注物体相关联的所述虚拟物体所显示的被显示的信息。
(19)一种用于使计算机控制信息处理设备用作下述单元的程序：
图像获取单元，获取通过使用图像拍摄设备对真实空间进行成像所生成的输入图像；
显示控制单元，将与所述输入图像中所示的一个或更多个真实物体相关联的虚拟物体叠加在所述输入图像上；以及
选择单元，在用户从所述一个或更多个真实物体中指定了至少一个真实物体之后，选择所述指定的真实物体作为多帧之间的关注物体，其中
所述显示控制单元根据所述关注物体与所述图像拍摄设备之间的相对位置或姿势来改变由与所述关注物体相关联的所述虚拟物体所显示的被显示的信息。
参考标记列表
100 信息处理设备
102 图像拍摄单元(图像拍摄设备)
120 图像获取单元
140 环境识别单元
160 选择单元
170 显示控制单元

Claims (18)

1.一种信息处理设备，包括：
图像获取单元，获取通过使用图像拍摄设备对真实空间成像所生成的输入图像；
显示控制单元，将与所述输入图像中所示的一个或更多个真实物体相关联的虚拟物体叠加在所述输入图像上；以及
选择单元，在用户从所述一个或更多个真实物体中指定了至少一个真实物体之后，选择所述指定的真实物体作为多帧之间的关注物体，
其中，所述显示控制单元根据所述关注物体与所述图像拍摄设备之间的相对位置或姿势来改变由与所述关注物体相关联的所述虚拟物体所显示的被显示的信息，
当未由所述用户指定所述关注物体时，所述选择单元从所述一个或更多个真实物体中选择由给定的标准所识别的真实物体作为默认物体，
所述显示控制单元以所述默认物体能够被所述用户识别的方式来对与所述默认物体相关联的虚拟物体的显示进行控制，
当未由所述用户指定所述关注物体时，在所述输入图像随着所述图像拍摄设备的角度改变而改变至新的输入图像的情况下，所述选择单元将所述默认物体改变至新的默认物体，以使得从在所述图像拍摄设备的角度改变之后的新的输入图像中示出的另外的一个或更多个真实物体中选择所述新的默认物体，以及
当由所述用户指定所述关注物体时，所述选择单元保持所述关注物体，即使在所述输入图像随着所述图像拍摄设备的角度改变而改变至新的输入图像的情况下也不将所述关注物体改变至新的关注物体。
2.根据权利要求1所述的信息处理设备，其中，所述选择单元选择当检测到预定用户输入时所选择的所述默认物体作为所述关注物体。
3.根据权利要求1所述的信息处理设备，其中，所述显示控制单元根据依赖于所述图像拍摄设备与所述关注物体的距离和所述关注物体相对于图像拍摄表面的角度中的至少一个的参数来对改变所述被显示的信息。
4.根据权利要求3所述的信息处理设备，其中，当所述图像拍摄设备与所述关注物体的所述距离落入第一范围中时，所述显示控制单元采用第一信息作为所述被显示的信息，并且当所述距离落入比所述第一范围更近的第二范围中时，所述显示控制单元采用第二信息作为所述被显示的信息，所述第二信息比作为所述被显示的信息的所述第一信息更详细。
5.根据权利要求3所述的信息处理设备，其中，当所述关注物体相对于所述图像拍摄表面的所述角度落入第一范围中时，所述显示控制单元采用第一信息作为所述被显示的信息，并且当所述角度落入不同于所述第一范围的第二范围中时，所述显示控制单元采用不同于所述第一信息的第二信息作为所述被显示的信息。
6.根据权利要求3所述的信息处理设备，其中，当投影在所述图像拍摄表面的所述关注物体的比例落入第一范围中时，所述显示控制单元采用第一信息作为所述被显示的信息，并且当所述比例落入大于所述第一范围的第二范围中时，所述显示控制单元采用第二信息作为所述被显示的信息，所述第二信息比作为所述被显示的信息的所述第一信息更详细。
7.根据权利要求4所述的信息处理设备，其中，所述第一范围与所述第二范围部分地重叠。
8.根据权利要求4所述的信息处理设备，其中，所述显示控制单元以所述被显示的信息的改变是所述用户所预估的方式来对与所述关注物体相关联的所述虚拟物体的显示进行控制。
9.根据权利要求1所述的信息处理设备，进一步包括：
识别单元，使用所述输入图像来识别所述一个或更多个真实物体。
10.根据权利要求9所述的信息处理设备，其中，当选择了所述关注物体时所述识别单元在所述输入图像中仅识别所述关注物体。
11.根据权利要求1所述的信息处理设备，进一步包括：
识别单元，通过使用所述图像拍摄设备的位置对数据库进行查询来识别所述一个或更多个真实物体。
12.根据权利要求1所述的信息处理设备，其中，所述给定的标准是与在所述输入图像中的所述真实物体的二维位置相关的标准。
13.根据权利要求1所述的信息处理设备，其中，所述给定的标准是与在所述真实空间中的所述真实物体以所述图像拍摄设备作为标准的三维位置相关的标准。
14.根据权利要求12所述的信息处理设备，其中，所述给定的标准是与以所述图像拍摄设备作为标准的所述真实物体的姿势相关的标准。
15.根据权利要求1所述的信息处理设备，其中，所述信息处理设备是还包括所述图像拍摄设备的便携式终端。
16.根据权利要求1所述的信息处理设备，其中，使用云计算环境中的设备代替所述信息处理设备来实现所述图像获取单元、所述显示控制单元以及所述选择单元中的至少一个。
17.一种显示控制方法，包括：
获取通过使用图像拍摄设备对真实空间进行成像所生成的输入图像；
将与所述输入图像中所示的一个或更多个真实物体相关联的虚拟物体叠加在所述输入图像上；
在用户从所述一个或更多个真实物体中指定了至少一个真实物体之后，选择所述指定的真实物体作为多帧之间的关注物体；
根据所述关注物体与所述图像拍摄设备之间的相对位置或姿势来改变由与所述关注物体相关联的所述虚拟物体所显示的被显示的信息；
当未由所述用户指定所述关注物体时，从所述一个或更多个真实物体中选择由给定的标准所识别的真实物体作为默认物体；
以所述默认物体能够被所述用户识别的方式来对与所述默认物体相关联的虚拟物体的显示进行控制；
当未由所述用户指定所述关注物体时，在所述输入图像随着所述图像拍摄设备的角度改变而改变至新的输入图像的情况下，将所述默认物体改变至新的默认物体，以使得从在所述图像拍摄设备的角度改变之后的新的输入图像中示出的另外的一个或更多个真实物体中选择所述新的默认物体；以及
当由所述用户指定所述关注物体时，保持所述关注物体，即使在所述输入图像随着所述图像拍摄设备的角度改变而改变至新的输入图像的情况下也不将所述关注物体改变至新的关注物体。
18.一种存储有程序的存储介质，所述程序用于使计算机控制信息处理设备用作下述单元：
图像获取单元，获取通过使用图像拍摄设备对真实空间成像所生成的输入图像；
显示控制单元，将与所述输入图像中所示的一个或更多个真实物体相关联的虚拟物体叠加在所述输入图像上；以及
选择单元，在用户从所述一个或更多个真实物体中指定了至少一个真实物体之后，选择所述指定的真实物体作为多帧之间的关注物体，
其中，所述显示控制单元根据所述关注物体与所述图像拍摄设备之间的相对位置或姿势来改变由与所述关注物体相关联的所述虚拟物体所显示的被显示的信息，
当未由所述用户指定所述关注物体时，所述选择单元从所述一个或更多个真实物体中选择由给定的标准所识别的真实物体作为默认物体，
所述显示控制单元以所述默认物体能够被所述用户识别的方式来对与所述默认物体相关联的虚拟物体的显示进行控制，
当未由所述用户指定所述关注物体时，在所述输入图像随着所述图像拍摄设备的角度改变而改变至新的输入图像的情况下，所述选择单元将所述默认物体改变至新的默认物体，以使得从在所述图像拍摄设备的角度改变之后的新的输入图像中示出的另外的一个或更多个真实物体中选择所述新的默认物体，以及
当由所述用户指定所述关注物体时，所述选择单元保持所述关注物体，即使在所述输入图像随着所述图像拍摄设备的角度改变而改变至新的输入图像的情况下也不将所述关注物体改变至新的关注物体。
CN201310116242.2A 2012-04-11 2013-04-03 信息处理设备、显示控制方法以及程序 Expired - Fee Related CN103377487B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012090049A JP6056178B2 (ja) 2012-04-11 2012-04-11 情報処理装置、表示制御方法及びプログラム
JP2012-090049 2012-04-11

Publications (2)

Publication Number Publication Date
CN103377487A CN103377487A (zh) 2013-10-30
CN103377487B true CN103377487B (zh) 2018-04-03

Family

ID=48014235

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201310116242.2A Expired - Fee Related CN103377487B (zh) 2012-04-11 2013-04-03 信息处理设备、显示控制方法以及程序
CN 201320166470 Expired - Fee Related CN203276350U (zh) 2012-04-11 2013-04-03 信息处理设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN 201320166470 Expired - Fee Related CN203276350U (zh) 2012-04-11 2013-04-03 信息处理设备

Country Status (6)

Country Link
US (1) US9823821B2 (zh)
EP (1) EP2836899B1 (zh)
JP (1) JP6056178B2 (zh)
CN (2) CN103377487B (zh)
TW (1) TW201403443A (zh)
WO (1) WO2013153740A2 (zh)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI475474B (zh) * 2012-07-30 2015-03-01 Mitac Int Corp Gesture combined with the implementation of the icon control method
US9262865B2 (en) * 2013-03-15 2016-02-16 Daqri, Llc Content creation tool
USD757103S1 (en) * 2013-06-18 2016-05-24 Huawei Technologies Co., Ltd. Display screen or portion thereof with icon
JP2015118578A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション 拡張現実情報詳細
JP2015142181A (ja) * 2014-01-27 2015-08-03 キヤノン株式会社 制御装置、制御方法
CA2945377A1 (en) 2014-04-07 2015-10-15 Cubic Corporation Systems and methods for queue management
CA2945020A1 (en) * 2014-04-07 2015-10-15 Cubic Corporation Intuitive visual assessment of device operational health
US9652894B1 (en) * 2014-05-15 2017-05-16 Wells Fargo Bank, N.A. Augmented reality goal setter
JP6076304B2 (ja) * 2014-09-29 2017-02-08 京セラドキュメントソリューションズ株式会社 物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラム
JP2016004340A (ja) * 2014-06-16 2016-01-12 セイコーエプソン株式会社 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016018367A (ja) * 2014-07-08 2016-02-01 沖電気工業株式会社 情報処理装置、情報処理方法、及びプログラム
JP6635037B2 (ja) * 2014-08-01 2020-01-22 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR102265086B1 (ko) * 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
JP6424601B2 (ja) * 2014-12-10 2018-11-21 富士通株式会社 表示制御方法、情報処理プログラム、及び情報処理装置
US9778814B2 (en) * 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
US10335677B2 (en) 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
TWI533240B (zh) * 2014-12-31 2016-05-11 拓邁科技股份有限公司 資料顯示方法及系統，及相關電腦程式產品
JP6488786B2 (ja) * 2015-03-17 2019-03-27 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10431005B2 (en) 2015-05-05 2019-10-01 Ptc Inc. Augmented reality system
KR20160131720A (ko) * 2015-05-08 2016-11-16 엘지전자 주식회사 이동단말기 및 그 제어방법
US10628955B2 (en) * 2015-05-19 2020-04-21 Rakuten, Inc. Information processing device, information processing method, and program for identifying objects in an image
KR20170014609A (ko) * 2015-07-30 2017-02-08 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP2017054185A (ja) 2015-09-07 2017-03-16 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
TWI578146B (zh) * 2015-12-30 2017-04-11 Chunghwa Telecom Co Ltd Mobile energy monitoring and management system
CN105469004A (zh) * 2015-12-31 2016-04-06 上海小蚁科技有限公司 一种显示装置和显示方法
US10650601B2 (en) 2016-03-29 2020-05-12 Sony Corporation Information processing device and information processing method
CN105847583A (zh) * 2016-05-10 2016-08-10 北京奇虎科技有限公司 在移动终端上进行图像处理的方法及装置
CN109478339A (zh) * 2016-07-29 2019-03-15 三菱电机株式会社 显示装置、显示控制装置和显示控制方法
US10026023B2 (en) * 2016-08-11 2018-07-17 International Business Machines Corporation Sentiment based social media comment overlay on image posts
US10607609B2 (en) 2016-08-12 2020-03-31 Magic Leap, Inc. Word flow annotation
CN106331854A (zh) * 2016-09-29 2017-01-11 深圳Tcl数字技术有限公司 智能电视控制方法及装置
JP6783618B2 (ja) * 2016-10-18 2020-11-11 株式会社日立システムズ 情報表示装置、及びその処理制御方法
CN107979628B (zh) * 2016-10-24 2020-04-21 腾讯科技（深圳）有限公司 获取虚拟物品的方法、装置及系统
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
EP3557861A4 (en) * 2017-01-31 2019-12-25 NTT DoCoMo, Inc. INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
JP6809267B2 (ja) * 2017-02-10 2021-01-06 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
CN107170046B (zh) * 2017-03-30 2020-10-30 努比亚技术有限公司 一种增强现实装置及增强现实画面显示方法
US10282911B2 (en) 2017-05-03 2019-05-07 International Business Machines Corporation Augmented reality geolocation optimization
US11030808B2 (en) * 2017-10-20 2021-06-08 Ptc Inc. Generating time-delayed augmented reality content
US10572716B2 (en) 2017-10-20 2020-02-25 Ptc Inc. Processing uncertain content in a computer graphics system
JPWO2018216355A1 (ja) * 2017-05-24 2020-05-21 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN109451295A (zh) * 2017-08-29 2019-03-08 深圳市掌网科技股份有限公司 一种获取虚拟信息的方法和系统
EP3707990B1 (en) * 2017-12-01 2021-07-14 Sony Corporation Information processing device, information processing method, and vegetation management system
JP7310793B2 (ja) * 2018-02-22 2023-07-19 ソニーグループ株式会社 情報処理装置、移動装置、および方法、並びにプログラム
CN111819518A (zh) 2018-03-13 2020-10-23 索尼公司 信息处理设备、信息处理方法和记录介质
JP6714632B2 (ja) * 2018-03-20 2020-06-24 マクセル株式会社 情報表示端末及び情報表示方法
JP2021141346A (ja) * 2018-05-31 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN108829368B (zh) * 2018-06-29 2021-07-16 联想(北京)有限公司 一种信息处理方法及电子设备
CN109164958A (zh) * 2018-08-02 2019-01-08 珠海格力电器股份有限公司 一种后台中应用锁定的方法和设备
JP2021182174A (ja) * 2018-08-07 2021-11-25 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
US10460139B1 (en) * 2018-08-24 2019-10-29 Intuit Inc. System and method for unique identifier detection based on invisible light
CN111273766B (zh) * 2018-12-04 2022-05-13 苹果公司 用于生成链接到物品模拟现实表示的示能表示的方法、设备和系统
JP2020149476A (ja) * 2019-03-14 2020-09-17 トヨタ自動車株式会社 プログラム、情報処理装置、及び制御方法
CN113631477A (zh) * 2019-04-02 2021-11-09 索尼集团公司 信息处理装置、信息处理方法和程序
JP6982203B2 (ja) * 2019-04-17 2021-12-17 Kddi株式会社 キャラクタ画像生成装置、キャラクタ画像生成方法及びプログラム
US11087560B2 (en) 2019-05-15 2021-08-10 Microsoft Technology Licensing, Llc Normalization of objects for a 3D environment within an authoring application
US11164395B2 (en) 2019-05-15 2021-11-02 Microsoft Technology Licensing, Llc Structure switching in a three-dimensional environment
US11039061B2 (en) * 2019-05-15 2021-06-15 Microsoft Technology Licensing, Llc Content assistance in a three-dimensional environment
US11030822B2 (en) 2019-05-15 2021-06-08 Microsoft Technology Licensing, Llc Content indicators in a 3D environment authoring application
US11287947B2 (en) 2019-05-15 2022-03-29 Microsoft Technology Licensing, Llc Contextual input in a three-dimensional environment
CN110716646A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、设备及存储介质
JP6805375B2 (ja) * 2020-01-10 2020-12-23 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
JP7355467B2 (ja) 2020-06-15 2023-10-03 Ｎｅｃソリューションイノベータ株式会社 ガイド装置、ガイドシステム、ガイド方法、プログラム、及び、記録媒体
TWI728930B (zh) 2020-10-20 2021-05-21 洪仁哲 海浪發電裝置
JP7405735B2 (ja) * 2020-12-21 2023-12-26 トヨタ自動車株式会社 表示システム、表示装置、及びプログラム
CN113359983A (zh) * 2021-06-03 2021-09-07 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、电子设备及存储介质
US11537260B1 (en) * 2021-08-05 2022-12-27 Lenovo (Singapore) Pte. Ltd. Graphical indications and selectors for whether object being selected via AR device is real or virtual

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2378392A1 (en) * 2008-12-25 2011-10-19 Panasonic Corporation Information displaying apparatus and information displaying method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218873B2 (en) 2000-11-06 2012-07-10 Nant Holdings Ip, Llc Object information derived from object images
JP4600515B2 (ja) * 2008-05-07 2010-12-15 ソニー株式会社 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム
JP2010033367A (ja) * 2008-07-29 2010-02-12 Canon Inc 情報処理装置及び情報処理方法
JP2011242816A (ja) * 2008-09-09 2011-12-01 Tonchidot Corp 視界情報に仮想情報を付加して表示できるシステム
JP5315111B2 (ja) 2009-03-31 2013-10-16 株式会社エヌ・ティ・ティ・ドコモ 端末装置、情報提示システム及び端末画面表示方法
JP5390322B2 (ja) 2009-09-28 2014-01-15 株式会社東芝 画像処理装置、及び画像処理方法
JP2011244058A (ja) 2010-05-14 2011-12-01 Sony Corp 情報処理装置、情報処理システム、及びプログラム
KR101315399B1 (ko) 2010-08-20 2013-10-07 주식회사 팬택 객체 정보 제공 단말 장치 및 그 방법
JP5377537B2 (ja) * 2011-02-10 2013-12-25 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2378392A1 (en) * 2008-12-25 2011-10-19 Panasonic Corporation Information displaying apparatus and information displaying method
CN102246121A (zh) * 2008-12-25 2011-11-16 松下电器产业株式会社 信息显示装置和信息显示方法

Also Published As

Publication number Publication date
JP6056178B2 (ja) 2017-01-11
WO2013153740A2 (en) 2013-10-17
US9823821B2 (en) 2017-11-21
CN103377487A (zh) 2013-10-30
CN203276350U (zh) 2013-11-06
US20150052479A1 (en) 2015-02-19
EP2836899B1 (en) 2018-10-03
JP2013218597A (ja) 2013-10-24
WO2013153740A3 (en) 2014-09-25
EP2836899A2 (en) 2015-02-18
TW201403443A (zh) 2014-01-16

Similar Documents

Publication Publication Date Title
CN103377487B (zh) 信息处理设备、显示控制方法以及程序
US9996982B2 (en) Information processing device, authoring method, and program
US10360696B2 (en) Image processing apparatus, image processing method, and program
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
CN102867169B (zh) 图像处理设备和显示控制方法
US9639988B2 (en) Information processing apparatus and computer program product for processing a virtual object
EP2859718B1 (en) Augmented reality arrangement of nearby location information
JP5724543B2 (ja) 端末装置、オブジェクト制御方法及びプログラム
EP2814000B1 (en) Image processing apparatus, image processing method, and program
EP2458486A1 (en) Information processing device, information processing method, and program
KR101691985B1 (ko) 개인 정보 통신기
JP2012094138A (ja) 拡張現実ユーザインタフェース提供装置および方法
JP5668587B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2017211811A (ja) 表示制御プログラム、表示制御方法および表示制御装置
CN114489429B (zh) 一种终端设备、长截屏方法和存储介质
CN112565597A (zh) 显示方法和装置
US20220236846A1 (en) Augmented reality calling interface
CN117115481A (zh) 一种定位方法、电子设备及介质
JPWO2020170369A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180403

Termination date: 20210403