CN110262706A - 信息处理设备、信息处理方法及记录介质 - Google Patents

信息处理设备、信息处理方法及记录介质 Download PDF

Info

Publication number
CN110262706A
CN110262706A CN201910323652.1A CN201910323652A CN110262706A CN 110262706 A CN110262706 A CN 110262706A CN 201910323652 A CN201910323652 A CN 201910323652A CN 110262706 A CN110262706 A CN 110262706A
Authority
CN
China
Prior art keywords
real
real object
virtual objects
size
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910323652.1A
Other languages
English (en)
Other versions
CN110262706B (zh
Inventor
鹤见辰吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110262706A publication Critical patent/CN110262706A/zh
Application granted granted Critical
Publication of CN110262706B publication Critical patent/CN110262706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种信息处理设备、信息处理方法及记录介质。该信息处理设备包括电路，电路被配置成：获取真实空间的图像；基于所获取的图像识别真实空间的三维空间结构；基于所识别的三维空间结构计算真实空间中的真实对象的大小；检测在所获取的图像中和在所识别的三维空间结构中的真实对象的一个或更多个特征点；比较在所获取的图像中和在所识别的三维空间结构中的真实对象的所检测到的一个或更多个特征点；基于真实对象的大小选择要显示的虚拟对象；以及显示所选的虚拟对象。

Description

信息处理设备、信息处理方法及记录介质
本申请是申请日为2014年3月21日、申请号为“201410108370.7”、发明名称为“信息处理设备、信息处理方法及记录介质”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求于2013年3月29日提交的日本优先权专利申请JP2013-072689的优先权，其全部内容通过引用合并到本文中。
背景技术
本公开内容涉及一种信息处理设备、一种信息处理方法和一种记录介质。
一种称为增强现实(AR)的技术最近引起了人们的注意，其向用户呈现了具有叠加在其上的额外信息的真实空间。可以使用各种形式的虚拟对象如文本、图标或动画等来对在AR技术中呈现给用户的信息进行视觉化。一般基于在图像中显示的真实空间的三维结构的识别来执行注释在AR空间上的放置。
运动恢复结构(SfM)技术和同步定位与绘图(SLAM)技术已知为用于识别真实空间中的三维结构的技术。在SfM技术中，从不同的视点来拍摄多个图像，并且根据这些图像，利用视差来识别在图像中显示的真实空间中的三维结构。在Andrew J.Davison,"Real-TimeSimultaneous Localization and Mapping with a Single Camera",Proceedings ofthe 9th IEEE International Conference on Computer Vision卷2,2003，第1403页-1410页中对SLAM技术进行了描述。JP 2009-237845A公开了一种通过使用SfM技术来识别针对SLAM技术中的初始化而选择的特征点的三维位置的技术。
发明内容
被添加至真实空间的虚拟对象一般可以基于真实对象在图像中的大小来控制。但是，真实对象在图像中的大小可以根据成像部与真实对象之间的距离等而变化。从而，仅通过将真实对象在图像中的大小考虑在内很难说是充分考虑了真实对象在真实空间中的大小。
鉴于前述内容，期望在本公开内容中提供一种使得可以考虑真实对象在真实空间中的大小来控制虚拟对象的技术。
根据本公开内容的一种实施方式，提供了一种信息处理设备，包括：图像获取部，其被配置成获取由成像部拍摄的图像；以及显示控制器，其被配置成使得根据在图像中示出的真实对象的识别结果来显示虚拟对象。显示控制器基于真实对象在真实空间中的大小来控制虚拟对象。
根据本公开内容的另一种实施方式，提供了一种信息处理方法，包括：获取通过成像部拍摄的图像；使得根据在图像中示出的真实对象的识别结果来显示虚拟对象；以及基于真实对象在真实空间中的大小来控制虚拟对象。
根据本公开内容的另一种实施方式，提供了一种记录有程序的非瞬态计算机可读记录介质，所述程序用于使计算机用作信息处理设备，所述信息处理设备包括：图像获取部，其被配置成获取由成像部拍摄的图像；以及显示控制器，其被配置成使得根据在图像中示出的真实对象的识别结果来显示虚拟对象。显示控制器基于真实对象在真实空间中的大小来控制虚拟对象。
根据一个实施例，信息处理设备包括电路，电路被配置成：获取真实空间的图像；基于所获取的图像识别真实空间的三维空间结构；基于所识别的三维空间结构计算真实空间中的真实对象的大小；检测在所获取的图像中和在所识别的三维空间结构中的真实对象的一个或更多个特征点；比较在所获取的图像中和在所识别的三维空间结构中的真实对象的所检测到的一个或更多个特征点；基于真实对象的大小选择要显示的虚拟对象；以及显示所选的虚拟对象。
根据一个实施例，一种信息处理方法包括：获取真实空间的图像；基于所获取的图像识别真实空间的三维空间结构；基于所识别的三维空间结构计算真实空间中的真实对象的大小；检测在所获取的图像中和在所识别的三维空间结构中的真实对象的一个或更多个特征点；比较在所获取的图像中和在所识别的三维空间结构中的真实对象的所检测到的一个或更多个特征点；基于真实对象的大小选择要显示的虚拟对象；以及显示所选的虚拟对象。
根据一个实施例，提供一种非暂态计算机可读记录介质，非暂态计算机可读记录介质上存储有指令，指令在由计算机执行时使计算机执行操作，操作包括：获取真实空间的图像；基于所获取的图像识别真实空间的三维空间结构；基于所识别的三维空间结构计算真实空间中的真实对象的大小；检测在所获取的图像中和在所识别的三维空间结构中的真实对象的一个或更多个特征点；比较在所获取的图像中和在所识别的三维空间结构中的真实对象的所检测到的一个或更多个特征点；基于真实对象的大小选择要显示的虚拟对象；以及显示所选的虚拟对象。
根据本公开内容的实施方式中的一种或更多种，可以考虑真实对象在真实空间中的大小来控制虚拟对象。
附图说明
图1是示出了根据本公开内容的第一实施方式的信息处理设备的概要的图；
图2是示出了根据本公开内容的第一实施方式的信息处理设备的功能配置示例的图；
图3是示出了根据成像部所拍摄的图像来识别真实对象的技术的示例的图；
图4是示出了各自在真实空间中具有不同大小的两种类型的真实对象被识别的情况的图；
图5是示出了基于真实对象在真实空间中的大小来选择虚拟对象的示例的图；
图6是示出了基于真实对象在真实空间中的大小来控制虚拟对象的运动的示例的图；
图7是示出了基于真实对象在真实空间中的大小来控制虚拟对象在图像中的大小的示例的图；
图8是示出了根据本公开内容的第一实施方式的信息处理设备所执行的操作流程的示例的流程图；
图9是示出了根据本公开内容的第二实施方式的信息处理设备的功能配置示例的图；
图10是示出了用于计算真实对象在真实空间的大小的技术的示例的图；
图11是示出了用于计算真实对象在真实空间的大小的技术的示例的图；
图12是示出了用于计算真实对象在真实空间的大小的技术的示例的图；
图13是示出了基于在真实空间中真实对象与地板表面之间的距离来控制虚拟对象的示例的图；
图14是示出了基于重力方向与预定物体的姿势之间的关系来控制虚拟对象的示例的图；
图15是示出了基于预定物体的姿势与地板表面的姿势之间的关系来控制虚拟对象的示例的图；
图16是示出了根据本公开内容的第二实施方式的信息处理设备所执行的操作流程的示例的流程图；以及
图17是示出了根据本公开内容的一种实施方式的信息处理设备的硬件配置示例的图。
具体实施方式
下文中，将参考附图详细地描述本公开内容的优选实施方式。注意，在本说明书和附图中，具有基本上相同功能和结构的结构要素用相同的附图标记来表示，并且省略这些结构要素的重复说明。
此外，在本说明书和附图中，有些情况下，具有基本上相同功能和结构的多个结构要素通过在相同的附图标记后的不同字母或数字来彼此区分。注意，在不必彼此区分具有相同功能和结构的多个结构要素的情况下，仅使用相同的附图标记来表示多个结构要素。
此外，将按照以下次序来描述“具体实施方式”。
1.信息处理设备的概要
2.第一实施方式
2-1.信息处理设备的功能配置示例
2-2.用于识别真实对象的技术
2-3.显示控制的示例
2-4.信息处理设备的操作示例
3.第二实施方式
3-1.信息处理设备的功能配置示例
3-2.真实对象在真实空间中的大小
3-3.显示控制的示例
3-4.信息处理设备的操作示例
4.硬件配置示例
5.总结
《1.信息处理设备的概要》
首先，将描述根据本公开内容的实施方式的信息处理设备10的概要。图1是根据本公开内容的实施方式的信息处理设备10的概要的图。参考图1，示出了用户Ua所持有的信息处理设备10。信息处理设备10包括指向真实空间E的成像部120、操作部140和显示部160。成像部120通过拍摄真实空间E来生成图像。
在图1所示的示例中，显示部160显示成像部120所拍摄的图像Im。用户Ua能够通过在显示部160所显示的图像Im上放置视点来抓取真实空间E。但是，图像Im可以不必显示在显示部160上。例如，在显示部160为透射式头戴显示器(HMD)的情况下，显示部160不显示图像Im，并且用户Ua可以直接将视点放置在真实空间E上而不是图像Im上。
此外，在图像Im中显示了真实对象A。例如，当根据图像Im识别真实对象A时，信息处理设备10基于真实对象A的识别结果将虚拟对象放置在与真实空间E对应的AR空间。以此方式，用户Ua能够通过显示部160来观察由信息处理设备10放置在AR空间中的虚拟对象。真实对象A可以通过信息处理设备10来识别，或可以通过不同于信息处理设备10的装置(例如，服务器)来识别。
此处，被添加至真实空间E的虚拟对象一般可以基于真实对象A在图像Im中的大小来控制。但是，真实对象A在图像Im中的大小可以根据成像部120与真实对象A之间的距离而变化。从而，仅通过将真实对象A在图像Im中的大小考虑在内很难说是充分考虑了真实对象A在真实空间E中的大小。
鉴于前述内容，本公开内容提供了一种使得可以考虑真实对象在真实空间中的大小来控制虚拟对象的技术。在本公开内容的第一实施方式中，主要针对真实对象A在真实空间E中的大小已知的情况来进行描述，并且在本公开内容的第二实施方式中，主要针对真实对象A在真实空间E中的大小被计算的情况来进行描述。
注意，尽管以下描述将作为信息处理设备10被用作装配有相机的智能手机的情况的示例来做出，但是信息处理设备10还可以用作除智能手机以外的装置。例如，信息处理设备10可以用作摄影机、数码相机、个人数字助理(PDA)、个人计算机(PC)、移动电话、移动音乐回放装置、移动视频处理装置、移动游戏机、望远镜或双筒镜。
至此，描述了本公开内容的实施方式的信息处理设备10的概要。接着，将按照所述次序描述本公开内容的第一实施方式和本公开内容的第二实施方式。注意，在本公开内容的第一实施方式中描述的信息处理设备10和在本公开内容的第二实施方式中描述的信息处理设备10的功能可以组合使用，或仅一些功能可以组合使用。
《2.第一实施方式》
接着将描述本公开内容的第一实施方式。
[2-1.信息处理设备的功能配置示例]
首先，将描述根据本公开内容的第一实施方式的信息处理设备10A的功能配置示例。图2是根据本公开内容的第一实施方式的信息处理设备10A的功能配置示例的图。如图2所示，信息处理设备10A包括控制器110、成像部120、传感器部130、操作部140、存储器150和显示部160。
控制器110例如对应于如中央处理单元(CPU)或数字信号处理器(DSP)等处理器。控制器110通过执行存储在存储器150或另外的存储介质中的程序来展现控制器110所具有的各种功能。控制器110具有如图像获取部111、图像识别部113和显示控制器115等功能块。随后将描述各个功能块的功能。
成像部120是拍摄图像Im的相机模块。成像部120使用图像传感器如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)，并且生成图像Im。成像部120所生成的图像Im被输出至控制器110。注意，尽管在图2所示的示例中以与信息处理设备10A的集成方式提供了成像部120，但是还可以与信息处理设备10A分离地提供成像部120。例如，通过电线或无线电连接至信息处理设备10A的成像装置可以用作成像部120。
传感器部130获取传感器数据。例如，传感器部130包括3轴加速传感器。3轴加速传感器测量施加给成像部120的重力加速度，并且生成表明三维的重力加速度的大小和方向的传感器数据(加速度数据)。此外，传感器部130可以包括地磁传感器。地磁传感器生成表明成像部120在坐标系中的地磁方向的传感器数据(地磁数据)。此外，传感器部130还可以包括定位传感器(例如，全球定位系统(GPS)传感器)。定位传感器生成表明信息处理设备10A在真实空间中的经度和纬度的传感器数据(定位数据)。注意，尽管在图2所示的示例中以与信息处理设备10A集成的方式提供了传感器部130，但是还可以与信息处理设备10A分离地提供传感器部130。
操作部140检测用户所进行的操作并且将操作输出给控制器110。在本说明书中，由于假设了操作部140由触摸面板形成的情况，所以用户所进行的操作对应于轻敲触摸面板的操作。但是，操作部140还可以由除触摸面板以外的硬件(例如，按钮)形成。注意，尽管在图2所示的示例中以与信息处理设备10A的集成方式提供了操作部140，但是还可以与信息处理设备10A分离地提供操作部140。
存储器150使用如半导体存储器或硬盘等记录介质存储用于使控制器110操作的程序。此外，例如，存储器150还可以存储程序所使用的各种类型的数据(例如，各种类型的传感器数据和虚拟对象)。注意，尽管在图2所示的示例中以与信息处理设备10A集成的方式提供了存储器150，但是还可以与信息处理设备10A分离地提供存储器150。
显示部160根据显示控制器115所执行的控制来显示各种类型的信息。例如，显示部160显示信息处理设备10A所生成的AR应用的图像。显示部160例如由液晶显示器(LCD)或有机电致发光(EL)显示装置形成。注意，尽管在图2所示的示例中以与信息处理设备10A集成的方式提供了显示部160，但是还可以与信息处理设备10A分离地提供显示部160。例如，通过电线或无线电连接至信息处理设备10A的显示装置可以用作成显示部160。
至此，描述了根据本公开内容的第一实施方式的信息处理设备10A的功能配置示例。
[2-2.用于识别真实对象的技术]
首先，将描述用于识别真实对象A的技术。图3是示出了根据成像部120所拍摄的图像Im来识别真实对象A的技术的示例的图。参考图3，在成像部120所拍摄的图像Im中，显示有真实对象A。此外，通过图像识别部113来识别真实对象A，并且通过显示控制器115将与识别结果相关联的虚拟对象被放置在与真实空间对应的AR空间中。
更加详细地，当图像识别部113识别真实对象A的位置和姿势时，显示控制器115根据真实对象A的位置来确定虚拟对象的位置，还根据真实对象A的姿势来确定虚拟对象的姿势，以及根据所确定的位置和姿势来放置虚拟对象。真实对象A的位置与虚拟对象的位置之间的关系可以预先被确定。此外，真实对象A的姿势与虚拟对象的姿势之间的关系也可以预先被确定。
例如，图像识别部113对照包括在特征数据中的相应的特征点的片(patch)来检查包括在图像Im中的部分图像，并且检测包括在图像Im中的特征点。在图像Im内的区域中高密度地检测到属于真实对象A的特征点时，图像识别部113可以识别真实对象A被显示在该区域中。图像识别部113还可以基于所检测的特征点与三维形状数据之间的位置关系来识别所识别的真实对象A的位置和姿势。
在图3所示的示例中，在地板平面上设置有块，并且用作真实对象A的电视设备被放置在块上。但是，对真实对象A的类型不做具体限制。参考图3，真实对象A在真实空间E中的大小由大小Zar表示，真实对象A在图像Im中的大小由大小Zai表示。注意，尽管真实对象A的高度在图3所示的示例中被设置为真实对象A的大小，但是真实对象A的大小可以是除了真实对象A的高度以外的部分的长度。
此处，当用户Ua将成像部120保持在真实对象A上并且图像识别部113识别真实对象A时，与识别结果相关联的虚拟对象通过显示控制器115放置在与真实空间E对应的AR空间中。在该情况下，为了控制虚拟对象，一般考虑真实对象A在图像Im中的大小Zai而不考虑真实对象A在真实空间E中的大小Zar。
图4是示出了各自在真实空间中具有不同大小的两种类型的真实对象被识别的情况的图。参考图4，在真实空间E1中存在真实对象A1，真实对象A1在真实空间E1中的大小由大小Zar1表示并且图像识别部113将真实对象A1在图像Im10中的大小识别为大小Zai1。
另一方面，在真实空间E2中存在真实对象A2，真实对象A2在真实空间E2中的大小由大小Zar2表示并且图像识别部113将真实对象A2在图像Im20中的大小识别为大小Zai2。例如，参考图4，真实对象A1在图像Im10中的大小Zar1大约与真实对象A2在图像Im20中的大小Zar2相同。
但是，现实中，成像部120与真实对象A1之间的距离比成像部120与真实对象A2之间的距离长。替代地，真实对象A1在真实空间E1中的大小Zar1比真实对象A2在真实空间E2中的大小Zar2大。以此，通常不能仅根据真实对象A在图像Im中的大小而直接掌握真实对象A在真实空间E中的大小。
从而，在本公开内容的实施方式中，图像获取部111获取由成像部120拍摄的图像Im，并且显示控制器115使得根据图像Im中示出的真实对象A的识别结果来显示虚拟对象。在该情况下，显示控制器115基于真实对象A在真实空间E中的大小来控制虚拟对象。根据这样的配置，将真实对象A在真实空间E中的大小考虑在内来控制虚拟对象变得可能。
根据本公开内容的第一实施方式，显示控制器115能够获取真实对象A在真实空间E中的大小。真实对象A在真实空间E中的大小可以预先登记在存储器150中，可以由用户通过操作部140来输入并且可以通过另一个装置来接收。
[2-3.显示控制的示例]
此处，可以采用各种技术作为用于控制虚拟对象的方法。图5是示出了基于真实对象A在真实空间E中的大小来选择虚拟对象的示例的图。首先，参考图5，将描述基于真实对象A在真实空间E中的大小来选择虚拟对象的示例。
参考图5，以与图4所示的情况相同的方式，真实对象A1在真实空间E1中的大小为大小Zar1。显示控制器115可以选择具有与真实对象A1在真实空间E1中的大小Zar1对应的大小的虚拟对象V11。例如，显示控制器115可以在真实对象A1在真实空间E1中的大小Zar1超过预定阈值的情况下选择虚拟对象V11。对虚拟对象V11不做具体限制。
另一方面，参考图5，以与图4所示的情况相同的方式，真实对象A2在真实空间E2中的大小为大小Zar2。显示控制器115可以选择具有与真实对象A2在真实空间E2中的大小Zar2对应的大小的虚拟对象V21。例如，显示控制器115可以在真实对象A2在真实空间E2中的大小Zar2低于预定阈值的情况下选择虚拟对象V21。对虚拟对象V21不做具体限制。
至此，尽管已经描述了基于真实对象A在真实空间E中的大小选择虚拟对象的示例，但是显示控制器115还可以根据真实对象A在真实空间E中的大小来控制虚拟对象的显示模式。例如，显示控制器115可以根据真实对象A在真实空间中的大小来控制虚拟对象的移动。
图6是示出了基于真实对象A在真实空间E中的大小来控制虚拟对象的运动的示例的图。参考图6，将描述基于真实对象A在真实空间E中的大小来控制虚拟对象的运动的示例。
参考图6，以与图4所示的情况相同的方式，真实对象A1在真实空间E1中的大小为大小Zar1。显示控制器115可以基于真实对象A1在真实空间E1中的大小Zar1来控制虚拟对象V12的运动。例如，显示控制器115可以进行控制以使得虚拟对象V12在真实对象A1在真实空间E1中的大小Zar1超过预定阈值的情况下具有预定的第一运动。对预定的第一运动不做具体限制，并且预定的第一运动与图6所示的示例中的虚拟对象V12从真实对象A1飞出的运动对应。
另一方面，参考图6，以与图4所示的情况相同的方式，真实对象A2在真实空间E2中的大小为大小Zar2。显示控制器115可以基于真实对象A2在真实空间E2中的大小Zar2来控制虚拟对象V22的运动。例如，显示控制器115可以进行控制以使得虚拟对象V22在真实对象A2在真实空间E2中的大小Zar2低于预定阈值的情况下具有预定的第二运动。对预定的第二运动不做具体限制，并且预定的第二运动与图6所示的示例中的虚拟对象V22保持在真实对象A1内的运动对应。
此外，例如，显示控制器115还可以根据真实对象A在真实空间E中的大小来控制虚拟对象在图像中的大小。例如，显示控制器115可以控制虚拟对象在图像Im中的大小以使得：真实对象A在真实空间E中的大小越大，虚拟对象在图像Im中的大小越大。
图7是示出了基于真实对象A在真实空间E中的大小来控制虚拟对象在图像Im中的大小的示例的图。首先，参考图7，将描述基于真实对象A在真实空间E中的大小来控制虚拟对象在图像Im中的大小的示例。
参考图7，以与图4所示的情况相同的方式，真实对象A1在真实空间E1中的大小为大小Zar1。以与图4所示的情况相同的方式，真实对象A2在真实空间E2中的大小为大小Zar2。由于真实对象A1在真实空间E1中的大小Zar1大于真实对象A2在真实空间E2中的大小Zar2，所以显示控制器115可以将虚拟对象V13在图像Im13中的大小呈现为比虚拟对象V23在图像Im23中的大小大。
至此，已经描述了基于真实对象A在真实空间E中的大小来控制虚拟对象的显示模式的示例。注意，显示控制器115还能够基于真实对象A在真实空间E中的大小来计算真实对象A在真实空间E中的位置。具体地，显示控制器115可以基于真实对象A在图像Im中的位置以及真实对象A在真实空间E中的大小与真实对象A在图像Im中的大小的比率来计算真实对象A在真实空间E中的位置。
显示控制器115基于由此计算的真实对象A在真实空间E中的位置来控制虚拟对象。或者，显示控制器115还能够基于真实对象A在真实空间E中的位置来计算成像部120与真实对象A之间的距离。从而，显示控制器115还可以基于成像部120与真实对象A之间的距离来控制虚拟对象。可以以与以下情况相同的方式来进行用于控制虚拟对象的技术：如上所述，基于真实对象A在真实空间E中的大小来控制虚拟对象。
[2-4.信息处理设备的操作示例]
接着，将描述根据本公开内容的第一实施方式的信息处理设备10A所进行的操作流程的示例。图8是示出了根据本公开内容的第一实施方式的信息处理设备10A所执行的操作流程的示例的流程图。首先，成像部120拍摄图像，图像获取部111获取图像，然后图像识别部113从图像获取部111获取的图像中识别真实对象A(S11)。显示控制器115确定与真实对象A的识别结果相关联的虚拟对象(S12)，并且获取真实对象A在真实空间E中的大小(S13)。
接着，显示控制器115基于真实对象A在真实空间E中的大小来控制虚拟对象(S14)，并且使得虚拟对象被显示(S15)。例如，在图像识别部113识别真实对象A的位置和姿势的情况下，显示控制器115可以使得以与所识别的位置和姿势对应的位置和姿势来显示虚拟对象。
至此，已经描述了根据本发明的第一实施方式的由信息处理设备10A进行的操作的流程的示例。
<<3.第二实施方式>>
接着将描述本公开内容的第二实施方式。在本公开内容的第一实施方式中，描述了真实对象A在真实空间E中的大小已知的情况，而在本公开内容的第二实施方式中，将主要描述计算真实对象A在真实空间E中的大小的情况。
[3-1.信息处理设备的功能配置示例]
接着，将描述根据本公开内容的第二实施方式的信息处理设备10B的功能配置示例。图9是根据本公开内容的第二实施方式的信息处理设备10B的功能配置示例的图。如图9所示，信息处理设备10B包括控制器110、成像部120、传感器部130、操作部140、存储器150和显示部160。控制器110具有如图像获取部111、传感器数据获取部112、图像识别部113、环境识别部114和显示控制器115等功能块。随后将描述各个功能块的功能。
[3-2.真实对象在真实空间中的大小]
首先，将描述用于计算真实对象A在真实空间E中的位置的技术。图10至图12是每个都示出了用于计算真实对象A在真实空间E中的大小的技术的示例。参考图10，物体B被布置在地板表面F上。在图10中，物体B在真实空间E中的大小由大小Zbr表示，并且物体B在真实空间E中的大小Zbr为已知。从而，物体B在真实空间E中的大小Zbr可以预先登记在存储器150中，或可以由用户Ua通过操作部140来输入。
注意，尽管将主要描述物体B是数字多功能盘(DVD)的封装的情况，但是由于物体B仅为预定物体的示例，所以物体B可以是除了DVD的封装以外的物体。此外，尽管以下将主要描述物体B被布置在地板表面F上的情况，但是物体B不是必需地布置在地板表面F。此外，即使在物体B布置在地板表面F的情况下，由于地板表面F仅是预定平面的示例，所以物体B可以布置在除了地板表面F以外的平面上。
当用户Ua将成像部120保持在真实空间E上时，成像部120拍摄图像Im1，并且图像识别部113根据图像Im1识别物体B。具体地，图像识别部113识别物体B在图像Im1中的大小Zbi、物体B在图像Im1中的位置以及物体B的姿势Qbr。显示控制器115基于物体B在真实空间E中的大小Zbr、物体B在图像Im1中的大小Zbi以及物体B在图像Im1中的位置Pbi来计算物体B在真实空间E中的位置Pbr。
显示控制器115能够基于物体B在真实空间E中的位置Pbr和物体B的姿势Qbr来确定地板表面F在真实空间E中的位置Pfr和地板表面F的姿势Qfr。例如，显示控制器115能够将物体B在真实空间E中的位置Pbr确定为地板表面F在真实空间F中的位置Pfr，并且将物体B的姿势Qbr确定为底边表面F的姿势Qfr。
注意，优选地将物体B在真实空间E中的位置Pbr已经被确定的事实通知给用户Ua。例如，显示控制器115可以使物体B在真实空间E中的位置Pbr已经被确定的事实被显示。在图10所示的示例中，物体B在真实空间E中的位置Pbr已经被确定的事实被示出为“大小已知的物体已经被识别”的消息M。但是，物体B在真实空间E中的位置Pbr已经被确定的事实不限于这样的示例。
接着，可能存在以下情况：用户Ua改变成像部120的位置和姿势以使成像部120拍摄真实对象A。相应地，显示控制器115可以跟踪成像部120的位置和姿势，并且基于跟踪结果，可以跟踪物体B的位置和姿势。显示控制器115可以用任何技术来跟踪成像部120的位置和姿势，并且如图11所示，例如，显示控制器115可以基于环境识别部114所进行的环境识别的结果来跟踪成像部120的位置和姿势。
作为环境识别部114所进行的环境识别，可以使用基于SLAM技术的计算。根据基于SLAM技术的计算，可以动态地识别成像部120所拍摄的图像示出的真实空间E的三维结构以及成像部120的位置和姿势。为了SLAM技术中的状态变量的初始化，可以使用物体B在真实空间E中的位置Pbr和物体B的姿势Qbr。
接着，显示控制器115可以基于由图像识别部113识别的物体B的识别结果、环境识别部114所进行的环境识别的结果、以及由图像识别部113识别的真实对象A的识别结果来计算真实对象A在真实空间E中的位置Par。具体地，在图像识别部113识别真实对象A的情况下，显示控制器115可以对照作为环境识别结果而获得的特征点来检查图像识别部113所识别的特征点，并且可以计算真实对象A在真实空间E中的位置Par作为匹配检查的结果。
此外，显示控制器115还能够基于由此计算的真实对象A在真实空间E中的位置Par、真实对象A在图像Im3中的大小Zai、以及物体B在真实空间E中的位置Pbr来计算真实对象A在真实空间E中的大小Zar。
至此，已经描述用于计算真实对象A在真实空间E中的位置的技术。
[3-3.显示控制的示例]
接着，将描述控制虚拟对象的显示的示例。如上所述，由于地板表面F的位置和姿势被确定，所以显示控制器115能够基于真实空间E中真实对象A与地板表面F之的距离来控制虚拟对象。图13是示出了基于真实空间E中真实对象A与地板表面F之间的距离来控制虚拟对象的示例。
参考图13，真实空间E1中真实对象A1与地板表面F之间的距离通过距离Har1表示。显示控制器115能够基于真实对象A1在真实空间E1中的位置Par以及地板表面F的位置Pfr和姿势Qfr来计算真实空间E1中真实对象A1与地板表面F之间的距离Har1。显示控制器115能够根据距离Har1调节具有与真实对象A1在真实空间E1中的大小对应的大小的虚拟对象V14。
例如，显示控制器115能够在真实空间E1中将具有与真实对象A1在真实空间E1中的大小对应的大小的虚拟对象V14的位置靠近地板平面F移动距离Har1。以此方式，如图13所示，显示控制器115能够正常进行虚拟对象V14的放置，其正常状态是虚拟对象V14呈现为与地板表面F接触。
此外，参考图13，真实空间E1中真实对象A2与地板表面F之间的距离由距离Har2表示。显示控制器115能够基于真实对象A2在真实空间E2中的位置Par2以及地板表面F的位置Pfr和姿势Qfr来计算真实空间E2中真实对象A2与地板表面F之间的距离Har2。显示控制器115能够根据距离Har2调节具有与真实对象A2在真实空间E2中的大小对应的大小的虚拟对象V24。
例如，显示控制器115能够在真实空间E2中将具有与真实对象A2在真实空间E2中的大小对应的大小的虚拟对象V24的位置靠近地板平面F移动距离Har2。以此方式，如图13所示，显示控制器115能够正常进行虚拟对象V24的放置，其正常状态是虚拟对象V24呈现为与地板表面F接触。
注意，在图13所示的示例中，根据真实对象A1在真实空间E1中的大小来控制虚拟对象V14在图像Im14中的大小。以相同的方式，在图13所示的示例中，根据真实对象A2在真实空间E2中的大小来控制虚拟对象V24在图像Im24中的大小。如果虚拟对象在AR空间中被按照真实大小来放置，则能够使用户Ua更加现实地感受虚拟对象的大小。
从而，为了在AR空间中按照真实大小来放置虚拟对象，显示控制器115可以基于真实对象A在真实空间E中的大小和与虚拟对象的真实大小有关的已知数据来控制虚拟对象。例如，显示控制器15可以基于真实空间E中真实对象A的大小与和虚拟对象的真实大小有关的已知数据之间的关系来确定虚拟对象在图像中的大小与真实对象A在图像中的大小的比率。
例如，显示控制器115可以进行控制，以使得和虚拟对象的真实大小有关的已知数据与真实对象A在真实空间E中的大小的比率等于虚拟对象在图像中的大小与真实对象A在图像中的大小的比率。以此方式，由于放置在真实空间E1中的虚拟对象V14和放置在真实空间E2中的虚拟对象V24各自具有虚拟对象的真实大小，这使得用户Ua能够更加现实地感受虚拟对象的大小。
此外，显示控制器115可以基于对象的倾斜来控制虚拟对象。例如，在传感器部130能够检测重力方向G的情况下，显示控制器115可以基于传感器部130所检测到的重力方向G与对象之间的关系来控制虚拟对象。例如，可以通过加速度传感器等来检测重力方向G。传感器部130所检测到的重力方向G可以通过传感器数据获取部112来获取。
图14是基于重力方向G与物体B的姿势之间的关系来控制虚拟对象的示例的图。显示控制器115能够基于重力方向G与物体B的姿势之间的关系来控制虚拟对象。
参考图14，在真实空间E30中，具有匹配重力方向G的姿势的物体B被布置在地板平面F上。在这样的情况下，与真实对象A的识别结果相关联的虚拟对象V30可以被放置在地板表面F上。另一方面，在真实空间E31中，具有不匹配重力方向G的姿势的物体B被布置在地板平面F上。在这样的情况下，与真实对象A的识别结果相关联的虚拟对象V31可以放置在地板表面F上。
在图14中，显示控制器115在物体B的姿势匹配重力方向G的情况下在AR空间中放置表明虚拟对象V30的姿势相对于地板表面F保持静止的状态的虚拟对象V30。另一方面，显示控制器115在物体B的姿势不与重力方向G匹配的情况下在AR空间中放置表明虚拟对象V31在地板表面F上滑行的状态的虚拟对象V31。但是，虚拟对象V30和虚拟对象V31各自可以以任何方式被控制。
图15是基于重力方向G与真实对象A的姿势之间的关系来控制虚拟对象的示例的图。显示控制器115还能够基于重力方向G与真实对象A的姿势之间的关系来控制虚拟对象。
参考图15，在真实空间E30中，具有匹配重力方向G的真实对象A被布置在地板平面F上。在这样的情况下，与真实对象A的识别结果相关联的虚拟对象V30可以被放置在地板表面F上。另一方面，在真实空间E32中，具有不匹配重力方向G的姿势的真实对象A被布置在地板平面F上。在这样的情况下，与真实对象A的识别结果相关联的虚拟对象V32可以放置在地板表面F上。
在图15中，在真实对象A的姿势匹配重力方向G的情况下，显示控制器115在AR空间中放置表明虚拟对象V30的姿势相对于地板表面F保持静止的状态的虚拟对象V30。另一方面，在真实对象A的姿势不与重力方向G匹配的情况下，显示控制器115在AR空间中放置表明虚拟对象V32在地板表面F上滑行的状态的虚拟对象V32。但是，虚拟对象V30和虚拟对象V32各自可以以任何方式被控制。
此外，显示控制器115可以基于地板表面F的姿势与真实对象A的姿势之间关系来控制虚拟对象。以与图15所示的情况中相同的方式，显示控制器115在真实对象A的姿势匹配地板平面F的姿势的情况下在AR空间中放置表明虚拟对象V30的姿势相对于地板平面保持静止的状态的虚拟对象30。另一方面，显示控制器115在真实对象A的姿势不匹配地板平面F的姿势的情况下在AR空间中放置表明虚拟对象V32在地板表面F上滑行的状态的虚拟对象V32。但是，虚拟对象V30和虚拟对象V32各自可以以任何方式被控制。
[3-4.信息处理设备的操作示例]
接着，将描述根据本公开内容的第二实施方式的信息处理设备10B所进行的操作的流程的示例。图16是示出了根据本公开内容的第二实施方式的信息处理设备10B所执行的操作流程的示例的流程图。首先，当成像部120拍摄图像并且图像获取部111获取该图像时，图像识别部113从图像获取部111所获取的图像中识别物体B(S21)。显示控制器115确定物体B在真实空间E中的位置Pbr(S22)，并且环境识别部114开始环境识别(S23)。
接着，图像识别部113从图像获取部111所获取的图像中识别真实对象A(S24)。显示控制器115确定与真实对象A的识别结果相关联的虚拟对象(S25)，并且计算真实对象A在真实空间E中的位置Par(S26)。此外，显示控制器115计算真实对象A在真实空间E中的大小Zar(S27)，基于真实对象A在真实空间E中的大小Zar控制虚拟对象(S28)，以及使虚拟对象被显示(S29)。
至此，已经描述了根据本发明的第二实施方式的由信息处理设备10B进行的操作的流程的示例。
<<4.硬件配置示例>>
接着，将描述根据本公开内容的实施方式的信息处理设备10的硬件配置示例。图17是示出了根据本公开内容的实施方式的信息处理设备10的硬件配置示例的图。应当注意，图17所示的硬件配置示例仅仅是信息处理设备10的硬件配置的示例。因此，信息处理设备10的硬件配置不限于图17所示的示例。
如图17所示，信息处理设备10包括中央处理单元(CPU)801、只读存储器(ROM)802、随机存取存储器(RAM)803、传感器804、输入装置808、输出装置810、存储装置811、驱动器812、成像装置813和通信装置815。
CPU 801用作算法处理单元和控制单元，并且根据各种程序来控制信息处理设备10的整个操作。此外，CPU 801还可以是微处理器。ROM 802存储CPU 801所使用的程序、计算参数等。RAM 803临时存储用于CPU 801中执行的程序、在执行期间适当地变化的参数等。CPU 801、ROM 802和RAM 803通过根据CPU总线等来进行配置的主机总线彼此连接。
传感器804包括各种类型的检测传感器如用于检测信息处理设备10及其外围电路的状态的终端状态检测传感器等。传感器804的示例包括倾斜传感器、加速度传感器、方向传感器、温度传感器、湿度传感器和光强度传感器。传感器804所获得的检测信息被发送给CPU 801。以此方式，CPU 801可以知道信息处理设备10的状态(倾斜、加速度、方向、温度、湿度、光强度等)。
输入装置808例如由用于用户输入信息的输入部如鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆等，以及基于用户的输入生成输入信号并且将所生成的输入信号输出给CPU 801的输入控制电路来配置。信息处理设备10的用户可以向信息处理设备10输入各种数据，并且可以通过操作输入装置808来指示信息处理设备10进行处理操作。
输出装置810可以包括例如显示装置如液晶显示器(LCD)装置、有机发光二极管(OLED)装置和灯。此外，输入装置810包括音频输出装置如扬声器和耳机。例如，显示装置各自显示所拍摄的图像、所生成的图像等。另一方面，音频输出装置各自将音频数据等转换成音频并且输出该音频。
存储装置811是用于存储数据的装置，其被配置作为信息处理设备10的存储器的示例。存储装置811可以包括例如存储介质、用于将数据记录在存储介质中的记录装置、用于从存储介质中读出数据的读取装置以及用于删除记录在存储介质中的数据的删除装置。存储装置811存储CPU 801所执行的程序和各种数据。
驱动器812是存储介质的读取器/写入器，并且被构建在信息处理设备10内或外接至信息处理设备10。驱动器812读出记录在安装至驱动器812的可移动存储介质71(如磁盘、光盘、磁光盘或半导体存储器)中的信息，并且向RAM 803输出所述信息。此外，驱动器812还可以将信息写入可移动存储介质71。
成像设备813包括成像光学系统如用于聚光的拍摄透镜和缩放透镜，以及信号转换装置如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。成像光学系统聚集从物体发出的光并且在信号转换部形成物体的图像，并且信号转换装置将所形成的物体的图像转换为电图像信号。
通信装置815是例如由用于建立与网络的连接的通信装置配置的通信接口。此外，通信装置815可以是无线局域网(LAN)使能通信装置、长期演进(LTE)使能通信装置或用于进行有线通信的有线通信装置。通信装置815可以利用网络30与其他装置进行通信。
至此，描述了根据本公开内容的实施方式的信息处理设备10的硬件配置示例。
<<5.总结>>
如上所述，根据本公开内容的实施方式，提供了一种信息处理设备10，包括：图像获取部111，其被配置成获取成像部120所拍摄的图像Im；以及显示控制器115，其被配置成根据在图像Im中示出的真实对象A的识别结果来使得虚拟对象被显示，其中所述显示控制器115基于真实对象A在真实空间E中的大小Zar来控制虚拟对象。根据这样的配置，考虑真实对象A在真实空间E中的大小来控制虚拟对象变得可能。
本领域普通技术人员应当理解，取决于设计要求和其他因素，本领域技术人员可以做出各种改型、组合、子组合和替代，只要所述改型、组合、子组合和替代处于所附权利要求及其等同物的范围内。
例如，上述显示部可以是头戴式显示器(HMD)。例如，在非透射式HMD被用作显示部的情况下，图像不必显示在显示部上。在这样的情况下，显示部可以将虚拟对象叠加在真实空间上而不是叠加在图像上。
此外，在本公开内容的实施方式中，主要描述了通过信息处理设备10控制虚拟对象的结果被反映在信息处理设备10的AR空间中的示例。但是，例如，在信息处理设备10与其他装置之间共享单个AR空间的情况下，通过信息处理设备10控制虚拟对象的结果可以被反映在与信息处理设备10进行通信的其他装置的AR空间中。
此外，还可以创建程序，所述程序用于使得构建在计算机中的硬件如CPU、ROM和RAM充分展示与上述信息处理设备10的相应结构的功能相同的功能。此外，还提供了一种记录有程序的非瞬态计算机可读记录介质。
此外，本技术还可以被配置如下。
(1).一种信息处理设备，包括：
图像获取部，其被配置成获取由成像部拍摄的图像；以及
显示控制器，其被配置成使得根据在所述图像中示出的真实对象的识别结果来显示虚拟对象，
其中，所述显示控制器基于所述真实对象在真实空间中的大小来控制所述虚拟对象。
(2).根据(1)所述的信息处理设备，
其中，所述显示控制器基于预定物体在所述真实空间中的位置、所述真实对象在所述图像中的大小以及所述真实对象在所述真实空间中的位置来计算所述真实对象在所述真实空间中的大小，所述预定物体在所述真实空间中的位置根据与所述预定物体在所述真实空间中的大小有关的已知数据、所述预定物体在所述图像中的大小以及所述预定物体在所述图像中的位置来确定。
(3).根据(2)所述的信息处理设备，
其中，所述显示控制器基于在所述真实空间中所述真实对象与预定平面之间的距离来控制所述虚拟对象。
(4).根据(2)所述的信息处理设备，
其中，所述显示控制器基于重力方向与所述预定物体的姿势之间的关系来控制所述虚拟对象。
(5).根据(2)所述的信息处理设备，
其中，所述显示控制器基于重力方向与所述真实对象的姿势之间的关系来控制所述虚拟对象。
(6).根据(2)所述的信息处理设备，
其中，所述显示控制器基于预定平面的姿势与所述真实对象的姿势之间的关系来控制所述虚拟对象。
(7).根据(3)至(6)中任意一项所述的信息处理设备，
其中，当所述预定物体被设置在所述预定平面上时，所述显示控制器基于所述预定物体在所述真实空间中的位置和姿势来确定所述预定平面在所述真实空间中的位置和姿势。
(8).根据(2)所述的信息处理设备，
其中，所述显示控制器使所述预定物体在所述真实空间中的位置已经被确定的事实被显示。
(9).根据(1)所述的信息处理设备，
其中，所述显示控制器基于所述真实对象在所述真实空间中的位置来控制所述虚拟对象。
(10).根据(1)所述的信息处理设备，
其中，所述显示控制器基于所述成像部与所述真实对象之间的距离来控制所述虚拟对象。
(11).根据(1)至(10)中任意一项所述的信息处理设备，
其中，所述显示控制器基于所述真实对象在所述真实空间中的大小和与所述虚拟对象的真实大小有关的已知数据来控制所述虚拟对象。
(12).根据(11)所述的信息处理设备，
其中，所述显示控制器基于所述真实对象在所述真实空间中的大小和与所述虚拟对象的真实大小有关的所述已知数据之间的关系来确定所述虚拟对象在所述图像中的大小与所述真实对象在所述图像中的大小的比率。
(13).根据(1)所述的信息处理设备，
其中，所述显示控制器获取所述真实对象在所述真实空间中的大小。
(14).根据(2)所述的信息处理设备，
其中，所述显示控制器基于所述预定物体的识别结果、环境识别的结果以及所述真实对象的识别结果来计算所述真实对象在所述真实空间中的位置。
(15).根据(1)至(14)中任意一项所述的信息处理设备，
其中，所述显示控制器基于所述真实对象在所述真实空间中的大小来选择所述虚拟对象。
(16).根据(1)至(14)中任意一项所述的信息处理设备，
其中，所述显示控制器根据所述真实对象在所述真实空间中的大小来控制所述虚拟对象的显示模式。
(17).根据(16)所述的信息处理设备，
其中，所述显示控制器根据所述真实对象在所述真实空间中的大小来控制所述虚拟对象的运动。
(18).根据(16)所述的信息处理设备，
其中，所述显示控制器根据所述真实对象在所述真实空间中的大小来控制所述虚拟对象在所述图像中的大小。
(19).一种信息处理方法，包括：
获取由成像部拍摄的图像；
使得根据在所述图像中示出的真实对象的识别结果来显示虚拟对象；以及
基于所述真实对象在真实空间中的大小来控制所述虚拟对象。
(20).一种记录有程序的非瞬态计算机可读记录介质，所述程序用于使计算机用作信息处理设备，所述信息处理设备包括：
图像获取部，其被配置成获取由成像部拍摄的图像；以及
显示控制器，其被配置成使得根据在所述图像中示出的真实对象的识别结果来显示虚拟对象，
其中，所述显示控制器基于所述真实对象在真实空间中的大小来控制所述虚拟对象。

Claims (7)

1.一种信息处理设备，包括：
电路，其被配置成：
获取真实空间的图像；
基于所获取的图像识别所述真实空间的三维空间结构；
基于所识别的三维空间结构计算所述真实空间中的真实对象的大小；
检测在所获取的图像中和在所识别的三维空间结构中的所述真实对象的一个或更多个特征点；
比较在所获取的图像中和在所识别的三维空间结构中的所述真实对象的所检测到的一个或更多个特征点；
基于所述真实对象的大小选择要显示的虚拟对象；以及
显示所选的虚拟对象。
2.根据权利要求1所述的信息处理设备，其中，所述电路还被配置成选择第一类型虚拟对象或第二类型虚拟对象中的至少一个。
3.根据权利要求2所述的信息处理设备，
其中，所述第一类型虚拟对象指示第一种真实对象的第一图像，所述第二类型虚拟对象指示第二种真实对象的第二图像，并且
其中，所述第一种真实对象和所述第二种真实对象在所述真实空间中具有不同的大小。
4.根据权利要求2所述的信息处理设备，其中，所述第一类型虚拟对象和所述第二类型虚拟对象具有不同的虚拟对象运动模式。
5.根据权利要求1所述的信息处理设备，其中，所述电路还被配置成基于同时定位和映射(SLAM)技术识别所述真实空间的三维空间结构。
6.一种信息处理方法，包括：
获取真实空间的图像；
基于所获取的图像识别所述真实空间的三维空间结构；
基于所识别的三维空间结构计算所述真实空间中的真实对象的大小；
检测在所获取的图像中和在所识别的三维空间结构中的所述真实对象的一个或更多个特征点；
比较在所获取的图像中和在所识别的三维空间结构中的所述真实对象的所检测到的一个或更多个特征点；
基于所述真实对象的大小选择要显示的虚拟对象；以及
显示所选的虚拟对象。
7.一种非暂态计算机可读记录介质，所述非暂态计算机可读记录介质上存储有指令，所述指令在由计算机执行时使所述计算机执行操作，所述操作包括：
获取真实空间的图像；
基于所获取的图像识别所述真实空间的三维空间结构；
基于所识别的三维空间结构计算所述真实空间中的真实对象的大小；
检测在所获取的图像中和在所识别的三维空间结构中的所述真实对象的一个或更多个特征点；
比较在所获取的图像中和在所识别的三维空间结构中的所述真实对象的所检测到的一个或更多个特征点；
基于所述真实对象的大小选择要显示的虚拟对象；以及
显示所选的虚拟对象。
CN201910323652.1A 2013-03-29 2014-03-21 信息处理设备、信息处理方法及记录介质 Active CN110262706B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-072689 2013-03-29
JP2013072689A JP5790692B2 (ja) 2013-03-29 2013-03-29 情報処理装置、情報処理方法および記録媒体
CN201410108370.7A CN104077024A (zh) 2013-03-29 2014-03-21 信息处理设备、信息处理方法及记录介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410108370.7A Division CN104077024A (zh) 2013-03-29 2014-03-21 信息处理设备、信息处理方法及记录介质

Publications (2)

Publication Number Publication Date
CN110262706A true CN110262706A (zh) 2019-09-20
CN110262706B CN110262706B (zh) 2023-03-10

Family

ID=51598325

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410108370.7A Pending CN104077024A (zh) 2013-03-29 2014-03-21 信息处理设备、信息处理方法及记录介质
CN201910323652.1A Active CN110262706B (zh) 2013-03-29 2014-03-21 信息处理设备、信息处理方法及记录介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410108370.7A Pending CN104077024A (zh) 2013-03-29 2014-03-21 信息处理设备、信息处理方法及记录介质

Country Status (3)

Country Link
US (3) US9665982B2 (zh)
JP (1) JP5790692B2 (zh)
CN (2) CN104077024A (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191718A (ja) 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
JP5790692B2 (ja) * 2013-03-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
JP6596883B2 (ja) 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム
JPWO2017134886A1 (ja) 2016-02-02 2018-11-22 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
CN106203300A (zh) * 2016-06-30 2016-12-07 北京小米移动软件有限公司 内容项显示方法及装置
CN106952349A (zh) * 2017-03-29 2017-07-14 联想(北京)有限公司 一种显示控制方法、装置及电子设备
EP3413166B1 (en) 2017-06-06 2023-06-21 Nokia Technologies Oy Rendering mediated reality content
US10818093B2 (en) * 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
WO2020096597A1 (en) * 2018-11-08 2020-05-14 Rovi Guides, Inc. Methods and systems for augmenting visual content
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications
KR102581146B1 (ko) * 2018-11-23 2023-09-21 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11468611B1 (en) * 2019-05-16 2022-10-11 Apple Inc. Method and device for supplementing a virtual environment
US20210097731A1 (en) * 2019-09-26 2021-04-01 Apple Inc. Presenting environment based on physical dimension
US20230012271A1 (en) 2019-12-10 2023-01-12 Sony Group Corporation Information processing system, information processing method, and program
WO2021117552A1 (ja) 2019-12-10 2021-06-17 ソニーグループ株式会社 情報処理システム、情報処理方法、及びプログラム
CN112308980B (zh) * 2020-10-30 2024-05-28 脸萌有限公司 增强现实交互显示方法及设备
CN112988007B (zh) * 2021-03-12 2022-09-09 深圳市慧鲤科技有限公司 三维素材的交互方法及装置
JP7354186B2 (ja) * 2021-06-18 2023-10-02 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101379369A (zh) * 2006-01-09 2009-03-04 诺基亚公司 基于地理位置在移动设备中显示网络对象
CN102194254A (zh) * 2010-03-04 2011-09-21 索尼公司 信息处理设备、信息处理方法,和程序
CN102708355A (zh) * 2011-02-15 2012-10-03 索尼公司 信息处理装置、信息处理方法及程序
CN102792338A (zh) * 2009-12-07 2012-11-21 索尼公司 信息处理设备、信息处理方法和程序
US20120309529A1 (en) * 2011-06-03 2012-12-06 Nintendo Co., Ltd Apparatus and method for controlling objects on a stereoscopic display
CN102866825A (zh) * 2011-06-21 2013-01-09 索尼公司 显示控制装置、显示控制方法和程序

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3639475B2 (ja) * 1999-10-04 2005-04-20 シャープ株式会社 ３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体
JP2004046326A (ja) * 2002-07-09 2004-02-12 Dainippon Screen Mfg Co Ltd 画像表示装置、画像表示方法およびプログラム
JP4085918B2 (ja) * 2003-07-18 2008-05-14 ソニー株式会社 ３次元モデル処理装置、および３次元モデル処理方法、並びにコンピュータ・プログラム
US7307433B2 (en) * 2004-04-21 2007-12-11 Formfactor, Inc. Intelligent probe card architecture
WO2006025137A1 (ja) * 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. 画像処理装置、ゲーム装置および画像処理方法
JP3841806B2 (ja) * 2004-09-01 2006-11-08 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
JP5038307B2 (ja) * 2005-08-09 2012-10-03 トタル イメルシオン 実在環境内においてデジタルモデルを視覚化する方法、装置、及びコンピュータプログラム
JP4985516B2 (ja) 2008-03-27 2012-07-25 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
KR20100026240A (ko) * 2008-08-29 2010-03-10 김상국 증강현실을 이용한 쓰리디 헤어스타일 시뮬레이션 방법 및 장치
JP2010282408A (ja) * 2009-06-04 2010-12-16 Sony Corp 制御装置、入力装置、制御システム、ハンドヘルド装置及び制御方法
KR101135186B1 (ko) * 2010-03-03 2012-04-16 광주과학기술원 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
JP4914528B1 (ja) * 2010-08-31 2012-04-11 新日鉄ソリューションズ株式会社 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム
US10200756B2 (en) 2011-02-11 2019-02-05 Sony Interactive Entertainment LLC Synchronization of favorites and/or recently viewed lists between registered content playback devices
JP5724543B2 (ja) 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
JP5668587B2 (ja) * 2011-04-19 2015-02-12 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2013008257A (ja) * 2011-06-27 2013-01-10 Celsys:Kk 画像合成プログラム
JP5725296B2 (ja) * 2011-07-29 2015-05-27 セイコーエプソン株式会社 運動情報生成装置、運動情報生成プログラム及び記録媒体
JP2013225245A (ja) * 2012-04-23 2013-10-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9429912B2 (en) * 2012-08-17 2016-08-30 Microsoft Technology Licensing, Llc Mixed reality holographic object development
KR20150103240A (ko) * 2013-03-14 2015-09-09 인텔 코포레이션 깊이 기반 사용자 인터페이스 제스처 제어
US20140282224A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a scrolling gesture
JP5790692B2 (ja) * 2013-03-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法および記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101379369A (zh) * 2006-01-09 2009-03-04 诺基亚公司 基于地理位置在移动设备中显示网络对象
CN102792338A (zh) * 2009-12-07 2012-11-21 索尼公司 信息处理设备、信息处理方法和程序
CN102194254A (zh) * 2010-03-04 2011-09-21 索尼公司 信息处理设备、信息处理方法,和程序
CN102708355A (zh) * 2011-02-15 2012-10-03 索尼公司 信息处理装置、信息处理方法及程序
US20120309529A1 (en) * 2011-06-03 2012-12-06 Nintendo Co., Ltd Apparatus and method for controlling objects on a stereoscopic display
CN102866825A (zh) * 2011-06-21 2013-01-09 索尼公司 显示控制装置、显示控制方法和程序

Also Published As

Publication number Publication date
JP2014197317A (ja) 2014-10-16
CN104077024A (zh) 2014-10-01
US20140292809A1 (en) 2014-10-02
US20170235458A1 (en) 2017-08-17
US20190163344A1 (en) 2019-05-30
CN110262706B (zh) 2023-03-10
US11188187B2 (en) 2021-11-30
US9665982B2 (en) 2017-05-30
US10198146B2 (en) 2019-02-05
JP5790692B2 (ja) 2015-10-07

Similar Documents

Publication Publication Date Title
CN110262706A (zh) 信息处理设备、信息处理方法及记录介质
US11348326B2 (en) Display control device, display control method, and recording medium
US20220301593A1 (en) Spherical video editing
US9661214B2 (en) Depth determination using camera focus
KR102222974B1 (ko) 홀로그램 스냅 그리드
JP5765019B2 (ja) 表示制御装置、表示制御方法、およびプログラム
CN108604175B (zh) 装置和关联方法
EP3163401A1 (en) Mobile terminal and control method thereof
US20130091462A1 (en) Multi-dimensional interface
KR20140090159A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
KR20170125618A (ko) 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 방법 및 이를 지원하는 전자 장치
WO2014135427A1 (en) An apparatus and associated methods
CN112230914A (zh) 小程序的制作方法、装置、终端及存储介质
US9350918B1 (en) Gesture control for managing an image view display
EP2680551B1 (en) Mobile communication device user interface for manipulation of data items in a physical space
US11290700B2 (en) Device for displaying content and operation method therefor
JP2015090593A (ja) 情報処理装置、情報処理方法および情報処理システム
JP2013004001A (ja) 表示制御装置、表示制御方法、およびプログラム
US20230226460A1 (en) Information processing device, information processing method, and recording medium
US20240231486A1 (en) Content Manipulation via a Computer-Generated Representation of a Trackpad
CN117289785A (zh) 一种数字模型操作方法、设备、介质以及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant