CN104077023B - 显示控制设备、显示控制方法以及记录介质 - Google Patents

显示控制设备、显示控制方法以及记录介质 Download PDF

Info

Publication number
CN104077023B
CN104077023B CN201410108001.8A CN201410108001A CN104077023B CN 104077023 B CN104077023 B CN 104077023B CN 201410108001 A CN201410108001 A CN 201410108001A CN 104077023 B CN104077023 B CN 104077023B
Authority
CN
China
Prior art keywords
virtual objects
display control
size
control apparatus
display controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410108001.8A
Other languages
English (en)
Other versions
CN104077023A (zh
Inventor
鹤见辰吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104077023A publication Critical patent/CN104077023A/zh
Application granted granted Critical
Publication of CN104077023B publication Critical patent/CN104077023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

提供了显示控制设备、显示控制方法以及记录介质。该显示控制设备包括：显示控制器，其被配置成根据由成像部拍摄的图像中所示出的真实对象的识别结果，在与真实空间对应的增强现实空间内放置虚拟对象，并且被配置为使得显示虚拟对象在增强现实空间中的大小与虚拟对象的真实大小之间的比率；以及操作获取部，其被配置成获取用户操作。当用户操作是第一操作时，显示控制器使虚拟对象在增强现实空间内移动。当用户操作是第二操作时，显示控制器基于第二操作来改变增强现实空间中虚拟对象的大小。其中，显示控制器基于目的地处虚拟对象的环境来控制虚拟对象。

Description

显示控制设备、显示控制方法以及记录介质
相关申请的交叉引用
本申请要求于2013年3月28日提交的日本优先权专利申请JP2013-068395的权益，通过引用将其全部内容并入本文。
背景技术
本公开内容涉及一种显示控制设备、显示控制方法以及记录介质。
最近被称为增强现实(AR)的技术已经引起关注，该技术将上面叠加有附加信息的真实空间显示给用户。可以使用各种形式的虚拟对象，诸如文本、图标或动画来可视化AR技术中显示给用户的信息。通常基于对图像中示出的真实空间中的三维结构的识别来执行AR空间上注释的放置。
已知运动恢复结构(structure from motion)(SfM)技术和同时定位与地图构建(SLAM)技术作为用于识别真实空间中的三维结构的技术。在SfM技术中，从不同视点拍摄多个图像，并且，根据这些图像，使用视差来识别图像中示出的真实空间中的三维结构。Andrew J.Davison,"Real-Time Simultaneous Localization and Mapping with aSingle Camera"，关于计算机视觉的第9届IEEE国际会议期刊2003年第2卷，第1403页至第1410页中描述了SLAM技术。JP 2009-237845A公开了通过使用SfM技术来识别被选择用于SLAM技术中的初始化的特征点的三维位置的技术。
发明内容
当将虚拟对象放置在AR空间时，虚拟对象通常独立于用户意图而保持预先确定的状态。然而，存在着在放置虚拟对象之后用户想要改变虚拟对象的状态的情况。例如，存在以下情况：在放置虚拟对象之后，用户想要改变AR空间中虚拟对象的位置。
鉴于上述情况，期望在本公开内容中提供一种能够根据用户的意图来改变放置在AR空间中的虚拟对象的位置的技术。
根据本公开内容的一个实施方式，提供了一种显示控制设备，包括：显示控制器，其被配置成根据由成像部拍摄的图像中所示出的真实对象的识别结果，在与真实空间对应的增强现实空间内放置虚拟对象，并且被配置为使得显示虚拟对象在增强现实空间中的大小与虚拟对象的真实大小之间的比率；以及操作获取部，其被配置成获取用户操作。当用户操作是第一操作时，显示控制器使虚拟对象在增强现实空间内移动。当用户操作是第二操作时，显示控制器基于第二操作来改变增强现实空间中虚拟对象的大小。其中，显示控制器基于目的地处虚拟对象的环境来控制虚拟对象。
根据本公开内容的另一实施方式，提供了一种显示控制方法，包括：根据由成像部拍摄的图像中所示出的真实对象的识别结果，在与真实空间对应的增强现实空间内放置虚拟对象；显示虚拟对象在增强现实空间中的大小与虚拟对象的真实大小之间的比率；获取用户操作；当用户操作是第一操作时使虚拟对象在增强现实空间内移动；当用户操作是第二操作时，基于第二操作来改变增强现实空间中虚拟对象的大小，其中，基于目的地处虚拟对象的环境来控制虚拟对象。
根据本公开内容的另一实施方式，提供了一种记录有程序的非暂时性计算机可读记录介质，该程序用于使计算机执行方法，该方法包括：根据由成像部拍摄的图像中所示出的真实对象的识别结果，在与真实空间对应的增强现实空间内放置虚拟对象；显示虚拟对象在增强现实空间中的大小与虚拟对象的真实大小之间的比率；获取用户操作；当用户操作是第一操作时，使虚拟对象在增强现实空间内移动；当用户操作是第二操作时，基于第二操作来改变增强现实空间中虚拟对象的大小，其中，基于目的地处虚拟对象的环境来控制虚拟对象。
根据本公开内容的一个或更多个实施方式，可以根据用户的意图来改变放置在AR空间中的虚拟对象的位置。
附图说明
图1是示出了根据本公开内容的实施方式的显示控制设备的概观的图；
图2是示出了根据本公开内容的实施方式的显示控制设备的功能配置示例的图；
图3是示出了在不考虑重力矢量的情况下虚拟对象的初始显示示例的图；
图4是示出了不考虑重力矢量的情况与考虑重力矢量的情况之间的比较结果的图；
图5是示出了在考虑重力矢量的情况下虚拟对象的初始显示示例的图；
图6是示出了虚拟对象的初始显示的操作示例的流程图；
图7是示出了将虚拟对象固定在增强现实空间内的情况的图；
图8是示出了将虚拟对象固定在增强现实空间内的情况的显示示例的图；
图9是示出了在要在增强现实空间内移动虚拟对象的情况下在移动虚拟对象移动之前的显示示例的图；
图10是示出了在增强现实空间内移动虚拟对象的情况的图；
图11是示出了将虚拟对象的位置移位到可移动区域的情况的图；
图12是示出了在增强现实空间内移动虚拟对象的情况下在移动虚拟对象之后的显示示例的图；
图13是示出了控制虚拟对象的位置/姿态的操作示例的流程图；
图14是示出了在要在增强现实空间内放大虚拟对象的情况下在放大虚拟对象之前的显示示例的图；
图15是示出了在增强现实空间内放大虚拟对象的情况的图；
图16是示出了在要在增强现实空间内放大虚拟对象的情况下在放大虚拟对象之后的显示示例的图；
图17是示出了控制虚拟对象的大小的操作示例的流程图；
图18是示出了在要在增强现实空间内放大多个虚拟对象中的一个虚拟对象的情况下在放大该一个虚拟对象之前的显示示例的图。
图19是示出了在增强现实空间内放大多个虚拟对象中的一个虚拟对象的情况下在放大该一个虚拟对象之后的显示示例的图；以及
图20是示出了根据本公开内容的实施方式的显示控制设备的硬件配置示例的图。
具体实施方式
在下文中，将参照附图来详细地描述本公开内容的优选实施方式。注意，在本说明书和附图中，用相同的附图标记来表示具有基本相同的功能和结构的结构要素，并且省略对这些结构要素的重复说明。
此外，在本说明书和附图中，存在着通过利用相同附图标记后面的不同字母或数字来表示具有基本相同功能和结构的多个结构要素从而区分该多个结构要素的一些情况。注意，在不需要区分具有基本相同功能和结构的多个结构要素的情况下，仅用相同的附图标记来表示该多个结构要素。
此外，将按以下顺序来描述“实施方式的详细描述”。
1.实施方式
1-1.显示控制设备的概观
1-2.显示控制设备的功能配置示例
1-3.虚拟对象的初始显示
1-4.对虚拟对象的位置/姿态控制
1-5.对虚拟对象的大小控制
1-6.硬件配置示例
2.结论
<<1.实施方式>>
[1-1.显示控制设备的概观]
首先，将描述根据本公开内容的实施方式的显示控制设备10的概观。图1是示出了根据本公开内容的实施方式的显示控制设备10的概观的图。参照图1，示出了由用户Ua持有的显示控制设备10。显示控制设备10包括朝向真实空间1的成像部120、操作部140和显示部160。成像部120通过拍摄真实空间1来生成图像。
在图1示出的示例中，显示部160显示由成像部120拍摄的图像Im1。用户Ua能够通过将视点放在由显示部160显示的图像Im1上来掌握真实空间1。然而，可能不是必须在显示部160上显示图像Im1。例如，在显示部160是透射头戴式显示器(HMD)的情况下，显示部160不显示图像Im1，并且用户Ua可以将视点直接放在真实空间1上而不是图像Im1上。
此外，图像Im1中示出了真实对象A1。例如，当从图像Im1识别真实对象A1时，显示控制设备10基于对真实对象A1的识别结果，在与真实空间1对应的AR空间中放置虚拟对象。这样，用户Ua可以经由显示部160查看由显示控制设备10放置在AR空间中的虚拟对象。可以通过显示控制设备10或者可以通过不同于显示控制设备10的设备(例如，服务器)来识别真实对象A1。
这里，在AR空间中放置虚拟对象之后，虚拟对象通常独立于用户的意图而保持预先确定的状态。然而，存在着在放置虚拟对象之后用户Ua想要改变虚拟对象的状态的情况。鉴于上述情况，本公开内容提出能够根据用户的意图来改变放置在AR空间中的虚拟对象的状态的技术。
注意，虽然进行以下描述作为将显示控制设备10用作配备有相机的智能手机的情况的示例，但是也可以将显示控制设备10用作除了智能手机之外的设备。例如，可以将显示控制设备10用作摄像机、数码相机、个人数字助理(PDA)、个人计算机(PC)、移动电话、移动音乐重放设备、移动视频处理设备、移动游戏机、望远镜或双目镜。
至此，已经描述了根据本公开内容的实施方式的显示控制设备的概观。
[1-2.显示控制设备的功能配置示例]
随后，将描述根据本公开内容的实施方式的显示控制设备10的功能配置示例。图2是示出了根据本公开内容的实施方式的显示控制设备10的功能配置示例的图。如图2所示，显示控制设备10包括控制器110、成像部120、传感器部130、操作部140、存储器150以及显示部160。
控制器110对应于例如处理器，诸如中央处理单元(CPU)或数字信号处理器(DSP)。控制器110通过执行在存储器150或另一存储介质中存储的程序来展示控制器110具有的各种功能。控制器110具有功能块，例如操作获取部111、传感器数据获取部112、图像识别部113、环境识别部114以及显示控制器115。后面将说明各个功能块的功能。
成像部120是拍摄图像的相机模块。成像部120使用图像传感器，例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)来拍摄真实空间，并且生成图像。将由成像部120生成的图像输出到控制器110。注意，虽然在图2示出的示例中以与显示控制设备10集成的方式设置成像部120，但是也可以与显示控制设备10分离地设置成像部120。例如，经由有线或无线电连接到显示控制设备10的成像设备可以用作成像部120。
传感器部130获取传感器数据。例如，传感器部130包括3轴加速度传感器。3轴加速度传感器对施加到成像部120的重力加速度进行测量，并且生成表示在三维上重力加速度的大小和方向的传感器数据(加速度数据)。此外，传感器部130可以包括地磁传感器。地磁传感器生成表示在坐标系中成像部120的地磁的方向的传感器数据(地磁数据)。此外，传感器部130还可以包括定位传感器(例如，全球定位系统(GPS)传感器)。定位传感器生成表示在真实空间中显示控制设备10的纬度和经度的传感器数据(定位数据)。注意，虽然在图2示出的示例中以与显示控制设备10集成的方式设置传感器部130，但是也可以与显示控制设备10分离地设置传感器部130。
操作部140检测由用户执行的操作，并且将该操作输出到控制器110。在本说明书中，由于假设了由触摸板形成操作部140的情况，所以由用户执行的操作与轻敲触摸板的操作相对应。但是，也可以由除了触摸板之外的硬件(例如，按钮)来形成操作部140。注意，虽然在图2示出的示例中以与显示控制设备10集成的方式设置操作部140，但是也可以与显示控制设备10分离地设置操作部140。
存储器150使用记录介质，例如半导体存储器或硬盘来存储用于使控制器110进行操作的程序。此外，例如，存储器150还可以存储由程序使用的各种类型的数据(例如，各种类型的传感器数据和虚拟对象)。注意，虽然在图2示出的示例中以与显示控制设备10集成的方式设置存储器150，但是也可以与显示控制设备10分离地设置存储器150。
显示部160根据由显示控制器115执行的控制来显示各种类型的信息。例如，显示部160显示由显示控制设备10生成的AR应用的图像。显示部160例如由液晶显示器(LCD)或有机电致发光(EL)显示设备形成。注意，虽然在图2示出的示例中以与显示控制设备10集成的方式设置显示部160，但是也可以与显示控制设备10分离地设置显示部160。例如，经由有线或无线电连接到显示控制设备10的显示设备可以用作显示部160。
至此，已经描述了根据本公开内容的实施方式的显示控制设备10的功能配置示例。
从下一部分开始，将按以下顺序来继续对根据本公开内容的实施方式的显示控制设备10所具有的功能进行描述：“虚拟对象的初始显示”；“对虚拟对象的位置/姿态控制”以及“对虚拟对象的大小控制”。注意，可以组合使用在“虚拟对象的初始显示”，“对虚拟对象的位置/姿态控制”以及“对虚拟对象的大小控制”的各个部分中描述的所有功能，或者可以仅组合使用这些功能中的一些功能。
[1-3.虚拟对象的初始显示]
首先，将描述虚拟对象的初始显示。参照图3，在由成像部120拍摄的图像Im2中，示出了真实对象A1。此外，通过图像识别部113识别真实对象A1，并且通过显示控制器115将与识别结果相关联的虚拟对象V1放置在与真实空间对应的AR空间中。因此，显示部160显示放置在AR空间中的虚拟对象V1。
更详细地，当图像识别部113识别出真实对象A1的位置和姿态时，显示控制器115根据真实对象A1的位置来标识虚拟对象V1的位置，还根据真实对象A1的姿态来标识虚拟对象V1的姿态，并且根据所标识的位置和姿态来放置虚拟对象V1。可以预先确定真实对象A1的位置和虚拟对象V1的位置之间的关系。此外，也可以预先确定真实对象A1的姿态和虚拟对象V1的姿态之间的关系。
例如，图像识别部113对照包括在特征数据中的相应特征点的片(patch)来检查包括在图像Im2中的部分图像，并且检测包括在图像Im2中的特征点。在图像Im2内的区域中以高密度检测到属于真实对象A1的特征点的情况下，图像识别部113可以识别出在该区域中示出了真实对象A1。图像识别部113还可以基于所检测的特征点和三维形状数据之间的位置关系来识别所识别的真实对象A1的位置和姿态。
在图3示出的示例中，当用户Ua参观水族馆时，在水箱的后壁表面上存在真实对象A1。当用户Ua将成像部120保持在真实对象A1上，并且图像识别部113识别出真实对象A1时，通过显示控制器115将鲨鱼放置在与真实空间对应的AR空间中，该鲨鱼被用作与识别结果相关联的虚拟对象V1的示例。然而，虚拟对象V1可以是除了鲨鱼之外的任何虚拟对象。
此外，在图3示出的示例中，显示控制器115使得能够将虚拟对象V1在AR空间中的大小显示为大小M1。可以通过后面要描述的技术来确定虚拟对象V1在AR空间中的大小。此外，显示控制器115能够使虚拟对象V1在AR空间中的当前大小与要显示的虚拟对象V1的真实大小的比率为比率N1。例如，也可以预先登记虚拟对象V1的真实大小。注意，虚拟对象的真实大小是指与该虚拟对象对应的真实对象的大小。在将鲨鱼假设为虚拟对象的情况下，虚拟对象的真实大小是指作为真实对象的鲨鱼的大小。
这里，例如，在真实对象A1的姿态不正常的情况下，假设放置在AR空间中的虚拟对象V1的姿态不正常。例如，我们假设真实对象A1的姿态和虚拟对象V1的姿态之间的关系被确定为当将真实对象A1放置在水平面上时，正常呈现虚拟对象V1的姿态。在这种情况下，如图3所示，可以预期，在真实对象A1存在于壁表面上的情况下，虚拟对象V1的姿态变得不正常。
因此，本部分提出与真实对象A1的姿态是否正常无关地，正常呈现虚拟对象V1的初始显示的技术。
如图4所示，我们假设以正常姿态放置真实对象A0。在这种情况下，放置在AR空间中的虚拟对象V0的姿态根据真实对象A0的位置和姿态变得正常。另一方面，我们假设以如上所述的不正常的姿态放置真实对象A1。在这种情况下，放置在AR空间中的虚拟对象V1的姿态根据真实对象A1的位置和姿态变得不正常。
在这种情况下，例如，显示控制器115可以以虚拟对象V2的姿态变为与重力矢量G对应的姿态的方式来放置虚拟对象V2。关于重力矢量G，当传感器部130检测加速度数据时，可以通过传感器数据获取部112来获取加速度数据作为重力矢量G。例如，如果预先确定了重力矢量G所指示的方向和虚拟对象V1的姿态之间所要满足的关系，那么显示控制器115可以旋转虚拟对象V1以满足该关系。
参考图4，示出了通过旋转虚拟对象V1以使得满足重力矢量G所指示的方向和虚拟对象V1的姿态之间所要满足的关系而获得的结果，作为虚拟对象V2。此外，参照图5，拍摄图像Im3，并且示出了通过旋转虚拟对象V1以使得满足该关系而获得的结果，作为虚拟对象V2。这样，通过考虑重力矢量G而改变虚拟对象V1的姿态，可以在AR空间中放置虚拟对象V1以使虚拟对象V1具有正常的姿态。
更详细地，显示控制器115可以基于重力矢量G所指示的方向和真实对象A1的法向矢量的相反矢量之间的关系来掌握真实对象A1处于什么姿态，并且可以根据真实对象A1的姿态来确定虚拟对象V1的旋转度。
例如，在重力矢量G所指示的方向和真实对象A1的法向矢量的相反矢量之间的角大于或等于0度且小于45度(或小于或等于45度)的情况下，显示控制器115可以确定真实对象A1被放置在地面上。在这种情况下，当沿着真实对象A1的法向矢量方向放置虚拟对象V1时，显示控制器115不必须旋转虚拟对象V1。
此外，例如，在重力矢量G所指示的方向和真实对象A1的法向矢量的相反矢量之间的角大于或等于45度(或大于45度)且小于135度的情况下，显示控制器115可以确定真实对象A1被粘在墙面上。在这种情况下，当将虚拟对象V1放置在真实对象A1的法向矢量方向上时，显示控制器115可以在重力矢量G所指示的方向上将虚拟对象V1旋转90度。
此外，例如，在重力矢量G所指示的方向和真实对象A1的法向矢量的相反矢量之间的角大于或等于135度(或大于135度)且小于或等于180度的情况下，显示控制器115可以确定真实对象A1被粘在天花板上。在这种情况下，当将虚拟对象V1放置在真实对象A1的法向矢量方向上时，显示控制器115可以在重力矢量G所指示的方向上将虚拟对象V1旋转180度。
图6是示出了虚拟对象V2的初始显示的操作示例的流程图。首先，当成像部120拍摄图像时，图像识别部113从由成像部120拍摄的图像中识别真实对象A1(S11)。图像识别部113计算真实对象A1的位置和姿态(S12)。此外，传感器数据获取部112获取由传感器部130检测的传感器数据(S13)，并且基于该传感器数据来标识重力矢量(S14)。例如，在获取加速度数据作为传感器数据的情况下，可以将加速度数据标识为重力矢量。
显示控制器115根据真实对象A1的位置来标识虚拟对象V1的位置(S15)。随后，显示控制器115根据重力矢量来标识虚拟对象的姿态(S16)。显示控制器115基于所标识的位置和姿态在AR空间中放置虚拟对象V2(S17)。在没有继续由图像识别部113执行的对真实对象A1的识别的情况下(在S18中“否”)，控制器110可以完成操作，在正在继续由图像识别部113执行的对真实对象A1的识别的情况下(在S18中“是”)，处理可以返回到步骤S11。
至此，已经描述了“虚拟对象的初始显示”。
[1-4.对虚拟对象的位置/姿态控制]
随后，将描述对虚拟对象的位置/姿态控制。参照图7，显示控制器115将虚拟对象V2放置在AR空间2中。这里，如图7所示，分别由P1和Q1来表示成像部120的位置和姿态，并且分别由p1和q1来表示虚拟对象V2的位置和姿态。我们假设，在这种状态下，将成像部120的位置和姿态分别改变成P2和Q2。在这种情况下，虚拟对象V2通常被固定在AR空间内。然而，存在着在放置虚拟对象V2之后用户Ua想要改变虚拟对象V2在AR空间中的位置的情况。
例如，假设用户Ua将要给虚拟对象V2拍照的场景，可能存在用户Ua想要移动虚拟对象V2并且决定背景，并且然后给虚拟对象V2拍照的情况。此外，例如，在用户Ua不想在成像范围内包括真实对象A1的情况下，假设用户Ua想要在将虚拟对象V2移动到一位置以使得真实对象A1处于成像范围以外之后，给虚拟对象V2拍照的情况。
因此，本部分提出使得能够根据用户的意图来改变放置在AR空间中的虚拟对象V2的位置的技术。
首先，将描述不改变放置在AR空间中的虚拟对象V2的位置的情况。例如，当不存在正在执行的第一操作时，显示控制器115可以将虚拟对象V2固定在AR空间内。该第一操作可以是任何操作，并且可以是指定虚拟对象V2的操作。在下文中，将进行描述，作为将指定虚拟对象V2的操作用作为第一操作的情况的示例。指定虚拟对象V2的操作可以包括，例如，使用一个或更多个操作对象来指定虚拟对象V2的操作。
指定虚拟对象V2的操作可以是轻敲虚拟对象V2的操作。此外，在显示部160是透射HMD的情况下，指定虚拟对象V2的操作可以是在两个操作对象(例如，两个手指)之间保持虚拟对象V2的操作。或者，指定虚拟对象V2的操作可以是将视线转到虚拟对象V2的姿势。例如，可以在从指定虚拟对象V2的开始到释放的时间段期间执行指定虚拟对象V2的操作。
如图7所示，我们假定在没有对虚拟对象V2进行指定的状态下，将成像部120的位置和姿态分别改变成P2和Q2。在没有对虚拟对象V2进行指定的状态下，显示控制器115可以将虚拟对象V2固定在AR空间内。例如，在没有对虚拟对象V2进行指定的状态下，显示控制器115可以使得根据成像部120和虚拟对象V2之间的距离来改变图像中虚拟对象V2的大小。
例如，参照图8，拍摄了图像Im4。如图8所示，在没有指定虚拟对象V2的状态下，显示控制器115可以使得图像Im4中虚拟对象V2的大小随着用户Ua远离虚拟对象V2以及成像部120与虚拟对象V2之间的距离增大而减小。
此外，在没有指定虚拟对象V2的状态下，显示控制器115可以使得根据基于成像部120的虚拟对象V2的姿态来改变图像中虚拟对象V2的姿态。例如，在没有指定虚拟对象V2的状态下，在用户Ua改变成像方向并且基于成像部120的虚拟对象V2的姿态已经改变的情况下，显示控制器115可以使得图像中虚拟对象V2的姿态根据已改变的姿态而改变。
另一方面，在操作获取部111所获取的用户操作是指定虚拟对象V2的操作的情况下，显示控制器115可以使虚拟对象V2在AR空间内移动。当显示控制器115使虚拟对象V2在AR空间内移动时，显示控制器115可以控制任何输出。例如，当显示控制器115使虚拟对象V2在AR空间内移动时，显示控制器115可以使得显示虚拟对象V2正被移动的事实。
例如，如图9所示，显示控制器115可以使消息L1被显示，消息L1表明虚拟对象V2“正在移动”。然而，可以在不使用消息的情况下示出虚拟对象V2正被移动的事实。例如，显示控制器115可以通过允许虚拟对象V2进行运动来使得显示虚拟对象V2正被移动的事实。
不限制以何种方式来移动虚拟对象V2。作为示例，如图10所示，在指定虚拟对象V2的状态下，在将成像部120的位置从P2改变成P3，并且将成像部120的姿态从Q2改变成Q3的情况下，显示控制器115可以在保持成像部120和虚拟对象V2之间的相对位置关系的状态下使虚拟对象V2在AR空间内移动。
在以这种方式将虚拟对象V2在AR空间内移动的情况下，可以将虚拟对象V2固定在成像范围内。因此，显示控制器115可以使得显示用于指示虚拟对象V2被固定到成像范围的某种虚拟对象(例如，刺入虚拟对象V2的小棍)。在图10示出的示例中，将虚拟对象V2的位置从p1移动到p2，并且将虚拟对象V2的姿态从q1改变成q2。
此外，显示控制器115可以以任何技术来掌握成像部120的位置和姿态。例如，显示控制器115可以基于由环境识别部114执行的环境识别的结果来掌握成像部120的位置和姿态。作为由环境识别部114执行的环境识别，可以使用基于SLAM技术的计算。根据基于SLAM技术的计算，可以动态地识别由成像部120拍摄的图像中示出的真实空间的三维结构以及成像部120的位置和姿态。
注意，图10示出了显示控制器115使得通过指定虚拟对象V2的操作而指定的一个虚拟对象V2在AR空间内移动，但是要移动的虚拟对象的数量可能不是一个的示例。在由操作获取部111获取的用户操作是用于指定虚拟对象的操作的情况下，显示控制器115可以使得通过指定虚拟对象的操作而指定的一个或多个虚拟对象在AR空间内移动。
根据这种配置，用户Ua可以通过在指定虚拟对象V2的操作的开始到释放的时间段期间改变成像部120的位置和姿态，来使得移动虚拟对象V2。因此，可以将好像使用拖放操作来移动虚拟对象V2的感觉给予用户Ua，并且用户Ua可以直观地在AR空间内移动虚拟对象V2。
这里，预期的是，目的地处的虚拟对象V2的环境可以是各种环境中的任何环境。因此，显示控制器115可以基于目的地处的虚拟对象V2的环境来控制虚拟对象V2。例如，如图11所示，在目的地处的虚拟对象V2的环境是不可移动区域R2的情况下，显示控制器115可以使虚拟对象V2的位置被移位到可移动区域R1。不可移动区域R2可以是真实对象不可能从外面进入的区域，例如柱子和墙。
或者，显示控制器115可以使虚拟对象V2执行与目的地处的虚拟对象V2的环境相关联的运动。例如，在目的地处的虚拟对象V2的环境是海洋的情况下，显示控制器115可以以虚拟对象V2开始游泳的动画来表示虚拟对象V2。此外，例如，在目的地处的虚拟对象V2的环境是陆地的情况下，显示控制器115可以以虚拟对象V2停止游泳的动画来表示虚拟对象V2。
图12是示出了在要在AR空间内移动虚拟对象V2的情况下在移动虚拟对象V2之后的显示示例的图。参照图12，拍摄了图像Im5，并且虚拟对象V2正被移动。这样，可以根据用户的意图来改变放置在AR空间中的虚拟对象V2的位置。在图12示出的示例中，将水族馆用作背景，并且可以将用户Ua的家和虚拟对象V2纳入单个成像范围。
图13是示出了控制虚拟对象V2的位置/姿态的操作示例的流程图。首先，环境识别部114开始环境识别(S21)，并且操作获取部111获取用户操作。在没有执行用于指定虚拟对象V2的操作的情况下(在S22中“否”)，显示控制器115将虚拟对象V2固定在AR空间中(S23)，并且控制器110前进到S27。
另一方面，在执行了用于指定虚拟对象V2的操作的情况下(在S22中“是”)，显示控制器115使虚拟对象V2在AR空间中移动(S24)，并且基于目的地处的环境来控制虚拟对象V2(S25)。此外，显示控制器115使得显示虚拟对象V2正被移动的事实(S26)，并且控制器110前进到S27。在不继续由环境识别部114执行的环境识别的情况下(在S27中“否”)，控制器110可以完成操作，并且在正在继续由环境识别部114执行的环境识别的情况下(在S27中“是”)，处理可以返回到步骤S22。
至此，已经描述了“对虚拟对象的位置/姿态控制”。
[1-5.对虚拟对象的大小控制]
随后，将描述对虚拟对象的大小控制。参照图14，显示控制器115将虚拟对象V2放置在AR空间2中。这里，通常根据图像中真实对象A1的大小来决定图像中虚拟对象V2的大小。然而，存在着在放置虚拟对象V2之后用户Ua想要改变AR空间中的虚拟对象的大小的情况。
例如，假设用户Ua将要给虚拟对象V2拍照的场景，可能存在用户Ua想要将AR空间中虚拟对象的大小增大到真实大小，并且然后给虚拟对象V2拍照的情况。因此，本部分提出用于使得能够根据用户的意图来改变放置在AR空间中的虚拟对象V2在AR空间中的大小的技术。
具体地，在用户操作是第二操作的情况下，显示控制器115可以基于第二操作来改变AR空间中虚拟对象V2的大小。第二操作可以是任何操作，并且例如如图14所示可以包括用于改变多个操作对象之间的距离的操作。例如，在用户操作是使多个操作对象之间的距离更小的操作(例如，缩小操作)的情况下，可以减小AR空间中虚拟对象V2的大小。
此外，例如，在用户操作是使多个操作对象之间的距离变大的操作(例如，放大操作)的情况下，可以增大AR空间中虚拟对象V2的大小。参照图15，作为增大AR空间中的虚拟对象的大小的结果，示出了将放置在AR空间中的虚拟对象从虚拟对象V2改变成虚拟对象V3的状态。
图16是示出了在要在增强现实空间内放大虚拟对象的情况下在放大虚拟对象之后的显示示例的图。如图16所示，在可以放大虚拟对象V3的情况下，可以对虚拟对象V3设定有关放大的限制。(或者，在可以减小虚拟对象V3的情况下，可以对虚拟对象V3设定有关减小的限制。)例如，图16示出了图像Im6，并且如图16所示，当AR空间中虚拟对象的大小已经达到虚拟对象的真实大小时，显示控制器115可以停止放大虚拟对象。
此外，在AR空间中虚拟对象的大小已经达到了虚拟对象的真实大小的情况下，显示控制器115可以使得显示AR空间中虚拟对象的大小已经达到了虚拟对象的真实大小的事实。例如，如图16所示，显示控制器115可以使得显示消息L2，消息L2表明AR空间中虚拟对象的大小已经达到了真实大小。
此外，在图16示出的示例中，显示控制器115使得显示大小M2，大小M2是显示在AR空间中的虚拟对象V3的大小。此外，显示控制器115使得显示比率N2，比率N2是AR空间中虚拟对象V3的当前大小与虚拟对象V3的真实大小的比率。
这里，不特别地限制用于确定AR空间中虚拟对象V3的大小是否已经达到虚拟对象的真实大小的技术。作为示例，显示控制器115可以基于与真实对象A1的真实大小有关的已知数据、图像中真实对象A1的大小、以及与虚拟对象的真实大小有关的已知数据，来确定AR空间中虚拟对象的大小是否已经达到了虚拟对象的真实大小。
更具体地，在将真实对象A1的真实大小登记为已知数据的情况下，显示控制器115可以计算真实对象A1的真实大小与图像中的真实对象A1的大小的比率。这样，在将真实对象A1和虚拟对象放置在与成像部120相同距离处的情况下，显示控制器115可以通过将图像中虚拟对象的大小乘以所计算的比率来计算AR空间中虚拟对象的大小。
注意，即使在真实对象A1与成像部120之间的距离和虚拟对象与成像部120之间的距离不同的时候，也可以计算AR空间中虚拟对象的大小。例如，使用真实对象A1的真实大小与图像中真实对象A1的大小的比率，可以掌握基于成像部120位置的真实空间中的真实对象A1的位置。此外，即使用户Ua将成像部120移动到虚拟对象被包括在成像范围内的位置处，显示控制器115也可以基于环境识别的结果来掌握真实空间中真实对象A1的位置，以及基于成像部120位置的AR空间中虚拟对象的位置。
然后，使用基于成像部120位置的AR空间中虚拟对象的位置，显示控制器115可以根据图像中虚拟对象的大小来掌握AR空间中虚拟对象的大小。在将虚拟对象的真实大小登记为已知数据的情况下，显示控制器115可以通过将虚拟对象的真实大小与AR空间中虚拟对象的大小相比较来确定AR空间中虚拟对象的大小是否已经达到了虚拟对象的真实大小。
由于通常根据图像中真实对象的大小来确定图像中虚拟对象的大小，所以为了将具有期望大小的虚拟对象放置在AR空间中，必须调整真实空间中真实对象的大小，或者必须调整图像中示出的真实对象的大小。根据本实施方式的对虚拟对象的大小控制，可以根据用户操作将具有期望大小的虚拟对象放置在AR空间中。
图17是示出了控制虚拟对象的大小的操作示例的流程图。首先，环境识别部114开始环境识别(S31)，并且操作获取部111获取用户操作。在不存在大小改变操作的情况下(在S32中“否”)，控制器110前进到S37。
另一方面，在存在大小改变操作的情况下(在S32中“是”)，显示控制器调整AR空间中虚拟对象的大小(S33)，并且在AR空间中虚拟对象的大小没有达到真实大小的情况下(在S34中“否”)，控制器110前进到S37。另一方面，在AR空间中虚拟对象的大小已经达到真实大小的情况下(在S34中“是”)，显示控制器115停止放大虚拟对象(S35)，使得显示AR空间中虚拟对象的大小已经达到真实大小的事实(S36)，并且控制器110前进到S37。
在不继续由环境识别部114执行的环境识别的情况下(在S37中“否”)，控制器110可以完成操作，并且在正在继续由环境识别部114执行的环境识别的情况下(在S37中“是”)，处理可以返回到步骤S32。
至此，已经描述了虚拟对象的数量为一个的情况，但是可能存在虚拟对象的数量为两个或更多个的情况。在这种情况下，可以调整多个虚拟对象中的一些虚拟对象的大小，或者可以调整所有多个虚拟对象的大小。例如，显示控制器115可以根据从成像部120到相应的虚拟对象的距离来选择要改变其大小的虚拟对象。
图18是示出了在要在AR空间内放大虚拟对象V11和虚拟对象V2中的虚拟对象V2的情况下，在放大虚拟对象V2之前的显示示例的图。参照图18，拍摄了图像Im7。图19是示出了在放大虚拟对象V2之后的显示示例的图。参照图19，拍摄了图像Im8。在这些图示出的示例中，显示控制器115选择与成像部120最近的虚拟对象(当从成像部120看时放置在最近侧的虚拟对象)，作为大小要被改变的目标。
在这种情况下，例如，可以以能够与其他虚拟对象区分的模式来显示与成像部120最近的虚拟对象。例如，可以以虚拟对象进行运动的方式显示与成像部120最近的虚拟对象，并且可以以虚拟对象静止不动的方式显示其他虚拟对象。然而，用于调整多个虚拟对象中的一些虚拟对象的大小的技术不限于此。
例如，在用户Ua进行选择操作的情况下，显示控制器115可以基于选择操作来选择要改变大小的虚拟对象。不限制选择操作，并且选择操作可以是例如轻敲操作。或者，在大小改变操作是放大操作或缩小操作的情况下，在放大操作或缩小操作的过程中，显示控制器115可以选择直接由操作对象指定的虚拟对象。
至此，已经描述了“对虚拟对象的大小控制”。
[1-6.硬件配置示例]
接着，将描述根据本公开内容的实施方式的显示控制设备10的硬件配置示例。图20是示出了根据本公开内容的实施方式的显示控制设备10的硬件配置示例的图。应该注意的是，图20中示出的硬件配置示例仅仅是显示控制设备10的硬件配置的示例。因此，显示控制设备10的硬件配置不限于图20中示出的示例。
如图20所示，显示控制设备10包括中央处理单元(CPU)801、只读存储器(ROM)802、随机存取存储器(RAM)803、传感器804、输入设备808、输出设备810、存储设备811、驱动器812、成像设备813以及通信设备815。
CPU 801用作算术处理单元和控制单元，并且根据各种程序来控制显示控制设备10的全部操作。此外，CPU 801可以是微处理器。ROM 802存储由CPU 801使用的程序、计算参数等。RAM 803暂时存储在CPU 801的执行中使用的程序、在执行期间根据情况改变的参数等。CPU 801、ROM 802以及RAM 803经由根据CPU总线配置的主机总线等彼此连接。
传感器804包括各种类型的检测传感器，例如用于检测显示控制设备10的状态的终端状态检测传感器，以及其外围电路。传感器804的示例包括倾斜传感器、加速度传感器、定向传感器、温度传感器、湿度传感器以及光强度传感器。将由传感器804获得的检测信号发送到CPU 801。这样，CPU 801可以知道显示控制设备10的状态(倾斜、加速度、定向、温度、湿度、光强度等)。
例如，根据用于由用户输入信息的输入部分，诸如鼠标、键盘、触摸板、按钮、麦克风、开关以及控制杆，以及基于用户的输入来生成输入信号并且将所生成的输入信号输出到CPU 801的输入控制电路，来配置输入设备808。显示控制设备10的用户可以将各种类型的数据输入到显示控制设备10，并且可以通过操作输入设备808来指令显示控制设备10执行处理操作。
输出设备810包括例如显示设备，诸如液晶显示器(LCD)设备、有机发光二极管(OLED)设备以及灯。此外，输出设备810包括音频输出设备，诸如扬声器和耳机。例如，每个显示设备显示所拍摄的图像、所生成的图像等。另一方面，每个音频输出设备将音频数据等转换成音频并且输出该音频。
存储设备811是用于存储数据的设备，将其配置为显示控制设备10的存储器的示例。存储设备811可以包括例如存储介质、用于在存储介质中记录数据的记录设备、用于从存储介质读出数据的读取设备、以及用于删除在存储介质中记录的数据的删除设备。存储设备811存储由CPU 801执行的程序和各种数据。
驱动器812是用于存储介质的读取器/写入器，并且被内置于或外部附接到显示控制设备10。驱动器812读出安装到驱动器812的可移动存储介质71，例如磁盘、光盘、磁光盘或半导体存储器，中所记录的信息，并且将信息输出到RAM 803。此外，驱动器812还可以在可移除存储介质71中写入信息。
成像设备813包括成像光学系统，例如用于聚焦光的变焦镜头和拍摄镜头，以及信号转换器件，例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。成像光学系统聚焦从物体发出的光，并且在信号转换部分上形成该物体的图像，并且信号转换器件将所形成的该物体的图像转换成电图像信号。
通信设备815是根据例如用于建立与网络的连接的通信设备而配置的通信接口。此外，通信设备815可以是可使用无线局域网(LAN)的通信设备、可使用长期演进(LTE)的通信设备、或者用于执行有线通信的有线通信设备。通信设备815可以经由网络30与其他设备进行通信。
至此，已经描述了根据本公开内容的实施方式的显示控制设备10的硬件配置示例。
<<2.结论>>
如上所述，根据本公开内容的实施方式，提供了显示控制设备10，包括：显示控制器115，其被配置成根据由成像部120拍摄的图像中所示出的真实对象A1的识别结果，在与真实空间对应的AR空间内放置虚拟对象；以及被配置成捕捉用户操作的操作获取部111。在用户操作是第一操作的情况下，显示控制器115在AR空间内移动虚拟对象。根据这种配置，可以根据用户意图来改变放置在AR空间中的虚拟对象的位置。
此外，根据本公开内容的实施方式的对虚拟对象的位置/姿态控制和大小控制，例如，当用户Ua执行将虚拟对象放大到真实大小的操作时，可能发生下述情况：在放大虚拟对象的操作的过程中，用户Ua必须远离虚拟对象以将虚拟对象纳入成像范围内。通过使用户Ua执行这种操作，可以使得用户Ua能够更直观地掌握虚拟对象的真实大小。
在本公开内容的实施方式中，作为用于在AR空间内移动虚拟对象并且调整虚拟对象的大小的场景，主要假设拍摄将虚拟对象纳入成像范围的照片的场景。然而，可以将本公开内容的实施方式应用到除了这种场景之外的任何场景。例如，也可以将本公开内容的实施方式有效地应用到以下场景：在AR空间内移动出现在游戏应用中的虚拟对象，并且调整虚拟对象的大小。
此外，在本公开内容的实施方式中，已经主要描述了在显示控制设备10的AR空间中反映由显示控制设备10控制虚拟对象的结果的示例。然而，例如，在显示控制设备10和其他设备之间共享单个AR空间的情况下，可以在与显示控制设备10可通信的其他设备的AR空间中反映由显示控制设备10控制虚拟对象的结果。
本领域普通技术人员应该理解，只要在所附权利要求或其等同方案的范围内，取决于设计需要和其它因素可以产生各种修改、组合、子组合以及变更。
此外，也可以创建用于使得内置在计算机中的硬件，例如CPU、ROM以及RAM能够展示与上述显示控制设备10的各个结构的功能基本相同的功能的程序。此外，还提供了记录有程序的非暂时性计算机可读记录介质。
此外，本技术也可以被配置为如下。
(1)一种显示控制设备，包括：
显示控制器，其被配置成根据由成像部拍摄的图像中所示出的真实对象的识别结果，在与真实空间对应的增强现实空间内放置虚拟对象；以及
操作获取部，其被配置成获取用户操作，
其中，当所述用户操作是第一操作时，所述显示控制器使所述虚拟对象在所述增强现实空间内移动。
(2)根据(1)所述的显示控制设备，
其中，当所述用户操作是所述第一操作时，所述显示控制器在保持所述成像部与所述虚拟对象之间的相对位置关系的状态下使所述虚拟对象在所述增强现实空间内移动。
(3)根据(1)或(2)所述的显示控制设备，
其中，当所述用户操作是所述第一操作时，所述显示控制器使通过所述第一操作指定的一个或多个虚拟对象在所述增强现实空间内移动。
(4)根据(1)至(3)中任一项所述的显示控制设备，
其中，当所述显示控制器使所述虚拟对象在所述增强现实空间内移动时，所述显示控制器使得显示所述虚拟对象正被移动的事实。
(5)根据(1)至(4)中任一项所述的显示控制设备，
其中，当没有正在执行所述第一操作时，所述显示控制器将所述虚拟对象固定在所述增强现实空间内。
(6)根据(5)所述的显示控制设备，
其中，当没有正在执行所述第一操作时，所述显示控制器使得所述图像中所述虚拟对象的大小根据所述成像部与所述虚拟对象之间的距离而改变。
(7)根据(5)所述的显示控制设备，
其中，当没有正在执行所述第一操作时，所述显示控制器使得所述图像中所述虚拟对象的姿态根据基于所述成像部的所述虚拟对象的姿态而改变。
(8)根据(1)至(7)中任一项所述的显示控制设备，
其中，所述显示控制器基于目的地处所述虚拟对象的环境来控制所述虚拟对象。
(9)根据(8)所述的显示控制设备，
其中，当所述目的地处所述虚拟对象的环境是不可移动区域时，所述显示控制器使所述虚拟对象的位置移位到可移动区域。
(10)根据(1)至(9)中任一项所述的显示控制设备，
其中，所述第一操作包括使用一个或多个操作对象来指定所述虚拟对象的操作。
(11)根据(1)所述的显示控制设备，
其中，当所述用户操作是第二操作时，所述显示控制器基于所述第二操作来改变所述增强现实空间中所述虚拟对象的大小。
(12)根据(11)所述的显示控制设备，
其中，当所述增强现实空间中所述虚拟对象的大小已经达到所述虚拟对象的真实大小时，所述显示控制器停止放大所述虚拟对象。
(13)根据(11)或(12)所述的显示控制设备，
其中，当所述增强现实空间中所述虚拟对象的大小已经达到所述虚拟对象的真实大小时，所述显示控制器使得显示所述增强现实空间中所述虚拟对象的大小已经达到所述虚拟对象的真实大小的事实。
(14)根据(11)至(13)中任一项所述的显示控制设备，
其中，所述显示控制器基于与所述真实对象的真实大小有关的已知数据、所述图像中所述真实对象的大小、以及与所述虚拟对象的真实大小有关的已知数据，来确定所述增强现实空间中所述虚拟对象的大小是否已经达到所述虚拟对象的真实大小。
(15)根据(11)至(14)中任一项所述的显示控制设备，
其中，当执行选择操作时，所述显示控制器基于所述选择操作来选择要改变大小的虚拟对象。
(16)根据(11)至(14)中任一项所述的显示控制设备，
其中，所述显示控制器根据所述成像部与相应的一个或多个虚拟对象之间的距离来选择要改变大小的虚拟对象。
(17)根据(11)至(16)中任一项所述的显示控制设备，
其中，所述第二操作包括使多个操作对象之间的距离更大的操作。
(18)根据(1)所述的显示控制设备，
其中，所述显示控制器以所述虚拟对象具有与重力矢量对应的姿态的方式来放置所述虚拟对象。
(19)一种显示控制方法，包括：
根据由成像部拍摄的图像中所示出的真实对象的识别结果，在与真实空间对应的增强现实空间内放置虚拟对象；
获取用户操作；以及
当所述用户操作是第一操作时使所述虚拟对象在所述增强现实空间内移动。
(20)一种记录有程序的非暂时性计算机可读记录介质，所述程序用于使计算机用作显示控制设备，所述显示控制设备包括：
显示控制器，其被配置成根据由成像部拍摄的图像中所示出的真实对象的识别结果，在与真实空间对应的增强现实空间内放置虚拟对象，以及
操作获取部，其被配置成获取用户操作，
其中，当所述用户操作是第一操作时，所述显示控制器使所述虚拟对象在所述增强现实空间内移动。

Claims (18)

1.一种显示控制设备，包括：
显示控制器，其被配置成根据由成像部拍摄的图像中所示出的真实对象的识别结果，在与真实空间对应的增强现实空间内放置虚拟对象，并且被配置为使得显示所述虚拟对象在所述增强现实空间中的大小与所述虚拟对象的真实大小之间的比率；以及
操作获取部，其被配置成获取用户操作，
其中，当所述用户操作是第一操作时，所述显示控制器使所述虚拟对象在所述增强现实空间内移动，
其中，当所述用户操作是第二操作时，所述显示控制器基于所述第二操作来改变所述增强现实空间中所述虚拟对象的大小，
其中，所述显示控制器基于目的地处所述虚拟对象的环境来控制所述虚拟对象。
2.根据权利要求1所述的显示控制设备，
其中，当所述用户操作是所述第一操作时，所述显示控制器在保持所述成像部与所述虚拟对象之间的相对位置关系的状态下使所述虚拟对象在所述增强现实空间内移动。
3.根据权利要求1所述的显示控制设备，
其中，当所述用户操作是所述第一操作时，所述显示控制器使通过所述第一操作指定的一个或多个虚拟对象在所述增强现实空间内移动。
4.根据权利要求1所述的显示控制设备，
其中，当所述显示控制器使所述虚拟对象在所述增强现实空间内移动时，所述显示控制器使得显示所述虚拟对象正被移动的事实。
5.根据权利要求1所述的显示控制设备，
其中，当没有正在执行所述第一操作时，所述显示控制器将所述虚拟对象固定在所述增强现实空间内。
6.根据权利要求5所述的显示控制设备，
其中，当没有正在执行所述第一操作时，所述显示控制器使得所述图像中所述虚拟对象的大小根据所述成像部与所述虚拟对象之间的距离而改变。
7.根据权利要求5所述的显示控制设备，
其中，当没有正在执行所述第一操作时，所述显示控制器使得所述图像中所述虚拟对象的姿态根据基于所述成像部的所述虚拟对象的姿态而改变。
8.根据权利要求1所述的显示控制设备，
其中，当所述目的地处所述虚拟对象的环境是不可移动区域时，所述显示控制器使所述虚拟对象的位置移位到可移动区域。
9.根据权利要求1所述的显示控制设备，
其中，所述第一操作包括使用一个或多个操作对象来指定所述虚拟对象的操作。
10.根据权利要求1所述的显示控制设备，
其中，当所述增强现实空间中所述虚拟对象的大小已经达到所述虚拟对象的真实大小时，所述显示控制器停止放大所述虚拟对象。
11.根据权利要求1所述的显示控制设备，
其中，当所述增强现实空间中所述虚拟对象的大小已经达到所述虚拟对象的真实大小时，所述显示控制器使得显示所述增强现实空间中所述虚拟对象的大小已经达到所述虚拟对象的真实大小的事实。
12.根据权利要求1所述的显示控制设备，
其中，所述显示控制器基于与所述真实对象的真实大小有关的已知数据、所述图像中所述真实对象的大小、以及与所述虚拟对象的真实大小有关的已知数据，来确定所述增强现实空间中所述虚拟对象的大小是否已经达到所述虚拟对象的真实大小。
13.根据权利要求1所述的显示控制设备，
其中，当执行选择操作时，所述显示控制器基于所述选择操作来选择要改变大小的虚拟对象。
14.根据权利要求1所述的显示控制设备，
其中，所述显示控制器根据所述成像部与相应的一个或多个虚拟对象之间的距离来选择要改变大小的虚拟对象。
15.根据权利要求1所述的显示控制设备，
其中，所述第二操作包括使多个操作对象之间的距离更大的操作。
16.根据权利要求1所述的显示控制设备，
其中，所述显示控制器以所述虚拟对象具有与重力矢量对应的姿态的方式来放置所述虚拟对象。
17.一种显示控制方法，包括：
根据由成像部拍摄的图像中所示出的真实对象的识别结果，在与真实空间对应的增强现实空间内放置虚拟对象；
显示所述虚拟对象在所述增强现实空间中的大小与所述虚拟对象的真实大小之间的比率；
获取用户操作；
当所述用户操作是第一操作时使所述虚拟对象在所述增强现实空间内移动；以及
当所述用户操作是第二操作时，基于所述第二操作来改变所述增强现实空间中所述虚拟对象的大小，
其中，基于目的地处所述虚拟对象的环境来控制所述虚拟对象。
18.一种记录有程序的非暂时性计算机可读记录介质，所述程序用于使计算机执行方法，所述方法包括：
根据由成像部拍摄的图像中所示出的真实对象的识别结果，在与真实空间对应的增强现实空间内放置虚拟对象，
显示所述虚拟对象在所述增强现实空间中的大小与所述虚拟对象的真实大小之间的比率，
获取用户操作，
当所述用户操作是第一操作时，使所述虚拟对象在所述增强现实空间内移动，以及
当所述用户操作是第二操作时，基于所述第二操作来改变所述增强现实空间中所述虚拟对象的大小，
其中，基于目的地处所述虚拟对象的环境来控制所述虚拟对象。
CN201410108001.8A 2013-03-28 2014-03-21 显示控制设备、显示控制方法以及记录介质 Active CN104077023B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-068395 2013-03-28
JP2013068395A JP2014191718A (ja) 2013-03-28 2013-03-28 表示制御装置、表示制御方法および記録媒体

Publications (2)

Publication Number Publication Date
CN104077023A CN104077023A (zh) 2014-10-01
CN104077023B true CN104077023B (zh) 2018-03-30

Family

ID=51598324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410108001.8A Active CN104077023B (zh) 2013-03-28 2014-03-21 显示控制设备、显示控制方法以及记录介质

Country Status (3)

Country Link
US (7) US9261954B2 (zh)
JP (1) JP2014191718A (zh)
CN (1) CN104077023B (zh)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016057997A1 (en) * 2014-10-10 2016-04-14 Pantomime Corporation Support based 3d navigation
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
US9704295B2 (en) * 2013-11-05 2017-07-11 Microsoft Technology Licensing, Llc Construction of synthetic augmented reality environment
KR102182161B1 (ko) * 2014-02-20 2020-11-24 엘지전자 주식회사 Hmd 및 그 제어 방법
US9754419B2 (en) 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US9916002B2 (en) * 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
US10055892B2 (en) 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
TWI621097B (zh) * 2014-11-20 2018-04-11 財團法人資訊工業策進會 行動裝置、操作方法及非揮發性電腦可讀取記錄媒體
US20160196693A1 (en) * 2015-01-06 2016-07-07 Seiko Epson Corporation Display system, control method for display device, and computer program
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
JP6133344B2 (ja) * 2015-03-10 2017-05-24 株式会社コロプラ ヘッドマウントディスプレイへ表示するためのユーザインタフェース表示方法、及びプログラム
JP6780642B2 (ja) * 2015-06-15 2020-11-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR101666561B1 (ko) * 2015-07-13 2016-10-24 한국과학기술원 증강 공간 내 부분 공간 획득 시스템 및 방법
PL3131064T3 (pl) * 2015-08-13 2018-03-30 Nokia Technologies Oy Wyszukiwanie zawartości obrazu
CN106371571B (zh) * 2015-11-30 2019-12-13 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
JP6597235B2 (ja) * 2015-11-30 2019-10-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6665572B2 (ja) * 2016-02-16 2020-03-13 富士通株式会社 制御プログラム、制御方法およびコンピュータ
JP2017191378A (ja) * 2016-04-11 2017-10-19 富士通テン株式会社 拡張現実情報表示装置および拡張現実情報表示方法
JP6360851B2 (ja) * 2016-04-28 2018-07-18 株式会社カプコン 仮想空間表示システム、ゲームシステム、仮想空間表示プログラムおよびゲームプログラム
US10242505B2 (en) * 2016-05-12 2019-03-26 Google Llc System and method relating to movement in a virtual reality environment
CN106200916B (zh) * 2016-06-28 2019-07-02 Oppo广东移动通信有限公司 增强现实图像的控制方法、装置及终端设备
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
JP6809034B2 (ja) * 2016-08-17 2021-01-06 富士ゼロックス株式会社 表示システム、制御装置、および、プログラム
DE102016010037A1 (de) * 2016-08-22 2018-02-22 Michael Schick Verändern einer Darstellung einer Realität für Informationszwecke
US9928660B1 (en) 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
GB2555841A (en) * 2016-11-11 2018-05-16 Sony Corp An apparatus, computer program and method
EP3336805A1 (en) 2016-12-15 2018-06-20 Thomson Licensing Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment
JP6242473B1 (ja) * 2016-12-22 2017-12-06 株式会社コロプラ 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP6866646B2 (ja) * 2017-01-16 2021-04-28 オムロン株式会社 センサ支援システム、端末、センサおよびセンサ支援方法
US10643397B2 (en) * 2017-03-19 2020-05-05 Purdue Research Foundation Window-shaping virtual reality system
JP6744990B2 (ja) * 2017-04-28 2020-08-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
US10509556B2 (en) * 2017-05-02 2019-12-17 Kyocera Document Solutions Inc. Display device
JP6737229B2 (ja) * 2017-05-02 2020-08-05 京セラドキュメントソリューションズ株式会社 表示装置
CN107168532B (zh) * 2017-05-05 2020-09-11 武汉秀宝软件有限公司 一种基于增强现实的虚拟同步显示方法及系统
JP6410874B1 (ja) * 2017-05-30 2018-10-24 株式会社タカラトミー Ａｒ映像生成装置
CN107320955B (zh) * 2017-06-23 2021-01-29 武汉秀宝软件有限公司 一种基于多客户端的ar场馆界面交互方法及系统
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
CN108355351A (zh) * 2017-11-28 2018-08-03 岳阳市数博环球实业有限公司 一种基于实时背景的电子游戏的生成方法
US11156844B2 (en) 2017-12-27 2021-10-26 Sony Corporation Information processing apparatus, information processing method, and program
CN108332365B (zh) * 2018-01-04 2019-10-18 珠海格力电器股份有限公司 空调控制方法及装置
CN110119189B (zh) * 2018-02-05 2022-06-03 浙江商汤科技开发有限公司 Slam系统的初始化、ar控制方法、装置和系统
EP3721428A4 (en) * 2018-03-08 2021-01-27 Samsung Electronics Co., Ltd. INTERACTIVE RESPONSE PROCESS BASED ON INTENTIONS, AND ASSOCIATED ELECTRONIC DEVICE
CN108427501B (zh) * 2018-03-19 2022-03-22 网易（杭州）网络有限公司 虚拟现实中移动控制方法和装置
CN108520552A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108479060B (zh) * 2018-03-29 2021-04-13 联想(北京)有限公司 一种显示控制方法及电子设备
JP7438188B2 (ja) 2018-08-03 2024-02-26 マジック リープ， インコーポレイテッド ユーザ相互作用システムにおけるトーテムの融合姿勢の非融合姿勢ベースのドリフト補正
CN110827412A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 自适应平面的方法、装置和计算机可读存储介质
US11589001B2 (en) * 2018-11-09 2023-02-21 Sony Group Corporation Information processing apparatus, information processing method, and program
CN109508093B (zh) * 2018-11-13 2022-08-09 江苏视睿迪光电有限公司 一种虚拟现实交互方法及装置
DE102019218787A1 (de) 2018-12-04 2020-06-04 Apple Inc. Verfahren, vorrichtung und system zum erzeugen von mit einer darstellung eines artikels verbundenen angeboten
USD900925S1 (en) * 2019-02-01 2020-11-03 Apple Inc. Type font and electronic device with graphical user interface
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
USD914762S1 (en) * 2019-03-27 2021-03-30 Mi Hee Lee Display screen or portion thereof with icon
CN110286754B (zh) * 2019-06-11 2022-06-24 Oppo广东移动通信有限公司 基于眼球追踪的投射方法及相关设备
US11397503B2 (en) * 2019-06-28 2022-07-26 Snap Inc. Association of user identifiers to augmented-reality content
JP6924799B2 (ja) * 2019-07-05 2021-08-25 株式会社スクウェア・エニックス プログラム、画像処理方法及び画像処理システム
WO2021020068A1 (ja) * 2019-07-26 2021-02-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2022542363A (ja) * 2019-07-26 2022-10-03 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
CN110533780B (zh) * 2019-08-28 2023-02-24 深圳市商汤科技有限公司 一种图像处理方法及其装置、设备和存储介质
USD914763S1 (en) * 2019-09-17 2021-03-30 Mi Hee Lee Display screen or portion thereof with icon
US20210097731A1 (en) * 2019-09-26 2021-04-01 Apple Inc. Presenting environment based on physical dimension
US20230012271A1 (en) * 2019-12-10 2023-01-12 Sony Group Corporation Information processing system, information processing method, and program
CN111311741B (zh) * 2020-03-23 2023-07-07 重庆忽米网络科技有限公司 一种基于5g通信的交互式室内空间构建装置及方法
JP6801138B1 (ja) 2020-07-16 2020-12-16 株式会社バーチャルキャスト 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム
CN114201028B (zh) * 2020-09-01 2023-08-04 宏碁股份有限公司 扩增实境系统与其锚定显示虚拟对象的方法
CN112068703B (zh) 2020-09-07 2021-11-16 北京字节跳动网络技术有限公司 目标物体的控制方法、装置、电子设备及存储介质
CN112774195B (zh) * 2021-02-05 2023-03-10 腾讯科技（深圳）有限公司 信息显示方法、装置、终端及存储介质
DE112022001516T5 (de) * 2021-03-16 2024-01-11 Sony Group Corporation Informationsverarbeitungsvorrichtung, informationensverarbeitungsverfahren und programm
JP7354186B2 (ja) * 2021-06-18 2023-10-02 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
WO2023067836A1 (ja) * 2021-10-18 2023-04-27 東芝デジタルソリューションズ株式会社 コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム
JP7330323B2 (ja) * 2021-10-18 2023-08-21 東芝デジタルソリューションズ株式会社 コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1746821A (zh) * 2004-09-07 2006-03-15 佳能株式会社 虚拟现实呈现装置和信息处理方法
CN102693005A (zh) * 2011-02-17 2012-09-26 微软公司 使用3d深度相机和3d投影仪来提供交互式体验
CN102750079A (zh) * 2011-03-31 2012-10-24 索尼公司 终端设备、对象控制方法以及程序
US9055267B2 (en) * 2011-04-15 2015-06-09 Sony Computer Entertainment Europe Limited System and method of input processing for augmented reality

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP3944019B2 (ja) * 2002-07-31 2007-07-11 キヤノン株式会社 情報処理装置および方法
US7427996B2 (en) * 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2004199496A (ja) * 2002-12-19 2004-07-15 Sony Corp 情報処理装置および方法、並びにプログラム
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2006025137A1 (ja) * 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. 画像処理装置、ゲーム装置および画像処理方法
WO2007027738A2 (en) * 2005-08-29 2007-03-08 Evryx Technologies, Inc. Interactivity via mobile image recognition
JP4804256B2 (ja) * 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
JP2008108246A (ja) * 2006-10-23 2008-05-08 Internatl Business Mach Corp <Ibm> 閲覧者の位置に従って仮想画像を生成するための方法、システム、およびコンピュータ・プログラム
JP4989383B2 (ja) * 2007-09-10 2012-08-01 キヤノン株式会社 情報処理装置、情報処理方法
US8902227B2 (en) * 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
DE102007045835B4 (de) 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
JP4985516B2 (ja) 2008-03-27 2012-07-25 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
GB2465791A (en) * 2008-11-28 2010-06-02 Sony Corp Rendering shadows in augmented reality scenes
KR101633359B1 (ko) * 2009-10-20 2016-06-27 삼성전자 주식회사 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법
JP5602618B2 (ja) * 2010-06-10 2014-10-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5514637B2 (ja) * 2010-06-11 2014-06-04 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
EP2395765B1 (en) * 2010-06-14 2016-08-24 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
US9098182B2 (en) * 2010-07-30 2015-08-04 Apple Inc. Device, method, and graphical user interface for copying user interface objects between content regions
JP2012058968A (ja) 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP4869430B1 (ja) * 2010-09-24 2012-02-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
JP5799521B2 (ja) * 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
US8872854B1 (en) * 2011-03-24 2014-10-28 David A. Levitt Methods for real-time navigation and display of virtual worlds
CN103460256B (zh) * 2011-03-29 2016-09-14 高通股份有限公司 在扩增现实系统中将虚拟图像锚定到真实世界表面
JP5765019B2 (ja) * 2011-03-31 2015-08-19 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5702653B2 (ja) * 2011-04-08 2015-04-15 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP2012243147A (ja) * 2011-05-20 2012-12-10 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US20120306850A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US8885883B2 (en) 2011-07-22 2014-11-11 Raytheon Company Enhancing GMAPD LADAR images using 3-D wallis statistical differencing
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
JP6121647B2 (ja) * 2011-11-11 2017-04-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9497501B2 (en) * 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
EP2795936B1 (en) * 2011-12-20 2019-06-26 Intel Corporation User-to-user communication enhancement with augmented reality
US20130194304A1 (en) * 2012-02-01 2013-08-01 Stephen Latta Coordinate-system sharing for augmented reality
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2013174642A (ja) * 2012-02-23 2013-09-05 Toshiba Corp 映像表示装置
JP6040564B2 (ja) * 2012-05-08 2016-12-07 ソニー株式会社 画像処理装置、投影制御方法及びプログラム
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US20130335405A1 (en) * 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
US9310611B2 (en) * 2012-09-18 2016-04-12 Qualcomm Incorporated Methods and systems for making the use of head-mounted displays less obvious to non-users
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US9430877B2 (en) * 2013-01-25 2016-08-30 Wilus Institute Of Standards And Technology Inc. Electronic device and method for selecting augmented content using the same
WO2014119097A1 (ja) * 2013-02-01 2014-08-07 ソニー株式会社 情報処理装置、端末装置、情報処理方法及びプログラム
JP2014149712A (ja) * 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US9418629B2 (en) * 2013-03-15 2016-08-16 Disney Enterprises, Inc. Optical illumination mapping
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
JP5790692B2 (ja) * 2013-03-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
JP6089898B2 (ja) * 2013-04-09 2017-03-08 ソニー株式会社 画像処理装置および記憶媒体
US9639984B2 (en) * 2013-06-03 2017-05-02 Daqri, Llc Data manipulation based on real world object manipulation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1746821A (zh) * 2004-09-07 2006-03-15 佳能株式会社 虚拟现实呈现装置和信息处理方法
CN102693005A (zh) * 2011-02-17 2012-09-26 微软公司 使用3d深度相机和3d投影仪来提供交互式体验
CN102750079A (zh) * 2011-03-31 2012-10-24 索尼公司 终端设备、对象控制方法以及程序
US9055267B2 (en) * 2011-04-15 2015-06-09 Sony Computer Entertainment Europe Limited System and method of input processing for augmented reality

Also Published As

Publication number Publication date
US20200342687A1 (en) 2020-10-29
US20220277531A1 (en) 2022-09-01
US11954816B2 (en) 2024-04-09
CN104077023A (zh) 2014-10-01
US11348326B2 (en) 2022-05-31
US20140292645A1 (en) 2014-10-02
US10733807B2 (en) 2020-08-04
US20210150823A1 (en) 2021-05-20
US9261954B2 (en) 2016-02-16
US20240013503A1 (en) 2024-01-11
JP2014191718A (ja) 2014-10-06
US9886798B2 (en) 2018-02-06
US11836883B2 (en) 2023-12-05
US10922902B2 (en) 2021-02-16
US20180122149A1 (en) 2018-05-03
US20160163117A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
CN104077023B (zh) 显示控制设备、显示控制方法以及记录介质
US11188187B2 (en) Information processing apparatus, information processing method, and recording medium
US11538501B2 (en) Method for generating video, and electronic device and readable storage medium thereof
KR102595150B1 (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
US10187520B2 (en) Terminal device and content displaying method thereof, server and controlling method thereof
CN106371782A (zh) 移动终端及其控制方法
JP2014006880A (ja) 通信端末、表示方法、及びプログラム
CN109981944A (zh) 电子装置及其控制方法
CN113424228A (zh) 用于提供化身动画的电子装置及其方法
TW201145024A (en) Communication control device, communication control method, and program
WO2022052620A1 (zh) 图像生成方法及电子设备
CN113384880A (zh) 虚拟场景显示方法、装置、计算机设备及存储介质
CN105247574A (zh) 电子装置、电子装置的控制方法以及电脑可读取记录媒体
CN107851069A (zh) 图像管理系统、图像管理方法及程序
US11950030B2 (en) Electronic apparatus and method of controlling the same, and recording medium
JP2015090593A (ja) 情報処理装置、情報処理方法および情報処理システム
JP2017162014A (ja) 通信端末、画像通信システム、表示方法、及びプログラム
CN114093020A (zh) 动作捕捉方法、装置、电子设备及存储介质
US20230215098A1 (en) Method and system for creating and storing map target
KR20220156335A (ko) 전자 장치 및 이를 이용한 뎁스 정보에 기반한 이미지 처리 방법
JP2021027390A (ja) 表示端末、遠隔制御システム、表示制御方法およびプログラム
JP2021027395A (ja) 出力制御装置、表示端末、移動体、遠隔制御システム、出力制御方法およびプログラム
CN115357165A (zh) 编辑方法、装置、终端及存储介质
CN113409235A (zh) 一种灭点估计的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant