CN111512272A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN111512272A
CN111512272A CN201880080507.9A CN201880080507A CN111512272A CN 111512272 A CN111512272 A CN 111512272A CN 201880080507 A CN201880080507 A CN 201880080507A CN 111512272 A CN111512272 A CN 111512272A
Authority
CN
China
Prior art keywords
display
virtual object
orientation
orientation information
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880080507.9A
Other languages
English (en)
Inventor
若林一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111512272A publication Critical patent/CN111512272A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

[问题]使用户更顺畅地使用AR技术。[解决方案]提供了一种信息处理设备，包括：控制单元，其控制显示器，以参考指示移动体的位置和取向的位置和取向信息将与真实世界上的设定位置相关联的虚拟对象叠加在真实世界上；以及校正单元，其校正位置和取向信息。控制单元控制显示器，以在位置和取向信息从第一位置和取向信息被校正为与第一位置和取向信息不连续的第二位置和取向信息时执行转换显示，该转换显示指示将显示状况从基于第一位置和取向信息来显示虚拟对象的第一显示状况转换到基于第二位置和取向信息来显示虚拟对象的第二显示状况。

Description

信息处理设备、信息处理方法和程序
技术领域
本公开内容涉及信息处理设备、信息处理方法和计算机程序。
背景技术
将附加信息叠加并呈现在真实世界上的被称为增强现实(AR)的技术越来越引起了人们的注意。AR技术由例如头戴式显示器(HMD)来实现，HMD是要戴在用户头部的显示器。存在用于该技术的各种类型的显示器，例如将虚拟对象叠加并显示在用户的视野内的真实世界上的光学透视HMD、捕获真实世界并且将虚拟对象叠加并显示在通过捕获而获得的图像中的真实世界上的视频透视HMD(例如，参见专利文献1)。
引用列表
专利文献
专利文献1：JP 2011-203823A
发明内容
技术问题
然而，有时难以使用户正确地使用这种传统AR技术。例如，在使用HMD的AR技术中，可以根据指示HMD的位置和取向的位置和取向信息来控制与真实世界中的设定位置相关联的虚拟对象在真实世界上的叠加显示。因此，可以在不依赖于HMD的实际位置和取向的情况下将虚拟对象叠加在设定位置上。然而，有时由于例如用于检测HMD的位置和取向的传感器中的检测误差而发生位置和取向信息的误差。该误差可能导致虚拟对象的叠加位置与设定位置之间的偏差。因此，需要校正位置和取向信息。如果位置和取向信息被校正，则虚拟对象的叠加位置的改变可能是急剧的。因此，用户可能感觉不舒服等，并且由此可能难以有利于用户使用AR技术。
在本公开内容中，提供了新的和改进的信息处理设备、信息处理方法和计算机程序产品，以利于用户使用AR技术。
问题的解决方案
根据本公开内容，提供了一种信息处理设备，包括：控制单元，其控制显示器，以参考指示移动体的位置和取向的位置和取向信息将与真实世界上的设定位置相关联的虚拟对象叠加在真实世界上；以及校正单元，其校正位置和取向信息，其中，控制单元控制显示器，以在当位置和取向信息从第一位置和取向信息被校正为与第一位置和取向信息不连续的第二位置和取向信息时执行转换显示，该转换显示指示将显示状况从基于第一位置和取向信息来显示虚拟对象的第一显示状况转换到基于第二位置和取向信息的第二显示状况。
此外，根据本公开内容，提供了一种信息处理方法，包括：控制显示器，以参考指示移动体的位置和取向的位置和取向信息将与真实世界上的设定位置相关联的虚拟对象叠加在真实世界上；以及校正位置和取向信息，其中，控制单元控制显示器，以在位置和取向信息从第一位置和取向信息被校正为与第一位置和取向信息不连续的第二位置和取向信息时执行转换显示，该转换显示指示将显示状况从基于第一位置和取向信息来显示虚拟对象的第一显示状况转换到基于第二位置和取向信息的第二显示状况。
此外，根据本公开内容，提供了一种计算机程序，该计算机程序使得计算机充当：控制单元，其控制显示器，以参考指示移动体的位置和取向的位置和取向信息将与真实世界上的设定位置相关联的虚拟对象叠加在真实世界上；以及校正单元，其校正位置和取向信息，其中，控制单元控制显示器，以在位置和取向信息从第一位置和取向信息被校正为与第一位置和取向信息不连续的第二位置和取向信息时执行转换显示，该转换显示指示将显示状况从基于第一位置和取向信息来显示虚拟对象的第一显示状况转换到基于第二位置和取向信息的第二显示状况。
本发明的有益效果
如上所述，根据本公开内容，有利于用户使用AR技术。
上述效果不一定是限制性的。与该效果一起，或者代替该效果，本公开内容可以发挥本说明书中呈现的任何有益效果以及可以基于本说明书来构思的其他效果。
附图说明
图1是示意性地示出根据本公开内容的实施方式的显示器的示例配置的示意图。
图2是示出根据实施方式的信息处理设备的示例功能配置的框图。
图3是示出当执行导航应用时的示例显示图像的说明图。
图4是示出当执行导航应用时的示例显示图像的另一说明图。
图5是示出由根据实施方式的信息处理设备执行的处理的示例总体流程的流程图。
图6是示出与由根据实施方式的信息处理设备的控制单元执行的转换显示控制相关的处理的示例流程的流程图。
图7是示出由根据实施方式的信息处理设备的控制单元执行的第一转换显示控制的第一示例的示例流程的流程图。
图8是示出根据校正之前和之后的位置和取向信息的虚拟对象的设定位置与显示器的位置之间的示例关系的示意图。
图9是示出在沿着连接显示器的位置与虚拟对象的叠加位置的直线的方向上调整叠加位置的处理的示意图。
图10是指示第一转换显示控制的第一示例中的显示转换的示例的说明图。
图11是指示由根据参考例的信息处理设备控制的显示转换的示例的说明图。
图12是示出由根据实施方式的信息处理设备的控制单元执行的第一转换显示控制的第二示例的示例流程的流程图。
图13是指示第一转换显示控制的第二示例中的显示转换的示例的说明图。
图14是示出由根据实施方式的信息处理设备的控制单元执行的第二转换显示控制的第一示例的示例流程的流程图。
图15是指示第二转换显示控制的第一示例中的显示转换的示例的说明图。
图16是指示通过由根据参考例的信息处理设备执行的显示控制的显示转换的示例的说明图。
图17是示出由根据实施方式的信息处理设备的控制单元执行的第二转换显示控制的第二示例的示例流程的流程图。
图18是指示第二转换显示控制的第二示例中的显示转换的示例的说明图。
图19是示出由根据实施方式的信息处理设备的控制单元执行的第三转换显示控制的示例流程的流程图。
图20是示出指示第三转换显示控制中的显示转换的示例的说明图。
图21是示出指示由根据参考例的信息处理设备控制的显示转换的示例的说明图。
图22是示出指示在虚拟对象被确定为在紧邻开始转换显示控制之前或者紧邻终止转换显示控制之后不被显示在显示区域内的情况下执行的转换显示控制中的显示转换的示例的说明图。
具体实施方式
现在将参照附图详细描述本公开内容的优选实施方式。在说明书和附图中，具有基本相同功能配置的部件将由相同的附图标记指示，并且将省略其重复描述。
将根据以下内容进行描述。
1.显示器的配置
2.信息处理设备的操作
2-1.处理的总体流程
2-2.转换显示控制
2-2-1.第一转换显示控制
2-2-2.第二转换显示控制
2-2-3.第三转换显示控制
2-2-4. 补充
3.信息处理设备的效果
4.总结
1.显示器的配置
将参照图1至图4描述根据本公开内容的实施方式的显示器1。
图1是示意性地示出根据实施方式的显示器1的示例配置的示意图。
显示器1是头戴式显示器，头戴式显示器是在使用期间佩戴在用户头上的类型的显示器。显示器1是例如将虚拟对象叠加并显示在用户的视野中的真实世界上的光学透视头戴式显示器(HMD)。例如，显示器1包括面向佩戴显示器的用户的眼睛的透视构件以及将图像投影到透视构件上的机构。图像被投影到透视构件上，在透视构件上被反射，并且进入用户的眼睛，由此用户在视觉上将图像识别为虚拟图像。从而可以实现虚拟对象在真实世界上的叠加显示。显示器1是根据本公开内容的移动体的示例。
如图1所示，显示器1包括摄像装置20、位置和取向传感器30以及信息处理设备100。
摄像装置20捕获用户的视野中的真实世界。摄像装置20将所捕获的真实世界的图像输出到信息处理设备100。
位置和取向传感器30检测与显示器1的位置和取向相关的信息。位置和取向传感器30可以由多个传感器构成，例如，所述多个传感器包括诸如地磁传感器、加速度传感器、陀螺仪传感器和全球导航卫星系统(GNSS)传感器之类的运动传感器。利用这些传感器，位置和取向传感器30能够检测显示器1的位置、取向、加速度和角速度作为与显示器1的位置和取向相关的信息。例如，位置和取向传感器30能够使用地磁传感器和GNSS传感器来检测显示器1的位置和取向。位置和取向传感器30还能够使用加速度传感器和陀螺仪传感器来检测显示器1的加速度和角速度。位置和取向传感器30将检测结果输出到信息处理设备100。在使用基于来自摄像装置20的图像来测量显示器的位置的视觉同时定位与绘图(SLAM)技术的情况下，摄像装置20可以被集成在位置和取向传感器30中。
信息处理设备100包括作为算数处理器的中央处理单元(CPU)、作为存储例如由CPU使用的计算机程序和算数参数的存储器设备的只读存储器(ROM)、以及作为瞬时存储随着CPU的执行适当地改变的参数等的存储器设备的随机存取存储器(RAM)。信息处理设备100可以是显示器1的内置处理器。
图2是示出根据实施方式的信息处理设备100的示例功能配置的框图。
例如，如图2所示，信息处理设备100包括通信单元110、存储单元120、更新单元130、校正单元140和控制单元150。
信息处理设备100的通信单元110通过有线或无线信息网络与外部设备通信。
具体地，通信单元110从位置和取向传感器30接收与由位置和取向传感器30检测到的显示器1的位置和取向相关的信息，并且将该信息输出到存储单元120和更新单元130。通信单元110从摄像装置20接收由摄像装置20捕获的图像，并且将该图像输出到校正单元140。通信单元110接收从控制单元150输出的用于控制显示器1的操作指令，并且将该指令发送到显示器1。
存储单元120存储用于由信息处理设备100执行的各种处理的信息。
具体地，存储单元120存储指示显示器1的位置和取向的位置和取向信息以及与要叠加显示在真实世界上的虚拟对象相关的信息作为用于由控制单元150执行的显示控制的信息。存储单元120还存储要与由摄像装置20捕获的图像进行比较的标记图像作为由校正单元140用于校正处理的信息。
更新单元130更新显示器1的位置和取向信息。具体地，更新单元130重复更新存储在存储单元120中的位置和取向信息，以将该信息保持在最新状态。显示器1的位置和取向信息可以被认为是在与真实世界相关联的所谓全球坐标系上定义的元素。在这种情况下，通过使用显示器1的位置与虚拟对象的设定位置之间的关系，可以控制虚拟对象在真实世界上的叠加显示。
校正单元140校正显示器1的位置和取向信息。具体地，校正单元140校正存储在存储单元120中的位置和取向信息，以消除位置和取向信息的误差。在本说明书中，“校正”是指随着显示器1的位置或取向的瞬时改变(换言之，相对大的改变)而发生的信息的修改。校正前的位置和取向信息可以被称为第一位置和取向信息，校正后的位置和取向信息可以被称为第二位置和取向信息。第一位置和取向信息与第二位置和取向信息是彼此不连续的信息。
控制单元150向通信单元110输出操作指令以控制显示器1的操作。因此，控制了由显示器1将虚拟对象叠加在真实世界上的显示。如上所述，控制单元150控制显示器1，使得虚拟对象叠加在真实世界上。在本说明书中，由控制单元150执行的对将虚拟对象叠加在真实世界上的叠加显示的控制被称为显示控制。
控制单元150使用显示器1的位置和取向信息来控制显示器1以将与作为真实世界中的位置的设定位置相关联的虚拟对象叠加在真实世界上。具体地，控制单元150使用显示器1的位置和取向信息与设定位置之间的关系来控制显示器1，以将与设定位置相关联的虚拟对象叠加在真实世界上。该操作允许在不参考显示器1的位置和取向的情况下将虚拟对象叠加在相关联的设定位置上。
由信息处理设备100执行的显示控制被应用于例如导航应用。
图3和图4是示出当执行导航应用时显示器1的示例显示图像的说明图。具体地，图3示出了由佩戴显示器1并且在站场中移动的用户观看到的场景。图4示出了在图3的场景之后的某个时间处由在街道上移动的用户看到的另一场景。图3和图4中的显示区域50是显示器1在其上显示信息的区域，并且对应于用户的视野中的区域。
例如，如图3所示，当执行导航应用时，响应于用户的操作，在显示区域50中显示地图图像61。用户能够使用地图图像61来设定期望目的地。当用户设定目的地时，显示器1显示从当前地点到设定目的地的推荐路线。例如，显示器1显示指示推荐路线的箭头62，如图3和图4所示。
当用户接近目的地并且目的地进入用户的视野时，显示器1将与作为设定位置的目的地相关联的虚拟对象70叠加并显示在目的地上，如图4所示。因此，用户可以容易地识别目的地的的地点并且顺畅地到达该处。
为了在不使用显示器1的位置或取向的情况下将虚拟对象70叠加在目的地上，参考显示器1的位置和取向信息与目的地之间的关系来控制虚拟对象70的图像。在校正位置和取向信息时，虚拟对象70的叠加位置可以随着该校正而改变。当位置和取向信息从第一位置和取向信息被校正为与第一位置和取向信息不连续的第二位置和取向信息时，根据实施方式的信息处理设备100的控制单元150控制显示器1以执行转换显示，该转换显示指示将显示状况从基于第一位置和取向信息来显示虚拟对象70的第一显示状况转换到基于第二位置和取向信息的第二显示状况。这种方式利于AR技术的使用。
在本说明书中，控制单元150的显示控制被应用于作为光学透视HMD的显示器1；然而，控制单元150的显示控制所适用的移动体不限于该示例。
控制单元150的显示控制可以应用于视频透视HMD。在这种情况下，控制单元150控制视频透视HMD，以将虚拟对象叠加显示在图像中的真实世界上。控制单元150控制视频透视HMD或移动体，以参考HMD的位置和取向信息将与图像中的真实世界中的设定位置相关联的虚拟对象叠加在真实世界上。
控制单元150的显示控制可以应用于捕获真实世界的图像并且将虚拟对象叠加并显示在所捕获的真实世界的图像上的信息处理终端，例如智能电话和平板终端。在这种情况下，控制单元150对信息处理终端执行显示控制，以将虚拟对象叠加在所捕获的真实世界上。控制单元150控制作为移动体的信息处理终端，以参考信息处理终端的位置和取向信息将与图像中的真实世界上的设定位置相关联的虚拟对象叠加在真实世界上。
例如，控制单元150的显示控制可以应用于使用汽车、飞机、无人机或其他移动体来实现虚拟对象在真实世界上的叠加显示的系统的显示器。具体地，这种类型的显示器可以包括例如将虚拟对象叠加并显示在车辆或飞机上的乘客的视野中的图像中的真实世界上的平视显示器(HUD)；以及包括将虚拟对象叠加并显示在由捕获真实世界的无人机获得的图像中的真实世界上的显示器。在这种情况下，在显示控制中，控制单元150通过上述系统的显示来控制虚拟对象在真实世界上的叠加显示。具体地，控制单元150控制系统的显示器，以参考诸如汽车、飞机和无人机之类的移动体的位置和取向信息将与真实世界中的设定位置相关联的虚拟对象叠加在真实世界上。
2.信息处理设备的操作
现在将参照图5至图22描述根据实施方式的信息处理设备100的操作。
2-1.处理的总体流程
现在将参照图5描述由根据实施方式的信息处理设备100执行的处理的总体流程。
图5是示出由根据实施方式的信息处理设备100执行的处理的示例总体流程的流程图。例如，图5的处理流程被不断地重复。在图5的处理流程开始时，显示控制尚未开始。
在步骤S501处，在开始图5的处理流程时，信息处理设备100确定是否开始显示控制。如果信息处理设备100确定开始显示控制(在步骤S501处为是)，则处理进行到步骤S503。如果信息处理设备100确定不开始显示控制(在步骤S501处为否)，则终止图5的处理流程。
例如，当响应于用户的操作启动上述导航应用时，信息处理设备100确定开始显示控制。用于确定何时开始显示控制的触发不限于该示例。信息处理设备100可以在与导航应用不同的另一应用开始时确定开始显示控制。当显示器1的电源接通时，信息处理设备100可以确定开始显示控制。
以下描述主要说明当执行上述导航应用时与虚拟对象70的叠加显示相关的处理。不限于该示例，而是允许信息处理设备100即使在不同的环境中(例如，当执行另一应用时)也以类似的方式操作以叠加显示虚拟对象。
在步骤S503处，通信单元110获取显示器1的位置和取向信息。
例如，通信单元110从位置和取向传感器30接收与显示器1的位置和取向相关的检测结果作为位置和取向信息的初始值，并且将该结果存储在存储单元120中。
在步骤S505处，控制单元150执行正常显示控制。
控制单元150的正常显示控制是参考显示器1的位置和取向信息与虚拟对象70的设定位置之间的关系，使显示器1显示虚拟对象70。
例如，控制单元150执行正常显示控制，以使虚拟对象70相对于显示器1的实际位置和取向的、在其上叠加虚拟对象70的叠加位置与虚拟对象70相对于由位置和取向信息指示的显示器1的位置和取向的设定位置一致。该控制可以使虚拟对象70的叠加位置与虚拟对象70的设定位置彼此一致。如果虚拟对象70的叠加位置位于显示区域50中，则虚拟对象70相应地被显示在显示器1的显示区域50中。如果虚拟对象70的叠加位置在显示区域50之外，则虚拟对象70不被显示在显示器1的显示区域50中。
具体地，叠加位置是虚拟对象70被叠加在真实世界上的位置(在真实世界上绘制虚拟对象70的位置)。设定位置是以与虚拟对象70相关联的方式在真实世界中预先指定的位置。例如，在导航应用中，虚拟对象70的设定位置是由虚拟对象70指示的目的地。设定位置的信息例如被存储在存储单元120中。
如果由位置和取向信息指示的显示器1的位置和取向与显示器1的实际位置和取向一致，则虚拟对象70的叠加位置与设定位置一致。然而，如上所述，位置和取向传感器30的检测误差或类似误差可能导致位置和取向信息的误差(换言之，由位置和取向信息指示的显示器1的位置和取向与显示器1的实际位置和取向之间的差异)。这种位置和取向信息的误差可以导致虚拟对象70的叠加位置与设定位置之间的对应偏差。因此，如后所述，执行对位置和取向信息的校正，以减小虚拟对象70的叠加位置与设定位置之间的偏差。
在步骤S507处，信息处理设备100确定显示器1的位置和取向信息是否可校正。如果位置和取向信息被确定为可校正(在步骤S507处为是)，则处理进行到步骤S509。如果位置和取向信息被确定为不可校正(在步骤S507处为否)，则处理进行到步骤S511。
例如，通过将存储在存储单元120中的标记图像上的标记与来自摄像装置20的真实世界的图像上的对应标记进行比较，来执行如稍后所述的校正显示器1的位置和取向信息的处理。信息处理设备100在从摄像装置20获取包括标记的图像时确定位置和取向信息可校正。
在步骤S509处，校正单元140校正显示器1的位置和取向信息。具体地，将显示器1的位置和取向信息从第一位置和取向信息校正为与第一位置和取向信息不连续的第二位置和取向信息。
例如，校正单元140通过将来自摄像装置20的标记的图像与标记图像进行比较来校正位置和取向信息。标记图像是在显示器1固定在某一取向上的某一位置处的情况下由摄像装置20捕获的图像。标记图像例如被预先存储在存储单元120中。标记图像与特定位置和取向相关联。具体地，存储单元120预先存储在设定在各种位置和取向的显示器1的多个标记图像。标记图像可以包括被称为标记的物理对象，或者可以不具有这样的对象。作为标记图像与特定位置和取向之间的关联的关系，可以使用由信息处理设备100动态创建的关系，或者可以使用由另一系统预先创建的另一关系，或者可以使用这两种关系的组合。
校正单元140通过将来自摄像装置20的图像中的标记的位置、取向和比例与标记图像中的标记的位置、取向和比例进行比较，来识别显示器1的实际位置和取向。校正单元140将存储在存储单元120中的位置和取向信息校正为指示如上指定的显示器1的实际位置和取向的信息。这种校正处理消除了可能由于位置和取向传感器30的检测误差等而发生的位置和取向信息的误差。例如，如果由位置和取向传感器30检测到的位置和取向信息的误差大于阈值，则校正单元140可以校正位置和取向信息。阈值被设定成例如适当地减小虚拟对象70的叠加位置与设定位置之间的偏差。在校正位置和取向信息之后，在紧邻校正前的位置和取向信息可以作为历史存储在存储单元120中。
在步骤S600处，控制单元150执行与转换显示控制相关的处理。
在转换显示控制中，控制单元150控制显示器1以执行转换显示，该转换显示指示将显示状况从基于第一位置和取向信息(即校正前的位置和取向信息)来显示虚拟对象70的第一显示状况转换到基于第二位置和取向信息(即校正后的位置和取向信息)的第二显示状况。在转换显示控制中，控制显示器1，以指示正常显示控制中的显示方式已经从基于第一位置和取向信息或者校正前的位置和取向信息来显示对象的状况改变为基于第二位置和取向信息或者校正后的位置和取向信息来显示对象的状况。稍后将详细描述转换显示控制的处理流程。
在步骤S511处，信息处理设备100确定是否终止显示控制。如果信息处理设备100确定终止显示控制(在步骤S511处为是)，则终止图5的处理流程。如果信息处理设备100确定不终止显示控制(在步骤S511处为否)，则处理进行到步骤S513。
例如，当响应于用户的操作终止上述导航应用时，信息处理设备100确定终止显示控制。用于确定何时终止显示控制的触发不限于该示例。例如，信息处理设备100可以在与导航应用不同的另一应用终止时确定终止显示控制。信息处理设备100可以在显示器1的电源被关闭时确定终止显示控制。
在步骤S513处，更新单元130更新显示器1的位置和取向信息。
例如，更新单元130使用由位置和取向传感器30检测到的显示器1的加速度和角速度来更新存储在存储单元120中的位置和取向信息。
更新单元130可以基于由摄像装置20捕获的图像中的特征点的位置的改变来更新显示器1的位置和取向信息。例如，称为同时定位与绘图(SLAM)的技术使得能够使用来自摄像装置20的图像来更新位置和取向信息。更新单元130可以基于由位置和取向传感器30检测到的显示器1的位置和取向来更新显示器1的位置和取向信息。在这些情况中的任何一种情况下，可能发生位置和取向信息的误差。
处理返回到步骤S505，并且基于更新后的位置和取向信息来执行正常显示控制。
2-2.转换显示控制
如图6至图22所示，由根据实施方式的信息处理设备100的控制单元150执行与转换显示控制相关的处理。例如，与转换显示控制相关的处理对应于图5的处理流程中的步骤S600处的处理。
图6示出了与由根据实施方式的信息处理设备100的控制单元150执行的转换显示控制相关的处理流程。
图6是示出与由根据实施方式的信息处理设备100的控制单元150执行的转换显示控制相关的处理的示例流程的流程图。
转换显示控制具有基于在紧邻开始转换显示之前虚拟对象70是否被显示在显示区域50中来执行的处理与基于在紧邻终止转换显示之后虚拟对象70是否被显示在显示区域50中来执行的处理之间的差异。
在开始图6中的处理流程时，在步骤S601处，控制单元150确定在紧邻终止转换显示之后(换言之，当在紧邻校正位置和取向信息之后执行正常显示控制时)虚拟对象70是否被显示在显示区域50中。如果确定在紧邻终止转换显示之后虚拟对象70被显示在显示区域50中(在步骤S601处为是)，则处理进行到步骤S603。如果确定在紧邻终止转换显示之后虚拟对象70不被显示在显示区域50中(在步骤S601处为否)，则处理进行到步骤S605。
例如，允许控制单元150基于虚拟对象70相对于由校正后的位置和取向信息指示的显示器1的位置和取向的设定位置来确定虚拟对象70是否在紧邻终止转换显示之后被显示在显示区域50中。
在步骤S603处，控制单元150确定在紧邻开始转换显示之前(换言之，在紧邻校正位置和取向信息之前执行正常显示控制的情况下)虚拟对象70是否被显示在显示区域50中。如果确定在紧邻开始转换显示之前虚拟对象70被显示在显示区域50中(在步骤S603处为是)，则处理进行到步骤S610。如果确定在紧邻开始转换显示之前虚拟对象70不被显示在显示区域50中(在步骤S603处为否)，则处理进行到步骤S620。
例如，允许控制单元150基于虚拟对象70相对于由校正前的位置和取向信息指示的显示器1的位置和取向的设定位置来确定虚拟对象70是否在紧邻开始转换显示之前被显示在显示区域50中。
在步骤S610处，控制单元150执行第一转换显示控制。稍后将详细描述第一转换显示控制的处理流程。
在步骤S620处，控制单元150执行第二转换显示控制。稍后也将详细描述第二转换显示控制的处理流程。
在步骤S605处，控制单元150确定虚拟对象70是否在紧邻开始转换显示之前被显示在显示区域50中。如果确定虚拟对象70在紧邻开始转换显示之前被显示在显示区域50中(在步骤S605处为是)，则处理进行到步骤S630。如果确定虚拟对象70在紧邻开始转换显示之前不被显示在显示区域50中(在步骤S605处为否)，则终止图6的处理。
在步骤S630处，控制单元150执行第三转换显示控制。稍后将详细描述第三转换显示控制的处理流程。
详细描述基于步骤S601、S603和S605的确定处理的确定的结果执行的第一转换显示控制、第二转换显示控制和第三转换显示控制中的每一个类型。
2-2-1.第一转换显示控制
如图7至图13所示，将详细描述由根据实施方式的信息处理设备100的控制单元150执行的第一转换显示控制。
图7是示出由根据实施方式的信息处理设备100的控制单元150执行的第一转换显示控制的第一示例流程的流程图。
在开始图7的处理流程时，在步骤S611处，控制单元150将虚拟对象70的叠加位置调整到校正位置和取向信息之前的正常显示控制中指定的叠加位置处。
图8是示出虚拟对象70的设定位置P72与由校正之前和之后的位置和取向信息指示显示器1的位置之间的示例关系的示意图。在图8的示例中，位置P101是根据紧邻校正前的位置和取向信息来定位的显示器1的位置，位置P102是根据紧邻校正后的位置和取向信息来定位的显示器1的位置。
具体地，在校正时，其位置由位置和取向信息指示的显示器1从位置P101向位置P102移动了距离T。其方向由位置和取向信息指示的显示器1在校正时转动了角度R。
在图8的示例中，控制单元150在紧邻参考设定位置P72进行校正之前执行正常显示控制，该设定位置P72是相对于由紧邻校正前的位置和取向信息指示的显示器1的位置P101和方向确定的。显示器1的实际位置和取向对应于由紧邻校正后的位置和取向信息指示的显示器1的位置P102和取向。因此，在校正前的正常显示控制中的虚拟对象70的叠加位置是与设定位置P72不同的位置P71。
作为校正前的正常显示控制中的叠加位置的位置P71是通过在与从位置P101到位置P102的方向相同的方向上将设定位置P72移动距离T然后在与校正显示器1的取向时旋转显示器1的方向相同的方向上围绕位置P102将该位置转动角度R而得到的位置。
在图8的示例中，控制单元150计算位置P71作为在校正前的正常显示控制中虚拟对象70的叠加位置。控制单元150将虚拟对象70的叠加位置调整到计算出的位置P71。具体地，执行显示控制，使得相对于显示器1的实际位置和取向确定的虚拟对象70的叠加位置与相对于由校正后的位置和取向信息指示的显示器1的位置P102和取向确定的位置P71一致。
因此，控制单元150可以参考虚拟对象70的设定位置以及由校正之前和之后的位置和取向信息指示的显示器1的位置和取向的改变来指定在校正前的正常显示控制中虚拟对象70的叠加位置。在下述的转换显示控制的其他示例中，控制单元150类似地能够指定校正前的正常显示控制中的叠加位置。
在步骤S612处，控制单元150将虚拟对象70的叠加位置逐渐(例如逐步)改变为由校正后的正常显示控制中的位置和取向信息指示的叠加位置。
在图8的示例中，控制单元150使用相对于由校正后的位置和取向信息指示的显示器1的位置和取向确定的设定位置P72，执行校正后的正常显示控制。因此，虚拟对象70的叠加位置与校正后的正常显示控制中的设定位置P72一致。
在图8的示例中，控制单元150将虚拟对象70的叠加位置从作为校正前的正常显示控制中的叠加位置的位置P71，逐步改变为作为校正后的正常显示控制中的叠加位置的设定位置P72。通过执行逐步使得虚拟对象70相对于显示器1的实际位置和取向的叠加位置与相对于由校正后的位置和取向信息指示的显示器1的位置和取向的位置P71和设定位置P72之间的每个位置一致的显示控制，可以实现叠加位置的逐步改变。
以这种方式，控制单元150可以将虚拟对象70的设定位置指定为校正后的正常显示控制中的虚拟对象70的叠加位置。在以下描述的转换显示控制的其他示例中，控制单元150可以类似地指定虚拟对象70的设定位置作为校正后的正常显示控制中的叠加位置。
控制单元150可以使用各种参数来控制虚拟对象70的叠加位置的改变速度。在以下描述的转换显示控制的其他示例中，控制单元150可以类似地控制虚拟对象70的叠加位置的改变速度。
例如，控制单元150可以基于显示器1的运动来控制虚拟对象70的叠加位置的改变速度。具体地，控制单元150可以随着显示器1的位置或取向的改变速度的增大来增大虚拟对象70的叠加位置的改变速度。换言之，控制显示器1，使得在显示器1的位置或取向的改变速度为第一改变速度时虚拟对象70的叠加位置的改变速度大于在显示器1的位置或取向的改变速度为小于第一改变速度的第二改变速度时虚拟对象70的叠加位置的改变速度。显示器1的位置或取向的上述改变包括用户(显示器1)的行进速度和旋转速度的改变。
控制单元150可以基于虚拟对象70是否为移动对象(运动图像)来控制虚拟对象70的叠加位置的改变速度。如果虚拟对象70是移动对象，则与虚拟对象70是非移动对象(静止图像)时的情况相比，控制单元150可以增大虚拟对象70的叠加位置的改变速度。移动对象可以是动画图像以及在某些状况下移动的任何对象。
例如，控制单元150可以优先地在沿着连接显示器1的位置与虚拟对象70的叠加位置的直线的方向上改变虚拟对象70的叠加位置。图9是用于说明在沿着连接显示器1的位置与叠加位置的直线的方向上调整虚拟对象70的叠加位置的处理的示意图。例如，如图9所示，当虚拟对象70的叠加位置在位置P73上并且显示器1位于根据位置和取向信息的位置P103处时，控制单元150可以优先地沿着连接位置P103与位置P73的直线L1将叠加位置改变为位置P74。位置P74位于连接位置P103与位置P73的直线L1与垂直于直线L1并且经过设定位置P72的直线L2的交点处。换言之，位置P74是直线L1上最靠近设定位置P72的点。控制单元150可以仅当直线L1与L2之间的角度θ小于预定角度(例如，30度)时优选地沿着直线L1改变叠加位置。
控制单元150可以使虚拟对象70的叠加位置的改变速度保持恒定。在这种情况下，虚拟对象70的叠加位置随时间而改变。
通过该步骤来终止图7的处理。
图10是指示第一转换显示控制的第一示例中的显示转换的示例的示意图。图10描绘了作为校正前的正常显示控制中的叠加位置的位置P11以及作为校正后的正常显示控制中的叠加位置的设定位置P12。
如上所述，当确定虚拟对象70在紧邻开始转换显示之前并且在紧邻终止转换显示之后被显示在显示区域50中时，执行第一转换显示控制。因此，作为校正前的正常显示控制中的叠加位置的位置P11以及作为校正后的正常显示控制中的叠加位置的设定位置P12二者都位于显示区域50中。
例如，当在时间T11处执行第一转换显示控制的第一示例时，虚拟对象70的叠加位置被调整到位置P11。如图10所示，因此虚拟对象70如在紧邻转换显示控制之前一样被显示在显示区域50中的位置P11上。虚拟对象70的叠加位置在显示区域50中从位置P11逐步改变到设定位置P12。
具体地，在晚于时间T11的时间T12处，与在时间T11处的位置相比，虚拟对象70的叠加位置接近设定位置P12。在晚于时间T12的时间T13处，与在时间T12处的位置相比，虚拟对象70的叠加位置接近设定位置P12。在虚拟对象70与设定位置P12交叠的时间T14处，转换显示控制被切换到正常显示控制。
以这种方式，第一转换显示控制的第一示例使得在校正位置和取向信息之前已经显示在显示区域50中的位置P11上的虚拟对象70在校正位置和取向信息时在显示区域50中从位置P11逐步移动到设定位置P12。
图11是指示由根据参考例的信息处理设备执行的显示控制的显示转换的示例的说明图。根据参考例的信息处理设备与根据实施方式的信息处理设备100的不同之处在于，当校正了位置和取向信息时，处理器继续正常显示控制，而不是执行转换显示控制。图11示出了根据参考例的显示转换的详细示例，在该示例中，在紧邻校正位置和取向信息之前和之后的正常显示控制中，虚拟对象70被显示在显示区域50中。在参考例中，如图11所示，在校正位置和取向信息之前的T21时间处被显示在显示区域50中的位置P11上的虚拟对象70在校正位置和取向信息之后的时间T22处突然移动到显示区域50中的设定位置P12。
在参考例中，响应于对位置和取向信息的校正，显示区域50中的虚拟对象70突然移动。因此，校正位置和取向信息使得用户感觉不舒服。根据实施方式的信息处理设备100执行第一转换显示控制的第一示例，以防止在校正位置和取向信息时显示在显示区域50中的虚拟对象70突然移动。因此，信息处理设备100可以防止在校正位置和取向信息时用户感觉不舒服。
图12是示出由根据实施方式的信息处理设备100的控制单元150执行的第一转换显示控制的第二示例的示例流程的流程图。
在开始图12的处理流程时，在步骤S615处，控制单元150将虚拟对象70的叠加位置调整到基于校正前的正常显示控制中的位置和取向信息确定的叠加位置。
在步骤S616处，控制单元150逐渐(例如，逐步)将虚拟对象70的透明度增大到100％。
具体地，100％的透明度是最高级别的透明度。当虚拟对象70的透明度为100％时，即使当虚拟对象70的叠加位置在显示区域50中时，也不显示虚拟对象70。
在步骤S617处，控制单元150执行正常显示控制，以将虚拟对象70的叠加位置调整到基于校正后的位置和取向信息确定的叠加位置上。
在步骤S618处，控制单元150逐渐(例如，逐步)降低虚拟对象70的透明度。
通过该步骤终止图12的处理。
图13是指示第一转换显示控制的第二示例中的显示转换的示例的示意图。与图10一样，图13描绘了作为根据校正前的正常显示控制的叠加位置的位置P11以及根据校正后的正常显示控制的叠加位置的设定位置P12。
例如，当在时间T31处执行第一转换显示控制的第二示例时，虚拟对象70的叠加位置被调整到位置P11。如图13所示，因此，虚拟对象70如在紧邻转换显示之前一样被叠加并显示在显示区域50中的位置P11上。虚拟对象70的透明度逐步增大到100％，具体地，在晚于时间T31的时间T32处，虚拟对象70的透明度与时间T31相比增大。虚拟对象70的透明度进一步增大，并且在时间T33处变为100％。虚拟对象70相应地变为不被显示。
在时间T33处，虚拟对象70的叠加位置被调整到设定位置P12。然后，虚拟对象70的透明度逐步降低。在晚于时间T33的时间T34处，虚拟对象70的透明度与时间T33相比降低。随着虚拟对象70的透明度的进一步降低，在时间T35处，虚拟对象70被显示在设定位置P12上。转换显示控制被切换到正常显示控制。
以这种方式执行第一转换显示控制的第二示例，由此，在校正位置和取向信息之前已经显示在显示区域50中的位置P11上的虚拟对象70被淡出，然后，在校正位置和取向信息时，虚拟对象70在显示区域50中的设定位置P12处淡入。
与第一转换显示控制的第一示例相同，通过在校正位置和取向信息时执行第一转换显示控制的第二示例，可以防止由于虚拟对象70在显示区域50中的叠加位置的突然移动而使用户感到不舒服。
如上所述，在转换显示中，控制单元150可以控制显示器1，以逐渐改变虚拟对象70的可见度。在上述示例中，控制单元150通过逐渐改变虚拟对象70的透明度来改变虚拟对象70的可见度。控制单元150可以使用另一种方法来逐渐改变虚拟对象70的可见度。在以下描述的转换显示控制的其他示例中，控制单元150类似地能够通过改变对象的透明度或者通过使用除了该方法之外的任何方法来改变虚拟对象70的可见度。
例如，控制单元150可以通过逐渐改变对象的颜色来逐渐改变虚拟对象70的可见度。在另一示例中，虚拟对象70可以闪烁显示。控制单元150可以通过逐渐改变闪烁事件之间的间隔来逐渐改变虚拟对象70的可见度。
控制单元150能够使用各种参数来控制虚拟对象70的可见度改变的速度。在以下描述的转换显示控制的其他示例中，控制单元150类似地能够控制虚拟对象70的可见度的改变速度。
例如，控制单元150可以基于显示器1的运动来控制虚拟对象70的可见度的改变速度。控制单元150可以随着显示器1的位置或取向的改变速度的增大而增大虚拟对象70的可见度的改变速度。换言之，控制显示器1，使得在显示器1的位置或取向的改变速度为第一改变速度时虚拟对象70的可见度的改变速度大于在显示器1的位置或取向的改变速度为小于第一改变速度的第二改变速度时虚拟对象70的可见度的改变速度。显示器1的位置或取向的上述改变包括用户(显示器1)的行进速度和旋转速度的改变。
2-2-2.第二转换显示控制
如图14至图18所示，描述了由根据实施方式的信息处理设备100的控制单元150执行的第二转换显示控制。
图14是示出由根据实施方式的信息处理设备100的控制单元150执行的第二转换显示控制的第一示例的示例流程的流程图。
在开始图14的处理流程时，在步骤S621处，控制单元150将虚拟对象70的叠加位置调整到基于在校正前的正常显示控制中的位置和取向信息确定的叠加位置。
在步骤S622处，控制单元150将虚拟对象70的叠加位置逐渐(例如，逐步)改变为在校正位置和取向信息之后的正常显示控制中确定的叠加位置。
通过该步骤终止图14的处理。
图15是指示第二转换显示控制的第一示例中的显示转换的示例的示意图。图15描绘了作为根据校正前的正常显示控制的虚拟对象的叠加位置的位置P21以及作为根据校正后的正常显示控制的叠加位置的设定位置P22。
如上所述，当确定虚拟对象70在紧邻开始转换显示之前不被显示在显示区域50中并且确定在紧邻终止转换显示之后被显示在显示区域50中时，执行第二转换显示控制。因此，作为在校正前的正常显示控制中确定的叠加位置的位置P21位于显示区域50之外，并且之外在校正后的正常显示控制中确定的叠加位置的设定位置P22位于显示区域50中。
例如，当在时间T41处执行第二转换显示控制的第一示例时，虚拟对象70的叠加位置被调整到位置p21。如图15所示，因此，如在紧邻转换显示控制之前一样，虚拟对象70不被显示在显示区域50中。然后，虚拟对象70的叠加位置从显示区域50之外的位置P21逐步改变到显示区域50中的设定位置P22。
具体地，在晚于时间T41的时间T42处，与时间T41相比，虚拟对象70的叠加位置接近设定位置P22。在时间T42处，虚拟对象70的叠加位置位于显示区域50之外，因此虚拟对象70不被显示在显示区域50中。在晚于时间T42的时间T43处，与时间T42相比，虚拟对象70的叠加位置更接近设定位置P22。在时间T43处，虚拟对象70的叠加位置位于显示区域50内，因此虚拟对象70被显示在显示区域50中。在虚拟对象70被显示在设定位置P22处的时间T44处，转换显示控制被切换到正常显示控制。
以这种方式，例如，第二转换显示控制的第一示例使得在校正位置和取向信息之前未在显示区域50中显示的虚拟对象70在校正位置和取向信息时被显示在显示区域50的端部，然后从显示区域50中端部逐步移动到设定位置P22。
图16是指示通过由根据参考例的信息处理设备执行的显示控制的显示转换的示例的示意图。如上所述，在校正位置和取向信息时，根据参考例的信息处理设备继续正常显示控制，而不是执行转换显示控制。图16示出了参考例的示例显示转换，在该参考例中，虚拟对象70在校正位置和取向信息之前的正常显示控制中未被显示在显示区域50中，并且虚拟对象70在校正信息之后被显示在显示区域50中。在参考例中，例如，如图16所示，在校正位置和取向信息之前的时间T51处未被显示在显示区域50中的虚拟对象70在校正位置和取向信息时的时间T52处突然显示在显示区域50中的设定位置P22处。
参考例被配置成使得在校正位置和取向信息时虚拟对象70突然被显示在显示区域50中。这种在校正位置和取向信息时突然出现对象使得用户感觉不舒服。此外，突然显示在用户的视线上的虚拟对象70可能会限制用户前方的可见度。根据实施方式的信息处理设备100执行第二转换显示控制的第一示例，以防止在校正位置和取向信息时虚拟对象70突然出现在显示区域50中。因此，信息处理设备100可以防止在校正位置和取向信息时用户感觉不舒服并且难以观看前方。
图17是示出由根据实施方式的信息处理设备100的控制单元150执行的第二转换显示控制的第二示例的示例流程的流程图。
在开始图17的处理流程时，在步骤S625处，控制单元150将虚拟对象70的叠加位置调整到基于校正后的正常显示控制中的位置和取向信息确定的叠加位置，并且将虚拟对象70的透明度设定为100％。
在步骤S626处，控制单元150逐渐(例如，逐步)降低虚拟对象70的透明度。
通过该步骤结束图17的处理。
图18是指示第二转换显示控制的第二示例中的显示转换的示例的示意图。与图15一样，图18描绘了作为根据校正前的正常显示控制的叠加位置的位置P21以及根据校正后的正常显示控制的叠加位置设定位置P22。
例如，当在时间T61处执行第二转换显示控制的第二示例时，虚拟对象物70的叠加位置被调整到设定位置P22，并且虚拟对象物70的透明度被设定为100％。虽然虚拟对象物70的叠加位置在显示区域50内，但是虚拟对象物70不可见，然后，虚拟对象物70的透明度逐步降低，具体地，在晚于时间T61的时间T62处，虚拟对象物70的透明度与时间T61相比降低。随着虚拟对象物70的透明度进一步降低，在时间T63处，虚拟对象物70被显示在设定位置P22处，同时转换显示控制被切换成正常显示控制。
以这种方式，执行第二转换显示控制的第二示例使得在校正位置和取向信息之前虚拟对象70在其中不可见的显示区域50中在虚拟对象70在设定位置P22处淡入。
与第二转换显示控制的第一示例一样，第二转换显示控制的第二示例防止在校正位置和取向信息时虚拟对象70突然显示在显示区域50中。因此，第二示例有利于防止由于突然出现虚拟对象70而使用户感觉不舒服并且难以观看前方。
2-2-3.第三转换显示控制
如图19至图21所示，将描述由根据实施方式的信息处理设备100的控制单元150的第三转换显示控制。
图19是示出由根据实施方式的信息处理设备100的控制单元150执行的第三转换显示控制的示例流程的流程图。
在开始图19的处理流程时，在步骤S631处，控制单元150将虚拟对象70的叠加位置调整到基于校正后的正常显示控制中的位置和取向信息确定的叠加位置。
在步骤S632处，控制单元150使通知对象显示在与基于校正前的正常显示控制中的位置和取向信息确定的叠加位置对应的位置处。通知对象是用于通知执行显示状况从基于第一位置和取向信息(即校正前的位置和取向信息)的第一显示状况转换到基于第二位置和取向信息(即校正后的位置和取向信息)的第二显示状况的通知对象。在转换显示控制中，控制单元150可以控制显示器1，以将虚拟对象70的显示状况从基于第一位置和取向信息的第一显示状况瞬时改变为基于第二位置和取向信息的第二显示状况，并且显示通知对象。在转换显示中，虚拟对象70的显示状况包括虚拟对象70你显示在显示区域50中的状况，如稍后参照图20所描述的那样。
例如，控制单元150可以显示文本对象作为通知对象。不限于此，通知对象可以是标记或类似对象。通知对象可以是移动对象。
在步骤S633处，控制单元150确定是否经过了设定时间。如果确定已经经过了设定时间(在步骤S633处为是)，则处理进行到步骤S634。如果确定未经过设定时间(在步骤S633处为否)，则重复步骤S633的处理。
设定时间是例如是具有一定长度的时间段，该长度保证用户在一定程度上在视觉上识别到通知对象。
在步骤S634处，控制单元150停止显示通知对象。
通过该步骤终止图19的处理。
图20是指示第三转换显示控制中的显示转换的示例的示意图。图20描绘了作为校正之前的正常显示控制中的叠加位置的位置P31以及作为校正之后的正常显示控制中的叠加位置的设定位置P32。
如上所述，当确定虚拟对象70在紧邻开始转换显示之前被显示在显示区域50中并且确定在紧邻终止转换显示之后不被显示在显示区域50中时，执行第三转换显示控制。因此，作为校正前的叠加位置的位置P31可以位于显示区域50中，并且作为校正后的叠加位置的设定位置P32可以位于显示区域50之外。
例如，当在时间T71处执行第三转换显示控制时，虚拟对象70的叠加位置被调整到设定位置P32。因此，不在显示区域50中显示虚拟对象70。此外，通知对象被显示在与位置P31对应的位置处(其可以直接在位置P31上或者接近位置P31)。例如，如图20所示，由文本对象81和箭头82构成的通知对象被显示在与显示区域50中的位置P31对应的位置处，以通知虚拟对象70的叠加位置已经被移动。在时间T72处，当从开始显示文本对象81和箭头82起经过了设定时间时，不在显示器中显示文本对象81和箭头82，并且转换显示控制被切换到正常显示控制。
以这种方式，在校正位置和取向信息时，第三转换显示控制使得在校正位置和取向信息之前已经显示在显示区域50中的虚拟对象70变为不显示，并且使得通知对象被显示达设定时间。
图21是指示由根据参考例的信息处理设备控制的显示转换的示例的示意图。如上所述，根据参考例的信息处理设备在校正位置和取向信息时，继续正常显示控制而不执行转换显示控制。图21具体示出了参考例的示例显示转换，在该参考例中，在紧邻校正位置和取向信息之前的正常显示控制中在显示区域50中显示虚拟对象70，并且在紧邻信息校正之后的正常显示控制中不在显示区域50中显示虚拟对象70。在该参考例中，如图21所示，在校正位置和取向信息之前的时间T81处显示在显示区域50中的位置P31上的虚拟对象70在校正位置和取向信息时的时间T82处突然变为不显示状态。
在参考例中，在校正位置和取向信息时，显示区域50中的虚拟对象70突然变为非显示状态。因此，用户可能看不到虚拟对象70。根据实施方式的信息处理设备100在校正位置和取向信息时执行第三转换显示控制，以使用通知对象向用户通知虚拟对象70的叠加位置的改变。因此，信息处理设备100可以防止由于虚拟对象70突然变为非显示状态而使用户看不到虚拟对象70。
在上述配置中，当从开始显示通知对象起经过了设定时间时，终止显示通知对象。这种用于确定何时终止显示通知对象的触发不限于该示例。例如，当确定在开始显示通知对象之后显示器1保持终止达预定时间时，控制单元150可以终止显示通知对象。控制单元150可以例如基于位置和取向信息来确定显示器1是否保持终止达预定时间。因此，可以防止在用户在视觉上识别到通知对象之前终止通知对象的显示。
2-2-4.补充
在参照图6的上述示例中，如果确定虚拟对象70既不是在紧邻开始终止转换显示之前也不是在紧邻终止转换显示之后被显示在显示区域50中，则不执行转换显示控制。即使在该情况下，也允许控制单元150执行转换显示控制。例如，控制单元150可以将虚拟对象70的叠加位置从由校正前的位置和取向信息指示的叠加位置逐渐改变为由校正后的位置和取向信息指示的叠加位置。
图22是指示在确定虚拟对象70既不是在紧邻开始终止转换显示之前也不是在紧邻终止转换显示之后被显示在显示区域50中时执行的转换显示控制中的显示转换的示例的说明图。图22描绘了作为校正前的正常显示控制中的叠加位置的位置P41以及作为校正后的正常显示控制中的叠加位置的设定位置P42。作为校正前的正常显示控制中的叠加位置的位置P41以及作为校正后的正常显示控制中的叠加位置的设定位置P42二者都可以位于显示区域50之外。
例如，当在时间T91处执行该转换显示控制的情况下，虚拟对象70的叠加位置被调整到位置P41。如图22所示，如在紧邻转换显示之前一样，虚拟对象70不被显示在显示区域50中。然后，虚拟对象70的叠加位置从位置P41逐步改变到设定位置P42，位置P41和位置P42二者都在显示区域50之外。
具体地，在晚于时间T91的时间T92处，与时间T91相比，虚拟对象70的叠加位置接近设定位置P42。在晚于时间T92的时间T93处，与时间T92相比，虚拟对象70的叠加位置更接近设定位置P42。在时间T94处，虚拟对象70被显示在设定位置P42处，并且转换显示控制被切换到正常显示控制。
在校正位置和取向信息时，转换显示控制的执行逐渐改变虚拟对象70在显示区域50之外的叠加位置，该虚拟对象70未被显示在显示区域50中。这在用户将视线从虚拟对象70移动一会儿并且用位于显示区域50之外的虚拟对象70的叠加位置来校正位置和取向信息时可能发生。在这种情况下，控制单元150逐渐改变虚拟对象70在显示区域50之外的叠加位置，从而防止在紧邻校正位置和取向信息之后用户将视线返回到对象时用户看不到虚拟对象70。
尽管上述示例没有涉及用户在显示控制期间是否在视觉上识别到虚拟对象70，但是控制单元150可以控制显示器1，以基于用户是否在视觉上识别到虚拟对象70来执行转换显示。
例如，控制单元150可以控制显示器1，以在确定用户没有在视觉上识别到虚拟对象70时停止转换显示，然后在确定用户在视觉上识别到虚拟对象70时恢复转换显示。具体地，在执行使虚拟对象70的叠加位置或可见度逐渐改变的转换显示控制时，控制单元150可以仅当确定用户在视觉识别到虚拟对象70时逐渐改变虚拟对象70的叠加位置或可见度。
例如，在确定用户没有在视觉上识别到虚拟对象70时，控制单元150可执行这样的转换显示：与确定用户在视觉上识别到虚拟对象70的显示控制相比，虚拟对象70的叠加位置的改变速度或者虚拟对象70的可见度的改变速度可以被增大。该操作使得能够在用户难以识别叠加位置或可见度的改变的情况下快速改变虚拟对象70的叠加位置或可见度。
控制单元150可以通过检测用户的视线来确定用户是否在视觉上识别到虚拟对象70。具体地，通过使用检测用户的视线的眼睛跟踪传感器来实现对用户的视线的检测。具体地，将眼睛跟踪传感器安装到显示器1，具体地，安装在面向用户到面部的位置。传感器对用户的面部进行成像，并且对图像执行图像处理以检测用户的视线。眼睛跟踪传感器可以基于面部所面向的方向来检测用户的视线，或者可以使用角膜反射来进行检测。
控制单元150可以基于例如虚拟对象70是否被显示在显示区域50中来确定用户是否在视觉上识别到虚拟对象70。换言之，允许控制单元150根据虚拟对象70被显示在显示区域50中这一事实来确定用户在视觉上识别到虚拟对象70。
如上所述，例如，如果确定虚拟对象70在紧邻终止转换显示之后被显示在显示区域50中，则控制单元150执行第一转换显示控制或者第二转换显示控制，以逐渐改变虚拟对象70的叠加位置或可见度。例如，如果确定虚拟对象70在紧邻开始转换显示之前被显示在显示区域50中并且确定在紧邻终止转换显示之后不被显示在显示区域50中，则控制单元150还执行第三转换显示控制，以显示通知对象。由每个转换显示控制执行的显示控制不限于上述示例。
例如，除了逐渐改变虚拟对象70的叠加位置或可见度之外，第一转换显示控制和第二转换显示控制还可以执行显示控制，以显示通知对象。
第三转换显示控制可以执行显示控制，以逐渐改变虚拟对象70的叠加位置或可见度。除了显示通知对象之外，第三转换显示控制还可以执行显示控制，以逐渐改变虚拟对象70的叠加位置或可见度。
例如，上述转换显示控制可以执行显示控制，以逐渐改变虚拟对象70的叠加位置，同时逐渐改变虚拟对象70的可见度。具体地，150在上述转换显示控制中，控制单元可以逐渐改变虚拟对象70的叠加位置和可见度，使得在开始移动叠加位置之前可见度降低，并且在终止移动叠加位置之前可见度增大。
在以上描述中没有给出下述示例：在与设定位置相关联的多个虚拟对象被显示在显示区域50中。在该示例中，控制单元150仅对虚拟对象中的一些执行转换显示控制。例如，控制单元150可以对被确定为由在用户视觉上识别到的虚拟对象排他地执行转换显示控制。具体地，在第三转换显示控制中，控制单元150可以使排他地用于被确定为由用户在视觉上识别到的虚拟对象的通知对象被显示。控制单元150可以例如通过检测用户的视线来确定哪些虚拟对象在视觉上被用户识别到。仅对被确定为由用户在视觉上识别到的虚拟对象执行转换显示控制，从而防止在转换显示控制期间过量的信息被暴露给用户。
3.信息处理设备的效果
现在将描述根据实施方式的信息处理设备100。
当作为移动体的显示器1的位置和取向信息从第一位置和取向信息被校正为与第一位置和取向信息不连续的第二位置和取向信息时，实施方式的信息处理设备100控制作为移动体的显示器1执行转换显示，该转换显示指示将显示状况从基于第一位置和取向信息来显示虚拟对象70的第一显示状况转换到基于第二位置和取向信息的第二显示状况。相应地，可以防止在校正位置和取向信息时由于虚拟对象70的叠加位置发生突然改变而使用户难以顺畅地使用AR技术。结果，因此可以有利于AR技术的使用。
根据实施方式的信息处理设备100可以控制显示器1，以在转换显示中逐渐改变虚拟对象70的叠加位置。该控制可以防止由于在校正位置和取向信息时虚拟对象70的叠加位置发生突然改变而使用户感觉不舒服并且难以观看前方。因此，可以有利于AR技术的使用。
本实施方式的信息处理设备100可以控制作为移动体的显示器1，使得在转换显示中，当显示器1的位置或取向的改变速度是第一改变速度时虚拟对象70的叠加位置的改变速度大于当显示器1的位置或取向的改变速度是小于第一改变速度的第二改变速度时虚拟对象的叠加位置的改变速度。当显示器1的位置或取向以更大的速度改变时，预期用户更不会意识到虚拟对象70的叠加位置的改变。因此，基于显示器1的位置或取向的改变速度来控制虚拟对象70的叠加位置的改变速度，从而能够在防止用户感觉不舒服的情况下快速改变叠加位置。
本实施方式的信息处理设备100可以控制显示器1，使得在转换显示中，与非动画虚拟对象70相比，移动的虚拟对象70的叠加位置的改变速度更高。如果虚拟对象70是移动对象，则与非移动虚拟对象70相比，预期用户可能更不会意识到虚拟对象70的叠加位置的变化。因此，基于虚拟对象70是否为移动对象来控制虚拟对象70的叠加位置的变化速度。这种方式能够在防止用户感觉到不舒服的情况下快速改变叠加位置。
本实施方式的信息处理设备100可以控制作为移动体的显示器1，以在转换显示中优选地在沿着连接显示器1的位置与虚拟对象70的叠加位置的直线的方向上移动虚拟对象70的叠加位置。在沿着连接显示器1的位置与虚拟对象70的叠加位置的直线的方向上移动叠加位置的情况下，与沿着其他方向移动叠加位置的情况相比，预期用户更不会意识到虚拟对象70的叠加位置的改变。因此，优选地沿着连接显示器1的位置与虚拟对象70的叠加位置的直线的方向上移动虚拟对象70，同时能够在抑制用户感到不舒服的情况下快速改变叠加位置。
本实施方式的信息处理设备100可以控制显示器1，使得如果确定虚拟对象70在紧邻终止转换显示之后被显示在显示器1的显示区域50中，则在转换显示中逐渐改变虚拟对象70的叠加位置。在不执行这种转换显示控制的情况下，显示在显示区域50中的虚拟对象70将突然移动，这可能使用户感觉不舒服。在其他情况下，虚拟对象70将突然被显示在显示区域50中，并且用户可能难以观看前方。通过逐渐改变虚拟对象70的叠加位置，防止了在校正位置和取向信息时用户感觉不舒服以及难以观看前方。
本实施方式的信息处理设备100可以控制显示器1，以在转换显示中逐渐改变虚拟对象70的可见度。该控制可以防止由于校正位置和取向信息时虚拟对象70的叠加位置的突然改变而导致用户感到不舒服以及难以观看前方。因此，可以有利于AR技术的使用。
本实施方式的信息处理设备100可以控制作为移动体的显示器1，使得在转换显示中，当显示器1的位置或取向的改变速度是第一改变速度时虚拟对象70的可见度的改变速度大于当显示器1的位置或取向的改变速度是小于第一改变速度的第二改变速度时虚拟对象的可见度的改变速度。通过该控制，预期随着显示器1的位置或取向的改变速度的增大，用户更不会意识到虚拟对象70的可见度的改变。因此，基于显示器1的位置或取向的改变速度来控制虚拟对象70的可见度的改变速度。这种方式使得能够在防止用户感觉不舒服的情况下快速改变虚拟对象70的可见度。
根据实施方式的信息处理设备100控制显示器1，以在转换显示中通过逐渐改变虚拟对象70的透明度来逐渐改变虚拟对象70的可见度。该控制允许虚拟对象70在显示区域50中淡入或淡出，由此有效地改变虚拟对象70的可见度。
本实施方式的信息处理设备100可以控制显示器1，使得如果确定虚拟对象70在紧邻终止转换显示之后被显示在显示区域50中，则在转换显示中逐渐改变虚拟对象70的可见度。在不执行这种转换显示控制的情况下，显示在显示区域50中的虚拟对象70将突然移动，这可能使用户感觉不舒服。在其他情况下，虚拟对象70将突然被显示在显示区域50中，并且用户可能难以观看前方。在校正位置和取向信息时，逐渐改变虚拟对象70的可见度，从而可以防止用户感觉不舒服以及难以观看前方。
本实施方式的信息处理设备100可以控制显示器1，以在转换显示中将虚拟对象70的显示状况从与第一位置和取向信息相关联的第一显示状况瞬时改变为与第二位置和取向信息相关联的第二显示状况，并且显示通知对象以通知已执行了转换显示。该控制可以防止在校正位置和取向信息时虚拟对象70的叠加位置发生突然改变而使用户看不到虚拟对象70。因此，可以有利于AR技术的使用。
本实施方式的信息处理设备100可以控制显示器1，以在转换显示中显示作为通知对象的文本对象。可以适当地通知用户虚拟对象70的叠加位置的改变。
本实施方式的信息处理设备100可以控制显示器1，使得如果确定虚拟对象70在紧邻开始转换显示之前被显示在显示区域50中并且确定在紧邻终止转换显示之后不被显示在显示区域50中，则在转换显示中显示通知对象。在不执行这种转换显示控制的情况下，显示在显示区域50中的虚拟对象70将突然消失。因此，在校正位置和取向信息时用户可能看不到虚拟对象70。因此，显示通知对象使得能够在校正位置和取向信息时适当地防止用户看不到虚拟对象70。
实施方式的信息处理设备100可以控制显示器1，以基于用户是否在视觉上识别到虚拟对象70来执行转换显示。因此，可以基于用户注意到虚拟对象70的叠加位置或可见度的改变的容易程度来适当地执行转换显示控制。
实施方式的信息处理设备100可以通过检测用户的视线来确定用户是否在视觉上识别到虚拟对象70。因此，可以适当地确定用户是否在视觉上识别到虚拟对象70。
实施方式的信息处理设备100可以控制显示器1，以在确定用户没有在视觉上识别到虚拟对象70时停止转换显示，然后在确定用户在视觉上识别到虚拟对象70时恢复转换显示。可以在校正位置和取向信息时适当地通知用户发生了转换。
当由位置和取向传感器30检测到的位置和取向信息的误差超过阈值时，本实施方式的信息处理设备100可以校正位置和取向信息。因此，可以适当地防止虚拟对象70的叠加位置与设定位置之间的偏差。
4.总结
如上所述，根据实施方式的信息处理设备100包括控制单元150，该控制单元150控制显示器1，以参考移动体的位置和取向信息将与真实世界中的设定位置相关联的虚拟对象叠加在真实世界上。控制单元150控制显示器1，以在位置和取向信息从第一位置和取向信息被校正为与第一位置和取向信息不连续的第二位置和取向信息时，执行转换显示，该转换显示指示将显示状况从基于第一位置和取向信息来显示虚拟对象70的第一显示状况转换到基于第二位置和取向信息的第二显示状况。
以上示例描述了用于由信息处理设备100执行的每个处理的信息被存储在信息处理设备100的存储单元120中的情况。这样的信息可以被存储在信息处理设备100外部的任何设备中。通信单元110与外部设备通信以获得信息处理设备100的这种信息。在这种情况下，可以从信息处理设备100的配置中省略存储单元120。
上述示例描述了位置和取向传感器30被安装在显示器1中的情况；然而，位置和取向传感器30可以被安装在显示器1的外部。换言之，位置和取向传感器30不一定与显示器1一体地移动。位置和取向传感器30可以被安装在车辆中、道路上、建筑物中以及类似的地方。即使在这种情况下，信息处理设备100也与位置和取向传感器30通信，并且可以从位置和取向传感器30获得与显示器1的位置和取向相关的信息。
以上示例描述了信息处理设备100安装在显示器1中的情况；然而，信息处理设备100可以被安装在显示器1的外部。换言之，信息处理设备100不一定与显示器1一体地移动。即使在这种情况下，信息处理设备100也可以通过与显示器1通信来控制显示器1的操作。
由说明书中描述的部件执行的一系列控制处理可以由软件、硬件以及软件和硬件的组合中的任何一个来实现。例如，构成软件的计算机程序被预先存储在存储介质(非暂态介质)中，该存储介质被安装在部件的内部或外部。计算机程序在被执行时加载到RAM上，并且由诸如CPU之类的处理器执行。计算机程序可以由一个处理器或多个处理器执行。
具体地，用于实现信息处理设备100的上述功能的计算机程序可以被创建并且安装到诸如个人计算机(PC)的系统。信息处理设备100可以对应于计算机。可以提供存储这种计算机程序的计算机可读存储介质。存储介质的示例包括磁盘、光盘、磁光盘和闪速存储器。计算机程序可以经由网络而不是使用存储介质来分发。信息处理设备100的功能可以分散到多个计算机。在这种情况下，每个计算机可以使用上述计算机程序来实现该功能。
在说明书中使用流程图描述的处理不一定以流程图中所示的顺序执行。一些处理步骤可以并行执行。可以将补充处理步骤添加到处理流程中。可以从流程中省略一些处理步骤。
已参照附图详细描述了优选实施方式。应当注意，本公开内容的技术范围不限于所描述的示例。具有关于本公开内容的技术领域的公知常识的技术人员显然可以在不脱离所附权利要求书中的技术思想的范围的情况下想到各种改变和修改。这些改变和修改显然被包括在本公开内容的技术方案中。
说明书中描述的效果仅用于说明和示例而不是限制性的。根据本公开内容的技术与上述效果一起或代替上述效果展现各种有益效果，并且能够带来对于本领域技术人员而言从本说明书的描述中明显能够得到的其他优点。
以下配置被包括在本公开内容的技术范围中。
(1)
一种信息处理设备，包括：
控制单元，其控制显示器，以参考指示移动体的位置和取向的位置和取向信息将与真实世界上的设定位置相关联的虚拟对象叠加在所述真实世界上；以及
校正单元，其校正所述位置和取向信息，其中，
所述控制单元控制所述显示器，以在所述位置和取向信息从第一位置和取向信息被校正为与所述第一位置和取向信息不连续的第二位置和取向信息时执行转换显示，所述转换显示指示将显示状况从基于所述第一位置和取向信息来显示所述虚拟对象的第一显示状况转换到基于所述第二位置和取向信息的第二显示状况。
(2)
根据(1)所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中逐渐改变所述虚拟对象的叠加位置。
(3)
根据(2)所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中将在所述移动体的位置或取向的改变速度为第一改变速度时所述叠加位置的改变速度设定成大于在所述移动体的位置或取向的改变速度为小于所述第一改变速度的第二改变速度时所述叠加位置的改变速度。
(4)
根据(2)或(3)所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中将在所述虚拟对象是移动对象时所述叠加位置的改变速度设定成大于在所述虚拟对象是非移动对象时所述叠加位置的改变速度。
(5)
根据(2)至(4)中任一项所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中优先地在沿着连接所述移动体的位置与所述叠加位置的直线的方向上改变所述叠加位置。
(6)
根据(2)至(5)中任一项所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述虚拟对象被确定为在紧邻终止所述转换显示之后被显示在所述显示器的显示区域中时，在所述转换显示中逐渐改变所述叠加位置。
(7)
根据(1)至(6)中任一项所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中逐渐改变所述虚拟对象的可见度。
(8)
根据(7)所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中将在所述移动体的位置或取向的改变速度为第一改变速度时所述可见度的改变速度设定成大于在所述移动体的位置或取向的改变速度为小于所述第一改变速度的第二改变速度时所述可见度的改变速度。
(9)
根据(7)或(8)所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中通过逐渐改变所述虚拟对象的透明度来逐渐改变所述可见度。
(10)
根据(7)至(9)中任一项所述的信息处理设备，
其中，所述控制单元控制所述显示器，以在所述虚拟对象被确定为在紧邻终止所述转换显示之后被显示在显示区域中时，在所述转换显示中逐渐改变所述可见度。
(11)
根据(1)至(10)中任一项所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中将所述虚拟对象的显示状况从与所述第一位置和取向信息相关联的第一显示状况瞬时改变为与所述第二位置和取向信息相关联的第二显示状况，并且显示用于通知执行所述转换显示的通知对象。
(12)
根据(11)所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中显示作为所述通知对象的文本对象。
(13)
根据(11)或(12)所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述虚拟对象被确定为在紧邻开始所述转换显示之前被显示在所述显示区域中并且被确定为在紧邻终止所述转换显示之后不被显示在所述显示区域中时，在所述转换显示中显示所述通知对象。
(14)
根据(1)至(13)中任一项所述的信息处理设备，其中，所述控制单元控制所述显示器，以基于用户是否正在视觉识别所述虚拟对象的确定来执行所述转换显示。
(15)
根据(14)所述的信息处理设备，其中，所述控制单元通过检测所述用户的视线来确定所述用户是否正在视觉识别所述虚拟对象。
(16)
根据(14)或(15)所述的信息处理设备，其中，所述控制单元控制所述显示器，以在确定所述用户没有正在视觉识别所述虚拟对象时停止所述转换显示，然后在确定所述用户正在视觉识别所述虚拟对象时恢复所述转换显示。
(17)
根据(1)至(16)中任一项所述的信息处理设备，其中，所述显示器是头戴式显示器。
(18)
根据(1)至(17)中任一项的信息处理设备，其中，
所述位置和取向信息由被配置成检测所述移动体的位置和取向的位置和取向传感器检测，并且
所述校正单元在由所述位置和取向传感器检测到的位置和取向信息的误差等于或大于阈值时，校正所述位置和取向信息。
(19)
一种信息处理方法，包括：
控制显示器，以参考指示移动体的位置和取向的位置和取向信息将与真实世界上的设定位置相关联的虚拟对象叠加在所述真实世界上；以及
校正所述位置和取向信息，其中，
所述控制单元控制所述显示器，以在所述位置和取向信息从第一位置和取向信息被校正为与所述第一位置和取向信息不连续的第二位置和取向信息时执行转换显示，所述转换显示指示将显示状况从基于所述第一位置和取向信息来显示所述虚拟对象的第一显示状况转换到基于所述第二位置和取向信息的第二显示状况。
(20)
一种计算机程序，其使计算机充当：
控制单元，其控制显示器，以参考指示移动体的位置和取向的位置和取向信息将与真实世界上的设定位置相关联的虚拟对象叠加在所述真实世界上；以及
校正单元，其校正所述位置和取向信息，其中，
所述控制单元控制所述显示器，以在所述位置和取向信息从第一位置和取向信息被校正为与所述第一位置和取向信息不连续的第二位置和取向信息时执行转换显示，所述转换显示指示将显示状况从基于所述第一位置和取向信息来显示所述虚拟对象的第一显示状况转换到基于所述第二位置和取向信息的第二显示状况。
附图标记列表
1 显示器
20 摄像装置
30 位置和取向传感器
50 显示区域
70 虚拟对象
100 信息处理设备
110 通信单元
120 存储单元
130 更新单元
140 校正单元
150 控制单元

Claims (20)

1.一种信息处理设备，包括：
控制单元，其控制显示器，以参考指示移动体的位置和取向的位置和取向信息将与真实世界上的设定位置相关联的虚拟对象叠加在所述真实世界上；以及
校正单元，其校正所述位置和取向信息，其中，
所述控制单元控制所述显示器，以在所述位置和取向信息从第一位置和取向信息被校正为与所述第一位置和取向信息不连续的第二位置和取向信息时执行转换显示，所述转换显示指示将显示状况从基于所述第一位置和取向信息来显示所述虚拟对象的第一显示状况转换到基于所述第二位置和取向信息的第二显示状况。
2.根据权利要求1所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中逐渐改变所述虚拟对象的叠加位置。
3.根据权利要求2所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中将在所述移动体的位置或取向的改变速度为第一改变速度时所述叠加位置的改变速度设定成大于在所述移动体的位置或取向的改变速度为小于所述第一改变速度的第二改变速度时所述叠加位置的改变速度。
4.根据权利要求2所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中将在所述虚拟对象是移动对象时所述叠加位置的改变速度设定成大于在所述虚拟对象是非移动对象时所述叠加位置的改变速度。
5.根据权利要求2所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中优先地在沿着连接所述移动体的位置与所述叠加位置的直线的方向上改变所述叠加位置。
6.根据权利要求2所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述虚拟对象被确定为在紧邻终止所述转换显示之后被显示在所述显示器的显示区域中时，在所述转换显示中逐渐改变所述叠加位置。
7.根据权利要求1所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中逐渐改变所述虚拟对象的可见度。
8.根据权利要求7所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中将在所述移动体的位置或取向的改变速度为第一改变速度时所述可见度的改变速度设定成大于在所述移动体的位置或取向的改变速度为小于所述第一改变速度的第二改变速度时所述可见度的改变速度。
9.根据权利要求7所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中通过逐渐改变所述虚拟对象的透明度来逐渐改变所述可见度。
10.根据权利要求7所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述虚拟对象被确定为在紧邻终止所述转换显示之后被显示在显示区域中时，在所述转换显示中逐渐改变所述可见度。
11.根据权利要求1所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中将所述虚拟对象的显示状况从与所述第一位置和取向信息相关联的第一显示状况瞬时改变为与所述第二位置和取向信息相关联的第二显示状况，并且显示用于通知执行所述转换显示的通知对象。
12.根据权利要求11所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述转换显示中显示作为所述通知对象的文本对象。
13.根据权利要求11所述的信息处理设备，其中，所述控制单元控制所述显示器，以在所述虚拟对象被确定为在紧邻开始所述转换显示之前被显示在所述显示区域中并且被确定为在紧邻终止所述转换显示之后不被显示在所述显示区域中时，在所述转换显示中显示所述通知对象。
14.根据权利要求1所述的信息处理设备，其中，所述控制单元控制所述显示器，以基于用户是否正在视觉识别所述虚拟对象的确定来执行所述转换显示。
15.根据权利要求14所述的信息处理设备，其中，所述控制单元通过检测所述用户的视线来确定所述用户是否正在视觉识别所述虚拟对象。
16.根据权利要求14所述的信息处理设备，其中，所述控制单元控制所述显示器，以在确定所述用户没有正在视觉识别所述虚拟对象时停止所述转换显示，然后在确定所述用户正在视觉识别所述虚拟对象时恢复所述转换显示。
17.根据权利要求1所述的信息处理设备，其中，所述显示器是头戴式显示器。
18.根据权利要求1所述的信息处理设备，其中，
所述位置和取向信息由被配置成检测所述移动体的位置和取向的位置和取向传感器检测，并且
所述校正单元在由所述位置和取向传感器检测到的位置和取向信息的误差等于或大于阈值时，校正所述位置和取向信息。
19.一种信息处理方法，包括：
控制显示器，以参考指示移动体的位置和取向的位置和取向信息将与真实世界上的设定位置相关联的虚拟对象叠加在所述真实世界上；以及
校正所述位置和取向信息，其中，
所述控制单元控制所述显示器，以在所述位置和取向信息从第一位置和取向信息被校正为与所述第一位置和取向信息不连续的第二位置和取向信息时执行转换显示，所述转换显示指示将显示状况从基于所述第一位置和取向信息来显示所述虚拟对象的第一显示状况转换到基于所述第二位置和取向信息的第二显示状况。
20.一种计算机程序，其使计算机充当：
控制单元，其控制显示器，以参考指示移动体的位置和取向的位置和取向信息将与真实世界上的设定位置相关联的虚拟对象叠加在所述真实世界上；以及
校正单元，其校正所述位置和取向信息，其中，
所述控制单元控制所述显示器，以在所述位置和取向信息从第一位置和取向信息被校正为与所述第一位置和取向信息不连续的第二位置和取向信息时执行转换显示，所述转换显示指示将显示状况从基于所述第一位置和取向信息来显示所述虚拟对象的第一显示状况转换到基于所述第二位置和取向信息的第二显示状况。
CN201880080507.9A 2017-12-20 2018-10-03 信息处理设备、信息处理方法和程序 Pending CN111512272A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-244026 2017-12-20
JP2017244026 2017-12-20
PCT/JP2018/037084 WO2019123770A1 (ja) 2017-12-20 2018-10-03 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN111512272A true CN111512272A (zh) 2020-08-07

Family

ID=66992558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880080507.9A Pending CN111512272A (zh) 2017-12-20 2018-10-03 信息处理设备、信息处理方法和程序

Country Status (6)

Country Link
US (1) US11468868B2 (zh)
EP (1) EP3731066A4 (zh)
JP (1) JP7226332B2 (zh)
KR (1) KR102477842B1 (zh)
CN (1) CN111512272A (zh)
WO (1) WO2019123770A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702643B (zh) * 2019-10-22 2023-07-21 上海哔哩哔哩科技有限公司 弹幕信息显示方法、装置、移动终端
JPWO2023026634A1 (zh) * 2021-08-25 2023-03-02
WO2023189580A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 画像処理装置及び画像処理システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090005961A1 (en) * 2004-06-03 2009-01-01 Making Virtual Solid, L.L.C. En-Route Navigation Display Method and Apparatus Using Head-Up Display
CN105682973A (zh) * 2013-10-22 2016-06-15 日本精机株式会社 车辆信息投影系统和投影装置
WO2017061388A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 情報処理装置、位置および／または姿勢の推定方法、およびコンピュータプログラム
US20170186237A1 (en) * 2015-12-28 2017-06-29 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN107408026A (zh) * 2015-03-31 2017-11-28 索尼公司 信息处理设备、信息处理方法和计算机程序

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3486536B2 (ja) * 1997-09-01 2004-01-13 キヤノン株式会社 複合現実感提示装置および方法
US6522312B2 (en) 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
JP2003216552A (ja) * 2002-01-23 2003-07-31 Equos Research Co Ltd 情報種別表示プログラム
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9767799B2 (en) 2013-05-21 2017-09-19 Mitsubishi Electric Corporation Voice recognition system and recognition result display apparatus
EP3012587A4 (en) * 2013-06-17 2017-03-08 Sony Corporation Image processing device, image processing method, and program
JP5825328B2 (ja) 2013-11-07 2015-12-02 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
JP6515813B2 (ja) 2014-02-17 2019-05-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6547741B2 (ja) 2014-05-09 2019-07-24 ソニー株式会社 情報処理システムおよび情報処理方法
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
GB2528699B (en) * 2014-07-29 2017-05-03 Sony Computer Entertainment Europe Ltd Image processing
US9652047B2 (en) * 2015-02-25 2017-05-16 Daqri, Llc Visual gestures for a head mounted device
US9852547B2 (en) * 2015-03-23 2017-12-26 International Business Machines Corporation Path visualization for augmented reality display device based on received data and probabilistic analysis
JP6612538B2 (ja) 2015-06-30 2019-11-27 新明工業株式会社 装着型ナビゲーションシステム
CN106330200B (zh) 2015-07-09 2019-09-10 华邦电子股份有限公司 执行于通量图形处理器的低密度奇偶校验解码方法
US10586464B2 (en) * 2015-07-29 2020-03-10 Warren F. LeBlanc Unmanned aerial vehicles
US10373392B2 (en) * 2015-08-26 2019-08-06 Microsoft Technology Licensing, Llc Transitioning views of a virtual model
JP2017111723A (ja) * 2015-12-18 2017-06-22 株式会社ブリリアントサービス バイク用ヘッドマウントディスプレイ、バイク用ヘッドマウントディスプレイの制御方法およびバイク用ヘッドマウントディスプレイの制御プログラム。
JP2017129904A (ja) * 2016-01-18 2017-07-27 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
US10942024B2 (en) 2016-02-02 2021-03-09 Sony Corporation Information processing apparatus, information processing method, and recording medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090005961A1 (en) * 2004-06-03 2009-01-01 Making Virtual Solid, L.L.C. En-Route Navigation Display Method and Apparatus Using Head-Up Display
CN105682973A (zh) * 2013-10-22 2016-06-15 日本精机株式会社 车辆信息投影系统和投影装置
CN107408026A (zh) * 2015-03-31 2017-11-28 索尼公司 信息处理设备、信息处理方法和计算机程序
WO2017061388A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 情報処理装置、位置および／または姿勢の推定方法、およびコンピュータプログラム
US20170186237A1 (en) * 2015-12-28 2017-06-29 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium

Also Published As

Publication number Publication date
WO2019123770A1 (ja) 2019-06-27
JPWO2019123770A1 (ja) 2021-03-11
EP3731066A4 (en) 2021-01-27
KR102477842B1 (ko) 2022-12-16
US11468868B2 (en) 2022-10-11
EP3731066A1 (en) 2020-10-28
KR20200098509A (ko) 2020-08-20
JP7226332B2 (ja) 2023-02-21
US20210166661A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
EP3360022B1 (en) Method for displaying image and electronic device thereof
US20140160170A1 (en) Provision of an Image Element on a Display Worn by a User
JP6837805B2 (ja) ディスプレイ・システムにおける前庭動眼反射の修正の設計および方法
US20150170422A1 (en) Information Display System With See-Through HMD, Display Control Program and Display Control Method
US20170364146A1 (en) Method of providing a virtual space image subjected to blurring processing based on detected displacement, and system therefor
US20190088021A1 (en) Information processing device, information processing method, and program
JP6002286B1 (ja) ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
CN111512272A (zh) 信息处理设备、信息处理方法和程序
KR20150122975A (ko) Hmd 및 그 제어 방법
EP3333808B1 (en) Information processing device
US20220404624A1 (en) Head mounted display symbology concepts and implementations, associated with a reference vector
WO2020192493A1 (zh) 显示控制方法、存储介质、显示控制装置和显示装置
JP7320736B2 (ja) 表示システム
EP3862981A1 (en) Information processing device, information processing method, and recording medium
US20210109358A1 (en) Display system
US11492115B2 (en) Unmanned aerial vehicle display control system, display control device and display control method
JP2017126009A (ja) 表示制御装置、表示制御方法、およびプログラム
JP6769668B2 (ja) 表示制御装置、表示装置、および表示制御プログラム
US20230376109A1 (en) Image processing apparatus, image processing method, and storage device
JP2019081480A (ja) ヘッドアップディスプレイ装置
US20230162634A1 (en) Image display system
US11945310B2 (en) Display system
WO2022004483A1 (ja) 情報処理装置、情報処理方法及びプログラム
TW202403509A (zh) 用於擴增實境裝置之平滑物件校正
CN116114012A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination