CN111512277A - 信息处理装置、信息处理方法及程序 - Google Patents

信息处理装置、信息处理方法及程序 Download PDF

Info

Publication number
CN111512277A
CN111512277A CN201880082481.1A CN201880082481A CN111512277A CN 111512277 A CN111512277 A CN 111512277A CN 201880082481 A CN201880082481 A CN 201880082481A CN 111512277 A CN111512277 A CN 111512277A
Authority
CN
China
Prior art keywords
display
user
area
blocking object
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880082481.1A
Other languages
English (en)
Other versions
CN111512277B (zh
Inventor
近藤茜
成田智也
深泽辽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111512277A publication Critical patent/CN111512277A/zh
Application granted granted Critical
Publication of CN111512277B publication Critical patent/CN111512277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0167Emergency system, e.g. to prevent injuries
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

根据本技术的实施方式的信息处理装置配备有:设置单元和显示控制单元。设置单元设置限制进入的限制区域。基于其中可以显示虚拟对象的显示区域,显示控制单元控制作为防止进入限制区域的虚拟对象的阻挡对象的显示。因此,可以适当地显示阻挡对象,并且可以提供自然的虚拟体验。

Description

信息处理装置、信息处理方法及程序
技术领域
本技术涉及提供虚拟体验的信息处理装置、信息处理方法及程序。
背景技术
常规地,已经开发了向用户提供虚拟体验的技术。例如,在用户周围的真实空间中以交叠的方式(overlapping manner)显示虚拟图像,使得用户能够体验增强现实(AR)。此外,例如,显示三维虚拟空间,使得用户能够体验虚拟现实(VR)。
例如,专利文献1已经描述了控制AR空间中的虚拟对象的显示的显示控制装置。利用该显示控制装置,基于通过捕获实际空间而获得的图像来识别实际对象的位置和姿态(attitude)。根据该识别结果,确定虚拟对象的位置和姿态,并且将虚拟对象放置在AR空间中。将放置在AR空间中的虚拟对象显示在透视头戴式显示器(HMD)的显示单元、智能电话等上。因此,使得用户能够通过显示单元观看以交叠的方式显示在实际空间中的虚拟对象(专利文献1的说明书中第[0017]、[0020]、[0031]和[0032]段、图1等)。
引用列表
专利文献
专利文献1:日本专利申请公开第2014-191718号
发明内容
技术问题
期望使用诸如AR和VR的技术的虚拟体验应用于例如娱乐、教育、生产现场等的各种场景,并且期望提供能够提供自然的虚拟体验的技术。
鉴于上述情况,本技术的目的是提供一种能够提供自然的虚拟体验的信息处理装置、信息处理方法和程序。
问题的解决方案
为了实现上述目的,根据本技术的实施方式的信息处理装置包括设置单元和显示控制单元。
设置单元设置其中限制进入的限制区域。
显示控制单元基于其中能够显示虚拟对象的显示区域来控制作为阻挡进入限制区域的虚拟对象的阻挡对象的显示。
在该信息处理装置中,设置其中限制进入的限制区域,并且控制作为阻挡进入限制区域的虚拟对象的阻挡对象的显示。基于其中能够显示虚拟对象的显示区域来执行对阻挡对象的显示控制。利用该配置,可以适当地显示阻挡对象,并且可以提供自然的虚拟体验。
显示控制单元可以控制阻挡对象的显示,使得阻挡对象落入显示区域内。
利用该配置,可以在显示区域中适当地显示阻挡对象,并且可以提供自然的虚拟体验。
信息处理装置还可以包括:获取单元,获取关于与限制区域相关联的预定目标对象的信息。在这种情况下,显示控制单元可以使用预定目标对象作为基准控制阻挡对象的显示。
利用该配置,可以利用例如存在于其中用户进行动作的空间中的对象等来显示阻挡对象,并且可以自然地防止进入限制区域等。
显示控制单元可以基于显示区域来调整阻挡对象相对于预定目标对象的显示位置和显示尺寸中的至少之一。
利用该配置,例如可以精细地调整阻挡对象的位置、姿态等,并且可以自然地显示阻挡对象。
显示控制单元可以使用预定目标对象作为基准生成阻挡对象的候选,并且基于显示区域确定是否显示阻挡对象的候选。
利用该配置,例如可以容易地避免阻挡对象被不自然地显示的状态,并且可以提供自然的虚拟体验。
显示控制单元可以通过确定阻挡对象的候选是否落入显示区域内,来确定是否显示阻挡对象的候选。
利用该配置,例如阻挡对象可以被显示成落入显示区域内,并且可以提供自然的虚拟体验。
获取单元可以能够获取关于彼此间隔开的第一目标对象和第二目标对象中的每一个的信息,作为关于预定目标对象的信息。在这种情况下,显示控制单元可以在第一目标对象与第二目标对象之间显示阻挡对象。
例如,可以使用阻挡对象封闭两个目标对象之间的路径。因此,可以自然地防止用户进入。
显示控制单元可以显示阻挡对象,使得阻挡对象与预定目标对象交叠。
通过以这种方式与预定目标对象交叠地显示阻挡对象,强调了限制进入的事实,并且可以充分地防止进入限制区域等。
信息处理装置还可以包括:计算单元,计算其上显示虚拟对象的显示单元的视角作为显示区域。
利用该配置,例如可以根据显示单元的视角准确地显示阻挡对象等。因此,可以实现使用显示单元的自然的虚拟体验。
显示单元可以设置在安装在用户的头部上的头戴式显示器(HMD)中。在这种情况下,计算单元基于用户的头部的位置和姿态中的至少之一来计算显示单元的视角。
利用该配置,可以精确地计算显示单元的视角,并且可以准确地显示阻挡对象等。
显示单元可以是透视显示器。
通过使用透视显示器,可以容易地提供AR体验等。
显示控制单元可以根据用户的位置和移动方向中的至少之一来显示阻挡对象。
利用该配置,可以根据用户的动作动态地显示阻挡对象,并且可以在保持用户动作的自由度的情况下提供自然的虚拟体验。
显示控制单元可以显示限制进入用户周围的限制区域的阻挡对象。
利用该配置,例如可以容易地引导用户。
设置单元可以基于用户的位置和目的地中的至少之一来设置限制区域。
利用该配置,例如可以将用户引导至目的地,并且可以在保持用户动作的自由度的情况下实现自然的导航等。
设置单元可以能够设置表示对进入限制区域的限制的水平的限制水平。在这种情况下,显示控制单元可以根据限制水平控制阻挡对象的显示。
例如,通过适当地设置进入限制水平,可以在不阻碍用户的自发动作等的情况下提供具有较高的动作自由度的虚拟体验。
信息处理装置还可以包括:报告单元,生成用于报告进入限制区域和接近限制区域中的至少之一的报告信息。
利用该配置,当用户已经进入限制区域或接近限制区域时,例如可以适当地向用户通知限制区域的存在,并且可以实现安全的虚拟体验。
报告信息可以包括声音信息、显示信息和振动信息中的至少之一。
利用该配置,可以容易地通知进入限制区域或接近限制区域。
根据本技术的实施方式的信息处理方法是要通过计算机系统执行的信息处理方法,并且包括设置其中限制进入的限制区域。基于其中能够显示虚拟对象的显示区域来控制作为阻挡进入限制区域的虚拟对象的阻挡对象的显示。
根据本技术的实施方式的程序使计算机系统执行以下步骤。
设置其中限制进入的限制区域的步骤。
基于其中能够显示虚拟对象的显示区域来控制作为阻挡进入限制区域的虚拟对象的阻挡对象的显示的步骤。
发明的有益效果
如上所述,根据本技术,可以提供自然的虚拟体验。应当注意,在此描述的效果不必然是限制性的,并且可以提供本公开中描述的任何效果。
附图说明
图1是示出根据本技术的实施方式的HMD的外观的透视图。
图2是示出图1中示出的HMD的功能配置示例的框图。
图3是各自示出佩戴HMD的用户的视野区域的示例的示意图。
图4是用于描述透视显示器的视角的示意图。
图5是示出限制区域的示例的示意图。
图6是各自示出使用实际对象作为基准显示的阻挡对象的示例的示意图。
图7是用于描述HMD的基本操作的示例的示意图。
图8是示出HMD的操作示例的流程图。
图9是示出阻挡对象的显示控制的示例的流程图。
图10是用于描述阻挡对象的显示控制的示例的示意图。
图11是各自示出使用实际对象作为基准的阻挡对象的显示示例的示意图。
图12是用于描述报告单元的操作示例的示意图。
图13是示出阻挡对象的显示示例的示意图。
图14是示出阻挡对象的显示示例的示意图。
图15是示出阻挡对象的显示示例的示意图。
图16是示出阻挡对象的显示示例的示意图。
图17是示出阻挡对象的显示示例的示意图。
图18是示出阻挡对象的显示示例的示意图。
图19是示出阻挡对象的显示示例的示意图。
图20是示出阻挡对象的显示示例的示意图。
图21是示出作为比较示例示出的阻挡对象的显示示例的示意图。
图22是各自示出作为比较示例示出的箭头图像的显示示例的示意图。
图23是示出作为比较示例示出的引导画面的显示示例的示意图。
具体实施方式
在下文中,将参照附图描述根据本技术的实施方式。
[信息处理装置的配置]
图1是示出根据本技术的实施方式的HMD的外观的透视图。HMD100是包括透视显示器的眼镜状的装置。HMD 100在安装在用户的头部上的情况下被使用。HMD 100包括框架10、左眼透镜11a和右眼透镜11b、左眼显示器12a和右眼显示器12b、左眼摄像装置13a和右眼摄像装置13b以及面向外的摄像装置14。
框架10具有眼镜状的形状并且包括镜框部分15和镜腿部分16。镜框部分15是放置在用户的左眼和右眼的前面并且支承左眼透镜11a和右眼透镜11b中的每一个的部分。镜腿部分16从镜框部分15的两端朝向用户的双耳向后延伸。镜腿部分16的端部适配在双耳周围。镜框部分15和镜腿部分16例如由诸如合成树脂和金属的材料制成。
左眼透镜11a和右眼透镜11b分别放置在用户的左眼和右眼的前面,以覆盖用户的视野的至少一部分。典型地,每个透镜被设计成校正用户的视力。当然,本技术不限于此,并且可以使用所谓的假眼镜。
左眼显示器12a和右眼显示器12b是透视显示器,并且分别放置成覆盖左眼透镜11a和右眼透镜11b的部分区域。即,左眼透镜11a和右眼透镜11b分别放置在用户的左眼和右眼的前面。
分别在左眼显示器12a和右眼显示器12b上显示左眼图像和右眼图像等。允许佩戴HMD 100的用户以视觉方式识别真实景物(scenery),并且同时以视觉方式识别显示在各个显示器12a和12b上的图像。利用该配置,使得用户能够体验增强现实(AR)等。
例如在显示器12a和12b中的每一个上显示虚拟显示对象(虚拟对象)。例如,可以显示字符等的计算机图形(CG)、照片、字母等作为虚拟对象。当然,本技术不限于此,并且可以显示任何虚拟对象。在该实施方式中,左眼显示器12a和右眼显示器12b对应于其上显示虚拟对象的显示单元。
例如,使用透视有机EL显示器、液晶显示器(LCD)等作为左眼显示器12a和右眼显示器12b。另外,左眼显示器12a和右眼显示器12b的具体配置不受限制,并且可以适当地使用例如使用诸如以下方法的任意方法的透视显示器:在透明屏幕上投影和显示图像的方法或者通过棱镜等显示图像的方法。
左眼摄像装置13a和右眼摄像装置13b适当地安装在框架10中,以能够捕获用户的左眼和右眼的图像。例如基于由左眼摄像装置13a和右眼摄像装置13b捕获的左眼和右眼的图像来获取关于用户的视线的视线信息等。
例如,使用各自配备有诸如互补金属氧化物半导体(CMOS)传感器和电荷耦合器件(CCD)传感器的图像传感器的数字摄像装置作为左眼摄像装置13a和右眼摄像装置13b。此外,例如可以使用各自安装有诸如红外LED的红外灯的红外摄像装置。
在下文中,有时左眼透镜11a和右眼透镜11b两者均被称为透镜11,并且左眼显示器12a和右眼显示器12b两者均被称为透视显示器12。此外,有时左眼摄像装置13a和右眼摄像装置13b两者均被称为面向内的摄像装置13。在该实施方式中,透视显示器12对应于显示单元。
面向外的摄像装置14放置在框架10(镜框部分15)的中央,面向外(与用户相对)。面向外的摄像装置14在用户的视野中捕获实际空间的图像。例如,使用配备有诸如CMOS传感器和CCD传感器的图像传感器的数字摄像装置作为面向外的摄像装置14。
图2是示出图1中示出的HMD 100的功能配置示例的框图。如图2所示,HMD 100还包括扬声器20、振动单元21、通信单元22、连接器23、操作按钮24、传感器单元30、存储单元40和控制器50。
扬声器20设置在框架10中的预定位置处。扬声器20的配置不受限制,并且可以适当地使用例如能够输出立体声、单声道声音等的扬声器20。振动单元21设置在框架10的内部并且生成振动。例如,使用能够生成用于通知的振动等的任意振动马达等作为振动单元21。
通信单元22是用于执行与其他设备进行网络通信、近距离无线通信等的模块。例如,设置诸如Wi-Fi的无线LAN模块或诸如蓝牙(注册商标)的通信模块。
连接器23是用于连接至其他设备的端子。例如,设置诸如通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)等的端子。此外,在充电时,在连接器23连接至充电座(底座)的充电端子的情况下进行充电。
例如,操作按钮24设置在框架10中的预定位置处。操作按钮24可以用于执行与HMD100的各种功能有关的操作,例如开启/关闭电源的操作、与图像显示和音频输出有关的功能以及网络通信功能。
传感器单元30包括9轴传感器31、GPS 32、生物传感器33和麦克风34。
9轴传感器31包括3轴加速度传感器、3轴陀螺仪传感器和3轴罗盘传感器。9轴传感器31可以用于检测HMD 100在三个轴上的加速度、角速度和方向。GPS 32获取关于HMD 100的当前位置的信息。9轴传感器31和GPS 32的检测结果用于计算例如用户的姿态、位置等。例如,这些传感器设置在框架10中的预定位置处。
生物传感器33获取用户的生物信息。例如,设置脑波传感器、肌电图(EMG)传感器、光体积描记(PMG)传感器、皮肤电反应(GSR)传感器、温度传感器、血流传感器、身体运动传感器等作为生物传感器33。例如,这些传感器设置在HMD 100中的预定位置处,使得检测端子部分保持与身体的预定部位接触。替选地,可以设置与HMD 100分离的检测端子部分。例如,脑波传感器被设置成使得脑波传感器可以保持与头部的预定部位接触。PMG传感器被设置在可以保持PMG传感器与颈部的血管接触的位置处。
麦克风34检测关于用户周围的声音的声音信息。例如,适当地检测由用户发出的语音等。利用该配置,例如,用户可以在进行语音通话的同时享受AR体验或者可以通过音频输入将操作输入至HMD 100中。
设置为传感器单元30的传感器的类型不受限制,并且可以设置任意传感器。例如,可以设置能够测量使用HMD 100的环境的温度、湿度等的温度传感器、湿度传感器等。
存储单元40是非易失性存储设备,并且使用例如硬盘驱动器(HDD)、固态驱动器(SSD)等。
在存储单元40中存储有地图数据41。地图数据41是用作与实际空间有关的地图的数据。在该实施方式中,环境模型用作地图数据41,该地图数据41包括通过测量实际空间以及存在于实际空间中的对象、结构等而生成的实际空间的地形(topography)的网格数据。利用该配置,其中用户进行动作的空间的地形以及存在于该空间中的对象和建筑物的形式例如可以被处理为三维模型。地图数据41的具体配置不受限制,并且可以适当地使用包括基于点云数据等的深度信息、基于实际空间的图像的纹理信息等的地图数据41。
此外,在存储单元40中存储有用于控制HMD 100的整体操作的控制程序42。将地图数据41和控制程序42安装至HMD 100中的方法不受限制。
控制器50控制HMD 100的各个块的操作。例如控制器50包括计算机所需的硬件配置,例如CPU和存储器(RAM、ROM)。通过CPU将存储在存储单元40中的控制程序42加载至RAM中并且执行所加载的控制程序42来执行各种类型的处理。
例如,可以使用如下设备作为控制器50:诸如现场可编程门阵列(FPGA)的可编程逻辑器件(PLD),或者专用集成电路(ASIC)等。
在该实施方式中,信息获取单元51、区域设置单元52、进入确定单元53、显示区域计算单元54、布局规划单元55、布局确定单元56、输出控制单元57和报告单元58通过控制器50的CPU执行根据该实施方式的程序而实现为功能块。于是,这些功能块执行根据该实施方式的信息处理方法。应当注意,可以适当地使用诸如集成电路(IC)的专用硬件来实现各个功能块。
信息获取单元51从HMD 100的各个单元读取控制器50的各个功能块的操作所需的信息。例如,信息获取单元51读取由面向内的摄像装置13和面向外的摄像装置14捕获的图像信息、传感器单元30的各个传感器的检测结果等。
此外,信息获取单元51能够适当地读取存储在存储单元40中的地图数据41。如上所述,地图数据41包括存在于实际空间中的对象(实际对象)等的三维模型的信息。因此,也可以说信息获取单元51获取关于实际对象的信息。在该实施方式中,信息获取单元51对应于获取单元。
显示区域计算单元54计算其中可以显示虚拟对象的显示区域。如上所述,佩戴HMD100的用户通过透视显示器12以视觉方式识别实际空间。此时,相对于通过透视显示器12以视觉方式识别的景物中包括的实际对象(实际空间中的对象、结构等)显示虚拟对象等。在以这种方式提供基于AR的虚拟体验的情况下,也可以说其中可以显示虚拟对象的实际空间的区域是显示区域。
图3是示出佩戴HMD 100的用户的视野区域60的示例的示意图。图3的A和B分别示意性地示出在不同位置处以视觉方式识别的景物(视野区域60)。应当注意,图3的A和B省略了HMD 100的框架10和透镜11等的图示。
在HMD 100中,将透视显示器12中的每一个放置成与用户的视野区域60的部分区域交叠。其中由该透视显示器12显示图像等的区域是其中可以显示虚拟对象的显示区域61。在图3的A和B中的每一个中,通过透视显示器12的显示区域61被示意性地示出为虚线。
例如,假设已经以视觉方式识别了图3的A中示出的景物的用户移动并且以视觉方式识别图3的B中示出的景物。此时,通过透视显示器12以视觉方式识别的景物,即作为显示区域61的实际空间的区域也发生改变。因此,显示区域61根据用户(透视显示器12)的位置或姿态而改变。
在该实施方式中,将其中显示虚拟对象的透视显示器12的视角计算为显示区域61。图4是用于描述透视显示器12的视角的示意图。图4示意性地示出佩戴HMD 100的用户1的眼球2以及放置在眼球2前面的透视显示器12。
透视显示器12的视角62表示作为角度(视角值)的、通过透视显示器12进入用户1的眼球2(视网膜)中的景物的区域。如图4所示,透视显示器12的视角62可以表示为例如截头锥体(frustum)。截头锥体是通过平行于底部切割四角锥以去除包括顶点的部分而获得的形状。与该切割截面对应的平面是透视显示器12的显示屏幕。
包括在该透视显示器12的视角62中的实际对象包括在显示区域61中。以这种方式,对于HMD 100,透视显示器12的视角62可以用于表示其中可以显示虚拟对象的显示区域61。例如,当透视显示器12的视角62(截头锥体)的方向改变时,其中包括的实际对象改变,并且显示区域61中的景物也改变。
显示区域计算单元54例如基于在实际空间中透视显示器12的位置、姿态和视角值θ来计算视角62。应当注意,例如将透视显示器12(HMD100)在水平方向上的视角值(水平视角)、透视显示器12(HMD 100)在竖直方向上的视角值(竖直视角)以及透视显示器12(HMD100)在对角方向上的视角值(对角视角)等用作视角值。利用该配置,可以识别用户1通过透视显示器12以视觉方式识别的景物的位置、方向、区域等。在该实施方式中,显示区域计算单元54对应于计算单元。
区域设置单元52设置其中限制进入的限制区域。例如,基于实际空间的地图信息(地图数据41等),对其中用户1实际移动的实际空间设置限制区域。例如对其中用户1可以物理地移动的区域(路径、楼梯、道路、广场等)设置限制区域。限制区域的面积和形状、限制区域的数目等不受限制,并且例如可以以取决于提供给用户1的服务的目的等的方式适当地设置。
图5是示出限制区域的示例的示意图。图5示意性地示出被存在于实际空间中的实际对象70(桌子、隔板等障碍物71a至71g)划分的区域(地图43)。限制区域63(阴影区域)被设置到那些障碍物71a至71g之间的路径等。应当注意,各个障碍物71的布置、形状等存储在存储单元40中作为地图数据41。
在该实施方式中,基于用户1的位置和目的地44设置限制区域63。例如,基于用户1的当前位置和目的地44中的每一个的纬度/经度信息计算地图数据41上的路线。适当地设置限制区域63,使得用户1可以根据这种路线移动。在图5示出的示例中,限制区域63设置在用户1朝向目的地44移动的路线周围。
设置限制区域63的方法等不受限制。例如,可以基于用户1的位置或目的地44中的任一者适当地设置限制区域。此外,也可以与用户1和目的地44的位置无关地设置限制区域63。例如,可以执行预先指定期望禁止用户1进入的区域并且将指定的区域设置为限制区域的处理。
此外,区域设置单元52能够设置表示对进入限制区域63的限制的水平的限制水平。例如,在用户1已经经过图5中示出的区域中的在图的右手侧的障碍物71之间的空间的情况下,用户1也可以朝向目的地44移动。对于对这种空间设置的限制区域63,限制水平被设置为较低。另一方面,例如针对禁止用户1进入的区域(危险区域、禁止进入的区域等),限制水平被设置为较高。另外,设置限制水平的方法等不受限制。
返回参照图2,进入确定单元53确定用户1是否已经进入限制区域63。例如,进入确定单元53适当地参考关于用户1的当前位置的信息(HMD 100的GPS 32的输出等),并且确定用户1的当前位置是否包括在由区域设置单元52设置的限制区域63中。将确定结果输出至要在后面描述的报告单元58等。
布局规划单元55生成用于在透视显示器12上显示阻挡对象的布局规划。本文阐述的阻挡对象是阻挡进入限制区域63的虚拟对象。例如,当在透视显示器12上显示阻挡对象时的显示位置、显示尺寸等的显示参数被计算作为布局规划。
布局规划单元55基于用户1的位置和移动方向选择其中显示阻挡对象的限制区域63,并且生成用于在该限制区域63中显示阻挡对象的布局规划。选择限制区域63的方法将在后面参照图7等进行详细地描述。
在该实施方式中,生成布局规划,使得使用实际对象70作为基准来显示阻挡对象。具体地,将存在于实际空间中的实际对象70中的与限制区域63相关联的实际对象70用作用于显示阻挡对象的基准(显示基准)。即,使用与限制区域63相关联的实际对象70作为基准来控制阻挡对象的显示。
图6是示出使用实际对象70作为基准显示的阻挡对象的示例的示意图。图6的A和B中的每一个示意性地示出作为虚拟对象80的阻挡对象81,该虚拟对象80阻挡进入限制区域63。应当注意,图6的A和B中的每一个中示出的阻挡对象81是沿由图5中示出的箭头64a或64b指示的方向指向的、透视显示器12的视角62(显示区域61)中显示的阻挡对象81。
在图6的A中示出的示例中,限制区域63存在于用户1的前面。此外,在限制区域63的两侧存在障碍物71c和71d。在布局规划中,使用两侧的障碍物71c和71d作为显示基准来计算带状阻挡对象81的两端的坐标(显示位置)等。在这种情况下,两侧的障碍物71c和71d是与限制区域63相关联的实际对象。
此外,在图6的B中示出的示例中,限制区域63存在于用户1的前面、在路径的左手侧。在这种情况下,在左手侧的限制区域63的两侧的障碍物71f和71g是与限制区域63相关联的实际对象70。使用这些障碍物71f和71g作为显示基准来计算阻挡对象81的显示位置等。
设置与限制区域63相关联的实际对象70(作为显示基准的实际对象)的方法等不受限制。例如,将存在于限制区域63周围或内部且具有尺寸并且位于适合于显示阻挡对象81的位置的实际对象70适当地设置为阻挡对象81的显示基准。此外,例如,可以预先在地图数据41等上指定作为用于显示阻挡对象81的基准的实际对象70等。在这种情况下,将指定的实际对象70中的、存在于包括在视角62中的限制区域63周围或内部的实际对象70设置为显示基准。在该实施方式中,与限制区域63相关联的实际对象对应于与限制区域相关联的预定目标对象。
应当注意,由布局确定单元56确定是否实际地显示通过布局规划被规划成要进行显示的阻挡对象81。因此,也可以说布局规划单元55使用与限制区域63相关联的实际对象70作为基准生成阻挡对象81的候选。
返回参照图2,布局确定单元56基于透视显示器12的视角62确定是否显示作为布局规划被规划的阻挡对象81。即,布局确定单元56基于显示区域61确定是否显示阻挡对象81的候选。确定是否显示阻挡对象81的候选的方法将在后面进行详细描述。
输出控制单元57生成在透视显示器12上显示的虚拟对象80的图像等。例如基于关于由布局确定单元56确定要显示的阻挡对象81的候选的信息(布局规划)生成阻挡对象81的候选的图像。当然,也可以生成不同于阻挡对象81的另外的虚拟对象80的图像等。将构成那些图像的图像信息适当地输出至透视显示器12。
以这种方式,布局规划单元55、布局确定单元56和输出控制单元57基于显示区域61控制阻挡进入限制区域63的阻挡对象81的显示。在该实施方式中,布局规划单元55、布局确定单元56和输出控制单元57协作从而实现显示控制单元。
报告单元58生成用于报告进入限制区域63或接近限制区域63的报告信息。例如,报告单元58基于进入确定单元53的确定结果、限制区域63与用户1之间的距离等,生成用于向用户1通知用户1正在进入限制区域63或接近限制区域63的事实的报告信息。将所生成的报告信息适当地输出至透视显示器12、扬声器20、振动单元21等。
图7是用于描述HMD 100的基本操作的示例的示意图。图7示意性地示出其中当用户1在图5中示出的地图43中移动时显示阻挡对象81的限制区域63。此外,在图7中,用户1可以沿其移动的方向被示意性地示出为箭头。
假设用户1从地图43的右下初始位置向地图43的左上位置处的目的地44移动。在地图43a中,用户1位于初始位置处。在地图43b和地图43c中,用户1通过在地图43的中央的路径72a向目的地44移动。另一方面,在地图43d和地图43e中,用户1通过在地图43的右手侧的路径72b向目的地44移动。应当注意,在地图43a中,中央路径72a和右路径72b被示意性地示出为虚线。
在该实施方式中,根据用户1的位置和移动方向显示阻挡对象81。即,根据用户1的移动动态地显示阻挡对象81。例如,布局规划单元55根据用户1的位置和移动方向生成阻挡对象81的候选。然后,将由布局确定单元56确定要显示的阻挡对象81显示在透视显示器12上。
当用户1如地图43a所示的那样位于初始位置时,在用户1进入中央路径72a之前,在限制区域63上显示阻挡对象81。例如,假设用户1在中央路径72a的一侧(在地图43a的左手侧)移动。此时,在设置在用户1前面的限制区域63上显示阻挡对象81。利用该配置,可以向用户1通知前面区域是限制用户1进入的区域的事实。因此,可以将用户1引导至中央路径72a。
当用户1如地图43b所示的那样进入中央路径72a时,分别在存在于中央路径72a的两侧并且靠近用户1的限制区域63上显示阻挡对象81。应当注意,例如靠近用户1的限制区域63是存在于距用户1的位置的预定距离内的限制区域63。
当用户1如地图43c所示的那样在中央路径72a上移动时,在存在于用户1的移动方向的两侧的限制区域63上显示阻挡对象81。例如,基于用户1的位置的变化等来检测用户1的移动方向。通过以这种方式根据用户1的移动方向显示阻挡对象81,可以容易地将用户1引导至目的地44。
此外,例如,假设用户1从地图43a中的初始位置向右移动。在这种情况下,基于用户1的位置重新设置限制区域63。例如,生成通过右路径72b去往目的地44的路线,并且在所生成的路线周围设置限制区域63。
当用户1如地图43d所示的那样进入右路径72b时,在设置在右路径72b的一侧的限制区域63上显示阻挡对象81。应当注意,相对于限制区域63,跨越右路径72b存在壁,并且未设置限制区域63等。
应当注意,即使在用户1经过地图43d所示的限制区域63(障碍物71f与71g之间的空间)之后,用户1也可以朝向目的地44移动。对于这种限制区域63,关于限制进入的程度(限制水平)被设置为较低。例如,当用户1的移动方向、视线等指向障碍物71f与71g之间的空间时,允许用户1通过障碍物71f与71g之间的空间而不显示阻挡对象81。
以这种方式,根据限制水平,控制阻挡对象81的显示。例如,对于限制水平被设置为较低的限制区域63,执行根据用户1的动作(移动方向、视线等)隐藏阻挡对象81的处理。与此相反,对于限制水平被设置为较高的限制区域63(危险区域等),无论用户1的动作如何,均显示阻挡对象81。可以执行这种处理。
当用户1如地图43e所示的那样在右路径72b上移动时,在设置在地图43的右上位置处的限制区域63上显示阻挡对象81。因此,可以防止用户1沿右路径72b进入右上限制区域63。
应当注意,在被设置成通过右路径72b的路线上,障碍物71e与71f之间的空间是该路线的一部分。此外,相对于用户1,跨越障碍物71e与71f之间的空间设置限制区域63,并且显示阻挡对象81。利用该配置,可以向用户1通知用户1可以通过障碍物71e与71f之间的空间的事实,并且可以引导用户1通过障碍物71e与71f之间的空间。
在该实施方式中,以这种方式显示限制用户1进入周围的限制区域63的阻挡对象81。利用该配置,可以容易地引导用户1。此外,也可以说,通过使用阻挡对象81对限制区域63进行可视化是对其中用户1可以进行动作的区域进行可视化。因此,只要是其中用户1可以进行动作的区域,就允许用户1自由移动,并且可以在保持用户1的动作的自由度的同时自然地将用户1朝向目的地44引导。
此外,通过在周围的限制区域63上显示阻挡对象81,可以减少要显示的阻挡对象81的数目等。因此,透视显示器12的显示变得简单,可以减轻对阻挡对象81(虚拟对象80)的显示的不适等,并且可以提供自然的虚拟体验。
图8是示出HMD 100的操作示例的流程图。图8中示出的流程图的处理是在HMD 100的操作期间要重复执行的处理。
信息获取单元51获取佩戴HMD 100的用户1的自身位置(步骤101)。例如,将由GPS32检测到的HMD 100的纬度和经度读取为用户1的自身位置。此外,例如,在用户1在门内等进行动作的情况下,可以读取使用诸如同步定位与地图构建(SLAM)的自身位置估计技术等检测到的关于用户1(HMD 100)的自身位置的信息。
获取目的地44的位置信息(步骤102)。例如,在通过HMD 100提供诸如导航的服务的情况下,读取由用户1输入的目的地的纬度和经度等。此外,在提供其中将实际空间用作游戏区域的游戏服务等的情况下,可以随着游戏的进行改变目的地44。在这种情况下,读取最新目的地44的纬度和经度。
区域设置单元52设置其中限制用户1的进入的限制区域(步骤103)。例如,计算从用户1的自身位置到目的地的路线,并且在该路线周围设置限制区域63(参见图5)。此时,将预先在地图数据41等上指定的危险区域、禁止进入的区域等添加至限制区域63。通过以这种方式设置限制区域63,可以将用户1安全地引导至目的地。
进入确定单元53确定用户1是否已经进入了限制区域63(步骤104)。进入确定单元53确定用户1的自身位置是否落入限制区域63内。在确定用户1的自身位置没有落入限制区域63内的情况下(在步骤104为“否”),即,在用户1尚未进入限制区域63的情况下,执行对阻挡对象81的显示控制(步骤105)。
图9是示出对阻挡对象81的显示控制的示例的流程图。图9中示出的流程图是图8中示出的步骤105中执行的处理的示例。图10是用于描述对阻挡对象81的显示控制的示例的示意图。在下文中,将参照图9和图10描述对阻挡对象81的显示控制。
如图9所示,首先获取用户1的身体信息(步骤201)。在该实施方式中,用户1的身体信息包括关于用户1的头部的位置和姿态的信息。例如,用户1的头部的位置是在实际空间中用户1的头部的三维坐标(纬度、经度、高度)。此外,例如,将用户1的头部的姿态指示为在实际空间中用户1被定向的方向等。
通常使用关于安装在用户1的头部上的HMD 100在实际空间中的位置和姿态的信息作为关于用户1的头部的位置和姿态的信息。例如,使用由GPS 32或SLAM检测到的HMD100的三维坐标作为用户1的头部的位置。此外,例如,使用通过使用9轴传感器31等检测到的HMD 100的取向,即,透视显示器12被定向的方向等,作为用户1的头部的姿态。
此外,获取关于用户1的移动方向、用户的视线等的信息作为用户1的身体信息。例如,基于用户1的自身位置的变化、9轴传感器31的输出等来计算用户1的移动方向,并且适当地读取计算结果。此外,例如基于利用面向内的摄像装置13等拍摄的用户1的眼球2的图像来检测用户1的视线,并且适当地读取检测结果。
用户1的身体信息的具体配置不受限制。此外,在检测用户1的身体信息的方法不限于使用安装在HMD 100中的各个传感器的情况的情况下,例如可以基于从后面拍摄的用户1的图像等来检测用户1的身体信息。在这种情况下,经由通信单元22等接收从HMD 100的外部发送的身体信息。可以执行这种处理。
显示区域计算单元54计算透视显示器12的视角62(步骤202)。具体地,显示区域计算单元54基于步骤201中获取的用户1(HMD 100)的头部的位置和姿态以及透视显示器12(HMD 100)的视角值,来计算要经由透视显示器12以视觉方式识别的实际空间的区域(用于虚拟对象80的显示区域61)。
例如,基于在HMD 100中设置的水平视角和竖直视角来计算截头锥体(参见图4)。此外,基于透视显示器12的位置和姿态(取向)来计算截头锥体在实际空间中的位置、截头锥体被定向的方向等。在使用截头锥体的情况下,可以适当地设置从透视显示器12到截头锥体的底部的距离,即,视角62中的深度。应当注意,本技术不限于使用截头锥体来表示视角62的情况,并且可以使用例如能够计算视角62的任意方法。
获取关于作为用于显示阻挡对象81的基准的实际对象70的信息(步骤203)。例如,检测存在于透视显示器12的视角62中的限制区域63,并且从地图数据41适当地读取关于与所检测到的限制区域63相关联的实际对象70的信息。
在图10示出的示例中,示出了六个杆73a至73f作为与限制区域63相关联的实际对象70的示例。与这些杆73a至73f的位置和形状(三维模型)有关的信息记录在地图数据41上。
在该实施方式中,信息获取单元51获取关于作为与限制区域63相关联的实际对象70、彼此间隔开的第一实际对象70和第二实际对象70中的每一个的信息。例如,在图10中,获取了关于六个杆73a至73f中的成对的杆73的三维模型的信息。在这种情况下,所获取的成对的杆73分别是第一实际对象70和第二实际对象70。在该实施方式中,第一实际对象70和第二实际对象70对应于第一目标对象和第二目标对象。
设置成对的实际对象70(成对的杆73)的方法等不受限制。例如,可以预先在地图数据41上指定作为用于显示阻挡对象81的基准的成对的实际对象70。利用该配置,可以容易地读取关于成对的实际对象70的信息,并且可以减小处理负荷。此外,例如可以执行以距用户1的距离更近的顺序来设置成对的实际对象70的处理或者基于实际对象70之间的位置关系来设置对的处理。
在下文中,假设第一对(杆73a和杆73b)、第二对(杆73c和杆73d)和第三对(杆73e和杆73f)已经记录在地图数据41上。此外,假设在步骤203中,以更靠近用户1的顺序从地图数据41中读取关于成对的杆73的三维模型的信息。因此,在第一循环中读取关于第一对的信息。
布局规划单元55使用与限制区域63相关联的实际对象70作为基准生成阻挡对象81的布局规划(步骤204)。即,使用在步骤203中获取的实际对象70作为基准生成阻挡对象81的候选。在下文中,有时将作为布局规划生成的阻挡对象81的候选简称为阻挡对象81。
例如,在如图10所示的那样成对的实际对象70作为基准的情况下,生成布局规划,使得在相应的实际对象之间显示阻挡对象81。即,计算阻挡对象81的显示参数,使得在第一实际对象70与第二实际对象70之间显示阻挡对象81。
在第一循环中,生成用于在杆73a与杆73b之间显示带状阻挡对象81a的布局规划。例如,计算透视显示器12中的、用于根据杆73a和杆73b的预定位置来显示带状阻挡对象81a的显示位置和显示尺寸。应当注意,可以预先指定杆73a和杆73b的三维模型等中的要显示阻挡对象81a的位置。利用该配置,可以容易地生成布局规划。
布局确定单元56确定阻挡对象81的尺寸是否落入透视显示器12的视角62内(步骤205)。在该实施方式中,通过确定阻挡对象81的候选是否在透视显示器12的视角62内,来确定是否显示阻挡对象81的候选。
例如,确定作为布局规划生成的阻挡对象81的端部(带的四个顶点等)的坐标是否落入表示为视角62的空间内。此外,可以确定落入视角62内的阻挡对象81的百分比是否在预定百分比以上。例如,在预定百分比(例如,90%等)或更大的阻挡对象81的显示区域落入视角62内的情况下,确定阻挡对象81落入视角内。可以执行这种处理。另外,确定阻挡对象81是否落入视角62内的方法等不受限制。
如图10所示,确定杆73a与杆73b之间的阻挡对象81a没有落入视角62内。例如,在使用第一对作为基准显示阻挡对象81a的情况下,在透视显示器12上仅显示阻挡对象81a的一部分。因此,将在透视显示器12(显示区域61)的端部处部分地切断的阻挡对象81a显示在用户1的视野区域60中(参见图3)。在该情况下,确定将不显示阻挡对象81a。
在确定阻挡对象81没有落入视角62内的情况下(步骤205中为“否”),返回至步骤201,获取关于下一个实际对象70的信息,并且使用所获取的实际对象70作为基准生成阻挡对象81的布局规划。
例如,在第二循环中,从地图数据读取关于第二对、即杆73c和杆73d的信息,并且生成用于在杆73c与杆73d之间显示带状阻挡对象81b的布局规划。然后,确定阻挡对象81b是否落入透视显示器12的视角62内。
如图10所示,杆73c与杆73d之间的阻挡对象81b落入视角62内。因此,例如在使用第二对作为基准显示阻挡对象81b的情况下,将整个阻挡对象81b显示在透视显示器12上。在这种情况下,确定要显示阻挡对象81b。
在确定阻挡对象81落入视角62内的情况下(步骤205中为“是”),输出控制单元57生成用于在透视显示器12上显示被确定要进行显示的阻挡对象81的图像信息(图8中的步骤106)。例如,基于布局规划适当地设置阻挡对象81的表面的图案、色调等,并且生成构成阻挡对象81的图像的图像信息。通过步骤108的输出处理,将所生成的图像信息输出至透视显示器12,并且显示阻挡对象81。
以这种方式,控制阻挡对象81的显示,使得阻挡对象81落入透视显示器12的视角62内。利用该配置,避免显示被不自然地切断等的阻挡对象81的情况,可以提供足够自然的虚拟体验。
应当注意,如图10所示,使用第三对(杆73e和杆73f)作为基准的阻挡对象81c也落入透视显示器12的视角62内。然而,已经可以在阻挡对象81c与用户1之间显示阻挡对象81b。因此,不执行阻挡对象81c的显示。
因此,可以防止以交叠的方式显示阻挡对象81。因此,可以抑制不必要的显示,并且可以实现简单的AR显示。因此,充分避免了虚拟对象80的交叠显示使得难以观看画面的情况。
图11是示出使用实际对象70作为基准的阻挡对象81的显示示例的示意图。图11的A至D中的每一个示意性地示出使用实际对象70作为基准显示的阻挡对象81的示例。
在图11的A中,根据视角62控制阻挡对象81的显示位置。例如,假设在实际对象70的三维模型中,阻挡对象81的显示位置已经被设置在视角62的上方。在这种情况下,布局规划单元55根据透视显示器12的视角62,执行相对于实际对象70降低阻挡对象81的显示位置的处理。
此外,例如,在用户1与实际对象70之间的距离较长的情况下,执行相对于实际对象70增大阻挡对象81的尺寸以使其易于观看的处理。以这种方式,布局规划单元55基于透视显示器12的视角62,相对于与限制区域63相关联的实际对象70调整阻挡对象81的显示位置和显示尺寸。
通过基于透视显示器12的视角62调整阻挡对象81的显示位置和显示尺寸,可以将阻挡对象81布置在用户1容易注意到的自然位置处。利用该配置,可以自然地通知限制区域63等的位置。
在图11的B中,相对于用户1的移动方向静态地显示阻挡对象81。例如,以取决于用户1的接近的方式适当地以放大状态显示在杆73之间显示的带(阻挡对象81)。因此,可以如在带实际地附接在真实空间中的情况下那样地显示阻挡对象81。
在图11的C中,显示阻挡对象81以覆盖实际对象70。即,阻挡对象81与实际对象70交叠地显示。在图11的C中,除成对的杆73之外,安装在成对的杆73之间的障碍物71也用作用于显示阻挡对象81的基准。例如使用表示障碍物71的形状的三维模型,显示深色的阻挡对象81d以覆盖障碍物71。此外,显示带状阻挡对象81e,使得带状阻挡对象81e被深色的阻挡对象81遮挡。
通过以这种方式以深色显示具有与真实障碍物71的形状类似的形状的阻挡对象81d,可以显示带状阻挡对象81,使得带状阻挡对象81被真实障碍物71遮挡。利用该配置,可以实现容易适于真实世界的显示。此外,可以通过真实障碍物71和阻挡对象81e两者向用户1通知限制进入的事实,并且可以充分地限制进入限制区域63。
在图11的D中,在实际空间中的台阶上显示阻挡对象81。例如,基于地图数据41中的地形等的三维模型,将台阶等检测为实际对象70。例如,存在如下担心:在行走平面的高度改变的区域中可能发生跌落、跌到等,该区域被设置为限制区域63。
以这种方式,可以根据实际空间的地形等来设置限制区域63。根据地形来设置限制区域63的方法等不受限制,并且例如,还可以相对于深度明显较大(深度差较大)的区域来设置限制区域63。利用该配置,可以根据用户1移动的地形来显示阻挡对象81,并且可以提供安全的虚拟体验。
返回参照图8,在确定用户1已经进入限制区域63的情况下(步骤104中为是),报告单元58生成用于通知进入限制区域63的报告信息(步骤107)。
图12是用于描述报告单元58的操作示例的示意图。在图12示出的示例中,生成声音信息作为报告信息。例如,当用户1进入设置在地图43中的限制区域63时,生成用于再现蜂鸣器声音、警报声音等作为2D声音的声音信息等。本文阐述的2D声音是例如以恒定音量再现的声音。因此,在用户1停留在限制区域63中时,以恒定音量输出蜂鸣器声音等。
此外,例如当进入限制区域63时,可以执行降低BGM的音量的处理。在这种情况下,生成用于以与进入限制区域63之前的音量相比减小的音量来再现BGM的声音信息。通过以这种方式使用令人不愉快的声音或不舒服的声音执行声学反馈,可以容易地向用户1通知进入了限制区域63。
还可以通过透视显示器12报告进入限制区域63。例如,生成用于使透视显示器12的显示闪烁的显示信息等作为报告信息。此外,可以生成用于在透视显示器12的边缘(在显示画面的外围)以预定颜色显示区域等的显示信息等。通过以这种方式在透视显示器12上进行不自然的显示,可以容易地向用户1通知进入了限制区域63。
可以生成诸如振动的振荡以报告进入限制区域63。在这种情况下,生成用于使振动单元21以预定模式振动的振动信息等作为报告信息。报告信息的具体配置不受限制,并且例如,可以单独生成声音信息、显示信息和振动信息中的每一个。当然,可以适当地生成通过对声音信息、显示信息和振动信息进行组合而获得的报告信息。
利用该配置,在确定进入限制区域63的情况下,可以呈现使用声音、显示、振动等的令人不愉快的表达。因此,可以向用户1通知进入了限制区域63,并且可以引导用户1移动到限制区域63之外。即,可以控制用户1的动作以防止用户1停留在限制区域63中。
应当注意,报告单元58能够生成用于通知接近限制区域63的报告信息。无论用户1是否已经进入限制区域63,均可以生成用于通知接近的报告信息。例如,在设置在图12中示出的地图43中的限制区域63中放置虚拟声源82。报告单元58生成使得能够再现3D声音的声音信息,其中3D声音的音量根据虚拟声源82与用户1之间的距离来控制。
例如,设置3D声音,使得音量随着用户1接近虚拟声源82而增大。利用这种配置,可以在用户1进入限制区域63之前,通知用户1接近了限制区域63。可以执行这种处理。
通过图8的步骤108中的输出处理将所生成的报告信息适当地输出至HMD 100的各个单元。例如,将声音信息输出至扬声器20,并且再现蜂鸣器声音等。此外,将显示信息输出至透视显示器12,并且执行闪烁等的显示。此外,将振动信息输出至振动单元21,并且执行生成诸如振动的振荡的操作。
以这种方式,利用HMD 100,根据用户1的位置执行对用户1的反馈处理。即,当用户1位于其中用户1可以进行动作的游戏区域中时。可以适当地显示用于通知限制区域63的阻挡对象81作为反馈处理。此外,当用户1偏离游戏区域并且进入限制区域63时,呈现各种令人不愉快的表达作为反馈处理。利用该配置,可以在保持用户1的动作的自由度的情况下自然地引导用户1,使得用户1在游戏区域中移动。
图13至图20是各自示出阻挡对象81的显示示例的示意图。图13至图20中的每一个示意性地示出佩戴HMD 100的用户1的视野区域60和针对虚拟对象80的显示区域61。在下文中,将参照图13至图20描述当用户1在实际空间中移动时显示在透视显示器12上的阻挡对象81。
在图13中,显示包括四个栅栏柱83和放置在四个栅栏柱83上的带84的阻挡对象81f。使用人行道74的边界部分75a和75b作为基准,显示阻挡对象81以遮挡人行道74。因此,在图13示出的示例中,人行道74的边界部分75a和75b是作为阻挡对象81的显示基准的实际对象70(与限制区域63相关联的实际对象70)。
在图13中,将阻挡对象81显示在显示区域61(透视显示器12的视角62)的大致中央处。利用该配置,可以阻挡用户1的向前移动。应当注意,此时,用户1尚未决定沿左手方向或右手方向移动。
如图14所示,当用户1将视线从图13的视野区域60向右移动时,在阻挡对象81f的后面显示另外的阻挡对象81g。利用该配置,阻挡了阻挡对象81f后面的用户1向右的移动,并且将用户1引导至画面的左侧。应当注意,保持图13中显示的阻挡对象81f的显示。
在图15中,用户1接近其上显示有阻挡对象81f和81g的人行道74。此时,放置阻挡对象81f和81g以遮挡人行道74。因此,可以向用户1通知严格限制沿人行道74向前移动的事实。
在图16中,用户1在阻挡对象81f的前面移动。因此,以交叠的方式显示阻挡对象81f和阻挡对象81g。当阻挡对象81以这种方式彼此交叠时,也可以执行连续显示已经显示的阻挡对象81的处理。
此外,例如在确定阻挡对象81f和阻挡对象81g彼此交叠的情况下,可以执行显示前面的阻挡对象81f并隐藏后面的阻挡对象81g的处理。与此相反,可以执行显示后面的阻挡对象81g并隐藏前面的阻挡对象81f的处理。利用该配置,可以实现简单的AR显示。
在图17中,用户1通过前面的阻挡对象81f向前移动。在这种情况下,在透视显示器12上仅显示后面的阻挡对象81g。此外,在阻挡对象81f与81g之间的区域被设置为限制区域63的情况下,呈现诸如蜂鸣器声音的令人不愉快的表达。利用该配置,可以向用户1通知用户1已经进入限制区域63的事实。
应当注意,例如,在图16中仅显示阻挡对象81f的情况下,可以执行其中在用户1移动通过阻挡对象81f时的时刻重新显示图17中示出的阻挡对象81g的处理。利用该配置,例如,可以向用户1通知严格限制进入限制区域63的事实。
在图18中,使用隧道状路径的入口和出口作为基准来显示阻挡对象81h和81i。利用该配置,可以制作出看起来好像隧道状路径被封闭的场景,并且可以通知严格限制进入隧道状路径的事实。因此,可以充分地防止用户1通过隧道状路径并且向前移动。当然,可以执行显示阻挡对象81h或81i中的任一者的处理。
在图19中,在用户1在其上行走的人行道74a与人行道74b交汇的位置(三叉路)处显示阻挡对象81j。例如,使用人行道74在三叉路处的边界部分76a和76b作为基准,计算阻挡对象81j的显示位置。利用该配置,可以制作看起来好像用户1在其上行走的人行道74a在中间被遮挡的场景。因此,可以自然地限制用户1进入另一人行道74b。
在图20中,用户1接近图19中示出的三叉路。即,用户1接近图19中显示阻挡对象81j的位置。在这种情况下,阻挡对象81j可能没有落入透视显示器12的视角62内(参见图21)。在这种情况下,如图20所示,显示落入视角62内的阻挡对象81k而不是阻挡对象81j。
例如,根据用户1接近三叉路,在画面上显示阻挡对象81k。此时,根据用户1接近三叉路,不再显示图19中示出的阻挡对象81j。可以执行在阻挡对象81j以这种方式偏离视角62时切换至另一阻挡对象81k的显示的处理。利用该配置,避免了显示被不自然地切断的阻挡对象81的情况,并且可以继续适当的显示。
在上文中,利用根据该实施方式的控制器50,设置限制进入的限制区域63,并且控制作为阻挡进入该限制区域63的虚拟对象80的阻挡对象81的显示。基于其中可以显示虚拟对象80的显示区域61来执行对阻挡对象81的显示控制。利用该配置,可以适当地显示阻挡对象81,并且可以提供自然的虚拟体验。
利用用以在用户的视野中显示虚拟图像等的配置,用户的视野的尺寸可以不同于其上显示虚拟图像等的显示画面的尺寸。例如,当显示画面比用户的视野小时,存在可能出现在显示画面的端部处虚拟图像被不自然地切断的情况的可能性。
图21是示出作为比较示例示出的阻挡对象81的显示示例的示意图。在图21中,用户1接近三叉路,其中继续显示图19中示出的阻挡对象81j。随着用户1接近三叉路,阻挡对象81j的显示尺寸增大。因此,阻挡对象81j偏离透视显示器12的视角62(显示区域61),并且在透视显示器12的边缘处被不自然地切断。因此,变得难以把握显示内容,或者存在可能出现遮挡视场的问题的可能性。
此外,作为引导享受虚拟体验的用户的方法,设想了显示箭头、字符等的虚拟图像从而直接显示至目的地的路线的方法。在这种引导方法中,用户根据箭头移动(或根据来自字符的指示移动)。此外,可以想到的是,显示诸如至目的地的距离和方向以及到达时间的各种类型的信息以用于引导用户。
图22是示出作为比较示例示出的箭头图像的显示示例的示意图。图23是示出作为比较示例示出的引导画面的显示示例的示意图。
在如图22的A所示的那样显示指示右转的箭头图像的情况下,设想用户专注于根据箭头图像90移动(向右转)。此外,在如图22的B所示的那样显示指示左转的箭头图像的情况下,设想用户专注于向左转。在以这种方式用箭头图像90等直接显示针对用户的路线时,用户在专注于跟随箭头的任务(将其作为任务而执行)的同时进行动作,并且存在可能难以同时执行除了移动以外的任务的可能性。
此外,在图23中示出的引导画面91上,显示指示引导起点92、用户路线93、至目的地的距离94或方向95、附近商店信息96等的虚拟图像。随着以这种方式在视场中显示的虚拟图像的数目增加,真实世界的视场变窄并且用户的动作可能会受到干扰。此外,较窄的真实世界的视场使得难以预先避免预测的危险等,并且可能增加事故等的风险。
在根据该实施方式的HMD 100中,基于透视显示器12的视角62、即虚拟对象80的显示区域61,来显示阻挡进入限制区域63的阻挡对象81。具体地,适当地将阻挡对象81显示成落入显示区域61内。因此,变得可以适当地显示整个阻挡对象81,并且可以充分地避免显示被不自然地中断的情况。此外,由于显示了整个阻挡对象81,因此变得可以正确地通知限制区域63等的存在。
此外,使用实际对象70作为基准来显示阻挡对象81。利用该配置,在用户1的视野区域60中、在自然的位置且以自然的尺寸显示阻挡对象81等,以便适应实际空间的环境。因此,可以向用户1提供自然的虚拟体验。
此外,阻挡对象81可以用于通知用户1其中限制进入的限制区域63的存在。即,可以使用户1自然地感知其中用户1可以进行动作的区域(游戏区域)的边界。因此,例如,使得用户1能够选择自由移动游戏区域的动作,并且可以提供具有高的自由度的虚拟体验而不会干扰用户1的自发动作。
根据用户1的位置和移动方向来控制阻挡对象81的显示。利用该配置,例如,可以将用户1自然地引导至目的地44。此外,通过在用户1周围的限制区域63上显示阻挡对象81,可以减少显示的阻挡对象81的数目。因此,可以在不覆盖用户1的视场的情况下将用户1安全地引导至目的地。
<其他实施方式>
本技术不限于上述实施方式,并且可以做出各种其他实施方式。
在上述实施方式中,通过读取记录在地图数据中的实际对象的三维模型等来获取关于与限制区域相关联的实际对象的信息。本技术不限于此,并且可以基于利用面向外的摄像装置等拍摄的实际空间等的图像来获取关于实际对象的信息。在这种情况下,可以通过使用诸如图案匹配的能够进行对象检测的技术等来检测包括在视角中的实际对象。
此外,可以使用测量至存在于实际空间中的实际对象的距离的距离传感器等作为检测关于实际空间的信息的传感器。可以使用诸如立体摄像装置、飞行时间(TOF)传感器、激光成像检测和测距(LiDAR)传感器以及激光测距仪的任意传感器作为距离传感器。可以在通过基于关于距离传感器的那些信息而执行用户的自身位置估计和周围地图生成(SLAM)来生成地图数据的情况下,读取关于实际对象的信息。
在上文中,使用存在于实际空间中的实际对象作为基准来显示阻挡对象。本技术不限于此,并且例如可以执行在实际空间中的任意位置处显示阻挡对象的处理。例如,可以执行指定包括在透视显示器等的显示区域中的实际空间中的任意点的坐标(纬度、经度和高度)等并且在该点处显示阻挡对象的处理。利用该配置,可以容易地计算阻挡对象的显示位置等,并且可以提高处理速度。
在上述实施方式中,通过包括透视显示器的HMD(AR眼镜)提供使用增强现实(AR)的虚拟体验。本技术不限于此,并且例如,本技术还可以应用于通过显示利用面向外的摄像装置等拍摄的实际空间的图像来实现AR显示的沉浸式HMD等。在该情况下,由安装在沉浸式HMD中的显示装置捕获的图像的视角(面向外的摄像装置的视角)是其中可以显示虚拟对象的显示区域。
此外,本技术不限于诸如安装在用户头部上的HMD的设备,并且例如可以通过智能电话、平板终端、个人计算机(PC)等来实现AR显示。在该情况下,例如执行控制阻挡对象的显示以使阻挡对象落入安装在智能电话等中的摄像装置的视角内的处理。利用该配置,可以提供自然的AR体验。此外,本技术不限于AR,并且本技术还可以应用于例如提供使用虚拟现实(VR)、混合现实等的虚拟体验的情况。
在上文中,作为根据本技术的信息处理装置的实施方式,已经例示了作为图像显示装置的HMD。然而,根据本技术的信息处理装置可以由被配置成与HMD分离并且以有线方式或无线方式连接至HMD的任意计算机来实现。例如,根据本技术的信息处理方法可以由云服务器执行。替选地,可以通过HMD和另外的计算机的协作来执行根据本技术的信息处理方法。
即,根据本技术的信息处理方法和程序不仅可以在由单个计算机构成的计算机系统中执行,而且可以在其中多个计算机一起操作的计算机系统中执行。应当注意,在本公开中,系统意味着多个组件(装置、模块(部件)等)的集合。是否所有组件都容纳在相同壳体中并不重要。因此,容纳在单独的壳体中并且经由网络彼此连接的多个装置以及具有容纳在单个壳体中的多个模块的单个装置均是系统。
由计算机系统执行根据本技术的信息处理方法和程序包括例如以下两种情况:由单个计算机执行限制区域的设置、基于显示区域的阻挡对象的显示控制等的情况;以及由不同计算机执行各个类型的处理的情况。此外,由预定计算机执行多个类型中的每一个类型的处理包括使其他计算机执行这些类型的处理中的一些或全部并且获取其结果。
即,根据本技术的信息处理方法和程序也适用于其中多个装置经由网络共享并一起处理单个功能的云计算的配置。
上面描述的根据本技术的特征部分中的至少两个特征部分也可以组合。即,在各个实施方式中描述的各种特征部分可以跨各个实施方式任意地组合。此外,上述各种效果仅是示例而非限制性的,并且可以施加其他效果。
应当注意,本技术还可以采用如下配置。
(1)一种信息处理装置,包括:
设置单元,设置其中限制进入的限制区域;以及
显示控制单元,基于其中能够显示虚拟对象的显示区域来控制作为阻挡进入所述限制区域的所述虚拟对象的阻挡对象的显示。
(2)根据(1)所述的信息处理装置,其中,
所述显示控制单元控制所述阻挡对象的显示,使得所述阻挡对象落入所述显示区域内。
(3)根据(1)或(2)所述的信息处理装置,还包括:
获取单元,获取关于与所述限制区域相关联的预定目标对象的信息,其中,
所述显示控制单元使用所述预定目标对象作为基准控制所述阻挡对象的显示。
(4)根据(3)所述的信息处理装置,其中,
所述显示控制单元基于所述显示区域来调整所述阻挡对象相对于所述预定目标对象的显示位置以及显示尺寸中的至少之一。
(5)根据(3)或(4)所述的信息处理装置,其中,
所述显示控制单元使用所述预定目标对象作为基准生成所述阻挡对象的候选,并且基于所述显示区域确定是否显示所述阻挡对象的候选。
(6)根据(5)所述的信息处理装置,其中,
所述显示控制单元通过确定所述阻挡对象的候选是否落入所述显示区域内,来确定是否显示所述阻挡对象的候选。
(7)根据(3)至(6)中任一项所述的信息处理装置,其中,
所述获取单元能够获取关于彼此间隔开的第一目标对象和第二目标对象中的每一个的信息作为关于所述预定目标对象的信息,并且
所述显示控制单元在所述第一目标对象与所述第二目标对象之间显示所述阻挡对象。
(8)根据(3)至(7)中任一项所述的信息处理装置,其中,
所述显示控制单元显示所述阻挡对象,使得所述阻挡对象与所述预定目标对象交叠。
(9)根据(1)至(8)中任一项所述的信息处理装置,还包括:
计算单元,计算其上显示所述虚拟对象的显示单元的视角作为所述显示区域。
(10)根据(9)所述的信息处理装置,其中,
所述显示单元设置在安装在用户的头部上的头戴式显示器(HMD)中,并且
所述计算单元基于所述用户的头部的位置和姿态中的至少之一来计算所述显示单元的视角。
(11)根据(9)或(10)所述的信息处理装置,其中,
所述显示单元是透视显示器。
(12)根据(1)至(11)中任一项所述的信息处理装置,其中,
所述显示控制单元根据用户的位置和移动方向中的至少之一来显示所述阻挡对象。
(13)根据(12)所述的信息处理装置,其中,
所述显示控制单元显示限制进入所述用户周围的所述限制区域的所述阻挡对象。
(14)根据(1)至(13)中任一项所述的信息处理装置,其中,
所述设置单元基于用户的位置和目的地中的至少之一来设置所述限制区域。
(15)根据(1)至(14)中任一项所述的信息处理装置,其中,
所述设置单元能够设置表示对进入所述限制区域的限制的水平的限制水平,并且
所述显示控制单元根据所述限制水平控制所述阻挡对象的显示。
(16)根据(1)至(15)中任一项所述的信息处理装置,还包括:
报告单元,生成用于报告进入所述限制区域和接近所述限制区域中的至少之一的报告信息。
(17)根据(16)所述的信息处理装置,其中,
所述报告信息包括声音信息、显示信息和振动信息中的至少之一。
(18)一种信息处理方法,包括:
通过计算机系统执行以下操作:
设置其中限制进入的限制区域;以及
基于其中能够显示虚拟对象的显示区域来控制作为阻挡进入所述限制区域的所述虚拟对象的阻挡对象的显示。
(19)一种使计算机系统执行以下步骤的程序:
设置其中限制进入的限制区域的步骤;以及
基于其中能够显示虚拟对象的显示区域来控制作为阻挡进入所述限制区域的所述虚拟对象的阻挡对象的显示的步骤。
附图标记列表
1用户
12透视显示器
41地图数据
42控制程序
50控制器
51信息获取单元
52区域设置单元
53进入确定单元
54显示区域计算单元
55布局规划单元
56布局确定单元
57输出控制单元
58报告单元
60视野区域
61显示区域
62视角
63限制区域
70实际对象
80虚拟对象
81,81a至81k阻挡对象
100HMD

Claims (19)

1.一种信息处理装置,包括:
设置单元,设置其中限制进入的限制区域;以及
显示控制单元,基于其中能够显示虚拟对象的显示区域来控制作为阻挡进入所述限制区域的所述虚拟对象的阻挡对象的显示。
2.根据权利要求1所述的信息处理装置,其中,
所述显示控制单元控制所述阻挡对象的显示,使得所述阻挡对象落入所述显示区域内。
3.根据权利要求1所述的信息处理装置,还包括:
获取单元,获取关于与所述限制区域相关联的预定目标对象的信息,其中,
所述显示控制单元使用所述预定目标对象作为基准,控制所述阻挡对象的显示。
4.根据权利要求3所述的信息处理装置,其中,
所述显示控制单元基于所述显示区域来调整所述阻挡对象相对于所述预定目标对象的显示位置以及显示尺寸中的至少之一。
5.根据权利要求3所述的信息处理装置,其中,
所述显示控制单元使用所述预定目标对象作为基准生成所述阻挡对象的候选,并且基于所述显示区域确定是否显示所述阻挡对象的候选。
6.根据权利要求5所述的信息处理装置,其中,
所述显示控制单元通过确定所述阻挡对象的候选是否落入所述显示区域内,来确定是否显示所述阻挡对象的候选。
7.根据权利要求3所述的信息处理装置,其中,
所述获取单元能够获取关于彼此间隔开的第一目标对象和第二目标对象中的每一个的信息作为关于所述预定目标对象的信息,并且
所述显示控制单元在所述第一目标对象与所述第二目标对象之间显示所述阻挡对象。
8.根据权利要求3所述的信息处理装置,其中,
所述显示控制单元显示所述阻挡对象,使得所述阻挡对象与所述预定目标对象交叠。
9.根据权利要求1所述的信息处理装置,还包括:
计算单元,计算其上显示所述虚拟对象的显示单元的视角作为所述显示区域。
10.根据权利要求9所述的信息处理装置,其中,
所述显示单元设置在安装在用户的头部上的头戴式显示器HMD中,并且
所述计算单元基于所述用户的头部的位置和姿态中的至少之一来计算所述显示单元的视角。
11.根据权利要求9所述的信息处理装置,其中,
所述显示单元是透视显示器。
12.根据权利要求1所述的信息处理装置,其中,
所述显示控制单元根据用户的位置和移动方向中的至少之一来显示所述阻挡对象。
13.根据权利要求12所述的信息处理装置,其中,
所述显示控制单元显示限制进入所述用户周围的所述限制区域的所述阻挡对象。
14.根据权利要求1所述的信息处理装置,其中,
所述设置单元基于用户的位置和目的地中的至少之一来设置所述限制区域。
15.根据权利要求1所述的信息处理装置,其中,
所述设置单元能够设置表示对进入所述限制区域的限制的水平的限制水平,并且
所述显示控制单元根据所述限制水平控制所述阻挡对象的显示。
16.根据权利要求1所述的信息处理装置,还包括:
报告单元,生成用于报告进入所述限制区域和接近所述限制区域中的至少之一的报告信息。
17.根据权利要求16所述的信息处理装置,其中,
所述报告信息包括声音信息、显示信息和振动信息中的至少之一。
18.一种信息处理方法,包括:
通过计算机系统执行以下操作:
设置其中限制进入的限制区域;以及
基于其中能够显示虚拟对象的显示区域来控制作为阻挡进入所述限制区域的所述虚拟对象的阻挡对象的显示。
19.一种使计算机系统执行以下步骤的程序:
设置其中限制进入的限制区域的步骤;以及
基于其中能够显示虚拟对象的显示区域来控制作为阻挡进入所述限制区域的所述虚拟对象的阻挡对象的显示的步骤。
CN201880082481.1A 2017-12-27 2018-12-12 信息处理装置、信息处理方法及程序 Active CN111512277B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-251435 2017-12-27
JP2017251435 2017-12-27
PCT/JP2018/045731 WO2019131143A1 (ja) 2017-12-27 2018-12-12 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN111512277A true CN111512277A (zh) 2020-08-07
CN111512277B CN111512277B (zh) 2024-06-18

Family

ID=67067162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880082481.1A Active CN111512277B (zh) 2017-12-27 2018-12-12 信息处理装置、信息处理方法及程序

Country Status (6)

Country Link
US (1) US11156844B2 (zh)
EP (1) EP3734428A4 (zh)
JP (1) JP7322713B2 (zh)
KR (1) KR102642775B1 (zh)
CN (1) CN111512277B (zh)
WO (1) WO2019131143A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113304480A (zh) * 2021-05-25 2021-08-27 网易(杭州)网络有限公司 游戏的显示方法、装置和终端

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021020068A1 (ja) * 2019-07-26 2021-02-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP7401245B2 (ja) * 2019-10-08 2023-12-19 キヤノン株式会社 画像合成装置、画像合成装置の制御方法およびプログラム
WO2021177186A1 (ja) * 2020-03-06 2021-09-10 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN117940878A (zh) * 2021-09-02 2024-04-26 斯纳普公司 通过分布式和连接的真实世界对象建立社交连接
US12051149B2 (en) * 2022-10-03 2024-07-30 d3Labs Inc. Display of three-dimensional scenes with changing perspectives

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150094142A1 (en) * 2013-09-30 2015-04-02 Sony Computer Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
CN105051650A (zh) * 2013-03-19 2015-11-11 日本电气方案创新株式会社 三维解锁设备、三维解锁方法和程序
US20150331236A1 (en) * 2012-12-21 2015-11-19 Harman Becker Automotive Systems Gmbh A system for a vehicle
US20160109940A1 (en) * 2014-10-19 2016-04-21 Philip Lyren Electronic Device Displays an Image of an Obstructed Target
CN106716301A (zh) * 2014-09-02 2017-05-24 索尼公司 信息处理装置、控制方法和程序
WO2017180990A1 (en) * 2016-04-14 2017-10-19 The Research Foundation For The State University Of New York System and method for generating a progressive representation associated with surjectively mapped virtual and physical reality image data

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5971466B2 (ja) * 2012-05-08 2016-08-17 日本電気株式会社 フライトパス表示システム、方法及びプログラム
JP2014191718A (ja) 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
JP2015224981A (ja) * 2014-05-28 2015-12-14 株式会社Screenホールディングス 経路案内装置、経路案内方法、および経路案内プログラム
JP6424100B2 (ja) * 2015-01-29 2018-11-14 株式会社ゼンリンデータコム ナビゲーションシステム、ナビゲーション装置、グラス型デバイス及び装置間連携方法
US9889860B2 (en) * 2015-12-15 2018-02-13 Universal City Studios Llc Multi-passenger ride vehicle
JP6727807B2 (ja) * 2015-12-29 2020-07-22 株式会社バンダイナムコアミューズメント ゲーム装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150331236A1 (en) * 2012-12-21 2015-11-19 Harman Becker Automotive Systems Gmbh A system for a vehicle
CN105051650A (zh) * 2013-03-19 2015-11-11 日本电气方案创新株式会社 三维解锁设备、三维解锁方法和程序
US20150094142A1 (en) * 2013-09-30 2015-04-02 Sony Computer Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
CN106716301A (zh) * 2014-09-02 2017-05-24 索尼公司 信息处理装置、控制方法和程序
US20160109940A1 (en) * 2014-10-19 2016-04-21 Philip Lyren Electronic Device Displays an Image of an Obstructed Target
WO2017180990A1 (en) * 2016-04-14 2017-10-19 The Research Foundation For The State University Of New York System and method for generating a progressive representation associated with surjectively mapped virtual and physical reality image data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113304480A (zh) * 2021-05-25 2021-08-27 网易(杭州)网络有限公司 游戏的显示方法、装置和终端

Also Published As

Publication number Publication date
KR20200100059A (ko) 2020-08-25
EP3734428A4 (en) 2021-03-03
US11156844B2 (en) 2021-10-26
WO2019131143A1 (ja) 2019-07-04
JP7322713B2 (ja) 2023-08-08
KR102642775B1 (ko) 2024-03-05
CN111512277B (zh) 2024-06-18
EP3734428A1 (en) 2020-11-04
JPWO2019131143A1 (ja) 2021-02-04
US20200319472A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
CN111512277B (zh) 信息处理装置、信息处理方法及程序
US10175492B2 (en) Systems and methods for transition between augmented reality and virtual reality
US10108018B2 (en) Image display apparatus for displaying an image captured by a mobile apparatus
US20160314624A1 (en) Systems and methods for transition between augmented reality and virtual reality
JP6234622B1 (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP6342024B1 (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
WO2017104515A1 (ja) 情報処理装置および警告提示方法
JP6276434B1 (ja) 仮想空間における移動を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP6275891B1 (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
WO2017126433A1 (ja) 情報処理装置およびユーザガイド提示方法
JP7085578B2 (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
JP2017220224A (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム
JP2018116684A (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP6634654B2 (ja) 情報処理装置および警告提示方法
JP7080373B2 (ja) 情報処理装置および警告提示方法
JP2018124989A (ja) 仮想空間における移動を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US11908090B2 (en) Information processing device, information processing method, and program
CN117063204A (zh) 信息处理装置、信息处理方法和程序
JP2017220219A (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、当該プログラムを記録した記録媒体、および仮想空間を提供するためのシステム
CN117223050A (zh) 影像显示系统、信息处理方法及程序
JP2018120587A (ja) 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2018120521A (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2017220162A (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant