CN109416575A - 在虚拟化环境中呈现图像的方法和设备 - Google Patents

在虚拟化环境中呈现图像的方法和设备 Download PDF

Info

Publication number
CN109416575A
CN109416575A CN201780023021.7A CN201780023021A CN109416575A CN 109416575 A CN109416575 A CN 109416575A CN 201780023021 A CN201780023021 A CN 201780023021A CN 109416575 A CN109416575 A CN 109416575A
Authority
CN
China
Prior art keywords
user
real world
image
virtualized environment
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780023021.7A
Other languages
English (en)
Inventor
G.克格利托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rui Situo Co
R Stor Inc
Original Assignee
Rui Situo Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rui Situo Co filed Critical Rui Situo Co
Publication of CN109416575A publication Critical patent/CN109416575A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明某些实施方案可涉及在虚拟化环境中呈现图像。本发明可提供方法和设备。所述方法可包括为用户生成虚拟化环境。所述方法还可包括检测所述真实世界中的对象。所述方法还可包括在所述虚拟化环境中呈现与所述检测到的对象相对应的图像。

Description

在虚拟化环境中呈现图像的方法和设备
相关申请的交叉引用
本申请要求于2016年4月12日提交的美国临时申请号62/321,528的优先权。上述临时申请的全部内容在此通过引用并入本申请。
发明背景
发明领域:
本发明的某些实施方案可涉及在虚拟化环境中呈现图像。
相关技术简述:
虚拟现实可生成/模拟物理环境。所述虚拟现实的用户可在所述模拟的虚拟化环境中进行交互。可经由计算机屏幕或通过头戴式视图器(headset)显示所述虚拟化环境的图像。所述虚拟化环境可类似于真实世界中的物理位置,或可类似于虚构世界的位置。
发明摘要
根据第一实施方案,本发明所述方法可包括由虚拟现实设备为用户生成虚拟化环境。所述方法还可包括检测所述真实世界中的对象。所述方法还可包括在所述虚拟化环境中呈现与所述检测到的对象相对应的图像。
在所述第一实施方案的所述方法中,所述生成所述虚拟化环境包括使用真实世界图像。
在所述第一实施方案的所述方法中,所述方法还可包括捕获所述真实世界中的所述对象的真实世界图像。所述呈现与所述检测到的对象相对应的所述图像包括使用所述捕获的真实世界图像。
在所述第一实施方案的所述方法中,所述检测所述对象包括确定所述用户与所述对象之间的距离。
在所述第一实施方案的所述方法中,所述呈现与所述检测到的对象相对应的所述图像是基于所述用户与所述对象之间的所述确定的距离。当所述确定的距离越短,所述呈现的图像越明显。
在所述第一实施方案的所述方法中,所述方法还可包括提供所述检测到的对象在距离所述用户的预定距离内的警报。
根据第二实施方案,本发明所述设备可包括至少一个处理器。所述设备还可包括至少一个存储器,所述存储器包括计算机程序代码。所述至少一个存储器和所述计算机程序代码可配置为与所述至少一个处理器一起使所述设备至少为用户生成虚拟化环境。还可使所述设备检测所述真实世界中的对象。还可使所述设备在所述虚拟化环境中呈现与所述检测到的对象相对应的图像。
在所述第二实施方案的所述设备中,所述生成所述虚拟化环境包括使用真实世界图像。
在所述第二实施方案的所述设备中,进一步使所述设备捕获所述真实世界中的所述对象的真实世界图像。所述呈现与所述检测到的对象相对应的所述图像包括使用所述捕获的真实世界图像。
在所述第二实施方案的所述设备中,所述检测所述对象包括确定所述用户与所述对象之间的距离。
在所述第二实施方案的所述设备中,所述呈现与所述检测到的对象相对应的所述图像是基于所述用户与所述对象之间的所述确定的距离。当所述确定的距离越短,所述呈现的图像越明显。
在所述第二实施方案的所述设备中,进一步使所述设备提供所述检测到的对象在距离所述用户的预定距离内的警报。
根据第三实施方案,本发明所述计算机程序产品可体现在非暂时性计算机可读介质上。所述计算机程序产品配置为控制处理器以执行根据所述第一实施方案的方法。
附图简要说明
为了正确理解本发明,应参考附图,其中:
图1示出了根据本发明某些实施方案,在虚拟化环境中呈现图像。
图2示出了根据本发明某些实施方案,将对应于真实世界对象的图像逐渐引入虚拟化环境的示例。
图3示出了根据本发明某些实施方案,逐渐引入对应于真实世界对象的图像的另一示例。
图4示出了根据本发明某些实施方案,在虚拟化环境中呈现图像的系统。
图5示出了根据本发明某些实施方案的方法的流程图。
图6示出了根据本发明某些实施方案的设备。
图7示出了根据本发明某些实施方案的另一设备。
发明详述
本发明的某些实施方案可涉及在虚拟化环境中呈现图像。某些实施方案可通过将对应于真实世界对象的图像与所述虚拟化环境的图像合并来呈现所述图像。如以下进一步详细描述的,对应于所述真实世界对象的所述图像可以是计算机生成的图像,或者可以是所述对象的捕获视频/图像。如以下进一步详细描述的,对应于所述虚拟化环境的所述图像还可以是计算机生成的图像,或者可以是实际捕获的视频/图像。
在某些实施方案,为了与所述虚拟化环境交互,所述虚拟化环境的用户可利用为所述用户模拟/生成所述虚拟化环境的硬件。譬如,所述用户可佩戴生成所述虚拟化环境的虚拟现实头戴式视图器或眼镜。所述用户还可使用模拟/生成所述虚拟化环境的投影硬件。
通过使用硬件(例如头戴式视图器),所述用户可沉浸在与所述用户当前存在于其中的真实世界环境不同的虚拟化环境中。尽管所述虚拟化环境可能与所述用户当前存在于其中的真实世界环境不同,但所述虚拟化环境的部分图像可使用捕获的真实世界图像。譬如,芝加哥的用户可决定沉浸在虚拟化环境中,例如沉浸在夏威夷海滩中。所述硬件可通过使用真实世界的视频/图像来生成所述虚拟化夏威夷海滩,例如夏威夷海滩的真实画面/照片。因此,虚拟化环境的一个或多个部分可包括真实世界的视频/图像。所述虚拟化环境的其他部分可包括计算机生成的图像(即,非现实生活视频镜头或非现实生活图片的图像)。譬如,所述虚拟化夏威夷海滩可包括计算机生成的鸟或其他计算机生成的对象。
鉴于上述情况,某些实施方案可使用户沉浸在所述用户期望的任何虚拟化环境中。如上所述,所述环境可使用现实生活的镜头/图像、计算机生成的图像或两者的任何组合来生成。如此,用户可决定使用头戴式视图器来生成与现实生活的夏威夷海滩、现实生活的伦敦酒吧、虚构的位置和/或任何其他期望的位置相对应的虚拟化环境。
在某些实施方案,对应于所述真实世界对象的图像可以是所述真实世界中在所述用户附近的对象的图像。譬如,当用户的手触摸所述真实世界中的真实世界对象时,对应于所述真实世界对象的图像可出现在所述虚拟化环境中。与所述真实世界对象相对应的图像可以是所述对象的真实世界视频镜头/图片,计算机生成的所述对象表示,或两者的组合。
譬如,如果用户与真实世界键盘交互,则某些实施方案可生成与所述真实世界键盘相对应的图像。如此,当用户在实际真实世界的键盘上键入时,在虚拟化环境中,所述用户也将显示为在生成的键盘上键入。所述生成的真实世界键盘的图像可包括所述键盘的真实世界视频镜头/图片、计算机生成的所述键盘表示、或两者的组合。
因此,当用户在所述虚拟化环境中的生成对象上键入时,所述用户可在真实世界中体验实际的真实世界对象的触感。具体地,当用户在所述虚拟化环境中在生成的键盘上键入时,所述用户可体验在真实世界中使用实际的真实世界键盘的触感。
鉴于上述情况,在某些实施方案,用户可仅通过与真实世界键盘交互来使用计算机以接收所述键盘的触感,而无需通常必要的其他计算机部件。譬如,真实世界的监视器(以及真实世界中所述监视器上显示的信息)可以是不必要的,因为可在虚拟化环境中生成/呈现监视器。
因此,在虚拟化环境中生成/呈现监视器的过程中,用户根据其期望的任何形状因数可在不同类型的呈现监视器/显示器中进行选择。譬如,用户可选择使用20英寸监视器,30英寸监视器,40英寸监视器等。所述这些不同的显示器/监视器可由头戴式视图器在所述虚拟化环境中呈现。
尽管已特别提及键盘作为用户可接触的真实世界对象的一个示例,但真实世界对象的其他示例可包括其他对象,例如,诸如计算机鼠标,电子设备,游戏控制器,文档,和/或任何其他物理道具等。
譬如,在某些实施方案,用户可在沉浸于虚拟化环境中的同时,正在玩视频游戏。假设所述计算机游戏可以是第一人称射击计算机游戏。当玩此种游戏时,用户可在真实世界中持有假枪/假控制器,以便在虚拟化世界中操作枪支时体验触感。当用户与虚拟化环境中的虚拟枪支交互时,所述用户可与真实世界中的道具/控制器交互。因此,当用户在所述第一人称射击游戏的虚拟化世界中看到虚拟/生成的枪支并与之交互时,所述用户也将体验到触觉响应,如同用户触摸真实世界中的真实世界道具/控制器一样。
在另一实施方案,所述硬件/头戴式视图器可配置有传感器以检测真实世界的对象、障碍物或人。一旦在真实世界中检测到对象、障碍物或人,则某些实施方案可生成与真实世界对象、障碍物或人相对应的图像,然后其中所述生成的图像与虚拟化环境合并。譬如,所述头戴式视图器的传感器可在真实世界中检测到人正在接近用户、或者用户正在接近人。在另一实施例中,所述头戴式视图器的传感器可确定用户正在接近障碍物。
一旦传感器确定障碍物、对象或人在用户附近,则头戴式视图器便可警告所述障碍物、对象或人附近的所述用户。所述警报对于用户而言可能是有用的警报,因为这些用户通常完全沉浸在虚拟环境中,所以他们无法感知真实世界中附近的障碍物、对象或人。通过向用户提供这些有用的警报,某些实施方案可使用户避免撞到障碍物、对象或人,并且可使用户更少地被这些障碍物、对象或人迷失方向。在某些实施方案,如果有人正在接近用户,或者如果用户即将撞到障碍物/对象/人,则头戴式视图器可向用户提供警报。
在某些实施方案,除了确定障碍物、对象或人在用户附近之外,所述传感器还可具体地识别用户可能在真实世界中接触的不同对象、障碍物或人。譬如,在一个实施方案,一旦光学传感器检测到对象的存在,所述传感器便可确定所述检测到的对象的物理特征/尺寸。然后,所述硬件的控制器可参考一组对象的存储信息以确定所述检测到的对象是否匹配所述存储信息的任何对象。所述存储信息可对应于由本发明实施方案可识别的对象。譬如,某些实施方案可存储关于数据库内的可识别对象的信息。
在另一实施方案,当对象向硬件发送通信时,所述硬件可检测/识别真实世界中的对象。所述真实世界对象可使用与所述硬件/头戴式视图器兼容的通信方法。如此,在对象通知头戴式视图器所述对象存在之后,可由所述头戴式视图器检测到真实世界对象,并且所述对象可向头戴式视图器标识自己。譬如,对象可向头戴式视图器通知所述对象的类型、所述对象的位置以及所述对象的任何其他特征。在某些实施方案,真实世界的对象可通过蓝牙通信与头戴式视图器进行通信。
在某些实施方案,传感器或其他相机可捕获真实世界对象的真实世界镜头/图像。在捕获所述真实世界镜头/图像之后,某些实施方案可呈现对应于真实世界对象的图像。所述呈现的图像可使用捕获的、实际真实世界镜头/图像。
因此,在某些实施方案可在用户的真实世界环境中执行光学识别或捕获对象之后,可将对应于真实世界对象的图像插入到虚拟化环境中。
图1示出了根据本发明某些实施方案,在虚拟化环境中呈现图像。在图1的示例中,用户可沉浸在虚拟化环境100中。当用户沉浸在虚拟化环境100中时,某些实施方案可生成对应于真实世界对象的图像。然后可在虚拟化环境100中合并所述生成的图像。譬如,用户可能希望查看一张纸张(其中所述纸张是处于真实世界环境中)。头戴式视图器可呈现实况视频流120,或者可在虚拟化环境100中呈现一张或多张纸张的真实世界图像110。如此,用户能够查看虚拟化环境100中的文档(110、120),其中所述文档存在于用户的真实世界中。尽管真实世界环境中的文档被特别提及作为可在虚拟化环境中呈现的示例对象,但其他对象(如真实世界中的软饮料)可被呈现为虚拟化环境100中的真实世界图像130。
鉴于上述情况,本发明的某些实施方案可将虚拟世界的图像与真实世界的图像进行组合。所述真实世界的图像可包括真实世界的图片或镜头。
如上所述,可在虚拟化环境中呈现与用户交互的真实世界的不同对象。然而,由于在虚拟化环境中生成与真实世界对象相对应的图像,因此硬件可忽略真实世界环境的背景。譬如,如上所述,真实世界环境可由所期望的虚拟化环境(如虚拟伦敦酒吧、虚拟夏威夷海滩等)替代。如此,某些实施方案可在呈现真实世界环境的某些对象的同时,忽略用户的真实世界环境背景。
鉴于上述情况,某些实施方案可检测真实世界中对象的存在。其次,可识别所述检测到的对象。再次,某些实施方案可将所述识别的对象与真实世界环境的背景分离。譬如,所述识别的对象的图像可与真实世界背景的图像分离。然后,某些实施方案可仅将真实世界对象的图像插入到虚拟化环境中。因此,可在消除真实世界环境的周围现实的同时,在虚拟化环境中正确呈现所期望的真实世界对象。
某些实施方案还可实现将真实世界的对象、人和障碍物逐渐引入虚拟环境中。具体地,某些实施方案可基于真实世界中用户与真实世界对象之间的距离,逐渐引入真实世界对象的图像。通过将真实世界对象逐渐引入虚拟化环境,所述引入对用户而言可能不那么具有干扰性。
将真实世界对象引入虚拟环境可对用户有帮助,因为当用户使用虚拟现实头戴式视图器时,用户可能变得不太了解周围的对象、障碍物和其他人。换言之,一旦用户接入虚拟现实头戴式视图器,用户可能失去他们的大部分感官能力。因此,某些实施方案可向用户提供感知某人正在进入用户附近的能力。此外,通过将真实世界的对象/人逐渐引入虚拟化环境,所述引入可使虚拟化环境的用户不那么迷失方向。
当逐渐引入真实世界对象、人和/或障碍物的图像时,某些实施方案可基于是否满足不同距离阈值来引入图像。在某些实施方案,硬件控制器或计算机处理器可基于存储/预定的距离阈值来引入图像。譬如,假设存在不同的阈值距离,其中d1 < d2 < d3。尽管具体提及了三个距离阈值(d1、d2、和d3),但其他实施方案可使用更多或更少的距离阈值。所述这些阈值可对应于用户与真实世界中的对象、人和/或障碍物之间的距离。因此,当对象、人和/或障碍物继续接近用户(或当用户接近所述对象、人和/或障碍物)并穿过不同的距离阈值时,所述生成的对象、人和/或障碍物的图像对用户而言越来越明显。
譬如,假设人/障碍物最初远离正在使用头戴式视图器的用户。首先,如果头戴式视图器确定人或其他障碍物到达用户的距离d3内,则头戴式视图器可首先向用户提供人/障碍物已进入用户的距离d3内的物理指示。譬如,头戴式视图器可向用户提供嗡嗡声或隆隆声。所述物理指示可被认为是最不明显的警报,即最不具侵入性的警报。
其次,如果人/障碍物继续接近用户(或者用户继续接近所述人/障碍物),则头戴式视图器可呈现虚拟化环境中的所述接近的人/障碍物轮廓。譬如,头戴式视图器的计算机处理器或控制器可配置为在人/障碍物到达用户的距离d2内之后,呈现所述轮廓。图2示出了通过呈现轮廓逐渐引入真实世界对象的图像的示例。在图2的示例中,用户可沉浸在虚拟化环境100中。当障碍物(例如椅子)进入用户的预定距离(例如在距离d2内)时,头戴式视图器可在虚拟环境100中呈现所述椅子210的轮廓。
尽管图2的示例示出了通过呈现轮廓逐渐引入椅子的图像,但其他实施方案可通过引入不同透明度的图像来逐渐引入真实世界对象的图像。譬如,远离的真实世界对象/人/障碍物可能看起来非常透明,而越靠近用户的真实世界对象/人/障碍物可在虚拟化环境中看起来是不透明的。某些实施方案可以不使用不同的离散阈值。相反,某些实施方案可根据相应对象与真实世界中的用户之间的距离逐渐引入图像(即,逐渐地、不断地修改图像的透明度)。
鉴于上述情况,可以任何渐变的方式向用户引入被认为合适的图像,以避免使用户迷失方向,并且避免干扰用户与虚拟化环境的交互。
再者,如果用户与人/障碍物之间的距离继续缩短,则头戴式视图器可配置为在虚拟环境中完全呈现所述人/障碍物。譬如,在人/障碍物到达用户的距离d1内的情况下,某些实施方案可完全呈现虚拟化环境中的所述人/障碍物的图像。譬如,某些实施方案可在即将发生碰撞的情况下完全呈现虚拟化环境中的所述人/障碍物的图像。图3示出了逐渐引入真实世界对象的图像的另一示例。在图3的示例中,障碍物(例如椅子)与用户之间的距离可继续变小,因此头戴式视图器可在虚拟化环境100中完全呈现椅子310。
此外,本发明的不同实施方案可允许用户设置不同的参数以确定距离d1、d2、和/或d3。某些实施方案还可允许用户配置如何在虚拟环境中呈现人/障碍物。所述参数还可反映所述隆隆声通知发生的时机和方式。
鉴于上述情况,在某些实施方案,当用户使用头戴式视图器时,家具中的尖角(即,障碍物)可首先显示为轮廓,然后在虚拟环境中显示为完全呈现的对象。因此,用户可避免与家具碰撞,并且用户可避免伤害他/她自己。
图4示出了根据本发明某些实施方案,在虚拟化环境中呈现图像的系统410。示例系统410的单元可集成在虚拟现实头戴式视图器内。或者,示例系统410的某些单元可与虚拟现实头戴式视图器分离。图4所示系统410可包括根据本发明某些实施方案的生成虚拟化环境的虚拟环境生成单元420,传感器单元430和图像呈现单元440。所述传感器单元430可确定对象是否在用户附近。如上所述,譬如,传感器单元430可确定对象的物理尺寸,并识别对象,和/或确定用户与对象之间的距离。传感器单元430还可捕获对象的真实世界图像。图像呈现单元440可呈现与如上所述的真实世界对象相对应的图像。
图5示出了根据本发明某些实施方案的方法的流程图。图5中所示方法包括在510处,由虚拟现实设备为用户生成虚拟化环境。所述方法还可包括在520处检测真实世界中的对象。所述方法还可包括在530处,在虚拟化环境中呈现与所述检测到的对象相对应的图像。
图6示出了根据本发明某些实施方案的设备10。应当理解,图5中的每个模块均可通过各种手段或其组合来实现,例如通过硬件、软件、固件、一个或多个处理器和/或电路或其组合来实现。在一个实施方案,设备10可以是例如生成虚拟化环境的设备(例如头戴式视图器或一些其他虚拟现实设备)。在另一实施方案,设备10可以是实现系统功能的设备,所述系统可与生成虚拟化环境的设备分离。设备10还可配置为作为虚拟环境生成单元420、传感器单元430和/或图像呈现单元440中的任何一个进行操作,如图4所示。此外,设备10可配置为作为设备700的任何组件进行操作,如图7所示,包括生成单元710,检测单元720和呈现单元730。尽管在图6中仅示出了一个设备10,但一个以上的设备10可作为系统以各种组合一同实施,或者独立地实施。
设备10包括用于处理信息和执行指令或操作的处理器22。处理器22可以是任何类型的通用或专用处理器。虽然图6中示出了单个处理器22,但根据其他实施方案也可使用多个处理器。实际上,作为示例,处理器22可包括通用计算机、专用计算机、微处理器、数字信号处理器(“DSP”)、现场可编程门阵列(“FPGA”)、专用集成电路(“ASIC”)、和基于多核处理器架构的处理器中的一个或多个。
设备10还包括存储器14,其连接至处理器22,用于存储可由处理器22执行的信息和指令。存储器14可以是一个或多个存储器以及适于本地应用环境的任何类型,并可使用任何合适的易失性或非易失性数据存储技术(例如基于半导体的存储器件、磁存储器件和系统、光学存储器件和系统、固定存储器、和可移动存储器)来实现。譬如,存储器14可由随机存取存储器(“RAM”)、只读存储器(“ROM”)、静态存储器(例如磁盘或光盘)、或任何其他类型的非暂时性机器或计算机可读媒体的任意组合组成。存储在存储器14中的指令可包括程序指令或计算机程序代码,当由处理器22执行时,使得设备10能够执行如本本发明所述的任务,包括图5中所示的任务。
设备10还可包括一个或多个天线(未示出),用于向设备10发送信号和/或数据以及从设备10接收信号和/或数据。设备10还可包括收发器28,所述收发器28将信息调制到载波波形以供天线发送,并解调经由天线接收的信息,以供设备10的其他元件进一步处理。在其他实施方案,收发器28可能够直接发送和接收信号或数据。
处理器22可执行与设备10的操作相关联的功能,包括但不限于天线增益/相位参数的预编码,形成通信信息的各个位的编码和解码,信息的格式化,以及设备10的整体控制,包括与通信资源管理有关的过程。
在一个实施方案,存储器14可存储在由处理器22执行时提供功能的软件模块。所述模块可包括为设备10提供操作系统功能的操作系统15。存储器还可存储一个或多个功能模块18,例如应用程序或程序,从而为设备10提供附加功能。设备10的组件可以硬件实现,或者以硬件和软件的任何合适组合实现。
在一个实施方案,设备10可配置成为用户生成虚拟化环境。设备10还可配置为检测真实世界中的对象。设备10还可配置为在虚拟化环境中呈现与所述检测到的对象相对应的图像。
图7示出了根据本发明某些实施方案的另一设备。譬如,设备700可以是头戴式视图器或一些其他虚拟现实设备。设备700可包括生成单元710,所述生成单元710为用户生成虚拟化环境。设备700还可包括检测真实世界中的对象的检测单元720。设备700还可包括呈现单元730,所述呈现单元730在虚拟化环境中呈现与所述检测到的对象相对应的图像。
在一个或多个实施方案中,可以任何合适的方式组合所述的本发明特点、优点和特征。相关领域的技术人员将认识到,可在不具有特定实施方案的一个或多个特定特征或优点的情况下实施本发明。在其他情况下,在某些实施方案中可认识到附加的特征和优点,所述这些特征和优点可不存在于本发明的所有实施方案中。本领域普通技术人员将容易理解,如上所讨论的本发明可以不同顺序步骤和/或使用与所公开的配置不同的配置中的硬件元件来实施。因此,尽管已基于所述这些优选实施方案对本发明进行了描述,但对于本领域技术人员而言显而易见的是,某些修改/修饰、变化/改变和替代构造将是显而易见的,同时也仍然在本发明的精神和范围内。

Claims (18)

1.方法,所述方法包括:
由虚拟现实设备为用户生成虚拟化环境;
检测所述真实世界中的对象;和
在所述虚拟化环境中呈现与所述检测到的对象相对应的图像。
2.根据权利要求1所述的方法,其中,所述生成所述虚拟化环境包括使用真实世界图像。
3.根据权利要求1所述的方法,其进一步包括捕获所述真实世界中的所述对象的真实世界图像,
其中,所述呈现与所述检测到的对象相对应的所述图像包括使用所述捕获的真实世界图像。
4.根据权利要求1所述的方法,其中所述检测所述对象包括确定所述用户与所述对象之间的距离。
5. 根据权利要求1所述的方法,
其中,所述呈现与所述检测到的对象相对应的所述图像是基于所述用户与所述对象之间的所述确定的距离,和
其中,当所述确定的距离越短,所述呈现的图像越明显。
6.根据权利要求1所述的方法,其进一步包括提供所述检测到的对象在距离所述用户的预定距离内的警报。
7. 设备,所述设备包括:
至少一个处理器;和
至少一个存储器,所述存储器包括计算机程序代码,
其中,所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备至少:
为用户生成虚拟化环境;
检测所述真实世界中的对象;和
在所述虚拟化环境中呈现与所述检测到的对象相对应的图像。
8.根据权利要求7所述的设备,其中,所述生成所述虚拟化环境包括使用真实世界图像。
9. 根据权利要求7所述的设备,
其中,所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备至少捕获所述真实世界中的所述对象的真实世界图像,和
其中,所述呈现与所述检测到的对象相对应的所述图像包括使用所述捕获的真实世界图像。
10.根据权利要求7所述的设备,其中,所述检测所述对象包括确定所述用户与所述对象之间的距离。
11. 根据权利要求7所述的设备,
其中,所述呈现与所述检测到的对象相对应的所述图像是基于所述用户与所述对象之间的所述确定的距离,和
其中,当所述确定的距离越短,所述呈现的图像越明显。
12.根据权利要求7所述的设备,其中,所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备至少提供所述检测到的对象在距离所述用户的预定距离内的警报。
13.计算机程序,其体现在非暂时性计算机可读介质上,所述计算机程序在由处理器执行时,使得所述处理器:
为用户生成虚拟化环境;
检测所述真实世界中的对象;和
在所述虚拟化环境中呈现与所述检测到的对象相对应的图像。
14.根据权利要求13所述的计算机程序,其中,所述生成所述虚拟化环境包括使用真实世界图像。
15. 根据权利要求13所述的计算机程序,
其中,所述计算机程序在由所述处理器执行时,还使所述处理器捕获所述真实世界中的所述对象的真实世界图像,和
其中,所述呈现与所述检测到的对象相对应的所述图像包括使用所述捕获的真实世界图像。
16.根据权利要求13所述的计算机程序,其中,所述检测所述对象包括确定所述用户与所述对象之间的距离。
17. 根据权利要求13所述的计算机程序,
其中,所述呈现与所述检测到的对象相对应的所述图像是基于所述用户与所述对象之间的所述确定的距离,和
其中,当所述确定的距离越短,所述呈现的图像越明显。
18.根据权利要求13所述的计算机程序,其中,所述计算机程序在由所述处理器执行时,还使所述处理器提供所述检测到的对象在距离所述用户的预定距离内的警报。
CN201780023021.7A 2016-04-12 2017-04-12 在虚拟化环境中呈现图像的方法和设备 Pending CN109416575A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662321528P 2016-04-12 2016-04-12
US62/321528 2016-04-12
PCT/US2017/027189 WO2017180730A1 (en) 2016-04-12 2017-04-12 Method and apparatus for presenting imagery within a virtualized environment

Publications (1)

Publication Number Publication Date
CN109416575A true CN109416575A (zh) 2019-03-01

Family

ID=58692564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780023021.7A Pending CN109416575A (zh) 2016-04-12 2017-04-12 在虚拟化环境中呈现图像的方法和设备

Country Status (6)

Country Link
US (1) US10282865B2 (zh)
EP (1) EP3443441A1 (zh)
JP (1) JP6989075B2 (zh)
CN (1) CN109416575A (zh)
CA (1) CA3019664A1 (zh)
WO (1) WO2017180730A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111279292B (zh) 2017-09-29 2022-06-14 苹果公司 检测物理边界
CN112639686A (zh) 2018-09-07 2021-04-09 苹果公司 在虚拟环境的影像和声音与真实环境的影像和声音之间转换
JP7403256B2 (ja) * 2019-08-13 2023-12-22 日本放送協会 映像提示装置およびプログラム
US11842449B2 (en) 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement
JP2021089489A (ja) 2019-12-02 2021-06-10 富士フイルムビジネスイノベーション株式会社 情報処理装置、及び情報処理プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675721A (en) * 1996-08-08 1997-10-07 Freedman; Aaron S. Computer network data distribution and selective retrieval system
US20040105573A1 (en) * 2002-10-15 2004-06-03 Ulrich Neumann Augmented virtual environments
US7796132B1 (en) * 1999-11-18 2010-09-14 Namco Bandai Games Inc. Image generation system and program
US20120264510A1 (en) * 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
CN103201731A (zh) * 2010-12-02 2013-07-10 英派尔科技开发有限公司 增强现实系统
CN103309443A (zh) * 2012-03-16 2013-09-18 索尼公司 信息处理设备、信息处理方法以及程序
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实系统中将虚拟图像锚定到真实世界表面
CN103480154A (zh) * 2012-06-12 2014-01-01 索尼电脑娱乐公司 障碍物规避装置及障碍物规避方法
CN104024984A (zh) * 2011-10-05 2014-09-03 弗兰霍菲尔运输应用研究公司 便携式设备、虚拟现实系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3280355B2 (ja) * 1999-11-18 2002-05-13 株式会社ナムコ 画像生成システム及び情報記憶媒体
JP5154775B2 (ja) * 2006-08-18 2013-02-27 任天堂株式会社 ゲームプログラムおよびゲーム装置
US20120026451A1 (en) * 2010-07-29 2012-02-02 Lensvector Inc. Tunable liquid crystal lens with single sided contacts
JP2016004493A (ja) * 2014-06-18 2016-01-12 キヤノン株式会社 画像処理装置およびその制御方法
JP5777786B1 (ja) * 2014-09-12 2015-09-09 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
EP3215917B1 (en) * 2014-11-05 2023-10-11 Valve Corporation Sensory feedback systems and methods for guiding users in virtual reality environments
US10665019B2 (en) * 2016-03-24 2020-05-26 Qualcomm Incorporated Spatial relationships for integration of visual images of physical environment into virtual reality

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675721A (en) * 1996-08-08 1997-10-07 Freedman; Aaron S. Computer network data distribution and selective retrieval system
US7796132B1 (en) * 1999-11-18 2010-09-14 Namco Bandai Games Inc. Image generation system and program
US20040105573A1 (en) * 2002-10-15 2004-06-03 Ulrich Neumann Augmented virtual environments
CN103201731A (zh) * 2010-12-02 2013-07-10 英派尔科技开发有限公司 增强现实系统
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实系统中将虚拟图像锚定到真实世界表面
US20120264510A1 (en) * 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
CN104024984A (zh) * 2011-10-05 2014-09-03 弗兰霍菲尔运输应用研究公司 便携式设备、虚拟现实系统及方法
CN103309443A (zh) * 2012-03-16 2013-09-18 索尼公司 信息处理设备、信息处理方法以及程序
CN103480154A (zh) * 2012-06-12 2014-01-01 索尼电脑娱乐公司 障碍物规避装置及障碍物规避方法

Also Published As

Publication number Publication date
EP3443441A1 (en) 2019-02-20
WO2017180730A1 (en) 2017-10-19
JP2019516180A (ja) 2019-06-13
JP6989075B2 (ja) 2022-01-05
US20170294030A1 (en) 2017-10-12
US10282865B2 (en) 2019-05-07
CA3019664A1 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
CN109416575A (zh) 在虚拟化环境中呈现图像的方法和设备
US11747893B2 (en) Visual communications methods, systems and software
US9940720B2 (en) Camera and sensor augmented reality techniques
JP5474412B2 (ja) 認識可能イメージを含むチャレンジレスポンスイメージの作成
CN106104635B (zh) 遮挡增强现实对象
US8713450B2 (en) Detecting patterns of abuse in a virtual environment
WO2016059786A1 (ja) なりすまし検知装置、なりすまし検知方法、および、記憶媒体
JP2020528623A5 (zh)
WO2016193394A1 (en) Gaze detection method and apparatus
CN105339868A (zh) 基于眼睛跟踪的视觉增强
JP2016522463A5 (zh)
KR20150039252A (ko) 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
CN107977586A (zh) 显示内容处理方法、第一电子设备以及第二电子设备
US10803988B2 (en) Color analysis and control using a transparent display screen on a mobile device with non-transparent, bendable display screen or multiple display screen with 3D sensor for telemedicine diagnosis and treatment
CN106572795A (zh) 眼睛状况确定系统
CN108021227B (zh) 在虚拟现实中快速移动的方法及虚拟现实装置
KR20220159347A (ko) 인공 현실에 있는 동안 침입을 검출하기 위한 시스템 및 방법
CN107851141A (zh) 用于为用户提供到装置的访问的方法和系统
CN107148614A (zh) 信息处理设备、信息处理方法和程序
Dingli et al. Turning homes into low-cost ambient assisted living environments
EP3673464A1 (en) Visual communications methods, systems and software
US20230034773A1 (en) Electronic headset for test or exam administration
JP7291106B2 (ja) コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム
JP6686319B2 (ja) 画像投影装置及び画像表示システム
KR20130079962A (ko) 증강현실을 이용한 포스트잇 컨텐츠 표시 방법 및 이를 실행하는 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190301