CN107850953B - 用于在虚拟现实环境中引导用户的感官反馈系统和方法 - Google Patents

用于在虚拟现实环境中引导用户的感官反馈系统和方法 Download PDF

Info

Publication number
CN107850953B
CN107850953B CN201580072357.3A CN201580072357A CN107850953B CN 107850953 B CN107850953 B CN 107850953B CN 201580072357 A CN201580072357 A CN 201580072357A CN 107850953 B CN107850953 B CN 107850953B
Authority
CN
China
Prior art keywords
user
obstacles
alert
relative
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580072357.3A
Other languages
English (en)
Other versions
CN107850953A (zh
Inventor
D·索耶
K·波德维尔
K·巴奈特
T·雷德福德
A·雷拜
E·里奇韦
A·C·弗拉霍斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valve Corp
Original Assignee
Valve Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valve Corp filed Critical Valve Corp
Publication of CN107850953A publication Critical patent/CN107850953A/zh
Application granted granted Critical
Publication of CN107850953B publication Critical patent/CN107850953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0167—Emergency system, e.g. to prevent injuries

Abstract

描述了在诸如漫步虚拟现实环境之类的虚拟/增强现实环境中引导用户的感官反馈(“引导”)系统和方法。除了其他潜在功能和/或用途之外，示例性实施方式还有助于防止与用户动作的物理操作空间中对象的碰撞。

Description

用于在虚拟现实环境中引导用户的感官反馈系统和方法
相关申请的交叉引用
本申请要求2014年11月5日提交的美国临时申请序列号62/075,742和2015年3月1日提交的62/126,695的权益，这两个申请的内容通过引用整体并入本文。
技术领域
本公开总体上涉及用于在诸如漫步虚拟现实环境的虚拟/增强现实环境中引导用户并且用于协助防止与用户行动的物理操作空间中对象的碰撞的感官反馈系统和方法。
背景技术
各种增强和/或虚拟现实系统和/或环境是已知的。使用头戴式显示器(“HMD”)形成当前一代的桌面虚拟现实(“VR”)体验，该显示器可以连接到固定计算机(例如个人计算机(“PC”)、笔记本电脑或游戏控制台)或自包含。这样的桌面VR体验通常会试图完全身临其境，并将用户的感觉与周围环境断开。
在某些情形下，目前通过使操作空间中的第二人(“引导”)引导用户和/或通过提供物理提示(例如，通过将厚地毯置于与相邻墙壁相距一些距离的地板上)来解决使用漫步虚拟现实系统时与物理对象的碰撞。
期望解决本领域中当前的局限性。
附图描述
作为示例，现在参考附图，这些附图并非按比例的。
图1是可以用于实现本发明某些实施例的一些方面的计算设备的示例性图。
图2是人类用户穿戴可用于实现本发明某些实施例的一些方面的包括光学接收器和传感器的头戴式虚拟现实设备的示例性图。
图3是可用于实现本发明某些实施例的一些方面的光学定位跟踪系统中的发射机/接收机配置的示例性图。
图4是可用于实现本发明某些实施例的一些方面的具有四个光接收器的头戴式虚拟现实显示器的示例性图。
图5描绘根据某些实施例的示例性显示，其中软边界在地板上可视为半透明多边形并且已被玩家定义，并且其中硬边界可视为指示物理墙在玩家现实生活空间中的位置的发光线网格。
图6描绘根据某些实施例的示例性显示，其中示出了硬边界引导系统的两个耳麦内部视图，警告用户即将发生的碰撞，并且其中所描绘的网格指示现实世界墙壁位置。
图7描绘根据某些实施例的示例性显示，描绘了使用软边界数据用于在游戏场景中放置帮助制定玩家体验的其他元素的示例。
图8描绘根据某些实施例的示例性显示，描绘了在虚拟空间的墙壁上呈现图案的示例，以向用户提醒关于物理边界在用户周围的实际操作空间中的位置。
图9描绘根据某些实施例的示例性显示，描绘了在虚拟空间的墙壁上呈现图案的另一示例，以在视觉上向用户提醒关于物理边界在用户周围的实际操作空间中的位置。
图10描绘根据某些实施例的示例性显示，描绘了在虚拟空间的墙壁上呈现图案的另一示例，以在视觉上向用户提醒关于物理边界在用户周围的实际操作空间中的位置。
图11描绘根据某些实施例的示例性显示，描绘了在虚拟空间的墙壁上呈现图案的另一示例，以在视觉上向用户提醒关于物理边界在用户周围的实际操作空间中的位置。
图12描绘根据某些实施例的示例性显示，描绘了在虚拟空间的地板上呈现图案的示例，以在视觉上向用户/开发者提醒关于物理边界在用户周围的实际操作空间中的位置。
具体实施方式
本领域普通技术人员将会认识到，本发明的以下描述仅是说明性的，而不是以任何方式进行限制。本发明的其它实施例会容易地将其暗示给受益于本公开的本领域技术人员，并且本文限定的一般原理可应用于其他实施例和应用，而不脱离本发明的精神和范围。因此，本发明并非旨在限于所示的实施例，而是符合与本文公开的原理和特征一致的最宽范围。现在详细参考附图所示的本发明的具体实施方式。在整个附图和以下描述中，使用相同的附图标记指代相同或相似的部件。
在本具体实施方式中描述的数据结构和代码通常存储至计算机可读存储介质，其可以是可存储供计算机系统使用的代码和/或数据的任何设备或介质。这包括但不限于诸如磁盘驱动器、磁带、CD(光盘)和DVD(数字多功能盘或数字视频盘)之类的磁存储设备和光存储设备，以及实施在传输介质中的计算机指令信号(具有或没有信号受调制的载波)。例如，传输介质可以包括诸如因特网之类的通信网络。
图1是可用于实现本发明某些实施例的一些方面的计算设备100的示例性图。计算设备100可以包括总线101、一个或多个处理器105、主存储器110、只读存储器(ROM)115、存储设备120、一个或多个输入设备125、一个或多个输出设备130和通信接口135。总线101可以包括允许计算设备100的各组件之间的通信的一个或多个导体。处理器105可以包括解释和执行指令的任何类型的常规处理器、微处理器或处理逻辑。主存储器110可以包括随机存取存储器(RAM)或存储供处理器105执行的信息和指令的另一类型动态存储设备。ROM 115可以包括常规ROM设备或存储供处理器105使用的静态信息和指令的另一类型静态存储设备。存储设备120可以包括磁和/或光记录介质及其对应的驱动器。输入设备125可以包括允许用户将信息输入到计算设备100的一个或多个常规机构，诸如键盘，鼠标，笔，手写笔，手写识别，语音识别，生物特征机构等。输出设备130可以包括向用户输出信息的一个或多个常规机构，包括显示器，投影仪，A/V接收器，打印机，扬声器等。通信接口135可以包括使得计算设备/服务器100能够与其他设备和/或系统进行通信的任何类似收发机的机构。计算设备100可以基于可从另一计算机可读介质(例如数据存储设备120)或经由通信接口135从另一设备读取到存储器110中的软件指令来执行操作。包含在存储器110中的软件指令促使处理器105执行稍后描述的处理。或者，可以使用硬连线电路代替软件指令或与软件指令组合以实现与本发明一致的处理。因此，各种实现方案不限于硬件线路和软件的任何特定组合。
在某些实施例中，存储器110可以包括但不限于高速随机存取存储器，诸如DRAM，SRAM，DDR RAM或其它随机存取固态存储器件；并且可以包括但不限于非易失性存储器，诸如一个或多个磁盘存储设备，光盘存储设备，闪存设备或其他非易失性固态存储设备。存储器110可以可选地包括远离处理器105定位的一个或多个存储设备。存储器110或存储器110中存储设备(例如，一个或多个非易失性存储设备)中的一个或多个可以包括计算机可读存储介质。在某些实施例中，存储器110或存储器110的计算机可读存储介质可以存储以下程序、模块和数据结构中的一个或多个：包括用于处理各种基本系统服务并用于执行与硬件相关的任务的过程的操作系统；用于经由一个或多个通信网络接口和一个或多个通信网络(诸如因特网，其他广域网，局域网，城域网等)将计算设备110连接到其它计算机的网络通信模块；可允许用户与计算设备100交互的客户端应用程序。
本发明某些实施例包括在操作空间中具有至少三个自由度的可跟踪头戴显示器(“HMD”)以及可选地具有定位跟踪的至少两个自由度的一个或多个传感器。HMD和可选的传感器将感官输入提供给控制器，其又向HMD或另一输出设备提供感官反馈。不加以限制地，HMD可以连接到固定计算机(例如个人计算机(“PC”)，膝上型计算机或游戏机)，或者可以是自包含的(即，某些或所有感觉输入、控制器/计算机和输出都容纳在单个头戴式设备中)。
图2是穿戴包括可用于实现本发明某些实施例的一些方面的光接收器和传感器(230a，230b，230c等)的头戴式虚拟现实设备(220)的人类用户(210)的示例性图。
图3是可以用于实现本发明某些实施例的一些方面的光学定位跟踪系统中的发射机/接收机配置的示例性图。如图3所示，示例性光学定位跟踪系统包括扫描跨越跟踪体积的光信号(310)的基站(320)。根据每个特定实现方案的要求，可以并入多于一个的基站，并且每个基站可以产生多于一个的光信号。例如，虽然单个基站通常足够用于六自由度跟踪，但是在一些实施例中可能需要多个基站来为耳机和外围设备提供鲁棒的房间规模跟踪。光接收器(例如，230)并入到头戴式虚拟现实设备(220)或其他跟踪对象中。在某些实施例中，光接收器与每个跟踪设备上的加速度计和陀螺仪惯性测量单元(“IMU”)配对以支持低延迟传感器融合。如图3所示，描绘了标准的12盎司苏打或啤酒车(330)以提供缩放感。
根据某些实施例的每个基站(320)都包含在正交轴上跨越场景扫描线性波束(310)的两个转子。在每个扫描周期的开始，根据某些实施例的基站(320)发射对于所有传感器可见的全向光脉冲(“同步信号”)。因此，每个传感器通过在同步信号和波束信号之间持续时间进行定时来计算扫描体积中唯一角位置。传感器距离和方位是通过固定至单个刚体的多个传感器来解决的。
根据每个实现方案的具体要求，可以使用技术人员熟知的技术来集成各种其他跟踪系统。
图4是具有四个光接收器(230a，230b，230c，230d)的可用于实现本发明某些实施例的一些方面的头戴式虚拟现实显示器(220)的示例性图。
某些实施例中的HMD向用户呈现动态虚拟环境(“虚拟空间”)。它在操作空间中被跟踪，使得其用户在操作空间中的运动被转换为虚拟空间的表示。当HMD或可选的附加传感器闭合在操作空间中诸如墙壁或家具的物理障碍物时，在虚拟空间或操作空间中向用户提供感官反馈以避免碰撞。
在某些示例性实施例中，系统由用户通过一个或多个编程输入方法(“软边界”)定义操作空间的边界和限制而预先启动。在其他方面，系统通过一种或多种传感器技术(“硬边界”)自动检测空间中的实际障碍物。
根据某些实施例的一些方面的控制器接收并处理来自HMD和/或外部传感器的检测信号，并且基于软边界和/或硬边界的接近度和/或基于针对反馈的明确用户请求(例如，“重叠按钮”)来生成对用户的相应反馈。
不加以限制地，根据每个特定实现方案的要求，可以通过以下方式(包括组合)进行软边界的定义：
·通过借助于鼠标和键盘在计算机中输入数据；
·通过将跟踪对象(HMD或其他佩戴的传感器，诸如游戏控制器)移动到操作空间的n个角落；和/或
·通过在一个位置佩戴跟踪的HMD，从操作空间的至少两个位置(其使观看的角落成三角形)观察(如果HMD具有注视跟踪技术，HMD的物理旋转或眼球的旋转)操作空间的n个角的每一个。
不加以限制地，根据每个特定实现方案的要求，可以通过以下方式(包括组合)进行硬边界的定义：
·通过使用附连到HMD或其外部的深度相机；和/或
·通过使用测量距离的其他传感器，如激光或超声波。
不加以限制地，根据每个特定实现方案的要求，可以通过以下方式(包括组合)给出感官反馈：
·警告声；
·触觉反馈(包括在HMD或用户持有的游戏控制器之类的另一可穿戴设备中的隆隆声或致动器)；
·显示在HMD中的视觉警告标志；
·在虚拟环境中叠加的HMD中显示的软边界的CG渲染覆盖层；
·安装在HMD上的一个或多个相机的直通视频信号；和/或
·发送到虚拟环境的控制器的定制应用程序接口(“API”)触发器，意味着虚拟环境的维度自动调整到物理环境，和/或进行专用于虚拟环境的自定义警告(例如，当用户接近操作空间的边界时，游戏中的角色告诉用户停止漫步)。
上述系统和方法中的任何一种可以实现为当用户跨越预定义阈值时被触发的数字警告信号，或者实现为强度增加的模拟警告(例如，房间边界的叠加随着用户更靠近障碍而在亮度方面渐变淡入，并随着用户甚至更加靠近时通过在强度方面增加的隆隆声感觉而得到支持。
一个实施例允许用户在虚拟空间中动态地重新定位他或她的虚拟表示，以便能够体验比他或她的操作空间提供的虚拟环境区域更大的虚拟环境区域。在一个这样的示例性实施例中，操作空间为3米乘3米平方。虚拟环境是这个操作空间大小的几倍。为了体验所有这一切，用户可以在虚拟环境中触发其表现的重新定位。在这个例子中，用户可以移动并旋转他或她自己的“幻影”虚拟表示，并且3米乘3米的平方投射到虚拟环境的地面上。一旦接受重新定位的空间，用户将被“传送”到其在虚拟环境中的新地点，并且可以通过在其操作空间中物理地移动来继续移动虚拟环境的这一新部分。
图5描绘根据某些实施例的示例性显示，其中软边界在地板上可视为半透明多边形并且已被用户定义，并且其中硬边界可视为指示物理墙在用户现实生活操作空间中的位置的发光线网格。
图6描绘根据某些实施例的示例性显示，其中示出了硬边界引导系统的两个耳麦内侧视图，警告用户即将发生的碰撞，并且其中所描绘的网格指示现实世界的墙壁位置。
图7描绘根据某些实施例的示例性显示，描绘了使用软边界数据用于在游戏场景中放置其他元素以帮助制定玩家体验的示例。在图7所示的场景中，火炬(710a，710b，710c，710d)自动放置在边界角落，而不管用户可能如何配置它们。图7所示的弓形(720)以用户的优选方向放置在用户的软边界(730)的前沿。根据图7所示的布置的某些实施例自动缩放并调整到单个用户的软约束设置。
在某些实施方案中，根据本发明的各方面的引导边界的出现可减少用户在虚拟环境中体验到的浸入感。这依据每个特定实现方案的要求可以通过以下解决方案单独地或组合地解决：
首先，引导边界不立即以完全亮度显示，而是随着用户靠近用户真实环境(“操作空间”)的实际边界时缓慢渐变淡入。可以为每一墙壁计算独立的渐变值，然后将第五渐变值(假定房间中的示例性典型操作空间具有四个墙壁)应用于作为用户所站在空间的外边缘的周边网格(例如，这可能会显现为突出显示的立方体的边缘)。对于四个墙壁中每一个，一个实施例中的第五渐变值可以实现为渐变值的最大值。以这种方式，如果用户正在背靠墙，外围网格将会亮起来。在某些实施例中，为了帮助用户在用户背靠墙时看到其他墙壁，渐变值可能会有意地轻微流入其相邻墙壁并轻微流入相对的墙壁。这种技术允许用户看到所有墙壁的位置，而不会有变得无法抵抗的引导警报。在某些实施例中，为了增加浸入感，在最亮的伴随边界被激活并以完全亮度显示一段时间(例如4秒)之后，所有引导警报的亮度被缓慢地渐变到原始亮度的20％。
第二，仅以最大强度(例如，作为发光网格)示出最靠近用户的墙壁的边界，而其它墙壁仅示出为其轮廓/外角。第三，引导边界的强度可以相对于它们所叠加的虚拟环境的亮度来定义。这个底层的亮度可以根据渲染的虚拟环境进行实时测量，也可以通过游戏经由API驱动体验加以提供。第四，用户在一个地方已停留了几秒钟并且已经了解边界的位置，引导边界可能会自动渐变淡出，以便用户尽管靠近墙壁也可以不受干扰地体验VR环境。
在某些实施方式中，如果用户移动过快，根据本发明一些方面的引导警报系统对于用户在碰撞前停止而言可能会示出警告过晚。这可以依据每个特定实现方案的要求通过以下解决方案单独地或组合地解决：
首先，可能会有意地先前示出引导警告。然而，这可能具有使得用户可体验VR的可用空间更小的不期望效果。第二，可以测量跟踪对象(例如，用户的HMD设备和/或相关的手持控制器)的速度和/或加速度，并且可以基于这些测量的结果更快或更迟地示出引导边界。第三，快速运动的风险以及因此引导警告显示的速度/强度可以从启发过程获得。例如，根据本发明各方面的系统可以测量用户通常如何经历特定的VR体验(例如，是慢速探索是典型的体验还是快速移动是典型的体验？)。此外，如果示例性系统被设计为识别用户(例如，通过登录、眼睛跟踪相机、高度、典型运动模式等)，则可以将其警告基于该特定用户通常多快地移动并且对引导警告做出反应。第四，如果游戏/应用程序实际上并不需要大量的使用空间，则引导警告可能更具侵略性，这是因为空间最大化的需求更低。
在某些实施方式中，根据本发明各方面的初始房间设置可认为是相对手动的和不直观的。这根据每个特定实现方案的要求可以通过以下解决方案单独地或组合地解决：
首先，用户可以简单地在真实的操作空间中走动，握住他或她的控制器并沿操作空间的墙壁/地板/天花板中的一些或全部移动它。经由该处理采取的测量通过使用本领域技术人员已知的任何适当技术传送给引导系统控制器。基于这些绝对测量位置，根据本发明各方面的系统然后计算包含已检测到控制器的所有位置的最小多面体。第二，技术人员已知的各种类型的测距仪(例如，超声波，激光)可以集成到特定实施方案中，并且这些可以生成关于操作空间的边界的必要信息，同时用户很少或不需要干预。
在某些实施例中，延伸独立控制的持续地面周边的概念，墙壁类型可以与周边类型分离，其中所述周边包括垂直墙壁分隔件、天花板轮廓和地面轮廓。周边类型可以是以下的子集：
1.动态周边
2.具有持续地面轮廓的动态周边
3.仅持续地面轮廓
4.仅动态地面轮廓(对于非常了解他或她的空间的真正极简主义者)
5.无
在某些实施例中，用户可以使用本领域技术人员已知的技术，通过任何合适的用户界面和/或配置实用工具来选择所显示的引导边界的侵略性、攻击性、渐变距离和/或配色方案。例如，在配色方案选择方面，可以从用户可选择之中预定合适的颜色调色板，或者允许用户选取色调和/或饱和度，同时根据本发明一些方面的系统产生亮度。此外，根据特定的游戏或应用，可以调整和/或保存用户选择。
图8描绘根据某些实施例的示例性显示，描绘了在虚拟空间的墙壁上呈现正方形图案的示例，以向用户提醒关于物理边界在用户周围的实际操作空间中的位置。
图9描绘根据某些实施例的示例性显示，描绘了在虚拟空间的墙壁上呈现网格图案(其中移除了交点)的另一示例，以在视觉上向用户提醒关于物理边界在用户周围的实际操作空间中的位置。
图10描绘根据某些实施例的示例性显示，描绘了在虚拟空间的墙壁上呈现图案的另一示例，以在视觉上向用户提醒关于物理边界在用户周围的实际操作空间中的位置。这类似于图9所示的图案，但是方形开口的面积要大近似2.25倍(即，长条间隔1.5倍最远部分)。
图11描绘根据某些实施例的示例性显示，描绘了在虚拟空间的墙壁上呈现图案(即，每个墙壁上的单个水平线)的另一示例，以在视觉上向用户提醒关于物理边界在用户周围的实际操作空间中的位置。
图12描绘根据某些实施例的示例性显示，其描绘了在虚拟空间的地板上呈现图案的示例，以在视觉上向用户/开发者提醒关于物理边界在用户周围的实际操作空间中的位置。根据每个特定实施方案的要求，这可能会显示为不会渐变消失的地板级别的持久线路环，以帮助用户或开发者仅通过扫视来始终了解墙壁位于操作空间内的位置。
尽管以上描述包含许多细节，并且某些示例性实施例已经加以描述并示出在附图中，但是应理解，这些实施例仅仅是对广义发明的说明而不是限制性的，并且本发明不限于示出和描述的具体结构和布置，这是因为如上面提到的，本领域普通技术人员可以想到各种其它修改。本发明包括来自本文公开的不同种类和/或实施方式的要素的任何组合或部分组合。

Claims (6)

1.一种用于向用户警告与现实世界障碍物的潜在碰撞的头戴式显示器的方法，包括以下步骤：
限定所述障碍物相对于参考点的位置；
持续地监视所述用户相对于所述参考点的位置；
执行第一检测以确定所述用户的所述位置相对于所述障碍物之一的位置之间的第一距离何时小于第一预定警报阈值；
响应于所述第一检测，在所述头戴式显示器上显示视觉警报，以向所述用户提供与所述障碍物之一的潜在碰撞的指示；以及
持续地监视所述用户持有的物体的位置，执行第二检测以确定所述物体的所述位置相对于所述障碍物之一的所述位置之间的第二距离何时小于所述第一预定警报阈值，并响应于所述第二检测，在所述头戴式显示器上显示视觉警报，以向所述用户提供所述物体与所述障碍物之一之间的潜在碰撞的指示，
其中，限定所述障碍物相对于所述参考点的所述位置的步骤还包括提示所述用户在持有所述物体时漫步于真实的操作空间的边界的一部分，并在所述步骤执行期间在多个时间点检测所述物体的所述位置。
2.根据权利要求1所述的方法，其中，通过连续监视所述头戴式显示器的一部分的位置，确定所述用户的所述位置。
3.根据权利要求1所述的方法，其中，如果所述第一检测确定所述用户的所述位置相对于所述障碍物之一的所述位置之间的第一距离小于所述第一预定警报阈值，所述视觉警报随着所述用户更靠近所述障碍物之一而在强度方面增加。
4.根据权利要求1所述的方法，其中，如果所述第一检测确定所述用户的所述位置相对于所述障碍物之一的所述位置之间的第一距离小于第二预定警报阈值，所述视觉警报伴随着在所述头戴式显示器上的振动警报。
5.根据权利要求1所述的方法，还包括以下步骤：检测由所述用户发出的重新定位命令，并响应于此重新定位所述用户在虚拟空间中的虚拟表示。
6.根据权利要求1所述的方法，还包括在预定时间段之后降低所述视觉警报的亮度。
CN201580072357.3A 2014-11-05 2015-11-05 用于在虚拟现实环境中引导用户的感官反馈系统和方法 Active CN107850953B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462075742P 2014-11-05 2014-11-05
US62/075,742 2014-11-05
US201562126695P 2015-03-01 2015-03-01
US62/126,695 2015-03-01
PCT/US2015/059329 WO2016073783A1 (en) 2014-11-05 2015-11-05 Sensory feedback systems and methods for guiding users in virtual reality environments

Publications (2)

Publication Number Publication Date
CN107850953A CN107850953A (zh) 2018-03-27
CN107850953B true CN107850953B (zh) 2021-08-31

Family

ID=55852614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580072357.3A Active CN107850953B (zh) 2014-11-05 2015-11-05 用于在虚拟现实环境中引导用户的感官反馈系统和方法

Country Status (7)

Country Link
US (2) US10241566B2 (zh)
EP (1) EP3215917B1 (zh)
JP (1) JP6539351B2 (zh)
KR (1) KR20170081225A (zh)
CN (1) CN107850953B (zh)
HK (1) HK1250803A1 (zh)
WO (1) WO2016073783A1 (zh)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9851786B2 (en) 2014-12-10 2017-12-26 Sixense Entertainment, Inc. System and method for assisting a user in remaining in a selected area while the user is in a virtual reality environment
US9870052B2 (en) * 2015-06-11 2018-01-16 Oculus Vr, Llc Hand-held controller with pressure-sensing switch for virtual-reality systems
US10685211B2 (en) 2015-08-04 2020-06-16 Sony Interactive Entertainment Inc. Head-mounted display, display control method, and program
JP6742760B2 (ja) * 2016-02-29 2020-08-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US10486061B2 (en) 2016-03-25 2019-11-26 Zero Latency Pty Ltd. Interference damping for continuous game play
US10421012B2 (en) 2016-03-25 2019-09-24 Zero Latency PTY LTD System and method for tracking using multiple slave servers and a master server
US9916496B2 (en) 2016-03-25 2018-03-13 Zero Latency PTY LTD Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects
US10071306B2 (en) 2016-03-25 2018-09-11 Zero Latency PTY LTD System and method for determining orientation using tracking cameras and inertial measurements
US10717001B2 (en) 2016-03-25 2020-07-21 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
US10282865B2 (en) * 2016-04-12 2019-05-07 R-Stor Inc. Method and apparatus for presenting imagery within a virtualized environment
EP3458938A1 (en) * 2016-05-17 2019-03-27 Google LLC Methods and apparatus to project contact with real objects in virtual reality environments
US10496156B2 (en) 2016-05-17 2019-12-03 Google Llc Techniques to change location of objects in a virtual/augmented reality system
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
US10650591B1 (en) 2016-05-24 2020-05-12 Out of Sight Vision Systems LLC Collision avoidance system for head mounted display utilized in room scale virtual reality system
EP3264801B1 (en) 2016-06-30 2019-10-02 Nokia Technologies Oy Providing audio signals in a virtual environment
US10751609B2 (en) 2016-08-12 2020-08-25 Zero Latency PTY LTD Mapping arena movements into a 3-D virtual world
EP3301544A1 (en) * 2016-09-30 2018-04-04 Alcatel Lucent System and method for controlling an altered-reality application
CN106597373B (zh) * 2016-10-21 2019-05-28 上海拆名晃信息科技有限公司 一种虚拟现实定位系统、基于该系统的定位方法及装置
US10979721B2 (en) 2016-11-17 2021-04-13 Dolby Laboratories Licensing Corporation Predicting and verifying regions of interest selections
WO2018096599A1 (en) * 2016-11-22 2018-05-31 Sony Mobile Communications Inc. Environment-aware monitoring systems, methods, and computer program products for immersive environments
US10451439B2 (en) * 2016-12-22 2019-10-22 Microsoft Technology Licensing, Llc Dynamic transmitter power control for magnetic tracker
US10204455B2 (en) * 2016-12-31 2019-02-12 Intel Corporation Collision prevention for virtual reality systems
EP3529686A4 (en) 2017-01-13 2019-09-25 Samsung Electronics Co., Ltd. APPARATUS AND METHOD FOR PROVIDING GUIDANCE IN A VIRTUAL ENVIRONMENT
WO2018152689A1 (zh) * 2017-02-22 2018-08-30 深圳市卓梦科技有限责任公司 一种探测障碍物技术的数据采集方法以及vr头盔
WO2018152690A1 (zh) * 2017-02-22 2018-08-30 深圳市卓梦科技有限责任公司 一种探测障碍物的专利信息推送方法以及vr头盔
EP3599537A4 (en) * 2017-03-21 2020-03-04 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
WO2018194637A1 (en) 2017-04-21 2018-10-25 Hewlett-Packard Development Company, L.P. Object detections for virtual reality
US11205333B2 (en) 2017-06-21 2021-12-21 Hewlett-Packard Development Company, L.P. Sensory feedback
US10423241B1 (en) * 2017-07-31 2019-09-24 Amazon Technologies, Inc. Defining operating areas for virtual reality systems using sensor-equipped operating surfaces
US20190033989A1 (en) * 2017-07-31 2019-01-31 Google Inc. Virtual reality environment boundaries using depth sensors
US10803663B2 (en) * 2017-08-02 2020-10-13 Google Llc Depth sensor aided estimation of virtual reality environment boundaries
US20190094955A1 (en) * 2017-09-27 2019-03-28 Apple Inc. Range finding and accessory tracking for head-mounted display systems
EP3688562A1 (en) 2017-09-29 2020-08-05 Apple Inc. Physical boundary guardian
DE102017218215A1 (de) 2017-10-12 2019-04-18 Audi Ag Verfahren zum Betreiben einer am Kopf tragbaren elektronischen Anzeigeeinrichtung und Anzeigesystem zum Anzeigen eines virtuellen Inhalts
US20190139307A1 (en) * 2017-11-09 2019-05-09 Motorola Mobility Llc Modifying a Simulated Reality Display Based on Object Detection
EP3493026A1 (en) 2017-11-29 2019-06-05 Thomson Licensing A virtual reality external event processing method, corresponding devices and computer program
US10832477B2 (en) 2017-11-30 2020-11-10 International Business Machines Corporation Modifying virtual reality boundaries based on usage
EP3714318B1 (en) 2018-01-18 2023-08-30 Valve Corporation Position tracking system for head-mounted displays that includes sensor integrated circuits
US10983589B2 (en) * 2018-01-22 2021-04-20 MassVR, LLC Systems and methods for collision avoidance in virtual environments
US10726765B2 (en) 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
US10902680B2 (en) * 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method
US10554886B2 (en) * 2018-05-18 2020-02-04 Valve Corporation Power management for optical position tracking devices
US11488330B2 (en) * 2018-06-01 2022-11-01 Hewlett-Packard Development Company, L.P. Boundary maps for virtual reality systems
US11450070B2 (en) 2018-06-20 2022-09-20 Hewlett-Packard Development Company, L.P. Alerts of mixed reality devices
CN112005282A (zh) 2018-06-20 2020-11-27 惠普发展公司，有限责任合伙企业 混合现实设备的警报
US10607367B2 (en) 2018-06-26 2020-03-31 International Business Machines Corporation Methods and systems for managing virtual reality sessions
US11100713B2 (en) 2018-08-17 2021-08-24 Disney Enterprises, Inc. System and method for aligning virtual objects on peripheral devices in low-cost augmented reality/virtual reality slip-in systems
US10901081B2 (en) 2018-10-02 2021-01-26 International Business Machines Corporation Virtual reality safety
US10776954B2 (en) 2018-10-08 2020-09-15 Microsoft Technology Licensing, Llc Real-world anchor in a virtual-reality environment
US11244483B2 (en) * 2018-10-31 2022-02-08 Facebook Technologies, Llc Systems and methods for modifying a safety boundary for virtual reality systems
US10928898B2 (en) * 2019-01-03 2021-02-23 International Business Machines Corporation Augmented reality safety
KR102286987B1 (ko) * 2019-01-18 2021-08-05 경희대학교 산학협력단 가상현실 콘텐츠를 체험하는 사용자의 체험 공간 활용도 향상 방법 및 장치
US10885710B2 (en) 2019-03-14 2021-01-05 Microsoft Technology Licensing, Llc Reality-guided roaming in virtual reality
US11361513B2 (en) * 2019-04-23 2022-06-14 Valve Corporation Head-mounted display with pass-through imaging
US11474610B2 (en) * 2019-05-20 2022-10-18 Meta Platforms Technologies, Llc Systems and methods for generating dynamic obstacle collision warnings for head-mounted displays
KR102614496B1 (ko) * 2019-08-09 2023-12-15 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
US10976805B2 (en) 2019-08-13 2021-04-13 International Business Machines Corporation Controlling the provision of a warning in a virtual environment using a virtual reality system
US11164383B2 (en) * 2019-08-30 2021-11-02 Lg Electronics Inc. AR device and method for controlling the same
US11842449B2 (en) 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement
US11126850B1 (en) * 2020-04-09 2021-09-21 Facebook Technologies, Llc Systems and methods for detecting objects within the boundary of a defined space while in artificial reality
US11507246B2 (en) * 2020-10-07 2022-11-22 Htc Corporation Method for dynamically showing virtual boundary, electronic device and computer readable storage medium thereof
WO2022196069A1 (ja) * 2021-03-15 2022-09-22 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
US11776166B2 (en) * 2021-10-08 2023-10-03 Sony Interactive Entertainment LLC Discrimination between virtual objects and real objects in a mixed reality scene
WO2024079832A1 (ja) * 2022-10-13 2024-04-18 三菱電機株式会社 インタフェース装置
CN115877578B (zh) * 2023-03-08 2023-05-16 济南科明数码技术股份有限公司 一种便于vr虚拟课堂教学的指令发信装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102099767A (zh) * 2008-07-15 2011-06-15 伊梅森公司 用于基于物理的触觉消息发送的系统和方法
WO2012176201A1 (en) * 2011-06-22 2012-12-27 Elbit Systems Ltd. Helmet mounted display system adjustable for bright ambient light conditions
CN103480154A (zh) * 2012-06-12 2014-01-01 索尼电脑娱乐公司 障碍物规避装置及障碍物规避方法
CN103761085A (zh) * 2013-12-18 2014-04-30 微软公司 混合现实全息对象开发
CN103975268A (zh) * 2011-10-07 2014-08-06 谷歌公司 具有附近物体响应的可穿戴计算机

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2301216A (en) * 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
DE69606804T2 (de) * 1995-06-20 2000-06-15 Honeywell Inc Integriertes System zur Grundkollisionsvermeidung
US6581546B1 (en) * 2002-02-14 2003-06-24 Waters Instruments, Inc. Animal containment system having a dynamically changing perimeter
JP4393169B2 (ja) * 2003-12-04 2010-01-06 キヤノン株式会社 複合現実感提示方法および装置
US7403101B2 (en) * 2005-02-09 2008-07-22 General Motors Corporation Collision avoidance of unattended vehicles
JP4642538B2 (ja) * 2005-04-20 2011-03-02 キヤノン株式会社 画像処理方法および画像処理装置
US7741961B1 (en) * 2006-09-29 2010-06-22 Canesta, Inc. Enhanced obstacle detection and tracking for three-dimensional imaging systems used in motor vehicles
US9891435B2 (en) * 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
US8049644B1 (en) * 2007-04-17 2011-11-01 Rcokwell Collins, Inc. Method for TAWS depiction on SVS perspective displays
US20100156906A1 (en) * 2008-12-19 2010-06-24 David Montgomery Shot generation from previsualization of a physical environment
EP2224706B1 (en) * 2009-02-27 2013-11-06 BlackBerry Limited Mobile wireless communications device with orientation sensing and corresponding method for alerting a user of an impending call
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP5691568B2 (ja) 2011-01-28 2015-04-01 ソニー株式会社 情報処理装置、報知方法及びプログラム
US20130083007A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Changing experience using personal a/v system
US9498720B2 (en) * 2011-09-30 2016-11-22 Microsoft Technology Licensing, Llc Sharing games using personal audio/visual apparatus
GB2501770B (en) * 2012-05-04 2016-03-16 Litonics Ltd Lighting device
CN102722249B (zh) * 2012-06-05 2016-03-30 上海鼎为电子科技（集团）有限公司 操控方法、操控装置及电子装置
EP2728311B1 (en) * 2012-10-30 2017-08-09 Elektrobit Automotive GmbH Technique for determining location data from a database
JP6079239B2 (ja) * 2013-01-04 2017-02-15 株式会社Ｊｖｃケンウッド 画像表示装置
US9395543B2 (en) * 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
US9393870B2 (en) * 2013-03-15 2016-07-19 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
JP6094399B2 (ja) * 2013-06-24 2017-03-15 株式会社デンソー ヘッドアップディスプレイ、及びプログラム
JP2015087443A (ja) * 2013-10-29 2015-05-07 セイコーエプソン株式会社 光スキャナー、画像表示装置、ヘッドマウントディスプレイおよびヘッドアップディスプレイ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102099767A (zh) * 2008-07-15 2011-06-15 伊梅森公司 用于基于物理的触觉消息发送的系统和方法
WO2012176201A1 (en) * 2011-06-22 2012-12-27 Elbit Systems Ltd. Helmet mounted display system adjustable for bright ambient light conditions
CN103975268A (zh) * 2011-10-07 2014-08-06 谷歌公司 具有附近物体响应的可穿戴计算机
CN103480154A (zh) * 2012-06-12 2014-01-01 索尼电脑娱乐公司 障碍物规避装置及障碍物规避方法
CN103761085A (zh) * 2013-12-18 2014-04-30 微软公司 混合现实全息对象开发

Also Published As

Publication number Publication date
US20160124502A1 (en) 2016-05-05
CN107850953A (zh) 2018-03-27
KR20170081225A (ko) 2017-07-11
HK1250803A1 (zh) 2019-01-11
JP2017535901A (ja) 2017-11-30
EP3215917B1 (en) 2023-10-11
JP6539351B2 (ja) 2019-07-03
WO2016073783A1 (en) 2016-05-12
US20190212812A1 (en) 2019-07-11
US10241566B2 (en) 2019-03-26
EP3215917A1 (en) 2017-09-13
EP3215917A4 (en) 2018-05-23
US11334145B2 (en) 2022-05-17

Similar Documents

Publication Publication Date Title
CN107850953B (zh) 用于在虚拟现实环境中引导用户的感官反馈系统和方法
JP6979475B2 (ja) ヘッドマウントディスプレイ追跡
CN110536665B (zh) 使用虚拟回声定位来仿真空间感知
KR101877411B1 (ko) 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식
US9851786B2 (en) System and method for assisting a user in remaining in a selected area while the user is in a virtual reality environment
KR102235410B1 (ko) 머리-장착형 디스플레이에서의 메뉴 내비게이션
US20180088776A1 (en) Three Dimensional User Interface Effects On A Display
WO2017115635A1 (ja) 情報処理方法及び情報処理プログラム
JP2023504992A (ja) 姿勢ベースの仮想空間構成
AU2016210882A1 (en) Method and system for receiving gesture input via virtual control objects
US11695908B2 (en) Information processing apparatus and information processing method
US9547412B1 (en) User interface configuration to avoid undesired movement effects
JP6332652B1 (ja) 表示制御装置、及びプログラム
KR20170120624A (ko) 가상 및 증강 현실 환경에서의 제어기 시각화
US11195320B2 (en) Feed-forward collision avoidance for artificial reality environments
CN110720228A (zh) 呈现速度的适应
US11688148B2 (en) Methods and systems for selection of objects
WO2023196669A1 (en) Triggering field transitions for artificial reality objects
WO2024072594A1 (en) Mapping a real-world room for a shared artificial reality environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1250803

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant