CN109844694B - 使用集线器连接两个不同环境的系统和方法 - Google Patents

使用集线器连接两个不同环境的系统和方法 Download PDF

Info

Publication number
CN109844694B
CN109844694B CN201780064298.4A CN201780064298A CN109844694B CN 109844694 B CN109844694 B CN 109844694B CN 201780064298 A CN201780064298 A CN 201780064298A CN 109844694 B CN109844694 B CN 109844694B
Authority
CN
China
Prior art keywords
virtual space
user
alert
computing system
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780064298.4A
Other languages
English (en)
Other versions
CN109844694A (zh
Inventor
达瓦·詹米·乔什
陈镜州
陈晓玫
邬文捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of CN109844694A publication Critical patent/CN109844694A/zh
Application granted granted Critical
Publication of CN109844694B publication Critical patent/CN109844694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在计算系统处执行一种用于响应于警报而更新虚拟空间的操作设置的方法。所述计算系统与用户佩戴的头戴式显示器通信连接。所述方法包括:根据所述用户在所述虚拟空间中的当前位置呈现所述虚拟空间中的应用程序,所述用户在所述虚拟空间中的当前位置是根据使用邻近于所述用户的位置跟踪系统测量的所述头戴式显示器在物理空间中的位置而确定的;从与所述计算系统通信连接的第三方设备接收警报;以在视觉上与所述应用程序区分且与所述警报唯一地相关联的方式在所述虚拟空间中生成并显示表示所述警报的符号;以及相应地用与所述警报和所述第三方设备相关联的操作设置替换所述虚拟空间中的所述应用程序。

Description

使用集线器连接两个不同环境的系统和方法
技术领域
所公开的实施例大体上涉及计算机技术领域,尤其涉及响应于警报而更新虚拟空间的操作设置的系统和方法。
背景技术
虚拟现实(virtual reality,VR)是一种计算机技术,其使用用户佩戴的头戴式显示器(head-mounted display,HMD),有时与在物理空间中的用户周围的位置跟踪系统相结合来生成模拟用户在虚拟环境中的存在的逼真的图像、声音、以及其它感觉。使用虚拟现实设备的人能够沉浸在虚拟世界中,且以多种方式与虚拟特征或物品交互,包括玩游戏或甚至远程进行手术。HMD通常配备有用于收集例如用户的位置和移动等的数据的传感器,用于将此类数据传达到运行VR系统的计算机以及从所述计算机接收新指令和数据的收发器,从而使得HMD可向用户呈现所述指令和数据。尽管VR技术近年来取得了很大的进步,但其仍然比较不成熟且面临着许多挑战,例如如何针对有不同需要的不同用户定制其操作、如何在用户从虚拟世界中的一个应用程序移到另一应用程序时创建无缝用户体验,以及如何在不对用户体验产生不利影响的情况下实现现实世界与虚拟世界之间切换。
发明内容
本申请的目的是通过提出一组解决方案来解决上面提出的挑战,以提高用户使用虚拟现实系统的整体体验。
根据本申请的一个方面,在计算系统处执行一种用于响应于警报而更新虚拟空间的操作设置的方法。所述计算系统具有一个或多个处理器、用于存储将由所述一个或多个处理器执行的程序的存储器,且其与用户佩戴的头戴式显示器通信连接。所述方法包括以下步骤:根据用户在虚拟空间中的当前位置呈现虚拟空间中的应用程序,其中用户在虚拟空间中的当前位置是根据使用邻近于用户的位置跟踪系统测量的头戴式显示器在物理空间中的位置而确定的;从与计算系统通信连接的第三方设备接收警报;以在视觉上与应用程序区分且与警报唯一地相关联的方式在虚拟空间中生成并显示表示警报的符号;以及根据检测到用户对符号的响应,用与警报和第三方设备相关联的操作设置替换虚拟空间中的应用程序。
根据本申请的另一方面,一种用于响应于警报而更新虚拟空间的操作设置的计算系统与用户佩戴的头戴式显示器通信连接。所述计算系统包括:一个或多个处理器;存储器;以及存储于存储器中的多个程序。所述多个程序在由一个或多个处理器执行时使计算系统执行一个或多个操作,所述一个或多个操作包括:根据用户在虚拟空间中的当前位置呈现虚拟空间中的应用程序,其中用户在虚拟空间中的当前位置是根据使用邻近于用户的位置跟踪系统测量的头戴式显示器在物理空间中的位置而确定的;从与计算系统通信连接的第三方设备接收警报;以在视觉上与应用程序区分且与警报唯一地相关联的方式在虚拟空间中生成并显示表示警报的符号;以及根据检测到用户对符号的响应,用与警报和第三方设备相关联的操作设置替换虚拟空间中的应用程序。
根据本申请的又一方面,一种非瞬时性计算机可读存储介质结合具有一个或多个处理器的计算系统存储多个程序以用于响应于警报而更新虚拟空间的操作设置。所述计算系统与用户佩戴的头戴式显示器通信连接。所述多个程序在由一个或多个处理器执行时使计算系统执行一个或多个操作,所述一个或多个操作包括:根据用户在虚拟空间中的当前位置呈现虚拟空间中的应用程序,其中用户在虚拟空间中的当前位置是根据使用邻近于用户的位置跟踪系统测量的头戴式显示器在物理空间中的位置而确定的;从与计算系统通信连接的第三方设备接收警报;以在视觉上与应用程序区分且与警报唯一地相关联的方式在虚拟空间中生成并显示表示警报的符号;以及根据检测到用户对符号的响应,用与警报和第三方设备相关联的操作设置替换虚拟空间中的应用程序。
附图说明
通过结合附图对以下本发明的各个方面的进行详细描述,将更清楚地理解本发明的前述实施例以及另外的实施例。贯穿附图的多个视图,相同的附图标记表示相应的部件。
图1为本申请实施例中虚拟现实环境的示意性框图,该虚拟现实环境包括虚拟现实系统和与该虚拟现实系统通信连接的多个第三方设备;
图2为本申请实施例中虚拟现实系统的位置跟踪系统的示意性框图;
图3为本申请实施例用于实现虚拟现实系统的计算系统的不同组件的示意性框图;
图4A和图4B为本申请实施例由虚拟现实系统执行的用于基于用户位置定制虚拟空间的用户界面面板的过程;
图5A和图5B为本申请实施例由虚拟现实系统执行的用于基于用户位置在虚拟空间中呈现内容预览的过程;以及
图6A和图6B为本申请实施例由虚拟现实系统执行的用于更新虚拟空间的操作设置的过程。
具体实施方式
以下实施例的描述参考附图,以便说明可以由本申请实现的具体实施例。本申请中提到的方向术语,例如“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”、“侧”仅用作附图方向的参考。因此,所使用的方向术语仅用于解释和理解本申请,而不是限制本申请。在图中,具有相似结构的单元用相同的附图标记表示。
图1为本申请实施例中虚拟现实环境的示意性框图,该虚拟现实环境包括虚拟现实系统和与该虚拟现实系统通信连接的多个第三方设备。在本实施例中,虚拟现实系统包括计算系统10,所述计算系统与头戴式显示器(head-mounted display,HMD)10-1、手持式遥控器10-2和输入/输出装置10-3通信连接。在一些实施例中,HMD 10-1通过一根或多根电线连接到计算系统10;在一些其它实施例中,双方经由私有协议或例如Wi-Fi、蓝牙、低功耗蓝牙(bluetooth low energy,BLE)等标准协议支持的无线通信信道彼此连接。在一些实施例中,计算系统10主要负责生成包括在虚拟现实环境中呈现的内容的虚拟现实环境,,并负责将与虚拟现实环境相关联的数据发送到HMD 10-1,以向佩戴HMD 10-1的用户呈现这样的环境。在一些其它实施例中,来自计算系统10的数据尚未完全准备好由HMD 10-1进行再现。实际上,HMD 10-1负责将数据进一步处理成可由佩戴HMD 10-1的用户查看和交互的内容。换句话说,支持本申请的软件可以全部集中在一个装置(例如,计算系统10或HMD 10-1)上,或者分布在多个硬件之间。但是,所属领域的技术人员应理解,本申请的后续描述仅用于说明的目的,而不应被解释为以任何方式对本申请的范围施加任何限制。
在一些实施例中,手持式遥控器10-2以有线或无线方式连接到HMD 10-1和计算系统10中的至少一个。遥控器10-2可以包括用于与HMD 10-1或计算系统10交互的一个或多个传感器,例如,用于提供遥控器10-2的位置和朝向(统称为遥控器10-2的位置)。用户可以按下遥控器10-2上的按钮或以预定方式移动遥控器10-2以向计算系统10、或HMD 10-1、或两者发出指令。如上所述,支持虚拟现实系统的软件可以分布在计算系统10与HMD 10-1之间。因此,两个硬件都可能需要知道遥控器10-2的当前位置以及其移动模式,来正确地呈现虚拟现实环境。在一些其它实施例中,遥控器10-2直接连接到计算系统10或HMD 10-1,例如直接连接到HMD 10-1,而不是直接连接到两者。此时,通过遥控器10-2输入的用户指令首先由HMD 10-1接收,然后经由双方之间的通信信道转发到计算系统10。
随着物联网(internet of things,IOT)的到来,家庭中越来越多的电子装置连接在一起。如图1所示,虚拟现实系统1也与家庭中的多个第三方设备通信连接。例如,用户可以选择将手机20-1或其它可穿戴设备连接到计算系统10,使得用户能够在用虚拟现实系统玩时接收来电或消息。在一些实施例中,计算系统10与同一家庭中的一个或多个家用电器通信连接,例如,冰箱20-2、火灾探测器或烟雾探测器20-3、微波炉20-4、或恒温器20-5等。通过将这些家用电器连接到计算系统10,虚拟现实系统的用户可以从这些家用电器中的一个或多个接收警报或消息。例如,用户可以使用虚拟现实系统来玩游戏,同时使用炉灶来烹饪食物。炉灶经由短程无线连接(例如,蓝牙)与计算系统10通信连接,这样,当炉灶上的厨具过热并且可能会对家庭造成潜在的火灾时,警报信号被发送到计算系统10并且通过HMD10-1呈现给用户。如下所述,当虚拟现实系统提供越来越接近现实的沉浸式体验并且用户越来越容易忘记其周围环境时,尤其需要这种能力。尽管图1中描绘了几个第三方设备,但是所属领域的技术人员应理解,它们仅用于说明的目的,并且许多其它第三方设备也可以连接到虚拟现实系统。
在一些实施例中,HMD 10-1被配置成在预定义空间(例如,5×5平方米)中操作以确定HMD 10-1的位置(包括位置和朝向)。为了实现此位置跟踪特征,HMD 10-1具有一个或多个传感器,包括微机电系统(microelectromechanical system,MEMS)陀螺仪、加速度计和激光位置传感器,这些传感器与位置距HMD不远的不同方向上的多个监视器通信连接,以用于确定HMD 10-1自身的位置和朝向。图2为本申请实施例中虚拟现实系统的位置跟踪系统的示意性框图。在本实施例中,在四个不同的位置部署四个“灯塔”基站10-4以用于以亚毫米精度跟踪用户的移动。位置跟踪系统在需要捕获的任何对象上使用多个光电传感器。两个或两个以上的灯塔基站在HMD 10-1操作的空间内扫过结构光激光器以避免遮挡问题。所属领域的技术人员应理解,本领域还存在可以用于跟踪HMD 10-1的移动的其它位置跟踪技术,例如惯性跟踪、声跟踪、磁跟踪等。
图3为本申请实施例用于实现虚拟现实系统的计算系统10的不同组件的示意性框图。计算系统10包括用于执行存储在存储器312中的模块、程序、和/或指令从而执行预定义操作的一个或多个处理器302,一个或多个网络接口或其它通信接口310,存储器312,以及一个或多个通信总线314。该通信总线314用于将这些组件互连在一起,并将计算系统10互连到头戴式显示器10-1、遥控器10-2、包括多个监视器10-4的位置跟踪系统,以及各种第三方设备。在一些实施例中,计算系统300包括用户界面304,所述用户界面包括显示装置308和一个或多个输入装置306(例如,键盘、或鼠标、或触摸屏)。在一些实施例中,存储器312包括高速随机存取存储器,例如动态随机存取存储器(dynamic random access memory,DRAM)、静态随机存取存储器(static random-access memory,SRAM)、或其它随机存取固态存储装置。在一些实施例中,存储器312包括非易失性存储器,例如一个或多个磁盘存储装置、光盘存储装置、闪存装置、或其它非易失性固态存储装置。在一些实施例中,存储器312包括位置上远离处理器302的一个或多个存储装置。存储器312,或存储器312内的一个或多个存储装置(例如,一个或多个非易失性存储装置)包括非瞬时性计算机可读存储介质。在一些实施例中,存储器312或存储器312的计算机可读存储介质存储以下程序、模块、和数据结构、或其子集:
●操作系统316,包括用于处理各种基本系统服务和用于执行硬件相关任务的程序;
●网络通信模块318,用于将计算系统10经由通信网络接口310和诸如因特网、其它广域网、局域网、城域网等的一个或多个(有线或无线的)通信网络连接到其它计算装置(例如,图1中所示的HMD 10-1、遥控器10-2、和第三方设备以及图2中所示的监视器10-4);
●用户界面调整模块320,用于调整由虚拟现实系统生成的虚拟现实环境中的用户界面面板,所述用户界面面板类似于计算机系统或手机的主屏幕,用户可以与用户界面面板交互且选择要在虚拟空间中呈现的虚拟内容或虚拟应用,在一些实施例中,用户界面面板具有由虚拟系统定义的默认位置322,该默认位置由用户界面调整模块320基于用户在虚拟空间中的位置(由虚拟现实系统根据位置跟踪系统测量的头戴式显示器的物理位置确定)来定制;
●用户位置跟踪模块324,用于确定由虚拟现实系统定义的用户在虚拟空间中的当前位置,并用于跟踪用户在虚拟空间中的移动,并且在一些实施例中,基于如由位置跟踪系统确定的在物理空间中头戴式显示器的物理位置326来确定用户在虚拟空间中的虚拟位置328,并且在一些实施例中,对用户在虚拟空间中的移动的连续跟踪使用户的移动模式明确化,以得知用户的意图;
●全局集线器系统330,用于在虚拟世界与现实世界之间切换用户体验,全局集线器系统330包括:透视相机模块332,用于激活例如内置于头戴式显示器10-1中的透视相机,以将由所述相机捕获的图像投影到头戴式显示器的屏幕上,使得用户可以快速切换到现实世界以处理某些事项,而无需从其头上取下头戴式显示器;虚拟现实启动器334,用于启动例如虚拟空间中用户前面的用户界面面板,以便用户可以选择虚拟内容中的一个或应用中的一个以使用虚拟现实系统进行再现;以及虚拟现实呈现引擎336,用于在虚拟空间中呈现用户选择的内容或应用;以及
●内容数据库338,用于存储要在虚拟空间中可视化的各种虚拟内容和虚拟应用,并且在一些实施例中,内容数据库338还包括与完整内容342相结合的内容预览340,使得用户可以更直观的方式可视化内容预览340而无需激活完整内容342。以上描述了虚拟现实系统的硬件和在虚拟现实系统上运行的一些软件的功能,本申请的其余部分针对虚拟现实系统的三个特定特征,该虚拟现实系统克服了在当今虚拟现实应用中发现的问题。
具体地,图4A和图4B为根据本申请实施例的由虚拟现实系统执行的用于基于用户位置定制虚拟空间的用户界面面板的过程。由于不同的用户具有不同的身高、不同的头部形状、不同的视力、和在观看相同对象时有不同的习惯,因此不能保证同一HMD的用户界面面板的默认位置和朝向很好地适合于不同的用户。根据图4A所示的过程,虚拟现实系统定制用户界面面板的位置,以自动地为不同用户实现优化的位置,而无需任何用户输入,或基于用户的响应自动为不同用户实现优化的位置。
如图4A所示,计算系统首先为虚拟现实系统生成(410)虚拟空间。此虚拟空间包括在虚拟空间中具有默认位置的用户界面面板。接下来,计算系统在头戴式显示器中呈现(420)虚拟空间。在一些实施例中,基于普通人的身高、头部大小、和视力来确定默认位置。如上所述,默认位置不一定是针对佩戴头戴式显示器的特定用户的优化位置。
为了找到针对该特定用户的优化位置,计算系统使用邻近用户的位置跟踪系统测量(430)头戴式显示器在物理空间中的位置。如上文结合图2所述,位置跟踪系统定义物理空间并测量头戴式显示器(或更具体地,头戴式显示器中的传感器)在物理空间内的移动。
在测量物理位置之后,计算系统根据头戴式显示器在物理空间中的位置确定(440)用户在虚拟空间中的位置。接下来,计算系统根据用户在虚拟空间中的位置更新(450)用户界面面板在虚拟空间中的默认位置。因为计算系统已经考虑了用户的实际体型和身高,所以更新的用户界面面板的位置可以比默认位置更好地适合于特定用户。
在一些实施例中,计算系统通过测量(450-1)用户界面面板在虚拟空间中的位置与用户在虚拟空间中的位置之间的空间关系,然后根据测得的空间关系估计(450-3)用户在虚拟空间中的视场角。接下来,计算系统根据估计的用户的视场角将用户界面面板的默认位置调整(450-5)到当前位置,使得用户界面面板的当前位置基本上在估计的用户的视场角内。
一些实施例中,计算系统使用位置跟踪系统来检测(450-11)头戴式显示器在物理空间中的移动,然后根据头戴式显示器在物理空间中的移动确定(450-13)用户在虚拟空间中的当前位置。为此,虚拟现实系统在物理空间与虚拟空间之间建立映射关系,所述映射关系包括从物理空间到虚拟空间的坐标系的转换和关系中的一个或多个和/或物理空间与虚拟空间的坐标系的关系。接下来,计算系统更新(450-15)用户界面面板在虚拟空间中的当前位置与用户在虚拟空间中的当前位置之间的空间关系,根据更新的空间关系更新(450-17)用户的视场角,以及根据更新的用户的视场角更新(450-19)用户界面面板在虚拟空间中的当前位置。在一些实施例中,计算系统可以反复地执行所述过程,直到找到用户界面面板的优化位置。
在一些实施例中,根据更新的用户的视场角更新用户界面面板在虚拟空间中的当前位置相对于用户的距离。在一些实施例中,根据更新的用户的视场角更新用户界面面板在虚拟空间中相对于用户的朝向。在一些实施例中,计算系统通过测量以下内容来检测头戴式显示器在物理空间中的移动:头戴式显示器在物理空间中的移动的方向,头戴式显示器在物理空间中的移动的幅度,头戴式显示器在物理空间中的移动的轨迹、和/或头戴式显示器在物理空间中的移动的频率。
图4B描绘如何定制460-3用户界面面板以找到优化位置的不同场景。当用户戴上头戴式显示器并开始与在虚拟现实系统中具有默认用户面板位置460-1的用户界面面板460交互时,虚拟现实系统监视用户的移动460-5。例如,如果默认位置太靠近用户,则用户可以有意识地或下意识地向后移动或向后倾斜以增加与用户界面面板的距离。相反,如果用户感觉用户界面面板太远,则用户可以向前移动或向前倾斜以减小与用户界面面板的距离。根据相应用户移动的检测,计算系统可以增大470-1用户与用户界面面板之间的距离,或减小470-3用户与用户界面面板之间的距离。
类似地,当用户在佩戴头戴式显示器时抬头或低头时,计算系统可以通过向上提升475-1用户界面面板或向下推动475-3用户界面面板来调整用户界面面板的高度以适应用户的位置和偏好。当佩戴头戴式显示器的用户向前或向后倾斜头部时,计算系统可以将用户界面面板向前倾斜480-1或向后倾斜480-3。当佩戴头戴式显示器的用户向左或向右旋转头部时,计算系统可以将用户界面面板侧向左滑动485-1或向右滑动485-3。在一些实施例中,用户面板位置的调整幅度与用户的头部移动成比例。在一些其它实施例中,由每次用户的头部移动触发的用户面板位置调整的幅度是恒定的,并且计算系统基于用户头部移动的频率多次调整(每次通过恒定移动调整)用户界面的位置。
图5A和图5B为本申请实施例由虚拟现实系统执行的用于基于用户位置在虚拟空间中呈现内容预览的过程。此过程基于用户的位置、移动、以及动作来相应地检测用户的真实意图,而不一定需要用户的明确动作,例如按下遥控器10-2上的某个按钮。
首先,计算系统在虚拟空间中呈现(510)用户界面面板。如图5B所示,用户界面面板562包括多个内容海报,每个内容海报在虚拟空间中具有唯一的位置。接下来,计算系统使用邻近用户的位置跟踪系统测量(520)头戴式显示器在物理空间中的位置,并根据头戴式显示器在物理空间中的位置确定(530)用户在虚拟空间中的位置。如图5B所示,位置跟踪引擎565测量头戴式显示器的位置560并将其转换为用户在虚拟空间中相对于用户界面面板562的位置。根据确定用户在虚拟空间中的位置和多个内容海报中的至少一个的位置满足预定义条件,计算系统在虚拟空间中用与对应内容海报相关联的内容预览替换(540)用户界面面板。例如,如图5B所示,当确定570用户在虚拟空间中的位置与长城海报在虚拟空间中的位置相同时,呈现引擎580从内容数据库575中检索长城的内容预览575-1,并在头戴式显示器560中呈现所述内容预览。
在一些实施例中,当用户在虚拟空间中的对应内容海报后停留至少预定义的时间量时,满足预定义条件(540-1)。在一些其它实施例中,当用户从虚拟空间中的对应内容海报退出至少预定义的时间量时,不再满足预定义条件。在一些实施例中,计算系统检测(530-1)头戴式显示器在物理空间中的移动,并根据头戴式显示器在物理空间中的移动更新(530-3)用户在虚拟空间中的位置。
在一些实施例中,在虚拟空间中呈现与对应内容海报相关联的内容预览时,计算系统根据头戴式显示器在物理空间中的当前位置持续更新(550-1)用户在虚拟空间中的当前位置。因此,根据确定用户在虚拟空间中的当前位置和对应内容海报的位置不再满足预定义条件,计算系统在虚拟空间中用用户界面面板替换(550-3)与对应内容海报相关联的内容预览。在一些其它实施例中,根据确定用户在虚拟空间中的当前位置和对应内容海报的位置满足预定义条件至少预定义的时间量,计算系统在虚拟空间中用与对应内容海报相关联的完整视图替换(550-5)与对应内容海报相关联的内容预览。在又一些其它实施例中,根据确定用户在虚拟空间中的移动满足预定义的移动模式,计算系统在虚拟空间中用与对应内容海报相关联的完整视图替换(550-7)与对应内容海报相关联的内容预览。如图5B所示,假设用户已经接受585访问长城内容的完整视图(例如,当满足上述两个条件中的一个时),则虚拟现实系统的呈现引擎580会检索长城内容的完整视图并将其呈现在头戴式显示器560中。
图6A和图6B为本申请实施例由虚拟现实系统执行的用于更新虚拟空间的操作设置的过程。此过程解决了当存在来自第三方设备的消息或警报到达虚拟现实系统时如何“中断”用户在虚拟世界中的沉浸式体验的问题。
首先,计算系统根据用户在虚拟空间中的当前位置来呈现(610)虚拟空间中的应用。如上所述,根据使用邻近用户的位置跟踪系统测量的头戴式显示器在物理空间中的位置来确定用户在虚拟空间中的当前位置。
接下来,计算系统从与计算系统通信连接的第三方设备接收(620)警报。如上文结合图1所述,第三方设备可以是经由短程无线连接而连接到计算系统10的手机、或家用电器、或IOT装置。如图6B所示,当用户经由头戴式显示器660与虚拟内容665交互时,虚拟现实系统的全局集线器系统650从连接到虚拟现实系统的手机接收警报。
作为响应,计算系统生成(630)并以可视地与应用区分并且与警报唯一关联的方式在虚拟空间中显示表示警报的符号。在一些实施例中,所述符号包括(630-1)第三方设备的图像,并且在虚拟空间中用户的视场角中心显示。例如,第三方设备可以是与计算系统通信连接的手机,并且警报对应于选自由以下组成的分组中的一个:用手机接收来自其他人的新呼叫、用手机接收来自其他人的新消息、用手机接收预约提醒。如图6B所示,在虚拟内容665的中心显示文本消息665-1,该文本消息665-1指示有用户的母亲的来电。
接下来,根据检测到用户对符号的响应,计算系统用与警报和第三方设备相关联的操作设置替换(640)虚拟空间中的应用。在一些实施例中,所述响应指示用户将应答所述警报。因此,计算系统暂停(640-1)虚拟空间中的应用,激活(640-3)头戴式显示器上的透视相机,并在头戴式显示器屏幕上呈现(640-7)由透视相机捕获的视图。
在一些其它实施例中,第一响应指示用户可能应答警报。此时,计算系统暂停(640-1)虚拟空间中的应用并在虚拟空间中显示(640-5)操作开关面板,操作开关面板包括与虚拟空间中的第三方设备交互的选项、返回到虚拟空间的主屏幕的选项、恢复虚拟空间中的应用的选项。如图6B所示,透视相机670-3允许用户响应来电,而不必从其头上取下头戴式显示器660。如图6B所示,在检测到用户的响应670之后,全局集线器系统650向用户呈现三个选项,包括呈现虚拟现实内容670-1、打开头戴式显示器660中的透视相机670-3、允许用户响应来电而不必从其头上取下头戴式显示器660、或者激活虚拟现实启动器670-5。
虽然上文描述了特定实施例,但是应理解,并不旨在将本发明限制于这些特定实施例。相反,本发明包括在所附权利要求的精神和范围内的替代、修改、和等同物。阐述了许多具体细节以提供对本文提出的主题的透彻理解。但是对于所属领域的普通技术人员来说显而易见的是,可以在没有这些具体细节的情况下实践主题。在其它情况下,未详细描述众所周知的方法、程序、组件、和电路,以免不必要地混淆实施例的各方面。
尽管术语第一、第二等可以在本文中用于描述各种元件,但这些元件不应受这些术语的限制。这些术语仅用于区分一个元件与另一个元件。例如,在不脱离本申请的范围的情况下,第一排名标准可以被称为第二排名标准,并且类似地,第二排名标准可以被称为第一排名标准。第一排名标准和第二排名标准都是排名标准,但它们不是相同的排名标准。
本文中用于描述对本发明的术语仅为了描述特定实施例,而不是要限制本发明。如在本发明的描述和所附权利要求中所使用的,单数形式“一”、“一个”和“所述”旨在也包括复数形式,除非上下文另有明确说明。还应理解,本文所用的术语“和/或”是指并包括一个或多个相关的所列项目的任何和所有可能的组合。还应理解,当在本说明书中使用时,术语“包含”和/或“包括”指定所述特征、操作、元件、和/或组件的存在,但是不排除存在或添加一个或多个其它特征、操作、元件、组件、和/或其分组。
如本文所使用的,术语“如果”根据上下文可以被解释为表示“当......时”或“在......的时候”或“响应于确定”或“根据确定”或“响应于检测”到所陈述的先决条件为真。类似地,短语“如果确定[陈述的先决条件为真]”或“如果[陈述的先决条件为真]”或“当[陈述的先决条件为真]时”可以根据上下文被解释为表示“在确定......的时候”或“响应于确定”或“根据确定”或“在检测......后”或“响应于检测”到所陈述的先决条件为真。
尽管各图中的一些以特定顺序示出了多个逻辑阶段,但是可以重新排序不依赖于顺序的阶段,并且可以组合或分解其它阶段。虽然具体提到了一些重新排序或其它分组,但是其它重新排序或分组对于所属领域的普通技术人员来说是显而易见的,因此不提供详尽的替代方案列表。此外,应认识到,这些阶段可以用硬件、固件、软件或其任何组合来实现。
出于阐释的目的,已参考具体实施例描述了前述描述。然而,以上的说明性论述并非旨在穷举或将本发明限制于所公开的精确形式。鉴于以上教示,许多修改及变化是可能的。选择和描述实施例是为了最好地解释本发明的原理及其实际应用,由此使得所属领域的其他技术人员能够最佳地利用本发明以及具有适合于所预期的具体用途的各种修改的各种实施例。实施例包括在所附权利要求的精神和范围内的替代、修改和等同物。阐述了许多具体细节以便提供对本文提出的主题的透彻理解。但是对于所属领域的普通技术人员来说显而易见的是,可以在不使用这些具体细节的情况下实践主题。在其它情况下,未详细描述众所周知的方法、程序、组件、和电路,以免不必要地混淆实施例的各方面。

Claims (13)

1.一种响应于警报而更新虚拟空间的操作设置的方法,其特征在于,所述方法包括:
在具有一个或多个处理器、用于存储将由所述一个或多个处理器执行的程序的存储器的计算系统处,其中所述计算系统与用户佩戴的头戴式显示器通信连接:
根据所述用户在所述虚拟空间中的当前位置和所述用户在所述虚拟空间中的视场角呈现所述虚拟空间中的应用程序和/或所述虚拟空间中的用户界面面板,其中所述用户在所述虚拟空间中的当前位置是由位置跟踪系统测量所述头戴式显示器在物理空间中的位置而确定的,该位置跟踪系统临近于所述用户,所述用户在所述虚拟空间中的视场角是根据测量的空间关系估计的,所述测量的空间关系是指测量的所述应用程序和/或所述用户界面面板在所述虚拟空间中的位置与所述用户在所述虚拟空间中的位置之间的空间关系;
从与所述计算系统通信连接的第三方设备接收警报;其中,所述第三方设备包括一个或多个;
以在视觉上与所述应用程序区分且与所述警报唯一地相关联的方式,在所述虚拟空间中生成并显示表示所述警报的符号,其中,所述符号包括所述第三方设备的图像;以及
根据检测到所述用户对所述符号的响应,用与所述警报和所述第三方设备相关联的操作设置替换所述虚拟空间中的所述应用程序。
2.根据权利要求1所述的方法,其特征在于,所述第三方设备为与所述计算系统通信连接的手机,所述警报对应于以下各项组成的群组中的至少一个:在所述手机处接收到来自另一个人的新呼叫、在所述手机处接收到来自另一个人的新消息、在所述手机处接收到预约提醒。
3.根据权利要求1所述的方法,其特征在于,所述第三方设备是与所述计算系统通信连接的家用电器,且所述警报是来自所述家用电器的警报信号。
4.根据权利要求3所述的方法,其特征在于,所述家用电器是选自以下各项组成的群组中的一个:火灾检测器、温度计、冰箱、微波炉和烹饪炉。
5.根据权利要求1所述的方法,其特征在于,所述响应指示所述用户将应答所述警报,且用与所述警报和所述第三方设备相关联的操作设置替换所述虚拟空间中的所述应用程序的所述操作进一步包括:
暂停所述虚拟空间中的所述应用程序;
激活所述头戴式显示器上的透视相机;以及
在所述头戴式显示器的屏幕上呈现由所述透视相机捕获的视图。
6.根据权利要求1所述的方法,其特征在于,所述第一响应指示所述用户可能应答所述警报,且用与所述警报和所述第三方设备相关联的操作设置替换所述虚拟空间中的所述应用程序的所述操作进一步包括:
暂停所述虚拟空间中的所述应用程序;以及
在所述虚拟空间中显示操作开关面板,所述操作开关面板包括在所述虚拟空间中与所述第三方设备交互的选项、返回到所述虚拟空间的主屏幕的选项、恢复所述虚拟空间中的所述应用程序的选项。
7.根据权利要求1所述的方法,其特征在于,所述位置跟踪系统包括多个监视器,且所述头戴式显示器包括与所述多个监视器通信以用于确定所述头戴式显示器在所述物理空间中的位置的一个或多个传感器。
8.一种用于响应于警报而更新虚拟空间的操作设置的计算系统,其特征在于,所述计算系统与用户佩戴的头戴式显示器通信连接,所述计算系统包括:
一个或多个处理器;
存储器;以及
存储在所述存储器中的多个程序,其中所述多个程序在由所述一个或多个处理器执行时使所述计算系统执行一个或多个操作,所述一个或多个操作包括:
根据所述用户在所述虚拟空间中的当前位置和所述用户在所述虚拟空间中的视场角呈现所述虚拟空间中的应用程序和/或所述虚拟空间中的用户界面面板,其中所述用户在所述虚拟空间中的当前位置是根据位置跟踪系统测量所述头戴式显示器在物理空间中的位置而确定的,该位置跟踪系统临近于所述用户,所述用户在所述虚拟空间中的视场角是根据测量的空间关系估计的,所述测量的空间关系是指测量的所述应用程序和/或所述用户界面面板在所述虚拟空间中的位置与所述用户在所述虚拟空间中的位置之间的空间关系;
从与所述计算系统通信连接的第三方设备接收警报;其中,所述第三方设备包括一个或多个;
以在视觉上与所述应用程序区分且与所述警报唯一地相关联的方式在所述虚拟空间中生成并显示表示所述警报的符号,其中所述符号包括所述第三方设备的图像;以及
根据检测到所述用户对所述符号的响应,用与所述警报和所述第三方设备相关联的操作设置替换所述虚拟空间中的所述应用程序。
9.根据权利要求8所述的计算系统,其特征在于,所述第三方设备为与所述计算系统通信连接的手机,且所述警报对应于选自由以下各项组成的群组中的一个:在所述手机处接收到来自另一个人的新呼叫、在所述手机处接收到来自另一个人的新消息、在所述手机处接收到预约提醒。
10.根据权利要求8所述的计算系统,其特征在于,所述第三方设备是与所述计算系统通信连接的家用电器,且所述警报是来自所述家用电器的警报信号。
11.根据权利要求8所述的计算系统,其特征在于,所述响应指示所述用户将应答所述警报,且用与所述警报和所述第三方设备相关联的操作设置替换所述虚拟空间中的所述应用程序的所述操作进一步包括用于以下各项的操作:
暂停所述虚拟空间中的所述应用程序;
激活所述头戴式显示器上的透视相机;以及
在所述头戴式显示器的屏幕上呈现由所述透视相机捕获的视图。
12.根据权利要求8所述的计算系统,其特征在于,所述第一响应指示所述用户可能应答所述警报,且用与所述警报和所述第三方设备相关联的操作设置替换所述虚拟空间中的所述应用程序的所述操作进一步包括用于以下各项的操作:
暂停所述虚拟空间中的所述应用程序;以及
在所述虚拟空间中显示操作开关面板,所述操作开关面板包括在所述虚拟空间中与所述第三方设备交互的选项、返回到所述虚拟空间的主屏幕的选项、恢复所述虚拟空间中的所述应用程序的选项。
13.一种非瞬时性计算机可读存储介质,所述非瞬时性计算机可读存储介质结合计算系统以用于响应于警报而更新虚拟空间的操作设置,其特征在于,所述计算系统与用户佩戴的头戴式显示器通信连接,且所述非瞬时性计算机可读存储介质存储多个程序,所述多个程序在由所述一个或多个处理器执行时使所述计算系统执行一个或多个操作,所述一个或多个操作包括:
根据所述用户在所述虚拟空间中的当前位置和所述用户在所述虚拟空间中的视场角呈现所述虚拟空间中的应用程序和/或所述虚拟空间中的用户界面面板,其中所述用户在所述虚拟空间中的当前位置是根据位置跟踪系统测量所述头戴式显示器在物理空间中的位置而确定的,该位置跟踪系统临近于所述用户,所述用户在所述虚拟空间中的视场角是根据测量的空间关系估计的,所述测量的空间关系是指测量的所述应用程序和/或所述用户界面面板在所述虚拟空间中的位置与所述用户在所述虚拟空间中的位置之间的空间关系;
从与所述计算系统通信连接的第三方设备接收警报;其中,所述第三方设备包括一个或多个;
以在视觉上与所述应用程序区分且与所述警报唯一地相关联的方式在所述虚拟空间中生成并显示表示所述警报的符号,其中,所述符号包括所述第三方设备的图像;以及
根据检测到所述用户对所述符号的响应,用与所述警报和所述第三方设备相关联的操作设置替换所述虚拟空间中的所述应用程序。
CN201780064298.4A 2017-06-15 2017-06-15 使用集线器连接两个不同环境的系统和方法 Active CN109844694B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/088519 WO2018227505A1 (en) 2017-06-15 2017-06-15 System and method of connecting two different environments using hub

Publications (2)

Publication Number Publication Date
CN109844694A CN109844694A (zh) 2019-06-04
CN109844694B true CN109844694B (zh) 2020-08-25

Family

ID=64658765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780064298.4A Active CN109844694B (zh) 2017-06-15 2017-06-15 使用集线器连接两个不同环境的系统和方法

Country Status (3)

Country Link
US (1) US20200034995A1 (zh)
CN (1) CN109844694B (zh)
WO (1) WO2018227505A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110036356B (zh) * 2017-02-22 2020-06-26 腾讯科技(深圳)有限公司 Vr系统中的图像处理
US11861136B1 (en) * 2017-09-29 2024-01-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with virtual reality environments
US10607367B2 (en) * 2018-06-26 2020-03-31 International Business Machines Corporation Methods and systems for managing virtual reality sessions
US10908428B2 (en) * 2018-09-25 2021-02-02 Facebook Technologies, Llc Multiple-device system with multiple power and data configurations
US20240094822A1 (en) * 2022-09-19 2024-03-21 Sharon Moll Ar glasses as iot remote control

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011238168A (ja) * 2010-05-13 2011-11-24 Hitachi Ltd サーバクライアント連携システム、及びタスク制御方法
CN103620527A (zh) * 2011-05-10 2014-03-05 寇平公司 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机
CN105377383A (zh) * 2013-06-07 2016-03-02 索尼电脑娱乐公司 在头戴式显示器上转变游戏过程
CN105676455A (zh) * 2016-02-01 2016-06-15 深圳超多维光电子有限公司 头戴式显示设备
CN106716302A (zh) * 2014-09-11 2017-05-24 诺基亚技术有限公司 用于显示图像的方法、设备和计算机程序

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US9881422B2 (en) * 2014-12-04 2018-01-30 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
US10083544B2 (en) * 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011238168A (ja) * 2010-05-13 2011-11-24 Hitachi Ltd サーバクライアント連携システム、及びタスク制御方法
CN103620527A (zh) * 2011-05-10 2014-03-05 寇平公司 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机
CN105377383A (zh) * 2013-06-07 2016-03-02 索尼电脑娱乐公司 在头戴式显示器上转变游戏过程
CN106716302A (zh) * 2014-09-11 2017-05-24 诺基亚技术有限公司 用于显示图像的方法、设备和计算机程序
CN105676455A (zh) * 2016-02-01 2016-06-15 深圳超多维光电子有限公司 头戴式显示设备

Also Published As

Publication number Publication date
US20200034995A1 (en) 2020-01-30
CN109844694A (zh) 2019-06-04
WO2018227505A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
CN109804333B (zh) 基于用户的物理尺寸定制用户界面面板的系统和方法
CN109844694B (zh) 使用集线器连接两个不同环境的系统和方法
US11164380B2 (en) System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
KR102637047B1 (ko) 가상 아이템을 마킹하기 위한 가상 객체의 제어 방법 및 장치와 매체
US11481025B2 (en) Display control apparatus, display apparatus, and display control method
US10901499B2 (en) System and method of instantly previewing immersive content
US11055923B2 (en) System and method for head mounted device input
JP2018502396A (ja) ウェアラブルデバイスの画面表示方法およびウェアラブルデバイス
KR20160026323A (ko) 움직임에 기반하여 알림 정보를 제어하는 방법 및 장치
CN105765513A (zh) 信息处理装置、信息处理方法和程序
KR20160026143A (ko) 통신 기능 제어 방법 및 이를 지원하는 전자 장치
CN115004128A (zh) 基于注视计时器的用户输入设备的功能增强
JP7258766B2 (ja) 割り込みに対するゲーム内反応
WO2020151594A1 (zh) 视角转动的方法、装置、设备及存储介质
CA2849616A1 (en) Device and method for generating data for generating or modifying a display object
JP6757404B2 (ja) シースルー・グラス用の補助アイテム選択
KR20180048158A (ko) 디스플레이 운용 방법 및 이를 지원하는 전자 장치
US12041288B2 (en) Changing resource utilization associated with a media object based on an engagement score
WO2022089152A1 (zh) 确定选中目标的方法、装置、设备及存储介质
KR101483851B1 (ko) 홈 컨트롤을 위한 유비쿼터스 가상 현실(uvr) 기반의 저작 장치 및 방법
EP3851939A1 (en) Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information
US12008160B2 (en) Eye tracking based selection of a user interface (UI) element based on targeting criteria
US20240094680A1 (en) Electronic Devices and Corresponding Methods for Redirecting User Interface Controls During Accessibility Contexts
JP6448478B2 (ja) ヘッドマウントディスプレイを制御するプログラム。
CN113646830A (zh) 信息处理设备、信息处理方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant