CN114207559A - 计算设备和扩展现实集成 - Google Patents

计算设备和扩展现实集成 Download PDF

Info

Publication number
CN114207559A
CN114207559A CN202080055441.5A CN202080055441A CN114207559A CN 114207559 A CN114207559 A CN 114207559A CN 202080055441 A CN202080055441 A CN 202080055441A CN 114207559 A CN114207559 A CN 114207559A
Authority
CN
China
Prior art keywords
content
displayed
composite representation
display
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080055441.5A
Other languages
English (en)
Inventor
D.布雷姆斯
R.塔茨
R.T.奥利弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN114207559A publication Critical patent/CN114207559A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Telephone Function (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了用于集成移动设备和扩展现实体验的技术。扩展现实技术可以包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)等。在一些示例中，可以生成设备(例如，移动设备，诸如移动电话或其它类型的设备)的合成(或虚拟)表示并与由VR设备(例如，头戴式显示器(HMD))正在显示的VR内容一起显示。在另一个示例中，来自设备的内容(例如，由设备正在显示的视觉内容和/或正在播放的音频内容)可以与由VR设备正在显示的VR内容一起输出。在另一个示例中，由设备的相机捕获的一个或多个图像和/或由设备的麦克风获得的音频可以由虚拟现实设备从设备获得，并且可以由虚拟现实设备输出。

Description

计算设备和扩展现实集成
技术领域
本公开一般涉及用于提供计算设备和扩展现实体验的集成的技术和系统。
背景技术
扩展现实技术可用于向用户呈现虚拟内容，和/或可将来自物理世界的真实环境与虚拟环境相结合以向用户提供扩展现实体验。术语扩展现实可以涵盖虚拟现实、增强现实、混合现实等。这些形式的扩展现实中的每一种都允许用户体验沉浸式虚拟环境或内容或者与之交互。例如，扩展现实体验可以允许用户与利用虚拟内容加强或增强的真实或物理环境进行交互。可以实施扩展现实技术来加强诸如娱乐、医疗保健、零售、教育、社交媒体等的广泛环境中的用户体验。
发明内容
在一些示例中，描述了用于集成计算设备和扩展现实体验的系统、方法和计算机可读介质。例如，本文描述的技术可以允许享受扩展现实体验的用户无缝地使用计算设备(例如，移动设备，诸如移动电话、可穿戴设备或其它类型的设备)或计算设备的一个或多个功能，而不会中断扩展现实体验。
在一个说明性示例中，可以生成用户的计算设备(例如，移动设备，诸如移动电话、可穿戴设备或其它类型的设备)的合成(或虚拟)表示并与正由虚拟现实设备(例如，头戴式显示器(HMD))显示的虚拟现实内容一起显示。在另一个示例中，来自计算设备的内容(例如，正由设备显示的内容、由计算设备接收的消息、由计算设备生成的通知和/或其它内容)可以与正由虚拟现实设备显示的虚拟现实内容一起显示。在另一个示例中，来自计算设备的音频内容(例如，语音消息、视频消息、浏览器内容、电话、流式或本地存储的音乐和/或其它音频内容)可以由虚拟现实设备(例如，通过虚拟现实设备的一个或多个扬声器)播放。在一些情况下，音频内容可以由虚拟现实设备在显示来自计算设备的视觉内容的同时播放。在此类示例中，用户可以与虚拟现实内容一起观看计算设备和/或来自计算设备的内容，从而允许用户与计算设备交互(例如，控制移动电话的一个或多个应用)，而无需移除虚拟现实设备(例如，同时仍然戴着HMD)。当显示计算设备的合成表示时，虚拟现实设备可以继续显示虚拟现实内容，或者可以在虚拟现实设备显示计算设备的合成表示的同时暂停虚拟现实内容。
在另一个说明性示例中，由计算设备(例如，移动设备，诸如移动电话、可穿戴设备或其它类型的设备)的相机捕获的一个或多个图像可以由虚拟现实设备从该设备获得。虚拟现实设备可以将一个或多个图像与正通过虚拟现实设备(例如，HMD)观看的虚拟现实内容一起显示。在这样的示例中，用户可以在不移除虚拟现实设备的情况下(例如，同时仍然佩戴HMD)，观看现实世界(如由一个或多个图像捕获的)。在一些情况下，可以将来自计算设备的麦克风的音频提供给虚拟现实设备。例如，提供来自计算设备的麦克风的音频可以允许用户在不必移除虚拟现实设备的情况下感知现实世界中正在发生什么。
根据一个说明性示例，提供了一种确定一个或多个对象的一个或多个尺寸的方法。该方法包括：由第一设备显示虚拟现实内容；通过第一设备获得第二设备的合成表示；由第一设备将第二设备的合成表示与虚拟现实内容一起显示；由第一设备接收请求第二设备的功能性的改变的输入；和基于由第一设备接收的输入，显示第二设备的合成表示的改变，第二设备的合成表示的改变表示第二设备的功能性的改变。
在另一个示例中，提供了一种用于确定一个或多个对象的一个或多个尺寸的装置，其包括被配置为存储一个或多个图像的存储器，和在电路中实施并耦合到存储器的一个或多个处理器。一个或多个处理器被配置为并且可以：使得虚拟现实内容被显示在显示器上；获得设备的合成表示；使得设备的合成表示与虚拟现实内容一起显示在显示器上；接收请求设备的功能性的改变的输入；并且基于接收到的输入，使得设备的合成表示的改变被显示在显示器上，设备的合成表示的改变表示设备的功能性的改变。
在另一个示例中，提供了一种在其上存储有指令的非暂时性计算机可读介质，该指令在由一个或多个处理器执行时使一个或多个处理器：使得由第一设备显示虚拟现实内容；由第一设备获得第二设备的合成表示；使得第二设备的合成表示和虚拟现实内容一起显示；由第一设备接收请求第二设备的功能性的改变的输入；以及基于由第一设备接收的输入，使得由第一设备显示第二设备的合成表示的改变，第二设备的合成表示的改变表示第二设备的功能性的改变。
在另一个示例中，提供了一种用于确定一个或多个对象的一个或多个尺寸的装置。该装置包括：用于由第一设备显示虚拟现实内容的部件；用于由第一设备获得第二设备的合成表示的部件；用于由第一设备将第二设备的合成表示与虚拟现实内容一起显示的部件；用于由第一设备接收请求第二设备的功能性的改变的输入的部件；和用于基于由第一设备接收的输入，来显示第二设备的合成表示的改变的部件，第二设备的合成表示的改变表示第二设备的功能性的改变。
在一些方面，第二设备的合成表示包括第二设备的显示器的合成表示，其中，由第二设备显示的内容被显示在第二设备的显示器的合成表示中。
在一些方面，上述方法、装置和计算机可读介质还包括：由第一设备接收由第二设备处理的一个或多个输入的指示；和基于由第二设备处理的一个或多个输入的指示，显示第二设备的合成表示的附加改变，第二设备的合成表示的附加的改变表示第二设备的功能性的附加改变。
在一些方面，第二设备的合成表示被覆盖在虚拟现实内容上。在一些方面，第一设备包括虚拟现实头戴式显示器。在一些方面，第二设备包括移动设备。
在一些方面，上述方法、装置和计算机可读介质还包括：由第一设备从第二设备获得音频内容；以及由第一设备播放来自第二设备的音频内容。
在一些方面，上述方法、装置和计算机可读介质还包括：由第一设备获得由第二设备的麦克风捕获的音频内容；和由第一设备播放音频内容。
在一些方面，上述方法、装置和计算机可读介质还包括：由第一设备获得由第二设备的相机捕获的一个或多个图像；和由第一设备将一个或多个图像与虚拟现实内容一起显示。在一些方面，一个或多个图像是由第二设备的相机捕获的视频的部分。在一些方面，一个或多个图像与虚拟现实内容一起显示，作为第二设备的合成表示的部分。在一些方面，一个或多个图像被显示在第二设备的显示器的合成表示内。
在一些方面，上述方法、装置和计算机可读介质还包括：由第一设备获得由第二设备的麦克风捕获的音频内容；和由第一设备在将一个或多个图像与虚拟现实内容一起显示的同时播放音频内容。
在一些方面，上述方法、装置和计算机可读介质还包括：接收触发；基于接收到的触发，将第二设备的合成表示与虚拟现实内容一起显示。在一些方面，触发基于从第二设备接收的信息。
在一些方面，上述方法、装置和计算机可读介质还包括：接收移除触发；和由第一设备基于接收到触发，从显示器移除第二设备的合成表示。
本发明内容不旨在标识所要求保护的主题的关键特征或本质特征，也不旨在单独使用以确定所要求保护的主题的范围。应该通过参考本专利的整个说明书的适当部分、任何或所有附图以及每项权利要求来理解主题。
参考以下说明书、权利要求和附图，前述内容连同其它特征和实施例将变得更加明显。
附图说明
下面参考以下附图详细描述本申请的说明性实施例：
图1是示出根据一些示例的由虚拟现实设备显示的虚拟内容的示例的图；
图2是示出根据一些示例的与虚拟内容一起显示的设备的合成表示的示例的图，其中设备的合成表示和虚拟内容由虚拟现实设备显示；
图3是示出根据一些示例的与虚拟内容一起显示的设备的内容的示例的图，其中设备的内容和虚拟内容由虚拟现实设备显示；
图4是示出根据一些示例的与虚拟内容一起显示的由设备捕获的图像的示例的图，其中图像和虚拟内容由虚拟现实设备显示；
图5是示出根据一些示例的在由虚拟现实设备进行的虚拟内容显示和现实世界显示之间切换的示例的图；
图6是示出根据一些示例的虚拟现实设备的组件的示例的图；
图7是示出根据一些示例的不同显示层的示例的图；
图8是示出根据一些示例的虚拟现实设备的组件的另一个示例的图；
图9是示出根据一些示例的用于显示虚拟内容的过程的示例的流程图；
图10是示出根据一些示例的用于显示虚拟内容的过程的另一个示例的流程图；
图11是示出根据一些示例的用于显示虚拟内容的过程的另一个示例的流程图；和
图12是可以实施这里描述的各种技术的示例计算设备的示例计算设备架构。
具体实施方式
下面提供本公开的某些方面和实施例。这些方面和实施例中的一些可以独立应用并且其中一些可以组合应用，这对于本领域技术人员来说是显而易见的。在下面的描述中，为了解释的目的，阐述了具体细节，以便提供对本申请的实施例的透彻理解。然而，显而易见，可以在没有这些具体细节的情况下实践各种实施例。附图和描述并非旨在为限定性的。
随后的描述仅提供示例性实施例，并不旨在限制本公开的范围、适用性或配置。而是，示例性实施例的随后描述将为本领域技术人员提供用于实施示例性实施例的可实现描述。应当理解，在不脱离所附权利要求中阐述的本申请的精神和范围的情况下，可以对元素的功能和布置进行各种改变。
如前所述，扩展现实(XR)技术可以向用户提供虚拟内容，和/或将现实或物理环境与虚拟环境(由虚拟内容组成)相结合以向用户提供扩展现实体验。扩展现实体验包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)和/或其它沉浸式内容。本文描述的示例将使用VR用于说明性目的。然而，普通技术人员将理解的是，本文所述的技术可应用于其它扩展现实体验，例如AR和MR。例如，在一些情况下，本文所述的技术可用于AR设备和/或MR设备。MR设备可以使用视频直通(例如，如下面关于图5所示和描述的)来渲染物理现实以及虚拟内容。然而，由于典型的视频直通设备的质量较差，如果用户将手机靠近MR设备(例如，MR头戴式设备(headset)或头戴式显示器)，他们可以看到用户手机的轮廓，但可能由于分辨率、失真、闪烁和/或与视频直通相关的延迟，而无法看见/阅读内容。使用下面描述的技术，用户可以在MR设备显示器(例如，MR头戴式设备或头戴式显示器的显示器)上容易地观看内容。
VR描述了可以以看似真实或物理的方式与之交互的三维的、有时是计算机生成的环境。当体验VR环境的用户在现实世界中移动时，在虚拟环境中渲染的图像也会发生改变，使用户感觉她/他正在虚拟环境中移动。例如，用户可以向左转或向右转，向上看或向下看，和/或向前移动或向后移动，从而改变用户对虚拟环境的视角。呈现给用户的VR内容可以随着用户的移动而相应地改变，从而使用户的体验与在现实世界中一样无缝。在一些情况下，VR内容可以包括VR视频，其可以以非常高的质量被捕获和渲染，从而潜在地提供真正沉浸式的虚拟现实体验。VR应用包括游戏、培训、教育、视频(例如，体育赛事、电影、表演等)、在线购物、远程操作(例如，机器人的远程控制、无人空中载具、远程手术等)、和/或其它应用。
可以使用各种设备来渲染XR内容。例如，可以使用诸如头戴式显示器(HMD)或其它VR头戴式设备的VR设备来渲染和显示VR内容，VR设备在VR体验期间完全覆盖用户的眼睛。图1是示出由用户100正佩戴的VR头戴式设备102显示的虚拟内容的示例的图。如图所示，用户完全沉浸在VR环境中(如VR帧110所示)。
因为VR设备可以完全覆盖用户的眼睛，并且在某些情况下可以覆盖用户的耳朵，所以用户在沉浸在虚拟现实环境中时可能无法与其它设备(例如，移动电话)和/或现实世界进行交互。例如，在某些情况下，用户的手机或其它计算设备可以用作VR头戴式设备(或其它VR设备)的控制器，但用户在沉浸在VR体验中时不具有与手机的应用和/或其它功能性进行交互的能力。进一步的，当使用VR头戴式设备时，用户可能会感到脆弱，并且与在他们周围的现实世界环境中正在发生的事情失去联系。在某些情况下，由VR头戴式设备提供的音频会阻止用户听到来自外面世界的声音。当参与在VR体验中时，为用户提供一种简单的方式来在视觉上和/或听觉上检查现实世界中正在发生什么，而无需移除VR头戴式设备并且无需暂停或停止虚拟现实体验将是有益的。虽然可以移除VR头戴式设备(在这种情况下，可能需要暂停或停止VR内容)以便用户可以检查物理环境和/或与另一个设备交互，但每次用户想要观看他们的手机(或其它计算设备)或检查环境时都移除头戴式设备可能会变得令人厌烦，并可能导致糟糕的VR用户体验。
本文描述了用于集成计算设备和扩展现实体验的系统、方法和计算机可读介质。如上面指出的，本文将使用VR作为XR体验的示例来提供示例。然而，普通技术人员将理解，本文描述的技术可以应用于其它类型的XR体验。
根据本文描述的技术，VR设备可以包括多种不同的操作模式。VR设备可以包括VR头戴式设备，例如头戴式显示器(HMD)。VR设备可以允许用户在多种模式之间转换，而无需暂停或停止VR设备正在显示的VR体验。例如，用户可以在其间转换的各种模式包括常规VR模式(如图1所示，已在上文讨论)，具有实际、现实的计算设备的合成表示和/或被覆盖在VR内容之上的来自计算设备的内容的VR模式(如图2和图3所示，并在下文讨论)，具有被覆盖在VR内容之上的对外部世界的窥视的VR模式(如图4所示，并在下文讨论)，和/或在通过VR设备观看VR内容和观看现实世界环境之间的完全切换(如图5所示并在下文讨论)。计算设备可以包括移动设备(例如，移动电话、平板计算机或其它移动设备)、可穿戴设备(例如，智能手表、心率监测器或其它可穿戴设备)、物联网(IoT)设备、遥控器(例如，电视遥控或其它遥控器)或其它类型的设备。
用户可以使用一个或多个输入在不同模式之间转换。用于切换到一种或多种模式的输入可以包括由用户提供的任何合适的输入，例如使用VR设备和/或计算设备的语音输入设备(例如，麦克风)检测到的语音输入、VR设备和/或计算设备的触摸界面上的触摸输入、使用VR设备和/或计算设备的一个或多个传感器检测到的手势输入、对VR设备或计算设备的物理按钮的选择，VR控制器设备上的可以控制VR设备的物理按钮、对由VR设备或计算设备显示的图标或虚拟按钮的选择(例如，用户按下图标、用户凝视图标(如使用凝视检测检测到的)、或其它类型的选择)、其任意组合，和/或其它输入。可以使得模式改变的触摸输入的示例可以包括将手指在计算设备的触摸屏上按住阈值时间量(例如一秒、两秒或更多秒)和/或具有某些压力量(例如，由加速度计或可以测量压力或力的其它组件所测量的)。触摸输入的另一个示例可以包括划动手势，其可以包括用户用一次划动围绕触摸屏画圆圈，和/或一些其它划动手势。触摸输入的另一个示例可以包括在触摸屏上的强敲击手势，其可以包括以高于力阈值的压力或力(例如，如由加速度计所测量的)在触摸屏上的手指敲击。
在一些示例中，计算设备的超过阈值量的移动(例如，加速度、速度等)可以被检测到并用于触发一个或多个模式(例如，具有实际计算设备的合成表示和/或覆盖在VR内容之上的来自计算设备的内容的VR模式、具有覆盖在VR内容之上的对外部世界的窥视的VR模式等)。在一些示例中，VR设备可以检测(例如，使用VR设备的外向相机、使用光学传感器、使用运动检测或其它合适的技术)用户已将电话放在VR设备(例如，HMD)的前面，在这种情况下，VR设备可以切换到模式中的一种或多种(例如，具有实际计算设备的合成表示和/或覆盖在VR内容之上的来自计算设备的内容的VR模式、具有覆盖在VR内容之上的对外部世界的窥视的VR模式等)。
在一些示例中，VR设备可以使用6自由度(6DOF)输入接口来检测用户输入。诸如VR头戴式设备的XR设备可以持续或定期跟踪自己在物理世界中的位置，以执行VR功能性。这种跟踪可以称为由内向外(inside-out)的6DOF跟踪——由内向外是因为设备可以在没有任何外部信标或发送器的情况下跟踪自己，而6DOF是因为设备可以关于三个旋转向量(俯仰、偏航、滚动)和三个平移向量(上/下、左/右、前/后)来跟踪自己的位置。一个或多个传感器可用于检测用户输入和/或执行跟踪，例如一个或多个惯性测量单元(IMU)、一个或多个全球定位系统(GPS)设备、一个或多个加速度计、一个或多个陀螺仪、它们的任何组合和/或其它传感器。在某些情况下，可以使用视觉惯性测距(Visual Inertial Odometry，VIO)来完成跟踪，这是一个将视觉数据(来自一个或多个相机传感器)与惯性数据(来自陀螺仪和加速度计)融合在一起以测量物理世界中的设备的移动距离的过程。VIO可以同时用于确定设备在世界中的位置(定位)和映射与设备相关联的场景(在世界中)。
图2是示出VR头戴式设备102的VR模式的示例的图，该VR模式允许VR头戴式设备102显示覆盖在VR内容的帧210之上的、实际移动设备204(物理设备)的合成表示214。如图2所示，移动设备204的合成表示214包括移动设备204的显示器(或屏幕)的合成表示216。在现实世界中正由实际移动设备204显示的内容在移动设备204的显示器的合成表示216中被显示为虚拟内容。在该VR模式中，用户100可以看到由VR头戴式设备102的显示器呈现的移动设备204显示器的表示。在一些示例中，来自移动设备204的音频内容可以由VR头戴式设备102在显示移动设备204的合成表示214的同时播放。例如，当用户在移动设备204上选择语音消息应用时，可以播放语音消息。在其它示例中，可以播放视频(包括视频的视觉和音频部分)、视频消息、来自网络浏览器的音频、电话、来自网络位置(例如，来自基于互联网的提供商)的流式音乐、本地存储的音乐(例如，先前下载的音乐)和/或其它音频内容。在显示移动设备204的合成表示时和/或正在播放音频内容时，可以由VR头戴式设备102继续显示VR内容，或者在VR头戴式设备102显示移动设备204的合成表示时和/或正在播放音频内容时，可以暂停VR内容。
用户可以与实际的移动设备204交互(无需从用户的头部移除VR头戴式设备102)，并且可以看到移动设备204显示的所有内容(并且在某些情况下听到由移动设备204输出的音频)，但是是在VR头戴式设备102的内部。在一些情况下，用户可以使用移动设备204的(一个或多个)输入接口(例如，触摸屏、按钮、语音输入、触摸悬停反馈等)与实际的移动设备204交互，并且移动设备204的功能性的改变将被显示在移动设备204的显示器的合成表示216上。在一些情况下，用户可以通过向VR头戴式设备102提供输入来与移动设备204交互，例如使用手势输入、凝视输入、语音输入、VR遥控器、它们的任何组合，和/或可以提供给VR头戴式设备102的其它合适的输入。在一个说明性示例中，用户100可以向VR头戴式设备102提供手势输入，包括向下移动食指，这在由VR头戴式设备102检测到时，可以使得在移动设备204的显示器的合成表示216上显示的内容向下滚动。在另一个说明性示例中，用户100可以向VR头戴式设备102提供手势输入，包括在深度方向上移动食指远离VR头戴式设备102(例如，好像用户正在选择图标)，这在由VR头戴式设备102检测到时，可以使得在移动设备204的显示器的合成表示216上显示的内容项被选择。在另一个说明性示例中，用户可以使用VR遥控器作为指针与移动设备204交互。
导致在移动设备204的显示器的合成表示216上显示的内容的改变的输入(例如，手势、凝视、语音等)也可以使得由实际的移动设备204显示的内容改变。在一个说明性示例中，使用由VR头戴式设备102检测到的手势选择消息收发图标可以使得消息收发应用被显示在移动设备204的显示器的合成表示216上和实际的移动设备204的显示器上。
在一些示例中，用户可以使用触摸悬停反馈与实际的移动设备204交互。例如，触摸悬停反馈可以包括用户将手指或拇指保持在距移动设备204的物理显示器一定距离(例如，0.5厘米(cm)、0.75cm、1cm、1.25cm或其它合适的距离)，并且对应于手指或拇指上方的项目的显示元素(例如，图标、列表中的项目、或移动设备204的显示器的合成表示216中的其它显示元素)可以在移动设备204的显示器的合成表示216中示出聚焦状态(例如，显示元素可以被高亮、变大和/或以其它方式被强调)。然后可以由用户通过选择被高亮的显示元素(例如，使用手势输入、凝视输入、触摸输入、语音输入和/或其它输入，如上文所述的)来执行对显示元素的选择。通过允许用户在做出选择之前正确定位手指，触摸悬停反馈允许与移动设备204的合成表示214的交互更有用。这在图2所示的示例中可能特别有用，其中用户不能直接观看移动设备204的显示器以瞄准选择。
在一些实施方式中，可以在帧210上显示动作通知215。动作通知215向用户指示动作已在移动设备204处发生。在一些示例中，动作通知215可以包括移动设备204已经接收到消息的通知(例如，已经接收到新文本消息、已经接收到新电子邮件、对到移动设备204的来电的通知、已经由移动设备204通知社交媒体帖子、已经由移动设备204接收到紧急警报、和/或其它消息)。在一些示例中，动作通知215可以包括已经接收到的实际消息。在一些情况下，用户可以选择动作通知215以使得移动设备204的合成表示214被显示(如果还没有被显示)。
移动设备204的合成表示214可以由VR头戴式设备102使用各种技术来生成。在一个说明性示例中，VR头戴式设备102的用户可以提供指示正在使用的移动设备204的类型的输入(例如，移动设备204的品牌、型号和版本，诸如SamsungTMGalaxy S10TM)，并且VR头戴式设备102可以生成或获得具有与该类型的移动设备相同的特征和维度的虚拟表示。在另一个示例中，VR头戴式设备102可以捕获移动设备204的一个或多个图像，并且VR头戴式设备102可以使用该一个或多个图像生成移动设备204的虚拟表示。
移动设备204的合成表示214可以显示在VR坐标系中的各个位置。例如，在某些情况下，合成表示214可以被显示以便出现在电话的实际现实世界位置中。在一个说明性示例中，如果用户正用用户的右手将移动电话保持在用户前方，移动设备204的合成表示214可以被显示在帧210的右下角中。在其它示例中，合成表示214可以被显示在帧210的边缘上、或帧210中的另一个位置，使得合成表示214不与VR内容和/或帧210内的最高重要性区域(例如，对应于VR用户的视野的帧210的中心)重叠。在一些情况下，移动设备204的合成表示214被显示的位置可以是用户可选择的。例如，用户可以指示合成表示214将被显示在由VR头戴式设备102显示的帧的左上角中。
在一些情况下，实际的移动设备204正在显示的内容和/或正在输出的音频内容可以被发送或流式传输到VR头戴式设备102，并且VR头戴式设备102可以在移动设备204的显示器的合成表示216中显示该内容。在一些情况下，移动设备204正在显示的内容可以被镜像(例如，使用屏幕镜像，诸如使用点对点WiFi直接标准的Miracast或AirPlay)在VR头戴式设备102的显示器上。
图6是示出XR设备的组件的示例的图，XR设备诸如VR设备(例如，VR头戴式设备102或其它VR设备)、MR设备和/或AR设备。这些组件操作以使得由实际的移动设备204(例如，移动设备204)正在显示的内容和/或正在输出的音频内容能够由XR设备显示。XR设备可以包括一个或多个应用632。应用可以注册由运行时引擎634提供的运行时服务(例如，渲染和/或其它运行时服务)。运行时引擎634可以管理对可以由XR设备显示的每个显示或图形层的渲染。运行时引擎634还可以处理头部跟踪姿势和每个层的输入事件(例如，控制器、手势、语音和/或其它输入事件)。在一些情况下，运行时引擎634可以是来自一个或多个应用632的应用的一部分、操作系统(OS)638的一部分，或者在运行时引擎634协调可能包括合成的XR活动的情况下，可以与合成器引擎636组合。
合成器引擎636可以将多个图形层(例如，窗口、图块等)编织在一起，以便在XR(例如，VR会话)内观看。合成器引擎636还可以执行与XR相关的过程，例如时间扭曲、空间扭曲等。在某些情况下，合成器引擎636可以是运行时引擎634的一部分，如上所述，或者可以是OS 638的一部分。OS 638可以是任何合适的OS，例如AndroidTM或其它合适的OS。
图7是示出可由运行时引擎634管理的不同图形层的示例的图。例如，图7中所示的层A对应于移动设备(例如，移动设备204)正在显示的内容，而层B对应于XR设备(例如，VR头戴式设备102)正在显示的XR内容。VR内容将用作XR内容的示例。然而，普通技术人员将理解，XR内容可以包括MR内容、AR内容和/或其它内容。OS 638(例如，Android或其它OS)可以将移动设备用户接口(UI)分配给一个显示器(例如，主显示器)，并且可以将VR视图分配给另一个显示器(例如，辅助显示器)。运行时引擎634可以将分配给移动设备内容的主显示器渲染为层(例如，图7中的层A)，其可以作为辅VR显示器上的被渲染为另一层(例如，图7中的层B)的视频流被观看。合成器引擎636可以将每一层编织在一起，使得移动设备视图层(层A)出现在前景中，并且VR视图层(层B)在层A后面的背景中运行。
运行时引擎634可以管理来自分层VR会话的输入事件(例如，控制器、手势、语音等)。例如，选择移动设备层(层A)上的项目的输入事件可以使得运行时引擎634将输入事件映射到触摸事件，然后将其传递回移动设备以进行处理。在另一个示例中，选择VR层(层B)上的项目的输入事件可以使得运行时引擎634将输入事件传递给VR设备以进行处理。
图8是示出虚拟现实设备的组件的另一个示例的图。如图所示，XR应用832控制XR应用832的XR应用用户接口(UI)833。移动设备804控制移动设备804的移动设备UI 835。由用户向移动设备804提供的用户输入可以由移动设备804提供给移动设备UI 835。类似地，由用户向XR设备提供的用户输入可以由XR设备提供给XR应用UI 833。用户可以使用输入设备与移动设备UI 835和/或XR应用UI 833交互，输入设备诸如控制器、指针、凝视、手部跟踪输入、语音等。XR运行时引擎834可以处理用户输入，并且可以管理对每个图形层的渲染，该图形层可以由XR设备的一个或多个XR设备显示器846在XR场景用户接口844中显示。XR场景用户接口844包括由XR设备显示的所有内容，包括XR应用UI 833和/或XR设备上的其它XR应用的UI的内容。
在一些情况下，移动设备(例如，移动电话)可以具有多个显示器，这些显示器可以支持UI交互(例如，智能手机UI交互)并与XR应用交互和显示同时显示。由移动设备804(例如，移动设备UI 835)在移动设备显示器84上显示的内容可以在XR场景用户接口844中整体表示(例如，由移动设备显示的所有内容可以与XR内容一起显示)，或可以以组件形式表示(例如，单个应用UI或单个应用UI的UI片段可以与XR内容一起显示)。
移动设备UI 835可以在移动设备显示器842上、在一个或多个XR设备显示器846上、在移动设备显示器842和一个或多个XR设备显示器846两者上可见，或者在任何一个显示器上都不可见。在某些情况下，XR运行时引擎834可以驻留于XR应用832之内或之外。在某些情况下，XR运行时引擎834可以驻留于OS之内或之外，如上所述。在一些情况下，XR运行时引擎834可以同时驻留于移动设备和XR设备上。在某些情况下，XR运行时引擎834可以驻留于连接的设备上，例如合并移动设备的一体式VR头戴式设备。XR设备和连接设备之间的连接可以是有线或无线的(例如，使用WiFi、BluetoothTM、ZigbeeTM或其它无线连接)。
使用图2中所示的模式，用户100可以观看呈现在VR头戴式设备102的显示器上的移动设备204(并且在某些情况下可以听到来自移动设备204的音频内容)，同时仍然观看VR内容，并且可以与移动设备204的所有功能性交互，就好像用户直接与移动设备204交互一样。在一些情况下，在用户100与移动设备204交互的同时，VR内容可以继续播放。在一些情况下，VR头戴式设备102可以为用户100提供在与移动设备204交互的同时暂停VR内容的选项。在任一情况下，用户都可以与移动设备204交互，而无需移除VR头戴式设备102。
图3是示出VR头戴式设备102的VR模式的示例的图，该VR模式允许VR头戴式设备102显示覆盖在VR内容的帧310之上的、来自移动设备204的内容。由现实世界中的实际的移动设备204显示的内容被显示为虚拟内容的帧310上方的虚拟内容317。在该VR模式中，用户100可以看到移动设备204正在显示什么，而不显示移动设备204的合成表示。虚拟内容317可以在VR坐标系中的各个位置显示。例如，在某些情况下，虚拟内容317可以被显示以便出现在电话的实际现实世界位置中。在其它示例中，合成表示317可以被显示在帧310的边缘(例如，如图3中所示)上，或以其它方式位于帧310中，使得合成表示317不与VR内容和/或最高重要性区域(例如，与VR用户的视野对应的帧310的中心)冲突。在一些情况下，虚拟内容317被显示的位置可以是用户可选择的。
在一些情况下，来自移动设备204的音频内容可以由VR头戴式设备102在显示来自移动设备204的内容的同时播放。在显示来自移动设备204的内容时和/或正在播放音频内容时，可以由VR头戴式设备102继续显示VR内容，或者在由VR头戴式设备102显示来自移动设备204的内容时和/或在正在播放音频内容时，可以暂停VR内容。
与关于图2中所示的模式所描述的类似，用户可以与实际的移动设备204交互(无需移除VR头戴式设备102)，并且可以看到由电话显示的所有内容，但是是在VR头戴式设备102的内部。用户可以使用移动设备204的(一个或多个)输入接口与实际的移动设备204交互，和/或可以通过向VR头戴式设备102提供输入来与移动设备204交互，类似于上面关于图2所描述的。
基于由用户提供的指示正在使用的移动设备204的类型的输入，基于由VR头戴式设备102捕获的移动设备204的一个或多个图像，和/或使用任何其它合适的技术，可以由VR头戴式设备102来生成移动设备204的合成表示214。正由实际的移动设备204显示的内容可以被发送或流式传输到VR头戴式设备102，可以被镜像(例如，使用屏幕镜像)到VR头戴式设备102的显示器上，或者使用任何其它合适的技术被提供给VR头戴式设备102。
与关于图2描述的类似，动作通知315可以被显示在帧310上。动作通知315可以指示在移动设备204处已发生动作，例如正在接收消息或电话呼叫。在一些示例中，动作通知315可以包括已经接收到的实际消息。用户可以选择动作通知315以使得来自移动设备204的虚拟内容317被显示(如果还没有被显示)。例如，来自移动设备204的消息收发应用可以响应于对动作通知315的选择而被显示在VR设备102上。
使用图3中所示的模式，用户100可以观看呈现在VR头戴式设备102的显示器上的、来自移动设备204的内容，同时仍然观看VR内容，并且可以与移动设备204的所有功能性交互，就好像用户直接与移动设备204交互一样。
图4是示出VR头戴式设备102的VR模式的示例的图，该VR模式通过将由移动设备204捕获的一个或多个图像(包括图像418)显示为覆盖在VR内容的帧410之上的覆盖层(overlay)，来提供对外部世界的窥视。一个或多个图像可以由移动设备204的一个或多个相机捕获，并且可以包括一个或多个静止图像或包括多个连续图像的视频。在一些情况下，用于捕获一个或多个图像的移动设备204的相机可以是背向相机(位于移动设备204的背部侧面)和/或移动设备204的另一相机(例如，前向相机、前向相机和后向相机、多个前向和/或后向相机等)。移动设备204可以将一个或多个图像发送给VR头戴式设备102，其然后可以在头戴式设备102的显示器上显示该一个或多个图像。在一些情况下，来自移动设备204的麦克风的音频可以被提供给VR头戴式设备102，并且VR头戴式设备102可以使用VR头戴式设备102的一个或多个扬声器输出该音频。提供来自移动设备204的麦克风的音频可以提供给用户更多的信息，以允许用户在不必移除头戴式设备的情况下感知现实世界中正在发生什么。
图4中所示的示例包括被显示为移动设备204的合成表示414的一部分的图像418。在一些实施方式中，由移动设备204捕获的一个或多个图像(包括图像418)被显示在虚拟内容上，在这种情况下，移动设备204的合成表示414不由VR式头戴式设备102显示。在一些实施方式中，一个或多个图像可以在VR头戴式设备102的显示器上完全显示(例如，在全屏模式下)，在这种情况下，当一个或多个图像被显示的同时，VR头戴式设备102不显示VR内容。在一些实施方式中，用户100可以控制VR头戴式设备102显示器中有多少被用于显示一个或多个图像。
使用图4中所示的模式，用户100可以看到被呈现在VR头戴式设备102的显示器上的、来自移动设备204的相机的现实世界环境的视图，同时仍然观看VR内容。如上面提到的，还可以向用户提供来自移动设备204的麦克风的音频，这可以允许用户听到在现实世界环境中发生的任何声音。在一些情况下，VR头戴式设备102可以为用户100提供在观看来自移动设备204的一个或多个图像的同时暂停VR内容的选项。在任一情况下，用户都可以看到现实世界环境的视图(并且在某些情况下可以听到现实世界环境中正在发生什么)，而无需移除VR头戴式设备102。
图5是示出VR头戴式设备102的VR模式的示例的图，该VR模式允许VR头戴式设备102在虚拟VR内容的显示和现实世界的显示之间切换。例如，VR头戴式设备102可以显示VR内容的帧(包括帧510)，其包括基于用户姿势的虚拟环境的场景。响应于用户输入，VR头戴式设备102可以切换到现实世界显示模式，并且，一旦处于现实世界显示模式，可以基于用户姿势显示现实世界环境的视图(包括帧520)。
在一些情况下，作为VR头戴式设备102的一部分的外部相机可用于捕获现实世界环境的图像。当用户切换到现实世界显示模式时，可以通过VR头戴式设备102的显示器显示捕获的图像。捕获的图像可以包括一个或多个静止图像，或者包括多个连续图像的视频。可以显示(一个或多个)静止图像或视频，直到用户提供输入以指示VR头戴式设备102切换回完全VR模式，其中显示VR内容而不显示一个或多个静止图像。
使用图5中所示的模式，用户100可以在VR世界的视图和用户所在的现实世界环境之间转换，而无需取下VR头戴式设备102来与现实世界环境进行交互。例如，可以向用户100提供用户100所坐房间的全视图，从而用户100可以在仍然佩戴VR头戴式设备102的同时与房间中的对象进行交互。
现在将描述使用本文描述的技术执行的过程的示例。图9是示出用于显示虚拟内容的过程900的示例的流程图。在框902处，过程900包括由第一设备显示虚拟现实内容。第一设备可以包括虚拟现实(VR)头戴式设备(例如，HMD或其它类型的VR头戴式设备)，例如图1-图5中所示的VR头戴式设备102。
在框904处，过程900包括由第一设备生成第二设备的合成表示。第二设备可以包括移动设备，例如图1-图4中所示的移动设备204。在框906处，过程900包括由第一设备将第二设备的合成表示与虚拟内容一起显示。在一些示例中，第二设备的合成表示被覆盖在虚拟内容上。例如，使用图2作为说明性示例，移动设备204的合成表示214与虚拟内容帧210一起显示。
第二设备的合成表示(例如，图2中所示的合成表示214)可以包括第二设备的显示器的合成表示。由第二设备显示的内容在第二设备的显示器的合成表示中被显示。例如，如图2所示，移动设备204的合成表示214还包括移动设备204的显示器的合成表示216，并且移动设备204正在显示的内容被示出在移动设备204的显示器的合成表示216中。
在一些情况下，过程900可以包括基于由第二设备处理的一个或多个输入的指示来显示第二设备的合成表示的改变。第二设备的合成表示的改变表示第二设备的功能性的改变。例如，用户可以与第二设备(例如，移动设备)交互，以便使得第二设备执行一个或多个功能(例如，使用消息收发应用发送文本消息、使用社交网络应用将消息发布到社交网络帐户、发送电子邮件等)。第二设备基于第二设备的功能性改变而显示的内容的改变也可以被显示为第二设备的合成表示的改变，其表示第二设备的功能性的改变。
在一些情况下，过程900可以包括基于由第一设备接收的输入，来显示第二设备的合成表示的改变。第二设备的合成表示的改变表示第二设备的功能性的改变。例如，用户可以与第一设备(例如，VR头戴式设备)或第二设备交互，以使得第二设备执行一个或多个功能(例如，使用消息收发应用发送文本消息、使用社交网络应用将消息发布到社交网络帐户、发送电子邮件等)。用户可以与第二设备交互，以使得第二设备使用任何合适的输入来执行一个或多个功能，例如上述那些输入(例如，使用移动设备的(一个或多个)输入接口、通过向VR头戴式设备提供输入、使用触摸悬停反馈或其它合适的输入)。第二设备基于第二设备的功能性改变而显示的内容的改变也可以被显示为第二设备的合成表示的改变，其表示第二设备的功能性的改变。
在一些示例中，过程900包括检测触发，并且响应于触发显示第二设备的合成表示(连同由第二设备显示的内容)。在一些情况下，该触发基于从第二设备接收的信息。在一个说明性示例中，从第二设备接收到的信息包括第二设备已经接收到消息的通知(例如，已经接收到新的文本消息或电子邮件)、第二设备接收到的输入(例如，提供给第二设备的用户输入)和/或其它通知。在某些情况下，触发是基于第二设备被移动超过阈值量。例如，第二设备的加速度计或其它传感器可以提供指示第二设备的移动量的信息。在一些情况下，触发基于检测到用户朝向第二设备的凝视，如由第一设备检测到的(例如，使用6DOF跟踪)。在一些情况下，触发基于时间量。例如，如果尚没有接收到其它触发，第二设备的合成表示(连同由第二设备显示的内容)可以由第一设备在每个阈值时间间隔(例如，每五分钟、每十分钟或其它合适的时间段)处与虚拟内容一起显示。在一些情况下，触发基于对与虚拟内容一起显示的图标的选择。例如，用户可以使用手势、眼睛凝视、语音命令和/或其它输入来选择图标。在一些示例中，触发基于由用户提供的语音输入。例如，用户可以大声说出“显示我的移动设备”或其它短语，这可以作为输入被第一设备接收，并且被解释为导致第二设备的合成表示被显示的触发。在一些示例中，触发基于用户提起移动设备和/或解锁移动设备(例如，通过指纹输入、通过按下硬按钮、经由面部认知或面部识别(ID)、或使用用于解锁设备的另一机制)。
第二移动设备的合成表示可以由第一设备基于各种移除触发而从显示中移除。例如，用户可以向第一设备或第二设备提供触摸输入(例如，在用户界面上的滑动输入)、语音输入、凝视输入、手势输入和/或其它输入，其可以被第一设备解释为触发第一设备移除第二设备的合成表示以使其不显示的移除触发。在另一个示例中，移除触发可以基于用户将第二设备移动到特定点或使用特定运动移动第二设备(例如，通过降低设备，如由第二设备的加速度计或其它传感器检测到的)，导致第一个设备从显示中移除第二设备的合成表示。在另一个示例中，可以基于自从与第二设备的最后交互以来的时间量来移除第二设备的合成表示。例如，如果自从从第二设备接收到输入以来、或者自从用户与第二设备的合成表示交互以来已经过去阈值时间量，则可以从显示中移除合成表示。作为从显示中移除第二设备的合成表示的结果，将在没有第二设备的合成表示的情况下显示虚拟内容。
图10是示出用于显示虚拟内容的过程1000的另一个示例的流程图。在框1002处，过程1000包括由第一设备显示虚拟现实内容。第一设备可以包括虚拟现实(VR)头戴式设备(例如，HMD或其它类型的VR头戴式设备)，例如图1-图5中所示的VR头戴式设备102。
在框1004处，过程1000包括由第一设备获得由第二设备显示的内容。第二设备可以包括移动设备，例如图1-图4中所示的移动设备204。在框1006处，过程1000包括由第一设备将该内容与虚拟内容一起显示。在一些情况下，该内容包括来自由第二设备执行的至少一个应用的信息，至少一个应用诸如电子邮件应用、消息收发应用、社交网络应用、商业应用、地图应用和/或其它合适的应用。在一些示例中，该内容被覆盖在虚拟内容上。例如，使用图3作为说明性示例，由移动设备204显示的内容被显示为虚拟内容的帧310上的虚拟内容317。在一些示例中，第二设备的合成表示被覆盖在虚拟内容上，并且该内容可以与第二设备的合成表示一起显示(例如，如图2所示)。
在一些情况下，过程1000可以包括基于由第二设备处理的一个或多个输入的指示来显示第二设备的内容的改变。内容的改变代表了第二设备的功能性的改变。例如，用户可以与第二设备(例如，移动设备)交互，以使得第二设备执行一个或多个功能(例如，使用消息收发应用发送文本消息、使用社交网络应用将消息发布到社交网络帐户、发送电子邮件等)。第二设备基于第二设备的功能性改变而显示的内容的改变也可以被显示为内容的改变，其表示第二设备的功能性改变。
在一些示例中，过程1000可以包括基于由第一设备接收的输入，来显示第二设备的内容的改变。第二设备的内容的改变表示第二设备的功能性的改变。例如，用户可以与第一设备(例如，VR头戴式设备)交互，以使得第二设备执行一个或多个功能(例如，使用消息收发应用发送文本消息、使用社交网络应用将消息发布到社交网络帐户、发送电子邮件等)。第二设备基于第二设备的功能性改变而显示的内容的改变也可以被显示为第二设备的内容的改变，其表示第二设备的功能性改变。
在一些示例中，过程1000包括检测触发，并且响应于该触发将内容与虚拟内容一起显示。在一些情况下，触发基于从第二设备接收的信息。在一个说明性示例中，从第二设备接收到的信息包括第二设备已经接收到消息的通知(例如，已经接收到新的文本消息或电子邮件)、第二设备接收到的输入(例如，提供给第二设备的用户输入)和/或其它通知。在一些情况下，触发基于第二设备被移动超过阈值量。例如，第二设备的加速度计或其它传感器可以提供指示第二设备的移动量的信息。在一些情况下，触发基于检测到用户朝向第二设备的凝视，如由第一设备检测到的。在一些情况下，触发基于时间量。例如，如果尚未接收到其它触发，来自第二设备的内容可以由第一设备在每个阈值时间间隔(例如，每五分钟、每十分钟或其它合适的时间段)处与虚拟内容一起显示。在一些情况下，触发基于对与虚拟内容一起显示的图标的选择。例如，用户可以使用手势、眼睛凝视、语音命令和/或其它输入来选择图标。在一些方面，触发基于由用户提供的语音输入。例如，用户可以大声说出“显示我的移动设备”或其它短语，这可以作为输入被第一设备接收，并且被解释为导致由第二设备显示的内容被显示的触发。在一些示例中，触发基于用户提起移动设备和/或解锁移动设备(例如，通过指纹输入、通过按下硬按钮、经由面部认知或面部识别(ID)、或使用用于解锁设备的另一机制)。
由第二移动设备显示的内容可以由第一设备基于各种移除触发而从显示中移除。例如，用户可以向第一设备或第二设备提供触摸输入(例如，在用户界面上的滑动输入)、语音输入、凝视输入、手势输入和/或其它输入，其可以被第一设备解释为触发第一设备移除由第二设备显示的内容以使其不显示在第一设备上的移除触发。在另一个示例中，移除触发可以基于用户将第二设备移动到特定点或使用特定运动移动第二设备(例如，通过降低设备，如由第二设备的加速度计或其它传感器检测的)。在另一个示例中，可以基于自从与第二设备的最后交互以来的时间量来移除第二设备显示的内容。例如，如果自从从第二设备接收到输入以来、或者自从用户与来自第二设备的正由第一设备显示的内容交互以来已经过去阈值时间量，则由第二设备显示的内容可以从第一设备的显示中被移除。作为从显示中移除由第二设备显示的内容的结果，将在没有由第二设备显示的内容的情况下显示虚拟内容。
图11是示出用于显示虚拟内容的过程1100的另一个示例的流程图。在框1102从，过程1100包括由第一设备显示虚拟现实内容。第一设备可以包括虚拟现实(VR)头戴式设备(例如，HMD或其它类型的VR头戴式设备)，例如图1-图5中所示的VR头戴式设备102。
在框1104处，过程1100包括由第一设备获得由第二设备的相机捕获的一个或多个图像。第二设备可以包括移动设备，例如图1-图4中所示的移动设备204。在框1106处，过程1100包括由第一设备将一个或多个图像与虚拟内容一起显示。在一些示例中，一个或多个图像被覆盖在虚拟内容上。例如，使用图4作为说明性示例，由移动设备204捕获的图像与虚拟内容帧410一起显示。在一些示例中，一个或多个图像包括由第二设备的相机捕获的视频。在一些示例中，一个或多个图像包括由第二设备的相机捕获的至少一个静止图像。
在一些实施方式中，过程1100包括使用第一设备将第二设备的合成表示与虚拟内容一起显示。一个或多个图像可以与虚拟内容一起显示，作为第二设备的合成表示的部分。例如，一个或多个图像可以被显示在第二设备的显示器的合成表示内。在出于说明目的使用图4的一个示例中，移动设备204的合成表示414与图像418一起示出，图像418被显示在表示移动设备204的实际显示的、显示器的合成表示中。
在一些示例中，过程900、1000和/或1100可以由计算设备或装置执行，例如具有图12所示的计算设备架构1200的计算设备。在一个说明性示例中，(例如，执行过程900、1000和/或1100的)计算设备可以包括扩展现实显示设备，例如头戴式显示器(HMD)或其它类型的XR头戴式设备。
在一些情况下，计算设备或装置可以包括输入设备、输出设备、一个或多个处理器、一个或多个微处理器、一个或多个微型计算机、和/或被配置为实施过程900、1000和/或1100的步骤的(一个或多个)其它组件。计算设备的组件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微型计算机和/或其它组件)可以在电路中实施。例如，组件可以包括和/或可以使用电子电路或其它电子硬件来实施，电子电路或其它电子硬件可以包括一个或多个可编程电子电路(例如，微处理器、图形处理单元(GPU)、数字信号处理器(DSP)、中央处理单元(CPU)和/或其它合适的电子电路)，和/或可以包括和/或使用计算机软件、固件或它们的任何组合来实施，以执行本文描述的各种操作。计算设备还可以包括显示器(作为输出设备或除了输出设备之外的示例)、被配置为通信和/或接收数据的网络接口、它们的任何组合、和/或(一个或多个)其它组件。网络接口可以被配置为通信和/或接收基于互联网协议(IP)的数据或其它类型的数据。
过程900、1000和/或1100被示出为逻辑流程图，其操作表示可以在硬件、计算机指令或其组合中实施的操作序列。在计算机指令的上下文中，操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，当其由一个或多个处理器执行时，执行所记载的操作。通常，计算机可执行指令包括执行特定功能或实施特定数据类型的例程、程序、对象、组件、数据结构等。描述操作的顺序不旨在被解释为限制，并且任何数量的所描述的操作可以以任何顺序被组合和/或并行以实施过程。
附加地，过程900、1000和/或1100可以在被配置有可执行指令的一个或多个计算机系统的控制下被执行，并且可以被实施为通过硬件或其组合在一个或多个处理器上共同执行的代码(例如，可执行指令、一个或多个计算机程序、或一个或多个应用)。如上面所指出的，代码可以例如以包括可由一个或多个处理器执行的多个指令的计算机程序的形式被存储在计算机可读或机器可读存储介质上。计算机可读或机器可读存储介质可以是非暂时性的。
图12示出了可以实施本文描述的各种技术的示例计算设备的示例计算设备架构1200。计算设备架构1200的组件被示为使用诸如总线的连接1205彼此电通信。示例计算设备架构1200包括处理单元(CPU或处理器)1210和计算设备连接1205，计算设备连接1205将包括诸如只读存储器(ROM)1220和随机存取存储器(RAM)1225的计算设备存储器1215的各种计算设备组件耦合到处理器1210。
计算设备架构1200可以包括高速存储器的缓存(cache)，该高速存储器10与处理器1210直接连接、紧邻或被集成为处理器1210的一部分。计算设备架构1200可以将数据从存储器1215和/或存储设备1230复制到缓存1212，以供处理器1210快速访问。这样，缓存可以提供性能提升，其避免处理器1210在等待数据时延迟。这些和其它模块可以控制或被配置为控制处理器1210以执行各种动作。其它计算设备存储器1215也可用于使用。存储器1215可以包括具有不同性能特性的多种不同类型的存储器。处理器1210可以包括任何通用处理器和硬件或软件服务(诸如存储在存储设备1230中的服务1 1232、服务2 1234和服务31236，被配置为控制处理器1210)以及其中软件指令被并入到处理器设计中的专用处理器。处理器1210可以是自包含系统，包含多个核或处理器、总线、存储器控制器、缓存等。多核处理器可以是对称的或不对称的。
为了使能与计算设备架构1200的用户交互，输入设备1245可以表示任意数量的输入机制，例如用于语音的麦克风、用于手势或图形输入的触敏屏幕、键盘、鼠标、运动输入、说话等等。输出设备1235也可以是本领域技术人员已知的多种输出机制中的一种或多种，诸如显示器、投影仪、电视、扬声器设备等。在一些情况下，多模式计算设备可以使用户能够提供多种类型的输入以与计算设备架构1200通信。通信接口1240可以通常支配和管理用户输入和计算设备输出。对任何特定硬件布置的操作没有限制，并且因此，这里的基本特征在被开发时可以很容易地被替代以用于改进的硬件或固件布置。
存储设备1230是非易失性存储器，并且可以是硬盘或者可以存储可由计算机访问的数据的其它类型的计算机可读介质，例如磁带盒、闪存卡、固态存储设备、数字多功能盘、盒式磁带、随机存取存储器(RAM)1225、只读存储器(ROM)1220及其混合。存储设备1230可以包括用于控制处理器1210的服务1232、1234、1236。其它硬件或软件模块也是可以考虑的。存储设备1230可以连接到计算设备连接1205。在一个方面中，执行特定功能的硬件模块可以包括存储在与实施该功能所必需的硬件组件(诸如处理器1210、连接1205、输出设备1235等)相连接的计算机可读介质中的软件组件。
本发明的技术不一定限于无线应用或设置。该技术可应用于支持各种多媒体应用中的任何一种的视频译码中，例如空中电视广播、有线电视传输、卫星电视传输、互联网流视频传输(诸如HTTP上的动态自适应流(DASH))、被编码到数据存储介质上的数字视频、对存储在数据存储介质上的数字视频的解码或其它应用。在一些示例中，系统可以被配置为支持单向或双向视频传输，以支持诸如视频流、视频回放、视频广播和/或视频电话之类的应用。
如本文所使用的，术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光学存储设备以及能够存储、包含或携带(一个或多个)指令和/或数据的各种其它介质。计算机可读介质可以包括非暂时性介质，其中可以存储数据并且不包括无线传播或通过有线连接传播的载波和/或暂时性电子信号。非暂时性介质的示例可以包括但不限于磁盘或磁带、诸如压缩盘(CD)或数字多功能盘(DVD)的光学存储介质、闪存、存储器或存储设备。计算机可读介质上可以存储有代码和/或机器可执行指令，它们可以表示进程、函数、子程序、程序、例程、子例程、模块、软件包、类或者指令、数据结构或程序语句的任何组合。通过传递和/或接收信息、数据、自变量、参数或存储器内容，代码段可以耦合到另一个代码段或硬件电路。信息、自变量、参数、数据等可以经由任何合适的手段传递、转发或发送，所述手段包括内存共享、消息传递、令牌传递、网络传输等。
在一些实施例中，计算机可读存储设备、介质和存储器可以包括包含比特流等的电缆或无线信号。然而，在提及时，非暂时性计算机可读存储介质明确地排除诸如能量、载波信号、电磁波和信号本身之类的介质。
在以上描述中提供了具体细节以提供对本文提供的实施例和示例的透彻理解。然而，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实践实施例。为了解释的清楚起见，在一些情况下，本技术可以被呈现为包括单独的功能块，包括包括设备、设备组件、在软件或硬件和软件的组合中体现的方法中的步骤或例程的功能块。可以使用除了图中所示和/或本文描述的那些之外的附加组件。例如，电路、系统、网络、过程和其它组件可以被示出为框图形式的组件，以免在不必要的细节中混淆实施例。在其它情况下，可以在没有不必要的细节的情况下示出公知的电路、过程、算法、结构和技术，以避免混淆实施例。
以上可以将各个实施例描述为过程或方法，其被描绘为流程表、流程图、数据流图、结构图或框图。尽管流程表可以将操作描述为顺序过程，但许多操作可以并行或同时执行。另外，可以重新安排操作的顺序。过程在其操作完成时终止，但可能有图中未包括的附加的步骤。过程可以对应于方法、函数、进程、子例程、子程序等。当过程对应于函数时，其终止可以对应于函数返回调用函数或主函数。
根据上述示例的处理和方法可以使用所存储的或以其它方式从计算机可读介质可用的计算机可执行指令来实施。这样的指令可以包括例如使得或以其它方式配置通用计算机、专用计算机或处理设备以执行特定功能或功能组的指令和数据。所使用的计算机资源的部分可以是通过网络可访问的。计算机可执行指令可以是例如二进制、诸如汇编语言的中间格式指令、固件、源代码等。可用于存储指令、使用的信息和/或在根据所述示例的方法期间创建的信息的计算机可读介质的示例包括磁盘或光盘、闪存、提供有非易失性存储器的USB设备、联网存储设备、等等。
实施根据这些公开的过程和方法的设备可以包括硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合，并且可以采用多种形式因素中的任何一种。当以软件、固件、中间件或微代码实施时，用于执行必要任务的程序代码或代码段(例如，计算机程序产品)可以存储在计算机可读或机器可读介质中。(一个或多个)处理器可以执行必要的任务。形式因素的典型示例包括膝上型计算机、智能手机、移动电话、平板设备或其它小形式因素个人计算机、个人数字助理、机架式设备、独立设备等。这里描述的功能性也可以体现在外围设备或插入卡中。作为进一步的示例，这种功能还可以在不同芯片之间的电路板或在单个设备中执行的不同过程上实施。
指令、用于传送此类指令的介质、用于执行它们的计算资源、以及用于支持此类计算资源的其它结构是用于提供本公开中描述的功能的示例部件。
在前面的描述中，参考本申请的具体实施例描述了本申请的各个方面，但是本领域技术人员将认识到本申请不限于此。因此，虽然本文已经详细描述了本申请的说明性实施例，但是应当理解，本发明构思可以以其它方式不同地体现和采用，并且所附权利要求旨在被解释为包括这样的变化，除非受到现有技术的限制。上述申请的各种特征和方面可以单独或联合使用。此外，在不脱离本说明书的更广泛的精神和范围的情况下，实施例可在本文所述之外的任何数量的环境和应用中利用。因此，说明书和附图被认为是说明性的而不是限定性的。出于说明的目的，以特定顺序描述了方法。应当理解，在可替代实施例中，可以以与所描述的顺序不同的顺序来执行这些方法。
普通技术人员将理解，本文使用的小于(“<”)和大于(“>”)符号或术语可分别被替换为小于或等于(“≤”)和大于或等于(“≥”)符号，而不脱离本描述的范围。
当组件被描述为“被配置为”执行某些操作时，此类配置可以例如通过设计电子电路或其它硬件来执行该操作、通过编程可编程电子电路(例如微处理器或其它合适的电子电路)来执行该操作或其任意组合来完成。
短语“耦合到”是指直接或间接地物理连接到另一个组件的任何组件，和/或直接或间接地与另一个组件通信(例如，通过有线或无线连接和/或其它合适的通信接口连接到其他组件)的任何组件。
记载集合中的“至少一个”和/或集合中的“一个或多个”的权利要求语言或其它语言指示该集合的一个成员或该集合的多个成员(处于任何组合)满足权利要求。例如，记载“A和B中的至少一个”的权利要求语言意为A、B、或A和B。在另一个示例中，记载“A、B和C中的至少一个”的权利要求语言意为A、B、C、或A和B、或A和C、或B和C、或A和B和C。语言集合中的“至少一个”和/或集合中的“一个或多个”不将集合限制为集合中列出的项目。例如，记载“A和B中的至少一个”的权利要求语言可以意为A、B、或A和B，并且可以另外包括未在A和B的集合中列出的项目。
结合本文公开的实施例描述的各种说明性逻辑块、模块、电路和算法步骤可以被实施为电子硬件、计算机软件、固件或其组合。为了清楚地说明硬件和软件的这种互换性，上文关于它们的功能性一般地描述了各种说明性组件、块、模块、电路和步骤。这种功能性是作为硬件还是软件实施的取决于特定应用和施加在整个系统上的设计约束。技术人员可以针对每个特定应用以不同的方式实施所描述的功能，但是这样的实施方式决策不应被解释为导致脱离本申请的范围。
本文描述的技术也可以在电子硬件、计算机软件、固件或其任何组合中实施。这样的技术可以在多种设备中的任何一种中实施，例如通用计算机、无线通信设备头戴式设备、或具有多种用途的集成电路设备，包括在无线通信设备头戴式设备和其它设备中的应用。被描述为模块或组件的任何特征可以在集成逻辑设备中一起实施，或者单独地实施为分立但可互操作的逻辑设备。如果以软件实施，则该技术可以至少部分地由包括程序代码的计算机可读数据存储介质来实现，该程序代码包括指令，该指令在被执行时，执行上述方法中的一个或多个。计算机可读数据存储介质可以形成计算机程序产品的一部分，其可以包括封装材料。计算机可读存储介质可以包括存储器或数据存储介质，例如诸如同步动态随机存取存储器(SDRAM)的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、FLASH存储器、磁性或光学数据存储介质等。附加地或可替代地，该技术可至少部分地由计算机可读通信介质来实现，该计算机可读通信介质承载或通信采用指令或数据结构形式、并且可由计算机访问、读取和/或执行的程序代码，例如传播的信号或波。
程序代码可由处理器执行，该处理器可包括一个或多个处理器，例如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或分立逻辑电路。此类处理器可经配置以执行在本公开中所描述的任何技术。通用处理器可以是微处理器；但在替代方案中，处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核心结合的一个或多个微处理器、或任何其它此类配置。相应地，如本文所使用的术语“处理器”可以指前述结构中的任一者、前述结构的任何组合、或适合于实施本文所描述的技术的任何其它结构或装置。另外，在一些方面，本文描述的功能性可以在被配置用于编码和解码的专用软件模块或硬件模块中提供，或者被并入组合的视频编码器-解码器(CODEC)中。

Claims (33)

1.一种方法，包括：
由第一设备显示虚拟现实内容；
由所述第一设备获得第二设备的合成表示；
由所述第一设备将所述第二设备的合成表示与所述虚拟现实内容一起显示；
由所述第一设备接收请求所述第二设备的功能性的改变的输入；和
基于由所述第一设备接收的所述输入，显示所述第二设备的合成表示的改变，所述第二设备的合成表示的改变表示所述第二设备的功能性的改变。
2.如权利要求1所述的方法，其中，所述第二设备的合成表示包括所述第二设备的显示器的合成表示，其中，由所述第二设备显示的内容被显示在所述第二设备的显示器的合成表示中。
3.如权利要求1所述的方法，还包括：
由所述第一设备接收由所述第二设备处理的一个或多个输入的指示；和
基于由所述第二设备处理的所述一个或多个输入的所述指示，显示所述第二设备的合成表示的附加改变，所述第二设备的合成表示的所述附加改变表示所述第二设备的功能性的附加改变。
4.如权利要求1所述的方法，其中，所述第二设备的合成表示被覆盖在所述虚拟现实内容上。
5.如权利要求1所述的方法，其中，所述第一设备包括虚拟现实头戴式显示器。
6.如权利要求1所述的方法，其中，所述第二设备包括移动设备。
7.如权利要求1所述的方法，还包括：
由所述第一设备获得来自所述第二设备的音频内容；和
由所述第一设备播放来自所述第二设备的所述音频内容。
8.如权利要求1所述的方法，还包括：
由所述第一设备获得由所述第二设备的麦克风捕获的音频内容；和
由所述第一设备播放所述音频内容。
9.如权利要求1所述的方法，还包括：
由所述第一设备获得由所述第二设备的相机捕获的一个或多个图像；和
由所述第一设备将所述一个或多个图像与所述虚拟现实内容一起显示。
10.如权利要求9所述的方法，其中，所述一个或多个图像是由所述第二设备的相机捕获的视频的部分。
11.如权利要求9所述的方法，其中，所述一个或多个图像与所述虚拟现实内容一起显示，作为所述第二设备的合成表示的部分。
12.如权利要求9所述的方法，其中，所述一个或多个图像被显示在所述第二设备的显示器的合成表示内。
13.如权利要求9所述的方法，还包括：
由所述第一设备获得由所述第二设备的麦克风捕获的音频内容；和
在将所述一个或多个图像与所述虚拟现实内容一起显示的同时，由所述第一设备播放所述音频内容。
14.如权利要求1所述的方法，还包括：
接收触发；和
基于接收到所述触发，将所述第二设备的合成表示与所述虚拟现实内容一起显示。
15.如权利要求1所述的方法，其中，所述触发基于从所述第二设备接收的信息。
16.如权利要求1所述的方法，还包括：
接收移除触发；和
由所述第一设备基于接收到所述触发，将所述第二设备的合成表示从显示中移除。
17.一种装置，包括：
存储器，其被配置为存储用于显示的内容；
在电路中实施并耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：
使得虚拟现实内容被显示在显示器上；
获得设备的合成表示；
使得所述设备的合成表示与所述虚拟现实内容一起被显示在所述显示器上；
接收请求所述设备的功能性的改变的输入；和
基于所接收的输入，使得所述设备的合成表示的改变被显示在所述显示器上，所述设备的合成表示的改变表示所述设备的功能性的改变。
18.如权利要求17所述的装置，其中，所述设备的合成表示包括所述设备的显示器的合成表示，其中，由所述设备显示的内容被显示在所述设备的显示器的合成表示中。
19.如权利要求17所述的装置，其中，所述一个或多个处理器被配置为：
接收由所述设备处理的一个或多个输入的指示；和
基于由所述设备处理的所述一个或多个输入的所述指示，使得所述设备的合成表示的附加改变被显示在所述显示器上，所述设备的合成表示的附加改变表示所述设备的功能性的附加改变。
20.如权利要求17所述的装置，其中，所述设备的合成表示被覆盖在所述虚拟现实内容上。
21.如权利要求17所述的装置，其中，所述装置包括虚拟现实头戴式显示，所述虚拟现实头戴式显示器包括所述显示器。
22.如权利要求17所述的装置，其中，所述设备包括移动设备。
23.如权利要求17所述的装置，其中，所述一个或多个处理器被配置为：
获得来自所述设备的音频内容；和
播放来自所述设备的所述音频内容。
24.如权利要求17所述的装置，其中，所述一个或多个处理器被配置为：
获得由所述设备的麦克风捕获的音频内容；和
播放所述音频内容。
25.如权利要求17所述的装置，其中，所述一个或多个处理器被配置为：
获得由所述设备的相机捕获的一个或多个图像；和
使得所述一个或多个图像与所述虚拟现实内容一起显示。
26.如权利要求25所述的装置，其中，所述一个或多个图像是由所述设备的相机捕获的视频的部分。
27.如权利要求25所述的装置，其中，所述一个或多个图像与所述虚拟现实内容一起显示，作为所述设备的所述合成表示的部分。
28.如权利要求25所述的装置，其中，所述一个或多个图像被显示在所述设备的显示器的合成表示内。
29.如权利要求25所述的装置，其中，所述一个或多个处理器被配置为：
获得由所述设备的麦克风捕获的音频内容；和
在所述一个或多个图像与所述虚拟现实内容一起显示的同时，播放所述音频内容。
30.如权利要求17所述的装置，其中，所述一个或多个处理器被配置为：
接收触发；和
基于接收到所述触发，使得所述设备的合成表示与所述虚拟现实内容一起显示。
31.如权利要求30所述的装置，其中，所述触发基于从所述设备接收的信息。
32.如权利要求17所述的装置，其中，所述一个或多个处理器被配置为：
接收移除触发；和
基于接收到所述触发，使得所述设备的合成表示由所述显示器从显示中移除。
33.一种存储指令的计算机可读存储介质，所述指令在被执行时使得第一设备的一个或多个处理器：
使得虚拟现实内容由所述第一设备显示；
由所述第一设备获得第二设备的合成表示；
使得所述第二设备的所述合成表示与所述虚拟现实内容一起显示；
由所述第一设备接收请求所述第二设备的功能性的改变的输入；和
基于由所述第一设备接收的所述输入，使得所述第二设备的合成表示的改变由所述第一设备显示，所述第二设备的合成表示的改变表示所述第二设备的功能性的改变。
CN202080055441.5A 2019-08-03 2020-06-15 计算设备和扩展现实集成 Pending CN114207559A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962882488P 2019-08-03 2019-08-03
US62/882,488 2019-08-03
US16/741,617 2020-01-13
US16/741,617 US11231827B2 (en) 2019-08-03 2020-01-13 Computing device and extended reality integration
PCT/US2020/037817 WO2021025787A1 (en) 2019-08-03 2020-06-15 Computing device and extended reality integration

Publications (1)

Publication Number Publication Date
CN114207559A true CN114207559A (zh) 2022-03-18

Family

ID=74258701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080055441.5A Pending CN114207559A (zh) 2019-08-03 2020-06-15 计算设备和扩展现实集成

Country Status (8)

Country Link
US (1) US11231827B2 (zh)
EP (1) EP4007947A1 (zh)
JP (1) JP2022542295A (zh)
KR (1) KR20220038689A (zh)
CN (1) CN114207559A (zh)
BR (1) BR112022001190A2 (zh)
TW (1) TWI839532B (zh)
WO (1) WO2021025787A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115967854A (zh) * 2022-12-21 2023-04-14 维沃移动通信有限公司 拍照方法、装置及电子设备
TWI818613B (zh) * 2022-07-01 2023-10-11 國立臺北科技大學 非對稱式ｖｒ遠端醫療協作指導系統及訓練方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200093922A (ko) * 2019-01-29 2020-08-06 삼성전자주식회사 전자 장치의 외부 전자 장치를 제어하는 방법, 전자 장치 및 저장 매체
US11340756B2 (en) 2019-09-27 2022-05-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11449189B1 (en) * 2019-10-02 2022-09-20 Facebook Technologies, Llc Virtual reality-based augmented reality development system
US20210286502A1 (en) * 2020-03-16 2021-09-16 Apple Inc. Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
KR20220014213A (ko) * 2020-07-28 2022-02-04 삼성전자주식회사 전자 장치 및 오디오 볼륨 제어 방법
US11567625B2 (en) 2020-09-24 2023-01-31 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11615596B2 (en) * 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US12028507B2 (en) * 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
CN113784105B (zh) * 2021-09-10 2024-07-26 上海曼恒数字技术股份有限公司 一种沉浸式vr终端的信息处理方法及系统
US11960652B2 (en) * 2021-10-12 2024-04-16 Qualcomm Incorporated User interactions with remote devices
KR20230067197A (ko) * 2021-11-09 2023-05-16 삼성전자주식회사 전자 장치와 웨어러블 전자 장치 사이에서 증강 현실 서비스에 관련된 컨텐츠를 제공하는 방법 및 장치
EP4339873A4 (en) 2021-11-09 2024-05-01 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR PROVIDING CONTENT RELATED TO AN AUGMENTED REALITY SERVICE BETWEEN AN ELECTRONIC DEVICE AND A PORTABLE ELECTRONIC DEVICE
US11726734B2 (en) 2022-01-13 2023-08-15 Motorola Mobility Llc Configuring an external presentation device based on an impairment of a user
WO2024049175A1 (ko) * 2022-09-01 2024-03-07 삼성전자 주식회사 Hmd(head mounted display) 장치를 착용 중, 디스플레이 방법 및 그 장치
CN219266680U (zh) * 2023-03-31 2023-06-27 荆晨 延展现实显示系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170076502A1 (en) * 2015-09-16 2017-03-16 Google Inc. Touchscreen hover detection in an augmented and/or virtual reality environment
US20170097806A1 (en) * 2015-10-05 2017-04-06 Motorola Mobility Llc Automatic capturing of multi-mode inputs in applications
EP3236423A1 (en) * 2016-04-22 2017-10-25 Thomson Licensing Method and device for compositing an image
CN107407965A (zh) * 2015-03-09 2017-11-28 谷歌公司 连接至移动计算设备的虚拟现实头戴设备
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
US20190037166A1 (en) * 2015-10-14 2019-01-31 Utility Associates, Inc. Article of clothing with video recording device support
US20190065026A1 (en) * 2017-08-24 2019-02-28 Microsoft Technology Licensing, Llc Virtual reality input

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713886B (zh) * 2012-09-29 2017-11-10 腾讯科技（深圳）有限公司 一种数据处理设备中的提醒装置及其提醒处理方法
WO2014152630A1 (en) * 2013-03-14 2014-09-25 Julian Michael Urbach Eye piece for augmented and virtual reality
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
KR102358548B1 (ko) * 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10692113B2 (en) 2016-06-21 2020-06-23 Htc Corporation Method for providing customized information through advertising in simulation environment, and associated simulation system
US10802787B2 (en) 2016-09-30 2020-10-13 Sony Interactive Entertainment Inc. Integrating audience participation content into virtual reality content
KR20180044687A (ko) 2016-10-24 2018-05-03 엘지전자 주식회사 Hmd 디바이스
US10595012B2 (en) 2016-12-02 2020-03-17 Google Llc Representations of event notifications in virtual reality
GB2555501B (en) * 2017-05-04 2019-08-28 Sony Interactive Entertainment Europe Ltd Head mounted display and method
EP3682310B1 (en) 2017-09-11 2024-07-17 Google LLC Switchable virtual reality and augmented reality device
US11176956B2 (en) * 2018-03-28 2021-11-16 Qualcomm Incorproated Application directed latency control for wireless audio streaming
US10740924B2 (en) * 2018-04-16 2020-08-11 Microsoft Technology Licensing, Llc Tracking pose of handheld object

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107407965A (zh) * 2015-03-09 2017-11-28 谷歌公司 连接至移动计算设备的虚拟现实头戴设备
US20170076502A1 (en) * 2015-09-16 2017-03-16 Google Inc. Touchscreen hover detection in an augmented and/or virtual reality environment
US20170097806A1 (en) * 2015-10-05 2017-04-06 Motorola Mobility Llc Automatic capturing of multi-mode inputs in applications
US20190037166A1 (en) * 2015-10-14 2019-01-31 Utility Associates, Inc. Article of clothing with video recording device support
EP3236423A1 (en) * 2016-04-22 2017-10-25 Thomson Licensing Method and device for compositing an image
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
US20190065026A1 (en) * 2017-08-24 2019-02-28 Microsoft Technology Licensing, Llc Virtual reality input

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI818613B (zh) * 2022-07-01 2023-10-11 國立臺北科技大學 非對稱式ｖｒ遠端醫療協作指導系統及訓練方法
CN115967854A (zh) * 2022-12-21 2023-04-14 维沃移动通信有限公司 拍照方法、装置及电子设备

Also Published As

Publication number Publication date
JP2022542295A (ja) 2022-09-30
TW202107249A (zh) 2021-02-16
US11231827B2 (en) 2022-01-25
WO2021025787A1 (en) 2021-02-11
US20210034222A1 (en) 2021-02-04
TWI839532B (zh) 2024-04-21
KR20220038689A (ko) 2022-03-29
BR112022001190A2 (pt) 2022-03-15
EP4007947A1 (en) 2022-06-08

Similar Documents

Publication Publication Date Title
US11231827B2 (en) Computing device and extended reality integration
TWI688879B (zh) 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體
KR102358939B1 (ko) 시선 추적 방법 및 디바이스에서의 시각적 변경의 비시각적 피드백
JP6612250B2 (ja) 会話検出
KR102085181B1 (ko) 데이터 전송 방법, 데이터 수신 방법, 및 디바이스
TWI687901B (zh) 虛擬實境設備的安全監控方法、裝置及虛擬實境設備
US10841534B2 (en) Real-world awareness for virtual reality
EP3400580B1 (en) Method and apparatus for facilitating interaction with virtual reality equipment
US11698680B2 (en) Methods and systems for decoding and rendering a haptic effect associated with a 3D environment
CN110662105A (zh) 动画文件的生成方法、装置及存储介质
CN111459363A (zh) 信息展示方法、装置、设备及存储介质
KR102710460B1 (ko) 전자 장치, 그 제어 방법 및 전자 시스템
CN114546188A (zh) 基于互动界面的互动方法、装置、设备及可读存储介质
US11934627B1 (en) 3D user interface with sliding cylindrical volumes
CN117376591A (zh) 基于虚拟现实的场景切换处理方法、装置、设备及介质
CN115361566A (zh) 直播观看方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination