CN111602105B - 用于呈现合成现实伴随内容的方法和设备 - Google Patents

用于呈现合成现实伴随内容的方法和设备 Download PDF

Info

Publication number
CN111602105B
CN111602105B CN201980008464.8A CN201980008464A CN111602105B CN 111602105 B CN111602105 B CN 111602105B CN 201980008464 A CN201980008464 A CN 201980008464A CN 111602105 B CN111602105 B CN 111602105B
Authority
CN
China
Prior art keywords
content
video content
user
environment
current scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980008464.8A
Other languages
English (en)
Other versions
CN111602105A (zh
Inventor
I·M·里克特
D·乌布利希
J-D·E·纳米亚斯
O·埃拉费费
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202311090252.3A priority Critical patent/CN116974381A/zh
Publication of CN111602105A publication Critical patent/CN111602105A/zh
Application granted granted Critical
Publication of CN111602105B publication Critical patent/CN111602105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Abstract

在一个具体实施中，一种方法包括：在使得呈现具有当前情节环境的视频内容时，接收指示探索所述当前情节环境的请求的用户输入；响应于接收到所述用户输入来获取与所述当前情节环境相关联的合成现实(SR)内容；使得呈现与所述当前情节环境相关联的所述SR内容；接收一个或多个用户与所述SR内容的交互；以及响应于接收到所述一个或多个用户与所述SR内容的交互来调节所述SR内容的所述呈现。

Description

用于呈现合成现实伴随内容的方法和设备
技术领域
本公开整体涉及合成现实(SR)内容消费，并且具体地涉及用于呈现SR伴随内容的系统、方法和设备。
背景技术
虚拟现实(VR)和增强现实(AR)由于其改变用户对世界的感知的非凡能力而变得越来越流行。例如，VR和AR用于学习目的、游戏目的、内容创建目的、社交媒体和交互目的等。这些技术在用户对他/她的存在的感知上有所不同。VR将用户转置到虚拟空间中，使得他/她的VR感知不同于他/她的真实世界感知。相比之下，AR呈现用户的真实世界感知并向其添加一些东西。
由于例如硬件部件的小型化、硬件性能的提升以及软件效率的提高，这些技术变得越来越普遍。作为一个示例，用户可在手持式显示器(例如，具有视频透传的支持AR的移动电话或平板电脑)上体验叠加在用户环境的实时视频馈送上的AR内容。作为另一示例，用户可通过佩戴头戴式设备(HMD)或头戴式壳体(例如，具有光学透视的眼镜)来体验AR内容，该头戴式设备或头戴式壳体仍然允许用户看到他/她的周围环境。作为再一示例，用户可通过使用包围用户的视场并连接到计算机的HMD来体验VR内容。
附图说明
因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
图1A是根据一些具体实施的示例性操作架构的框图。
图1B是根据一些具体实施的另一示例性操作架构的框图。
图2是根据一些具体实施的示例性控制器的框图。
图3是根据一些具体实施的示例性电子设备的框图。
图4是根据一些具体实施的示例性显示设备的框图。
图5示出了根据一些具体实施的示例性内容时间线。
图6A至图6D示出了根据一些具体实施的示例性回放情景。
图7是根据一些具体实施的呈现SR伴随内容的方法的流程图表示。
图8是根据一些具体实施的呈现SR伴随内容的方法的流程图表示。
根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
发明内容
本文所公开的各种具体实施包括用于呈现合成现实(SR)伴随内容的设备、系统和方法。根据一些具体实施，所述方法在包括非暂态存储器以及与所述非暂态存储器耦接的一个或多个处理器的设备处执行。所述方法包括：在使得呈现具有当前情节环境的视频内容时，接收指示探索所述当前情节环境的请求的用户输入；响应于接收到所述用户输入来获取与所述当前情节环境相关联的SR内容；使得呈现与所述当前情节环境相关联的所述SR内容；接收一个或多个用户与所述SR内容的交互；以及响应于接收到所述一个或多个用户与所述SR内容的交互来调节所述SR内容的所述呈现。
根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
物理环境是指无需电子系统帮助个体就能够感知和/或个体能够交互的世界。物理环境(例如，物理森林)包括物理元素(例如，物理树、物理结构和物理动物)。个体可直接与物理环境相互作用和/或感知物理环境，诸如通过触摸、视觉、嗅觉、听觉和味觉。
相比之下，合成现实(SR)环境是指经由电子系统个体能够感知和/或个体能够与之交互的完全或部分由计算机创建的环境。在SR中，监测个体移动的子集，并且响应于此，以符合一个或多个物理定律的方式使SR环境中的一个或多个虚拟对象的一个或多个属性变化。例如，SR系统可检测到个体向前走几步，并且响应于此，以类似于此类情景和声音在物理环境中会如何变化的方式来调节呈现给个体的图形和音频。也可响应于移动的表示(例如，音频指令)而进行对SR环境中一个或多个虚拟对象的一个或多个属性的修改。
个体可使用他的任何感觉(包括触觉、嗅觉、视觉、味觉和声音)与SR对象进行交互和/或感知SR对象。例如，个体可与创建多维(例如，三维)或空间听觉环境和/或实现听觉透明性的听觉对象进行交互和/或感知听觉对象。多维或空间听觉环境为个体提供了在多维空间中对离散听觉源的感知。在具有或不具有计算机创建的音频的情况下，听觉透明性选择性地结合来自物理环境的声音。在一些SR环境中，个体可仅与听觉对象进行交互和/或仅感知听觉对象。
SR的一个示例是虚拟现实(VR)。VR环境是指被设计为仅包括针对至少一种感觉的计算机创建的感官输入的模拟环境。VR环境包括个体可与之交互和/或对其进行感知的多个虚拟对象。个体可通过在计算机创建的环境内模拟个体动作的子集和/或通过对个体或其在计算机创建的环境内的存在的模拟，来与VR环境中的虚拟对象进行交互和/或感知VR环境中的虚拟对象。
SR的另一个示例是混合现实(MR)。MR环境是指被设计为将计算机创建的感官输入(例如，虚拟对象)与来自物理环境的感官输入或其表示集成的模拟环境。在现实谱系上，混合现实环境介于一端的VR环境和另一端的完全物理环境之间并且不包括这些环境。
在一些MR环境中，计算机创建的感官输入可以适应于来自物理环境的感官输入的变化。另外，用于呈现MR环境的一些电子系统可以监测相对于物理环境的取向和/或位置，以使虚拟对象能够与真实对象(即来自物理环境的物理元素或其表示)交互。例如，系统可监测运动，使得虚拟植物相对于物理建筑物看起来是静止的。
混合现实的一个示例是增强现实(AR)。AR环境是指至少一个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，电子系统可具有不透明显示器和至少一个成像传感器，成像传感器用于捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上显示该组合。个体使用系统经由物理环境的图像或视频间接地查看物理环境，并且观察叠加在物理环境之上的虚拟对象。当系统使用一个或多个图像传感器捕获物理环境的图像，并且使用那些图像在不透明显示器上呈现AR环境时，所显示的图像被称为视频透传。另选地，用于显示AR环境的电子系统可具有透明或半透明显示器，个体可通过该显示器直接查看物理环境。该系统可在透明或半透明显示器上显示虚拟对象，使得个体使用该系统观察叠加在物理环境之上的虚拟对象。又如，系统可包括将虚拟对象投影到物理环境中的投影系统。虚拟对象可例如在物理表面上或作为全息图被投影，使得个体使用该系统观察叠加在物理环境之上的虚拟对象。
增强现实环境也可指其中物理环境的表示被计算机创建的感官信息改变的模拟环境。例如，物理环境的表示的一部分可被以图形方式改变(例如，放大)，使得所改变的部分仍可代表一个或多个初始捕获的图像但不是忠实再现的版本。又如，在提供视频透传时，系统可改变传感器图像中的至少一者以施加不同于一个或多个图像传感器捕获的视点的特定视点。再如，物理环境的表示可通过以图形方式将其部分进行模糊处理或消除其部分而被改变。
混合现实的另一个示例是增强虚拟(AV)。AV环境是指计算机创建环境或虚拟环境并入来自物理环境的至少一个感官输入的模拟环境。来自物理环境的一个或多个感官输入可为物理环境的至少一个特征的表示。例如，虚拟对象可呈现由一个或多个成像传感器捕获的物理元素的颜色。又如，虚拟对象可呈现出与物理环境中的实际天气条件相一致的特征，如经由天气相关的成像传感器和/或在线天气数据所识别的。在另一个示例中，增强现实森林可具有虚拟树木和结构，但动物可具有从对物理动物拍摄的图像精确再现的特征。
许多电子系统使得个体能够与各种SR环境进行交互和/或感知各种SR环境。一个示例包括头戴式系统。头戴式系统可具有不透明显示器和一个或多个扬声器。另选地，头戴式系统可以被设计为接收外部显示器(例如，智能电话)。头戴式系统可具有分别用于拍摄物理环境的图像/视频和/或捕获物理环境的音频的一个或多个成像传感器和/或麦克风。头戴式系统也可具有透明或半透明显示器。透明或半透明显示器可结合基板，表示图像的光通过该基板被引导到个体的眼睛。显示器可结合LED、OLED、数字光投影仪、激光扫描光源、硅上液晶，或这些技术的任意组合。透射光的基板可以是光波导、光组合器、光反射器、全息基板或这些基板的任意组合。在一个实施方案中，透明或半透明显示器可在不透明状态与透明或半透明状态之间选择性地转换。又如，电子系统可以是基于投影的系统。基于投影的系统可使用视网膜投影将图像投影到个体的视网膜上。另选地，投影系统还可将虚拟对象投影到物理环境中(例如，投影到物理表面上或作为全息图)。SR系统的其他示例包括平视显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗口、能够显示图形的镜片、耳机或耳塞、扬声器布置、输入机构(例如，具有或不具有触觉反馈的控制器)、平板电脑、智能电话，以及台式计算机或膝上型计算机。
在用户正在观看电视(TV)剧或电影时，他/她可能希望探索当前情节环境作为SR体验。然而，与该电视剧或电影相关联的SR内容可能不可用或者与平面视频内容(例如，二维或“平面”AVI、FLV、WMV、MOV、MP4等文件类型)分离。因此，所公开的发明允许用户在观看平面视频内容时无缝地体验SR伴随内容。根据一些具体实施，在观看平面视频内容时，精细的示能表示或通知指示与平面视频内容中的当前情节环境相关联的SR伴随内容可供用户输入和/或探索。这样，用户从观看平面视频内容转换为SR体验，而不必单独搜索和/或加载SR内容，反之亦然。
作为一个示例，SR伴随内容使得用户能够观察情节环境中的对象、与反派角色搏斗、询问情节环境中的角色、开门并探索相邻房间、在情节环境内移动等。作为又一示例，SR伴随内容包括与情节环境相关联的任务或活动，以供用户执行以便向前推动情节，诸如检索与情节环境相关联的项目或者为视频内容中的主角清除情节环境中坏人或障碍的路径。作为再一示例，SR伴随内容包括与视频内容相关联的教育辅助工具或辅助信息，诸如在观看越南大战记录片时示出军事战场的位置的Ho Chi Minh Trail的AR版本或AR战场地图。作为再一示例，SR伴随内容在向用户提供执行以便向前推动情节的活动时利用用户的当前环境，诸如收集分散在用户起居室周围的AR糖果以给予视频内容中的主角。
图1A是根据一些具体实施的示例性操作架构100A的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作架构100A包括电子设备120和任选显示设备130。
在一些具体实施中，电子设备120被配置为向用户呈现SR体验。在一些具体实施中，电子设备120包括软件、固件和/或硬件的合适组合。下文参考图3更详细地描述电子设备120。根据一些具体实施，在用户物理地存在于物理环境103内时，电子设备120经由显示器122向用户呈现合成现实(SR)体验，该物理环境包括处于电子设备120的视场111内的桌子107。这样，在一些具体实施中，用户将电子设备120拿在他/她的手中。在一些具体实施中，在呈现增强现实(AR)体验时，电子设备120被配置为呈现AR内容(例如，AR圆柱体109)并在显示器122上实现物理环境103(例如，包括桌子107)的视频透传。
在一些具体实施中，显示设备130被配置为向用户呈现媒体内容(例如，视频和/或音频内容)。在一些具体实施中，显示设备130对应于电视或计算设备，诸如台式计算机、自助服务机、膝上型计算机、平板电脑、移动电话、可穿戴计算设备等。在一些具体实施中，显示设备130包括软件、固件和/或硬件的合适组合。下文相对于图4更详细地描述显示设备130。
图1B是根据一些具体实施的示例性操作架构100B的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作架构100B包括控制器110、电子设备120和任选显示设备130。
在一些具体实施中，控制器110被配置为管理和协调用户的SR体验。在一些具体实施中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于物理环境105处于本地或远程位置的计算设备。例如，控制器110是位于物理环境105内的本地服务器。在另一示例中，控制器110是位于物理环境105之外的远程服务器(例如，云服务器、中央服务器等)。
在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与电子设备120通信地耦接。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道142(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE802.3x等)与显示设备130通信耦接。在一些具体实施中，电子设备120经由一个或多个有线或无线通信信道146(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE802.3x等)与显示设备130通信地耦接。
在一些具体实施中，电子设备120被配置为向用户150呈现SR体验。在一些具体实施中，电子设备120包括软件、固件和/或硬件的合适组合。下文参考图3更详细地描述电子设备120。在一些具体实施中，控制器110和/或显示设备130的功能由电子设备120提供和/或与该电子设备结合。
根据一些具体实施，当用户150虚拟地和/或物理地存在于物理环境105内时，电子设备120向用户150呈现合成现实(SR)体验。在一些具体实施中，在呈现增强现实(AR)体验时，电子设备120被配置为呈现AR内容并实现物理环境105的光学透视。在一些具体实施中，在呈现虚拟现实(VR)体验时，电子设备120被配置为呈现VR内容并实现物理环境105的视频透传。
在一些具体实施中，用户150在他/她的头部上穿戴电子设备120，诸如头戴式设备(HMD)。这样，电子设备120包括被提供用于显示SR内容的一个或多个显示器。例如，电子设备120包围用户150的视场。作为另一示例，电子设备120滑动到头戴式壳体中或以其他方式附接到该头戴式壳体。在一些具体实施中，将电子设备120替换成被配置为呈现SR内容的SR室、壳体或房间，在其中用户150不佩戴电子设备120。
在一些具体实施中，显示设备130被配置为向用户150呈现媒体内容(例如，视频和/或音频内容)。在一些具体实施中，显示设备130对应于电视或计算设备，诸如台式计算机、自助服务机、膝上型计算机、平板电脑、移动电话、可穿戴计算设备等。在一些具体实施中，显示设备130包括软件、固件和/或硬件的合适组合。下文相对于图4更详细地描述显示设备130。
图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE 802.3x、IEEE 802.11x、IEEE802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些具体实施中，所述一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括与一个或多个处理单元202远程定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或它们的子集，其中包括任选的操作系统230和合成现实(SR)体验引擎240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，SR体验引擎240被配置为管理和协调一个或多个用户的一次或多次SR体验(例如，一个或多个用户的单次SR体验，或一个或多个用户的相应群组的多次SR体验)。为此，在各种具体实施中，SR体验引擎240包括数据获取器242、跟踪器和定位器引擎244、伴随内容获取器246、内容管理单元248以及数据传输器250。
在一些具体实施中，数据获取器242被配置为从物理环境105中的传感器、与控制器110相关联的传感器、电子设备120和显示设备130中的至少一者获取数据(例如，呈现数据、用户交互数据、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器242包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，跟踪器和定位器引擎244被配置为映射物理环境105并跟踪电子设备120和显示设备130相对于物理环境105的定位/位置。为此，在各种具体实施中，跟踪器和定位器引擎244包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，伴随内容获取器246被配置为获取(例如，接收、检索或生成)与经由显示设备130呈现给用户的视频内容相关联的SR内容(例如，与视频内容相关联的伴随内容)。为此，在各种具体实施中，伴随内容获取器246包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，内容管理单元248被配置为管理和协调视频内容(例如，经由显示设备130呈现给用户)以及与该视频内容相关联的SR内容(例如，由电子设备120呈现给用户)。为此，在各种具体实施中，伴随内容管理单元248包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，数据传输器250被配置为将数据(例如，呈现数据、位置数据等)传输到电子设备120和显示设备130中的至少一者。为此，在各种具体实施中，数据传输器250包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。
尽管数据获取器242、跟踪器和定位器引擎244、伴随内容获取器246、内容管理单元248和数据传输器250被示出为驻留在单个设备(例如，控制器110)上，但应当理解，在其他具体实施中，数据获取器242、跟踪器和定位器引擎244、伴随内容获取器246、内容管理单元248和数据传输器250的任何组合可位于单独的计算设备中。
此外，图2更多地用作存在于特定实施方案中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据实施方案而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
图3是根据一些具体实施的电子设备120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，电子设备120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理内核等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、蓝牙、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个显示器312、一个或多个任选的面向内部和/或面向外部的图像传感器314、一个或多个任选的深度传感器316、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些具体实施中，一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备和传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎、加热和/或冷却单元、皮肤剪切引擎等中的至少一者。
在一些具体实施中，一个或多个显示器312被配置为向用户呈现SR体验。在一些具体实施中，一个或多个显示器312还被配置为向用户呈现平面视频内容(例如，与电视剧或电影相关联的二维或“平面”AVI、FLV、WMV、MOV、MP4等文件，或物理环境105的实视频透传)。在一些具体实施中，一个或多个显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或相似显示器类型。在一些具体实施中，一个或多个显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备120包括单个显示器。又如，电子设备120包括针对用户的每只眼睛的显示器。在一些具体实施中，一个或多个显示器312能够呈现AR和VR内容。在一些具体实施中，一个或多个显示器312能够呈现AR或VR内容。
在一些具体实施中，一个或多个图像传感器314被配置为获取与用户面部的包括用户眼睛的至少一部分对应的图像数据。例如，一个或多个任选的图像传感器314对应于一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、红外(IR)图像传感器、基于事件的相机等。
在一些具体实施中，一个或多个任选的深度传感器316被配置为获取与用户面部的至少一部分对应的深度数据，并且合成该用户面部的深度图/网格图，其中该网格图表征该用户的面部形貌。例如，一个或多个任选的深度传感器316对应于结构光设备、飞行时间设备等。
存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDRRAM或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括与一个或多个处理单元302远程定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或它们的子集，其中包括任选的操作系统330和SR呈现引擎340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，SR呈现引擎340被配置为经由一个或多个显示器312向用户呈现SR内容。为此，在各种具体实施中，SR呈现引擎340包括数据获取器342、SR呈现器344、用户交互处理程序346和数据传输器350。
在一些具体实施中，数据获取器342被配置为从物理环境105内的传感器、与电子设备120相关联的传感器、控制器110和显示设备130中的至少一者获取数据(例如，呈现数据、用户交互数据、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器342包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，SR呈现器344被配置为经由一个或多个显示器312呈现SR内容。在一些具体实施中，SR呈现器344还被配置为经由一个或多个显示器312平面视频内容。为此，在各种具体实施中，SR呈现器344包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。
在一些具体实施中，用户交互处理程序346被配置为检测和解释用户与所呈现的SR内容的交互。为此，在各种具体实施中，用户交互处理程序346包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。
在一些具体实施中，数据传输器350被配置为向控制器110和显示设备130中的至少一者传输数据(例如，呈现数据、位置数据、用户交互数据等)。为此，在各种具体实施中，数据传输器350包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。
尽管数据获取器342、SR呈现器344、用户交互处理程序346和数据传输器350被示出为驻留在单个设备(例如，电子设备120)上，但应当理解，在其他具体实施中，数据获取器342、SR呈现器344、用户交互处理程序346和数据传输器350的任何组合可位于单独的计算设备中。
此外，图3更多地用作存在于特定实施方案中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据实施方案而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
图4是根据一些具体实施的显示设备130的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，显示设备130包括一个或多个处理单元402(例如，微处理器、ASIC、FPGA、GPU、CPU、处理内核等)、一个或多个输入/输出(I/O)设备及传感器406、一个或多个通信接口408(例如，USB、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、蓝牙、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口410、显示器412、存储器420以及用于互连这些部件和各种其他部件的一条或多条通信总线404。在一些具体实施中，显示设备130任选地由远程控制设备、语音命令、电子设备120等控制。
在一些具体实施中，一条或多条通信总线404包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备和传感器406包括一个或多个IR传感器、一个或多个物理按钮、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个深度传感器等中的至少一者。
在一些具体实施中，显示器412对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或类似显示器类型。
存储器420包括高速随机存取存储器，诸如DRAM、SRAM、DDRRAM或其他随机存取固态存储器设备。在一些具体实施中，存储器420包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器420任选地包括与一个或多个处理单元402远程定位的一个或多个存储设备。存储器420包括非暂态计算机可读存储介质。在一些具体实施中，存储器420或存储器420的非暂态计算机可读存储介质存储下述程序、模块和数据结构或它们的子集，其中包括任选的操作系统430和呈现引擎440。
操作系统430包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，呈现引擎440被配置为经由显示器412和一个或多个I/O设备和传感器406(例如，一个或多个扬声器)向用户呈现媒体内容(例如，视频和/或音频内容)。为此，在各种具体实施中，呈现引擎440包括数据获取器442、内容呈现器444、交互处理程序446和数据传输器450。
在一些具体实施中，数据获取器442被配置为从物理环境105内的传感器、与显示设备130相关联的传感器、控制器110和电子设备120中的至少一者获取数据(例如，呈现数据、用户交互数据等)。为此，在各种具体实施中，数据获取器442包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，内容呈现器444被配置为经由显示器412呈现和显示视频内容。为此，在各种具体实施中，内容呈现器444包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。
在一些具体实施中，交互处理程序446被配置为检测和解释用户与显示设备130的交互(例如，导航、回放、调谐、音量调节等命令)。为此，在各种具体实施中，交互处理程序446包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。
在一些具体实施中，数据传输器450被配置为将数据(例如，呈现数据、用户交互数据等)传输到控制器110和电子设备120中的至少一者。为此，在各种具体实施中，数据传输器450包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。
尽管数据获取器442、内容呈现器444、交互处理程序446和数据传输器450被示出为驻留在单个设备(例如，显示设备130)上，但应当理解，在其他具体实施中，数据获取器442、内容呈现器444、交互处理程序446和数据传输器450的任何组合可位于单独的计算设备中。
此外，图4更多地用作存在于特定实施方案中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图4中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据实施方案而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
图5示出了根据一些具体实施的示例性内容时间线500。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，内容时间线500包括与内容时间线500内的视频内容的不同时间段(例如，航天器引擎室场景、航天器主控室场景和运输飞行器驾驶舱场景)相关联的情节环境515A、515B和515C。作为一个示例，在图5中，SR伴随内容510A与情节环境515A(例如，帮助机组人员将融合反应器固定在航天器引擎室内的任务)相关联。作为又一示例，SR伴随内容510B与情节环境515B(例如，探索航天器主控室并与机组人员交互的能力)相关联。作为再一示例，SR伴随内容510C与情节环境515C(例如，帮助导航运输飞行器的任务)相关联。
图6A至图6D示出了根据一些具体实施的示例性回放情景。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。
例如，如图6A所示，场景回放情景600A包括从经由显示设备130显示包括角色605a和605b的视频内容610到经由电子设备120呈现SR伴随内容620A的转换。在该示例中，视频内容610内的角色605a和605b被显示在电子设备120的显示器122上，好像他们存在于物理环境103内并且站在桌子107周围一样。电子设备120的用户能够指示角色605a和605b执行与视频内容610内的当前场景相关联的活动或任务，并且/或者与角色605a和605b交谈/交互。换句话讲，在一些具体实施中，视频内容610被传输到用户的环境中，并且该用户能够与SR伴随内容620A交互。例如，用户正在握持电子设备120，并且该电子设备120启用物理环境103的视频透传。
在一些具体实施中，在电子设备120呈现SR伴随内容620A时，显示设备130同时显示视频内容610。在一些具体实施中，在电子设备120呈现SR伴随内容620A时暂停视频内容610。在一些具体实施中，视频内容610和SR伴随内容620A两者经由电子设备120呈现。
例如，如图6B所示，场景回放情景600B包括从经由显示设备130显示包括角色605a和605b的视频内容610到经由电子设备120呈现SR伴随内容620B的第一转换。在该示例中，用户150可被置于情节环境内以执行与该情节环境相关联的活动或任务，探索情节环境并且/或者在存在于该情节环境的SR重建中(例如，在VR环境内)时与用户605a和605b交谈。换句话讲，在一些具体实施中，用户150被置于情节环境中并且能够与SR伴随内容620B交互。继续该示例，回放情景600B包括从经由电子设备120呈现SR伴随内容620B到经由显示设备130显示视频内容610的第二转换。在一些具体实施中，每个情节环境与SR伴随内容的一个示例相关联。在一些具体实施中，每个情节环境与可由用户单独选择的SR伴随内容的多个示例(例如，与该情节环境相关联的不同任务或活动)相关联。
在一些具体实施中，在电子设备120呈现SR伴随内容620B时，显示设备130同时显示视频内容610。在一些具体实施中，在电子设备120呈现SR伴随内容620B时暂停视频内容610。在一些具体实施中，视频内容610和SR伴随内容620B两者经由电子设备120呈现。
作为一个示例，用户150正在前述转换之间穿戴电子设备120。在该示例中，参考图1B和图6B，电子设备120启用物理环境105的视频透传，使得用户150可在穿戴电子设备120时看到经由显示设备130显示的视频内容610。作为另一示例，经由电子设备120显示视频内容610和SR伴随内容620b两者。
例如，如图6C所示，在电子设备120在显示器122上显示物理环境660(例如，用户的起居室)的视频透传时，场景回放情景650A包括显示设备130显示视频内容675(例如，电视剧或电影)和用户握持电子设备120。在请求查看与视频内容675相关联的SR伴随内容之后，电子设备120呈现与该视频内容675相关联的SR内容670a、670b、670c、670d、670e、670f、670g、672和674。例如，在图6C中，用户的活动是在显示器122上执行触摸手势来收集分散在物理环境660周围的SR内容670a、670b、670c、670d、670e、670f和670g(例如，AR糖果)，并且将它们放置在与视频内容675相关联的SR虚拟主角674的SR篮672中。这样，在该示例中，当向用户150提供执行(例如，收集AR糖果)的活动时，SR伴随内容利用用户的当前环境(例如，图6C中的物理环境660)。
例如，如图6D所示，场景回放情景650B包括显示设备130显示视频内容675(例如，电视剧或电影)以及用户150利用物理环境660(例如，该用户的起居室)的光学透视在他/她的头部上穿戴电子设备120(例如，启用AR的眼镜)。在请求查看与视频内容675相关联的SR伴随内容之后，电子设备120呈现与该视频内容675相关联的SR内容670a、670b、670c、670d、670e、670f、670g、672和674。例如，在图6C中，用户150的活动是收集分散在物理环境660周围的SR内容670a、670b、670c、670d、670e、670f和670g(例如，AR糖果)，并且将它们放置在与视频内容675相关联的SR虚拟主角674的SR篮672中。这样，在该示例中，当向用户150提供执行(例如，收集AR糖果)的活动时，SR伴随内容利用用户的当前环境(例如，图6D中的物理环境660)。
图7是根据一些具体实施的呈现SR伴随内容的方法700的流程图表示。在各种具体实施中，方法700由具有非暂态存储器和与该非暂态存储器耦接的一个或多个处理器的设备(例如，图1B和图2中的控制器110、图1A至图1B和图3中的电子设备120或它们的合适组合)执行。在一些具体实施中，方法700由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法700由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。简而言之，在一些情况下，方法700包括：在使得呈现具有当前情节环境的视频内容时，接收指示探索该当前情节环境的请求的用户输入；响应于接收到该用户输入来获取(例如，接收、检索或生成)与该当前情节环境相关联的SR内容；使得呈现与该当前情节环境相关联的SR内容；接收一个或多个用户与该SR内容的交互；以及响应于接收到一个或多个用户与该SR内容的交互来调节该SR内容的呈现。
如框7-1所示，方法700包括，在使得呈现具有当前情节环境的视频内容时，接收指示探索该当前情节环境的请求的用户输入。在一些具体实施中，视频内容正在TV上显示，并且SR内容经由HMD呈现。在一些具体实施中，控制器协调TV和HMD之间的转换。在一些具体实施中，视频内容包括SR伴随内容在接下来的X秒内可用于当前情节环境的通知(例如，叠加或覆盖在该视频内容上)。在一些具体实施中，在显示该通知时，用户输入对应于语音命令、TV远程按钮的选择、TV遥控器的移动、头部移动、眼睛移动等。在一些具体实施中，视频内容和SR内容两者经由HMD呈现。
如框7-2所示，方法700包括响应于接收到用户输入来获取(例如，接收、检索或生成)与当前情节环境相关联的SR内容。在一些具体实施中，从与视频内容相关联的SR内容的本地或远程库(例如，远程服务器、第三方内容提供商等)获取与该当前情节环境相关联的SR内容。在一些具体实施中，至少部分地基于视频内容和当前情节环境来即时生成SR内容。在一些具体实施中，根据一组预定义的规则和策略(例如，用户在SR中与当前情节环境和该当前情节环境中的角色交互的能力)即时生成SR内容。
如框7-3所示，方法700包括使得呈现与当前情节环境相关联的SR内容。在一些具体实施中，视频内容与可用的SR伴随内容库相关联。例如，SR伴随内容对应于用户被置于当前情节环境中以探索环境并与该情节环境中的角色交互。这样，用户可探索情节环境，该情节环境具有未通过平面视频内容的固定相机角度启用的丰富度。在一个示例中，用户的探索被限制为与当前情节环境相关联的房间。在另一示例中，用户能够探索与该当前情节环境相邻的其他房间。在又一示例中，SR伴随内容对应于用户被置于当前情节环境中并参与完成推动情节向前任务的活动。在又一示例中，SR伴随内容对应于用户被置于当前情节环境的制作/拍摄中。
如框7-4所示，方法700包括接收一个或多个用户与SR内容的交互。如框7-5所示，方法700包括响应于接收到一个或多个用户与该SR内容的交互来调节该SR内容的呈现。在一些具体实施中，基于用户与SR伴随内容的交互诸如身体姿势输入/动作、眼睛移动、语音命令等来驱动SR伴随内容。作为一个示例，用户执行与情节环境相关联的活动或任务，诸如检索与情节环境相关联的项目或者为视频内容中的主角清除情节环境中坏人或障碍的路径。作为另一示例，用户观察情节环境中的对象、与反派角色搏斗、询问情节环境中的角色、开门并探索相邻房间、在情节环境内移动等(例如，如图6A至图6B所示)。作为再一示例，SR伴随内容对应于与视频内容相关联的教育辅助工具或辅助信息，诸如在观看越南大战记录片时示出军事战场的位置的Ho Chi Minh Trail的AR版本或AR战场地图。作为再一示例，SR伴随内容在向用户提供执行诸如收集分散在该用户起居室周围的AR糖果以给予视频内容中的主角的活动时利用用户的当前环境。(例如，如图6C至图6D所示)。
图8是根据一些具体实施的呈现SR伴随内容的方法800的流程图表示。各种具体实施中，方法800由具有非暂态存储器和与该非暂态存储器耦接的一个或多个处理器的设备(例如，图1B和图2中的控制器110、图1A至图1B和图3中的电子设备120或它们的合适组合)执行。在一些具体实施中，方法800由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法800由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。简而言之，在一些情况下，方法800包括：呈现具有当前情节环境的视频内容；获取与该当前情节环境相关联的SR内容；呈现指示与该当前情节环境相关联的SR内容可用的提示；获取体验与该当前情节环境相关联的SR内容的请求；呈现与该当前情节环境相关联的SR内容；检测用户与SR内容的交互，该SR内容与当前情节环境相关联；根据该用户交互调节SR内容；以及停止呈现该SR内容并呈现视频内容。
如框8-1所示，方法800包括呈现具有当前情节环境的视频内容。在一些具体实施中，电子设备120或其部件(例如，SR呈现器344)经由一个或多个显示器312呈现视频内容(例如，图6A至图6B中的视频内容610)。在一些具体实施中，显示设备130或其部件(例如，内容呈现器444)经由显示器412呈现视频内容。在一些具体实施中，控制器110或其部件(例如，内容管理单元248)使得并管理电子设备120和/或显示设备130呈现视频内容。例如，视频内容对应于TV剧或电影。
如框8-2所示，方法800包括获取(例如，接收、检索或生成)与当前情节环境相关联的SR内容。在一些具体实施中，控制器110或其部件(例如，伴随内容获取器246)从本地库或远程库(例如，远程服务器、第三方内容提供商等)获取与当前情节环境相关联的SR内容。在一些具体实施中，从与用户当前正在查看的视频内容相关联的库获取SR内容。在一些具体实施中，至少部分地基于视频内容和当前情节环境来即时生成SR内容。在一些具体实施中，根据一组预定义的规则和策略(例如，用户在SR中与当前情节环境和该当前情节环境中的角色交互的能力)即时生成SR内容。
如框8-3所示，方法800包括呈现指示与当前情节环境相关联的SR内容可用的提示。在一些具体实施中，在获得与视频内容中的当前情节环境相关联的SR内容之后，控制器110或其部件(例如，内容管理单元248)向电子设备120和/或显示设备130传输指示SR伴随内容可用于视频内容中的当前情节环境的消息。在一些具体实施中，在视频内容内嵌入精细的转换示能表示或通知，该示能表示或通知指示与视频内容中的当前情节环境相关联的SR伴随内容可用(例如，伴随内容)。
如框8-4所示，方法800包括获取体验与当前情节环境相关联的SR内容的请求。例如，当用户选择转换示能表示时(例如，经由由电子设备120或显示设备130接收的语音命令，与显示设备130相关联的远程控制设备等)，电子设备120或显示设备130向控制器110提供消息，该消息指示用户体验与当前情节环境相关联的SR内容的意图。继续该示例，响应于接收到该消息，控制器110或其部件(例如，数据传输器250)向电子设备120提供呈现数据(例如，渲染的SR帧或对与当前情节环境相关联的SR内容的访问)以呈现给用户。
如框8-5所示，方法800包括呈现与当前情节环境相关联的SR内容。在一些具体实施中，电子设备120或其部件(例如，SR呈现器344)经由一个或多个显示器312呈现与当前情节环境相关联的SR内容(例如，图6A中的SR伴随内容620A)。在一些具体实施中，用户体验从显示平面视频内容的第一电子设备(例如，TV、平板电脑等)转换到显示与视频内容(例如，伴随SR内容)相关联的SR内容的第二具有SR能力的设备(例如，HMD、电话、平板电脑等)。作为一个示例，图6B示出了示例回放情景600B，其中用户经由显示设备130查看视频内容610，然后转换到用户经由电子设备120查看SR伴随内容620B。在一些具体实施中，视频内容610和SR伴随内容620B两者经由电子设备120呈现。
在一些具体实施中，在用户探索当前情节环境时(例如，在由当前情节环境指示的时间窗口内)，视频内容同时继续。在一些具体实施中，响应于用户探索超过阈值区域的情节环境(例如，用户探索与当前情节环境相邻的房间)来暂停视频内容。在一些具体实施中，在用户探索当前情节环境时暂停视频内容。
如框8-6所示，方法800包括检测用户与SR内容的交互，该SR内容与当前情节环境相关联。在一些具体实施中，电子设备120或其部件(例如，用户交互处理程序346)检测用户与SR伴随内容的交互。在一些具体实施中，电子设备120或其部件(例如，数据发传输器350)将与用户交互相关联的数据发送到控制器110。例如，用户在当前情节环境的SR重建中拾取对象。又如，用户在当前情节环境中与人形角色搏斗。再如，用户在当前情节环境中与角色对话。再如，用户在当前情节环境中走动以从各种角度查看当前情节环境。在一些具体实施中，在用户完成与当前情节环境相关联的活动或任务以便推进视频内容时暂停视频内容。
如框8-7所示，方法800包括根据用户交互来调节SR内容。在一些具体实施中，电子设备120或其部件(例如，SR呈现单元342)根据在框8-6处检测到的用户交互来调节SR伴随内容。在一些具体实施中，控制器110或其部件(例如，内容管理单元248)根据在框8-6处检测到的用户交互来调节SR伴随内容。例如，如果用户从当前情节环境中掉落SR咖啡杯，则SR咖啡杯随后应掉落到地板上并且破裂并且/或者洒落液体。在一些具体实施中，当用户与SR内容进行交互时，电子设备120提供音频、触觉、皮肤剪切、温度等反馈。
如框8-8所示，方法800包括检测对SR退出条件的满足。在一些具体实施中，当用户提供离开命令(例如，手势、语音命令等)时，满足退出条件。在一些具体实施中，当用户完成与当前情节环境相关联的活动或任务时(例如，在模拟的肉搏战中击败几个帮凶、解决难题或者询问角色以获得特定信息)，满足退出条件。在一些具体实施中，当预定义时间段到期时，满足退出条件。
如框8-9所示，方法800包括停止呈现SR内容并且呈现视频内容。在一些具体实施中，电子设备120或其部件(例如，SR呈现器344)经由一个或多个显示器312停止呈现与当前情节环境(例如，SR伴随内容)相关联的SR内容。随后，在一些具体实施中，电子设备120或其部件(例如，SR呈现器344)经由一个或多个显示器312呈现视频内容。另选地，在一些具体实施中，显示设备130或其部件(例如，内容呈现器444)经由显示器412呈现视频内容。
在一些具体实施中，用户体验从显示与视频内容(例如，伴随SR内容)相关联的SR内容的第二SR设备(例如，HMD、电话、平板电脑等)转换到显示平面视频内容的第一设备(例如，TV、平板电脑等)。作为一个示例，图6B示出了示例回放情景600B，其中用户经由电子设备120查看SR伴随内容620B，然后转换到用户经由显示设备130查看视频内容610。
虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。
还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
本文中所使用的术语仅仅是为了描述特定实施方案并非旨在对权利要求进行限制。如在本实施方案的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。
如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (26)

1.一种用于呈现内容的方法，包括：
在包括非暂态存储器和一个或多个处理器的计算系统处，其中所述计算系统通信地耦接到显示设备和一个或多个输入设备：
在使得呈现视频内容时，经由所述一个或多个输入设备获取指示探索所述视频内容内与所述视频内容的特定时间段相对应的当前场景的请求的用户输入，
响应于接收到所述用户输入来：
获取所述视频内容的所述特定时间段的合成现实SR内容，其中所述SR内容与所述视频内容内的所述当前场景相关联；
获取与所述视频内容内的所述当前场景相关联的一个或多个活动或任务；
同时使得经由所述显示设备呈现与所述视频内容内的所述当前场景相关联的所述SR内容以及与所述视频内容内的所述当前场景相关联的所述一个或多个活动或任务的指示；
经由所述一个或多个输入设备获取与所述SR内容的一个或多个用户交互；以及
响应于接收到与所述SR内容的所述一个或多个用户交互来调节所述SR内容；以及
响应于确定与所述SR内容的一个或多个用户交互满足所述当前场景的退出条件，停止使得呈现所述SR内容并继续使得呈现所述视频内容，其中当与所述SR内容的所述一个或多个用户交互完成与所述视频内容内的所述当前场景相关联的活动或任务时，所述当前场景的所述退出条件被满足。
2.根据权利要求1所述的方法，其中从与所述视频内容相关联的库获取所述SR内容。
3.根据权利要求1所述的方法，其中至少部分地基于所述视频内容来即时生成所述SR内容。
4.根据权利要求1所述的方法，其中所述视频内容在接收到与所述SR内容的所述一个或多个用户交互时同时继续。
5.根据权利要求1所述的方法，其中响应于所述用户违反与所述SR内容相关联的阈值区域来暂停所述视频内容。
6.根据权利要求1所述的方法，其中在接收到与所述SR内容的所述一个或多个用户交互时暂停所述视频内容。
7.根据权利要求6所述的方法，还包括：
响应于接收到来自所述用户的命令来停止使得呈现所述SR内容并继续呈现所述视频内容。
8.根据权利要求1所述的方法，其中所述显示设备对应于基于投影的系统，并且其中经由所述基于投影的系统呈现所述视频内容和所述SR内容。
9.根据权利要求1所述的方法，其中所述计算系统还与捕获物理环境的一个或多个图像的图像传感器通信地耦接，并且其中使得呈现所述SR内容包括将所述物理环境的所述一个或多个图像与所述SR内容堆叠以用于经由所述显示设备呈现。
10.根据权利要求1所述的方法，还包括：
使得显示指示与对应于包括当前时间戳的所述视频内容的特定时间段的所述视频内容内的所述当前场景相关联的所述SR内容的可用性的示能表示，其中响应于检测到选择所述示能表示来使得呈现与所述当前场景相关联的所述SR内容。
11.根据权利要求1所述的方法，其中与所述SR内容的所述一个或多个用户交互包括如下至少一者：拾取与所述SR内容相关联的对象、与和所述SR内容相关联的SR角色进行物理接触、或者与和所述SR内容相关联的SR角色说话。
12.根据权利要求1所述的方法，其中所述SR内容中的至少一些SR内容覆盖在物理环境内的物理对象上或与物理对象堆叠，并且其中所述活动或任务适合于所述物理环境。
13.根据权利要求1所述的方法，其中所述视频内容由不同于所述计算系统的第二设备呈现，其中所述第二设备与所述计算系统通信耦合。
14.根据权利要求1所述的方法，还包括:
经由所述显示设备呈现与所述视频内容内的当前环境相关联的所述一个或多个活动或任务；和
经由所述一个或多个输入设备检测在与所述视频内容内的所述当前环境相关联的所述一个或多个活动或任务中选择相应活动或任务的用户输入，其中所述指示对应于由所述用户输入选择的所述相应活动或任务。
15.一种用于呈现内容的计算系统，包括：
一个或多个处理器；
非暂态存储器；
接口，所述接口用于与显示设备和一个或多个输入设备通信；以及
一个或多个程序，所述一个或多个程序存储在所述非暂态存储器中，当由所述一个或多个处理器执行时，所述一个或多个程序使得所述计算系统：
在使得呈现视频内容时，经由所述一个或多个输入设备获取指示探索所述视频内容内与所述视频内容的特定时间段相对应的当前场景的请求的用户输入；
响应于接收到所述用户输入：
获取所述视频内容的所述特定时间段的合成现实SR内容，其中所述SR内容与所述视频内容内的所述当前场景相关联；
获取与所述视频内容内的所述当前场景相关联的一个或多个活动或任务；
同时使得经由所述显示设备呈现与所述视频内容内的所述当前场景相关联的所述SR内容以及与所述视频内容内的所述当前场景相关联的所述一个或多个活动或任务的指示；
经由所述一个或多个输入设备获取与所述SR内容的一个或多个用户交互；以及
响应于接收到与所述SR内容的所述一个或多个用户交互来调节所述SR内容；以及
响应于确定与所述SR内容的一个或多个用户交互满足所述当前场景的退出条件，停止使得呈现所述SR内容并继续使得呈现所述视频内容，其中当与所述SR内容的所述一个或多个用户交互完成与所述视频内容内的所述当前场景相关联的活动或任务时，所述当前场景的所述退出条件被满足。
16.根据权利要求15所述的计算系统，其中在接收到与所述SR内容的所述一个或多个用户交互时暂停所述视频内容。
17.根据权利要求15所述的计算系统，其中所述一个或多个程序还使得所述计算系统：
响应于接收到来自所述用户的命令来停止使得呈现所述SR内容并继续呈现所述视频内容。
18.根据权利要求15所述的计算系统，其中所述一个或多个程序还使得所述计算系统：
使得显示指示与对应于包括当前时间戳的所述视频内容的特定时间段的所述视频内容内的所述当前场景相关联的所述SR内容的可用性的示能表示，其中响应于检测到选择所述示能表示来使得呈现与所述当前场景相关联的所述SR内容。
19.根据权利要求15所述的计算系统，其中与所述SR内容的所述一个或多个用户交互包括如下至少一者：拾取与所述SR内容相关联的对象、与和所述SR内容相关联的SR角色进行物理接触、或者与和所述SR内容相关联的SR角色说话。
20.根据权利要求15所述的计算系统，其中所述一个或多个程序还使得所述计算系统：
经由所述显示设备呈现与所述视频内容内的当前环境相关联的所述一个或多个活动或任务；和
经由所述一个或多个输入设备检测在与所述视频内容内的所述当前环境相关联的所述一个或多个活动或任务中选择相应活动或任务的用户输入，其中所述指示对应于由所述用户输入选择的所述相应活动或任务。
21.一种存储一个或多个程序的非暂态存储器，当由具有用于与显示设备和一个或多个输入设备通信的接口的计算系统的一个或多个处理器执行时，所述一个或多个程序使得所述计算系统：
在使得呈现视频内容时，经由所述一个或多个输入设备获取指示探索所述视频内容内与所述视频内容的特定时间段相对应的当前场景的请求的用户输入；
响应于接收到所述用户输入：
获取所述视频内容的所述特定时间段的合成现实SR内容，其中所述SR内容与所述视频内容内的所述当前场景相关联；
获取与所述视频内容内的所述当前场景相关联的一个或多个活动或任务；
同时使得经由所述显示设备呈现与所述视频内容内的所述当前场景相关联的所述SR内容以及与所述视频内容内的所述当前场景相关联的所述一个或多个活动或任务的指示；
经由所述一个或多个输入设备获取与所述SR内容的一个或多个用户交互；以及
响应于接收到与所述SR内容的所述一个或多个用户交互来调节所述SR内容；以及
响应于确定与所述SR内容的一个或多个用户交互满足所述当前场景的退出条件，停止使得呈现所述SR内容并继续使得呈现所述视频内容，其中当与所述SR内容的所述一个或多个用户交互完成与所述视频内容内的所述当前场景相关联的活动或任务时，所述当前场景的所述退出条件被满足。
22.根据权利要求21所述的非暂态存储器，其中当接收到与所述SR内容的所述一个或多个用户交互时，所述视频内容被暂停。
23.根据权利要求21所述的非暂态存储器，其中所述一个或多个程序还使得所述计算系统：
响应于接收到来自所述用户的命令来停止使得呈现所述SR内容并继续呈现所述视频内容。
24.根据权利要求21所述的非暂态存储器，其中所述一个或多个程序还使得所述计算系统：
使得显示指示与对应于包括当前时间戳的所述视频内容的特定时间段的所述视频内容内的所述当前场景相关联的所述SR内容的可用性的示能表示，其中响应于检测到选择所述示能表示来使得呈现与所述当前场景相关联的所述SR内容。
25.根据权利要求21所述的非暂态存储器，其中与所述SR内容的所述一个或多个用户交互包括如下至少一者：拾取与所述SR内容相关联的对象、与和所述SR内容相关联的SR角色进行物理接触、或者与和所述SR内容相关联的SR角色说话。
26.根据权利要求21所述的非暂态存储器，其中所述一个或多个程序还使得所述计算系统：
经由所述显示设备呈现与所述视频内容内的当前环境相关联的所述一个或多个活动或任务；和
经由所述一个或多个输入设备检测在与所述视频内容内的所述当前环境相关联的所述一个或多个活动或任务中选择相应活动或任务的用户输入，其中所述指示对应于由所述用户输入选择的所述相应活动或任务。
CN201980008464.8A 2018-01-22 2019-01-18 用于呈现合成现实伴随内容的方法和设备 Active CN111602105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311090252.3A CN116974381A (zh) 2018-01-22 2019-01-18 用于呈现合成现实伴随内容的方法和设备

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862620326P 2018-01-22 2018-01-22
US62/620,326 2018-01-22
US201862734050P 2018-09-20 2018-09-20
US62/734,050 2018-09-20
PCT/US2019/014225 WO2019143959A1 (en) 2018-01-22 2019-01-18 Method and device for presenting synthesized reality companion content

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311090252.3A Division CN116974381A (zh) 2018-01-22 2019-01-18 用于呈现合成现实伴随内容的方法和设备

Publications (2)

Publication Number Publication Date
CN111602105A CN111602105A (zh) 2020-08-28
CN111602105B true CN111602105B (zh) 2023-09-01

Family

ID=65363367

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980008464.8A Active CN111602105B (zh) 2018-01-22 2019-01-18 用于呈现合成现实伴随内容的方法和设备
CN202311090252.3A Pending CN116974381A (zh) 2018-01-22 2019-01-18 用于呈现合成现实伴随内容的方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311090252.3A Pending CN116974381A (zh) 2018-01-22 2019-01-18 用于呈现合成现实伴随内容的方法和设备

Country Status (5)

Country Link
US (3) US11328456B2 (zh)
EP (1) EP3743787A1 (zh)
KR (3) KR102440089B1 (zh)
CN (2) CN111602105B (zh)
WO (1) WO2019143959A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021061551A1 (en) * 2019-09-24 2021-04-01 Qsinx Management Llc Method and device for processing camera images
KR102339374B1 (ko) * 2021-05-07 2021-12-14 김은진 Ａｒ 기반 플랜트 주문제작 서비스 제공 시스템

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0899691A2 (en) * 1997-08-04 1999-03-03 Lucent Technologies Inc. Three dimensional virtual reality enhancement techniques
CA2335256A1 (en) * 1998-06-26 2000-01-06 General Instrument Corporation Terminal for composing and presenting mpeg-4 video programs
WO2002008948A2 (en) * 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
CN103649904A (zh) * 2011-05-10 2014-03-19 Nds有限公司 自适应内容呈现
WO2014121591A1 (zh) * 2013-02-06 2014-08-14 华为技术有限公司 视频编码质量的评估方法及设备
JP2014182597A (ja) * 2013-03-19 2014-09-29 Yasuaki Iwai 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
CN105635712A (zh) * 2015-12-30 2016-06-01 视辰信息科技(上海)有限公司 基于增强现实的视频实时录制方法及录制设备
WO2016209167A1 (en) * 2015-06-23 2016-12-29 Paofit Holdings Pte. Ltd. Systems and methods for generating 360 degree mixed reality environments
CN106416239A (zh) * 2014-05-29 2017-02-15 奈克斯特Vr股份有限公司 用于交付内容和/或回放内容的方法和装置
CN107077755A (zh) * 2016-09-30 2017-08-18 深圳达闼科技控股有限公司 虚拟与现实融合方法、系统和虚拟现实设备
CN107089191A (zh) * 2016-02-18 2017-08-25 索尼公司 用于车辆信息学和虚拟现实的主动窗户
CN107111996A (zh) * 2014-11-11 2017-08-29 本特图像实验室有限责任公司 实时共享的增强现实体验
CN107305435A (zh) * 2016-04-18 2017-10-31 迪斯尼企业公司 在增强现实和虚拟现实环境之间链接和交互的系统和方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834308B1 (en) * 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
US7987491B2 (en) * 2002-05-10 2011-07-26 Richard Reisman Method and apparatus for browsing using alternative linkbases
US7123696B2 (en) * 2002-10-04 2006-10-17 Frederick Lowe Method and apparatus for generating and distributing personalized media clips
US20090013263A1 (en) * 2007-06-21 2009-01-08 Matthew Jonathan Fortnow Method and apparatus for selecting events to be displayed at virtual venues and social networking
US8136133B2 (en) * 2007-11-13 2012-03-13 Walker Digital, Llc Methods and systems for broadcasting modified live media
US10872322B2 (en) * 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
KR101021634B1 (ko) * 2008-11-17 2011-03-17 길태숙 네트워크를 이용한 역사 학습 시스템 및 방법
US8963956B2 (en) * 2011-08-19 2015-02-24 Microsoft Technology Licensing, Llc Location based skins for mixed reality displays
US20130232430A1 (en) * 2011-08-26 2013-09-05 Reincloud Corporation Interactive user interface
WO2013032955A1 (en) * 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
US20130249948A1 (en) * 2011-08-26 2013-09-26 Reincloud Corporation Providing interactive travel content at a display device
US10824310B2 (en) * 2012-12-20 2020-11-03 Sri International Augmented reality virtual personal assistant for external representation
US9317972B2 (en) * 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
US20140176661A1 (en) * 2012-12-21 2014-06-26 G. Anthony Reina System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)
US20160163063A1 (en) * 2014-12-04 2016-06-09 Matthew Ashman Mixed-reality visualization and method
US9997199B2 (en) * 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0899691A2 (en) * 1997-08-04 1999-03-03 Lucent Technologies Inc. Three dimensional virtual reality enhancement techniques
CA2335256A1 (en) * 1998-06-26 2000-01-06 General Instrument Corporation Terminal for composing and presenting mpeg-4 video programs
WO2002008948A2 (en) * 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
CN103649904A (zh) * 2011-05-10 2014-03-19 Nds有限公司 自适应内容呈现
WO2014121591A1 (zh) * 2013-02-06 2014-08-14 华为技术有限公司 视频编码质量的评估方法及设备
JP2014182597A (ja) * 2013-03-19 2014-09-29 Yasuaki Iwai 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
CN106416239A (zh) * 2014-05-29 2017-02-15 奈克斯特Vr股份有限公司 用于交付内容和/或回放内容的方法和装置
CN107111996A (zh) * 2014-11-11 2017-08-29 本特图像实验室有限责任公司 实时共享的增强现实体验
WO2016209167A1 (en) * 2015-06-23 2016-12-29 Paofit Holdings Pte. Ltd. Systems and methods for generating 360 degree mixed reality environments
CN105635712A (zh) * 2015-12-30 2016-06-01 视辰信息科技(上海)有限公司 基于增强现实的视频实时录制方法及录制设备
CN107089191A (zh) * 2016-02-18 2017-08-25 索尼公司 用于车辆信息学和虚拟现实的主动窗户
CN107305435A (zh) * 2016-04-18 2017-10-31 迪斯尼企业公司 在增强现实和虚拟现实环境之间链接和交互的系统和方法
CN107077755A (zh) * 2016-09-30 2017-08-18 深圳达闼科技控股有限公司 虚拟与现实融合方法、系统和虚拟现实设备

Also Published As

Publication number Publication date
CN116974381A (zh) 2023-10-31
US11727606B2 (en) 2023-08-15
KR102549932B1 (ko) 2023-07-03
KR20220124828A (ko) 2022-09-14
KR102440089B1 (ko) 2022-09-05
US20220222869A1 (en) 2022-07-14
CN111602105A (zh) 2020-08-28
KR20230003449A (ko) 2023-01-05
EP3743787A1 (en) 2020-12-02
WO2019143959A1 (en) 2019-07-25
KR20200099590A (ko) 2020-08-24
KR102568871B1 (ko) 2023-08-18
US11328456B2 (en) 2022-05-10
US20230351644A1 (en) 2023-11-02
US20210074031A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
CN111602104B (zh) 用于与所识别的对象相关联地呈现合成现实内容的方法和设备
US11836282B2 (en) Method and device for surfacing physical environment interactions during simulated reality sessions
CN111273766B (zh) 用于生成链接到物品模拟现实表示的示能表示的方法、设备和系统
US20230351644A1 (en) Method and device for presenting synthesized reality companion content
US20240094815A1 (en) Method and device for debugging program execution and content playback
US20230215079A1 (en) Method and Device for Tailoring a Synthesized Reality Experience to a Physical Setting
CN112639889A (zh) 内容事件映射
US11886625B1 (en) Method and device for spatially designating private content
US20240013487A1 (en) Method and device for generating a synthesized reality reconstruction of flat video content
US11386653B2 (en) Method and device for generating a synthesized reality reconstruction of flat video content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant