CN117724247A - 具有可靠的透传视频回退能力的头戴式电子设备 - Google Patents

Abstract

提供了一种具有可靠的透传视频回退能力的头戴式电子设备。提供了一种头戴式设备，该头戴式设备包括一个或多个被配置为获取原始视频馈送的相机，以及一个或多个被配置为向用户呈现透传视频馈送的显示器。该透传视频馈送的生成可涉及使用图像信号处理器和辅助计算块来处理该原始视频馈送。响应于检测到与该辅助计算块相关联的一个或多个故障，可绕过该辅助计算块中的一个或多个辅助计算块。以此方式进行配置与操作，该头戴式设备在发生故障时可回退到更可靠的透传视频馈送，而无需重新启动该头戴式设备的电源。

Description

具有可靠的透传视频回退能力的头戴式电子设备

本申请要求2023年9月6日提交的美国专利申请18/462,161号以及2022年9月19日提交的美国临时专利申请63/408,043号的优先权，这些专利申请据此全文以引用方式并入本文。

技术领域

本公开整体涉及电子设备，并且更具体地涉及诸如头戴式设备的电子设备。

背景技术

电子设备(诸如头戴式设备)可能具有用于捕获外部环境的视频馈送的相机，以及用于向用户呈现所捕获的视频馈送的一个或多个显示器。头戴式设备可以包括用于处理视频馈送的硬件或软件子系统，诸如用于执行视线跟踪、手势跟踪、或在视频馈送中的真实世界内容之上渲染虚拟内容的硬件/软件子系统。

设计一款向用户呈现此类透传视频馈送的头戴式设备可能具有挑战性。当这些子系统中的一个或多个子系统崩溃时，头戴式设备可以简单地重新启动发生故障的部件。在系统发生故障或崩溃时重新启动应用可能会出现问题，特别是当用户依赖透传视频馈送来导航外部环境时。如果不小心处理，视频馈送的视觉质量也可能下降，给用户带来视觉不适。

发明内容

电子设备(诸如头戴式设备)可包括一个或多个用于捕获真实世界环境的视频馈送的相机，以及一个或多个用于向用户呈现透传视频馈送的显示器。该电子设备可包括处理电路，该处理电路用于对所捕获的视频馈送执行一个或多个处理功能以生成透传视频馈送。该处理电路可包括专用计算块(诸如图像信号处理器)，并且还可包括用于对视频馈送执行应用级功能的辅助计算块。该电子设备可以多个视频透传模式进行操作，具体取决于处理电路中的一个或多个处理块是否有发生故障或以不可靠的方式操作。例如，从功能齐全的视频透传模式切换到相对较简单且更可靠的视频透传模式可帮助保护用户的视觉舒适度和对周围环境的感知。

本公开的一方面提供了一种操作电子设备的方法，该方法包括：使用至少一个图像传感器来获取视频馈送；识别处理电路的状况；基于所识别的该处理电路的状况，确定是以第一视频透传模式还是第二视频透传模式进行操作；当以该第一视频透传模式进行操作时，通过使用该处理电路对来自该至少一个图像传感器的该视频馈送执行处理功能来显示透传视频馈送；以及当以该第二视频透传模式进行操作时，基于来自该至少一个图像传感器的该视频馈送来显示透传视频馈送，而无需执行该处理功能。

该处理电路在该第一视频透传模式期间执行的该处理功能可包括：扩展现实内容生成、视线跟踪、头部姿态跟踪、动态凹视、视角校正、失真补偿和三维抠图。用于识别该处理电路的该状况的操作可包括：检测该处理电路中的故障，检测该处理电路的不稳定操作；检测内核紧急信号，检测监视定时器的到期；监视与该处理电路相关联的至少一个参数，以检测该至少一个参数是否陈旧、丢失或无效；以及/或者检测来自该处理电路的一个或多个错误信号。如果需要，该处理电路可在该第一视频透传模式期间对该视频馈送应用实时调整，并且可在该第二视频透传模式期间另选地对该视频馈送应用默认(回退)调整，以确保用户获得更稳定的视频体验。

本公开的一方面提供了一种用于在至少第一视频透传模式、第二视频透传模式和第三视频透传模式之间切换电子设备的方法。该方法可包括：使用一个或多个相机来获取视频馈送；使用图像信号处理器来处理该视频馈送；使用多个辅助计算块来有选择地处理该视频馈送；在该第一视频透传模式期间，通过使用该图像信号处理器以及使用该多个辅助计算块处理该视频馈送来显示透传视频馈送；确定已经满足第一模式切换条件还是第二模式切换条件；响应于确定已经满足该第一模式切换条件，从该第一视频透传模式切换到该第二视频透传模式，并且在该第二视频透传模式期间，通过使用该图像信号处理器处理该视频馈送，同时绕过该多个辅助计算块或使用该多个辅助计算块的回退值来显示透传视频馈送；以及响应于确定已经满足该第二模式切换条件，从该第一视频透传模式切换到该第三视频透传模式，并且在该第三视频透传模式期间，通过使用该图像信号处理器处理该视频馈送，同时绕过该多个辅助计算块的子集或使用该多个辅助计算块的该子集的回退值来显示透传视频馈送。

附图说明

图1是根据一些实施方案的例示性头戴式设备的顶视图。

图2是根据一些实施方案的例示性头戴式设备的示意图。

图3是示出根据一些实施方案的配置为处理透传视频流的例示性专用计算块和辅助计算块的示图。

图4是示出根据一些实施方案的透传视频流如何根据当前操作条件可被划分为不同层的示图。

图5是根据一些实施方案的用于在两个不同层之间切换的例示性操作的流程图。

图6是根据一些实施方案的用于在三个不同层之间切换透传视频流的例示性操作的流程图。

具体实施方式

电子设备(诸如头戴式设备)可具有背向用户头部的正面，并且可具有面向用户头部的相对背面。设备正面上的一个或多个相机可用于捕获外部真实世界环境的实时透传视频流。设备背面上的一个或多个显示器可用于向用户的眼睛呈现实时透传视频流。

头戴式设备可包括用于对透传视频流执行基本处理的专用计算块，并且可能还包括用于有选择地对透传视频流执行更复杂或高级处理的辅助计算块(有时称为应用级子系统)。专用计算块可提供基本的图像信号处理功能，而辅助计算块可提供可扩展的视频处理功能，诸如视线跟踪(或其他身体部位的跟踪)、视角校正、虚拟内容渲染、动态凹视、失真补偿等。

在操作期间，与辅助计算块相关联的一些功能可能会崩溃或发生故障，导致透传视频馈送中出现系统故障或其他不稳定性。为了保护用户的视觉舒适度和对周围环境的感知，响应于检测到处理电路的状况(诸如检测到系统故障或不稳定性)，头戴式设备可自动切换或回退到可靠(或稳定)的透传视频馈送，该透传视频馈送仅依赖专用计算块(同时绕过、停用或使用默认/回退设置的辅助计算块)，或仅依赖功能性计算块(同时绕过、停用或使用默认设置的任何故障计算块)。故障或不稳定性检测方案可依赖于检测到内核紧急信号或监视定时器的到期、辅助计算块的自主报告、系统参数的主动监视和/或检测到其他适当条件来推断一个或多个辅助计算块可能已经崩溃。通过以这种方式回退到更可靠的透传视频馈送，头戴式设备可在发生崩溃时避免重新启动系统，同时最小化用户的视觉不适感。

图1中示出了例示性头戴式设备的顶视图。如图1所示，头戴式设备诸如电子设备10可具有头戴式支撑结构诸如外壳12。外壳12可包括用于允许将设备10穿戴在用户的头部上的部分(例如，头戴式支撑结构12T)。支撑结构12T可由织物、聚合物、金属和/或其他材料形成。支撑结构12T可形成条带或其他头戴式支撑结构以帮助将设备10支撑在用户头部上。外壳12的主支撑结构(例如，头戴式外壳诸如主外壳部分12M)可支撑电子部件诸如显示器14。

主外壳部分12M可包括由金属、聚合物、玻璃、陶瓷和/或其他材料形成的外壳结构。例如，外壳部分12M可具有由刚性聚合物或其他刚性支撑结构形成的在正面F上的外壳壁和在相邻的顶面、底面、左侧面和右侧面上的外壳壁，并且这些刚性壁可任选地覆盖有电子部件、织物、皮革或其他软材料等。外壳部分12M还可具有内部支撑结构，诸如框架(底盘)和/或执行多种功能(诸如控制气流和散热同时提供结构支撑)的结构。

外壳部分12M的壁可包封设备10的内部区域34中的内部部件38，并且可将内部区域34与设备10周围的环境(外部区域36)分开。内部部件38可包括集成电路、致动器、电池、传感器和/或用于设备10的其他电路和结构。外壳12可被配置为穿戴在用户的头部上，并且可形成眼镜、框架眼镜、帽子、面具、头盔、护目镜和/或其他头戴式设备。其中外壳12形成护目镜的构型在本文中有时作为示例进行描述。

外壳12的正面F可远离用户的头部和面部面向外。外壳12的相对背面R可面向用户。位于背面R上的外壳12的部分(例如，主外壳12M的部分)可形成覆盖件，诸如覆盖件12C(有时被称为遮帘)。背面R上的覆盖件12C的存在可有助于隐藏内部外壳结构、内部部件38和内部区域34中的其他结构以免被用户看到。

设备10可具有一个或多个相机，诸如图1的相机46。安装在正面F上并且面向外(朝向设备10的前部并远离用户)的相机46在本文中有时可被称为前向或前置相机。相机46可捕获视觉测距信息、被处理以定位用户视野中的对象(例如，使得虚拟内容可相对于真实世界对象适当地注册)的图像信息、为设备10的用户实时显示的图像内容和/或其他合适的图像数据。例如，前向(正向)相机可允许设备10监测设备10相对于设备10周围的环境的移动(例如，相机可用于形成视觉测距系统或视觉惯性测距系统的一部分)。前向相机还可用于捕获向设备10的用户显示的环境的图像。如果需要，来自多个前向相机的图像可彼此合并和/或前向相机内容可与针对用户的计算机生成的内容合并。

设备10可具有任何合适数量的相机46。例如，设备10可具有K个相机，其中K的值为至少一、至少二、至少四、至少六、至少八、至少十、至少12、小于20、小于14、小于12、小于10、4-10或其他合适的值。相机46可在红外波长下敏感(例如，相机46可为红外相机)，可在可见波长下敏感(例如，相机46可为可见相机)，和/或相机46可在其他波长下敏感。如果需要，相机46可在可见波长和红外波长下都是敏感的。

设备10可具有左光学模块和右光学模块40。光学模块40支撑电子部件和光学部件诸如发光部件和透镜，并且因此有时可被称为光学组件、光学系统、光学部件支撑结构、透镜和显示器支撑结构、电子部件支撑结构或外壳结构。每个光学模块可包括相应的显示器14、透镜30和支撑结构诸如支撑结构32。有时可被称为透镜支撑结构、光学部件支撑结构、光学模块支撑结构或光学模块部分、或透镜镜筒的支撑结构32可包括具有开口端的中空柱状体结构或用于容纳显示器14和透镜30的其他支撑结构。支撑结构32可例如包括支撑左显示器14和左透镜30的左透镜镜筒和支撑右显示器14和右透镜30的右透镜镜筒。

显示器14可包括像素阵列或其他显示设备以产生图像。显示器14可例如包括形成在具有薄膜电路的基板上和/或形成在半导体基板上的有机发光二极管像素、由晶体半导体管芯形成的像素、液晶显示器像素、扫描显示设备和/或用于产生图像的其他显示设备。

透镜30可包括用于将图像光从显示器14提供到相应的适眼区13的一个或多个透镜元件。透镜可使用折射玻璃透镜元件、使用反射镜透镜结构(反射折射透镜)、使用菲涅耳透镜、使用全息透镜和/或其他透镜系统来实现。

当用户的眼睛位于适眼区13中时，显示器(显示面板)14一起操作以形成设备10的显示器(例如，用户的眼睛可以在适眼区13中查看相应的左右光学模块40所提供的图像，使得为用户创建立体图像)。当用户查看显示器时，来自左光学模块的左图像与来自右光学模块的右图像融合。

可能期望在用户的眼睛位于适眼框13中时监视用户的眼睛。例如，可能期望使用相机来捕获用户的虹膜(或用户眼睛的其他部分)的图像以用于用户认证。还可能期望监视用户视线的方向。视线跟踪信息可用作一种形式的用户输入和/或可用于确定在小凹成像系统中应在图像内的何处局部增强图像内容分辨率。为了确保设备10能在用户的眼睛位于适眼框13中时捕获令人满意的眼睛图像，每个光学模块40可设置有相机(诸如相机42)和一个或多个光源(诸如发光二极管44)或其他发光设备(诸如激光器、灯等)。相机42和发光二极管44可在任何合适的波长(可见光、红外光和/或紫外光)操作。例如，二极管44可发射用户不可见(或几乎不可见)的红外光。这允许连续执行眼睛监视操作，而不干扰用户查看显示器14上的图像的能力。

图2中示出了例示性电子设备(诸如头戴式设备或其他可穿戴设备)的示意图。图2的设备10可作为独立设备操作和/或设备10的资源可用于与外部电子设备通信。例如，设备10中的通信电路可用于将用户输入信息、传感器信息和/或其他信息传输到外部电子设备(例如，无线地或经由有线连接)。这些外部设备中的每个外部设备可包括图2的设备10所示的类型的部件。

如图2所示，头戴式设备(诸如设备10)可包括控制电路20。控制电路20可包括用于支持设备10的操作的存储和处理电路。该存储和处理电路可包括存储设备，诸如非易失性存储器(例如，闪存存储器或被配置为形成固态驱动器的其他电可编程只读存储器)、易失性存储器(例如，静态或动态随机存取存储器)等。控制电路20中的一个或多个处理器可用于收集来自传感器和其他输入设备的输入，并且可用于控制输出设备。处理电路可基于一个或多个处理器(诸如微处理器、微控制器、数字信号处理器、基带处理器和其他无线通信电路、电源管理单元、音频芯片、特定应用集成电路等。在操作期间，控制电路20可使用显示器14和其他输出设备为用户提供视觉输出和其他输出。控制电路20可被配置为使用硬件(例如，专用硬件或电路)、固件和/或软件在设备10中执行操作。用于在设备10中执行操作的软件代码可以存储在存储电路(例如，存储软件代码的非暂态(有形)计算机可读存储介质)上。该软件代码可有时被称为程序指令、软件、数据、指令、或代码。所存储的软件代码可由电路20内的处理电路执行。

为了支持设备10与外部装备之间的通信，控制电路20可使用通信电路22进行通信。电路22可包括天线、射频收发器电路以及其他无线通信电路和/或有线通信电路。电路22(有时可被称为控制电路和/或控制和通信电路)可支持设备10与外部设备(例如，配套设备诸如计算机、蜂窝电话或其他电子设备，附件诸如点设备、控制器、计算机触笔或其他输入设备、扬声器或其他输出设备等)之间经由无线链路的双向无线通信。

例如，电路22可包括射频收发器电路，诸如被配置为支持经由无线局域网链路的通信的无线局域网收发器电路、被配置为支持经由近场通信链路的通信的近场通信收发器电路、被配置为支持经由蜂窝电话链路的通信的蜂窝电话收发器电路，或者被配置为支持经由任何其他适当的有线或无线通信链路的通信的收发器电路。例如，可以经由链路、/>链路、工作于10GHz和400GHz之间频率的无线链路、60GHz链路或其他毫米波链路、蜂窝电话链路或者其他无线通信链路支持无线通信。设备10(如果需要)可包括用于传输和/或接收有线和/或无线电力的电源电路，并且可包括电池或其他能量存储设备。例如，设备10可包括线圈和整流器以接收提供给设备10中的电路的无线电力。

设备10可包括诸如设备24的输入-输出设备。输入-输出设备24可用于采集用户输入、用于采集关于用户周围环境的信息和/或向用户提供输出。设备24可包括一个或多个显示器，诸如显示器14。显示器14可包括一个或多个显示设备，诸如有机发光二极管显示面板(在包含像素控制电路的聚合物基板或硅基板上形成有有机发光二极管像素的面板)、液晶显示器面板、微机电系统显示器(例如，二维反射镜阵列或扫描镜显示设备)、具有由晶体半导体发光二极管管芯(有时被称为微LED)形成的像素阵列的显示面板和/或其他显示设备。

输入-输出设备24中的传感器16可包括力传感器(例如，应变计、电容式力传感器、电阻式力传感器等)、音频传感器(诸如麦克风)、触摸和/或接近传感器(诸如电容式传感器，诸如形成按钮、触控板或其他输入设备的触摸传感器)以及其他传感器。如果需要，传感器16可包括光学传感器(诸如发射和检测光的光学传感器)、超声波传感器、光学触摸传感器、光学接近传感器和/或其他触摸传感器和/或接近传感器、单色和彩色环境光传感器、图像传感器(例如，相机)、指纹传感器、虹膜扫描传感器、视网膜扫描传感器和其他生物特征传感器、温度传感器、用于测量三维无接触手势(“空中手势”)的传感器、压力传感器、用于检测位置、取向和/或设备10的运动和/或关于用户头部姿态的信息的传感器(例如，加速度计、磁性传感器诸如罗盘传感器、陀螺仪和/或包含这些传感器中的一些或全部传感器的惯性测量单元)、健康传感器诸如血氧传感器、心率传感器、血流传感器和/或其他健康传感器、射频传感器、三维相机系统诸如深度传感器(例如，结构光传感器和/或基于捕获三维图像的立体成像设备的深度传感器)、和/或光学传感器诸如自混合传感器和采集飞行时间测量结果的光探测及测距(激光)传感器(例如，飞行时间相机)、湿度传感器、潮湿传感器、视线跟踪传感器、感测肌肉活化的肌电图传感器、面部传感器和/或其他传感器。在一些布置中，设备10可使用传感器16和/或其他输入-输出设备来采集用户输入。例如，按钮可用于采集按钮按压输入，与显示器重叠的触摸传感器可用于采集用户触摸屏输入，触摸板可用于采集触摸输入，麦克风可用于采集音频输入(例如，语音命令)，加速度计可用于监测手指何时接触输入表面并且因此可用于采集手指按压输入等。

如果需要，电子设备10可以包括附加部件(参见例如输入-输出设备24中的其他设备18)。附加部件可包括触觉输出设备、用于使可移动外壳结构移动的致动器、音频输出设备诸如扬声器、用于状态指示器的发光二极管、照射外壳和/或显示器结构的部分的光源诸如发光二极管、其他光学输出设备以及/或者用于采集输入和/或提供输出的其他电路。设备10还可包括电池或其他能量存储设备、用于支持与辅助装备的有线通信以及用于接收有线电力的连接器端口以及其他电路。

显示器14可用于向用户的眼睛呈现各种内容。当通过眼盒13观看时，用于向用户的眼睛呈现合成立体图像的左右显示器14有时可被统称为显示器14。例如，显示器14可以呈现虚拟现实(VR)内容。虚拟现实内容可指在虚拟现实(计算机生成的)环境中仅包括虚拟对象的内容。又如，显示器14可以呈现混合现实(MR)内容。混合现实内容可指包括虚拟对象和来自设备10正在运行的真实世界物理环境中的真实对象的内容。又如，显示器14仅可呈现真实世界内容。真实世界内容可指由一个或多个前置相机(参见例如图1中的相机46)捕获并且作为实时馈送传递给用户的图像。因此，由前置相机捕获的真实世界内容有时被称为相机透传馈送、(实时)视频透传馈送或透传视频馈送(流)。

图3示出了由设备10中的前置相机捕获的透传视频馈送，在由显示器14输出之前，如何使用一个或多个计算块进行处理。如图3所示，一个或多个相机50可捕获并输出透传视频馈送给专用计算块52。相机50可表示前置相机46和/或可用于捕获设备10周围的外部真实世界环境的图像的其他相机。来自相机50的视频馈送输出有时可被称为原始视频馈送。专用计算块52可包括硬件和/或软件块(子系统)，这些硬件和/或软件块被配置为对原始视频馈送执行基本图像信号处理，以生成经处理的透传视频馈送。

专用计算块52可包括显示缓冲器54，该显示缓冲器被配置为在设备10内的各种计算块处理透传视频馈送时存储或缓冲该透传视频馈送。专用计算块56可包括图像信号处理(ISP)块(诸如图像信号处理器56)，该图像信号处理块被配置为执行仅依赖于实时相机馈送本身输入的经典ISP功能。例如，ISP块56可配置为执行用于控制透传视频馈送的曝光设置的自动曝光，用于控制白平衡的自动颜色校正(有时被称为自动白平衡)、色调曲线映射、伽玛校正、阴影校正、降噪、黑电平调整、去马赛克、图像锐化、高动态范围(HDR)校正、颜色空间转换和/或其他图像信号处理功能(仅举几例)。

专用计算块52还可包括图像合成器(诸如合成器58)。合成器58可用于在透传视频馈送之上叠加相对简单的图像。响应于检测到与透传视频馈送相关联的系统故障或其他不稳定性，合成器58可被指示在叠加文本图像，提醒用户可能存在错误或故障。例如，合成器58可在检测到一个或多个系统错误或实时透传视频流中可能存在的不稳定性时，叠加写着“请移除头戴式耳机”文本。如果需要，合成器58可用于叠加针对用户的其他类型的警告消息或提醒。显示器14可接收来自专用计算块52的经处理的透传视频馈送。

除了专用计算块52之外，设备10还可包括辅助计算块70。与专用计算块52相比，辅助计算块70可包括硬件和/或软件块(子系统)，这些硬件和/或软件块被配置为有选择地执行更高级的图像调整，这些调整可能不仅依赖于相机馈送本身，还依赖于从设备10中其他传感器收集的信息。在图3的示例中，辅助计算块70可包括扩展现实(XR)处理块(诸如XR处理器72)，该扩展现实处理块被配置为在透传视频馈送中的真实世界内容之上叠加虚拟内容；视线跟踪块(诸如视线跟踪器74)，该视线跟踪块被配置为跟踪用户在观看显示器14时的视线；动态凹视块(诸如动态凹视子系统76)，该动态凹视块被配置为在用户视线的区域内局部增强视频馈送的图像分辨率(同时降低与用户视线不对齐的区域的图像分辨率)；头部姿态跟踪块(诸如头部跟踪器78)，该头部姿态跟踪块被配置为跟踪用户的头部姿态(例如，跟踪与用户头部相关联的偏斜、俯仰、摇晃或其他动作)；视角(POV)校正块(诸如POV校正子系统80)，该视角校正块被配置为调整透传视频馈送以修复相机50相对于由相机50捕获的对象的角度(或倾斜)相关联的任何问题；失真补偿块(诸如失真补偿子系统82)，该失真补偿块被配置为调整透传视频馈送以修复与由相机50中的镜头和/或显示器14中的镜头引起的失真相关联的任何问题；三维(3D)抠图块(诸如3D抠图子系统84)，该三维抠图块被配置为计算捕获图像中的深度信息；场景理解块(诸如场景理解子系统86)，该场景理解块被配置为检测捕获图像中的各种类型的对象(例如，检测静态对象是否为墙壁，检测移动对象是否为狗等)；图像合成器(诸如合成器88)，该图像合成器被配置为在透传视频馈送上叠加由块72生成的VR内容、其来自他应用的内容；和/或和/或与其他软件或更高级应用相关联的其他计算块90。一般来讲，XR处理器72可被配置为生成虚拟现实(VR)内容、增强现实(AR)内容、混合现实(MR)内容，或可用于执行其他图形处理功能。这种类型的辅助计算块70有时被称为应用级子系统或应用子系统。辅助计算块70可对透传视频馈送应用各种调整和校正，然后再由显示器14输出经处理的视频馈送。专用计算块52和辅助计算块70可统称为处理电路。

根据实施方案，当可能导致透传视频馈送失败的系统错误发生或检测到与透传视频馈送相关联的参数不稳定性时，设备10可自动切换(或回退)到可靠的透传视频馈送，从而保护用户的视觉舒适性和对周围环境的感知。例如，设备10可检测到辅助计算块70中的一个或多个辅助计算块何时崩溃或输出故障数据。例如，当辅助计算块中的任一个或多个辅助计算块发生故障时，可能会在路径92上输出操作系统级别的内核紧急信号(紧急标志)或其他一般故障信号。当检测到存储器错误和/或检测到操作系统中的错误时，可能会断定内核紧急信号(作为示例)。

又如，系统可主动监视由辅助计算块70在路径94上传输的各个参数。在此类实施方案中，设备10可包括用于监视路径94上的参数的参数监视块60。路径84上的参数可包括由XR处理块72生成的VR/AR/MR内容(例如，块60或62可用于监视由辅助计算块70输出的虚拟内容)。在此类主动监视方案中，系统可通过检测一个或多个参数是否陈旧(例如，通过观察本应定期更新但却重复的帧或重复的虚拟内容)，通过检测一个或多个参数是否丢失(例如，通过观察本应存在但却完全缺失的帧或虚拟内容)，以及/或通过检测一个或多个参数是否无效(例如，通过观察无效或变化的帧速率或观察参数是否在预期值范围之外)来检测特定故障。可调整被视为故障的重复帧的数量。如果需要，设备10还可包括定时器(诸如监视定时器62)，该定时器监视一个或多个硬件/软件子系统70何时超时或停止运行。例如，监视定时器62可被配置为监视路径94上一个或多个参数的最近活动。监视定时器62的到期可能指示正在监视的参数中的一个或多个参数陈旧、丢失或无效，从而指示辅助计算块70中的一个或多个辅助计算块已崩溃或故障。如果需要，可任选地使用纠错码(ECC)方案来检测和/或纠正参数中的错误。

又如，系统可自行报告错误(例如，各个辅助计算块可在路径96上输出相应的错误信号)。例如，当XR处理块72崩溃或出现不稳定情况时，其可能会输出错误信号Err1，当视线跟踪器74崩溃或出现不稳定情况时，其可能会输出错误信号Err2，等等。一般来讲，硬件部件和软件应用中的任一者都可引发异常或其他提醒，通知系统可能出现故障。如果需要，透传视频馈送可输出默认(回退)的虚拟内容，该默认的虚拟内容不依赖于应用级子系统70的继续操作，并且通知用户可能存在故障。例如，当检测到关键系统故障或视频馈送不稳定性时，设备10可叠加写着“请摘下头戴式耳机”的提醒消息。又如，当检测到系统故障/错误或视频馈送不稳定性时，设备10可播放音频提示或其他听得见的提醒以通知用户。如果需要，可使用作为块52的一部分的可靠(备用)渲染部件来预先渲染或渲染默认的虚拟内容。以此方式操作，默认内容的渲染不取决或依赖于辅助计算块70的正常操作。

图3是示出用于输出透传视频馈送的多层方法的示图。当所有辅助计算块70正常操作时，透传视频馈送将结合来自各种应用级子系统的所有调整。例如，由块72提供的VR/AR内容叠加、由块76提供的动态凹视、由块80提供的POV校正、由块82提供的镜头失真补偿以及所有其他应用级功能都处于活动状态。这在本文中有时被称为“层1”或正常透传操作100。在层1正常透传操作/模式期间，只有虚拟内容可任选地显示给用户(作为示例)。在其他场景下，设备10还可在层1正常透传模式期间显示虚拟内容和透传内容的组合。

当辅助计算块70中的一个或多个辅助计算块崩溃时，可暂时绕过(忽略)崩溃的块，或者可针对这些特定块使用默认参数(有时被称为回退参数)。例如，如果XR处理块72崩溃，则XR处理器和依赖于块72的渲染功能的其他应用级辅助计算块可被暂时挂起并绕过，而其他非故障辅助计算块可继续按预期操作。又如，如果POV校正块80崩溃，则POV校正块和依赖于POV校正块数据的其他应用级辅助计算块可被暂时挂起并绕过，而其他非故障辅助计算块可继续按预期操作。再如，如果失真补偿块82崩溃，则失真补偿块和依赖于失真补偿块数据的其他应用级辅助计算块可被暂时挂起并绕过，而其他非故障辅助计算块可继续按预期操作。可通过监视每个单独的计算块的参数、经由自主错误报告，或通过监视来自辅助计算块70的其他应用级提醒标志输出来检测故障块。该操作(其中，即使存在一个或多个可能的错误，仍可输出至少部分增强的透传视频馈送)在本文中有时被称为“层2”或高质量透传操作102或中间透传回退操作。当设备10回退到层2高质量透传操作时，设备10可输出音频或触觉提醒(以及任选的文本消息)，通知用户切换到层2透传模式102。在层2高质量透传操作/模式期间，透传内容可任选地与一些虚拟内容混合，并且混合(合并)内容可任选地显示给用户(作为示例)。

当辅助计算块70中的一个或多个辅助计算块崩溃时，所有辅助计算块都可被暂时绕过/忽略，或者可针对所有辅助计算块使用默认(回退)参数。在该模式下，只有与专用计算块52相关联的功能处于活动状态。例如，只有由块56提供的基本图像信号处理功能和/或由块58提供的基本消息叠加功能处于活动状态。即使只有一个辅助计算块70有故障，这也可能发生。当检测到内核紧急信号或其他一般操作系统级紧急标志、检测到一个或多个监视定时器的到期、检测到一个或多个辅助计算块崩溃(例如，通过监视每个单独的辅助计算块的参数、经由自主错误报告，或通过监视来自辅助计算块的其他应用级提醒标志输出)等时，可触发该模式。该操作(其中，基本的可靠(稳定)透传视频馈送传递到显示器14，而无需应用级子系统70的任何增强或调整)在本文中有时被称为“层3”或简单透传操作104或简单透传回退操作。如果需要，可任选地在简单(稳定)透传视频馈送之上叠加安全通知。当设备10由于检测到辅助计算块中的一个或多个辅助计算块的故障或由于视频馈送中的其他不稳定性而回退到简单透传操作时，设备10可输出音频或触觉提醒(以及任选的文本消息)，通知用户切换到简单透传模式104。例如，音频和/或视觉消息可以告诉用户移除设备10、重新启动设备10，或以其他方式等待一段时间，以允许故障块恢复。

如果需要，某些辅助计算块70的崩溃或故障可能会自动将设备10的操作从层1或层2直接切换到层3简单透传回退模式。例如，响应于检测到视线跟踪器块74崩溃，设备10可自动切换到层3简单透传回退模式，以绕过所有辅助计算块70。又如，响应于检测到头部姿态跟踪器块78崩溃，设备10也可自动切换到层3简单透传回退模式，以绕过所有辅助计算块70。这仅为例示性的。其他块70的故障也可能触发此类直接切换到层3回退模式的情况。

在一些实施方案中，设备10可在正常操作模式100与简单透传模式104之间交替(例如，不使用层2操作)。换句话说，高质量透传模式102是任选的。在其他实施方案中，设备10可在正常操作模式100与高质量透传模式102之间交替(例如，不使用层3操作)。换句话说，简单透传模式104是任选的。在又一些其他实施方案中，设备10可在正常操作模式100、高质量透传模式102和简单透传模式104之间切换(例如，所有三层或视频透传模式都在使用)。

图5是例示性操作的流程图，该例示性操作用于使用设备10在层1正常透传模式与层3简单透传回退模式之间进行切换(有时分别被称为第一视频透传模式和第二视频透传模式)。在框110的操作期间，可接通设备10电源。通电后，设备10可在层1正常透传模式下操作(参见框112的操作)。

在框114的操作期间，设备10可检测一个或多个一般(系统级)或特定(块级)故障。例如，设备10可通过观察内核紧急标志的断定，通过监视辅助计算块的参数以确定参数是否陈旧、无效或不存在，通过监视来自辅助计算块的自主报告错误信号输出，通过检测一个或多个监视定时器的到期，通过执行ECC操作或通过执行其他错误/故障检测操作来检测故障。

响应于在框114的操作期间检测到故障，设备10可切换为以层3简单透传回退模式进行操作(参见框116的操作)。在简单透传回退模式期间，可绕过所有辅助块功能，或者可针对所有辅助计算块使用默认(回退)参数。例如，在层3模式期间，只有与块56相关联的基本ISP功能应用于透传视频馈送，而与块70相关联的应用级图像调整算法被暂时挂起或处于非活动状态。

在框118的操作期间，与故障或崩溃的块相关联的硬件/软件子系统可被重新启动、重置或以其他方式恢复，以尝试恢复正常功能。一旦有问题的块正常操作，设备10可回复到以层1正常透传模式进行操作，如环回路径119所示。如果需要，当有问题的块在一段时间后无法恢复，则设备10可任选地重新启动(重启)。例如，如果一个或多个有问题的块在5秒内、在10秒内、在1至5秒内、在5至10秒内、在10至20秒内无法恢复，或者层3持续时间超过其他阈值，则设备10可任选地重启。在一些实施方案中，当设备10以层3简单透传模式104操作了一段时间后，设备10可任选地过渡到又一种模式，在该模式下，显示器14在设备10重新启动时呈现黑屏和/或缓存的(默认)图像。如果需要，在此期间可向用户输出任何类型的带有视觉消息和/或音频消息的虚拟内容，以告知用户设备10正在重启。

图5的示例在启动时默认为层1正常透传操作(框112)，这仅为例示性的。如果需要，设备10可另选地在启动后默认为层3简单透传模式(框116)。在验证所有辅助计算块功能都正常操作之后，设备10可最终切换到以层1正常透传模式进行操作。

图5的示例中头戴式设备10在层1与层3透传模式之间切换，这仅为例示性的。图6是例示性操作的流程图，该例示性操作用于使用设备10在层1正常透传模式、层3简单透传回退模式和层2高质量透传回退模式之间切换。在框120的操作期间，可接通设备10电源。通电后，设备10可在层1正常透传模式下操作(参见框122的操作)。

在框124的操作期间，设备10可检测触发层3简单透传回退模式的条件。例如，设备10可通过观察内核紧急标志的断定，通过检测一个或多个监视定时器的到期，或者通过执行其他指示系统级故障的错误检测操作来检测一般故障。

响应于检测到触发层3操作的条件，设备10可切换为以层3简单透传回退模式进行操作(参见框126的操作)。在简单透传回退模式期间，可绕过所有辅助块功能，或者可针对所有辅助计算块使用默认(回退)参数。例如，在层3模式期间，只有与块56相关联的基本ISP功能应用于透传视频馈送，而与块70相关联的应用级图像调整算法被暂时挂起或处于非活动状态。在此期间，与故障或崩溃的块相关联的硬件/软件子系统可被重新启动或重置，以尝试恢复正常功能。一旦有问题的块正常操作，设备10可回复到以层1正常透传模式进行操作(例如，循环回到框122的操作)。如果需要，当满足触发层2操作的条件时，设备10还可从层3简单透传模式操作切换到层2高质量透传模式操作。例如，当更关键的辅助计算块(诸如视线跟踪器)恢复并重获正常功能，但不太关键的辅助计算块(诸如VR内容处理器)仍存在故障或尝试恢复时，可能触发从层3模式到层2模式的自动切换。

在框128的操作期间，设备10可检测触发层2高质量透传回退模式的条件。例如，设备10可通过监视辅助计算块的参数以确定参数是否陈旧、无效或不存在，通过监视来自辅助计算块的自主报告错误信号输出，通过执行ECC操作或通过执行其他错误/故障检测操作来检测特定故障。

响应于检测到触发层2操作的条件，设备10可切换为以层2高质量透传回退模式进行操作(参见框130的操作)。在高质量透传回退模式期间，只能绕过一些(子集)辅助块功能，或者可针对故障辅助计算块使用默认(回退)参数。例如，在层2模式期间，可绕过或忽略与崩溃的XR处理块72相关联的所有功能，而与其余正常操作的辅助计算块70相关联的功能仍在运行。换句话说，只有与故障的辅助计算块相关联的功能被暂时挂起或处于非活动状态。在此期间，与故障或崩溃的块或设备10相关联的硬件/软件子系统可被重新启动或重置，以尝试恢复正常功能。一旦有问题的块正常操作，设备10可回复到以层1正常透传模式进行操作(例如，循环回到框122的操作)。如果需要，当满足触发层3操作的条件时，设备10还可从层2切换到层3以简单透传模式进行操作，如路径132所示。例如，当更关键的辅助计算块(诸如视线跟踪器)发生故障时，可能触发从层2模式到层3模式的自动切换。

以上结合图1至图6描述的方法和操作可由设备10的部件使用软件、固件和/或硬件(例如，专用电路或硬件)来执行。用于执行这些操作的软件代码可存储在非暂态计算机可读存储介质(例如，有形计算机可读存储介质)上，该非暂态计算机可读存储介质存储在设备10的部件中的一个或多个部件上(例如，图1中控制电路20内的存储电路)。该软件代码有时可被称为软件、数据、指令、程序指令或代码。非暂态计算机可读存储介质可包括驱动器、非易失性存储器诸如非易失性随机存取存储器(NVRAM)、可移动闪存驱动器或其他可移动介质、其他类型的随机存取存储器等。存储在非暂态计算机可读存储介质上的软件可由设备10的部件中的一个或多个部件上的处理电路(例如，控制电路20中的一个或多个处理器)来执行。处理电路可包括微处理器、应用处理器、数字信号处理器、中央处理单元(CPU)、具有处理电路的专用集成电路或其他处理电路。

物理环境是指人们在没有电子设备帮助的情况下能够感测和/或与其交互的物理世界。相反，扩展现实(XR)环境是指人们经由电子设备感测和/或交互的完全或部分模拟的环境。例如，XR环境可包括增强现实(AR)内容、混合现实(MR)内容、虚拟现实(VR)内容等。在XR系统的情况下，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在XR环境中模拟的一个或多个虚拟对象的一个或多个特征。

有许多不同类型的电子系统可使人能够感测和/或与各种XR环境交互。示例包括可头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持式控制器)、智能电话、平板电脑、以及台式/膝上型计算机。

根据实施方案，提供了一种操作具有至少一个图像传感器和处理电路的电子设备的方法，该方法包括：使用该至少一个图像传感器来获取视频馈送；识别该处理电路的状况；基于所识别的该处理电路的状况，确定是以第一视频透传模式还是第二视频透传模式进行操作；当以该第一视频透传模式进行操作时，通过使用该处理电路对来自该至少一个图像传感器的该视频馈送执行处理功能来显示透传视频馈送；以及当以该第二视频透传模式进行操作时，基于来自该至少一个图像传感器的该视频馈送来显示透传视频馈送，而无需执行该处理功能。

根据另一实施方案，该处理电路在该第一视频透传模式期间执行的该处理功能包括选自由以下组成的组的功能：扩展现实内容生成、视线跟踪、头部姿态跟踪、动态凹视、视角校正、失真补偿和三维抠图。

根据另一实施方案，该方法包括在该第一视频透传模式和该第二视频透传模式期间，使用该处理电路来执行选自由以下组成的组的功能：自动曝光、自动白平衡、色调曲线映射、伽玛校正、阴影校正、降噪、黑电平调整、去马赛克和图像锐化。

根据另一实施方案，识别该处理电路的该状况包括检测该处理电路中的故障或检测该处理电路的不稳定操作。

根据另一实施方案，检测该状况包括检测内核紧急信号。

根据另一实施方案，检测该状况包括检测监视定时器的到期。

根据另一实施方案，检测该状况包括监视与该处理电路相关联的至少一个参数，以检测该至少一个参数是否陈旧、丢失或无效。

根据另一实施方案，检测该状况包括检测来自该处理电路的一个或多个错误信号。

根据另一实施方案，该方法包括当以该第二视频透传模式进行操作时，通过对来自该至少一个图像传感器的该视频馈送应用默认调整来显示该透传视频馈送。

根据实施方案，提供了一种操作具有至少一个相机和处理电路的电子设备的方法，该方法包括：使用该至少一个相机来获取视频馈送；识别该处理电路的状况；基于所识别的该处理电路的状况，确定是以第一视频透传模式还是第二视频透传模式进行操作；当以该第一视频透传模式进行操作时，通过使用该处理电路对来自该至少一个相机的该视频馈送应用调整来显示透传视频馈送；以及当以该第二视频透传模式进行操作时，通过使用该处理电路对来自该至少一个相机的该视频馈送应用不同于该调整的默认调整来显示透传视频馈送。

根据另一实施方案，该处理电路应用的该调整包括执行选自由以下组成的组的功能：扩展现实内容生成、视线跟踪、头部姿态跟踪、动态凹视、视角校正、失真补偿和三维抠图。

根据另一实施方案，识别该处理电路的该状况包括检测该处理电路中的故障或检测该处理电路的不稳定操作。

根据另一实施方案，检测该状况包括检测内核紧急信号或监视定时器的到期。

根据另一实施方案，检测该状况包括监视与该处理电路相关联的至少一个参数，以检测该至少一个参数是否陈旧、丢失或无效。

根据另一实施方案，检测该状况包括检测来自该处理电路的一个或多个错误信号。

根据实施方案，提供了一种操作能够以第一视频透传模式、第二视频透传模式和第三视频透传模式操作的头戴式设备的方法，该方法包括：使用一个或多个相机来获取视频馈送；使用图像信号处理器来处理该视频馈送；使用多个辅助计算块来有选择地处理该视频馈送；在该第一视频透传模式期间，通过使用该图像信号处理器以及使用该多个辅助计算块处理该视频馈送来显示透传视频馈送；确定已经满足第一模式切换条件还是第二模式切换条件；响应于确定已经满足该第一模式切换条件，从该第一视频透传模式切换到该第二视频透传模式，并且在该第二视频透传模式期间，通过使用该图像信号处理器处理该视频馈送，同时绕过该多个辅助计算块或使用该多个辅助计算块的回退值来显示透传视频馈送；以及响应于确定已经满足该第二模式切换条件，从该第一视频透传模式切换到该第三视频透传模式，并且在该第三视频透传模式期间，通过使用该图像信号处理器处理该视频馈送，同时绕过该多个辅助计算块的子集或使用该多个辅助计算块的该子集的回退值来显示透传视频馈送。

根据另一实施方案，使用该图像信号处理器来处理该视频包括使用该图像信号处理器来执行选自由以下组成的组的功能：自动曝光、自动白平衡、色调曲线映射、伽玛校正、阴影校正、降噪、黑电平调整、去马赛克和图像锐化。

根据另一实施方案，使用该多个辅助计算块来有选择地处理该视频馈送包括使用该多个辅助计算块来执行选自由以下组成的组的功能：扩展现实内容生成、视线跟踪、头部姿态跟踪、动态凹视、视角校正、失真补偿以及三维抠图。

根据另一实施方案，确定是否已经满足该第一模式切换条件包括检测内核紧急信号或检测监视定时器的到期。

根据另一实施方案，确定是否已经满足该第二模式切换条件包括监视与该多个辅助计算块相关联的参数，以检测这些参数中的至少一个参数是否陈旧、丢失或无效；或者检测与该多个辅助计算块相关联的至少一个错误信号。

根据另一实施方案，该方法包括在以该第三视频透传模式操作该头戴式设备超过阈值的时间段后，重新启动该头戴式设备。

根据另一实施方案，该方法包括响应于从该第一视频透传模式切换到该第二视频透传模式，显示第一视觉提醒、音频提醒或触觉提醒；以及响应于从该第一视频透传模式切换到该第三视频透传模式，显示第二视觉提醒、音频提醒或触觉提醒。

前述内容仅为示例性的并且可对所述实施方案作出各种修改。前述实施方案可独立实施或可以任意组合实施。

Claims (20)

1.一种操作电子设备的方法，所述电子设备具有至少一个图像传感器和处理电路，所述方法包括：

使用所述至少一个图像传感器来获取视频馈送；

识别所述处理电路的状况；

基于所识别的所述处理电路的状况，确定是以第一视频透传模式还是第二视频透传模式进行操作；

当以所述第一视频透传模式进行操作时，通过使用所述处理电路对来自所述至少一个图像传感器的所述视频馈送执行处理功能来显示透传视频馈送；以及

当以所述第二视频透传模式进行操作时，基于来自所述至少一个图像传感器的所述视频馈送来显示透传视频馈送，而无需执行所述处理功能。

2.根据权利要求1所述的方法，其中所述处理电路在所述第一视频透传模式期间执行的所述处理功能包括选自由以下组成的组的功能：扩展现实内容生成、视线跟踪、头部姿态跟踪、动态凹视、视角校正、失真补偿和三维抠图。

3.根据权利要求2所述的方法，还包括：

在所述第一视频透传模式和所述第二视频透传模式期间，使用所述处理电路来执行选自由以下组成的组的功能：自动曝光、自动白平衡、色调曲线映射、伽玛校正、阴影校正、降噪、黑电平调整、去马赛克和图像锐化。

4.根据权利要求1所述的方法，其中识别所述处理电路的所述状况包括检测所述处理电路中的故障或检测所述处理电路的不稳定操作。

5.根据权利要求4所述的方法，其中检测所述状况包括检测内核紧急信号。

6.根据权利要求4所述的方法，其中检测所述状况包括检测监视定时器的到期。

7.根据权利要求4所述的方法，其中检测所述状况包括监视与所述处理电路相关联的至少一个参数，以检测所述至少一个参数是否陈旧、丢失或无效。

8.根据权利要求4所述的方法，其中检测所述状况包括检测来自处理电路的一个或多个错误信号。

9.根据权利要求1所述的方法，还包括：

当以所述第二视频透传模式进行操作时，通过对来自所述至少一个图像传感器的所述视频馈送应用默认调整来显示所述透传视频馈送。

10.一种操作电子设备的方法，所述电子设备具有至少一个相机和处理电路，所述方法包括：

使用所述至少一个相机来获取视频馈送；

识别所述处理电路的状况；

基于所识别的所述处理电路的状况，确定是以第一视频透传模式还是第二视频透传模式进行操作；

当以所述第一视频透传模式进行操作时，通过使用所述处理电路对来自所述至少一个相机的所述视频馈送应用调整来显示透传视频馈送；以及

当以所述第二视频透传模式进行操作时，通过使用所述处理电路对来自所述至少一个相机的所述视频馈送应用不同于所述调整的默认调整来显示透传视频馈送。

11.根据权利要求10所述的方法，其中所述处理电路应用的所述调整包括执行选自由以下组成的组的功能：扩展现实内容生成、视线跟踪、头部姿态跟踪、动态凹视、视角校正、失真补偿和三维抠图。

12.根据权利要求10所述的方法，其中识别所述处理电路的所述状况包括检测所述处理电路中的故障或检测所述处理电路的不稳定操作。

13.根据权利要求12所述的方法，其中检测所述状况包括检测内核紧急信号或监视定时器的到期。

14.根据权利要求12所述的方法，其中检测所述状况包括监视与所述处理电路相关联的至少一个参数，以检测所述至少一个参数是否陈旧、丢失或无效。

15.根据权利要求12所述的方法，其中检测所述状况包括检测来自处理电路的一个或多个错误信号。

16.一种操作头戴式设备的方法，所述头戴式设备能够以第一视频透传模式、第二视频透传模式和第三视频透传模式进行操作，所述方法包括：

使用一个或多个相机来获取视频馈送；

使用图像信号处理器来处理所述视频馈送；

使用多个辅助计算块来有选择地处理所述视频馈送；

在所述第一视频透传模式期间，通过使用所述图像信号处理器以及使用所述多个辅助计算块处理所述视频馈送来显示透传视频馈送；

确定已经满足第一模式切换条件还是第二模式切换条件；

响应于确定已经满足所述第一模式切换条件，从所述第一视频透传模式切换到所述第二视频透传模式，并且在所述第二视频透传模式期间，通过使用所述图像信号处理器处理所述视频馈送，同时绕过所述多个辅助计算块或使用所述多个辅助计算块的回退值来显示透传视频馈送；以及

响应于确定已经满足所述第二模式切换条件，从所述第一视频透传模式切换到所述第三视频透传模式，并且在所述第三视频透传模式期间，通过使用所述图像信号处理器处理所述视频馈送，同时绕过所述多个辅助计算块的子集或使用所述多个辅助计算块的所述子集的回退值来显示透传视频馈送。

17.根据权利要求16所述的方法，其中使用所述图像信号处理器来处理所述视频包括使用所述图像信号处理器来执行选自由以下组成的组的功能：自动曝光、自动白平衡、色调曲线映射、伽玛校正、阴影校正、降噪、黑电平调整、去马赛克以及图像锐化，并且其中使用所述多个辅助计算块来有选择地处理所述视频馈送包括使用所述多个辅助计算块来执行选自由以下组成的组的功能：扩展现实内容生成、视线跟踪、头部姿态跟踪、动态凹视、视角校正、失真补偿以及三维抠图。

18.根据权利要求16所述的方法，其中确定是否已经满足所述第一模式切换条件包括检测内核紧急信号或检测监视定时器的到期，并且其中确定是否已经满足所述第二模式切换条件包括：

监视与所述多个辅助计算块相关联的参数，以检测所述参数中的至少一个参数是否陈旧、丢失或无效；或者

检测与所述多个辅助计算块相关联的至少一个错误信号。

19.根据权利要求16所述的方法，还包括：

在以第三视频透传模式操作所述头戴式设备超过阈值的时间段后，重新启动所述头戴式设备。

20.根据权利要求16所述的方法，还包括：

响应于从所述第一视频透传模式切换到所述第二视频透传模式，显示第一视觉提醒、音频提醒或触觉提醒；以及

响应于从所述第一视频透传模式切换到所述第三视频透传模式，显示第二视觉提醒、音频提醒或触觉提醒。