CN112369051A - 用于车辆乘员和远程用户的共享环境 - Google Patents

Abstract

一种用于提供共享的车辆体验的方法、系统、计算机可读介质和设备。该方法包括捕获描绘车辆外部环境的外部视频流，和接收指示远程用户的身体运动的远程用户信息。该方法还包括生成并显示包括动态化身的增强视频流，该动态化身将远程用户表示为虚拟乘客，当增强视频流正在车辆中被显示时，该动态化身基于远程用户信息被更新。乘员信息和外部视频流的至少一部分被发送到计算机装置，该计算机装置基于乘员信息和外部视频流的所述至少一部分使远程用户的显示装置输出附加的增强视频流，该附加的增强视频流为远程用户提供在车里的体验。

Description

用于车辆乘员和远程用户的共享环境

技术领域

本公开的方面涉及使用混合现实(MR)、增强现实(AR)和/或虚拟现实(VR)来促进双方或更多方之间的视听通信。

背景技术

电信技术已经能使人们在不同的位置彼此通信。当一个或多个参与者移动时，进行通信会话的选项受到限制。例如，一个人可以在走路时经由移动电话进行音频对话，而同一个人坐在办公桌前则可以进行视频会议。当一个或多个参与者是车辆的乘员时用于通信的选项类似地受到限制。

发明内容

本公开的示例实施例涉及通过呈现包括使用车辆内部模型生成的虚拟世界的各方面的视听内容的呈现，在车辆的一个或多个乘员与一个或多个远程用户之间提供共享的车辆体验。该呈现可以包括来自车辆外部环境的现实世界内容。例如，在一些实施例中，可以向乘员和/或远程用户呈现来自外部环境的视频流的图像。可以呈现视听内容，使得乘员和远程用户能够在包括现实和虚拟特征的公共环境内彼此交互。

本公开的示例实施例涉及使用化身，以将远程用户表示为车辆中的虚拟乘客。尽管结合机动车辆进行了讨论，但是示例实施例可应用于其他类型的车辆。如在本文中使用的，“乘员”是指车辆内的任何人，并且“乘客”是指除车辆的驾驶员/操作员之外的车辆内的任何人。化身可以覆盖在基于车辆内部的模型且还基于来自外部环境的视频而生成的视频上。在本公开中，术语“视频”表示随着时间的图像(例如，帧)的序列，并且不一定包括音频信息。尽管作为单独的流进行了讨论，但是可以将音频和视频进行组合以进行传输。在一个实施例中，视听内容的视觉部分(例如，增强的视频流)以数字后视镜的形式呈现，该后视镜显示化身以及通过车辆的后窗和/或侧窗看到的来自外部环境的图像。

本公开的示例实施例涉及使用化身来表示乘员。与远程用户的化身一样，乘员的化身可以覆盖到基于车辆内部模型且还基于来自外部环境的视频而生成的视频上，由此形成增强的视频。基于车辆内部模型生成视频比捕获车辆内部实际视频具有处理和带宽优势，因为该内部通常不会随时间变化很大。可以基于化身所代表的人的语音和/或身体运动来动态地更新该化身。例如，化身可以根据乘员或远程用户的手势、面部表情、嘴唇运动等来动画化。因此，远程用户和乘员可以通过一个或多个化身进行交互。

在一个实施例中，视听内容的视觉部分通过从虚拟乘客的角度描绘虚拟场景的VR头盔(headset)或其他VR装置呈现给远程用户。VR头盔/装置模拟正在车内的体验，使远程用户能够看到车辆内部，同时外部环境的图像向其呈现，就如同远程用户实际上正在透过车窗观看一样。

本公开的实施例指向一种用于提供共享的车辆体验的方法以及一种计算机可读介质，该计算机可读介质存储使一个或多个处理器执行该方法的指令，该方法包括捕获描绘车辆外部环境的外部视频流，并接收指示远程用户身体运动的远程用户信息。该方法还包括生成并显示包括动态化身的增强视频流，该动态化身将远程用户表示为车辆中的虚拟乘客。当增强视频流正在车辆中被显示时，该动态化身基于远程用户信息被更新。该方法还包括将乘员信息和外部视频流的至少一部分发送到计算机装置，该计算机装置基于乘员信息和外部视频流的所述至少一部分使远程用户的显示装置输出附加的增强视频流，其为远程用户提供在车里的体验。该计算机装置可以是与显示装置通信的远程计算机(例如，通过一个或多个通信网络(例如，互联网)与VR头盔通信的中央服务器)。可替代地，计算机装置可以与显示装置(例如，本地计算机，其通过有线连接或无线地通信耦合到VR头盔)搭配，或与显示装置(例如，具有集成显示屏的智能手机)集成在一起。当增强视频流正在车辆中被显示时，乘员信息指示一个或多个乘员在车辆中的位置以及所述一个或多个乘员的身体运动。

本公开的实施例指向一种用于提供共享的车辆体验的系统。该系统包括至少一个传感器和一个或多个处理器，所述传感器被配置为捕获描绘车辆的外部环境的外部视频流。处理器被配置为接收指示远程用户的身体运动的远程用户信息、生成包括将远程用户表示为车辆中的虚拟乘客的动态化身的增强视频流、并使该增强视频流输出在车内显示器上。所述处理器还被配置为，当增强视频流正在车辆中被显示时，基于远程用户信息更新动态化身，并将乘员信息和外部视频流的至少一部分发送到计算机装置，该计算机装置基于乘员信息和外部视频流的所述至少一部分使远程用户的显示装置输出附加的增强视频流，其为远程用户提供在车里的体验。当增强视频流正在车辆中被显示时，乘员信息指示一个或多个乘员在车辆中的位置以及所述一个或多个乘员的身体运动。

本公开的实施例指向一种用于提供共享的车辆体验的方法，存储使一个或多个处理器执行该方法的指令的计算机可读介质，以及包括被配置为执行该方法的一个或多个处理器的相应系统。所述一个或多个处理器可以位于一个或多个计算机装置中，其包括远程计算机(例如，中央服务器)、本地计算机(例如，个人计算机、VR控制台、或智能手机)或其组合。该方法包括：接收对应于车辆的外部环境的一个或多个视频流；以及接收指示一个或多个乘客在车辆中的位置的乘员信息。当正在车辆中显示基于用户的身体运动的视频流时，乘员信息还指示所述一个或多个乘员的身体运动。该方法还包括生成增强视频流，用于输出在用户的显示装置上，该增强视频流包括表示车辆的每个乘员的一个或多个动态化身。动态化身基于乘员信息生成。进一步基于对应于车辆的外部环境的所述一个或多个视频流来生成增强视频流。

该方法还包括：在正在显示增强视频流的同时，捕获指示用户的身体运动的信息并捕获来自用户的声音。该方法还包括将指示用户的身体运动和被捕获的声音的信息发送到车辆。

附图说明

本公开的各方面通过例子阐释。在附图中，相同的附图标记表示相似的元件。

图1是显示在根据实施例的系统中的各个部件之间的交互的功能块图。

图2是根据实施例的系统的简化块图。

图3示出展示虚拟化身的数字后视镜的例子。

图4是根据实施例的用于向车辆乘员提供共享车辆体验的方法的流程图。

图5是根据实施例的用于向远程用户提供共享车辆体验的方法的流程图。

图6A示出了用于绘制远程用户的视野的虚拟摄像头的示例位置。

图6B示出了用于绘制乘员的视野的虚拟摄像头的示例位置。

图7是根据实施例的用于构建虚拟现实环境的方法的流程图。

图8示出了基于车辆内部的3D模型产生的虚拟车辆场景。

图9示出了媒体内容从各个车内显示装置到用于向远程用户进行展示的虚拟现实环境上的绘制。

图10是根据实施例的用于在乘员和远程用户之间共享媒体的方法的流程图。

图11是根据实施例的用于注释位于车辆外部环境中的对象的方法的流程图。

图12示出了示例的被注释场景。

具体实施方式

本公开涉及一种用于在车辆的一个或多个乘员和一个或多个远程用户之间提供共享车辆体验的系统、设备和相应的方法。尽管诸如网络摄像头和视频会议应用之类的装置允许人们以面对面的方式彼此通信，但是在一个或多个参与者移动的环境中实现这种通信是非常具有挑战性的。例如，如果其中一个乘员在机动车辆中，则该车辆可能未装备有视频会议功能。此外，常规的视频会议在提供有意义的共享体验方面的能力受到限制。例如，每个参与者都无法看到其他参与者摄像头视野以外的环境。尽管参与者可以移动或调整其摄像头以改变可见的环境部分，但另一端的参与者仍以局外人的视角查看该环境。因此，参与者不能真正理解视频会议另一端的参与者正在经历什么。缺乏共享经验使参与者难以或不能获得共同的参考点，这一缺点在参与者的环境包含其他参与者感兴趣的物件的情况下尤其明显。例如，车辆的外部环境可具有远程用户感兴趣的对象。作为另一例子，车辆的内部环境可以包括也可以是远程用户感兴趣的被呈现的媒体(例如，音乐、照片、地理地图、网站等)。

因此，期望使用户能够通过共享环境进行交互。例如，可期望提供一种系统，其允许车辆乘员和远程用户通过混合、增强和/或虚拟现实进行交互，产生好像乘员和远程用户在同一车辆内的错觉。这样的系统可以被设计为，通过将关于车辆的外部和内部环境的细节与关于远程用户的细节(例如，远程用户正在说的内容和/或远程用户如何正在移动他或她的身体)相结合，允许乘员与远程用户接洽，如同远程用户也是乘客一样。通过从虚拟乘客的视角向远程用户呈现车辆的外部和/或内部环境的方面，该系统还可为远程用户的利益而操作。关于单个远程用户描述了一些实施例。然而，将理解的是，本文描述的任何实施例可以应用于多个远程用户。

一些实施例可以使乘员如同远程用户就在车辆中一样看到该远程用户(例如，笑着、指向周围环境中的对象)，如同远程用户正在从虚拟乘客的位置讲话一样听到该远程用户，并与该远程用户共享媒体(例如图片、视频、音乐、网站等)。类似地，本文描述的实施例可以使远程用户能够看到车辆的外部环境，如同他或她就在车辆中一样(例如，欣赏透过车窗看到的风景)并从虚拟乘客的视角与乘员互动。用于这样的实施例的应用可以包括但不限于：共享的公路旅行、虚拟导游、为儿童乘客提供陪伴的虚拟保姆、为车辆中的单身旅行者提供虚拟陪伴(例如，远程用户可以帮助使旅行者保持清醒和警觉)，并为新老驾驶员提供支持、指导和/或监视。

机动车辆装备有越来越多的传感器技术，其被设计为在各种情况下辅助驾驶员手动操纵其车辆。这些传感器具有多种特征，例如驾驶员监视、停车辅助、车道偏离警告、和盲点检测。期望的是，通过利用现有设备，在保持与当前车辆工程的兼容性的同时，提供如上所述的共享环境，使得已经用于其他目的的技术可以被用于支持共享环境的创建。例如，汽车可配备有用于检测座位占用情况的内部摄像头(例如，车舱内飞行时间摄像头)；用于免提电话、取决于噪音的音量控制和/或语音识别功能的车内麦克风；数字后视镜显示器；捕获外部环境的视频或静态图像的外部摄像头(例如，支持停车辅助功能或为数字后视镜提供图像的后摄像头)；和/或支持对象检测的外部测距传感器。

图1是显示在将车辆乘员连接至远程用户的系统100中的各个部件之间的交互的功能块图。系统100被分为现实环境和虚拟环境，其中虚拟世界120操作为乘员的现实世界110和远程用户的现实世界130之间的桥梁。图1的左列是对应于现实世界110的元素。右列是对应于现实世界130的元素。中间列对应于虚拟世界120的元素，其基于来自车辆的现实世界110和远程位置的现实世界130两者的输入而构建。

如图1所示，可以使用各种技术在现实世界和虚拟世界之间捕获、创建和传输信息。现实世界110包括车辆的外部环境。外部环境包括场景和位于场景内的对象。关于场景的信息可以使用外部摄像头捕获的图像或视频被生成，所述摄像头可以位于车辆上的任何位置，例如安装在车辆外部或车辆内部(例如，面向车窗)，只要摄像头可以捕获外部环境的景象。外部摄像头的典型位置包括以下的一个或多个：在后视镜上、在一个或两个侧视镜上、在挡风玻璃顶部处、在后窗顶部处、在车辆前部处以及在车辆的后部处。对于外部环境随时间相对恒定的情况(例如，行驶通过无特色的周围环境或在有雾的天气期间或夜晚行驶时)，可以控制外部摄像头以低和/或不规则的帧速捕获外部视频流。

场景信息可用于在虚拟世界120中复制现实世界场景的各个方面。类似地，可以使用一个或多个外部传感器(例如，雷达、摄像头、超声波传感器、光检测和测距(LIDAR)传感器等)来检测、分类现实世界，评估其运动参数，关于对象的信息可用于复制虚拟世界中对象的各个方面。

现实世界110还包括车辆的内部环境，即，车辆内部及其乘员。车辆内部包括车舱的物理布局以及提供用户界面的各种电子设备，这些用户界面包括车内显示器和向乘员呈现媒体内容(例如，数字媒体)所通过的其他装置。车辆的布局可以存储在三维(3D)模型中，该模型可以通过光学扫描被捕获，也可以使用其他3D建模技术构建。可以在乘员和远程用户之间的通信会话之前生成3D模型，以使得3D模型可用于创建车辆内部的虚拟副本。在一个实施例中，车辆的3D模型可与使用的车辆的确切品牌和模型相对应。在另一实施例中，在不脱离本公开的教导的情况下，3D模型可以对应于车辆的通用内部或任何其他3D模型。为了将关于由用户界面呈现的媒体的信息提供给虚拟世界，用户界面可以装备有媒体镜像功能、云流或任何其他媒体传输和/或通信功能。例如，在车内显示器上显示的视觉媒体(例如，仪表组、导航系统或中央控制台)可以通过镜像被复制，以在与车内显示器的虚拟对应物上显示相同的媒体。

车辆可以包括各种类型的内部传感器，所述传感器可以用于捕获关于乘员的信息。这样的传感器可以包括安装在座椅上的重量传感器、可见光和/或红外光谱摄像头、或飞行时间摄像头，并且可以操作以检测乘员的身体属性和/或身体状态变化，以及乘员的情绪属性和/或情绪状态变化。例如，内部传感器可以用于确定乘员的就座位置和身体运动。身体运动的示例包括但不限于头部运动、眼睛运动、嘴唇运动、面部表情以及使用手和/或手臂执行的手势(例如，指向外部环境中的对象)。身体运动可以利用成像传感器(例如摄像头)和/或非成像传感器，包括车载传感器和穿戴在身体上的传感器(例如，手套或其他可穿戴设备，包括以下的一个或多个：红外或超声波运动传感器、加速度计或陀螺仪)被捕获。该系统可以分析身体运动信息以确定例如乘员的身体姿势或确定该乘员正在看或指向哪个内部或外部对象(一个或多个)。

另外，车辆可以包括：传感器，其捕获来自乘员的声音(例如，捕获语音或其他人类声音的麦克风)；以及音频输出装置，例如由乘员穿戴的头盔或位于车辆内部的扬声器。车辆可以包括数据处理系统(DPS)，该数据处理系统捕获来自乘员的语音并将语音发送到虚拟世界120，以使乘员能够与远程用户进行对话。

系统100包括在远程用户的现实世界130和虚拟世界120之间捕获、生成和传输信息的部件。这些部件中的一些可以类似于先前相对于现实世界110讨论的部件。例如，现实世界130可以包括用户界面，通过该用户界面，虚拟世界120中呈现的媒体(例如，从现实世界110镜像的数字媒体)被传输以呈现给远程用户。用户界面还可以允许远程用户选择并发送媒体内容(例如，存储在远程用户可访问的计算机装置上的媒体项目)，以在现实世界110中回放，从而与乘员共享媒体。在一些实施例中，系统100包括用户界面，该用户界面允许远程用户选择车辆中的空座位，用于放置虚拟乘客。虚拟乘客的位置也可以基于系统执行的算法自动分配。

与乘员一样，关于远程用户的身体运动或情绪状态的信息、以及远程用户产生的声音可以使用各种类型的传感器被捕获。传感器可用于确定例如远程用户是坐着还是站着(或任何其他身体姿势)，以及远程用户正在看或指向的地方(例如，凝视现实世界110中的对象的虚拟对应物)。系统100可以包括具有音频模块的计算机装置，该音频模块处理从远程用户捕获的声音，用于作为音频流传输至乘员。音频模块可以可通信地耦合至一个或多个音频输出装置(例如，集成到VR头盔中的听筒)，以传输来自乘员的音频，用于回放到远程用户。

在一些实施例中，音频可以以定向的方式输出到乘员和/或远程用户，以提供空间音频体验。例如，车辆可以包括多个扬声器，所述多个扬声器位于整个内部并被选择性地控制以模拟来自虚拟乘客的方向的音频(例如，基于分配给虚拟乘客的座椅位置)。类似地，由远程用户佩戴的VR头盔可以包括可被控制以模拟来自乘员方向的音频的听筒。音频输出还可以根据远程用户或乘员的头部位置的变化而改变，以提供更真实的音频体验。由此，远程用户可与乘员对话，如同远程用户实际在车辆中一样。

在一些实施例中，乘员和远程用户可以通过身体运动进行交互，以为彼此提供反馈。例如，可以分析乘员的手势以确定乘员指向现实世界110中的对象。作为响应，远程用户的显示装置的输出可以被更新，以突出显示现实世界对象的虚拟对应物或突出显示该虚拟对应物周围的区域。同样，远程用户的手势可以被分析以确定远程用户正在指向虚拟对象，从而在车内显示器上示出该虚拟对象的图像可以被突出显示或以其他方式注释，以引起对现实世界对应物的注意。

图2是实现先前相对于图1描述的特征的系统200的简化块图。该系统200包括车辆系统210、服务器220和VR系统230。车辆系统210、服务器220和VR系统230可各自包括一个或多个计算机处理器，所述计算机处理器执行用于提供本文描述的功能的指令。然而，系统200中或本文描述的任何方法中的处理步骤可以以硬件(例如，处理器或电路)或以硬件、软件和/或固件的组合来体现。尽管单独示出，但是服务器220可以包括作为车辆系统210和/或VR系统230的一部分的部件。因此，服务器220可以与车辆系统210或VR系统230一起定位、在车辆系统210和VR系统230两者中都重复，或者(如图2所示)单独地位于第三位置。在车辆系统210、服务器220和VR系统230之间的通信可以在一个或多个无线通信网络上执行，所述无线通信网络诸如是蜂窝网络或Wi-Fi网络或这两者的组合。可以通过未示出的附加实体来路由通信。另外，尽管仅示出了一个VR系统230，但是系统200可以包括多个VR系统，每个VR系统由各自的远程用户操作。因此，系统200可以在一个或多个车辆乘员和多个远程用户之间提供共享的车辆体验，其中远程用户不必在相同的物理位置。

车辆系统210包括外部传感器212、内部传感器214、一个或多个视频输出装置216(例如，至少一个车内显示器)、音频输出装置217、媒体播放器218(其也可以包括车内显示器)和数据存储器219。外部传感器212可以包括捕获车辆外部环境的静止图像或视频图像的摄像头。在一些实施例中，外部传感器212捕获视频，该视频被处理以形成全景视频，该全景视频在车辆周围提供360度的覆盖范围。全景视频可以通过将来自多个外部传感器212的视频拼接在一起而形成。

内部传感器214捕获车辆乘员的身体运动以及乘员产生的声音。内部传感器214还可以包括一个或多个音频捕获传感器，例如，支持免提电话呼叫的麦克风。内部传感器214中的一个或多个可以是驾驶员监视系统的部件。车辆系统210可以被配置为，当多人占用车辆时，基于内部传感器214捕获的数据来区分不同的乘员。例如，车辆系统210可以应用于从放置在车辆中各个位置的麦克风接收的语音输入，语音识别，以滤除不参与与远程用户通信的乘员的声音或生成单独的音频流(例如，各个乘员的流)，用于使用加权音频平移(audio panning)或其他音频输出技术将其作为空间音频输出到远程用户。可以基于接收到的指示每个乘员在车辆中的位置的位置信息来生成输出到远程用户的空间音频。

车辆系统210还可以应用数字信号处理技术以确定乘员正在看或指向哪里，例如通过跟踪头部或眼睛移动来识别乘员注视的方向或通过沿由乘员的手臂或手指限定的方向的光线追踪来识别外部环境中的对象。

视频输出装置216可被配置为呈现增强的视频流，所述增强的视频流结合了现实世界和虚拟世界的元素。可以用于视频输出装置的显示技术的示例例如包括：液晶显示器(LCD)面板、有机发光二极管(OLED)面板、和量子点显示器。在一个实施例中，视频输出装置216是数字后视镜，其显示车辆后方的后景的视频。后景的视频可以被增强以包括将远程用户表示为虚拟乘客的化身。在另一实施例中，视频输出装置216是便携式或可穿戴的AR、VR或MR装置。佩戴AR装置的乘员可会看到远程用户的化身叠加在分配给虚拟乘客的物理座位上。根据乘员所在的位置和乘员从事的任务，可以使用不同类型的视频输出装置。例如，与AR眼镜相比，VR头盔可以提供更身临其境的体验，但可能不适合驾驶员使用，因为驾驶员需要注意前方的道路，驾驶自动驾驶汽车除外。

图3示出了数字后视镜300的示例，该数字后视镜300将远程用户的化身310显示为在车辆内部320内的虚拟乘客。可以使用3D模型来绘制车辆内部320，该3D模型可以被本地和/或远程地存储(例如，在数据存储器219中或在服务器220上)。数字后视镜300还可以显示来自现实世界的风景，例如包括由面向后的外部摄像头捕获的风景315，以及由面向侧面的外部摄像头捕获的风景317和319。风景315、317和319可以被组合为视频流，该视频流通过覆盖车辆内部320和化身310的细节而得以增强。因此，数字后视镜300可以显示与外部环境相对应的视频流的部分，其如通过车辆的侧窗或后窗中的至少一个所看到的。类似的显示可以提供给后座乘客，例如通过平板装置。

数字后视镜300可以被配置为显示镜像(水平翻转)的图像，就如同风景315、317和319以及化身310正通过光学镜被观看一样(例如，产生镜像效果)。其他类型的视频输出装置也可以配置为显示镜像图像和/或视频流。例如，镜像的视频流可以呈现在安装在车辆的前排座椅的靠背上的显示面板上，以供后座乘员观看(也称为“后座显示器”)，或呈现在安装在天花板的显示器上。

例如，可以调整数字后视镜300，例如通过放大或缩小、在增强视频流和非增强视频流(例如，仅示出由面向后方的摄像头捕获的外部环境的视频流)之间切换、或激活分屏模式以同时显示增强视频流和非增强视频流。使用数字后视镜的一个优点是，乘员可以与远程用户进行交互，同时保持对外部环境的注意力，例如，通过前挡风玻璃340进行观察。

化身310可以是二维(2D)或3D化身。在一些实施例中，化身310可以基于远程用户的相似度来生成(例如，使用远程用户的被捕获图像来创建)。化身310可以是用于将远程用户表示为虚拟乘客的静态化身，但不进行其他更新。替换地，化身310可以响应于来自远程用户的输入(诸如身体运动或新座位位置的手动选择)而动态地更新。如果远程用户站起来或改变其坐姿，则该化身同样可以更新为站立或移动。类似地，化身可以模仿嘴唇运动(嘴唇同步)、头部运动、身体姿势或手势(例如，挥手或指向)。可以使用角色绑定(characterrig)创建动画3D化身，角色绑定是定义关节和骨骼的骨架表示。这种绑定的复杂性可以基于要捕获和做成动画的运动的范围。在一些实施例中，化身可以基于用户/乘员的情绪状态通过面部动画来更新，所述情绪状态基于传感器数据被检测(例如，通过对被捕获的语音或面部图像的分析)。

退回到图2，音频输出装置217可以包括扬声器，该扬声器定位在整个车辆内部，例如在车门上、沿仪表板、或在后排乘客座椅后面。音频输出装置217可以通过音频信号处理被控制，以提供与从远程用户捕获的声音相对应的空间音频。空间音频基于被接收的指示虚拟乘客的位置的位置信息被输出。例如，空间音频可以通过动态调整整个车辆不同位置的音频输出装置的音量和定时而被获得，以使从远程用户捕获的声音听起来像是来自虚拟乘客的座位。多个音频源可以在音频输出装置217上同时播放。例如，当远程用户讲话而同时车辆中播放音乐时，音乐和远程用户的语音二者可以被混合，用于生成与用户语音相对应的空间音频，同时音频扬声器继续播放音乐。在一些实施例中，音频输出装置217中的一个或多个是可穿戴装置，例如无线头戴式耳机。

媒体播放器218可以用于呈现媒体，以向乘员回放，包括呈现由远程用户共享的内容，所述媒体诸如音频媒体、视觉媒体或多媒体内容。例如，车辆可以包括用于向驾驶员或前排乘客回放视觉媒体的中央控制台显示器，以及用于坐在后排的乘客的辅助显示器。

数据存储器219可以包括一个或多个存储装置，其存储在通信会话期间使用的信息。这样的信息的示例包括车辆内部的3D模型、媒体内容、化身图像或模型、由外部摄像头捕获或从服务器220发送的视频流以及用户配置文件(user profile)或用户配置设置。

服务器220可以包括在车辆系统210和VR系统230之间传输信息的一个或多个计算机装置。服务器220可以使用虚拟现实模块222来处理该信息，以将虚拟世界120形成为现实和虚拟元素的合成。例如，虚拟现实模块222可以生成由服务器220的处理器执行的指令，并且该指令使处理器生成增强的视频流以供VR系统230显示。服务器220还可以进行媒体内容和来自乘员或远程用户的音频的处理(例如，转换媒体格式或促进车辆系统210和VR系统230之间的媒体传输)。

视听内容(例如，媒体内容、视频流或音频流)的一些处理可以在车辆系统210或VR系统230上本地执行。例如，由于用于增强视频流的源视频利用车辆中的摄像头被捕获，在数字后视镜上示出的增强视频流因此可由车辆系统210生成，且因此，源视频可以不需被发送到服务器220，用于生成增强的视频流以输出到车辆乘员。另一方面，由于服务器可以包括专门配置用于创建3D虚拟环境的计算资源(例如，虚拟现实模块222)，因此可以由服务器220来处理用于输出到远程用户的增强视频流的生成，所述3D虚拟环境可以通过远程用户的VR头盔或其他VR装置体验。

服务器220可以包括存储在通信会话期间使用的信息的数据存储器224。包含在数据存储器224中的信息可以与包含在车辆系统的数据存储器219中或在VR系统230的数据存储器239中的信息重叠。例如，数据存储器224可以在媒体镜像期间提供媒体内容的临时存储，而数据存储器219或239提供媒体内容的永久存储。数据存储器224还可包括用于音频或视频流的临时存储的缓冲存储器。

VR系统230可以包括运动和音频捕获传感器234、视频输出装置236、音频输出装置237、用户界面238和数据存储器239。元件234、236、237和239分别类似于车辆系统的内部传感器214、视频输出装置216、音频输出装置217和数据存储器219，但是不必提供相同的功能。例如，运动和音频捕获传感器234的运动传感器可以利用VR头盔中的陀螺仪、加速计、结构化照明系统等跟踪头部运动，并利用运动跟踪控制器或飞行时间摄像头跟踪手/身体运动，而内部传感器214可以包括车舱内飞行时间摄像头。作为另一例子，音频输出装置217上的空间音频输出可与音频输出装置237上的以不同方式执行(例如，控制车辆中的五个或更多扬声器与VR头盔中的两个扬声器)。

用户界面238可以使得能够选择媒体内容以与乘员共享。通过用户界面238选择的媒体内容可以存储在本地(例如，在数据存储器239中)或远程地存储(例如，在数据存储器224中)。用户界面238可以是外部显示监视器或触摸屏上的图形用户界面。在一些实施例中，用户界面238绘制在虚拟环境中，例如作为附加的虚拟车内显示器。

尽管被描述为虚拟现实系统的一部分，但是视频输出装置236不需要提供完全身临其境的VR输出以使远程用户共享车辆体验。在一些情况下，视频输出装置236甚至可以实现为2D显示器，例如在智能手机或电视上。然而，由于远程用户不承担操作车辆的责任，并且通常具有自由移动的空间，因此VR输出在远程设置中可以是有利的。因此，视频输出装置236可以被实现为VR头盔，或者在一些情况下被实现为AR或MR装置。可以使用其他类型的视频输出装置，例如全息显示器、利用光学镜的非穿戴式VR显示器等。系统200的各种元件可以被实现为通用或专用计算机装置，每个计算机装置具有一个或多个处理器，诸如中央处理单元或图形处理器。另外，可以将元件组合为单个计算机装置。例如，视频输出装置236和音频输出装置237可以是VR头盔或智能电话的一部分，但是也可以使用个人计算机、外部显示监视器和外部扬声器的组合来实现。

视频输出装置236可以提供观察窗口，远程用户可以通过该观察窗口从位于虚拟乘客的位置处的观看者的视角(视点)观看车辆内部和车辆的外部环境。视频输出装置236可以包括用于控制观察窗口的输入元件。例如，如果视频输出装置是智能手机，则远程用户可以通过倾斜或旋转智能手机或通过智能手机的平移运动来激活陀螺仪或加速度计而触发查看窗口位置的变化，或者通过在智能手机的触摸屏上滑动而触发查看窗口位置的变化。类似地，如果视频输出装置是VR头盔，则远程用户可以通过移动他或她的头部来重新定位查看窗口，从而模拟坐在虚拟乘客位置时环顾车辆的体验。类似于图3的例子，其中，远程用户的化身310在数字后视镜上示出，视频输出装置236可以显示车辆乘员的一个或多个化身。替换地，乘员的化身可以从显示器中省略，在这种情况下，远程用户可以依靠音频通信与乘员进行交互。

音频输出装置237可以包括外部扬声器，所述外部扬声器以与车辆中的扬声器类似的方式布置或布置在与车辆座椅相对应的位置中。替换地或附加地，音频输出装置237可以包括VR头盔中的扬声器，或包括具有音频输出装置237和视频输出装置236的其他可穿戴装置。

现在描述可以在根据图1和2的实施例的系统中执行的方法。尽管以步骤序列的形式呈现，本文描述的每个方法可以通过其中一些步骤以不同顺序执行、省略或并行执行而进行。

图4是根据实施例的用于向车辆乘员提供共享车辆体验的方法400的流程图。该方法400涉及呈现增强的视频流，用于在车辆中显示。在步骤410，与车辆的外部环境相对应的视频流利用一个或多个外部摄像头被捕获。为了方便，描述外部环境的流在本文中将被称为“外部视频流”。车辆可以包括多个外部摄像头，用于捕获外部环境的不同视图，例如以产生全景视频。

在步骤412，指示远程用户的身体运动的用户信息从远程用户侧的计算机装置接收，例如从VR系统230接收。远程用户信息可以在服务器220处被接收和处理，并且还可以被发送到车辆系统210以进行处理。如前所述，身体运动可以包括头部、嘴唇、眼睛或面部运动，以及使用手臂或手指执行的手势，或任何其他类型的身体运动。

在步骤414，生成增强的视频流，以包括将远程用户表示为车辆中的虚拟乘客的化身。增强的视频流可以由车辆系统210和/或服务器220生成。增强的视频流可以可选地包括用于乘员的化身。例如，即使乘员实际上在车辆中，看着数字后视镜的驾驶员也可以看到代表远程用户的第一化身和代表坐在虚拟乘客旁边的乘员的第二化身。增强视频流可以使用车辆内部的3D模型并且还使用外部视频流(例如，由一个或多个外部摄像头捕获的视频)来生成。虚拟乘客的位置可以由远程用户或乘员手动选择，也可以自动选择，例如使用算法，该算法基于确定哪些座位未被占用、乘员总数、乘员位置、首选的分配顺序、或这些因素与其他因素的组合的确定来分配座位。增强的视频流可以是镜像的视频流，并且被显示在车辆的视频输出装置上(例如，使用数字后视镜)。当在车辆中显示增强视频流时，可以基于远程用户信息来更新增强视频流(例如，通过更新化身)，以提供关于远程用户的运动的实时反馈。

在步骤416，车辆系统210可以捕获外部视频流的至少一部分连同乘员信息，并将它们发送到计算机装置，用于为远程用户生成输出，例如，发送外部视频流和乘员信息到VR系统230或服务器220。在一些实施例中，仅传输外部视频流的与远程用户的观察窗口有关的那部分。乘员信息类似于远程用户信息，因为乘员信息可以指示一个或多个乘员的身体运动，且因此可以以类似的方式用于创建包括乘员的化身的增强视频。另外，乘员信息可以指示一个或多个乘员的位置(例如，每个乘员就座的位置以及每个乘员的身份)。乘员或远程用户信息还可以指示主体对象正在注视或指向的位置，且因此可以用于注释外部环境的图像。

乘员信息可以指示当在车辆中显示增强视频流时一个或多个乘员的位置和身体运动，并且可以与外部视频流一起被发送，以在远程用户侧生成附加的单独的增强视频流。外部视频流和乘员信息可以由计算机装置处理(例如，借助服务器220的帮助由VR系统230处理或仅由服务器220处理)以生成单独的增强视频流，用于显示在远程用户的显示装置上(例如，在视频输出装置236上)。车辆系统还可发送与从一个或多个乘员捕获的声音相对应的音频流。音频流可以用于产生与显示给远程用户的增强视频流同步的音频输出(例如，空间音频)。

在步骤418，车辆系统可以捕获呈现在一个或多个车内显示器上的媒体内容，并将用于输出的被捕获的媒体内容发送给远程用户。媒体内容可以被描绘在虚拟环境中(例如，在车内显示器的虚拟对应物上)或在远程用户的单独的显示装置上。步骤418可以与步骤416同时执行，以提供关于车辆的内部和外部环境的变化的实时更新。

图5是根据实施例的用于向远程用户提供共享车辆体验的方法500的流程图。该方法500包括接收与车辆及其乘员有关的信息的各个步骤。这样的信息可以直接从车辆传输到VR系统230，或者通过诸如服务器220之类的中介传输。

在步骤510，与车辆的外部环境相对应的一个或多个视频流被接收，例如，被服务器220接收。

在步骤512，指示车辆中一个或多个乘员的身体运动以及每个乘员的位置的乘员信息被接收，例如被服务器220接收。附加地或替换地，乘员信息可以指示每个乘员的位置(例如，座位位置)或识别每个乘员(例如，通过实际姓名或用户名)。

在步骤514，VR系统230和/或服务器220基于在步骤510中接收的视频流(一个或多个)生成增强视频流，并使增强视频流输出在远程用户的显示装置上。可以通过为远程用户确定观察窗口并将增强视频流映射到该观察窗口(例如，使用如结合图6A所讨论的虚拟摄像头)来生成增强视频流。例如，如果远程用户戴着VR头盔，则可以根据用户的头部位置和/或注视方向、并进一步基于分配给虚拟乘客的座位位置来定义观察窗口。在一些实施例中，服务器220可以从VR系统230接收关于观察窗口的信息，并将增强视频发送到VR系统以供远程用户观看。增强视频可以包括在图4的步骤416中发送的外部视频流的至少一部分，其中，外部视频流的所述至少一部分对应于通过观察窗口看到的外部环境。

与图4中的步骤414相同，增强视频流可以可选地包括用于每个乘员的化身。作为乘员化身的变体，增强的视频流可以包括描绘实际乘员的视频。可需要使用其他摄像头，以捕获实际乘员的视频，例如捕获后座乘客的视频。

在步骤516，VR系统230捕获指示远程用户的身体运动的信息并将所述信息发送到乘员的计算机装置，例如，经由服务器220将远程用户信息发送到车辆系统210。VR系统230还可以捕获来自远程用户的声音以生成音频流并将所述音频流发送到乘员的计算机装置。从VR系统230发送的信息可以用于为乘员生成增强的视频流和/或音频流，例如，根据图4的方法进行。

在步骤518，VR系统230从车辆系统210接收被捕获的媒体内容。被捕获的媒体内容对应于在一个或多个车内显示器上呈现的内容，并且可以通过服务器220被发送。VR系统230将被捕获的媒体内容向远程用户呈现，例如呈现在虚拟显示器上(在这种情况下，被捕获的媒体内容可以被集成到在步骤510中显示的增强视频流中)或呈现在诸如外部监视器的单独显示装置上。

在步骤520，VR系统230从远程用户接收一系列选择的媒体内容(例如，存储在数据存储器239上并利用用户界面238选择的媒体内容)，并发送所选择的媒体内容(例如，通过服务器220)，用于输出给一个或多个车辆乘员。所选择的媒体内容可以呈现在至少一个车内显示器上。例如，如果有多个乘员，则所选择的媒体内容可以被输出用于在不同的车内显示器上同时呈现，以使每个乘员都能观看该媒体内容。

图6A和6B示出了虚拟摄像头的示例位置，所述虚拟摄像头用于基于3D车辆模型绘制用于远程用户和乘员的景象。在图6A中，虚拟摄像头605位于车辆的后部(例如，在未占用的乘客座椅后方)，以绘制可从坐在相同位置的虚拟乘客的视点观察到的场景。被绘制的场景可以包括车辆的3D模型、外部环境的一个或多个图像/视频流以及乘员的一个或多个化身。在一个例子中，被绘制的场景可以包括虚拟乘客的化身的多个部分，例如手。虚拟摄像头605可以用于提取虚拟环境的相关部分，用于根据远程用户的观察窗口来生成显示给远程用户的增强视频流。所述提取可以由VR系统230在本地执行或在服务器220上执行(假设服务器在物理上与VR系统分离)。例如，如前所述，服务器220可以接收关于观察窗口的信息，并将增强的视频发送到VR系统230，用于由远程用户观看。

在图6B中，虚拟摄像头610位于车辆的前部(例如，在与后视镜大致相同的位置处)，以使场景可通过后视镜观察到。被绘制的场景可以包括车辆的3D模型、外部环境的一个或多个图像/视频流、以及乘员和/或虚拟乘客的一个或多个化身。虚拟摄像头610可以用于提取虚拟环境的相关部分，用于生成显示在数字后视镜上的增强视频流。所述提取可以由车辆系统210在本地执行或在服务器220上执行(假设服务器在物理上与车辆系统分离)。用于绘制乘员视图的虚拟摄像头可以根据要显示视频流的位置来调整。例如，用于椅背显示器的视频流可以从一比距后视镜显示器更小的距离观看，从而可期望更小的焦距和/或更小的视野。还可期望的是，例如，椅背显示器示出至少两个乘客座位(例如，分配给虚拟乘客的座位和由实际乘客占用的相邻座位)的宽度。

图7是根据实施例的用于构建VR环境的方法700的流程图。该方法700可以在服务器220处执行，如前所述，该服务器可以位于车辆系统210或VR系统230中、在两个位置中重复、或与车辆系统210和VR系统230两者在物理上分离。

在步骤710，车辆的3D模型被加载，例如通过虚拟现实模块222加载，以启动VR环境的构建。3D模型可以用作添加图像内容以形成VR环境的基础，并且可以包括车辆的内部以及在一些实施例中包括车辆的外部。例如，可以从服务器220的数据存储器224或车辆系统210的数据存储器219加载3D模型。

在步骤712，来自在车辆周围捕获的一个或多个视频流的外部场景被添加到VR环境。视频流可以在3D模型中映射到车窗并被拼接在一起，以提供车辆周围环境的360度视图。例如，面向前方的摄像头捕获的视频流可以被映射到前挡风玻璃，以模拟通过前挡风玻璃看到的外部环境的景象，而从左镜和右镜摄像头捕获的附加视频流被映射到侧窗。外部视频流还可以在车辆系统或服务器中拼接在一起，以生成360度视频，然后可以将其映射到车辆3D模型周围以形成一个单个视频流。因此，VR环境可以被更新，以产生被与实际车辆相同的风景包围的错觉。

在步骤714，车内显示器被流传输到VR环境中的相应位置。例如，仪表组上显示的媒体内容可以被镜像到虚拟仪表组。类似地，在中央控制台上显示的媒体内容可以被镜像到虚拟中央控制台。还可以流传输非媒体内容，例如在车内显示器上输出的文本或其他信息。

在步骤716，车辆中的每个乘员和每个远程用户的化身被添加到VR环境。基于被接收到的关于每个乘员的位置的信息，乘员化身可以被放置在VR环境中在与每个乘员的实际地点相对应的位置。例如，驾驶员的化身可以被放置在VR环境的驾驶员座位中。类似地，远程用户化身可以被放置在虚拟乘客的座位中。例如，第一远程用户的化身可以被放置在未被占用的后座中，而第二远程用户的化身可以被放置在未被占用的前座中。

可以以任何顺序执行步骤712至716。

在步骤718，设置虚拟摄像头位置，以便从远程用户(一个或多个)的角度绘制视图并从乘员(一个或多个)的角度绘制视图，例如从驾驶员的角度来看，如同他或她正在看着后视镜一样。例如，回到图6A和6B，虚拟摄像头可以如图6A所示的定位，以便从特定远程用户就座位置绘制场景，而单独的虚拟摄像头被如图6B所示的定位，以绘制向后视镜看的虚拟视图。

图8示出了基于车辆内部的3D模型810产生的示例虚拟车辆场景800。虚拟车辆场景800可以通过捕获车辆周围的外部环境的视频、将视频拼接以形成车辆周围环境的360度视图、并将视频映射到车辆模型中的相应位置以从虚拟乘客视角绘制场景来生成，如前所述。

图9示出了媒体内容从各个车内显示装置到虚拟现实环境上的用于向戴着VR头盔905的远程用户进行展示的绘制。车内显示装置可以包括数字后视镜910、左数字镜920、右数字镜930、平视显示器(HUD)940、仪表组950、信息娱乐系统960、和智能装置970。这些显示装置中的每一个上呈现的媒体可以被传输到服务器220，用于镜像到VR头盔905或远程用户900的一些其他显示装置上。如图9所示，每个显示装置可以具有在虚拟空间中的对应物，即，数字后视镜910’、左数字镜920’、右数字镜930’、HUD 940’、仪表组950’、信息娱乐系统960’、和智能装置970’。虚拟对应装置可以在车辆内部的3D模型中定义。

媒体镜像允许乘员和远程用户之间的高质量媒体共享。与使用图像传感器来捕获显示在显示装置上的视觉媒体的图像或使用音频传感器来捕获在音频装置上播放的音频媒体相反，媒体镜像可以使媒体内容以本机格式(native format)流传输至远程用户900或从该远程用户900流传输。例如，存储在图2的数据存储器219上的图像文件可以被传输至服务器220，用于显示给远程用户900而不会损失图像质量。以此方式，可以将显示在一个或多个车内显示器上的信息副本发送给远程用户。为了减少数据传输带宽，车内显示模块的副本可以在服务器220或VR系统230上执行，使得仅需要传输车内显示器的状态，且服务器220或VR系统230可以基于状态信息在虚拟环境中重新生成车内显示。例如，仅发送光指示器的开/关状态、当前速度、里程和燃料百分比可足以重新生成仪表组。

图10是用于在乘员和远程用户之间共享媒体的方法1000的流程图。该方法1000包括在车辆侧执行的步骤以及在远程用户侧执行的步骤。点线左边的块包括用于共享由乘员选择的媒体内容的步骤。点线右边的块包括用于共享由远程用户选择的媒体内容的步骤。

步骤1010和1012对应于触发在一个或多个车内显示器中的变化的事件。在步骤1010处，乘员与车内显示器(一个或多个)交互。交互的例子包括改变无线电台、调整温度设定、选择要播放的歌曲、激活导航系统、以及选择媒体内容的回放(例如，要在乘客显示器上显示的电影)。步骤1010涉及来自乘员的明确指令或命令，而步骤1012则不涉及。在步骤1012，车辆的状态被改变。车辆状态可以包括任何数量的描述车辆当前状态的参数。确定车辆状态的参数的例子包括速度、剩余燃料容量、里程表或转速表输出、以及自动警报(例如，低胎压或检查发动机灯)。

在步骤1014，响应于步骤1010和/或步骤1012，更新一个或多个车内显示器。例如，如果乘员改变了无线电台，则中央控制台可以被更新以显示所选无线电台的名称。类似地，仪表组可以被更新，以反映当前速度、发动机转数、或在当前行程期间行驶的距离。

在步骤1016，呈现在一个或多个车内显示器上的内容被捕获，例如被车辆系统210捕获。被捕获的内容可以包括存储在数据存储器219中的音频内容、视频内容或多媒体内容。除了媒体内容之外，被捕获的内容还可以包括其他信息，例如，指示车辆状态的信息。

在步骤1018，被捕获的内容被流传输到外部计算机，例如，到VR系统230或服务器220。

在步骤1020，被捕获的内容被绘制到一个或多个虚拟显示器上，这些虚拟显示器是车辆内部的3D模型中的车内显示器的对应物。可以通过远程用户的显示装置查看虚拟显示器(一个或多个)，所述显示装置例如VR头盔、智能电话或外部监视器。

在步骤1022，远程用户例如使用控制器、触摸屏、手势识别系统或一些其他用户输入装置与虚拟显示器交互。在一些实施例中，远程用户可以通过在车辆内部3D模型中定义的车内控件(例如，信息娱乐系统上的触摸屏)的虚拟表示进行交互，或可以通过专门为VR系统230开发的定制(custom)交互进行交互。

在步骤1024，远程用户的交互被捕获(例如，通过VR系统230)，以生成命令，例如触摸滑动、长按等。命令可以影响当前选择的媒体内容的回放(例如，跳到播放列表中的下一首歌曲、更改无线电频道或暂停幻灯片播放)。

在步骤1026，媒体内容被绘制在可由远程用户而非乘员观看的用户界面上。例如，除了车内显示器的虚拟对应物之外，VR系统230还可以提供虚拟桌面，通过该虚拟桌面，诸如音乐、照片、网站等这样的媒体内容可以被浏览并选择以与乘员共享。

在步骤1028，远程用户导航用户界面，以选择要与乘员共享的媒体内容。用户界面可以允许远程用户在确认被选择的媒体项目应被共享之前预览被选择的媒体项目。

在步骤1030，将在步骤1024中生成的命令和/或在步骤1028中选择的媒体内容传输到管理一个或多个车内显示器的控制单元。例如，命令/被选择的内容可以经由服务器220传输到控制车辆中的信息娱乐系统的处理器。

在步骤1032，控制单元执行命令和/或处理被选择的媒体内容。为了确保安全，可期望阻止执行影响对驾驶至关重要的车辆操作的命令。取决于内容的类型，该处理可以使被选择的媒体内容被呈现在不同的车内显示器上。例如，如果内容对应于导航方向或地图，则可以通过更新车辆中的导航系统来呈现内容。如果内容是视频，则该视频可以显示在乘客显示器或一些其他被选择的显示器上。因此，步骤1032反馈回步骤1014，在那里，车内显示器(一个或多个)可以基于命令和/或被选择的媒体内容来被更新。继而，步骤1014可以引起车内显示器(一个或多个)上捕获的内容在步骤1020中在虚拟对应物上的绘制。

除了传达关于身体运动、语音和媒体共享的信息之外，根据本公开的实施例的系统可以提供对位于车辆的外部环境中的对象的注释。注释可以被应用于乘员和/或远程用户的显示器，如图11所示。

图11是用于注释位于车辆外部环境中的对象的方法1100的流程图。在步骤1110，车辆传感器扫描周围环境，以捕获外部环境。扫描可以通过成像和/或非成像传感器执行，诸如视频摄像头、雷达、LIDAR等。

在步骤1112，由车辆传感器捕获的数据被处理，以检测和识别外部环境中的对象。对象识别可以在车辆中(例如，通过车辆传感器或中央处理器)或在外部计算机(例如，服务器220)上执行。对象识别可涉及确定有关对象的各项信息，诸如对象相对于车辆的位置，以及确定其他属性，诸如大小、速度或对象类别(例如，机动车辆、行人、建筑物、自行车，等等)。

在步骤1114，对象的位置被映射到虚拟环境。映射可以涉及将位置从车辆空间中的坐标转换为3D虚拟空间中的对应坐标，并且可以例如由服务器220响应于接收传感器数据来执行。

在步骤1116，注释绘制在增强视频上，以引起对对象的关注。可以响应于来自远程用户或乘员的输入来绘制注释。例如，远程用户可以通过用手或手指朝向对象(如在远程用户看到的增强视频流中所示)打手势，或使用诸如鼠标或键盘这样的输入装置来选择用于注释的对象。对象还可以通过沿对象的方向注视例如一定时间段而被选择。类似地，乘员可以从车内显示器选择对象，例如通过使用触摸屏或通过AR眼镜注视。乘员或远程用户还可以选择要应用的注释的类型。如前所述，注释可以包括突出显示对象或对象周围的区域。其他类型的注释也是可行的，包括添加文本标签、在对象旁边显示图形图标、改变对象的颜色或亮度、在对象周围绘制轮廓等。在一些情况下，可以响应于对象识别而自动地应用注释，无需任何手动输入。注释还可以使用来自外部源(例如云服务)的信息而被生成，以例如将标记添加到兴趣点。

尽管注释可以在车内显示器上执行，但是注释对于远程用户特别有利，因为远程用户依赖于增强的视频来观看对象，而乘员可以借助于通过窗户观看而真实地看到对象。因此，通过向远程用户提供公共参考点的容易识别，在远程用户侧显示的注释(即，应用于与虚拟环境相对应的增强视频的注释)可以增强共享体验。

图12示出了被注释的场景的示例，其中，各种对象已经通过在对象周围画框而被注释。可以对框进行阴影处理，例如使用半透明颜色来产生突出显示效果。图12还示出了从传感器数据得到的附加注释，包括每个正在移动/可移动对象的估计速度(以英里/小时(mph)为单位)和代表一类对象的图标(例如，卡车图标1210和汽车图标1220)。如图所示，图标的尺寸可以取决于对象距车辆的距离而变化，例如，较大的图标用于较近的对象。注释可用于引起对行人、自行车或其他非封闭式车辆、或可引起车辆驾驶员关注的其他对象的特别注意。例如，可以在骑单车的人附近施加图标1230作为警告，以在接近骑单车的人时谨慎行事。诸如路标1240之类的固定对象也可以添加注释。

当与先前描述的共享特征结合时，注释为乘员和远程用户交流共享体验提供了优异方式。例如，乘员可以谈论外部对象，而远程用户可以看到乘员正在谈论的对象。同样，远程用户可以谈论外部对象，并且乘员可以看到远程用户正在谈论的对象。作为另一例子，乘员可以指向外部对象，以使注释相对于该对象出现，如远程用户侧所示。同样，远程用户可以指向或以其他方式选择外部对象，以使注释出现在车内显示器上。

本说明书的一些部分描述了本公开在算法和操作方面的实施例。这些操作被理解为通过计算机程序或等效电路、机器代码等来实现。此外，也已证明，在不失一般性的情况下，将这些操作布置称为模块有时也很方便。所描述的操作及其相关模块可以具体实施为软件、固件和/或硬件。

所述的步骤、操作或过程可以单独地或与其他装置组合地利用一个或多个硬件或软件模块来执行或实现。尽管步骤、操作或过程是按顺序描述的，但是应该理解，在一些实施例中，顺序可以与已经描述的不同，例如，一些步骤、操作或过程被省略或者并行或同时执行。

在一些实施例中，软件模块通过计算机程序产品执行，该计算机程序产品包括包含计算机程序代码的非瞬时性计算机可读存储介质，该计算机程序代码可以由一个或多个计算机处理器执行，用于执行任何或所有所述的步骤、操作或过程。非瞬时性存储介质的示例包括但不限于磁盘或磁带、诸如光盘(CD)或数字通用磁盘(DVD)的光学存储介质、闪存或其他存储装置。

因此，说明书和附图应被认为是说明性而非限制性的。然而，将显而易见的是，在不脱离权利要求书所阐述的更广泛的精神和范围的情况下，可以对其进行增加、减少、删除以及其他修改和改变。因此，尽管已经描述了特定的实施例，但是这些并不意图是限制性的。各种修改和等同形式均在所附权利要求的范围之内。

Claims (20)

1.一种用于提供共享的车辆体验的方法，包括：

捕获描绘车辆外部环境的外部视频流；

接收指示远程用户身体运动的远程用户信息；

生成并显示包括动态化身的增强视频流，该动态化身将远程用户表示为车辆中的虚拟乘客，当所述增强视频流正在车辆中被显示时，该动态化身基于所述远程用户信息被更新；以及

将乘员信息和外部视频流的至少一部分发送到计算机装置，该计算机装置基于乘员信息和外部视频流的所述至少一部分使远程用户的显示装置输出附加的增强视频流，所述附加的增强视频流为远程用户提供在车里的体验，其中，当增强视频流正在车辆中被显示时，所述乘员信息指示一个或多个乘员在车辆中的位置以及所述一个或多个乘员的身体运动。

2.如权利要求1所述的方法，还包括：

接收关于远程用户的观察窗口的信息，其中，被发送到远程用户的外部视频流的所述至少一部分对应于通过观察窗口看到的外部环境。

3.如权利要求1所述的方法，其中，所述增强视频流包括正在车辆内部的三维模型内绘制的动态化身的视频。

4.如权利要求3所述的方法，其中，所述增强视频流还包括外部视频流的一部分，其对应于通过车辆的至少一个窗口看到的外部环境。

5.如权利要求1所述的方法，还包括：

基于从远程用户捕获的声音和远程用户信息在车辆内部产生音频，其中，该音频是从车辆中的虚拟乘客的方向产生的，并且其中，该音频根据远程用户的头部运动动态地变化。

6.如权利要求1所述的方法，还包括：

接收来自远程用户的输入；和

基于来自远程用户的输入更新车内显示器以呈现媒体。

7.如权利要求1所述的方法，还包括：

使用飞行时间摄像头捕获车辆的所述一个或多个乘员的身体运动。

8.如权利要求1所述的方法，其中，所述增强视频流以水平翻转的方式显示，以产生镜像效果。

9.如权利要求1所述的方法，还包括：

捕获被显示在一个或多个车内显示器上的信息并将所述信息发送给远程用户。

10.如权利要求1所述的方法，还包括：

至少基于车辆中乘员的数量和位置为虚拟乘客选择座位位置；和

在增强视频流中在确定的座位位置处绘制虚拟乘客的动态化身。

11.如权利要求1所述的方法，还包括：

生成一个或多个音频流，每个音频流对应于从车辆乘员捕获的声音；和

将所述一个或多个音频流发送到远程用户，用于空间音频输出。

12.一种用于提供共享的车辆体验的系统，包括：

至少一个传感器，其被配置为捕获描绘车辆的外部环境的外部视频流；和

一个或多个处理器，其被配置为：

接收指示远程用户的身体运动的远程用户信息，

生成包括动态化身的增强视频流，该动态化身将远程用户表示为车辆中的虚拟乘客，

使该增强视频流输出在车内显示器上，

当该增强视频流正在车辆中被显示时，基于远程用户信息更新动态化身，以及

将乘员信息和外部视频流的至少一部分发送到计算机装置，该计算机装置基于乘员信息和外部视频流的所述至少一部分使远程用户的显示装置输出附加的增强视频流，所述附加的增强视频流为远程用户提供在车里的体验，其中，当增强视频流正在车辆中被显示时，乘员信息指示一个或多个乘员在车辆中的位置以及所述一个或多个乘员的身体运动。

13.如权利要求12所述的系统，其中，所述一个或多个处理器进一步被配置为，接收关于远程用户的观察窗口的信息，且其中，被发送到远程用户的外部视频流的所述至少一部分对应于通过观察窗口看到的外部环境。

14.如权利要求12所述的系统，其中，增强视频流包括在车辆内部的三维模型内绘制的动态化身的视频。

15.如权利要求14所述的系统，其中，增强视频流还包括外部视频流的一部分，其对应于通过车辆的至少一个窗口看到的外部环境。

16.如权利要求12所述的系统，其中，所述一个或多个处理器进一步被配置为，基于从远程用户捕获的声音和远程用户信息在车辆内部内产生音频，其中，该音频是从车辆中的虚拟乘客的方向产生的，并且其中，该音频根据远程用户的头部运动动态地变化。

17.如权利要求12所述的系统，其中，所述一个或多个处理器进一步被配置为：

接收来自远程用户的输入；和

基于来自远程用户的输入更新车内显示器以呈现媒体。

18.如权利要求12所述的系统，其中，所述一个或多个处理器进一步被配置为，捕获被显示在一个或多个车内显示器上的信息并将所述信息发送给远程用户。

19.如权利要求12所述的系统，其中，所述一个或多个处理器进一步被配置为：

至少基于车辆中乘员的数量和位置为虚拟乘客选择座位位置；和

在增强视频流中在确定的座位位置处绘制虚拟乘客的动态化身。

20.一种计算机可读存储介质，其包含指令，当所述指令由计算机的一个或多个处理器执行时，所述指令使所述一个或多个处理器执行以下操作：

捕获描绘车辆的外部环境的外部视频流；

接收指示远程用户身体运动的远程用户信息；

生成并显示包括动态化身的增强视频流，该动态化身将远程用户表示为车辆中的虚拟乘客，当增强视频流正在车辆中被显示时，该动态化身基于远程用户信息被更新；以及

将乘员信息和外部视频流的至少一部分发送到计算机装置，该计算机装置基于乘员信息和外部视频流的所述至少一部分使远程用户的显示装置输出附加的增强视频流，所述附加的增强视频流为远程用户提供在车里的体验，其中，当增强视频流正在车辆中被显示时，乘员信息指示一个或多个乘员在车辆中的位置以及所述一个或多个乘员的身体运动。

Images