CN115723662A - 用于向外部用户指示驾驶情况的方法和系统 - Google Patents

Abstract

提供了用于指示包括至少一个车辆的驾驶情况的方法和系统。该系统包括第一处理器、第二处理器和外部设备。第一处理器获得驾驶信息，对驾驶信息进行编码并将编码的驾驶信息传送到第二处理器。第二处理器接收并解码编码的驾驶信息。第二处理器进一步将预定义的指示模式分配给解码的驾驶信息，其中预定义的指示模式包括涉及车辆的即将到来的驾驶事件的图形表示。外部设备将包括车辆的当前驾驶情况以及预定义的指示模式可视化。

Description

用于向外部用户指示驾驶情况的方法和系统

技术领域

本技术领域通常关于涉及车辆的当前和即将到来的驾驶情况(situation)的指示。更具体地，它涉及用于向外部设备的用户指示包括至少一个车辆的驾驶情况的方法和系统。

背景技术

在给定的交通情况下驾驶车辆经常需要车辆驾驶员调整他们的驾驶行为。车辆驾驶员接收准确的交通情况信息(例如其他车辆的驾驶信息)以启动所需的驾驶操纵并避免危急情况是很重要的。接收准确驾驶信息的要求对于导航目的可能很重要的，并且对于车辆在人口稠密区域(例如大城市)中导航的导航场景变得更加重要，其中必须区分周围环境中的多个不同特征和对象。通常，车载传感器系统，如相机系统、激光雷达、雷达等，用于提供环境信息，其在驾驶车辆通过该环境时可以支持驾驶员。在自主驾驶系统中，此信息可用于自动启动驾驶操作，无需驾驶员进行任何交互。然而，该信息通常仅考虑当前或实时交通情况，因为它被相应的传感器系统检测到。

因此，希望基于当前驾驶情况提供对即将到来的驾驶事件的改进指示。此外，希望向接近当前驾驶情况的用户提供这种即将到来的驾驶事件的增强通信和指示。此外，结合附图以及前述技术领域和背景，本发明的其他期望特征和特征将从随后的详细描述和所附权利要求中变得显而易见。

发明内容

提供了一种用于向外部设备指示包括车辆的驾驶情况的方法。该方法包括通过第一处理器获得车辆的驾驶信息，其中驾驶信息包括关于涉及车辆的即将到来的驾驶事件的信息，该车辆例如可以是吊舱车辆(pod vehicle)。驾驶信息还可以包括车辆信息。该方法还包括由第一处理器对驾驶信息进行编码以提供编码的驾驶信息。该方法还包括由第一处理器将编码的驾驶信息传送到外部设备。该方法还包括在外部设备处接收编码的驾驶信息并将编码的驾驶信息提供给第二处理器。该方法还包括由第二处理器对编码的驾驶信息进行解码以提供解码的驾驶信息。该方法还包括由第二处理器向解码的驾驶信息分配预定义的指示模式(pattern)，其中预定义的指示模式包括涉及车辆的即将到来的驾驶事件的图形表示。该方法还包括在外部设备处将包括车辆的当前驾驶情况与预定义的指示模式一起可视化。

在示例性实施例中，关于即将到来的驾驶事件的信息是基于车辆的当前驾驶操作和车辆的预期驾驶操作来确定的。

在示例性实施例中，第一处理器使用位向量对驾驶信息进行编码，其中位向量包括关于车辆的当前驾驶操作和车辆的预期驾驶操作的信息。

在示例性实施例中，关于即将到来的驾驶事件的信息包括关于在即将到来的驾驶事件中涉及的车辆的数量、所涉及的一个或多个车辆的类型以及所涉及的车辆的目标位置的信息。

在示例性实施例中，将编码的驾驶信息传送到外部设备包括使用视觉信号(例如，可见光通信(VLC))、声学信号、射频信号、红外信号、视觉投影或它们的组合来传送编码的驾驶信息。

在示例性实施例中，外部设备是在车辆环境中并且与车辆空间分离的移动平台，例如，外部车辆或外部手持设备。在下文中，术语“外部”可以指非参与实体，该非参与实体从参与实体(例如所涉及的一个或多个车辆)或从交通信号、交通信号灯、骑自行车的人、行人等接收编码的驾驶信息，并且因此参与驾驶情况。

在示例性实施例中，外部设备包括第二处理器。

在示例性实施例中，与外部设备空间分离的服务器或集成到外部设备中的存储介质提供可能的预定义的指示模式的列表，其中预定义的指示模式的列表中的每个预定义的指示模式参考特定的驾驶信息。

在示例性实施例中，将预定义的指示模式分配给解码的驾驶信息包括从可能的预定义的指示模式的列表中选择预定义的指示模式。

在示例性实施例中，预定义的指示模式由第二处理器使用马尔可夫决策过程(例如，部分可观察马尔可夫决策过程(POMDP))或深度学习过程或两者来提供。

在示例性实施例中，预定义的指示模式指示涉及车辆的即将到来的驾驶事件的图形表示的类型。

在示例性实施例中，使用增强现实在外部设备的显示器上可视化包括车辆的当前驾驶情况以及预定义的指示模式。

在示例性实施例中，包括车辆的驾驶情况被可视化为由预定义的指示模式增强的真实世界环境。

在示例性实施例中，第二处理器进一步确定投影区域，该投影区域定义在显示器处预定义的指示模式被可视化的区域。

在示例性实施例中，显示在投影区域内的预定义指示模式是显示器上的可视化，指示相对于真实世界环境的位置，车辆将在即将到来的驾驶事件期间在该位置进行操纵。

在示例性实施例中，第二处理器基于外部设备周围和/或车辆周围的当前交通情况来确定将在外部设备处可视化预定义的指示模式的时间点。

在示例性实施例中，第二处理器确定可视化的预定义的指示模式的可靠性，其中可靠性指示由第一处理器获得的驾驶信息的质量。

在示例性实施例中，领头车辆和跟随车辆涉及当前驾驶情况。驾驶信息包括关于包括领头车辆和跟随车辆的数字牵引操作的信息。预定义的指示模式可以指示跟随车辆的即将到来的操纵。

提供了一种用于指示包括车辆的驾驶情况的系统。该系统包括第一处理器、第二处理器和外部设备。第一处理器获得车辆的驾驶信息，其中驾驶信息包括关于涉及车辆的即将到来的驾驶事件的信息，该车辆例如可以是吊舱车辆。驾驶信息还可以包括车辆信息。第一处理器对驾驶信息进行编码以提供编码的驾驶信息并将编码的驾驶信息传送到第二处理器。第二处理器接收编码的驾驶信息并对编码的驾驶信息进行解码以提供解码的驾驶信息。第二处理器进一步将预定义的指示模式分配给解码的驾驶信息，其中预定义的指示模式包括涉及车辆的即将到来的驾驶事件的图形表示。外部设备例如经由显示器可视化包括车辆的当前驾驶情况以及预定义的指示模式。

在示例性实施例中，外部设备是外部车辆并且第二处理器位于外部车辆上。

附图说明

下面将结合以下附图描述示例性实施例，其中相同的附图标记表示相同的元件，并且在附图中：

图1是根据一实施例的具有用于处理车辆的驾驶信息的第一处理器和用于将编码的驾驶信息传送到外部设备的通信系统的车辆的示意图；

图2是根据一实施例的流程图，其示出了用于实施向外部设备指示包括图1的车辆在内的驾驶情况的方法的步骤；

图3示出了根据一实施例的如从图1的外部设备的用户所见的可视化，其指示包括图1的车辆的驾驶情况；

图4a和4b示出了框图，其示出了根据一实施例的由外部设备执行以可视化包括图1的车辆的当前驾驶情况的步骤；

图5示出了根据一实施例的包括图1所示车辆在内的用于指示驾驶情况的系统的软件架构框图；

图6a和6b示出了根据一实施例的指示如图3所示的驾驶情况的可视化的进一步细节；

图7示出了根据一实施例的包括数字牵引操作的驾驶情况；

图8示出了根据一实施例的包括多个相关车辆的进一步驾驶情况的可视化；和

图9示出了根据一实施例的示出用于不同驾驶信息的可能编码方案的表。

具体实施方式

下面的详细描述本质上仅仅是示例性的，并不旨在限制应用和使用。此外，无意受前述技术领域、背景技术、简要概述或以下详细描述中提出的任何明示或暗示的理论的约束。如本文所用，术语模块指的是任何硬件、软件、固件、电子控制组件、处理逻辑和/或处理器设备，单独地或以任何组合的方式，包括但不限于：专用集成电路(ASIC)、电子电路、处理器(共享的、专用的或组的)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所描述的功能的其他合适的组件。

本公开的实施例可以在本文中根据功能和/或逻辑块组件以及各种处理步骤来描述。应当理解，这样的块组件可以通过配置为执行指定功能的任意数量的硬件、软件和/或固件组件来实现。例如，本公开的实施例可以采用各种集成电路组件，例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，它们可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。此外，本领域技术人员将理解，本公开的实施例可以结合任意数量的系统来实践，并且本文描述的系统仅仅是本公开的示例性实施例。

为简洁起见，与信号处理、数据传输、信令、控制和系统(以及系统的各个操作组件)的其他功能方面相关的传统技术可能不会在本文中详细描述。此外，此处包含的各种图中所示的连接线旨在表示各种元件之间的示例功能关系和/或物理联接(couple)。应当注意，在本公开的实施例中可以存在许多替代的或附加的功能关系或物理连接。

参考图1，示出了根据各种实施例的车辆10。车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上并且基本上包围车辆10的组件。车身14和底盘12可以共同形成一框架。车轮16和18各自在车身14的相应拐角附近可旋转地联接到底盘12。

在各种实施例中，车辆10是自主车辆。自主车辆10例如是被自动控制以将乘客从一个位置运送到另一个位置的车辆。车辆10在图示的实施例中被描述为客车，但应当理解，包括摩托车、卡车、运动型多功能车(SUV)、休闲车(RV)、船舶、飞机等在内的任何其他车辆都可以也可以使用。在示例性实施例中，自主车辆10是所谓的四级或五级自动化系统。四级系统表示“高度自动化”，指的是自主驾驶系统对动态驾驶任务的各个方面的驾驶模式特定性能，即使人类驾驶员没有适当地响应干预请求。五级系统表示“完全自动化”，指的是自主驾驶系统在人类驾驶员可以管理的所有道路和环境条件下对动态驾驶任务的各个方面的全时性能。

如所示，自主车辆10通常包括推进系统20、变速器系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34和通信系统36。在各种实施例中，推进系统20可以包括内燃机、诸如牵引电动机的电机和/或燃料电池推进系统。变速器系统22被配置为根据可选择的速比将动力从推进系统20传输到车轮16和18。根据各种实施例，变速器系统22可以包括有级自动变速器、无级变速器或其他合适的变速器。制动系统26被配置为向车轮16和18提供制动扭矩。在各种实施例中，制动系统26可以包括摩擦制动器、线控制动、诸如电机的再生制动系统和/或其他适当的制动系统。转向系统24影响车轮16和18的位置。虽然出于说明性目的被描绘为包括方向盘，但在本公开范围内设想的一些实施例中，转向系统24可以不包括方向盘。

传感器系统28包括一个或多个感测设备40a-40n，其传感自主车辆10的外部环境和/或内部环境的可观察条件。感测设备40a-40n可以包括但不限于、雷达、激光雷达、全球定位系统、光学相机、热感相机、超声波传感器和/或其他传感器。致动器系统30包括一个或多个致动器设备42a-42n，其控制一个或多个车辆特征，例如但不限于推进系统20、变速器系统22、转向系统24和制动系统26。在各种实施例中，车辆特征还可以包括内部和/或外部车辆特征，例如但不限于车门、行李箱和车厢特征，例如空气、音乐、照明等(未编号)。

通信系统36配置为与其他实体48进行无线信息通信，例如外部设备48或所谓的非参与设备48，例如但不限于其他车辆(“V2V”通信)、基础设施(“V2I”通信)、远程系统和/或个人设备，例如移动或手持设备。外部设备48可以包括处理器60，其执行将在本文中更详细描述的方法的至少一部分。在示例性实施例中，通信系统36是配置为经由使用IEEE802.11标准的无线局域网(WLAN)或通过使用蜂窝数据通信进行通信的无线通信系统。然而，诸如专用短程通信(DSRC)信道之类的附加或替代通信方法也被认为在本公开的范围内。DSRC信道是指专为汽车使用而设计的单向或双向短程到中程无线通信信道以及一组相应的协议和标准。在示例性实施例中，通信系统36被配置为传递编码的驾驶信息。该编码的驾驶信息可以经由视觉信号(如可见光或照明信号)、声学信号(如声波信号)、射频信号和红外信号中的至少一种来传送。同样地，通信系统36可以包括具有一个或多个光源的光传输单元，例如预先安装的车灯、LED灯、灯泡等。通信系统36可以附加地或替代地包括用于发射红外信号的红外光源和/或用于发射声音信号的扬声器。通信系统36可以附加地或替代地包括用于发射射频信号的射频发射器。例如，可以通过发送代表编码信息的预定信号序列、信号频率、信号持续时间或信号强度来实现对要传送到外部设备48的驾驶信息的编码。

数据存储设备32存储用于自动控制自主车辆10的数据。在各种实施例中，数据存储设备32存储可导航环境的定义地图。在各种实施例中，定义的地图可以由远程系统预定义并从远程系统获得。例如，定义的地图可以由远程系统组装并且传送到自主车辆10(无线和/或以有线方式)并且存储在数据存储设备32中。可以理解，数据存储设备32可以可以是控制器34的一部分，与控制器34分开，或者是控制器34的一部分和单独系统的一部分。

控制器34包括至少一个处理器，在此也称为第一处理器44，以及计算机可读存储设备或介质46。第一处理器44可以是任何定制的或市售的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的多个处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、宏处理器、它们的任何组合，或通常任何执行指令的设备。例如，计算机可读存储设备或介质46可以包括只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储器。KAM是可用于在第一处理器44断电时存储各种操作变量的持久性或非易失性存储器。计算机可读存储设备或介质46可以使用许多已知存储设备中的任何一个来实现，例如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或任何其他能够存储数据的电、磁、光学或组合存储设备，其中一些代表可执行指令，由控制器34在控制自主车辆10中使用。第一处理器44可以执行下面参考图2描述的方法的至少一部分。外部设备48的处理器60在下文中将被称为第二处理器60，其执行以下参考图2描述的方法的至少另一部分。该方法在其由第一和第二处理器44、60(图2)执行时将向外部设备48提供包括图1的车辆10的驾驶情况的指示。

为了执行图2的方法的至少一部分，第一处理器44可以执行指令，这些指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。当由第一处理器44执行时，这些指令接收和处理来自传感器系统28的信号，执行用于自动控制自主车辆10的组件的逻辑、计算、方法和/或算法，并且向致动器系统30生成控制信号以基于逻辑、计算、方法和/或算法自动控制自主车辆10的组件，例如通信系统36。尽管在图1中仅示出了一个控制器34，但自主车辆10的实施例可以包括任何数量的控制器34，它们通过任何合适的通信介质或通信介质的组合进行通信，并且协作处理传感器信号、执行逻辑、计算、方法和/或算法，并生成控制信号以自动控制自主车辆10的特征。

在各种实施例中，图1所示的控制器34和/或第一处理器44的一个或多个指令通过以下方式实施：获得车辆10的驾驶信息，其中驾驶信息包括涉及车辆的关于即将到来的驾驶事件的信息；对驾驶信息进行编码以提供编码的驾驶信息；以及将编码的驾驶信息传送到外部设备48。

尽管图1中仅示出了一个外部设备48，但是操作环境50的实施例可以支持任意数量的外部设备48，包括由一个人拥有、操作或以其他方式使用的多个用户设备48。操作环境50支持的每个外部设备48可以使用任何合适的硬件平台来实现。在这方面，外部设备48可以以任何常见的形式因素实现，包括但不限于：台式计算机；移动计算机(例如平板计算机、膝上型计算机或上网本计算机)；智能手机；视频游戏设备；数字媒体播放器；一件家庭娱乐设备；数码相机或摄像机；可穿戴计算设备(例如，智能手表、智能眼镜、智能服装)等。由操作环境50支持的每个外部设备48可以被实现为具有执行这里描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的计算机实现的或基于计算机的设备。例如，外部设备48包括第二处理器60，例如可编程设备形式的微处理器，其包括存储在内部存储器结构中并用于接收二进制输入以产生二进制输出的一个或多个指令。在一些实施例中，外部设备48包括能够接收GPS卫星信号并基于这些信号生成GPS坐标的GPS模块。在其他实施例中，外部设备48包括蜂窝通信功能，使得该设备使用一种或多种蜂窝通信协议在通信网络上执行语音和/或数据通信，如本文所讨论的。在各种实施例中，外部设备48包括视觉显示器62，例如图形显示器、触摸屏、增强现实(AR)显示器、平视显示器(HUD)、其他显示器类型或其任何组合。

在示例性实施例中，外部设备48是在空间上与参照图1描述的车辆10分开的另一车辆48。为了将该另一车辆与涉及驾驶情况的图1的车辆10区分开来，该另一车辆48将被称为外部车辆48。外部车辆48可以具有与参照图1描述的车辆10相同的组件、特征、特性和功能。外部车辆48可以包括视觉显示器62，例如图形显示器、触摸屏、增强现实(AR)显示器、平视显示器(HUD)、其他显示器类型或它们的任何组合。外部车辆48因此可以经由视觉显示器62指示包括车辆10的当前驾驶情况以及包括即将到来的涉及车辆10的驾驶事件的图形表示的预定义的指示模式，例如空间的图形表示，其将在即将到来的时间点内被车辆10使用。

现在参考图2，将描述示出用于执行向外部设备指示驾驶情况的方法的步骤的流程图。该方法可以由图1所示的至少一个车辆10的第一处理器44与也如图1所示的外部设备48的第二处理器60协作执行。该方法的一部分可能是由第一处理器44执行并且该方法的另一部分将由第二处理器60执行。不同的方法步骤由图2中的指定框表示。在框100处，第一处理器获得至少一个车辆10的驾驶信息，该驾驶信息包括关于涉及至少一个车辆10的即将到来的驾驶事件的信息。为了在框100处确定驾驶信息，关于车辆10的当前驾驶操作或驾驶状态的信息，例如，停车操作、巡航操作、数字牵引操作等可以在框110处确定。此外，为了在框100处确定驾驶信息，关于车辆10的预期驾驶操作或预期驾驶状态的信息，例如预期的取消停车(de-parking)操作、预期的停止操作、预期的车道变换操作等可以在框120处确定。关于即将到来的涉及车辆10的驾驶事件的信息然后可以基于从框110确定的当前驾驶操作和来自框120的预期驾驶操作来确定。所有这些确定可以由第一处理器44提供。基于关于即将到来的驾驶事件的信息，驾驶信息然后可以在框100处由第一处理器44确定。在框200处，第一处理器44对驾驶信息进行编码以便提供编码的驾驶信息。驾驶信息的编码可以通过定义要传送到外部设备48的信号的特性来执行。例如，要传送到外部设备48的驾驶信息的编码可以通过设置预定信号序列、信号频率、信号持续时间、信号强度和/或通过组合这些信号特征中的任何一个来实现，使得如由外部设备48接收到的信号的外观是编码信息的唯一表示。在框200处对驾驶信息进行编码之后，在框300处，第一处理器44将编码的驾驶信息传送到外部设备48。在经由信号传送编码的驾驶信息之前，可以在框310处选择通信类型，其中通信类型可以表示为视觉通信信号、声学通信信号、射频通信信号和红外通信信号中的至少一种。在框400处，外部设备48接收编码的驾驶信息，即通信信号，并将这个编码的驾驶信息提供给第二处理器60，第二处理器60是如图1所示的外部设备48的一部分，或者是在空间上与外部设备48分离。在框500处，第二处理器60对编码的驾驶信息进行解码，以便提供解码的驾驶信息。在框600处，第二处理器将预定义的指示模式分配给解码的驾驶信息，其中预定义的指示模式包括即将到来的涉及车辆10的驾驶事件的图形表示。在框600处分配之前，外部设备48的第二处理器60或在空间上与第二处理器60分离并具有数据存储器的另一个远程处理器或远程服务器可以在框610处提供可能的预定义的指示模式的列表，其中预定义的指示模式列表的每个预定义的指示模式参考特定的驾驶信息。这可以是查找表或寄存器，其中不同的特定驾驶信息参考对应的预定义的指示模式。在这种情况下，将预定义的指示模式分配给解码的驾驶信息包括从可能的预定义的指示模式的列表中选择预定义的指示模式。然而，也有可能使用马尔可夫决策过程和深度学习过程中的至少一个来执行框610处的预定义的指示模式的提供。例如，POMDP(部分可观察马尔可夫决策过程)模型或DNN(深度神经网络)可用于决定分配给给定情况(即特定解码驾驶信息)的最佳图形指示或表示的最佳类型。如果对于基于一组输入的给定编码驾驶信息有多个选项，则可以使用这样的技术。因此，在框600处分配的预定义的指示模式指示涉及车辆10的即将到来的驾驶事件的图形表示的类型。POMDP模型可以基于不同的输入参数来确定特定的图形投影，即指示模式。这些输入参数可以包括但不限于车辆10和/或外部车辆48的环境中的交通观察、车辆10和/或外部车辆48的环境中的道路细节、车辆10和/或外部车辆48的车辆能力、规则和指示模式，即指示选项。例如，POMDP模型可以区分交通繁忙情况和交通不繁忙情况，使得预定义的指示模式的指示在这些交通情况之间变化。在框700处，在外部设备48处可视化包括车辆10的当前驾驶情况以及预定义的指示模式。可使用增强现实(AR)在外部设备48的显示器62(图1)处提供可视化。当使用增强现实时，可以将包括车辆10的驾驶情况可视化为车辆10所在的真实世界环境50(参见图3)，并通过预定义的指示模式增强。换言之，如从外部设备48的用户所见，包括车辆10的真实世界场景50将被预定义的指示模式覆盖或叠加。另外，可以在框710处确定投影区域，该投影区域定义显示器上的区域，在该区域中预定义的指示模式被可视化。在示例中，投影区内显示的预定义指示模式是显示器上的可视化，其指示相对于真实世界环境的位置，如从外部设备48的用户所见，其中至少一个车辆将在即将到来的驾驶事件期间在该位置进行操纵。此外，可以基于提供的预定义的指示模式来选择可视化类型。可以由外部设备48的用户定制或设置显示器上的可视化类型及其图形表示，例如文本或图形内容，如点、线、矩形、多边形等。下面将参考图3更详细地描述在框700处执行的可视化。

在示例性实施例中，第二处理器60可进一步基于车辆10和/或外部设备48周围的当前交通情况确定预定义的指示模式将在外部设备48处可视化的时间点。可以在框600和框700之间执行图2中未示出的这种确定。

在另一示例性实施例中，第二处理器60可以确定可视化的预定义的指示模式的可靠性，例如可靠性值或可靠性特征，其中可靠性指示由第一处理器44获得的驾驶信息的质量。如果传送到外部设备48的驾驶信息质量低，例如如果第一处理器在框100处不能收集足够或足够可靠的驾驶信息，这可能适用。在这种情况下，由第二处理器60确定的可靠性可以在外部设备48上被附加地指示，即可视化，使得外部设备48的用户可以容易地导出可视化信息的可靠性，例如可视化的预定义的指示模式是否可信。

图3示出了显示器62上的可视化701，在该实施例中，显示器62是平视显示器，如图1的外部设备48的用户所见的。显示器62集成在外部设备48中或是外部设备48的一部分。在本实施例中，外部设备48是与车辆10在同一道路上行驶的外部车辆48。在当前驾驶情况703下，车辆10在外部车辆前方的左车道上行驶。当前驾驶情况703由外部车辆48的驾驶员通过外部车辆48的前防护窗704看到的真实世界场景50表示。可视化701可以是参考上面图2的框700描述的可视化。可视化701指示包括在前面行驶的车辆10的驾驶情况703。车辆10的第一处理器44(参见图1)可以确定车辆10当前正处于与另一车辆11的数字牵引操作中，其中另一车辆11是领头车辆(leader vehicle)并且车辆10是跟随车辆。对象检测或识别技术可以包括在该确定过程中。在车辆10的第一处理器进行该确定之后，可以确定数字牵引操作的进一步信息，包括由数字牵引操作引起的车辆10的即将到来的驾驶事件。即将到来的驾驶事件可以指示车辆10将在给定时间段内向右执行车道变换，使得车辆10将在同一车道上行驶并在外部车辆48前面。然后该即将到来的驾驶事件可以通过车辆10的第一处理器被传送到外部车辆48，使得外部车辆48的第二处理器60(参见图1)可以确定适当的预定义的指示模式702，指示车辆10的车道变换操纵。预定义的指示模式702是如图3所示的图形表示，其指示当前驾驶情况703，即包括车辆10和11的数字牵引操作，和/或指示涉及车辆10和11的即将到来的驾驶事件。在这种情况下，预定义的指示模式702指示数字牵引操作正在进行中并使用增强现实保留投影到当前驾驶情况703的真实世界场景50中的虚拟区域或空间。因此，当前驾驶情况703包括车辆10的指示以及外部车辆48的显示器62上的预定义的指示模式702。特别地，包括车辆10的驾驶情况703在真实世界环境50中可视化并通过预定义的指示模式702增强。在可视化之前，第二处理器确定投影区域705，该投影区域705在显示器62处定义了预定义的指示模式702将被可视化的区域。显示在投影区705内的预定义指示模式702是显示器62上的可视化，其指示相对于真实世界环境50的位置，该车辆10在即将到来的驾驶事件期间在该位置进行操纵。预定义的指示模式702可以包括字符串以向外部车辆48的用户指示车辆10涉及哪种类型的驾驶情况703，这里是数字牵引操作。然而，应当理解，图3仅代表示例性类型的指示并且其他类型的指示也是可能的。

鉴于以上描述，本文描述的系统和方法可用于车辆，例如以上图1的车辆10，以将驾驶意图和相应信息传达给非参与方或其他实体，例如外部设备48。这些非参与方或外部实体可以是在可见光、红外光、无线广播和投影技术的其他数字手段上使用编码信号的车辆、行人等。例如，编码信号可以包括但不限于可见光编码消息通信、红外编码消息通信或基于无线电波的编码数字消息广播。可以基于给定情况(例如交通情况和场景分析)来确定编码消息，其中可以应用诸如相机对象识别之类的对象识别技术。可以使用定义的指示模式对通信进行解码和引用，以经由平视显示器或经由其他类型的显示器使用增强现实来通知和指示各种信息。所指示的此类信息可包括车辆10的服务状态(例如，在领头车辆和跟随车辆之间建立虚拟联接、跟随车辆与领头车辆的解耦、在当前驾驶情况下在不同车辆之间切换(handing-off)连接)、车辆10的当前状态(例如，领头在一英里内切换、三辆车的智能或数字牵引、跟随车辆的阻塞空间等)、领头车辆和跟随车辆之间的联接健康或通信链路质量(例如，强、中、弱)以及所涉及车辆的意图(例如，一个领头车辆和两个跟随车辆将车道变换到右车道或U形转弯)。

图4a和4b示出了两种方法800和900，其示出了由外部设备48执行以可视化当前驾驶情况(例如参考图3描述的包括车辆10的驾驶情况703)的步骤。

图4a的方法800示出了数字消息广播，例如在车辆10和外部车辆48(参见图3)之间的“V2V”通信中。该方法800因此可以示出在框300的通信步骤和可视化步骤700之间执行的详细动作，这两者都参考图2进行了描述。现在参考图4a，在框810处，在外部车辆48处接收来自车辆10的包括编码驾驶信息的消息。在框820处，车辆10由外部车辆48的第二处理器60识别并且车辆10的位置数据被确定。在框830处，指示类型，即，预定义的指示模式，被引用到相关联的驾驶情况，其中可以从数据库中检索相应的引用。在框840处，基于消息和策略映射来选择表示当前驾驶情况的适当图形指示增强的适当预定义的指示模式。换言之，将预定义的指示模式分配给解码的驾驶信息是通过为当前驾驶情况分配适当的图形指示增强来执行的。对于这种分配，可以使用POMDP(部分可观察马尔可夫决策过程)模型或算法。在框850处，增强现实被用于将指示模式可视化到外部车辆48处的显示器62。显示器62可以是车辆显示器，特别是平视显示器(HUD)。

图4b的方法900示出了经编码的驾驶信息经由红外信号的通信。在该示例中，来自车辆10的红外光投射形式的编码消息对于外部设备48处的相机和/或热成像传感器是可见的(参见图1)。外部设备48因此在框910处使用其相机或热成像传感器读取红外光消息。在框920处，外部设备48然后参考指示类型，即，相关联的驾驶情况的预定义的指示模式，其中可以从数据库检索对应的参考。在框930处，基于消息和策略映射选择表示当前驾驶情况的适当图形指示增强的适当预定义的指示模式。换言之，将预定义的指示模式分配给解码的驾驶信息是通过为当前驾驶情况分配适当的图形指示增强来执行的。对于这种分配，可以使用POMDP(部分可观察马尔可夫决策过程)模型或算法。在框850处，增强现实被用于将指示模式可视化到外部车辆48处的显示器62。显示器62可以是车辆显示器，特别是平视显示器(HUD)。框940示出，红外光信号也可以直接用于指示当前驾驶情况，其由框940和框950之间的连接线指示。因此，如在框930处确定的指示模式可以与来自框940处的读数的信息融合。类似于框910，框940包括由外部设备48使用其相机或热成像传感器读取红外光消息。

现在参考图5，数据流程图示出了用于指示包括图1的车辆10的驾驶情况的系统的软件架构。驾驶信息获取模块1100获得至少一个车辆10的驾驶信息1110。驾驶信息1110包括关于涉及至少一个车辆10的即将到来的驾驶事件的信息。驾驶信息编码模块1200对驾驶信息1110进行编码以便提供编码驾驶信息1210。通信模块1300传送编码驾驶信息1210到图1的外部设备48，其中通信由附图标记1310指示。接收模块1400接收所传送的编码驾驶信息1310。接收模块1400然后将接收到的编码驾驶信息1410提供给驾驶信息解码模块1500，驾驶信息解码模块1500对接收到的编码驾驶信息1410进行解码，以便提供解码的驾驶信息1510。分配模块1600通过将多个预定义的指示模式之一分配给解码的驾驶信息1510来确定预定义的指示模式1610。在执行分配之前，指示模式定义模块1900提供多个预定义的指示模式1910。捕获模块1800提供当前驾驶情况1810。可视化模块1700提供当前驾驶情况1810和预定义的指示模式1610的可视化1710。包括上述软件架构的系统因此提供增强的参与和非参与实体之间的车辆指示系统。特别地，可以提供关于要传达的信息类型的情况和基于场景的决定。

图6a和6b示出了指示图3中也示出的驾驶情况703的可视化701的详细视图。图6a示出了图6b所示的显示器62上的可视化701的详细视图。图6b与图3的图示基本相同。显示器62再次集成在外部设备48中或者是外部设备48的一部分。外部设备48又是在与车辆10相同的道路上行驶的外部车辆48。车辆10在当前驾驶情况703中正在外部车辆48前面行驶。当前驾驶情况703由如由外部车辆48的驾驶员通过外部车辆48的前防护窗704看到的真实世界场景50表示。可视化701可以是如上面参考图2的框700描述的可视化。可视化701指示包括在前面行驶的车辆10的驾驶情况703。车辆10的第一处理器可以确定车辆10当前处于巡航操作中，其中车辆10在左侧车道706上执行直线行驶。在车辆10的第一处理器进行该确定之后，可以确定包括车辆10的即将到来的驾驶事件的巡航操作的进一步信息。即将到来的驾驶事件可以指示车辆10将在给定时间段内执行到右车道707的车道变换，使得车辆10将在与外部车辆相同的车道707上行驶并在外部车辆48前面。该即将到来的驾驶事件随后可以由车辆10的第一处理器传送到外部车辆48，使得外部车辆48的第二处理器可以确定用于车辆10的车道变换操纵的适当的预定义的指示模式702。预定义的指示模式702是如图6a所示的图形表示，其指示当前驾驶情况703，即车辆10的巡航操作，和/或指示即将发生的驾驶事件，涉及车辆10从左侧车道706进行到中间车道707的车道变换(车道变换由图6b中的箭头指示)。在这种情况下，预定义的指示模式702指示在显示器62上可视化的虚拟区域或虚拟空间，使得外部车辆48的用户，即驾驶员认识到外部车辆48前方的区域或空间必须保持保留或未被占用，以便车辆10执行车道变换。因此，当前驾驶情况703包括车辆10的指示以及外部车辆48的显示器62上的预定义的指示模式702，其中预定义的指示模式702是即将到来的驾驶事件的图形表示，其要求由该图形表示指示的区域或空间保持未被占用。在一示例中，外部车辆48因此可以在其驾驶员手动输入之后自动减速或减速，使得由预定义的指示模式702指示的区域或空间保持未被占用，例如只要预定义的指示模式被指示。该过程可以扩展到车辆10的当前驾驶情况703附近或邻近的多个外部车辆中的所有外部车辆，使得所有这些外部车辆以如上所述的相同方式接收编码的驾驶信息，并且可以向它们的用户提供由预定义的指示模式覆盖的特定区域或空间必须保持未被占用的指示。

图7示意性示出了另一种驾驶情况703的顶视图，包括数字牵引操作，其中领头车辆11数字地牵引跟随车辆10。该示例还示出了跟随车辆10的停车状态，并且该示例中的预定义的指示模式702指示车辆10旁边必须保持未被占用的区域或空间，使得领头车辆11可以将跟随车辆10拖出停车位置708。外部设备48的显示器62上的相应可视化可以以与上面参考图2至图6描述的相同方式来执行。然而，作为例如图3和6所示的可视化类型的替代或除了其之外，图7所示的顶视图也是可以可视化的。可以显示类似于图7所示的顶视图的进一步可视化。图7还可示出驾驶情况703的顶视图，其中领头车辆11数字化地牵引跟随者车辆10以停放在空闲停车位处。因此，相应的指示模式702可以包括图形表示，以指示即将到来的停车操作或即将到来的取消停车(拉动)操作。对于这些操作，过程可以如下:首先，领头车辆11被定位用于停放/牵引。然后，为跟随车辆10识别潜在的操纵点。然后，确定跟随车辆10的指示能力以及校准。然后，使用例如上述POMDP决策模型，基于多个参数来识别适当的指示模式配置和策略。然后，当前驾驶情况703的可视化连同指示模式702的图形表示被提供给外部设备48。在一示例中，指示模式702也可以由第一处理器利用投影设备(例如显示器)直接提供用于指示，并且另外通过编码信号交换来提供，使得第二处理器解码编码信息以便显示该指示。

图7的示例概述了数字牵引操作。应当理解，这种数字牵引操作可能不包括领头车辆11和跟随车辆10之间的任何物理联接，而是包括车辆10和11之间的虚拟通信联接或链路，其基于如上所述的无线“V2V”通信。指示牵引操作状态的指示状态或图形表示702可以被分成不同的子状态，这些子状态可以在可视化期间被指示。第一子状态可指示智能牵引阶段“开始和结束”，其可包括将跟随车辆10拉出停车的指示和使跟随车辆10停车的指示。第二子状态可指示智能牵引阶段“异常处理”，其可包括牵引操作暂停的指示。第三子状态可以指示智能牵引阶段“进行中”，其包括“车道内稳定状态”、“领头车辆变化状态”、“车道变化状态”、“高速公路进入和退出状态”等的指示。

图8示意性示出了包括多个涉及的车辆10、11的进一步驾驶情况703的可视化701。多个涉及的车辆可以包括任意数量的车辆。在所示情况下，几个跟随车辆10跟随一个领头车辆11。图8的图示表示外部车辆48的用户透过外部车辆48的风挡的视图。因此，用户可以透过风挡观看驾驶情况703。风挡可进一步包括具有显示区域的显示器或显示部分62，在该显示区域中，驾驶情况703的可视化701覆盖有预定义的指示模式702，例如图形表示，其指示多个跟随车辆10和领头车辆11之间的数字牵引操作。在这种情况下，预定义的指示模式702指示数字牵引操作正在进行中，并保留使用增强现实投影到当前驾驶情况703的真实世界场景50中的虚拟区域或空间。因此，当前驾驶情况703包括车辆10和11的指示，以及外部车辆48的显示器62上的预定义的指示模式702。特别地，包括车辆10的驾驶情况703在真实世界环境50内被可视化，如通过由预定义的指示模式702增强的外部车辆48的风挡所看到的。预定义的指示模式702包括附加的箭头，以向外部车辆48的用户指示跟随车辆10将执行从左侧车道到道路的中心车道之一的车道变换，这可能与外部车辆48的行驶路径冲突。以这种方式，外部设备48的用户可以容易地评估即将到来的驾驶事件，其中跟随车辆10将执行车道变换，使得基于显示器62上呈现的指示，外部设备48的用户可以预测当前驾驶情况703和周围车辆10和11的跟随驾驶操纵。为了更好地可视化驾驶情况703中涉及的所有车辆10和11，即，在数字牵引操作中，涉及的车辆10和11可以用图形指示标记，该图形指示也是预定义的指示模式的一部分。该标记708可以是如图8所示的环绕车辆的圆圈，或者具有不同形状的任何其他元素。

图9示出了示出不同驾驶信息的可能编码方案的表。包括编码驾驶信息2200、2300的编码消息2100可以包括位(bit)向量或位串，其中位向量至少包括关于至少一个车辆的当前驾驶操作和至少一个车辆的预期驾驶操作的信息。此外，位向量包括关于即将到来的驾驶事件中涉及的车辆的数量和涉及的车辆的目标位置的信息。例如，位1、2、3和4包括关于车辆10的模式或状态的信息，即当前驾驶信息(参见图1、3、6、7和8)。位5和位6包括关于行驶情况中涉及的车辆数量的信息，例如跟随车辆10的数量。位7和8包括关于车辆10的预期驾驶操作的信息，例如车道变换的方向或类型。位9和10包括关于车辆10的目标位置的信息，例如行驶的目标车道。可以用这种方式对附加信息进行编码。该表还为每个编码的驾驶信息2200、2300指定了将在指示区域2400中显示的相应内容2500、2600。

详细地：图9在表的第一行2200中示出了第一示例，其具有用于位1至位4的位串“1001”，该位串编码了当前驾驶情况，即车辆10的行程操作或巡航操作。前四位之后是位串“01”，该位串编码跟随车辆10的数量，在这种情况下是一个跟随车辆10，例如在图6的场景中所示。第五和第六位之后是位串“01”,该位串编码跟随车辆10的预期驾驶操作，在这种情况下，从左车道到右车道的车道变换也如图6a和6b的场景所示。第七和第八位之后是位串“10”，其编码跟随车辆10的目标位置，在这种情况下是第三车道。

图9在表的第二行2300中示出了第二示例，其具有与第一行的第一示例中相同的位向量，除了在这种情况下包括位串“10”的第五和第六位之外，其编码为跟随车辆10的数量为2。

也可以使用几种其他技术来完成编码。例如，跟随车辆10可以经由安装到跟随车辆10的LED灯或灯泡灯提供定义的闪烁模式。对于不同的驾驶信息，LED或灯泡的闪烁模式可以不同，从而可以使用独特的闪烁模式对每个驾驶信息进行编码。也可以使用不同的时间序列或不同的定时闪烁模式来完成不同的编码。

尽管在前面的详细描述中已经呈现了至少一个示例性实施例，但是应当理解，存在大量的变化。还应理解，一个或多个示例性实施例仅是示例，并不旨在以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实施一个或多个示例性实施例的方便路线图。应当理解，在不脱离如所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种向外部设备指示包括至少一个车辆的驾驶情况的方法，包括：

由第一处理器获得驾驶信息，该驾驶信息包括关于涉及至少一个车辆的即将到来的驾驶事件的信息；

由第一处理器对驾驶信息进行编码，以提供编码的驾驶信息；

由第一处理器将编码的驾驶信息传送到外部设备；

在外部设备处接收编码的驾驶信息并将编码的驾驶信息提供给第二处理器；

由第二处理器对编码的驾驶信息进行解码，以提供解码的驾驶信息；

由第二处理器向解码的驾驶信息分配预定义的指示模式，该预定义的指示模式包括涉及至少一个车辆的即将到来的驾驶事件的图形表示；和

在外部设备处可视化包括至少一个车辆的当前驾驶情况以及预定义的指示模式。

2.根据权利要求1所述的方法，

其中，关于即将到来的驾驶事件的信息是基于至少一个车辆的当前驾驶操作和至少一个车辆的预期驾驶操作确定的。

3.根据权利要求1所述的方法，

其中，由第一处理器将编码的驾驶信息传送到外部设备包括使用视觉信号、声学信号、射频信号和红外信号中的至少一个来传送编码的驾驶信息。

4.根据权利要求1所述的方法，

其中，所述外部设备是在至少一个车辆的环境中并且与至少一个车辆空间分离的移动平台。

5.根据权利要求1所述的方法，

由第二处理器使用马尔可夫决策过程和深度学习过程中的至少一个来提供预定义的指示模式。

6.根据权利要求1所述的方法，

使用增强现实在外部设备的显示器处可视化包括至少一个车辆的当前驾驶情况以及预定义的指示模式。

7.根据权利要求6所述的方法，

其中，包括至少一个车辆的驾驶情况被可视化为由预定义的指示模式增强的真实世界环境。

8.根据权利要求7所述的方法，

由第二处理器确定投影区域，该投影区域在显示器处定义了预定义的指示模式被可视化的区域。

9.根据权利要求8所述的方法，

其中，显示在投影区域内的预定义的指示模式是显示器上的可视化，指示相对于真实世界环境的位置，该至少一个车辆将在即将到来的驾驶事件期间在该位置进行操纵。

10.一种用于指示包括至少一个车辆的驾驶情况的系统，包括：

第一处理器、第二处理器和外部设备；

其中第一处理器被配置为：

获取驾驶信息，该驾驶信息包括关于涉及至少一个车辆的即将到来的驾驶事件的信息；

对驾驶信息进行编码以提供编码的驾驶信息；

将编码的驾驶信息传送到第二处理器；

其中第二处理器被配置为：

接收编码的驾驶信息；

对编码的驾驶信息进行解码，以提供解码的驾驶信息；

将预定义的指示模式分配给解码的驾驶信息，该预定义的指示模式包括涉及至少一个车辆的即将到来的驾驶事件的图形表示；和

其中，外部设备被配置为将包括至少一个车辆的当前驾驶情况以及预定义的指示模式可视化。

Images