CN115716446A - 用于与视力和听力受损的车辆乘员通信的系统和方法 - Google Patents

Abstract

提供了用于控制与车辆相关联的乘员输出系统的方法和系统。该方法和系统从车辆情境数据源接收车辆或乘员情境数据，基于车辆或乘员情境数据生成乘员消息数据，并确定与乘员输出系统相关联的乘员是否视觉或听觉受损。当乘员被确定为视觉或听觉受损时，该方法和系统决定输出模态来帮助乘员，并且基于乘员消息数据在输出模态中在输出装置上为乘员生成输出。

Description

用于与视力和听力受损的车辆乘员通信的系统和方法

技术领域

本公开总体上涉及与车辆相关联的系统和方法，并且更具体地涉及用于与听觉和视觉受损的车辆乘员进行通信的系统和方法。

情境技术

自主车辆是一种能够感知其环境并在很少或没有用户输入的情况下导航的车辆。自主车辆使用诸如雷达、激光雷达、图像传感器等感测设备来感测其环境。自主车辆系统还使用来自全球定位系统(GPS)技术、导航系统、车对车通信、车对基础设施技术和/或线控系统的信息来导航车辆。

车辆自动化已经被分类为数字级别，范围从零到五，零对应于没有完全人工控制的自动化，五对应于没有人工控制的完全自动化。各种自动驾驶辅助系统(ADAS)，如巡航控制、自适应巡航控制和停车辅助系统对应于较低的自动化水平，而真正的“无人驾驶”车辆对应于较高的自动化水平。

视力受损的车辆乘员可能会发现一些车辆动作(例如突然转向)令人不安，并且可能不完全了解外部场景，这也可能令人不安。此外，对于视力受损的乘员来说，上下交通工具(例如共享乘坐交通工具)可能是困难的。听力受损的车辆乘员可能无法获得车辆传达的全部信息，例如即将到来的停靠站或地图导航方向，这是许多可能的例子中的两个。

因此，期望提供帮助听力和视力受损的车辆乘员接收来自车辆的通信的系统和方法。此外，希望为视力和听力受损的乘员提供各种信息，以帮助这些乘员的舒适和安全。此外，结合附图和前述技术领域和情境技术，从随后的详细描述和所附权利要求中，本发明的其他期望特征和特性将变得显而易见。

发明内容

一种与车辆相关联的系统。该系统包括乘员输出系统，该乘员输出系统包括输出装置、车辆情境数据源和与乘员输出系统和车辆情境数据源可操作通信的处理器。该处理器被配置为执行程序指令以使处理器从车辆情境数据源接收车辆或乘员情境数据，基于车辆或乘员情境数据生成乘员消息数据，确定与乘员输出系统相关联的乘员是否视觉或听觉受损，当乘员被确定为视觉或听觉受损时，决定输出模态以帮助乘员，并且基于乘员消息数据在输出设备上以输出模态为乘员生成输出。

在实施例中，车辆或乘员情境数据包括来自车辆外部场景的图像或其他感知数据。

在实施例中，车辆或乘员情境数据包括乘员相对于车辆的位置。

在实施例中，程序指令被配置成使处理器基于来自乘员装置的一个或多个传输信号来确定乘员相对于车辆的位置。

在实施例中，车辆或乘员情境数据包括基于车辆控制命令的车辆行为信息。

在实施例中，车辆或乘员情境数据包括地图数据。

在实施例中，乘员消息数据包括描述车辆外部环境的消息。

在实施例中，乘员消息数据包括乘员上下车或任何其他与车辆相关的乘员动作的指导。

在实施例中，乘员消息数据包括车辆采取的动作的描述。

在实施例中，基于存储的乘员数据来确定乘员是视觉受损还是听觉受损。

在实施例中，确定乘员是否视觉或听觉受损包括基于乘员标识符检索存储的乘员数据。

在实施例中，基于乘员的生物特征识别或基于来自乘员装置的通信来确定乘员标识符。

在实施例中，通过自动检测来确定乘员是否视觉或听觉受损。

在实施例中，为乘员生成输出包括将包括在消息数据中的消息翻译成乘员的优选语言。

在实施例中，为乘员生成输出包括当乘员被确定为听力受损时，生成手语动画和/或文本输出，并在输出设备的视觉显示设备上显示手语动画。

在实施例中，为乘员产生输出包括在乘员输出系统的音频输出设备上产生音频输出。

在实施例中，车辆或乘员情境数据包括相对于车辆的乘员位置和乘员标识符，乘员位置和乘员标识符基于来自乘员设备的无线通信来确定，乘员消息数据包括基于乘员位置来确定的关于接近、进入、离开或离开车辆的引导，并且基于乘员标识符来确定与乘员输出系统相关联的乘员是否视觉或听觉受损。

在实施例中，通过融合来自感知系统的情境数据和从由车辆的自主驾驶系统产生的车辆控制命令中导出的车辆动作数据，由处理器产生车辆或乘员情境数据。

在另一方面，提供了一种用于控制与车辆相关联的乘员输出系统的方法。该方法包括通过处理器从车辆情境数据源接收车辆或乘员情境数据；经由处理器基于车辆或乘员情境数据生成乘员消息数据，经由处理器确定与乘员输出系统相关联的乘员是否视觉或听觉受损，当乘员被确定为视觉或听觉受损时，经由处理器决定输出模态以帮助乘员，并且经由处理器基于乘员消息数据在乘员输出系统的输出设备上为乘员生成输出。

在实施例中，该方法包括当确定乘员听力受损时，生成手语动画和/或文本输出作为乘员的输出。

附图说明

下文将结合以下附图描述示例性实施例，其中相同的附图标记表示相同的元件，其中:

图1是示出根据各种实施例的与用于与盲人和视力受损的乘客通信的通信系统相关联的车辆的功能框图；

图2示出了根据各种实施例的与通信系统相关联的自动驾驶系统；

图3是根据各种实施例的通信系统的功能框图；

图4是根据各种实施例的用于自动检测可以与通信系统相关联的视觉或听觉受损人员的检测系统的功能框图；

图5是示出根据各种实施例的与车辆的视觉和听觉受损的乘客通信的方法的流程图；和

图6是示出自动检测视力或听力受损的人的方法的流程图。

具体实施方式

下面的详细描述本质上仅仅是示例性的，并不旨在限制应用和使用。此外，没有意图被在前面的技术领域、情境、简要概述或下面的详细描述中提出的任何明示或暗示的理论所束缚。如这里所使用的，术语模块指的是任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，单独地或以任何组合的形式，包括但不限于:专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或成组的)和存储器、组合逻辑电路和/或提供所述功能的其他合适的部件。

本文可以根据功能和/或逻辑块组件以及各种处理步骤来描述本公开的实施例。应当理解，这种块组件可以由被配置成执行指定功能的任何数量的硬件、软件和/或固件组件来实现。例如，本公开的实施例可以采用各种集成电路组件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，它们可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。此外，本领域技术人员将理解，本公开的实施例可以结合任何数量的系统来实践，并且本文描述的系统仅仅是本公开的示例性实施例。

为了简洁起见，与信号处理、数据传输、信令、控制和系统的其他功能方面(以及系统的各个操作组件)相关的传统技术在此可能不详细描述。此外，本文包含的各个图中所示的连接线旨在表示各个元件之间的示例功能关系和/或物理耦合。应当注意，在本公开的实施例中可以存在许多替代的或附加的功能关系或物理连接。

如在此使用的，术语“乘员”或“乘客”包括位于车辆中的人(例如在车辆的座位上)以及打算或将要登上车辆的人。

参考图1，根据各种实施例，总体以200示出的通信系统与车辆10相关联。通常，通信系统200向车辆的视觉或听觉受损的乘客提供信息。该信息可以包括帮助视力受损的人进入车辆。通信系统200可以使用个人应用程序，该个人应用程序可以与车辆10通信，并以视觉或听觉受损者的优选输出形式向视觉和听觉受损者提供引导，包括精确的实时运动引导。由通信系统200传达的信息可以包括关于车辆采取的行动的信息以及其他上下文信息，以传达给听觉或视觉受损的乘客。可以通过融合环境数据和车辆控制数据来确定通信信息。通信系统200可以使用神经机器翻译成乘客的优选语言来生成输出。输出可以包括为听力受损乘客生成的手语动画(和/或文本输出)和为视力受损乘客生成的音频信息。通信系统200可以通过监控眼睛运动和对声音的反应来自动检测乘员是否视力受损或听力受损。在图1的实施例中，通信系统200被示出为包括在车辆10内，但是分布式系统可以设置有包括在乘客的个人电子设备(例如，智能手机或平板电脑)中的一些部件、位于云处理系统中的一些部件和位于车辆10上的一些部件或其任意组合。

如图1所示，车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上，并且基本上包围车辆10的部件。主体14和底盘12可以共同形成框架。车轮16-18各自在车身14的相应拐角附近可旋转地连接到底盘12上。

在各种实施例中，车辆10是自主车辆，并且通信系统200与车辆10(以下称为车辆10)相关联。车辆10例如是被自动控制以将乘客从一个地点运送到另一个地点的车辆。在所示实施例中，车辆10被描述为客车，但是应当理解，任何其他车辆包括摩托车、卡车、运动型多用途车(SUV)、休闲车(RVs)、海船、飞机、共用客车、长途汽车等也可以使用。在示例性实施例中，车辆10是所谓的四级或五级自动化系统。四级系统指示“高度自动化”，指的是自动驾驶系统对动态驾驶任务的所有方面的驾驶模式特定性能，即使人类驾驶员没有对干预请求做出适当响应。五级系统表示“完全自动化”，指的是自动驾驶系统在人类驾驶员可以管理的所有道路和环境条件下动态驾驶任务的所有方面的全时性能。然而，在其他实施例中，车辆10自动化程度较低，并且包括高级驾驶员辅助系统(ADAS)。

如图所示，车辆10通常包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34和连接系统36。在各种实施例中，推进系统20可包括内燃机、电机如牵引电机和/或燃料电池推进系统。传动系统22被配置成根据可选择的速度比将动力从推进系统20传递到车轮16-18。根据各种实施例，变速器系统22可包括有级自动变速器、无级变速器或其他合适的变速器。制动系统26被配置为向车轮16-18提供制动扭矩。在各种实施例中，制动系统26可包括摩擦制动器、线制动、再生制动系统如电机和/或其他合适的制动系统。转向系统24影响车轮16-18的位置。尽管出于说明的目的被描绘为包括方向盘，但是在本发明范围内预期的一些实施例中，转向系统24可以不包括方向盘。

传感器系统28包括一个或多个感测装置40a-40n，其感测车辆10的外部环境和/或内部环境的可观察条件。感测设备40a-40n可以包括但不限于雷达、激光雷达、全球定位系统、光学相机、热感相机、超声波传感器和/或其他传感器。致动器系统30包括一个或多个致动器装置42a-42n，其控制一个或多个车辆特征，例如但不限于推进系统20、传动系统22、转向系统24和制动系统26。在各种实施例中，车辆特征可以进一步包括内部和/或外部车辆特征，例如但不限于门、行李箱和车厢特征，例如空气、音乐、照明等(未编号)。

连接的系统36被配置为向和从其他实体48无线传送信息，其他实体48例如但不限于其他车辆(“V2V”通信)、基础设施(“V2I”通信)、远程系统和/或个人设备。在示例性实施例中，连接系统36是无线通信系统，其被配置为使用IEEE 802.11标准或通过使用蜂窝数据通信经由无线局域网(WLAN)进行通信。然而，诸如专用短程通信(DSRC)信道的附加或替代通信方法也被认为在本公开的范围内。DSRC信道是指专门为汽车应用设计的单向或双向短程到中程无线通信信道，以及相应的一组协议和标准。

数据存储装置32存储用于自动控制车辆10的数据。在各种实施例中，数据存储设备32存储可导航环境的定义地图。在各种实施例中，定义的地图可以由远程系统(例如，云处理系统)预定义并从远程系统获得。例如，定义的地图可以由远程系统组装并传送给车辆10(无线和/或有线方式)并存储在数据存储装置32中。可以理解，数据存储装置32可以是控制器34的一部分，与控制器34分离，或者是控制器34的一部分和独立系统的一部分。

控制器34包括至少一个处理器44和计算机可读存储设备或介质46。处理器44可以是任何定制的或市场上可买到的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的几个处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、宏处理器、它们的任何组合，或者通常是用于执行指令的任何设备。计算机可读存储设备或介质46可以包括例如只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储。KAM是永久性或非易失性存储器，当处理器44断电时，其可用于存储各种操作变量。计算机可读存储装置或介质46可使用多种已知存储装置中的任何一种来实现，例如PROMs(可编程只读存储器)、EPROM(电PROM)、EEPROMs(电可擦除PROM)、闪存或任何其他能够存储数据的电、磁、光或组合存储装置，其中一些表示控制器34在控制车辆10时使用的可执行指令。

指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。当由处理器44执行时，指令接收并处理来自传感器系统28的信号，执行用于自动控制车辆10的部件的逻辑、计算、方法和/或算法，并产生控制信号给致动器系统30，以基于逻辑、计算、方法和/或算法自动控制车辆10的部件。尽管在图1中仅示出了一个控制器34，但是车辆10的实施例可以包括任何数量的控制器34，这些控制器通过任何合适的通信介质或通信介质的组合进行通信，并且协作以处理传感器信号，执行逻辑、计算、方法和/或算法，并且产生控制信号以自动控制车辆10的特征。

在各种实施例中，控制器34的一个或多个指令包含在通信系统200中，并且当由处理器44执行时，执行关于图3和图4的系统描述的功能以及关于图5和图6描述的方法的步骤。特别地，处理器44由指令配置成允许个人应用与车辆10通信，并将相关信息翻译成个人期望的通信形式，包括手语动画。无线连接技术允许通信系统在进入和离开车辆10期间提供精确的位置信息。此外，处理器44由指令配置成向乘客解释环境和车辆情境信息，并以适合于听觉和视觉受损乘客的方式输出解释。这些解释可能适用于配有ADAS的车辆或自动化程度较高的车辆。此外，处理器44由指令配置成自动确定何时需要视觉或听觉受损的通信模态，而无需先前与个人交互。

参照图1描述的车辆10可适用于特定地理区域(例如，城市、学校或商业园、购物中心、游乐园、活动中心等)中的出租车、公共汽车或班车系统，或者可简单地由远程系统管理。例如，车辆10可以与基于自主车辆的远程运输系统相关联。在各种实施例中，操作环境还包括一个或多个用户装置(未示出)，其通过通信网络(未示出)与车辆10和/或远程运输系统(未示出)通信。远程运输系统的注册用户可以通过用户设备创建乘车请求。乘车请求通常将指示乘客期望的上车位置(或当前GPS位置)、期望的目的地位置(其可以识别预定义的车辆停靠点和/或用户指定的乘客目的地)以及上车时间。远程运输系统接收搭车请求，处理该请求，并调度选定的自主车辆在指定的上车地点和适当的时间搭载乘客。

现在参考图2，并继续参考图1，根据示例性的自主驾驶应用，控制器34实现如图2所示的自主驾驶系统(ADS)70。也就是说，控制器34的合适的软件和/或硬件部件(例如，处理器44和计算机可读存储装置46)被用来提供与车辆10结合使用的自主驾驶系统70。

在各种实施例中，自主驾驶系统70的指令可以通过功能、模块或系统来组织。例如，如图3所示，自主驾驶系统70可以包括计算机视觉系统74、定位系统76、引导系统78和车辆控制系统80。如可以理解的，因为本公开不限于当前的例子，在各种实施例中，指令可以被组织成任何数量的系统(例如，组合、进一步划分等)。

在各种实施例中，计算机视觉系统74合成并处理传感器数据，并预测车辆10的环境的特征和物体的存在、位置、分类和/或路径。在各种实施例中，计算机视觉系统74可以结合来自多个传感器的信息，包括但不限于摄像机、激光雷达、雷达和/或任何数量的其他类型的传感器。计算机视觉系统74提供感知数据，通信系统200可以使用该感知数据来导出环境情境数据，该情境数据可用于生成向用户描述车辆10的环境的乘客消息。

定位系统76处理传感器数据以及其他数据以确定车辆10相对于环境的位置(例如，相对于地图的本地位置、相对于道路车道的精确位置、车辆航向、速度等)。引导系统78处理传感器数据以及其他数据，以确定车辆10要遵循的路径。车辆控制系统80根据所确定的路径产生用于控制车辆10的控制信号。车辆在环境中的位置也可用于导出情境数据，以生成向用户描述车辆10的环境的乘客消息。用于控制车辆10的控制信号向用户提供车辆情境数据，用于向使用者生成描述由车辆10所采取的动作的乘客消息。

使用来自传感器系统28的数据和ADAS车辆控制命令，也可以在装备有ADAS系统的车辆中产生环境情境数据和车辆情境数据。

在各种实施例中，控制器34实施机器学习技术来辅助控制器34的功能，例如特征检测/分类、障碍缓解、路线遍历、绘图、传感器集成、地面实况确定等。

如上面简要提到的，图1的通信系统200与自主驾驶系统70相关联，并且还可以与另外的计算机实现的设备和云处理系统相关联。

现在将参考图3和图4更详细地描述通信系统200。通信系统200包括车辆和乘客情境数据源，包括驾驶控制源202、外部摄像机204、内部摄像机206、映射模块208、V2X模块210和其他环境数据源212。可以包括允许通信系统200输入关于车辆内部和外部环境以及车辆动作的信息的任何合适的信息源。驾驶控制源202可以是图2的车辆控制系统80、ADAS控制系统或其他车辆控制或状态的源，其允许通信系统200确定车辆10已经或将要采取什么行动，并使用该信息来生成要传达给乘客的消息。外部摄像机204(可以作为传感器系统28的一部分)可以对车辆周围的外部场景进行成像，以允许通信系统200确定车辆10的环境。可以包括其他外部感知系统，例如激光雷达、雷达、超声波等。在一些实施例中，来自不同来源的感知数据的融合可用于生成描述车辆环境的数据，这又允许通信系统200生成描述环境的相关消息。此外，外部摄像机204或其他感知传感器可以允许确定希望登上车辆10的乘客的位置。内部摄像机206允许拍摄车辆10的车厢内的乘员的图像，这在获取乘客信息时是有用的，特别是用于自动检测乘客是否听觉或视觉受损。映射模块208可以类似于上述定位系统76或更标准的导航工具。通常，映射模块将包括关于车辆10的环境的详细信息，包括地点的名称和类型，这提供了有用的环境情境数据，用于向车辆10的环境的用户生成描述性消息。V2X模块210允许从包括其他车辆、建筑设备、行人设备、广告设备、基础设施、咨询设备等的环境中获得信息。这种信息可以是丰富的环境信息源，用于向车辆10的乘客产生相关信息。许多其他环境数据源212可以在通信系统200中使用，以提供用于为乘客生成消息的情境数据。在图3的实施例中，各种类型的数据源已经被分类为提供乘客情境数据214和车辆情境数据216。乘客情境数据214包括乘客识别信息或与识别乘客相关的信息，车辆情境数据包括描述车辆10采取的行动的信息和外部环境信息。

在图3的示例性实施例中，通信系统200包括乘客消息生成模块217和乘客输出系统224。乘客消息生成模块217接收车辆情境数据216和乘客情境数据214。乘客消息生成模块217包括用于生成描述车辆10的动作和环境情境的消息的车辆情境解释子模块218。乘客消息生成模块217包括乘客定位子模块222和乘客引导子模块220，用于定位车辆10内部或外部的乘客(潜在乘客),并用于向乘客提供移动方向以安全就座、上车、下车等。

车辆情境解释子模块218接收车辆情境数据216，该数据提供关于外部环境的信息，并且还提供关于车辆10采取的行动的信息。关于外部环境的信息可以包括来自地图模块208的地图信息，例如位置名称、地标、商店、便利设施、设施、计划的行动、即将到来的站点、交通信息、剩余的旅行时间等。视觉受损的人可能对其感兴趣，以提供他们旅程的情境。该信息可以包括关于任何值得注意的操纵的信息，例如突然停止、突然转弯或急转弯、变道、速度变化等。这种信息来源于驱动控制源202，并且当由例如惯性测量单元指示的车辆加速度超过特定阈值时，可以是控制命令的过滤版本。从驱动控制源202获得的其他信息可以是车辆状态信息，例如燃料/电池水平、喇叭的使用、信号等。车辆情境数据216可以包括感知信息，例如从外部摄像机204获得的信息。感知信息可以基于车辆10的传感器系统28在通过一个或多个机器学习识别算法处理后感知的外部环境的标记版本，该机器学习识别算法可以包括在计算机视觉系统74中。其他环境数据源212可以包括天气信息源，特别是当天气有变化时，这可以有利地向乘客解释。

车辆情境解释子模块218可将车辆情境数据216解析成信息。车辆情境数据216可仅提供有限的即将到来的时间或距离窗口的信息，以确保相关性。替代地，车辆情境解释子模块218可以将接收的信息过滤到即将到来的时间或距离受限的窗口。例如，可以处理与即将到来的200英尺的窗口(基于当前速度，这可能是某个时间段)相关的信息。车辆情境解释子模块218可以通过算法将车辆情境数据216处理成包含在消息数据238中的离散消息，该消息数据238被发送给乘客输出系统224。示例性的消息可以包括:“进入[城镇/城市名称]”、“右边的银行名称”、“突然转向以避开前面的车辆”、“冰雹风暴”、“由于交通原因，到达时间已经延迟[X]分钟”、“向左转”、“变道”、“在高速公路上”、“结冰条件下”、“在红绿灯处停车”、“右边的停车场”等。可以从各种数据源感知、知道或导出的关于外部环境和车辆采取的行动的任何信息可以被压缩成相关消息，并在消息数据238中发送到乘员输出系统224。

在示例性实施例中，乘客定位子模块222被提供来相对于车辆10定位视觉或听觉受损的乘客。乘客可以位于车辆10的外部或内部。乘客定位子模块可以接收乘客(或潜在乘客)听觉或视觉受损的指示。该指示可以以来自乘客设备240上的应用的通知的形式来提供，或者可以如参考图4所描述的那样自动确定。该指示可以作为乘客情境数据214的一部分来提供。乘员情境数据214可以另外包括使得听觉或视觉受损的人的位置能够被确定的信息。该信息可以是来自乘客设备240的传输信号，该传输信号允许由包括在车辆10的连接系统36中的信号接收器(和相关联的处理软件)进行三角测量(或其他处理算法以基于接收的信号定位设备)。传输信号可以是蓝牙、超宽带等。替代地，一旦基于来自乘客装置240的信号识别出乘客，就可以执行图像处理，以使用真实世界空间到图像空间的投影处理在图像数据内大致定位乘客，这需要了解摄像机固有数据。图像数据可以由外部摄像机204或内部摄像机206提供，并作为乘客情境数据214的一部分。然后，可以使用图像处理来细化图像数据内的乘客的粗略估计，以识别图像内的乘客。通过执行图像空间到真实世界空间投影的逆过程，可以获得乘客位置的精确坐标。该坐标系可以在车辆10的参照系中。无论使用哪种特定算法来相对于车辆定位乘客，乘客的三维(3D)坐标都由乘客定位子模块222生成，并发送到乘客引导子模块220。可以包括其他数据模态来确定乘客的位置，例如处理激光雷达、雷达或其他成像模态来定位乘客相对于车辆的位置。

乘客引导子模块220接收乘客位置相对于车辆的3D坐标，并访问车辆模型242，车辆模型242包括关于车门位置和座椅位置的信息。乘客引导子模块220因此能够使用乘客相对于车辆的精确3D位置和详细的车辆模型242来生成详细的引导消息。引导消息可以描述上下车辆10要采取的动作。例如，所需的步数、步数的方向、到达何处以找到任何车辆特征(例如，门把手、安全带等)等等。此外，乘客定位子模块222可以实时跟踪乘客的位置，使得乘客运动引导可以由乘客引导子模块220动态更新。引导消息可以包含在消息数据238中，并输出到乘客输出系统224。

在示例性实施例中，乘客输出系统224包括各种输出装置，包括向乘客提供触觉反馈的触觉装置、用于向乘客提供音频信息的音频输出装置244(例如，扬声器、头戴式耳机、耳机等。)以及用于向乘客显示信息的视觉显示设备228。各种输出设备可以被包括作为乘客设备240的一部分或者作为车辆的一部分(例如，车辆扬声器或者车辆显示器)。乘客设备240可以是膝上型电脑、平板电脑、智能手机或任何其他便携式计算机设备。乘客输出系统224包括神经机器翻译模块230、输出模态决定模块236、辅助确定模块232和手语动画生成模块234。各种模块可以包括在乘客设备240上的应用中，或者作为车辆10的控制器34的一部分。

辅助确定模块232被配置成确定乘客是否需要针对视觉或听觉受损的人的特殊辅助，以及需要什么类型的辅助。辅助确定模块232可基于参照图4描述的自动检测过程或基于乘客装置240中包括的信息或基于乘客档案246的数据库中包括的信息做出这样的确定。例如，乘客装置240可以包括状态通知，当乘客输出系统224是乘客装置240的一部分时，该状态通知在内部传递给乘客输出系统224，或者当乘客输出系统224是车辆10的一部分时，该状态通知通过无线传输传递给乘客输出系统224。状态通知可以是乘客选择的乘员装置240的设置。在另一个例子中，乘客装置240可以将乘客标识符248传送给包括在车辆中的乘客输出系统224。乘客输出系统224可以从乘客档案246的数据库中检索对应于乘客标识符248的记录，以确定是否需要帮助以及需要什么类型的帮助。在另一个例子中，乘客档案数据库246可以包括在每个记录中识别乘客的生物统计数据。乘客输出系统224可以访问车辆10的内部摄像机206或乘客设备240的摄像机，以获得车辆中每个乘客的生物统计数据，从而查看记录是否包括在乘客档案246的数据库中，该记录指示是否可以提供特殊帮助以及可以提供什么类型的特殊帮助。乘客档案数据库246可以存储在车辆10的数据存储装置(例如，关于图1描述的数据存储装置32)上、乘客装置240的存储装置上或云存储中。

辅助确定模块232向输出模态决定模块236提供关于所需辅助类型的信息，输出模态决定模块236设置要提供给每个乘客(如果有的话)的输出模式。可以以不同的复杂程度提供输出形态。在一个实施例中，输出模态被设置为视觉受损或听觉受损。在另一个实施例中，输出模态可以包括更详细的乘客偏好(从乘客档案数据库246获得)。例如，听力受损的人可能更喜欢文本消息而不是手语消息。如果视力受损的人没有完全丧失，他们可能更喜欢大的文本而不是声音。在另一个例子中，听力或视力受损的偏好可以从消息中不同级别的细节中进行选择。例如，听力受损的人可能不想要关于外部场景的详细信息，并且不同的视力受损的人可能偏好不同级别的细节。

神经机器翻译模块230可以将包括在消息数据238中的消息转换成乘客的偏好语言，该偏好语言可以在乘客档案246的数据库中设置。乘客输出系统224可以根据车辆10销售的国家的语言来选择默认的优选语言。

当为视力受损的人设置输出模态时，来自神经机器翻译模块230的翻译的(如果必要的话)消息可以被转换成语音(使用文本到语音处理)并被提供给音频输出设备244。当为听力受损的人设置输出模态时，翻译的消息可以被提供给手语动画生成模块234。如上所述，输出消息可能不是包括在消息数据238中的所有消息，因为用户偏好以及听力和视力受损的人之间不同的辅助要求可能导致对所提供的消息进行过滤以确保相关性。

手语动画生成模块234接收翻译的(如果必要的话)消息，并产生手语的动画形式来表示整个消息。使用的手语(如美国手语、英国手语、中国手语、德国手语等。)可以取决于根据乘客档案数据库246优选的消息语言。所生成的手语动画在视觉显示设备228上输出给乘客。

应当理解，车辆情境解释子模块218和乘客引导子模块220的功能不一定都需要提供。也就是说，两种功能都是独立有用的。因此，可以提供一种系统，该系统或者提供车辆动作和外部环境的解释，或者向车辆10内和周围的乘客提供运动引导。然而，这些功能的组合为视力和听力受损的人提供了增强的效用。

另外参照图4，根据一个实施例，检测系统300用于自动检测车辆10的任何乘客是否有视觉或听觉障碍。检测系统300包括乘客监控系统302，乘客监控系统302包括摄像机304、声音发生器306、乘客识别模块308和图像分析模块。摄像机304可以是图3的内部摄像机206之一。摄像机304向图像分析模块310提供每个乘客的图像数据帧(即视频数据),用于分析以确定乘客是否有听觉或视觉障碍。

乘客识别模块308确定通信系统200是否已经知道车辆10的乘客。具体地，乘员识别模块308可以从乘员装置240接收乘员标识符248，其可以用于查找乘员档案246的数据库，以查看记录是否已经存在。备选地，乘员识别模块308可以接收由乘员的摄像机304拍摄的图像数据，并在其上执行面部或其他生物特征识别处理。然后，可以将生物统计数据与包括在乘客档案数据库中的生物统计数据进行比较，以查看通信系统200是否已经知道该乘客。如果记录已经存在，则可以在没有自动检测的情况下确定乘客的输出模态，并且该过程进行到根据存储的输出模态输出消息，如参考图3所述。如果记录不存在，则该过程转到分析来自摄像机304的图像数据，以自动检测视力或听力损伤。

图像分析模块从摄像机304接收图像数据帧，并且可以执行各种算法过程来确定乘客是否视觉或听觉受损。在一个过程中，从图像数据中提取眼睛运动，这可以指示视力受损的人。在另一个过程中，声音发生器306提供声音，并且分析图像数据以测量对声音的任何反应。在一个示例中，声音是定向的(例如，来自车辆10的立体声扬声器系统的一侧)，并且分析检测朝向声音的头部运动。基于声音的检测可以指示听力受损的人。在另一个例子中，可以在车辆10中激活车灯。例如，可以使用闪光灯。可以分析图像数据以测量对光的任何反应，这可以指示一个人是否视力受损。在另一个例子中，图像分析模块310可以通过分析乘客如何在车厢周围移动来检测视力受损的人，这可能不同于非视力受损的人。也可以使用这些技术的组合。在一个实施例中，机器学习算法被包括在图像分析模块310中，该算法基于标记的(例如，听觉受损、视觉受损、非听觉受损、非视觉受损)输入图像数据的储备来训练。尽管已经在图像分析的情境下描述了本实施例，但是其他感知模态也是适用的。例如，激光雷达数据可以附加地或替代地提供给图像数据，其可以针对视觉障碍者的特征运动或响应于听觉障碍者的生成声音的运动而被监控(处理)。

图像分析模块310对视觉或听觉受损人员的检测可以被发送到乘员输出系统224，从而根据适当的输出模态向乘员提供消息。此外，检测结果可以与乘员标识符248或从摄像机304拍摄的图像数据中提取的生物统计数据一起保存在乘员档案的数据库中。

可以理解，图4的检测系统300比图3的通信系统200更适用。也就是说，图4的自动检测系统300在需要自动检测听力或视力受损人员的各种应用中具有实用性。可以基于自动检测来设置输出模态，尽管输出的内容可以是各种类型，不必限于由图3的通信系统200生成的消息。

在本公开的实施例中，通信系统200将用户的优选通信模式(包括音频/手语动画和语言偏好)存储在乘客档案数据库246中。通信系统200将来自车辆10的任何通知翻译和转换成用户优选的通信模式。通信系统200使用无线通信来精确地确定用户相对于车辆10的位置。通信系统200基于无线通信和/或感知信息为接近、进入、退出和离开车辆10提供用户指导。因此，通信系统200能够利用用户保存的通信模式，以个性化的方式向用户提供来自车辆10的信息。通信系统200还能够利用连接和感知技术来提供精确的定位信息。

在本公开的附加或替代实施例中，通信系统200组合环境信息和车辆动作信息来创建动作的情境解释以供输出。通信系统200使用神经机器翻译来生成所选听觉语言的音频，使用神经机器翻译来生成所选手语的手语，然后生成手语动画(和/或文本输出)，最后输出所生成的音频和手语动画。因此，本公开通过将相关环境细节与车辆10的动作解释相结合，使得听觉和视觉受损的乘客能够理解自动驾驶辅助系统(ADAS)或更完全自主的车辆所采取的动作，并且以针对听觉和视觉受损的个人的形式提供该信息。

在本公开的附加或替代实施例中，通信系统200通过识别不规则的眼睛运动、监控对所生成的音调的反应来识别与个体的适当通信模态，并存储该模态以供以后检索。因此，可以识别听力或视力受损的人，而无需预先与个人交互来通过适合于该人的替代形式发起通信。

现在参考图5和6，并继续参考图1-4，流程图示出了根据本公开的可以由参考图1-4描述的通信系统200执行的方法500、600。根据本公开可以理解，该方法中的操作顺序不限于如图5和图6所示的顺序执行，而是可以按照适用的和根据本公开的一个或多个不同顺序来执行。在各种实施例中，方法500、600可以基于一个或多个预定事件被安排运行，和/或可以在车辆10运行期间连续运行。示例性的预定事件可以是在每次停车搭载乘客时、在车辆10的每次启动时、在新乘客(潜在乘客)每次接近车辆时或者在车辆10的每次开门时。

图5示出了根据优选输出模态与视力或听力受损的人进行交流的方法。在步骤502中，从通信系统200的各种数据源接收车辆和/或乘客情境数据214、216。车辆情境数据216可以包括关于车辆10外部场景的环境信息和关于车辆10采取的行动的信息(例如，从自动驾驶命令中得到的)。乘员环境数据214可以特别涉及能够确定潜在乘员的精确3D位置的信息。

在步骤504，生成消息数据238。消息数据238可包括基于车辆情境数据216的车辆动作和/或外部环境的解释。消息数据238还可以或替代地包括基于乘员情境数据214的运动引导，以帮助听力或视力受损的人登上车辆、找到座位、系好安全带和/或离开车辆10。

在步骤506，确定乘客是否听力或视力受损。这可以通过查找乘客档案246的数据库或者通过自动检测来执行，如将参考图6描述的。根据乘客是否听力或视力受损，设置适当的输出模式。在一些实施例中，乘客还可以在乘客档案数据库中的他们的偏好存储中保存消息的语言和手语的优选标准。

在步骤508中，根据设定的输出模态和消息的优选语言以及手语标准(例如，美国手语)为乘客生成输出。神经机器翻译模块230可以将消息翻译成优选语言。在听力受损的人的情况下，手语动画生成模块234可以将消息转换成期望类型的动画手语，并通过视觉显示设备228输出。在视力受损的人的情况下，翻译的消息可以被转换成语音并通过音频输出设备244输出。

参考图6，自动检测车辆10中视力和听力受损乘客的示例性方法600。在步骤602中，从摄像机304接收图像数据(例如，视频数据)的帧。在步骤604中，分析图像数据以确定车辆10的乘客是否听力或视力受损。在一个实施例中，该分析包括由机器学习算法进行的处理，该算法已经被训练来检测视觉受损和听觉受损的乘客。该分析可以包括检测不规则的眼睛运动，这可以指示视力受损的人。该分析可以包括车辆驾驶室内部的不规则运动，这可以指示视力受损的人。该分析可以包括检测对由音频输出设备244产生的声音的不规则或不存在的响应，这可以指示听力受损的人。乘客是否听力或视力受损将指示适当的输出模态。在步骤606，消息、通知、建议等根据设置的输出模式输出。当乘客视力受损时，步骤606的输出可以经由语音到文本处理，并且通过音频输出设备244输出音频。当乘客听力受损时，步骤606的输出可以通过在视觉显示设备228上显示手语动画(和/或文本输出)来实现。

虽然在前面的详细描述中已经介绍了至少一个示例性实施例，但是应该理解，存在大量的变化。还应当理解，一个或多个示例性实施例仅仅是示例，并不旨在以任何方式限制本公开的范围、适用性或配置。相反，前面的详细描述将为本领域技术人员提供实施一个或多个示例性实施例的便利路线图。应当理解，在不脱离所附权利要求及其法律等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种与车辆相关联的系统，包括:

包括至少一个输出设备的乘员输出系统；

至少一个车辆情境数据源；和

至少一个处理器，其与所述乘员输出系统和所述至少一个车辆情境数据源可操作地通信，其中所述至少一个处理器被配置为执行程序指令，其中所述程序指令被配置为使所述至少一个处理器:

从至少一个车辆情境数据源接收车辆或乘客情境数据；

基于车辆或乘员情境数据生成乘员消息数据；

确定与乘员输出系统相关联的乘员是否是视觉和听觉受损中的至少一种；

当确定乘员是视觉和听觉受损中的至少一种时，决定输出模态来帮助乘员；和

基于乘客消息数据，在至少一个输出设备上并以输出模态为乘客生成输出。

2.根据权利要求1所述的系统，其中，所述车辆或乘员情境数据包括来自车辆外部场景的图像或其他感知数据。

3.根据权利要求1所述的系统，其中所述车辆或乘员情境数据包括乘员相对于车辆的位置。

4.根据权利要求3所述的系统，其中，所述程序指令被配置为使所述至少一个处理器基于以下至少一项来确定乘员相对于车辆的位置:

来自乘员设备的一个或多个传输信号；和

感知数据的处理。

5.根据权利要求1所述的系统，其中所述车辆或乘员情境数据包括基于车辆控制命令的车辆行为信息。

6.根据权利要求1所述的系统，其特征在于，车辆或乘客情境数据包括地图数据。

7.根据权利要求1所述的系统，其中，所述乘客信息数据包括描述车辆外部环境的信息。

8.根据权利要求1所述的系统，其特征在于，所述乘客信息数据包括乘客上下车或任何其他与车辆相关的乘客行为的引导。

9.根据权利要求1所述的系统，其特征在于，所述乘客信息数据包括对车辆采取的行动的描述。

10.一种用于控制与车辆相关联的乘员输出系统的方法，该方法包括:

通过至少一个处理器从至少一个车辆情境数据源接收车辆或乘员情境数据；

经由所述至少一个处理器，基于所述车辆或乘员情境数据生成乘员消息数据；

经由所述至少一个处理器确定与所述乘员输出系统相关联的乘员是否是视觉和听觉受损中的至少一种；

当确定乘客是视觉和听觉受损中的至少一种时，通过至少一个处理器决定输出模态以帮助乘客；和

基于乘客消息数据，通过至少一个处理器在乘客输出系统的至少一个输出设备上并以输出模态为乘客生成输出。

Images