CN112154490A - 用于估计车辆座舱内部的场景的车内系统 - Google Patents

Abstract

公开了一种用于监视或估计车辆的座舱内部的场景的车内系统和方法。该车内系统包括：多个传感器，其测量、捕获和/或接收与座舱内部的属性有关的数据。该车内系统包括：场景估计器，其基于从传感器接收到的个体传感器信号来确定和/或估计座舱内部的一个或多个属性。该场景估计器基于单独地根据传感器信号而确定的一个或多个属性的组合来确定附加属性。由场景估计器确定的属性共同地包括对车辆的座舱内部的场景的估计。

Description

用于估计车辆座舱内部的场景的车内系统

本申请主张于2018年3月28日提交的序列号为62/649,114的美国临时申请的优先权的权益，其公开内容通过引用整体地并入本文中。

技术领域

本公开总体上涉及车辆座舱系统，并且更特别地，涉及一种用于估计车辆座舱内部的场景的系统和方法。

背景技术

除非本文中另有指示，否则在本小节中描述的材料并非是对本申请中的权利要求来说的现有技术，并且不因被包括在本小节中而被承认是现有技术。

随着技术朝着自主驾驶的方向发展，在未来，汽车中将不存在人类驾驶员。然而，人类驾驶员的缺失提出了一组新的挑战。特别地，在没有人类驾驶员的情况下，汽车本身可能需要承担理解汽车内部状态的任务，这可能包括标识是否以及何时需要清洁或其他维护，或者标识其中需要呼叫紧急服务（例如，警察或救护车）的紧急情况。因此，对于自主车辆而言，在该车辆中具有可以智能地感测车辆内部以检测感兴趣的某些事件的系统是合期望的、或者说甚至是必要的。

已经做出了用于驾驶员和乘客监视的许多尝试（例如，面部跟踪、眼睛跟踪和手势识别）。然而，已经较少关注于对车辆内的内部环境的感测。因此，对用于车内的系统和方法的改进将是有益的。

发明内容

公开了一种用于监视车辆的座舱内部的场景的系统。该系统包括：多个传感器，该多个传感器中的每个传感器被配置成输出相应传感器信号，该多个传感器中的至少一个传感器被配置成测量座舱内部的一个方面；以及处理系统，其可操作地连接到该多个传感器并且具有至少一个处理器。该处理系统被配置成：从该多个传感器接收每个相应传感器信号；基于来自该多个传感器中的第一传感器的第一传感器信号来确定座舱内部的第一属性；基于来自该多个传感器中的第二传感器的第二传感器信号来确定座舱内部的第二属性；以及基于第一属性和第二属性来确定座舱内部的第三属性。

公开了一种用于监视车辆的座舱内部的场景的方法。该方法包括：利用处理系统从多个传感器中的每一个接收相应传感器信号，该处理系统可操作地连接到该多个传感器并且具有至少一个处理器，该多个传感器中的每个传感器被配置成将相应传感器信号输出到处理系统，该多个传感器中的至少一个传感器被配置成测量座舱内部的一个方面；利用处理系统基于来自该多个传感器中的第一传感器的第一传感器信号来确定座舱内部的第一属性；利用处理系统基于来自该多个传感器中的第二传感器的第二传感器信号来确定座舱内部的第二属性；以及利用处理系统基于第一属性和第二属性来确定座舱内部的第三属性。

附图说明

在结合附图理解的以下描述中解释了该系统和方法的前述方面和其他特征。

图1示出了具有座舱和用于监视座舱的车内系统的车辆的简化框图。

图2示出了具有场景估计器的一个实施例的详细图示的车内系统的框图。

图3示出了在座舱传感器融合过程中使用以确定座舱中的乘客的压力水平属性的简化示例性决策表。

图4示出了用于确定在车辆座舱中乘坐的乘客的情绪分类属性的示例性传感器融合过程的流程图。

图5示出了用于调整由传感器融合模块用来确定属性流的模型参数的示例性训练过程的流程图。

具体实施方式

出于促进对本公开原理的理解的目的，现在将参考在附图中图示的以及在以下书面说明书中描述的实施例。要理解的是，并不由此意图限制本公开的范围。要进一步理解的是，本公开包括对所图示实施例的任何更改和修改，并且包括本公开所属领域的技术人员通常会想到的本公开原理的进一步应用。

车内系统概述

图1示出了具有座舱102和用于监视座舱102的车内系统104的车辆100的简化框图。尽管车辆100在本文中被图示为汽车，但是车辆100可以类似地包括具有用于移动人员或货物的座舱102的任何数量的类型的容器，诸如火车、公共汽车、地铁、飞机、直升机、客运无人机、潜艇、电梯、乘客移动吊舱。座舱102（在本文中也可以被称为隔仓）是用于容纳乘客或货物的典型封闭室。尽管车辆100被图示为具有单个座舱102，但是车辆100可以包括任何数量的单独且分离的座舱102（例如，火车车厢内部的多个隔仓或房间）。

车内系统104被配置成监视和/或估计车辆100的座舱102内部的状态或场景。车内系统104包括：具有一个或多个传感器106、108的感测组装件、场景估计器110、虚拟助手112和致动器114。传感器106、108、场景估计器110、虚拟助手112和致动器114经由可以是无线或有线的多个通信总线116彼此通信地耦合。

在所图示的实施例中，图示了两个传感器106和108。在座舱102的内部示出了本地传感器106，并且在座舱102的外部示出了远程传感器108。尽管仅图示了两个传感器106、108，但是可以在座舱102的内部安装任何数量的本地传感器106，并且可以在座舱102的外部安装任何数量的外部传感器108。

（一个或多个）本地传感器106被配置成测量、捕获和/或接收与座舱102内部的属性有关的数据，包括座舱102中的任何乘客、或被带入座舱102中的对象。如本文中使用的，术语“属性”是指状态、特性、参数、方面和/或质量。示例性本地传感器106可以包括视频相机、诸如传声器或扬声器之类的声学换能器、空气质量传感器、3D对象相机、雷达传感器、振动传感器、湿度传感器、其组合或任何合适的传感器。在一些实施例中，本地传感器106本身不一定被布置在座舱102内部，但是仍然被配置成测量、捕获和/或接收与座舱102内部的属性有关的数据（例如，被布置在隔室外部的雷达传感器可能提供关于隔室内部的信息）。在一些实施例中，本地传感器106可以由乘客携带或穿戴，并且被配置成当乘客处于座舱102中时测量、捕获和/或接收与座舱102内部的特性和/或参数有关的数据。乘客所携带或穿戴的这种本地传感器106可以包括腕表、电子设备、手镯、眼镜、助听器或任何合适的传感器。在又一个实施例中，本地传感器106可以与乘客所携带的对象集成，并且被配置成当乘客处于座舱102中时测量、捕获和/或接收与座舱102内部的特性和/或参数有关的数据。这种本地传感器106可以包括被集成或嵌入到对象（诸如，包裹、一件行李、钱包、手提箱、或任何合适的便携式对象）中的RFID标签或任何合适的标签。

相比之下，（一个或多个）远程传感器108（在本文中也可以被称为“外部”传感器）被布置在座舱102的外部，并且被配置成测量、捕获和/或接收与如下属性有关的数据：该属性不直接与座舱102的内部有关，诸如车辆外部环境的属性、以及在乘客存在于座舱102中的情境之外时该乘客的属性。示例性（一个或多个）远程传感器108可以包括天气状况传感器、外部空气状况传感器、环境传感器系统、邻域特性传感器或任何合适的传感器。进一步的示例性（一个或多个）远程传感器108可以包括远程数据源，诸如社交网络和天气预报源。在一个实施例中，所携带的远程传感器108在座舱102的外部被安装或设置在车辆100上。在另一个实施例中，传感器108远程地位于其他地方，并且经由无线通信而通信地耦合到车内系统104。

在至少一个实施例中，在车辆100中有多个座舱102的情况下，车内系统104的传感器包括用于每个个体座舱102的对应本地传感器106，但是对于每个个体座舱102，（一个或多个）重复性的远程传感器108是不必要的。然而，将领会到的是，“本地”传感器106与“外部”传感器108之间的区别在某种程度上是任意的。

场景估计器110经由通信总线116通信地耦合到传感器106、108。场景估计器110包括可操作地连接到相关联的存储器的至少一个处理器和/或控制器。本领域普通技术人员将认识到，“控制器”或“处理器”包括处理数据、信号或其他信息的任何硬件系统、硬件机构或硬件组件。场景估计器110的至少一个处理器和/或控制器被配置成执行存储在其相关联的存储器上的程序指令，以操纵数据或操作车内系统104中或车辆100的一个或多个组件以实行所列举的任务或功能。

场景估计器110被配置成从传感器106、108中的每一个接收传感器信号。从传感器106、108接收到的传感器信号可以是模拟或数字信号。如将在本文中的其他地方更详细地描述的，场景估计器110被配置成：基于接收到的传感器信号单独地确定和/或估计座舱102内部的一个或多个属性，以及基于接收到的传感器信号的组合来确定和/或估计座舱102内部的一个或多个属性。特别地，在至少一个实施例中，场景估计器110被配置成：基于从多个传感器106、108接收到的每个个体传感器信号来确定座舱102内部的一个或多个属性。接下来，场景估计器110被配置成：基于根据传感器信号单独地确定的属性的组合来确定座舱102内部的一个或多个附加属性。基于从多个传感器106、108接收到的传感器信号的组合所确定的座舱102内部的这些附加属性可以被看作是用于座舱102内部的一个或多个复杂“虚拟”传感器，其可以提供对座舱102内部的更复杂或更抽象的属性的指示，这些更复杂或更抽象的属性不是用个体常规传感器直接测量的或者不可用个体常规传感器来测量。

被确定和/或估计的座舱102内部的示例性属性可以包括：与座舱102内部的状况有关的属性，诸如空气质量、污渍、划痕、臭气、烟雾、或失火的存在、以及任何车辆固定件（诸如，座椅、仪表板等等）的检测到的切割或破损。被确定和/或估计的座舱102内部的进一步示例性属性可以包括与乘客其自己有关的属性，诸如性别、年龄、身量、体重、身体轮廓、活动、情绪等等。被确定和/或估计的座舱102内部的进一步示例性属性可以包括与被乘客遗留在座舱102中或被乘客带入座舱102中的对象有关的属性，该对象原本并不属于座舱102内部或者并不形成座舱102内部的一部分，诸如盒子、袋子、个人所有物、儿童座椅等等。

在至少一个实施例中，场景估计器被配置成：在参考时间段期间捕获传感器106、108的参考信号，和/或确定由场景估计器确定的属性中的至少一些的参考值。可以一次（例如，在安装了系统104之后）捕获、周期性地捕获、和/或在每个乘客和/或每组货物进入座舱102之前捕获针对所确定的属性的参考值和/或参考信号。场景估计器110被配置成：将所确定的属性的参考值和/或参考信号存储在相关联的存储器中。在一些实施例中，场景估计器110被配置成：在确定座舱102内部的属性时使用参考信号。特别地，在一些实施例中，场景估计器110被配置成：计及在参考数据捕获的时间与当前状态估计的时间之间的座舱102状况的改变，以提供对座舱102内部的当前属性的更准确的确定。例如，场景估计器110可以使用参考信号来计及和/或补偿外部照明状况（例如，太阳光或任何其他外部光源的强度或方向）的改变、外部空气状况的改变和/或外部噪声环境的改变。

虚拟助手112经由通信总线116通信地耦合到场景估计器110。虚拟助手112包括可操作地连接到相关联的存储器的至少一个处理器和/或控制器。本领域普通技术人员将认识到，“控制器”或“处理器”包括处理数据、信号或其他信息的任何硬件系统、硬件机构或硬件组件。虚拟助手112的至少一个处理器和/或控制器被配置成执行存储在其相关联的存储器上的程序指令，以操纵数据或操作车内系统104中或车辆100的一个或多个组件以实行所列举的任务或功能。

虚拟助手112被配置成：从场景估计器110接收指示由场景估计器110所确定和/或估计的座舱102内部的一个或多个属性的场景估计信号。在至少一个实施例中，虚拟助手112被配置成：基于从场景估计器110接收到的场景估计信号来触发一个或多个动作。特别地，在许多实施例中，场景估计器110不基于座舱102内部的属性直接触发任何动作，而是仅仅将场景估计信息提供给虚拟助手112，虚拟助手112负责在必要或期望时基于场景估计信息来采取动作。

在至少一个实施例中，虚拟助手112通信地耦合到车辆100的一个或多个致动器114，致动器114可以被激活以实行各种动作或操作。这些动作可能被应用于座舱102的内部或座舱102外部的其他系统。在一些实施例中，虚拟助手112可以通信地耦合到除了致动器114之外的任何合适的模块，以使这些模块激活并且实行一个或多个动作。

附加地，在一些实施例中，场景估计器110也通信地耦合到车辆100的一个或多个致动器114。在一些实施例中，场景估计器110被配置成操作致动器114以影响座舱102内部的场景的属性，这是出于改进场景估计的准确性和可靠性的目的。致动器中的至少一些被配置成调节座舱内部的如下方面：该方面影响第一传感器信号和第二传感器信号中的至少一个。场景估计器110被配置成：在确定座舱102内部的属性的值之前和/或在其期间将一个或多个致动器114设置到预定状态。例如，场景估计器110可以被配置成操作灯以照亮座舱102或其中的特定元件、操作百叶窗以阻挡外部光以免进入座舱、操作通风系统以交换或清洁座舱内的空气、操作引擎和/或方向盘以按特定方式来定位车辆100、操作座椅马达以将座椅置于预定的标准位置、操作扬声器以产生特定的参考或测试噪声、和/或操作显示器以示出测试图片。通过将一个或多个致动器114操作到预确定状态中，可以改进场景估计的质量。

尽管所图示的车内系统104是独立系统，但是在一些实施例中，场景估计器110和虚拟助手112的部分或全部功能可以通过远程云计算设备来实现，该远程云计算设备经由互联网与车内系统104进行通信，其中共享的资源、软件和信息被按需提供给车内系统104。

场景估计器

图2示出了具有场景估计器110的一个实施例的详细图示的车内系统104。场景估计器110包括处理系统150。处理系统150包括一个或多个个体处理器、控制器等等。特别地，在所图示的实施例中，处理系统150包括具有一个或多个预处理器120a、120b和120c的预处理器组装件120、采用至少一个处理器的形式的传感器融合模块122、以及具有一个或多个后处理器124a、124b和124c的后处理器组装件124。本领域普通技术人员将认识到，“处理器”或“控制器”包括处理数据、信号或其他信息的任何硬件系统、硬件机构或硬件组件。本文中描述的处理系统150的个体处理器120a、120b、120c、122、124a、l24b和124c可以以单个中央处理单元、多个分立处理单元、可编程逻辑器件、一个或多个逻辑门、ASIC器件、或用于实现所描述的功能的任何其他合适的电路组合的形式来实现。

场景估计器110进一步包括一个或多个存储器和存储器152和154。处理系统150的一个或多个个体处理器可操作地连接到存储器152和154。存储器152和154可以属于能够存储可由处理系统150的一个或多个个体处理器访问的信息的任何类型的设备。在至少一些实施例中，存储器152、154中的一个或两个被配置成存储程序指令，该程序指令在由处理系统150的一个或多个个体处理器执行时使处理系统150操纵数据或操作车内系统104中或车辆100的一个或多个组件，以实行被归因于处理系统150的所描述的任务或功能。所存储的程序指令可以包括实现处理系统150的个体处理器120a、120b、120c、122、124a、124b和124c的特征的各种子模块、子例程和/或子组件。

存储器152、154可以包括非暂时性计算机存储介质和/或通信介质，诸如易失性的和非易失性的两者、能够写入的和只读的两者、以任何介质或技术实现的可移除和不可移除介质两者，包括CD-ROM、DVD、光盘存储装置、磁带盒、磁带、磁盘存储装置或其他已知存储介质技术。在一个实施例中，存储器152是动态存储器，而存储器154是静态存储器。存储器152、154可以包括任何数量的存储器，并且可以被分区或以其他方式映射成反映各种子组件的边界。

在一些实施例中，场景估计器110进一步包括通信接口组装件156，该通信接口组装件156具有被配置成将处理系统150与传感器106、108和致动器114耦合的一个或多个接口156a、156b和156c。通信接口组装件156被配置成使得传感器数据、控制信号、软件或其他信息能够以信号的形式在场景估计器110与传感器106、108或致动器114之间传递，该信号可以是例如电子、电磁、光学、或能够由通信接口组装件156接收或传输的其他信号。在一些实施例中，通信接口组装件156可以包括用于连接到诸如有线网络或直接有线通信之类的有线介质（例如，通信总线116）的物理端子。在一些实施例中，通信接口组装件156可以包括一个或多个调制解调器、总线控制器等等，它们被配置成使得能够与传感器106、108或致动器114通信。在一些实施例中，通信接口组装件156可以包括一个或多个无线收发器，该无线收发器被配置成使得能够进行无线通信，诸如声学、RF、红外（IR）和其他无线通信方法。

场景估计器中的预处理

如上面讨论的，在所图示的实施例中，处理系统150包括三个预处理器120a、120b和120c，它们经由通信接口组装件156的接口156a、156b和156c连接到传感器106、108。在所图示的实施例中，预处理器120a被配置成从传感器106接收传感器信号，并且预处理器120b和120c被配置成从传感器108接收传感器信号。在一些实施例中，每个预处理器120a、120b、120c进一步被配置成从传感器融合模块122接收反馈或补充信号。来自传感器106、108的传感器信号以及来自传感器融合模块122的反馈或补充信号可以是音频信号、数字信号、视频信号、测量信号或任何合适的信号。

将领会到的是，取决于传感器106、108的数量、以及要对从传感器106、108接收到的每个相应传感器信号实行多少种不同类型的预处理，处理系统150中可以包括多于或少于三个预处理器。此外，对于某些传感器而言，预处理是不必要的，并且任何预处理器都不实行预处理（即，传感器可以直接连接到传感器融合模块122）。

预处理器120a、120b和120c中的每一个被配置成：从传感器106、108之一接收个体传感器信号，并且从相应传感器信号中提取信息以确定座舱102内部的属性。更特别地，在至少一些实施例中，预处理器120a、120b和120c中的每一个被配置成：从相应传感器信号中提取信息以确定座舱102内部的属性的值的时间顺序序列（chronological sequence）。属性的值的该时间顺序序列在本文中被称为“属性流”。在至少一个实施例中，属性流中的个体值与对应时间戳相关联。在至少一个实施例中，属性流中的个体值包括描述了对应时间戳处的属性的个体数据记录。将领会到的是，对于所表示的每种类型的属性，数据记录的结构以及其内容通常是不同的。属性流可以具有固定的更新速率（例如，预处理器被配置成每隔一秒或以其他预定更新频率来发送新的数据记录），或者可以被不定期地更新（例如，预处理器被配置成仅响应于该输出相对于先前值的差异达到某个阈值差异而发送新的数据记录）。

由每个预处理器120a、120b和120c确定的属性流的数据记录可以包括数字值、文本字符串、表情符号（例如，静止或动态的）、分类等等。在一个示例中，预处理器120a、120b和120c之一可以被配置成：从传感器106、108之一接收音频信号，并且生成从该音频信号中提取的文本信息流，诸如对乘客和/或用户所说出的单词的语音到文本转录。在另一个示例中，预处理器120a、120b和120c之一可以被配置成：从传感器106、108之一接收视频信号，并且基于从该视频信号中提取的信息来生成指示座舱102中的乘客的情感的情感属性流。情感属性流可以包括以下分类：快乐、悲伤、沮丧、生气和困倦等。在又一个示例中，预处理器120a、120b和120c之一可以被配置成：从传感器106、108之一接收指示空气中（例如，座舱102内部或车辆100外部）的CO₂浓度的二氧化碳（CO₂）空气浓度信号，并且基于该CO₂空气浓度信号来生成CO₂浓度的质量分类流（例如，不良、不错和良好类别）。在进一步的示例中，基于对乘客的标识，预处理器120a、120b和120c之一可以被配置成：从远程传感器108接收对应社交网络记录作为传感器信号、提取乘客在类似车辆内部的先前行为模式、并且生成属性流。

预处理器120a、120b和120c可以被配置成实行各种各样不同的预处理操作，以便最终确定属性流。在一些实施例中，预处理器120a、120b和120c中的一个或多个可以被配置成以预定采样率对接收到的传感器信号进行采样。在一些实施例中，预处理器120a、120b和120c中的一个或多个可以被配置成利用预定滤波器功能对接收到的传感器信号进行滤波。在一些实施例中，预处理器120a、120b和120c中的一个或多个可以被配置成缩放或放大接收到的信号。

在一些实施例中，预处理器120a、120b和120c中的一个或多个被配置成：通过将接收到的传感器信号分类成来自用于特定属性的一组预定的可能类别的一个或多个分类来确定属性流。在一个实施例中，预处理器可以被配置成：通过将传感器信号与对应于用于特定属性的每个可能类别的一个或多个预定阈值和/或预定范围进行比较来对传感器信号进行分类。作为示例，预处理器可以被配置成：通过将来自传声器传感器的音频信号与预定阈值进行比较来确定噪声水平属性，以将噪声水平属性分类为“低”、“正常”或“高”。

在另一个实施例中，预处理器可以被配置成通过使用神经网络来对传感器信号进行分类，该神经网络诸如基于深度卷积神经网络的分类器，该分类器被训练成使用传感器信号作为输入来输出特定属性的分类。在一些实施例中，预处理器可以被配置成：针对用于特定属性的该组预定的可能类别中的每个类别来确定概率和/或置信度值。作为示例，预处理器可以被配置成接收示出了乘客面部的视频信号，并且使用神经网络来确定乘客面部表情属性，该神经网络被配置成：针对用于面部表情属性的一组预定面部表情类别中的每个面部表情类别来确定概率和/或置信度值。因此，示例性输出可以采取诸如喜悦20％、惊讶60％、悲伤0％、厌恶5％、愤怒0％和恐惧15％之类的形式。

在一些实施例中，预处理器120a、120b和120c中的一个或多个被配置成通过从传感器信号中提取某些特征来确定属性流。例如，在来自视频相机的视频信号的情况下，预处理器可以被配置成检测视频信号中的对象和/或人员的边缘。预处理器可以被配置成检测视频信号中的人员的面部并且确定人员的身份。预处理器可以被配置成检测视频信号中的人员的身体姿势。在音频信号的情况下，预处理器可以被配置成检测音频信号中的某些音频特征或音频事件的存在（例如，玻璃破碎声、或乘客说出的单词）。

在一些实施例中，预处理器120a、120b和120c中的一个或多个被配置成：基于从传感器106、108之一接收到的相应传感器信号和从来自传感器融合模块122的反馈或补充信号中提取的信息的组合来确定属性。

场景估计器中的传感器融合

传感器融合模块122被配置成从预处理器120a、120b和120c接收多个属性流。在一些实施例中，传感器融合模块122被配置成从虚拟助手112接收附加的反馈或补充信号和/或数据。传感器融合模块122被配置成：基于由预处理器120a、120b和120c中的一个或多个提供的属性流来生成与座舱102内部有关的一个或多个附加属性流。传感器融合模块122可以被配置成使用各种各样不同的方法来确定座舱102内部的一个或多个附加属性流，这些方法组合了来自多个传感器106、108的信息。

由传感器融合模块122生成的属性流基本上类似于由预处理器120a、120b和120c生成的属性流。由传感器融合模块122生成的属性流可以被看作是用于座舱102内部的一个或多个复杂“虚拟”传感器，其提供了对座舱102内部的更复杂或更抽象的属性的指示，这些更复杂或更抽象的属性不是用个体常规传感器直接测量的或者不可用个体常规传感器来测量。由传感器融合模块122输出的附加属性流可以具有固定的更新速率（例如，传感器融合模块122被配置成每隔一秒或以其他预定更新频率来发送新的数据记录），或者可以被不定期地更新（例如，传感器融合模块122被配置成仅响应于该输出相对于先前值的差异达到某个阈值差异而发送新的数据记录）。

在一些实施例中，传感器融合模块122被配置成使用确定性算法来生成附加属性流，该确定性算法诸如决策表、决策树等等，其取决于从预处理器120a、120b和120c接收到的两个或更多个属性流的值来定义附加属性。决策表的详细示例稍后在本文中关于图3来讨论。

在一些实施例中，传感器融合模块122被配置成使用概率性模型来生成附加属性流，该概率性模型诸如取决于预定概率分布以及取决于从预处理器120a、120b和120c接收到的两个或更多个属性流的值来定义附加属性的模型。

在一些实施例中，传感器融合模块122被配置成使用神经网络来生成附加属性流，该神经网络诸如基于深度卷积神经网络的分类器，其将从预处理器120a、120b和120c接收到的两个或更多个属性流的值取作输入。

在一个实施例中，传感器融合模块122被配置成：基于从预处理组装件120接收到的属性流的组合、并且还基于从虚拟助手112接收到的附加反馈或补充信号和/或数据来生成一个或多个附加属性流。

场景估计器中的后处理

继续参考图2，由传感器融合模块122输出的属性流被提供给后处理组装件124。在所图示的实施例中，后处理组装件124包括三个后处理器124a、124b和124c，这三个后处理器可操作地连接到传感器融合模块122，并且被配置成接收由传感器融合模块122输出的属性流。后处理器124a、124b和124c可以被配置成对从传感器融合模块122接收到的属性流实行各种各样不同的后处理操作。

将领会的是，取决于由传感器融合模块122提供的输出数量、以及要对传感器融合模块122的每个相应的输出实行多少种不同类型的后处理，处理系统150中可以包括多于或少于三个后处理器。此外，对于传感器融合模块122的一些输出而言，后处理是不必要的，并且任何后处理器都不实行后处理（即，传感器融合模块122的输出可以直接连接到虚拟助手112）。由后处理器124a、124b和124c输出的属性流可以具有固定的更新速率（例如，后处理器被配置成每隔一秒或以其他预定更新频率来发送新的数据记录），或者可以被不定期地更新（例如，后处理器被配置成仅响应于该输出相对于先前值的差异达到某个阈值差异而发送新的数据记录）。

在至少一个实施例中，后处理器124a、124b和124c中的一个或多个被配置成：从传感器融合模块122接收属性流，并且利用滤波器对属性流中的值进行滤波，该滤波器诸如滑动平均滤波器、低通滤波器、高通滤波器、带通滤波器。在一个示例中，后处理器可以被配置成对属性流进行滤波，以便使该属性的值平滑或从属性流中去除噪声或离群值。

在至少一个实施例中，后处理器124a、124b和124c中的一个或多个被配置成缩放、归一化或放大属性流中的值。在一个示例中，在属性流包括针对该属性的一组可能类别的置信度值的情况下，后处理器可以缩放或归一化这些置信度值，使得针对所有可能类别的置信度值的总和等于1（使得置信度值是针对每一个可能类别的概率）。在另一个示例中，后处理器可以选择具有最高置信度值的类别作为输出，或者可替代地，将最高置信度值设置为100％，同时将其他置信度值设置为0％。

在另一个实施例中，后处理器124a、124b和124c中的一个或多个被配置成：从传感器融合模块122接收两个不同的属性流，并且对属性流中的值进行分组、配对、组合或以其他方式相关联。作为一个示例，后处理器可以被配置成将一个属性流的值与具有相似或相等时间戳的另一个属性流的值进行相关，由此基于所表示的时间点对属性进行分组。

在另一个实施例中，后处理器124a、124b和124c中的一个或多个被配置成：从传感器融合模块122接收属性流，并且对属性流中的值进行重新采样。例如，由传感器融合模块122提供的属性流可以具有非常高的分辨率和/或采样率。后处理器可以被配置成以较低分辨率或较低采样率对属性流进行重新采样，或者反之亦然。作为另一个示例，由传感器融合模块122提供的属性流可以具有高度可变的更新速率。后处理器可以被配置成使用插值技术以固定的更新速率对属性流进行重新采样。

虚拟助手112被配置成从后处理组装件124接收属性流，这些属性流共同表示座舱102的内部内的场景估计。在一些实施例中，虚拟助手112被配置成向传感器融合模块112提供某些反馈或补充信号。如上面讨论的，在至少一个实施例中，虚拟助手112被配置成基于从场景估计器110接收到的属性流来触发一个或多个动作，这些动作可以包括操作一个或多个致动器114。

示例性场景估计过程

为了提供对场景估计器110的更好理解，下面描述了用于基于两个或更多个传感器信号来确定附加输出的示例性场景估计过程。然而，将领会的是，下面讨论的示例仅用于解释性目的以说明可以由场景估计器实行的可能的传感器融合操作的广度，而不应当被解释为限制场景估计器110的功能。

作为第一示例，在一个实施例中，场景估计器110被配置成使用确定性算法来确定在车辆100的座舱102中乘坐的乘客的压力水平属性。图3示出了在场景估计过程中使用以确定座舱102中的乘客的压力水平属性的简化示例性决策表200。在该示例中，场景估计器110从第一传感器（例如，安装在座舱102内的传声器）接收噪声水平信号，并且从第二传感器（例如，从座舱102中的乘客所穿戴的可穿戴设备）接收心率信号。预处理器组装件120中的对应预处理器基于噪声水平信号和心率信号来生成属性流。特别地，第一预处理器生成其中噪声水平属性被分类为“低”、“正常”或“高”的属性流。第二预处理器生成其中乘客的心率属性被类似地分类为“低”、“正常”或“高”的属性流。传感器融合模块122被配置成：参考决策表200、以及从预处理器提供的经分类的噪声水平和心率属性来确定乘客的压力水平属性。特别地，传感器融合模块122被配置成响应于噪声水平为“低”或“正常”并且心率为“低”或“正常”而确定乘客的压力水平为“正常”。传感器融合模块122进一步被配置成响应于噪声水平为“高”并且心率为“低”或“正常”而确定乘客的压力水平为“正常”。传感器融合模块122进一步被配置成响应于噪声水平为“低”或“正常”并且心率为“高”而确定乘客的压力水平为“增加的”。最后，传感器融合模块122进一步被配置成响应于噪声水平为“高”并且心率为“高”而确定乘客的压力水平为“增加的”。传感器融合模块122被配置成输出指示所确定的乘客压力水平的属性流。

作为第二示例，在一个实施例中，场景估计器110被配置成使用概率性和/或机器学习模型来确定在车辆100的座舱102中乘坐的乘客的情绪分类属性。图4示出了用于确定在车辆100的座舱102中乘坐的乘客的情绪分类属性的示例性场景估计过程300的流程图。在该示例中，车内系统104包括传感器A和B，传感器A和B将传感器信号提供给场景估计器（框302）。传感器A是传声器或其他声学换能器，其被配置成记录座舱102内部的声音，并且将模拟音频信号提供给场景估计器110。传感器B是视频相机或光学传感器，其被配置成记录座舱102内部的视频，并且将数字视频信号提供给场景估计器110。

预处理组装件120的第一预处理器被配置成对从传感器A接收到的音频信号进行采样（框304），以将该信号转换成数字音频信号。可选地，预处理组装件120的第一预处理器进一步被配置成应用数字滤波器以从该数字音频信号中去除不想要的噪声（框308）。最后，预处理组装件120的第一预处理器进一步被配置成基于该数字音频信号将乘客的声音分类成一个或多个类别（框310）。针对乘客声音的可能分类可以例如包括：大喊、尖叫、耳语和哭泣。在一个实施例中，第一预处理器针对乘客声音的每个可能的分类来计算概率和/或置信度值。因此，示例性输出可以采取以下形式，诸如：大喊20％、尖叫70％、耳语0％和哭泣10％。表示乘客声音的分类的属性流A被提供给传感器融合模块122。

预处理组装件120的第二预处理器被配置成请求并且接收来自传感器B的数字视频信号（框306）。预处理组装件120的第二预处理器进一步被配置成基于该数字视频信号对乘客的面部表情进行分类（框312）。针对乘客的面部表情的可能分类可以例如包括喜悦、惊讶、悲伤、厌恶、愤怒和恐惧。在一个实施例中，第二预处理器针对乘客的面部表情的每个可能的分类来计算概率和/或置信度值。因此，示例性输出可以采取以下形式，诸如：喜悦20％、惊讶60％、悲伤0％、厌恶5％、愤怒0％和恐惧15％。表示乘客的面部表情的分类的属性流B被提供给传感器融合模块122。

传感器融合模块122被配置成接收表示乘客声音的分类的属性流A和表示乘客的面部表情的分类的属性流B。在一个实施例中，对属性流A和属性流B进行组合（框314）。传感器融合模块122被配置成使用具有模型参数和/或模型数据218的至少一个模型，以基于乘客的声音（属性流A）和乘客的面部表情（属性流B）来确定对乘客的情绪进行分类的属性流（框316）。针对乘客情感的可能分类可以例如包括：热情、幸福、冷静、悲伤、沮丧、烦恼和愤怒。传感器融合模块122针对乘客情感的每个可能的分类来计算概率和/或置信度值。因此，示例性输出可以采取以下形式，诸如：热情80％、幸福10％、冷静0％、悲伤0％、沮丧0％、烦恼10％和愤怒0％。表示乘客情感的分类的属性流C被提供给后处理组装件124和/或虚拟助手112。最后，后处理组装件124中的至少一个后处理器被配置成对传感器融合模块122的输出（属性流C）实行一个或多个后处理操作（诸如缩放、分组和重新采样）（框320）。例如，后处理组装件124的后处理器可以被配置成通过简单地输出具有最高置信度值的类别来简化属性流C。作为另一个示例，后处理组装件124的后处理器可以被配置成对属性流C进行滤波，以便消除噪声和/或离群值（例如，主要包括幸福分类的流可能具有随机离群值（诸如单个愤怒分类），可以将其滤除）。在后处理之后，过程300结束（框326）。

知识数据库

返回到图2，在至少一个实施例中，场景估计器110利用一个或多个知识数据库126、128。在一个实施例中，知识数据库126本地存储在存储器154中，并且知识数据库128远程地存储，诸如存储在外部服务器上。在至少一个实施例中，远程知识数据库128对于多个车辆和/或多个车内系统是共同的，而本地知识数据库126可以并入对于多个车辆共同的数据和对于特定车辆100唯一的数据的组合。在一些实施例中，省略了本地知识数据库126，并且所有必要的数据被远程地存储在远程知识数据库128中。

在一个实施例中，远程知识数据库128具有被配置成支持基于车辆类型或车辆配置的知识聚类的结构。在一个实施例中，本地知识数据库126和/或远程知识数据库128被配置成存储在当前状况下与该车辆有关的信息（例如，座舱配置、典型的使用模式、典型的穿戴模式、用于乘客的典型座位等）。在一个实施例中，本地知识数据库126和/或远程知识数据库128被配置成存储与容器的个体乘客有关的信息（例如，社交媒体简档、在类似容器中的先前乘坐中所施加的行为等）。

如上面讨论的，传感器融合模块122可以被配置成使用各种各样不同的模型，以用于基于从预处理组装件120接收到的属性流来确定附加属性流。特别地，在一些实施例中，传感器融合模块122可以利用确定性、概率性和/或机器学习技术。本地知识数据库126和/或远程知识数据库128被配置成存储被用来确定附加属性流的模型参数和/或模型数据（在图4中被示为模型数据218）。在确定性或概率性技术的情况下，传感器融合模块122被配置成参考一个或多个预定的阈值参数、方程参数、分布函数等等（其值和细节可以被存储在本地知识数据库126和/或远程知识数据库128中）来确定附加属性流。同样地，在机器学习技术的情况下，传感器融合模块122被配置成使用人工神经网络、参考经训练的模型参数、权重、内核等等（其值和细节可以被存储在本地知识数据库126和/或远程知识数据库128中）来确定附加属性流。

在一些实施例中，本地知识数据库126和/或远程知识数据库128可以被配置成存储由预处理组装件120的预处理器和/或后处理组装件124的后处理器使用的类似模型参数和/或模型数据。然而，在所图示的实施例中，这种模型参数和/或模型数据被存储在与预处理组装件120或后处理组装件124相关联的不同存储器上。

在一些实施例中，传感器融合模块122被配置成将所确定的属性流中的一个或多个存储在本地知识数据库126和/或远程知识数据库128中。在一些实施例中，传感器融合模块122被配置成稍后检索所存储的属性流，并且基于其来确定另外的属性流。在属性流被存储在远程知识数据库128中的情况下，在一些实施例中，传感器融合模块122被配置成检索由另一车辆的另一车内系统的传感器融合模块存储的属性流，该属性流可以用于基于其来确定另外的属性流。

在一些实施例中，传感器融合模块122可以经由通信总线116从虚拟助手112获得或接收信息，以便扩充（一个或多个）知识数据库126、128或调整场景估计（在下面讨论）。在一个实施例中，虚拟助手112可以提供关于环境或预期内部状态的信息。传感器融合模块122被配置成使用由虚拟助手112提供的信息，以便经由调整场景估计来改进座舱的状况。例如，虚拟助手112预期在座舱中具有人员A，并且还知道人员B与人员A相关。通过共享关于人员A和B的信息，改进了对座舱中的乘客的标识。在另一个实施例中，例如，虚拟助手112可以提供传感器融合模块可以用来通过利益相关者扩充知识的信息。例如，传感器融合模块122估计清洁度状态，并且虚拟助手112将来自用户的评级添加到清洁度状态。人类感知的清洁度状态连同传感器融合输入可以被添加到（一个或多个）知识数据库126、128中，并且由传感器融合模块122使用以确定附加属性流。

训练

图5示出了用于调整由传感器融合模块122用来确定属性流的模型参数的示例性训练过程400。特别地，如上面讨论的，本地知识数据库126和/或远程知识数据库128被配置成存储由传感器融合模块122用来确定附加属性流的模型参数和/或模型数据。在一些实施例中，使用附加训练数据（地面真值422）来调节和/或调整模型参数、阈值等。

如上面类似地讨论的，关于图4的示例，传感器融合模块122被配置成从预处理组装件120接收属性流A和B（框314和316）。传感器融合模块122被配置成使用具有模型参数和/或模型数据218的至少一个模型来生成附加属性流C，附加属性流C包括针对属性C的每个可能分类的置信度值。接下来，后处理组装件124中的至少一个后处理器被配置成对传感器融合模块122所生成的属性流C实行一个或多个后处理操作，诸如缩放、分组和重新采样，如上面所讨论的那样。

在示例性训练过程400中，将场景估计器110的后处理组装件124的输出与地面真值422进行比较以确定误差（框424）。计算出的误差被用来调节由传感器融合模块122用来确定附加属性流的模型参数和/或模型数据218的值。在一个实施例中，处理组装件150的处理器（诸如，后处理组装件124的后处理器）被配置成计算误差，并且调节模型参数和/或模型数据的值。然而，任何处理器或处理系统都可以被用来实行对模型参数和/或模型数据218的训练和调节。在传感器融合模块122利用机器学习技术来确定附加属性流的情况下，可以使用一个或多个损失函数来训练模型参数、权重、内核等。

地面真值422通常包括被认为是场景估计器110的正确输出的经标记的数据，并且通常将采取与场景估计器110的估计输出（例如，后处理之后的属性流C）基本类似的形式。在一些实施例中，人类观察者通过观察座舱102内部中的场景来手动地生成地面真值422，该地面真值422与来自场景估计器110的估计输出进行比较。然而，取决于由场景估计器110估计的座舱102的属性的性质，可以以各种其他方式来导出地面真值。

在一个实施例中，虚拟助手112通信地耦合到多于一个信息源，可以请求与特定场景相关的地面真值信息。该信息可以包括过去、未来或预测性的信息。例如，虚拟助手112可以接收在特定温度和湿度下关于典型空气质量读数的信息。作为另一个示例，虚拟助手112可以接收由乘客或者提供公共服务（包括租赁、公共交通等）的利益相关者所发布的信息。由利益相关者发布的信息可以包括服务、产品、报价、广告、对反馈的响应等等。由乘客发布的信息内容可以包括投诉、评论、建议、赞美、反馈、博客等等。特别地，乘客可能会发布关于他上次乘坐汽车期间的沮丧感的信息，并且虚拟助手112被配置成将该帖子映射到该乘客的特定乘坐。类似地，乘客可能会给出反馈，指示他们洒了些东西或以其他方式导致了座舱的内部变脏。在一个实施例中，在定期清洁或维护之前，可能对内部的状态进行评级。

然后，将训练数据存储在本地知识数据库126、远程知识数据库128或其组合中。在一些实施例中，存储在本地知识数据库126中的训练数据对于特定车辆100是特定和/或唯一的。在一些实施例中，存储在远程知识数据库128中的训练数据可适用于多个车辆。在一些实施例中，训练数据可以被转发到其他车辆、在其他车辆之间交换、或与其他车辆共享。在另一个实施例中，训练数据可以被直接或间接地广播到其他车辆。

在一些实施例中，用于传感器融合模块122的训练过程的某些部分可以本地实行，而用于传感器融合模块122的训练过程的其他部分远程地实行。在远程训练之后，可以将更新的模型数据部署到车辆中的场景估计器单元。

将领会到的是，类似于上述训练过程的训练过程可以应用于预处理组装件120的预处理器和后处理组装件124的后处理器。特别地，如上面讨论的，至少预处理组装件120的预处理器可以使用并入了各种预定阈值、预定范围和/或经训练的神经网络的模型，以确定要提供给传感器融合模块122的属性流。可以以与上面讨论的方式相同的方式、基于训练数据和/或地面真值来调节或调整这些参数（例如，可以调节用于区分“低”、“正常”和“高”分类的阈值）。然而，在至少一些实施例中，由预处理组装件120和/或后处理组装件124实行的过程是不特定于车辆的具体环境的广泛适用的操作（例如，滤波、边缘检测、面部识别）。因此，通常在某个其他环境中使用鲁棒的一组广泛适用的训练数据来训练预处理组装件120和/或后处理组装件124的操作。

尽管已经在附图和前述描述中详细图示和描述了本公开，但是本公开在性质上应当被视为是说明性的而非限制性的。要理解的是，仅呈现了优选实施例，并且期望保护落入本公开的精神内的所有改变、修改和进一步应用。

Claims (20)

1.一种用于监视车辆的座舱内部的场景的系统，所述系统包括：

多个传感器，所述多个传感器中的每个传感器被配置成输出相应传感器信号，所述多个传感器中的至少一个传感器被配置成测量座舱内部的一个方面；以及

处理系统，其可操作地连接到所述多个传感器并且具有至少一个处理器，所述处理系统被配置成：

从所述多个传感器接收每个相应传感器信号；

基于来自所述多个传感器中的第一传感器的第一传感器信号来确定座舱内部的第一属性；

基于来自所述多个传感器中的第二传感器的第二传感器信号来确定座舱内部的第二属性；以及

基于第一属性和第二属性来确定座舱内部的第三属性。

2.根据权利要求1所述的系统，所述处理系统被配置成：

通过将第一传感器信号分类为来自用于第一属性的一组预定类别的至少一个类别来确定第一属性。

3.根据权利要求2所述的系统，所述处理系统被配置成：

通过将第一传感器信号与（i）第一阈值和（ii）值的第一范围中的至少一个进行比较，将第一传感器信号分类为来自用于第一属性的所述一组预定类别的至少一个类别。

4.根据权利要求2所述的系统，所述处理系统被配置成：

使用神经网络将第一传感器信号分类为来自用于第一属性的所述一组预定类别的至少一个类别。

5.根据权利要求2所述的系统，所述处理系统被配置成：

通过基于第一传感器信号、针对用于第一属性的所述一组预定类别中的每个类别来确定（i）概率和（ii）置信度值中的至少一个，从而确定第一属性。

6.根据权利要求1所述的系统，所述处理系统被配置成：

通过使用神经网络从第一传感器信号中提取特征来确定第一属性。

7.根据权利要求1所述的系统，所述处理系统被配置成：

通过对第一传感器信号进行采样、滤波和缩放中的至少一个来确定第一属性。

8.根据权利要求1所述的系统，所述处理系统被配置成：

参考逻辑表来确定第三属性，所述逻辑表基于第一属性的值和第二属性的值来定义第三属性的值。

9.根据权利要求1所述的系统，所述处理系统被配置成：

使用神经网络来确定第三属性，所述神经网络基于第一属性的值和第二属性的值来确定第三属性的值。

10.根据权利要求1所述的系统，所述处理系统被配置成：

通过基于第一属性的值和第二属性的值来确定从用于第三属性的一组预定类别中选择的类别值，从而确定第三属性。

11.根据权利要求10所述的系统，所述处理系统被配置成：

基于第一属性的值和第二属性的值、针对用于第三属性的所述一组预定类别中的每个类别来确定（i）概率和（ii）置信度值中的至少一个。

12.根据权利要求11所述的系统，所述处理系统被配置成：

通过从用于第三属性的所述一组预定类别中选择具有（i）最高概率和（ii）最高置信度值中的至少一个的类别来确定第三属性。

13.根据权利要求1所述的系统，所述处理系统被配置成：

通过对第三属性进行重新采样、滤波和缩放中的至少一个来处理第三属性。

14.根据权利要求1所述的方法，其中：

第一传感器是声学传感器，并且第一属性是座舱内部的噪声水平分类；

第二传感器是心率传感器，并且第二属性是座舱内部的乘客的心率分类；以及

第三属性是乘客的压力水平分类。

15.根据权利要求1所述的方法，其中：

第一传感器是声学传感器，并且第一属性是座舱内部的乘客的噪声分类；

第二传感器是视频相机，并且第二属性是座舱内部的乘客的面部表情分类；以及

第三属性是乘客的情绪分类。

16.根据权利要求1所述的系统，所述处理系统被配置成：

基于第一传感器信号来确定第一属性的值的时间顺序序列；

基于第二传感器信号来确定第二属性的值的时间顺序序列；以及

基于第一属性的值的时间顺序序列和第二属性的值的时间顺序序列来确定第三属性的值的时间顺序序列。

17.根据权利要求1所述的系统，进一步包括：

至少一个存储器，其可操作地连接到所述处理系统，所述至少一个存储器被配置成存储训练数据，

其中所述处理系统被配置成：

基于训练数据来调节模型的至少一个参数；以及

使用所述模型基于第一属性和第二属性来确定第三属性。

18.根据权利要求1所述的系统，所述处理系统被配置成：

将第三属性输出到可操作地连接到所述处理系统的计算设备。

19.根据权利要求1所述的系统，进一步包括：

致动器，其可操作地连接到所述处理系统，并且被配置成调节座舱内部的如下方面：所述方面影响第一传感器信号和第二传感器信号中的至少一个，

其中所述处理系统被配置成在确定第一属性和第二属性的同时将致动器操作成处于预定状态。

20.一种用于监视车辆的座舱内部的场景的方法，所述方法包括：

利用处理系统从多个传感器中的每一个接收相应传感器信号，所述处理系统可操作地连接到所述多个传感器并且具有至少一个处理器，所述多个传感器中的每个传感器被配置成将相应传感器信号输出到所述处理系统，所述多个传感器中的至少一个传感器被配置成测量座舱内部的一个方面；

利用所述处理系统基于来自所述多个传感器中的第一传感器的第一传感器信号来确定座舱内部的第一属性；

利用所述处理系统基于来自所述多个传感器中的第二传感器的第二传感器信号来确定座舱内部的第二属性；以及

利用所述处理系统基于第一属性和第二属性来确定座舱内部的第三属性。

Images