CN115768664A - 用于对车辆舱室进行监控的系统和方法 - Google Patents

Abstract

车辆舱室监控使用被定位在舱室中央的雷达单元来获取车辆舱室的图像数据并且使用处理器来生成对车辆舱室内的座位的占用进行检测、对占用者进行分类、对姿势进行检测、对安全带状态进行确定、以及对占用者的生命体征进行监控。输出单元可以执行适合于车辆舱室的占用者的状态的响应。

Description

用于对车辆舱室进行监控的系统和方法

相关申请的交叉引用

本申请要求于2020年5月6日提交的美国临时专利申请第63/020,691号、2020年4月28日提交的美国临时专利申请第63/016,314号、2020年7月26日提交的美国临时专利申请第63/056,629号、2020年7月9日提交的美国临时专利申请第63/049,647号、以及2021年1月11日提交的美国临时专利申请第63/135,782号的优先权益，这些文献的内容通过引用以其整体的方式并入本文。

技术领域

本文的公开内容涉及用于基于雷达对车辆的舱室进行监控的系统和方法。具体地，但非排他地，本公开内容涉及对车辆的占用者的占用、姿势和分类进行检测，并且基于诸如占用对象的质量或体型或方向之类的监测到的参数来对车辆系统进行控制。

背景技术

了解车辆内有多少占用者以及他们坐在哪里很重要。

出于各种原因，了解车辆的座位是否被占用是有用的。

现代车辆的实施方式包括用于对车辆的占用进行确定的过量的传感器。这些传感器包括用于识别每个座位是否被占用、婴儿是否在前排座位中以禁用安全气囊等的传感器。

车辆允许搭载的乘客的数目是有限制的。关于车辆的不同座位也有尺寸和重量(weight)限制。例如，特定年龄以下的乘客不允许坐在前排座位中。

在某些司法管辖区，为了鼓励拼车，如果私家车辆除驾驶员外还至少搭载有特定数目的乘客，则允许私家车辆使用诸如公共汽车专用道之类的优待道路。

基于紧凑型天线阵列的宽带MIMO雷达设备目前被用在各种成像应用中，以使近场对象以及远场对象可视化并且基于它们的反射特性对这些对象进行表征。

当前最先进的技术使用MIMO雷达信号来创建3D图像。然而，当前的MIMO成像技术在识别彼此非常接近的目标或在移动环境中发现的目标时缺乏实现足够分辨率的能力。

具有不同部分的复杂目标对象，每个部分都有自己的移动模式，还使具有足够分辨率的成像复杂化。因此，需要推进当前的MIMO雷达成像技术以实现更高程度的分辨率。

拥有大量传感器对车辆的内部进行监控会导致费用问题和可靠性问题。需要用更简单的系统来获得相同的信息。本公开内容解决了这种需要。

汽车制造商利用大量传感器来对汽车性能和安全目的进行监控。对舱室的占用并且尤其是车辆的座位是否被占用以及是否车载有幼儿进行监控也很有用。例如，压力传感器被使用以对车辆内的占用进行检测，位置检测器对汽车座位的配置和位置进行检测，检测器用于对留在车内的婴儿进行检测等。

拥有大量传感器对车辆的内部进行监控会导致费用问题和可靠性问题。实际上，一些现代车辆包括用于确定车辆的占用的过量的传感器。另外地，这些传感器不会基于乘客的年龄和身体结构来对乘客进行识别和区分。这些传感器包括用于对每个座位是否被占用、婴儿是否在前部座位以禁用安全气囊等进行识别的传感器。期望用更简单的系统获得相同的信息。

因此，需要一种更简单的系统来替代车辆传感器并且根据乘客的座位位置来对安全系统进行操作。本文描述的本发明解决了上述需求。

发明内容

实施方式的第一方面涉及一种雷达传感器阵列，该雷达传感器阵列被安装在允许对车辆的舱室及其占用者进行监控的位置。

传感器可以位于车辆的顶棚的稍微中央位置，以对驾驶员和前部座位、以及后部座位进行监测。

雷达传感器阵列可以被定位在顶棚室内装饰后面或顶棚下方的盒子中。

替代性地，可以将传感器安装在挡风玻璃或后窗的高度处。

在其他实施方式中，雷达传感器可以被结合到头枕中，例如位于头枕、诸如驾驶员座位的头枕的中央位置。在适当的情况下，双面传感器可以包括面向前方和面向后方的收发器阵列，从而提供整个车辆的360度覆盖范围。

雷达传感器阵列可以是芯片上雷达设备的一部分，该芯片上雷达设备包括处理器和存储器以及输出到车辆的数据。

雷达传感器阵列被配置成对舱室以及舱室内的对象和乘客进行监控，并且可以区分不同类型的乘客，诸如成人和儿童、婴儿、宠物以及无生命对象。

此外，检测到的数据包括随时间的宏观移动和轻微移动，可以对姿势、手势、呼吸和心率进行监测。

在一些实施方式中，也可以仅每隔几分钟对雷达传感器阵列进行操作，诸如响应于车辆移动或停止、或者门打开或关闭而对雷达传感器阵列进行操作。

另外地，它可以被配置成经由通信网络与远程服务器进行通信、经由云或物联网进行通信，以向车队运营商、租赁车辆提供商、警察、紧急救援服务等提供占用者及其行为的详细信息。

在一些实施方式中，雷达传感器阵列始终操作，至少当车辆在使用中时，以连续周期经历活动时段和空闲时段。在其他实施方式中，车辆的中央计算机在特定条件下唤醒传感器，诸如响应车门打开或关闭、速度的变化、检测到的路况等来唤醒传感器。

通过在脉冲模式下操作，脉冲发信号的时段之后是数据处理的时段和空闲时段，热量的生成可以被控制。

在通过数据导管线联接到车辆的情况下，可以使用数据导管线从雷达传感器阵列提取热量。

也可以将金属散热器附接至传感器阵列，传感器阵列延伸到车辆的外部并由穿过散热器上方的空气冷却，或者将其联接至车辆的金属框架以提取热量。

一些实施方式涉及传感器被嵌入诸如天窗之类的玻璃部件中，或者替代性地被嵌入车辆的挡风玻璃或后窗中。这允许单个安装位置，使性能最大化并且使各种车型的产生的安装成本最小化。

如本文所用，术语天窗包括部分玻璃顶棚、全景玻璃顶棚和顶棚中的窗板。

雷达传感器阵列可以被集成到天窗并且嵌入天窗的材料中，或者可以被陷入层之间或至少具有上层和下层的层压天窗之间。

替代性地，雷达传感器阵列可以被附接至天窗的下侧。

同样替代性地，雷达传感器阵列可以被嵌入天窗内的腔室中，可能被嵌入优选具有高热传导性的热塑性塑料或环氧树脂中。

这类实施方式的特征在于天窗由具有良好散热特性的玻璃材料制造。该天窗从传感器传导热量，并且凭借天窗的大表面积，很容易冷却。实际上，天窗的外侧表面通过车辆的移动进行对流冷却。

本发明的一个方面涉及一种车辆的天窗，该天窗具有用于对车辆中的乘客进行监控的集成的雷达传感器阵列。

其他实施方式涉及本发明的雷达传感器阵列，该雷达传感器阵列附接在玻璃前照灯单元、镜子、挡风玻璃和后窗内，以用于对车辆的外部进行监测。这里同样，大玻璃或其他热传导表面可以充当大散热器，从而防止雷达单元过热。同样，雷达传感器阵列可以与存储器和数字信号处理器一起被集成到芯片中，该芯片可以通过被嵌入腔室中或层压在内层与外层之间、或者简单地以所期望的位置和取向粘附到内表面而被集成到前照灯、后灯或指示灯单元中，或者被集成到诸如车辆的挡风玻璃、后窗或侧窗之类的窗户中。

在本发明的一个方面，公开了一种用于在车辆中对占用信息进行检测的骨骼关键点检测系统。座位占用提供每个座位上的乘客的年龄类别以及就位或错位的信息。该系统包括雷达单元、预处理器单元、数据库、处理单元、以及一个或更多个输出单元。

在本发明的另一个方面，雷达单元包括发射器阵列和接收器阵列，发射器阵列和接收器阵列被配置成分别向车辆乘客发射电磁辐的射束以及接收由乘客反射的电磁波。预处理单元接收来自雷达接收器的电磁信号，并且使用经训练的深度神经网络(DNN)对人类关键点进行提取。所提取的PKP被用于对车辆的每个座位处的乘客的骨骼点进行识别。所识别的车辆的每个座位处的关键骨骼点被发送到处理单元。

在本发明的另一方面，处理单元包括匹配单元、规则数据库和通信器。匹配单元将从预处理单元接收到的关键骨骼点与从数据库接收到的标准乘客参数进行比较，并且基于比较来确定车辆的每个座位的占用信息。然后将占用的信息传输到规则数据库，该规则数据库基于接收到的信息来确定用于每个座位的动作。然后将确定的动作通过通信器发射到一个或更多个输出单元。

在本发明的另一方面中，人类关键点(PKP)可以包括乘客的头部、左右肩部、下腹部或骨盆的左右外部点、以及左右膝盖或大腿上的点的信息。

在本发明的又另一方面中，占用信息包括每个座位的占用、每个占用者的年龄类别、以及每个占用者的就位或错位检测。

附图说明

为了更好地理解实施方式并示出这些实施方式可以如何实施，现在将仅以示例的方式对附图进行参考。

现在具体参考附图，强调所示的细节仅作为示例，并且仅用于对所选实施方式进行说明性讨论，以及在提供被认为是对原则和概念方面最有用和最容易理解的描述的原因中提出。在这方面，没有试图更详细地示出结构细节，这不是基本理解所必需的；附图说明对本领域技术人员来说显而易见的是如何将各种所选实施方式付诸实践。在附图中：

图1示出了车辆舱室的示意图，该示意图示出了雷达传感器阵列可以位于何处以对乘客的位置和移动进行追踪；

图2是示出根据本发明的方面的用于确定车辆的座位占用信息的示例性方法的示意性流程图；

图3是本发明的实施方式的元件的示意性框图；

图4A是具有天窗的车辆的顶棚的示意图，雷达传感器阵列(通常是芯片上雷达)附接至该天窗；

图4B是天窗的示意性侧视图，该示意性侧视图示出了雷达芯片被嵌入天窗的材料内；

图4C是天窗的示意性侧视图，该天窗包括上层和下层并且具有封装在上层与下层之间的雷达芯片；

图4D是天窗的示意性侧视图，该示意性侧视图示出了雷达芯片附接至天窗的下表面；

图4E是天窗的示意性侧视图，该示意性侧视图示出了雷达芯片被嵌入天窗内的腔室中；

图5是雷达芯片被嵌入在头枕中的示意性表示；

图6B是示出系统的实施方式的一般操作的流程图；

图6B和图6C示出了车辆中的乘客的示例性就位就座；以及

图6D、图6E、图6F、图6G和图6H示出了车辆中的乘客的示例性错位就座；

图7是示出确定车辆的座位占用信息的方法的流程图；

图8是根据本发明的实施方式的MIMO检测系统中采用的硬件的示意图；

图9A是示出根据本发明的实施方式所采用的处理步骤的总体流程图；

图9B是示出根据本发明的实施方式所采用的一般处理步骤的总体流程图；

图9C是示出根据本发明的实施方式的雷达信号处理级的第一实施方式中所采用的处理步骤的流程图；

图9D是示出根据本发明的实施方式的雷达信号处理级的第二实施方式中所采用的处理步骤的流程图；

图9E是示出根据本发明的实施方式的雷达信号处理级的第三实施方式中所采用的处理步骤的流程图；

图9F是示出根据本发明的实施方式在目标处理阶段中所采用的处理步骤的流程图；

图10A是根据本发明的实施方式的作为对人类对象测量的径向位移作为时间函数的绘图；

图10B描绘了根据本发明的实施方式的对于两个已识别元素的谱功率密度的两个绘图；

图11A至图11E描绘了根据本发明的实施方式的在处理坐在汽车内部环境中的乘客的各个阶段的图像产品；以及

图12是描绘根据本发明的实施方式的在活动检测模式期间所采用的一个操作循环的操作阶段的图表；

图13是示出如何使用车辆的舱室的3维复杂雷达图像来提取关于哪些座位被占用的数据以及用于对每个被占用座位的占用者进行分类的流程图；

图14A是示出奇异值分解滤波的流程图；

图14B是示出用于连续时空滤波的流程图；

图14C表示滤波步骤的示意图；

图15A是中央雷达传感器周围区域的二维映射，示出了SVD分量；

图15B示出了在执行DBSCAN集群之后中央雷达传感器周围区域的二维映射；

图16示出了中央雷达传感器周围区域在执行谱集群以后的二维映射；

图17表示将点的集群表示为三维空间中的高斯分布；

图18示出了明显代表不同占用者的集群，这些占用者具有其上叠加了车辆舱室的座位的位置；

图19示出了座位布置，该座位布置示出了与图9的座位布置相对应的座位的布置；

图20示出了座位3和4之间的中间位置以及座位5和6之间的中间位置；

图21是转换模型，该转换模型示出了车辆的后部座位之间的有效状态转换；

图22是示出可以如何对占用者进行分类的流程图；

图23示出了xy平面中的正cov；

图24示出了xy平面中的负cov；以及

图25是座位5的侧视图，该侧视图示出了信号集群的上边界和下边界以及前向和后向大多数边界被解释为占用者。

具体实施方式

本发明的实施方式使用单个传感器来追踪车辆的舱室内的占用和移动两者。为了通过单个传感器对车辆舱室内的乘客进行监控，传感器的可能位置可以位于舱室的中央，使得舱室的尽可能多的位置在传感器的目标范围内。不同地，这可以位于顶棚中、座位内、头枕内、嵌入在窗户中、嵌入在天窗中、嵌入在灯单元中等，如本文所述。

例如，传感器可以被隐藏在舱室内衬的织物后面或座位的室内装饰内。另外地或替代性地，传感器可以被定位在壳体中的织物外部。

传感器单元可以对车辆舱室内的存在进行检测，覆盖前排座位和后排座位。以这种方式使用单个传感器单元，无需在每排座位或每个座位中使用单独的传感器单元，并且替换其他传感器，从而在制造期间节省劳动力和布线成本。

本公开的方面涉及用于使用雷达传感器确定车辆中的座位占用信息的系统和方法。座位占用可以提供每个座位上乘客的年龄类别以及就位或错位的信息。该信息可以有助于对安全设备进行操作并且对留在车辆内的任何乘客进行追踪。

在各种实施方式中，传感器和支持数据分析对每个占用者的体型、(体积和尺寸)、位置、姿势进行确定，追踪他们在车辆的舱室内的移动并且对生命体征进行监控。因此，单个传感器布置提供了对车辆舱室的多功能监控并且代替迄今为止所需的过量的传感器。

根据需要，本文公开本发明的详细实施方式；然而，应当理解的是，所公开的实施方式仅仅是本发明的示例，这些示例可以以各种形式和替代形式体现。这些附图不一定是按比例绘制的；某些特征可能会被夸大或最小化以示出特定部件的细节。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅作为教导本领域技术人员以各种方式使用本发明的代表性基础。

在本公开的各种实施方式中，如本文所述的一个或更多个任务可以由诸如用于执行多个指令的计算平台或分布式计算系统的数据处理器执行。可选地，数据处理器包括或访问用于存储指令、数据等的易失性存储器。另外地或替代性地，数据处理器可以访问非易失性存储设备，例如磁性硬盘、快闪驱动器、可移动介质等，用于存储指令和/或数据。

特别要注意的是，本文公开的系统和方法在其应用方面可以不限于在描述中阐述或在附图和示例中示出的部件或方法的构造和布置的细节。本公开的系统和方法能够具有其他实施方式，或者能够以各种方式和技术来实践和执行。

与本文所述的那些相似或等效的替代方法和材料可以用于本公开的实施方式的实践或测试。然而，本文描述的特定方法和材料仅用于说明目的。材料、方法和示例并非旨在进行必要的限制。

参考图1，示出了车辆150的示意图。在车辆内，存在驾驶员152、坐在前排乘客座位上的儿童154、在前排乘客座位后面的后排座位上行进的乘客156以及在驾驶员后面的空座位158。

还示出了雷达传感器阵列160，该雷达传感器阵列160位于车辆的舱室165内部并且被定位在中央，诸如在车辆160的顶棚上，或者替代性地位于座位、头枕等内。雷达传感器阵列160对车辆150的舱室165内的变化进行监控。如图所示，雷达传感器160被定位在中央。这是优选的位置，因为它可以提供包括舱室的视野，并且可以很好地覆盖所有座位。替代性地，传感器可以被定位成稍微偏离中央，并且仍将提供它所需的信息，以代替当前专用于特定个人的传感器。因此，传感器阵列160可以被安装在例如挡风玻璃或后窗的顶部处。在适当的情况下，双面传感器可以包括面向前方和面向后方的收发器阵列，从而提供整个车辆的360度覆盖范围。

内部雷达传感器阵列160可以是集成系统，诸如上文描述的芯片160。然而应当理解的是，在各种实施方式中，如本文所述的一个或更多个任务可以由诸如车辆的计算平台或分布式计算系统之类的外部数据处理器执行，以用于执行多个指令。可选地，数据处理器包括或访问用于存储指令、数据等的易失性存储器。另外地或替代性地，数据处理器可以访问非易失性存储设备，例如磁硬盘、闪存驱动器、可移动介质等，以用于存储指令和/或数据。

优选的实施方式使用与数字信号处理器(DSP)和存储器一起集成到芯片中的雷达传感器阵列。例如，一个实施方式使用4D成像MIMO雷达芯片，该4D成像MIMO雷达芯片具有全球频段(60Ghz或79GHz)、数千个虚拟通道、轴上和高分辨率两者的宽视场——角度和距离。雷达被设置在芯片上(ROC)，优选的实施方式覆盖双频段范围，支持60GHz和79GHz频段。

另一实施方式使用基于具有从3GHz至81GHz的雷达频带的先进的RF技术实时创建高分辨率图像的传感器阵列，该传感器阵列具有72个发射器和72个接收器，集成有大内存的高性能DSP，其能够执行复杂的无需外部CPU的成像算法。

又一个实施方式仅具有60GHz至81GHz、以及24个发射器和24个接收器。

随着更复杂的数据分析工具的开发，预计收发器的数目可能会减少，从而降低单位成本，而不会减少功能。

由于集成了多个收发器，并通过用先进的DSP发送、接收和分析大量信号，获得了高分辨率4D图像，这些4D图像对具有高精度的轮廓进行追踪。

许多应用旨在提醒驾驶员关于占用者未使用安全带、未锁定车门以及禁止具有幼儿的座位对面的安全气囊展开。还可以向驾驶员提供乘客呼吸变化或心率变化的提醒，或者如果驾驶员遇到困难，可以提醒驾驶员靠边停车，或者在极端情况下，自动控制可能会接管。

在一些实施方式中，雷达系统或车辆的车载计算系统，雷达系统与其进行数据通信，并且其被配置成通过诸如蜂窝网络之类的数据通信网络将信息传输到由诸如物联网之类的云支持的远程数据库。这使车队运营商和汽车租赁公司能够对使用情况进行监控，或者警察和紧急服务部门能够远程监控占用和乘客状态。

因此参考图2，本发明的一般实施方式200包括雷达收发器阵列210，该雷达收发器阵列210由通常来自车辆的电子系统的电源215供电。在被设计成在后排座位中搭载三名乘客的车辆中，雷达收发器阵列210将所有方向上的雷达信号发送进车辆的舱室225、以及从车辆的舱室225接收所有方向上的雷达信号，并且特别是朝向驾驶员座位222、前部乘客座位224、右后部座位226、左后部座位228和(一个或更多个)中后部座位227发送所有方向上的雷达信号以及从其接收所有方向上的雷达信号。

雷达收发器阵列210对车辆20的舱室165内所有方向上的元素进行检测，并且每个检测到的元素具有空间分量和时间分量，并且通过脉冲雷达发信号，对位置随时间的变化进行检测。

雷达收发器阵列210耦接至用于存储先前的读数的存储器214并且通过检测到的信号的空间分量，并且雷达收发器阵列210随时间而变化，即，它们的时间分量，和/或可能还包括标准响应库，该标准响应库指示就坐在各个座位上的各种体型的驾驶员和乘客。处理单元212因此能够确定每个方向上的乘客的存在，并且通过确定占用者的体型、身高、占用者是否正在呼吸或显示心跳等来区分成人、儿童和婴儿、宠物和无生命的对象。因为预计乘客会出现在特定位、即座位中，所以可以有用地存储来自各种座位方向的、指示成人、儿童和幼儿或婴儿的响应，并且这会限制获得有用结果所需的处理量。

所描述的功能是示例性的。传感器阵列收集代表车辆的舱室及其内容物的大量数据，并且对随时间的变化进行监控。处理器可以设置有额外的算法和程序，从而以不同的方式对图像批次进行分析，并随着时间添加附加的功能。因此，由于附加的变量需要出于法律、保险或其他目的进行监控，现有的、已安装的传感器和处理器可能会被进一步编程以从数据中提取相关参数。

为此目的使用雷达信号的优点是它们不会被大多数织物和被许多非织物材料阻挡。然而，值得注意的是，尽管能够将乘客分类为成人或儿童并对生命体征进行监控，但与光学摄像机不同，分辨率是不足以侵犯隐私的。

现在参考图3，该图3是用于车辆中基于雷达的监控的系统的示意性框图。系统300包括雷达单元304、预处理器单元312、数据库314、处理单元316、以及输出单元324a和324b。

雷达单元304被安装在车辆、例如汽车中。为了对车辆舱室内的诸如乘客之类的对象进行监控，雷达单元304应该与乘客具有直接的视线，并且在许多情况下，最佳位置可以是顶棚区域，优选地是顶棚的中央。

雷达单元304包括发射器阵列306和接收器阵列310。发射器阵列306可以包括连接到至少一个发射器天线或发射器天线阵列的振荡器308。相应地，发射器306可以被配置成产生成束的电磁辐射，诸如微波辐射等，成束的电磁辐射指向车辆150的舱室165中的所有方向，包括图1所示的驾驶员座位153和乘客座位155A-C。图3示出了朝向示例性乘客302a和302b发射的电磁波。接收器110可以包括接收器天线阵列，该接收器天线阵列被构造且可操作以接收从乘客302a和302b的身体反射的电磁波。

雷达接收器阵列310耦接至存储器326，该存储器326存储由接收器310接收到的信号。存储器326还存储所检测的信号的先前读数和空间分量，并且随时间变化，即，它们的时间分量，和/或可能还包括标准响应库，该标准响应库指示就坐在各个座位上的各种体型的驾驶员和乘客。另外地或替代性地，可以对神经网络进行训练以对乘客进行识别和分类，将它们映射至诸如年龄类别和在就位/错位状态的分类。

被存储在存储器326中的先前的信息被传送至预处理单元312。预处理单元312因此能够确定每个方向上的乘客的存在并且通过确定占用者的体型、身高、占用者是否在呼吸或显示心跳等来区分成人、儿童和婴儿、宠物和无生命对象。因为预计乘客会在特定位置、即座位中发现，所以可以有用地存储来自各种座位方向的、指示成人、儿童和幼儿或婴儿的响应，并且这会限制获得有用结果所需的处理量。还应注意，在单个位置中检测到多个心跳或呼吸频率的情况下，这可能是例如婴幼儿正被成人抱住的指示，即使在幼儿的图像可能被掩码的情况下也是如此。

系统300的处理单元312，无论是与雷达收发器阵列310集成还是与雷达收发器阵列310进行数据通信，并且可能是车辆的车载计算机的部分，都可以与诸如警示灯之类的车载输出设备318或诸如警报蜂鸣或口头信息之类的声响信号进行交互。例如，注意到乘客没有系上安全带，或者前部座位324中的乘客太小而无法安全系上。另外地，处理单元312可以与车载超控设备316进行交互，例如，以取消安全气囊可能会造成危险的位置，诸如婴儿在前部乘客座位上的位置324，或调整安全带的张力。

另外地，处理单元312可以耦接至用于将关于占用的数据发射至云的数据发射器330。该数据可以被车队运营商使用以对车辆中的乘客的数目进行监控，以及该数据可以被紧急救援系统等使用。

还可以对每位乘客的移动、呼吸和心率进行监控。

各种系统和方法可以被用于对诸如乘客的呼吸频率和心率的生命体征进行监控。作为示例，雷达传感器可以对从诸如车辆舱室之类的目标区域内的对象所反射的能量信号进行接收，对诸如车辆舱室之类的目标区域内指示生命体征的振荡模式进行识别，以及对振荡信号进行处理以隔离呼吸信号、心率信号等。

在某些实施方式中，处理器单元为每个体素整理一系列复值，这些复值代表多个帧中相关联的体素的反射辐射，相应地，对于每个体素，复平面中的中央点和每个帧中对于每个体素的相位值可以被确定。以这种方式，可以生成表示每个体素随时间的相位变化的平滑波形，并且可以选择指示周期性生物参数的体素子集，使得可以获得所需的生命体征指标，诸如心率、心率变异性、呼吸模式等。

这种系统的示例在申请人共同未决的申请号为PCT/IB2021/051380的国际专利申请中进行了描述，该国际专利申请的全部内容通过引用整体并入本文。

还应该注意的是，驾驶员座位的头枕中的雷达传感器可以被很好地定位，以通过测量来自驾驶员的颈部后部的反射辐射来对驾驶员的生命体征进行监控。以这种方式，可以对驾驶员的健康和警觉性以持续的方式进行监控。

传感器芯片160和处理可以仅在诸如关门、车辆加速或停止等的事件之后的短时段内进行操作。在适用的情况下，系统可以在脉冲模式下以短时激增的方式操作，在几毫秒内进行时间相关感测，然后在可能10毫秒的时间内对数据进行计算和分析，不过然后空闲时间可能是处理器主动地感测或计算的时段的三倍或四倍。这对于节省电力和通过促进散热来防止过热可能是有用的。

其中，在芯片10上提供了四维(4D)成像MIMO雷达，该芯片10使用传感器阵列，该传感器阵列基于雷达频段为3GHz至81GHz的先进的RF技术实时创建高分辨率图像，该传感器阵列具有72个发射器和72个接收器、集成有大内存的高性能DSP、能够执行复杂的无需外部CPU的成像算法，可以理解的是，该处理会生成必须消散的热量。

通过在脉冲模式下操作并且具有间歇性停机时间，诸如在启用数十或数百毫秒，以发送和接收雷达信号时，并且然后对数据进行处理，以及然后进入空闲模式达数十或数百毫秒，热可以在某种程度上消散，但可能仍然需要散热。

在许多车辆中，传感器芯片160的最佳位置是在顶棚上，但稍微向前一点以更好地监控驾驶员的手臂和脚部，而没有驾驶员座位的阻碍。然而，在某些车型中，此位置有天窗。其他型号有全景玻璃顶棚。

出于经济原因，OEM更愿意针对所有车辆变型使用相同的传感器定位，以简化制造并降低安装成本。这可能导致传感器定位在不太理想的位置，以及结果是不能收集一些数据，或者为了实现全覆盖，制造商可能会选择安装两个传感器，这会使部件和安装成本增加一倍，并且增加复杂性以及因此不利的可靠性。

实施方式涉及一种被嵌入诸如天窗或全景顶棚之类的玻璃部件中的传感器，或者替代性地，被嵌入车辆的挡风玻璃或后窗中的传感器。这允许单个的安装位置，使性能最大化并且使各种车型的安装引起的成本最小化。

参考图4A，已经出人意料地发现将雷达芯片410(雷达芯片410可以是图1的芯片160并且通常包括雷达收发器阵列412、存储器414、处理单元412和数据输入、以及如图2所示的到云的数据发射器230)嵌入或附接至车辆460、例如汽车或小汽车的车顶中的天窗450有助于散热，因为大玻璃物体将热从芯片传导出去。

制造具有嵌入式雷达芯片410的天窗450使得雷达芯片410的安装特别容易。将传感器连接至车辆以提供数据和电力的导线412也可以将热从雷达芯片410传导出去。

应当理解的是，在一些实施方式中，芯片410由长期按钮磁体供电并且根本不需要布线。芯片410可以被配置成使用非常少的功率向车辆传输信号，因为传输是短距离的。此外，可以在芯片410上提供太阳能电池板以在白昼时间再充电。

天窗可以由玻璃或透明聚合物制造。

参考图4B，芯片410可以通过围绕芯片浇注天窗450A而被嵌入在天窗450A中。

替代性地，参考图4C，天窗450B可以由玻璃的上层440U和下层440L或其他材料制造，并且芯片410可以被定位在两层玻璃、例如上层440U与下层440L之间。

再次替代性地，如图4D所示，芯片410可以被粘附到天窗450C的下侧。

如图4E所示，可以在天窗450D中设置有腔室413，并且可以将芯片410定位在腔室410中并且可选地用热传导环氧树脂或热塑性塑料保持就位，该热传导环氧树脂或热塑性塑料对雷达频率而言是可穿透的并且优选地是可穿透的。

将本文描述的雷达收发器传感器阵列或在芯片上集成的雷达附接至或嵌入天窗的方法可以被用于将雷达收发器传感器阵列和雷达芯片附接至车辆，从而也对车辆外部的近处区域和远处区域进行监控。

例如，雷达芯片可以被集成到车辆的前照灯、背景灯或指示灯中。这些可以用玻璃或塑料浇注，并且分别被放置在车辆的前面和后面。

当倒车或停车时，后向雷达可以是有用的。当行驶时，前向雷达可以是有用的。

现代汽车前照灯单元和后灯单元通常是大型玻璃或塑料单元，该大型玻璃或塑料单元包括各种不同功率和用途的灯，诸如指示灯、前照灯、近光灯、雾灯等。通过将雷达传感器阵列结合至该单元中，可以容易地将导线连接至雷达单元并避免难看的附件。

因此，本发明的雷达传感器阵列可以被附接在玻璃前照灯单元、镜子、挡风玻璃和后窗内，以用于对车辆的外部进行监控。这里同样，大玻璃或其他热传导表面可以用作大散热器，从而防止雷达单元过热。同样，雷达传感器阵列可以与存储器和数字信号处理器一起被集成到芯片中，该芯片可以通过嵌入到腔室中、或层压在内层与外层之间而被集成到前照灯、后灯或指示灯单元中，或者被集成到诸如车辆的挡风玻璃、后窗或侧窗之类的窗户中，或者该芯片简单地以期望的位置和取向被粘附到内表面。

现在参考图5，还应注意到的是，车辆内的另一中央位置可以是座位本身。特别是两排舱室的前排中的驾驶员座位或乘客座位大致位于舱室的中央。即使在较大的车辆中，前排头枕也可以为安装雷达传感器提供良好的中央位置。

相应地，被结合到头枕中的雷达感测设备可以被配置成朝向舱室的前部和后部发射和接收。可以使用各种系统和方法来提供具有360度覆盖范围的雷达传感器。

具体地，已经发现当至少一个传感器朝向对象的颈部和上背部505定向时，已经观察到良好的心率信号。这可能是由于强脉冲穿过颈动脉506。相应地，如图5所示，应注意的是，就位于汽车的头枕中的传感器设备517可以被很好地定位以对汽车座位的占用者的生命体征进行监控。这种传感器还可以对驾驶员的健康和警觉性进行监控。

例如，双向雷达传感器可以包括安装在印刷电路板(PCB)上的雷达系统，该雷达系统具有安装在PCB板的正面表面上的发射和接收天线的阵列，以用与正面表面位于同一侧的通信设备发射和接收电磁信号。该系统还可以包括安装在PCB的边缘处的接收天线的阵列，以接收从目标区域内的对象朝向PCB反射到PCB的侧部的电磁信号。

在其他系统中，安装在PCB上的反射器可以被定向成使得发射器天线的阵列发射垂直于板的表面的波，该波入射到反射器表面，并且发射器天线的阵列径向远离板定向，而从目标区域内的对象接收到的、径向朝向反射器的波在垂直于PCB板的方向上朝向接收天线定向。必要时，可以使用移相器来补偿由反射波引起的不同路径长度。

控制芯片可以被构造和可操作以控制所有的有源元件，诸如天线、反射器和PCB的包括发射和接收天线的移相器。当使用双向天线元件时，方法可以被用于对PCB的两侧部的目标进行区分。

这种系统的示例在申请人共同未决的申请号为PCT/IB2021/051380的国际专利申请中进行了描述，该国际专利申请的全部内容通过引用整体并入本文。

还应注意的是，结合雷达传感器的耳机单元可以被提供以被改装到汽车座位上。这样的独立模块可以包括用于提供与诸如计算单元、移动电话、车载信息娱乐系统之类的其他模块接口的通信单元。在需要时，头枕单元还可以包括独立的电源，诸如电化学电池、太阳能电池板、感应功率接收器等，或者可以被配置成从车辆电源接收功率。

参考图6A，示出了用于使用实施方式的系统的一般方法。首先，将中央雷达收发器阵列设置在车辆的舱室中—602。中央雷达收发器阵列在所有方向上发射雷达信号604并且接收来自所有方向的反射606，来自舱室的壁、座位和地板的反射，以及来自占用者的反射等。

如果检测到来自座位方向的接收到的信号与预期来自空座位的信号之间存在显著差异608，则可以分析该信号或将该信号与用于各种目标、诸如成人、儿童、宠物、婴儿和无生命的对象的信号进行比较610。

该系统还能够对每个占用者的移动例如包括心跳和呼吸进行确定和分类。

以此方式，可以确定每个座位的占用类型612，从而使得每个座位的占用能够被确定和分类，并且可以采取适当的动作614，诸如用警告灯或声响信号警告驾驶员、超驰、启用或禁用某些部件，诸如安全气囊，和/或通过数据网络诸如蜂窝网络或互联网传输信号，以供车队运营商、应急响应人员、驾驶员的家属等使用。

然而，要特别注意的是，本文公开的系统和方法在其应用方面可以不限于在描述中阐述或在附图和示例中示出的部件或方法的构造和布置的细节。本公开中的系统和方法能够具有其他实施方式，或者能够以各种方式和技术来实践和执行。

与本文所述的那些相似或等效的替代方法和材料可以被用于本公开的实施方式的实践或测试。然而，本文描述的特定方法和材料仅用于说明目的。材料、方法和示例并非旨在必然地进行限制。相应的，各种实施方式可以适当地省略、替换或添加各种程序或部件。例如，这些方法可以以不同于所描述的顺序执行，并且可以添加、省略或组合各种步骤。此外，关于某些实施方式描述的方面和部件可以在各种其他实施方式中被组合。

每个乘客的移动、呼吸和心率也可以被监控，因为移动的周期性可以被识别为呼吸频率或心率。

各种系统和方法可以被用于监控生命体征，例如乘客的呼吸频率和心率。例如，雷达传感器可以接收从诸如车辆舱室的目标区域内的对象反射的能量信号，识别诸如车辆舱室的目标区域内的、指示生命体征的振荡模式，以及对振荡信号进行处理以隔离呼吸信号、心率信号等。

在某些实施方式中，处理器单元为每个体素整理一系列复值，这些复值代表多个帧中相关体素的反射辐射，相应地，对于每个体素，复平面中的中央点和每个帧中用于每个体素的相位值可以被确定。以这种方式，可以生成表示每个体素随时间的相位变化的平滑波形，并且可以选择对周期性生物参数进行指示的体素的子集，使得可以获得所需的生命体征指标，诸如心率、心率变异性、呼吸模式等。

这种系统的示例在申请人共同未决的申请号为PCT/IB2021/051380的国际专利申请中进行了描述，该国际专利申请的全部内容通过引用整体并入本文。

还应注意的是，在驾驶员座位的头枕中的雷达传感器可以被很好地定位，以通过测量来自驾驶员的颈部的后部的反射的辐射来对驾驶员的生命体征进行监控。以这种方式，可以对驾驶员的健康和警觉性进行持续监控。

对空舱室进行指示的背景信号是已知的。这相当于平均信号，并且可以从检测到的信号中减去以简化分析。

信号可以通过同步移动而被集群，以识别单个乘客并检测手势等。本发明的一个方面是提供一种雷达系统，该雷达系统包括中央传感器，该中央传感器在车辆的舱室内提供多维时间相关追踪，以对舱室内的乘客进行确定。因此，RADAR传感器单元位于车辆的顶棚中，以对车辆的前部座位和后部座位中的乘客进行监控。通常，传感器以脉冲模式操作。

通过对响应信号进行集群并将响应信号映射到车辆中已知的座位位置，可以限制对乘客进行检测和分类所需的处理量。

传感器耦接至处理单元并且知道来自空座位的响应，该响应是背景响应。通过对来自空座位的响应与检测到的信号的差异进行监控，并且通过与用于婴儿、儿童和成人的响应库进行比较，座位的占用者可以被分类为婴儿、儿童、成人、宠物或无生命对象。

知道座位的位置，通过应用集群算法并与所存储的数据进行比较，可以用更少的处理更有效地对乘客进行检测和分类。方框可以在每个乘客周围快速地被绘制，并且被用于确定乘客如何就座。

指示呼吸或被检测到的心跳的胸部的移动可以被用于区分有生命的对象和无生命的对象，所述对象有时会被放上并且将反射与空座位的信号不同的信号。

该信息可以被用于检测乘客何时遇到困难或婴儿被留在车辆内，并在发生碰撞后通知紧急救援人员车辆内有生命以及坐在哪个座位上。在发生碰撞后，如果间歇性地或费劲地检测到一名或更多名乘客的呼吸或心跳，紧急救援人员可以使用该信息来决定应首先营救和疏散哪位乘客。

处理单元可以使用神经网络或模糊逻辑来确定占用者的性质。

处理单元可以耦接至指示器，该指示器用于向驾驶员指示座位被占用、用于展开安全气囊、用于实现对乘客的远程追踪、以及用于在发生事故时提醒紧急救援人员。

除了乘客的位置，中央雷达传感器还可以确定舱室的变化。例如，如果门被打开。

处理单元可以通过云计算技术耦接至数据库并且被配置成对与座位占用有关的数据库进行更新。

如果没有系好安全带，占用座位的详细信息可能会触发警报。

如果座位的占用者被指示太轻或太矮而无法安全地坐在座位上，则可以发出适当的通知。

该信息可能足够敏感，以使智能安全带预紧器能够使安全带适于乘客。

婴儿的检测可以操作婴儿车载通知被显示或操作车辆的后方，以通知其他驾驶员保持距离。

通过了解乘客就座位置以及乘客的体型和形状，使安全气囊在发生事故时的展开能够根据乘客的位置进行定制。例如，如果正在搭载婴儿，则不会在前部乘客座位上展开安全气囊。另外地，空座位不需要展开安全气囊。了解乘客和驾驶员的头部的位置，可以使安全气囊的展开能够优化，诸如选择性展开安全气囊以更好地缓冲对头部的冲击力。

此外，雷达解决方案的优点是隐私被保护，因为不会检测到乘客的身份。

除了乘客的位置，中央雷达传感器还可以确定舱室的变化。例如，如果门被打开。

处理单元可以通过云计算技术耦接至数据库并且被配置成对与座位占用有关的数据库进行更新。

当地法律或车队所有者要求一些驾驶员由主管或同伴陪同。例如，一些军用和警用车辆有规定禁止某些车辆的驾驶员单独行车。其他车辆不得搭载乘客。例如，确保新驾驶员由成人陪同或不运送其他人可以是有用的。

过去，已经提供了大量单独的传感器，每个传感器都被配置成检测一件事物，诸如座位中的压力传感器、用于展开安全气囊的头部位置传感器等。有利地，从单位成本以及安装和布线成本的角度来看，本发明的中央传感器可以代替大量这样的专用单个任务的传感器。

然而，应当理解的是，本发明的中央传感器可以与诸如生物特征传感器之类的其他传感器一起使用，以识别车辆的驾驶员。在这样识别的驾驶员不应单独行车或仅应与陪同成人行车的情况下，系统可以生成对驾驶员的警告，或通知主管，或可被配置成防止车辆移动。

为了减少车辆数目并鼓励拼车，在拥堵高峰的时段期间，一些交通系统允许除驾驶员外有2、3或4名占用者的汽车在通常为公共交通预留的车道上行车。本发明的实施方式追踪车辆的占用并且可以被配置成经由云向市政当局、交通警察等提供占用水平。

实际上，即使没有专用车道，也可以使用本发明的实施方式来对车辆占用水平进行监控，并且这可以被用于调整对道路或桥梁等的使用收取的通行费，或者减少年度道路税。

已知婴儿正在由车辆运送可以被传输到云，使得在发生事故时，紧急救援工作者知道正在运送婴儿并知道寻找婴儿。在这方面，在脚坑中或被毯子隐藏的婴儿可以通过婴儿的呼吸或心跳来检测。

除了追踪乘客的位置和高度之外，优选的实施方式被配置成追踪姿势、移动，特别是占用者的呼吸和心跳。如果占用者遇到某种麻烦，这可能很有价值。例如，它可以警告驾驶员停车。

在事故发生以后，雷达系统可以呼叫紧急救援服务，并且实施方式是可操作的以对生命体征进行监控并且通过云向紧急救援人员指示这些。

另外地，在发生事故的情况下，雷达系统可以启用声响警报和公告系统。

通过追踪占用，出租车服务和公共汽车车主可以确保驾驶员不会隐瞒搭载乘客的数目，以非法获取利润。

还可以追踪两名乘客共享座位或乘客正在站立的情况。这可以用于对驾驶员车辆或自动驾驶车辆中的乘客的数目进行监控，并且可以被用于防止车辆搭载超过其许可或合法搭载的更多乘客，或报告此类使用情况。

在劫车或放弃车辆的情况下，车辆在最后一次旅程期间的占用细节可能为抓获肇事者提供重要信息。

该系统可以在车门被关闭之后被启用几分钟，以对锁在车辆内的儿童进行检测。

通过对婴儿的移动、呼吸和心脏活动进行监控并且在某物出现错误时提醒驾驶员，驾驶员可以专注于道路。

如果驾驶员的呼吸或心脏活动显示为偏离正常值，则可以建议驾驶员靠边停车和/或将信号传输到云，从而向诸如车辆主人、配偶、父母、孩子或近亲、高速公路警察之类的第三方发出警报。

优选地，该系统能够检测手势信号，使驾驶员和可能的乘客能够经由处理单元控制各种系统，诸如收音机、空调等。

本发明的系统可以被提供给由人类驾驶的车辆以及自动驾驶车辆和半自动驾驶车辆，并且可以由驾驶员使用以从独立操作的半自动驾驶车辆中接管控制或用于自动驾驶控制以从驾驶员接管发出这种情况发生的信号或指示他/她正在经历某种健康危机，诸如心脏病发作或癫痫发作。

现在返回参考图3，由接收器310接收到的电磁信号也被发送到预处理单元312。预处理单元312可以被配置成使用经训练的深度神经网络(DNN)从接收到的信号中提取人类关键点(PKP)。提取的人类关键点(PKP)可以包括：

头部—头顶的中央

左肩部和右肩部

下腹部或骨盆的左右外部点

左膝盖和右膝盖、或大腿上的点

所提取的PKP被用于识别乘客在车辆的每个座位处的骨骼点。在本发明的特定实施方式中，所提取的关键骨骼点可以通过以下方式提供信息：

头顶可以给出身体的最高点，该最高点可以被用于高度计算和错位检测。

肩部可以允许确定身体的宽度。

下腹部和骨盆还可以在上半身周围划定正方形，允许确定实际坐下的高度。此外，可以为错位检查创建基线(腹部/骨盆线与肩部线)

除了腹部和骨盆之外，还可以使用膝盖和大腿来辅助确定，例如在任何其他点丢失、模糊或未检测到的情况下。

此外，可以使用膝盖点来更好地区分儿童和成人。特别是令人惊讶地发现，由于腿部达到汽车地板，因此通常在骨盆的平面上方检测到成人膝盖。相比之下，儿童的膝盖通常沿着从骨盆平行于地板的线或甚至在从骨盆平行于地板的线以下被检测到。

在车辆的每个座位处所识别的关键骨骼点可以被发送至处理单元316。处理单元316包括匹配单元318、规则数据库320和通信器322。匹配单元118将从预处理单元312接收到的关键骨骼点与从数据库314接收到的标准乘客参数进行匹配。数据库314包括根据其年龄类别的PKP位置、距离和范围的标准列表。表1示出了示例性的类别-年龄-高度关系：

表1

如表1中所示，MCD“中童”类别的儿童乘客具有的年龄约为6岁。这样的儿童的典型身高约为115cm，并且典型坐高约为63.5cm。类似地，ADT“成人”类别的年龄较大乘客的年龄超过14岁。其典型身高超过160cm，并且典型坐高超过82cm。应该清楚地注意到，表1中所示的类别-年龄-身高关系本质上是示例性的，并且不应该限制本发明的范围。类别-年龄-身高关系根据每个国家和地区的人口结构而变化。

还可以通过将反射性元件附接至安全带或座位本身来添加人工关键点。反射性元件可以是回射元件，诸如转角反射器、Lunenberg透镜、猫眼回射器或基于PCB的等效物，以增强反射性元件的RCS。例如，座位上的反射器可以提供是否被人体遮挡的信息。来自座位元件的反射可以提供关于乘坐期间汽车振动的信息。安全带上的反射器可以提供是否系好安全带的信息。此外，如果安全带被系好，则安全带上的反射性元件变成PKP，该PKP可以被用于更好地追踪呼吸和心跳，通过提供来自与胸部一致移动的反射器的增强且更稳定的信号来重新评估信号。反射器可以结合调制电路，例如使用反射阵列技术，以将特征强加在反射信号上，以对反射器彼此以及车辆舱室中存在的其他元件进行区分或辨别。

匹配单元318基于关键骨骼点与如表1所示的标准类别-年龄-身高关系的比较来确定车辆的每个座位的占用信息。匹配单元318基本上是包括启发式代码和/或经训练的机器学习解决方案的结论引擎。从匹配单元318输出的结论可以包括：每个座位的占用、每个占用者的年龄类别、或每个占用者的就位或错位检测。

匹配单元或结论引擎318确定车辆中的座位是被占用还是空的。如图1所示，前部座位由驾驶员和乘客占用。后部座位是空的，并且另一座位被乘客占用。在特定实施方式中，指示呼吸或检测到的热跳动的胸部的移动可以被用于区分有生命的对象和无生命的对象，所述对象有时会被放上并且将反射与空座位的信号不同的信号。

匹配单元或结论引擎318还可以对车辆中的每个乘客的年龄类别进行确定。在图1中，驾驶员的年龄类别可以被确定为“ADT”，成人，乘客可以是年龄类别“MCD”的中童，以及乘客可以是年龄类别“50M”的50％男性。

匹配单元或结论引擎318还可以帮助对每个占用者的就位或错位进行检测。就位被限定为乘客在车辆中的正常就座位置。图6B和图6C示出了车辆中的乘客的示例性就位就座。在就位或正常就座位置中，乘客背部坐直并且躺靠在座位上。膝盖上方和下方的腿的部分几乎彼此垂直。图6D至图6H示出了车辆中的乘客的各种图示性错位就座。

如此确定的占用、年龄类别和错位的信息可以被传送到规则数据库320，该规则数据库320基于接收到的信息来确定用于每个座位的动作。然后通过通信器322将确定的动作传送到输出单元324a和324b。

规则数据库320为特定座位确定的一些示例性动作可以包括在被认为不安全的情况下取消安全气囊操作，例如，儿童坐在前部座位上或有人将他们的脚部放在仪表板上，安全带收起的强度可以被调整以适于占用者的体型和姿势，如果婴儿被留在车上或占用者处于不安全的姿势，则可以发出警报。可以以警告灯或诸如警报嘟嘟声或口头消息的之类的声响信号的形式将警报提供给车载输出设备324a。

来自匹配单元318的占用信息可以被用于检测何时乘客有困难或婴儿被留在车辆中，以及在碰撞以后，通知紧急救援人员车辆中有生命以及在哪个座位上。在碰撞以后，如果间歇性地或费劲地检测到一名或更多名乘客的呼吸或热跳动，紧急救援人员可以使用该信息来决定应首先营救和疏散哪位乘客。

知道婴儿正在由车辆运送，可以被传输到云，使得在发生事故时，紧急救援工作者知道正在运送婴儿并知道寻找婴儿。在这方面，在脚坑中或被毯子隐藏的婴儿可以通过其呼吸或心跳来检测。

除了对乘客的位置和高度进行追踪之外，优选的实施方式被配置成对姿势、移动，特别是占用者的呼吸和心跳进行追踪。如果占用者遇到某种麻烦，这可以是有价值的。例如，它可以警告驾驶员停车。

在发生事故之后，雷达系统可以触发通信系统以联系紧急救援服务，并且实施方式是可操作的以对生命体征进行监控并且通过云向紧急救援人员指示这些。

另外地，在发生事故的情况下，雷达系统可以启用警报系统以发出声响警报以及启用公告系统。

通过对占用进行追踪，出租车服务和公共汽车车主可以确保驾驶员不会隐瞒搭载乘客的数目，以非法获取利润。

还可以追踪两名乘客共享座位或乘客站立的情况。这可以用于对驾驶员车辆或自动驾驶车辆中的乘客的数目进行监控，并且可以被用于防止车辆搭载超过其许可或合法搭载的更多乘客，或用于对此类使用情况进行报告。

在劫车或放弃车辆的情况下，车辆在最后一次旅程期间的占用细节可以为抓获肇事者提供重要信息。

该系统可以在车门被关闭之后被启用几分钟，以对锁在车辆内的儿童进行检测。

另外，通过对车载婴儿的移动、呼吸和心脏活动进行监控并且在某物出现错误时提醒驾驶员，驾驶员可以专注于道路。

如果驾驶员的呼吸或心脏活动显示为偏离正常值，则可以建议驾驶员靠边停车和/或将信号传输到云，从而向诸如车辆主人、配偶、父母、孩子或近亲、高速公路警察之类的第三方发出警报。

输出单元324a和324b可以是车载输出设备，诸如显示器或音频输出。替代性地，输出单元324a和324b可以以外部设备、例如客户端设备、服务器设备、路由/交换设备或云服务器的形式远程定位。通信器322可以通过网络连接将确定的动作传送到输出单元324a和324b，该网络连接可以是有线LAN连接、无线LAN连接、WiFi连接、蓝牙连接、Zigbee连接、Z-Wave连接或以太网连接。例如，通信器将占用信息和确定的动作发射到云服务器。该数据可以被车队运营商使用以对车辆中的乘客的数目进行监控，以及这些数据可以被紧急救援系统等使用。

预处理单元312、数据库314和处理单元316中的一者或更多者可以被集成在车辆的系统中，以对从雷达单元304接收到的信息进行处理。替代性地，这些单元中的任何一者可以与外部设备、例如客户端设备、服务器设备、路由/交换设备或云服务器进行集成。然后这些单元通过网络连接与雷达单元104进行通信，该网络连接可以是有线LAN连接、无线LAN连接、WiFi连接、蓝牙连接、Zigbee连接、Z-Wave连接或以太网连接。

现在参考图7，图7示出了用于确定车辆150的座位占用信息的示例性方法。该过程开始于步骤702，并且在步骤704由发射器阵列306朝向乘客座位155A-C发射电磁波。在步骤706由接收器阵列310接收在步骤704处从乘客座位155A-C反射的波。在步骤708，由预处理单元312从接收到的EM波中提取人类关键点(PKP)，并且在步骤710针对车辆的每个座位识别关键骨骼点。所提取的人类关键点(PKP)可以包括乘客的头部、左肩部和右肩部、下腹部或骨盆的左右外部点以及左膝盖和右膝盖或大腿上的点的信息。

在步骤712，将关键骨骼点发送到处理单元316的匹配单元318。在步骤714，匹配单元318将从预处理单元112接收到的关键骨骼点与从数据库314接收到的标准乘客参数进行比较。数据库314包括根据他们的年龄类别的乘客的位置和姿势的标准列表。在步骤716，匹配单元118基于关键骨骼点与被存储在数据库314中的标准类别-年龄-身高关系的比较来确定车辆的每个座位的占用信息。从匹配单元318输出的结论可以包括每个座位的占用、每个占用者的年龄类别以及每个占用者的就位或错位检测。

然后将占用、年龄类别和错位的信息传送至规则数据库320，该规则数据库320基于在步骤718接收到的信息来确定针对每个座位的动作。在步骤720，将所确定的动作经由通信器322发送到输出单元324a和324b。在步骤722，由输出单元324a和324b执行期望的动作，并且该过程在步骤724停止。

在以下详细描述中，阐述了许多细节以提供对本发明的透彻理解。本领域技术人员将理解的是，可以在没有这些具体细节的情况下实践本发明。在其他情况下，没有详细描述众所周知的方法、程序和部件，以免混淆本发明。

本发明的实施方式提供RF信号处理，以检测和获得来自至少一个目标对象中的一个或更多个元素的测量值。在相关的实施方式中，进一步进行检测和测量而不必隔离或识别对相关移动有贡献的一个或更多个特定部分。

本文中的术语“复杂目标”是指具有一个或更多个部分的目标对象，这些部分不一定仅通过它们各自的反射特性(本文称为它们各自的“反射率”)来区分；而是通过它们相关的移动或运动来区分。

目标对象的识别基于它们的具有不同运动模式的元素。类似地，从背景中识别目标对象是通过它们各自运动模式的对比来实现的。

例如，一些应用程序提供将人类目标进一步分类为诸如“成人”、“幼儿”之类的类别。

其他应用程序提供识别身体的区域或部位。人体被建模为由关节连接的刚体(骨骼)的集合。刚体具有表面上的所有点以相关方式移动的特性，因为它们都是刚体的6个自由度的组合。在本发明的这些实施方式中，将相关运动分组为元素有助于识别身体的区域或部分。

其他应用程序提供身体活动的检测和测量，该身体活动包括但不限于：步行、跑步、跳跃；四肢协调移动；搭载对象；转头；手势；姿势变化等。

本发明的进一步应用提供对个体在具有特定背景特征和监控要求的特殊环境中的相关移动进行检测，该特定环境包括但不限于：车辆内部和其他移动平台；医院和其他医疗和护理设施；以及公共场所，其非限制性示例包括机场和其他交通站；购物中心、仓库和其他商业机构；住宅和办公综合体；博物馆、剧院和娱乐厅；公园、游乐场和体育场；以及诸如学校之类的机构。

本发明的附加应用程序包括：医疗和健康相关的应用程序；安全应用程序；人群管理应用程序；以及车辆安全和舒适应用程序。

根据本发明的各种实施方式，复杂目标可以包括人体。在这些实施方式中，身体的部分包括但不限于：头部、颈部、个体四肢、以及躯干。在某些实施方式中，诸如呼吸和心跳之类的生理活动是可检测和可测量的，而不必分离或识别对呼吸和心跳进行负责的身体的区域(即，躯干)。

本文中的术语“相关移动”包括对象集合的一个物理元素相对于另一物理元素的移动，元素本身的体积变化，取向、位置、形状、轮廓的变化，或其任何组合。

本文中的术语“测量”及其变体不仅表示确定定量值(包括多变量值)，还表示对这些值进行分析，特别是时间变化，并对其进行定性表征。

术语“体素元素”是指从一系列3D图像中分解出来的实体，所述图像中的每个图像与其各自的帧相关联。

应该理解的是，术语是依赖于上下文的。在物理领域的上下文中，当指代同一实体的信号或逻辑表示时，使用相同的术语。

这种定性表征的非限制性示例涉及多变量生理数据、诸如对象的心跳和呼吸的测量。不仅可以将这些生理活动作为原始数据进行检测和测量，还可以基于呼吸频率、心率和心率变异性来对对象的当前的身体和精神状况进行定性评估来作为测量结果。精神状况意在包括其他状况之中的意识水平、嗜睡、疲劳、焦虑、压力和愤怒。

现在转向附图，图8是根据实施方式的包括耦接至射频(RF)模块1的天线阵列2的MIMO成像设备的示意框图，该射频(RF)模块1链接到与存储器7和输出设备9进行通信的处理器6。输出设备9包括视觉、声响设备、无线设备和打印机。

如图所示，随着径向距离Dt随时间变化，目标对象集合3的面部4的反射性元件提供不同的反射率。鉴于先前时间帧的反射率数据而分析反射率数据使得能够检测相关移动，这有利地提供了当前在MIMO成像系统中不可用的辨别能力。这是因为传统的MIMO成像系统会基于每个时间帧的反射率数据来重复构建图像；与前一时间帧的反射率数据无关。相应地，使用相关运动作为区分工具构成了MIMO成像技术的进步。

图9A是示出根据本发明的实施方式的一般处理方案的高级流程图。该方案可以描述为闭合循环，其中循环的每次迭代包括一系列步骤。

循环从步骤10开始，在此开始新时间帧的采集和处理。帧以Δt的固定间隔开始(意味着帧速率等于

)。根据本发明的各种实施方式，选择Δt使得在Δt期间的目标移动ΔD与雷达信号的波长相比较小(即，

)，以保持从一个帧到另一帧的连续性。对于中心频率为f的波，波长为c/f，其中c是光速。在检测和测量目标的周期性相关移动时，通过一系列帧进行成像是采样过程，使得帧率应该根据奈奎斯特准则而被设置以避免混叠。帧由对应于时间的t＝0，1，2...索引，其中连续索引表示Δt的相应倍数。

在步骤20中，对雷达信号进行发射、接收和处理以产生复相量，这些复相量表示每个接收信号相对于每个发射信号的幅度和相位。在图9B中进一步详细说明步骤20。

在步骤30中，执行若干信号处理步骤，从而产生分量集合，每个分量包括空间模式和轨迹(位移与时间)。在图4中进一步详细说明步骤30。

在步骤40中，将分量用于识别目标、分类目标以及估计感兴趣的目标参数。在图9C中进一步详细说明步骤40。

在步骤50中，所识别的目标及其估计参数被用于与外部系统、包括但不限于车辆系统进行交互(例如，以启用喇叭、打开空调、解锁车门等)、与通信接口进行交互(例如，以提醒用户使用他的移动设备)、或与用户接口进行交互(以通知用户并允许他们采取行动)。

在步骤60中，结束帧处理。在步骤70中，根据计时器、所识别的目标及其参数以及用户输入来调整系统的启用模式。系统启用模式对参数进行控制，这些参数包括但不限于，系统每秒捕获的帧的数目(其确定Δt)和传输功率。在某些情况下，系统会在一时间段内处于待机模式。启用模式调整是为了节省系统电力而进行的。当下一帧开始时循环关闭(根据启用模式指示的定时)，并且系统返回步骤10。

图9B是详细说明来自图7A的雷达信号采集步骤(步骤20)的流程图。在步骤21中，从一个或更多个天线发射雷达信号。如果使用多个天线来发射，则可以顺序地(逐个天线)或同时地进行所述发射。在本发明的一些实施方式中，天线使用诸如BPSK、QPSK或本领域已知的其他编码方案之类的编码方案同时地发射。所述发射可以包括单个频率，或所述发射可以包括多个频率。

在步骤22中，由一个或更多个天线接收已经被天线周围的物理环境中的目标反射的雷达信号。然后在步骤23中，针对每个发射频率和每对发射和接收天线，对接收到的信号进行处理以产生复相量，这些复相量表示接收到的信号相对于发射的信号的相位和幅度(项目24)。

图9C是详细说明在本发明的实施方式中来自图9A的雷达信号处理步骤(步骤30)的流程图。在步骤31a中，从描述接收到的信号的复相量的集合产生3D图像。图像空间表示在概念上被概括为数据块32a，该数据块32a包含具有体素集合V的图像矩阵S＝[S_v，t]，该体素集合V的元素在空间上符合坐标系统。可以根据最方便的方式选择用于体素集合的特定坐标系统。常规的选择包括笛卡尔坐标(v_x，y，z)和极坐标

但任何其他坐标系同样地可用。每个体素与单个值相关联

其中A_v，t是幅度，并且φ_v，t是与体素V处的反射器相关联的相位。相位φ_v，t由体素V中的反射器从该体素的中央的径向位移(指定为D_v，t)确定。相位通过以下公式与位移相关：

其中f指的是中心频率。单个周期延伸超过2π弧度，但需要额外的2倍，因为反射使波传播的距离加倍。

在步骤33a中，与当前帧的每个体素相关联的值(S_v，t)和在前一帧与同一体素相关联的值(S_v，t-1)一起使用，以使用以下公式获得对两个帧之间的径向位移的稳健估计：

其中λ和∈是实数标量参数，这些实数标量参数被选择以使噪声对最终值的影响最小化。λ和∈的典型值很小，其中对于λ的合理值约为0.1，并且对于∈约为1×10^-8。

根据本发明的另一个实施方式，使用稍微修改的公式版本，以便提供估计位移的更好的线性：

根据本发明的实施方式，所估计的位移数据

使用滑动窗(除了其他项，可以通过使用循环缓冲器来实现滑动窗)来记录(项目34a)，并且在步骤35a中，使用盲信号分离(BSS，也称为“盲源分离”)将径向轨迹分量分解为独立元素。在相关实施方式中，径向轨迹的元素通过使用独立分量分析(ICA)分离，该独立分量分析(ICA)是BSS的特例。在另一实施方式中，径向轨迹的元素通过主分量分析(PCA)进行分离。在另一实施方式中，径向轨迹的元素通过奇异值分解(SVD)进行分离。

在本发明的另一实施方式中，使用在线分解算法，避免使用滑动窗，允许逐帧增量地执行元素的分离。

是矩阵，该矩阵的行表示体素，并且该矩阵的列表示帧。分解算法以因子三元组(“元素”)的形式提取

的因式分解：

C_k＝(u_v，k，σ_k，w_k，t) (3)

其中，矩阵[w_k，t]表示聚合的帧相关(即，时间相关)增量径向位移。并且矩阵[u_v，k]表示与分量相关联的空间(体素相关)模式。

对增量径向位移进行求和以获得作为时间函数的估计的径向位移轨迹：

其中，所述值被归一化为对于目标的最大观察增量移动。根据将轨迹计算为积分的相关实施方式，本文中的术语“求和”不仅涉及等式(4)中的离散表示，而且还涉及“整合”。

空间模式[u_v，k]和径向位移轨迹

被记录为项目36a。

图9D是详细说明在本发明的实施方式(与图9C所描述的实施方式分开)中的来自图9A的雷达信号处理步骤(步骤30)的流程图。在步骤31b中，以类似于上文描述的方式产生3D图像(项目32b)。在步骤33b中，使用上文描述的算法相类似的算法对3D图像进行分解，从而产生元素集合，每个由3D图像和包括复相量的时间模式描述(项目34b)。在步骤35b中，使用与上文描述的类似的相位检测程序来对每个时间模式进行处理，以产生针对每个元素的位移数据(项目36b)。

图9E是详细说明在本发明的实施方式(与图9C和图9D所描述的实施方式分开)中的来自图9A的雷达信号处理步骤(步骤30)的流程图。在步骤31c中，使用类似于上文描述的算法来对复杂雷达信号进行分解，从而产生元素集合，每个由复杂的与时间无关的信号模式和包括复相量的时间模式描述(项目32c)。在步骤33c中，使用与上文描述的相类似的相位检测程序来对每个时间模式进行处理，以产生每个元素的位移数据(项目34c)。在步骤35c中，每个与时间无关的信号模式被用于以类似于上文描述的方式产生用于对应元素的3D图像(项目36c)。

图9F是详细说明在本发明的实施方式中的来自图9A中的目标处理步骤(步骤40)的流程图。在步骤41中，通过检查每个元素的空间模式，将元素分组为代表检测到的物理对象的目标，从而产生目标列表(项目42)。在步骤43中，对目标进行分类，给每个目标如下标签，诸如“背景”(例如，汽车内部的部分)、“成人”、“幼儿”、“宠物”等(项目44)。这种分类是通过对目标内每个元素的空间模式和时间位移数据进行检查来完成的。

在步骤45中，每个人类目标内的元素的时间位移数据被用于产生谱功率分布模型，描述目标移动的周期性。在本发明的实施方式中，Welch的方法被用于产生谱功率密度模型(非参数谱模型)。在另一实施方式中，(自回归移动平均)ARMA模型(参数谱模型)被用于产生谱功率密度模型。针对人体目标估计生理参数，所述生理参数包括呼吸频率、心率和心率变异性。从频谱功率分布中的峰值位置估计呼吸率和心率。在实施方式中，使用Welch的方法，从对应于心率的谱峰值的宽度估计心率变异性。在另一实施方式中，使用ARMA模型，从ARMA模型本身的参数表示来估计心率变异性。

在步骤47中，对呼吸率、心率和心率变异性的变化进行监测，以用于指示健康或精神状态的变化。

在步骤48中，与人类目标的每个元素相关联的3D图像被用于对具有一个或更多个人体部分的元素进行识别。然后使用该识别来生成附加数据，诸如人类姿势和活动类型(坐、站、跑等)，如上文所述。

图10A示出了径向位移与时间的曲线图，如通过根据本发明的实施方式的方法和设备对于人类对象而言进行测量的。部分201示出检测到的心跳，并且部分202示出检测到的呼吸。注意的是，根据本发明的该实施方式，不必隔离负责心跳和呼吸的身体的各个区域。

图10B描绘了由根据本发明的实施方式的方法和设备识别的两个元素的谱功率密度图。

在该实施方式中，传感器已被定位成靠近人体对象，两个元素代表两种运动模式，一种源自人体对象的呼吸运动，而另一种源自人体对象的心跳运动。可以看出，这些元素表示具有彼此不同周期性的运动。然后使用每个元素来计算对应的速率参数：呼吸速率(以RPM测量的-每分钟呼吸次数)和心率(以BPM测量的-每分钟跳动次数)。

图11A至图11E描绘了在处理坐在汽车环境中的乘客的各个阶段的图像产品。

作为介绍，汽车内部环境具有导致在成像时难以识别乘客以及将乘客彼此区分以及与汽车内部背景进行区分的几个因素；乘客接近度、乘客反射率差异、以及汽车振动。

乘客接近度是指乘客彼此紧挨着就座，甚至彼此接触，这在后部座位中很常见。因此，当分别考虑每个帧的反射数据时，这些后排座位乘客可以呈现为单个目标对象。

由于体型(例如成人与幼儿)、定位和取向的不同，乘客反射率的差异可能非常大。乘客反射率的差异可能会使检测性能(误报和误报率)劣化。

汽车振动也对当前最先进的MIMO成像技术提出了重大挑战。随着乘客背景(汽车内部本身)振动并改变其反射特性，检测位置变化的难度会更加严重。如上所述，这些成像障碍通过使用相关运动作为区分参数来解决。

图11A描绘了3D图像的2D俯视投影，由安装在汽车的乘客舱室的车顶的MIMO雷达生成。该图像表示单个捕获的帧。添加了白色矩形来指示汽车内部的边界。示出的具体场景是坐在驾驶员座位上的成人(白色矩形的左上角)，坐在乘客前部座位上的幼儿(白色矩形的右上角)，以及坐在后排右边的座位上的另一成年人(白色矩形的右下角)。可以看出，由于与成人乘客相比，幼儿的反射率较低，因此识别幼儿非常困难。与成年人乘客相关联的对象会掩蔽来自幼儿的信号反射。

图11B至图11D通过识别每个单独乘客的相关运动，示出了与已从帧的序列分解的三个元素相关联的空间模式。这些空间模式允许容易地识别三名乘客。

图11E示出了用户界面的屏幕截图，被用作系统的输出。左侧是通过对图8b、图8c、图8d所示的空间模式进行滤波以及然后将图8b、图8c、图8d所示的空间模式进行重新组合产生的图像。右侧是由系统报告的占用状态的图形摘要，正确识别了处于正确位置的两个成年人和幼儿。通过对用于每个检测到的元素的空间模式进行检查，将乘客分类为成人和幼儿。

分离的分量表征与每种运动类型相关的空间运动模式，例如与呼吸相关联的空间运动模式和与心跳相关联的空间运动模式。

对运动进行表征的体素集合可以源自目标追踪功能，或者对运动进行表征的体素集合可以源自先验知识，诸如汽车中人员的候选就座位置。体素集合可以包含多个人，其中运动模式集合将包含例如这些多个人的呼吸模式。在移动车辆的情况下，空间运动模式可以包括由车辆的振动引起的运动，并且所测量的体素可以包括参考对象，诸如空座位。在其他示例中，测量可以包括环境中的移动对象，诸如吊扇，以便将由这些对象引起的波动和由感兴趣的人引起的移动区分开来。

根据一些实施方式，系统可以被配置成在各种检测或启用模式下操作：高检测模式、中间模式或待机模式，其中fps和相应的持续时间由用户或制造商设置。以下是启用模式的示例：

高启用模式：捕获速率为每秒30帧(fps)、持续12秒，然后是18秒的捕获休止，并且连续6次重复这两个步骤(总共3分钟)；

中间启用模式：捕获速率为10fps、持续9秒，然后是51秒的捕获休止，并且连续10次重复这两个步骤(总共10分钟)；

待机模式：不捕获10分钟，同时保存之前捕获和处理过的数据，以供日后分析和比较。

该系统通过提供配置规定以在各种启用模式下启用来提供进一步的灵活性，每种启用模式持续预定时间或预定数目的周期，或者以预定时间段和周期的组合来启用。

此外，根据一些实施方式，系统可以响应于所收集的数据而从一种启用模式自动改变为另一种启用模式。

根据一些实施方式，该系统可以被手动启用(打开“ON”)，并且根据一些实施方式，该系统可以响应于预定指令(例如在特定时间期间)和/或另一系统的预定条件而被自动地启用。

附加的节能措施包括根据不同的功耗或启用模式而启用减少数目的雷达、发射/接收模块和处理器的措施。

根据一些实施方式，系统可以被暂时触发关闭或在“待机”模式下被暂时启用，以节省电力资源。

图12描绘了根据某个实施方式的、在启用检测模式期间采用的一个操作循环的操作阶段。如图所示，操作周期包括测量阶段、计算阶段和空闲阶段。

在测量阶段中，复杂目标对象的捕获以全帧速率利用经由12v的电压的450mA的电流，持续10msec的时隙，例如每秒15帧至25帧(fps)。

在计算阶段期间，根据用以识别运动的上述方法中的至少一些方法执行计算，使用经由12v的电压的150mA的电流，持续50msec的时隙；

在空闲阶段期间，利用经由12v的电压的30mA的电流，持续140msec的时隙，以确保存储器保留先前捕获或计算的数据。

根据一些实施方式，上述方法和系统可以实现为用于各种监控和警报用途。在特定应用中，例如，坐在车辆的后部座位中或婴儿床中的婴儿/蹒跚学步的孩子被监控。该设备被配置成响应于检测到呼吸速率或心跳速率的阈值变化而启用警报。

另一车辆监控应用是在发动机脱离接合和车门锁定后的阈值时间量之后对留在车辆中的婴儿或蹒跚学步的孩子进行检测的领域。

在某个实施方式中，监控设备在车辆内实施以对占用者进行监控。

在某个实施方式中，车辆监控设备被配置成在发动机关闭和/或车门被锁定时根据上述高启用模式和中间启用模式中的至少一者进行预定的循环次数和/或时间段而被启用。该设备链接至发动机和锁定系统，以便提供这样的驱动功能。在未观察到运动的情况下，监控设备在可配置的时间段内采用待机模式。

根据一些实施方式，警报选自启用车辆喇叭、启用车辆空气通风系统、打开车辆窗户、解锁车辆、向应用程序用户发送警报、向紧急救援服务发送警报、以及它们的任意组合。根据一些实施方式，重复警报直到系统被手动切换为关闭。

监控设备被配置成顺序地重复“监控”和“待机”操作模式，直到：车辆被切换为“开”，其中系统或者手动关闭、自动关闭、或者根据阈值时间段的流逝或阈值重复次数的实现而继续监控。

类似地，该设备可以被采用以对躺在床上的老人或病人进行监控，并且响应于呼吸率、心率或心率变异性的阈值变化而启用警报。

设备链接的警报包括声响警报、视觉警报、或两者的组合，并且在某些实施方式中，警报通过多种无线技术中的任一种而被远程地启用。

应当理解的是，由在单独实施方式中阐述的特征集合的组合形成的实施方式也在本发明的范围内。此外，虽然本文已经说明并描述了本发明的某些特征，但修改、替换和等效物包括在本发明的范围内。

本公开的方面涉及用于对车辆的各种座位中的车辆占用者进行分类的系统和方法。

要求用于此类任务的系统和方法能够全天候运行，包括在黑暗中，并且即使被隐藏(诸如被例如毯子覆盖)也能够对占用者进行检测和分类。无论汽车状态如何，无论点火开关是否打开、空调是否工作、车辆是静止还是移动，甚至是在崎岖不平的道路上移动，都应提供可靠的分类。

占用者的分类可以包括各种类别，例如但不限于年龄组、体重、体型、是否存在儿童座位的指示、占用者的位置、动物与人类、儿童与成人、男性与女性以及像水瓶和悬挂的衬衫(开车时容易移动)的对象等。

尽管对占用者进行分类很重要，但也经常需要同时尊重他们的隐私，并避免检测和记录识别细节。

分类占用者的可能技术可以包括座位下方的压力传感器、可以由任何类型的深度摄像机辅助的摄像机、独立的深度摄像机、超声波成像和雷达成像。

摄像机的主要缺点是需要外部光源，并且无法穿透非透明材料。另外，摄像机的图像分辨率可能会侵犯隐私。

例如，在红外频率下发出自己的光的深度摄像机能够在黑暗中工作，但在白天可能会饱和。另外地，它们通常不会穿透座位和毯子。

压力传感器提供有关重量的信息，但不提供有关占用者的形状或体型的任何信息，并且因此它们通常是不足的。

另一方面，雷达和超声波成像系统可以使用波长约为1cm的波来实现。这种系统能够在黑暗中操作，并且可以穿透对可见光不透明的对象。1cm的波长足以将占用者分成组，诸如如上所述的年龄组、重量、体型、是否存在儿童座位的指示、占用者的位置等……，以符合技术和法律要求以及安全性规则，但不足以对它们进行识别。雷达和超声波传感器可以被用于识别毯子下的乘客，并且不会被自然光源和声音饱和。

参考图13，描述了用于将在车辆内部通过坐标网格获得的3D复杂图像转换为具有相关联类别的车辆的占用者的列表的方法。

该方法包括获得车辆舱室的占用者的3D复杂图像——步骤110。

图像累积是获取占用者的动态模型所需要的。三维图像(预定义坐标集合的复值)被存储为矩阵中的行向量。该矩阵可以存储预定数目的图像(帧)，或者要被存储的帧的数目可以是可变的。

发射元件和接收元件的阵列被用于生成与车辆内部以及可能的车辆周围的预定义区域或体积中的坐标相关联的复值集合。这些值和相关联坐标被称为复杂的3D图像。复值的幅度可以指示反射对象位于该坐标中的概率。

在通过引用并入本文的题为“DETECTING AND MEASURING CORRELATED MOVEMENTBY ULTRA-WIDEBAND MIMO RADAR”的美国专利公开2019/0254544提供了一种用于获得移动占用者的3D复杂图像的示例性方法。另一种方法在J.M.Lopez-Sanchez,J.Fortuny-Guasch发表在IEEE天线和传播事务(IEEE transactions on antennas and propagation)的2000年5月，第48卷，第5期，第728-737页的“3-D Radar Imaging Using Range MigrationTechniques”中描述，该文章通过引用并入本文。

作为特定情况，图像可以仅存储真实值，例如表示每个体素中的幅度。

用于为发射和接收元件阵列构建这种复杂图像的已知算法是延迟求和算法(DAS，Delay and Sum algorithm)。DAS算法的变体可以在Giulia Matrone、Allesandro Stuart、Giosue Caliano、Giuvanni Magenes发表在IEEE医学影像汇刊(IEEE Transactions onMedical Imaging)，2015年4月，第34卷，第4期的“超声B模式医学成像中的延迟乘法求和算法(The Delay Multiply and Sum Algorithm in Ultrasound B-Mode MedicalImaging)”中找到，该文献通过引用并入本文。更复杂的算法包括解决逆问题的算法。解决成像中的逆问题的综述可以在Alice Lucas、Michael Iliadis、Rafael Molina、AggelosK.Katsaggelos发表在IEEE信号处理杂志(IEEE Signal Processing Magazine)，2018年1月，第35卷，第1期，第20-36页的“使用深度神经网络解决成像中的逆问题：超越分析方法(Using Deep Neural Networks for Inverse Problems in Imaging:Beyond AnalyticalMethods)”中以及Michael T.McCann、Kyong Hwan Jin、Michael Unse发表在IEEE信号处理杂志(IEEE Signal Processing Magazine)，2017年11月，第34卷，第6期，第85-95页的“用于成像逆问题的卷积神经网络：综述(Convolutional Neural Networks for InverseProblems in Imaging:A Review)”中找到，这两个文献也通过引用包含在内。

当对占用者进行分类时，可以假设他们将示出随着时间的至少轻微的移动，诸如胸部移动和呼吸，因此对于给定坐标随时间的相位变化可以指示对象的移动。可以在查看多个帧时检测到这一点。图像可以在缓冲器114中被累积(步骤112)。

可以通过背景去除算法从检测到的信号中减去舱室的壁、座位和其他恒定和静止的特征——步骤116。

可以通过减去对于每个坐标而言的平均值来实现背景去除，例如，以以下的一种或两种方式：

对每个坐标应用高通滤波器

对于图像矩阵中的每一列，减去该列的平均值。

滤波——执行步骤118，以去除旁瓣、多径、热噪声和杂波的影响。图10的滤波步骤是基于动态行为执行的，在图11中进行了扩展。

然后将这些点集群成组，所述组中的每个组与占用者相关联(步骤120)。

提供与车辆/几何模型、尺寸和座位位置相对应的数据——步骤121。将每个集群与座位相关联——步骤122，并且生成占用可能性统计——步骤124，使得阈值被使用以决定座位是否被占用——步骤126。这个决定可以由占用者动态模型的结果来补充——步骤128。

基于车辆几何形状和对于每个集群的点分布(可能在若干帧之上)计算每个集群的特征——步骤130。

将模型132应用于步骤130的特征分类以创建分类134，该分类134评估占用的座位被分配给特定类别的可能性，并且这可以被平滑——步骤138以将座位的占用者分配给特定类别。

占用确定和分类程序可以涉及各种方法，尤其是机器学习。例如，可以对神经网络进行训练以确定占用或执行分类到所需的类别组，但是可以使用其他分类方法。可以使用学习算法来优化函数的参数。在以神经网络的形式实现功能的情况下，可以在适当的情况下使用前馈神经网络。另外地或替代性地，具有反馈的网络可以被用于考虑历史特征，诸如RNN(循环神经网络)、LSTM(长期和短期记忆)网络等。

替代性地，或另外地，座位周围每个框的坐标值可以被用作网络的输入，而不是特定特征的列表。相应地，卷积神经网络(CNN)可能是合适的。应当理解的是，上述任何一种的组合，诸如组合的CNN与RNN可能是优选的。每个框内的坐标值可以被用于确定与特定框相关联的座位是否被占用。

尽管上面出于说明性目的描述了神经网络，但其他分类算法可以另外地或替代性地被用于提供所需的分类，例如SVM(支持向量机)、决策树、决策树的集合，也称为决策森林。本领域技术人员将想到其他分类算法。

分解(SVD)

多径、栅瓣和旁瓣具有相似的动态行为。因此奇异值分解(SVD)倾向于使用具有时变系数的单个向量来表示它们。

参考图14A，示出了表示图像的信号的时间演变。图像集合可以被分解为两个分量，其中的一个用实线绘制，而另一个用虚线绘制。一个分量(实线)的幅度随时间减小，而另一个分量的幅度随时间增大。SVD分解可以提供这些分量。

数学公式如下：矩阵H对图像集合进行存储。每行代表图像。例如，可以使用称为奇异值分解的标准算法来对矩阵H进行分解。该矩阵分解为三个矩阵。

H＝U·D·V^H

在该分解中，U表示旋转矩阵，D是对角矩阵(不一定是正方形)，并且V^H是具有与H相同维数且具有正交行的矩阵。V^H的行包含诸如上图所示的分量。

确定分量的数目

可以使用基于奇异值(矩阵D的主对角线上的值)分布的标准来确定所需分量的数目。一种方式是选择对应于最大奇异值的分量，这些奇异值加起来占总值的百分比，例如为95％。

另一种方法是基于在排序的奇异值的曲线图中搜索角点。

两种方法都是本领域已知的。

替代性的分解

虽然SVD可以被用于分解，但这应该被视为仅用于更广泛类别的分解选项的示例。

替代性的分解包括例如以下各者：

独立分量分析(ICA)

这种分解假设观察值是统计独立来源的线性混合。分解的目标是寻找独立的来源。

公式如下：

其中，M是未知的混合矩阵。ICA提供了可以被视为与占用者相关联的分量的来源。

发明人已经注意到，在高SNR水平下，ICA的性能通常超过SVD在将不同的占用者分离到不同的分量或来源的性能。

替代性的分解方法的又另一示例是连续时空滤波分解，如图14B的框图所示。

由雷达系统将图像数据收集为一系列帧1402。可以将图像帧存储在处理器的存储器单元中作为包括多个帧的缓冲器1404，作为示例，缓冲器可以是包括代表3秒捕获的数据的15帧集合的矩阵。可以确定每个帧中的最强峰1406，例如具有最强方差或均方根值的体素。因此，可以针对缓冲器中的最强峰确定最强峰的时间分量1408，并且可以将每个帧的每个体素投影到时间分量上1410。然后可以从缓冲器去除时间分量1412。该方法可以随着获得更多图像数据而重复。

分量滤波

对每个分量进行滤波是基于如下假设：描述时域移动的形式的分量应该具有局部能量。滤波操作应该优选地保留局部值。下面，描述两种滤波方法。

方法1：将图像划分成高能量的斑点，并且只保留能量最高的斑点。

方法2：仅保留能量高于阈值的坐标。阈值可以是相对于峰值或绝对值的。

这两种方法在图14C中进行了描述，该图14C表明滤波操作将许多坐标归零。通常，可以定义掩码，该掩码减少不需要的值而不是将它们归零。

将滤波后的分量组合到滤波后的图像

可以在逐个分量的基础上将滤波后的分量组合成图像。

在本文中使用以下符号来描述该方法。

其中，除了(n，n)之外的所有元素都被设置为0。

的经滤波的分量

的第n行

的

如下所述，可以使用若干不同方法中的一种或更多种方法来生成最终图像(image)。

第一种方法涉及对

的若干行的绝对值进行平均：

在上面的表达式中，C表示常数，例如求和运算中的行数。替代性的方法将是对绝对值的幂进行平均，例如对绝对值的平方进行平均。另一替代性的方法是对

的不同行赋予不同的权重。通常，选择与最近捕获的图像相对应的行。

替代性的方法是直接使用分量而不乘以U：

乘以U提供与分量的贡献有关的时间信息。

将每个非零坐标关联到分量(component)是有用的。关联可以是例如“硬”关联，“硬”关联意味着它与单个分量相关联，或者“软”关联，“软”关联意味着对坐标与分量关联的概率进行分配。

硬关联可以用如下公式表示：坐标i与在该坐标处使图像最大化的分量n相关联。

软关联可以用如下公式表示：

如在步骤120中执行的那样，软关联往往有助于集群。然而，关联步骤不是强制性的。该关联步骤可以被跳过。

应当理解的是，座位的位置和舱室的壁是已知的。这些固定元素是背景，并且可以被移除。在去除背景之后，信号代表占用者。

集群的目的是在车辆的占用者中对非零坐标进行拆分。这可以通过使用标准集群算法简单地对坐标进行集群来实现。替代性的方法是利用不同坐标与不同分量相关联的先验知识，其中不同坐标通过硬关联与不同SVD(奇异值分解)分量相关联。为清楚起见，在图像中，每个分量具有不同的颜色。

预计车辆中的不同占用者将被分成不同的SVD分量，因为他们移动的时间不同。但是，单个SVD分量将与不同的占用者相关联。在这种情况下，分量内的坐标中的一些坐标将形成一个集群，而其他坐标将形成另一集群。应用集群算法可以被用于将该分量拆分为集群。

在图15A中，与同一SVD分量相关联的两个坐标集合被圈出。每个SVD分量的集群应用生成图15B，在图15B中所圆出的集群已被拆分为两个分量(不同的颜色)。图15B展示了使用DBSCAN算法的每个分量集群，该DBSCAN算法还可以能够去除异常值。然而，可以使用本领域的其他集群算法。

返回参考图14C，描述了两种滤波方法。方法1涉及将图像划分为高能量斑点并仅保留具有最高能量的斑点。相比之下，方法2仅保留能量高于阈值的坐标，该阈值可以是相对于峰值而言的或相对于绝对值而言的。

只有方法2才需要使用DBSCAN算法进行集群，因为方法1每个分量只留下一个集群。

现在，集群可以应用于集群本身。每个集群被表示为具有均值和协方差的高斯分布，该高斯分布对集群内的点的分布相匹配。然后可以在这些高斯分布之间限定距离度量。

分布之间的距离可以采取多种形式。例如，Kullback Leibler散度、Bhattacharyya距离、Hellinger距离、以及差的L2范数。

例如，应用本领域已知算法的谱集群可以被用于生成图16中所示的结果，其中五个集群被确定。

例如，可以使用以下等式将高斯分布拟合到具有给定强度的坐标集合。符号如下。

集群中的点的坐标可以用列向量r＝(r_x，r_y，r_z)^T表示。然而，这些坐标不一定是笛卡尔坐标，也不一定是三维坐标。集群中的每个点都与幅度相关联，用m表示。集群点的幅度是实数和正数，即对于每个点i而言是m_i＞0。

例如，通过以下方式限定集群中的每个点的相对权重：

集群的中央被简化为：

矩阵被限定为：

其中p表示集群中的点的数目，并且

集群的协方差被限定为

最后，可以使用协方差矩阵c和中央μ限定高斯(Gaussian)分布：

可以使用其他分布例如t分布、均匀分布、高斯混合等来描述点的集群。

图17展示了在三维空间中将点的集群表示为高斯。

应当理解的是，车辆的每个占用者都可以与座位(seat)相关联。座位关联是将车辆中的座位与每个占用者相关联以确定座位是否被占用的过程。

p_k(r)＝Pr{r∈seat_j}

在图18中，矩形对车辆内部与特定座位相关联的区域进行限定。通常，这些区域可以是重叠的，并且分布不需要是均匀的。然而，正如所见，各种集群(cluster)确实与框很好地对齐，并且因此可以确定每个座位是否被占用。

在第二距离度量中，可以像前面关于集群的章节中描述的那样使用。

d_k(cluster_q)＝从集群q的分布至p_k(r)的距离。

在为每对{k，q}确定了集群q与座位k相关联的概率时，每个集群(q)就可以与p_k(cluster_q)最大的座位(k)相关联。

我们在“硬”占用与“软”占用之间进行区分。我们现在将描述如何计算占用。

对于“硬”占用，使用以下规则：

没有集群与其相关联的座位被视为空座位(empty seat)。

至少一个集群与其相关联的座位被视为已占用。

对于“软”占用，以下表达式可以被用于根据每个集群q与每个座位k′之间的概率矩阵p_k′(cluster_q)座位k被占用(seat k is occupied)的概率：

作为车辆内有效转换的模型的示例，考虑具有2排的车辆。前排座位1是驾驶员，而他旁边是座位2。在第二排中是座位3、4和5，其中座位3在驾驶员后面。我们还可以限定两个座位之间的位置，诸如座位3.5和座位4.5。这些布置在图19和图20中展示。

图21展示了图10的第二排的占用转换图。每个圆圈表示占用状态，其中圆圈上指示占用的座位和状态编号。

占用概率Pr{Seat_kis occupiedr}可以通过以下方式与转移模型组合。

转换概率被分配给图中的转换中的每个转换。例如，对于状态1，存在转换到状态2的概率、转换到状态3的概率以及保持在状态1的概率。这些概率可以被任意地限定，或可以是以统计数据为基础的。图中，凡是状态之间没有联系的地方，都假设转换概率为0。例如，从状态1转换为状态5的概率为0。

从状态s₁到状态s₂的转换概率由p_t(s₁，s₂)表示。

每个状态S都占用有与该状态相关联的座位。与状态S相关联的占用的座位用o_s表示。例如，状态4具有座位3和5被占用：o₄＝{3，5}

更新系统处于状态S的概率可以按如下完成：

换言之，占用处于状态S的概率被更新为座位适合状态S的概率乘以从状态S′到状态S的转换概率的总和乘以占用处于这些状态的概率。

在一些实施方式中，不计算确切的概率，而是计算与概率成比例的数字。

在一些实施方式中，总和

可以用表示最有可能转换到状态S的单个项代替，如下所示：

在一些实施方式中，使用概率的对数，并且上面的乘法可以被如下的和代替：

在一些实施方式中，可以选择最可能的状态，并且根据导致它的最可能的连续状态回溯几个步骤。指示导致最可能当前状态的先前状态通过使对座位占用概率中的误差的敏感性降低来稳定系统。

最后一个等式的实现使其本身适用于线性编程方法。

参考图22，对于占用者分类，在需要时，LP(低通)滤波器可以可选地应用于经滤波的3D图像，以用于可配置的时间常数(通常为几秒)。LP滤波器可以是移动平均或可以是移动平均滤波器的IIR(无限脉冲响应)指数。在其他配置中，可以不应用低通滤波器。

使用LP滤波器倾向于保留有用的体积信息(保存考虑身体的反射的体素)。不同的身体部位可能在不同的时间移动，并且LP滤波器可以促进随着时间积累信息，从而给出单个3D图像。

然后将图像划分为3D区域，其中每个区域包含单个对象。

在车辆的情况下，已知它的尺寸和几何形状，可以利用车辆座舱的一些测量来导出3D区域。

例如，对于5座汽车，以下测量值相对于传感器原点对于每个汽车型号是而言是常量，并且可以被收集：

FRF-前排座位最前位置(参考座位“质心”测量的-参见图像)

FRR-前排座位最后部位置(参考座位“质心”测量的-参见图像)

RRC-后排长凳“质心”

BNCW-后排长凳宽度

STH-从地面到边缘的座位高度

SSH-从地面到传感器的传感器高度

另一种选项是使用上层的决策得出占用者的数目和位置(为每个占用者提供[x，y]坐标，并在该位置[x-dx，x+dx，y-dy，y+dy，O，，SSH]周围打开框)。

又一种选项是使用SVD分解以通过分量编号为每个体素“着色”，从而给出对于体素集群的初始猜测。然后每个分量可以经受DBSCAN——基于密度的应用程序的空间分类与噪声(几何)集群以去除异常值并且将在几何上独立的集群分离为单独的分量。从这个步骤开始，每个分量(集群)都不能再被分离，并且附加的集群被完成以分离成集群组。

每个3D区域，可以对基于体积和强度的特征进行提取。

手动制作的集群特征可以被用于评估占用者的身份。

符号：

给定3D图像区域，对强度高于特定水平的所有体素(voxel)进行提取。这给出了3D区域的占用的体素的列表。

voxel_i＝[x_i，y_i，z_i，I_i]，i＝1...N

PC＝{voxel₁...voxel_N}

从这个点的列表计算以下特征。坐标是相对于3D区域的限定的中央点的。在汽车座位的情况下，中央点被限定为直接在座位(z坐标)上并且在预期成人的强度的中心(x坐标，y坐标)的区域中。

占用的体素的数目

占用的体素的数目可以指示被占用的区域的体积。

占用的体素的数目＝N

强度的中心

强度的中心是由其强度进行加权的体素的平均位置

协方差和加权协方差

协方差给出了点在空间中如何分布的测量值。在占用者分类的情况下，它指示人的姿势(例如，向前倾斜的成人/坐在幼儿座位上的婴儿)。

图23和图24示出了这个原理。

以下算法示出了对加权(weighted)协方差进行计算的代码示例。

numDimensions＝3；

gmm_params.mean＝zeros(numDimensions，1)；

gmm_params.cov＝zeros(numDimensions，numBimensions，1)；

weights＝iSeat_pts_lntensity/sum(iSeat_pts-lntensity)；

gmm_params.mean＝sum(weights.＊iSeat_pts_XYZ)′；

zero_mean_weighted_points＝sqrt(weights).＊(iSeat_pts_XYZ-gmm_params.mean′)；

gmm_params.cov＝(zero_mean_weighted_points′＊zero_mean_weighted_points)；

cov＝zmwp^T·zmwp

3D区域中坐标的极值

所有3个笛卡尔坐标轴的极端(最大/最小)坐标给出了3D区域中占用的区域的测量值。

参考图25，通过围绕集群绘制矩形，可以获得占用者的体型和形状的指不。

X_min＝min(X)，X＝x₁…x_N

X_max＝max(X)，X＝x₁…x_N

Y_min＝min(Y)，Y＝y₁…y_N

Y_max＝max(Y)，Y＝y₁...y_N

Z_min＝min(Z)，Z＝z₁...z_N

Z_max＝max(Z)，Z＝z₁...z_N

用于限定的z值的强度的中心

对于成人，座位高度之上的z切片上的强度的中心通常靠近座位的靠背，对于坐在后向婴儿座位中的幼儿，某些切片中的重心通常会更多地向前移位。

cov＝zmwp^T·zmwp

平均强度

最大强度

I_max＝max(I)，I＝I₁...I_N

低于座位水平的能量

低于座位水平的能量(energy below the seat level)可以指示幼儿是否在座位上。如果幼儿正坐在这个座位上，则不会出现低于预期就坐高度(height)的反射。

为了稳定分类输出，可以将分类保存到缓冲器几秒钟，并且可以使用多数投票或具有滞后的稳定器来确定最终的分类决策。

技术说明

本文使用的技术术语和科学术语应具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。然而，预计在从该申请成熟的专利的生命周期中，将开发许多相关的系统和方法。因此，诸如计算单元、网络、显示器、存储器、服务器等术语的范围旨在包括所有这些先验的新技术。

如本文中所用的，术语“约”是指至少±10％。

术语“包括”、“包括有”、“包含”、“包含有”、“具有”及其配合词意指“包括但不限于”，并表示所列部件被包括在内，但通常不排除其他部件。这样的术语包含术语“由……组成”和“基本上由……组成”。

短语“基本上由……组成”是指组合物或方法可以包括附加的要素和/或步骤，但前提是附加的要素和/或步骤不会实质性地改变要求保护的组合物或方法的基本特性和新颖特性。

如本文所用，除非上下文另有明确规定，单数形式“一”、“一种”和“该”可以包括复数引用。例如，术语“化合物”或“至少一种化合物”可以包括多种化合物，包括它们的混合物。

本文中使用的词语“示例性”意指“用作示例、实例或图示”。被描述为“示例性”的任何实施方式不一定被解释为优选的其他实施方式或优于其他实施方式或排除与其他实施方式的特征的结合。

本文中使用的词语“可选地”意指“在一些实施方式中提供而在其他实施方式中不提供”。本公开的任何特定实施方式可以包括多个“可选的”特征，除非这些特征冲突。

无论何时在本文中指出数值范围，其意在包括在所指出的范围内的任何引用的数字(分数或整数)。短语第一指示数字与第二指示数字“变化/范围之间”和“变化/范围从”第一指示数字“到”第二指示数字在本文中可互换使用并且意在包括第一指示数字和第二指示数字以及它们之间的所有小数和整数。因此，应当理解的是，范围格式的描述仅仅是为了方便和简洁，而不应该被理解为对本公开范围的不灵活限制。相应地，范围的描述应该被认为已经具体公开了所有可能的子范围以及该范围内的各个数值。例如，对诸如从1至6的范围的描述应该被认为已经具体公开了子范围，诸如从1至3、从1至4、从1至5、从2至4、从2至6、从3至6等，以及该范围内的单个数字，例如1、2、3、4、5和6以及非整数中间值。无论范围的广度如何，这都适用。

应当理解的是，为了清楚起见，在单独实施方式的内容中描述的本公开的某些特征也可以在单个实施方式中组合地提供。相反，为了简洁起见，在单个实施方式的内容中描述的本公开的各种特征也可以单独提供或以任何合适的子组合或适合于本公开的任何其他描述的实施方式来提供。在各种实施方式的内容中描述的某些特征不应被认为是那些实施方式的必要特征，除非实施方式在没有这些元件的情况下是无效的。

尽管已经结合其特定实施方式描述了本公开，但显然许多替代、修改和变化对于本领域技术人员来说将是显而易见的。相应地，旨在涵盖落入所附权利要求的精神和广泛范围内的所有这些替代、修改和变化。

本说明书中提及的所有出版物、专利和专利申请均通过引用以其整体并入说明书中，其程度如同每个单独的出版物、专利或专利申请被具体地和单独地指示通过引用并入本文一样。此外，本申请中任何参考文献的引用或标识不应被解释为承认该参考文献可作为本公开的现有技术获得。就使用的章节标题而言，它们不应被解释为必然限制。

所公开的主题的范围由所附权利要求限定并且包括上文描述的各种特征的组合和子组合以及其变化和修改，本领域技术人员在阅读上述描述时后会想到上文描述的各种特征的组合和子组合以及其变化和修改。

Claims (29)

1.一种车辆舱室监控系统，所述系统包括：

雷达单元，所述雷达单元包括：

至少一个发射器天线，所述至少一个发射器天线连接至振荡器，并且所述至少一个发射器天线被配置成将电磁波发射至所述车辆舱室中，以及

至少一个接收器天线，所述至少一个接收器天线被配置成接收由所述车辆舱室内的对象反射的电磁波，并且所述至少一个接收器天线能够操作成生成原始数据；

处理器单元，所述处理器单元被配置成从所述雷达单元接收原始数据，并且所述处理器单元能够操作成基于所接收到的数据而生成图像数据；

存储器单元，所述存储器单元被配置成且能够操作成对所述图像数据进行存储；以及

至少一个输出单元；

其中，所述处理器单元被配置成并且能够操作成：

基于所述RF响应来生成至少一个3D(三维)图像；

通过从3D图像中去除背景，来对获得的所述3D图像中的一幅或更多幅连续3D图像进行处理；

通过去除旁瓣、多径、热噪声和杂波中的至少一者的贡献来对所述3D图像进行滤波；

对所述车辆舱室内的座位的占用进行检测；

对所述车辆舱室内的座位的至少一名占用者进行分类；

对所述车辆舱室内的座位的至少一名占用者的姿势进行检测；以及

对所述车辆舱室内的座位的至少一名占用者的安全带状态进行确定；以及

其中，所述输出单元被配置成并且能够操作成：根据所述车辆舱室的占用者的状态来执行响应。

2.根据权利要求1所述的系统，其中，所述雷达单元位于所述车辆舱室的车顶中的中央位置。

3.根据权利要求1所述的系统，其中，所述雷达单元被嵌入在两层玻璃之间。

4.根据权利要求1所述的系统，其中，所述雷达单元通过热传导环氧树脂被附接至玻璃表面。

5.根据权利要求1所述的系统，其中，所述雷达单元被结合到天窗中。

6.根据权利要求1所述的系统，其中，所述雷达单元被结合到头枕中。

7.根据权利要求1所述的系统，其中，所述处理器能够被操作成：

对经滤波的3D图像进行集群；

将至少一个座位与至少一名占用者相关联；以及

基于所述3D图像中用于每个集群的点的分布并且根据车辆几何形状对所述一名或更多名占用者进行分类。

8.根据权利要求1所述的系统，其中，所述处理器能够被操作成：

从接收到的信号中提取人类关键点；以及

对所述车辆舱室的座位的至少一名占用者的骨骼点进行识别。

9.根据权利要求8所述的系统，其中，所述人类关键点选自以下各者中的至少一者：头部、左肩部、右肩部、左骨盆、右骨盆、左膝盖、右膝盖、左大腿、右大腿、以及它们的组合。

10.根据权利要求1所述的系统，其中，所述处理器能够被操作成：对所述车辆舱室的至少一名占用者的生命体征进行监测。

11.根据权利要求10所述的系统，其中，所述生命体征包括所述占用者的热速率和呼吸速率中的至少一者。

12.根据权利要求1所述的系统，其中，所述输出单元被配置成：在异常的情况下生成警报。

13.根据权利要求12所述的系统，其中，所述异常选自：占用者未系安全带、儿童坐在前部座位上、占用者处于不安全姿势、驾驶员表现出低警觉性、以及它们的组合。

14.根据权利要求1所述的系统，其中，所述输出单元被配置成并且能够操作成：如果不安全，则取消安全气囊操作。

15.根据权利要求1所述的系统，其中，所述输出单元被配置成并且能够操作成：在发生事故的情况下，与紧急救援服务进行通信。

16.根据权利要求1所述的系统，其中，所述输出单元还被配置成：如果幼儿被留在所述车辆舱室中，则生成警报。

17.根据权利要求1所述的系统，其中，所述输出单元被配置成并且能够操作成：触发通信系统，以联系紧急救援服务并且向紧急救援人员指示生命体征。

18.一种用于对车辆舱室进行监控的方法：

提供雷达单元，所述雷达单元包括：

至少一个发射器天线，所述至少一个发射器天线连接至振荡器，并且所述至少一个发射器天线被配置成将电磁波发射至所述车辆舱室中，以及

至少一个接收器天线，所述至少一个接收器天线被配置成：接收由所述车辆舱室内的对象反射的电磁波，并且所述至少一个接收器天线能够操作成生成原始数据；

提供处理器单元，所述处理器单元被配置成：从所述雷达单元接收原始数据，并且所述处理器单元能够操作成基于所接收到的数据生成图像数据；

提供存储器单元，所述存储器单元被配置成且能够操作成：对所述图像数据进行存储；以及

提供至少一个输出单元；

向所述车辆舱室中发射电磁波；

接收由所述车辆舱室内的对象反射的电磁波；

生成与所述车辆舱室内的体素相关联的复值集合；

将所述复值集合转换为3D复杂图像；

通过去除旁瓣、多径、热噪声和杂波中的至少一者的贡献来对所述3D图像进行滤波；

对所述车辆舱室内的座位的占用进行检测；

对所述车辆舱室内的座位的至少一名占用者进行分类；

对所述车辆舱室内的座位的至少一名占用者的姿势进行检测；以及

对所述车辆舱室内的座位的至少一名占用者的安全带状态进行确定。

19.根据权利要求18所述的方法，还包括：

对经滤波的3D图像进行集群；

将至少一个座位与至少一名占用者相关联；以及

基于所述3D图像中用于每个集群的点的分布并且根据车辆几何形状来对所述一名或更多名占用者进行分类。

20.根据权利要求18所述的方法，还包括：

从接收到的信号中提取人类关键点；以及

对所述车辆舱室的座位的至少一名占用者的骨骼点进行识别。

21.根据权利要求20所述的方法，其中，所述人类关键点选自以下各者中的至少一者：头部、左肩部、右肩部、左骨盆、右骨盆、左膝盖、右膝盖、左大腿、右大腿、以及它们的组合。

22.根据权利要求18所述的方法，还包括：对所述车辆舱室的至少一名占用者的所述生命体征进行监测。

23.根据权利要求22所述的方法，其中，所述生命体征包括所述占用者的热速率和呼吸速率中的至少一者。

24.根据权利要求18所述的方法，还包括：在异常的情况下，所述输出单元生成警报。

25.根据权利要求24所述的方法，其中，所述异常选自：占用者未系安全带、儿童坐在前部座位上、占用者处于不安全姿势、驾驶员表现出低警觉性、以及它们的组合。

26.根据权利要求18所述的方法，还包括：如果不安全，则所述输出单元取消气囊操作。

27.根据权利要求18所述的方法，还包括：在发生事故的情况下，所述输出单元与紧急救援服务进行通信。

28.根据权利要求18所述的方法，还包括：如果幼儿被留在所述车辆舱室中，则所述输出单元生成警报。

29.根据权利要求18所述的方法，还包括：所述输出单元触发通信系统，以联系紧急救援服务并且向紧急救援人员指示生命体征。

Images