CN115841586A - 用于车辆的座椅占用分类系统 - Google Patents

Abstract

本发明涉及用于车辆的座椅占用分类系统。一种确定车辆的座椅占用的计算机化方法包括：获得车辆车厢的示出车辆的至少一个座椅的图像，确定图像中的对象并将对象分配到至少一个座椅，确定至少一个座椅的座椅占用状态的概率，以及基于分配的对象和概率确定至少一个座椅的座椅占用状态。

Description

用于车辆的座椅占用分类系统

技术领域

本公开总体上涉及车辆的安全改进，并且具体地涉及确定车辆中的人的座椅占用状态的方法和系统。

背景技术

智能车辆，例如智能汽车、智能公交车等，显著地提高了乘客的安全性。这种智能车辆中的一个任务是座椅占用检测，其目的在于检测位于座椅上的人、对象、儿童座椅等。

早期的座椅占用分类系统建立在用于检测座椅上的重量的重量传感器上。更近的座椅占用分类系统替代地或附加地处理由车辆中的相机拍摄的图像。图像可以有助于基于座椅的座椅占用确定模块来确定车辆中的每个座椅的具体占用状态。

由于在座椅是被占用还是未被占用的情况下必须不同地控制一些安全装置，因此需要可靠地检测车辆中的座椅占用状态。

发明内容

在此上下文中，提出了方法、系统和计算机程序产品。

更具体地，提出了一种确定车辆的座椅占用的计算机化方法。所述方法包括：获得车辆车厢的示出所述车辆的至少一个座椅的图像；确定所述图像中的对象并将所述对象分配到所述至少一个座椅；确定所述至少一个座椅的座椅占用状态的概率；以及基于所分配的对象和所述概率确定所述至少一个座椅的所述座椅占用状态。

在实施方式中，所述座椅占用状态包括的类型为人、儿童座椅、对象和空座椅。在一些实施方式中，确定所述座椅占用状态的概率包括：确定围绕所述座椅的边界框，并且在所述边界框内对所述座椅占用状态进行分类。在一些实施方式中，确定所述图像中的对象并将所述对象分配到所述至少一个座椅包括：分析所述图像以检测所述对象并对对象类型进行分类，并且输出所检测的对象随时间的边界框以及所述对象类型的分类的置信度值。在另外的实施方式中，确定所述图像中的对象并将所述对象分配到所述至少一个座椅包括：确定身体关键点并将所述身体关键点合并到一个或多个骨架模型，并且基于所述身体关键点的数量和所述身体关键点的相应置信度值来输出所述骨架模型和所述骨架模型的置信度得分。在另外的实施方式中，确定所述图像中的对象并将所述对象分配到所述至少一个座椅包括：分析所述图像以检测面部，并且输出所检测面部随时间的跟踪边界框。

在一些实施方式中，确定所述图像中的对象并将所述对象分配到所述至少一个座椅包括：将所检测的对象的不同信息聚合到组合对象；以及确定所述组合对象到所述车辆中的所述至少一个座椅的座椅分配概率，其中，所述座椅分配概率反映所检测的对象位于所述座椅处的概率。

在一些实施方式中，基于所分配的对象和所述概率来确定所述至少一个座椅的所述座椅占用状态包括：产生先前为人或儿童座椅类型的座椅的座椅占用状态；通过增加新检测的人和/或儿童座椅，产生先前为空座椅类型的座椅的座椅占用状态；产生先前为对象类型的座椅的座椅占用状态；以及通过增加新检测的对象，产生先前为空座椅类型的座椅的座椅占用状态。

在另外的实施方式中，产生先前为人或儿童座椅类型的座椅的座椅占用状态包括：将所述座椅的先前座椅占用状态与人或儿童座椅对象类型的座椅分配概率匹配；响应于确定所述座椅的匹配中的不确定性，将所述座椅的先前座椅占用状态与所述座椅的基于座椅的分类器的输出进行比较；以及基于匹配和/或比较确定确认的座椅状态、向其它座椅移动的人和儿童座椅、以及移除的人和儿童座椅。

在另外的实施方式中，产生先前为对象类型的座椅的座椅占用状态包括：将所述座椅的先前座椅占用状态与对象类型对象的座椅分配概率匹配；以及基于匹配确定确认的座椅状态、向其它座椅移动的对象和移除的对象。

在一些实施方式中，所述方法还包括确定所述座椅的遮挡值，其中，当产生所述座椅的当前座椅占用状态时考虑所述遮挡值。在一些实施方式中，确定所述座椅的所述座椅占用状态还考虑来自至少一个车辆传感器的信息。

另一方面涉及一种适于执行本文所述的方法的座椅占用分类系统。

又一方面涉及一种车辆，该车辆包括用于拍摄车辆内部的图像的相机和如本文所述的座椅占用分类系统。

最后，提供了一种包括指令的计算机程序，当计算机执行该程序时，该指令使计算机执行本文描述的方法。

通过以下参照附图对实施方式的详细描述，这些和其它目的、实施方式和优点对于本领域技术人员来说将变得更加明显，本公开不限于任何特定实施方式。

附图说明

从以下参照附图对示例性实施方式的描述中，本主题的前述和进一步的目的、特征和优点将变得明显，其中相同的附图标记用于表示相同的元件，在附图中：

图1是本文公开的方法的基本流程图。

图2描绘了由示例性基于座椅的分类器使用的边界框。

图3A示出了由示例性对象检测器产生的边界框。

图3B示出了由示例性身体关键点模块产生的关键点的骨架模型。

图3C示出了由示例性面部检测器产生的边界框。

图4是根据本文公开的方法确定和分配对象的实施方式的流程图。

图5是融合不同信息以产生座椅占用状态的实施方式的流程图。

图6A、图6B、图6C和图6D示出了可能的座椅占用状态。

图7呈现了示例性整体座椅占用分类系统的概述图。

图8描绘了如何确定所检测的人的座椅占用状态的流程图。

图9A和图9B示出了如何增加人或儿童座椅作为占用状态的流程图。

图10是实现本文所述功能的计算系统的图示。

具体实施方式

本公开涉及改善智能车辆的安全性的座椅占用检测的方法和系统，所述智能车辆诸如汽车、火车、公共汽车、船舶等。在参考附图并描述根据本公开的一些实施方式的座椅占用分类系统之前，将提供与本公开相关的一些背景信息和方面。

本文描述的技术总体上涉及更可靠地检测车辆中的座椅的座椅占用状态的概念。示例座椅占用分类系统将来自应用于座椅周围的限定的图像裁剪的基于座椅的图像分类器的结果与来自应用于整个图像的若干基于对象的模块的结果进行组合。示例座椅占用分类系统输出可以提供每个座椅的当前座椅占用状态作为输出。根据实施方式的可能的座椅状态可以是：空座、人、儿童座椅和对象。如果座椅占用状态是“人”，则座椅占用分类系统还可以提供他是成人还是儿童作为输出。此外，如果座椅占用状态是“儿童座椅”，则座椅占用分类系统还可以提供儿童是否坐在儿童座椅内作为输出。

在实施方式中，座椅占用分类系统还可以提供关于与座椅相关联的对象的另外的信息作为输出，所述对象可以包括人、无生命对象、宠物等。例如，座椅占用分类系统可以提供具有状态“人”的座椅的相关联的骨架模型、具有状态“人”的座椅的相关联的面部边界框、和/或具有状态“人”、“对象”或“儿童座椅”的座椅的相关联的边界框。对于具有状态“儿童座椅”的座椅，如果儿童是可见的，座椅占用分类系统还可以提供坐在里面的儿童的骨架模型和/或边界框。此外，座椅占用分类系统还可以提供每个座椅的遮挡状态。

单个人或儿童座椅可以与恰好一个座椅相关联。例如，坐在两个座椅之间或倚靠在另一个座椅上的人可能从不与两个座椅相关联。与仅依赖于基于座椅的分类的座椅占用系统相比，本文描述的座椅占用分类系统通过另外考虑座椅占用融合模块内部的对象检测输出来增加所提供的座椅占用状态和遮挡状态的可靠性。此外，关于每个座椅的相关联对象的详细信息为另外的车辆安全和控制模块提供了有价值的信息。

身体关键点模块的输出可例如用于判定人是否坐在正常位置。具有身体关键点的对应图像(也称为帧)然后可以用于基于相关联的身体关键点进一步估计人的尺寸、年龄和/或重量，例如用于气囊控制。这也可以基于由对象检测器提供的对象边界框来实现。例如，儿童由此可以与成人区分开。此外，对于随后的检测任务，如安全带识别，可以以较低的优先级处理具有坐在异常位置(例如向侧面或前面倾斜)的人的框架。从对象检测器输出的边界框也可以给出关于对象的位置和尺寸的准确信息。

所提出的系统可以组合基于座椅的分类器(也称为图像区域分类器)和可以被并行处理的若干独立的基于对象的模块(也称为对象检测方法)。所有模块不必以相同的帧率运行。特别地，不需要总是针对所有限定的图像区域，例如不针对每个座椅周围的每个区域，来处理图像区域分类器。相反，融合结果的任何不确定性可以用于对特定的座椅或图像区域进行优先级排序，以运行基于座椅的分类器。

基于座椅的分类器可以使用座椅周围的固定边界框作为输入，并且可以提供如上所述的四种可能的座椅占用类别的概率，例如，类别或类型为“空座椅”、“儿童座椅”(在一些实施方式中，具有子类“具有儿童的儿童座椅”和“没有儿童的儿童座椅”)、人(在一些实施方式中，具有子类“成人”和“儿童”)和“对象”作为输出。然后，输出与其它分类器或模块的输出随时间进行融合。图像区域分类器可以利用关于座椅位置和背景的先前知识。图像区域分类器与特定座椅相关联；因此，不需要附加的关联。对于部分遮挡的座椅区域，分类仍然是可能的，只要正确的类别仍然可识别。这可以基于置信度值来确定。

本文描述的座椅占用分类还可以包括一个或多个基于对象的模块。在它们之中，可以存在例如使用YOLO对象检测算法、身体关键点分类器和/或面部检测器的对象检测器。在那些实施方式中，对象检测器扫描不同类型的对象的整个图像，例如，人、儿童座椅、儿童、对象和/或空座椅。边界框跟踪器用于随着时间对结果进行融合。结果是所跟踪的边界框连同与该边界框相关联的每个可能类别的概率值的列表。在身体关键点分类模块中，身体关键点被检测并被合并到骨架模型，骨架模型然后随时间被跟踪。每个骨架模型包括从若干关键点及其置信度值创建的置信度得分。类似于对象检测器，面部检测器扫描面部的图像。虽然面部对于当前的人是有价值的指示，但是它仅提供关于人坐在哪个座椅上的相当不确定的信息。

附加匹配步骤然后可将来自身体关键点检测器、面部检测器和对象检测器的输出组合成组合对象。因此，如果没有匹配是合理的，组合对象还可以包含一个基本对象，例如仅面部对象。用于每个对象的附加软关联步骤提供了汽车中所有座椅的关联概率。

在一些实施方式中，对象检测器和图像区域分类器可以利用作为单独的座椅占用类别的空座椅来明确地训练，而不是在没有检测到其它类别的情况下仅作为默认状态来处理。这有助于系统区分可见的空座椅和占用状态的困难情况，例如在被遮挡的座椅、或人/儿童座椅被例如毯子或报纸覆盖的情况下。

本文描述的座椅占用分类系统还可以包括附加的部件、处理器和模块，如遮挡模块和/或儿童检测模块和/或背景模块。

遮挡模块使用来自不同模块的输入来提供每个座椅的遮挡值。因此，图像区域分类器提供遮挡值，该遮挡值是针对座椅占用类别而另外训练的。如果已经与座椅相关联的对象或人部分地覆盖另一个座椅，则来自其它类别的结果被用于检测间接遮挡。对于座椅占用类别之间的状态改变考虑遮挡值。遮挡值也可以被直接用于基于座椅和/或基于对象的模块中，以防止在遮挡的情况下短暂过滤/跟踪的更新。

对于气囊安全，相关的任务是将人与儿童座椅区分开。因此，坐在面向前的儿童座椅中的儿童是最关键的误差源，因为儿童可能看起来类似于小的人，例如当儿童座椅被儿童部分地遮挡时。示例儿童检测系统将三种方法组合到可靠的最终预测。在矛盾结果的情况下，类别被报告为未知状态，并且最终，问题可以经由人机接口(HMI)来解决。

第一种方法涉及通过基于对象的方法的儿童检测。对于具有状态“儿童座椅”的座椅，系统另外检查分类为“儿童”的对象框或儿童骨架模型是否可以与该儿童座椅相关联。这些关联被另外地添加到输出以指示儿童座椅被占用。例如，响应于由对象检测器为具有类型“儿童座椅”的先前座椅占用状态的座椅提供的被分类为“儿童”的边界框，本文提供的方法可以包括指示座椅的座椅占用状态“儿童座椅”的“具有儿童”的子类。附加地或替代地，所述方法可以包括，响应于由身体关键点模块为具有“儿童座椅”类型的先前座椅占用状态的座椅提供儿童骨架模型，指示座椅的座椅占用状态“儿童座椅”的“具有儿童”的子类。

第二种方法涉及占用状态转换逻辑的儿童检测。在大多数情况下，检测到的占用状态不直接从“人”切换到“儿童座椅”，反之亦然，因为在“人”和“儿童座椅”之间很可能识别出空的座椅。因此，即使不再(错误地)检测到儿童座椅，从儿童座椅到人的转换也指示儿童座椅中的儿童。基于相关联的面部框和/或骨架模型的附加尺寸或年龄估计在此可以有助于增加所检测到的人是儿童的确定性。这意味着，本文描述的方法可以包括，响应于在产生座椅的当前座椅占用状态时座椅的先前座椅占用状态“儿童座椅”到当前座椅占用状态“人”的改变，基于对象检测器、身体关键点模块和面部检测器中的至少一者的输出来应用所检测的人的附加尺寸或年龄估计，以验证当前座椅占用状态。

第三种方法涉及通过背景比较模型的儿童检测。状态转换逻辑的限制在于不能完全排除从“儿童座椅”到“人”以及从“空座椅”到“具有儿童的儿童座椅”的直接切换。为了更高的可靠性，示例系统包括例如由Siamese神经网络实现的另外的背景比较模型，该背景比较模型将检测到人时的背景座椅与之前可见的座椅(空座椅或儿童座椅)的外观进行比较。换句话说，本文描述的方法可以包括，当产生座椅的当前座椅占用状态时，响应于先前座椅占用状态“空座椅”到具有子类“具有儿童”的当前座椅占用状态“儿童座椅”的改变，应用背景比较模型，将当前背景座椅与座椅的先前背景进行比较，以验证座椅占用状态。

此外，也可以考虑来自不同传感器的附加车辆数据。取决于车辆(例如汽车)的状态，一些座椅占用状态转换是不太可能的或者甚至(几乎)不可能的。如果所有的车门都关闭或者汽车正在行驶，则没有人且没有儿童座椅能够离开汽车。此外，检测到安全带是人可能没有离开座椅的指示。

应当注意，尽管本公开涉及模块和/或分类器，例如基于座椅的分类器和不同类型的基于对象的模块，但这不是限制性的。描述为由模块执行的方法可以由其它模块执行，或者所有或部分过程可以在一个单个模块中执行。因此，尽管架构理解与本公开一致，但是也可以应用对模块的功能理解。

图1是确定座椅占用状态的方法的流程图。该方法在框11中以车辆车厢的图像开始。这意味着，获得了图像，在本公开中也称为当前图像，例如从车辆的车载相机直接传输或由车辆的计算系统所包括的其它模块预处理。该图像示出了具有车辆座椅的车辆内部。

之后，对象在图像中被确定并被分配到至少一个座椅，如框12所示。在实施方式中，至少一个基于对象的模块被应用于当前图像以检测当前图像中的对象。对象是指在当前图像上示出的任何活的或非活的对象，例如人、动物、任何非活的对象等。基于对象的模块可以是例如对象检测器、身体关键点模块和/或面部检测器。

在框13中，该方法还确定至少一个座椅的座椅占用状态的概率。在实施方式中，该方法对当前图像的至少一个裁剪应用基于座椅的分类器，其中，当前图像的至少一个裁剪被分配到车辆的座椅。裁剪可以是座椅周围的边界框，其通过基于座椅的分类器针对基于座椅的分类器正作用于其上的每个座椅而获得。裁剪还可以由例如图像上的参数、边缘、角坐标等来限定。在本公开中的获得一般包括从车载存储器或云存储器检索、从另一模块接收、或基于其它数据确定，例如基于当前图像。基于座椅的分类器还可以获得关于座椅的先前背景的知识。基于座椅的分类器还可以是在车辆或类似车辆的历史图像上训练的机器学习分类器。在一个实施方式中，基于座椅的分类器确定座椅占用状态的概率，即，如果限定四个座椅占用状态，则每个座椅被分配(至少)四个概率，即，每个座椅占用状态一个概率或置信度值。

最后，基于分配的对象和概率确定至少一个座椅的座椅占用状态。这在框14中描述。在实施方式中，基于座椅的分类器的输出和至少一个基于对象的模块的输出被融合以产生座椅的当前座椅占用状态。融合可以包括多个判定步骤，以便确定当前座椅占用状态。此外，可以不对车辆中的所有座椅执行基于座椅的分类器，而是仅对车辆中的一些座椅执行基于座椅的分类器。

虽然图1描绘了所有过程一个接一个地发生，但是本领域技术人员将意识到，过程的顺序可以不同或者甚至并行执行。例如，在一个实施方式中，基于座椅的分类器(例如，框13)可以在至少一个基于对象的模块(例如，框12)之前或与至少一个基于对象的模块并行地应用。此外，当已经执行融合模块(该融合模块也可以处理框14)时，也可以应用基于座椅的分类器(例如，框13)。这意味着，基于对象的模块可能已经被应用并且可能已经检测到座椅上的对象。如果在执行融合模块期间存在一些座椅的未确定或未确定状态，则可以应用基于座椅的分类器，并且之后将基于座椅的分类器的输出与基于对象的模块的输出融合。通常，融合模块融合本文描述的座椅占用分类系统的不同模块和部件的输出。

图2描绘了用于例如通过示例性的基于座椅的分类器来确定至少一个座椅的座椅占用状态的概率的边界框。如上所述，基于座椅的分类器可以应用于图像的裁剪，即，不是应用于整个图像。此外，这样的裁剪可以涉及限定用于对座椅的座椅占用状态进行分类的区域的边界框。在图2的示例中，描绘了用于汽车的每个后座椅的三个可能的边界框。然后，基于座椅的分类器对该边界框内的图像进行分类。边界框可以是固定的或可适应的。在给定的示例中，基于座椅的图像分类器可以确定中间和右侧的座椅的座椅占用状态“空座椅”以及左侧的座椅的座椅占用状态“人”。

图3A、图3B和图3C描述了汽车的内部，并突出了不同的基于对象的模块的可能输出。图3A示出了例如由示例性对象检测器产生的边界框。对象检测器分析当前图像以检测对象并对对象类型进行分类。在一些实施方式中，对象检测器输出检测的对象随时间的一个或多个跟踪边界框以及对象类型的分类的置信度值。图3A描绘了汽车中五个人周围的这种边界框。对象检测器可周期性地应用，并且可随时间记录(且例如，存储)对象的边界框或至少最近的几个边界框，使得还可检测对象的移动。此外，对象检测器将检测的对象分类的对象类型可以包括例如人、儿童座椅、儿童、对象和/或空座椅。另外的对象类型或类别可以涉及成人和儿童之间的区别或占用的儿童座椅和空的儿童座椅之间的区别。对象检测器还可以输出对象的所有可能类别的置信度值。

图3B示出了例如由示例性身体关键点模块产生的关键点的骨架模型。身体关键点模块确定身体关键点并将身体关键点合并到一个或多个骨架模型。可基于图像分析来确定身体关键点，并且身体关键点涉及肩膀、肘、手等。身体关键点模块基于身体关键点的相应置信度值输出一或多个骨架模型和骨架模型的置信度得分。身体关键点的置信度值涉及到，在多大程度上算法可确定相应身体关键点与分类的身体区域(例如，肩膀)相关。图3B描绘了汽车中的两个人的骨架模型看起来如何。根据骨架模型，可确定尺寸、年龄和/或就坐位置。

图3C示出了例如由示例性面部检测器产生的边界框。面部检测器类似于对象检测器。因此，可以应用YOLO模型，该YOLO模型被训练以检测面部。面部检测器分析当前图像以检测面部，并且在一些实施方式中，可以输出针对所检测的面部随时间的一个或多个跟踪边界框。整个过程类似于对象检测器的过程，但是具有一个单个类别，即类别“面部”。

图4是确定图像中的对象并将对象分配到至少一个座椅的实施方式的流程图(图1的框12)。在实施方式中，这通过应用如前所述的基于对象的模块，特别是对象检测器、身体关键点模块和面部检测器来实现。该过程包括将检测的对象的不同信息聚合到组合对象，如框41所示。组合对象包括例如从不同的基于对象的模块输出接收的检测的对象的信息。举例来说，组合对象可包括来自对象检测器的分类为“人”的边界框、来自面部检测器的面部边界框以及来自身体关键点模块的骨架模型。另一组合对象可以包括来自对象检测器的分类为“对象”或“儿童座椅”的边界框。

当已经组合了信息时，该方法还包括组合对象向车辆中的至少一个座椅的座椅分配概率，在本公开中也称为软座椅分配概率，其中座椅分配概率反映检测的对象位于座椅处的概率，其在框42中示出。这意味着，针对组合对象存储的信息(但不总是所有)可用于确定对象被分配到哪个座椅。在一些实施方式中，确定向每个组合对象的每个座椅的分配概率。

尽管图4中未示出，但是本领域技术人员将意识到，该过程也可以被不同地排序。例如，可以首先针对基于对象的模块的输出来确定软分配概率，然后可以将软座椅分配和相应的基于对象的模块的输出聚合到组合对象。此外，可以不应用向组合对象的聚合，而是可以在一个过程中融合所有基于对象的模块的输出，例如在融合模块中处理。

图5是融合不同输入(即，来自其它模块的输出)以产生座椅占用状态的实施方式的流程图。在该示例中，融合基于座椅的分类器的输出和至少一个基于对象的模块的输出以产生座椅的当前座椅占用状态(即，图1的框14)通常包括四个过程。这些过程是：产生先前为人或儿童座椅类型的座椅的当前座椅占用状态，如框51所示，产生先前为空座椅类型的座椅的当前座椅占用状态(第1次)，如框52所示，产生先前为对象类型的座椅的当前座椅占用状态，如框53所示，以及产生先前为空座椅类型的座椅的当前座椅占用状态(第2次)，如框54所示。

特别地，产生先前为人或儿童座椅类型的座椅的当前座椅占用状态(框51)还包括将座椅的先前座椅占用状态与人或儿童座椅对象类型的软座椅分配概率匹配。这在框51A中描述，并且意味着比较是否存在从先前占用状态到由基于对象的模块进行的分配的改变。如框51B所示，响应于确定座椅的匹配中的不确定性，将座椅的先前座椅占用状态与概率进行比较，例如，座椅的基于座椅的分类器的输出。可以执行图5的过程的融合模块可以针对相应的座椅计划或安排基于座椅的分类器以用于比较输出。最后，如框51C所示，基于匹配和/或比较来确定确认的座椅状态、向其它座椅移动的人和儿童座椅、以及移除的人和儿童座椅。这些状态和信息可以在一个或多个列表中被排序。列表应被广义地理解，使得确定零到多个确认的座椅状态、零到多个向其它座椅移动的人和儿童座椅、和/或零到多个移除的人和儿童座椅。列表的条目可以作为一个组合列表、作为单独列表、作为单个值等来存储和/或输出。

然后，通过增加新检测的人和/或儿童座椅来完成产生先前为空座椅类型的座椅的(一些)当前座椅占用状态(框52)。这意味着，对于先前被确定为空的并且现在为人和/或儿童座椅的座椅，例如通过基于对象的模块和/或基于座椅的分类器被检测，增加了新检测的人和/或儿童座椅。因此，在框51和52的处理之后，具有人/儿童座椅的所有座椅被分配座椅状态“人”或“儿童座椅”。

产生先前为类型对象(框53)的座椅的当前座椅占用状态对于安全装置具有较低优先级，因此在位置3被执行。它是框52的稍微简化的版本。如框53A所示的第一过程类似于框51A的过程，并且包括将座椅的先前座椅占用状态与对象类型对象的软座椅分配概率进行匹配。尽管未示出，但是在一些实施方式中，也可以执行类似于框51B的类似过程，即，响应于确定座椅的匹配中的不确定性，还可以将座椅的先前座椅占用状态与概率进行比较，例如，座椅的基于座椅的分类器的输出。最后，如框53B所示，基于匹配来确定确认的座椅状态、到其它座椅的移动对象以及移除的对象。

通过增加新检测的对象来产生先前为空座椅类型的座椅的(剩余)当前座椅占用状态(框54)。这意味着，对于先前被确定为空的并且现在由基于对象的模块和/或基于座椅的分类器检测到对象的座椅，增加了新检测的对象。因此，在该过程之后，仅空的座椅将保持在状态“空的”下。

尽管图5描述了具有子过程的四个基本过程51和53，但是如本领域技术人员将理解的，这些子过程也可以是不同的，只要它们实现期望的结果。此外，在一些情况下，可以不做出人是否被分配到座椅、对象是否真的是对象等的决定。因此，在这样的情况下，该方法还可以经由人机接口向用户提供请求来自用户的输入和/或向用户通知不确定性的提示。

图6A、图6B、图6C和图6D示出了可能的座椅占用状态。图6A描绘了在后中间座椅上的人。然后，座椅占用检测系统可以将座椅占用状态设定为“人”。然而，在一些检测情况下检测人时可能存在问题。例如，头部或上部身体的部分可以向前或向侧面斜靠到另一座椅。面部可能被书、前方的人、手等遮挡。在一些实施方式中，类别“人”还可以被区分为包括“成人”和“儿童”的子类。如果占用状态是“成人”，则需要启动气囊系统。座椅占用分类系统还检测人何时移向另一个座椅。

图6B示出了儿童座椅(没有儿童)。即使在错误方向上安装时(例如，在面向前的方向上安装的面向后的婴儿托架)，也可检测到所有种类的面向前的和面向后的儿童座椅。儿童座椅可以是空的或者容纳儿童或任何种类的对象。有或没有儿童的儿童座椅可能被前方的人或手、对象等遮挡。在任何情况下，气囊系统可以被停用。在一些实施方式中，应用具有减小的压力的气囊可以是用于具有儿童的面向前的儿童座椅的替代选择。

图6C示出了座椅上的对象。“对象”类别包括具有放置在座椅区域上某处的一个或多个对象的座椅。这不包括座椅前面的处于空中的对象，例如持移动电话的手。如果占用状态是“对象”，则气囊系统可以被停用。图6D进一步描绘了空座椅。不是所有的情况都是这样清楚的。例如，空座椅也可以被人(例如，在后座椅上的体积大的人)部分地使用、被倾斜的人遮挡等。“空座椅”类别包括可识别空就坐区域的所有情况。如果占用状态是“空座椅”，则气囊系统可以被停用。

图7呈现了示例性整个座椅占用分类系统的概述图。座椅占用分类系统包括一个或多个基于对象的模块。在图7的示例中，存在三个基于对象的模块，即，对象检测器71A、身体关键点模块71B和面部检测器71C。此外，座椅占用分类系统包括基于座椅的分类器72。基于对象的模块71A、71B和71C的输出以及基于座椅的分类器72被融合模块73融合，以便确定当前座椅占用状态74。

在将融合模块73应用于单个基于对象的模块71A、71B和71C的输出之前，可以通过对象匹配模块75将输出组合到组合对象，或者通常组合到超级对象。组合对象包括由单个基于对象的模块71A、71B和71C确定的信息。基于组合对象，软座椅分配模块76将检测到的组合对象分配到座椅。例如，每个组合对象可以被分配软分配概率，该软分配概率是该组合对象将被分配到汽车中的相应座椅的软分配概率。尽管未示出，但是对象匹配模块75也可以不存在，并且软座椅分配模块76被单独地应用于基于对象的模块71A、71B和71C的所有输出。

在融合模块73中融合软座椅分配模块76的输出，例如，与先前座椅占用状态进行比较，并基于来自基于座椅的分类器72的输入来判定当前座椅占用状态是否已经改变。基于座椅的分类器72也可由融合模块73触发或安排，如从融合模块73到基于座椅的分类器72的箭头所示，并且如以上实施方式中所述。

另外，融合模块73还可以考虑来自背景比较模块77、遮挡模块78和/或另外的车辆传感器79的信息。背景比较模块77例如用于如上所述的进一步的儿童检测任务。例如，如果检测到座椅占用状态从为“儿童座椅”的先前座椅占用状态改变为被确定为“人”的当前座椅占用状态74，则融合模块73将触发背景比较模块77以确定儿童座椅是否已经真正被移除或者人是否是儿童座椅中的儿童。

遮挡模块78可以用于确定座椅的遮挡值，其中，在产生座椅的当前座椅占用状态74时考虑该遮挡值。遮挡值可以有助于确定座椅的遮挡状态，并相应地调整分配或座椅占用状态的置信度值。

最后，另外的车辆传感器79可以包括开门传感器，如果先前分配到座椅的人丢失或在确定当前座椅占用状态74时突然出现，则可以考虑该开门传感器。例如，如果没有开门，则该人在汽车中。因此，座椅占用检测系统可以提示汽车的驾驶员输入相应的人坐在哪里。

车辆传感器79还可以或替代地包括座椅安全带传感器。如果座椅安全带传感器检测到座椅安全带被系紧，则当前座椅占用状态74更有可能被确定为“人”。车辆传感器79还可以包括速度检测模块，该速度检测模块可以类似于开门传感器来使用。例如，如果速度高于阈值，则人不可能已经离开或进入汽车。

融合模块73融合来自模块71A、71B、71C、72、77、78和/或79的不同输入以确定当前座椅占用状态74。根据实施方式如何确定座椅占用状态的具体流程图在图8、图9A和图9B中示出。

图8描绘了如何针对类型“人”的先前座椅占用状态确定座椅占用状态的流程图，即融合过程的明确示例。该过程在框81开始，通过模块中的至少一个，例如图7的基于对象的模块71A、71B和71C，确定是否仍能在座椅(人在之前被检测到在该座椅上)上检测到人。如果是(移至框82)，则确定是否存在提供了矛盾预测的一些模块，例如图7的基于对象的模块71A、71B和71C和/或基于座椅的分类器72。如果所有模块提供相同的评估，因此，不存在矛盾的预测，则过程进行到框83A并保持人。这意味着，先前座椅占用状态被确认。如果存在矛盾的预测(移至框84)，则可以向用户提供提示，即存在该座椅的当前座椅占用状态的不确定性。替代地，座椅占用分类系统也可以自己处理这种不确定性。

如果先前分配到该座椅的人再没有被任何模块检测到在该座椅上(从框81的否分支到框85)，则确定人(例如，基于生物测定面部识别来识别)或任何先前未检测到的人是否被检测到在另一座椅上。如果是，即，该人已经被确定在另一座椅上，则该方法在框86中确定是否存在来自其它模块的矛盾预测。如果所有模块提供相同的评估，因此不存在矛盾预测，则在框83B中，先前被分配到该座椅的人移动到新的座椅。这可以通过将该座椅的当前座椅占用状态设定为“空座椅”并将另一座椅的当前座椅占用状态设定为“人”来完成。如果存在矛盾预测，则如框84所示提示用户。替代地，座椅占用分类系统也可以自己处理这种不确定性。

如果先前分配到该座椅的人没有被检测到在任何其它座椅上(从框85的否分支到框87)，则例如基于从图7的遮挡模块78提供的遮挡值确定该人可能没有被遮挡，该过程在框88中检查该人是否可能已经离开汽车。这可以基于图7的另外的车辆传感器79，诸如速度传感器或开门传感器来确定。如果离开是不可能的或不太可能的，则人被保持在系统中，但是在框83C中移动到未知的座椅。然后，如图9A或图9B所示，可以进一步处理该座椅状态。否则，人很可能已经离开汽车，即，该过程移除人，如框83D中所示。

如果(未检测到的)人可能被遮挡，例如，因为一些座椅的遮挡值指示遮挡状态，这被示出为从框87的是分支到框89，则可等待另一时间帧，例如，时间t，并且再次检查模块的输出。这在框89中示出，作为框89的替代，可以针对该座椅和/或相邻座椅触发基于座椅的分类器。如果最终检测到人，则可以保持人(框83A)。否则，过程再次移动到框88并如上所述继续。

图8的确定过程的结果，即框83A、83B、83C和83D可以例如存储在改变的或确认的座椅状态的列表中。此外，可以向乘客显示移除的人的列表，例如，以被确认或用于信息。通常，座椅状态可以存储在列表状数据结构中以便处理。图8的过程对于具有先前座椅占用状态“儿童座椅”的座椅可以是类似的。

图9A和图9B示出了如何增加人(图9A)或儿童座椅(图9B)作为占用状态的流程图，即融合过程的示例。如果在先前空的座椅上检测到新的人(例如通过图8的过程)，则图9A的过程以框91A开始，并且检查进入车辆是否是可能的。如果是，则在框92中进行背景检查。如果先前的背景与现在检测到的背景相同(到框93的否分支)，则它取决于(哪个当前座椅占用状态将被分配的)先前的状态。如果先前座椅占用状态是“儿童座椅”，则在框94A中将当前座椅占用状态设定为“儿童座椅”。在一些实施方式中，当前座椅占用状态将进一步指示子类“具有儿童的空座椅”。如果先前座椅占用状态是“空座椅”，则在框94A中将当前座椅占用状态设定为“人”。如果先前的背景不同于现在检测到的背景(从框92的是分支到框96)，则如前所述提示用户输入。替代地，座椅占用分类系统也可以自己处理这种不确定性。

如果不可能进入汽车(从框91A的否分支到框97A)，则确定人是否移动到未知座椅，例如，如关于图8中的框83C所解释的。如果是，则过程移动到框92并如之前所解释的那样继续。如果否，则该方法在框98A中确定是否对该人的检测是基于高置信度进行的，即，检测到人的模块是否返回了用于该确定的高置信度值或座椅分配概率。如果置信度值高，例如高于阈值如80％、85％等，则该方法进行到框95，并且将该座椅的当前占用座椅状态设定为“人”。否则，忽略人的检测，如框99A所示。

图9B的过程类似于图9A的过程，如用类似附图标记所示。如果检测到先前空的座椅上的新儿童座椅(例如通过图8的过程)，则过程以框91B开始，并且检查是否可能进入车辆。如果是，则当前座椅占用状态被设定为“儿童座椅”，如框94B所示。

如果不可能进入汽车(从框91B到框97B的否分支)，则确定儿童座椅是否被移动到未知座椅，例如，类似于图8中的框83C。如果是，则过程移动到框94B并将当前座椅占用状态设定为“儿童座椅”。如果否，则该方法在框98B中确定儿童座椅的检测是否是基于高置信度进行的，即，检测儿童座椅的模块是否返回用于该确定的高置信度值或座椅分配概率。如果置信度值高，例如高于阈值如80％、85％等，则方法进行到框94B，并且将该座椅的当前占用座椅状态设定为“儿童座椅”。否则，忽略儿童座椅的检测，如框99B所示。

图10是实现如本文所述的功能的计算系统100的内部部件的图形表示。计算系统100可以位于车辆中，并且包括经由总线105彼此通信的至少一个处理器101、用户接口102、网络接口103和主存储器106。可选地，计算系统100还可以包括静态存储器107和盘驱动单元(未示出)，它们也经由总线105彼此通信。视频显示器、字母数字输入装置和光标控制装置可以被提供作为用户接口102的示例。

此外，计算系统100还可以包括指定相机接口104以与车辆的车载相机通信。替代地，计算系统100可以经由网络接口103与相机通信。该相机用于拍摄当前图像1。计算系统100还可以经由网络接口连接到数据库系统(未示出)，其中数据库系统存储提供本文描述的功能所需的图像的至少一部分。

可以对应于图3A至图3C中所示的存储器36的主存储器106可以是随机存取存储器(RAM)和/或任何其它易失性存储器。主存储器106可以存储用于座椅占用分类系统108和座椅状态确定系统109的程序代码。存储器106还可以存储提供本文描述的功能所需的附加程序数据。程序数据110的一部分、座椅状态确定系统109和/或座椅占用分类系统108也可以存储在单独的例如云存储器中并且至少部分远程地执行。在这种示例性实施方式中，存储器106可存储根据本文所述的方法的当前占用状态、边界区域、身体关键点等中的至少一者。当前占用状态、边界区域、身体关键点等还可存储在高速缓冲存储器111中，该高速缓冲存储器可再次位于本地或远程位置中。

根据一方面，提供了一种车辆。本文描述的座椅状态分配方法可以存储为程序代码109，并且可以至少部分地由车辆包括。座椅占用分类系统可以被存储为程序代码108，并且还可以至少部分地被车辆包括。程序代码108的部分还可以在云服务器上存储和执行以减少车辆的计算系统100上的计算工作。车辆还可以包括例如经由相机接口104连接的相机，用于捕获当前图像11。

根据一个方面，提供了一种包括指令的计算机程序。当程序由计算机执行时，这些指令使计算机执行本文所述的方法。在本文描述的任何系统中实现的程序代码能够作为程序产品以各种不同的形式单独地或共同地分发。特别地，程序代码可以使用其上具有计算机可读程序指令的计算机可读存储介质来分发，所述计算机可读程序指令用于使处理器执行本文描述的实施方式的各方面。

固有地非暂时性的计算机可读存储介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、以及可移除和不可移除的有形介质。计算机可读存储介质还可包括随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其它固态存储器技术、便携式光盘只读存储器(CD-ROM)、或其它光学存储装置、磁带盒、磁带、磁盘存储装置或其它磁性存储装置、或可用于存储所需信息且可以由计算机读取的任何其它介质。

计算机可读存储介质不应被解释为瞬时信号本身(例如，无线电波或其它传播的电磁波、通过诸如波导的传输介质传播的电磁波、或通过导线传输的电信号)。计算机可读程序指令可以从计算机可读存储介质下载到计算机、另一类型的可编程数据处理装置或另一设备，或者经由网络下载到外部计算机或外部存储装置。

在根据本公开的一些示例中，呈现了一种通过座椅占用分类系统确定车辆的座椅的座椅占用状态的计算机化方法。该方法包括：获得示出具有车辆座椅的内部的当前图像，对当前图像应用至少一个基于对象的模块以检测当前图像中的对象，对当前图像的至少一个裁剪应用基于座椅的分类器，其中当前图像的至少一个裁剪被分配到车辆的座椅，以及融合基于座椅的分类器的输出和至少一个基于对象的模块的输出以产生座椅的当前座椅占用状态。

在实施方式中，基于座椅的分类器获得座椅周围的边界框和关于座椅的先前背景的了解，以确定座椅占用状态的概率。在一些实施方式中，至少一个基于对象的模块包括对象检测器，其中对象检测器分析当前图像以检测对象并对对象类型进行分类。在另外的实施方式中，对象检测器输出检测的对象随时间的一个或多个跟踪边界框以及对象类型的分类的置信度值。

在又一些实施方式中，至少一个基于对象的模块还包括身体关键点模块，其中身体关键点模块确定身体关键点并将身体关键点合并到一个或多个骨架模型。在另外的实施方式中，身体关键点模块基于身体关键点的数量和相应的置信度值来输出一个或多个骨架模型和骨架模型的置信度得分。

在另外的实施方式中，至少一个基于对象的模块还包括面部检测器，其中面部检测器分析当前图像以检测面部。在另外的实施方式中，面部检测器输出检测的面部随时间的一个或多个跟踪边界框。

在一些另外的实施方式中，座椅占用状态包括的类型为人、儿童座椅、对象和空座椅。在另外的实施方式中，应用至少一个基于对象的模块包括将基于对象的模块的输出组合到组合对象，其中组合对象包括来自不同基于对象的模块输出的关于对象的信息，以及确定组合对象向车辆中的座椅的软座椅分配概率。

在一些实施方式中，融合基于座椅的分类器的输出和至少一个基于对象的模块的输出以产生座椅的当前座椅占用状态包括通过将座椅的先前座椅占用状态与人或儿童座椅对象类型的软座椅分配概率进行匹配来产生先前为人或儿童座椅类型的座椅的当前座椅占用状态，响应于确定座椅的匹配中的不确定性，将座椅的先前座椅占用状态与座椅的基于座椅的分类器的输出进行比较，以及基于匹配和/或比较来确定确认的座椅状态的列表、向其它座椅移动的人和儿童座椅的列表、以及移除的人和儿童座椅的列表。

在这些实施方式中，融合基于座椅的分类器的输出和至少一个基于对象的模块的输出以产生座椅的当前座椅占用状态还包括通过增加新检测到的人和/或儿童座椅来产生先前为空座椅类型的座椅的当前座椅占用状态。在这些实施方式中，融合基于座椅的分类器的输出和至少一个基于对象的模块的输出以产生座椅的当前座椅占用状态还包括通过将座椅的先前座椅占用状态与对象类型对象的软座椅分配概率进行匹配来产生先前为对象类型的座椅的当前座椅占用状态，并且基于该匹配来确定确认的座椅状态的列表、向其它座椅移动的对象的列表以及移除的对象的列表。在这些实施方式中，融合基于座椅的分类器的输出和至少一个基于对象的模块的输出以产生座椅的当前座椅占用状态还包括通过增加新检测的对象来产生先前为空座椅类型的座椅的当前座椅占用状态。

在另外的实施方式中，该方法还包括应用遮挡模块来确定座椅的遮挡值，其中当产生座椅的当前座椅占用状态时考虑遮挡值。在一些实施方式中，座椅占用状态包括用于儿童座椅类型的具有儿童和不具有儿童的子类，其中，方法还包括响应于由对象检测器针对具有儿童座椅类型的先前座椅占用状态的座椅提供的分类为儿童的边界框，指示用于座椅的座椅占用状态儿童座椅的具有儿童的子类，和/或响应于由身体关键点模块针对具有儿童座椅类型的先前座椅占用状态的座椅提供的儿童骨架模型，指示用于座椅的座椅占用状态儿童座椅的具有儿童的子类。

在一些实施方式中，方法还包括，响应于在产生座椅的当前座椅占用状态时先前座椅占用状态儿童座椅到座椅的当前座椅占用状态人的改变，基于对象检测器、身体关键点模块和面部检测器中的至少一者的输出来应用所检测的人的附加尺寸或年龄估计，以用于验证当前座椅占用状态。

在实施方式中，座椅占用状态包括用于儿童座椅类型的具有儿童和不具有儿童的子类，其中，方法还包括，响应于当产生座椅的当前座椅占用状态时先前座椅占用状态空座椅到当前座椅占用状态具有带儿童的子类的儿童座椅的改变，应用将当前背景座椅与座椅的先前背景进行比较的背景比较模型，以验证座椅占用状态。在一些实施方式中，产生座椅的当前座椅占用状态还考虑来自至少一个车辆传感器的信息。

应当理解，虽然本文描述了特定实施方式和变型，但是进一步的修改和替代对于相关领域的技术人员将是显而易见的。特别地，通过说明原理的方式提供了示例，并且提供用于实现这些原理的多个特定方法和布置。

在某些实施方式中，流程图、序列图和/或框图中指定的功能和/或动作可以被重新排序、并行处理和/或同时处理，而不脱离本公开的范围。此外，流程图、序列图和/或框图中的任一者可以包括比示出与本公开的实施方式一致的那些更多或更少的框。

本文所使用的术语仅用于描述特定实施方式的目的，且不希望限制本发明的实施方式。还将理解，术语“包括”和/或“包含”当在本说明书中使用时指定所陈述的特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元件、部件和/或其群组的存在或添加。此外，就在具体实施方式或权利要求中使用术语“包括”、“具有”、“带有”、“包含”、“含有”或其变型而言，这些术语旨在以类似于术语“包括”的方式为包含性的。

虽然各种实施方式的描述已经说明了方法和系统，并且虽然已经相当详细地描述了这些实施方式，但是申请人的意图不是将所附权利要求的范围约束或以任何方式限制到这样的细节。本领域技术人员将容易地想到附加的优点和修改。因此，在其更广泛的方面中描述的方法不限于特定细节、代表性设备和方法以及示出和描述的说明性示例。因此，所描述的实施方式应当被理解为是为了教导一般特征和原理的目的而通过示例的方式提供的，而不应当被理解为限制如所附权利要求中限定的范围。

Claims (15)

1.一种确定车辆的座椅占用的计算机化方法，所述方法包括：

-获得车辆车厢的示出所述车辆的至少一个座椅的图像；

-确定所述图像中的对象并将所述对象分配到所述至少一个座椅；

-确定所述至少一个座椅的座椅占用状态的概率；以及

-基于所分配的对象和所述概率确定所述至少一个座椅的所述座椅占用状态。

2.根据权利要求1所述的方法，其中，所述座椅占用状态包括的类型为人、儿童座椅、对象和空座椅。

3.根据权利要求1或2所述的方法，其中，确定所述座椅占用状态的概率包括：确定围绕所述座椅的边界框，并且在所述边界框内对所述座椅占用状态进行分类。

4.根据权利要求1至3中任一项所述的方法，其中，确定所述图像中的对象并将所述对象分配到所述至少一个座椅包括：分析所述图像以检测所述对象并对对象类型进行分类，并且输出所检测的对象随时间的边界框以及所述对象类型的分类的置信度值。

5.根据权利要求1至4中任一项所述的方法，其中，确定所述图像中的对象并将所述对象分配到所述至少一个座椅包括：确定身体关键点并将所述身体关键点合并到一个或多个骨架模型，并且基于所述身体关键点的数量和所述身体关键点的相应置信度值来输出所述骨架模型和所述骨架模型的置信度得分。

6.根据权利要求1至5中任一项所述的方法，其中，确定所述图像中的对象并将所述对象分配到所述至少一个座椅包括：分析所述图像以检测面部，并且输出所检测面部随时间的跟踪边界框。

7.根据权利要求1至6中任一项所述的方法，其中，确定所述图像中的对象并将所述对象分配到所述至少一个座椅包括：

-将所检测的对象的不同信息聚合到组合对象；以及

-确定所述组合对象向所述车辆中的所述至少一个座椅的座椅分配概率，其中，所述座椅分配概率反映所检测的对象位于所述座椅处的概率。

8.根据权利要求1至7中任一项所述的方法，其中，基于所分配的对象和所述概率来确定所述至少一个座椅的所述座椅占用状态包括：

-产生先前为人或儿童座椅类型的座椅的座椅占用状态；

-通过增加新检测的人和/或儿童座椅，产生先前为空座椅类型的座椅的座椅占用状态；

-产生先前为对象类型的座椅的座椅占用状态；以及

-通过增加新检测的对象，产生先前为空座椅类型的座椅的座椅占用状态。

9.根据权利要求8所述的方法，其中，产生先前为人或儿童座椅类型的座椅的座椅占用状态包括：

-将所述座椅的先前座椅占用状态与人或儿童座椅对象类型的座椅分配概率匹配；

-响应于确定所述座椅的匹配中的不确定性，将所述座椅的先前座椅占用状态与所述座椅的座椅占用状态的概率进行比较；以及

-基于所述匹配和/或比较确定确认的座椅状态、向其它座椅移动的人和儿童座椅、以及移除的人和儿童座椅。

10.根据权利要求8或9所述的方法，其中，产生先前为对象类型的座椅的座椅占用状态包括：

-将所述座椅的先前座椅占用状态与对象类型对象的座椅分配概率进行匹配；以及

-基于匹配来确定确认的座椅状态、向其它座椅移动的对象和移除的对象。

11.根据权利要求1至10中任一项所述的方法，所述方法还包括确定所述座椅的遮挡值，其中，当产生所述座椅的当前座椅占用状态时考虑所述遮挡值。

12.根据权利要求1至11中任一项所述的方法，其中，确定所述座椅的所述座椅占用状态还考虑来自至少一个车辆传感器的信息。

13.一种座椅占用分类系统，所述座椅占用分类系统适于执行根据前述权利要求中任一项所述的方法。

14.一种车辆，所述车辆包括：

-相机，所述相机用于拍摄所述车辆的内部的图像；以及

-根据权利要求13所述的座椅占用分类系统。

15.一种包括指令的计算机程序产品，所述指令当在计算机上被执行时使所述计算机执行根据权利要求1至12中任一项所述的方法。

Images