CN115690748B - 用于占据类预测的方法和用于遮挡值确定的方法 - Google Patents

Abstract

本公开提供用于占据类预测的方法和用于遮挡值确定的方法。一种用于预测占据类，优选地用于在载具中检测占据类的由计算机实现的方法，可以包括由计算机硬件组件执行的以下步骤：针对多个时间点，确定与区域有关的测量数据；针对所述多个时间点，基于所述测量数据确定遮挡值；基于目前时间点和先前时间点中的至少一者的遮挡值和/或基于用于占据类预测的多个模式中的针对先前时间点所选择的一个模式，选择所述用于占据类预测的多个模式中的针对目前时间点的一个模式；以及基于针对目前时间点所选择的模式，针对所述目前时间点，确定所述区域的多个预定占据类中的一个占据类。

Description

用于占据类预测的方法和用于遮挡值确定的方法

技术领域

本公开涉及用于预测占据类、优选地用于在载具中检测占据类的方法和系统，以及用于确定遮挡值的方法和系统。

背景技术

数字成像装置(例如数字式摄像头)用于机动车应用中以监视载具的内部。内部感测应用对于现代机动车工业是非常重要的，并且预期随着对驾驶员辅助系统和自驾驶机动车的日益关注而获得进一步的普及。例如，驾驶室摄像头能够代替传统的传感器(例如，用于安全带警报功能、气囊控制或方向盘脱手检测)，并且可以提供大范围的附加可能性。

然而，在正常驾驶场景期间可能经常发生的是，分区与摄像头之间的路径可能甚至在较长的时间段内被遮挡。这可能导致来自摄像头的不准确的观察结果，或者分区的观察可能根本不可能。

因此，希望该系统对较持久的遮挡作出反应并使座位占据分类较可靠。

因此，需要用于得到可靠和准确结果的预测占据类和确定遮挡值的方法和系统。

发明内容

本公开提供了由计算机实现的方法、计算机系统和非暂时性计算机可读介质。在说明书和附图中给出了实施方式。

在一个方面，本公开可以针对由计算机实现的用于预测占据类、优选地用于在载具中检测占据类的方法，其中该方法包括执行的以下步骤(换言之：由计算机硬件组件进行)：针对多个时间点，确定与区域有关的测量数据；针对所述多个时间点，基于所述测量数据确定遮挡值；基于目前时间点和先前时间点中的至少一者的遮挡值和/或基于用于占据类预测的多个模式中的针对先前时间点所选择的一个模式，选择所述用于占据类预测的多个模式中的针对目前时间点的一个模式；以及基于针对目前时间点所选择的模式，针对目前时间点，确定所述区域的多个预定占据类中的一个占据类。

换言之，基于区域的测量数据，可以确定该区域的遮挡值。基于目前时间点和先前时间点中的至少一者的遮挡值，可以选择多个模式中的针对目前时间点的一个模式。多个模式中的针对目前时间点的一个模式还可以基于多个模式中的针对先前时间点选择的一个模式来选择，或者基于遮挡值和多个模式中的针对先前时间点选择的一个模式的组合来选择。可以基于针对目前时间点选择的模式来确定区域的占据类预测。对于占据类预测，可以确定区域的多个预定占据类。

该区域可以是传感器周围的环境，传感器例如摄像头、雷达传感器或LIDAR传感器。该区域可以具有可变的尺寸和/或该区域可以包括载具、小机动车、卡车等的内部。该区域可以是特定区域(或扇区)，其可以包括感兴趣的特定分区，例如机动车的座位分区(像单个座位或座位长凳)。

遮挡值可以描述遮挡与如本文所述的区域的占据类确定的相关程度。遮挡可以是传感器的视线障碍，换言之，传感器会不能检测该区域是否被占据。不同种类的障碍物可能导致遮挡，例如乘客的身体部分，物体或传感器的干扰(如污染、摄像头镜头破裂、灰尘、烟或雾)。占据类可以是不同种类的占据情况的分类。占据状况可以是，例如，如果乘用车的座位或座位分区被占据，如果乘用车的座位或座位分区没有被占据。根据不同的实施方式，两个或更多个占据状况可以被组合为共同的类(例如，组合的类可以包括乘用车的座位或座位分区没有被占据的占据状况(换言之：空座位)和乘用车的座位或座位分区被物体占据的占据情况。

针对目前时间点选择的模式可以至少基于目前时间点和先前时间点中的至少一者的遮挡值，并且可以用于占据类预测，该模式可以定义指定遮挡的条件。所选择的模式还可以确定(或设定、或选择、或指示)用于确定占据类的动作。可以有多种模式，特别是如本文所描述的第一模式、第二模式、第三模式和/或第四模式(其也可称为最后模式)。

多个预定占据类可以描述不同的占据状态，例如本文描述的儿童座位、人、物体或空座位。多个占据类或占据状态中的一个可以指定该区域中可能存在什么类型的占据。

根据一个实施方式，所述多个模式包括第一模式，第二模式，第三模式和最后模式，其中，如果所述区域完全可见或轻微遮挡，则选择所述第一模式；如果所述区域中存在短时临界遮挡，则选择所述第二模式；如果所述区域中存在持续时间长的临界遮挡，则选择所述第三模式；并且如果在所述区域中存在持续时间更长的临界遮挡并且没有达到所述多个预定占据类中的一个占据类的稳定状态，则选择所述最后模式。

根据实施方式，在所述第一模式中，从针对目前时间点的占据类到所述多个预定占据类中的不同占据类的改变可以是基于时间融合占据类预测进行的。

如果该区域是完全可见的或仅被轻微遮挡，则第一模式可以是用于占据类预测的当前模式。如果在摄像头和该区域之间没有遮挡，则该区域可以是完全可见的，即摄像头能够在没有任何遮挡的情况下捕获整个区域。如果仅有小部分或小百分比的区域被遮挡，例如小于总面积的5％、10％或高达20％，则该区域可以是被轻微遮挡的。时间融合占据类预测可以是占据类与先前识别的占据类的组合。当前识别的占据类可以是在目前时间点确定或预测的，并且先前识别的占据类可以是在先前时间点确定或预测的。先前时间点可以紧接在目前时间点之前(换言之：在先前时间点和目前时间点之间没有其它时间点)，但不限于此。应当理解，可以使用离散的时间点序列，例如等距的时间点，例如每预定量秒的时间点，例如每秒、或每1/10秒(即100ms)等。目前识别的占据类和先前识别的占据类可以通过融合参数进行组合。融合参数可以确定目前识别的占据类和先前识别的占据类对时间融合占据类预测的影响。

根据实施方式，选择所述多个模式中的一个模式可以如下进行：如果针对目前时间点的遮挡值大于预定遮挡阈值，则从所述第一模式进入所述第二模式；或者如果针对目前时间点的遮挡值小于预定遮挡阈值，则从所述第二模式进入所述第一模式；或者如果在比预定阻挡时间阈值长的时间段选择了所述第二模式，则从所述第二模式进入所述第三模式；或者如果时间融合遮挡值小于预定遮挡阈值，则从所述第三模式进入所述第一模式；或者如果在预定遮挡时间阈值内没有达到多个占据类中的一个占据类的稳定状态、或者在预定遮挡时间阈值内没有占据类达到增加的确认阈值、或者在所述预定遮挡时间阈值内占据类可以不断变化，则从所述第三模式进入所述最后模式；或者如果达到所述多个占据类中的一个占据类的稳定状态或者用户可以确认目前识别的占据类的改变，则从所述最后模式进入所述第三模式；或者如果所述时间融合遮挡值低于所述预定遮挡阈值，则从所述最后模式进入所述第一模式。如果在预定长度的时间段(例如30秒到5分钟)内没有占据状态改变，则可以达到多个占据类中的一个占据类的稳定状态。该预定长度可以是遮挡时间阈值。

模式的选择可以是模式切换或模式改变，其中切换或改变可以依赖于遮挡值和/或时间参数。时间参数例如阻挡时间间隔或预定阻挡时间阈值，可以是指示当前模式在切换到另一模式之前有效多长时间的时间段。预定遮挡阈值可以确定可以描述区域的可见性的遮挡值，这对于在第一模式中预测占据类是必要的。可以统计地确定预定遮挡阈值，使得低于预定遮挡阈值的遮挡示例的性能不会显著差于本文所述方法的未遮挡情况。预定遮挡阈值可以被表示为数值，其中该数值可以描述该区域有多少可能是被遮挡的，并且该数值可以依赖于本文描述的方法在遮挡情况下以及在该区域中遮挡的位置上可以执行得有多好。遮挡值越大，该区域的可见度就越低。在第一模式中，占据类预测可以基于这里描述的时间融合占据类预测。

第二模式可以是这样模式，在该模式中，可按照可以不确定时间融合占据类预测并且可以不发生占据状态改变的方式处理短时临界遮挡情况。第二模式可以是仅对于短时段的当前模式，即阻挡时间间隔可以是短时段，例如几秒，直到可能发生模式改变或模式切换。第二模式的时段或阻挡时间间隔可以由预定阻挡时间阈值来确定，换言之，预定阻挡时间阈值可以定义占据类预测在第二模式中停留多长时间。

在跟随第二模式的第三模式中，如果阻挡时间间隔大于预定阻挡时间阈值，则预定占据类“物体”和预定占据类“空座位”可以组合为一个类。在第三模式中，占据类预测可以尝试达到多个占据类中的一个占据类的稳定占据状态，尽管较长持续的临界遮挡。稳定的占据状态可以是通过本文描述的方法可以清楚地确定占据类的状态。

如果本文描述的方法不能在预定遮挡时间阈值内确定预定占据类的稳定的占据状态，则最后的模式可以是当前模式。预定遮挡时间阈值可以是可配置的时间间隔或持续的时间段，以控制系统在遮挡的情况下可能需要多快地作出反应，例如30秒或长达5分钟。预定遮挡时间阈值可以依赖于不同的驾驶场景(例如速度或转向角，或者当前是否正在进行车道改变，或者载具是否正在自主驾驶)和/或依赖于遮挡之前的置信度值，例如高置信度值可以导致较大的预定遮挡时间阈值。而且，如果在预定遮挡时间阈值内没有占据类达到增加的确认阈值，则最后模式可以是当前模式。增加的确认阈值可以是多个占据类中的一个占据类的预定值，其指示相应占据类的可靠确定。在最后模式中，可以需要例如来自乘用车驾驶员的帮助。可以要求驾驶员去除遮挡，或者驾驶员需要验证占据状态改变。占据状态改变可以是为多个占据类中的一个占据类的当前占据类到多个占据类中的不同于该当前占据类的一个占据类的改变或切换。

根据实施方式，预定遮挡阈值可以依赖于针对目前时间点的占据类。

根据实施方式，所述方法还包括由所述计算机硬件组件执行的以下步骤：

确定所述载具的状况，其中，选择所述多个模式中的一个模式是基于所述载具的状况进行的。载具的状况可以描述驾驶场景，例如，载具正在驾驶，载具驾驶通过弯道或在高速公路上，载具在交通灯处停车，或者载具的状况可以描述有利的情形，例如，驾驶员不忙碌或专注于交通。

根据实施方式，可以基于测量数据和与相关分区有关的特性来确定遮挡值。可以基于来自摄像头系统的数据来确定测量数据。摄像头系统可以包括一个摄像头或多个摄像头。由摄像头系统记录的测量数据可用于检测RGB(红绿蓝)信息(例如识别物体、人、儿童座位、载具内部，特别是载具的座位分区)，或红外(IR)图像，其对变化的照明条件(例如在夜间)不太敏感，并且测量数据可以具有高分辨率。例如：1920×1080像素。摄像头系统可以安装在乘用车的内部并指向乘用车的后端。相关分区的特征可以描述分区的属性，该属性指定该分区中的遮挡对占据类预测的影响。此外，可以为分区的多个像素中的各个像素确定特征。相关分区可以是测量数据的区域的一部分或者可以是测量数据的区域。

根据实施方式，所述方法还包括由所述计算机硬件组件执行的以下步骤：从用于多个预定占据类的各个可能预定占据类的多个特征中，针对目前时间点的所述区域的占据类，确定与相关分区有关的特征；并且其中，基于所述测量数据和所确定的与所述相关分区有关的特性来确定所述遮挡值。

在另一个方面，本公开可以针对一种用于确定遮挡值的由计算机实现的方法，该方法包括由计算机硬件组件执行(换言之：由计算机硬件组件进行)的步骤：针对多个时间点，确定与区域有关的测量数据；从用于多个预定占据类的各个可能预定占据类的多个特征中，针对目前时间点的对所述区域的占据类，确定与相关分区有关的特征；以及基于针对目前时间点的测量数据和所确定的针对目前时间点与相关分区有关的的特征，确定针对目前时间点的遮挡值。对于多个预定占据级别中的各个可能预定占据级别，可以为各个预定占据级别预先确定多个特征。

根据实施方式，与相关分区有关的特征可以依赖于针对目前时间点的目前识别的占据类。与相关分区有关的特征可以包括加权掩模，加权掩模可以包括多个掩模像素，各个掩模像素可以对应于测量数据的测量像素。加权掩模并且相应地多个掩模像素中的各个掩模像素可以确定多个测量像素中的各个测量像素对占据类预测的影响。各个掩模像素可以由经归一化的标量值表示，例如在0和1之间。该标量值越大，掩模像素对占据类预测的影响越大，反之亦然。

根据实施方式，可以基于测量数据、像素分割或物体分类来确定遮挡预测。遮挡预测可以确定测量数据的遮挡分区。换言之，遮挡预测可以估计测量数据的分区或多个分区，其中测量数据的区域被遮挡，因为测量数据的区域可能是不可见的。可以存在不同的方法来确定遮挡预测。这些方法可以分为直接方法和间接方法。直接方法可以通过遮挡分区的逐像素分割来确定遮挡预测。换言之，被遮挡分区的各个像素可以被表征为被遮挡。所有遮挡像素的总和可以定义该分区的遮挡预测。间接方法可以基于其它计算模块，例如物体检测算法或身体部分跟踪方法。基于间接方法的遮挡预测可以包括身体部分跟踪方法的结果或物体检测算法的结果的所有部分。

根据实施方式，预定的占据类可以包括以下中的至少两项：空座位、物体、儿童座位和人。预定占据类的中的两项的组合是可能的，例如，占据类空座位E和占据类物体O可以被组合为一个类。

根据实施方式，该区域可以包括座位分区。座位分区可以是乘用车的单个座位，例如，机动车的后排中间座位、驾驶员座位、机动车的副驾驶座位、或机动车的后部座位长凳。

在另一个方面，本公开可以针对一种计算机系统，所述计算机系统包括被配置成执行本文所述的由计算机实现的方法的多个或所有步骤的多个计算机硬件组件。

计算机系统可以包括多个计算机硬件组件(例如处理器，例如处理单元或处理网络，至少一个存储器，例如存储器单元或存储器网络，以及至少一个非暂时性数据存储装置)。应当理解，可以提供其它计算机硬件组件，并用于在计算机系统中执行计算机实现的方法的步骤。非暂时性数据存储器和/或存储器单元可以包括计算机程序，用于指示计算机例如使用处理单元和至少一个存储器单元来执行在此描述的由计算机实现的方法的多个或所有步骤或方面。

在另一方面，本公开可以涉及一种载具，其包括传感器和本文所述的计算机系统，其中可以基于传感器的输出来确定测量数据。传感器可以是摄像头。

在另一方面，本公开针对一种非暂时性计算机可读介质，其包括用于执行本文所述的由计算机实现的方法的多个或所有步骤或方面的指令。所述计算机可读媒介可以被配置为：光学介质，例如光盘(CD)或数字多功能盘(DVD)；磁介质，例如硬盘驱动器(HDD)；固态驱动器(SSD)；只读存储器(ROM)，例如闪存；等等。此外，计算机可读介质可以被配置为可经由诸如因特网连接的数据连接来访问的数据存储。计算机可读介质例如可以是在线数据储存库或云存储。

本公开还针对一种用于指示计算机执行本文所述的由计算机实现的方法的多个或所有步骤或方面的计算机程序。

附图说明

本文结合以下示意性示出的附图描述了本公开的示例性实施方式和功能：

图1：与预定占据类的相关分区有关的特征：儿童座位、空座位、物体和人；

图2：相关分区和与该相关分区有关的对应特征；

图3：用于预定占据类的加权掩模：儿童座位、空座位、物体和人；

图4：给定座位上的摄像头视野的遮挡示例；

图5：针对示例遮挡预测和不同预定占据类的遮挡值：儿童座位、空座位、物体和人；

图6：例示了用于基于遮挡值进行占据类预测的模式之间的关系的流程图。

图7：例示了根据各个实施方式的用于预测占据类的方法的流程图；

图8：例示了根据各种实施方式的用于确定遮挡值的方法的流程图；以及

图9：具有多个计算机硬件组件的计算机系统，所述多个计算机硬件组件被配置成执行根据各种实施方式的用于预测占据类和用于确定遮挡值的由计算机实现的方法的步骤。

具体实施方式

本公开可以涉及用于处理被遮挡的座位分区以用于预测占据类，优选地用于在载具中检测占据类的处理链。本发明及其操作在下文中针对乘用车的后排中间座位进行具体描述，所述后排中间座位可能主要受遮挡的影响，但也可应用于其它座位或座位分区和/或其它载具，如卡车。

例如，驾驶室摄像头能够代替传统的传感器，并且可以提供多种附加的可能性，例如通过检测儿童座位来改进气囊控制、可靠地将人与重物体区分开、驾驶员注意力分散检测、驾驶员困倦检测，检测机动车中遗忘的物体或手势控制应用。

大多数应用的基本基础可以是可靠的座位占据分类器，其可以为各个座位分配座位占据状态。座位占据分类系统可以使用用于物体检测或人检测的常用方法：图像分类、物体检测方法、身体关键点检测、语义分割或多种方法的组合来组合这些优点。由于座位占据状态可以用于安全关键应用，所以分类误差的容差应该接近于零。

如果摄像头被放置在前面(朝向后)，尤其是后座可能经常被来自前座或邻近后座的人或物体遮挡。其他摄像头位置也可能以类似的方式出现遮挡问题。遮挡可能降低系统性能，例如或者因为实际座位占据类的可见性可能降低，或者因为遮挡的物体可能与另一(例如错误)座位占据类混淆。错误分类的风险可能依赖于遮挡的程度以及实际的座位占据类是否仍然可识别。一种可能的解决方案可以是将遮挡的帧视为被阻挡的，例如，如果在运行系统中检测到遮挡，则可以忽略各个帧，并且不可以更新座位占据状态。即使这可能防止与遮挡相关的分类器错误，但是其可能导致系统被阻挡非常长的时间并且错过显著的状态改变。

为了利用部分遮挡的区域同时最小化遮挡相关分类错误的风险，可以提供具有例如四种不同模式的级联结构。第一模式(其可被命名为规则模式602)可仅处理完全可见且轻微遮挡的区域。可以在第二模式(其可以被命名为短期遮挡模式604)中处理短期临界遮挡情形。在第三模式(其可以被命名为长期遮挡模式606)中，系统可以尝试达到多个占据类中的一个的稳定状态，而不管较持久的临界遮挡。最后的模式(其可以被命名为人机接口HMI遮挡模式)可以包括这样的模块，该模块可以在系统在较持久的遮挡情形期间不能达到稳定状态的情况下寻求乘客的帮助。模式之间的改变可以依赖于区域被遮挡的程度，遮挡可能存在多长时间以及所预测的占据类的可靠性。

处理遮挡的必要条件可以是知道从座位的不同部分对占据类确定的影响。为此，可以生成加权掩模作为用于多个预定占据类的训练过程的一部分，其中加权掩模可以包括多个掩模像素，并且各个掩模像素可以对应于测量数据的测量像素。可以基于占据类预测的相关性对各个掩模像素进行加权。掩模像素可以定义与测量数据的相关分区有关的特征。可以为多个预定占据类中的各可能的预定占据类单独地创建加权掩模，这可以允许占据类相关的差异。例如，如果中间座位的下部或乘用车的另一座位分区被遮挡，则人或儿童座位可以被可靠地分类，而为了检测乘用车的空座位，具有乘用车的可见座位分区可能是必要的。为了创建加权掩模的像素权重，可以使用在无遮挡的清洁数据上进行了训练的分类器。

图1示出了与分别用于预定占据类的相关分区102、104、106、108相关的特征，其在空座位的顶部可视化。预定的占据类可以是例如儿童座位C、空座位E、物体O和人P。摄像头可以设置在乘用车的前部(朝向后)，以特别地监视可能经常被来自前座或相邻后座的人P或物体O遮挡的后座(如图4所示)。相关分区102、104、106、108可依赖于预定乘员类。在图1中，分别由虚线表示了对于儿童座位C的相关分区102、对于空座位E的相关分区104、对于物体O的相关分区106和对于人P的相关分区108。图1示出了加权掩模可以看起来如何的示例。在该示例中，使用了Grad-CAM(梯度加权类激活映射)方法来突出显示分类器为了决定预定占据类正在查看的图像部分。可以通过计算用于各个预定占据类的所有训练示例的平均值来创建组合权重图。

图2在图2的左侧示出了相关分区以及在图2的右侧示出与相关分区有关的相应特征204。相关分区由框202来标识。与右侧相关分区有关的相应特征204可以被缩放以用于可视化。可以仅对相关分区估计或计算特征204或权重。除了相关分区之外，区域206的其它部分可以不由特征204或权重标记，并且在图2中以黑色表示。

另选地，可以通过在干净数据上训练分类器并在遮挡的示例上评估分类器性能来创建加权掩模以及由此创建多个预定占据类中的一个占据类的特征204。在这种情况下，较高的权重表示在统计上遮挡可能导致分类器性能降低的区域。加权掩模可以被归一化，使得在加权掩模中所有像素之和等于1。

在运行分类器之前，可以通过使图像的随机部分变黑来仿真遮挡。相比于未遮挡(换言之：没有遮挡)的情况的占据分类结果的减少可用作对遮挡影响的测量。该图像的所有被遮挡像素可以用上述过程的计算值加权。在对各个示例进行了该处理之后，可以通过计算所有示例上的均值然后对相关分区进行归一化来创建加权掩模。图3再次示出了预定占据类儿童座位C、空座位E、物体O和人P的加权掩模。加权掩模的强度确定遮挡对于占据类预测的影响。强度越高(即，权重越高)，如果在具有高强度加权掩模的分区中确定遮挡，则分类器性能越低。图3中示出了针对儿童座位C、空座位E、物体O和人P的预定占据类中的各占据类的强度分区302、304、306、308。物体O的强度分区306可以表示例如与儿童座位C的强度分区302相比或与人P的强度分区308相比较小的分区，因为小物体O可能比儿童座位C或人P难以识别。与儿童座位C的强度分区302、物体O的强度分区306或人P的强度分区308相比，空座位E的强度分区304可以是最小的分区，因为必须确保该座位实际上不被非常小的部件如移动电话等占据。

可以有多种方式来使给定座位上的摄像头视野被遮挡。图4示出了给定座位上的摄像头视野的遮挡示例。例如，中间座位可以基于驾驶员402的头部而被遮挡，或者可以基于驾驶员404的手臂或驾驶员的其他身体部分(图4中未示出)而被遮挡。而且，可能发生基于副驾驶406的手臂和/或副驾驶的其它身体部分(图4中未示出)的遮挡。此外，基于物体408(例如移动电话等)的遮挡或者基于物体408的遮挡和基于乘客(例如驾驶员、副驾驶或后座上的乘客)的身体部分的遮挡可能在确定占据类时导致干扰。此外，基于诸如后座乘客的手臂的身体部分的遮挡410或基于后座乘客的身体部分的遮挡或基于摄像头的视线中的物体412的遮挡会影响占据类预测。

可以有多种方法来检测和预测遮挡。可以提供估计遮挡的直接方法以及基于其它计算模块的间接方法，例如物体检测或身体部分跟踪。用于遮挡预测的直接方法和间接方法的组合也是可能的。

遮挡座位分区的按像素分割可以是估计遮挡的直接方法的示例。分割模块可用于提供指定遮挡区域的逐像素遮挡掩模。分割模块可以包含分割网络，该分割网络可以在一组带注释的遮挡图像上进行训练。

如果与另一座位相关联的视线中的明确分类的障碍物(例如物体O或人P)可以部分地覆盖所观察的座位分区，则座位的部分可被标记为遮挡。例如，如果来自另一座位的身体关键点覆盖所观察的座位分区，则可以基于骨骼模型和针对各个身体部分的预期纵横比来确定遮挡分区。图像中与身体关键点/关节或骨骼模型的连接线相邻的分区可以被掩蔽为被遮挡。掩蔽的影响区域可以通过参数来控制，例如，可以使用较细或较粗的线来连接身体关节。该掩蔽还可以被加权，例如离骨架越远支撑逐渐消失。另一示例可以是，如果来自另一座位的边界框覆盖所观察的座位分区，则边界框内的所有像素可以被标记为遮挡的。此外，可以使用物体分割掩模来检测和预测遮挡。来自其它座位的物体分割掩模内的像素可被标记为被遮挡。

在执行遮挡预测502(如图5所示)之后，可以基于测量数据确定遮挡值OCC。遮挡值OCC可以是标量值，并且可以估计遮挡对占据类预测的影响。遮挡值OCC可以通过以下算式计算：

其中，i和j可以表示由传感器捕获的具有尺寸i×j的测量数据(例如图像)的像素坐标。项occlusion_map(i,j)可以被称为遮挡预测502，并且heatmap(i,j)可以描述相关分区的特征。因此，可以通过遮挡预测502(换言之：遮挡图)与针对多个占据类的特征(换言之：热图)的掩模像素的逐像素相乘以及归一化到针对多个占据类的特征的掩模像素，来确定针对多个占据类中的一个占据类的遮挡值OCC。遮挡值OCC可以与座位分区的遮挡量成比例，其中座位区域上的各个像素可以基于与相关分区有关的预定义特征来加权，以考虑到对于分类而言非常重要的图像分区的遮挡可以比对占据类预测几乎没有影响的分区关键。与相关分区有关的特征可以从先前的座位占据类获得。

图5示出了用于遮挡预测502(例如驾驶员的手臂)和不同的预定占据类(儿童座位C、空座位E、物体O和人P)的遮挡值确定的示例。针对预定占据类空座位E的遮挡值OCC可以基于这里的算式EQ1来估计，即遮挡预测502与关于空座位E的特征506的逐像素相乘，并且归一化到关于空座位E的特征506。针对预定占据类物体O的遮挡值OCC可以基于这里的算式EQ1来估计，即遮挡预测502与关于物体O的特征508的逐像素相乘，并且归一化到关于物体O的特征508。针对预定占据类儿童座位C的遮挡值OCC可以基于这里的算式EQ1来估计，即遮挡预测502与关于儿童座位C的特征504的逐像素相乘，并且归一化到关于儿童座位C的特征504。预定占据类人P的遮挡值OCC可以基于这里的算式EQ1来估计，即遮挡预测502与关于人P的特征510的逐像素相乘，并且归一化到关于人P的特征510。由于遮挡预测502与涉及空座位E的特征506的大面积交叠，所以对于该示例，针对预定类空座位E的遮挡值OCC确定得到为0.82的遮挡值OCC。另一方面，对于预定类人P，由于遮挡预测502与涉及人P的特征510的小面积交叠，因此对于该示例，遮挡值确定得到为0.38的相对低的遮挡值OCC。

所确定的遮挡值OCC然后可以用于确定依赖于类的预定遮挡阈值TC，其可以统计地指示显著增加的分类错误风险。考虑预定占据类可以允许依赖于占据类的行为，例如，人P或儿童座位C可能经常仍然是可见的并且可以被正确地分类而不管高遮挡值OCC，而空座位E或具有遮挡的物体O可能容易被错误分类，即使只有一小部分区域可能被遮挡。

基于遮挡值OCC，可以确定用于占据类预测的模式。可以有多种不同的模式，如规则模式602、短期遮挡模式604、长期遮挡模式606和/或HMI遮挡模式608。换言之，可以存在状态机，其可以包括四个状态，其中各个状态可以表示操作模式。状态之间的转换可以依赖于遮挡值OCC和/或时间参数和/或(在608的情况下)所预测的占据类结果的可靠性。图6示出了例示用于基于遮挡值OCC来预测占据类的模式之间的关系的流程图。

规则模式602可以是用于测量数据的完全可见和轻微遮挡的帧的默认模式。在该模式中，可以基于时间融合座位占据类预测来进行例如四个占据类空座位E、物体O、儿童座位C和人P间的状态改变。

另一模式可以是短期遮挡模式604。在可见性值特别是遮挡值OCC超过临界预定遮挡阈值TC时，系统从规则模式602切换到短期遮挡模式604。如果遮挡值OCC下降到预定遮挡阈值TC以下，则系统切换回规则模式602。在短期遮挡模式604中，可以完全忽略测量数据的帧，并且在时间融合中根本不考虑处理结果。在短期遮挡模式604中，座位占据类的状态改变是不可能的。短期遮挡模式604可以仅在已经选择短期遮挡模式604的预定时间段内有效。该预定时间段也可以被称为阻挡时间间隔TB，并且可以仅仅是短时间间隔，例如几秒。阻挡时间间隔TB可以基于给定应用而被参数化和调整，以反映状态更新的可接受延迟。如果超过阻挡时间间隔TB，则系统切换到长期遮挡模式606。

在长期遮挡模式606中，可以在融合步骤中再次使用处理结果来更新输出，即随时间的占据状态预测。然而，与规则模式602相比，该方案可以改变。例如，可以通过提高针对时间融合占据类预测的相应阈值来增加对状态改变的要求。预测占据类为正确的概率可能大大超过基于遮挡的分类错误的概率。此外，在长期遮挡模式606中，可以将类空座位E和类物体O组合成一个类，以确保针对较为重要的类人P和儿童座位C的分类器性能。为了切换回规则模式602，可以计算时间融合遮挡值TOCC。这可能主要对于防止在具有高可见度的测量数据的单帧之后在规则模式602中的即时座位占据类改变是重要的。在另一实施方式中，滞后可以应用于时间融合遮挡值TOCC。如果没有达到清楚输出，即达到不稳定的占据类，则系统可以切换到HMI遮挡模式608。不稳定的占据类可以被定义为多个占据类是同等可能的，和/或在长期遮挡模式606中没有占据类达到增加的确认阈值，或者输出结果即占据类预测可以在可配置的时间间隔内在测量数据的连续帧内不断变化。

如果系统不能在较长的时间段(例如30秒到5分钟)内达到稳定的占据类预测，则可以处理HMI遮挡模式608。如果状态改变已经由驾驶员经由人机接口确认或者达到了多个占据类中的一个占据类的稳定状态，则HMI遮挡模式608可以被终止，并且系统可以切换回长期遮挡模式606。如果在预定长度(例如由遮挡时间阈值所指示的)(例如30秒到5分钟的时间段)内没有占据状态改变，则可以达到多个占据类中的一个占据类的稳定状态。在HMI遮挡模式608中，人机接口可与驾驶员通信以消除遮挡源或给出关于当前占据状态(例如当前座位占据状态)的反馈。该接口旨在提供以下功能：通过附加模块进一步指定遮挡类型(例如哪些部分被遮挡，遮挡来自的方向，来自物体还是身体部分)，并且可以使用结果来请求驾驶员去除遮挡源；可以要求驾驶员在占据类改变之前验证新的占据类(换言之：占据状态改变)。该系统能够提供各种信号，这些信号可以用于操纵与驾驶员的对话，并且可以使得对话能够例如与智能助手结合来进行交互，这些信号包括可能阻挡视野的信息(身体部分、物体、靠近摄像头的东西、或照明)，预期占据类可能是什么的信息(由于遮挡而不能被确认)。

对话元素的示例可以是：

“欢迎上车。我难以看到每个人是否安全地坐在后座中。请您通过以下方式协助我：

o将<胳膊>，<肩膀>，<上身>向侧面移动；

o确认在后排中间座位上存在<儿童座位C>，<人P>，<物体O>；

o解除阻挡我的视野。”

然后，用户可以通过语音命令、身体运动或手势来确认该请求。

模式改变或模式切换可以依赖于载具状况。例如，模式改变或模式切换可以仅在载具不动(例如：在交通灯或停车标志处)的情况下、在载具正在行驶的情况下、或者在载具的驾驶员不会因模式改变或模式切换而分心(例如：在自主或半自主驾驶模式期间)的情况下才发生。

特别地，在切换到HMI遮挡模式608之前，可以确保可以安全地应用接口而不会分散驾驶员的注意力。这例如可以是机动车不动时的情况。根据机动车的自动化程度，其还可以应用于驾驶员不需要同时采取其它动作的情况。

为了增加座位占据类预测的稳定性，基于帧的结果可以随时间稳定，例如通过时间滤波：

class_pred_fused＝a*class_pred+(1-a)*class_pred_fused算式EQ2

其中EQ2可以是指数融合的算式，“a”可以是常数融合参数。

在融合步骤中，可以在随时间融合座位占据类预测的同时使用遮挡值OCC，以减少测量数据的被遮挡帧的影响。具有较大遮挡值OCC的测量数据帧可以对融合结果的影响较小：

class_pred_fused＝b*class_pred+(1-b)*class_pred_fused算式EQ3

其中，b＝a*(1-occlusion_value)可以是融合参数。通过融合参数的这种选择，因此对于较大的遮挡值，根据当前帧的类预测可以对融合的类预测具有较小的影响。

占据类预测的一个问题可以是对于被遮挡示例在物体O和空座位E之间的决定。即使在正常情况下，在小物体O和空座位E之间的决定也可能是困难的情况，并且对于被遮挡示例可能变得特别困难。小物体O，如钥匙或移动电话，可能比人P或儿童座位C容易被遮挡。类似地，甚至空座位E上的小的遮挡部分也可能容易被误认为是物体O。因此，在长期遮挡模式606中，可以省略物体O和空座位E之间的决定，以确保在其他占据类人P和儿童座位C上的所需性能，该性能可以被认为是更重要的。

对于测量数据的被遮挡帧，针对物体O和空座位E的融合占据类预测仍然可以分开计算。然而，在用于控制系统状态的状态机中，两个占据类物体O和空座位E可以被认为是一个类，分类结果为两个占据类预测之和。在状态切换到该类的情况下，系统输出即占据类预测可以指示两个占据类(物体O或空座位E)都是有可能的。如果先前的占据类是物体O或空座位E，则在对应的占据类预测可能高于其它占据类预测中的各占据类预测的情况下可以保持该占据类。

HMI遮挡模式608可以提供接口以在系统可能不能提供对座位占据类的可靠预测的情况下从驾驶员获得帮助。以下模块可以一个接一个地应用。

首先，可以向驾驶员给出如何去除遮挡源的建议。该模块的目标可以是由驾驶员基于系统指示去除遮挡。驾驶员应接收关于需要去除何种遮挡的具体信息。模块可能需要进一步的步骤来指定遮挡种类。可以提供以下功能，但是可以用不同的方案来代替。

如果通过身体关键点或针对其他座位的物体检测输出间接地检测到遮挡，则可以使用关于遮挡种类的可用信息。

可以在多个适度或强烈遮挡的示例上训练附加分类器。附加分类器的输出可以指定遮挡来自其它座位中的哪一个和/或遮挡是否来自身体部分或物体。附加分类器的输出应包括置信度值以避免给出不正确的指示。

遮挡掩码可用于进一步指定遮挡区域和/或检查遮挡区域是否可限于座位的特定部分，例如座位区域或靠背。

在向驾驶员建议如何去除遮挡源之后，可以请求来自驾驶员的关于状态改变的确认。在执行状态改变之前，可以要求驾驶员验证新的状态，即新的占据类。由驾驶员确认的类的融合占据类预测可能需要增加附加的置信度值以使将来状态改变的结果稳定。

以下示例可以示出在性能降低的风险较低的情况下如何将对占据类预测具有减小的影响的遮挡数据添加到座位占据分类器的训练集中。与完全可见的示例相比，具有较大遮挡值OCC的示例可以对训练具有较低的影响，因此，对于较大的遮挡值OCC而言，座位占据分类器(在训练期间)的容错性可能较高。可以基于人工标记的遮挡掩模和用于地面实况座位占据类的与相关分区有关的特征(换言之：重要性热图)来针对训练集中的各个示例计算遮挡值OCC。

通过在训练期间考虑遮挡值OCC，预期对占据类预测具有较低影响的测量数据被可以在训练中已经被认为较不重要。

在分类器训练期间，可以在损失函数中使用遮挡值OCC，以减小来自遮挡示例的座位占据类预测对训练损失的影响。作为示例，可以定义用于遮挡和座位占据分类任务的以下组合损失函数：

分类损失：crossentropy(pred_class)；

遮挡损失：crossentropy(pred_occlusion)；

总损失：遮挡损失+(1-occlusion_value)*分类损失。

在卷积神经网络(CNN)训练期间，物体O和空座位E之间的决定可以如下处理：在地面实况遮挡大于针对规则模式602的允许阈值的情况下，在计算分类损失时空座位E和物体O可以被视为相同的类。可以将针对两个类的值相加以获得合并的地面实况和预测值。

图7示出了例示根据各种实施方式的用于预测占据类的方法的流程图700。在702，可以确定与区域有关的测量数据。在704，可以基于与该区域有关的测量数据确定遮挡值。在706，可以基于遮挡值OCC和/或基于多个模式中的针对先前时间点的一个模式，针对目前时间点，选择用于占据类预测的多个模式。在708处，可以基于针对目前时间点所选择的模式，针对目前时间点，确定该区域的多个预定占据类中的一个占据类。

根据实施方式，多个模式包括第一模式(例如602)、第二模式(例如604)、第三模式(例如606)和最后模式(例如608)，其中如果该区域完全可见或轻微遮挡，则选择第一模式；如果该区域中存在短时临界遮挡，则选择第二模式；如果该区域中存在较持久的临界遮挡，则选择第三模式。并且如果在该区域中存在较持久的临界遮挡并且没有达到多个预定占据类中的一个占据类的稳定状态，则选择最后模式。

根据实施方式，在第一模式602中，从针对目前时间点的占据类到多个预定占据类中的不同占据类的改变可以基于时间融合占据类预测。

根据一个实施方式，如果针对目前时间点的遮挡值OCC大于预定遮挡阈值TC，则可以从第一模式602到第二模式604提供对多个模式中的一个模式的选择，或者如果针对目前时间点的遮挡值OCC低于预定遮挡阈值TC，则从第二模式604到第一模式602；或者如果第二模式604已经被选择了长于预定阻挡时间阈值TBT的时间段，则从第二模式604到第三模式606；或者如果时间融合遮挡值TOCC低于预定遮挡阈值TC，则从第三模式606到第一模式602；或者如果在预定遮挡时间阈值TOT内未达到多个占据类中的一个占据类的稳定状态，或者如果在预定遮挡时间阈值TOT内没有占据类达到增加的确认阈值，或者如果在预定遮挡时间阈值TOT内占据类不断变化，则从第三模式606进入最后模式608；或者如果达到多个占据类中的一个占据类的稳定状态或者用户确认当前识别的占据类的改变，则从最后模式608到第三模式606；或者如果时间融合遮挡值TOCC低于预定遮挡阈值TC，则从最后模式608进入第一模式602。

根据实施方式，预定遮挡阈值TC可以依赖于针对目前时间点的占据类。

根据实施方式，所述方法进一步包括由所述计算机硬件组件执行的下列步骤：确定载具的状况，其中，选择所述多个模式中的一个模式是基于所述载具的状况进行的。

根据实施方式，可以基于与相关分区有关的测量数据和特征204来确定遮挡值OCC。

根据实施方式，所述方法进一步包括由所述计算机硬件组件执行的下列步骤：从针对多个预定占据类中的各个可能预定占据类的多个特征204中确定与该区域的针对目前时间点的占据类的相关分区有关的特征204；并且其中，基于测量数据和所确定的与相关分区有关的特征204来确定遮挡值OCC。

根据实施方式，与相关分区有关的特征204可以依赖于针对目前时间点的当前识别的占据类，和/或与相关分区有关的特征204可以包括加权掩模300，该加权掩模300可以包括多个掩模像素，各个掩模像素可以对应于测量数据的测量像素。

根据实施方式，可以基于测量数据、像素分割和/或物体分类来确定遮挡预测502。

根据实施方式，所述预定的占据类可以包括以下中的至少两项：空座位E、物体O、儿童座位C和人P。

图8示出了例示根据各种实施方式的用于确定遮挡值的方法的流程图800。在802，可以确定与区域有关的测量数据。在804，可以针对目前时间点的占据类，确定与相关分区有关的特征204。在806，可以基于测量数据和所确定的与相关分区有关的特征204确定遮挡值OCC。

步骤702、704、706、708、802、804、806中的各个步骤以及上述进一步的步骤可以由计算机硬件组件来执行，计算机硬件组件例如参照图9所描述。

图9示出了根据各种实施方式的具有多个计算机硬件组件的计算机系统900，所述多个计算机硬件组件被配置为执行用于预测占据类的由计算机实现的方法和/或用于确定遮挡值的由计算机实现的方法的步骤。计算机系统900可以包括处理器902、存储器904和非暂时性数据存储部906。摄像头908和/或距离传感器910(例如雷达传感器或LIDAR传感器)可以被提供为计算机系统900的一部分(如图9所例示)，或者可以被提供到计算机系统900的外部。

处理器902可以执行存储器904中提供的指令。非暂时性数据存储部906可存储计算机程序，包括可传送到存储器904且接着由处理器902执行的指令。摄像头908和/或距离传感器910可用于确定测量数据，例如提供给本文所述方法的测量数据。

处理器902、存储器904和非暂时性数据存储部906可以例如经由电连接912(例如电缆或计算机总线)或经由任何其它合适的电连接彼此联接以交换电信号。摄像头908和/或距离传感器910可以例如经由外部接口联接到计算机系统900，或者可以被提供为计算机系统的一部分(换言之：计算机系统内部，例如经由电连接912联接)。

术语“联接”或“连接”旨在分别包括直接“联接”(例如经由物理链路)或直接“连接”以及间接“联接”或间接“连接”(例如经由逻辑链路)。

应当理解，以上针对方法之一所描述的内容对于计算机系统900可以类似地成立。

附图标记列表

E 空座位

C 儿童座位

O 物体

P 人

EQ1 算式

EQ2 算式

EQ3 算式

100与用于预定占据类的相关分区有关的特性

102 儿童座位的相关分区

104 空座位的相关分区

106 物体的相关分区

108 人的相关分区

200相关分区和与该相关分区有关的对应特征

202 框

204 特征

206 其他区域部分

300用于预定占据类的加权掩模

302 儿童座位的强度分区

304 空座位的强度分区

306 物体的强度分区

308 人的强度分区

400给定座位上的摄像头视野的遮挡示例

402基于驾驶员的头部的遮挡

404基于驾驶员的手臂的遮挡

406基于副驾驶的手臂的遮挡

408基于物体的遮挡

410基于后座乘客的手臂的遮挡

412基于后座乘客的身体部分或由物体的遮挡

500用于示例遮挡预测和不同预定占据类的遮挡值确定

502遮挡预测

504 与儿童座位有关的特征

506 与空座位有关的特征

508 与物体有关的特征

510 与人有关的特征

600例示用于基于遮挡值进行占据类预测的模式之间的关系的流程图

602表示为规则模式的第一模式

604表示为短期遮挡模式的第二模式

606表示为长期遮挡模式的第三模式

608表示为HMI遮挡模式的最后模式

OCC遮挡值

TC 预定遮挡阈值

TOCC 时间融合遮挡值

TB 阻挡时间间隔

TBT 预定阻挡时间阈值

TO 预定遮挡时间阈值

700例示根据各种实施方式的用于预测占据类的方法的流程图

702确定与区域有关的测量数据的步骤

704基于测量数据确定遮挡值的步骤

706基于遮挡值确定用于占据类预测的模式的步骤

708基于所述模式确定所述区域的多个预定占据类中的一个占据类的步骤

800例示根据各种实施方式的用于确定遮挡值的方法的流程图

802确定与区域有关的测量数据的步骤

804针对目前识别的占据类，确定与相关分区有关的特征的步骤

806基于测量数据和所确定的与相关分区有关的特征来确定遮挡值的步骤

900根据各种实施方式的计算机系统

902 处理器

904 存储器

906 非暂时性数据存储部

908 摄像头

910 距离传感器

912 连接。

Claims (20)

1.一种用于占据类预测的方法，该方法包括：

针对多个时间点，确定与一区域有关的测量数据；

针对所述多个时间点，基于所述测量数据确定遮挡值；

针对目前时间点，基于以下各项中的一项或更多项选择用于占据类预测的多个模式中的一个模式：(i)所述目前时间点和先前时间点中的至少一者的遮挡值，和(ii)针对所述先前时间点选择的用于占据类预测的多个模式；以及

针对所述目前时间点，基于针对所述目前时间点选择的模式，确定所述区域的多个预定占据类中的一个占据类，该确定对于占据类预测是充分的，并且

其中，所述多个模式包括第一模式、第二模式、第三模式和最后模式，其中，如果所述区域完全可见或轻微遮挡，则选择所述第一模式；如果所述区域中存在短时临界遮挡，则选择所述第二模式；如果所述区域中存在持续时间更长的临界遮挡，则选择所述第三模式；并且如果所述区域中存在持续时间更长的临界遮挡并且没有达到所述多个预定占据类中的一个占据类的稳定状态，则选择所述最后模式。

2.根据权利要求1所述的方法，其中，在所述第一模式中，从针对所述目前时间点的占据类到所述多个预定占据类中的不同占据类的改变是基于时间融合占据类预测进行的。

3.根据权利要求2所述的方法，其中，选择所述多个模式中的一个模式如下进行：

如果所述目前时间点的遮挡值大于预定遮挡阈值，则从所述第一模式进入所述第二模式；

如果所述目前时间点的遮挡值小于所述预定遮挡阈值，则从所述第二模式进入所述第一模式；

如果在比预定阻挡时间阈值长的时间段选择了所述第二模式，则从所述第二模式进入所述第三模式；

如果时间融合遮挡值小于所述预定遮挡阈值，则从所述第三模式进入所述第一模式；

如果在预定遮挡时间阈值内没有达到所述多个预定占据类中的一个占据类的稳定状态、在预定遮挡时间阈值内没有占据类达到增加的确认阈值、或者在所述预定遮挡时间阈值内所述占据类不断变化，则从所述第三模式进入所述最后模式；

如果达到所述多个预定占据类中的一个占据类的稳定状态或者用户确认目前识别的占据类的改变，则从所述最后模式进入所述第三模式；或者

如果所述时间融合遮挡值低于所述预定遮挡阈值，则从所述最后模式进入所述第一模式。

4.根据权利要求3所述的方法，其中，所述预定遮挡阈值取决于针对所述目前时间点的占据类。

5.根据权利要求1所述的方法，所述方法还包括：

确定载具的状况；并且

其中，选择所述多个模式中的一个模式的步骤是基于所述载具的所述状况进行的。

6.根据权利要求1所述的方法，其中，所述遮挡值是基于所述测量数据和与相关分区有关的特征来确定的。

7.根据权利要求1所述的方法，所述方法还包括：

根据所述多个预定占据类中的各个可能预定占据类的多个特征，针对所述目前时间点的所述区域的所述占据类，确定与相关分区有关的特征；并且

其中，所述遮挡值是基于所述测量数据和所确定的与所述相关分区有关的特征来确定的。

8.根据权利要求1所述的方法，该方法还包括：

针对所述多个时间点，根据多个预定占据类中的各个可能预定占据类的多个特征，针对目前时间点的所述区域的占据类，确定与相关分区有关的特征；以及

针对所述目前时间点，基于所述目前时间点的测量数据和所确定的针对所述目前时间点的与所述相关分区有关的特征，确定遮挡值，该确定对于占据类确定是充分的。

9.根据权利要求8所述的方法，

其中，与所述相关分区有关的所述特征取决于针对所述目前时间点的所述占据类；或

其中，与所述相关分区有关的所述特征包括加权掩模，所述加权掩模包括多个掩模像素，各个掩模像素对应于所述测量数据的测量像素。

10.根据权利要求8所述的方法，其中，基于所述测量数据、像素分割或物体分类中的至少一者来确定遮挡预测。

11.根据权利要求1所述的方法，其中，所述多个预定占据类中的所述一个占据类包括以下各项中的至少两项：空座位、物体、儿童座位、或者人。

12.一种用于遮挡值确定的方法，该方法包括：

针对多个时间点，确定与一区域有关的测量数据；

针对所述多个时间点，基于所述测量数据确定遮挡值；

针对目前时间点，基于以下各项中的一项或更多项选择用于占据类预测的多个模式中的一个模式：(i)所述目前时间点和先前时间点中的至少一者的遮挡值，和(ii)针对所述先前时间点选择的用于占据类预测的多个模式；

针对所述目前时间点，基于针对所述目前时间点选择的模式，确定所述区域的多个预定占据类中的一个占据类，所述确定对于占据类预测是充分的，并且

针对所述多个时间点，根据多个预定占据类的各个可能预定占据类的多个特征，针对目前时间点的所述区域的占据类，确定与相关分区有关的特征；以及

针对所述目前时间点，基于所述目前时间点的测量数据和所确定的针对所述目前时间点的与所述相关分区有关的特征，确定遮挡值，该确定对于遮挡值确定是充分的。

13.根据权利要求12所述的方法，

其中，与所述相关分区有关的所述特征取决于针对所述目前时间点的所述占据类；或

其中，与所述相关分区有关的所述特征包括加权掩模，所述加权掩模包括多个掩模像素，各个掩模像素对应于所述测量数据的测量像素。

14.根据权利要求12所述的方法，其中，基于所述测量数据、像素分割或物体分类中的至少一者来确定遮挡预测。

15.根据权利要求12所述的方法，其中，所述多个模式包括第一模式、第二模式、第三模式和最后模式，其中，如果所述区域完全可见或轻微遮挡，则选择所述第一模式；如果所述区域中存在短时临界遮挡，则选择所述第二模式；如果所述区域中存在持续时间更长的临界遮挡，则选择所述第三模式；并且如果所述区域中存在持续时间更长的临界遮挡并且没有达到所述多个预定占据类中的一个占据类的稳定状态，则选择所述最后模式。

16.根据权利要求15所述的方法，其中，在所述第一模式中，从针对所述目前时间点的占据类到所述多个预定占据类中的不同占据类的改变是基于时间融合占据类预测进行的。

17.根据权利要求16所述的方法，其中，选择所述多个模式中的一个模式如下进行：

如果所述目前时间点的遮挡值大于预定遮挡阈值，则从所述第一模式进入所述第二模式；

如果所述目前时间点的遮挡值小于所述预定遮挡阈值，则从所述第二模式进入所述第一模式；

如果在比预定阻挡时间阈值长的时间段选择了所述第二模式，则从所述第二模式进入所述第三模式；

如果时间融合遮挡值小于所述预定遮挡阈值，则从所述第三模式进入所述第一模式；

如果在预定遮挡时间阈值内没有达到所述多个预定占据类中的一个占据类的稳定状态、在预定遮挡时间阈值内没有占据类达到增加的确认阈值、或者在所述预定遮挡时间阈值内所述占据类不断变化，则从所述第三模式进入所述最后模式；

如果达到所述多个预定占据类中的一个占据类的稳定状态或者用户确认目前识别的占据类的改变，则从所述最后模式进入所述第三模式；或者

如果所述时间融合遮挡值低于所述预定遮挡阈值，则从所述最后模式进入所述第一模式。

18.根据权利要求17所述的方法，其中，所述预定遮挡阈值取决于针对所述目前时间点的占据类。

19.根据权利要求12所述的方法，所述方法还包括：

确定载具的状况；并且

其中，选择所述多个模式中的一个模式的步骤是基于所述载具的所述状况进行的。

20.根据权利要求12所述的方法，其中，所述遮挡值是基于所述测量数据和与相关分区有关的特征来确定的。