CN102975718A - 用以确定车辆驾驶员对物体状态预期的方法、系统和收录计算机程序产品的计算机可读介质 - Google Patents

Abstract

本发明涉及一种用于确定车辆驾驶员对驾驶员环境中物体状态的预期的方法，该方法包括：获得表示驾驶员在第一时间点对物体状态的预期的输入信号；基于表示物体状态的输入信号，确定在第二时间点的物体状态，第二时间点晚于第一时间点；获得表示驾驶员在第二时间点的估计视觉输入的输入信号；基于驾驶员在第一时间点对物体状态的预期、车辆驾驶员在第二时间点的估计视觉输入和在第二时间点的物体状态，确定驾驶员在第二时间点对物体状态的预期；提供表示驾驶员在第二时间点对物体状态的预期的输出信号。本发明还涉及一种包括用以实现该方法的装置的系统，以及包括用以执行该方法的代码的计算机可读程序。

Description

用以确定车辆驾驶员对物体状态预期的方法、系统和收录计算机程序产品的计算机可读介质

技术领域

本发明涉及用于确定车辆驾驶员对驾驶员环境中物体状态的预期的方法。 

本发明还涉及相应的用以确定车辆驾驶员对驾驶员环境中物体状态的预期的系统和收录计算机程序产品的计算机可读介质。 

背景技术

由于司机没有意识到周围的交通状况而经常发生交通意外。为了避免由于司机没有意识到周围的交通状况而引起的意外，向司机提供警报信息以重新建立司机对周围交通状况的注意可能是至关重要的。但是，警报系统在司机意识到周围交通状况的情况下不警报也是很关键的，因为这种警报系统可能给司机带来信息过多，并减少司机对警报的信任度。 

因此，需要一种系统、方法和收录计算机程序产品的计算机可读介质，其将数据输入提供给例如车内的不同警报系统，以使它们仅在需要的状况时警报。 

发明内容

根据本发明的第一方面，以上可以通过提供一种用于确定车辆驾驶员对驾驶员环境中物体状态的预期的方法而得以满足。该方法包括：获得表示驾驶员在第一时间点对物体状态的预期的输入信号；基于表示物体状态的输入信号，确定在第二时间点的物体状态，第二时间点晚于第一时间点；获得表示驾驶员在第二时间点的估计视觉输入的输入信号；基于驾驶员在第一时间点对物体状态的预期、车辆驾驶员在第二时间点的估计视觉输入和在第二时间点的物体状态，确定驾驶员在第二时间点对物体状态的预期；提供表示驾驶员在第二时间点对物体状态的预期的输出信号。 

根据本发明的第三方面，以上可以通过提供一种用于确定车辆驾驶员对车辆驾驶员环境中物体状态的预期的系统而得以满足，该系统包括：用于获得表示驾驶员在第一时间点对物体状态的预期的输入信号的装置；用于基于表示物 体状态的输入信号而确定在第二时间点的物体状态的装置，第二时间点晚于第一时间点；用于获得表示驾驶员在第二时间点的估计视觉输入的输入信号的装置；用于基于驾驶员在第一时间点对物体状态的预期、车辆驾驶员在第二时间点的估计视觉输入和在第二时间点的物体状态而确定驾驶员在第二时间点对物体状态的预期的装置；用于提供表示驾驶员在第二时间点对物体状态的预期的输出信号的装置。 

根据本发明第一方面的方法和根据本发明第三方面的系统提供的输出信号可以被用作诸如当今车辆中存在的不同警报系统的输入。 

驾驶员环境中的物体可以例如是(但不限制于)其它车辆、行人、动物、道路记号、道路边界和车道标记。 

表示驾驶员在第一时间点对物体状态的预期的输入信号与由上一次执行所述方法或采用所述系统而来的、作为该方法的结果或作为来自该系统的输出信号而提供的输出信号对应。因此，该方法是迭代的，并且驾驶员对物体状态的预期基于驾驶员对物体状态的前一次预期、驾驶员的估计视觉输入和物体实际状态而更新。 

任何能够基于不精确的测量(有时完全缺少该测量)而基于模型地跟踪物体状态的方法，能够基于驾驶员在第一时间点对物体状态的预期、车辆驾驶员在第二时间点的估计视觉输入和在第二时间点的物体状态而用于确定驾驶员在第二时间点对物体状态的预期。许多已有的过滤算法在此处也是适当的，例如卡尔曼滤波器或粒子滤波器，其中，通过对滤波器中呈现的测量噪音进行调制而将对物体的不同的注意水平考虑在内。 

根据一个示例性实施例，在第一时间点和第二时间点之间经过的时间优选在数百分之一或数十分之一秒量级。例如可想到的是，每秒钟循环该方法二十或四十次。在第一和第二时间点之间的时间差于是将分别为二十分之一秒或四十分之一秒。 

根据本发明第一和第三方面的一个示例性实施例，物体状态包括物体的位置、物体的运动和物体的加速度中的至少一个。 

根据该示例性实施例，物体的状态包括物体位置、物体运动或物体加速度。其还可以包括物体位置和物体运动，或物体位置和物体加速度的组合，或物体运动和物体加速度的组合，或者物体位置、物体运动和物体加速度的组合。 

根据一个示例性实施例，表示物体运动的输入信号可以通过与提供表示物体位置的输入信号相同的装置提供。 

根据一个示例性实施例，在物体状态中可包括的不同要素，即位置、运动、加速度，在所述方法和系统中可被同时处理。然而，根据另一个示例性实施例，不同要素在所述方法和系统中可以被分别处理。因此，根据该示例性实施例，可以例如为不同的要素提供不同的输入信号，或者驾驶员对物体运动的预期可以在一个方法步骤中或系统的一个装置中确定，而驾驶员对物体位置的预期可以在另一个方法步骤中或在系统的另一个装置中确定。 

根据一个示例性实施例，在坐标系的X方向和Y方向上确定物体的当前状态和运动。根据一个示例性实施例，物体被近似为具有目标拐角点的3D盒。根据一个示例性实施例，可以随后使用作为输入的四个物体拐角而计算状态，四个物体拐角的平均值在X方向和Y方向中的每一个上定义物体的中心点。根据一个示例性实施例，物体的运动可以通过首先计算每个单独拐角的拐角点速率然后取平均值来计算。 

根据一个示例性实施例，可以通过对驾驶员估计的物体位置求导来确定驾驶员对物体运动的预期。当讨论运动时，其意为要理解在物体和车辆驾驶员之间的相对运动。因此，所有运动都在坐标系中加以考虑，车辆驾驶员在该坐标系的原点。 

根据一个示例性实施例，可以通过对驾驶员估计的物体运动求导来确定驾驶员对物体加速度的预期。当讨论加速度时，其意为要理解在物体和车辆驾驶员之间的对加速度。因此，所有加速度和运动都在坐标系中予以考虑，车辆驾驶员在该坐标系的原点。 

根据本发明第一方面的一个示例性实施例，表示驾驶员在第二时间点的估计视觉输入的输入信号是基于表示生理数据的输入信号而确定的，生理数据包括关于车辆驾驶员的眼睛、脸部和身体动作中的至少一个的信息。 

根据本发明第三方面的一个实施例，该系统进一步包括用于基于表示生理数据的输入信号而确定驾驶员在第二时间点的估计视觉输入的装置，其中该生理数据包括关于车辆驾驶员的眼睛、脸部和身体动作中的至少一个的信息。 

估计的视觉输入是通过对驾驶员生理信号和预定的规则集合进行比较以估计驾驶员对环境中物体的视觉输入而确定的。例如，可想到的是使用根据驾驶 员头部和/或眼睛方向而定义视线方向相似性的规则。还可以想到的是，采用关于车辆中存在视线障碍的规则。此外，还可以想到的是，采用关于车辆周围环境中存在视线障碍的规则。 

根据本发明第一方面的一个示例性实施例，方法进一步包括：确定用于当确定驾驶员在第二时间点对物体状态的预期时会用于对驾驶员于第一时间点对物体状态的预期和在第二时间点的物体状态进行加权的因数，其中，该因数通过将驾驶员在第二时间点对物体的估计视觉输入与预定的规则集合进行比较而确定。 

根据本发明第三方面的一个示例性实施例，该系统进一步包括用于执行以上关于本发明第一方面的示例性实施例所述的方法步骤的装置。 

根据本发明第一方面和第三方面的这些示例性实施例，驾驶员对物体状态的预期是通过将驾驶员对物体状态的前一次预期(即在第一时间点的预期)与物体的当前真实状态(即在第二时间的物体状态)一起加权而计算的。在这个示例性实施例中，加权因数是可变的，并取决于司机对特定物体的估计视觉输入。根据一个示例性实施例，加权因数取决于预定的规则集合可以在0和1之间变化。如果驾驶员对物体非常注意，将给出高的加权因数，如果驾驶员对物体极不注意，将给出低的加权因数。 

根据本发明第一方面和第三方面的一个示例性实施例，表示驾驶员视觉输入的输入信号是通过监视驾驶员的图像传感器产生的。监视车辆驾驶员的该图像传感器可以例如是摄像机。 

根据本发明第一方面和第三方面的一个示例性实施例，表示生理数据的输入信号是通过监视驾驶员的图像传感器产生的，该生理数据包括关于车辆驾驶员的眼睛、脸部和身体动作中的至少一个的信息。然而，还可以想到的是，具有监视车辆驾驶员的多个传感器和/或摄像机。 

根据本发明第一方面和第三方面的一个示例性实施例，表示物体状态的输入信号通过传感器来提供。根据一个示例性实施例，采用多个传感器。根据这些示例性实施例，表示物体状态的输入信号可以例如由诸如摄像机或雷达的传感器来提供。还可以想到使用例如雷达和摄像机的组合，或数个雷达传感器或数个摄像机的组合。 

根据本发明第一方面和第三方面的一个示例性实施例，表示物体状态的输 入信号通过物体对车辆的通讯装置来提供。根据该示例性实施例，表示物体状态的输入信号可以例如通过车辆对车辆的通讯装置、行人对车辆的通讯装置、基础设施对车辆的通讯装置，或者例如道路标志对车辆的通讯装置、或者任何或全部这些装置的组合而提供。基础设施对车辆的通讯装置可以例如是沿道路旁边放置或结合在道路中的基站或卫星等。 

根据一个示例性实施例，表示物体状态的输入信号通过传感器组合与物体对车辆通讯装置的组合而提供。输入信号未必针对车辆周围的每个不同物体类型而以类似方式提供。例如，可以想到的是，表示周围车辆状态的输入信号使用车辆对车辆通讯装置而提供，而表示行人状态的输入信号通过传感器提供。可以采用的通讯装置的示例为其它车辆、沿道路旁边放置或结合在道路中的基站或卫星等，它们可以被配置为传送例如位置、速率、加速度、偏航速率等的信息。道路传感器还可以提供速度限制、道路拐弯、温度、道路摩擦特性等信息。 

根据本发明的第二方面，提供一种用以确定车辆驾驶员在第二时间点对驾驶员环境中物体的感知的方法。该方法包括：基于表示驾驶员在第二时间点对物体状态的预期的输入信号，确定驾驶员在第二时间点对物体状态的预期，其中，输入信号通过根据本发明第一方面的方法而提供；在表示物体状态的输入信号的基础上确定第二时间点的物体状态；将驾驶员在第二时间点对物体状态的预期与第二时间点的物体状态进行比较；确定驾驶员在第二时间点对物体状态的预期与第二时间点的物体状态之间的差异；以及提供表示驾驶员在第二时间点对物体状态的预期与第二时间点的物体状态之间的差异的输出信号。 

根据本发明的第四方面，提供一种用以确定车辆驾驶员在第二时间点时对驾驶员环境中的物体的感知的系统。该系统包括：用于基于表示驾驶员在第二时间点对物体状态的预期的输入信号而确定驾驶员在第二时间点对物体状态的预期的装置，其中该输入信号通过根据本发明第三方面的系统所提供；用于在表示物体状态的输入信号的基础上确定在第二时间点的物体状态的装置；用于将驾驶员在第二时间点对物体状态的预期与在第二时间点的物体状态进行比较的装置；用于确定驾驶员在第二时间点对物体状态的预期与在第二时间点的物体状态之间的差异的装置；以及用于提供表示驾驶员在第二时间点对物体状态的预期与在第二时间点的物体状态之间的差异的输出信号的装置。 

根据本发明第二方面的方法和根据本发明第四方面的系统提供的输出信号可以被用作诸如当今车辆中存在的不同警报系统的输入。 

根据本发明第二方面和第四方面的一个示例性实施例，通过比较现实和预期之间的实际不同，评估物体的真实状态和驾驶员对物体状态的期望之间的差异。因此，位置的不同可以例如以米为单位表达、运动的不同可以例如以米/秒为单位表达，以及加速度的不同可以例如以米/平方秒为单位表达。 

根据本发明第二方面和第四方面的一个示例性实施例，通过计算预期与现实相差的百分比，评估物体的真实状态和驾驶员对物体状态的期望之间的差异。 

根据本发明的第五方面，提供一种收录有用于确定车辆驾驶员对驾驶员环境中物体状态的预期的计算机程序产品的计算机可读介质，计算机程序包括代码，该代码用于当被数据处理器执行时：获得表示驾驶员在第一时间点对物体状态的预期的输入信号；在表示物体状态的输入信号的基础上，确定在第二时间点的物体状态，第二时间点晚于第一时间点；获得表示驾驶员在第二时间点的估计视觉输入的输入信号；在驾驶员在第一时间点对物体状态的预期、车辆驾驶员在第二时间点的估计视觉输入和在第二时间点的物体状态的基础上，确定驾驶员在第二时间点对物体状态的预期；以及提供表示驾驶员在第二时间点对物体状态的预期与在第二时间点的物体状态之间的差异的输出信号。根据不同的示例实施例，该计算机程序可以进一步包括代码，该代码用于根据本发明的方法和/或其实施例运行。该计算机可读介质可以是可移动非易失性随机存取存储器、硬盘驱动器、软盘、CD-ROM、DVD-ROM、USB存储器、SD存储卡、或者类似的本领域公知的计算机可读介质。 

当学习所附权利要求和以下说明时，将容易明白本发明的进一步特征和益处。技术人员意识到，在不脱离本发明范围的情况下，本发明的不同特征可以结合以形成不同于以下所述那些实施例的实施例。 

附图说明

现在将结合示出本发明示例性实施例的附图对本发明的以上这些和其它方面进行更详细的说明。其中： 

图1是装备有外部传感器的车辆透视图和车辆前端的坐标系。 

图2是车辆内部透视图，车辆装备有内部传感器。 

图3示出了车辆驾驶员脸部的坐标系。 

图4a-c分别示出了司机环境中出现的物体的侧视图、顶视图和司机视角。 

图5示出了如何定义车辆前方和侧面的区域的示例。 

图6示出了根据本发明一方面的系统的概念流程图。 

图7示出了根据本发明一方面的系统的概念流程图。 

图8a-8c以图表说明了正用于驾驶情形中的本发明系统。 

图9说明了根据本发明一方面的方法。 

图10说明了根据本发明一方面的方法。 

具体实施方式

现在将在下文中结合附图更充分地说明本发明，在附图中显示了本发明示例性的实施例。然而，本发明可以以许多不同形式体现，并且不应被解释为限于本文中详细说明的实施例；当然，这些实施例被彻底地、完整地提供，并且充分地将本发明的范围表达给技术人员。相似的参考符号始终指相似的部件。 

以下，参照用以确定车辆驾驶员对驾驶员环境中物体状态的预期的系统，对本发明进行说明。车辆优选地装备有用于获取车辆驾驶员的信息的内部传感器以及用于获取车辆运行信息及车辆周围环境信息的外部传感器。为了更好地理解，现将结合附图1至图3对内部传感器和外部传感器进行说明。 

图1显示了示例车辆，该车辆在这里被示为汽车100，根据本发明的系统可以被包含在该车辆中。汽车100被设有外部传感器104，该外部传感器104被布置用于检测诸如超车、车辆速度、车辆偏航速率等的车辆运行，以及诸如车道标记、道路标志、道路拐弯、周围车辆、行人等的车辆周围环境。外部传感器104可以是例如摄像头或雷达传感器。优选地，由于摄像机在确定物体的高度和宽度时提供高的精度，而雷达传感器在确定物体的距离时提供高的精度，因此可以使用摄像机和雷达传感器的组合。因此，可以确定周围物体的大小、位置、速度等。 

关于汽车100的位置，坐标系102(其在此被示为笛卡尔坐标系)位于车辆100的前端。坐标系102被设为可跟随车辆，并且轴分别代表纵向(x轴)，横向(y轴)以及竖向(z轴)。结合汽车100的坐标系102，所检测的物体被提供给车辆系统以使得该系统能确定物体相对于汽车100的尺寸和位置。由于从不 同传感器104连续不断地向系统提供检测到的物体，因此还可能确定周围交通环境的速度和加速度。 

图2示出了包括车辆驾驶员202的汽车100的内部，其中汽车100装备有内部传感器，该内部传感器在这里被示为摄像机系统204。摄像机系统204被布置用于确定在车辆运行期间车辆驾驶员202的行为。此外，摄像机系统204可以被校准以聚焦在驾驶员脸部的预定数量的位置上。这些位置可以例如是眼睛、眼睑、眉毛、鼻子、嘴、脸颊等。摄像机系统可针对通常操作车辆的特定驾驶员202而预校准或者在每次驾驶员202进入车辆100的驾驶座时被校准。由于摄像机系统检测驾驶员脸部的不同位置，因此，摄像机系统可判断脸部表情。因而，摄像机系统可以检测例如头部和眼睛的方向、头部姿势、眼睛扫视、头-眼扫视、闭眼、闭眼的速度等。摄像机系统还可以通过使用与驾驶员脸部304相关联的坐标系302(如图3所示)检测驾驶员的头部是否向右或向左转动(偏转)305，向上或向下转动(俯仰)306，或者向右肩膀或左肩膀倾斜(摇晃)307。脸部304的坐标系302优选是原点位于驾驶员眼睛之间的极坐标系。 

此外，代替摄像机或除了摄像机之外，内部传感器204还可以包括其它类型的驾驶员检测装置。这可以例如包括用以检测驾驶员EKG或EEG的传感器、用以检测转向行为的方向盘传感器、用以检测汽车反复无常的加速和/或制动的加速踏板和/或制动踏板内的传感器、在汽车各种按钮中用以检测是否例如驾驶员202正在调节车辆信息娱乐系统的任何不同功能的传感器等。再一内部传感器可以是用以检测驾驶员兴奋程度的呼吸分析传感器或瞳孔尺寸传感器。 

在车辆环境中的每个物体都通过具有目标拐角点(Target Corner Point)的3D盒来近似。物体的输入数据以每个物体按以下形式接收。每个目标的数据在基于车辆的笛卡尔坐标系中描述并包含X方向和Y方向上四个角中每个角的拐角位置(包括标准差估计)、在Z方向上的物体高度(包括标准差估计)、物体速率和物体加速度。 

为了使物体与司机的视觉相匹配，司机周围的真实3D世界被分成如图4a-c中分别显示的三种视角：侧视、顶视和司机的视角。在图4C中，示出了司机的视角，包括道路1000、卡车1001、汽车1002、行人1003和车道标记1004。侧视图和顶视图被分别呈现，以得到对从司机视角看到的环境的说明。在侧视图和顶视图中，周围物体的位置在基于车辆的笛卡尔坐标系中描述。该信息与从 司机头部至基于车辆的笛卡尔坐标系原点的距离相结合，以在基于司机头部的极坐标系中计算相对于目标的偏转角度和俯仰角度。 

偏转角度 

和俯仰角度(θ)计算通过下列等式完成： 

在等式中，x_n，obj和y_n，obj分别是在X方向和Y方向上距物体拐角n的距离，x_DMC、y_DMC和z_DMC是在相应方向上从车辆坐标系的原点至监视司机的传感器的距离，并且x_head、y_head和z_head是在相应方向上司机头部和监视司机的传感器之间的距离。 

$\tan {\mathrm{\θ}}_1=\frac{(h_{\mathrm{obj}}-(z_{\mathrm{DMC}}+z_{\mathrm{head}}))}{(r_{1,\mathrm{obj}}+x_{\mathrm{DMC}}+x_{\mathrm{henad}})}$ $\tan {\mathrm{\θ}}_2=\frac{(h_{\mathrm{obj}}-(z_{\mathrm{DMC}}+z_{\mathrm{head}}))}{(r_{2,\mathrm{obj}}+x_{\mathrm{DMC}}+x_{\mathrm{henad}})}$

$\tan {\mathrm{\θ}}_3=\frac{-(z_{\mathrm{DMC}}+z_{\mathrm{head}})}{(r_{3,\mathrm{obj}}+x_{\mathrm{DMC}}+x_{\mathrm{henad}})}$ $\tan {\mathrm{\θ}}_4=\frac{-(z_{\mathrm{DMC}}+z_{\mathrm{head}})}{(r_{4,\mathrm{obj}}+x_{\mathrm{DMC}}+x_{\mathrm{henad}})}$

其中，r_n，obj＝√(x_n，obj ²+y_n，obj ²)是距物体拐角n的距离，并且h_obj是物体的高度。 

为了清楚，这在图4a-b中仅对一个物体(即卡车1001)进行了说明。然而，相同的运算可以被用于每个物体，诸如在车辆周围的例如车道标记1004，车辆1002，行人1003等。 

如图4b中所示，关于卡车的拐角点2，可以通过基于来自外部传感器系统的信号确定置信区间而估算拐角点的位置。在X方向和Y方向上示出置信区间，并且这在Z方向上也同样可想到。拐角点的置信区间还可以在包含偏转 

和俯仰(θ)的、基于司机头部的极坐标系中进行表示。此外，在确定驾驶员对驾驶员环境中物体状态的预期的方法中，可以涉及使用物体拐角点的方差计算以确定物体的位置。例如，更高的方差值说明物体位置的不确定性增加，其可以在确定驾驶员对物体状态的预期时予以考虑。 

现参照图6，其示出了根据本发明系统的实施例。在图9中示出由系统执行的方法。在所示实施例中的第一系统400是用于确定司机对司机周围物体状态的预期的系统，该状态包括物体位置、运动和加速度中的至少一个。系统400包括第一子系统402，其被设置用于获得表示司机在第一时间点对物体状态的预期的输入信号，第二子系统404，其被设置用于确定在第二时间点时物体在X 方向和Y方向上的位置和运动，第三子系统406，其被设置用于获得表示司机的估计视觉输入的输入信号，第四子系统408，其用于确定司机在第二时间点对物体状态的预期，以及第五子系统410，其用于提供表示司机在第二时间点时对物体状态的预期的输出信号。 

当系统在使用中时，第一子系统402通过接收输入信号执行方法步骤S1，该输入信号表示司机在第一时间点时对司机周围物体状态的预期。该第一时间点先于当前时间点。 

在第二子系统404中，通过确定在第二时间点时X方向和Y方向上的物体位置和运动来执行方法步骤S2。第二时间点为当前时间点。位置是使用作为输入的四个物体拐角而计算的，该四个物体拐角的平均值在X方向和Y方向的每一个上定义了物体的中心点。该输入是从外部传感器104接收的。物体在X方向和Y方向上的运动通过相同的方法计算，只是在取平均值之前，作为第一步，针对每个单独拐角计算拐角点速率。物体位置或运动的单个方差测量也可以由这个子系统计算，该测量可以被其它子系统在稍后的过程中利用。例如，为了获取该测量，首先将每个拐角的标准差进行平方，然后计算平方值的平均值以获取物体的位置方差或运动方差作为单个测量。 

在第三子系统406中，获得表示司机的估计视觉输入的输入信号。该司机的估计视觉输入基于来自传感器202的输入信号，并可以在诸如输出视觉输入质量值的另一估计系统中确定，该视觉输入质量值表示驾驶员对物体的视觉输入水平。例如，驾驶员的估计视觉输入是通过以下确定的：在方法步骤S3中，获得表示与车辆驾驶员相关的生理数据的输入信号；在步骤S4中，确定车辆驾驶员的估计视觉输入；并且在步骤S5中，获得表示车辆驾驶员的估计视觉输入的输入信号，该估计视觉输入与视觉输入质量值对应。 

例如，估计系统可以包括控制装置，该控制装置包括：第一输入，其被设置用于接收表示驾驶员周围的至少一个物体的位置的物体位置信号；以及第二输入，其被设置用于接收表示生理数据的驾驶员动作输入信号，该生理数据包括关于车辆驾驶员眼睛、脸部、头部和身体动作中的至少一个的信息，其中，控制装置被设置用于在驾驶员动作输入信号的基础上估计驾驶员注视方向，并被设置用于在物体位置信号和所估计的驾驶员注视方向的基础上确定视觉输入质量值，该视觉输入质量值代表由驾驶员接收的至少一个物体的视觉输入水平。 系统的控制装置可以进一步被设置用于确定与物体相关联的物体区域，例如四个物体拐角点，该物体区域表示驾驶员所察觉到的物体的物体区域，其中所述质量值是基于物体区域确定的。此外，与物体相关联的视觉输入质量值可以通过确定驾驶员注视分布和/或视敏度分布(visual acuity distribution)来估计(驾驶员注视分布表示驾驶员不同注视方向的概率；视敏度分布表示相对于中心注视方向而言驾驶员眼睛的视敏度水平)，其中，注视分布和/或视敏度分布例如在物体区域上卷积或积分。 

此后，通过在第四子系统408中确定司机在第二时间点时对物体状态的预期而执行方法步骤S8。司机对物体位置的预期是通过对司机在第一时间点时对物体位置的预期和在第二时间点时物体的实际位置一起加权而确定的。权重因数是不同的，并且在方法步骤S7中确定。权重因数取决于司机对特定物体的当前视觉输入，该视觉输入从第三子系统406中获得。在该示例性实施例中，按照使用者定义的查找表，权重因数可以在0和1之间变化。高的视觉输入值(即司机对物体非常注意)给出高的权重因数，这意味着司机的预期将朝向正确的物体位置集中。相反，低的视觉输入值(即司机对物体没有非常注意)将导致司机的预期会根据司机最后看到的物体运动而更新。这意味着，当视觉输入为低时，如果物体在某个方向开始加速，则司机将不会意识到这一点，并且司机对物体位置的预期与真实的物体位置的关联会越来越差。司机对物体运动的预期也在第四子系统中(使用预期的位置作为输入)完成。因此，在司机预期中的物体位置的导数是司机对物体运动的预期。 

在第五子系统410中执行方法步骤S9。这里，司机在第二时间点时对物体位置和运动的预期被提供作为输出信号，该输出信号可以被发送至例如人机界面(HMI)或第二系统500中，以用作该系统中的输入数据，该系统将会在以下进行更详细的说明。该输出信号还可以在后续时间点被用作第一系统400的第一子系统402的输入信号。 

在图7中示出了第二系统500，该系统在所说明的实施例中为用于确定司机对司机周围物体的感知的系统。在图10中示出由该系统执行的方法。系统500包括：第一子系统502，其用于确定物体的真实状态和司机预期的物体状态之间的不同；第二子系统504，其用于指定表示司机对物体的感知的值；以及第三子系统506，其用于提供表示司机对物体的感知的输出信号。 

在使用中，第一子系统502通过从第一系统400的第二子系统404(以表示物体状态的输入信号的形式)接收输入数据而执行方法步骤S10。第一子系统502还通过接收来自第一系统400的第五子系统410的、为表示司机对物体状态的预期的输入信号形式的输入信号而执行方法步骤S11。此后使用该输入数据，以通过比较物体真实的位置/运动和司机对物体位置/运动的预期而执行方法步骤S12。随后，通过比较现实和预期之间的实际不同(即以米为单位测量的位置差异，以米/秒为单位测量的运动差异)，以及通过计算预期与现实相差的百分比，评估真实位置/运动和司机预期的位置/运动之间的不同。 

在第二子系统504中，基于在第一子系统502中确定的真实位置/运动和司机对位置/运动的预期之间的不同，通过将值指定给司机对物体的感知而执行方法步骤S13。在本示例性实施例中，状态被划分优先级，以使得如果其中几个条件为真，则具有最低值的一个将被选择作为输入。在本示例性实施例中，关于相应的感知水平指定以下标准：0-司机不知道物体的存在；1-司机感知到物体的存在但对其位置的理解极不正确；2-司机对物体位置的理解稍不正确和/或对其运动的理解极不正确；3-司机对物体的位置理解正确，但是对其运动的理解稍不正确；4-司机对物体位置和运动的预期与物体真实的位置和运动良好关联。 

在第三子系统506中，通过提供输出信号而执行方法步骤S13，该输出信号表示在第二子系统504中所确定的值，即表示在第二时间点时物体真实位置/运动和司机对该物体预期的位置/运动之间的差异的值。该输出信号可以被发送给例如人机界面(HMI)。 

以上将司机对物体状态的预期与物体的真实状态相结合，对系统400、500进行了说明。事实上，系统400、500为司机环境中的任何相关物体执行相同的判断并为每个物体提供相应的输出信号。 

现转向图8a-c，说明了使用中的系统400、500的示例。图8a说明了司机在三十秒时期内的偏转角度和俯仰角度。图8b说明了在与图8a中相同的三十秒期间内司机的车辆和司机车辆的前方车辆之间的真实相对位置，以及司机对司机车辆和他的车辆前方的车辆之间的相对位置的预期。图8c说明了在与图8a-b中相同的三十秒期间内所估计的司机感知。 

在所说明的示例中，司机连续看着领先车辆，直至大约19.5秒时他看向其它方向几秒钟，如在图8a中的头部偏转角度可以看出。紧接着司机看向其它方 向之后，在大约20秒时，领先车辆开始制动，这意味着司机对其车辆前方的领先车辆状态的预期不再与真实的相对车辆位置良好关联。这也显示为司机感知估计在大约21秒时迅速减小。然后，当司机重新看着领先车辆时，司机对领先车辆状态的预期逐步适应该辆车的真实状态并且司机感知估计恢复到高水平。 

在图8a-c中还可以看出，即使司机持续看着领先车辆，在大约5秒和15秒时感知也减小至3。其原因是司机需要一段时间来注意领先车辆的加速和减速。在大约22和23秒时，取决于司机适应领先车辆的新位置和速度所花费的时间，感知水平迅速变化。 

来自系统400、500中的任一个的输出信号，也就是表示驾驶员在第二时间点时对物体状态的预期的信号、或表示驾驶员在第二时间点时对物体状态的预期与在第二时间点时物体状态之间的差异的信号，可被用作车辆中多个已有系统222的输入信号。例如，在前向碰撞警报系统、盲点警报系统和车道偏离警报系统中，输入信号可以被用以调节警报的时间、根据司机的感知水平调节警报的水平、即使司机关闭了系统也自动激活功能、或调节定向警报。在自适应巡航控制系统中，当司机的注意力不在道路上时，系统可以用于调节到与前方车辆更长的距离，或者当司机对周围物体的预期为低时，增加制动能力。在自动制动系统中，如果司机注意力分散，则自动制动系统可用于更早反应(与司机很好地感知周围交通时相比)。当然，还可以想到的是实现注意力分散警报系统，当司机对道路和/或周围交通的注意太低时该注意力分散警报系统发出警报。 

为了实现更快地将司机对刚进入监视车辆周围的传感器范围中的物体的注意/感知进行分类，区域的概念可以是有用的。通过在车辆周围定义区域，即使传感器还没有发现物体，也可以估计司机对那个区域中物体的注意/感知。然后，当传感器发现物体时，可以将估计的司机注意/感知直接分配给该物体，而不是给予那个物体未知的注意/感知。 

区域被定义为3D物体，像在车辆周围或内部的任何其它物体。图5显示了在车辆前部和内部的区域可以如何被定义的示例。然而，为了视觉的简单，图中仅显示了2D物体(没有X分量)。图5中的区域仅是区域可以如何使用的示例，在一些应用中，车辆的侧面和后面的区域可能是有用的。 

区域可能经常在司机的视角中互相重叠。物体还可以同时存在于数个区域中。在这种情况中，当将司机的注意/感知分配给出现的物体时，取决于该物体 有多少存在于每个区域中，司机对不同区域的注意/感知应该被一起加权。 

尽管已经结合特定示例性实施例说明了本发明，但是很多不同的替选、改进等对于本领域技术人员而言也将变得显而易见。通过对附图、公开内容和所附权利要求的研究，技术人员在实施所主张的发明时可以理解及实现所公开实施例的变型。 

例如，选择五个感知水平仅仅是用于说明，可想到其它数目的水平。 

此外，本发明不限于使用摄像头和/或雷达传感器用以检测车辆环境；其它公知的和适当的传感器自然也是可想到的。

在所说明的实施例中，所有物体类型在系统中以相同方式处理。然而，根据物体的类型提供不同的确定系统也可能是适当的，不同的物体类型未必呈现出相同类型的运动模式。 

而且，还可以想到的是在系统500中包括置信度计算。这可以例如通过计算“乐观的”/-“悲观的”感知估计并将这些与正常感知估计比较以看它们相差多大来实现。乐观的感知估计可以通过给车辆驾驶员的估计视觉输入增加一些值(例如，一个标准差)并计算使用该“乐观的”感知估计时感知将变成什么样来实现。类似地，悲观的感知估计可以通过从车辆驾驶员的估计视觉输入值中减少一些值(例如一个标准差)并且随后计算所得到的“悲观的”感知估计来获得。如果所述估计的差异越大，感知的置信度就越低，原因在于车辆驾驶员的估计视觉输入的大标准差意味着估计是不确定的，并且感知估计也将是不确定的。 

此外，在权利要求中，词语“包括”不排除其它部件或步骤，并且在未限定个数时不排除复数。 

Claims (13)

1.一种用于确定车辆驾驶员对驾驶员环境中物体状态的预期的方法，该方法包括：

-获得表示驾驶员在第一时间点时对物体状态的预期的输入信号；

-基于表示所述物体状态的输入信号，确定在第二时间点时物体的状态，所述第二时间点晚于所述第一时间点；

-获得表示驾驶员在第二时间点时的估计视觉输入的输入信号；

-基于所述驾驶员在第一时间点时对物体状态的预期、所述车辆驾驶员在第二时间点时的估计视觉输入和在第二时间点时的所述物体的状态，确定驾驶员在第二时间点时对物体状态的预期；

-提供表示所述驾驶员在第二时间点时对物体状态的预期的输出信号。

2.根据权利要求1所述的方法，其中，所述物体状态包括物体的位置、物体的运动和物体的加速度中的至少一个。

3.根据权利要求1或2所述的方法，其中，基于表示生理数据的输入信号来确定表示所述驾驶员在第二时间点时的估计视觉输入的输入信号，所述生理数据包括关于车辆驾驶员的眼睛、脸部和身体动作中的至少一个的信息。

4.根据前述权利要求中的任一项所述的方法，还包括：

-当确定所述驾驶员在第二时间点对物体状态的预期时会用于对所述驾驶员在第一时间点对物体状态的预期和在第二时间点的所述物体状态进行加权的因数的确定，

其中，通过将驾驶员在第二时间点对所述物体的估计视觉输入与预定的规则集合进行比较而确定所述因数。

5.一种用于确定车辆驾驶员在第二时间点对驾驶员环境中物体的感知的方法，该方法包括：

-基于表示驾驶员在第二时间点对物体状态的预期的输入信号，确定驾驶员在第二时间点对物体状态的预期，其中，所述输入信号通过根据前述权利要求中任一项所述的方法而提供；

-在表示物体状态的输入信号的基础上确定第二时间点的物体状态；

-将所述驾驶员在第二时间点对物体状态的预期与所述第二时间点的物体状态进行比较；

-确定所述驾驶员在第二时间点对物体状态的预期与所述第二时间点的物体状态之间的差异；以及

-提供表示所述驾驶员在第二时间点对物体状态的预期与所述第二时间点的物体状态之间的所述差异的输出信号。

6.一种用于确定车辆驾驶员对车辆驾驶员环境中物体状态的预期的系统，该系统包括：

-用于获得表示驾驶员在第一时间点时对物体状态的预期的输入信号的装置；

-用于基于表示所述物体状态的输入信号而确定在第二时间点时物体的状态的装置，所述第二时间点晚于所述第一时间点；

-用于获得表示驾驶员在第二时间点时的估计视觉输入的输入信号的装置；

-用于基于驾驶员在第一时间点时对物体状态的预期、车辆驾驶员在第二时间点时的估计视觉输入和在第二时间点时的物体状态而确定驾驶员在第二时间点时对物体状态的预期的装置；

-用于提供表示所述驾驶员在第二时间点时对物体状态的预期的输出信号的装置。

7.根据权利要求6所述的系统，其中，所述物体状态包括物体的位置、物体的运动和物体的加速度中的至少一个。

8.根据权利要求6或7所述的系统，其中，所述系统进一步包括：用于基于表示生理数据的输入信号而确定所述驾驶员在第二时间点的估计视觉输入的装置，其中所述生理数据包括关于车辆驾驶员的眼睛、脸部和身体动作中的至少一个的信息。

9.根据权利要求6至8中的任一项所述的系统，进一步包括：

-用于确定因数的装置，当确定所述驾驶员在第二时间点对物体状态的预期时，会使用该因数对所述驾驶员在第一时间点对物体状态的预期和在第二时间点的所述物体状态进行加权，

其中，通过用于将驾驶员在第二时间点对物体的估计视觉输入与预定的规则集合进行比较的装置而确定所述因数。

10.根据权利要求6至9中的任一项所述的系统，其中，表示生理数据的输入信号是通过监视驾驶员的图像传感器产生的，所述生理数据包括关于车辆驾驶员的眼睛、脸部和身体动作中的至少一个的信息。

11.根据前述权利要求中的任一项所述的系统，其中，表示物体状态的输入信号通过传感器来提供。

12.根据前述权利要求中的任一项所述的系统，其中，表示物体状态的输入信号通过物体对车辆的通讯装置来提供。

13.一种用于确定车辆驾驶员在第二时间点时对驾驶员环境中物体的感知的系统，该系统包括：

-用于基于表示驾驶员在第二时间点对物体状态的预期的输入信号而确定驾驶员在第二时间点对物体状态的预期的装置，其中，所述输入信号通过根据权利要求6至12中的任一项所述的系统所提供；

-用于在表示物体状态的输入信号的基础上确定第二时间点的物体状态的装置；

-用于将所述驾驶员在第二时间点对物体状态的预期与所述第二时间点的物体状态进行比较的装置；

-用于确定驾驶员在第二时间点对物体状态的预期与在第二时间点的物体状态之间的差异的装置；以及

-用以提供表示驾驶员在第二时间点对物体状态的预期与在第二时间点的物体状态之间的差异的输出信号的装置。

Images