CN110383290B - 用于确定车辆驾驶员注意力的装置，包括这种装置的车载系统以及相关方法 - Google Patents

Abstract

本发明涉及一种用于确定车辆(1)的驾驶员(4)的注意力状态的装置(10)，包括：‑所述车辆(1)上的图像捕获单元，所述图像捕获单元(11)适于捕获位于所述车辆(1)中的检测区域(D)的至少一个图像，以及‑图像处理单元，其适于接收所述捕获图像并被编程以根据对驾驶员的一只手中的干扰对象的存在的检测来确定驾驶员(4)的注意力状态，该手位于检测区域(D)中。还提出了一种包括这种装置的车载系统和相关联的方法。

Description

用于确定车辆驾驶员注意力的装置，包括这种装置的车载系 统以及相关方法

技术领域

本发明涉及一种用于确定车辆驾驶员的注意力状态的装置。

它还涉及包括这种设备的车载系统。

它还涉及与这种装置相关的方法。

最后，它特别有利地应用于无人驾驶车辆的情况，特别是无人驾驶的机动车辆。

背景技术

借助于适于确定驾驶员警惕状态并且特别是防止在方向盘处入睡的监控装置来监控机动车辆的驾驶员是已知的。根据所确定的警惕状态，监控装置警告驾驶员以避免他/她处于危险状况。

这种监控装置根据与驾驶员相关的行为参数和/或车辆的操作参数来推断驾驶员的警惕状态。在实践中，通过分析驾驶员头部的图像来获得行为参数，例如眼睑闭合率或凝视方向，车辆的操作参数，例如与方向盘的旋转角度、与车辆的速度或驾驶员对某些按钮的动作有关的参数，从车辆上的物理传感器获得。

然而，在某些情况下，可能有必要不仅知道驾驶员的警惕状态，而且还知道他/她的一般注意状态，这仅基于与驾驶员的面部相关联的行为参数和/或车辆的操作参数并非总是可行的。

发明内容

为了解决现有技术的上述缺点，本发明提出了一种用于确定车辆驾驶员注意力状态的车载装置。

更具体地，根据本发明提出了一种用于确定车辆驾驶员注意力状态的装置，包括：

-所述车辆上的图像捕获单元，所述图像捕获单元适于捕获位于所述车辆中的检测区域的至少一个图像，以及

-图像处理单元，其适于接收所述捕获图像并被编程以根据对驾驶员的一只手中的干扰对象的存在的检测来确定驾驶员的注意力状态，该手位于检测区域中。

在本发明的意义上，干扰对象是除了车辆的驾驶设备的项目之外的对象。该对象能够使驾驶员从他/她的驾驶分散注意力并且占据他/她的手，使得所述干扰对象防止驾驶员与车辆的驾驶设备完全安全地交互。

因此，根据本发明的装置用于根据驾驶员的手中的至少一个的占用与否状态确定驾驶员的注意力状态，所述占用与否状态选自“占用”状态和“自由”状态，在“占用”状态中，收握持干扰对象，在“自由”状态中，受与车辆的驾驶设备自由交互，因为它没有握持任何干扰对象。相比于两只手都处于自由状态时，当至少一只手处于占用状态时，驾驶员处于较低的注意状态，因为如果驾驶员在他/她的手中握持干扰对象，则他/她正冒着被阻碍快速干预车辆的驾驶设备的风险。

根据本发明的装置的其他非限制性和有利特征如下：

-图像捕获单元包括适于捕获检测区域的三维图像的至少一个传感器，所述三维图像包括关于至少位于检测区域中的所述干扰对象和/或所述手相对于所述传感器的距离的信息。

-图像捕获单元包括：适于捕获至少一个第一种图像的至少一个传感器，第一种图像包括与位于检测区域中的所述干扰对象和/或所述手相关的第一类信息；以及适于捕获至少一个第二种图像的传感器，第二种图像不同于第一种图像，并包括与位于检测区域中的所述干扰对象和/或所述手有关的第二类信息；

-第一种图像选自：三维图像，包括关于至少位于检测区域中的所述干扰对象和/或所述手相对于所述传感器的距离的信息；二维图像，包括关于至少位于检测区域中的所述干扰对象和/或所述手的亮度的信息；以及热图像，包括与位于检测区域中的至少所述干扰对象和/或所述手的温度有关的信息(第二类图像本身也能够从上述种类的图像中选择，同时如上所述与第一种图像不同)；

-图像捕获单元另外包括至少一个传感器，其适于捕获与所述第一种图像和第二种图像不同的第三种图像，包括与位于检测区域中的所述对象和/或所述手相关的第三类信息；

-第三种图像选自：三维图像，包括关于至少位于检测区域中的所述干扰对象和/或所述手相对于所述传感器的距离的信息；二维图像，包括关于至少位于检测区域中的所述干扰对象和/或所述手的亮度的信息；以及热图像，包括与位于检测区域中的至少所述干扰对象和/或所述手的温度有关的信息；

-图像处理单元被编程为执行以下步骤：

b1)在从图像捕获单元接收到的所述图像中定位驾驶员的所述手，

b2)检测驾驶员的所述手中的所述干扰对象的存在，以推断出驾驶员的注意力状态；

-图像处理单元被编程为根据以下子步骤实现步骤b1)：

在从图像捕获单元接收到的图像中检测驾驶员的手臂的至少一部分，以及

基于在从图像捕获单元接收到的图像中检测到驾驶员的手臂的部分的位置，推断出所述驾驶员的手在从图像捕获单元接收到的所述图像中的位置；

-图像处理单元被编程为根据以下子步骤实现步骤b2)：

检测驾驶员手中是否存在任何对象，和

确定驾驶员手中的所述检测到的对象的性质，以推断出驾驶员的注意力状态；

-图像处理单元基于第一种图像实现步骤b1)，并且基于不同于第一种图像的图像实现步骤b2)。

-图像处理单元从自图像捕获单元接收到的每个图像实现步骤b1)和b2)，并且实现附加步骤，根据该步骤，其确定与对驾驶员手中的干扰对象的存在的检测相关联的置信度指数，根据该置信度指数其推断驾驶员的注意力状态；

-图像处理单元包括处理器件，该处理器件使用被训练的神经网络，以基于由图像捕获单元捕获的检测区域的图像来确定驾驶员的注意力状态。

本发明还涉及一种用于车辆的车载系统，包括：

-根据本发明的装置，适用于确定驾驶员的注意力状态，

-所述车辆的自动驾驶单元，其被编程为独立于驾驶员控制所述车辆的驾驶设备，以及

-决策单元，其被编程为允许驾驶员在驾驶员的手(或两只手中的至少一只或双手)被确定为处于自由状态的情况下至少部分地控制车辆的驾驶设备和/或在确定驾驶员的手处于占用状态的情况下警告驾驶员，和/或使自动驾驶切换到安全模式。

因此，当车辆是无人驾驶的机动车辆，即其驾驶设备独立于驾驶员而被控制时，如果驾驶员的手的占用与否状态被确定为“占用”，则他/她将无法收回对车辆驾驶设备的控制，甚至部分控制。如果确定驾驶员的手处于占用状态，则根据上述安全模式，无人驾驶车辆可以由车载系统的决策单元引导以停放在路肩(或紧急路肩)上。

在手动驾驶或半自动车辆的情况下，例如在检测到驾驶员的至少一只手中的干扰对象之后可以向驾驶员发出关于所冒的风险的警报。

最后，本发明提出了一种用于确定车辆驾驶员的注意力状态的方法，根据该方法：

-所述车辆上的图像捕获单元捕获位于所述车辆中的检测区域的至少一个图像，以及

-图像处理单元接收所述捕获图像并根据对驾驶员的至少一只手中的干扰对象的存在的检测来确定驾驶员的注意力状态，该手位于检测区域中。

有利地，当独立于驾驶员控制所述车辆的驱动设备时，另外提供一步骤，根据该步骤，允许驾驶员在驾驶员的手中的一个被确定为处于自由状态的情况下至少部分地控制车辆驾驶设备和/或在确定驾驶员的所述手中的一个处于占用状态的情况下警告驾驶员，和/或使自动驾驶切换到安全模式。

刚刚提出的方法还可以可选地包括诸如先前提出的与用于确定驾驶员注意力状态的装置有关的步骤(特别是步骤b1和b2)以及这些步骤的可能子步骤。

附图说明

通过非限制性示例给出的以下参考附图的描述将提供对本发明的组成以及如何产生它的良好理解。

在附图中：

图1以正视图示意性地示出包括根据本发明的装置的机动车辆；

图2示意性地示出根据两个可行实施例的图1的装置：第一实施例(实线)，其中图像捕获单元11仅包括一个传感器12，以及第二实施例，其中图像捕获单元11包括两个传感器12、13(实线和虚线，传感器13用虚线表示)；和

图3表示根据本发明的方法的主要步骤的流程图。

具体实施方式

装置

在图1中，示出了机动车辆1的前部，该机动车辆1具有用于确定车辆1的驾驶员的注意力状态的装置10。

更具体地，这种装置10适合于根据车辆1的所述驾驶员4的手中的至少一个的占用与否状态来确定驾驶员4的注意力状态。

因此，这种装置10适合于检测车辆1的检测区域D中的驾驶员的至少一只手，并且用于确定该(或这些)手的占用与否状态以便推断出驾驶员的注意力状态。

占用与否状态是从手握持干扰对象的“占用”状态和没有握持干扰对象的“自由”状态中确定的。在这种自由状态下，手可以例如参与驾驶车辆，即作用在车辆的驾驶设备上；或者是空的，例如静止在扶手上。

在本发明的意义上，干扰对象是除了车辆的驾驶设备之外的对象。例如，移动电话，书籍，路线图，卫星导航系统等。驾驶员的手可接近的驾驶设备的项目例如是方向盘3，换档杆，控制件(转向信号或挡风玻璃刮水器杆)，开关(例如危险警告灯)或手制动器。

如图2所示，根据本发明的装置包括：

-所述车辆1上的图像捕获单元11，所述图像捕获单元11适于捕获位于所述车辆1中的检测区域D的至少一个图像，以及

-图像处理单元15，其适于接收所述捕获图像并被编程为根据对所述手中的干扰对象的存在的检测来确定驾驶员4的手的占用与否状态，该手位于检测区域D中。

在这种情况下，图像捕获单元11安装在机动车辆中，即布置在车辆1内部，更具体地安装在车辆1的乘客室内。

图像捕获单元11包括至少一个传感器12、13，其适于捕获检测区域D的第一种图像。

如图1所示，检测区域D位于换挡杆2和驾驶员侧前门之间。因此，检测区域D包围车辆1的方向盘3并且包含驾驶员的双手。为了捕获这样的检测区域D，图像捕获单元11的传感器12、13例如被放置在机动车辆1的前顶灯中，使得其具有从上方看的检测区域D。

作为变型，传感器可以放置在车辆仪表板上，在后者的中心区域中，使得可以从前方观察到检测区域。根据传感器的打开角度，检测区域可以仅包含驾驶员的两只手中的一只。

作为另一种变型，传感器可以放置在车辆的方向盘3后面，在仪表板处。然后，检测区域可以容易地包含驾驶员的右手和左手。

还可以设想用于在传感器12、13的视野中容纳驾驶员的手的任何其他布置，以便布置传感器。

根据本发明的装置10的第一实施例，在图2中以实线表示，图像捕获单元包括适于捕获检测区域D的三维图像的仅一个传感器12，所述三维图像包括与包含在检测区域D中的空间中的元件的至少一部分相对于所述传感器的距离有关的信息。

空间中的这些元件特别包括驾驶员4的手和可能存在于检测区域D中的干扰对象。空间中的元件还可以包括驾驶员环境的元件，例如车辆的乘客舱的元件以及车辆的驾驶设备的元件，例如换挡杆、方向盘、扶手等。

三维图像包括表示存在于检测区域D中的空间中的元件的包络的点云，包括驾驶员的手、驾驶员的前臂和能够在那里存在的分散对象的包络的点云。因此，点云给出关于存在于检测区域D中的空间中的元件的空间位置的信息，特别是关于它们相对于所述传感器的距离的信息。

适于捕获三维图像的这种传感器12对于本领域技术人员而言是已知的，并且将不再详细描述。仅仅澄清的是，这可以是飞行时间传感器，例如飞行时间(ToF)相机，其适于向驾驶员4发送光并且测量该光返回到所述飞行时间传感器所花费的时间，以推导出检测区域D的三维图像。作为变型，它可以是包括至少两个相机的立体传感器，每个相机根据其特定的视点捕获检测区域的图像，然后组合每个相机的图像以推断检测区域的三维图像。它还可以是结构化光传感器，其适于将图案投影在检测区域上并且用于分析该图案的变形以推断出驾驶员4的三维图像。

根据该第一实施例，图像处理单元15适合于接收传感器的三维图像，并且被编程为通过该图像根据对所述手中的干扰对象的存在的检测来确定驾驶员的至少一只手的占用与否状态。

更具体地，图像处理单元15被编程为执行以下步骤：

b1)在从图像捕获单元11接收到的图像中检测驾驶员的至少一只手，以及

b2)检测驾驶员的所述手中的所述干扰对象的存在，以推断驾驶员的手的占用与否状态；

描述的下一部分基于对驾驶员的手的检测。当然，相同的原理可以应用于驾驶员的另一只手。

为此目的，图像处理单元15包括处理器件，其被编程为检测由图像捕获单元11捕获的图像中的驾驶员的手的图像以及该手中的干扰对象的存在。

更具体地，图像处理单元15被编程为根据以下子步骤实现步骤b1)：

-在从图像捕获单元接收到的图像中检测驾驶员的手臂的至少一部分，以及

-基于在从该同一图像中检测到驾驶员的手臂的部分的位置，推断出所述驾驶员的手在从图像捕获单元接收到的所述图像中的位置；

在实践中，处理单元15的处理器件被编程为从点云的点中识别与驾驶员的手臂或前臂的图像相关联的那些点。

识别驾驶员的手臂或前臂的形状(步骤b1)基于形状识别算法。

基于点云，处理器件还被编程为识别空间中的元件的特征形状，这些元件可以存在于检测区域D中，例如换挡杆2的一部分，方向盘3的一部分，扶手的一部分等。在这种情况下，空间中的元件的“形状”对应于其外包络。对空间中的这些元件的检测可以便于检测驾驶员的手臂。

基于驾驶员的手臂或前臂的识别，处理单元15的处理器件识别可能在其中找到驾驶员的手的点云的一部分。在这种情况下，手的形状的识别基于形状算法，并且利用所确定的点云部分来执行。

处理器件还被编程为识别由图像捕获单元11捕获的所述三维图像中的至少两个不同区域，例如由最靠近传感器的点的图像(前景)形成的第一区域和由最远离传感器的点的图像(后景)形成的第二区域，并识别这些区域中的驾驶员4的手臂或前臂的形状。

因此，处理器件适合于确定驾驶员的手臂的位置，然后从中推断出驾驶员的手在检测区域D的实际空间中的位置。

此外，图像处理单元15被编程为根据以下子步骤实现步骤b2)：

-检测驾驶员手中的任何对象的存在，和

-确定驾驶员手中的所述检测到的对象的性质，以推断出驾驶员的注意力状态；

因此，处理器件还被编程为根据在图像中的手的估计位置处识别的形状来识别检测到的对象的性质。

在实践中，处理单元15被编程为根据在三维图像中的驾驶员的手处识别的形状来推断驾驶员的手的占用与否状态。

这种识别的形状可以是与干扰对象，移动电话，玻璃杯或杯子，书籍，道路地图等相关联的形状，或者一直存在于检测区域D中的元件的形状。

作为变型，还可以根据手与捕获图像中的任何检测到的对象之间的距离来推断出驾驶员的手的占用与否状态。

更具体地，图像处理单元15被编程为，在考虑到在三维图像中的驾驶员的手处识别出的形状很可能是驾驶员用他/她的手握持该干扰对象时，则确定驾驶员的手处于占用状态。

作为变型，图像处理单元可以被编程为当在捕获的三维图像中手和干扰对象之间的距离小于预定阈值时，确定手处于占用状态。

另一方面，其被编程为，当考虑到在驾驶员的手处识别出的形状不可能是驾驶员用他的手握持干扰对象时，则确定驾驶员的手处于自由状态。

作为变型，图像处理单元可以被编程为，当在捕获的三维图像中手与检测到的干扰对象之间的距离大于预定阈值时，确定手处于自由状态。

当他/她的手处于这种自由状态时，如果需要，驾驶员可以对车辆的手动驾驶设备更快地作出反应，例如方向盘，转向灯，喇叭，危险警告灯或换档杆。

因此，根据本发明的装置适于确定当他/她的手处于占用状态时驾驶员的整体注意力状态低于其处于自由状态时的整体注意力状态。

作为变型，仍然根据根据本发明的装置的该第一实施例，代替实施步骤b1)和b2)，图像处理单元15包括处理器件，该处理器件包括神经网络，该神经网络经过训练以基于检测区域D中的图像直接识别手的占用与否状态，甚至识别驾驶员的注意力状态。

在实践中，神经网络在其用于根据本发明的装置10之前被训练。

为此，神经网络在其输入处馈送有检测区域D的多个图像，在所述图像中手处于自由状态(即，手没有任何干扰对象，或者握持手操作的车辆驾驶设备项)，并且向神经网络指示对于这些图像手的状态是自由的。根据相同的原理，神经网络也馈送有检测区域D的多个图像，在所述图像中手处于占用状态(即，它握持干扰对象)，并且向神经网络指示对于这些图像手的状态是占用的。

一经训练，神经网络则在其输入处接收由图像捕获单元11捕获的检测区域D的图像，神经网络被编程为在其输出处给出驾驶员的手的自由或占用状态，或甚至直接给出驾驶员的高注意力状态(如果手处于自由状态)或低注意力状态(如果手处于占用状态)。

根据本发明的装置10的第二实施例，在图2中以实线和虚线表示，图像捕获单元11至少包括：

-一个传感器12(图2中的实线)，适于捕获至少一个第一种图像，包括与包含在检测区域D中的空间中的元件有关的第一类信息，以及

-一个传感器13(图2中的虚线)，适合于捕获与第一种图像不同的第二种图像，包括与包含在检测区域D中的空间中的元件有关的第二类信息。

如在第一实施例中那样，包含在检测区域D中的空间中的元件特别地包括驾驶员的手和/或干扰对象，期望检测其存在。它们还可以包括在检测区域D中自然存在的驾驶员环境中的元件，例如方向盘，换档杆或其中一个座椅的扶手。

实际上，图像捕获单元11包括适合于捕获第一种图像和第二种图像的单个传感器(未示出)，或者适合于分别捕获第一种图像和第二种图像的至少两个不同传感器12、13。

当图像捕获单元11包括两个不同的传感器12、13时，可以设想它们布置在车辆1的乘客舱中的相同位置，例如在顶灯中，方向盘3后面或仪表板的中央区域中，如前所述。还可以设想，每个不同的传感器布置在车辆乘客舱中的不同位置处，特别是在上述位置中。

第一种图像和第二种图像选自：

-三维图像，包括关于包含在检测区域D中的空间元件的至少一部分相对于所述传感器的距离的信息，即，在这种情况下至少是干扰对象和/或驾驶员的手相对于所述传感器的距离，

-二维图像，包括与包含在检测区域D中的元件的至少一部分的亮度有关的信息，即至少干扰对象和/或驾驶员的手的亮度，以及

-热图像，包括与包含在检测区域D中的元件的至少一部分的温度有关的信息，即至少干扰对象和/或驾驶员的手的温度。

为了捕获三维图像，传感器12、13可以是先前在装置10的第一实施例中描述的那些之一，即飞行时间传感器，立体传感器或结构光传感器。

在某些情况下，这种类型的传感器也适用于捕获二维图像。

传统的照相型传感器或相机也能够捕获二维图像。

二维图像是给出关于检测区域D中存在的元件的亮度的信息的图像，包括手和驱动器的前臂。传统上，二维图像包括表示检测区域D的域的像素，即，像素对应于检测区域D的域的图像。每个像素或多或少地亮，这取决于它所代表的检测区域D的域的相应亮度。在这种情况下，二维图像是黑白的，但是也可以是彩色二维图像，在这种情况下，每个像素将代表检测区域的每个对应域的色度。

利用提供关于检测区域D的细节的二维图像，因此与仅处理三维图像时相比，图像处理单元15更容易识别包含在检测区域D中的对象的性质。

这例如借助于传统的形状识别算法。

为了捕获热图像，传感器可以是热成像相机，例如长波红外(LWIR)相机。

热图像的像素的发光强度取决于与每个像素对应的检测区域D的域的温度：温度越高，像素越亮，温度越低，像素越暗。

因此，例如，驾驶员的前臂和手将由明亮的像素表示，移动电话的电池或充满热液体的玻璃杯也将由明亮的像素表示。另一方面，换档杆，书籍或道路地图将由较暗的像素表示。

因此，借助于热图像，处理单元也更容易识别包含在检测区域D中的空间元件的性质，并且特别是从空间中的其余元件中辨别出由驾驶员的手终止的驾驶员的前臂。

另外地或作为根据本发明的的装置10的第二实施例的变型，图像捕获单元11可另外包括适于捕获与所述第一种图像和第二种图像不同的第三种图像的至少一个传感器，第三种图像包括与检测区域D中包含的空间元件有关的第三类信息。

优选地，图像捕获单元11在这种情况下包括至少两个不同的传感器，可能布置在车辆的乘客舱中的不同位置，以捕获第一种图像、第二种图像和第三种图像。

第三种图像选自从先前描述的图像中，即三维图像、二维图像或热图像。例如使用先前描述的传感器。

根据该变型，图像处理单元15考虑至少三种不同种类的图像，即三维图像、二维图像和热图像，以确定驾驶员的手的占用与否状态。

根据本发明装置的第二实施例，不管所考虑的变型，即图像捕获单元11捕获两种或三种不同的图像，图像处理单元15被编程为执行前述步骤b1)和b2)，即：

b1)将驾驶员的所述手定位在从图像捕获单元11接收的至少一个所述图像中，

b2)检测驾驶员4的手中的干扰对象，以推断出驾驶员的手的占用与否状态，然后推断驾驶员的注意力状态。

为此，图像处理单元15包括处理器件，该处理器件被编程为根据被称为顺序的实现或根据被称为并行的实现来实现步骤b1)和b2)。

还可以设想，基于相同种的一个或两个图像执行步骤b1)和b2)。

然而，为了执行这些步骤，有利的是使用不同种的图像来提供对检测区域的不同信息的访问。

通常认为，基于一个或多个第一种图像执行步骤b1)和b2)中的一个，并与第一种图像不同的基于一个或多个同种图像执行另一步骤b1)或b2)，或者基于若干个不同种的图像执行两个步骤b1)和b2)中的至少一个，或者基于若干个不同种的图像执行每个步骤b1)和b2)。执行步骤b1)和/或b2)的若干个不同种的图像的组合提供了提高手和/或干扰对象的检测精度。

顺序实现的示例

为了更清楚，针对图像捕获单元11捕获不同的两种图像的情况描述了顺序实现。当然，当捕获不同的三种图像时，可以应用相同的原理。

根据顺序实现的该示例，图像处理单元15基于至少一个捕获的第一种图像实现步骤b1)，并且基于不同于第一种图像的至少一个捕获的第二种图像实现步骤b2)。

实际上，第一种图像是例如由图像捕获单元11捕获的三维图像之一。处理器件被编程为分割该三维图像，即以识别所述三维图像中的至少两个不同域，并识别这些域中的每一个中的驾驶员4的前臂或手臂的形状，如在装置10的第一实施例中所描述的那样，并且从中推断出驾驶员的手的位置，逻辑上在所识别的手臂的末端。

例如，如前所述，上述两个域对应于靠近传感器的域和远离传感器的域。

基于三维图像识别驾驶员的手臂的一部分(例如前臂)是有利的，因为因此可以知道相对于传感器近或远的、驾驶员的手臂位于其中的域。

在通过第一三维图像定位了驾驶员的手之后，图像处理单元15的处理器件被编程为通过由图像捕获单元11捕获的第二第二种图像检测驾驶员手中可能存在的对象。为此，图像处理单元15的处理器件被编程为基于二维和/或热图像识别可能存在于检测区域D中的在所评估的手的位置处的对象的特征形状，如上所述。

处理器件则被编程为，通过组合第一和第二图像(第一和第二种)的信息来确定驾驶员的手中是否存在对象，并且在肯定的情况下，确定该对象的性质，以估计它是否属于干扰对象(或驾驶设备的项目)。

当在由图像捕获单元11捕获的第二图像(第二种)中没有检测到对象时，即在检测区域D中不存在对象时，图像处理单元15被编程为确定该手处于自由状态。

当在由图像捕获单元11捕获的第二图像(第二种)中检测到至少一个对象时，处理单元15被编程为识别检测到的对象的性质。

然后，图像处理单元15被编程为如果检测到的对象是干扰对象，则确定手处于占用状态(并且如果检测到的对象是驾驶设备的项目，则确定手处于自由状态，即可用于驾驶目的)。

当然，如在装置的第一实施例中那样，在第一种和第二种图像中在手处识别的形状用于确认其握持干扰对象的概率，或者用于显着降低该概率。因此，图像处理单元15可以考虑手的轮廓的形状，以确定手的占用与否状态。

有利地，顺序实现提供了根据要执行的步骤使用来自第一和第二种图像中的每一个的最相关信息。

当然，在实践中，可以以如下方式产生顺序实现：使用热图像或二维图像作为第一种图像，并且使用三维、二维或热图像作为第二种图像，只要它们被选择为与第一种不同。

还可以使用第三种图像来促进识别驾驶员的手和/或前臂的形状的步骤，和/或促进检测检测区域D中的对象的步骤。

并行实现的示例

根据并行实现，图像处理单元15基于自图像捕获单元11接收到的每个图像实现步骤b1)和b2)，并且实现附加步骤，根据该附加步骤，其确定与对驾驶员手中的干扰对象的存在的检测相关联的置信度指数，根据该置信度指数其推断驾驶员的注意力状态。

更具体地，图像处理单元15针对第一、第二和第三种图像中的每一种独立地实现步骤b1)和b2)。

在实践中，步骤b1)和b2)用三维图像实现，如针对根据本发明的装置10的第一实施例的情况所描述的。

对于二维和热图像，图像处理单元15的处理器件被编程为基于特定于所述热图像和二维图像的形状识别算法，从每个图像的像素中识别与驾驶员的手的图像和/或前臂的图像相关联的那些像素，以及与可能存在于检测区域D中的干扰对象的图像相关联的那些像素。根据手的位置和可能检测到如此定位的手中的干扰对象，图像处理单元15被编程为推断出在这些图像中驾驶员的手的占用与否状态。

在处理第一、第二和可能第三种图像的每个图像结束时，图像处理单元15确定处理的置信度指数，即确定处理是否已导致结果，以及该结果是否确定或是否有点随机。

例如，通过用手掌和每个由三个趾骨组成的五个手指对手进行建模，如果在图像中识别出手掌和五个手指，则置信度指数指数最大；当识别出较少的元件时，指数较低，例如当识别出手掌和仅两个手指时。

图像处理单元15基于处理已导致最高置信度指数的图像(即，其结果是最确定的)来确定驾驶员的手的实际占用与否状态(占用或自由)。

作为变型，仍然根据根据本发明的装置的该第二实施例，代替并行或顺序实现步骤b1)和b2)，图像处理单元15包括处理器件，该处理器件包括神经网络，该神经网络经过训练以基于检测区域D的图像直接识别手的占用与否状态。

在实践中，神经网络在根据本发明的装置中使用之前根据与第一实施例的情况所描述的相同的原理进行训练，除了它利用第一种、第二种和可能第三种图像被训练。

这样训练的神经网络因此适合于在其输入处接收第一种、第二种和可能第三种图像，以确定驾驶员的手的占用与否状态。

有利地，通过使用不同种的图像作为神经网络的输入，在所述神经网络的输出处给出的结果的可靠性得到改善。

最后，根据本发明的装置以特别有用的方式应用于车辆的车载系统100，包括：

-根据本发明的装置，适用于确定存在于检测区域D中的驾驶员4的至少一只手的占用与否状态，

-所述车辆1的自动驾驶单元50，其被编程为独立于驾驶员控制所述车辆的驾驶设备，以及

-决策单元(未示出)，其被编程为允许驾驶员4在驾驶员的手被确定为处于自由状态的情况下至少部分地控制车辆1的驾驶设备，和/或在确定驾驶员的手处于占用状态的情况下警告驾驶员，和/或使自动驾驶切换到安全模式。

在这种情况下，驾驶设备的项目尤其包括方向盘3，加速和制动踏板，换档杆，转向信号，前灯和挡风玻璃刮水器。因此，车辆的驾驶设备包括用于驾驶的车辆的所有元件。

自动驾驶单元50适合于控制驾驶设备的各个项目，使得所述车辆在没有驾驶员干预的情况下被驾驶。

在这种情况下，允许驾驶员处于警惕不足的状态，即分散注意力，并且他/她可以阅读书籍或查看他/她的移动电话而不会使驾驶处于危险之中。

有时会发生驾驶员希望至少部分地取回驾驶设备的控制(或者自动驾驶单元50要求驾驶员收回控制，例如由于交通状况)。在这种情况下，决策单元被编程为允许驾驶员仅在他/她的整体注意力状态高时，至少部分地控制驾驶设备，特别是当至少他/她的一只手处于自由状态时。

另一方面，当他/她的手中的至少一个处于占用状态时(或者作为变体当双手处于占用状态时)，决策单元不允许驾驶员收回控制，但是可以例如命令显示用于驾驶员的警报消息以提示他/她注意和/或使自动驾驶切换到安全模式，其中自动驾驶单元50控制例如车辆在路肩(或在紧急路肩)上的停放。

方法

在图3中，由根据本发明的装置实现的方法的主要步骤以流程图的形式表示。

根据本发明的用于确定车辆驾驶员的至少一只手的占用状态的方法包括以下步骤：

a)所述车辆1上的图像捕获单元11捕获位于所述车辆1中的检测区域D的至少一个图像，以及

b)图像处理单元15接收所述捕获图像并根据对所述手中的干扰对象的存在的检测来确定驾驶员4的手的占用与否状态，该手位于检测区域D中。

更具体地，在步骤a)(图3中的块E1)处，根据本发明的装置10的图像捕获单元11捕获检测区域D的至少一个第一种图像。

优选地，它捕获检测区域D的相同种或不同种的两个、甚至三个图像，优选地捕获不同种的图像。

优选地，在给定时刻捕获每个不同种的图像，即，所有图像由图像捕获单元11同时捕获或者在相对短的时间间隔内捕获，特别是远小于一分钟。这提供了确保所分析的情况在不同种的图像的捕获之间没有改变。

在步骤b)，图像处理单元15接收在步骤a)捕获的图像。

根据本发明方法的第一种可能的实施方式，使用根据本发明的第一或第二实施例的装置10，由图3中的路线(1)表示，图像处理单元15实现前述步骤，即：

-在至少一个接收图像中检测驾驶员的手臂的至少一部分(框F1)；

-在所述图像或从图像捕获单元11接收的图像中定位驾驶员的手(框F2)，在这种情况中这取决于检测到上述手臂的部分的位置；

-检测驾驶员的手中的所述干扰对象的存在，以推断驾驶员的手的占用与否状态(框3)；

当在步骤a)通过根据本发明的装置10的第二实施例的图像捕获单元11捕获不同种的两个图像时，步骤b)的实现可以是顺序的或并行的，如前所述。

根据本发明方法的第二种可能的实施方式，使用装置10的第一和第二实施例的变型，其中图像处理单元15包括训练的神经网络，由图3中的路线(2)表示，所述图像处理单元15基于从图像捕获单元11接收的图像直接识别手的占用与否状态(图3中的块G)。

不管考虑到该方法的实施方式，在步骤b)，图像处理单元15将驾驶员的手的占用与否状态发送到需要它的车辆的装置(图3中的框E2)，在自动驾驶车辆的情况下特别是决策单元，或者用于监控车辆的当前驾驶员的装置。

还可以考虑根据本发明的装置向驾驶员通知他/她的手中的至少一个的占用状态，以便促使他/她再次集中精力于他/她的驾驶。

有利地，另外设置附加步骤，根据该附加步骤，考虑到驾驶员的手的占用与否状态和/或由其他已知手段确定的驾驶员的警惕状态来确定驾驶员的整体注意力状态。

有利地，当独立于驾驶员控制所述车辆的驾驶设备的项目时，另外提供一步骤，根据该步骤，允许驾驶员在驾驶员的手被确定为处于自由状态的情况下至少部分地控制车辆的驾驶设备，和/或在确定驾驶员的手处于占用状态的情况下警告驾驶员，和/或使自动驾驶切换到安全模式。

根据本发明的装置、系统和方法在部分或完全自动驾驶情况下特别有利，在此期间允许驾驶员放松他/她的注意力，即表现出不充分的警惕状态。在这些情况下驾驶员的位置可以改变到这样的程度，即他/她不再面对任何适于捕获他/她的头部图像的监控装置来评估他/她的警惕水平。因此，确定驾驶员的手的占用与否状态以掌握他/她的整体注意力状态是非常有用的。

此外，借助于本发明，提供了除用于监控驾驶员的可行装置已经提供的信息之外的信息。

最后，本发明适用于任何类型的车辆，包括运输车辆，例如船，卡车和火车。

Claims (12)

1.一种用于确定车辆（1）的驾驶员的注意力状态的装置（10），包括：

- 所述车辆（1）上的图像捕获单元（11），所述图像捕获单元（11）适于捕获位于所述车辆（1）中的检测区域（D）的至少一个捕获图像，以及

- 图像处理单元（15），其适于接收所述捕获图像并被编程以根据对驾驶员（4）的一只手中的干扰对象的存在的检测来确定驾驶员（4）的注意力状态，该手位于检测区域（D）中，

其中，所述图像捕获单元（11）至少包括：

- 第一传感器（12），适于捕获至少一个第一种图像，所述第一种图像包括与位于检测区域（D）中的所述干扰对象或所述手有关的第一类信息，以及

- 第二传感器（13），适于捕获至少一个第二种图像，所述第二种图像不同于所述第一种图像，所述第二种图像包括与位于检测区域（D）中的所述干扰对象或所述手有关的第二类信息。

2.根据权利要求1所述的装置（10），其中，第一种图像选自：三维图像，包括关于至少位于检测区域（D）中的所述干扰对象和/或所述手相对于所述第一传感器（12）的距离的信息；二维图像，包括关于至少位于检测区域（D）中的所述干扰对象和/或所述手的亮度的信息；以及热图像，包括与位于检测区域（D）中的至少所述干扰对象和/或所述手的温度有关的信息。

3.根据权利要求1或2所述的装置（10），其中，图像捕获单元（11）另外包括至少一个第三传感器，所述至少一个第三传感器适于捕获与所述第一种图像和第二种图像不同的第三种图像，所述第三种图像包括与位于检测区域（D）中的所述干扰对象和/或所述手相关的第三类信息。

4.根据权利要求3所述的装置（10），其中，第三种图像选自：三维图像，包括关于至少位于检测区域中的所述干扰对象和/或所述手相对于所述第三传感器的距离的信息；二维图像，包括关于至少位于检测区域中的所述干扰对象和/或所述手的亮度的信息；以及热图像，包括与位于检测区域中的至少所述干扰对象和/或所述手的温度有关的信息。

5.根据权利要求1或2所述的装置（10），其中，图像处理单元（15）被编程为执行以下步骤：

b1）在从图像捕获单元（11）接收到的所述图像中定位驾驶员（4）的所述手（F1，F2），

b2）检测驾驶员（4）的所述手中的所述干扰对象的存在，以推断出驾驶员（4）的注意力状态（F3）。

6.根据权利要求5所述的装置（10），其中，图像处理单元（15）被编程为根据以下子步骤实现步骤b1）：

- 在从图像捕获单元接收到的图像中检测驾驶员的手臂的至少一部分（F1），以及

- 基于在从图像捕获单元接收到的图像中检测到驾驶员的手臂的部分的位置，推断出驾驶员的所述手在从图像捕获单元接收到的所述图像中的位置（F2）。

7.根据权利要求5所述的装置（10），其中，图像处理单元（15）被编程为根据以下子步骤实现步骤b2）：

- 检测驾驶员手中的任何对象的存在，和

- 确定驾驶员手中的所述检测到的对象的性质，以推断出驾驶员的注意力状态。

8.根据权利要求5所述的装置（10），其中，图像处理单元（15）基于第一种图像实现步骤b1），并且基于与第一种图像不同种的图像实现步骤b2）。

9.根据权利要求5所述的装置（10），其中，图像处理单元（15）基于自图像捕获单元（11）接收到的每个图像实现步骤b1）和b2），并且实现附加步骤，根据该附加步骤，其确定与对驾驶员（4）的手中的干扰对象的存在的检测相关联的置信度指数，根据该置信度指数其推断驾驶员（4）的注意力状态。

10.根据权利要求1或2所述的装置（10），其中，图像处理单元（15）包括处理器件，该处理器件使用被训练的神经网络，以基于由图像捕获单元（11）捕获的检测区域（D）的图像来确定驾驶员的注意力状态。

11.一种用于车辆的车载系统（100），包括：

- 根据权利要求1至10中任一项所述的装置（10），其适于确定驾驶员（4）的注意力状态，

- 所述车辆（1）的自主驾驶单元（50），其被编程为独立于驾驶员控制所述车辆（1）的驾驶设备，以及

- 决策单元，其被编程为允许驾驶员在确定驾驶员的手处于自由状态的情况下至少部分地控制车辆的驾驶设备。

12.一种用于确定车辆（1）的驾驶员（4）的注意力状态的方法，根据所述方法：

a）所述车辆（1）上的图像捕获单元（11）捕获位于所述车辆中的检测区域（D）的至少一个捕获图像，以及

- 图像处理单元（15）接收所述捕获图像并根据对驾驶员的一只手中的干扰对象的存在的检测来确定驾驶员的注意力状态，该手位于检测区域（D）中，

其中，所述图像捕获单元（11）至少包括：

- 第一传感器（12），适于捕获至少一个第一种图像，所述第一种图像包括与位于检测区域（D）中的所述干扰对象或所述手有关的第一类信息，以及

- 第二传感器（13），适于捕获至少一个第二种图像，所述第二种图像不同于所述第一种图像，所述第二种图像包括与位于检测区域（D）中的所述干扰对象或所述手有关的第二类信息。