CN112590798B - 用于检测驾驶员状态的方法、装置、电子设备和介质 - Google Patents

Abstract

本公开的实施例公开了用于检测驾驶员状态的方法、装置、电子设备和介质。该方法的一具体实施方式包括：获取目标车辆的驾驶员状态数据、目标车辆的驾驶员操作数据和目标车辆的环境数据；基于驾驶员状态数据，生成驾驶员状态异常的概率值，作为第一异常概率值；基于驾驶员操作数据，生成驾驶员操作异常的概率值，作为第二异常概率值；基于环境数据，生成环境数据异常的概率值，作为第三异常概率值；将第一概率值、第二概率值和第三概率值进行融合，生成检测后的驾驶员异常概率值。该实施方式采用了多种传感器数据进行驾驶员检测，提高了驾驶员异常概率检测结果的准确度。进而提高了驾驶员的安全性。

Description

用于检测驾驶员状态的方法、装置、电子设备和介质

技术领域

本公开的实施例涉及计算机技术领域，具体涉及用于检测驾驶员状态的方法、装置、电子设备和介质。

背景技术

驾驶员状态检测，指的是检测驾驶员注意力的一项技术。常用的驾驶员状态检测方法可以是通过对单个传感器得到的驾驶员状态数据进行分析生成驾驶员状态信息。

然而，当采用上述方法进行检测驾驶员状态时，往往会存在如下技术问题：

第一，由于其他传感器的驾驶员状态数据与单个传感器的驾驶员状态数据之间反映的状况不同，使得驾驶员状态信息检测结果不够稳定，有限的保证了驾驶员的安全性；

第二，仅仅利用单个传感器采集的数据对驾驶员状态进行检测，会导致驾驶员状态检测结果的精确度偏低。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了用于检测驾驶员状态的方法、装置、电子设备和介质，来解决以上背景技术部分提到的技术问题中的一项或多项。

第一方面，本公开的一些实施例提供了一种用于检测驾驶员状态的方法，该方法包括：获取目标车辆的驾驶员状态数据、目标车辆的驾驶员操作数据和目标车辆周围的环境数据；基于上述驾驶员状态数据，生成驾驶员状态异常的概率值，作为第一异常概率值；基于上述驾驶员操作数据，生成驾驶员操作异常的概率值，作为第二异常概率值；基于上述环境数据，生成环境数据异常的概率值，作为第三异常概率值；将上述第一概率值、上述第二概率值和上述第三概率值进行融合，生成检测后的驾驶员异常概率值。

第二方面，本公开的一些实施例提供了一种用于检测驾驶员状态的装置，装置包括：获取单元，被配置成获取目标车辆的驾驶员状态数据、目标车辆的驾驶员操作数据和目标车辆周围的环境数据；获取单元，被配置成获取目标车辆的驾驶员状态数据、目标车辆的驾驶员操作数据和目标车辆的环境数据；第一生成单元，基于上述驾驶员状态数据，生成驾驶员状态异常的概率值，作为第一异常概率值；第二生成单元，被配置成基于上述驾驶员操作数据，生成驾驶员操作异常的概率值，作为第二异常概率值；第三生成单元，被配置成基于上述环境数据，生成环境数据异常的概率值，作为第三异常概率值；融合单元，被配置成将上述第一概率值、上述第二概率值和上述第三概率值进行融合，生成检测后的驾驶员异常概率值。

第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；摄像头，被配置成采集图像；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中所描述的方法。

第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面中所描述的方法。

本公开的上述各个实施例中的一个实施例具有如下有益效果：首先，获取同一时刻的目标车辆的驾驶员状态数据、目标车辆的驾驶员操作数据和目标车辆周围的环境数据。然后，利用目标车辆的驾驶员状态数据生成驾驶员状态异常的概率值，得到第一异常概率值。使得根据驾驶员状态数据可以稳定的生成驾驶员状态异常概率值。之后，利用目标车辆的驾驶员操作数据生成驾驶员操作异常的概率值，得到第二异常概率值。使得根据驾驶员操作数据可以稳定的生成驾驶员操作异常概率值。再然后，利用目标车辆的环境数据生成环境数据异常的概率值，得到第三异常概率值。使得根据驾驶员车辆行驶数据可以稳定的生成驾驶员车辆行驶异常概率值。其次，将第一异常概率值、第二异常概率值和第三异常概率值进行融合，得到驾驶员异常概率值。使得多个稳定生成的驾驶员异常概率值对最终驾驶员异常结果的反映可以统一。由于提高了生成驾驶员检测结果的稳定程度，从而，提高了驾驶员异常概率检测结果的准确度。可选的，还可以将出现驾驶员异常状态的信息发送至车载终端，以供该车载终端对驾驶员发出异常提示信号。进而，提高了驾驶员的安全性。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1是根据本公开的一些实施例的用于检测驾驶员状态的方法的一个应用场景示意图；

图2是根据本公开的用于检测驾驶员状态的方法的一些实施例的流程图；

图3是根据本公开的用于检测驾驶员状态的装置的一些实施例的结构示意图；

图4是根据本公开的用于检测驾驶员状态的方法的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

下面将参考附图并结合实施例来详细说明本公开。

图1是本公开的一些实施例的用于检测驾驶员状态的方法的一个应用场景的示意图。

如图1所示，首先，计算设备101可以获取目标车辆的驾驶员状态数据102、目标车辆的驾驶员操作数据103和目标车辆的环境数据104。然后，基于上述驾驶员状态数据102，生成驾驶员状态异常的概率值，作为第一异常概率值105。基于上述驾驶员操作数据103，生成驾驶员操作异常的概率值，作为第二异常概率值106。基于上述环境数据104，生成环境数据异常的概率值，作为第三异常概率值107。最后，将上述第一概率值105、上述第二概率值106和上述第三概率值107进行融合，生成检测后的驾驶员异常概率值108。

需要说明的是，上述计算设备101可以是硬件，也可以是软件。当计算设备为硬件时，可以实现成多个服务器或终端设备组成的分布式集群，也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时，可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

应该理解，图1中的计算设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的计算设备。

继续参考图2，示出了根据本公开的用于检测驾驶员状态的方法的一些实施例的流程200。该用于检测驾驶员状态的方法，包括以下步骤：

步骤201，获取目标车辆的驾驶员状态数据、目标车辆的驾驶员操作数据和目标车辆周围的环境数据。

在一些实施例中，用于检测驾驶员状态的方法的执行主体(如图1所示的计算设备101)可以通过有线连接方式或者无线连接方式从目标车辆的车辆传感器中获取目标车辆的驾驶员状态数据、目标车辆的驾驶员操作数据和目标车辆周围的环境数据。具体的，驾驶员状态数据可以是目标车辆的车辆传感器提供的。驾驶员操作数据可以是目标车辆控制终端提供的。目标车辆周围的环境数据可以是目标车辆的车载外部相机拍摄的道路环境图像提供的。其中，上述目标车辆的驾驶员状态数据、目标车辆的驾驶员操作数据和目标车辆的环境数据可以是同一时刻的数据。

在一些实施例的一些可选的实现方式中，上述执行主体获取目标车辆的驾驶员状态数据、目标车辆的驾驶员操作数据和目标车辆的环境数据。其中，上述驾驶员数据包括但不限于以下至少一项：驾驶员视线角度数据值，驾驶员打哈欠数据值以及驾驶员闭眼数据值。具体的，驾驶员默认视线可以是驾驶员视线平视正前方时的视线，那么，驾驶员默认视线角度值可以是零度。上述驾驶员视线角度可以是某一时刻驾驶员的视线与上述默认视线之间的夹角度数。某一时刻的驾驶员视线角度数据值可以是0-90度。在各个方向上视线角度数据值都大于等于零度。驾驶员打哈欠数据在同一时刻可以是驾驶员打哈欠数据和驾驶员不打哈欠数据其中的一种情况。其中，驾驶员打哈欠数据值可以是驾驶员驾驶目标车辆在行驶过程中的某一时刻使用数值“1”代指的驾驶员打哈欠的情况。或者是上述某一时刻使用数值“0”代指的驾驶员不打哈欠的情况。驾驶员闭眼数据在同一时刻可以是驾驶员闭眼数据和驾驶员不闭眼数据其中的一种情况。其中，驾驶员闭眼数据值可以是上述某一时刻使用数值“1”代指的驾驶员闭眼的情况。或者是上述某一时刻使用数值“0”代指的驾驶员不闭眼的情况。

上述驾驶员操作数据包括但不限于以下至少一项：在预定时间段内的多个方向盘转角的方差值，在上述预定时间段内的油门踏板幅度值，在上述预定时间段内的制动踏板幅度值。具体的，在预定时间段内的油门踏板幅度值可以是在预定时间段内的多个油门踏板幅度值中的一个油门踏板幅度值。该油门踏板幅度值的时间占用比例大于预定时间比例。在预定时间段内的制动踏板幅度值可以是在预定时间段内的多个制动踏板幅度值中的一个制动踏板幅度值。该制动踏板幅度值的时间站用比例大于上述预定时间比例。其中，预定时间段可以是以上述某一时刻为最终时间点与之前另一个时刻之间的时间间隔。例如，上述某一时刻可以是：“1分20秒”。之前另一个时刻可以是：“1分15秒”。那么，时间间隔可以是：“五秒”。所以，预定时间段可以是包括某一时刻“1分20秒”在内的一个时间段“5秒”。

上述环境数据包括但不限于以下至少一项：目标车辆所在车道的车道宽度值，目标车辆的宽度值，上述预定时间段内目标车辆与目标车道线之间的多个距离的均值以及上述预定时间段内目标车辆与目标车道线之间的多个距离的方差值。具体的，目标车道线可以是目标车辆在行驶过程中所在的车道的两条车道线的其中一条车道线。其中，两条车道线的其中一条车道线可以是以车辆行驶方向为标准的两条车道线的左车道线。预定时间段内目标车辆与目标车辆的行驶方形的左侧车道线之间的多个距离的均值可以是预定时间段内以目标车辆后桥中心点为原点，距离目标车辆所在车道线中的左侧车道线的多个距离值得到的均值。预定时间段内多个左车道线的方差值可以是预定时间段内以目标车辆后桥中心点为原点，距离目标车辆所在车道线中的左侧车道线的多个距离值的方差。

作为示例：默认驾驶员视线角度值可以是：45。驾驶员视线角度值可以是：50。驾驶员打哈欠数据值可以是：0。驾驶员闭眼数据值可以是：0。预定时间段内的多个方向盘转角度可以是：[11，12，10，9，10，8]，方差值可以是：2。预定时间段内的油门踏板幅度值可以是：5。预定时间段内的制动踏板幅度值：0。目标车辆所在车道线的宽度值可以是：3。目标车辆的宽度值可以是1.5。预定时间段内多个左车道线的均值可以是：1.5。预定时间段内多个左车道线的值可以是：[1.3，1.4，1.5，1.6，1.7]，方差值可以是：0.025。

步骤202，基于上述驾驶员状态数据，生成驾驶员状态异常的概率值，作为第一异常概率值。

在一些实施例中，上述执行主体可以利用驾驶员的状态数据值，对驾驶员的异常情况进行分析，生成具体的驾驶员异常概率值，作为第一个驾驶员的异常概率值。

作为示例，驾驶员状态可以是低头。那么，当驾驶员状态检测结果为连续低头时，驾驶员可能在打瞌睡。从而，驾驶员的异常概率值就会增大。

在一些实施例的一些可选的实现方式中，上述执行主体可以将上述驾驶员视线角度数据值、驾驶员打哈欠数据值以及驾驶员闭眼数据值输入至以下第一概率公式以生成驾驶员状态异常的概率值，作为第一异常概率值：

其中，i表示第i时刻。P表示概率值。P₁表示第一异常概率值。

表示第i时刻的第一异常概率值。D₁、D₂表示第一概率公式中的两个权重且相加等于1。θ表示驾驶员视线角度数据值。θ_i表示第i时刻驾驶员视线角度数据值。θ₀表示默认视线角度数据值。v表示驾驶员闭眼数据值。v_i表示第i时刻驾驶员闭眼数据值。μ表示驾驶员打哈欠数据值。μ_i表示第i时刻驾驶员打哈欠数据值。max()表示选出括号中的最大值。min()表示选出括号中的最小值。其中，D₁，D₂取值都在0到1之间。驾驶员默认视线可以是驾驶员视线平视正前方时的视线，那么，驾驶员默认视线角度值可以是零度。上述驾驶员的角度可以是某一时刻驾驶员的实现视线与上述默认视线之间的夹角度数。某一时刻的驾驶员视线角度数据值可以是0-90度。在各个方向上视线角度数据值都大于等于零度。

具体的，上述权重可以是提前设定的。利用驾驶员时间角度数值与默认视线角度数据值确定一个概率参数，得到驾驶员在某一时刻的视线所在位置，可以作为驾驶员状态异常的一个参数。另外根据驾驶员的打哈欠数据值和闭眼数据值以及人为设定的权重，生成第一异常概率值。其中，驾驶员默认视线角度数据可以是驾驶员视线平视正前方时的视线，其值可以是零度。上述驾驶员的角度可以是某一时刻驾驶员的实现视线与上述默认视线之间的夹角度数。某一时刻的驾驶员视线角度数据值可以是0-90度。在各个方向上视线角度数据值都大于等于零度。此种方法利用驾驶员的状态数据以及提前设定的状态权重，可以更直观明了地呈现出驾驶员状态异常数据。

作为示例，第i时刻可以是驾驶员驾驶目标车辆行驶过程中的任意时刻。默认驾驶员视线角度值可以是：45。驾驶员视线角度值可以是：50。权重D₁可以是：0.5。权重D₂可以是：0.5。驾驶员打哈欠数据值可以是：0。驾驶员闭眼数据值可以是：0。那么，得到的第一异常概率值可以是：0。

步骤203，基于上述驾驶员操作数据，生成驾驶员操作异常的概率值，作为第二异常概率值。

在一些实施例中，上述执行主体可以基于驾驶员对所在车辆的一些操作数据，生成驾驶员状态异常情况下对所在车辆的操作存在异常的概率值。

作为示例，驾驶员操作方向盘角度突然变动较大，导致车辆突然转弯，那么，驾驶员的操作存在异常的概率值可以突然变大。

在一些实施例的一些可选的实现方式中，上述执行主体可以将上述在预定时间段内的多个方向盘转角的方差值、在上述预定时间段内的油门踏板幅度值，在上述预定时间段内的制动踏板幅度值输入至以下第二概率公式以生成驾驶员操作异常的概率值，作为第二异常概率值：

其中，P₂表示第二异常概率值。

表示第i时刻的第二异常概率值。C₁、C₂表示第二概率公式中的两个权重且相加等于1，C₁、C₂取值范都在0到1之间。α表示在预定时间段内的多个方向盘转角的方差值。β表示预定时间段内的油门踏板幅度值。γ表示预定时间段内的制动踏板幅度值。

具体的，上述第二概率公式中的权重可以是预先根据驾驶员手和脚操作的不同数据对驾驶员操作异常概率的影响而确定的。其中，在操作异常情况下驾驶员的上肢的操作会比下肢的操作更容易引发变化，所以驾驶员的上肢操作方向盘的数据的权重可以比驾驶员下肢操作的油门以及刹车的权重略大，最终计算出来的驾驶员操作异常概率值可以更加符合真实性、更加准确。

作为示例，预定时间段内的多个方向盘转角度可以是：[11，12，10，9，10，8]，方差值可以是：2。权重C₁可以是：0.6。权重C₂可以是：0.4。预定时间段内的油门踏板幅度值可以是：5。预定时间段内的制动踏板幅度值：0。那么，生成的驾驶员操作异常的概率值可以是：1.16。

步骤204，基于上述环境数据，生成环境数据异常的概率值，作为第三异常概率值。

在一些实施例中，上述执行主体可以利用目标车辆周围的环境数据值，生成某一时刻车辆在行驶过程中的行驶路线与正常行驶存在异常的概率值。

作为示例，当车辆周围的环境数据突然从道路变为草地，那么，驾驶员驾驶车辆行驶的异常可能性非常大，从而，异常的概率值也可以随之变大。

在一些实施例的一些可选的实现方式中，上述执行主体可以将上述目标车辆所在车道线的宽度值、目标车辆的宽度值、上述预定时间段内多个左车道线的均值以及上述预定时间段内多个左车道线的方差值输入至以下第三概率公式以生成环境数据异常的概率值，作为第三异常概率值：

其中，P₃表示第三异常概率值。

表示第i时刻的第三异常概率值。L₁、L₂表示第三概率公式中的两个权重且相加等于1。两个权重L₁、L₂的取值都可以是0到1之间。E表示上述预定时间段内目标车辆与目标车道线之间的多个距离的均值。V表示上述预定时间段内目标车辆与目标车道线之间的多个距离的方差值。lanew表示目标车辆所在车道的车道线的宽度值。vehiclew表示目标车辆的宽度值。

具体的，预定时间段内多个左车道线的均值可以是预定时间段内以目标车辆后桥中心点为原点距离目标车辆所在车道线中的左侧车道线的多个距离值得到的均值。预定时间段内多个左车道线的方差值可以是预定时间段内以目标车辆后桥中心点为原点距离目标车辆所在车道线中的左侧车道线的多个距离值的方差。其中，上述公式可以先以所在车道的左车道线为基准，利用预定时间段的行驶数据计算出的车辆行驶路线的方差值与均值确定车辆行驶偏离程度，方差值与均值的变化越大，偏离程度越高，驾驶员车辆行驶的异常概率也可以约高。另外，方差值与均值对驾驶员车辆行驶异常概率的判断可以是同等重要的，所以，利用驾驶员所在车辆的一些行驶数据，得到的两个参数的权重也可以是相同的。从而，可以更加准确的计算出驾驶员所在车辆行驶状态异常的概率值。

作为示例，目标车辆所在车道线的宽度值可以是：3。目标车辆的宽度值可以是1.5。预定时间段内多个左车道线的均值可以是：1.5。预定时间段内多个左车道线的值可以是：[1.3，1.4，1.5，1.6，1.7]，方差值可以是：0.025。权重L₁可以是：0.5。权重L₂可以是：0.5。那么，第三异常概率值可以是：0.0125。

步骤205，将上述第一概率值、上述第二概率值和上述第三概率值进行融合，生成检测后的驾驶员异常概率值。

在一些实施例中，上述执行主体可以将上述第一概率值、上述第二概率值和上述第三概率值进行融合，生成检测后的驾驶员异常概率值。具体的，将上述第一概率值、上述第二概率值和上述第三概率值按照不同比例进行融合，生成融合之后的当前时刻概率值，作为检测后驾驶员异常的概率值。

在一些实施例的一些可选的实现方式中，上述执行主体可以将上述第一概率值、第二概率值以及第三概率值输入至以下公式中进行融合，生成检测后的驾驶员异常概率值：

其中，ω₁、ω₂、ω₃、a₁、a₂、b₁、b₂表示归一化方程的不同权重。ω₁、ω₂、ω₃相加等于1。a₁、a₂相加等于1。b₁、b₂相加等于1。ω₁、ω₂、ω₃、a₁、a₂、b₁、b₂取值都可以是0到1之间。M、N表示矩阵

中的两个元素。y表示异常。n表示正常。

表示第i时刻的异常概率值。

表示第i时刻的正常概率值。P_x表示归一化后的概率值。Pⁱ⁺¹表示第i+1时刻的检测后的驾驶员异常概率值。

具体的，上述公式可以利用权重对上述由同一时间段得到的一个时间点的三个驾驶员异常概率进行比重划分，其中最重要的概率可以是直接对人脸状态进行检测的概率，所以，第一概率值对应的权重较大，从而，可以更加细粒度的准确的得到驾驶员异常概率值。

作为示例，第一概率值可以是：0。第二概率之可以是：1.16。第三概率值可以是：0.0125。权重ω₁可以是：0.6。权重ω₂可以是：0.15。权重ω₃可以是：0.25。权重a₁可以是：0.9。权重a₂可以是：0.1。权重b₁可以是：0.2。权重b₂可以是：0.8。

可以是：0.5。

可以是：0.5。那么，归一化后的概率值可以是：0.0053。驾驶员在第i+1时刻异常的概率值可以是：0.4947。

上述四个公式作为本公开的实施例的一个发明点，解决了背景技术提及的技术问题二“仅仅利用单个传感器采集的数据对驾驶员状态进行检测，会导致驾驶员状态检测结果的精确度偏低”。导致驾驶员状态检测结果精确度偏低的因素往往如下：现有的驾驶员状态检测往往通过单个传感器采集的数据生成驾驶员状态检测结果，而单个传感器采集的数据比较片面，不能同时综合其他的驾驶员状态数据进行检测，导致生成的驾驶员状态检测结果的精确度偏低。如果解决了上述因素，就能同时使用多种方面的数据进行驾驶员状态综合检测，保证在多方面数据支持的情况下提高驾驶员状态检测结果的准确度。为了达到这一效果，本公开针对不同传感器得到的数据使用了不同计算方式，用来生成不同的驾驶员状态检测结果。综合不同的驾驶员检测结果得到最终驾驶员状态检测结果以提高驾驶员状态检测的准确度。

首先，上述第一个公式可以根据驾驶员状态数据：打哈欠数据、视线角度数据与驾驶员闭眼数据，得到驾驶员第一异常概率值。由于驾驶员状态数据都是比较直观的数据，所以得到的驾驶员状态状态检测的结果更为直观，所以提高了驾驶员状态检测结果的精确度。

然后，上述第二个公式利用了驾驶员对车辆的操作数据得到驾驶员第二异常概率值。这些数据可以是驾驶员精神状态上的体现。另外，在驾驶员操作异常情况下驾驶员的上肢的操作在精神反应上会比下肢的操作更容易触发安全隐患，所以驾驶员的上肢操作方向盘的数据的权重可以比驾驶员下肢操作的油门以及刹车的权重略大，最终计算出来的第二异常概率值可以更加准确。

其次，上述第三个公式利用了驾驶员驾驶的车辆行驶数据得到驾驶员第三异常概率值。当在驾驶员表征状态与驾驶员精神状态未完全体现异常的情况下，可以利用驾驶员车辆行驶数据进行异常分析，从而提前预估驾驶员状态异常情况。所以第三异常概率值可以有效的提高驾驶员状态检测的准确度。

最后，在上述第四个公式中可以先根据驾驶员状态对检测结果所体现的直观程度将赋予第一异常概率值较高的权重。而在实际应用场景中驾驶员精神状态上所体现的驾驶员操作数据一般情况下不会存在较大的异常概率，所以将赋予第二异常概率值较低的权重，之后将归一化所剩余的权重赋予第三异常概率值。最终，根据上述细粒度的权重划分可以得到更加准确的驾驶员状态检测结果。从而，达到了提高驾驶员状态检测结果的精确度的效果。

在一些实施例的一些可选的实现方式中，上述执行主体还可以响应于上述检测后的驾驶员异常概率值满足预定条件，将上述检测后的驾驶员异常概率值发送至车载终端，以供上述车载终端对上述驾驶员发出异常提示信号。其中，满足预定条件可以是大于驾驶员异常的预定概率值。具体的，上述执行主体根据数据生成当前时刻驾驶员异常的概率值后，与预定驾驶员异常概率阈值相比较。响应于当前时刻驾驶员异常的概率值大于预定驾驶员异常概率阈值，将驾驶员异常的概率值发送至车载终端，以供车载终端对驾驶员发出异常提示信号。例如，驾驶员在当前时刻异常概率值可以是：0.4947。预定驾驶员异常概率阈值可以是：0.25。其中，驾驶员在当前时刻异常概率值大于预定驾驶员异常概率阈值。那么，上述执行主体会将驾驶员异常概率值发送至车载终端，车载终端可以根据驾驶员异常概率值对驾驶员发出异常提示信号。

本公开的上述各个实施例中的一个实施例具有如下有益效果：首先，获取同一时刻的目标车辆的驾驶员状态数据、目标车辆的驾驶员操作数据和目标车辆周围的环境数据。然后，利用目标车辆的驾驶员状态数据生成驾驶员状态异常的概率值，得到第一异常概率值。使得根据驾驶员状态数据可以稳定的生成驾驶员状态异常概率值。之后，利用目标车辆的驾驶员操作数据生成驾驶员操作异常的概率值，得到第二异常概率值。使得根据驾驶员操作数据可以稳定的生成驾驶员操作异常概率值。再然后，利用目标车辆的环境数据生成环境数据异常的概率值，得到第三异常概率值。使得根据驾驶员车辆行驶数据可以稳定的生成驾驶员车辆行驶异常概率值。其次，将第一异常概率值、第二异常概率值和第三异常概率值进行融合，得到驾驶员异常概率值。使得多个稳定生成的驾驶员异常概率值对最终驾驶员异常结果的反映可以统一。由于提高了生成驾驶员检测结果的稳定程度。从而，提高了驾驶员异常概率检测结果的准确度。可选的，将出现驾驶员异常状态的信息发送至车载终端，以供该车载终端对驾驶员发出异常提示信号。进而，提高了驾驶员的安全性。

进一步参考图3，作为对上述各图上述方法的实现，本公开提供了一种驾驶员状态检测的装置的一些实施例，这些装置实施例与图2上述的那些方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图3所示，一些实施例的驾驶员状态检测的装置300包括：获取单元301、第一生成单元302、第二生成单元303、第三生成单元304、处理单元305。其中，获取单元301，被配置成获取目标车辆的驾驶员状态数据、目标车辆的驾驶员操作数据和目标车辆的环境数据；第一生成单元302，基于上述驾驶员状态数据，生成驾驶员状态异常的概率值，作为第一异常概率值；第二生成单元303，被配置成基于上述驾驶员操作数据，生成驾驶员操作异常的概率值，作为第二异常概率值；第三生成单元304，被配置成基于上述环境数据，生成环境数据异常的概率值，作为第三异常概率值；融合单元305，被配置成将上述第一概率值、上述第二概率值和上述第三概率值进行融合，生成检测后的驾驶员异常概率值。

可以理解的是，该装置300中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置300及其中包含的单元，在此不再赘述。

下面参考图4，其示出了适于用来实现本公开的一些实施例的电子设备(例如图1中的计算设备101)400的结构示意图。图4示出的服务器仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。

如图4所示，电子设备400可以包括处理装置(例如中央处理器、图形处理器等)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储装置408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有电子设备400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM403通过总线404彼此相连。输入/输出(I/O)接口404也连接至总线404。

通常，以下装置可以连接至I/O接口404：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408；以及通信装置409。通信装置409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备400，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图4中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。

特别地，根据本公开的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置408被安装，或者从ROM 402被安装。在该计算机程序被处理装置401执行时，执行本公开的一些实施例的方法中限定的上述功能。

需要说明的是，本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述装置中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取目标车辆的驾驶员状态数据、目标车辆的驾驶员操作数据和目标车辆的环境数据；基于上述驾驶员状态数据，生成驾驶员状态异常的概率值，作为第一异常概率值；基于上述驾驶员操作数据，生成驾驶员操作异常的概率值，作为第二异常概率值；基于上述环境数据，生成环境数据异常的概率值，作为第三异常概率值；将上述第一概率值、上述第二概率值和上述第三概率值进行融合，生成检测后的驾驶员异常概率值。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、第一生成单元、第二生成单元、第三生成单元、融合单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取目标车辆的驾驶员状态数据、目标车辆的驾驶员操作数据和目标车辆的环境数据的单元”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等。

以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方法。

Claims (8)

1.一种用于检测驾驶员状态的方法，包括：

获取目标车辆的驾驶员状态数据、目标车辆的驾驶员操作数据和目标车辆周围的环境数据；

基于所述驾驶员状态数据，生成驾驶员状态异常的概率值，作为第一异常概率值；

基于所述驾驶员操作数据，生成驾驶员操作异常的概率值，作为第二异常概率值；

基于所述环境数据，生成环境数据异常的概率值，作为第三异常概率值；

将所述第一异常概率值、所述第二异常概率值和所述第三异常概率值进行融合，生成检测后的驾驶员异常概率值；

其中，所述驾驶员状态数据包括：驾驶员视线角度数据值，驾驶员打哈欠数据值，驾驶员闭眼数据值；所述驾驶员操作数据包括：在预定时间段内的多个方向盘转角度的方差值，在所述预定时间段内的油门踏板幅度值，在所述预定时间段内的制动踏板幅度值；所述环境数据包括：目标车辆所在车道的车道宽度值，目标车辆的宽度值，所述预定时间段内目标车辆与目标车道线之间的多个距离的均值，所述预定时间段内目标车辆与目标车道线之间的多个距离的方差值；

其中，所述基于所述驾驶员状态数据，生成驾驶员状态异常的概率值，作为第一异常概率值，包括：

将所述驾驶员视线角度数据值、所述驾驶员打哈欠数据值以及所述驾驶员闭眼数据值输入至以下第一概率公式以生成驾驶员状态异常的概率值，作为第一异常概率值：

其中，i表示第i时刻；P表示概率值；P₁表示第一异常概率值；

表示第i时刻的第一异常概率值；D₁、D₂表示第一概率公式中的两个权重且相加等于1；θ表示驾驶员视线角度数据值；θ_i表示第i时刻驾驶员视线角度数据值；θ₀表示驾驶员默认视线角度数据值；v表示驾驶员闭眼数据值；v_i表示第i时刻驾驶员闭眼数据值；μ表示驾驶员打哈欠数据值；μ_i表示第i时刻驾驶员打哈欠数据值；max()表示选出括号中的最大值；min()表示选出括号中的最小值。

2.根据权利要求1所述的方法，其中，所述方法还包括：

响应于所述检测后的驾驶员异常概率值满足预定条件，将所述检测后的驾驶员异常概率值发送至车载终端，以供所述车载终端对所述驾驶员发出异常提示信号。

3.根据权利要求1所述的方法，其中，所述基于所述驾驶员操作数据，生成驾驶员操作异常的概率值，作为第二异常概率值，包括：

将所述预定时间段内的多个方向盘转角的方差值、所述预定时间段内的油门踏板幅度值以及所述预定时间段内的制动踏板幅度值输入至以下第二概率公式以生成驾驶员操作异常的概率值，作为第二异常概率值：

其中，P₂表示第二异常概率值；

表示第i时刻的第二异常概率值；C₁、C₂分别表示第二概率公式中的两个权重且相加等于1；α表示在预定时间段内的多个方向盘转角度的方差值；β表示预定时间段内的油门踏板幅度值；γ表示预定时间段内的制动踏板幅度值。

4.根据权利要求1所述的方法，其中，所述基于所述环境数据，生成环境数据异常的概率值，作为第三异常概率值，包括：

将所述目标车辆所在车道的车道宽度值、所述目标车辆的宽度值、所述预定时间段内目标车辆与目标车道线之间的多个距离的均值以及所述预定时间段内目标车辆与目标车道线之间的多个距离的方差值输入至以下第三概率公式以生成环境数据异常的概率值，作为第三异常概率值：

其中，P₃表示第三异常概率值；

表示第i时刻的第三异常概率值；L₁、L₂表示第三概率公式中的两个权重且相加等于1；E表示所述预定时间段内目标车辆与目标车道线之间的多个距离的均值；V表示所述预定时间段内目标车辆与目标车道线之间的多个距离的方差值；lanew表示目标车辆所在车道的车道宽度值；vehiclew表示目标车辆的宽度值。

5.根据权利要求1所述的方法，其中，所述将所述第一概率值、所述第二概率值和所述第三概率值进行融合，生成检测后的驾驶员异常概率值，包括：

将所述第一概率值、第二概率值以及第三概率值输入至以下公式中进行融合，生成检测后的驾驶员异常概率值：

其中，ω₁、ω₂、ω₃、a₁、a₂、b₁、b₂表示归一化方程的不同权重；ω₁、ω₂、ω₃相加等于1；a₁、a₂相加等于1；b₁、b₂相加等于1；M、N表示矩阵

中的两个元素；y表示异常；n表示正常；

表示第i时刻的异常概率值；

表示第i时刻的正常概率值；P_x表示归一化后的概率值；Pⁱ⁺¹表示第i+1时刻的检测后的驾驶员异常概率值。

6.一种用于检测驾驶员状态的装置，包括：

获取单元，被配置成获取目标车辆的驾驶员状态数据、目标车辆的驾驶员操作数据和目标车辆周围的环境数据；

第一生成单元，基于所述驾驶员状态数据，生成驾驶员状态异常的概率值，作为第一异常概率值；

第二生成单元，被配置成基于所述驾驶员操作数据，生成驾驶员操作异常的概率值，作为第二异常概率值；

第三生成单元，被配置成基于所述环境数据，生成环境数据异常的概率值，作为第三异常概率值；

融合单元，被配置成将所述第一异常概率值、所述第二异常概率值和所述第三异常概率值进行融合，生成检测后的驾驶员异常概率值；

其中，所述驾驶员状态数据包括：驾驶员视线角度数据值，驾驶员打哈欠数据值，驾驶员闭眼数据值；所述驾驶员操作数据包括：在预定时间段内的多个方向盘转角度的方差值，在所述预定时间段内的油门踏板幅度值，在所述预定时间段内的制动踏板幅度值；所述环境数据包括：目标车辆所在车道的车道宽度值，目标车辆的宽度值，所述预定时间段内目标车辆与目标车道线之间的多个距离的均值，所述预定时间段内目标车辆与目标车道线之间的多个距离的方差值；

其中，所述基于所述驾驶员状态数据，生成驾驶员状态异常的概率值，作为第一异常概率值，包括：

将所述驾驶员视线角度数据值、所述驾驶员打哈欠数据值以及所述驾驶员闭眼数据值输入至以下第一概率公式以生成驾驶员状态异常的概率值，作为第一异常概率值：

其中，i表示第i时刻；P表示概率值；P₁表示第一异常概率值；

表示第i时刻的第一异常概率值；D₁、D₂表示第一概率公式中的两个权重且相加等于1；θ表示驾驶员视线角度数据值；θ_i表示第i时刻驾驶员视线角度数据值；θ₀表示驾驶员默认视线角度数据值；v表示驾驶员闭眼数据值；v_i表示第i时刻驾驶员闭眼数据值；μ表示驾驶员打哈欠数据值；μ_i表示第i时刻驾驶员打哈欠数据值；max()表示选出括号中的最大值；min()表示选出括号中的最小值。

7.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

摄像头，被配置成采集图像；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

8.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。

Images