CN109784188A - 驾驶疲劳度评价方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及人工智能中的生物识别，特别涉及微表情识别中的情绪识别，也即一种驾驶疲劳度评价方法、装置、计算机设备和存储介质。方法包括：接收待评估驾驶视频，并提取待评估驾驶视频中的图像帧作为待评估驾驶图像；提取待评估驾驶图像中的待分析驾驶员图像，并识别待分析驾驶员图像的当前情绪信息；统计当前情绪信息所对应的待评估驾驶图像的帧数；根据帧数以及当前情绪信息得到待评估驾驶图像的目标情绪信息；获取驾驶时长，根据驾驶时长与目标情绪信息输出驾驶疲劳度评价结果。采用本方法能够及时评价驾驶过程中的疲劳度。

Description

驾驶疲劳度评价方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种驾驶疲劳度评价方法、装置、计算机设备和存储介质。

背景技术

随着汽车数量的增长，道路安全也越来越受到重视，而驾驶员的疲劳驾驶也变为交通事故发生的原因之一，因此，对疲劳驾驶的监控急需解决。

传统地，对疲劳驾驶的监控均是由交警查询道路安全时人工进行判断，因此导致对疲劳驾驶的判断不及时，无法有效避免疲劳驾驶的发生。

发明内容

基于此，有必要针对上述技术问题，提供一种能够及时有效地监控是否疲劳驾驶的驾驶疲劳度评价方法、装置、计算机设备和存储介质。

一种驾驶疲劳度评价方法，所述方法包括：

接收待评估驾驶视频，并提取所述待评估驾驶视频中的图像帧作为待评估驾驶图像；

提取所述待评估驾驶图像中的待分析驾驶员图像，并识别所述待分析驾驶员图像的当前情绪信息；

统计所述当前情绪信息所对应的所述待评估驾驶图像的帧数；

根据所述帧数以及所述当前情绪信息得到待评估驾驶图像的目标情绪信息；

获取驾驶时长，根据所述驾驶时长与所述目标情绪信息输出驾驶疲劳度评价结果。

在一个实施例中，所述获取驾驶时长，根据所述驾驶时长与所述目标情绪信息输出驾驶疲劳度评价结果，包括：

获取驾驶时长，查询所述驾驶时长对应的驾驶时长得分；

查询所述目标情绪信息所对应的情绪得分；

获取所述驾驶时长得分对应的第一权重，并获取所述情绪得分所对应的第二权重；

根据所述疲劳驾驶时长得分、所述情绪得分、所述第一权重与所述第二权重计算疲劳得分；

根据所述疲劳得分输出驾驶疲劳度评价结果。

在一个实施例中，所述根据所述疲劳得分输出驾驶疲劳度评价结果之后，包括：

查询所述疲劳得分对应的疲劳等级；

当所述疲劳等级为轻度疲劳时，则将与所述轻度疲劳所对应的初级提示信息发送至第一终端；

接收第一终端返回的与所述提示信息对应的调用音频的调用请求，将与所述调用请求对应的音频信息发送至第一终端。

在一个实施例中，所述查询所述疲劳得分对应的疲劳等级之后，包括：

当所述疲劳等级为重度疲劳时，则获取当前位置信息；

根据所述当前位置信息查询停车位置信息，并将所述停车位置信息发送至所述第一终端；

监控车辆到达所述停车位置信息所关联的停车地点时的行驶状态；

当所述行驶状态为行驶时，则获取与所述驾驶员关联的紧急联系人的联系方式；

将与所述重度疲劳对应的高级提示信息发送至所述联系方式对应的第二终端。

在一个实施例中，所述识别所述待分析驾驶员图像的当前情绪信息，包括：

接收所述待分析驾驶员图像对应的当前情绪为标准情绪的情绪概率；

对所得到的所述情绪概率进行排序，并根据排序后的情绪概率提取与预设数量对应的数量的标准情绪；

判断所提取的标准情绪对应的情绪类型是否相同；

当所提取的标准情绪对应的情绪类型不同时，则获取情绪概率最大的标准情绪所对应的所述情绪类型作为当前情绪信息。

在一个实施例中，所述判断所提取的标准情绪对应的情绪类型是否相同之后，包括：

当所提取的所述标准情绪对应有相同的情绪类型时，则查询情绪类型相同的标准情绪；

根据所述情绪类型相同的标准情绪对应的情绪概率计算得到目标概率；

获取所述目标概率以及情绪类型不相同的标准情绪的情绪概率中的最大值；

将所述最大值对应的所述情绪类型作为当前情绪信息。

一种驾驶疲劳度评价装置，所述装置包括：

接收模块，用于接收待评估驾驶视频，并提取所述待评估驾驶视频中的图像帧作为待评估驾驶图像；

提取模块，用于提取所述待评估驾驶图像中的待分析驾驶员图像，并识别所述待分析驾驶员图像的当前情绪信息；

统计模块，用于统计所述当前情绪信息所对应的所述待评估驾驶图像的帧数；

目标情绪信息获得模块，用于根据所述帧数以及所述当前情绪信息得到待评估驾驶图像的目标情绪信息；

疲劳度评价模块，用于获取驾驶时长，根据所述驾驶时长与所述目标情绪信息输出驾驶疲劳度评价结果。

在一个实施例中，所述疲劳度评价模块，包括：

第一查询单元，用于获取驾驶时长，查询所述驾驶时长对应的驾驶时长得分；

第二查询单元，用于查询所述目标情绪信息所对应的情绪得分；

权重获取单元，用于获取所述驾驶时长得分对应的第一权重，并获取所述情绪得分所对应的第二权重；

计算单元，用于根据所述疲劳驾驶时长得分、所述情绪得分、所述第一权重与所述第二权重计算疲劳得分；

输出单元，用于根据所述疲劳得分输出驾驶疲劳度评价结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

上述驾驶疲劳度评价方法、装置、计算机设备和存储介质，无需人工在进行道路安全的检查时对是否疲劳驾驶进行判断，可以是获取待评估驾驶视频，进而提取待评估驾驶视频中的图像帧作为待评估驾驶图像，提取待评估驾驶图像中待分析驾驶员图像，并识别待分析驾驶员图像的当前情绪信息，统计当前情绪信息对应的待评估驾驶图像的帧数，根据该帧数以及当前情绪信息得到待评估驾驶图像的目标情绪信息，进而获取驾驶时长，根据驾驶时长与目标情绪信息输出疲劳度评价结果，则可以及时评价驾驶过程中的疲劳度。

附图说明

图1为一个实施例中驾驶疲劳度评价方法的应用场景图；

图2为一个实施例中驾驶疲劳度评价方法的流程示意图；

图3为一个实施例中驾驶疲劳度评价结果获取步骤的流程示意图；

图4为一个实施例中驾驶疲劳度评价装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的驾驶疲劳度评价方法，可以应用于如图1所示的应用环境中。其中，第一终端102通过网络与服务器104进行通信。第一终端102采集驾驶过程中的驾驶员视频作为待评估驾驶视频，第一终端102将待评估驾驶视频发送至服务器104，服务器104接收到待评估驾驶视频，提取待评估驾驶视频中的图像帧作为待评估驾驶图像，进而提取待评估驾驶图像中的待分析驾驶员图像，并识别待分析图驾驶员图像的当前情绪信息，统计当前情绪信息对应的待评估驾驶图像的帧数，根据帧数以及当前情绪信息得到待评估驾驶图像的目标情绪信息，进而服务器104获取驾驶时长，根据驾驶时长与目标情绪信息输出驾驶疲劳度评价结果。其中，第一终端102可以但不限于是各种智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种驾驶疲劳度评价方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

S202：接收待评估驾驶视频，并提取待评估驾驶视频中的图像帧作为待评估驾驶图像。

具体地，待评估驾驶视频是指在驾驶过程中，由第一终端进行采集的驾驶员的相关视频。待评估驾驶图像是指包含在待评估驾驶视频中的不同帧图像。具体地，在车辆中对应的驾驶员位置处可以设置有相应的第一终端，第一终端可以实时采集驾驶员的视频作为待评估驾驶视频，并将待评估驾驶视频发送至对应的服务器，服务器接收到待评估驾驶视频时，可以查询提取时间，可以按照提取时间从待评估驾驶视频中提取对应的图像帧作为待评估驾驶图像。可以是，服务器接收到待评估驾驶视频时，可以对待评估驾驶视频中的每一帧图像都进行提取，也可以是按照预设的时间段以及时间间隔进行提取，如每间隔3分钟，提取1分钟内的所有图像帧作为待评估图像，例如，从待评估的起始时刻至第一分钟内所有的图像进行提取，进而相隔三分钟，也即从第四分钟开始至第五分钟内所有的图像进行提取，且上述的时间间隔以及提取时间段可以按照不同场景进行设置。

S204：提取待评估驾驶图像中的待分析驾驶员图像，并识别待分析驾驶员图像的当前情绪信息。

具体地，待分析驾驶员图像是指待评估驾驶图像中包含的驾驶员人脸图像。当前情绪信息是指每帧待评估图像中包含的待分析驾驶员图像对应的驾驶员的当前心情。当服务器提取到待评估驾驶图像时，则从待评估驾驶图像中检测到待分析驾驶员图像，进而将检测到的待分析驾驶员图像进行提取，当服务器提取到待分析驾驶员图像时，则识别每帧待评估驾驶图像中的待分析驾驶员图像的当前心情作为当前情绪信息。可以是，当服务器从待评估驾驶视频中提取到待评估驾驶图像，进而可以将每帧待评估驾驶图像输入至训练完成的人脸检测模型中，人脸检测模型可以识别每帧待评估驾驶图像中包含的人脸特征从而检测出对应的人脸区域，进而提取人脸检测模型检测得到的人脸区域作为待分析驾驶员图像，服务器提取得到待分析驾驶员图像时，则获取到与待分析驾驶员图像对应的微表情信息，查询微表情信息所对应的预设情绪信息，将预设的情绪信息作为当前情绪信息。

S206：统计当前情绪信息所对应的待评估驾驶图像的帧数。

具体地，当服务器获取到每帧待评估驾驶图像中的待分析驾驶员图像的当前情绪信息时，则统计不同的当前情绪信息所对应的待评估驾驶图像的帧数，例如，服务器共获取到100帧待评估图像，且得到驾驶员对应的当前情绪信息有高兴、无聊以及失落，则分别统计100帧待评估图像中出现高兴的图像的帧数，统计100帧图像中出现无聊的图像的帧数，统计100帧图像中出现失落的图像的帧数。

S208：根据帧数以及当前情绪信息得到待评估驾驶图像的目标情绪信息。

具体地，目标情绪信息是指待评估驾驶图像中的待分析驾驶员图像的整体情绪信息。具体地，服务器根据得到的当前情绪信息，以及当前情绪信息所对应的待评估驾驶图像的帧数得到目标情绪信息，也即服务器可以查询当前情绪信息所对应的待评估图像的帧数，选取当前情绪信息所对应的待评估图像的帧数最多的当前情绪信息作为目标情绪信息，也可以是，服务器获取到待评估驾驶图像总帧数，查询当前情绪信息所对应的图像的帧数，计算当前情绪信息所对应的帧数占总帧数的比例，将比例超过阈值的当前情绪信息作为目标情绪信息。例如，按照上述步骤，获取到100帧待评估驾驶图像，查询待分析驾驶员图像的当前情绪信息有高兴、无聊和低落，统计得到高兴情绪所对应的图像帧数为10帧、无聊所对应的图像帧数为30帧，低落所对应的图像帧数为60帧，则可以是低落所占帧数最多，则100帧待评估驾驶图像的驾驶员的整体情绪信息也即是目标情绪信息即为低落，也可以是，分别计算高兴对应的图像帧数与总帧数的比值为10％，无聊对应的图像帧数与总帧数的比值为30％，低落对应的图像帧数与总帧数的比值为60％，进而服务器获取到阈值为50％，超过阈值的为低落对应的图像帧数与总帧数的比值，因此，将低落作为待评估驾驶图像的整体情绪信息，也即为目标情绪信息，。

S210：获取驾驶时长，根据驾驶时长与目标情绪信息输出驾驶疲劳度评价结果。

具体地，服务器可以将驾驶时长作为评价驾驶疲劳度的评价维度，也即避免采用目标情绪信息进行直接评价而出现误判，服务器可以根据驾驶时长与目标情绪信息的综合评价得到驾驶疲劳度。可以是，服务器查询到具体的驾驶时长与目标情绪信息，根据预存储的疲劳程度所关联的驾驶时长与目标情绪信息进行比对，当比对成功时，则比对成功的疲劳驾驶程度作为疲劳度评价结果。例如，当服务器获取到的目标情绪信息为失落，且驾驶时长为3小时，则查询预存储的疲劳驾驶程度为重度疲劳，也即该评价结果为重度疲劳；或者是，当服务器获取到目标情绪信息为失落，且驾驶时长为1小时，则查询预存储的疲劳驾驶程度为轻度疲劳，则该评价结果为轻度疲劳。

本实施例中，无需人工在进行道路安全的检查时对是否疲劳驾驶进行判断，服务器可以直接获取待评估驾驶视频，进而提取待评估驾驶视频中的图像帧作为待评估驾驶图像，进而服务器从待评估驾驶图像中提取待分析驾驶员图像，进而提取待评估驾驶员图像的当前情绪信息，并统计当前情绪信息对应的待评估驾驶图像的帧数，根据帧数以及当前情绪信息得到待评估驾驶图像的目标情绪信息，进而获取驾驶时长，根据驾驶时长与目标情绪信息输出疲劳度评价结果，可以及时评价驾驶过程中的疲劳度，且在评价疲劳度的过程中考虑目标情绪信息与驾驶时长，提高评价的准确性。

在一个实施例中，可参见图3，提供一驾驶疲劳度评价结果获取步骤的流程示意图，驾驶疲劳度评价结果获取步骤，也即获取驾驶时长，根据驾驶时长与目标情绪信息输出驾驶疲劳度评价结果，包括：获取驾驶时长，查询驾驶时长对应的驾驶时长得分；查询目标情绪信息所对应的情绪得分；获取驾驶时长得分对应的第一权重，并获取情绪得分所对应的第二权重；根据疲劳驾驶时长得分、情绪得分、第一权重与第二权重计算疲劳得分；根据疲劳得分输出驾驶疲劳度评价结果。

具体地，驾驶时长得分是指根据驾驶时长对应获取的相应得分，采用驾驶时长得分可以计算疲劳得分从而得到疲劳度，可以是，驾驶时长越短，则对应的驾驶时长得分越高。情绪得分是指预设的不同情绪所对应的得分，可以是，情绪表现越乐观，则得分越高，情绪表现越悲观，则得分越低。第一权重是指在计算疲劳得分时采用的驾驶时长得分的占比。第二权重是指在计算疲劳得分时采用的情绪得分的占比。具体地，服务器查询第一终端返回的车辆启动时刻，并查询待评估驾驶图像所对应的采集时刻，根据车辆启动时刻与采集时刻的差值，得到驾驶时长，进而服务器获取驾驶时长评分范围，并查询驾驶时长所对应的时长评分范围，根据驾驶时长所对应的时长评分范围，查询与时长评分范围所关联的驾驶时长得分，进而服务器根据预存储的情绪得分，查询目标情绪信息对应的情绪得分，进而获取到预存储的驾驶时长得分所对应的第一权重，并获取与情绪得分所对应的第二权重，进而服务器计算驾驶时长得分与第一权重的第一乘积，并计算情绪得分与第二权重的第二乘积，并对第一乘积与第二乘积求和得到疲劳得分，进而服务器获取到疲劳度评价范围，进而查询疲劳得分所对应的疲劳度评价范围，将所对应的疲劳度评价范围关联的疲劳度结果作为疲劳度评价结果。

例如，服务器获取到驾驶时长为3小时，进而服务器获取驾驶时长评分范围，如驾驶时长评分范围为大于0小时小于等于1小时时，对应的驾驶时长得分为10分，驾驶时长为大于1小时小于等于2小时时，对应的驾驶时长得分为7分，驾驶时长评分范围为大于2小时小于等于3小时时，对应的驾驶时长得分为5分，驾驶时长大于等于3小时时，对应的驾驶时长得分为3分，则根据获取到的驾驶时长得到对应的驾驶时长得分为3分，进而服务器获取到目标情绪信息为低落，则查询到低落所对应的得分为2分，进而获取到驾驶时长得分所对应的第一权重为0.3，情绪得分所对应的第二权重为0.7，计算驾驶时长得分与第一权重的第一乘积为0.9，进而计算情绪得分与第二权重的第二乘积为1.4，则最终的疲劳得分为2.5，服务器查询到对应的疲劳度评价范围，也即当疲劳得分为大于0分小于等于5分时为疲劳，大于5分时为正常，从而服务器根据疲劳得分查询到疲劳度结果为疲劳，作为该疲劳度评价结果。

本实施例中，服务器可以根据驾驶时长与目标情绪信息计算疲劳得分，从而根据疲劳得分得到驾驶度疲劳评价结果，也即从不同的维度进行计算疲劳得分，保证得到的疲劳度评价结果准确。

在一个实施例中，疲劳得分输出驾驶疲劳度评价结果之后，包括：查询疲劳得分对应的疲劳等级；当疲劳等级为轻度疲劳时，则将与轻度疲劳所对应的初级提示信息发送至第一终端；接收第一终端返回的与提示信息对应的调用音频的调用请求，将与调用请求对应的音频信息发送至第一终端。

在一个实施例中，查询疲劳得分对应的疲劳等级之后，包括：当疲劳等级为重度疲劳时，则获取当前位置信息；根据当前位置信息查询停车位置信息，并将停车位置信息发送至第一终端；监控车辆到达停车位置信息所关联的停车地点时的行驶状态；当行驶状态为行驶时，则获取与驾驶员关联的紧急联系人的联系方式；将与重度疲劳对应的高级提示信息发送至联系方式对应的第二终端。

在一个实施例中，疲劳得分输出驾驶疲劳度评价结果之后，包括：查询疲劳得分对应的疲劳等级；当疲劳等级为轻度疲劳时，则将与轻度疲劳所对应的初级提示信息发送至第一终端；接收第一终端返回的与提示信息对应的调用音频的调用请求，将与调用请求对应的音频信息发送至第一终端：当疲劳等级为重度疲劳时，则获取当前位置信息；根据当前位置信息查询停车位置信息，并将停车位置信息发送至第一终端；监控车辆到达停车位置信息所关联的停车地点时的行驶状态；当行驶状态为行驶时，则获取与驾驶员关联的紧急联系人的联系方式；将与重度疲劳对应的高级提示信息发送至联系方式对应的第二终端。

具体地，初级提示信息是指疲劳等级为轻度疲劳时相应的提示信息，该提示信息可以是相应的提示休息信息等。音频信息是指可以通过第一终端进行播放的相应的音频，如可以是相应音乐音频等。紧急联系人是指预存储的相关人员，可以是，紧急联系人是与驾驶员关联的相关人员，如是驾驶员的亲属或朋友等。具体地，当服务器计算得到疲劳得分时，当疲劳得分对应的疲劳度结果为疲劳时，则查询对应的疲劳度等级，也即根据疲劳度评价范围对应有不同的疲劳等级，进而查询说的疲劳得分对应的疲劳等级，当疲劳等级为轻度疲劳时，则将初级提示信息发送至第一终端，进而第一终端对相应的初级提示信息进行显示，进而用户根据初级提示信息在第一终端的显示界面上进行操作，根据用户操作生成对应的调用请求，第一终端将调用请求发送至服务器，进而服务器根据调用请求查询预存储的音频信息，将该音频信息发送至对应的第一终端进行播放。进而当服务器查询到疲劳等级为重度疲劳时，则从第一终端获取车辆的当前位置信息，也即可以获取到对应的坐标信息，进而根据当前位置信息查询到停车位置信息，也即可以查找与当前位置信息距离最近的停车位置信息，并将该停车位置信息发送至第一终端进行显示，进而监控车辆的当前位置是否到达停位置信息所关联的停车地点，当到达到停车地点时，则从第一终端获取车辆的行驶状态，当车辆仍未行驶中时，也即驾驶员在重度疲劳时仍旧未停车休息，则可以获取到相应的紧急联系人的联系方式，进而将相应的高级提示信息发送至与联系方式对应的第二终端，也即可以让紧急联系人和相应的驾驶员进行联系，使得驾驶员尽快停车休息，且服务器也可以将对应的高级提示信息发送至对应的第一终端进行显示。

例如，当服务器获取到疲劳得分，也即当前对应的疲劳度结果是疲劳，则查询疲劳等级，如疲劳等级可以按照疲劳得分进一步区分，如当疲劳得分大于0分小于等于3分时，则是重度疲劳，当疲劳得分大于3分小于等于5分时，则为轻度疲劳，从而当服务器得到的疲劳等级为轻度疲劳时，则服务器获取到对应的初级提示信息，如初级提示信息可以是“当前驾驶有些疲劳，请休息片刻，且是否需要听音乐？”，并将该初级提示信息发送至第一终端，第一终端在对应的显示界面上进行显示，用户根据该显示进行相应的操作，当用户选择“是”时，则根据该选择生成调用音频的调用请求，进而第一终端将调用请求发送至服务器，服务器接收到该调用请求时，则查询到预存储的音频信息，如相应的音乐等，并将查询到的音频信息发送至第一终端进行播放。当服务器查询到疲劳等级为重度疲劳时，则从第一终端获取到车辆的当前位置信息，进而根据当前位置信息查询到距离最近的停车位置信息，如最近的停车场等，进而将查询到的最近的停车位置信息发送至第一终端，该停车位置信息可以是停车场距离，位置以及路线等，从而第一终端将该停车位置信息进行显示，进而服务器实时接收第一终端发送的位置信息从而监控车辆是否到达停车位置信息对应的停车地点，当到达停车地点时，则通过第一终端获取到车辆行驶状态，当车辆行驶状态为行驶时，也即当车辆到达停车地点时仍未停车休息，则可以获取到与驾驶员关联的紧急联系人的联系方式，并获取到高级提示信息，如“驾驶员现已为疲劳状态，请及时协助联系驾驶员，避免事故发生。”进而将该高级提示信息发送至与紧急联系人的联系方式对应的第二终端，从而使得紧急联系人可以及时与驾驶员进行联系等。

本实施例中，服务器可以根据疲劳得分获取到对应的疲劳等级，进而根据疲劳等级进行不同的处理，增强处理灵活性。

在一个实施例中，识别待分析驾驶员图像的当前情绪信息，包括：接收待分析驾驶员图像对应的当前情绪为标准情绪的情绪概率；对所得到的情绪概率进行排序，并根据排序后的情绪概率提取与预设数量对应的数量的标准情绪；判断所提取的标准情绪对应的情绪类型是否相同；当所提取的标准情绪对应的情绪类型不同时，则获取情绪概率最大的标准情绪所对应的情绪类型作为当前情绪信息。

在一个实施例中，判断所提取的标准情绪对应的情绪类型是否相同之后，包括：当所提取的标准情绪对应有相同的情绪类型时，则查询情绪类型相同的标准情绪；根据情绪类型相同的标准情绪对应的情绪概率计算得到目标概率；获取目标概率以及情绪类型不相同的标准情绪的情绪概率中的最大值；将最大值对应的情绪类型作为当前情绪信息。

在一个实施例中，识别待分析驾驶员图像的当前情绪信息，包括：接收待分析驾驶员图像对应的当前情绪为标准情绪的情绪概率；对所得到的情绪概率进行排序，并根据排序后的情绪概率提取与预设数量对应的数量的标准情绪；判断所提取的标准情绪对应的情绪类型是否相同；当所提取的标准情绪对应的情绪类型不同时，则获取情绪概率最大的标准情绪所对应的情绪类型作为当前情绪信息；当所提取的标准情绪对应有相同的情绪类型时，则查询情绪类型相同的标准情绪；根据情绪类型相同的标准情绪对应的情绪概率计算得到目标概率；获取目标概率以及情绪类型不相同的标准情绪的情绪概率中的最大值；将最大值对应的情绪类型作为当前情绪信息。

具体地，标准情绪是指预设的微表情所对应的情绪，预设的微表情可以是不同种类的微表情，如54种微表情等。情绪概率是指按照训练完成的微表情识别模型得到的每种预设的微表情的概率，且情绪概率越大则为该种微表情的可能性越高。情绪类型是指将不同的微表情所对应的情绪进行分类得到的不同情绪分区，可以是，将相近的情绪作为同一个情绪类型，也即可以是，将54种预设的微表情所对应的情绪中相近的情绪作为同一个情绪类型，例如，可以有亢奋，兴奋，高兴，一般，心情不太好，无聊，低落的情绪类型，且每种情绪类型中包含有相近的情绪。目标概率是指对应有相同的情绪类型的标准情绪所关联的概率，该目标概率可以由对应在相同的情绪类型中不同的标准情绪所对应的情绪概率进行计算得到，也即可以是对应在相同的情绪类型中的不同的标准情绪所对应的情绪概率相加得到。

具体地，服务器接收到每一帧待评估驾驶图像中包含的待分析驾驶员图像的当前情绪为每种标准情绪的情绪概率，进而服务器将接收到的情绪概率进行排序，排序可以从大到小排序，服务器获取到预设数量，从排序完成的情绪概率提取与预设数量对应数量的标准情绪，进而查询提取到的标准情绪所对应的情绪类型，并判断标准情绪所对应的情绪类型是否相同，当提取得到的标准情绪所对应的情绪类型不同时，则查询情绪概率最大的标准情绪所对应的情绪类型，将该情绪类型作为当前情绪信息。当服务器查询到标准情绪对应有相同的情绪类型时，则为了判断准确，则避免直接选取情绪概率最大的标准情绪所对应的情绪类别作为当前情绪信息，也即查询对应相同的情绪类型的不同标准情绪的情绪概率，将对应相同的情绪类型的不同标准情绪的情绪概率进行求和得到目标概率，进而将该目标概率与对应在不相同的情绪类型的标准情绪的情绪概率进行比对，将比对结果大的所对应的情绪类型作为当前情绪信息。

例如，当服务器接收到待待评估驾驶图像时，则接收每一帧待评估驾驶图像所对应的当前情绪为标准情绪的概率，也即可以是先查询第一帧待评估驾驶图像所对应的不同标准情绪的概率，也即第一帧待评估图像对应的54种标准情绪的情绪概率，将获取到情绪概率进行排序，排序可以是从大到小进行排序，进而获取到预设数量，如预设数量为3，则将排序后的情绪概率排在前三位的标准情绪进行提取，进而查询排在前三位的标准情绪所对应的不同的情绪类型，如情绪类型分别为低落、无聊、心情不太好，也即此时情绪类型为不同的情绪类型，进而查询情绪概率最大的标准情绪所对应的情绪类型，如为低落，则此时低落即为第一帧待评估驾驶图像的当前情绪信息，且用相同方法，可以识别其他帧待评估图像的当前情绪信息。另外，当服务器查询查询排在前三位的标准情绪所对应的情绪类型中有相同的情绪类型，如排名第一位的标准情绪对应为无聊，而排名第二位的标准情绪和排名第三位的标准情绪对应有相同的情绪类型，也即对应在低落，则计算对应在低落情绪类型的标准情绪的情绪概率的总和作为目标概率，将该目标概率与对应在低落情绪类别的标准情绪所对应的情绪概率进行比较，选择比较结果大的概率的标准情绪所对应的情绪类型作为当前情绪信息。需要说明的是，本实施例中，情绪概率是由对应的情绪识别服务器获取到相应的人脸图像，采集人脸图像上的预设表情特征，进而将表情特征输入到训练完成的微表情识别模型中进行识别，得到当前表情是每一种微表情的概率，也即为情绪概率。

本实施例中，获取待评估驾驶图像对应的当前情绪信息则无需人工进行分析，提高查询当前情绪信息的效率，且避免主观性分析导致分析不准确，提高分析情绪的准确性，且在当服务器提取到的标准情绪对应有相同的情绪类型时，则避免直接采用情绪概率最大的标准情绪所对应的情绪类别作为当前情绪信息导致不准确，则查询情绪类型相同的标准情绪，并根据情绪类型相同的标准情绪所对应的情绪概率计算得到目标概率，进而获取到目标概率以及情绪类型不相同的标准情绪的情绪概率中的最大值，将最大值对应的情绪类型作为当前情绪信息，保证获取到当前情绪信息的准确性。

应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种疲劳驾驶度评价装置，包括：接收模块410、提取模块420、统计模块430、目标情绪信息获得模块440和疲劳度评价模块450，其中：

接收模块410，用于接收待评估驾驶视频，并提取待评估驾驶视频中的图像帧作为待评估驾驶图像。

提取模块420，用于提取待评估驾驶图像中的待分析驾驶员图像，并识别待分析驾驶员图像的当前情绪信息。

统计模块430，用于统计当前情绪信息所对应的待评估驾驶图像的帧数。

目标情绪信息获得模块440，用于根据帧数以及当前情绪信息得到待评估驾驶图像的目标情绪信息。

疲劳度评价模块450，用于获取驾驶时长，根据驾驶时长与目标情绪信息输出驾驶疲劳度评价结果。

在一个实施例中，疲劳度评价模块，可以包括：

第一查询单元，用于获取驾驶时长，查询驾驶时长对应的驾驶时长得分。

第二查询单元，用于查询目标情绪信息所对应的情绪得分。

权重获取单元，用于获取驾驶时长得分对应的第一权重，并获取情绪得分所对应的第二权重。

计算单元，用于根据疲劳驾驶时长得分、情绪得分、第一权重与第二权重计算疲劳得分。

输出单元，用于根据疲劳得分输出驾驶疲劳度评价结果。

在一个实施例中，疲劳度评价模块，还可以包括：

查询单元，用于查询疲劳得分对应的疲劳等级。

初级提示信息发送单元，用于当疲劳等级为轻度疲劳时，则将与轻度疲劳所对应的初级提示信息发送至第一终端。

音频发送单元，用于接收第一终端返回的与提示信息对应的调用音频的调用请求，将与调用请求对应的音频信息发送至第一终端。

在一个实施例中，疲劳度评价模块，还可以包括：

当前位置信息获取单元，用于当疲劳等级为重度疲劳时，则获取当前位置信息。

停车位置信息发送单元，用于根据当前位置信息查询停车位置信息，并将停车位置信息发送至第一终端。

监控单元，用于监控车辆到达停车位置信息所关联的停车地点时的行驶状态。

联系方式获取单元，用于当行驶状态为行驶时，则获取与驾驶员关联的紧急联系人的联系方式。

高级提示信息发送单元，用于将与重度疲劳对应的高级提示信息发送至联系方式对应的第二终端。

在一个实施例中，提取模块，可以包括：

情绪概率接收单元，用于接收待分析驾驶员图像对应的当前情绪为标准情绪的情绪概率。

排序单元，用于对所得到的情绪概率进行排序，并根据排序后的情绪概率提取与预设数量对应的数量的标准情绪。

判断单元，用于判断所提取的标准情绪对应的情绪类型是否相同。

第一获取单元，用于当所提取的标准情绪对应的情绪类型不同时，则获取情绪概率最大的标准情绪所对应的情绪类型作为当前情绪信息。

在一个实施例中，提取模块，还可以包括：

标准情绪查询单元，用于当所提取的标准情绪对应有相同的情绪类型时，则查询情绪类型相同的标准情绪。

计算单元，用于根据情绪类型相同的标准情绪对应的情绪概率计算得到目标概率。

第二获取单元，用于获取目标概率以及情绪类型不相同的标准情绪的情绪概率中的最大值。还用于将最大值对应的情绪类型作为当前情绪信息。

关于驾驶疲劳度评价装置的具体限定可以参见上文中对于驾驶疲劳度评价方法的限定，在此不再赘述。上述驾驶疲劳度评价装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储驾驶疲劳度评价数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种驾驶疲劳度评价方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：接收待评估驾驶视频，并提取待评估驾驶视频中的图像帧作为待评估驾驶图像。提取待评估驾驶图像中的待分析驾驶员图像，并识别待分析驾驶员图像的当前情绪信息。统计当前情绪信息所对应的待评估驾驶图像的帧数。根据帧数以及当前情绪信息得到待评估驾驶图像的目标情绪信息。获取驾驶时长，根据驾驶时长与目标情绪信息输出驾驶疲劳度评价结果。

在一个实施例中，处理器执行计算机程序时实现获取驾驶时长，根据驾驶时长与目标情绪信息输出驾驶疲劳度评价结果，包括：获取驾驶时长，查询驾驶时长对应的驾驶时长得分。查询目标情绪信息所对应的情绪得分。获取驾驶时长得分对应的第一权重，并获取情绪得分所对应的第二权重。根据疲劳驾驶时长得分、情绪得分、第一权重与第二权重计算疲劳得分。根据疲劳得分输出驾驶疲劳度评价结果。

在一个实施例中，处理器执行计算机程序时实现根据疲劳得分输出驾驶疲劳度评价结果之后，包括：查询疲劳得分对应的疲劳等级。当疲劳等级为轻度疲劳时，则将与轻度疲劳所对应的初级提示信息发送至第一终端。接收第一终端返回的与提示信息对应的调用音频的调用请求，将与调用请求对应的音频信息发送至第一终端。

在一个实施例中，处理器执行计算机程序时实现查询疲劳得分对应的疲劳等级之后，包括：当疲劳等级为重度疲劳时，则获取当前位置信息。根据当前位置信息查询停车位置信息，并将停车位置信息发送至第一终端。监控车辆到达停车位置信息所关联的停车地点时的行驶状态。当行驶状态为行驶时，则获取与驾驶员关联的紧急联系人的联系方式。将与重度疲劳对应的高级提示信息发送至联系方式对应的第二终端。

在一个实施例中，处理器执行计算机程序时实现识别待分析驾驶员图像的当前情绪信息，包括：接收待分析驾驶员图像对应的当前情绪为标准情绪的情绪概率。对所得到的情绪概率进行排序，并根据排序后的情绪概率提取与预设数量对应的数量的标准情绪。判断所提取的标准情绪对应的情绪类型是否相同。当所提取的标准情绪对应的情绪类型不同时，则获取情绪概率最大的标准情绪所对应的情绪类型作为当前情绪信息。

在一个实施例中，处理器执行计算机程序时实现判断所提取的标准情绪对应的情绪类型是否相同之后，包括：当所提取的标准情绪对应有相同的情绪类型时，则查询情绪类型相同的标准情绪。根据情绪类型相同的标准情绪对应的情绪概率计算得到目标概率。获取目标概率以及情绪类型不相同的标准情绪的情绪概率中的最大值。将最大值对应的情绪类型作为当前情绪信息。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：接收待评估驾驶视频，并提取待评估驾驶视频中的图像帧作为待评估驾驶图像。提取待评估驾驶图像中的待分析驾驶员图像，并识别待分析驾驶员图像的当前情绪信息。统计当前情绪信息所对应的待评估驾驶图像的帧数。根据帧数以及当前情绪信息得到待评估驾驶图像的目标情绪信息。获取驾驶时长，根据驾驶时长与目标情绪信息输出驾驶疲劳度评价结果。

在一个实施例中，计算机程序被处理器执行时实现获取驾驶时长，根据驾驶时长与目标情绪信息输出驾驶疲劳度评价结果，包括：获取驾驶时长，查询驾驶时长对应的驾驶时长得分。查询目标情绪信息所对应的情绪得分。获取驾驶时长得分对应的第一权重，并获取情绪得分所对应的第二权重。根据疲劳驾驶时长得分、情绪得分、第一权重与第二权重计算疲劳得分。根据疲劳得分输出驾驶疲劳度评价结果。

在一个实施例中，计算机程序被处理器执行时实现根据疲劳得分输出驾驶疲劳度评价结果之后，包括：查询疲劳得分对应的疲劳等级。当疲劳等级为轻度疲劳时，则将与轻度疲劳所对应的初级提示信息发送至第一终端。接收第一终端返回的与提示信息对应的调用音频的调用请求，将与调用请求对应的音频信息发送至第一终端。

在一个实施例中，计算机程序被处理器执行时实现查询疲劳得分对应的疲劳等级之后，包括：当疲劳等级为重度疲劳时，则获取当前位置信息。根据当前位置信息查询停车位置信息，并将停车位置信息发送至第一终端。监控车辆到达停车位置信息所关联的停车地点时的行驶状态。当行驶状态为行驶时，则获取与驾驶员关联的紧急联系人的联系方式。将与重度疲劳对应的高级提示信息发送至联系方式对应的第二终端。

在一个实施例中，计算机程序被处理器执行时实现识别待分析驾驶员图像的当前情绪信息，包括：接收待分析驾驶员图像对应的当前情绪为标准情绪的情绪概率。对所得到的情绪概率进行排序，并根据排序后的情绪概率提取与预设数量对应的数量的标准情绪。判断所提取的标准情绪对应的情绪类型是否相同。当所提取的标准情绪对应的情绪类型不同时，则获取情绪概率最大的标准情绪所对应的情绪类型作为当前情绪信息。

在一个实施例中，计算机程序被处理器执行时实现判断所提取的标准情绪对应的情绪类型是否相同之后，包括：当所提取的标准情绪对应有相同的情绪类型时，则查询情绪类型相同的标准情绪。根据情绪类型相同的标准情绪对应的情绪概率计算得到目标概率。获取目标概率以及情绪类型不相同的标准情绪的情绪概率中的最大值。将最大值对应的情绪类型作为当前情绪信息。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种驾驶疲劳度评价方法，所述方法包括：

接收待评估驾驶视频，并提取所述待评估驾驶视频中的图像帧作为待评估驾驶图像；

提取所述待评估驾驶图像中的待分析驾驶员图像，并识别所述待分析驾驶员图像的当前情绪信息；

统计所述当前情绪信息所对应的所述待评估驾驶图像的帧数；

根据所述帧数以及所述当前情绪信息得到待评估驾驶图像的目标情绪信息；

获取驾驶时长，根据所述驾驶时长与所述目标情绪信息输出驾驶疲劳度评价结果。

2.根据权利要求1所述的方法，其特征在于，所述获取驾驶时长，根据所述驾驶时长与所述目标情绪信息输出驾驶疲劳度评价结果，包括：

获取驾驶时长，查询所述驾驶时长对应的驾驶时长得分；

查询所述目标情绪信息所对应的情绪得分；

获取所述驾驶时长得分对应的第一权重，并获取所述情绪得分所对应的第二权重；

根据所述疲劳驾驶时长得分、所述情绪得分、所述第一权重与所述第二权重计算疲劳得分；

根据所述疲劳得分输出驾驶疲劳度评价结果。

3.根据权利要求2所述的方法，其特征在于，所述根据所述疲劳得分输出驾驶疲劳度评价结果之后，包括：

查询所述疲劳得分对应的疲劳等级；

当所述疲劳等级为轻度疲劳时，则将与所述轻度疲劳所对应的初级提示信息发送至第一终端；

接收第一终端返回的与所述提示信息对应的调用音频的调用请求，将与所述调用请求对应的音频信息发送至第一终端。

4.根据权利要求3所述的方法，其特征在于，所述查询所述疲劳得分对应的疲劳等级之后，包括：

当所述疲劳等级为重度疲劳时，则获取当前位置信息；

根据所述当前位置信息查询停车位置信息，并将所述停车位置信息发送至所述第一终端；

监控车辆到达所述停车位置信息所关联的停车地点时的行驶状态；

当所述行驶状态为行驶时，则获取与所述驾驶员关联的紧急联系人的联系方式；

将与所述重度疲劳对应的高级提示信息发送至所述联系方式对应的第二终端。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述识别所述待分析驾驶员图像的当前情绪信息，包括：

接收所述待分析驾驶员图像对应的当前情绪为标准情绪的情绪概率；

对所得到的所述情绪概率进行排序，并根据排序后的情绪概率提取与预设数量对应的数量的标准情绪；

判断所提取的标准情绪对应的情绪类型是否相同；

当所提取的标准情绪对应的情绪类型不同时，则获取情绪概率最大的标准情绪所对应的所述情绪类型作为当前情绪信息。

6.根据权利要求5所述的方法，其特征在于，所述判断所提取的标准情绪对应的情绪类型是否相同之后，包括：

当所提取的所述标准情绪对应有相同的情绪类型时，则查询情绪类型相同的标准情绪；

根据所述情绪类型相同的标准情绪对应的情绪概率计算得到目标概率；

获取所述目标概率以及情绪类型不相同的标准情绪的情绪概率中的最大值；

将所述最大值对应的所述情绪类型作为当前情绪信息。

7.一种驾驶疲劳度评价装置，其特征在于，所述装置包括：

接收模块，用于接收待评估驾驶视频，并提取所述待评估驾驶视频中的图像帧作为待评估驾驶图像；

提取模块，用于提取所述待评估驾驶图像中的待分析驾驶员图像，并识别所述待分析驾驶员图像的当前情绪信息；

统计模块，用于统计所述当前情绪信息所对应的所述待评估驾驶图像的帧数；

目标情绪信息获得模块，用于根据所述帧数以及所述当前情绪信息得到待评估驾驶图像的目标情绪信息；

疲劳度评价模块，用于获取驾驶时长，根据所述驾驶时长与所述目标情绪信息输出驾驶疲劳度评价结果。

8.根据权利要求7所述的方法，其特征在于，所述疲劳度评价模块，包括：

第一查询单元，用于获取驾驶时长，查询所述驾驶时长对应的驾驶时长得分；

第二查询单元，用于查询所述目标情绪信息所对应的情绪得分；

权重获取单元，用于获取所述驾驶时长得分对应的第一权重，并获取所述情绪得分所对应的第二权重；

计算单元，用于根据所述疲劳驾驶时长得分、所述情绪得分、所述第一权重与所述第二权重计算疲劳得分；

输出单元，用于根据所述疲劳得分输出驾驶疲劳度评价结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。