CN115331204A - 疲劳驾驶识别方法、系统、电子设备及存储介质 - Google Patents

Abstract

本公开提供一种疲劳驾驶识别方法、系统、电子设备及存储介质，该方法包括：获取当前周期内针对目标用户采集的连续帧图像数据和连续的语音数据；提取各图像数据中的人脸特征向量及所述语音数据对应的音频特征向量；根据各图像数据中的人脸特征向量及所述语音数据对应的音频特征向量，得到融合特征向量；通过预先训练的疲劳状态识别模型对所述融合特征向量进行处理，得到目标用户的疲劳状态识别结果，所述疲劳状态识别结果为疲劳状态或非疲劳状态；根据多次疲劳状态识别后所述疲劳状态识别结果为疲劳状态的个数，判定所述目标用户是否为疲劳驾驶。本公开基于图像和语音两个模态的数据进行疲劳驾驶行为识别，能够提高疲劳驾驶行为识别的准确性。

Description

疲劳驾驶识别方法、系统、电子设备及存储介质

技术领域

本公开涉及智能交通技术领域，尤其涉及一种疲劳驾驶识别方法、系统、电子设备及存储介质。

背景技术

在交通运输领域，驾驶人的疲劳现象直接危害着生命财产的安全。据悉，约有80％的重大交通事故与驾驶员的疲劳驾驶有关，驾驶疲劳现象及其所引发的交通安全隐患已然引起社会的高度重视。通过对驾驶员进行疲劳状态检测，以便及时进行警告提醒，可以大大减少交通事故的发生，围绕其检测手段的研究也一直是令人关注的热门问题。

现有的防疲劳驾驶方法，一般为：获得针对目标驾驶员采集的人脸图像，并通过人脸图像识别目标驾驶员面部的状态，进而通过面部的状态来确定目标驾驶员是否出现疲劳驾驶行为，在确定目标驾驶员出现疲劳驾驶行为之后，进行告警，以提示其纠正行为。

上述防疲劳驾驶方法中，仅通过人脸图像来确定驾驶员是否出现疲劳驾驶行为，在一定程度上易出现误检的情况，预警的有效性不高。

发明内容

为了解决现有技术仅通过图像来确定驾驶员是否出现疲劳驾驶行为，在一定程度上易出现误检的问题，本公开提供一种疲劳驾驶识别方法、系统、电子设备及存储介质。

为了实现上述目的，本公开提供一种疲劳驾驶识别方法，包括：

获取当前周期内针对目标用户采集的连续帧图像数据和连续的语音数据；

提取各所述图像数据中的人脸特征向量、以及所述语音数据对应的音频特征向量；

根据各所述图像数据中的人脸特征向量及所述语音数据对应的音频特征向量，得到融合特征向量；

通过预先训练的疲劳状态识别模型对所述融合特征向量进行处理，得到所述目标用户的疲劳状态识别结果，所述疲劳状态识别结果为疲劳状态或非疲劳状态；

根据多次疲劳状态识别后所述疲劳状态识别结果为疲劳状态的个数，判定所述目标用户是否为疲劳驾驶。

为了实现上述目的，本公开还提供一种疲劳驾驶识别系统，所述系统包括：

数据获取模块，配置为获取当前周期内针对目标用户采集的连续帧图像数据和连续的语音数据；

特征提取模块，配置为提取各所述图像数据中的人脸特征向量、以及所述语音数据对应的音频特征向量；

特征融合模块，配置为根据各所述图像数据中的人脸特征向量及所述语音数据对应的音频特征向量，得到融合特征向量；

疲劳识别模块，配置为通过预先训练的疲劳状态识别模型对所述融合特征向量进行处理，得到所述目标用户的疲劳状态识别结果，所述疲劳状态识别结果为疲劳状态或非疲劳状态；

判定模块，配置为根据多次疲劳状态识别后所述疲劳状态识别结果为疲劳状态的个数，判定所述目标用户是否为疲劳驾驶。

为了实现上述目的，本发明还提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述方法的步骤。

为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法的步骤。

通过采用上述技术方案，本公开相对现有技术具有以下有益效果：

本公开首先获取当前周期内针对目标用户采集的连续帧图像数据和连续的语音数据，并提取各所述图像数据中的人脸特征向量、以及所述语音数据对应的音频特征向量；而后根据各所述图像数据中的人脸特征向量及所述语音数据对应的音频特征向量，得到融合特征向量；最后，通过预先训练的疲劳状态识别模型对所述融合特征向量进行处理，得到所述目标用户的疲劳状态识别结果，所述疲劳状态识别结果为疲劳状态或非疲劳状态，并根据多次疲劳状态识别后所述疲劳状态识别结果为疲劳状态的个数，判定所述目标用户是否为疲劳驾驶。可见，本公开基于当前周期内的图像数据和语音数据两个模态的数据进行疲劳驾驶行为识别，相较于仅通过图像数据进行识别的方案，能够提高疲劳驾驶行为识别的准确性；并且，由于当前周期内采集的图像数据和语音数据是连续的，因而在进行识别时能更好地结合图像数据和语音数据的上下文特征，可以进一步提高疲劳驾驶行为识别的准确性，有利于及时对驾驶员预警，从而增强驾驶过程中的安全性。

附图说明

图1为本公开实施例1的疲劳驾驶识别方法的流程示意图；

图2为本公开实施例2中疲劳状态识别模型的训练流程示意图；

图3为本公开实施例3的疲劳驾驶识别方法的流程示意图；

图4为本公开实施例4的疲劳驾驶识别系统的结构框图；

图5为本公开实施例5中模型训练模块的结构框图；

图6为本公开实施例6的疲劳驾驶识别系统的结构框图；

图7为本公开实施例7的电子设备的硬件架构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

实施例1

本实施例提供一种疲劳驾驶识别方法，如图1所示，该方法具体包括以下步骤：

S11，获取当前周期内针对目标用户采集的连续帧图像数据和连续的语音数据。

在本实施例中，目标用户是指当前车辆的驾驶员。本实施例通过车辆内图像采集装置(如摄像头)和语音采集装置(如麦克风)实时采集目标用户在驾驶过程中的图像数据和语音数据。具体地，当车辆启动后，即打开图像采集装置和语音采集装置，以使两者进入工作状态。

本实施例每隔预定周期获取一次图像采集装置所采集的图像数据及语音采集装置所采集的语音数据。例如，假设预定周期为3S，图像采集装置1秒拍摄30帧图像数据，则每周期将获取到90帧图像数据。在此基础上，当前周期内采集的图像数据和语音数据即为当前时刻的前3S内所采集的90帧图像数据及时长为3S的语音数据。

S12，提取各所述图像数据中的人脸特征向量、以及所述语音数据对应的音频特征向量。在本实施例中，提取各所述图像数据中的人脸特征向量的过程如下：

首先，提取各所述图像数据中的人脸区域子图。

具体地，可以采用现有任意合适的人脸检测方法提取各图像数据中的人脸区域子图，例如，采用RetinaNet目标检测算法进行提取。

而后，从所述人脸区域子图中提取所述人脸特征向量。

例如，可以利用逻辑回归模型提取人脸区域子图中N个特征点(通常为68个关键特征点)的坐标值，以作为相应人脸区域子图的N维人脸特征向量。

在本实施例中，可以采用任意合适的音频特征向量提取方法，对目标用户的语音数据进行特征提取，本实施例并不对此进行具体限定。

S13，根据各所述图像数据中的人脸特征向量及所述语音数据对应的音频特征向量，得到融合特征向量。

优选地，为了提高识别效率，可以仅将部分图像数据中的人脸特征向量与对应时间段的部分语音数据的音频特征向量进行融合，具体实现过程如下：

首先，从各所述图像数据中抽取预设数量的连续帧目标图像数据、并从所述语音数据中提取与所述目标图像数据时间对应的目标语音数据。

例如，当前周期内采集的图像数据为90帧，预设数量为50帧时，则从90帧图像数据中抽取50帧连续的图像数据作为目标图像数据，并从当前周期内采集的语音数据中提取与50帧目标图像数据对应的语音数据作为目标语音数据。其中，对图像数据进行抽取的方式可以是随机抽取，也可以是按预定规则进行抽取，本实施例对此不作具体限制。

而后，将各所述目标图像数据中的人脸特征向量及所述目标语音数据对应的音频特征向量进行融合，得到所述融合特征向量。

例如，可以将各所述目标图像数据中的人脸特征向量Ai(i≤m)及所述目标语音数据对应的音频特征向量B进行拼接来实现特征融合，得到融合特征向量[A1,A2,…,Am,B]。其中，m表示抽取的目标图像数据的数量。

S14，通过预先训练的疲劳状态识别模型对所述融合特征向量进行处理，得到所述目标用户的疲劳状态识别结果，所述疲劳状态识别结果为疲劳状态或非疲劳状态。

在本实施例中，疲劳状态识别模型优选为二分类模型。当融合特征向量输入疲劳状态识别模型后，该模型即输出二值化的疲劳状态识别结果。例如，当疲劳状态识别模型输出结果为0时，表示目标用户处于非疲劳状态；当疲劳状态识别模型输出结果为1时，表示目标用户处于疲劳状态。

S15，根据多次疲劳状态识别后所述疲劳状态识别结果为疲劳状态的个数，判定所述目标用户是否为疲劳驾驶。

在本实施列中，当得到疲劳状态识别结果后，可以将所述疲劳状态识别结果加入预设的窗口队列，所述窗口队列具有最大队列长度。

具体地，窗口队列是一种队列式的线性表，有固定的存储容量，即最大队列长度。例如，假设窗口队列的最大队列长度为10，当窗口队列中顺序地存有第一个疲劳状态识别结果～第九个疲劳状态识别结果时，若有第十个疲劳状态识别结果要加入队列，则可以直接将其加入到窗口队列的第十个位置；后续若有新的第十一个疲劳状态识别结果要加入队列时，则窗口队列将删除第一个疲劳状态识别结果并存储第十一个疲劳状态识别结果，存储后窗口队列中顺序地存有第二个疲劳状态识别结果～第十一个疲劳状态识别结果；当又有新的疲劳状态识别结果要加入窗口队列时，对应地删除窗口队列中最早加入的识别结果，并将新的识别结果存储到窗口队列中，即，窗口队列是先进先出的线性表。窗口队列的最大队列长度可以按照实际情况来设置。

在此基础上，本实施例根据所述疲劳状态识别结果为疲劳状态的个数，判定所述目标用户是否为疲劳驾驶的过程如下：

S151，获取所述窗口队列中，所述疲劳状态识别结果为疲劳状态的个数与所述最大队列长度的比值。

S152，当所述比值达到预定阈值时，判定所述目标用户为疲劳驾驶。

例如，假设预定阈值为5，窗口队列的最大队列长度为10，当窗口队列中疲劳状态识别结果为疲劳状态的个数为6时，判定所述目标用户为疲劳驾驶。

S153，当所述比值小于所述预定阈值时，判定所述目标用户为正常驾驶。

例如，假设预定阈值为5，窗口队列的最大队列长度为10，当窗口队列中疲劳状态识别结果为疲劳状态的个数为4时，判定所述目标用户为正常驾驶(即非疲劳驾驶)。

S16，当所述目标用户被判定为疲劳驾驶时，输出相应的告警信号。

在本实施例中，输出的告警信号可以是告警显示信号、告警音频信号和/或告警灯光信号。

其中，告警显示信号用于指令相应的显示组件在接收到告警显示信号之后，显示相应的文字、视频或图像信息，例如显示防疲劳驾驶的相关宣传标语、宣传动画或宣传图。告警音频信号用于控制相应的扬声器接收到告警音频信号之后，播放相应的音频数据，例如播放“危险，别犯困”的语音。告警灯光信号用于指令相应的灯光告警组件接收到告警灯光信号之后，显示相应的告警灯光。

应该理解，上述三种告警方式可以单独使用，也可两两组合使用，也可以三种同时使用，本实施例对此不做具体限定。

可见，本实施例基于当前周期内采集的图像数据和语音数据两个模态的数据进行疲劳驾驶行为识别，相较于仅通过图像数据进行识别的方案，能够提高疲劳驾驶行为识别的准确性；并且，由于当前采集周期内的图像数据和语音数据是连续的，因而在进行识别时能更好地结合图像数据和语音数据的上下文特征，可以进一步提高疲劳驾驶行为识别的准确性，有利于及时对驾驶员预警，从而增强驾驶过程中的安全性。

实施例2

本实施例进一步限定了实施例1中疲劳状态识别模型的训练过程，如图2所示，本实施例通过如下步骤对疲劳状态识别模型进行训练：

S21，获取样本集，所述样本集包括在预定周期内针对训练用户采集的连续帧样本图像数据和连续的样本语音数据，其中，所述样本图像数据和样本语音数据标注有对应的疲劳状态标签。

具体地，疲劳状态标签可以采用二值化标注方式进行标注，例如，当疲劳状态标签为0时，表示训练用户处于非疲劳状态，当疲劳状态标签为1时，表示训练用户处于疲劳状态。需要说明的是，此处的预定周期与实施例1中的当前周期的周期时长一致。

S22，提取各所述样本图像数据对应的样本人脸特征向量、以及所述样本语音数据对应的样本音频特征向量。

本实施例并不对样本人脸特征向量和样本音频特征向量的提取方法进行具体限定，但应该与步骤S12中采用的提取方法一致。

S23，根据所述样本人脸特征向量和样本音频特征向量，得到样本融合特征向量。

本实施例并不对样本人脸特征向量和样本音频特征向量的融合方式进行具体限定，但应该与步骤S13中采用的融合方式一致。

S24，通过预设的疲劳状态识别模型对所述样本融合特征向量进行处理，得到对应训练用户的疲劳状态预测结果。

S25，基于所述疲劳状态预测结果与对应的疲劳状态标签，计算模型损失。

在本实施例中，模型损失用于表示疲劳状态预测结果与对应的疲劳状态标签之间的误差。

S26，根据所述模型损失对所述疲劳状态识别模型进行迭代训练，直至满足预设的训练终止条件。

在本实施例中，预设的训练终止条件可以是模型损失收敛或小于预设的最小损失阈值，也可以是达到预设的迭代个数。

经过本实施例训练的疲劳状态识别模型能够根据预定周期内连续的图像数据和语音数据，准确识别用户是否处于疲劳状态。

实施例3

如图3所示，本实施例在实施例1或2的基础上，进一步增加了以下步骤：

S17，接收所述目标用户针对所述告警信号输入的响应信息，所述响应信息用于指示所述目标用户实际是否处于疲劳状态，以便根据所述响应信息，对所述疲劳状态识别模型进行再次训练。

例如，可以设置硬件开关或虚拟开关供目标用户输入响应信息，该响应信息表示用户对当前疲劳状态识别模型的反馈，可以是正向反馈，即表示当前疲劳状态识别模型的识别结果是正确的，也可以是负向反馈，即表示当前疲劳状态识别模型的识别结果是错误的，从而便于根据用户的驾驶习惯对疲劳状态识别模型进行再训练。

本发明通过根据目标用户针对所述告警信号的响应信息，对所述疲劳状态识别模型进行再次训练，可以得到符合目标用户驾驶习惯的个性化疲劳状态识别模型，从而能够进一步提高疲劳识别准确度，大大降低误报率。

实施例4

本实施例提供一种疲劳驾驶识别系统，如图4所示，该系统具体包括：数据获取模块11、特征提取模块12、特征融合模块13、疲劳识别模块14、判定模块15和告警模块16。

下面分别对上述各个模块的功能进行详细描述：

数据获取模块11用于获取当前周期内针对目标用户采集的连续帧图像数据和连续的语音数据。

在本实施例中，目标用户是指当前车辆的驾驶员。本实施例通过车辆内图像采集装置(如摄像头)和语音采集装置(如麦克风)实时采集目标用户在驾驶过程中的图像数据和语音数据。具体地，当车辆启动后，即打开图像采集装置和语音采集装置，以使两者进入工作状态。

本实施例每隔预定周期获取一次图像采集装置所采集的图像数据及语音采集装置所采集的语音数据。例如，假设预定周期为3S，图像采集装置1秒拍摄30帧图像数据，则每周期将获取到90帧图像数据。在此基础上，当前周期内的图像数据和语音数据即为当前时刻的前3S内所采集的90帧图像数据及时长为3S的语音数据。

特征提取模块12用于提取各所述图像数据中的人脸特征向量、以及所述语音数据对应的音频特征向量。在本实施例中，提取各所述图像数据中的人脸特征向量的过程如下：

首先，提取各所述图像数据中的人脸区域子图。

具体地，可以采用现有任意合适的人脸检测方法提取各图像数据中的人脸区域子图，例如，采用RetinaNet目标检测算法进行提取。

而后，从所述人脸区域子图中提取所述人脸特征向量。

例如，可以利用逻辑回归模型提取人脸区域子图中N个特征点(通常为68个关键特征点)的坐标值，以作为相应人脸区域子图的N维人脸特征向量。

在本实施例中，可以采用任意合适的音频特征向量提取方法，对目标用户的语音数据进行特征提取，本实施例并不对此进行具体限定。

特征融合模块13用于根据各所述图像数据中的人脸特征向量及所述语音数据对应的音频特征向量，得到融合特征向量。

优选地，为了提高识别效率，可以仅将部分图像数据中的人脸特征向量与对应时间段的部分语音数据的音频特征向量进行融合，具体实现过程如下：

首先，从各所述图像数据中抽取预设数量的连续帧目标图像数据、并从所述语音数据中提取与所述目标图像数据时间对应的目标语音数据。

例如，当前周期内采集的图像数据为90帧，预设数量为50帧时，则从90帧图像数据中抽取50帧连续的图像数据作为目标图像数据，并从当前周期内采集的语音数据中提取与50帧目标图像数据对应的语音数据作为目标语音数据。其中，对图像数据进行抽取的方式可以是随机抽取，也可以是按预定规则进行抽取，本实施例对此不作具体限制。

而后，将各所述目标图像数据中的人脸特征向量及所述目标语音数据对应的音频特征向量进行融合，得到所述融合特征向量。

例如，可以将各所述目标图像数据中的人脸特征向量Ai(i≤m)及所述目标语音数据对应的音频特征向量B进行拼接来实现特征融合，得到融合特征向量[A1,A2,…,Am,B]。其中，m表示抽取的目标图像数据的数量。

疲劳识别模块14用于通过预先训练的疲劳状态识别模型对所述融合特征向量进行处理，得到所述目标用户的疲劳状态识别结果，所述疲劳状态识别结果为疲劳状态或非疲劳状态。

在本实施例中，疲劳状态识别模型优选为二分类模型。当融合特征向量输入疲劳状态识别模型后，该模型即输出二值化的疲劳状态识别结果。例如，当疲劳状态识别模型输出结果为0时，表示目标用户处于非疲劳状态；当疲劳状态识别模型输出结果为1时，表示目标用户处于疲劳状态。

判定模块15用于根据多次疲劳状态识别后所述疲劳状态识别结果为疲劳状态的个数，判定所述目标用户是否为疲劳驾驶。

在本实施列中，疲劳识别模块14在得到疲劳状态识别结果后，可以将所述疲劳状态识别结果加入预设的窗口队列，所述窗口队列具有最大队列长度。

具体地，窗口队列是一种队列式的线性表，有固定的存储容量，即最大队列长度。例如，假设窗口队列的最大队列长度为10，当窗口队列中顺序地存有第一个疲劳状态识别结果～第九个疲劳状态识别结果时，若有第十个疲劳状态识别结果要加入队列，则可以直接将其加入到窗口队列的第十个位置；后续若有新的第十一个疲劳状态识别结果要加入队列时，则窗口队列将删除第一个疲劳状态识别结果并存储第十一个疲劳状态识别结果，存储后窗口队列中顺序地存有第二个疲劳状态识别结果～第十一个疲劳状态识别结果；当又有新的疲劳状态识别结果要加入窗口队列时，对应地删除窗口队列中最早加入的识别结果，并将新的识别结果存储到窗口队列中，即，窗口队列是先进先出的线性表。窗口队列的最大队列长度可以按照实际情况来设置。

在此基础上，判定模块15优选包括：

比值获取单元151，用于获取所述窗口队列中，所述疲劳状态识别结果为疲劳状态的个数与所述最大队列长度的比值。

疲劳判定单元152，用于当所述比值达到预定阈值时，判定所述目标用户为疲劳驾驶；当所述比值小于所述预定阈值时，判定所述目标用户为正常驾驶。

例如，假设预定阈值为5，窗口队列的最大队列长度为10，当窗口队列中疲劳状态识别结果为疲劳状态的个数为6时，则判定所述目标用户为疲劳驾驶，当窗口队列中疲劳状态识别结果为疲劳状态的个数为4时，则判定所述目标用户为正常驾驶(即非疲劳驾驶)。

告警模块16用于当所述目标用户被判定为疲劳驾驶时，输出相应的告警信号。

在本实施例中，输出的告警信号可以是告警显示信号、告警音频信号和/或告警灯光信号。

其中，告警显示信号用于指令相应的显示组件在接收到告警显示信号之后，显示相应的文字、视频或图像信息，例如显示防疲劳驾驶的相关宣传标语、宣传动画或宣传图。告警音频信号用于控制相应的扬声器接收到告警音频信号之后，播放相应的音频数据，例如播放“危险，别犯困”的语音。告警灯光信号用于指令相应的灯光告警组件接收到告警灯光信号之后，显示相应的告警灯光。

应该理解，上述三种告警方式可以单独使用，也可两两组合使用，也可以三种同时使用，本实施例对此不做具体限定。

可见，本实施例基于当前周期内采集的图像数据和语音数据两个模态的数据进行疲劳驾驶行为识别，相较于仅通过图像数据进行识别的方案，能够提高疲劳驾驶行为识别的准确性；并且，由于当前采集周期内的图像数据是连续的，因而在进行识别时能更好地结合图像数据的上下文特征，可以进一步提高疲劳驾驶行为识别的准确性，有利于及时对驾驶员预警，从而增强驾驶过程中的安全性。

实施例5

本实施例是对实施例1的进一步限定，如图5所示，在本实施例中，疲劳驾驶识别系统还包括模型训练模块10。其中，模型训练模块10配置为执行如图2所示的操作，具体如下：

首先，获取样本集，所述样本集包括在预定周期内针对训练用户采集的连续帧样本图像数据和样本语音数据，其中，所述样本图像数据和样本语音数据标注有对应的疲劳状态标签。

具体地，疲劳状态标签可以采用二值化标注方式进行标注，例如，当疲劳状态标签为0时，表示训练用户处于非疲劳状态，当疲劳状态标签为1时，表示训练用户处于疲劳状态。需要说明的是，此处的预定周期与实施例1中的当前周期的周期时长一致。

而后，提取各所述样本图像数据对应的样本人脸特征向量、以及所述样本语音数据对应的样本音频特征向量。

本实施例并不对样本人脸特征向量和样本音频特征向量的提取方法进行具体限定，但应该与步骤S12中采用的提取方法一致。

再而后，根据所述样本人脸特征向量和样本音频特征向量，得到样本融合特征向量。

本实施例并不对样本人脸特征向量和样本音频特征向量的融合方式进行具体限定，但应该与步骤S13中采用的融合方式一致。

再而后，通过预设的疲劳状态识别模型对所述样本融合特征向量进行处理，得到对应训练用户的疲劳状态预测结果。

再而后，基于所述疲劳状态预测结果与对应的疲劳状态标签，计算模型损失。

在本实施例中，模型损失用于表示疲劳状态预测结果与对应的疲劳状态标签之间的误差。

最后，根据所述模型损失对所述疲劳状态识别模型进行迭代训练，直至满足预设的训练终止条件。

在本实施例中，预设的训练终止条件可以是模型损失收敛或小于预设的最小损失阈值，也可以是达到预设的迭代个数。

经过本实施例训练的疲劳状态识别模型能够根据预定周期内连续的图像数据和语音数据，准确识别用户是否处于疲劳状态。

实施例6

如图6所示，本实施例在实施例4或5的基础上，进一步增加了响应接收模块17，该响应接收模块17具体用于：接收所述目标用户针对所述告警信号输入的响应信息，所述响应信息用于指示所述目标用户实际是否处于疲劳状态，以便根据所述响应信息，对所述疲劳状态识别模型进行再次训练。

例如，可以设置硬件开关或虚拟开关供目标用户输入响应信息，该响应信息表示用户对当前疲劳状态识别模型的反馈，可以是正向反馈，即表示当前疲劳状态识别模型的识别结果是正确的，也可以是负向反馈，即表示当前疲劳状态识别模型的识别结果是错误的，从而便于根据用户的驾驶习惯对疲劳状态识别模型进行再训练。

本发明通过根据目标用户针对所述告警信号的响应信息，对所述疲劳状态识别模型进行再次训练，可以得到符合目标用户驾驶习惯的个性化疲劳状态识别模型，从而能够进一步提高疲劳识别准确度，大大降低误报率。

实施例7

本实施例提供一种电子设备，电子设备可以通过计算设备的形式表现(例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现实施例1、2或3提供的疲劳驾驶识别方法。

图7示出了本实施例的硬件结构示意图，如图7所示，电子设备9具体包括：

至少一个处理器91、至少一个存储器92以及用于连接不同系统组件(包括处理器91和存储器92)的总线93，其中：

总线93包括数据总线、地址总线和控制总线。

存储器92包括易失性存储器，例如随机存取存储器(RAM)921和/或高速缓存存储器922，还可以进一步包括只读存储器(ROM)923。

存储器92还包括具有一组(至少一个)程序模块924的程序/实用工具925，这样的程序模块924包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器91通过运行存储在存储器92中的计算机程序，从而执行各种功能应用以及数据处理，例如本公开实施例1、2或3所提供的疲劳驾驶识别方法。

电子设备9进一步可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且，电子设备9还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器96通过总线93与电子设备9的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备9使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

实施例8

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1、2或3所提供的疲劳驾驶识别方法的步骤。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本公开还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1、2或3所述的种疲劳驾驶识别方法的步骤。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

虽然以上描述了本公开的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本公开的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本公开的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本公开的保护范围。

Claims (16)

1.一种疲劳驾驶识别方法，其特征在于，包括：

获取当前周期内针对目标用户采集的连续帧图像数据和连续的语音数据；

提取各所述图像数据中的人脸特征向量、以及所述语音数据对应的音频特征向量；

根据各所述图像数据中的人脸特征向量及所述语音数据对应的音频特征向量，得到融合特征向量；

通过预先训练的疲劳状态识别模型对所述融合特征向量进行处理，得到所述目标用户的疲劳状态识别结果，所述疲劳状态识别结果为疲劳状态或非疲劳状态；

根据多次疲劳状态识别后所述疲劳状态识别结果为疲劳状态的个数，判定所述目标用户是否为疲劳驾驶。

2.根据权利要求1所述的疲劳驾驶识别方法，在得到所述目标用户的疲劳状态识别结果后，所述方法还包括：

将所述疲劳状态识别结果加入预设的窗口队列，所述窗口队列具有最大队列长度；

所述根据所述疲劳状态识别结果为疲劳状态的个数，判定所述目标用户是否为疲劳驾驶，包括：

获取所述窗口队列中，所述疲劳状态识别结果为疲劳状态的个数与所述最大队列长度之间的比值；

当所述比值达到预定阈值时，判定所述目标用户为疲劳驾驶；

当所述比值小于所述预定阈值时，判定所述目标用户为正常驾驶。

3.根据权利要求1所述的疲劳驾驶识别方法，所述疲劳状态识别模型通过如下步骤训练：

获取样本集，所述样本集包括在预定周期内针对训练用户采集的连续帧样本图像数据和连续的样本语音数据，其中，所述样本图像数据和样本语音数据标注有对应的疲劳状态标签；

提取各所述样本图像数据对应的样本人脸特征向量、以及所述样本语音数据对应的样本音频特征向量；

根据所述样本人脸特征向量和样本音频特征向量，得到样本融合特征向量；

通过预设的疲劳状态识别模型对所述样本融合特征向量进行处理，得到对应的疲劳状态预测结果；

基于所述疲劳状态预测结果与对应的疲劳状态标签，计算模型损失；

根据所述模型损失对所述疲劳状态识别模型进行迭代训练。

4.根据权利要求1所述的疲劳驾驶识别方法，所述方法还包括：

当所述目标用户被判定为疲劳驾驶时，输出相应的告警信号。

5.根据权利要求4所述的疲劳驾驶识别方法，所述方法还包括：

接收所述目标用户针对所述告警信号输入的响应信息，所述响应信息用于指示所述目标用户实际是否处于疲劳状态，以便根据所述响应信息，对所述疲劳状态识别模型进行再次训练。

6.根据权利要求1所述的疲劳驾驶识别方法，所述提取各所述图像数据中的人脸特征向量，包括：

提取各所述图像数据中的人脸区域子图；

从所述人脸区域子图中提取所述人脸特征向量。

7.根据权利要求1所述的疲劳驾驶识别方法，所述根据各所述图像数据中的人脸特征向量及所述语音数据对应的音频特征向量，得到融合特征向量，包括：

从各所述图像数据中抽取预设数量的连续帧目标图像数据、并从所述语音数据中提取与所述目标图像数据时间对应的目标语音数据；

将各所述目标图像数据中的人脸特征向量及所述目标语音数据对应的音频特征向量进行融合，得到所述融合特征向量。

8.一种疲劳驾驶识别系统，其特征在于，包括：

数据获取模块，配置为获取当前周期内针对目标用户采集的连续帧图像数据和连续的语音数据；

特征提取模块，配置为提取各所述图像数据中的人脸特征向量、以及所述语音数据对应的音频特征向量；

特征融合模块，配置为根据各所述图像数据中的人脸特征向量及所述语音数据对应的音频特征向量，得到融合特征向量；

疲劳识别模块，配置为通过预先训练的疲劳状态识别模型对所述融合特征向量进行处理，得到所述目标用户的疲劳状态识别结果，所述疲劳状态识别结果为疲劳状态或非疲劳状态；

判定模块，配置为根据多次疲劳状态识别后所述疲劳状态识别结果为疲劳状态的个数，判定所述目标用户是否为疲劳驾驶。

9.根据权利要求8所述的疲劳驾驶识别系统，所述疲劳识别模块还配置为：在得到所述目标用户的疲劳状态识别结果后，将所述疲劳状态识别结果加入预设的窗口队列，所述窗口队列具有最大队列长度；

所述判定模块包括：

比值获取单元，配置为获取所述窗口队列中，所述疲劳状态识别结果为疲劳状态的个数与所述最大队列长度之间的比值；

疲劳判定单元，配置为当所述比值达到预定阈值时，判定所述目标用户为疲劳驾驶，当所述比值小于所述预定阈值时，判定所述目标用户为正常驾驶。

10.根据权利要求8所述的疲劳驾驶识别系统，所述系统还包括模型训练模块，所述模型训练模块配置为：

获取样本集，所述样本集包括在预定周期内针对训练用户采集的连续帧样本图像数据和连续的样本语音数据，其中，所述样本图像数据和样本语音数据标注有对应的疲劳状态标签；

提取各所述样本图像数据对应的样本人脸特征向量、以及所述样本语音数据对应的样本音频特征向量；

根据所述样本人脸特征向量和样本音频特征向量，得到样本融合特征向量；

通过预设的疲劳状态识别模型对所述样本融合特征向量进行处理，得到对应训练用户的疲劳状态预测结果；

基于所述疲劳状态预测结果与对应的疲劳状态标签，计算模型损失；

根据所述模型损失对所述疲劳状态识别模型进行迭代训练。

11.根据权利要求8所述的疲劳驾驶识别系统，所述系统还包括：

告警模块，配置为当所述目标用户被判定为疲劳驾驶时，输出相应的告警信号。

12.根据权利要求11所述的疲劳驾驶识别系统，所述系统还包括：

响应接收模块，配置为接收所述目标用户针对所述告警信号输入的响应信息，所述响应信息用于指示所述目标用户实际是否处于疲劳状态，以便根据所述响应信息，对所述疲劳状态识别模型进行再次训练。

13.根据权利要求8所述的疲劳驾驶识别系统，所述特征提取模块通过提取各所述图像数据中的人脸区域子图，从所述人脸区域子图中提取所述人脸特征向量。

14.根据权利要求8所述的疲劳驾驶识别系统，所述特征融合模块具体配置为：

从各所述图像数据中抽取预设数量的连续帧目标图像数据、并从所述语音数据中提取与所述目标图像数据时间对应的目标语音数据；

将所述目标图像数据中的人脸特征向量及所述目标语音数据对应的音频特征向量进行融合，得到所述融合特征向量。

15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。

Images