CN109815937A - 疲劳状态智能识别方法、装置及电子设备 - Google Patents

Abstract

本发明提供一种疲劳状态智能识别方法、装置及电子设备，涉及状态识别领域。该方法包括：基于实时获取到的驾驶员的连续多帧人脸图像确定每帧人脸图像对应的视觉特征；将每帧人脸图像对应的视觉特征依次输入已训练的疲劳分类网络模型依次确定出多个不同时刻的驾驶员的中间疲劳状态，多个不同时刻包括当前时刻和当前时刻之前的多个时刻；将各个不同时刻的驾驶员的中间疲劳状态输入已训练的疲劳判断时序网络学习模型，确定当前时刻的驾驶员的疲劳状态。通过已训练的疲劳分类网络模型和已训练的疲劳判断时序网络学习模型对驾驶员人脸图像的识别，提高了识别的准确性。

Description

疲劳状态智能识别方法、装置及电子设备

技术领域

本发明涉及状态识别领域，具体而言，涉及一种疲劳状态智能识别方法、装置及电子设备。

背景技术

驾驶员疲劳驾驶是引发交通事故的重要原因之一，每年因疲劳驾驶造成大量的人员伤亡，直接或间接的导致了巨额的经济损失。

现有技术的疲劳驾驶预警方法，可通过面部特征，如眼睛、嘴巴等部位的变化，判断驾驶员是否处于疲劳驾驶状态。

但是目前的方法对驾驶员疲劳状态的判断准确度有待进一步提高。

发明内容

本发明的目的在于，针对上述现有技术中的不足，提供一种疲劳驾驶监测方法、装置及电子设备，以提高驾驶员疲劳状态的识别率。

为实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种疲劳状态智能识别方法，包括：基于实时获取到的驾驶员的连续多帧人脸图像确定每帧人脸图像对应的视觉特征；将所述每帧人脸图像对应的视觉特征依次输入已训练的疲劳分类网络模型依次确定出多个不同时刻的驾驶员的中间疲劳状态，所述多个不同时刻包括当前时刻和当前时刻之前的多个时刻；将各个不同时刻的驾驶员的中间疲劳状态输入已训练的疲劳判断时序网络学习模型，确定当前时刻的驾驶员的疲劳状态。

可选地，采用以下方式得到所述已训练的疲劳分类网络模型：获取连续多帧样本人脸图像；标记各帧所述样本人脸图像的中间疲劳状态；确定每帧样本人脸图像对应的视觉特征；将每帧样本人脸图像对应的视觉特征和中间疲劳状态输入疲劳分类网络模型对所述疲劳分类网络模型进行训练，得到已训练的基于视觉特征确定中间疲劳状态的疲劳分类网络模型。

可选地，采用以下方式得到所述已训练的疲劳判断时序网络学习模型：将所述每帧样本人脸图像输入所述疲劳分类网络模型，依次输出所述多个不同时刻的所述中间疲劳状态；将所述多个不同时刻的所述中间疲劳状态输入疲劳判断时序网络学习模型，对所述疲劳判断时序网络学习模型进行训练，得到已训练的疲劳判断时序网络学习模型。

可选地，所述基于实时获取到的驾驶员的连续多帧人脸图像确定每帧人脸图像对应的视觉特征，包括：基于视觉特征算法识别出实时获取到的驾驶员的每帧所述人脸图像的视觉特征区域的关键点；根据每帧人脸图像的视觉特征区域的关键点确定出所述每帧人脸图像的所述视觉特征区域的状态；根据所述每帧人脸图像的所述视觉特征区域的状态确定所述每帧人脸图像对应的所述视觉特征。

可选地，所述视觉特征区域包括：嘴部和/或眼部和/或头部；所述根据每帧人脸图像的所述视觉特征区域的关键点确定出所述每帧人脸图像的所述视觉特征区域的状态，包括：根据所述每帧人脸图像的嘴部的关键点确定出嘴部张开程度；和/或根据所述每帧人脸图像的眼部的关键点确定出眼睛闭合程度；和/或根据每帧人脸图像的头部的关键点确定出头部沿水平方向转动的俯仰角和/或头部沿竖直方向转动的偏航角。

可选地，所述确定当前时刻的驾驶员的疲劳状态之后，还包括：根据所述疲劳状态生成疲劳报警信息。

第二方面，本发明实施例还提供了一种疲劳状态智能识别装置，包括：视觉特征确定模块、已训练的分类网络模型和已训练的疲劳判断时序网络学习模型；所述视觉特征确定模块，用于基于实时获取到的驾驶员的连续多帧人脸图像确定每帧人脸图像对应的视觉特征；所述已训练的疲劳分类网络模型，用于根据依次输入的每帧人脸图像对应的视觉特征确定出多个不同时刻的驾驶员的中间疲劳状态，所述多个不同时刻包括当前时刻和当前时刻之前的多个时刻；所述已训练的疲劳判断时序网络学习模型用于，根据输入的各个不同时刻的驾驶员的中间疲劳状态确定当前时刻的驾驶员的疲劳状态。

可选地，采用以下方式对所述疲劳分类网络模型进行训练：获取连续多帧样本人脸图像；标记各帧所述样本人脸图像的中间疲劳状态；确定每帧样本人脸图像对应的视觉特征；将每帧样本人脸图像对应的视觉特征和中间疲劳状态输入疲劳分类网络模型对所述疲劳分类网络模型进行训练，得到已训练的基于视觉特征确定中间疲劳状态的疲劳分类网络模型。

可选地，采用以下方式得到所述已训练的疲劳判断时序网络学习模型：将所述每帧样本人脸图像输入所述疲劳分类网络模型，依次输出所述多个不同时刻的所述中间疲劳状态；将所述多个不同时刻的所述中间疲劳状态输入疲劳判断时序网络学习模型，对所述疲劳判断时序网络学习模型进行训练，得到已训练的疲劳判断时序网络学习模型。

第三方面，本发明实施例还提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并且能够在所述处理器上运行的程序，所述处理器执行所述程序时实现第一方面所述的疲劳状态智能识别方法。

本申请提供的疲劳状态智能识别方法、装置及电子设备，由于驾驶员的疲劳状态不仅与当前时刻的状态有关，还与当前时刻之前的时刻的状态有关。通过采集驾驶员的连续多帧人脸图像输入疲劳分类网络模型，获得中间疲劳状态，再将获得的中间疲劳状态输入疲劳判断时序网络学习模型，由于疲劳判断时序网络学习模型能结合多帧人脸图像的输入时序和驾驶员的疲劳状态，关联了多个时刻的疲劳状况，故对疲劳分类网络模型输出的中间疲劳状态有矫正的作用能准确的判断驾驶员的疲劳状态。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请一实施例提供的疲劳状态智能识别方法的流程示意图；

图2为本申请一实施例提供的疲劳分类网络模型训练方法的流程示意；

图3为本申请一实施例提供的疲劳判断时序网络学习模型训练方法的流程示意图；

图4为本申请另一实施例提供的疲劳状态智能识别方法的流程示意图；

图5为本申请另一实施例提供的疲劳状态智能识别方法的流程示意图；

图6为本申请一实施例提供的疲劳状态智能识别装置结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

图1为本申请一实施例提供的疲劳状态智能识别方法的流程示意图，如图1所示，该方法包括：

S101、基于实时获取到的驾驶员的连续多帧人脸图像确定每帧人脸图像对应的视觉特征。

可选地，采用摄像设备实时的采集驾驶员的人脸图像，将实时采集的驾驶员的人脸图像发送或者输出到执行该疲劳状态智能识别方法的模块或者装置。摄像设备可以为红外摄像机，安装在驾驶员的前方，对驾驶员的人脸图像进行实时采集。

S102、将每帧人脸图像对应的视觉特征依次输入已训练的疲劳分类网络模型依次确定出多个不同时刻的驾驶员的中间疲劳状态。多个不同时刻包括当前时刻和当前时刻之前的多个时刻。

可选地，在对一帧人脸图像进行识别时，将该帧人脸图像输入疲劳分类网络模型，获得中间疲劳状态。以视觉特征中的眼部特征用于判断疲劳状态为例，眼部开合度小于50％识别为疲劳，当该帧人脸图像的视觉特征中眼部开合度小于50％，对应的中间疲劳状态为“不疲劳”或者“无法确认”。对连续多帧人脸图像依次进行识别，确定出中间疲劳状态。

对采集到的各帧人脸图像按照上述一帧人脸图像的识别方法通过疲劳分类网络模型，依次进行识别，确定出各帧人脸图像分别对应的中间疲劳状态。

S103、将各不同时刻的驾驶员的中间疲劳状态输入已训练的疲劳判断时序网络学习模型，确定当前时刻的驾驶员的疲劳状态。

结合疲劳判断时序网络学习模型根据当前时刻以及当前时刻之前的多个时刻的疲劳状态综合判断出驾驶员的疲劳状态，例如，如果当前时刻的疲劳状态为不疲劳，当前时刻之前的多个时刻的疲劳状态也为疲劳，则确定驾驶员的疲劳状态为疲劳；如果当前时刻的疲劳状态为疲劳，当前时刻之前的多个时刻的疲劳状态为不疲劳，确定驾驶员的疲劳状态为不疲劳，如果当前时刻的疲劳状态为疲劳，当前时刻之前的多个时刻中有几个时刻的疲劳状态为不疲劳，有几个时刻为不疲劳，该模型根据各个时刻的疲劳状态，最终确定出当前时刻的疲劳状态，可能为疲劳或者不疲劳。上述上述只是举例，疲劳判断时序网络学习模型在判断当前时刻的疲劳状态时会根据各个时刻疲劳状态之间的关联进行判断，确定当前时刻的疲劳状态。

可选地，网络学习模型对于驾驶员的疲劳状态的识别，输出的是疲劳状态的概率值。例如，网络学习模型输出的驾驶员为疲劳的概率为90％，不疲劳的概率为5％，无法确认的概率为5％。以概率最高的状态为驾驶员的疲劳状态，即，驾驶员为疲劳。

本实施例提供的疲劳状态智能识别方法，疲劳分类网络模型可以根据视觉特征识别出中间疲劳状态，由于驾驶员的疲劳状态不仅与当前时刻的状态有关，还与当前时刻之前的时刻的疲劳状态有关，将疲劳分类网络模型输出的各个时刻的中间疲劳状态作为输入，输入至疲劳判断时序网络学习模型识别出驾驶员的疲劳状态。通过疲劳分类网络模型和疲劳判断时序网络学习模型对人脸图像进行疲劳状态的识别，识别的结果不仅与当前时刻的人脸图像的疲劳状态有关，还与当前时刻之前的时刻的疲劳状态有关，即使在当前时刻人脸图像的疲劳状态不明显，由于关联当前时刻之前的时刻的疲劳状态，也能准确的识别驾驶员的疲劳状态，提高了驾驶员疲劳识别的准确性。

图2为本申请一实施例提供的疲劳分类网络模型训练方法的流程示意图。

可选地，如图2所示，在使用分疲劳分类网络模型对驾驶员疲劳状态进行识别之前，还包括对疲劳分类网络模型的训练，下面给出了一种疲劳分类网络模型训练的实现方式，具体的，采用以下方式得到已训练的疲劳分类网络模型：

S201、获取连续多帧样本人脸图像。

可选地，可以使用摄像设备采集样本人脸图像，采集的连续多帧样本人脸图像。另外，多帧样本人脸图像还包含了样本人脸图像对应的时序。

可选地，在一组疲劳分类网络模型的训练中，摄像设备在1秒采集的样本人脸图像为20帧，可以使用其中连续的3～6帧用于训练疲劳分类网络模型。在每次对疲劳分类网络模型的训练时，用于训练的样本越多，训练的组次越多，获得的疲劳分类网络模型输出的结果越准确。

S202、标记各帧样本人脸图像的中间疲劳状态。

其中，标记的方式可以是操作人员通过交互界面或者其它方式人为标记的。

S203、确定每帧样本人脸图像对应的视觉特征。

S204、将每帧样本人脸图像对应的视觉特征和中间疲劳状态输入疲劳分类网络模型，对疲劳分类网络模型进行训练，得到已训练的基于视觉特征确定中间疲劳状态的疲劳分类网络模型。

可选地，疲劳分类网络模型可以为分布式深度森林模型。分布式深度森林模型增加了树模型的复杂度，提高了对人脸图像识别的准确性。

需要说明的是，在对疲劳分类网络模型进行训练获得训练好的疲劳分类网络模型的过程为：将视觉特征和中间疲劳状态输入疲劳分类网络模型，以视觉特征为输入条件，疲劳分类网络模型输出疲劳状态，疲劳分类网络模型根据得出的疲劳状态与预先标记的中间疲劳状态进行比较，调整自身的相关参数，经过大量的样本人脸图像对该模型进行训练得到训练后的疲劳分类网络模型。

由于驾驶员的疲劳状态不仅与当前时刻的疲劳状态有关，还与当前时刻之前的时刻的疲劳状态有关，因此，需要对疲劳分类网络模型的输出结果进行矫正，图3为本申请一实施例提供的疲劳判断时序网络学习模型训练方法的流程示意图，将疲劳分类网络模型的输出结果输入疲劳判断时序网络学习模型中，对疲劳判断时序网络学习模型进行训练，具体步骤包括：

S301、将每帧样本人脸图像输入疲劳分类网络模型，依次输出多个不同时刻的中间疲劳状态。

S302、将多个不同时刻的中间疲劳状态输入疲劳判断时序网络学习模型，对疲劳判断时序网络学习模型进行训练，得到已训练的疲劳判断时序网络学习模型。

可选地，将多帧样本人脸图像输入疲劳分类网络模型，疲劳分类网络模型按照多帧样本人脸图像的时序，依次输出各样本人脸图像对应的中间疲劳状态，将依次输出的中间疲劳状态输入隐马尔科夫模型，对隐马尔科夫模型进行训练，获得训练后的疲劳判断时序网络学习模型。

可选地，可以采用多组样本人脸图像对上述两个模型进行训练，并且，训练的样本人脸图像越多，获得的疲劳判断时序网络学习模型对疲劳状态的识别结果越准确。训练成功后的模型，通过疲劳分类网络模型和疲劳判断时序网络学习模型，共同判断驾驶员的疲劳状态。

例如，在当前时刻人脸图像的面部特征表现出来的疲劳特征比较微弱的情况，以打哈欠用于识别疲劳状态为例，前一时刻为打哈欠的人脸图像，当前时刻为打完哈欠后的人脸图像。当前时刻的人脸图像表现出来的疲劳特征比较微弱，如果仅以当前时刻的人脸图像用于面部特征的识别，则识别不出驾驶员的疲劳状态为疲劳。由于本实施例提供的疲劳判断时序网络学习模型用于识别疲劳状态时，关联了疲劳状态的时序，因此，根据当前时刻的人脸图像以及前一时刻的人脸图像，识别出当前时刻为疲劳状态。

可选地，对于图1中的S101，下面给出了一种基于人脸图像确定视觉特征的实施方式。图4为本申请另一实施例提供的疲劳状态智能识别方法的流程示意图，如图4所示，S101包括：S101-1、基于视觉特征算法识别出实时获取到的驾驶员的每帧人脸图像的视觉特征区域的关键点。

可选地，视觉特征算法可以采用CLM(Constrained Local Model，人脸点检测)算法，对人脸图像的关键点进行定位。

S101-2、根据每帧人脸图像的视觉特征区域的关键点确定出每帧人脸图像的视觉特征区域的状态。

S101-3、根据每帧人脸图像的视觉特征区域的状态确定每帧人脸图像对应的视觉特征。

可选地，视觉特征区域包括：嘴部和/或眼部和/或头部，S101-2，包括：

根据每帧人脸图像的嘴部的关键点确定出嘴部张开程度。

和/或根据每帧人脸图像的眼部的关键点确定出眼睛闭合程度。

和/或根据每帧人脸图像的头部的关键点确定出头部沿水平方向转动的俯仰角、和/或头部沿竖直方向转动的偏航角。

可选地，在图1的基础上，可以对图1实施例的判断获得的状态信息进行显示，图5为本申请另一实施例提供的疲劳状态智能识别方法的流程示意图。如图5所示，示出状态信息显示的一种实现方式，具体包括：

S104、根据疲劳状态生成疲劳报警信息。

可选地，疲劳报警信息可以为文字信息、符号信息或者声音信息，疲劳状态可以为不疲劳、轻度疲劳、中度疲劳或者严重疲劳等几种情况。例如，当疲劳状态为中度疲劳或者严重疲劳时，生成的疲劳报警信息为红色或者黄色等颜色且字体较大的报警文字(红色或者黄色的字体为一号宋体的文字)或者报警符号(例如黄色叹号)等，可以采用显示器显示上述的报警文字或者报警符号；或者生成的疲劳报警信息为频率较大的刺耳声音，采用麦克风输出刺耳声音进行报警。当疲劳状态为不疲劳时，可生成常规的文字信息或者符号信息，通过显示器显示。对于不同的疲劳状态，例如轻度疲劳、中度疲劳或者严重疲劳等，也可以采用不同的疲劳报警信息，例如轻度疲劳用红色文字，中度疲劳为黄色文字、严重疲劳为橙色且字体较大文字。

通过生成疲劳报警信息，提醒驾驶员当前疲劳状态，驾驶员可停止驾驶或者更换其他驾驶员，保证行程安全。

图6为本申请一实施例提供的疲劳状态智能识别装置结构示意图，如图6所示，提供一种疲劳状态智能识别装置以执行上述方法类实施例中对应的功能，该装置包括：视觉特征确定模块401、已训练的疲劳分类网络模型402和已训练的疲劳判断时序网络学习模型403。

视觉特征确定模块401，用于基于实时获取到的驾驶员的连续多帧人脸图像确定每帧人脸图像对应的视觉特征。

已训练的疲劳分类网络模型402，用于根据依次输入的每帧人脸图像对应的视觉特征确定出多个不同时刻的驾驶员的中间疲劳状态，多个不同时刻包括当前时刻和当前时刻之前的多个时刻。

已训练的网络学习模型用于403，根据输入的各个不同时刻的驾驶员的中间疲劳状态确定当前时刻的驾驶员的疲劳状态。

可选地，采用以下方式对疲劳分类网络模型进行训练：获取连续多帧样本人脸图像；标记各帧样本人脸图像的中间疲劳状态；确定每帧样本人脸图像对应的视觉特征；将每帧样本人脸图像对应的视觉特征和中间疲劳状态输入疲劳分类网络模型对分类网络模型进行训练，得到已训练的基于视觉特征确定中间疲劳状态的疲劳分类网络模型。

可选地，采用以下方式得到已训练的疲劳判断时序网络学习模型：将每帧样本人脸图像输入疲劳分类网络模型，依次输出多个不同时刻的中间疲劳状态；

将多个不同时刻的中间疲劳状态输入疲劳判断时序网络学习模型，对疲劳判断时序网络学习模型进行训练，得到已训练的疲劳判断时序网络学习模型。

可选地，已训练的疲劳分类网络模型402和已训练的网络学习模型用于403对驾驶员状态信息的判断。模型训练好之后可以使用。训练成功后不再反复对模型进行训练。也可以用训练好的模型用于疲劳状态的识别，并将识别的人脸图像用于训练模型，并且，随着使用次数的增加，模型训练的次数增加，模型识别的准确率越高。

本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并且能够在处理器上运行的程序，处理器执行程序时实现上述实施例中的疲劳状态智能识别方法。

上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种疲劳状态智能识别方法，其特征在于，包括：

基于实时获取到的驾驶员的连续多帧人脸图像确定每帧人脸图像对应的视觉特征；

将所述每帧人脸图像对应的视觉特征依次输入已训练的疲劳分类网络模型依次确定出多个不同时刻的驾驶员的中间疲劳状态，所述多个不同时刻包括当前时刻和当前时刻之前的多个时刻；

将各个不同时刻的驾驶员的中间疲劳状态输入已训练的疲劳判断时序网络学习模型，确定当前时刻的驾驶员的疲劳状态。

2.如权利要求1所述的疲劳状态智能识别方法，其特征在于，采用以下方式得到所述已训练的疲劳分类网络模型：

获取连续多帧样本人脸图像；

标记各帧所述样本人脸图像的中间疲劳状态；

确定每帧样本人脸图像对应的视觉特征；

将每帧样本人脸图像对应的视觉特征和中间疲劳状态输入疲劳分类网络模型对所述疲劳分类网络模型进行训练，得到已训练的基于视觉特征确定中间疲劳状态的疲劳分类网络模型。

3.根据权利要求2所述的方法，其特征在于，采用以下方式得到所述已训练的疲劳判断时序网络学习模型：

将所述每帧样本人脸图像输入所述疲劳分类网络模型，依次输出所述多个不同时刻的所述中间疲劳状态；

将所述多个不同时刻的所述中间疲劳状态输入疲劳判断时序网络学习模型，对所述疲劳判断时序网络学习模型进行训练，得到已训练的疲劳判断时序网络学习模型。

4.如权利要求1所述的疲劳状态智能识别方法，其特征在于，所述基于实时获取到的驾驶员的连续多帧人脸图像确定每帧人脸图像对应的视觉特征，包括：

基于视觉特征算法识别出实时获取到的驾驶员的每帧所述人脸图像的视觉特征区域的关键点；

根据每帧人脸图像的视觉特征区域的关键点确定出所述每帧人脸图像的所述视觉特征区域的状态；

根据所述每帧人脸图像的所述视觉特征区域的状态确定所述每帧人脸图像对应的所述视觉特征。

5.如权利要求4所述的疲劳状态智能识别方法，其特征在于，所述视觉特征区域包括：嘴部和/或眼部和/或头部；所述根据每帧人脸图像的所述视觉特征区域的关键点确定出所述每帧人脸图像的所述视觉特征区域的状态，包括：

根据所述每帧人脸图像的嘴部的关键点确定出嘴部张开程度；和/或

根据所述每帧人脸图像的眼部的关键点确定出眼睛闭合程度；

和/或

根据每帧人脸图像的头部的关键点确定出头部沿水平方向转动的俯仰角和/或头部沿竖直方向转动的偏航角。

6.如权利要求1-5任一项所述的疲劳状态智能识别方法，其特征在于，所述确定当前时刻的驾驶员的疲劳状态之后，还包括：

根据所述疲劳状态生成疲劳报警信息。

7.一种疲劳状态智能识别装置，其特征在于，包括：视觉特征确定模块、已训练的分类网络模型和已训练的疲劳判断时序网络学习模型；

所述视觉特征确定模块，用于基于实时获取到的驾驶员的连续多帧人脸图像确定每帧人脸图像对应的视觉特征；

所述已训练的疲劳分类网络模型，用于根据依次输入的每帧人脸图像对应的视觉特征确定出多个不同时刻的驾驶员的中间疲劳状态，所述多个不同时刻包括当前时刻和当前时刻之前的多个时刻；

所述已训练的疲劳判断时序网络学习模型用于，根据输入的各个不同时刻的驾驶员的中间疲劳状态确定当前时刻的驾驶员的疲劳状态。

8.如权利要求7所述的疲劳状态智能识别装置，其特征在于，采用以下方式对所述疲劳分类网络模型进行训练：

获取连续多帧样本人脸图像；

标记各帧所述样本人脸图像的中间疲劳状态；

确定每帧样本人脸图像对应的视觉特征；

将每帧样本人脸图像对应的视觉特征和中间疲劳状态输入疲劳分类网络模型对所述疲劳分类网络模型进行训练，得到已训练的基于视觉特征确定中间疲劳状态的疲劳分类网络模型。

9.如权利要求8所述的疲劳状态智能识别装置，其特征在于，采用以下方式得到所述已训练的疲劳判断时序网络学习模型：

将所述每帧样本人脸图像输入所述疲劳分类网络模型，依次输出所述多个不同时刻的所述中间疲劳状态；

将所述多个不同时刻的所述中间疲劳状态输入疲劳判断时序网络学习模型，对所述疲劳判断时序网络学习模型进行训练，得到已训练的疲劳判断时序网络学习模型。

10.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并且能够在所述处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1至6中任一项所述的疲劳状态智能识别方法。