CN110855934A - 疲劳驾驶识别方法、装置、系统、车载终端及服务器 - Google Patents

Abstract

本申请提供了疲劳驾驶识别方法、装置、系统、车载终端及服务器，涉及驾驶安全领域。本申请提供的疲劳驾驶识别方法在实现时，车载终端首先依据驾驶员监控视频进行比较简略的初步识别，在初步识别的结果表示驾驶员可能处于疑似疲劳驾驶状态的情况下，车载终端再将驾驶员监控视频发送给服务器。相比于将识别疲劳驾驶的任务完全交给服务器来执行相比，本申请所提供的方法降低了将驾驶员监控视频发送给服务器的所需要消耗的网络流量。

Description

疲劳驾驶识别方法、装置、系统、车载终端及服务器

技术领域

本申请涉及驾驶安全领域，具体而言，涉及疲劳驾驶识别方法、装置、系统、车载终端及服务器。

背景技术

驾驶疲劳，主要是指驾驶人在长时间连续行车后，产生生理机能和心理机能的失调，而在客观上出现驾驶技能下降的现象。疲劳驾驶作为引发交通安全事故的一个主要原因，越来越受到人们的关注。

为了降低由于疲劳驾驶造成交通事故的次数，相关技术人员开发出了相应的疲劳驾驶提醒方法来提醒司机适时的进行休息，以缓解驾驶疲劳的程度。

发明内容

本申请的目的在于提供疲劳驾驶识别方法、装置、系统、车载终端及服务器。

第一方面，本申请实施例提供了一种疲劳驾驶识别方法，包括：

车载终端获取驾驶员监控视频；

车载终端使用简化图像识别模型对驾驶员监控视频中的多帧监控图像进行初步识别，以确定驾驶员监控视频中的驾驶员的驾驶状态；

若驾驶员的驾驶状态为疑似疲劳驾驶状态，则车载终端将驾驶员监控视频发送给服务器。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，步骤车载终端使用简化图像识别模型对驾驶员监控视频中的多帧监控图像进行初步识别，以确定驾驶员监控视频中的驾驶员的驾驶状态包括：

车载终端使用简化图像提取模型从驾驶员监控视频中提取连续的多帧第一参考图像；第一参考图像包括眼睛图像，和/或嘴巴图像；

车载终端根据连续的多帧第一参考图像，确定驾驶员监控视频中的驾驶员的驾驶状态。

结合第一方面，本申请实施例提供了第一方面的第二种可能的实施方式，其中，步骤车载终端根据连续的多帧第一参考图像，确定驾驶员监控视频中的驾驶员的驾驶状态包括：

车载终端使用时间长度检测模型，根据连续的多帧第一参考图像，确定驾驶员的第一眼睛张闭时长，和/或第一嘴巴张闭时长；

车载终端根据驾驶员的第一眼睛张闭时长，和/或第一嘴巴张闭时长，确定驾驶员监控视频中的驾驶员的驾驶状态。

结合第一方面，本申请实施例提供了第一方面的第三可能的实施方式，其中，还包括：

车载终端获取服务器所发出的表示驾驶员是否处于疲劳驾驶状态的驾驶状态信息；

若驾驶状态信息表示驾驶员处于疲劳驾驶状态，则车载终端向驾驶员发出提示信息。

结合第一方面，本申请实施例提供了第一方面的第四种可能的实施方式，其中，简化图像识别模型中的卷积层的层数小于精确图像识别模型中的卷积层的层数；

和/或，简化图像识别模型中的卷积层所对应的通道数小于精确图像识别模型中的卷积层所对应的通道数；

和/或，存储简化图像识别模型所占用的空间小于存储精确图像识别模型所占用的空间。

结合第一方面，本申请实施例提供了第一方面的第五种可能的实施方式，其中，

在步骤车载终端使用简化图像识别模型对驾驶员监控视频中的多帧监控图像进行初步识别，以确定驾驶员监控视频中的驾驶员的驾驶状态后，还包括：

若驾驶员的驾驶状态为低头状态，则车载终端向驾驶员发出提示信息。

结合第一方面，本申请实施例提供了第一方面的第六种可能的实施方式，其中，步骤车载终端使用简化图像提取模型从驾驶员监控视频中提取连续的多帧第一参考图像包括：

车载终端使用Proposal Network网络确定目标监控图像中的粗略人脸位置；所述目标监控图像是多帧目标监控图像中指定的一帧图像；

车载终端根据所述粗略人脸位置从目标监控图像中截取第一人脸区域图像；

车载终端将所述第一人脸区域图像重采样，得到第一分辨率的第一候选图像；

车载终端使用Refine Network网络确定所述第一候选图像中的精确人脸位置；

车载终端根据所述精确人脸位置从目标监控图像中截取第二人脸区域图像；

车载终端将所述第二人脸区域图像重采样，得到第二分辨率的第二候选图像；第二分辨率大于第一分辨率；

车载终端使用Output Network网络确定所述第二候选图像中的准确人脸位置和关键点坐标；

车载终端根据所述准确人脸位置和关键点坐标从目标监控图像中截取包含有眼睛图像，和/或嘴巴图像的第一参考图像。

结合第一方面，本申请实施例提供了第一方面的第七种可能的实施方式，其中，还包括：

车载终端获取驾驶员的连续接单时间，和/或驾驶员坐在驾驶位置上的坐姿状态持续时间；

车载终端根据连续接单时间，和/或坐姿状态持续时间，判断驾驶员是否处于连续驾驶状态；

若驾驶员处于连续驾驶状态，则车载终端向驾驶员发出提示信息。

第二方面，本申请实施例还提供了一种疲劳驾驶识别方法，包括：

服务器接收车载终端发送的驾驶员监控视频；驾驶员监控视频是车载终端使用简化图像识别模型对驾驶员监控视频中的多帧监控图像进行初步识别，并确定驾驶员监控视频中的驾驶员为疲劳驾驶疑似疲劳驾驶状态后发出的；

服务器使用精确图像识别模型对驾驶员监控视频中的多帧监控图像进行精确识别，以确定驾驶员是否处于疲劳驾驶状态。

结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，其中，步骤服务器使用精确图像识别模型对驾驶员监控视频中的多帧监控图像进行精确识别，以确定驾驶员是否处于疲劳驾驶状态包括：

服务器使用精确图像提取模型从驾驶员监控视频中提取连续的多帧第二参考图像；第二参考图像包括眼睛图像，和/或嘴巴图像；

服务器根据连续的多帧第二参考图像，判断驾驶员是否处于疲劳驾驶状态。

结合第二方面，本申请实施例提供了第二方面的第二种可能的实施方式，其中，步骤服务器根据连续的多帧第二参考图像，判断驾驶员是否处于疲劳驾驶状态包括：

服务器使用时间长度检测模型，根据连续的多帧第二参考图像，确定驾驶员的第二眼睛张闭时长，和/或第二嘴巴张闭时长；

服务器根据驾驶员的第二眼睛张闭时长，和/或第二嘴巴张闭时长，判断驾驶员是否处于疲劳驾驶状态。

结合第二方面，本申请实施例提供了第二方面的第三种可能的实施方式，其中，还包括：

服务器向所述车载终端发送表示驾驶员是否处于疲劳驾驶状态的驾驶状态信息，以使所述车载终端在驾驶状态信息表示驾驶员处于疲劳驾驶状态时，向所述驾驶员发出提示信息。

结合第二方面，本申请实施例提供了第二方面的第四种可能的实施方式，其中，

简化图像识别模型中的卷积层的层数小于精确图像识别模型中的卷积层的层数；

和或，简化图像识别模型中的卷积层所对应的通道数小于精确图像识别模型中的卷积层所对应的通道数；

和或，存储简化图像识别模型所占用的空间小于存储精确图像识别模型所占用的空间。

第三方面，本申请实施例还提供了一种疲劳驾驶识别系统，包括：车载终端和服务器；

车载终端和服务器通过无线网络连接；

车载终端，用于按照如第一方面的任一项的方法执行相应的操作；

服务器，用于按照如第二方面的任一项的方法执行相应的操作。

第四方面，本申请实施例还提供了一种疲劳驾驶识别装置，设置于车载终端，该装置包括：

第一获取模块，用于获取驾驶员监控视频；

初步识别模块，用于使用简化图像识别模型对驾驶员监控视频中的多帧监控图像进行初步识别，以确定驾驶员监控视频中的驾驶员的驾驶状态；

发送模块，若驾驶员的驾驶状态为疑似疲劳驾驶状态，则用于将驾驶员监控视频发送给服务器。

结合第四方面，本申请实施例提供了第四方面的第一种可能的实施方式，其中，初步识别模块包括：

简化图像提取单元，用于使用简化图像提取模型从驾驶员监控视频中提取连续的多帧第一参考图像；第一参考图像包括眼睛图像，和/或嘴巴图像；

确定单元，用于根据连续的多帧第一参考图像，确定驾驶员监控视频中的驾驶员的驾驶状态。

结合第四方面，本申请实施例提供了第四方面的第二种可能的实施方式，其中，确定单元包括：

时长检测子单元，用于使用时间长度检测模型，根据连续的多帧第一参考图像，确定驾驶员的第一眼睛张闭时长，和/或第一嘴巴张闭时长；

第一确定子单元，用于根据驾驶员的第一眼睛张闭时长，和/或第一嘴巴张闭时长，确定驾驶员监控视频中的驾驶员的驾驶状态。

结合第四方面，本申请实施例提供了第四方面的第三种可能的实施方式，其中，还包括：

第二获取模块，用于获取服务器所发出的表示驾驶员是否处于疲劳驾驶状态的驾驶状态信息；

第一提示模块，若驾驶状态信息表示驾驶员处于疲劳驾驶状态，则用于向驾驶员发出提示信息。

结合第四方面，本申请实施例提供了第四方面的第四种可能的实施方式，其中，简化图像识别模型中的卷积层的层数小于精确图像识别模型中的卷积层的层数；

和/或，简化图像识别模型中的卷积层所对应的通道数小于精确图像识别模型中的卷积层所对应的通道数；

和/或，存储简化图像识别模型所占用的空间小于存储精确图像识别模型所占用的空间。

结合第四方面，本申请实施例提供了第四方面的第五种可能的实施方式，其中，还包括：

第二提示模块，若驾驶员的驾驶状态为低头状态，则用于向驾驶员发出提示信息。

结合第四方面，本申请实施例提供了第四方面的第六种可能的实施方式，其中，简化图像提取单元包括：

第二确定子单元，用于使用Proposal Network网络确定目标监控图像中的粗略人脸位置；所述目标监控图像是多帧目标监控图像中指定的一帧图像；

第一截取子单元，用于根据所述粗略人脸位置从目标监控图像中截取第一人脸区域图；

第一重采样子单元，用于将所述第一人脸区域图像重采样，得到第一分辨率的第一候选图像；

第三确定子单元，用于使用Refine Network网络确定所述第一候选图像中的精确人脸位置；

第二截取子单元，用于根据所述精确人脸位置从目标监控图像中截取第二人脸区域图像；

第二重采样子单元，用于将所述第二人脸区域图像重采样，得到第二分辨率的第二候选图像；第二分辨率大于第一分辨率；

第四确定子单元，用于使用Output Network网络确定所述第二候选图像中的准确人脸位置和关键点坐标；

第三截取子单元，用于根据所述准确人脸位置和关键点坐标从目标监控图像中截取包含有眼睛图像，和/或嘴巴图像的第一参考图像。

结合第四方面，本申请实施例提供了第四方面的第七种可能的实施方式，其中，还包括：

第三获取模块，用于获取驾驶员的连续接单时间，和/或驾驶员坐在驾驶位置上的坐姿状态持续时间；

判断模块，用于根据连续接单时间，和/或坐姿状态持续时间，判断驾驶员是否处于连续驾驶状态；

第三提示模块，若判断模块判断为是，则用于向驾驶员发出提示信息。

第五方面，本申请实施例还提供了一种疲劳驾驶识别装置，作用于服务器，该装置包括：

接收模块，用于接收车载终端发送的驾驶员监控视频；驾驶员监控视频是车载终端使用简化图像识别模型对驾驶员监控视频中的多帧监控图像进行初步识别，并确定驾驶员监控视频中的驾驶员为疲劳驾驶疑似疲劳驾驶状态后发出的；

精确识别模块，用于使用精确图像识别模型对驾驶员监控视频中的多帧监控图像进行精确识别，以确定驾驶员是否处于疲劳驾驶状态。

结合第五方面，本申请实施例提供了第五方面的第一种可能的实施方式，其中，精确识别模块包括：

精确图像提取单元，用于使用精确图像提取模型从驾驶员监控视频中提取连续的多帧第二参考图像；第二参考图像包括眼睛图像，和/或嘴巴图像；

判断单元，用于根据连续的多帧第二参考图像，判断驾驶员是否处于疲劳驾驶状态。

结合第五方面，本申请实施例提供了第五方面的第二种可能的实施方式，其中，判断模块包括：

时长检测子单元，用于使用时间长度检测模型，根据连续的多帧第二参考图像，确定驾驶员的第二眼睛张闭时长，和/或第二嘴巴张闭时长；

第一确定子单元，用于根据驾驶员的第二眼睛张闭时长，和/或第二嘴巴张闭时长，判断驾驶员是否处于疲劳驾驶状态。

结合第五方面，本申请实施例提供了第五方面的第三种可能的实施方式，其中，还包括：

发送模块，用于向所述车载终端发送表示驾驶员是否处于疲劳驾驶状态的驾驶状态信息，以使所述车载终端在驾驶状态信息表示驾驶员处于疲劳驾驶状态时，向所述驾驶员发出提示信息。

结合第五方面，本申请实施例提供了第五方面的第四种可能的实施方式，其中，

简化图像识别模型中的卷积层的层数小于精确图像识别模型中的卷积层的层数；

和或，简化图像识别模型中的卷积层所对应的通道数小于精确图像识别模型中的卷积层所对应的通道数；

和或，存储简化图像识别模型所占用的空间小于存储精确图像识别模型所占用的空间。

第六方面，本申请实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行第一方面的任一方法。

第七方面，本申请实施例还提供了一种车载终端包括：处理器、存储器和总线，存储器存储有执行指令，当计算设备运行时，处理器与存储器之间通过总线通信，处理器执行存储器中存储的如第一方面的任一方法。

第八方面，本申请实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行第二方面的任一方法。

第九方面，本申请实施例还提供了一种服务器包括：处理器、存储器和总线，存储器存储有执行指令，当计算设备运行时，处理器与存储器之间通过总线通信，处理器执行存储器中存储的如第二方面的任一方法。

本申请实施例提供的疲劳驾驶识别方法，车载终端首先依据驾驶员监控视频进行比较简略的初步识别，在初步识别的结果表示驾驶员可能处于疑似疲劳驾驶状态的情况下，车载终端再将驾驶员监控视频发送给服务器，后续流程中，服务器可以对驾驶员监控视频进行精确识别，并根据服务器的识别结果进行相应的处理。相比于将识别疲劳驾驶的任务完全交给服务器来执行相比，本申请所提供的方法，降低了车载终端将驾驶员监控视频发送给服务器的所需要消耗的网络流量。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的由车载终端所执行的疲劳驾驶识别方法的基本流程图；

图2示出了本申请实施例所提供的由车载终端所执行的疲劳驾驶识别方法的所适用的网络系统的系统架构图；

图3示出了本申请实施例所提供的由车载终端所执行的疲劳驾驶识别方法的第一个细节流程图；

图4示出了本申请实施例所提供的由车载终端所执行的疲劳驾驶识别方法中所使用到的mtcnn模型的系统架构图；

图5示出了本申请实施例所提供的由车载终端所执行的疲劳驾驶识别方法的第二个细节流程图；

图6示出了本申请实施例所提供的车载终端的示意图；

图7示出了本申请实施例所提供的服务器的示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

相关技术中，疲劳驾驶作为引发的交通事故的一个主要原因，越来越受到人们的重视。相关领域的技术人员研发出了各种疲劳驾驶提醒方法来对驾驶员进行提醒，以降低由于疲劳驾驶引起的交通事故的概率。相关技术中，疲劳驾驶提醒方法主要有两种类型，分别是：第一种，受时间触发的疲劳驾驶提醒方法，此种疲劳驾驶提醒方法主要是每隔预定的时间对司机进行提醒，以使司机保持清醒状态；第二种，基于图像识别技术的疲劳驾驶提醒方法，此种疲劳驾驶提醒方法需要先对驾驶过程中的用户进行视频拍摄，而后，对得到的视频进行识别，根据识别结果确定驾驶员状态，如果驾驶员状态是正常驾驶状态，则终止流程；如果驾驶员状态是非正常驾驶状态(如长时间低头的状态、长时间闭眼的状态)，则通过报警器对司机进行报警，以使司机保持清醒状态。

受时间触发的疲劳驾驶提醒方法由于没有针对性，使用该方法的用户越来越少。基于图像识别技术的疲劳驾驶提醒方法，在具体实现时，通常是由车载终端将拍摄到的驾驶员监控视频发送给服务器，而后，服务器再对该视频进行识别，由于该识别行为是要实时进行的，因此，每个几秒钟就需要上传视频，这造成了网络资源的大量消耗。

进而，本申请发明人提供了一种改进的疲劳驾驶识别方法，作用于如图2所示的网络系统，该网络系统包括车载终端和服务器，车载终端和服务器之间通过无线网络连接，如图1所示，该方法包括如下步骤：

S101，车载终端获取驾驶员监控视频；

S102，车载终端使用简化图像识别模型对驾驶员监控视频中的多帧监控图像进行初步识别，以确定驾驶员监控视频中的驾驶员的驾驶状态；

S103，若驾驶员的驾驶状态为疑似疲劳驾驶状态，车载终端将驾驶员监控视频发送给服务器。

其中，车载终端指的是设置在车辆上的电子设备。该电子设备可以是行车记录仪，也可以是独立于行车记录仪的计算设备，当该车载终端是独立于行车记录仪的计算设备时，驾驶员监控视频可以是通过与其连接的行车记录仪拍摄得到的。驾驶员监控视频也可以是通过属于车载终端的摄像设备(独立于行车记录仪)拍摄得到的。

驾驶员监控视频主要反映的是本车驾驶员的驾驶状态，进而，在步骤S102中，通过对驾驶员监控视频中的多帧图像进行初步识别，所确定的结果，主要反映的也是本车驾驶员是否为处于疑似疲劳驾驶状态。

步骤S102中，主要是对步骤S101中所得到的驾驶员监控视频中的多帧监控图像进行识别，以初步确定驾驶员是否为疑似疲劳驾驶。需要说明的是，多帧监控图像可以并不是拍摄时间上紧邻的，比如，生成驾驶员监控视频的摄像设备每隔0.1秒生成一帧监控图像，从而在0-1秒内共顺序生成第一帧图像、第二帧图像…第十帧图像这十帧图像；进行初步识别的多帧图像可以是这十帧图像中的第一帧图像、第二帧图像和第三帧图像；也可以是第一帧图像、第三帧图像、第五帧图像和第七帧图像；当然，还可以是将这十帧图像均作为监控图像，以进行初步识别。选择的多帧监控图像优选是能够覆盖驾驶员监控视频整个时间段的，从而保证统计的全面性，比如，驾驶员监控视频共有100秒，则可以每隔1S选择一帧图像作为监控图像。

步骤S102中，主要是考虑到凭借某一帧图像无法保证准确的确定驾驶员的驾驶状态(驾驶状态至少包括疑似疲劳驾驶状态和非疑似疲劳驾驶状态)，因此，才选择使用多帧监控图像来确定驾驶员是否处于疑似疲劳驾驶状态。比如，在某一帧图像中显示用户处于闭眼状态，但这无法说明用户一直处于闭眼状态，因此，单纯凭借一帧图像判断驾驶员是否处于疲劳驾驶状态是不够准确的。

车载终端使用训练好的简化图像识别模型确定驾驶员监控视频中的驾驶员的驾驶状态的方式有多种，比如可以根据监控图像计算驾驶员的闭眼时间长度，而后，再根据闭眼时间长度确定驾驶员的驾驶状态(闭眼时间长度过长，则确定驾驶员处于疑似疲劳驾驶状态)；还可以是根据监控图像计算驾驶员的眼睛张闭规律(眼睛张闭的时间点)，而后，再根据眼睛张闭规律判断驾驶员是否处于疑似疲劳驾驶状态。具体采用何种方式来确定主要是由训练简化图像识别模型的过程来决定，在简化图像识别模型训练好之后，车载终端直接使用该训练好的简化图像识别模型来确定驾驶员监控视频中的驾驶员的驾驶状态即可。当然，驾驶员的驾驶状态除了意思疲劳驾驶状态，还可以有其他的状态，后文中会进行具体介绍。

步骤S103中，在确定驾驶员的驾驶状态为疑似疲劳驾驶状态后，车载终端需要将驾驶员监控视频发送给服务器，以使服务器使用精确图像识别模型对所述驾驶员监控视频中的多帧监控图像进行精确识别，以确定所述驾驶员是否处于疲劳驾驶状态。也就是，在车载终端完成发送的行为后，后续流程中，服务器在接收到车载终端发送的驾驶员监控视频，可以使用精确图像识别模型对驾驶员监控视频中的多帧监控图像进行精确识别，以进一步精确的确定驾驶员是否真的处于疲劳驾驶状态。

步骤S103中，发送给服务器的驾驶员监控视频可以是步骤S101中所获取到的驾驶员监控视频的全部，也可以是其中的一部分。比如，上传的驾驶员监控视频可以是按照如下方式确定的：

车载终端根据连续的多帧第一参考图像，确定驾驶员连续闭眼超过预定时间或连续张嘴超过预定时间的第一时刻值；

车载终端将驾驶员监控视频中，与第一时刻值相关联的视频发送给服务器。

其中，与第一时刻值相关联的视频可以是在第一时刻值前10秒到第一时刻值后10秒之间的视频端。

具体的，服务器判断驾驶员是否处于疲劳驾驶状态所使用精确图像识别模型可以是与终端所使用的简化图像识别模型是相同类型的模型，也可以是不同类型的模型(同类型的模型指的是简化图像识别模型和精确图像识别模型均是依据相同的原理来判断驾驶员是否处于疲劳驾驶状态，比如，这两个模型都可以先确定驾驶员的第一眼睛张闭时长(眼睛张开的时间长度，和/或眼睛闭上的时间爱你长度)，而后依据第一眼睛张闭时长判断驾驶员是否处于疲劳驾驶状态/疑似疲劳驾驶状态)。但应当保证的是，精确图像识别模型的识别准确度是比简化图像识别模型的识别准确度更高。通常情况下，为了保证精确图像识别模型的识别准确度高于简化图像识别模型的识别准确度，精确图像识别模型的大小应当比简化图像识别模型的大小更大(即存储简化图像识别模型所占用的空间小于存储精确图像识别模型所占用的空间)；或者说，简化图像识别模型中的卷积层的层数小于精确图像识别模型中的卷积层的层数，其中，卷积层的主要工作是对图像进行特征提取的，卷积层越多，提取到的特征的细致程度和准确程度就越高，从而，通过提高卷积层的层数也能够提高准确度。当然，还可以通过提高卷积层的通道数来提高识别的准确度，也就是，化图像识别模型中的卷积层所对应的通道数小于精确图像识别模型中的卷积层所对应的通道数。

由于车载终端的计算能力通常较低，因此，不适合运行较大的模型，通过本申请发明人的实际实验和测算，认为简化图像识别模型的大小应当控制在1MB-2MB之间，以确保车载终端能够使用简化图像识别模型得到较为准确的是被结果(用来确定驾驶员的驾驶状态)，同时，车载终端使用该模型的运算速度也能够得到保证。类似的，车载终端使用的时间长度检测模型的大小应当控制在5MB-8MB之间。

在服务器使用精确图像识别模型确定驾驶员的驾驶状态(疲劳驾驶状态和非疲劳驾驶状态)后，服务器可以将表示驾驶员是否处于疲劳驾驶状态的驾驶状态信息向车载终端发送，以使车载终端清楚的知晓驾驶员所处的状态。

进而，如果驾驶状态信息表示驾驶员处于疲劳驾驶状态，则车载终端则需要向驾驶员发出提示信息。此处的提示信息可以是语音提示信息(如发出尖锐的声音唤醒驾驶员)，也可以是震动提示信息(如使驾驶员的座位发生震动)，还可以是在驾驶员所操作的智能终端上显示对应的提示文字。对应的，如果驾驶状态信息表示驾驶员处于非疲劳驾驶状态，则车载终端可以不做任何处理(终止流程)。

整体来看本申请所提供的疲劳驾驶识别方法，主要是将原本只由车载终端完成的识别任务分别交给了车载终端和服务器来完成，具体实现的时候，车载终端首先依据驾驶员监控视频进行比较简略的初步识别，在初步识别的结果表示驾驶员可能处于疑似疲劳驾驶状态的情况下，车载终端再将驾驶员监控视频发送给服务器，以使服务器对驾驶员监控视频进行精确识别，后续过程中，可以根据服务器的识别结果进行相应的处理。相比于将识别疲劳驾驶的任务完全交给车载终端来执行相比，本申请所提供的方法提高了处理效率；相比于将识别疲劳驾驶的任务完全交给服务器来执行相比，本申请所提供的方法降低了将驾驶员监控视频发送给服务器的所需要消耗的网络流量。

如前文中所说，本申请所提供的方法主要是先由车载终端使用简化图像识别模型对驾驶员监控视频进行初步识别，在识别驾驶员处于疑似疲劳驾驶状态的情况下，才将驾驶员监控视频发送给服务器，以使服务器使用精确图像识别模型对驾驶员监控视频进行精确识别。也就是，本申请所提供的方法的重点在于分别由两个网络端(车载终端和服务器)使用不同精度的模型先后进行识别。下面将对模型使用的细节过程进行说明。

承接前文中的说明，确定驾驶员的驾驶状态是否为疑似疲劳驾驶状态的方式有多种，比如依据驾驶员的第一眼睛张闭时长(闭眼睛的时间长度，或睁眼睛的时间长度)进行判断，依据驾驶员闭眼的时间长度进行判断。不论采用何种判断的机制，都需要首先从监控图像中提取出对应的识别区域(如眼睛所在的区域)才能够进行后续识别，从而如何定位出能够用来识别驾驶员驾驶状态的图像就成为了首要问题。考虑到驾驶员的特殊性，本申请所提供的方案，采用如下方式进行处理，即，如图3所示，步骤S102包括如下步骤：

S1021，车载终端使用简化图像提取模型从驾驶员监控视频中提取连续的多帧第一参考图像；第一参考图像包括眼睛图像，和/或嘴巴图像；

S1022，车载终端根据连续的多帧第一参考图像，确定驾驶员监控视频中的驾驶员的驾驶状态。

步骤S1021中，提取出的第一参考图像有三种情况，分别是只有眼睛图像，只有嘴巴图像，以及既有眼睛图像又有嘴巴图像。第一参考图像是监控图像中的一部分。一般情况下，每帧监控图像所拍摄到的图像的区域应当是基本相同的，比如每帧监控图像所拍摄到的图像的区域都是包含有驾驶员头部的区域。第一参考图像就是从包含有驾驶员头部的图像中提取出只包含有驾驶员眼睛的图像(即，眼睛图像，某种程度上，可以认为是眼睛所占的区域占整个眼睛图像的绝大部分)，或者只包含有嘴巴的图像。

一般情况下，步骤S1021在执行的时候，首先需要提取出多帧监控图像，而后，分别从每帧监控图像中提取出对应的眼睛图像，和/或嘴巴图像。对于任意一帧监控图像而言，一般是可以提取出两张眼睛图像和一张嘴巴图像，很明显，眼睛图像和嘴巴图像均是属于监控图像中的一部分。

而后，在步骤S1022中，就可以根据第一参考图像的变化情况，确定驾驶员监控视频中的驾驶员的驾驶状态。一般情况下，如果眼睛持续处于闭眼的状态，或者是眼睛部位持续没有变化，则可以确定驾驶员监控视频中的驾驶员的驾驶状态为疑似疲劳驾驶状态；类似的，一般情况下，处于正常驾驶状态的驾驶员，其嘴部一般不会有动作，当驾驶员的嘴部张开持续超过预定时间(如1.5S)，则可以认为驾驶员在打哈欠，此时，则可以确定驾驶员监控视频中的驾驶员处于疑似疲劳驾驶状态。当然，还可以是根据眼睛的变化情况和嘴部的变化情况来识别综合判断驾驶员是否处于疑似疲劳驾驶状态。

此处需要对简化图像提取模型进行简要的介绍，本申请所提供的方案中，由于最多只需要识别驾驶员眼睛和嘴巴的状态，因此使用简化图像提取模型的可能的输出结果只有眼睛和嘴巴即可，不再需要输出驾驶员脸部其他部位(如鼻子)的图像了。

具体的，考虑到监控视频可能会存在丢帧的问题，因此，本申请发明人考虑采用第一眼睛张闭时长来确定驾驶员的驾驶状态。具体的，步骤S1022包括如下步骤：

车载终端使用时间长度检测模型，根据连续的多帧第一参考图像，确定驾驶员的第一眼睛张闭时长，和/或嘴巴的张闭时长；

车载终端根据驾驶员的第一眼睛张闭时长，和/或嘴巴的张闭时长，确定驾驶员监控视频中的驾驶员的驾驶状态。

其中，一般情况下，正常行驶状态下的驾驶员的第一眼睛张闭时长是基本固定的，并且任意两次眼睛张开的时间基本也都是相同的，因此，可以依据该点来判断驾驶员是否处于疑似疲劳驾驶状态。对应的，正常行驶状态下的驾驶员一般是不会张嘴的，如果驾驶员张嘴打哈欠，则说明驾驶员是于疑似疲劳驾驶状态，并且，打哈欠的时间长度越长度，则越能够准确的确定驾驶员处于疑似疲劳驾驶状态。或者说，打哈欠(嘴巴的张开)的时间越长，则越能够准确的确定驾驶员处于疑似疲劳驾驶状态。

本申请所提供的方案中，车载终端内所使用的模型(简化图像识别模型)和服务器所使用的模型(精确图像识别模型)均可以共由两个子模型组成，分别是眼睛图像/嘴巴图像提取模型(mtcnn模型)，和眼睛/嘴巴张闭时长计算模型(mobilenet模型)。

在工作时，车载终端可以首先使用mtcnn模型来提取眼睛图像和嘴巴图像，使用mtcnn模型来提取眼睛图像，和/或嘴巴图像的步骤如下：

车载终端使用Proposal Network网络确定目标监控图像中的粗略人脸位置；所述目标监控图像是多帧目标监控图像中指定的一帧图像；

车载终端根据所述粗略人脸位置从目标监控图像中截取第一人脸区域图像；

车载终端将所述第一人脸区域图像重采样，得到第一分辨率的第一候选图像；

车载终端使用Refine Network网络确定所述第一候选图像中的精确人脸位置；

车载终端根据所述精确人脸位置从目标监控图像中截取第二人脸区域图像；

车载终端将所述第二人脸区域图像重采样，得到第二分辨率的第二候选图像；第二分辨率大于第一分辨率；

车载终端使用Output Network网络确定所述第二候选图像中的准确人脸位置和关键点坐标；

车载终端根据所述准确人脸位置和关键点坐标从目标监控图像中截取包含有眼睛图像，和/或嘴巴图像的第一参考图像。

也就是，使用mtcnn模型既可以只得到眼睛图像，也可以只得到嘴巴图像，还可以同时得到这两个图像。一般情况下，眼睛图像是两个(左眼图像和右眼图像)，嘴巴图像只有一个。

对应的，上述步骤同样可以有服务器来实现，也就是步骤服务器使用精确图像提取模型从所述驾驶员监控视频中提取连续的多帧第二参考图像的过程也可以是按照如下步骤实现的：

服务器使用Proposal Network网络确定目标监控图像中的粗略人脸位置；所述目标监控图像是多帧目标监控图像中指定的一帧图像；

服务器根据所述粗略人脸位置从目标监控图像中截取第一人脸区域图像；

服务器将所述第一人脸区域图像重采样，得到第一分辨率的第一候选图像；

服务器使用Refine Network网络确定所述第一候选图像中的精确人脸位置；

服务器根据所述精确人脸位置从目标监控图像中截取第二人脸区域图像；

服务器将所述第二人脸区域图像重采样，得到第二分辨率的第二候选图像；第二分辨率大于第一分辨率；

服务器使用Output Network网络确定所述第二候选图像中的准确人脸位置和关键点坐标；

服务器根据所述准确人脸位置和关键点坐标从目标监控图像中截取包含有眼睛图像，和/或嘴巴图像的第二参考图像。

下面，对mtcnn模型(简化图像提取模型/精确图像提取模型)进行简要介绍：

如图4所示，mtcnn模型使用级联架构，该网络分为三个依次连接的子网络，分别为Proposal Network(P-Net)网络、RefineNetwork(R-Net)网络、Output Network(O-Net)网络，所以使用mtcnn检测眼睛图像和/或嘴巴图像分为三个步骤(stage)，每个步骤调用一个模型来执行，以完成由粗略的人脸检测递进到到精细的人脸检测，并确定出眼睛图像和/或嘴巴图像。

下面对使用，mtcnn模型的过程进行介绍，具体包括如下步骤：

步骤一，使用Proposal Network网络进行人脸(主要是指检测)检测的步骤，对每张监控图像均按照如下方式进行操作：

S1，从目标监控图像(多帧监控图像中指定的一帧)中选取出大小不同的多个参考框图，并对每个参考框图进行重采样，以确定多个不同尺度的第一候选图像；每个第一候选图像均对应于监控图像的不同区域；每个第一候选图像的分辨率均是12*12；

S2，将多个第一候选图像输入到Proposal Network网络，以得到多个第二候选图像(bounding box(dx1，dy1，dx2，dy2))和对应于每个第二候选图像的得分(score)；

S3，使用nms算法(非极大值抑制算法)去除掉重叠率大于0.5的第二候选图像，并选择得分最高的第二候选图像作为第一目标图像。

步骤二，使用Refine Network网络进行人脸检测的步骤：

S4，根据第一目标图像的位置，从目标监控图像截取出稍大于第一目标图像的第二目标图像；

S5，对第二目标图像进行重采样，以确定分辨率为24*24的第三候选图像；

S6，将第三候选图像输入到Refine Network网络，以得到多个第四候选图像(bounding box(dx1，dy1，dx2，dy2))和对应于每个第四候选图像的得分(score)；每个第四候选图像均是从第三候选图像中裁剪出来的；

S7，使用nms算法(非极大值抑制算法)去除掉重叠率大于0.7的第四候选图像，并选择得分最高的第四候选图像作为第二目标图像；

步骤三，使用Output Network网络进行人脸检测的步骤：

S8，根据第二目标图像的位置，从目标监控图像截取出稍大于第二目标图像的第三目标图像；

S9，对第二目标图像进行重采样，以确定分辨率为48*48的第五候选图像；

S10，将多个第五候选图像输入到Output Network网络，以得到多个第六候选图像(bounding box(dx1，dy1，dx2，dy2))和对应于每个第六候选图像的得分(score)和关键点坐标；每个第六候选图像均是从第五候选图像中裁剪出来的；

S11，使用nms算法(非极大值抑制算法)去除掉重叠率大于0.7的第六候选图像，并选择得分最高的第四候选图像作为第三目标图像；

S12，根据第三目标图像所对应的关键点坐标(landmark，包括两个嘴部关键点坐标和两个眼睛关键点坐标(dx1，dy1，dx2，dy2，dx3，dy3，dx4，dy4))确定眼睛图像和嘴巴图像。

上述三个网络(Proposal Network网络、Refine Network网络和Output Network网络)依次工作，以得到准确的眼睛图像和/或嘴巴图像。其中，第一候选图像、第二候选图像、第三候选图像、第四候选图像、第五候选图像、第一目标图像、第二目标图像和第三目标图像中均是包含有人脸图像的，Proposal Network网络和Refine Network网络并不需要输出关键点坐标，是因为前两个网络的定位精度还不够，即使输出的坐标也不会被使用到，只需要Output Network网络输出关键点坐标即可。

下面以具体的实例来说明上述方案中的细节，Proposal Network网络是由5层卷积层构成，实际负责特征提取的只有前3层卷积层，后两层卷积层是通过卷积的方式获得框回归(bounding box，4维)和图像。其中，第1层使用卷积核大小为3*3，通道数为10的卷积层构成，然后进入最大池化层；第2层使用卷积核大小为3*3，通道数为16的卷积层构成，不使用最大池化；第3层为使用卷积核大小为3*3，通道数为32的卷积层构成，不使用最大池化；第4层输入是第3层的输出的特征图，使用卷积核大小为1*1，通道数为3的卷积层，该卷积层输出的3个通道的结果分别代表该图像是人脸，或者低头图像，还是背景的概率。第5层输入是第3层输出的特征图，使用卷积核大小为1*1，通道数为4的卷积层，该卷积层输出的4个通道的结果分别代表该图像中人脸位置的增量比率(dx1，dy1，dx2，dy2)。因为P-net网络结构是全卷积网络，所以该网络可以接收任意尺寸的图像输入。

Refine Network网络由3层卷积层和3个全链接层构成，最后两层全链接层的输出分别是框回归(bounding box，4维)增量比率和图像人脸/低头/背景的分类分数(score，3维)，其中：第1层使用卷积核大小为3*3，通道数为28的卷积层构成，然后进入最大池化层；第2层使用卷积核大小为3*3，通道数为48的卷积层构成，然后进入最大池化层；第3层为使用卷积核大小为2*2，通道数为64的卷积层构成，不使用最大池化；第4层是全链接层，输出维度128维的特征。第5层是全链接层，输入是第4层的128维特征，输出的3个维度的结果，结果分别代表输入到Refine Network网络的图像是人脸、低头还是背景的概率。第6层全链接层，输入是第4层输出的128维特征，该层输出的4个通道的结果分别代表输入到RefineNetwork网络的图像中人脸位置的增量比率(dx1，dy1，dx2，dy2)。

上述Proposal Network网络和Refine Network网络不需要预测landmark(关键点坐标)信息。

Output Network网络由4层卷积层和4个全链接层构成，最后3层全链接层输出分别是框回归(bounding box，4维)、增量比率和图像前景/背景的分类分数(score，3维)，人脸关键点landmark(dx1，dy1，dx2，dy2，dx3，dy3，dx4，dy4，dx5，dy5，10维)。其中，第1层使用卷积核大小为3*3，通道数为32的卷积层构成，然后进入最大池化层；第2层使用卷积核大小为3*3，通道数为32的卷积层构成，然后进入最大池化层；第3层使用卷积核大小为3*3，通道数为64的卷积层构成，然后进入最大池化层；第4层为使用卷积核大小为2*2，通道数为128的卷积层构成，不使用最大池化；第5层是全链接层，输出维度256维的特征。第6层全链接层，输入是第5层的256维特征，输出的3个维度的结果分别代表该图像是人脸图像，低头图像，还是背景的概率。第7层全链接层，输入是第5层输出的256维特征，该层输出的4个通道的结果分别代表输入到OutputNetwork网络的图像中，人脸位置的增量比率(dx1，dy1，dx2，dy2)。第8层全链接层，输入是第5层输出的256维特征，该层输出的8个通道的结果分别代表该图像中人脸4个关键点位置的增量比率landmark(dx1，dy1，dx2，dy2，dx3，dy3，dx4，dy4，8维)。

在训练上述模型的时候，可以先由工作人员在原始图像(驾驶员在正常驾驶过程中所拍摄到的图像/驾驶员在疲劳驾驶过程中所拍摄到的图像)标注出正确的眼睛图像和嘴巴图像以得到标准图像，而后，再由模型将标准图像进行识别，并将识别的结果与标准图像进行对比，并将对比的差值反馈到模型中，以调节模型的结构，如此反复，直到模型的识别结果与标准图像一致。

车载终端所使用mobilenet模型(时间长度检测模型)的主要目的是确定眼睛张闭的频率，和/或嘴巴张闭的频率。本申请所提供的方案中，mobilenet模型的最小输入优选是64，也就是，在将眼睛图像，和/或嘴巴图像输入到mobilenet模型中之前，还包括：将眼睛图像，和/或嘴巴图像进行重采样，以使眼睛图像，和/或嘴巴图像的分辨率为64。mobilenet模型实际上的输出可以是每张图像中眼睛和嘴巴的张闭情况，再根据每张图像中眼睛和嘴巴的张闭情况就可以确定出驾驶员监控视频中驾驶员的第一眼睛张闭时长了。

与上述车载终端中所使用的两个模型相对应的，服务器中所使用的精确图像识别模型也可以是由两个子模型，即眼睛图像/嘴巴图像提取模型(mtcnn模型)，和眼睛/嘴巴张闭时长计算模型(mobilenet模型)组成，但应当保证的是服务器中的眼睛图像/嘴巴图像提取模型中的卷积层/通道数应当比服务器中的眼睛图像/嘴巴图像提取模型的大。当然，精确图像识别模型也可以是由mtcnn模型(眼睛图像/嘴巴图像提取模型)，和resnet模型(眼睛/嘴巴张闭时长计算模型)组成。

若服务器中所使用的精确图像识别模型是由眼睛图像/嘴巴图像提取模型(mtcnn模型)，和眼睛/嘴巴张闭时长计算模型(mobilenet模型)组成的话，则步骤服务器使用精确图像识别模型对驾驶员监控视频中的多帧监控图像进行精确识别，以确定驾驶员是否处于疲劳驾驶状态包括：

服务器使用精确图像提取模型从驾驶员监控视频中提取连续的多帧第二参考图像；第二参考图像包括眼睛图像，和/或嘴巴图像；

服务器根据连续的多帧第二参考图像，判断驾驶员是否处于疲劳驾驶状态。

具体的，服务器使用精确图像提取模型从驾驶员监控视频中提取连续的多帧第二参考图像的过程可以参照步骤S102的过程，即，步骤服务器根据连续的多帧第二参考图像，判断驾驶员是否处于疲劳驾驶状态包括：

服务器使用时间长度检测模型，根据连续的多帧第二参考图像，确定驾驶员的第二眼睛张闭时长，和/或第二嘴巴张闭时长；

服务器根据驾驶员的第二眼睛张闭时长，和/或第二嘴巴张闭时长，判断驾驶员是否处于疲劳驾驶状态。

具体的，服务器所使用的时间长度检测模型与车载终端所使用的时间长度检测模型的工作机制可以是相同的；服务器所使用的精确图像提取模型与车载终端所使用的简化图像识别模型的工作机制可以是相同的，此处不再对服务中使用精确图像识别模型的工作机制进行重复介绍了。

承接前文中的说明，车载终端利用mtcnn模型除了能够提取出眼睛图像，和/或嘴巴图像，还可以识别出驾驶员是否处于低头状态，也就是mtcnn模型的可能的输出结果中，有注人脸图像、低头图像和背景图像(背景图像可以去除)的份数，如果低头图像的份数过高，则说明该帧监控图像中的驾驶员正在低头，如果连续的多帧监控图像(连续时间超过)中，驾驶员均正在低头，则说明驾驶员处于低头状态，此时，应当对驾驶员进行提示，以避免出现意外。

也就是，本申请所提供的方法中，驾驶员的驾驶状态除了包括疑似疲劳驾驶状态以外，还可以包括低头状态。

若驾驶员的驾驶状态为低头状态，则车载终端向驾驶员发出提示信息。

此处的提示信息可以是语音提示信息(如发出尖锐的声音唤醒驾驶员)，也可以是震动提示信息(如使驾驶员的座位发生震动)，还可以是在驾驶员所操作的智能终端上显示对应的提示文字。

除了在驾驶员处于疲劳驾驶状态或者是处于低头状态的时候，需要对驾驶员进行提醒，如果驾驶员连续驾驶的时间过长，则同样需要对驾驶员进行提醒。

也就是，如图5所示，本申请所提供的方法还包括：

S301，车载终端获取驾驶员的连续接单时间，和/或驾驶员坐在驾驶位置上的坐姿状态持续时间；

S302，车载终端根据连续接单时间，和/或坐姿状态持续时间，判断驾驶员是否处于连续驾驶状态；若是，则执行步骤S303；

S303，车载终端向驾驶员发出提示信息。

其中，驾驶员的连续接单时间反应了驾驶员持续接受网约车订单/出粗车订单的时间长度，如果驾驶员持续的在接受网约车订单/出粗车订单，则说明驾驶员连续的进行了驾驶。比如驾驶员连续接单超过了4小时，则可以认为其已经长时间的保持精力集中的驾驶状态，此时可以认为驾驶员已经处于连续驾驶状态，应当进行提示驾驶员进行休息了。坐姿状态持续时间指的是驾驶员在驾驶位置上连续坐着的时间长度，如果驾驶员持久的在驾驶位置上坐着，说明驾驶员持久的没有离开过坐位进行休息了，这也能够说明驾驶员处于连续驾驶状态，应当进行提示驾驶员进行休息了。

也就是，步骤车载终端根据连续接单时间，判断驾驶员是否处于连续驾驶状态可以按照如下方式执行：

车载终端判断连续接单时间是否超过预定的时间阈值，若是，则确定驾驶员处于连续驾驶状态；若否，则终止流程(确定驾驶员未处于连续驾驶状态)。

步骤车载终端根据坐姿状态持续时间，判断驾驶员是否处于连续驾驶状态可以按照如下方式执行：

车载终端判断坐姿状态持续时间是否超过预定的时间阈值，若是，则确定驾驶员处于连续驾驶状态；若否，则终止流程(确定驾驶员未处于连续驾驶状态)。

为了更加准确的确定驾驶员是否处于连续驾驶状态，还可以是同时参考这两个特征(车载终端根据连续接单时间和坐姿状态持续时间)进行综合判断，比如可以判断这两个时间中的至少一个是否超过了对应的时间阈值，若是，则确定驾驶员处于连续驾驶状态；又比如，只有这两个时间均超过了对应的时间阈值，才确定驾驶员处于连续驾驶状态。

步骤S303中，向驾驶员发出的提示信息可以是语音提示信息(如发出尖锐的声音唤醒驾驶员)，也可以是震动提示信息(如使驾驶员的座位发生震动)，还可以是在驾驶员所操作的智能终端上显示对应的提示文字。

整体来看本申请所提供的疲劳驾驶识别方法，采用了两步走的处理机制，先在车载终端对驾驶员监控视频进行初步识别，并在车载终端认为驾驶员处于疑似疲劳驾驶状态后，再将驾驶员监控视频向服务器发送，以由服务器进行精确的识别，从而准确的完成驾驶员疲劳驾驶的识别。

应对与前文中所提供的由车载终端所执行的疲劳驾驶识别方法，本申请还提供了由服务器所执行的疲劳驾驶识别方法，该由服务器所执行的疲劳驾驶识别方法包括：

服务器接收车载终端发送的驾驶员监控视频；驾驶员监控视频是车载终端使用简化图像识别模型对所述驾驶员监控视频中的多帧监控图像进行初步识别，并确定所述驾驶员监控视频中的驾驶员为疲劳驾驶疑似疲劳驾驶状态后发出的；

所述服务器使用精确图像识别模型对驾驶员监控视频中的多帧监控图像进行精确识别，以确定所述驾驶员是否处于疲劳驾驶状态。

优选的，步骤服务器使用精确图像识别模型对驾驶员监控视频中的多帧监控图像进行精确识别，以确定所述驾驶员是否处于疲劳驾驶状态包括：

服务器使用精确图像提取模型从所述驾驶员监控视频中提取连续的多帧第二参考图像；第二参考图像包括眼睛图像，和/或嘴巴图像；

服务器根据连续的多帧第二参考图像，判断所述驾驶员是否处于疲劳驾驶状态。

优选的，步骤服务器根据连续的多帧第二参考图像，判断所述驾驶员是否处于疲劳驾驶状态包括：

服务器使用时间长度检测模型，根据连续的多帧第二参考图像，确定驾驶员的第二眼睛张闭时长，和/或第二嘴巴张闭时长；

服务器根据驾驶员的第二眼睛张闭时长，和/或第二嘴巴张闭时长，判断驾驶员是否处于疲劳驾驶状态。

优选的，还包括：

服务器向所述车载终端发送表示驾驶员是否处于疲劳驾驶状态的驾驶状态信息，以使所述车载终端在驾驶状态信息表示驾驶员处于疲劳驾驶状态时，向所述驾驶员发出提示信息。

优选的，简化图像识别模型中的卷积层的层数小于精确图像识别模型中的卷积层的层数；

和或，简化图像识别模型中的卷积层所对应的通道数小于精确图像识别模型中的卷积层所对应的通道数；

和或，存储简化图像识别模型所占用的空间小于存储精确图像识别模型所占用的空间。

由服务器所执行的疲劳驾驶识别方法中特征的含义可以参照前文中的说明，此处不再赘述。

与上述方法相对应的，本申请还提供了一种疲劳驾驶识别系统，包括：车载终端和服务器；

车载终端和服务器通过无线网络连接；

车载终端，用于按照如由车载终端所执行的疲劳驾驶识别方法执行相应的操作；

服务器，用于按照如由服务器所执行的疲劳驾驶识别方法执行相应的操作。

与上述由车载终端所执行的疲劳驾驶识别方法相对应的，本申请还提供了一种疲劳驾驶识别装置，设置于车载终端，该装置包括：

第一获取模块，用于获取驾驶员监控视频；

初步识别模块，用于使用简化图像识别模型对驾驶员监控视频中的多帧监控图像进行初步识别，以确定驾驶员监控视频中的驾驶员的驾驶状态；

发送模块，若驾驶员的驾驶状态为疑似疲劳驾驶状态，则用于将驾驶员监控视频发送给服务器。

优选的，初步识别模块包括：

简化图像提取单元，用于使用简化图像提取模型从驾驶员监控视频中提取连续的多帧第一参考图像；第一参考图像包括眼睛图像，和/或嘴巴图像；

确定单元，用于根据连续的多帧第一参考图像，确定驾驶员监控视频中的驾驶员的驾驶状态。

优选的，确定单元包括：

时长检测子单元，用于使用时间长度检测模型，根据连续的多帧第一参考图像，确定驾驶员的第一眼睛张闭时长，和/或第一嘴巴张闭时长；

第一确定子单元，用于根据驾驶员的第一眼睛张闭时长，和/或第一嘴巴张闭时长，确定驾驶员监控视频中的驾驶员的驾驶状态。

优选的，还包括：

第二获取模块，用于获取服务器所发出的表示驾驶员是否处于疲劳驾驶状态的驾驶状态信息；

第一提示模块，若驾驶状态信息表示驾驶员处于疲劳驾驶状态，则用于向驾驶员发出提示信息。

优选的，

简化图像识别模型中的卷积层的层数小于精确图像识别模型中的卷积层的层数；

和/或，简化图像识别模型中的卷积层所对应的通道数小于精确图像识别模型中的卷积层所对应的通道数；

和/或，存储简化图像识别模型所占用的空间小于存储精确图像识别模型所占用的空间。

优选的，还包括：

第二提示模块，若驾驶员的驾驶状态为低头状态，则用于向驾驶员发出提示信息。

优选的，简化图像提取单元包括：

第二确定子单元，用于使用Proposal Network网络确定目标监控图像中的粗略人脸位置；所述目标监控图像是多帧目标监控图像中指定的一帧图像；

第一截取子单元，用于根据所述粗略人脸位置从目标监控图像中截取第一人脸区域图；

第一重采样子单元，用于将所述第一人脸区域图像重采样，得到第一分辨率的第一候选图像；

第三确定子单元，用于使用Refine Network网络确定所述第一候选图像中的精确人脸位置；

第二截取子单元，用于根据所述精确人脸位置从目标监控图像中截取第二人脸区域图像；

第二重采样子单元，用于将所述第二人脸区域图像重采样，得到第二分辨率的第二候选图像；第二分辨率大于第一分辨率；

第四确定子单元，用于使用Output Network网络确定所述第二候选图像中的准确人脸位置和关键点坐标；

第三截取子单元，用于根据所述准确人脸位置和关键点坐标从目标监控图像中截取包含有眼睛图像，和/或嘴巴图像的第一参考图像。

优选的，还包括：

第三获取模块，用于获取驾驶员的连续接单时间，和/或驾驶员坐在驾驶位置上的坐姿状态持续时间；

判断模块，用于根据连续接单时间，和/或坐姿状态持续时间，判断驾驶员是否处于连续驾驶状态；

第三提示模块，若判断模块判断为是，则用于向驾驶员发出提示信息。

与上述由服务器所执行的疲劳驾驶识别方法相对应的，本申请还提供了一种疲劳驾驶识别装置，作用于服务器，该装置包括：

接收模块，用于接收车载终端发送的驾驶员监控视频；驾驶员监控视频是车载终端使用简化图像识别模型对驾驶员监控视频中的多帧监控图像进行初步识别，并确定驾驶员监控视频中的驾驶员为疲劳驾驶疑似疲劳驾驶状态后发出的；

精确识别模块，用于使用精确图像识别模型对驾驶员监控视频中的多帧监控图像进行精确识别，以确定驾驶员是否处于疲劳驾驶状态。

优选的，精确识别模块包括：

精确图像提取单元，用于使用精确图像提取模型从驾驶员监控视频中提取连续的多帧第二参考图像；第二参考图像包括眼睛图像，和/或嘴巴图像；

判断单元，用于根据连续的多帧第二参考图像，判断驾驶员是否处于疲劳驾驶状态。

优选的，判断模块包括：

时长检测子单元，用于使用时间长度检测模型，根据连续的多帧第二参考图像，确定驾驶员的第二眼睛张闭时长，和/或第二嘴巴张闭时长；

第一确定子单元，用于根据驾驶员的第二眼睛张闭时长，和/或第二嘴巴张闭时长，判断驾驶员是否处于疲劳驾驶状态。

优选的，还包括：

发送模块，用于向所述车载终端发送表示驾驶员是否处于疲劳驾驶状态的驾驶状态信息，以使所述车载终端在驾驶状态信息表示驾驶员处于疲劳驾驶状态时，向所述驾驶员发出提示信息。

优选的，简化图像识别模型中的卷积层的层数小于精确图像识别模型中的卷积层的层数；

和或，简化图像识别模型中的卷积层所对应的通道数小于精确图像识别模型中的卷积层所对应的通道数；

和或，存储简化图像识别模型所占用的空间小于存储精确图像识别模型所占用的空间。

与上述由车载终端所执行的疲劳驾驶识别方法相对应的，本申请还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行由车载终端所执行的疲劳驾驶识别方法。

如图6所示，与上述由车载终端所执行的疲劳驾驶识别方法相对应的，本申请还提供了一种车载终端60，该车载终端60包括：处理器61、存储器62和总线63，存储器62存储有执行指令，当计算设备运行时，处理器61与存储器62之间通过总线63通信，处理器61执行存储器62中存储的如车载终端所执行的疲劳驾驶识别方法的步骤。

与上述由服务器所执行的疲劳驾驶识别方法相对应的，本申请还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行如服务器所执行的疲劳驾驶识别方法。

如图7所示，与上述由服务器所执行的疲劳驾驶识别方法相对应的，本申请还提供了一种服务器70，该服务器70包括：处理器71、存储器72和总线73，存储器72存储有执行指令，当计算设备运行时，处理器71与存储器72之间通过总线73通信，处理器71执行存储器72中存储的如服务器所执行的疲劳驾驶识别方法的步骤。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (31)

1.一种疲劳驾驶识别方法，其特征在于，包括：

车载终端获取驾驶员监控视频；

所述车载终端使用简化图像识别模型对所述驾驶员监控视频中的多帧监控图像进行初步识别，以确定所述驾驶员监控视频中的驾驶员的驾驶状态；

若驾驶员的驾驶状态为疑似疲劳驾驶状态，则车载终端将所述驾驶员监控视频发送给服务器。

2.根据权利要求1所述的方法，其特征在于，步骤车载终端使用简化图像识别模型对所述驾驶员监控视频中的多帧监控图像进行初步识别，以确定所述驾驶员监控视频中的驾驶员的驾驶状态包括：

车载终端使用简化图像提取模型从所述驾驶员监控视频中提取连续的多帧第一参考图像；第一参考图像包括眼睛图像，和/或嘴巴图像；

车载终端根据连续的多帧第一参考图像，确定所述驾驶员监控视频中的驾驶员的所述驾驶状态。

3.根据权利要求2所述的方法，其特征在于，步骤车载终端根据连续的多帧第一参考图像，确定所述驾驶员监控视频中的驾驶员的驾驶状态包括：

车载终端使用时间长度检测模型，根据连续的所述多帧第一参考图像，确定驾驶员的第一眼睛张闭时长，和/或第一嘴巴张闭时长；

车载终端根据驾驶员的第一眼睛张闭时长，和/或第一嘴巴张闭时长，确定所述驾驶员监控视频中的驾驶员的所述驾驶状态。

4.根据权利要求1所述的方法，其特征在于，还包括：

车载终端获取所述服务器所发出的表示驾驶员是否处于疲劳驾驶状态的驾驶状态信息；

若所述驾驶状态信息表示驾驶员处于疲劳驾驶状态，则所述车载终端向所述驾驶员发出提示信息。

5.根据权利要求1所述的方法，其特征在于，

所述简化图像识别模型中的卷积层的层数小于所述精确图像识别模型中的卷积层的层数；

和/或，所述简化图像识别模型中的卷积层所对应的通道数小于所述精确图像识别模型中的卷积层所对应的通道数；

和/或，存储所述简化图像识别模型所占用的空间小于存储所述精确图像识别模型所占用的空间。

6.根据权利要求1所述的方法，其特征在于，

在步骤所述车载终端使用简化图像识别模型对所述驾驶员监控视频中的多帧监控图像进行初步识别，以确定所述驾驶员监控视频中的驾驶员的驾驶状态后，还包括：

若驾驶员的驾驶状态为低头状态，则车载终端向所述驾驶员发出提示信息。

7.根据权利要求2所述的方法，其特征在于，步骤车载终端使用简化图像提取模型从所述驾驶员监控视频中提取连续的多帧第一参考图像包括：

车载终端使用Proposal Network网络确定目标监控图像中的粗略人脸位置；所述目标监控图像是多帧目标监控图像中指定的一帧图像；

车载终端根据所述粗略人脸位置从目标监控图像中截取第一人脸区域图像；

车载终端将所述第一人脸区域图像重采样，得到第一分辨率的第一候选图像；

车载终端使用Refine Network网络确定所述第一候选图像中的精确人脸位置；

车载终端根据所述精确人脸位置从目标监控图像中截取第二人脸区域图像；

车载终端将所述第二人脸区域图像重采样，得到第二分辨率的第二候选图像；第二分辨率大于第一分辨率；

车载终端使用Output Network网络确定所述第二候选图像中的准确人脸位置和关键点坐标；

车载终端根据所述准确人脸位置和关键点坐标从目标监控图像中截取包含有眼睛图像，和/或嘴巴图像的第一参考图像。

8.根据权利要求1所述的方法，其特征在于，还包括：

车载终端获取驾驶员的连续接单时间，和/或驾驶员坐在驾驶位置上的坐姿状态持续时间；

车载终端根据连续接单时间，和/或坐姿状态持续时间，判断驾驶员是否处于连续驾驶状态；

若驾驶员处于连续驾驶状态，则车载终端向所述驾驶员发出提示信息。

9.一种疲劳驾驶识别方法，其特征在于，包括：

服务器接收车载终端发送的驾驶员监控视频；所述驾驶员监控视频是车载终端使用简化图像识别模型对所述驾驶员监控视频中的多帧监控图像进行初步识别，并确定所述驾驶员监控视频中的驾驶员为疲劳驾驶疑似疲劳驾驶状态后发出的；

所述服务器使用精确图像识别模型对驾驶员监控视频中的多帧监控图像进行精确识别，以确定所述驾驶员是否处于疲劳驾驶状态。

10.根据权利要求9所述的方法，其特征在于，步骤服务器使用精确图像识别模型对驾驶员监控视频中的多帧监控图像进行精确识别，以确定所述驾驶员是否处于疲劳驾驶状态包括：

服务器使用精确图像提取模型从所述驾驶员监控视频中提取连续的多帧第二参考图像；所述第二参考图像包括眼睛图像，和/或嘴巴图像；

服务器根据连续的多帧所述第二参考图像，判断所述驾驶员是否处于疲劳驾驶状态。

11.根据权利要求10所述的方法，其特征在于，步骤服务器根据连续的多帧第二参考图像，判断所述驾驶员是否处于疲劳驾驶状态包括：

服务器使用时间长度检测模型，根据连续的多帧所述第二参考图像，确定驾驶员的第二眼睛张闭时长，和/或第二嘴巴张闭时长；

服务器根据驾驶员的第二眼睛张闭时长，和/或第二嘴巴的张闭时长，判断驾驶员是否处于疲劳驾驶状态。

12.根据权利要求9所述的方法，其特征在于，还包括：

服务器向所述车载终端发送表示驾驶员是否处于疲劳驾驶状态的驾驶状态信息，以使所述车载终端在驾驶状态信息表示驾驶员处于疲劳驾驶状态时，向所述驾驶员发出提示信息。

13.根据权利要求9所述的方法，其特征在于，

所述简化图像识别模型中的卷积层的层数小于所述精确图像识别模型中的卷积层的层数；

和或，所述简化图像识别模型中的卷积层所对应的通道数小于所述精确图像识别模型中的卷积层所对应的通道数；

和或，存储所述简化图像识别模型所占用的空间小于存储所述精确图像识别模型所占用的空间。

14.一种疲劳驾驶识别系统，其特征在于，包括：车载终端和服务器；

车载终端和服务器通过无线网络连接；

所述车载终端，用于按照如权利要求1-8任一项所述的方法执行相应的操作；

所述服务器，用于按照如权利要求9-13任一项所述的方法执行相应的操作。

15.一种疲劳驾驶识别装置，其特征在于，设置于车载终端，该装置包括：

第一获取模块，用于获取驾驶员监控视频；

初步识别模块，用于使用简化图像识别模型对所述驾驶员监控视频中的多帧监控图像进行初步识别，以确定所述驾驶员监控视频中的驾驶员的驾驶状态；

发送模块，若驾驶员的驾驶状态为疑似疲劳驾驶状态，则用于将所述驾驶员监控视频发送给服务器。

16.根据权利要求15所述的装置，其特征在于，初步识别模块包括：

简化图像提取单元，用于使用简化图像提取模型从所述驾驶员监控视频中提取连续的多帧第一参考图像；第一参考图像包括眼睛图像，和/或嘴巴图像；

确定单元，用于根据连续的多帧第一参考图像，确定所述驾驶员监控视频中的驾驶员的所述驾驶状态。

17.根据权利要求16所述的装置，其特征在于，确定单元包括：

时长检测子单元，用于使用时间长度检测模型，根据连续的多帧第一参考图像，确定驾驶员的第一眼睛张闭时长，和/或第一嘴巴张闭时长；

第一确定子单元，用于根据驾驶员的第一眼睛张闭时长，和/或第一嘴巴张闭时长，确定所述驾驶员监控视频中的驾驶员的驾驶状态。

18.根据权利要求15所述的装置，其特征在于，还包括：

第二获取模块，用于获取所述服务器所发出的表示驾驶员是否处于疲劳驾驶状态的驾驶状态信息；

第一提示模块，若所述驾驶状态信息表示驾驶员处于疲劳驾驶状态，则用于向所述驾驶员发出提示信息。

19.根据权利要求15所述的装置，其特征在于，

所述简化图像识别模型中的卷积层的层数小于所述精确图像识别模型中的卷积层的层数；

和/或，所述简化图像识别模型中的卷积层所对应的通道数小于所述精确图像识别模型中的卷积层所对应的通道数；

和/或，存储所述简化图像识别模型所占用的空间小于存储所述精确图像识别模型所占用的空间。

20.根据权利要求15所述的装置，其特征在于，还包括：

第二提示模块，若驾驶员的驾驶状态为低头状态，则用于向所述驾驶员发出提示信息。

21.根据权利要求16所述的装置，其特征在于，简化图像提取单元包括：

第二确定子单元，用于使用Proposal Network网络确定目标监控图像中的粗略人脸位置；所述目标监控图像是多帧目标监控图像中指定的一帧图像；

第一截取子单元，用于根据所述粗略人脸位置从目标监控图像中截取第一人脸区域图；

第一重采样子单元，用于将所述第一人脸区域图像重采样，得到第一分辨率的第一候选图像；

第三确定子单元，用于使用Refine Network网络确定所述第一候选图像中的精确人脸位置；

第二截取子单元，用于根据所述精确人脸位置从目标监控图像中截取第二人脸区域图像；

第二重采样子单元，用于将所述第二人脸区域图像重采样，得到第二分辨率的第二候选图像；第二分辨率大于第一分辨率；

第四确定子单元，用于使用Output Network网络确定所述第二候选图像中的准确人脸位置和关键点坐标；

第三截取子单元，用于根据所述准确人脸位置和关键点坐标从目标监控图像中截取包含有眼睛图像，和/或嘴巴图像的第一参考图像。

22.根据权利要求15所述的装置，其特征在于，还包括：

第三获取模块，用于获取驾驶员的连续接单时间，和/或驾驶员坐在驾驶位置上的坐姿状态持续时间；

判断模块，用于根据连续接单时间，和/或坐姿状态持续时间，判断驾驶员是否处于连续驾驶状态；

第三提示模块，若判断模块判断为是，则用于向所述驾驶员发出提示信息。

23.一种疲劳驾驶识别装置，其特征在于，作用于服务器，该装置包括：

接收模块，用于接收车载终端发送的驾驶员监控视频；所述驾驶员监控视频是车载终端使用简化图像识别模型对所述驾驶员监控视频中的多帧监控图像进行初步识别，并确定所述驾驶员监控视频中的驾驶员为疲劳驾驶疑似疲劳驾驶状态后发出的；

精确识别模块，用于使用精确图像识别模型对驾驶员监控视频中的多帧监控图像进行精确识别，以确定所述驾驶员是否处于疲劳驾驶状态。

24.根据权利要求23所述的装置，其特征在于，精确识别模块包括：

精确图像提取单元，用于使用精确图像提取模型从所述驾驶员监控视频中提取连续的多帧第二参考图像；所述第二参考图像包括眼睛图像，和/或嘴巴图像；

判断单元，用于根据连续的多帧所述第二参考图像，判断所述驾驶员是否处于疲劳驾驶状态。

25.根据权利要求24所述的装置，其特征在于，判断模块包括：

时长检测子单元，用于使用时间长度检测模型，根据连续的多帧所述第二参考图像，确定驾驶员的第一眼睛张闭时长，和/或第二嘴巴张闭时长；

第一确定子单元，用于根据驾驶员的第一眼睛张闭时长，和/或第二嘴巴张闭时长，判断驾驶员是否处于疲劳驾驶状态。

26.根据权利要求23所述的装置，其特征在于，还包括：

发送模块，用于向所述车载终端发送表示驾驶员是否处于疲劳驾驶状态的驾驶状态信息，以使所述车载终端在驾驶状态信息表示驾驶员处于疲劳驾驶状态时，向所述驾驶员发出提示信息。

27.根据权利要求23所述的装置，其特征在于，

所述简化图像识别模型中的卷积层的层数小于所述精确图像识别模型中的卷积层的层数；

和或，所述简化图像识别模型中的卷积层所对应的通道数小于所述精确图像识别模型中的卷积层所对应的通道数；

和或，存储所述简化图像识别模型所占用的空间小于存储所述精确图像识别模型所占用的空间。

28.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1-8任一所述方法。

29.一种车载终端包括：处理器、存储器和总线，存储器存储有执行指令，当计算设备运行时，处理器与存储器之间通过总线通信，处理器执行存储器中存储的如权利要求1-8任一所述方法。

30.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求9-13任一所述方法。

31.一种服务器包括：处理器、存储器和总线，存储器存储有执行指令，当计算设备运行时，处理器与存储器之间通过总线通信，处理器执行存储器中存储的如权利要求9-13任一所述方法。

Images