CN109409174A - 基于深度学习的驾驶人面部监测方法、系统、介质及设备 - Google Patents

Abstract

基于深度学习的驾驶人面部监测方法、系统、介质及设备，包括：初始化摄像头，预设信息处理逻辑；摄像头采集图像信息，提取图像信息为驾驶人面部动作数据样本；提取单帧图片信息中的特征数据，根据特征数据构建驾驶人面部动作模型；根据驾驶人面部动作数据样本进行驾驶人面部深度学习得到结果集及驾驶人面部特征及面部动作特征；提取待测的图像信息，根据预设处理逻辑及驾驶人面部动作模型处理图像信息得驾驶员面部查看行为信息，根据驾驶员面部查看行为信息获取面部动作监测结果，提取面部动作监测结果形成监测报告，本发明解决了现有技术中的硬件成本高，算法鲁棒性弱及面部动作监测结果精确度低的技术问题。

Description

基于深度学习的驾驶人面部监测方法、系统、介质及设备

技术领域

本发明涉及驾驶监测系统，特别是涉及基于深度学习的驾驶人面部监测方法、系统、介质及设备。

背景技术

随着时间的推进，中国驾驶人数量持续增多，加上传统技术中驾校通过教练人工配合简易电子监测提醒装置及系统监控学员进行驾驶考试，造成了驾校的驾驶人培养效率低下，驾驶人的驾驶技能学习质量亦无法得到保证，因此，伴随着驾驶人教育培训工作效率和效果的不理想，驾驶技能培训资源日益紧张的问题进一步凸显。由于在日常机动车辆见识考试监测的过程中，驾驶员行为特征和驾车动作监测是驾驶人考试监测过程中一项重要功能要求，而大部分驾驶人考试失误与考试人员的驾车的行为动作变化状态关系密切，传统技术中驾校教练坐在考试人员体侧并排，无法准确对考试人员驾车的行为动作关注方向准确监测。

目前，驾驶人监测方法主要有以下几种：基于视频图像分析的监测方法，通过直接提取图像特征及监测数据。该类方法的的缺点是背景建模不精确，直接使用提取的面部观察动作特征数据监测误差较大，造成误检和漏检较多，算法鲁棒性较低，另一类技术主要基于传感器的监测，该类方法主要基于可穿戴式传感器，实时测量驾驶人身体的各部分的加速度信息或角速度信息，然后依据测量的信息监测驾驶人的行为状态。该类方法的缺点是需要随身携带穿戴式传感器，设备成本较高，使用极不方便。

现有技术中需要随身携带穿戴式传感器，设备成本较高，使用不便，存在监测取值误差较大，造成误检和漏检较多，存在硬件成本高，算法鲁棒性较低，信息利用率低以及面部动作监测结果精确度低的技术问题。

发明内容

鉴于以上现有技术的硬件成本高，算法鲁棒性较低，信息利用率低以及面部动作监测结果精确度低的技术问题，本发明的目的在于提供基于深度学习的驾驶人面部监测方法、系统、介质及设备本发明本发明解决了现有技术中的硬件成本高，算法鲁棒性较弱，信息利用率低以及面部动作监测结果精确度低的技术问题。

为实现上述目的及其他相关目的，本发明提供一种基于深度学习的驾驶人面部监测方法，包括：初始化摄像头，预设信息处理逻辑；摄像头采集图像信息，提取图像信息中的单帧图片信息并保存为驾驶人面部动作数据样本；提取当前单帧图片信息中的面部观察动作特征数据，根据面部观察动作特征数据构建驾驶人面部动作模型；根据驾驶人面部动作数据样本的数据集进行驾驶人面部深度学习得到结果集及驾驶人面部特征及面部动作特征；提取待测的图像信息，根据预设处理逻辑及驾驶人面部动作模型处理图像信息得驾驶员面部查看行为信息，根据驾驶员面部查看行为信息获取面部动作监测结果，提取面部动作监测结果中的分段信息形成监测报告。

于本发明的一实施方式中，摄像头采集图像信息，提取图像信息中的单帧图片信息并保存为驾驶人面部动作数据样本，包括：以摄像头实时获取驾驶人的图像信息；读取图像信息中的视频数据；单帧处理视频数据；提取当前时间的单帧图片信息；综合单帧图片信息得视频数据集，将单帧图像信息存入图像信息队列；保存视频数据集为驾驶人面部动作行为样本数据集。

于本发明的一实施方式中，提取当前单帧图片信息中的面部观察动作特征数据，根据面部观察动作特征数据构建驾驶人面部动作模型，包括：根据当前时间戳提取单帧图片信息；筛选出单帧图片信息中的特征属性信息；根据特征属性信息获得面部观察动作特征信息；根据面部观察动作特征信息得散列特征值；归一化散列特征值为视频特征向量；根据视频特征向量构建驾驶人面部动作模型。

于本发明的一实施方式中，根据驾驶人面部动作数据样本的数据集进行驾驶人面部深度学习得到结果集，实时更新驾驶人面部动作模型，包括：提取驾驶人面部动作数据样本及视频特征向量；将视频特征向量输入驾驶人面部动作模型；驾驶人面部动作模型根据驾驶人面部动作数据样本及视频特征向量进行深度学习，训练驾驶人面部动作模型。

于本发明的一实施方式中，提取待测的图像信息，根据预设处理逻辑及驾驶人面部动作模型处理图像信息得驾驶员面部查看行为信息，根据驾驶员面部查看行为信息获取面部动作监测结果，提取面部动作监测结果中的分段信息形成监测报告，包括：提取图像信息队列中的单帧图片信息；根据单帧图片信息获取待测特征向量；对比待测特征向量与驾驶人面部动作数据样本中包含的特征向量得相似度信息；提取相似度信息，排序相似度信息得驾驶员面部查看行为信息；将驾驶员面部查看行为信息放入监测信息队列中；提取监测信息队列中的分段数据；根据分段数据拼接形成监测报告。

于本发明的一实施方式中，本发明提供一种基于深度学习的驾驶人面部监测系统，包括：系统预设模块、样本生成模块、模型生成模块、模型深度训练模块、面部动作监测结果获取模块；系统预设模块，用于初始化摄像头，预设信息处理逻辑；样本生成模块，用于摄像头采集图像信息，提取图像信息中的单帧图片信息并保存为驾驶人面部动作数据样本；模型生成模块，用于提取当前单帧图片信息中的面部观察动作特征数据，根据面部观察动作特征数据构建驾驶人面部动作模型，模型生成模块与样本生成模块连接；模型深度训练模块，用于根据驾驶人面部动作数据样本的数据集进行驾驶人面部深度学习得到结果集及驾驶人面部特征及面部动作特征，模型深度训练模块与模型生成模块连接；面部动作监测结果获取模块，用于提取待测的图像信息，根据预设处理逻辑及驾驶人面部动作模型处理图像信息得驾驶员面部查看行为信息，根据驾驶员面部查看行为信息获取面部动作监测结果，提取面部动作监测结果中的分段信息形成监测报告，面部动作监测结果获取模块与样本生成模块连接，面部动作监测结果获取模块与模型深度训练模块连接。

于本发明的一实施方式中，样本生成模块，包括：图像获取模块、视频数据读取模块、单帧处理模块、单帧信息模块、信息聚集模块和样本模块；图像获取模块，用于以摄像头实时获取驾驶人的图像信息；视频数据读取模块，用于读取图像信息中的视频数据，视频数据读取模块与图像获取模块连接；单帧处理模块，用于单帧处理视频数据，单帧处理模块与视频数据读取模块连接；单帧信息模块，用于提取当前时间的单帧图片信息，单帧信息模块与单帧处理模块连接；信息聚集模块，用于综合单帧图片信息得视频数据集，将单帧图像信息存入图像信息队列，信息聚集模块与单帧信息模块连接；样本模块，用于保存视频数据集为驾驶人面部动作行为样本数据集，样板模块与信息聚集模块连接。

于本发明的一实施方式中，模型生成模块，包括：图片提取模块、信息筛选模块、面部观察动作特征信息模块、散列特征模块、归一化模块和模型构建模块；图片提取模块，用于根据当前时间戳提取单帧图片信息；信息筛选模块，用于筛选出单帧图片信息中的特征属性信息，信息筛选模块与图片提取模块连接；面部观察动作特征信息模块，用于根据特征属性信息获得面部观察动作特征信息，面部观察动作特征信息模块与信息筛选模块连接；散列特征模块，用于根据面部观察动作特征信息得散列特征值，散列特征模块与面部观察动作特征信息模块连接；归一化模块，用于归一化散列特征值为视频特征向量，归一化模块与散列面部观察动作特征信息连接；模型构建模块，用于根据视频特征向量构建驾驶人面部动作模型，模型构建模块与归一化模块连接。

于本发明的一实施方式中，模型深度训练模块，包括：样本向量提取模块、特征向量输入模块和模型更新模块；样本向量提取模块，用于提取驾驶人面部动作数据样本及视频特征向量；特征向量输入模块，用于将所示视频特征向量输入驾驶人面部动作模型，特征向量输入模块与样本向量提取模块连接；模型更新模块，用于驾驶人面部动作模型根据驾驶人面部动作数据样本及视频特征向量进行深度学习，训练驾驶人面部动作模型，模型更新模块与特征向量输入模块连接。

于本发明的一实施方式中，面部动作监测结果获取模块，包括：单帧提取模块、待测向量获取模块、向量对比模块、监测信息提取模块、监测队列模块、分段数据模块、报告生成模块；单帧提取模块，用于提取图像信息队列中的单帧图片信息；待测向量获取模块，根据单帧图片信息获取待测特征向量，待测向量获取模块与单帧提取模块连接；向量对比模块，用于对比待测特征向量与驾驶人面部动作数据样本中包含的特征向量得相似度信息，向量对比模块与待测向量获取模块连接；监测信息提取模块，用于提取相似度信息，排序相似度信息得驾驶员面部查看行为信息，监测信息提取模块与向量对比模块连接；监测队列模块，用于将驾驶员面部查看行为信息放入监测信息队列中，监测队列模块与监测信息提取模块连接；分段数据模块，用于提取监测信息队列中的分段数据，分段数据模块与监测队列模块连接；报告生成模块，用于根据分段数据拼接形成监测报告报告生成模块与分段数据模块连接。

于本发明的一实施方式中，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明提供的基于深度学习的驾驶人面部监测方法。

于本发明的一实施方式中，本发明提供一种驾驶人面部监测设备，包括：处理器及存储器；存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以使驾驶人面部监测设备执行本发明提供的基于深度学习的驾驶人面部监测方法。

如上，本发明提供的用户浏览行为认证方法及系统，具有以下有益效果：本发明本发明解决了现有技术中的硬件成本高，算法鲁棒性较弱，信息利用率低以及面部动作监测结果精确度低的技术问题，对每一帧图像进行检查，一秒钟15帧，每一帧都会有一个结果(八动作之一)传给三联上级设备(当前图片对应的时间戳和状态)整个考生结束后，把整个考生图片及状态数据打成压缩包发至上级设备，样本训练用于人脸追踪，识别人脸动作特征，用于判断动作，以监控视频中获取的头部姿态图片作为样本库，不需要对特征进行设计、算法鲁棒性强，实际监测准确率较高。

附图说明

图1显示本发明的一种基于深度学习的驾驶人面部监测方法实施例的流程图。

图2显示为图1中步骤S2在一实施例中的具体流程图。

图3显示为图1中步骤S3在一实施例中的具体流程图。

图4显示为图1中步骤S4在一实施例中的具体流程图。

图5显示为图1中步骤S5在一实施例中的具体流程图。

图6显示为本发明的一种基于深度学习的驾驶人面部监测系统结构示意图。

图7显示为显示为图6中样本生成模块12在一实施例中的具体模块示意图。

图8显示为图6中模型生成模块13在一实施例中的具体模块示意图。

图9显示为图6中模型深度训练模块14在一实施例中的具体模块示意图。

图10显示为图6中面部动作检测结果获取模块15在一实施例中的具体模块示意图。

元件标号说明

1 浏览行为认证系统

11 系统预设模块

12 样本生成模块

13 模型生成模块

14 模型深度训练模块

15 面部动作监测结果获取模块

121 图像获取模块

122 视频数据读取模块

123 单帧处理模块

124 单帧信息模块

125 信息聚集模块

126 样本模块

131 图片提取模块

132 信息筛选模块

133 面部观察动作特征信息模块

134 散列特征模块

135 归一化模块

136 模型构建模块

141 样本向量提取模块

142 特征向量输入模块

143 模型更新模块

151 单帧提取模块

152 待测向量获取模块

153 向量对比模块

154 监测信息提取模块

155 监测队列模块

156 分段数据模块

157 报告生成模块

步骤标号说明

S1～S5 方法步骤

S21～S26 方法步骤

S31～S36 方法步骤

S41～S43 方法步骤

S51～S57 方法步骤

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

请参阅图1至图10，须知，本说明书所附图式所绘示的结构，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本实用新型所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容所能涵盖的范围内。同时，本说明书中所引用的如”上”、”下”、”左”、”右”、”中间”及”一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

请参阅图1，显示本发明的一种基于深度学习的驾驶人面部监测方法实施例的流程图，如图1，所述方法，包括：

步骤S1、初始化摄像头，预设信息处理逻辑，用户通过安装驾驶员视线监测系统的控制平板、计算机等客户终端上在系统主界面通过按下系统启动按钮开启系统，系统自动进行安装检测及设置，并对摄像头、传感器及存储磁盘等硬件设备进行初始化；

步骤S2、摄像头采集图像信息，提取图像信息中的单帧图片信息并保存为驾驶人面部动作数据样本，通过安装于驾驶室内的摄像头采集驾驶员的眼部视频数据，将视频数据中的单帧图像信息作为图像分析样本存储，并将视频数据保存于SD卡中；

步骤S3、提取当前单帧图片信息中的面部观察动作特征数据，根据面部观察动作特征数据构建驾驶人面部动作模型从存储设备中提取通过摄像头采集的视频信息，将视频信息分帧处理，提取当前帧的图片信息；

步骤S4、根据驾驶人面部动作数据样本进行驾驶人面部深度学习得到结果集及驾驶人面部特征及面部动作特征，根据图片信息中包含的面部观察动作特征信息构建深度神经网络模型，并使用图片分析样本训练深度神经网络模型；

步骤S5、提取待测的图像信息，根据预设处理逻辑及驾驶人面部动作模型处理图像信息得驾驶员面部查看行为信息，根据驾驶员面部查看行为信息获取面部动作监测结果，提取面部动作监测结果中的分段信息形成监测报告，通过车载摄像头提取驾驶员姿态等视频数据，利用深度学习神经网络等工具进行包括人脸检测、光流检测等在内的计算机视觉算法处理，视频处理模块进行视频数据采集，生成单帧原始尺寸720p高清图片用于驾驶员关注点检测，将原始尺寸图片压缩为JPG图片存放至为上级设备特定测量指令设置的专用目录。在收到上级设备结束测量时，将该目录下所有图片打包压缩，转存至SD卡指定目录备用，检测驾驶员关注点。若检测有人脸出现在摄像头视野范围内，则使用深度学习神经网络以及相关逻辑，进行驾驶人行为判定。

请参阅图2，显示为图1中步骤S2在一实施例中的具体流程图，具体包括：

步骤S21、以摄像头实时获取驾驶人的图像信息，开启摄像头对驾驶员进行视频数据采集，从摄像头获取原始USB摄像头视频数据；

步骤S22、读取图像信息中的视频数据，摄像头通过感光成像元件实时获取驾驶人在驾驶过程中的视频图像，并将摄像获取的视频数据通过数据总线或无线传输的方式发至图像处理逻辑；

步骤S23、单帧处理视频数据，驾驶员视线检测系统根据预设的图像处理逻辑处理视频信息，得到单帧原始尺寸图片、压缩格式图片；

步骤S24、提取当前时间的单帧图片信息，优选的，对摄像头获取的视频数据根据时间戳分帧处理，将生成的单帧图片用于图像算法库进行相应分析，并把图片压缩存储用于报告生成；

步骤S25、综合单帧图片信息得视频数据集，将单帧图像信息存入图像信息队列，将由视频数据处理获得的单帧图片信息保存至存储设备中供组建样本和后续操作中的图像信息提取；

步骤S26、保存视频数据集为驾驶人面部动作行为样本数据集，从图像存储队列中提取出单帧图片信息并聚集为图像分析样本，该图像分析样本用于训练深度神经网络模型。

请参阅图3，显示为图1中步骤S3在一实施例中的具体流程图，具体包括：

步骤S31、根据当前时间戳提取单帧图片信息，驶员视线检测系统根据预设的图像处理逻辑处理视频信息；

步骤S32、筛选出单帧图片信息中的特征属性信息，将待测头部视线图像及姿态图像经过预处理，提取头部局部特征向量和全局头部特征向量并融合得到全局特征向量；

步骤S33、根据特征属性信息获得面部观察动作特征信息，对图像分析样本中的每张头部姿态图片进行预处理，得带待测图片预处理信息；

步骤S34、根据面部观察动作特征信息得散列特征值，对经过处理的头部图像数据集提取局部特征向量集，然后将局部特征向量集融合得到头部姿态特征向量；

步骤S35、归一化散列特征值为视频特征向量，将代表图片中各项属性信息想算列特征值归一化为驾驶员姿态特征向量；

步骤S36、根据视频特征向量构建驾驶人面部动作模型，实现深度神经网络模型为卷积神经网络模型，根据样本库的样本全局特征向量训练卷积神经网络模型。

请参阅图4，显示为图1中步骤S4在一实施例中的具体流程图，具体包括：

步骤S41、提取驾驶人面部动作数据样本及视频特征向量，对经过处理的头部图像数据集提取局部特征向量集，然后将局部特征向量集融合得到头部姿态特征向量，将待测头部视线图像及姿态图像经过预处理，提取头部局部特征向量和全局头部特征向量并融合得到全局特征向量；

步骤S42、将视频特征向量输入驾驶人面部动作模型，对图像分析样本中的每张头部姿态图片进行预处理，得带待测图片预处理信息，将预处理信息输入驾驶人面部动作模型，根据图像分析样本比对得出模型增量信息，根据图像分析样本的待测图片预处理信息获取样本中包含的样本全局特征向量；

步骤S43、驾驶人面部动作模型根据驾驶人面部动作数据样本及视频特征向量进行深度学习，将样本全局特征向量输入驾驶人面部动作模型中，对驾驶人面部动作模型进行深度训练学习。

请参阅图5，显示为图1中步骤S4在一实施例中的具体流程图，具体包括：

步骤S51、提取图像信息队列中的单帧图片信息，通过车载摄像头提取驾驶员姿态等视频数据，根据视频数据进行单帧操作，将视频数据中的单帧图片信息取出并存储与信息队列中，在使用单帧图片信息时访问该队列取出单帧图片信息；

步骤S52、根据单帧图片信息获取待测特征向量，将待测行为图像经过预处理后，提取头部局部特征向量和全局头部特征向量并融合得到全局特征向量；

步骤S53、对比待测特征向量与驾驶人面部动作数据样本中包含的特征向量得相似度信息，通过余弦相似度依次对比待测头部图片对应的全集特征向量与样本库图片中的全局特征向量，输出一组相似度值，通过训练驾驶人面部动作模型获取的人脸动作追踪功能识别人脸动作特征，主要识别驾驶员的面部在驾驶过程中观察左B柱、左后视镜、内后视镜、俯视仪表盘右B柱、右后视镜、正前方、低头看档等八个动作特征；

步骤S54、提取相似度信息，排序相似度信息得驾驶员面部查看行为信息，将相似度值按照排序算法进行排序，利用深度学习神经网络等工具进行包括人脸检测、光流检测等在内的计算机视觉算法处理，进行视频数据采集，生成单帧原始尺寸720p高清图片用于驾驶员关注点检测，将原始尺寸图片压缩为JPG图片存放至为上级设备特定测量指令设置的专用目录，驾驶员面部查看行为信息主要针对科目三考试中的一下情景：

场景一：起步前，未观察内，外后视镜，回头观察后方交通情况的。起步前，观察左右后视镜：头部向左偏转30度，驾驶员没有观察左后视镜；头部向左偏转大于30度；观看内后视镜，头部向右偏转大于30度，头部上仰角度大于30度；左后方，头部向左偏转大于60度，以上情况判定违规。

场景二：视线离开行驶方向超过2秒的。车辆行驶过程中，驾驶员视线离开正前方，偏向一侧持续时间超过两秒时，判定违规。

场景三：行驶过程中低头看档。行驶过程中，低头看档超过2秒的，低头看档时，头部向右偏转大于30度的持续时间超过2秒的，低头角度大于30度，持续时间超过2秒的，判定违规。

场景四：车辆行驶转弯过程中，未通过左后视镜观察道路交通情况的；打开左转向灯后，若考生没有观察左后视镜，头部未向左偏转30度至60度，判定违规。

场景五：车辆行驶转弯过程中，未通过右后视镜观察道路交通情况的；打开右转向等后，若考生没有观察右后视镜，头部未向右偏转45度至60度，判定违规。

场景六：变更车道前，未通过内、外后视镜观察，并向变更车道方向回头观察后放道路交通情况的；收到“变更车道”语音指令后，或驾驶员开启转向灯后一定时长内，若没有观察内外后视镜及相应测的后方，头部偏转大于60度时，判定违规。

场景七：停车前，不通过内、外后视镜观察后方和右侧交通情况，并回头观察确认安全的打开右转向灯后，车速降至0的过程中，若驾驶员没有观察内后视镜，右后视镜、右后方，判定违规。

场景八：需要下车的，在打开车门前不回头观察左后方交通情况的；车速为0时，若驾驶员再打开车门前没有观察左后方时，判定违规。

步骤S55、将驾驶员面部查看行为信息放入监测信息队列中，算法输出队列是图像算法模块处理结果队列，用于上报上级设备，适于按照视频监测信息入队列的顺序上行传输至服务器端供监控人员查看；

S56、提取监测信息队列中的分段数据，输出考生8个状态转头信息、身体是否伸出车窗信息、是否遮蔽摄像头信息，将分析结果存放至缓存中；

S57、根据分段数据拼接形成监测报告，由I/O模块推送至上级设备，可以进行一些修复性的工作，无法确定系统是否正常的工作，系统日志存储保存系统运行中产生的工作日志报告。

请参阅图6，显示为本发明的一种基于深度学习的驾驶人面部监测系统结构示意图。如图6所示，所述驾驶人面部监测系统1，包括：系统预设模块11、样本生成模块12、模型生成模块13、模型深度训练模块14、面部动作监测结果获取模块15；所述系统预设模块11，用于初始化摄像头，预设信息处理逻辑，用户通过安装驾驶员视线监测系统的控制平板、计算机等客户终端上在系统主界面通过按下系统启动按钮开启系统，系统自动进行安装检测及设置，并对摄像头、传感器及存储磁盘等硬件设备进行初始化；样本生成模块12，用于摄像头采集图像信息，提取图像信息中的单帧图片信息并保存为驾驶人面部动作数据样本，通过安装于驾驶室内的摄像头采集驾驶员的眼部视频数据，将视频数据中的单帧图像信息作为图像分析样本存储，并将视频数据保存于SD卡中；模型生成模块13，用于提取当前单帧图片信息中的面部观察动作特征数据，根据面部观察动作特征数据构建驾驶人面部动作模型从存储设备中提取通过摄像头采集的视频信息，将视频信息分帧处理，提取当前帧的图片信息，模型生成模块13与样本生成模块12连接；模型深度训练模块14，用于根据驾驶人面部动作数据样本进行驾驶人面部深度学习得到结果集及驾驶人面部特征及面部动作特征，根据图片信息中包含的面部观察动作特征信息构建深度神经网络模型，并使用图片分析样本训练深度神经网络模型，模型深度训练模块14与模型生成模块13连接；面部动作监测结果获取模块 15，提取待测的图像信息，根据预设处理逻辑及驾驶人面部动作模型处理图像信息得驾驶员面部查看行为信息，根据驾驶员面部查看行为信息获取面部动作监测结果，提取面部动作监测结果中的分段信息形成监测报告，通过车载摄像头提取驾驶员姿态等视频数据，利用深度学习神经网络等工具进行包括人脸检测、光流检测等在内的计算机视觉算法处理，视频处理模块进行视频数据采集，生成单帧原始尺寸720p高清图片用于驾驶员关注点检测，将原始尺寸图片压缩为JPG图片存放至为上级设备特定测量指令设置的专用目录。在收到上级设备结束测量时，将该目录下所有图片打包压缩，转存至SD卡指定目录备用，检测驾驶员关注点。若检测有人脸出现在摄像头视野范围内，则使用深度学习神经网络以及相关逻辑，进行驾驶人行为判定，面部动作监测结果获取模块15与模型深度训练模块14连接。

请参阅图7，显示为图6中样本生成模块12在一实施例中的具体模块示意图，如图7所示，样本生成模块12，包括：图像获取模块121、视频数据读取模块122、单帧处理模块123、单帧信息模块124、信息聚集模块125和样本模块126；图像获取模块121，用于以摄像头实时获取驾驶人的图像信息，开启摄像头对驾驶员进行视频数据采集，从摄像头获取原始USB摄像头视频数据；视频数据读取模块122，用于读取图像信息中的视频数据，摄像头通过感光成像元件实时获取驾驶人在驾驶过程中的视频图像，并将摄像获取的视频数据通过数据总线或无线传输的方式发至图像处理逻辑，视频数据读取模块122与图像获取模块121连接；单帧处理模块123，用于单帧处理视频数据，驾驶员视线检测系统根据预设的图像处理逻辑处理视频信息，得到单帧原始尺寸图片、压缩格式图片，单帧处理模块123与视频数据读取模块122连接；单帧信息模块124，提取当前时间的单帧图片信息，优选的，对摄像头获取的视频数据根据时间戳分帧处理，将生成的单帧图片用于图像算法库进行相应分析，并把图片压缩存储用于报告生成，单帧信息模块124与单帧处理模块123连接；信息聚集模块125，用于综合单帧图片信息得视频数据集，将单帧图像信息存入图像信息队列，将由视频数据处理获得的单帧图片信息保存至存储设备中供组建样本和后续操作中的图像信息提取，信息聚集模块125与单帧信息模块124连接；样本模块126，用于保存视频数据集为驾驶人面部动作行为样本数据集，从图像存储队列中提取出单帧图片信息并聚集为图像分析样本，该图像分析样本用于训练深度神经网络模型，样板模块126与信息聚集模块125连接。

请参阅图8，显示为图6中模型生成模块13在一实施例中的模块示意图，如图8所示，模型生成模块13，包括：图片提取模块131、信息筛选模块132、面部观察动作特征信息模块133、散列特征模块134、归一化模块135和模型构建模块136；图片提取模块131，用于根据当前时间戳提取单帧图片信息，驶员视线检测系统根据预设的图像处理逻辑处理视频信息根据当前时间戳提取单帧图片信息，驶员视线检测系统根据预设的图像处理逻辑处理视频信息；信息筛选模块132，用于筛选出单帧图片信息中的特征属性信息，将待测头部视线图像及姿态图像经过预处理，提取头部局部特征向量和全局头部特征向量并融合得到全局特征向量，信息筛选模块132与图片提取模块131连接；面部观察动作特征信息模块133，用于根据特征属性信息获得面部观察动作特征信息，对图像分析样本中的每张头部姿态图片进行预处理，得带待测图片预处理信息，面部观察动作特征信息模块133与信息筛选模块132连接；散列特征模块134，用于根据面部观察动作特征信息得散列特征值，对经过处理的头部图像数据集提取局部特征向量集，然后将局部特征向量集融合得到头部姿态特征向量，散列特征模块134与面部观察动作特征信息模块133连接；归一化模块135，归一化散列特征值为视频特征向量，将代表图片中各项属性信息想算列特征值归一化为驾驶员姿态特征向量，归一化模块135与散列面部观察动作特征信息134连接；模型构建模块136，用于根据视频特征向量构建驾驶人面部动作模型，实现深度神经网络模型为卷积神经网络模型，根据样本库的样本全局特征向量训练卷积神经网络模型，模型构建模块136与归一化模块135连接。

请参阅图9，显示为图6中模型深度训练模块14在一实施例中的具体模块示意图，如图9所示，模型深度训练模块14，包括：样本向量提取模块141、特征向量输入模块142和模型更新模块143；样本向量提取模块141，用于提取驾驶人面部动作数据样本及视频特征向量，对经过处理的头部图像数据集提取局部特征向量集，然后将局部特征向量集融合得到头部姿态特征向量，将待测头部视线图像及姿态图像经过预处理，提取头部局部特征向量和全局头部特征向量并融合得到全局特征向量；特征向量输入模块142，用于将视频特征向量输入驾驶人面部动作模型，对图像分析样本中的每张头部姿态图片进行预处理，得带待测图片预处理信息，将预处理信息输入驾驶人面部动作模型，根据图像分析样本比对得出模型增量信息，根据图像分析样本的待测图片预处理信息获取样本中包含的样本全局特征向量，特征向量输入模块142与样本向量提取模块141连接；模型更新模块143，用于驾驶人面部动作模型根据驾驶人面部动作数据样本及视频特征向量进行深度学习，将样本全局特征向量输入驾驶人面部动作模型中，对驾驶人面部动作模型进行深度训练学习，训练驾驶人面部动作模型，模型更新模块143与特征向量输入模块142连接。

请参阅图10，显示为图6中面部动作检测结果获取模块15在一实施例中的具体模块示意图，如图10所示，面部动作监测结果获取模块15，包括：单帧提取模块151、待测向量获取模块152、向量对比模块153、监测信息提取模块154、监测队列模块155、分段数据模块156、报告生成模块157；单帧提取模块151，用于提取图像信息队列中的单帧图片信息，通过车载摄像头提取驾驶员姿态等视频数据，根据视频数据进行单帧操作，将视频数据中的单帧图片信息取出并存储与信息队列中，在使用单帧图片信息时访问该队列取出单帧图片信息；待测向量获取模块152，用于根据单帧图片信息获取待测特征向量，将待测行为图像经过预处理后，提取头部局部特征向量和全局头部特征向量并融合得到全局特征向量，待测向量获取模块152与单帧提取模块151连接；向量对比模块153，用于对比待测特征向量与驾驶人面部动作数据样本中包含的特征向量得相似度信息，通过余弦相似度依次对比待测头部图片对应的全集特征向量与样本库图片中的全局特征向量，输出一组相似度值，向量对比模块153 与待测向量获取模块152连接；监测信息提取模块154，用于提取相似度信息，排序相似度信息得驾驶员面部查看行为信息，将相似度值按照排序算法进行排序，利用深度学习神经网络等工具进行包括人脸检测、光流检测等在内的计算机视觉算法处理，视频处理模块进行视频数据采集，生成单帧原始尺寸720p高清图片用于驾驶员关注点检测，将原始尺寸图片压缩为JPG图片存放至为上级设备特定测量指令设置的专用目录，监测信息提取模块154与向量对比模块153连接；监测队列模块155，用于将驾驶员面部查看行为信息放入监测信息队列中，算法输出队列是图像算法模块处理结果队列，用于上报上级设备，适于按照视频监测信息入队列的顺序上行传输至服务器端供监控人员查看，监测队列模块155与监测信息提取模块154连接；分段数据模块156，用于提取监测信息队列中的分段数据，输出考生8个状态转头信息、身体是否伸出车窗信息、是否遮蔽摄像头信息，将分析结果存放至缓存中，分段数据模块156与监测队列模块155连接；报告生成模块157，用于根据分段数据拼接形成监测报告，由I/O模块推送至上级设备，可以进行一些修复性的工作，无法确定系统是否正常的工作，系统日志存储保存系统运行中产生的工作日志报告，报告报告生成模块157与分段数据模块156连接。

本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明提供的基于深度学习的驾驶人面部监测方法，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本发明提供一种驾驶人面部监测设备，包括：处理器及存储器；存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以使驾驶人面部监测设备执行本发明提供的基于深度学习的驾驶人面部监测方法，存储器可能包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

综上，本发明提供的基于深度学习的驾驶人面部监测方法、系统、介质及设备。本发明具有以下有益效果：本发明本发明为了实现机动车驾驶科目三考试的全程电子监控与评判，驾驶考试视觉追踪技术样机通过车载摄像头提取驾驶员姿态等视频数据，利用深度学习神经网络等工具进行包括人脸监测、光流监测等在内的计算机视觉算法处理，完成驾驶员关注点监测、身体是否伸出车外等行为分析，提升科目三考试的客观性和精确性，减少人力成本。对每一帧图像进行检查一秒钟15帧每一帧都会有一个结果(八动作之一)传给三联上级设备(当前图片对应的时间戳和状态)整个考生结束后，把整个考生图片及状态数据打成压缩包发至上级设备，样本训练用于人脸追踪，识别人脸动作特征，用于判断动作，以确认考生可能的观察目标；完成左前窗区域有无物体伸出车外的监测，以确认考生驾车行为是否符合规范，综上，本发明解决了现有技术中的硬件成本高，算法鲁棒性较弱，信息利用率低以及面部动作监测结果精确度低的技术问题，具有很高的商业价值和实用性。

Claims (12)

1.一种基于深度学习的驾驶人面部监测方法，其特征在于，包括：

初始化摄像头，预设信息处理逻辑；

所述摄像头采集图像信息，提取所述图像信息中的单帧图片信息作为驾驶人面部动作样本数据集；

提取当前所述单帧图片信息中的面部观察动作特征数据，根据所述面部观察动作特征数据构建驾驶人面部动作模型；

根据所述驾驶人面部动作样本数据集的数据集进行所述驾驶人面部深度学习得到结果集及驾驶人面部特征及面部动作特征；

提取待测的图像信息，根据所述预设处理逻辑及所述驾驶人面部动作模型处理所述图像信息得所述驾驶员面部查看行为信息，根据所述驾驶员面部查看行为信息获取面部动作监测结果，提取所述面部动作监测结果中的分段信息形成监测报告。

2.根据权利要求1所述的方法，其特征在于，所述摄像头采集图像信息，提取所述图像信息中的单帧图片信息作为驾驶人面部动作样本数据集，包括：

以摄像头实时获取驾驶人的所述图像信息；

读取所述图像信息中的视频数据；

单帧处理所述视频数据；

提取当前时间的单帧图片信息；

综合所述单帧图片信息得所述视频数据集，将所述单帧图像信息存入图像信息队列；

保存所述视频数据集为所述驾驶人面部动作行为样本数据集。

3.根据权利要求1所述的方法，其特征在于，所述提取当前所述单帧图片信息中的面部观察动作特征数据，根据所述面部观察动作特征数据构建驾驶人面部动作模型，包括：

根据当前时间戳提取所述单帧图片信息；

筛选出所述单帧图片信息中的特征属性信息；

根据所述特征属性信息获得面部观察动作特征信息；

根据所述面部观察动作特征信息得散列特征值；

归一化所述散列特征值为视频特征向量；

根据所述视频特征向量构建所述驾驶人面部动作模型。

4.根据权利要求1或3所述的方法，其特征在于，所述根据所述驾驶人面部动作样本数据集的数据集进行所述驾驶人面部深度学习得到结果集及驾驶人面部特征及面部动作特征，包括：

提取所述驾驶人面部动作数据样本及所述视频特征向量；

将所述视频特征向量输入所述驾驶人面部动作模型；

所述驾驶人面部动作模型根据所述驾驶人面部动作数据样本及所述视频特征向量进行深度学习，训练所述驾驶人面部动作模型。

5.根据权利要求1所述的方法，其特征在于，所述提取待测的图像信息，根据所述预设处理逻辑及所述驾驶人面部动作模型处理所述图像信息得所述驾驶员面部查看行为信息，根据所述驾驶员面部查看行为信息获取面部动作监测结果，提取所述面部动作监测结果中的分段信息形成监测报告，包括：

提取所述图像信息队列中的所述单帧图片信息；

根据所述单帧图片信息获取待测特征向量；

对比所述待测特征向量与所述驾驶人面部动作数据样本中包含的特征向量得相似度信息；

提取所述相似度信息，排序所述相似度信息得所述驾驶员面部查看行为信息；

将所述驾驶员面部查看行为信息放入监测信息队列中；

提取监测信息队列中的分段数据；

根据所述分段数据拼接形成所述监测报告。

6.一种基于深度学习的驾驶人面部监测系统，其特征在于，包括：系统预设模块、样本生成模块、模型生成模块、模型深度训练模块、面部动作监测结果获取模块；

所述系统预设模块，用于初始化摄像头，预设信息处理逻辑；

所述样本生成模块，用于以所述摄像头采集图像信息，提取所述图像信息中的单帧图片信息作为驾驶人面部动作样本数据集；

所述模型生成模块，用于提取当前所述单帧图片信息中的面部观察动作特征数据，根据所述面部观察动作特征数据构建驾驶人面部动作模型；

所述模型深度训练模块，用于根据所述驾驶人面部动作数据样本的数据集进行所述驾驶人面部深度学习得到结果集及驾驶人面部特征及面部动作特征；

所述面部动作监测结果获取模块，用于提取待测的图像信息，根据所述预设处理逻辑及所述驾驶人面部动作模型处理所述图像信息得所述驾驶员面部查看行为信息，根据所述驾驶员面部查看行为信息获取面部动作监测结果，提取所述面部动作监测结果中的分段信息形成监测报告。

7.根据权利要求6所述的系统，其特征在于，所述样本生成模块，包括：图像获取模块、视频数据读取模块、单帧处理模块、单帧信息模块、信息聚集模块和样本模块；

所述图像获取模块，用于以摄像头实时获取驾驶人的所述图像信息；

所述视频数据读取模块，用于读取所述图像信息中的视频数据；

所述单帧处理模块，用于单帧处理所述视频数据；

所述单帧信息模块，用于提取当前时间的单帧图片信息；

所述信息聚集模块，用于综合所述单帧图片信息得所述视频数据集，将所述单帧图像信息存入图像信息队列；

所述样本模块，用于保存所述视频数据集为所述驾驶人面部动作行为样本数据集。

8.根据权利要求6所述的系统，其特征在于，所述模型生成模块，包括：图片提取模块、信息筛选模块、面部观察动作特征信息模块、散列特征模块、归一化模块和模型构建模块；

所述图片提取模块，用于根据当前时间戳提取所述单帧图片信息；

所述信息筛选模块，用于筛选出所述单帧图片信息中的特征属性信息；

所述面部观察动作特征信息模块，用于根据所述特征属性信息获得面部观察动作特征信息；

所述散列特征模块，用于根据所述面部观察动作特征信息得散列特征值；

所述归一化模块，用于归一化所述散列特征值为视频特征向量；

模型构建模块，用于根据所述视频特征向量构建所述驾驶人面部动作模型。

9.根据权利要求6或8所述的系统，其特征在于，所述模型深度训练模块，包括：样本向量提取模块、特征向量输入模块和模型更新模块；

所述样本向量提取模块，用于提取所述驾驶人面部动作数据样本及所述视频特征向量；

所述特征向量输入模块，用于将所述视频特征向量输入所述驾驶人面部动作模型；

所述模型更新模块，用于所述驾驶人面部动作模型根据所述驾驶人面部动作数据样本及所述视频特征向量进行深度学习，训练所述驾驶人面部动作模型。

10.根据权利要求6所述的系统，其特征在于，所述面部动作监测结果获取模块，包括：单帧提取模块、待测向量获取模块、向量对比模块、监测信息提取模块、监测队列模块、分段数据模块、报告生成模块；

所述单帧提取模块，用于提取所述图像信息队列中的所述单帧图片信息；

所述待测向量获取模块，根据所述单帧图片信息获取待测特征向量；

所述向量对比模块，用于对比所述待测特征向量与所述驾驶人面部动作数据样本中包含的特征向量得相似度信息；

所述监测信息提取模块，用于提取所述相似度信息，排序所述相似度信息得所述驾驶员面部查看行为信息；

所述监测队列模块，用于将所述驾驶员面部查看行为信息放入监测信息队列中；

所述分段数据模块，用于提取监测信息队列中的分段数据；

所述报告生成模块，用于根据所述分段数据拼接形成所述监测报告。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5中任一项所述驾驶人面部监测方法。

12.一种驾驶人面部监测设备，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述驾驶人面部监测设备执行如权利要求1至5中任一项所述驾驶人面部监测方法。