CN109409172A - 驾驶员视线检测方法、系统、介质及设备 - Google Patents

Abstract

驾驶员视线检测方法、系统、介质及设备，包括：配置通信参数信息，初始化硬件设备，预设信息处理逻辑；与服务器端建立连接，接收版本信息；检测系统；从视频数据中提取单帧图片信息为图像分析样本；提取当前单帧图片信息中的转头方向特征信息和视线角度特征信息，根据特征信息构建视线深度神经网络模型，根据图像分析样本进行视线深度神经网络模型的深度学习；根据深度神经网络模型对比视线特征向量与图像分析样本得驾驶员视线正误判定信息；将单帧图片信息、判定信息存入检测信息和视频数据队列中，产生日志信息并存储，管理日志信息并发至服务器端供调取查看。

Description

驾驶员视线检测方法、系统、介质及设备

技术领域

本发明涉及驾驶员驾考检测系统，特别是涉及驾驶员视线检测方法、系统、介质及设备。

背景技术

随着时间的推进，中国驾驶人数量持续增多，加上传统技术中驾校通过教练人工配合简易电子检测提醒装置及系统监控学员进行驾驶考试，造成了驾校的驾驶人培养效率低下，驾驶人的驾驶技能学习质量亦无法得到保证，因此，伴随着驾驶人教育培训工作效率和效果的不理想，驾驶技能培训资源日益紧张的问题进一步凸显。由于在日常机动车辆见识考试检测的过程中，驾驶员视线检测时驾驶人考试检测过程中一项重要功能要求，而大部分驾驶人考试失误与考试人员的视线变化状态关系密切，传统技术中驾校教练坐在考试人员体侧并排，无法准确对考试人员视线关注方向准确检测。

目前，驾驶人检测方法主要有以下几种：基于传感器的检测，该类方法主要基于可穿戴式传感器，实时测量驾驶人身体的各部分的加速度信息或角速度信息，然后依据测量的信息检测驾驶人的行为状态。该类方法的缺点是需要随身携带穿戴式传感器，设备成本较高，使用极不方便。另一类技术主要基于视频图像分析的检测方法，通过直接提取图像特征及检测数据。该类方法的的缺点是背景建模不精确，直接使用提取的特征数据检测误差较大，造成误检和漏检较多，特征鲁棒性较低。

现有技术中需要随身携带穿戴式传感器，设备成本较高，使用不便，存在检测取值误差较大，造成误检和漏检较多，存在硬件成本高，特征鲁棒性较低，信息利用率低以及检测结果精确度低的技术问题。

发明内容

鉴于以上现有技术的硬件成本高，特征鲁棒性较低，信息利用率低以及检测结果精确度低的技术问题，本发明的目的在于提供驾驶员视线检测方法、系统、介质及设备，本发明解决了现有技术中的硬件成本高，特征鲁棒性较弱，信息利用率低以及检测结果精确度低的技术问题。

为实现上述目的及其他相关目的，本发明提供一种驾驶员视线检测方法，包括：通过登录界面进行硬件上电操作开启系统，配置通信参数信息，初始化图像信息采集设备，预设信息处理逻辑；与服务器端建立通信连接，并接收系统版本信息；检测系统版本、存储设备及图像信息采集设备，完成检测并发出处理触发信息；接收处理触发信息，根据处理触发信息触发系统采集视频数据，从视频数据中提取单帧图片信息并保存为图像分析样本；提取当前单帧图片信息中的转头方向特征信息和视线角度特征信息，根据转头方向特征信息和视线角度特征信息构建视线深度神经网络模型，根据图像分析样本进行视线深度神经网络模型的深度学习；根据所述深度神经网络模型对比所述视线特征向量与所述图像分析样本得所述驾驶员视线正误判定信息，识别驾驶员的面部在驾驶过程中观察左B柱、左后视镜、内后视镜、俯视仪表盘右B柱、右后视镜、正前方、低头看档等八个动作特征；将单帧图片信息、驾驶员视线正误判定信息存入检测信息和视频数据队列中，根据队列产生日志信息并存储，管理日志信息并发送至服务器端。

于本发明的一实施方式中，通过界面进行硬件上电操作，配置通信参数信息，初始化图像信息采集设备，预设信息处理逻辑，包括：开启硬件设备；检测硬件设备，判断硬件设备是否已安装；若是，则初始化通信参数信息、摄像头；若否，则在硬件设备上安装系统；预设信息处理逻辑。

于本发明的一实施方式中，与服务器端建立通信连接并接收系统版本信息，包括：向服务器端发送连接请求信息；判断是否接收到服务器端发来的观察指令；若是，则判定与服务器端建立连接；若否，则持续发送连接请求信息直至与服务器端建立连接；上行传输驾驶员视线正误判定信息；判断是否接收到服务器端发来的停止指令；若是，则保存当前视频数据；若否，则继续处理视频数据。

于本发明的一实施方式中，检测系统版本、存储设备及图像信息采集设备，完成检测并发出处理触发信息，包括：与维护后台建立通信连接；检测通信连接是否畅通并返回检测结果；获取维护后台发来的最新版本信息；根据最新版本信息判断系统是否升级；若是，则判定系统为最新版本；若否，则根据维护后台发来的升级信息进行系统升级；检测存储硬盘、摄像头，获取磁盘检测信息、摄像头检测信息；根据磁盘检测信息、摄像头检测信息判断系统状态是否正常；若是，则发出处理触发信息；若否，则继续检测版本信息、存储硬盘、摄像头。

于本发明的一实施方式中，处理触发信息触发系统采集视频数据，从视频数据中提取单帧图片信息并保存为图像分析样本，包括：接收处理触发信息，根据处理触发信息开启摄像头；以摄像头实时获取驾驶人的视频数据；根据视频数据及时间提取当前的所示单帧图片信息；保存单帧图片信息；聚集单帧图片信息得图像分析样本。

于本发明的一实施方式中，提取当前单帧图片信息中的转头方向特征信息和视线角度特征信息，根据转头方向特征信息和视线角度特征信息构建视线深度神经网络模型，根据图像分析样本进行视线深度神经网络模型的深度学习，包括：提取单帧图片信息中的特征数据计算特征向量；根据特征向量构建视线深度神经网络模型；提取图像分析样本，根据图像分析样本比对得出模型增量信息；视线深度神经网络模型根据模型增量信息进行深度学习，更新视线深度神经网络模型。

于本发明的一实施方式中，将单帧图片信息、驾驶员视线正误判定信息存入检测信息和视频数据队列中，根据队列产生日志信息并存储，管理日志信息并发送至服务器端，包括提取视频数据、单帧图片信息和驾驶员视线正误判定信息；将视频数据存入图像采集缓存将单帧图片信息存入单帧图片缓存队列；将驾驶员视线正误判定信息存入算法输出队列；根据图片缓存队列及算法输出队列生成驾驶人的日志信息并存入日志库；管理日志信息并发送至服务器端。

于本发明的一实施方式中，本发明提供一种驾驶员视线检测系统，包括：系统初始模块、通信模块、自检模块、图像样本模块、模型分析模块、姿态数据处理模块和检测结果存储模块；系统初始模块，用于通过登录界面进行硬件上电操作开启系统，配置通信参数信息，初始化图像信息采集设备，预设信息处理逻辑；通信模块，用于与服务器端建立通信连接，并接收系统版本信息，通信模块与系统初始模块连接；自检模块，用于检测系统版本、存储设备及图像信息采集设备，完成检测并发出处理触发信息；图像样本模块，用于接收处理触发信息，根据处理触发信息触发系统采集视频数据，从视频数据中提取单帧图片信息并保存为图像分析样本，图像样本模块与自检模块连接；模型分析模块，用于提取当前单帧图片信息中的转头方向特征信息和视线角度特征信息，根据转头方向特征信息和视线角度特征信息构建视线深度神经网络模型，根据图像分析样本进行视线深度神经网络模型的深度学习模型分析模块与上述图像样本模块连接；姿态数据处理模块，用于根据所述深度神经网络模型对比所述视线特征向量与所述图像分析样本得所述驾驶员视线正误判定信息，识别驾驶员的面部在驾驶过程中观察左B柱、左后视镜、内后视镜、俯视仪表盘右B柱、右后视镜、正前方、低头看档等八个动作特征，姿态数据处理模块与模型分析模块连接；检测结果存储模块，用于将单帧图片信息、驾驶员视线正误判定信息存入检测信息和视频数据队列中，根据队列产生日志信息并存储，管理日志信息并发送至服务器端，检测结果存储模块与姿态数据处理模块连接。

于本发明的一实施方式中，系统初始模块包括：开启模块、安装检测模块、设备初始化模块、自动安装模块和逻辑预设模块；开启模块，用于开启硬件设备；安装检测模块，用于检测硬件设备，判断硬件设备是否已安装，安装检测模块与开启模块连接；设备初始化模块，用于在硬件设备已安装系统时，初始化通信参数信息、摄像头，设备初始化模块与安装检测模块连接；自动安装模块，用于在硬件设备未安装系统时，在硬件设备上安装系统，自动安装模块与安装检测模块连接；逻辑预设模块，用于预设信息处理逻辑。

于本发明的一实施方式中，通信模块包括：连接请求模块、连接判断模块、连接判定模块、持续请求模块、信息上行模块、停止指令判断模块、停止处理模块和处理保持模块；连接请求模块，用于向服务器端发送连接请求信息；连接判断模块，用于判断是否接收到服务器端发来的观察指令，连接判断模块与连接请求模块连接；连接判定模块，用于在接收到服务器端发来的观察指令时，判定与服务器端建立连接，连接判定模块与连接判断模块连接；持续请求模块，用于在未接收到服务器端发来的观察指令时，持续发送连接请求信息直至与服务器端建立连接，持续请求模块与连接判断模块连接；信息上行模块，用于上行传输驾驶员视线正误判定信息；停止指令判断模块，用于判断是否接收到服务器端发来的停止指令；停止处理模块，用于在接收到服务器端发来的停止指令时，保存当前视频数据，停止处理模块与停止判断模块连接；处理保持模块，用于在未接收到服务器端发来的停止指令时，继续处理视频数据，处理保持模块与停止指令判断模块连接。

于本发明的一实施方式中，自检模块，包括：维护连接模块、连接检测模块、版本信息获取模块、升级判断模块、新版本判定模块、自动升级模块、硬件检测模块、检测判断模块、后续触发模块和循环检测模块；维护连接模块，用于与维护后台建立通信连接；连接检测模块，用于检测通信连接是否畅通并返回检测结果；版本信息获取模块，用于获取维护后台发来的最新版本信息，版本信息获取模块与连接检测模块连接；升级判断模块，用于根据最新版本信息判断系统是否升级，升级判断模块与版本信息获取模块连接；新版本判定模块，用于在系统版本为最新版本时，判定系统为最新版本，新版本判断模块与升级判断模块连接；自动升级模块，用于在系统版本非最新版本时，根据维护后台发来的升级信息进行系统升级，自动升级模块与升级判断模块连接；硬件检测模块，用于检测存储硬盘、摄像头，获取磁盘检测信息、摄像头检测信息；检测判断模块，用于根据磁盘检测信息、摄像头检测信息判断系统状态是否正常，检测判断模块与硬件检测模块连接；后续触发模块，用于在系统状态正常时，发出处理触发信息，后续触发模块与检测判断模块连接；循环检测模块，用于在系统状态不正常时，继续检测版本信息、存储硬盘、摄像头，循环检测模块与检测判断模块连接。

于本发明的一实施方式中，图像样本模块，包括：摄像开启模块、视频数据获取模块、单帧提取模块、单帧保存模块和样本获取模块；摄像开启模块，用于接收处理触发信息，根据处理触发信息开启摄像头；视频数据获取模块，用于以摄像头实时获取驾驶人的视频数据，视频数据获取模块与摄像开启模块连接；单帧提取模块，用于根据视频数据及时间提取当前的所示单帧图片信息，单针提取模块与视频数据获取模块连接；单帧保存模块，用于保存单帧图片信息，单帧保存模块与单帧提取模块连接；样本获取模块，用于聚集单帧图片信息得图像分析样本，样本获取模块与单帧提取模块连接。

于本发明的一实施方式中，模型分析模块包括：特征向量模块、模型构建模块、模型增量模块、模型训练模块；特征向量模块，用于提取单帧图片信息中的特征数据计算特征向量；模型构建模块，用于根据特征向量构建视线深度神经网络模型，模型构建模块与特征向量模块连接；模型增量模块，用于提取图像分析样本，根据图像分析样本比对得出模型增量信息，模型增量模块与模型构建模块连接；模型训练模块，用于视线深度神经网络模型根据模型增量信息进行深度学习，更新视线深度神经网络模型，模型训练模块与模型增量模块连接。

于本发明的一实施方式中，检测结果存储模块包括：数据提取模块、图像队列模块、单帧队列模块、结果队列模块、日志模块和日志管理模块；数据提取模块，用于提取视频数据、单帧图片信息和驾驶员视线正误判定信息；图像队列模块，用于将视频数据存入图像采集缓存队列，图像队列模块与数据提取模块连接；单帧队列模块，用于将单帧图片信息存入单帧图片缓存队列，单帧队列模块与数据提取模块连接；结果队列模块，用于将驾驶员视线正误判定信息存入算法输出队列，结果队列模块与数据提取模块连接；日志模块，用于根据图片缓存队列及算法输出队列生成驾驶人的日志信息并存入日志库，日志模块与图像队列模块连接，日志模块与单帧队列模块连接，日志模块与结果队列模块连接；日志管理模块，用于管理日志信息并发送至服务器端，日志管理模块与日志模块连接。

于本发明的一实施方式中，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明提供的驾驶员视线检测方法。

于本发明的一实施方式中，本发明提供一种驾驶员视线检测设备，包括：处理器及存储器；存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以使驾驶员视线检测设备执行本发明提供的驾驶员视线检测方法。

如上所述，本发明提供的驾驶员视线检测方法、系统、介质及设备，具有以下有益效果：本发明为了实现机动车驾驶科目三考试的全程电子监控与评判，驾驶考试视觉追踪技术样机通过车载摄像头提取驾驶员姿态等视频数据，利用深度学习神经网络等工具进行包括人脸检测、光流检测等在内的计算机视觉算法处理，完成驾驶员关注点检测、身体是否伸出车外等行为分析，提升科目三考试的客观性和精确性，减少人力成本。

综上所述，本发明解决了现有技术中的硬件成本高，特征鲁棒性较弱，信息利用率低以及检测结果精确度低的技术问题，每一帧都会有一个结果(八动作之一)传给三联上级设备 (当前图片对应的时间戳和状态)整个考生结束后，把整个考生图片及状态数据打成压缩包发至上级设备，样本训练用于人脸追踪，识别人脸动作特征，用于判断动作，以监控视频中获取的头部姿态图片作为样本库，不需要对特征进行设计、特征鲁棒性强，实际检测准确率较高。

附图说明

图1显示为本发明的一种驾驶员视线检测方法实施例的流程图。

图2显示为本发明的驾驶员视线检测方法时序图。

图3显示为图1中步骤S1在一实施例中的具体流程图。

图4显示为图1中步骤S2在一实施例中的具体流程图。

图5显示为图1中步骤S3在一实施例中的具体流程图。

图6显示为图1中步骤S4在一实施例中的具体流程图。

图7显示为图1中步骤S5在一实施例中的具体流程图。

图8显示为图1中步骤S7在一实施例中的具体流程图。

图9显示为本发明的一种驾驶员视线检测系统实施例的结构示意图。

图10显示为图9中的步骤11在一实施例中的具体流程图。

图11显示为图9中的通信模块12在一实施例中的具体模块示意图。

图12显示为图9中的维护连接模块13在一实施例中的具体模块示意图。

图13显示为图9中的图像样本模块14在一实施例中的具体模块示意图。

图14显示为图9中的模型分析模块15在一实施例中的具体模块示意图。

图15显示为图9中的检测结果存储模块17在一实施例中的具体模块示意图。

元件标号说明

1 驾驶员视线检测系统

11 系统初始模块

12 通信模块

13 自检模块

14 图像样本模块

15 模型分析模块

16 姿态数据处理模块

17 检测结果存储模块

111 开启模块

112 安装检测模块

113 设备初始化模块

114 自动安装模块

115 逻辑预设模块

121 连接请求模块

122 连接判断模块

123 连接判定模块

124 持续请求模块

125 信息上行模块

126 停止指令判断模块

127 停止处理模块

128 处理保持模块

131 维护连接模块

132 连接检测模块

133 版本信息获取模块

134 升级判断模块

135 新版本判定模块

136 自动升级模块

137 硬件检测模块

138 检测判断模块

139 后续触发模块

1310 循环检测模块

141 摄像开启模块

142 视频数据获取模块

143 单帧提取模块

144 单帧保存模块

145 样本获取模块

151 特征向量模块

152 模型构建模块

153 模型增量模块

154 模型训练模块

171 数据提取模块

172 图像队列模块

173 单帧队列模块

174 结果队列模块

175 日志模块

176 日志管理模块

步骤标号说明

S1～S7 方法步骤

S11～S15 方法步骤

S21～S28 方法步骤

S31～S310 方法步骤

S41～S45 方法步骤

S51～S54 方法步骤

S71～S76 方法步骤

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

请参阅图1至图15，须知，本说明书所附图式所绘示的结构，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本实用新型所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容所能涵盖的范围内。同时，本说明书中所引用的如”上”、”下”、”左”、”右”、”中间”及”一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

请参阅图1及图2，显示为本发明的一种驾驶员视线检测方法实施例的流程图及驾驶员视线检测方法时序图，所示方法，包括：

步骤S1、通过登录界面进行硬件上电操作开启系统，配置通信参数信息，初始化图像信息采集设备，预设信息处理逻辑，用户通过安装驾驶员视线检测系统的控制平板、计算机等客户终端，在系统主界面通过按下系统启动按钮开启系统，系统自动进行安装检测及设置，并对摄像头及存储磁盘等硬件设备进行初始化；

步骤S2、与服务器端建立通信连接，并接收系统版本信息，本系统通信采用HTTP协议， JSON数据格式作为通讯数据格式，HTTP请求方式为POST，系统向服务器端发送通信连接请求并应答，与服务器端之间建立上下行通信传输通道；

步骤S3、检测系统版本、存储设备及图像信息采集设备，完成检测并发出处理触发信息，系统自动对系统安装版本根据在线最新的安装版本信息判定系统本身的版本并按照对比信息自动安装系统，对SD卡、摄像头进行测试，形成检测日志文件并存储，同时根据检测结果触发系统处理图像信息；

步骤S4、接收处理触发信息，根据处理触发信息触发系统采集视频数据，从视频数据中提取单帧图片信息并保存为图像分析样本，通过安装于驾驶室内的摄像头采集驾驶员的眼部视频数据，将视频数据中的单帧图片信息作为图像分析样本存储，并将视频数据保存于SD 卡中；

步骤S5、提取当前单帧图片信息中的转头方向特征信息和视线角度特征信息，根据转头方向特征信息和视线角度特征信息构建视线深度神经网络模型，根据图像分析样本进行视线深度神经网络模型的深度学习，从存储设备中提取通过摄像头采集的视频数据，将视频信息分帧处理，提取当前帧的图片信息，根据图片信息中包含的特征信息构建深度神经网络模型，并使用图像分析样本训练深度神经网络模型；

步骤S6、根据所述深度神经网络模型对比所述视线特征向量与所述图像分析样本得所述驾驶员视线正误判定信息，识别驾驶员的面部在驾驶过程中观察左B柱、左后视镜、内后视镜、俯视仪表盘右B柱、右后视镜、正前方、低头看档等八个动作特征，提取当前待测的视频数据或视频信息，从视频流数据中获得特征向量并汇总为全局特征向量，将全局向量输入深度神经网络模型，与图像分析样本中的全局特征向量对比获得视线检测信息，通过车载摄像头提取驾驶员姿态等视频数据，利用深度学习神经网络等工具进行包括人脸检测、光流检测等在内的计算机视觉算法处理，视频处理模块进行视频数据采集，生成单帧原始尺寸720p 高清图片用于驾驶员关注点检测，将原始尺寸图片压缩为JPG图片存放至为上级设备特定测量指令设置的专用目录。在收到上级设备结束测量时，将该目录下所有图片打包压缩，转存至SD卡指定目录备用，检测驾驶员关注点。若检测有人脸出现在摄像头视野范围内，则使用深度学习神经网络以及相关逻辑，进行人脸位置标定并判断其朝向，即驾驶员关注点，系统通过车辆传感器提取车辆转向灯，靠边停车，考生下车，通过车载摄像头采集考生考试图片及视频，利用深度学习算法检测考生人脸关键点，考生人脸姿态等信息，完成驾驶员行为分析，对驾考科目三中要求的检测项目作出评判：

场景一：起步前，未观察内，外后视镜，回头观察后方交通情况的。起步前，观察左右后视镜：头部向左偏转30度，若驾驶员没有观察左后视镜；头部向左偏转大于30度；观看内后视镜，头部向右偏转大于30度，头部上仰角度大于30度；左后方，头部向左偏转大于 60度，在场景一中的转头方向特征信息以及视线角度特征信息包含以上情况的，系统可通过运算分析得出驾驶员视线正误判定信息判定违规。

场景二：视线离开行驶方向超过2秒的。车辆行驶过程中，驾驶员视线离开正前方，偏向一侧持续时间超过两秒时，在场景二中的转头方向特征信息以及视线角度特征信息包含以上情况的，系统可通过运算分析得出驾驶员视线正误判定信息判定违规。

场景三：行驶过程中低头看档。行驶过程中，低头看档超过2秒的，低头看档时，头部向右偏转大于30度的持续时间超过2秒的，低头角度大于30度，持续时间超过2秒的，在场景三中的转头方向特征信息以及视线角度特征信息包含以上情况的，系统可通过运算分析得出驾驶员视线正误判定信息判定违规。

场景四：车辆行驶转弯过程中，未通过左后视镜观察道路交通情况的打开左转向灯后，若考生没有观察左后视镜，头部未向左偏转30度至60度，在场景四中的转头方向特征信息以及视线角度特征信息包含以上情况的，系统可通过运算分析得出驾驶员视线正误判定信息判定违规。

场景五：车辆行驶转弯过程中，未通过右后视镜观察道路交通情况的打开右转向等后，若考生没有观察右后视镜，头部未向右偏转45度至60度，在场景五中的转头方向特征信息以及视线角度特征信息包含以上情况的，系统可通过运算分析得出驾驶员视线正误判定信息判定违规。

场景六：变更车道前，未通过内、外后视镜观察，并向变更车道方向回头观察后放道路交通情况的收到“变更车道”语音指令后，或驾驶员开启转向灯后一定时长内，若没有观察内外后视镜及相应测的后方，头部偏转大于60度时，在场景六中的转头方向特征信息以及视线角度特征信息包含以上情况的，系统可通过运算分析得出驾驶员视线正误判定信息判定违规；

步骤S7、将单帧图片信息、驾驶员视线正误判定信息存入检测信息和视频数据队列中，根据队列产生日志信息并存储，管理日志信息并发送至服务器端，将通过深度神经网络处理获得的视线检测信息转化为数据流并存储至响应队列中，并根据视线检测信息生成驾驶员视线检测日志并存储于服务器端。

请参阅图3，显示为图1中步骤S1在一实施例中的具体流程图，具体包括：

步骤S11、开启硬件设备，用户通过主控界面上电操作开启系统硬件设备的电源，在移动终端的主界面上点击驾驶员视线检测系统的光标开启，系统硬件设备主要包括安装于驾驶室驾驶座与驾驶员相对位置上的若干摄像头，驾考系统设备在部署时不提供操作界面。系统软件在安装时在Ubuntu系统autostart目录下设置软件自启动配置。硬件上电，Ubuntu系统启动时执行启动脚本，自动启动驾考系统程序；

步骤S12、检测硬件设备，判断硬件设备是否已安装，可通过对系统中的文件路径遍历查找硬件设备中是否已经存在系统的安装路径，并根据安装路径检测硬件设备中是否已经安装了驾驶员视线检测系统；

步骤S13、若是，则初始化通信参数信息、摄像头，驾考系统和上级设备的IP地址均可配置，对通信信息的种类、信息ID及各式通信协议、传输数据各式进行初始化，通过硬件设备中的设备列表初始化摄像头；

步骤S14、若否，则在硬件设备上安装系统，在硬件设备及移动终端中未安装驾驶员视线检测系统时，通过接收远程维护中心发来的最新版本系统安装文件并安装；

步骤S15、预设心率阈值和信息处理逻辑，对逻辑控制功能中包含的视频处理控制逻辑、图像算法的选则信息，图像处理算法及摄像头的监测周期及开关状态信息进行预审，完成线程管理、视频处理控制、视频数据推送、图像算法调用、算法结果维护等逻辑预设。

请参阅图4，显示为图1中步骤S2在一实施例中的具体流程图，具体包括：

步骤S21、向服务器端发送连接请求信息，与上级设备之间的通信，提供HTTP服务，考试开始指令JSON解析和封装应答消息，测量开始指令JSON解析和封装应答消息，处理来自上级设备的操作指令，解析JSON串取出业务类型，调用相应的子模块，并把处理结果封装JSON串回复请求端，完成算法处理结果的上报；完成远程维护中心的升级、维护等操作请求；

步骤S22、判断是否接收到服务器端发来的观察指令，安装于用户终端中的系统等待接收远程监控人员发来的观察指令，远程监控人员，如驾驶考试考官可通过发送观察指令开启系统检测功能，考试开始指令、测量开始等指令来获取考生关注点状态、身体是否伸出车窗外及是否遮蔽摄像头等信息；

步骤S23、若是，则判定与服务器端建立连接，若系统接收到远程监控人员发来的观察指令，则判定与远程监控端的终端设备建立了可用的通信连接，可通过通信连接接收指令，提示消息，具体为在驾驶员遮挡摄像头时对驾驶员进行提示等，图片命名方式：“时间戳_事件”。例如：1488182256100_0001000000.jpg对应的相关信息：在时刻1488182256100，驾驶员观察右后视镜、没有身体任何部位伸出窗外、没有遮挡车内视频监控设备；

步骤S24、若否，则持续发送连接请求信息直至与服务器端建立连接，在系统没有收到远程控制端发来的观察指令时，循环监测是否收到观察指令直至与远程控制端建立连接；

步骤S25、上行传输驾驶员视线正误判定信息，通过通信连接向服务器端发送驾驶人心率状态判断结果，同时上传传输驾驶员的视线监测信息及驾驶员的驾驶状态信息至服务器端；

步骤S26、判断是否接收到服务器端发来的停止指令，当远程控制人员停止远程监控时，向系统发送观察停止指令，安装于车辆上的用户终端持续接收停止指令，判断是否停止对驾驶员的监控，以考试结束指令结束对当前考生的视频图像监测，并在合适的时间获取考试图片信息用于生成驾考报告；

步骤S27、若是，则保存当前视频数据，当系统判定接收到远程控制端发来的停止指令时，停止对驾驶员的所有检测，并保存已经获取的视线检测信息于存储设备中的存储队列；

步骤S28、若否，则继续处理视频数据，在系统没有收到远程控制人员发来的停止指令，则持续对驾驶员的视线行为进行采集和计算出来，实时获取驾驶员的驾驶状态数据和处理结果信息。

请参阅图5，显示为图1中步骤S3在一实施例中的具体流程图，具体包括：

步骤S31、与维护后台建立通信连接，与在线系统维护后台建立通信连接，用于从在线维护后台获取最新想版本信息判断系统的安装的系统版本是否为在线最新版本，并可从维护后台获取最新版本的安装文件或升级包用于系统自动升级；

步骤S32、检测通信连接是否畅通并返回检测结果，检测用户终端与系统维护后台的连接是否畅通，检测返回检测结果，系统根据检测返回的连接状态信息开启在线维护功能，维护中心安装于服务器端；

步骤S33、获取维护后台发来的最新版本信息，维护后台中预设的版本信息在与用户终端中的系统连接建立后，自动向驾驶员视线检测系统发送最新版本信息列表；

步骤S34、根据最新版本信息判断系统是否升级，系统接收最新版本信息列表并与自身的版本信息对比得出版本对比结果，根据版本对比结果判断系统是否为在线最新版本；

步骤S35、若是，则判定系统为最新版本；

步骤S36、若否，则根据维护后台发来的升级信息进行系统升级，接收在线维护后台发来的最新版本系统安装包或者升级包，从安装包或升级包中获得最新版本系统的安装数据，根据用户终端文件系统中的路径安装最新版本的系统，输入Setup.py：软件安装自动配置脚本、DriverEquipment.desktop：软件自启动配置文件、Driversafe_start.sh：软件自启动脚本；

步骤S37、检测存储硬盘、摄像头，获取磁盘检测信息、摄像头检测信息，存储硬盘、摄像头与系统的扩展接口连接，系统可对存储硬盘如SD卡或磁盘的使用状态及容量等信息监测并获取检测结果，同时对摄像头的状态进行检测；

步骤S38、根据磁盘检测信息、摄像头检测信息检测信息判断系统状态是否正常，系统接收摄像头、磁盘、SD卡的检测返回结果判断系统硬件设备是否处于正常可用的状态；

步骤S39、若是，则发出处理触发信息，接收系统检测结果数据，如果系统检测结果数据显示整个系统检测正常，则对系统其它功能模块发出开始采集数据和处理数据的触发信息，启动软件可执行程序DriverEquipment，进入系统；

步骤S310、若否，则继续检测版本信息、存储硬盘、摄像头和，若返回的系统检测信息显示有异常，则进一步确认出现异常的硬件设备，将发出提示信息提示用户更换出现异常的硬件设备。

请参阅图6，显示为图1中步骤S4在一实施例中的具体流程图，具体包括：

步骤S41、接收处理触发信息，根据处理触发信息开启摄像头，开启摄像头对驾驶员进行视频数据采集，从摄像头获取原始USB摄像头视频数据；

步骤S42、以摄像头实时获取驾驶人的视频数据，摄像头通过感光成像元件实时获取驾驶人在驾驶过程中的视频图像，并将摄像获取的视频数据通过数据总线或无线传输的方式发至图像处理逻辑；

步骤S43、根据视频数据及时间提取当前的所示单帧图片信息，驾驶员视线检测系统根据预设的图像处理逻辑处理视频信息，得到单帧原始尺寸图片、压缩格式图片，优选的，对摄像头获取的视频数据根据时间戳分帧处理，将生成的单帧图片用于图像算法库进行相应分析，并把图片压缩存储用于报告生成；

步骤S44、保存单帧图片信息，将由视频数据处理获得的单帧图片信息保存至存储设备中供组建样本和后续操作中的图像信息提取；

步骤S45、聚集单帧图片信息得图像分析样本，从图像存储队列中提取出单帧图片信息并聚集为图像分析样本，该图像分析样本用于训练深度神经网络模型。

请参阅图7，显示为图1的步骤S5在一实施例中的具体流程图，具体包括：

步骤S51、提取单帧图片信息中的特征数据计算特征向量，对经过处理的头部图像数据集提取局部特征向量集，然后将局部特征向量集融合得到头部姿态特征向量，将待测头部视线图像及姿态图像经过预处理，提取头部局部特征向量和全局头部特征向量并融合得到全局特征向量；

步骤S52、根据特征向量构建视线深度神经网络模型，对图像分析样本中的每张头部姿态图片进行预处理，得带待测图片预处理信息；

步骤S53、提取图像分析样本，根据图像分析样本比对得出模型增量信息，根据图像分析样本的待测图片预处理信息获取样本中包含的样本全局特征向量；

步骤S54、视线深度神经网络模型根据模型增量信息进行深度学习，更新视线深度神经网络模型，实现深度神经网络模型为卷积神经网络模型，根据样本库的样本全局特征向量训练卷积神经网络模型。

请参阅图8，显示为图1中步骤S7在一实施例中的具体流程图，具体包括：

步骤S71、提取视频数据、单帧图片信息和驾驶员视线正误判定信息，从摄像头及图像数据处理算法输出端提取视频数据、单帧图片信息和视频监测信息；

步骤S72、将视频数据存入图像采集缓存队列，图像采集缓存队列用于图片数据存储保存图像算法处理过的的图片数据，用于驾考结束后汇总上报及在有效期内备份；

步骤S73、将单帧图片信息存入单帧图片缓存队列，单帧图片缓存队列主要为卷及深度网络模型算法的输入队列，视频数据为图像采集缓存队列的队列元素，适于按照视频数据入队列的顺序作为图像数据处理算法的输入数据；

步骤S74、将驾驶员视线正误判定信息存入算法输出队列，算法输出队列是图像算法模块处理结果队列，用于上报上级设备，适于按照视频监测信息入队列的顺序上行传输至服务器端供监控人员查看；

步骤S75、根据图片缓存队列及算法输出队列生成驾驶人的日志信息并存入日志库，系统日志存储保存系统运行中产生的工作日志；

步骤S76、管理日志信息并发送至服务器端，深度学习神经网络等工具进行包括人脸检测、入侵检测等在内的计算机视觉算法处理，输出考生8个状态转头信息、身体是否伸出车窗信息、是否遮蔽摄像头信息，将分析结果存放至缓存中，由I/O模块推送至上级设备，可以进行一些修复性的工作，无法确定系统是否正常的工作，系统在以后的某个阶段，可能导致一个无法修复的错误，但也可能一直工作到停止也不出现严重问题，表明会出现潜在错误情形，应该是这个时候进行一些修复性的工作，应该还可以把系统恢复到正常状态中来，系统可以继续运行下去，应用程序运行状态，包含程序正常运行日志及业务逻辑日志。

请参阅图9，显示为本发明的一种驾驶员视线检测系统实施例的结构示意图，如图9所示，驾驶员视线检测系统1，包括：系统初始模块11、通信模块12、自检模块13、图像样本模块14、模型分析模块15、姿态数据处理模块16、体征检测模块17和检测结果存储模块18；系统初始模块11，用于通过登录界面进行硬件上电操作开启系统，配置通信参数信息，初始化图像信息采集设备，预设信息处理逻辑，用户通过安装驾驶员视线监测系统的控制平板、计算机等客户终端上在系统主界面通过按下系统启动按钮开启系统，系统自动进行安装检测及设置，并对摄像头及存储磁盘等硬件设备进行初始化；通信模块12，用于与服务器端建立通信连接，并接收系统版本信息，本系统通信采用HTTP协议，JSON数据格式作为通讯数据格式，HTTP请求方式为POST，系统向服务器端发送通信连接请求并应答，与服务器端之间建立上下行通信传输通道，通信模块12与系统初始模块11连接；自检模块13，用于检测系统版本、存储设备及图像信息采集设备，完成检测并发出处理触发信息，系统自动对系统安装版本根据在线最新的安装版本信息判定系统本身的版本并按照对比信息自动安装系统，对SD卡、摄像头进行测试，形成检测日志文件并存储，同时根据监测结果触发系统处理图像信息；图像样本模块14，用于接收处理触发信息，根据处理触发信息触发系统采集视频数据，从视频数据中提取单帧图片信息并保存为图像分析样本，通过安装于驾驶室内的摄像头采集驾驶员的眼部视频数据，将视频数据中的单帧图像信息作为图像分析样本存储，并将视频数据保存于SD卡中，图像样本模块14与自检模块13连接；模型分析模块15，用于提取当前单帧图片信息中的转头方向特征信息和视线角度特征信息，根据转头方向特征信息和视线角度特征信息构建视线深度神经网络模型，根据图像分析样本进行视线深度神经网络模型的，从存储设备中提取通过摄像头采集的视频信息，将视频信息分帧处理，提取当前帧的图片信息，根据图片信息中包含的特征信息构建深度神经网络模型，并使用图片分析样本训练深度神经网络模型，深度学习模型分析模块15与上述图像样本模块14连接；姿态数据处理模块 16，用于根据所述深度神经网络模型对比所述视线特征向量与所述图像分析样本得所述驾驶员视线正误判定信息，识别驾驶员的面部在驾驶过程中观察左B柱、左后视镜、内后视镜、俯视仪表盘右B柱、右后视镜、正前方、低头看档等八个动作特征，通过车载摄像头提取驾驶员姿态等视频数据，利用深度学习神经网络等工具进行包括人脸检测、光流检测等在内的计算机视觉算法处理，视频处理模块进行视频数据采集，生成单帧原始尺寸720p高清图片用于驾驶员关注点检测，将原始尺寸图片压缩为JPG图片存放至为上级设备特定测量指令设置的专用目录。在收到上级设备结束测量时，将该目录下所有图片打包压缩，转存至SD卡指定目录备用，检测驾驶员关注点。若检测有人脸出现在摄像头视野范围内，则使用深度学习神经网络以及相关逻辑，进行人脸位置标定并判断其朝向，即驾驶员关注点，姿态数据处理模块16与模型分析模块15连接；检测结果存储模块17，用于将单帧图片信息、驾驶员视线正误判定信息存入检测信息和视频数据队列中，根据队列产生日志信息并存储，管理日志信息并发送至服务器端，检测结果存储模块17与姿态数据处理模块16连接，将通过深度神经网络处理获得的视线检测信息转化为数据流并存储至响应队列中，并根据视线检测信息生成驾驶员视线检测日志并存储于服务器端。

请参阅图10，显示为图9中的步骤11在一实施例中的具体流程图，具体包括：开启模块111、安装检测模块112、设备初始化模块113、自动安装模块114和逻辑预设模块115；开启模块111，用于开启硬件设备，用户通过主控界面上电操作开启系统硬件设备的电源，在移动终端的主界面上点击驾驶员视线检测系统的光标开启，系统硬件设备主要包括安装于驾驶室驾驶座与驾驶员相对位置上的若干摄像头，驾考系统设备在部署时不提供操作界面。系统软件在安装时在Ubuntu系统autostart目录下设置软件自启动配置。硬件上电，Ubuntu 系统启动时执行启动脚本，自动启动驾考系统程序；安装检测模块112，用于检测硬件设备，判断硬件设备是否已安装系统，可通过对系统中的文件路径遍历查找硬件设备中是否已经存在系统的安装路径，并根据安装路径检测硬件设备中是否已经安装了监视员视线监测系统，安装检测模块112与开启模块111连接；设备初始化模块113，用于在硬件设备已安装系统时，初始化通信参数信息、摄像头，驾考系统和上级设备的IP地址均可配置，对通信信息的种类、信息ID及各式通信协议、传输数据各式进行初始化，通过硬件设备中的设备列表初始化摄像头，设备初始化模块113与安装检测模块112连接；自动安装模块114，用于在硬件设备未安装系统时，则在硬件设备上安装系统，在硬件设备及移动终端中未安装驾驶员视线监测系统时，通过接收远程维护中心发来的最新版本系统安装文件并安装，自动安装模块114与安装检测模块112连接；逻辑预设模块115，用于预设信息处理逻辑，对逻辑控制功能中包含的视频处理控制逻辑、图像算法的选则信息，图像处理算法及摄像头的监测周期及开关状态信息进行预审，完成线程管理、视频处理控制、视频数据推送、图像算法调用、算法结果维护等逻辑预设。

请参阅图11，显示为图9中的通信模块12在一实施例中的具体模块示意图，具体包括：连接请求模块121、连接判断模块122、连接判定模块123、持续请求模块124、信息上行模块125、停止指令判断模块126、停止处理模块127和处理保持模块128；连接请求模块121，用于向服务器端发送连接请求信息，提供HTTP服务，考试开始指令JSON解析和封装应答消息，测量开始指令JSON解析和封装应答消息，处理来自上级设备的操作指令，解析JSON 串取出业务类型，调用相应的子模块，并把处理结果封装JSON串回复请求端，完成算法处理结果的上报；完成远程维护中心的升级、维护等操作请求；连接判断模块122，用于判断是否接收到服务器端发来的观察指令，安装于用户终端中的系统等待接收远程监控人员发来的观察指令，远程监控人员，如驾驶考试考官可通过发送观察指令开启系统检测功能，考试开始指令、测量开始等指令来获取考生关注点状态、身体是否伸出车窗外及是否遮蔽摄像头等信息，连接判断模块122与连接请求模块121连接；连接判定模块123，用于在接收到服务器端发来的观察指令时，判定与服务器端建立连接，若系统接收到远程监控人员发来的观察指令，则判定与远程监控端的终端设备建立了可用的通信连接，可通过通信连接接收指令，提示消息，具体为在驾驶员遮挡摄像头时对驾驶员进行提示等，图片命名方式：“时间戳_事件”。例如：1488182256100_0001000000.jpg对应的相关信息：在时刻1488182256100，驾驶员观察右后视镜、没有身体任何部位伸出窗外、没有遮挡车内视频监控设备，连接判定模块123与连接判断模块122连接；持续请求模块124，用于在未接收到服务器端发来的观察指令时，持续发送连接请求信息直至与服务器端建立连接，在系统没有收到远程控制端发来的观察指令时，循环监测是否收到观察指令直至与远程控制端建立连接，持续请求模块124与连接判断模块122连接；信息上行模块125，用于上行传输驾驶员视线正误判定信息，同时上传输驾驶员的视线监测信息及驾驶员的驾驶状态信息至服务器端；停止指令判断模块126，用于判断是否接收到服务器端发来的停止指令，当远程控制人员停止远程监控时，向系统发送观察停止指令，安装于车辆上的用户终端持续接收停止指令，判断是否停止对驾驶员的监控，以考试结束指令结束对当前考生的视频图像监测，并在合适的时间获取考试图片信息用于生成驾考报告；停止处理模块127，用于在接收到服务器端发来的停止指令时，保存当前视频数据，当系统判定接收到远程控制端发来的停止指令时，停止对驾驶员的所有检测，并保存已经获取的视线检测信息于存储设备中的存储队列，停止处理模块127与停止判断模块 126连接；处理保持模块128，用于在未接收到服务器端发来的停止指令时，继续处理视频数据，在系统没有收到远程控制人员发来的停止指令，则持续对驾驶员的视线行为进行采集和计算出来，实时获取驾驶员的驾驶状态数据和处理结果信息，处理保持模块128与停止指令判断模块126连接。

请参阅图12，显示为图9中的维护连接模块13在一实施例中的具体模块示意图，具体包括：维护连接模块131、连接检测模块132、版本信息获取模块133、升级判断模块134、新版本判定模块135、自动升级模块136、硬件检测模块137、检测判断模块138、后续触发模块139和循环检测模块1310；维护连接模块131，用于与维护后台建立通信连接，与在线系统维护后台建立通信连接，用于从在线维护后台获取最新想版本信息判断系统的安装的系统版本是否为在线最新版本，并可从维护后台获取最新版本的安装文件或升级包用于系统自动升级；连接检测模块132，用于检测通信连接是否畅通并返回检测结果，检测用户终端与系统维护后台的连接是否畅通，检测返回检测结果，系统根据检测返回的连接状态信息开启在线维护功能，维护中心安装于服务器端；版本信息获取模块133，用于获取维护后台发来的最新版本信息，维护后台中预设的版本信息在与用户终端中的系统连接建立后，自动向驾驶员视线检测系统发送最新版本信息列表，版本信息获取模块133与连接检测模块132连接；升级判断模块134，用于根据最新版本信息判断系统是否升级，系统接收最新版本信息列表并与自身的版本信息对比得出版本对比结果，根据版本对比结果判断系统是否为在线最新版本，升级判断模块134与版本信息获取模块133连接；新版本判定模块135，用于在系统版本为最新版本时，判定系统为最新版本，新版本判断模块135与升级判断模块134连接；自动升级模块136，用于在系统版本非最新版本时，根据维护后台发来的升级信息进行系统升级，接收在线维护后台发来的最新版本系统安装包或者升级包，从安装包或升级包中获得最新版本系统的安装数据，根据用户终端文件系统中的路径安装最新版本的系统，输入Setup.py：软件安装自动配置脚本、DriverEquipment.desktop：软件自启动配置文件、Driversafe_start.sh：软件自启动脚本，自动升级模块136与升级判断模块134连接；硬件检测模块137，用于检测存储硬盘、摄像头，获取磁盘检测信息、摄像头检测信息，存储硬盘、摄像头与系统的扩展接口连接，系统可对存储硬盘如SD卡或磁盘的使用状态及容量等信息监测并获取检测结果；检测判断模块138，用于根据磁盘检测信息、摄像头检测信息及传感器检测信息判断系统状态是否正常，系统接收摄像头、磁盘、SD卡的检测返回结果判断系统硬件设备是否处于正常可用的状态，检测判断模块138与硬件检测模块137连接；后续触发模块139，用于在系统状态正常时，发出处理触发信息，接收系统检测结果数据，如果系统检测结果数据显示整个系统检测正常，则对系统其它功能模块发出开始采集数据和处理数据的触发信息，启动软件可执行程序DriverEquipment，进入系统，后续触发模块139与检测判断模块138连接；循环检测模块1310，用于在系统状态不正常时，继续检测版本信息、存储硬盘、摄像头，存储硬盘、摄像头，若返回的系统检测信息显示有异常，则进一步确认出现异常的硬件设备，将发出提示信息提示用户更换出现异常的硬件设备，循环检测模块1310与检测判断模块138 连接。

请参阅图13，显示为图9中的图像样本模块14在一实施例中的具体模块示意图，具体包括：摄像开启模块141、视频数据获取模块142、单帧提取模块143、单帧保存模块144和样本获取模块145；摄像开启模块141，用于接收处理触发信息，根据处理触发信息开启摄像头，开启摄像头对驾驶员进行视频数据采集，从摄像头获取原始USB摄像头视频数据；视频数据获取模块142，用于以摄像头实时获取驾驶人的视频数据，摄像头通过感光成像元件实时获取驾驶人在驾驶过程中的视频图像，并将摄像获取的视频数据通过数据总线或无线传输的方式发至图像处理逻辑，视频数据获取模块142与摄像开启模块141连接；单帧提取模块 143，用于根据视频数据及时间提取当前的所示单帧图片信息，驾驶员视线检测系统根据预设的图像处理逻辑处理视频信息，得到单帧原始尺寸图片、压缩格式图片，优选的，对摄像头获取的视频数据根据时间戳分帧处理，将生成的单帧图片用于图像算法库进行相应分析，并把图片压缩存储用于报告生成，单针提取模块143与视频数据获取模块142连接；单帧保存模块144，用于保存单帧图片信息，将由视频数据处理获得的单帧图片信息保存至存储设备中供组建样本和后续操作中的图像信息提取，单帧保存模块144与单帧提取模块143连接；样本获取模块145，用于聚集单帧图片信息得图像分析样本，从图像存储队列中提取出单帧图片信息并聚集为图像分析样本，该图像分析样本用于训练深度神经网络模型，样本获取模块145与单帧提取模块143连接。

请参阅图14，显示为图9中的模型分析模块15在一实施例中的具体模块示意图，具体包括：特征向量模块151、模型构建模块152、模型增量模块153、模型训练模块154；特征向量模块151，用于提取单帧图片信息中的特征数据计算特征向量，对经过处理的头部图像数据集提取局部特征向量集，然后将局部特征向量集融合得到头部姿态特征向量，将待测头部视线图像及姿态图像经过预处理，提取头部局部特征向量和全局头部特征向量并融合得到全局特征向量；模型构建模块152，用于根据特征向量构建视线深度神经网络模型，对图像分析样本中的每张头部姿态图片进行预处理，得带待测图片预处理信息，模型构建模块152 与特征向量模块151连接；模型增量模块153，用于提取图像分析样本，根据图像分析样本比对得出模型增量信息，根据图像分析样本的待测图片预处理信息获取样本中包含的样本全局特征向量，模型增量模块153与模型构建模块152连接；模型训练模块154，用于视线深度神经网络模型根据模型增量信息进行深度学习，更新视线深度神经网络模型，实现深度神经网络模型为卷积神经网络模型，根据样本库的样本全局特征向量训练卷积神经网络模型，模型训练模块154与模型增量模块153连接。

请参阅图15，显示为图9中的检测结果存储模块17在一实施例中的具体模块示意图，具体包括：数据提取模块171、图像队列模块172、单帧队列模块173、结果队列模块174、日志模块175和日志管理模块176；数据提取模块171，用于提取视频数据、单帧图片信息和驾驶员视线正误判定信息，从摄像头及图像数据处理算法输出端提取视频数据、单帧图片信息和视频监测信息；图像队列模块172，用于将视频数据存入图像采集缓存队列，图像采集缓存队列用于图片数据存储保存图像算法处理过的的图片数据，用于驾考结束后汇总上报及在有效期内备份，图像队列模块172与数据提取模块171连接；单帧队列模块173，用于将单帧图片信息存入单帧图片缓存队列，单帧图片缓存队列主要为卷及深度网络模型算法的输入队列，视频数据为图像采集缓存队列的队列元素，适于按照视频数据入队列的顺序作为图像数据处理算法的输入数据，单帧队列模块173与数据提取模块171连接；结果队列模块174，用于将驾驶员视线正误判定信息存入算法输出队列，算法输出队列是图像算法模块处理结果队列，用于上报上级设备，适于按照视频监测信息入队列的顺序上行传输至服务器端供监控人员查看，结果队列模块174与数据提取模块171连接；日志模块175，用于根据图片缓存队列及算法输出队列生成驾驶人的日志信息并存入日志库，系统日志存储保存系统运行中产生的工作日志，日志模块175与图像队列模块172连接，日志模块175与单帧队列模块173 连接，日志模块175与结果队列模块174连接；日志管理模块176，用于管理日志信息并发送至服务器端，深度学习神经网络等工具进行包括人脸检测、入侵检测等在内的计算机视觉算法处理，输出考生8个状态转头信息、身体是否伸出车窗信息、是否遮蔽摄像头信息，将分析结果存放至缓存中，由I/O模块推送至上级设备，可以进行一些修复性的工作，无法确定系统是否正常的工作，系统在以后的某个阶段，可能导致一个无法修复的错误，但也可能一直工作到停止也不出现严重问题，表明会出现潜在错误情形，应该是这个时候进行一些修复性的工作，应该还可以把系统恢复到正常状态中来，系统可以继续运行下去，应用程序运行状态，包含程序正常运行日志及业务逻辑日志，日志管理模块186与日志模块185连接。

本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明提供的驾驶员视线检测方法，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本发明提供一种驾驶员视线检测设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述驾驶员视线检测设备执行本发明提供的驾驶员视线检测方法，存储器可能包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

综上所述，本发明提供的驾驶员视线检测方法、系统、介质及设备。本发明具有以下有益效果：本发明本发明为了实现机动车驾驶科目三考试的全程电子监控与评判，驾驶考试视觉追踪技术样机通过车载摄像头提取驾驶员姿态等视频数据，利用深度学习神经网络等工具进行包括人脸检测、光流检测等在内的计算机视觉算法处理，每一帧都会有一个结果(八动作之一)传给三联上级设备，包括当前图片对应的时间戳和状态，整个考生结束后，把整个考生图片及状态数据打成压缩包发至上级设备，样本训练用于人脸追踪，识别人脸动作特征，用于判断动作，完成驾驶员关注点检测、身体是否伸出车外等行为分析，提升科目三考试的客观性和精确性，减少人力成本。在机动车驾驶科目三考试中，驾考系统使用摄像头采集考生驾驶视频，完成考生面部朝向的检测，以确认考生可能的观察目标；完成左前窗区域有无物体伸出车外的检测，以确认考生有无身体部位伸出车外；完成摄像头成像质量评估，以确认有无其它物品遮挡摄像头。在完成驾驶员关注点、身体有无伸出窗外、摄像头是否遮蔽等检测后，驾考系统会根据与上级设备(最终完成驾考科目合规判决的设备)约定的通信协议，将相关状态上报给上级设备，以帮助上级设备完成驾考科目判决。综上，本发明解决了现有技术中的硬件成本高，特征鲁棒性较弱，信息利用率低以及检测结果精确度低的技术问题，以监控视频中获取的头部姿态图片作为样本库，不需要对特征进行设计、特征鲁棒性强，实际检测准确率较高，具有很高的商业价值和实用性。

Claims (16)

1.一种驾驶员视线检测方法，其特征在于，包括：

通过登录界面进行硬件上电操作开启系统，配置通信参数信息，初始化图像信息采集设备，预设信息处理逻辑；

与服务器端建立通信连接，并接收系统版本信息；

检测所述系统版本、存储设备及所述图像信息采集设备，完成检测并发出处理触发信息；

接收所述处理触发信息，根据所述处理触发信息触发系统采集视频数据，从所述视频数据中提取单帧图片信息并保存为图像分析样本；

提取当前所述单帧图片信息中的转头方向特征信息和视线角度特征信息，根据所述转头方向特征信息和视线角度特征信息构建视线深度神经网络模型，根据所述图像分析样本进行所述视线深度神经网络模型的深度学习；

根据所述深度神经网络模型对比所述视线特征向量与所述图像分析样本得所述驾驶员视线正误判定信息，识别驾驶员的面部在驾驶过程中观察左B柱、左后视镜、内后视镜、俯视仪表盘右B柱、右后视镜、正前方、低头看档等八个动作特征；

将所述单帧图片信息、所述驾驶员视线正误判定信息存入检测信息和视频数据队列中，根据所述队列产生日志信息并存储，管理所述日志信息并发送至所述服务器端。

2.根据权利要求1所述的方法，其特征在于，所述通过界面进行硬件上电操作，配置通信参数信息，初始化图像信息采集设备，预设信息处理逻辑，包括：

开启硬件设备；

检测所述硬件设备，判断所述硬件设备是否已安装；

若是，则初始化所述通信参数信息、摄像头；

若否，则在所述硬件设备上安装系统；

预设心率阈值和信息处理逻辑。

3.根据权利要求1所述的方法，其特征在于，所述与服务器端建立通信连接并接收系统版本信息，包括：

向所述服务器端发送连接请求信息；

判断是否接收到服务器端发来的观察指令；

若是，则判定与所述服务器端建立连接；

若否，则持续发送所述连接请求信息直至与所述服务器端建立连接；

上行传输所述体征状态信息及所述驾驶员视线正误判定信息；

判断是否接收到服务器端发来的停止指令；

若是，则保存当前所述视频数据；

若否，则继续处理所述视频数据。

4.根据权利要求1所述的方法，其特征在于，所述检测所述系统版本、存储设备及所述图像信息采集设备，完成检测并发出处理触发信息，包括：

与维护后台建立通信连接；

检测所述通信连接是否畅通并返回检测结果；

获取维护后台发来的最新版本信息；

根据所述最新版本信息判断所述系统是否升级；

若是，则判定所述系统为最新版本；

若否，则根据所述维护后台发来的升级信息进行系统升级；

检测存储硬盘、摄像头，获取磁盘检测信息、摄像头检测信息；

根据所述磁盘检测信息、所述摄像头检测信息判断所述系统状态是否正常；

若是，则发出处理触发信息；

若否，则继续检测所述版本信息、所述存储硬盘、所述摄像头。

5.根据权利要求1或4所述的方法，其特征在于，所述所述处理触发信息触发系统采集视频数据，从所述视频数据中提取单帧图片信息并保存为图像分析样本，包括：

接收所述处理触发信息，根据所述处理触发信息开启所述摄像头；

以摄像头实时获取驾驶人的所述视频数据；

根据所述视频数据及时间提取当前的所示单帧图片信息；

保存所述单帧图片信息；

聚集所述单帧图片信息得所述图像分析样本。

6.根据权利要求1所述的方法，其特征在于，所述提取当前所述单帧图片信息中的转头方向特征信息和视线角度特征信息，根据所述转头方向特征信息和视线角度特征信息构建视线深度神经网络模型，根据所述图像分析样本进行所述视线深度神经网络模型的深度学习，包括：

提取所述单帧图片信息中的特征数据计算特征向量；

根据所述特征向量构建所述视线深度神经网络模型；

提取所述图像分析样本，根据所述图像分析样本比对得出模型增量信息；

所述视线深度神经网络模型根据所述模型增量信息进行深度学习，更新所述视线深度神经网络模型。

7.根据权利要1或6所述的方法，其特征在于，所述将所述单帧图片信息、所述驾驶员视线正误判定信息存入检测信息和视频数据队列中，根据所述队列产生日志信息并存储，管理所述日志信息并发送至所述服务器端，包括：

提取所述视频数据、所述单帧图片信息和所述驾驶员视线正误判定信息；

将所述视频数据存入图像采集缓存队列；

将所述单帧图片信息存入单帧图片缓存队列；

将所述驾驶员视线正误判定信息存入算法输出队列；

根据所述图片缓存队列及所述算法输出队列生成所述驾驶人的日志信息并存入日志库；

管理所述日志信息并发送至所述服务器端。

8.一种驾驶员视线检测系统，其特征在于，包括：系统初始模块、通信模块、自检模块、图像样本模块、模型分析模块、姿态数据处理模块和检测结果存储模块；

所述系统初始模块，用于通过登录界面进行硬件上电操作开启系统，配置通信参数信息，初始化图像信息采集设备，预设信息处理逻辑；

所述通信模块，用于与服务器端建立通信连接，并接收系统版本信息；

所述自检模块，用于检测所述系统版本、存储设备及所述图像信息采集设备，完成检测并发出处理触发信息；

所述图像样本模块，用于接收所述处理触发信息，根据所述处理触发信息触发系统采集视频数据，从所述视频数据中提取单帧图片信息并保存为图像分析样本；

所述模型分析模块，用于提取当前所述单帧图片信息中的转头方向特征信息和视线角度特征信息，根据所述转头方向特征信息和视线角度特征信息构建视线深度神经网络模型，根据所述图像分析样本进行所述视线深度神经网络模型的深度学习；

所述姿态数据处理模块，用于根据所述深度神经网络模型对比所述视线特征向量与所述图像分析样本得所述驾驶员视线正误判定信息，识别驾驶员的面部在驾驶过程中观察左B柱、左后视镜、内后视镜、俯视仪表盘右B柱、右后视镜、正前方、低头看档等八个动作特征；

所述检测结果存储模块，用于将所述单帧图片信息、所述驾驶员视线正误判定信息存入检测信息和视频数据队列中，根据所述队列产生日志信息并存储，管理所述日志信息并发送至所述服务器端。

9.根据权利要求8所述的系统，其特征在于，所述系统初始模块包括：开启模块、安装检测模块、设备初始化模块、自动安装模块和逻辑预设模块；

所述开启模块，用于开启硬件设备；

所述安装检测模块，用于检测所述硬件设备，判断所述硬件设备是否已安装；

所述设备初始化模块，用于在硬件设备已安装所述系统时，初始化所述通信参数信息、摄像头；

所述自动安装模块，用于在硬件设备未安装系统时，在所述硬件设备上安装系统；

所述逻辑预设模块，用于预设信息处理逻辑。

10.根据权利要求8所述的系统，其特征在于，所述通信模块包括：连接请求模块、连接判断模块、连接判定模块、持续请求模块、信息上行模块、停止指令判断模块、停止处理模块和处理保持模块；

所述连接请求模块，用于向所述服务器端发送连接请求信息；

所述连接判断模块，用于判断是否接收到服务器端发来的观察指令；

所述连接判定模块，用于在接收到服务器端发来的观察指令时，判定与所述服务器端建立连接；

所述持续请求模块，用于在未接收到服务器端发来的观察指令时，持续发送所述连接请求信息直至与所述服务器端建立连接；

所述信息上行模块，用于上行传输所述驾驶员视线正误判定信息；

所述停止指令判断模块，用于判断是否接收到服务器端发来的停止指令；

所述停止处理模块，用于在接收到服务器端发来的停止指令时，保存当前所述视频数据；

所述处理保持模块，用于在未接收到服务器端发来的停止指令时，继续处理所述视频数据。

11.根据权利要求8所述的系统，其特征在于，所述自检模块，包括：维护连接模块、连接检测模块、版本信息获取模块、升级判断模块、新版本判定模块、自动升级模块、硬件检测模块、检测判断模块、后续触发模块和循环检测模块；

所述维护连接模块，用于与维护后台建立通信连接；

所述连接检测模块，用于检测所述通信连接是否畅通并返回检测结果；

所述版本信息获取模块，用于获取维护后台发来的最新版本信息；

所述升级判断模块，用于根据所述最新版本信息判断所述系统是否升级；

所述新版本判定模块，用于在所述系统版本为最新版本时，判定所述系统为最新版本；

所述自动升级模块，用于在所述系统版本非最新版本时，根据所述维护后台发来的升级信息进行系统升级；

所述硬件检测模块，用于检测存储硬盘、摄像头，获取磁盘检测信息、摄像头检测信息；

所述检测判断模块，用于根据所述磁盘检测信息、所述摄像头检测信息判断所述系统状态是否正常；

所述后续触发模块，用于在所述系统状态正常时，发出处理触发信息；

所述循环检测模块，用于在所述系统状态不正常时，继续检测所述版本信息、所述存储硬盘、所述摄像头。

12.根据权利要求8或11所述的系统，其特征在于，所述图像样本模块，包括：摄像开启模块、视频数据获取模块、单帧提取模块、单帧保存模块和样本获取模块；

所述摄像开启模块，用于接收所述处理触发信息，根据所述处理触发信息开启所述摄像头；

所述视频数据获取模块，用于以摄像头实时获取驾驶人的所述视频数据；

所述单帧提取模块，用于根据所述视频数据及时间提取当前的所示单帧图片信息；

所述单帧保存模块，用于保存所述单帧图片信息；

所述样本获取模块，用于聚集所述单帧图片信息得所述图像分析样本。

13.根据权利要求8所述的系统，其特征在于，所述模型分析模块包括：特征向量模块、模型构建模块、模型增量模块、模型训练模块；

所述特征向量模块，用于提取所述单帧图片信息中的特征数据计算特征向量；

所述模型构建模块，用于根据所述特征向量构建所述视线深度神经网络模型；

所述模型增量模块，用于提取所述图像分析样本，根据所述图像分析样本比对得出模型增量信息；

所述模型训练模块，用于所述视线深度神经网络模型根据所述模型增量信息进行深度学习，更新所述视线深度神经网络模型。

14.根据权利要求8或13所述的系统，其特征在于，所述检测结果存储模块包括：数据提取模块、图像队列模块、单帧队列模块、结果队列模块、日志模块和日志管理模块；

所述数据提取模块，用于提取所述视频数据、所述单帧图片信息和所述驾驶员视线正误判定信息；

所述图像队列模块，用于将所述视频数据存入图像采集缓存队列；

所述单帧队列模块，用于将所述单帧图片信息存入单帧图片缓存队列；

所述结果队列模块，用于将所述驾驶员视线正误判定信息存入算法输出队列；

所述日志模块，用于根据所述图片缓存队列及所述算法输出队列生成所述驾驶人的日志信息并存入日志库；

所述日志管理模块，用于管理所述日志信息并发送至所述服务器端。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述驾驶员视线检测方法。

16.一种驾驶员视线检测设备，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述驾驶员视线检测设备执行如权利要求l至7中任一项所述驾驶员视线检测方法。