CN111476185A

CN111476185A - 一种驾驶者注意力监测方法、装置以及系统

Info

Publication number: CN111476185A
Application number: CN202010284492.7A
Authority: CN
Inventors: 罗跃宸
Original assignee: Luo Yiyuan
Current assignee: Luo Yuechen
Priority date: 2020-04-13
Filing date: 2020-04-13
Publication date: 2020-07-31
Anticipated expiration: 2040-04-13
Also published as: CN111476185B

Abstract

本发明涉及驾驶辅助技术领域，具体涉及一种驾驶者注意力监测方法、装置以及系统，所述方法对驾驶者正常驾驶状态下的面部图像进行采样获得瞳孔的最大活动范围；实时采集驾驶者瞳孔与最大活动范围进行比较产生比较值；将比较值与初始值相加产生结果值，通过结果值与临界值进行比较，若结果值大于临界值，则报警，若否，则返回上一步并将结果值作为初始值；所述装置执行上述方法；所述系统包括装置；云端，获取装置上的视频/图像信息；以及管理端，对云端进行实时监控；本发明利用云端实现了驾驶者驾驶过程中的视频上传，有助于管理端的管理人员集中监督；通过对面部图像进行预处理后再进行人脸检测，将不符合的图像进行记录，具有不可抵赖性。

Description

一种驾驶者注意力监测方法、装置以及系统

技术领域

本发明涉及驾驶辅助技术领域，具体涉及一种驾驶者注意力监测方法、装置以及系统。

背景技术

随着科学技术和社会经济的快速发展，全世界汽车保有量在飞速增加的同时，恶性道路交通事故也呈逐步增加趋势。欧美一些国家对交通事故进行统计分析发现：在众多的交通事故中，驾驶者注意力分散是最重要的原因。由于注意力不集中引起的交通事故占事故总数的80％。

如能有效地检测和防止驾驶者注意力分散、进行安全预警、辅助驾驶者提高注意力集中水平、降低交通事故和人员伤亡率，对进一步提高人民的生活质量和构建和谐社会都有着十分重要的现实意义。

在公开号为CN103839046A的中国专利文献，公开了一种驾驶者注意力自动识别系统，包括图像采集装置、图像处理装置和报警装置，其特征在于所述图像采集装置用于实时获取驾驶者面部图像，并将采集的驾驶者图像传输给图像处理装置；所述图像处理装置用于通过驾驶者图像获取驾驶者相对姿态角，根据驾驶者注意力判别模型分析判断驾驶者注意力状态；所述报警装置用于当图像处理装置判定驾驶者处于注意力不集中状态时进行报警提示。

上述系统存在四个明显的缺陷：

1、系统集成于整车，需在整车下线前安装；存量车辆无法在不破坏原有设备的前提下使用；

2、系统处于持续工作状态，更换驾驶者过程中因人员离开座位而发生误报；

3、系统对出现驾驶者注意力不集中的情况时无法保存证据，不利于事后回溯；

4、系统只实现了单台车辆运行时的监测，无法实现集中监督。

发明内容

本发明所要解决的技术问题是：提供一种基于驾驶者的瞳孔的瞳孔基准范围进行实时监控预警的驾驶者注意力监测方法、装置以及系统。

为了解决上述技术问题，本发明采用的第一技术方案为：

一种驾驶者注意力监测方法，包括以下步骤：

S1、对驾驶者正常驾驶状态下的面部图像进行采样，并通过面部识别获得瞳孔的最大活动范围；

S2、实时采集驾驶者的面部图像，通过面部识别选择瞳孔的位置并与最大活动范围进行比较产生比较值；

S3、获取比较值，将比较值与初始值相加产生结果值，通过结果值与临界值进行比较，若结果值大于临界值，则报警，若否，则返回S2并将结果值设置为初始值。

为了解决上述技术问题，本发明采用的第二技术方案为：

一种驾驶者注意力监测装置，包括

处理器，

摄像头，进行图像的采集；

存储器、存储有可在处理器上运行的程序，所述处理器执行所述程序时实现上述的驾驶者注意力监测方法；以及

报警器，通过所述处理器控制报警器的工作。

为了解决上述技术问题，本发明采用的第三技术方案为：

一种驾驶者注意力监测系统，包括

车载端，所述车载端包括上述的驾驶者注意力监测装置；

云端，获取驾驶者注意力监测装置上的视频/图像信息；以及

管理端，对云端进行实时监控。

本发明的有益效果在于：软硬件集成的非介入式车载端，可直接将摄像头安装于车辆仪表盘上，而不需破坏原车辆任何装置，适用于任何方向盘式机动车；利用云端实现了驾驶者驾驶过程中的视频上传(直播)，有助于管理端的管理人员集中监督；利用控制输入器，实现了以控制输入器启动或中止驾驶者注意力监测装置方式，本发明可匹配任何驾驶者(通过控制输入器重启驾驶者注意力监测装置，使得装置重新进行循环)，同时，更换驾驶者时也不会产生报警，提高驾乘舒适性。通过对面部图像进行预处理后再进行人脸检测，若无人脸，则记录该图像的原始图像；若未采集到驾驶者的面部图像或者瞳孔的位置超过最大活动范围，同时记录图像的原始图像；利用证据记录步骤实现了注意力不集中时现场证据的保存，具有不可抵赖性。

附图说明

图1为本发明具体实施方式的一种驾驶者注意力监测方法的流程图；

图2为本发明具体实施方式的一种驾驶者注意力监测装置的示意图；

图3为本发明具体实施方式的一种驾驶者注意力监测系统的示意图；

图4为现有技术的人脸68点特征点分布示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

一种驾驶者注意力监测方法，包括以下步骤：

进一步的，所述“对驾驶者正常驾驶状态下的面部图像进行采样”包括：

对驾驶者正常驾驶状态下的面部图像进行采样15-30张，每张间隔8-15ms；

从上述描述可知，通过对驾驶者正常驾驶状态下的面部图像进行采样15-30张，能够避免特殊样本影响后续最大活动范围计算的准确性；同时多张能够采取平均值的方式，进一步的提升准确性；同时每张间隔8-15ms，能够缩短驾驶者等待的时间。

进一步的，所述面部识别包括：

S111、将面部图像进行左右翻转；

S112、将翻转后的面部图像进行灰度或者黑白处理；

S113、将处理后的面部图像进行人脸检测，选择驾驶者的面部区域；

S114、对面部区域进行人脸特征点检测，确定左右瞳孔相应的特征点。

从上述描述可知，通过左右翻转，产生镜面效果能够保持驾驶者的物理空间坐标系与图像坐标系一致；转换为灰度图像或者黑白图像是能够缩短后续步骤中“人脸检测”和“预测特征点”的时间。彩色照片也可以，不过耗时将增加1倍。

进一步的，所述“通过面部识别获得瞳孔的最大活动范围”包括：

选择瞳孔的特征点中两个对角点，获得瞳孔基准范围，假定两个所述对角点为左上角顶点为P1，右下角顶点为P2；

所述瞳孔范围计算过程为：

瞳孔基准范围宽＝P2的x轴坐标-P1的x轴坐标；

瞳孔基准范围高＝P2的y轴坐标-P1的y轴坐标；

瞳孔基准范围中心点x轴坐标＝P1的x轴坐标+[瞳孔基准范围宽/2]；

瞳孔基准范围中心点y轴坐标＝P1的y轴坐标+[瞳孔基准范围高/2]；

同时将两个所述对角点向外围扩大z倍，获得瞳孔的最大活动范围，假定两个所述对角点为左上角顶点为A1，右下角顶点为A2；所述最大活动范围计算过程为：

A1点x轴坐标＝瞳孔基准范围中心点x轴坐标-[瞳孔基准范围宽/2]×z；

A1点y轴坐标＝瞳孔基准范围中心点y轴坐标-[瞳孔基准范围高/2]×z；

A2点x轴坐标＝瞳孔基准范围中心点x轴坐标+[瞳孔基准范围宽/2]×z；

A2点y轴坐标＝瞳孔基准范围中心点y轴坐标+[瞳孔基准范围高/2]×z；

通过左上角顶点A1和右下角顶点A2确定一个四边均平行于面部图像边沿的矩形为最大活动范围。

进一步的，所述z为9。

从上述描述可知，通过同时将两个所述对角点向外围扩大9倍，扩大9倍为长期测试获得的经验值，在9倍的情况下判断的准确率最高。

进一步的，所述“比较产生比较值”包括：

若未采集到驾驶者的面部图像或者瞳孔的位置超过最大活动范围，则产生正数的比较值，同时记录图像的原始图像；

若采集到驾驶者的面部图像且瞳孔的位置未超过最大活动范围，则产生负数的比较值。

进一步的，所述“比较产生比较值”的“比较”包括：

若瞳孔左上角顶点x坐标小于最大活动范围左上角顶点A1的x坐标，则认为超过最大活动范围，中止后续判断；

若瞳孔左上角顶点y坐标小于最大活动范围左上角顶点A1的y坐标，则认为超过最大活动范围，中止后续判断；

若瞳孔右下角顶点x坐标大于最大活动范围右下角顶点A2的x坐标，则认为超过最大活动范围，中止后续判断；

若瞳孔右下角顶点y坐标大于最大活动范围右下角顶点A2的y坐标，则认为超过最大活动范围，中止后续判断。

进一步的，所述“人脸检测”包括

判断面部图像中是否存在人脸，若无人脸，在步骤S1时不动作，在步骤S2时则记录该图像的原始图像；

若有，则在检测出的所有人脸中，依次比较人脸所占面积，并选择面积最大的人脸的为驾驶者的面部区域。

从上述描述可知，通过选择面积最大的人脸的为驾驶者的面部区域，由于摄像头距离驾驶者最近，根据近大远小的透视现象，面积最大的人脸即为驾驶者的人脸；避免面部图像中含有多张人脸造成识别错误的情况发生。

一种驾驶者注意力监测装置，包括

处理器，

摄像头，进行图像的采集；

报警器，通过所述处理器控制报警器的工作。

进一步的，还包括

控制输入器，控制装置的启闭、功能的暂停以及初始值的修改；

通讯器，用于数据的交互。

一种驾驶者注意力监测系统，包括

车载端，所述车载端包括上述的驾驶者注意力监测装置；

云端，获取驾驶者注意力监测装置上的视频/图像信息；以及

管理端，对云端进行实时监控。

相较于现有技术的解决方案，本发明的优点在于：

软硬件集成的非介入式车载端，可直接将摄像头安装于车辆仪表盘上，而不需破坏原车辆任何装置，适用于任何方向盘式机动车；

利用云端实现了驾驶者驾驶过程中的视频上传(直播)，有助于管理端的管理人员集中监督；

利用控制输入器，实现了以控制输入器启动或中止驾驶者注意力监测装置方式，本发明可匹配任何驾驶者(通过控制输入器重启驾驶者注意力监测装置，使得装置重新进行循环)，同时，更换驾驶者时也不会产生报警，提高驾乘舒适性。

通过对面部图像进行预处理后再进行人脸检测，若无人脸，则记录该图像的原始图像；若未采集到驾驶者的面部图像或者瞳孔的位置超过最大活动范围，同时记录图像的原始图像；利用证据记录步骤实现了注意力不集中时现场证据的保存，具有不可抵赖性。

实施例一

参照图1，一种驾驶者注意力监测方法，包括以下步骤：

S1、对驾驶者正常驾驶状态下的面部图像进行采样20张，每张间隔10ms；

S11、对面部图像进行面部识别包括：

S111、将面部图像进行左右翻转；

S112、将翻转后的面部图像进行黑白处理并储存；

S113、将处理后的面部图像进行人脸检测，对面部图像进行预处理后再进行人脸检测，若无人脸，则记录该图像的原始图像；

若有，则在检测出的所有人脸中，依次比较人脸所占面积，并选择面积最大的人脸的为驾驶者的面部区域；

S114、选择驾驶者的面部区域，对面部图像进行预处理后再进行人脸检测，使用以C++开源库dlib提供的人脸检测器，通过图像的Hog特征进行人脸识别；标识出图像中所有人脸在图像中所处的位置、所占面积等；若无人脸，则记录该图像的原始图像；若有，则在检测出的所有人脸中，依次比较人脸所占面积，并选择面积最大的人脸的为驾驶者的面部区域；确定左右瞳孔相应的特征点；

S115、使用C++开源库dlib提供的特征预测器，并以人脸68点特征库为模型库，预测上一步面积最大的(即驾驶者的)人脸的68个特征点；本步骤所用模型库，可依次标识出每个人脸正面包括双眼、鼻子、嘴巴、下巴等部位在内的特征点；68个特征点编号如附图4所示；取编号为37、40的特征点作为左眼瞳孔所在范围矩形的两个对角，取编号为43、46的特征点作为右眼瞳孔所在范围矩形的两个对角，以分别标识左右眼瞳孔在图像中所处的区域；

S12、对所有20张黑白图像依次进行上述计算后，将每张图像中编号为37、40、43、46的特征点的坐标存入内存，供后续步骤使用；分别将对编号为37、40、43、46的特征点的坐标取平均值，确定上述特征点的唯一坐标；

S13、将37、40号唯一坐标点设定为左眼瞳孔基准范围的两个对角点，将43、46号唯一坐标点设定为右眼瞳孔基准范围的两个对角点，分别向外围扩大9倍；估算出正常驾驶状态下左右眼瞳孔瞳孔基准范围的边界；

以左眼为例，假定两个所述对角点为左上角顶点为P1，右下角顶点为P2；

通过左上角顶点P1和右下角顶点P2确定一个四边均平行于面部图像边沿的矩形为瞳孔基准范围；所述瞳孔的瞳孔基准范围计算过程为：

瞳孔基准范围宽＝P2的x轴坐标-P1的x轴坐标；

瞳孔基准范围高＝P2的y轴坐标-P1的y轴坐标；

同时将两个所述对角点向外围扩大9倍，获得瞳孔的最大活动范围，假定两个所述对角点为左上角顶点为A1，右下角顶点为A2；通过左上角顶点A1和右下角顶点A2确定一个四边均平行于面部图像边沿的矩形为最大活动范围。

所述最大活动范围计算过程为：

A1点x轴坐标＝瞳孔基准范围中心点x轴坐标-[瞳孔基准范围宽/2]×9；

A1点y轴坐标＝瞳孔基准范围中心点y轴坐标-[瞳孔基准范围高/2]×9；

A2点x轴坐标＝瞳孔基准范围中心点x轴坐标+[瞳孔基准范围宽/2]×9；

A2点y轴坐标＝瞳孔基准范围中心点y轴坐标+[瞳孔基准范围高/2]×9；

S2、实时采集驾驶者的面部图像；

S21、对面部图像进行面部识别包括：

S211、将面部图像进行左右翻转；

S212、将翻转后的面部图像进行黑白处理并储存；

S213、将处理后的面部图像进行人脸检测，对面部图像进行预处理后再进行人脸检测，若无人脸，记录该图像的原始图像；

S214、选择驾驶者的面部区域，对面部图像进行预处理后再进行人脸检测，使用以C++开源库dlib提供的人脸检测器，通过图像的Hog特征进行人脸识别；标识出图像中所有人脸在图像中所处的位置、所占面积等；若无人脸，则记录该图像的原始图像；若有，则在检测出的所有人脸中，依次比较人脸所占面积，并选择面积最大的人脸的为驾驶者的面部区域；确定左右瞳孔相应的特征点；

S215、使用C++开源库dlib提供的特征预测器，并以人脸68点特征库为模型库，预测上一步面积最大的(即驾驶者的)人脸的68个特征点；本步骤所用模型库，可依次标识出每个人脸正面包括双眼、鼻子、嘴巴、下巴等部位在内的特征点；68个特征点编号如附图4所示；取编号为37、40的特征点作为左眼瞳孔所在范围矩形的两个对角，取编号为43、46的特征点作为右眼瞳孔所在范围矩形的两个对角，以分别标识左右眼在图像中所处的位置；

S22、通过面部识别选择瞳孔的位置并与最大活动范围进行比较产生比较值；

S221、其中比较过程包括：

S223、产生比较值的过程包括：

若未采集到驾驶者的面部图像或者瞳孔的位置超过最大活动范围，则产生1的比较值，同时记录图像的原始图像；

S3、获取比较值，将比较值与初始值相加产生结果值，所述初始值为0，所述结果值取值范围为0至30。通过结果值与临界值进行比较，所述临界值为15，若结果值大于临界值，则报警，若否，则返回S2。

例如：

第一次判定瞳孔的位置超过最大活动范围，产生1的比较值，将比较值(1)与初始值(0)相加产生结果值(1)，取值(1)；并将结果值(1)作为下一次判定的初始值，此时初始值为(1)，即第二次初始值(1)。

第二次判定瞳孔的位置未超过最大活动范围，产生-3的比较值，将比较值(-3)与初始值(1)相加产生结果值(-2)，取值(0)；并将结果值(0)作为下一次判定的初始值，此时初始值为(0)，即第三次初始值(0)。

依次循环。

通过将临界值设置为15时触发报警，因为瞳孔位置实时监测的处理速度为0.15秒/帧，15帧的处理时间约2秒，即当视线偏离持续时间超过2秒则认为注意力分散，否则判别为注意力集中；也可以根据2秒的判定值重新设置临界值。

实施例二

参照图2，一种驾驶者注意力监测装置，包括

处理器，

摄像头，进行图像的采集；

非易失性存储器、存储有可在处理器上运行的程序，所述处理器执行所述程序时实现实施例一所述的驾驶者注意力监测方法；

报警器，通过所述处理器控制报警器的工作；

通讯器，用于数据的交互。

其中

所述控制输入器为按键输入模块，能够实时检测按键所连接的通用输入输出(GPIO)端口的中断信号，并以消息方式通知处理器，由处理器进行控制装置的启闭、功能的暂停以及初始值的修改；

所述处理器为核心处理模块，该模块包括有采样、计算瞳孔可活动边界、瞳孔实时追踪等子模块；同时，该模块还根据实时监测结果触发报警器的报警，并将需要进行记录面部图像存入非易失性存储器内使之持久化，并备查；另外，该模块还是视频流推送模块中视频流的来源；

所述报警器为声光报警器，所述声光报警器包括灯光驱动模块和音频播放模块，所述灯光驱动模块根据核心处理模块的指令驱动声光报警器的光的部分进行闪烁，以提示驾驶者；所述音频播放模块根据核心处理模块的指令驱动声光报警器的声的部分播放报警音频文件，以提示驾驶者。

进一步的

所述核心处理模块以基于RK3399芯片的处理系统为核心，通过USB/MIPI、通用输入输出(GPIO)接口、音频接口分别连接摄像头、按键输入模块以及声光报警器；所述声光报警器包括LED报警装置和声音报警装置；

摄像头的输出端通过USB或MIPI接口连接处理系统。

按键输入装置为两个可自动复位的按键，按键物理连接处理系统的通用输入输出(GPIO)接口，所连接的端口为输入模式；

LED报警装置连接核心处理模块的GPIO接口，所连接的端口为输出模式；

声音报警装置连接核心处理模块的音频口。

实施例三

参照图3，一种驾驶者注意力监测系统，包括

车载端，所述车载端包括实施例二的驾驶者注意力监测装置，所述驾驶者注意力监测装置的摄像头将记录的图像传输至处理器内，进处理器处理的视频帧，经FFMPEG封装后通过通讯器向云端直播服务器以RTMP流的方式推送视频流；

云端，获取驾驶者注意力监测装置上的视频信息；以及

管理端，对云端进行实时监控；

其中

车载端节点通过RTMP协议将视频流推送至云端直播服务器。

管理端通过支持RTMP协议的播放器从播服务器拉取视频流，实现实时监控。个人电脑、手机、平板电脑等平台，均可播放，或者通过播放器进行播放。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种驾驶者注意力监测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的驾驶者注意力监测方法，其特征在于，所述面部识别包括：

S111、将面部图像进行左右翻转；

S112、将翻转后的面部图像进行灰度或者黑白处理；

3.根据权利要求2所述的驾驶者注意力监测方法，其特征在于，所述“通过面部识别获得瞳孔的最大活动范围”包括：

选择瞳孔的特征点中两个对角点，获得瞳孔的瞳孔基准范围，假定两个所述对角点为左上角顶点为P1，右下角顶点为P2；

所述瞳孔的瞳孔基准范围计算过程为：

瞳孔基准范围宽＝P2的x轴坐标-P1的x轴坐标；

瞳孔基准范围高＝P2的y轴坐标-P1的y轴坐标；

两个所述对角点向外围扩大z倍，获得瞳孔的最大活动范围，假定两个所述对角点为左上角顶点为A1，右下角顶点为A2；所述最大活动范围计算过程为：

通过左上角顶点A1和右下角顶点A2确定一个矩形为最大活动范围。

4.根据权利要求3所述的驾驶者注意力监测方法，其特征在于，所述z为9。

5.根据权利要求3所述的驾驶者注意力监测方法，其特征在于，所述“比较产生比较值”包括：

6.根据权利要求5所述的驾驶者注意力监测方法，其特征在于，所述“比较产生比较值”的“比较”包括：

7.根据权利要求2所述的驾驶者注意力监测方法，其特征在于，所述“人脸检测”包括

若有，则在检测出的所有人脸中，依次比较人脸所占面积，选择面积最大的人脸。

8.一种驾驶者注意力监测装置，其特征在于，包括

处理器，

摄像头，进行图像的采集；

存储器、存储有可在处理器上运行的程序，所述处理器执行所述程序时实现权利要求1-7任意一项所述的驾驶者注意力监测方法；以及

报警器，通过所述处理器控制报警器的工作。

9.根据权利要求8所述的驾驶者注意力监测装置，其特征在于，还包括

通讯器，用于数据的交互。

10.一种驾驶者注意力监测系统，其特征在于，包括

车载端，所述车载端包括权利要求8-9任意一项所述的驾驶者注意力监测装置；

云端，获取驾驶者注意力监测装置上的视频/图像信息；以及

管理端，对云端进行实时监控。