CN107194381A - 基于Kinect的驾驶员状态监测系统 - Google Patents

Abstract

本发明请求保护一种基于Kinect的驾驶员状态监测系统，系统包括：面部特征信息采集模块、信息处理模块、多特征信息融合模块、报警模块、数据库存储模块。利用Kinect提供的红外摄像头和彩色摄像头机人脸识别模块获取面部特征信息，对驾驶员面部表情、嘴部、眼部、头部等特征进行监测，联合图像处理技术对Kinect获取的数据进行预处理，并通过融合各种特征信息，综合判断驾驶员的状态，当监测到驾驶员状态异常时，报警模块进行实时地报警，并将驾驶员的状态信息存储到本地数据库中，以供历史数据的查询，同时通过历史数据归纳出驾驶员的驾驶习惯，提前做出预警。能有效地提高白天尤其是夜晚的驾驶员状态监测的准确率。

Description

基于Kinect的驾驶员状态监测系统

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于Kinect的驾驶员状态监测系统。

背景技术

随着交通基础设施的完善，刺激我国机动车数量的迅猛增长。交通安全问题已经成为当今社会亟待解决的一大难题。据调查研究表明:交通事故的起因85％是由驾驶员自身造成的。因此，为降低交通事故，保障驾驶安全，智能化监测车辆行驶过程中驾驶员的状态，实时的对驾驶员驾驶过程中因疲劳驾驶、注意力不集中等驾驶状态进行预警是很有必要的。

目前，针对驾驶员状态的监测技术，主要表现在以下几个方面：

第一类，基于驾驶员生理信号的检测方法，主要是采用脑电信号检测和心电信号检测获取驾驶员的状态，其不足之处在于驾驶员需要佩戴各种仪器，在实际应用中会对驾驶员操作造成干扰难以得到推广。

第二类，基于驾驶员疲劳状态的监测，其不足之处在于监测方式单一，这种单一检测很难体现出驾驶员驾驶状态的复杂性，缺乏多种特征信息的融合处理，监测的准确性不高。

本发明针对现有的驾驶员状态监测技术的不足，利用微软Kinect的人脸识别技术提出了基于Kinect的驾驶员状态监测系统，通过对驾驶员驾驶过程中的面部表情识别，眼部状态，嘴部状态，头部姿态等状态进行联合检测，然后采用模糊评价和D-S证据理论对多种驾驶员状态特征进行信息的融合，进一步对驾驶员的状态进行评估，提高驾驶员状态的识别准确度，并进行实时预警，从而达到预防交通事故的作用。

发明内容

本发明的目的在于解决现有技术中的不足，提出一种基于Kinect的驾驶员状态监测系统，系统包括：面部特征信息采集模块、信息处理模块、多特征信息融合模块、报警模块、数据库存储模块。所述的面部特征信采集模块的输出端与信息处理模块的输入端进行通过数据线连接，多特征信息融合模块的输出端与报警模块的输入端通过数据线连接。面部特征采集模块用于获取驾驶员面部特征、眼部状态、嘴部状态、头部状态信息；信息处理模块用于对采集的数据进行处理，获取表情、疲劳的参数；多特征信息处理模块用于对表情、疲劳参数进行模糊处理，对驾驶员状态进行综合评估，如监测到状态不好则向报警模块发送相应的状态异常信号；报警模块用于在接收到异常信号后进行报警；数据存储模块用于对驾驶员的状态信息进行存储。

本发明实现上述创新的方案是：利用Kinect提供的红外图像及人脸识别模块获取驾驶员面部特征点信息，对驾驶员面部表情、嘴部、眼部、头部等特征进行监测，通过Kinect获取的红外图像数据的预处理，并通过融合各种特征信息，综合判断驾驶员的状态，提高白天尤其是夜晚的驾驶员状态监测的准确率。面部表情包括高兴、惊讶、恐惧、悲伤、愤怒、厌恶。

本发明提出的技术方案采用Kinect传感器对驾驶员进行检测，免去了驾驶员佩戴各种仪器带来的不便，只需将Kinect传感器置于驾驶员的前方就能很便捷对驾驶员进行监测，并且Kinect提供的人脸识别模块对人脸定位效率很高。本发明提出的技术方案采用的Kinect传感器带有彩色摄像头和红外摄像头，可以用于白天与夜间的监测，有效的解决了夜间监测不准确的问题。Kinect传感器提供的人脸识别SDK可以用于驾驶员的面部表情识别(高兴、惊讶、恐惧、悲伤、愤怒、厌恶)，结合疲劳状态(眼部、嘴部、头部)可以综合监测行车过程中驾驶员不专心、疲劳驾驶等问题。本发明提出的技术方案采用D-S多特征信息融合技术通过对驾驶员不专心、疲劳等多种特征进行信息融合，提高了驾驶员异常状态检测的准确性。

附图说明

图1是人脸的3D面部特征信息图

图2是发明基于Kinect的驾驶员状态监测系统总体工作流程图

具体实施方式

本发明用于提供一种基于Kinect的驾驶员状态检测系统，为了使本发明的目的、技术方案及效果更佳清楚、明确，下面现结合附图，对本发明的具体实施方式进行详细描述，但应当理解此处所描述的具体实施方式仅仅用于解释本发明，并不用于限定本发明。

本实例公开了一种基于Kinect的驾驶员状态检测系统，具体实现步骤如下：

1、当光线强时，Kinect传感器启动彩色摄像机，获取其周围环境的彩色图像。同时快速地进行骨骼监测，高效地对人脸进行定位，获取驾驶员脸部轮廓数据、嘴部张合状态数据、头部姿态角度数据、眼部睁闭眼状态数据。当光线弱时，Kinect传感器启动红外摄像机，对周围环境进行监测，并获取相关数据。

2、信息处理模块将获取的数据进行分析，将数据与处理模块预置的阈值进行比对，然后进行表情的识别和疲劳的识别。头部信息处理分析：获取1分钟内驾驶员是否长时间低头，可以获取头部的pitch俯仰角，角度在-90°到90°之间，我们可以预置当角度小于-15°且持续一段时间3s则判定是长时间低头；嘴部信息处理分析：通过面部运动单元获取嘴部参数pAU,当pAU[1]＝1时嘴部完全张开，pAU[1]＝0时嘴部闭合。我们可以预置当pAU[1]大于0.5时，嘴部在长大，持续一段时间3s则判定打了哈欠；眼部信息处理分析：采用Percloss算法标准，统计1分钟内彩色/红外图像的总帧数n0,对每一帧进行分析，统计有效的帧数n1,闭眼的帧数n2，那么Percloss值为n2/n1。可以预置当Percloss值大于0.7时，就处于疲劳状态；面部表情信息处理分析：获取驾驶员面部特征，根据面部运动编码单元，进行运动单元组合，就可以实现表情的识别。

3、多特征信息融合模块中，首先将运用模糊评价方法对信息进行初步的融合，以模糊评价结果作为D-S证据理论的基本概率赋值，并利用D-S证据理论对其进行决策融合得出最终的决策结果。驾驶员评估等级为：{好，一般，较差，差}。

4、报警模块在收到信息融合输出的异常信号后，报警装置进行实时的报警。

5、数据库存储模块用于对驾驶员的状态信息进行本地存储，以供日后进行信息的查询，同时对历史数据的分析可以归纳出驾驶员的驾驶习惯和规律，可以事先给驾驶员警告。

Claims (6)

1.一种基于Kinect的驾驶员状态监测系统其特征在于，包括：面部特征信息采集模块、信息处理模块、多特征信息融合模块、报警模块、数据库存储模块。利用Kinect提供的红外摄像头和彩色摄像头机人脸识别模块获取面部特征信息，对驾驶员面部表情、嘴部、眼部、头部等特征进行监测，联合图像处理技术对Kinect获取的数据进行预处理，并通过融合各种特征信息，综合判断驾驶员的状态，当监测到驾驶员状态异常时，报警模块进行实时地报警，并将驾驶员的状态信息存储到本地数据库中，以供历史数据的查询，同时通过历史数据归纳出驾驶员的驾驶习惯，提前做出预警。

2.根据权利要求1所述一种基于Kinect的驾驶员状态监测系统，其特征在于所述的面部特征信息采集模块的输出端与信息处理模块的输入端通过数据线连接，用于采集人脸的121个3D特征点信息。

3.根据权利要求1所述一种基于Kinect的驾驶员状态监测系统，其特征在于所述的信息处理模块，用于对采集的数据进行处理，识别出驾驶员行车过程中的表情状态和眼部、嘴部、头部状态参数。

4.根据权利要求1所述一种基于Kinect的驾驶员状态监测系统，其特征在于所述的多特征信息融合处理模块，采用的模糊评价和D-S证据理论进行信息的融合，先用模糊评价方法进行初步信息融合，再用D-S证据理论进行最终的决策分类。

5.根据权利要求1所述的一种基于Kinect的驾驶员状态监测系统，

其特征在于所述的报警模块用于接受异常信息后，驱动报警装置进行语音报警。

6.根据权利要求1所述的一种基于Kinect的驾驶员状态监测系统，其特征在于所述的数据存储模块用于对驾驶员的面部、眼部、嘴部、头部等状态信息进行本地存储。