CN1889136A - 一种疲劳驾驶预警系统的装置 - Google Patents

Abstract

一种疲劳驾驶预警系统装置，包括安装有VC++平台和WINDOWS操作系统的计算机、摄像头、报警器，计算机按帧读取摄像头的视频图象数据并存入存储器，同时复制一份，其中一份送至显示器用于图象显示，另一份进行灰度直方图均衡转换为256色的灰度图；然后利用阈值处理灰度图，使图像上只剩下类似眼睛象素数大小的黑色区域；定位双眼，在系统连续两次都识别出双眼后，系统才在原始图像的相同位置上画上矩形黑框，作为结果显示出来；最后在没有识别出眼睛的情况下发出声音报警，此时计算机输出报警信号到报警器。系统在Windows系统的VC++平台下，完成了在复杂背景下对人眼的定位与眼帘张开闭合的判断。其成本低，体积小，特别是识别成功率高。

Description

一种疲劳驾驶预警系统的装置

技术领域

本发明涉及一种对行驶状态下的驾驶员进行自动识别疲劳状况并发出警报的疲劳驾驶预警系统的装置。

背景技术

疲劳驾驶是马路杀手，虽然因为疲劳驾驶所发生的交通事故仅占全部交通事故的20％，但是在特大交通事故中的比例却达到了40％以上。重大交通事故必然导致重大的财产损失及人员伤亡。如何保证行车安全是现代交通管理的一个重要问题，虽然交通警察已经能够利用酒精检测仪等查出司机是不是喝了酒，但对于疲劳驾驶的司机却还没有什么好办法。利用计算机系统进行对人眼的识别研究，是当前计算机图形功能识别的前沿科学。人脸识别作为目标识别的一个特例，涉及图像处理，模式识别，神经网络以及神经科学等诸多科学，在过去的十几年里得到了广泛的重视与发展。常用的人眼定位方法中，大多都是基于人脸检测，例如模板匹配和hough变换。目前，国内外研究人脸识别的方法多种多样，通常面对静态图像的人脸自动模式识别技术分为三大类：基于几何特征的识别方法、基于代数特征的识别方法和基于连接机制的识别方法。应用神经网络的识别方式需要大量的脸部图库，应用自学习的方法进行识别，它对脸部图库的要求比较高。据英国医学杂志报道，研究人员发现，一个在17～19小时内没睡眠的世人，其行为能力与一个血液中酒精浓度为0.05％的醉酒司机相当。这就是为那些经常加班而睡眠不足的白领司机、长途货车司机和出租车司机敲响了警钟。据统计，在纽约6.8起无外界因素引起的严重交通事故中，约10％与疲劳驾驶有关，大约1/4的司机曾有迷糊驾车的经历！在我国每年发生的特大交通事故中，驾驶员疲劳驾驶也是主要的肇事原因。驾驶车辆是一种非常耗费体力与脑力的劳动。驾车时，感觉器官及运动器官始终处于紧张状态，驾驶员需要付出较大的生理能量和心理能量。长时间作业会导致生理和心理上的失调，从而严重影响到驾驶汽车的安全性。有关专家说，造成司机疲劳有三方面的直接原因，第一是长期脑紧张，开车时大脑自始至终处于高度紧张状态，很容易导致头昏脑涨。第二是驾车动作的单一性，我们都有这种体会，不管干什么事，只要出现多种姿势、多种频率或多种节奏就不会感觉累，但司机不行，在开车时不仅姿势始终是同一种，连注意力也要始终绷得紧紧的，特别是在高速公路上，路平、没弯、车少，一脚油门踩到底，没有任何可引起兴奋的东西，这种情况下最容易引起大脑疲劳，如果遇到情况根本反应不过来。第三就是开夜车，受昼夜时差限制，人在灯光下总会有一种昏昏欲睡的感觉，再加上晚上车少路宽，或司机白天没得到很好的休息，产生疲劳是很自然的事。另外，造成疲劳还有三种间接原因，即睡眠不足、心情不好、心理承受能力较弱，同时还往往与气候、交通条件和道路条件有关。那么，怎样防范司机疲劳驾驶成了一个重要课题。

日本电子航法研究所等单位最近开发出通过分析声音瞬间判断司机疲劳程度的技术，研究人员利用数学方法分析声音紊乱程度，调查人的紧张、疲劳和注意力不集中等状态，借助声音的波动和频率数据，4至5秒内即可得出结果。声音的波动可以反映人的精神状态，比如研究人员让人背着行李行走时说话，通过声音可判断人体疲劳和思维能力下降程度。通过声音波动的平均值来分析精神状态需要5分钟时间，而且如果被测者说话时间过短就无法测出结果，因此很不实用。

日本丰田公司研制的疲劳报警装置，只要驾驶员在操纵转向盘时有一点迟钝，或脉搏有一点异常变化，该装置就能测出这些反应，并发出警告，令座垫振动或自动刹车。日本东京大学研制出的疲劳测试器，可戴在司机的手腕上。该测试器内部装有一小型氧气电池电极，能测量司机汗液中的乳酸、氨和酒精含量，然后通过小型无线电发射器把数据传送到研究中心。研究中心通过电脑分析，判定司机的疲劳程度，及时向司机发出警告，避免交通事故的发生。

纵观上述这些已公开的解决或监视驾车疲劳的技术方案，都存在一定的的局限性，要么是结果不够可靠，要么是由于技术复杂、需要被测人员主动配合而不够实用。

发明内容

本发明的目的：旨在提供一种利用视频图像处理技术对驾驶员的眼睛进行人眼定位并对眼帘的张开与闭合进行判断，在必要的情况下做出相应动作的疲劳驾驶预警系统。它能够有效遏制由驾驶员疲劳驾驶导致的汽车失控、翻车、撞车等重大恶性事故的发生，大大提高人员及车辆的安全性。

一种疲劳驾驶预警系统，包括安装有VC++平台和WINDOWS操作系统的计算机、摄像头、报警器，其特征在于它的工作步骤是：

第一步，计算机按帧读取摄像头的视频图像数据并存入存储器，同时复制一份，其中一份送至显示器用于图像显示，另一份作为软件平台的待处理24位真彩色图像；

第二步，对待处理图像进行灰度直方图均衡，即将出现频率较低的灰度级并入邻近的灰度级中，使待处理24位真彩色图像转换为256色的灰度图；

第三步，利用阈值处理灰度图；首先利用可调窗口阈值将大部分背景及噪声点去掉并将图像二值化，使灰度图像上只剩下类似眼睛象素块大小的黑色区域以及头发、衣服形成的大块黑色区域；再利用象素面积阈值去掉眼睛象素范围外的黑色区域，即循环扫描图像每一个象素点的形式，计算每个黑色区域象素块的象素大小，眼睛黑色区域所包含的象素数应在一定的范围内，根据初步估计设置的可调眼睛象素数，去掉比设定值大的黑色区域，使图像上只剩下类似眼睛象素数大小的黑色区域；

第四步，定位双眼；人眼在二值位图上的形状类似于椭圆，其外接矩形应为长方形；判断原则是：与任意一个外接长方形连接或靠得非常近的黑色区域不是眼睛象素块；在双眼下方一定距离内不能有其他象素块；双眼象素块的内侧距离应大于一定的值；双眼象素块的外侧距离应小于一定值；考虑到在图像上人的面部可能有一定的倾斜，双眼象素块不会在同一水平线上，但双眼象素块的顶部应不超过一定的值；为了避免误识别，在系统连续两次都识别出双眼后，系统才在原始图像的相同位置上画上矩形黑框，作为结果显示出来；

第五步，报警输出；在没有识别出眼睛的情况下发出声音报警，此时计算机输出报警信号到报警器。

它首先将摄像头动态提取到的一帧图像利用灰度直方图进行自动灰度均衡，将人的脸部与从背景中凸现出来，再利用可调半窗口域值将人脸从背景中提取出来，根据估算的人眼象素块大小，去掉非人眼区域，然后结合人眼的二维几何关系自动确定人的双眼。如果没有检测到双眼，系统声音提示报警。由于采用了摄像头，结合计算机及预警分析软件，不需要驾驶员的主动配合，具有可靠性高、分析效率高和结果准确的优点。

附图说明

图1为本发明工作流程示意图；

图2为本发明的实际使用效果图。

具体实施方式

如图1所示，一种疲劳驾驶预警系统的装置，包括安装有VC++平台和WINDOWS操作系统的计算机、摄像头、报警器，其特征在于它的工作步骤是：

第一步，计算机按帧读取摄像头的视频图像数据并存入存储器，同时复制一份，其中一份送至显示器用于图像显示，另一份作为软件平台的待处理24位真彩色图像；

第二步，对待处理图像进行灰度直方图均衡，即将出现频率较低的灰度级并入邻近的灰度级中，使待处理24位真彩色图像转换为256色的灰度图；

第三步，利用阈值处理灰度图；首先利用可调窗口阈值将大部分背景及噪声点去掉并将图像二值化，使灰度图像上只剩下类似眼睛象素块大小的黑色区域以及头发、衣服形成的大块黑色区域；再利用象素面积阈值去掉眼睛象素范围外的黑色区域，即循环扫描图像每一个象素点的形式，计算每个黑色区域象素块的象素大小，眼睛黑色区域所包含的象素数应在一定的范围内，根据初步估计设置的可调眼睛象素数，去掉比设定值大的黑色区域，使图像上只剩下类似眼睛象素数大小的黑色区域；

第四步，定位双眼；人眼在二值位图上的形状类似于椭圆，其外接矩形应为长方形；判断原则是：与任意一个外接长方形连接或靠得非常近的黑色区域不是眼睛象素块；在双眼下方一定距离内不能有其他象素块；双眼象素块的内侧距离应大于一定的值；双眼象素块的外侧距离应小于一定值；考虑到在图像上人的面部可能有一定的倾斜，双眼象素块不会在同一水平线上，但双眼象素块的顶部应不超过一定的值；为了避免误识别，在系统连续两次都识别出双眼后，系统才在原始图像的相同位置上画上矩形黑框，作为结果显示出来；

第五步，报警输出；在没有识别出眼睛的情况下发出声音报警，此时计算机输出报警信号到报警器。

在利用象素面积阈值去掉眼睛象素范围外的黑色区域后，没有类似眼睛的黑色区域存在。

在根据人眼的二维关系定位双眼的时候去掉了所有的黑色区域。

系统设置了连续出现20次，也就是连续100帧没有识别出眼睛，系统报警。

该系统是基于VC++平台开发的。基本方法是：利用VC++与widows系统沟通，控制端口上的摄像头，将摄像头提取到的图像复制一份。一份用来显示，另一份用来处理判断。摄像头提取到的原始图像是24位真彩色的。为了方便进行图像处理，将图像转换为256色的灰度图。通过阈值化，利用眼睛的二维关系，初步锁定眼睛的位置，用黑框在原始图像上显示出来。再利用眼睛象素的大小，判断眼睛的张开与闭合，如果眼睛闭上，原始图像上将没有黑框显示，程序发出声音并输出开关量进行报警。

基本设计与处理方法：

图像的获得与预处理：该系统利用Windows操作系统与摄像头驱动程序的二次开发软件建立连接，控制USB摄像头。设置摄像头将图像以帧的形式保存在Windows系统的存储器中，为了适应处理速度及提高原始图像显示的流畅性，本系统每5帧图像处理一次。保存在Windows内存内的图像是24位真彩色图像。数字图像在计算机上以位图(bitmap)的形式存在，位图是一个矩形点阵，其中每一点称为像素(pixel)，像素是数字图像中的基本单位。一幅m×n大小的图像，是由m×n个明暗度不等的像素组成的。数字图像中各个像素所具有的明暗程度由灰度值(gray level)所标识。一般将白色的灰度值定义为255，黑色灰度值定义为0，而由黑到白之间的明暗度均匀地划分为256个等级。对于黑白图像，每个像素用一个字节数据来表示，而在彩色图像中，每个像素需用三个字节数据来表述。彩色图像可以分解成红(R)、绿(G)、蓝(B)三个单色图像，任何一种颜色都可以由这三种颜色混合构成。在图像处理中，彩色图像的处理通常是通过对其三个单色图像分别处理而得到的。为了方便图像处理，将图像数据复制一份进行24位真彩色转256色灰度图处理，原始图像用来显示效果。这里的图像预处理也就是灰度直方图均衡，灰度直方图均衡的目的是抑制背景而突出面部特征。均衡化修正的基本思想是将出现频数较少的灰度级并入邻近的灰度级中，从而减少图像的灰度等级，增加其对比度。

利用阈值处理灰度图：首先利用可调窗口阈值将大部分背景及噪声点去掉并将图像二值化，这时灰度图像上就只剩下类似眼睛象素块大小的黑色区域以及头发、衣服形成的大块黑色区域。再利用象素面积阈值去掉眼睛象素范围外的黑色区域：循环扫描图像每一个象素点的形式，计算每个黑色区域象素块的象素大小。眼睛黑色区域所包含的象素数应在一定的范围内，根据初步估计设置的可调眼睛象素数，去掉比设定值大的黑色区域。实验结果是，图像上只剩下类似眼睛象素数大小的黑色区域。

根据人眼的二维关系定位双眼：人眼在二值位图上的形状类似于椭圆，其外接矩形应为长方形；与任意一个外接长方形连接或靠得非常近的黑色区域不是眼睛象素块；在双眼下方一定距离内不能有其他象素块；双眼象素块的内侧距离应大于一定的值；双眼象素块的外侧距离应小于一定值；考虑到在图像上人的面部可能有一定的倾斜，双眼象素块不会在同一水平线上，但双眼象素块的顶部应不超过一定的值。为了避免误识别，在系统连续两次都识别出双眼后，系统才在原始图像的相同位置上画上矩形黑框，作为结果显示出来。

声音报警：系统要求在没有识别出眼睛的情况下发出声音报警。这里，没有识别出眼睛，有两种情况：(1)在利用象素面积阈值去掉眼睛象素范围外的黑色区域后，没有类似眼睛的黑色区域存在。(2)在根据人眼的二维关系定位双眼的时候去掉了所有的黑色区域。这两种情况都需要声音提示报警。由于系统设置的是每秒30帧，每5帧处理一次，故有可能在第一个声音报警还没有完成的时候，下一个声音报警又出来了。为了避免这种情况，系统设置了连续出现20次，也就是连续100帧没有识别出眼睛，系统才报警一次。

用普通USB摄像头在不同环境，不同光照条件下经过多次实验。光照有自然光，日光灯光以及白炽灯光，每帧原始图像图像的大小为320×240像素，24位真彩色。要求人脸的倾斜角度不能超过30度，人眼部分不能被其他物体挡住。根据不同环境下的多次实验得出的结果看出，该系统能够很大程度上将双眼准确定位，并能分辨出眼睛的张开与闭合，对光照的要求不像其他的人眼识别系统那么严格，能够很好的适应各个不同的背景。

系统在Windows系统的VC++平台下，完成了在复杂背景下对人眼的定位与眼帘张开闭合的判断。其成本低，体积小，特别是识别成功率高。

Claims (1)

1、一种疲劳驾驶预警系统的装置，包括安装有VC++平台和WINDOWS操作系统的计算机、摄像头、报警器，其特征在于它的工作步骤是：

第一步，计算机按帧读取摄像头的视频图像数据并存入存储器，同时复制一份，其中一份送至显示器用于图像显示，另一份作为软件平台的待处理24位真彩色图像；

第二步，对待处理图像进行灰度直方图均衡，即将出现频率较低的灰度级并入邻近的灰度级中，使待处理24位真彩色图像转换为256色的灰度图；

第三步，利用阈值处理灰度图；首先利用可调窗口阈值将大部分背景及噪声点去掉并将图像二值化，使灰度图像上只剩下类似眼睛象素块大小的黑色区域以及头发、衣服形成的大块黑色区域；再利用象素面积阈值去掉眼睛象素范围外的黑色区域，即循环扫描图像每一个象素点的形式，计算每个黑色区域象素块的象素大小，眼睛黑色区域所包含的象素数应在一定的范围内，根据初步估计设置的可调眼睛象素数，去掉比设定值大的黑色区域，使图像上只剩下类似眼睛象素数大小的黑色区域；

第四步，定位双眼；人眼在二值位图上的形状类似于椭圆，其外接矩形应为长方形；判断原则是：与任意一个外接长方形连接或靠得非常近的黑色区域不是眼睛象素块；在双眼下方一定距离内不能有其他象素块；双眼象素块的内侧距离应大于一定的值；双眼象素块的外侧距离应小于一定值；考虑到在图像上人的面部可能有一定的倾斜，双眼象素块不会在同一水平线上，但双眼象素块的顶部应不超过一定的值；为了避免误识别，在系统连续两次都识别出双眼后，系统才在原始图像的相同位置上画上矩形黑框，作为结果显示出来；

第五步，报警输出；在没有识别出眼睛的情况下发出声音报警，此时计算机输出报警信号到报警器。

Images