CN1275185C

CN1275185C - 驾驶员面像识别方法

Info

Publication number: CN1275185C
Application number: CN 02140825
Authority: CN
Inventors: 贺贵明; 蔡朝晖
Original assignee: Individual
Current assignee: Individual
Priority date: 2002-06-30
Filing date: 2002-06-30
Publication date: 2006-09-13
Anticipated expiration: 2022-06-30
Also published as: CN1495658A

Abstract

本发明提供一种利用驾驶员面像智能识别装置识别驾驶员面像的方法，包括以下步骤：使用车内图像传感器获取驾驶员面像；对所述图像进行图像亮度直方图规格化处理；对驾驶员的面像姿态进行规范化处理，将左右歪斜、下俯上仰、左右侧转三类姿态处理成与训练样本中的规范姿态相同；对上述经规范化处理的面像图与原人脸库中的特征向量矩阵进行处理得到特征值向量；将上述特征值向量与原人脸库中存储的不同人的样本特征值向量分别计算均方差；根据对应的均方差来识别驾驶员的身份是否合法。本发明的方法提供对驱车驾驶员的面像识别，从而识别驾驶员的身份是否合法，并给出智能报警。

Description

驾驶员面像识别方法

技术领域

本发明涉及人脸面像智能识别与报警。

背景技术

申请者在此指出，申请号为95241629.8的专利中监测汽车司机疲劳、走神的方法是靠司机以一定时间间隔给出反应来测试驾驶员是否走神，其增加了驾驶员的操作麻烦；申请号为99802989.0的专利中检测困倦的方式和处理程序与本发明中识别困倦使用的处理程序不同。驾驶员疲劳识别仅是本发明中四种智能识别之一，所以本发明与它们不同一而论，本发明更有利于所驾驶的车辆安全行驶。

发明内容

本发明提供一种利用驾驶员面像智能识别装置识别驾驶员面像的方法，所述装置包括主体中央处理器和输入输出控制部分(100)、车内图像传感器(101)、车外图像传感器(102)、手动按钮(103)、红外光源(104)、车内鸣叫器(105)、通信控制器(106)、微型扩频通信天线(107)，其特征在于所述方法包括以下步骤：使用车内图像传感器获取驾驶员面像；对所述图像进行图像亮度直方图规格化处理；对驾驶员的面像姿态进行规范化处理，将左右歪斜、下俯上仰、左右侧转三类姿态处理成与训练样本中的规范姿态相同；对上述经规范化处理的面像图与原人脸库中的特征向量矩阵进行处理得到特征值向量；将上述特征值向量与原人脸库中存储的不同人的样本特征值向量分别计算均方差；根据对应的均方差来识别驾驶员的身份是否合法；其中所述左右歪斜姿态处理包括在图像背景中事先确定一条水平参考线，以双眼瞳孔之间的连线与水平参考线的夹角a反映歪斜程度，左斜时，将面部图像整体向左平面旋转a角度，使图像所有像素在位置上按a角右下反转达到恢复；右斜时，使面部图像整体向右平面旋转a角度，使图像所有像素在位置上按a角左下反转达到恢复；所述下俯上仰姿态处理是以面部中心水平轴向上向下的面部旋转；所述左右旋转姿态处理是以颈椎为竖直轴向左侧转或向右侧转。

本发明的方法提供对驱车驾驶员的面像识别，给出四种智能报警。如果该驾驶者身份不合法，既不是车主，也不是车主认可的驾驶人员，则给出向车主、110及交通管理者的报警，对该驾驶者作为非法盗车人员予以追捕对待；如果该驾驶者发现并破坏本装置的面像摄取部件，系统也能识别并给出报警。

如果驱车驾驶员身份合法，则本发明监视和识别驾驶员的驾车行为和精神状态，如果驾车者姿势不端正，驾车精力不集中，频繁地扭身看车外或频繁侧脸与车内人员交谈或观察，会影响行车或导致事故，装置对其给出报警和提醒；如果驾驶员精神不佳、疲劳瞌睡，而车辆仍在行走，则非常危险，本发明当即高音报警以叫醒驾驶员。

本发明所用装置是基于微电脑组成，核心处理功能是由软件实现，所以具有丰富的智能识别及处理功能，这是与前述几类装置大相径庭的地方。

本发明几乎适用于所有机动车、机动船、飞机驾驶员，尤其适用于各类汽车驾驶员。本说明书以汽车驾驶为例对本发明予以说明。

附图说明

图1装置各部件及其连接图；

图2车主及其认可驾驶员面像学习记忆流程；

图3装置中央处理部件主处理流程；

图4面像知识库中有关规则附图。

优选实施例的详细说明

以下比较详细地说明本发明的功能和实现的方法。分成三大部分予以说明，第一部分说明装置的主体部件组成，第二部分说明本发明增强智能的训练学习和记忆处理功能，第三部分说明本发明的智能识别与报警处理功能。

1、装置各部件及其连接组成

如说明书附图中图1所示。100是本装置的主体，它由图像获取部件、中央处理部件、输出控制部件组成；整个装置的电源供应由车内电池提供。101为摄取车内景像和驾驶员面像的CMOS(或CCD)传感器，一般地将其正对驾驶员面部安装。102也是CMOS(或CCD)传感器，注意安装使其摄取车外景像。103为一手动按钮，装置第3、4类报警以后，驾驶员可以按动按钮以终止报警器的鸣叫发声。104为红外光源，使在黑夜行驶时可照射驾驶员，以达到识别驾驶员面像和驾车行为的目的。系统根据所传感图像自动判明当前车内照度不够时，开启该红外光源，使所拍摄驾驶员面像清楚，有利于识别；红外光源强度以不影响驾驶员的正常工作感觉为宜。105是车内报警鸣叫器，系统可以控制它在不同类报警时发出不同频率的声音，如走神报警、疲劳报警等，使驾驶员恢复集中驾车注意力。106为通信控制器，使通过GSM起到远程无线扩频收发通信作用，一方面将报警呼叫代码发送到车主、发送到公安系统110报警中心，也可以发送到本单位交通管理部门或本地区交通管理中心，使起到共同寻车和交通安全共同维护作用；另一方面接收上述各方面的回应信息，表示收到报警，可以终止报警，也可进一步传送其他联络信息。在本系统中106相当于一部移动电话，但可由程序控制自动收发代码通信。107为微型扩频通信天线，使顺利实现106的通信作用。

2、本发明的学习与记忆处理

本发明的首要功能是识别驾车者是否是车主或车主认可的驾驶人员，如不是则当作非法盗车驾驶，同时给出远程无线报警通信。所以本发明必须事先学习和记忆车主及车主认可驾驶人员的面像，同时学习关于识别他们行为的有关知识。这些预先识别和学习记忆工作拟在购车后即时进行。

本部分的处理流程如说明书附图中图2所示。

201——系统开启；在系统学习阶段装置可以离车单独使用，加上电源，系统随即开启，进入程序工作状态；如果挂车使用，则使用车内电池兼负装置电源，机动车启动，电源加载，系统即予开启。

202——进入机器学习设置状态；本发明的使用实际可分为两种状态，一是样本面像识别学习状态，二是挂车运行随机识别处理状态，这两种状态在实际运行时从流程可以看出具有雷同和某些相似的处理，但两种状态的处理目的完全不同，它们在逻辑上和使用上是完全独立的。此处进入机器学习设置状态即进入上述第一种应用状态。

203——设置本车认可驾驶人数N；本车认可驾驶员即是合法驾驶本车人员，如果是私车，则是车主和车主认可人员；如果是公车，则是管理部门指定人员。从装置的处理能力来说对这些人员的人数没有太严格的限制，但从车辆管理和使用角度出发此人数不宜太多，推荐人数N＝5。人数变动或人员换动，系统必须重新设置或增减。

204——取本车内景图像；无论驾驶员在座还是不在座，本发明每次摄取图像实际都含有本车内景图像，但是随机的且往往背景中是坐有人的；此处目的是获取无人标准内景图像，无人即车内既无驾驶员又无客人，标准即指采景方位端正、光照合适，可作为本车标准内景。本系统取此标准内景作为后续图像处理的参照图像，在驾驶员面像提取时起背景减除作用。注意在摄取内景图像前，在驾驶员座椅头部高度和位置处覆盖一块黑布。

205——处理本车内景图像；内景图像获取后本系统必须对其处理达到本系统图像的规范化要求，以消除偏光(车窗射进的强光)、灯光(发红或发黄)、暗光(光照不够)等对图像质量的影响。此处处理主要是对内景图像进行直方图规格化处理，使图像中像素亮度均值处于170-180范围，亮度均方差范围在35～55。

206——建图像库存储内景图像；此图像库即系统运行识别处理时所依据的样本图像库，所有合法驾驶人员的样本面像均存放于此，为使用方便，本车内景图像也作为样本存放于此。

207——摄取认可驾驶员图像；使车主或认可驾驶人员坐上驾驶椅，装置启动摄取他们的头肩图像。本系统为识别准确，拟对每个认可驾驶员分别建立面像模型，求取特征向量和特征值，所以拟对每个认可驾驶员摄取多幅不同俯仰、不同侧转姿势的图像，此类样本图像理论上越取多越好，但一次不可能做到很多，建议初始建库取像每人不少于10幅，系统经年使用，可以每年增加取像，使样本能反映出人的生长变化，以使系统越来越贴近主人。对所有N个人均如此取像。

208——图像背景清理；207中摄取的驾驶员图像必然含有部分车内景，它即是图像上的背景，为使下一步提取驾驶员面像快速准确，有必要对背景予以清理，即由207中摄取的图像减去206中原已存储的背景图像，留下单纯驾驶员头肩图像。

209——面像标准化处理；首先从上述驾驶员头肩图像中依据人脸色彩特征提取出驾驶员面像(上部与前额头发接界，包括眉毛在内，下部包括下巴尖，左右脸与耳朵交界)，对面像色度与灰度按直方图规格化处理，再对面像大小标称化处理，使面像像素数成为128×128。

210、211——面像计数判别；从207所示的步骤到211所示的步骤使共学习和记忆一个合法驾驶员的多幅图像，起训练样本作用的这些图像越多越好，此处至少取10幅，每取一幅同时实现208、209步骤的背景清理和标准化处理，为212步面像特征值求取作好样本准备。

212——面像特征值与特征向量求取；将单幅面像分割成双眼图像、鼻区图像、口区图像以及整体面像，对上述获取的单人多幅图像分别按K～L变换原理求出其样本图像集的协方差矩阵，求出矩阵对应的特征值和特征向量。对四块图像对应的特征向量均予以存储，留待以后识别时使用。

213——驾驶员面像知识库建立；对每个合法驾驶员的面像均可识别出一些固有特征和独有的特点，根据这些建立起相应的判断规则，有利于判断驾驶员面像和识别驾驶员身份。集合所有合法驾驶员面像的知识和规则即形成知识库。主要规则分类如下：

(1)人脸色度及形状规则

人脸色度分布范围大约是(在最大亮度为250的前提下)Cr：150±10，Cb：110±10。

由面像色度Cb、Cr分布值求取色彩变化梯度，既得到了眼、鼻、口的轮廓，也得到面像外轮廓，定义下巴尖到双眉最高点连线的距离为脸长，定义双眼外眼角之间的距离为脸宽1，鼻孔位置的脸宽为脸宽2。对每个人都记录脸长、脸宽，同时获得一个脸长与脸宽的比值，统计许多人脸的长宽比，可得出其比值分布范围在0.9～1.3之间。

(2)人脸眼、鼻、口形状规则

眼形规则：双眼外眼角距离、内眼角距离及其比值，双眼瞳孔之间的距离、左右眼分别眼长、眼高、长高比；双眼眼珠移动规则，双眼眼高闭合规则。

眉形规则：左右眉毛分别眉长、眉宽、眉间距、眉形分类(按眉毛弧度)；

鼻形规则：定义鼻形中部下端与双眼中点之间的距离为鼻长，定义鼻翼两侧轮廓之间的距离为鼻宽，鼻梁中部亮度与两侧轮廓纹理亮度之差反映鼻高。记录两个鼻孔分别宽度及鼻孔之间的距离；

口形规则：定义左右两个嘴角之间的距离为嘴长，定义上嘴唇厚度与下嘴唇厚度之和为嘴宽，描述和记录下巴的形状。

(3)面像二值化梯度规则

对(1)中面像色彩梯度进行二值化，对梯度大于阈值的点置白色，小于阈值的点置黑色，若按附图4中A的面像分块编号，则分块中白色点分布具有以下规则：

规则1：N[0]＞N[1]且N[0]＞N[3]

规则2：N[2]＞N[1]且N[2]＞N[5]

规则3：N[4]＞N[3]且N[4]＞N[5]

规则4：N[7]＞N[6]且N[7]＞N[8]

(4)面像左右歪斜规则

在图像背景中事先确定一条水平参考线，以双眼瞳孔之间的连线与水平参考线的夹角a反映歪斜程度。面像图像左右歪斜示意如附图4中B所示。

左斜规则：面部图像整体向左平面旋转a角度，使图像所有像素在位置上按a角右下反转即达到恢复。

右斜规则：面部图像整体向右平面旋转a角度，使图像所有像素在位置上按a角左下反转即达到恢复。

(5)面像俯仰规则

面像俯仰即以面部中心水平轴向上向下的面部旋转。示意图如附图4中C所示。

将面部近似看作一刚体，正常时面部竖直如1位置，上仰则面部旋转到2位置，下俯则面部旋转到3位置，俯仰角度均可用a表示。俯仰时脸宽、眼距都不变，脸长则由于投影而变短，原脸长与短脸长之比反映了俯仰程度，对应a的余弦关系。

(6)面像侧转规则

面像侧转示意图如附图4中D所示。

面像侧转即以颈椎为竖直轴向左侧转或向右侧转。面像侧转时脸长不变，脸宽及眼距则随转动程序变窄不等，变窄后的脸宽之比反映侧转角度的余弦值。人脸除鼻梁突起较高外，其他面部组织均可近似看作平面分布，在俯仰或侧转时几何尺寸的变化可按转动夹角的余弦关系进行恢复。

(7)人脸对称性规则

①左、右眉毛不对称，分别记载左、右眉毛形状特征，左右眉毛对称特征。

②左、右眼睛不对称，分别记载左、右眼睛形状特征，左右眼对称特征，双眼珠同向移动特征。

③鼻梁左、右侧及鼻孔不对称，分别记载左、右侧鼻梁鼻孔形状特征，鼻孔及鼻梁两侧对称特征。

④左半、右半嘴唇嘴角不对称，分别记载左、右侧嘴唇嘴角形状特征，嘴唇中线对称特征。

⑤左、右脸形不对称，分别记载左、右侧脸形形状特征，双脸对称特征。

⑥人脸特异标记

大痣位置

疤痕形状、位置

214、215——对人数计数判别；目的使对N个合法驾驶员均获取图像、求取特征脸，建立合法身份驾驶员面像的训练样本库，以用于第三部分中对驾车人的身份认证。

216——退出系统，此即完成第二部分训练学习的全过程，系统已可以用于实际驾车人身份识别判断。

3、系统识别报警主处理流程说明

主处理流程如说明书附图中图3所示。

301——上电启动；驾驶员开车启动时，本装置即被加载电源启动工作。

302——传感图像；即从传感器获取车内景像。

303、304——检测照度；系统从上述图像统计像素的亮度，达到检测车内照度的目的，白天照度高，黑夜照度低。

驾车人晚上开车时车内可以不要照明，但照度太低则本系统无法识别驾车人面像，所以自动开启红外光源，使获取图像清晰。

305——外部件测试；主要测试本装置图像传感器是否被破坏或无意损坏。损坏后无视频信号输入，测试结果为蓝屏。

306——外部件不正常即进入1类报警状态；驾车人如果是非法盗车，又了解车内安装了本装置，他会恶意破坏图像传感器，所以应该报警；即便传感器是无意损坏，无信号输入，装置不起作用，也值得报警，提醒车主检修。

1类报警代号1111及语音被发送到车主的手机或电话座机，本装置的电话号码也被送出，起到报警作用。

系统接着开启收信进程等候接收车主的应答，以终止报警，以免无休止地搅扰车主。系统退出，不再进行其他处理。

307——传感图像；经以上环节，发现图像传感器正常后，则重新获取图像，用于下面的驾驶员身份识别。

308——图像光照规范化处理；此处获取图像与原训练学习时获取图像其光照条件可能有差异，如不作规范化处理，可能影响识别准确性。

此处光照规范化处理主要作图像亮度直方图规格化处理，基本与步骤205中的亮度直方图规格化方法相同。

309——面像姿态规范化处理；面像姿态指人脸俯、仰、正、侧姿势，由于人是活体，这些姿势是随机变化的，所以在不同瞬间所摄取驾驶员图像其姿势是有差异的，规范化处理即将不同姿势都处理到与原训练样本姿势在同一规范下，以消除不同姿势的差异影响，提高系统识别准确率。

面像姿势主要变化可分为左右歪斜，下俯上仰、左右侧转等三大类及其综合类，驾驶员在座椅上坐定后上身一般基本不动，三类姿势变化幅度不会太大，使面像中双眼总是可见的。

左右歪斜遵循211面像知识库中左右歪斜规则处理。

上仰下俯时遵循211面像知识库中面像俯仰规则处理。

面像侧转时遵循211面像知识库中面像侧转规则处理。

310——驾驶员面像识别；本系统面像识别分为四部分识别：整体面像、眼区图像、鼻区图像、口区图像，每部分识别都对上同一个人，即认为识别成功。每部份识别的原理和方法都相同，具体识别步骤为：

(1)将上述经规范化处理的面像图与原人脸库中特征向量矩阵(特征脸)相乘，得到上述待识别面像在特征脸空间的投影，即特征值向量。

具体算法为：①计算差值图Φ＝X_i-m_x，X_i为由待识别面像图排列成的一维向量，m_x为训练样本的均值向量。

②归一化计算 Φ＝Φ/‖Φ‖

③计算投影

W = U_{M}^{T} \overset{&OverBar;}{Φ}

其中

U_{M}^{T} = [u_{1} u_{2} \cdot \cdot \cdot u_{M}]

即原特征脸矩阵， Φ为输入面像图经①②整理而得。

(2)将此处得到的特征值向量W与原人脸库中存储的不同人的样本特征值向量分别计算均方差(或计算欧氏距离)。

(3)记载均方差(或欧氏距离)最小者(小于阈值)所对应人名或编号。

(4)对于输入人脸面像图、双眼图、鼻区图、口区图分别重复(1)、(2)、(3)步骤找出对应均方差(或欧氏距离)最小的人。

(5)判断四次找出的人都是同一个人，则本次被识驾驶员就是该人，身份合法。

判断四次中有一次不对(大于阈值)，即认为现驾车者身份不合法。

为节省识别时间，减少判断次数，对4次判断的图像拟定顺序为：整体面像图、双眼图、鼻区图、口区图。对排在前面的图像若识别不对，则后面的图像不再识别。

311——面像不正常处理；

判断出驾驶员身份合法，则自动进入监视驾驶员的行为和精力是否集中。判断出面像不正常，即驾驶员身份不合法，系统首先存储记载该图像，然后设置二类报警代号2222，将此代号发送给车主；主人接收处如果有条件还可以显示或打印非法驾驶员的图像。由于车辆被盗开走，情况紧急，所以装置同时向公安110呼叫，也向车辆主管部门负责人呼叫；然后开启收信进程，接收被呼叫人的应答，如果延时等待一段时间没有应答则继续呼叫，直到应答要求取消报警，则系统退出，没有必要进入后续处理。

312——取车外景像；图1中图像传感器102面对车外安装，使可获取车外景像。此处从102获取景像，可根据景像反映的相对运动，判断车辆是否在行走。

313——车辆行走判断；车辆如果静止不动，则驾驶员可以休息或闲聊，无监视其注意力的必要。系统周期地取景、判断，汽车一旦开动，则应进入驾驶员行为监视。

314——传感图像；为监视驾驶员驾驶行为，系统重新从101获取图像。

315——意力识别；驾驶员驾车时行为必须规范，注意力高度集中，上身端正，目视前方，不左顾右盼，也不较长时间盯住车窗外面或车内别的地方。

注意力识别主要遵循知识库中以下知识进行。

左顾右盼识别遵循知识库面像侧转规则和眼形眼珠转动规则处理；

下俯上仰识别遵循知识库俯仰规则处理；

左右歪斜识别遵循知识库歪斜规则处理。

316——意力不集中的报警处理；

由315注意力识别可得出驾驶员注意力是否集中，如果集中则进入317的处理，如果不集中则进入第3类报警，以适当频率和适当的“鸣叫——停止——鸣叫”间隔，驱动105鸣叫，提醒驾驶员集中驾车注意力。

驾驶员可以按动图1中103按钮，使取消报警，系统返回314、315、316的处理，继续监测驾驶员的注意力。

317——疲劳度识别；

疲劳度识别主要检查驾驶员双眼闭合情况，遵循系统知识库中眼形规则。

驾驶员疲劳首先表现在想睡觉，眼睛不自主地闭合，闭合了不能马上睁开，持续闭合时间远大于正常眨眼时闭合的持续时间。

经验与统计表明，如果驾驶员驾车行走时一次眨眼持续时间超过400ms，说明他已很疲倦，有必要鸣叫提醒。

本系统以100ms的时间周期采集驾驶员面部图像，并且简化处理为只对眼睛定位和识别眼皮闭合程度，使在100ms时间间隔内能识别处理完毕，发现眼睛是闭合的则作1次计数，眼睛是睁开的，则使计数清0。几次连续监测识别都发现眼睛闭合且累计次数达到4，则给出第4类报警。发出尖声提醒驾驶员。且继续监测，发现还没有睁开则累加计数；提醒后眼睛睁开，计数又清零，但系统记下此次报警时间和眼睛闭合持续时间，记录成为该驾驶员的疲劳档案。

318——疲劳报警；第4类报警如果没有叫醒驾驶员，则继续驱动鸣叫；报警叫醒驾驶员后，其可按动图1所示103按钮使取消报警。系统返回312步骤，重新进入对行车驾驶员的行为和疲劳监视，先检查车是否在行驶，如果行驶则继续监视驾驶员的注意力和疲劳度。

Claims

1、一种利用驾驶员面像智能识别装置识别驾驶员面像的方法，所述装置包括主体中央处理器和输入输出控制部分(100)、车内图像传感器(101)、车外图像传感器(102)、手动按钮(103)、红外光源(104)、车内鸣叫器(105)、通信控制器(106)、微型扩频通信天线(107)，其特征在于所述方法包括以下步骤：

使用车内图像传感器获取驾驶员面像；

对所述图像进行图像亮度直方图规格化处理；

对驾驶员的面像姿态进行规范化处理，将左右歪斜、下俯上仰、左右侧转三类姿态处理成与训练样本中的规范姿态相同；

对上述经规范化处理的面像图与原人脸库中的特征向量矩阵进行处理得到特征值向量；将上述特征值向量与原人脸库中存储的不同人的样本特征值向量分别计算均方差；

根据对应的均方差来识别驾驶员的身份是否合法；

其中所述左右歪斜姿态处理包括在图像背景中事先确定一条水平参考线，以双眼瞳孔之间的连线与水平参考线的夹角a反映歪斜程度，左斜时，将面部图像整体向左平面旋转a角度，使图像所有像素在位置上按a角右下反转达到恢复；右斜时，使面部图像整体向右平面旋转a角度，使图像所有像素在位置上按a角左下反转达到恢复；所述下俯上仰姿态处理是以面部中心水平轴向上向下的面部旋转；所述左右旋转姿态处理是以颈椎为竖直轴向左侧转或向右侧转。

2、如权利要求1所述的方法，还包括对每个合法驾驶员识别固有的特征，并根据人脸形状、双眼特征、鼻形特征、口形特征建立合法驾驶员面像的知识库。

3、如权利要求1或2所述的方法，还包括当车内照度不够时，利用所述红外光源开启红外光，使成像以供识别。