CN103714321A - 基于距离图像和强度图像的驾驶员人脸定位系统 - Google Patents

Abstract

本发明公开了一种基于距离图像和强度图像的驾驶员人脸定位系统，包括图像采集装置、图像处理装置和定位装置，其特征在于所述图像采集装置，至少包括1个距离图像传感器、1个CMOS摄像头和2个红外摄像头，用于实时采集驾驶员的强度图像和距离图像，并将采集的强度图像和距离图像传输给图像处理装置；所述图像处理装置用于对采集的驾驶员的强度图像和距离图像进行处理；所述定位装置用于根据处理后强度图像和距离图像识别驾驶员的人脸位置和大小，并对人脸图像进行跟踪和驾驶员人脸位置定位。该系统基于距离图像与强度图像融合，提高了驾驶员人脸定位的精确性。

Description

基于距离图像和强度图像的驾驶员人脸定位系统

技术领域

本发明属于智能交通技术领域，具体涉及一种基于距离图像和强度图像的驾驶员人脸定位系统。

背景技术

随着社会经济的不断发展，汽车保有量数据持续增长，汽车安全问题显得尤为重要。汽车安全性可以分为被动安全和主动安全：被动安全指在交通事故发生后尽量减小乘客和行人的损伤；主动安全指通过事先防范避免事故的发生。被动安全技术发展早，如安全气囊技术，早已进入技术成熟阶段且已经被广泛地应用；随着计算机、机器视觉、电子、通信等技术的巨大进步，主动安全领域的研究也随之快速发展，其中，由于驾驶员本身对行车安全几乎有着决定性的作用，针对驾驶员的智能系统更是发展迅速，如驾驶员疲劳驾驶检测系统、驾驶人注意力识别系统等。我们发现，这些系统所采用的技术方案中，无论是采用检测上下眼睑位置、检测人眼睁闭状态、跟踪人眼视线还是估计头部或面部姿态角变化等何种方法作为判别依据，都要首先获得驾驶员的人脸图像，即对驾驶员人脸定位是整个系统和算法的基本环节。

人脸定位是指在输入图像中确定人脸（如果存在）的位置与大小（边界）的过程，若是视频图像序列，还包括对检测到的人脸进行目标跟踪的过程。人脸定位方法主要分为：基于几何特征的方法、基于肤色模型的方法和基于统计理论的方法。

几何特征指人脸面部器官在几何上体现的特征，如人脸轮廓、灰度分布、器官特征、模板特征等，基于几何特征的方法适用于简单背景下的正面单个人脸检测，在复杂光照或背景环境下或者面部有遮挡的情况很难获得理想的检测效果。

肤色模型是研究者在确立的色度空间基础上用一种代数的表征形式来表达哪些像素的色彩属于肤色，或者表征出某一像素的色彩与肤色的相似程度。基于肤色模型的方法在早期应用很广泛，算法简便快捷，对姿态不敏感，在单调背景下检测率高，但是其在光照和复杂背景下效果不理想。

基于统计理论的人脸检测方法是利用统计分析与机器学习的方法来寻找人脸样本与非人脸样本各自的统计特征，再构建区分各自特征的分类器，用分类器完成人脸检测，主要方法有神经网络、支持向量机、线性子空间、隐马尔科夫模型、Boosting等方法。不依赖于人脸的先验知识和参数模型，可以避免不精确或不完整的知识造成的错误。并且由于采用了实例学习的方法获取模型的参数，统计意义上更为可靠，但也一定程度上受学习样本数量和质量、光照变化、遮挡等因素的影响。本发明因此而来。

发明内容

本发明提供一种基于距离图像和强度图像的驾驶员人脸定位系统，该系统解决了现有技术中人脸定位过程存在受环境变化、光照变化、遮挡等因素影响较大的缺点等问题。

为了解决现有技术中的这些问题，本发明提供的技术方案是：

一种基于距离图像和强度图像的驾驶员人脸定位系统，包括图像采集装置、图像处理装置和定位装置，其特征在于所述图像采集装置，至少包括1个距离图像传感器、1个CMOS摄像头和2个红外摄像头，用于实时采集驾驶员的强度图像和距离图像，并将采集的强度图像和距离图像传输给图像处理装置；所述图像处理装置用于对采集的驾驶员的强度图像和距离图像进行处理；所述定位装置用于根据处理后强度图像和距离图像识别驾驶员的人脸位置和大小，并对人脸图像进行跟踪和驾驶员人脸位置定位。

优选的技术方案是：所述距离图像传感器、CMOS摄像头和红外摄像头的输出端与图像处理装置的输入端连接。

优选的技术方案是：所述图像处理装置为DSP处理系统。

优选的技术方案是：所述系统还包括数据存储装置，所述数据存储装置与定位装置连接，接收定位装置的读取或存储指令，用于读取或存储驾驶员的强度图像和距离图像。

优选的技术方案是：所述系统还包括与定位装置连接的输入输出装置，所述输入输出装置根据用户的输入操作将用户指令传递给定位装置，定位装置根据用户指令进行人脸定位，并将相关信息输出提示用户。

本发明的另一目的在于提供一种基于距离图像和强度图像的驾驶员人脸定位方法，其特征在于所述方法包括以下步骤：

（1）根据驾驶员的人脸定位指令，开始采集驾驶员的距离图像和强度图像；

（2）对采集的驾驶员的强度图像和距离图像进行处理，识别驾驶员的人脸位置和大小，并对人脸图像进行跟踪和驾驶员人脸位置定位。

优选的技术方案是：所述方法步骤（2）具体包括以下步骤：

1）根据采集到的驾驶员的距离图像灰度值的梯度变化进行边缘提取，初步确定人脸的位置；

2）利用训练好的人脸分类器对图像预处理后的驾驶员的强度图像进行人脸检测；根据距离图像的分析和同一时刻获得的强度图像精确确定人脸的位置；

3）根据距离图像的分析和同一时刻获得的强度图像检测出强度图像中人脸位置和大小边界；

4）对检测到的人脸图像进行跟踪，在确定的人脸图像上进行器官定位。

以往利用可见光图像的单目检测或识别方法，一直存在受环境变化、光照变化、遮挡等因素影响较大的缺点，距离图像中像素的灰度值仅与物体到距离传感器的物理距离有关，不会受环境变化、光照变化等因素的影响，因此，本发明提供了一种基于距离图像与强度图像融合的驾驶员人脸定位系统，解决在复杂光照和复杂背景下人脸检测效果不理想的问题，提高驾驶员人脸定位系统的精确性。

为了方便地描述本发明内容，首先对距离图像进行定义。

距离图像，即深度图像。在三维计算机图形学中，深度图像指从观察视角看去，图像所包含的信息与场景物体表面距离相关的一种图像或一个图像通道。这样，假设图像深度值的变化方向（即摄像机拍摄方向）与所需要描述的三维场景的视场方向Z方向相同的话，那么就能够很容易地描述整个三维场景。因此，深度图像也称为距离图像。与彩色图像相比，深度图像能直接反映物体表面的三维特征，且不受光照、阴影和色度等因素的影响。本发明中，利用距离图像传感器、2个红外摄像头获取距离图像的成像原理为飞行时间法：通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过计算光脉冲的往返飞行时间来得到目标物体的距离。

在距离图像中，黑色代表无穷远，白色代表无穷近，介于黑色和白色的灰度区域对应于物体到距离图像传感器的物理距离。无论在任何的照明光线下，它可以收集视野里每一个点的信息，并将其生成一张距离图像用以代表环境信息。在距离图像上的每一个点，都具有一个从0到255之间的数值，不同的数值代表这个点到红外摄像头的距离。因此，可以根据距离图像上的每个点的数据值，得知它们到距离图像传感器的距离。时间飞行法是一种测量方法，其通过激光或者微波毫米波雷达放出的高速光波或声波，当这些波遇到物体时会很快的被反射回来，通过这种反射可以计算出障碍物或者目标的位置。

广义上，图像就是所有具有视觉效果的画面，它包括：纸介质上的、底片或照片上的、电视、投影仪或计算机屏幕上的，根据不同记录方式可分为模拟图像和数字图像。模拟图像可以通过某种物理量（如光、电等）的强弱变化来记录图像亮度信息，例如模拟电视图像；而数字图像则是用计算机存储的数据来记录图像上各点的亮度信息。本发明中的强度图像狭义地指由可见光摄像头所获得的用于图像处理的数字图像，它是二维图像，由数组或矩阵表示，用数字任意描述像素点、强度和颜色。在计算机中常用的图像存储格式有BMP、TIFF、EPS、JPEG、GIF、PSD、PDF等。

本发明基于距离图像与强度图像融合的驾驶员人脸定位系统包括图像采集装置、图像处理装置、定位装置。其中图像采集装置包括距离图像传感器、2个红外摄像头、1个CMOS摄像头，设备安装在车辆仪表盘的上方，以可拍摄到驾驶人面对车辆正前方时的正面人脸图像为基准，车辆启动后，采用摄像头得到距离图像序列和强度图像序列，以实时获取驾驶员头部及头部附近的状态信息。距离图像传感器和2个红外摄像头相结合用于获取距离图像序列；CMOS摄像头，用于获取强度图像序列。

图像处理装置采用DSP处理系统，DSP处理系统采用基于图像处理的方法对视频、图像进行处理分析。定位装置用于融合距离图像和强度图像信息，检测出强度图像中人脸部分的位置和大小（边界），最终得到人脸定位结果。

定位装置中设置图像采集模块、距离图像传感器应用模块、人脸检测模块、人脸跟踪模块、数据管理模块等模块，其中图像采集模块，包含摄像头采集到的视频、图像信息；距离图像传感器应用模块，研究通过距离图像传感器获取图像深度信息，并将获取到的深度信息与同一时间的强度图像信息相结合，精确识别出人脸位置的方法；人脸检测模块，融合距离图像和强度图像信息，检测出强度图像中人脸部分的位置和大小（边界）；人脸跟踪模块，对检测到的人脸图像进行跟踪，以降低漏检率和误检率；数据管理模块，用于存储每帧图像上定位好的人脸图像数据；输入输出模块，用于输入用户的指令或者输出人脸跟踪模块的结果。

相对于现有技术中的方案，本发明的优点是：

1.为解决复杂光照和复杂背景下人脸定位效果不理想的问题，本发明提供了一种基于距离图像与强度图像融合的驾驶员人脸定位系统，提高了驾驶员人脸定位系统的精确性。

2.本发明中基于距离图像与强度图像融合的驾驶员人脸定位系统，所采用的人脸定位技术方法在人脸识别、人机交互、视频会议、智能安全监控、疲劳预警等领域有着广泛的应用，发展前景巨大，为以后的进一步研究工作打下了基础。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明基于距离图像与强度图像融合的驾驶员人脸定位系统的结构框图；

图2为本发明基于距离图像与强度图像融合的驾驶员人脸定位系统定位装置的软件架构图；

图3为本发明基于距离图像与强度图像融合的驾驶员人脸定位系统的工作流程图。

图4为本发明基于距离图像与强度图像融合的驾驶员人脸定位系统距离图像的处理流程图；

图5(a)为采集到的某幅距离图像，(b)中白色部分为该距离图像对应的轮廓提取结果。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

实施例

如图1所示，该基于距离图像与强度图像融合的驾驶员人脸定位系统包括图像采集装置、图像处理装置、定位装置。其中图像采集装置包括距离图像传感器、2个红外摄像头、1个CMOS摄像头，设备安装在车辆仪表盘的上方，以可拍摄到驾驶人面对车辆正前方时的正面人脸图像为基准，车辆启动后，采用摄像头得到距离图像序列和强度图像序列，以实时获取驾驶员头部及头部附近的状态信息。距离图像传感器和2个红外摄像头相结合用于获取距离图像序列；CMOS摄像头，用于获取强度图像序列。

图像处理装置采用DSP处理系统，DSP处理系统采用基于图像处理的方法对视频图像进行处理。定位装置用于融合距离图像和强度图像信息，检测出强度图像中人脸部分的位置和大小（边界），最终得到人脸定位结果。

如图2所示，定位装置中设置图像采集模块、距离图像传感器应用模块、人脸检测模块、人脸跟踪模块、数据管理模块等模块，其中图像采集模块，用于接收处理后的摄像头采集到的视频、图像信息；距离图像传感器应用模块，研究通过距离图像传感器获取图像深度信息，并将获取到的深度信息与同一时间的强度图像信息相结合，精确识别出人脸位置的方法；人脸检测模块，融合距离图像和强度图像信息，检测出强度图像中人脸部分的位置和大小（边界）；人脸跟踪模块，对检测到的人脸图像进行跟踪，以降低漏检率和误检率；数据管理模块，用于存储每帧图像上定位好的人脸图像数据；输入输出模块，用于输入用户的指令或者输出人脸跟踪模块的结果。

下面结合图3给出本发明基于距离图像与强度图像融合的驾驶员人脸定位系统的工作流程：

1、车辆启动后，驾驶员人脸定位系统开始工作。

采用摄像头得到距离图像序列和强度图像序列，以实时获取驾驶员头部及头部附近的状态信息。距离图像传感器和2个红外摄像头相结合用于获取距离图像序列；CMOS摄像头，用于获取强度图像序列。

2、距离图像的处理过程

距离传感器和2个红外摄像头根据飞行时间原理获得驾驶员面部及面部附近环境的距离图像序列，每幅距离图像上每一点的灰度值代表驾驶员及座椅等到摄像头的物理距离，如图5所示，为一副采集到的距离图像。

如图4所示，对于距离图像，通过下列步骤初步确定驾驶员人脸部分的位置：采集到的距离图像为彩色图像，首先对其进行灰度化处理，然后转换为二值图像，并使用prewitt算子进行边缘提取，为使接下来的外部轮廓提取结果更加平滑，先进行形态学膨胀和腐蚀运算，然后进行轮廓提取，最后进行宽度投影，并根据宽度投影曲线，找出从轮廓曲线的顶点（即头顶处）开始第一次出现的极大值及极小值分别对应的像素位置，即可计算出人脸图像的位置。

设图像左上角的像素坐标为(0,0)，如图5所示，(a)为采集到的某幅距离图像，(b)中白色部分为该距离图像对应的轮廓提取结果，P点为驾驶员人体轮廓曲线的顶点即头顶处，M1、M2对应从P点往下的第一个宽度极大值点，N1、N2对应从P点往下的第一个宽度极小值点，根据P、M1、M2、N1、N2处的像素位置信息，即可提取出人体轮廓曲线中的驾驶员头部位置EFGH，还原至原距离图像时，为了确保位置信息的准确性，本实施例采取将EFGH向外扩展20个像素的距离的方法，这样就得到了距离图像中驾驶员的人脸位置信息。

3、强度图像的处理过程

（1）训练人脸检测分类器

经过多次试验，得到大量人脸图像，为使训练样本多样化，提高分类器的正确率，选取多表情、多角度、多光照变化情况下的人脸图像（强度图像），进行预处理并归一化为24×24大小的正样本；从视频序列中截取不同背景、不同光照变化情况下不含人脸任何部分的图像，进行预处理并归一化为24×24大小作为负样本；然后提取样本图片的Harr特征，为了大大简化计算的复杂度、提高了检测速度，本实施例采用常用的边缘、线性、对角线等6种形式的harr特征，并利用“积分图”来快速计算特征值；最后基于Adaboost方法训练人脸检测分类器。

（2）训练人眼检测分类器

训练人眼检测分类器的步骤与训练人脸检测分类器的步骤相同，只需更换训练样本即可：采集不同驾驶员在不同光照、是否戴眼镜情况下的人眼图像（强度图像）及不含人眼任何部分的图像（强度图像），进行预处理并归一化为24×12大小的人眼样本后，采用常用的harr特征与Adaboost相结合的方法训练人眼检测分类器。

（3）对于最新获取的强度图像，采用如下步骤进行处理：

对通过CMOS摄像头获取的强度图像，首先进行灰度化、光照补偿等图像预处理，然后使用训练好的人脸检测分类器进行人脸检测，得到人脸部分的图像的位置和大小（边界）。

4、强度图像和距离图像信息的融合

经过上述步骤，在同一时刻采集到的距离图像I1和强度图像I2上，分别初步获得了人脸区域的位置和大小（边界），并用人脸区域左上角的像素坐标及人脸区域的宽度和长度来表示，分别记为J(x1,y1)、w1、h1和Q(x2,y2)、w2、h2。

距离图像I1和强度图像I2大小相同，在同一时刻，人脸区域在两幅图像上的相对位置也大致重合，当在两幅图像上都检测出人脸区域，且人脸区域的位置和大小相对应时，即可按下式得到精确的人脸区域信息，作为人脸检测结果，记为F(x,y)、w、h：

$\left\{\begin{array}{c}x=\min (x1,x2)+\frac{|x1-x2|}{2}\\ y=\min (y1,y2)+\frac{|y1-y2|}{2}\\ w=\min (w1,w2)+\frac{|w1-w2|}{2}\\ h=\min (h1,h2)+\frac{|h1-h2|}{2}\end{array}\right.$

5、为了减少驾驶员人脸漏检和误检情况，在强度图像上对检测到的人脸图像进行跟踪：首先，根据目标的运动参数和本系统的特定规则预测下一帧中运动目标可能出现的区域；然后针对相邻帧间运动目标的变化，利用特征值计算代价函数值，求出当前帧中运动目标在下一帧中对应的后续目标，建立对应关系；最后对已被跟踪运动目标的目标链、目标位置信息和目标特征量进行更新。

6、根据对人脸图像的检测和跟踪结果，进行驾驶员人脸位置定位。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于距离图像和强度图像的驾驶员人脸定位系统，包括图像采集装置、图像处理装置和定位装置，其特征在于所述图像采集装置，至少包括1个距离图像传感器、1个CMOS摄像头和2个红外摄像头，用于实时采集驾驶员的强度图像和距离图像，并将采集的强度图像和距离图像传输给图像处理装置；所述图像处理装置用于对采集的驾驶员的强度图像和距离图像进行处理；所述定位装置用于根据处理后强度图像和距离图像识别驾驶员的人脸位置和大小，并对人脸图像进行跟踪和驾驶员人脸位置定位。

2.根据权利要求1所述的基于距离图像和强度图像的驾驶员人脸定位系统，其特征在于距离图像传感器、CMOS摄像头和红外摄像头的输出端与图像处理装置的输入端连接。

3.根据权利要求1所述的基于距离图像和强度图像的驾驶员人脸定位系统，其特征在于所述图像处理装置为DSP处理系统。

4.根据权利要求1所述的基于距离图像和强度图像的驾驶员人脸定位系统，其特征在于所述系统还包括数据存储装置，所述数据存储装置与定位装置连接，接收定位装置的读取或存储指令，用于读取或存储驾驶员的强度图像和距离图像。

5.根据权利要求1所述的基于距离图像和强度图像的驾驶员人脸定位系统，其特征在于所述系统还包括与定位装置连接的输入输出装置，所述输入输出装置根据用户的输入操作将用户指令传递给定位装置，定位装置根据用户指令进行人脸定位，并将相关信息输出提示用户。

6.一种基于距离图像和强度图像的驾驶员人脸定位方法，其特征在于所述方法包括以下步骤：

（1）根据驾驶员的人脸定位指令，开始采集驾驶员的距离图像和强度图像；

（2）对采集的驾驶员的强度图像和距离图像进行处理，识别驾驶员的人脸位置和大小，并对人脸图像进行跟踪和驾驶员人脸位置定位。

7.根据权利要求6所述的驾驶员人脸定位方法，其特征在于所述方法步骤（2）具体包括以下步骤：

1）根据采集到的驾驶员的距离图像灰度值的梯度变化进行边缘提取，初步确定人脸的位置；

2）利用训练好的人脸分类器对图像预处理后的驾驶员的强度图像进行人脸检测；根据距离图像的分析和同一时刻获得的强度图像精确确定人脸的位置；

3）根据距离图像的分析和同一时刻获得的强度图像检测出强度图像中人脸位置和大小边界；

4）对检测到的人脸图像进行跟踪，在确定的人脸图像上进行器官定位。

Images