CN101425136B - 视频图像局部二进制模式特征的获取方法和装置 - Google Patents

Abstract

本发明公开了一种视频图像局部二进制模式特征的获取方法和装置。该方法包括获取归一化处理后的视频图像序列中每幅图像的多尺度、多方向表示，并用所有图像的多尺度、多方向表示构成视频图像序列的多尺度表示；获取视频图像序列的多尺度表示中每幅图像的纹理信息，并组合在一起构成视频图像序列的多尺度LBP特征；根据视频图像序列的多尺度LBP特征，获得视频图像序列的动态多尺度LBP特征。本发明通过获取视频图像序列的动态多尺度LBP特征，在疲劳状态检测中，可同时获得空间和时间上的疲劳特征信息，使得获得的疲劳特征更加全面，根据该特征进行的疲劳状态检测也更加准确可靠，同时也具有较好的稳定性和鲁棒性。

Description

视频图像局部二进制模式特征的获取方法和装置

技术领域

本发明涉及图像处理、模式识别技术，特别是涉及一种视频图像局部二进制模式特征的获取方法和装置。 

背景技术

随着交通运输业的快速发展，汽车的保有量越来越多，道路交通事故也呈同步上升趋势，而疲劳驾驶已成为道路交通事故的重要隐患。研究表明：如果驾驶员在有碰撞危险的0.5秒前得到“预警”，就可以避免至少60％的追尾撞车事故、30％的迎面撞车事故和50％的路面相关事故；若有1秒钟的“预警”时间，则可以避免90％交通事故的发生。因此，对驾驶员的疲劳状态进行检测对提高交通安全具有非常重要的意义。 

基于视觉特征的疲劳状态检测是对驾驶员疲劳状态进行检测的有效方法，该类检测方法一般通过摄像头获取驾驶员的视频信息，采用计算机视觉的方法对获取的视频图像进行分析，并根据分析得到的特征信息判断驾驶员是否处于疲劳状态。该类方法可以实现无接触式的疲劳状态检测，具有较好的实用性、可靠性和应用前景。 

现有基于视觉特征的疲劳状态检测系统主要集中于检测驾驶员眼睛的变化和运动。由于人在疲劳瞌睡时，眼睛的眨动一般较频繁，眼睛的闭合时间也较长，一般情况下人的眼睛闭合的时间在0.12s～0.13s之间，如果人在驾驶汽车时眼睛的闭合时间达到0.15s就容易发生交通事故。因此，目前基于视觉特征的疲劳状态检测一般均是将眼睛闭合时间占特定时间的百分率(Percent Eyelid Closure，以下简称：PERCLOS)作为疲劳程度的检测指标。

PERCLOS是Carnegic Mellon研究所的Driving Research Center研究开发的，PERCLOS测量的参数是在单位时间(如1分钟)内眼睛闭合程度超过一定阈值(如70％，80％)的时间占总时间的百分比。PERCLOS是最早报道能自动测量和跟踪被测试者的眼睛睁闭情况的技术，它可以应用于检测疲劳现象出现的装置中，并可以连续跟踪、测量眼睑的睁闭，并根据相应的PERCLOS阈值提醒驾驶者可能发生的疲劳。PERCLOS在测量原理上进行了创新，提供了一种较好的跟踪人眼的测量方法。如图1所示，为现有技术中PERCLOS摄像头的结构示意图。PERCLOS摄像头包括：主板1、950nm滤镜2、850nm滤镜3、分光镜4和红外光源5。其中，红外光源5是由66枚环状排列的LED组成。该PERCLOS摄像头充分利用人眼视网膜对不同波长的红外光的反射量不同的基本生理特点，即：在850nm波长下，人眼视网膜能反射90％的入射光，而在950nm波长下，人眼视网膜只能反射40％的入射光，可以有效的获取人眼视网膜位置的图像。具体过程如下：在同样的照度下，2个摄像头同时测量人眼的图像，一个是在850nm波长照射下的图像，一个是在950nm波长照射下的图像，然后将获得的2幅图像相减，可得到只留下视网膜位置的图像，然后再分析视网膜的大小和位置，即可通过视网膜区域的高度和眼睛张到最大时的高度的比值，确定眼睛闭合的程度，从而可以确定PERCLOS测量所需要的参数，从而判断人眼的PERCLOS，进而判断驾驶员是否处于疲劳状态并做出相应的警告。 

但是，现有基于视觉的疲劳状态检测技术中的视觉疲劳特征通常是在视频的某些帧中提取，然后根据单帧特征、累积的多帧特征或者根据若干连续时间段内的某类特征状态判断驾驶员是否疲劳，其获得的视觉疲劳特征在本质上属于静态图像特征，是基于空间信息方法获取的疲劳特征。因此，该静态图像特征无法反映疲劳的动态信息，根据该特征进行疲劳状态检测的准确性较差，同时，基于该静态图像特征进行疲劳状态检测的稳定性和鲁棒性也较差。

发明内容

本发明的目的是提供一种视频图像局部二进制模式特征的获取方法和装置，可有效克服现有技术中获取的疲劳特征仅为静态图像特征的技术缺陷，可获得具有动态多尺度特性的局部二进制模式特征，能有效提高疲劳状态检测的准确性、稳定性和可靠性。 

为实现上述目的，本发明提供了一种视频图像局部二进制模式特征的获取方法，包括： 

获取归一化处理后的视频图像序列中每幅图像的多尺度、多方向表示，并将所有图像的多尺度、多方向表示构成视频图像序列的多尺度表示； 

获取所述视频图像序列的多尺度表示中每幅图像的纹理信息，并将所有图像的纹理信息组合在一起构成所述视频图像序列的多尺度局部二进制模式特征； 

根据所述视频图像序列的多尺度局部二进制模式特征，获得所述视频图像序列的动态多尺度局部二进制模式特征； 

所述获取归一化处理后的视频图像序列中每幅图像的多尺度、多方向表示包括： 

将所述视频图像序列中的每幅图像与伽柏小波作卷积，并将卷积后的结果作为所述视频图像序列中对应图像的多尺度、多方向表示； 

所述获取所述视频图像序列的多尺度表示中每幅图像的纹理信息包括： 

通过局部二进制模式算子对所述视频图像序列的多尺度表示中每幅图像的每个像素进行标记，获得所述视频图像序列中对应图像的纹理信息； 

所述根据所述视频图像序列的多尺度局部二进制模式特征，获得所述视频图像序列的动态多尺度局部二进制模式特征包括： 

获得所述视频图像序列的多尺度局部二进制模式特征的所有动态单元； 

获得所述动态单元的局部直方图，并将所有动态单元的直方图组合在一起构成扩展直方图； 

将所述扩展直方图作为所述视频图像序列的动态多尺度局部二进制模式特征。 

本发明提供了一种视频图像局部二进制模式特征的获取装置，包括： 

第一获取模块，用于获取归一化处理后的视频图像序列中每幅图像的多尺度、多方向表示，并将所有图像的多尺度、多方向表示构成视频图像序列的多尺度表示； 

第二获取模块，用于获取所述视频图像序列的多尺度表示中每幅图像的纹理信息，并将所有图像的纹理信息组合在一起构成所述视频图像序列的多尺度局部二进制模式特征； 

第三获取模块，用于根据所述第二获取模块获得的所述视频图像序列的多尺度局部二进制模式特征，获得所述视频图像序列的动态多尺度局部二进制模式特征； 

所述获取归一化处理后的视频图像序列中每幅图像的多尺度、多方向表示包括： 

将所述视频图像序列中的每幅图像与伽柏小波作卷积，并将卷积后的结果作为所述视频图像序列中对应图像的多尺度、多方向表示； 

所述第二获取模块包括： 

运算单元，用于通过局部二进制模式算子对所述视频图像序列的多尺度表示中每幅图像的每个像素进行标记，获得所述视频图像序列中对应图像的纹理信息，所述通过局部二进制模式算子对所述视频图像序列的多尺度表示中每幅图像的每个像素进行标记包括：通过一致模式的局部二进制模式算子对所述视频图像序列的多尺度表示中每幅图像的每个像素进行标记； 

获取单元，用于将通过所述运算单元获得的所有图像的纹理信息组合在一起构成所述视频图像序列的多尺度局部二进制模式特征； 

所述第三获取模块包括： 

动态获取单元，用于将所述视频图像序列的多尺度局部二进制模式特征 在每个尺度上划分为互不重叠特定尺寸的矩形区域，相同位置的矩形区域构成区域序列，并将所述矩形区域序列作为所述视频图像序列的多尺度局部二进制模式特征的所述动态单元； 

特征获取单元，用于获得所述动态单元的局部直方图，并将所有动态单元的局部直方图组合在一起作为扩展直方图，所述扩展直方图即为所述视频图像序列的动态多尺度局部二进制模式特征。 

本发明实施例一方面通过获取视频图像序列的多尺度、多方向表示，使得获得的人类面部疲劳状态下的疲劳特征更加全面，可以有效提高疲劳状态的分析和检测能力；另一方面，通过将视频图像序列的多尺度局部二进制模式特征分解并获得视频图像序列的动态局部二进制模式特征，可以有效捕获反映疲劳状态的动态特征，有效提高了疲劳状态的分析及检测的准确性和可靠性，同时，基于视频图像序列获得的局部二进制模式特征具有较强的稳定性和鲁棒性，本实施例可应用于交通中驾驶员的疲劳状态检测，并可有效提高疲劳状态检测的准确性和可靠性，提高驾驶员驾驶的安全性能，减少交通事故的发生。 

附图说明

图1为现有技术中PERCLOS摄像头的结构示意图； 

图2为本发明视频图像LBP特征的获取方法第一实施例的流程示意图； 

图3为本发明视频图像LBP特征的获取方法第二实施例的流程示意图； 

图4为本发明视频图像LBP特征的获取方法第二实施例中Gabor小波幅值的示意图； 

图5为本发明视频图像LBP特征的获取方法第二实施例中视频图像序列的多尺度、多方向表示的示意图； 

图6为本发明视频图像LBP特征的获取方法第二实施例中的LBP算子的示意图； 

图7为本发明视频图像LBP特征的获取方法第二实施例中视频图像序列多尺度表示的LBP处理流程示意图； 

图8为本发明视频图像LBP特征的获取方法第二实施例中视频图像序列的动态多尺度LBP特征的提取流程示意图； 

图9为本发明视频图像LBP特征的获取装置第一实施例的结构示意图； 

图10为本发明视频图像LBP特征的获取装置第二实施例的结构示意图； 

图11为本发明实施例的一具体应用结构示意图。 

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。 

在人脸面部表情识别领域，心理学家的研究表明，基于视频图像序列的表情识别具有较好的效果，其稳定性和鲁棒性也较好。由于面部运动信息是表情识别的最重要的信息，因此，相对于现有技术中静态图像即单个图像，人类对动态的图像序列中的表情识别会更加准确可靠。 

由于人类疲劳时的面部表现是一种随着时间持续、动态变化的过程，因此面部视频图像中的疲劳状态特征是包括空间和时间上信息的动态特征。表现疲劳时间上变化的动态特征是描述疲劳状态的最理想和最本质的特征，传统的基于静态图像分析获得的静态图像特征无法利用疲劳状态变化的时序和运动信息，很难捕获反映疲劳状态的本质特征。因此，合理有效的利用时序、运动信息将更加有利于提高疲劳状态的分析和检测的正确性。 

同时，人类疲劳时的表现特征在面部上的表现具有不同的尺度，如整体的较大尺度的视觉信息表现为肌肉僵硬、打哈欠等，而局部较小尺度的视觉信息表现为眼睛闭合、目光的凝视等。通常的单一尺度的疲劳特征的分析很难提取疲劳状态的全部重要特征，因此，要对人类面部的视觉信息进行有效的分析，需要根据不同视觉信息的特点，在包含较多疲劳信息的尺度和方向上提取疲劳状态的特征进行分析。如何对疲劳状态下的疲劳表现特征进行多 尺度分析是疲劳状态分析和检测的重要研究内容。 

基于上述人类疲劳状态表现所具有的多尺度和动态特性，发明人提出了一种获取包含疲劳空间信息和时间上的运动信息的动态多尺度局部二进制模式(Local Binary Pattern；以下简称：LBP)特征的方法，可将通过该方法获得动态多尺度LBP特征作为疲劳状态检测时的疲劳特征，可以有效提高疲劳状态检测的准确性和可靠性，为交通安全的疲劳状态检测提供了较好的判断依据，避免交通事故的发生。 

图2为本发明视频图像LBP特征的获取方法第一实施例的流程示意图。如图2所示，本实施例可包括以下步骤： 

步骤101、获取归一化处理后的视频图像序列中每幅图像的多尺度、多方向表示，并将所有图像的多尺度、多方向表示构成视频图像序列的多尺度表示； 

在实际应用中，可采用摄像机获得驾驶员的包括人脸的视频图像，并可以在视频图像的每幅图像中根据人脸检测得到的眼睛中心位置进行图像分割和对齐，对驾驶员的面部视频图像进行归一化处理，并获得归一化处理后的视频图像序列，具体地，可将面部视频图像归一化为64*64大小的灰度图。根据归一化处理后的视频图像序列，可通过小波变换，如伽柏(Gabor)小波等方法获得视频图像序列的多尺度、多方向表示。通过获得归一化处理后的视频图像序列的多尺度、多方向表示，可以有效的反映人类疲劳状态下面部图像的疲劳特征，有利于疲劳状态的正确分析和检测。 

步骤102、获取视频图像序列的多尺度表示中每幅图像的纹理信息，并将所有图像的纹理信息组合在一起构成视频图像序列的多尺度局部二进制模式特征； 

根据步骤101获得的视频图像序列的多尺度表示，可以通过LBP算子等方式对视频图像序列的多尺度表示进行处理，获得视频图像序列的多尺度、多方向表示中的纹理信息，得到视频图像序列的多尺度LBP特征。LBP算子具 有较强的纹理分类判别能力，是非参数化算子，可以有效描述图像的局部空间结构，是描述图像纹理的有力工具。基于LBP算子对视频图像序列的多尺度、多方向表示的图像进行纹理处理，具有较强的纹理判断能力和较低的计算代价，本实施例采用LBP算子获取多尺度表示的图像的纹理信息。 

步骤103、根据视频图像序列的多尺度局部二进制模式特征，获得视频图像序列的动态多尺度局部二进制模式特征。 

为得到视频图像序列的动态特征并增强动态特征中的形状信息，可以对多尺度LBP特征的每个尺度上的LBP特征分解为不同的动态单元，并将这些动态单元组合在一起构成视频图像序列的动态特征。具体地，可以根据需要将视频图像序列的多尺度LBP特征划分为多个动态单元，将每个动态单元以直方图的形式表现出来，并将各直方图组合在一起组成具有时间信息的扩展直方图，该扩展直方图即可作为视频图像序列的动态多尺度LBP特征，获得的视频图像序列的动态多尺度LBP特征包含时间和空间上的信息，具有较强的动态性能和空间性能，获得的疲劳状态信息更加真实，疲劳特征也更加全面。 

本发明实施例一方面通过获取视频图像序列的多尺度、多方向表示，使得获得的人类面部疲劳状态下的疲劳特征更加全面，可以有效提高疲劳状态的分析和检测能力；另一方面，通过将视频图像序列的多尺度LBP特征分解并获得视频图像序列的动态LBP特征，可以有效捕获反映疲劳状态的动态特征，有效提高疲劳状态的分析及检测的准确性和可靠性，同时基于视频图像序列获得的LBP特征具有较强的稳定性和鲁棒性，本实施例可应用于交通中驾驶员的疲劳状态检测，并可有效提高疲劳状态检测的准确性和可靠性，保证驾驶员驾驶的安全性，减少交通事故的发生。 

图3为本发明视频图像LBP特征的获取方法第二实施例的流程示意图。如图3所示，本实施例可包括如下步骤： 

步骤201、对视频图像中的每幅图像进行归一化处理，获得归一化处理后 的视频图像序列； 

当获得摄像机采集到的视频图像后，可对摄像机采集到的人脸的视频图像进行归一化处理，获得人脸面部的视频图像序列。具体地，通过对视频图像进行人脸检测获得视频图像中人脸的眼睛中心位置，然后根据人脸检测得到的眼睛的中心位置对图像进行图像切割和对齐，并归一化为64*64大小的灰度图，从而获得归一化处理的视频图像序列。通过对视频图像序列进行归一化处理，有利于提高视频图像序列中疲劳特征的提取效果，减少疲劳特征提取时的计算量。 

步骤202、获取归一化处理后的视频图像序列中每幅图像的多尺度、多方向表示，并将所有图像的多尺度、多方向表示构成视频图像序列的多尺度表示； 

由于人类疲劳时的面部运动的特征具有不同的尺度，如，人打哈欠时的行为是一个较大区域的面部运动，可以用较大的尺度来分析和表示，而面无表情这样的行为是细小的面部运动，需要用较小的尺度来分析和表示，因此，对人脸的视频图像序列进行多尺度表示，有利于获得更加真实、精确和全面的疲劳特征信息。本实施例中采用Gabor小波变换的方法来获取视频图像序列的多尺度、多方向表示。图像的Gabor小波变换是图像和一系列Gabor小波核函数的卷积，对一幅位置在x＝(x，y)、灰度值为L(x)的图像，图像的Gabor小波变换可表示为： 

其中*表示卷积操作， 

表示二维的Gabor小波核函数。为获得多尺度的Gabor小波特征，本实施例采用了5个尺度v∈{0，1，...，4}和8个方向u∈{0，1，...，7}的Gabor小波。如图4所示，为本发明视频图像LBP特征的获取方法第二实施例中Gabor小波幅值的示意图。图4显示了5个尺度8个方向的Gabor小波的幅值，可以看出，每个方向的Gabor小波响应其对应方向的边和横纹，每个尺度的Gabor小波提取相应频率的信息，Gabor小波表现出很强的空间频 率、空间定位和空间选择的特性。 

因此，通过视频图像序列和Gabor小波核函数的卷积得到视频图像序列的多尺度表示。视频图像序列中的每幅图像和40个Gabor小波核(即5个尺度和8个方向)作卷积得到视频图像的Gabor小波特征，图像中的每个像素点均可得到40个复数形式的Gabor小波特征。由于Gabor小波的幅值随位置的变化比较缓慢，而Gabor小波的相位线性的随位置的变化而变化，因此，本实施例中采用Gabor小波的幅值作为视频图像序列中每幅图像的多尺度表示。通过对视频图像序列中的每幅图像进行Gabor小波变换，计算每幅图像中各像素位置的Gabor特征的幅值，对于每个像素点可相应的产生40个多尺度、多方向的图像，因此，经过Gabor小波变换后的视频图像序列的多尺度表示的维数是原始视频图像序列图像尺寸的40倍。 

具体地，对于包含n幅图像的视频图像序列I，可用I_i标记每幅图像，i是图像的索引；图像I_i的多尺度表示可标记为G_i，u，v(x，y)，其中i是图像的索引，v是Gabor小波尺度的标记，u是Gabor小波方向的标记。因此，基于每幅图像的多尺度表示G_i，u，v(x，y)，可以得到图像序列I的多尺度、多方向表示G：{G_i，u，v(x，y)：i∈(0，...，n-1)，u∈(0，...，7)，v∈(0，...，4)}。如图5所示，为本发明视频图像LBP特征的获取方法第二实施例中视频图像序列的多尺度、多方向表示的示意图。图5显示了经过Gabor小波变换后的视频图像序列的多尺度、多方向表示，通过对视频图像序列的Gabor小波变换，可获得视频图像序列的多尺度表示，其中，X表示的是视频图像序列的多方向表示，共有8个方向，Y表示的是视频图像序列的多尺度表示，共有5个尺度，视频图像序列的多尺度、多方向表示的维数是原始视频图像序列的40倍。由于Gabor小波的核函数具有较强的空间定位、空间选择和空间频率描述的特性，通过二维的Gabor小波可以将图像进行多尺度、多方向的分解，因此，基于该Gabor小波变换后得到的视频图像序列的多尺度表示，可以比较全面的反映人脸的疲劳特征，应用于驾驶员的疲劳检测时，可使得疲劳状态的检测结果更加准确和可靠。 

步骤203、获取视频图像序列的多尺度表示中每幅图像的纹理信息，并将所有图像的纹理信息组合在一起构成视频图像序列的多尺度LBP特征； 

通过对视频图像序列的多尺度表示中的图像进行纹理分析，可以获得视频图像序列的多尺度、多方向表示中的每幅图像的纹理信息，根据这些纹理信息可以得到视频图像的多尺度LBP特征。LBP算子是由Ojala等首先提出的，其具有较强的纹理分类、判别能力，且LBP算子对单调灰度变换具有不变性，因此，LBP特征对光线的变化不太敏感。基本的LBP算子可以对图像中的每个像素进行标记：对像素周围3*3邻域，根据中心点的灰度值进行二值化编码，并把二值化的结果看作一个二进制数。所谓进行二值化编码具体为：基本的LBP算子是一个固定大小为3*3的矩形块，共对应有9个灰度值。将中心点像素四周8个点的灰度值与中心点的灰度值比较并进行阈值化处理，可以得到一组二进制数，根据逆时针方向读出的8个二进制值作为该3*3矩形块的特征值，并记为中心点的LBP值。如图6所示，为本发明视频图像LBP特征的获取方法第二实施例中的LBP算子的示意图。图6显示了基本LBP算子的原理示意图，其中A是图像中一个3*3矩阵的像素单元，A1是A像素区域经过阈值化处理后的图示，A2是基本的LBP算子中各个像素点对应的权值的图示，LBP特征的二进制串为01101010，对应的十进制编码为106。可以看出，基本的LBP算子可能有256种不同的值，因此LBP的二进制编码可以表示256种LBP模式，每个值表示一种LBP局部模式。 

给定像素点(x_c，y_c)的LBP编码的十进制形式可以表示为： 

$\mathrm{LBP}(x_c,y_c)=\underset{n=0}{\overset{7}{\mathrm{\Σ}}}s(i_n-i_c)2^n$

其中，i_c对应像素点(x_c，y_c)的灰度值，i_n表示周围的8个像素点的灰度值，s(x)函数定义如下： 

$s\left(x\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& x\&GreaterEqual;0\\ 0& \mathrm{if}& x<0\end{array}\right.$

为更好的描述图像的空间区域和较大尺度纹理的结构特征，本实施例采 用一致模式的LBP算子对视频图像序列的多尺度表示中的图像进行处理，获得视频图像序列中图像的纹理信息。具体地，把LBP模式对应的二进制串看作一个环形，如果其中的0-1和1-0转换的总次数不超过两次，则可将这样的LBP模式称为一致模式，对应的算子称为一致模式的LBP算子。 

本实施例中，采用 

表示一致模式的LBP算子， 

的含义是将在半径为R的圆上的P个近邻采样点使用LBP算子，上标u²表示使用一致模式，并将其余模式作为一种模式，对于 8个近邻采样点就会有59中可能的标记。具体地，本实施例中采用 

算子在每个像素位置进行特征提取获得视频图像序列的多尺度表示的图像中每个像素的纹理信息。 也具有59种标记，如图7所示，为本发明视频图像LBP特征的获取方法第二实施例中视频图像序列多尺度表示的LBP处理流程示意图。图7显示了多尺度、多方向表示的视频图像序列经过LBP算子处理的流程示意图，其中，B是经过LBP算子处理前的视频图像序列的多尺度、多方向表示，B1是经过LBP算子处理后的视频图像序列的多尺度LBP特征图像，其中，LBP算子处理是利用一致模式的LBP算子，即 

处理的。可以看出，经过LBP算子处理后得到的视频图像序列的多尺度LBP特征表示的视频图像序列的纹理信息丰富、真实。 

步骤204、根据视频图像序列的多尺度LBP特征，获得视频图像序列的动态多尺度LBP特征。 

本实施例中，为获得视频图像序列的动态特征并增强特征中的形状信息，对经过LBP处理后的视频图像序列的多尺度LBP特征进行动态处理，获得视频图像序列的动态多尺度LBP特征。本实施例中，首先将视频图像序列的每个尺度上的LBP特征划分为互不重叠特定尺寸的矩形区域，相同位置的矩形区域组成区域序列，并将该矩形区域序列作为视频图像序列的动态单元，据此，可以获得视频图像序列的所有动态单元；然后，计算每个动态单元的局部直方图，并将所有动态单元的局部直方图组合在一起构成一个扩展的直方 图，该扩展的直方图反映了视频图像序列的时序特性，可将该扩展的直方图作为视频图像序列的动态多尺度LBP特征。 

如图8所示，为本发明视频图像LBP特征的获取方法第二实施例中视频图像序列的动态多尺度LBP特征的提取流程示意图。图8显示了动态LBP特征的提取过程，C是需要进行动态LBP特征提取的视频图像序列的原始多尺度LBP特征，然后将C中的每个尺度的LBP特征分解成不同的矩形区域，相同的矩形区域组成区域序列，并将每个矩形区域序列作为视频图像序列的动态单元，C1为进行分解后的视频图像序列的动态单元，最后计算出C1中的每个动态单元的局部直方图，并将所有动态单元的局部直方图组合在一起，形成C2中的扩展直方图，该扩展直方图即可作为视频图像序列的动态多尺度LBP特征。 

具体地，可将每个尺度的LBP特征图像划分为6*6个大小相同的矩形区域，将{G_i，u，v(x，y)：i∈(0，...，n-1)，u∈(0，...，7)，v∈(0，...，4)}经过LBP处理后的LBP特征图像表示为B_i，u，v(x，y)；每个矩形区域可以表示为： 

R_{i，u，v，r}(x，y)(i∈(0，...，n-1)，u∈(0，...，7)，v∈(0，...，4)，r∈(0，...，35)) 

LBP特征图像序列的相同位置的区域组合在一起构成一个动态单元，表示为： 

S_u，v，r(x，y)：{R_{0，u，v，r}(x，y)，R_{1，u，v，r}(x，y)，...，R_{n-1，u，v，r}(x，y)} 

然后，通过计算每个动态单元的局部直方图，并将所有区域的局部直方图组合在一起作为扩展的直方图，该扩展直方图即为视频图像序列的动态多尺度LBP特征。其中，每个直方图的bin是相应的LBP编码在一个动态单元中出项的次数，最后将所有动态单元的直方图组合在一起就构成一个扩展的直方图来表示视频图像序列，该扩展直方图即是视频图像序列的动态多尺度LBP特征。动态单元S_u，v，r(x，y)的直方图可以定义为： 

$h_{u,v,r}=\underset{x,y}{\mathrm{\&Sigma;}}I\{S_{u,v,r}(x,y)=i\},i=(0,...,58)$

其中I{A}表示为： 

$I\left\{A\right\}=\left\{\begin{array}{c}1,\mathrm{A\; is\; true}\\ 0,\mathrm{A\; is\; false}\end{array}\right.$

可以看出，每个动态单元有59个bin，动态单元的直方图可以看作是59个单独特征的集合。描述视频图像序列的动态多尺度LBP特征可以表示为： 

H＝{h_{i，u，v，r}：i∈(0，...，58)，u∈(0，...，7)，v∈(0，...，4)，r∈(0，...，35)} 

基于视频图像序列的动态多尺度LBP特征，可以有效的在时间和空间上描述视频图像序列的动态特征和多尺度特征。将该视频图像序列的动态多尺度LBP特征应用于疲劳检测中，根据采集到的人脸的面部视频图像序列，就可得到人脸视频图像序列的动态多尺度LBP特征，由于该视频图像序列的动态多尺度LBP特征包含了疲劳时间上的运动信息和空间信息，使得基于动态多尺度LBP特征进行的疲劳检测更加准确和可靠，同时，基于Gabor小波变换以及LBP处理，使得获得的视频图像序列的动态多尺度LBP特征具有较好的稳定性和鲁棒性。 

图9为本发明视频图像LBP特征的获取装置第一实施例的结构示意图。如图9所示，本实施例包括：第一获取模块10、第二获取模块20和第三获取模块30。其中，第一获取模块10可接收经过归一化处理后的视频图像序列，并可将接收到的视频图像序列进行小波变换，获取归一化处理后的视频图像序列中每幅图像的多尺度、多方向表示，并将所有图像的多尺度、多方向表示构成视频图像序列的多尺度表示，并将处理后的视频图像序列的多尺度表示传送给第二获取模块20；第二获取模块20可根据接收到的视频图像序列的多尺度表示提取出视频图像序列中各像素的纹理信息，获取视频图像序列的多尺度表示中每幅图像的纹理信息，并将所有图像的纹理信息组合在一起构成视频图像序列的多尺度局部二进制模式特征；第三获取模块30可根据第二获取模块20获得的视频图像序列的多尺度LBP特征，获得视频图像序列的动态多尺度LBP特征，具体地，可对视频图像序列的多尺度LBP特征进行分解， 获取每个尺度上的LBP特征的动态单元，计算每个动态单元的局部直方图，并将所有动态单元的局部直方图组合在一起构成扩展直方图，该扩展直方图即可作为视频图像序列的动态多尺度LBP特征。 

本实施例装置可应用于疲劳检测装置中，特别是驾驶员的疲劳检测装置中，用于获取驾驶员面部视频图像序列的动态多尺度LBP特征，使得获得的驾驶员的疲劳特征更加全面，且获得的疲劳特征同时具有时间和空间上的信息，使得疲劳状态的检测更加准确、可靠。 

本实施例的技术方案，一方面通过获取视频图像序列的多尺度表示，使得获得的人类面部疲劳状态下的疲劳特征更加全面，可以有效提高疲劳状态的分析和检测能力；另一方面，通过将视频图像序列的多尺度LBP特征进行分解，获得视频图像序列的动态多尺度LBP特征，使得获取的疲劳特征不仅反映疲劳状态的空间信息，同时，也反映了疲劳时间上的动态信息，获得的疲劳特征更加准确、真实，在疲劳状态检测中，可以有效提高疲劳状态检测的准确性和可靠性，提高驾驶员驾驶的安全性，减少交通事故的发生。 

图10为本发明视频图像LBP特征的获取装置第二实施例的结构示意图。如图10所示，本实施例获取装置包括图像预处理模块40、第一获取模块10、第二获取模块20和第三获取模块30。其中，第二获取模块20包括运算单元21和获取单元22，第三获取模块30包括动态获取单元31和特征获取单元32。其中图像预处理模块40用于获取原始的视频图像信息，并对视频图像中的每幅图像进行归一化处理，获得归一化处理后的视频图像序列，具体地，可通过检测装置的摄像头采集得到该视频图像信息，结合通过人脸检测获得的驾驶员眼睛中心的位置，将该视频图像进行图像切割和对齐，并归一化为64*64大小的灰度图，获得视频图像序列，并将该归一化处理后的视频图像序列发送至第一获取模块10；第一获取模块10对接收到的视频图像序列进行Gabor小波变换，并获得视频图像序列中每幅图像的多尺度、多方向表示，并将所有图像的多尺度、多方向表示构成视频图像序列的多尺度表示，具体地，可 通过将归一化处理后的视频图像序列与Gabor小波核函数进行卷积得到视频图像序列的多尺度表示，并将视频图像序列的多尺度表示发送到第二获取模块20中的运算单元21；运算单元21可通过一致模式的LBP算子对接收到的视频图像序列的多尺度、多方向表示图像中的每个像素进行标记，获得视频图像序列中对应的多尺度、多方向表示图像的纹理信息，并发送至获取单元22，获取单元22可将通过运算单元21获得的所有图像的纹理信息组合在一起构成视频图像序列的多尺度LBP特征，并发送给动态获取单元31；第三获取模块30中的动态获取单元31可将接收到的视频图像序列的多尺度表示进行分解，将每个尺度上的LBP特征划分为互不重叠特定尺寸的矩形区域序列，并将划分的每个矩形区域序列作为视频图像序列的动态单元，然后，通过特征获取单元32对动态获取单元31获得的所有动态单元分别进行计算，获得每个动态单元的局部直方图，最后将所有动态单元的局部直方图组合在一起构成扩展直方图，该扩展直方图即可作为视频图像序列的动态多尺度LBP特征。 

本发明视频图像LBP特征的获取装置适用于上述本发明视频图像LBP特征的获取方法实施例，通过本发明获取装置，可以得到视频图像序列时间和空间上的疲劳特征，对于驾驶员疲劳状态检测来说，本发明获得的视频图像序列的动态多尺度LBP特征全面、实时性强，获得的LBP特征具有较强的鲁棒性和稳定性，根据视频图像序列的动态多尺度LBP特征进行疲劳状态的判断更加准确、可靠。 

本发明可应用于驾驶员的疲劳状态检测系统中，根据摄像头获得的驾驶员的面部视频，可获得驾驶员的视频图像序列的动态多尺度LBP特征。由于本发明获得的LBP特征具有时间和空间上的疲劳特征信息，因此在进行疲劳状态检测时，具有更好的疲劳判别能力，同时也提高了疲劳状态检测的准确性和可靠性。 

如图11所示，为本发明实施例的一具体应用结构示意图。通过本发明视 频图像LBP特征的获取方法可获得驾驶员的面部视频图像序列的动态多尺度LBP特征，基于本发明获得的面部视频图像的动态多尺度LBP特征，发明人还提供了一种疲劳检测系统。图11显示了疲劳检测系统的结构示意图，如图中所示，该疲劳检测系统可包括面部视频获取单元11、图像预处理单元12、动态多尺度LBP特征获取装置13和疲劳判定单元14。其中，面部视频获取单元11具体可以为一图像采集系统，获取驾驶员人脸的视频图像，并将采集获得的人脸的视频图像传送至图像预处理单元12；图像预处理单元12对接收到的人脸的视频图像进行人脸检测并进行几何归一化和分割处理，获得归一化处理后的视频图像序列，并传送给动态多尺度LBP特征获取装置13；动态多尺度LBP特征获取装置13对归一化处理后的视频图像序列进行处理，获得视频图像序列的动态多尺度LBP特征；疲劳判定单元14根据动态多尺度LBP特征获取装置13获得的动态多尺度LBP特征建立弱分类器，使用AdaBoost算法挑选最具判别能力的部分动态多尺度LBP特征，建立疲劳检测的强分类器。动态多尺度LBP特征获取装置13可以为本发明视频图像LBP特征的获取装置实施例的获取装置，其内部结构可以与本发明视频图像LBP特征的获取装置实施例结构相同，通过该装置可以获取驾驶员人脸的动态多尺度LBP特征，该动态多尺度LBP特征即为疲劳特征，该疲劳特征反映了驾驶员人脸在时间和空间上的信息，疲劳特征全面，基于该疲劳特征进行的疲劳判断准确性高。 

对本发明设计的基于面部视频图像序列的疲劳检测算法在自建的面部疲劳数据库中进行了测试。其中，疲劳数据库中包含真实疲劳环境下采集的30人的600个视频图像序列，测试中，发明人随机选择了15个人的300个视频图像序列作为训练集，其余15人的300个视频序列作为测试集进行测试，然后对训练集和测试集进行交叉试验，发明人的试验结果表明，在进行疲劳状态检测时，基于本发明获得的视频图像序列的动态多尺度LBP特征具有较好的疲劳检测效果。 

由于根据本发明实施例获得的视频图像序列的动态多尺度LBP特征具有 较高的维数，如按 获得视频图像序列的多尺度LBP特征，并按每个尺度的LBP特征图像划分为6*6的矩形区域来划分动态单元，由此获得的视频图像序列的动态多尺度LBP特征共有59*36*5*8＝84960维，维数较高，不利于特征的提取和准确分类，而且，某些特征对分类来说也是冗余的。并且由于AdaBoost算法具有较好的泛化能力、良好的性能以及较低的实现复杂度。因此，发明人在进行试验的过程中，基于动态多尺度LBP特征使用决策树建立弱分类器，采用了有效的分类工具AdaBoost算法挑选部分动态多尺度LBP特征并训练得到最终的强分类器，使得疲劳检测更加快捷和准确。 

具体地，发明人在实现本发明的过程中，利用Real AdaBoost算法对LBP特征进行挑选，并最终获得强分类器，Real AdaBoost算法是一种基本的硬核boost算法，是最基本的AdaBoost算法的泛化。发明人基于本发明方法获得的视频图像序列的动态多尺度LBP特征进行疲劳检测得到了令人满意的识别效果，平均识别率为98.33％，其中，对正常状态面部视频图像序列的正确识别率为99.33％，疲劳状态的面部视频图像序列的识别正确率为97.33％，可以看出，利用本发明视频图像的LBP特征获取方法，可以快速、准确的检测人脸的疲劳状态，进而可以给驾驶员发出警示信息，极大的提高驾驶的安全性，对于提高交通安全，降低交通事故具有非常好的应用价值。 

最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。 

Claims (6)

1.一种视频图像局部二进制模式特征的获取方法，其特征在于，包括：

获取归一化处理后的视频图像序列中每幅图像的多尺度、多方向表示，并将所有图像的多尺度、多方向表示构成视频图像序列的多尺度表示；

获取所述视频图像序列的多尺度表示中每幅图像的纹理信息，并将所有图像的纹理信息组合在一起构成所述视频图像序列的多尺度局部二进制模式特征；

根据所述视频图像序列的多尺度局部二进制模式特征，获得所述视频图像序列的动态多尺度局部二进制模式特征；

所述获取归一化处理后的视频图像序列中每幅图像的多尺度、多方向表示包括：

将所述视频图像序列中的每幅图像与伽柏小波作卷积，并将卷积后的结果作为所述视频图像序列中对应图像的多尺度、多方向表示；

所述获取所述视频图像序列的多尺度表示中每幅图像的纹理信息包括：

通过局部二进制模式算子对所述视频图像序列的多尺度表示中每幅图像的每个像素进行标记，获得所述视频图像序列中对应图像的纹理信息；

所述根据所述视频图像序列的多尺度局部二进制模式特征，获得所述视频图像序列的动态多尺度局部二进制模式特征包括：

获得所述视频图像序列的多尺度局部二进制模式特征的所有动态单元；

获得所述动态单元的局部直方图，并将所有动态单元的直方图组合在一起构成扩展直方图；

将所述扩展直方图作为所述视频图像序列的动态多尺度局部二进制模式特征。

2.根据权利要求1所述的视频图像局部二进制模式特征的获取方法，其特征在于，在所述获取归一化处理后的视频图像序列中每幅图像的多尺度、多方向表示之前还包括：

对视频图像中的每幅图像进行归一化处理，获得所述归一化处理后的视频图像序列。

3.根据权利要求1所述的视频图像局部二进制模式特征的获取方法，其特征在于，所述通过局部二进制模式算子对所述视频图像序列的多尺度表示中每幅图像的每个像素进行标记包括：

通过一致模式的局部二进制模式算子对所述视频图像序列的多尺度表示中每幅图像的每个像素进行标记。

4.根据权利要求1所述的视频图像局部二进制模式特征的获取方法，其特征在于，所述获得所述视频图像序列的多尺度局部二进制模式特征的所有动态单元包括：

将所述视频图像序列的多尺度局部二进制模式特征在每个尺度上划分为互不重叠特定尺寸的矩形区域，相同位置的矩形区域构成区域序列；

所述矩形区域序列即为所述视频图像序列的多尺度局部二进制模式特征的所述动态单元。

5.一种视频图像局部二进制模式特征的获取装置，其特征在于，包括：

第一获取模块，用于获取归一化处理后的视频图像序列中每幅图像的多尺度、多方向表示，并将所有图像的多尺度、多方向表示构成视频图像序列的多尺度表示；

第二获取模块，用于获取所述视频图像序列的多尺度表示中每幅图像的纹理信息，并将所有图像的纹理信息组合在一起构成所述视频图像序列的多尺度局部二进制模式特征；

第三获取模块，用于根据所述第二获取模块获得的所述视频图像序列的多尺度局部二进制模式特征，获得所述视频图像序列的动态多尺度局部二进制模式特征；

所述获取归一化处理后的视频图像序列中每幅图像的多尺度、多方向表示包括：

将所述视频图像序列中的每幅图像与伽柏小波作卷积，并将卷积后的结果作为所述视频图像序列中对应图像的多尺度、多方向表示；

所述第二获取模块包括：

运算单元，用于通过局部二进制模式算子对所述视频图像序列的多尺度表示中每幅图像的每个像素进行标记，获得所述视频图像序列中对应图像的纹理信息，所述通过局部二进制模式算子对所述视频图像序列的多尺度表示中每幅图像的每个像素进行标记包括：通过一致模式的局部二进制模式算子对所述视频图像序列的多尺度表示中每幅图像的每个像素进行标记；

获取单元，用于将通过所述运算单元获得的所有图像的纹理信息组合在一起构成所述视频图像序列的多尺度局部二进制模式特征；

所述第三获取模块包括：

动态获取单元，用于将所述视频图像序列的多尺度局部二进制模式特征在每个尺度上划分为互不重叠特定尺寸的矩形区域，相同位置的矩形区域构成区域序列，并将所述矩形区域序列作为所述视频图像序列的多尺度局部二进制模式特征的所述动态单元；

特征获取单元，用于获得所述动态单元的局部直方图，并将所有动态单元的局部直方图组合在一起作为扩展直方图，所述扩展直方图即为所述视频图像序列的动态多尺度局部二进制模式特征。

6.根据权利要求5所述的视频图像局部二进制模式特征的获取装置，其特征在于，还包括：

图像预处理模块，用于对视频图像中的每幅图像进行归一化处理，获得所述归一化处理后的视频图像序列。

Images