CN103065121A - 基于视频人脸分析的火车司机状态监控方法及装置 - Google Patents

Abstract

本发明公开一种基于视频人脸分析的火车司机状态监控方法及装置，方法包括：实时采集火车司机的监控视频图像；对采集到的监控视频图像进行人脸检测，得到获取司机脸部图像或未获取司机脸部图像的检测结果；通过对所述检测结果进行分析，获得司机在岗状态信息；根据所述司机在岗状态信息，确定司机是否离岗，并在确定司机离岗时，发出司机离岗提醒及报警信息；以及通过对所获取的司机脸部图像进行分析，获得司机疲劳状态信息；根据所述司机疲劳状态信息，确定司机是否疲劳，并在确定司机疲劳时，发出司机疲劳提醒及报警信息。本发明能够完成火车司机状态的自动识别与报警提醒，实现了火车司机状态的自动识别报警与实时现场提醒。

Description

基于视频人脸分析的火车司机状态监控方法及装置

技术领域

本发明涉及远程火车司机状态监控报警系统中的图像处理、图像分析、人脸检测、眼睛图像分类技术，特别涉及一种基于视频人脸分析的火车司机状态监控方法及相关装置。

背景技术

火车司机状态的自动识别与远程控制技术是铁路安全监控系统朝着自动化智能化发展的必然趋势。现有的机车远程监控系统主要实现机车环境监控视频的远程传输，无法完成火车司机状态的自动识别与报警，也无法提供实时的现场提醒。如果司机出现长时间离岗或疲劳等状态，处于远程管理中心的安全值班人员又没有及时发现的话，则很容易造成重大的铁路安全事故，将会给国家和人民的生命财产安全带来不可挽回的巨大损失。因此，如何利用先进的视频图像分析技术，结合创新的火车司机状态识别报警流程和处理手段，开发出基于视频人脸分析的火车司机状态识别技术对于加强火车司机状态远程监控，保证铁路运行的安全，是一项非常现实而急迫的实际应用需求。

发明内容

本发明的目的在于提供一种基于视频人脸分析的火车司机状态监控方法及装置，能更好地解决现有机车远程监控系统实际应用中普遍存在自动化水平低、无法提供实时的现场提醒信号等问题。

根据本发明的一个方面，提供了一种基于视频人脸分析的火车司机状态监控方法，包括：

实时采集火车司机的监控视频图像；

对采集到的监控视频图像进行人脸检测，获取司机脸部图像或未获取司机脸部图像的检测结果；

通过对所述检测结果进行分析，获得司机在岗状态信息；

根据所述司机在岗状态信息，确定司机是否离岗，并在确定司机离岗时，发出司机离岗提醒及报警信息；以及

通过对所获取的司机脸部图像进行分析，获得司机疲劳状态信息；

根据所述司机疲劳状态信息，确定司机是否疲劳，并在确定司机疲劳时，发出司机疲劳提醒及报警信息。

优选地，所述的人脸检测步骤包括：

利用由级联在一起的判别人脸特征的多个强分类器和配置给每个强分类器的辅助判决模块，依次对所述监控视频图像中属于人脸部分的待检测图像进行人脸真假判决；

若最后一级强分类器的人脸真假判决结果为真，或者最后一级强分类器的辅助判决模块的人脸真假判决结果为真，则将该待检测图像确定为司机脸部图像。

优选地，某个所述辅助判决模块在其强分类器的人脸真假判决结果为假时，对所述待检测图像进行人脸真假辅助判决，并在人脸真假辅助判决结果为真时，将待检测图像送至下一级强分类器进行人脸真假判决。

优选地，所述获得司机在岗状态信息的步骤包括：

在预设脸部图像统计时间内，对所述获取司机脸部图像的检测结果进行统计；

将得到的统计结果与预设脸部图像统计阈值进行比较，并根据比较结果，获得司机在岗状态信息。

优选地，所述对所获取的司机脸部图像进行分析的步骤包括：

利用角点检测原理，获得司机眼睛的左眼角和右眼角的位置，并根据所述左眼角和右眼角的位置，计算司机眼睛的高度、宽度、眼睛中心位置的垂直坐标；

利用所述高度、宽度、眼睛中心位置的垂直坐标，精确定位司机眼睛位置，并在所述司机脸部图像中提取司机眼睛位置的图像，得到司机眼睛图像。

优选地，所述对所获取的司机脸部图像进行分析的步骤还包括：

对所述司机眼睛图像的灰度分布进行统计，得到眼睛图像归一化直方图；

将所述眼睛图像归一化直方图分别与睁眼图像集归一化直方图、闭眼图像集归一化直方图进行相似性处理，得到眼睛图像相对睁眼图像集的睁眼相似度和眼睛图像相对闭眼图像集的闭眼相似度；

比较所述睁眼相似度和所述闭眼相似度，并根据比较结果，确定所述眼睛图像是睁眼状态或闭眼状态，以便获取司机疲劳状态信息。

优选地，通过对所述睁眼图像集和所述闭眼图像集的灰度分布分别进行统计，得到睁眼图像集归一化直方图、闭眼图像集归一化直方图。

优选地，所述对所获取的司机脸部图像进行分析的步骤还包括：

对所述司机眼睛图像的眼睛闭合度进行分析，将得到的分析结果与预设眼睛闭合度阈值进行比较，并根据比较结果，确定所述司机眼睛图像是睁眼状态或闭眼状态，以便获取司机疲劳状态信息。

优选地，所述确定司机是否疲劳的步骤包括：

在预设眼睛状态统计时间内，根据所述司机疲劳状态信息，对眼睛图像的闭眼状态进行统计；

当所得到的闭眼状态统计结果大于预设闭眼状态阈值时，或者当预设连续闭眼状态统计时间内连续检测到闭眼状态时，确定司机处于疲劳状态。

根据本发明的另一方面，提供了一种基于视频人脸分析的火车司机状态监控装置，包括：

视频采集单元，用于实时采集火车司机的监控视频图像；

视频人脸智能分析单元，用于对采集到的监控视频图像进行人脸检测，获取司机脸部图像或未获取司机脸部图像的检测结果，通过对所述检测结果进行分析，获得司机在岗状态信息，并根据所述司机岗状态信息，确定司机是否离岗，以及通过对所获取的司机脸部图像进行分析，获得司机疲劳状态信息，并根据所述司机疲劳状态信息，确定司机是否疲劳；

现场语音提醒单元，用于在确定司机离岗时，发出司机离岗提醒及报警信息，以及在确定司机疲劳时，发出司机疲劳提醒及报警信息。

与现有技术相比较，本发明的有益效果在于：

本发明通过对机车监控视频图像进行人脸检测、眼睛定位、眼睛状态识别、司机疲劳状态和离岗状态等分析处理，实现了火车司机状态的自动识别与报警提醒，从而解决了火车司机状态的无法自动识别报警与实时现场提醒等问题。

附图说明

图1是本发明实施例提供的基于视频人脸分析的火车司机状态监控方法原理框图；

图2是本发明实施例提供的基于视频人脸分析的火车司机状态监控装置的结构框图；

图3是图2中视频人脸智能分析单元的结构框图；

图4是本发明实施例提供的一维简单特征的类型图；

图5是本发明实施例提供的改进的AdaBoost算法的框架图；

图6是本发明实施例提供的“三庭五眼”原则的基本原理图；

图7是本发明实施例提供的一个典型的火车司机状态监控场景；

图8是本发明实施例提供的采用视频人脸分析获得的司机疲劳状态分析结果示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明公开了一种基于视频人脸分析的火车司机状态监控方法及装置，利用人脸检测原理（例如AdaBoost人脸检测算法），对实时的监控视频图像进行人脸检测；通过对检测到的脸部图像进行分析获得眼睛图像；利用灰度直方图匹配算法对眼睛图像进行分类，判断司机眼睛状态；通过对眼睛状态进行统计判断，获得司机的疲劳状态，并形成相应的现场提醒和远程报警信息。此外，通过分析视频人脸检测结果，获得司机的在岗状态，并形成相应的现场提醒和远程报警信息。本发明结合视频人脸分析处理功能和视频服务器功能，利用3G无线宽带模块，实现了火车司机状态的远程自动监控报警功能。

图1是本发明实施例提供的基于视频人脸分析的火车司机状态监控方法原理框图，如图1所示，步骤包括：

步骤101、实时采集火车司机的监控视频图像。

步骤102、对采集到的监控视频图像进行人脸检测，获取司机脸部图像或未获取司机脸部图像的检测结果。

所述步骤102中，所述的人脸检测步骤包括：利用由级联在一起的判别人脸特征的多个强分类器和配置给每个强分类器的辅助判决模块，依次对所述监控视频图像中属于人脸部分的待检测图像进行人脸真假判决；若最后一级强分类器的人脸真假判决结果为真，或者最后一级强分类器的辅助判决模块的人脸真假判决结果为真，则将该待检测图像确定为司机脸部图像。其中，某个所述辅助判决模块在其强分类器的人脸真假判决结果为假时，对所述待检测图像进行人脸真假辅助判决，并在人脸真假辅助判决结果为真时，将待检测图像送至下一级强分类器进行人脸真假判决。

步骤103、通过对所述检测结果进行分析，获得司机在岗状态信息。

所述步骤103中，所述获得司机在岗状态信息的步骤包括：在预设脸部图像统计时间内，对所述获取司机脸部图像的检测结果进行统计；将得到的统计结果与预设脸部图像统计阈值进行比较，并根据比较结果，获得司机在岗状态信息。

步骤104、根据所述司机在岗状态信息，确定司机是否离岗，并在确定司机离岗时，发出司机离岗提醒及报警信息。

步骤105、通过对所获取的司机脸部图像进行分析，获得司机疲劳状态信息。

所述步骤105中，所述对所获取的司机脸部图像进行分析的步骤包括：在所述司机脸部图像中，初步定位司机眼睛位置；利用角点检测原理，获得司机眼睛的左眼角和右眼角的位置，并根据所述左眼角和右眼角的位置，计算司机眼睛的高度、宽度、眼睛中心位置的垂直坐标；利用所述高度、宽度、眼睛中心位置的垂直坐标，精确定位司机眼睛位置，获取司机眼睛图像。对所述司机眼睛图像的灰度分布进行统计，得到眼睛图像归一化直方图；将所述眼睛图像归一化直方图分别与睁眼图像集归一化直方图、闭眼图像集归一化直方图进行相似性处理，得到眼睛图像相对睁眼图像集的睁眼相似度和眼睛图像相对闭眼图像集的闭眼相似度；比较所述睁眼相似度和所述闭眼相似度，并根据比较结果，确定所述眼睛图像是睁眼状态或闭眼状态，以便获取司机疲劳状态信息。其中，所述睁眼图像集归一化直方图和所述闭眼图像集归一化直方图通过对所述睁眼图像集和所述闭眼图像集的灰度分布分别进行统计。

或者，对所述司机眼睛图像的眼睛闭合度进行分析，将得到的分析结果与预设眼睛闭合度阈值进行比较，并根据比较结果，确定所述司机眼睛图像是睁眼状态或闭眼状态，以便获取司机疲劳状态信息。

步骤106、根据所述司机疲劳状态信息，确定司机是否疲劳，并在确定司机疲劳时，发出司机疲劳提醒及报警信息。

所述步骤106中，所述确定司机是否疲劳的步骤包括：在预设眼睛状态统计时间内，根据所述司机疲劳状态信息，对眼睛图像的闭眼状态进行统计；当所得到的闭眼状态统计结果大于预设闭眼状态阈值时，或者当预设连续闭眼状态统计时间内连续检测到闭眼状态时，确定司机处于疲劳状态。

图2显示了本发明的基于视频人脸分析的火车司机状态监控装置，包括：

视频采集单元，用于实时采集火车司机的监控视频图像。

视频人脸智能分析单元，用于对采集到的监控视频图像进行人脸检测，获取司机脸部图像或未获取司机脸部图像的检测结果，通过对所述检测结果进行分析，获得司机在岗状态信息，并根据所述司机岗状态信息，确定司机是否离岗，以及通过对所获取的司机脸部图像进行分析，获得司机疲劳状态信息，并根据所述司机疲劳状态信息，确定司机是否疲劳。

现场语音提醒单元，用于在确定司机离岗时，发出司机离岗提醒及报警信息，以及在确定司机疲劳时，发出司机疲劳提醒及报警信息。也就是说，所述现场语音提醒单元用于根据现场处理结果进行相应的语音提醒及报警等。

视频编解码与传输单元，用于将所述视频采集单元采集的现场司机的监控视频图像进行H.264编码，并通过网络接口进行传输，提供远程视频监控功能。

报警信息远程传输单元，用于将现场形成的提醒及报警信息通过网络接口传到监控中心。

远程控制与语音对讲单元，用于远程监控中心对装置进行远程控制，并用于监控中心与火车司机的语音对讲。

无线宽带网络单元，用于将现场监控视频图像和提醒及报警信息进行无线网络传输，主要包括3G无线模块和嵌入式驱动。

图3显示了图2中的视频人脸智能分析单元的结构，所述视频人脸智能分析单元通过对实时的监控视频图像进行处理，获得司机的疲劳状态和在岗状态，并形成相应的现场提醒和远程报警信息，其包括：

人脸检测单元，用于对监控视频图像进行人脸检测处理，获得图像中的司机脸部图像。

眼睛定位单元，用于对司机脸部图像进行分析，定位和提取眼睛图像。

眼睛状态识别单元，用于通过对眼睛图像进行灰度直方图匹配，获得眼睛状态。

司机状态分析单元，用于对设定时间内的司机眼睛状态进行统计分析，获得司机的疲劳状态；通过对设定时间内监控视频图像中检测到人脸的图像帧数进行统计获得司机的在岗状态。

下面结合附图4至图6对本发明进行详细说明：

一、对实时采集的监控视频图像进行人脸检测，获得司机的脸部图像。

本发明利用由级联在一起的判别人脸特征的多个强分类器和配置给每个强分类器的辅助判决模块，依次对所述监控视频图像中属于人脸部分的待检测图像进行人脸真假判决；若最后一级强分类器的人脸真假判决结果为真，或者最后一级强分类器的辅助判决模块的人脸真假判决结果为真，则将该待检测图像确定为司机脸部图像。其中，某个所述辅助判决模块在其强分类器的人脸真假判决结果为假时，对所述待检测图像进行人脸真假辅助判决，并在人脸真假辅助判决结果为真时，将待检测图像送至下一级强分类器进行人脸真假判决。

以AdaBoost人脸检测原理为例，所述AdaBoost人脸检测原理是一种基于积分图、级联检测器和AdaBoost算法的人脸检测原理，其基本思想是将大量的分类能力一般的弱分类器通过一定方法叠加起来，构成一个强分类器。AdaBoost人脸检测原理用于人脸检测时，从人脸图像中抽取大量的不同尺度和位置的一维简单特征构成弱分类器。这些简单特征构成的分类器都有一定的人脸和非人脸区分性，最终的分类系统使用数千个这样的一维简单特征分类器组合起来达到很好的分类效果，如图4所示，给出了这些一维简单特征的类型。

所述AdaBoost算法描述如下：

已知有n个训练样本(x₁,y₂),...,(x_n,y_n)的训练集，其中：

在训练样本中，共有l个正样本，m个负样本，待分类物体有k个不同尺度和位置的简单特征，表示为f_j(x)，其中1≤j≤k。对于第i个样本x_i，它的特征为：

{f₁(x),f₂(x),...,f_j(x),...,f_k(x)}         (2)

对应于每个输入特征f_i都有一个简单的二值分类器。第j个特征的弱分类器由一个阈值θ_j、一个特征f_j和一个指示不等式方向的偏置p_j构成：

$h_i\left(x\right)=\left\{\begin{array}{cc}1& \mathrm{if}(p_j{f}_j<p_j{\mathrm{\&theta;}}_j)\\ 0& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

训练的目标是通过对正负样本进行分析，选择分类错误率最低的T个弱分类器，最终通过级联组合成一个强分类器。

AdaBoost级联结构分类器是由一系列的分类器串联组成。原始的级联在判决过程中，只考虑当前级分类器的判决结果，而忽略了前级分类器的判决结果。另一方面，将各个不同的AdaBoost分类器级联以后，由于每一级均存在误判，使得整个级联分类器的检测率比较低。本实施例采用将AdaBoost算法进行改进，综合考虑这两方面因素，对AdaBoost算法的级联分类器框架进行了改进，增加了一个辅助判决函数来均衡级联分类器的检测率和误检率，新的框架如图5所示：当待检图像被某一级AdaBoost分类器判为假(非人脸)，则利用该级的辅助判决函数对其进行再判决。若辅助判决为真，则将其输入到下一级分类器，否则拒绝该样本。第i级的辅助判断函数可用公式表示如下：

$F_i\left(x\right)=\mathrm{\&alpha;}{\mathrm{\&Sigma;}}_{t=1}^{T_i}{f}_t\left(x\right)+\mathrm{\&beta;}{\left(\frac{1}{2}\right)}^{\mathrm{count}}---\left(4\right)$

其中，x为样本，f_t(x)为第i级AdaBoost分类器中第t个弱分类器对样本x的判决结果，T_i为第i级的弱分类器数量，

为第i级强分类器对样本x判决的隶属度，α为当前第i级强分类器判决的权值，0<α<1，β=1-α，count为样本x被前i-1级强分类器判为假的次数。

第i级辅助判决规则如下：

$D_i\left(x\right)=\left\{\begin{array}{cc}1& \mathrm{if}(F_i\left(x\right)>T)\\ 0& \mathrm{otherwise}\end{array}\right.---\left(5\right)$

其中，T为第i级判决的阈值。辅助判决函数综合考虑了当前级和前i-1级的判决结果，获得了更加优良的分类效率。

二、通过对所述检测结果进行分析，获得司机在岗状态信息；根据所述司机在岗状态信息，确定司机是否离岗，并在确定司机离岗时，发出司机离岗提醒及报警信息。

具体地说，在预设脸部图像统计时间内，对所述获取司机脸部图像的检测结果进行统计；将得到的统计结果与预设脸部图像统计阈值进行比较，并根据比较结果，判断司机的在岗状态，并产生相应的提醒和报警信息。例如，利用监控视频人脸检测结果对监控视频图像中的人脸存在时间进行统计，如果连续没有检测到人脸的监控视频图像帧数超过预设的阈值，则判定司机为离岗状态，系统给出离岗提醒及报警信息。

三、通过对检测到的脸部图像进行分析，得到司机眼睛图像。

在所述司机脸部图像中，初步定位司机眼睛位置；利用角点检测原理，获得司机眼睛的左眼角和右眼角的位置，并根据所述左眼角和右眼角的位置，计算司机眼睛的高度、宽度、眼睛中心位置的垂直坐标；利用所述高度、宽度、眼睛中心位置的垂直坐标，精确定位司机眼睛位置，获取司机眼睛图像。

例如，首先，在获得人脸图像后，根据“三庭五眼”规则初步定位眼睛所在的图像区域和眼睛图像的大小。具体地说，将人脸图像在垂直方向分成3个高度相同的部分；将眼睛区域的图像在水平方向分成5个宽度相同的部分，即可初度定位人脸图像中左右两个眼睛的位置，基本原理如图6所示。

然后采用角点检测算法对初步的眼睛图像区域进行角点定位，通过分析得到眼睛的精确位置和眼睛图像。例如，通过采用Harris图像角点检测原理对眼睛图像区域进行角点检测，获得左眼角和右眼角的精确位置。本实施例根据左眼角和右眼角的坐标，计算出眼睛的宽度、眼睛的高度、垂直中心位置可以通过如下公式计算得到：

W=X_R-X_L+e₁      (6)

H＝W*e₂         (7)

Y_C=(Y_L+Y_R)/2    (8)

其中，e₁和e₂是常数，0.5≤e₁≤1.5，0.5≤e₂<1，优选地，e₁=1，e₂=3/5。(X_L,Y_L)和(X_R,Y_R)分别为眼睛图像区域最左边和最右边的两个角点的坐标，即左眼角和右眼角的坐标；W和H分别为计算得到的眼睛图像的宽度和高度；Y_C为眼睛中心位置的垂直坐标。上述参数即可确定眼睛的精确位置，处在该位置区域的图像即为眼睛图像。

四、分析司机眼睛图像，确定司机眼睛状态。

1、利用灰度直方图匹配原理对获得的眼睛图像进行分类，获得司机的眼睛状态(闭眼状态或睁眼状态)，即采用灰度直方图匹配原理进行眼睛状态识别。

对所述司机眼睛图像的灰度分布进行统计，得到眼睛图像归一化直方图；将所述眼睛图像归一化直方图分别与睁眼图像集归一化直方图、闭眼图像集归一化直方图进行相似性处理，得到眼睛图像相对睁眼图像集的睁眼相似度和眼睛图像相对闭眼图像集的闭眼相似度；比较所述睁眼相似度和所述闭眼相似度，并根据比较结果，确定所述眼睛图像是睁眼状态或闭眼状态，以便获取司机疲劳状态信息。

具体地说，为了对眼睛状态进行识别，本发明实施例首先通过上述步骤在各种环境和光照条件下自动收集到大量眼睛图像，接着通过人工筛选得到闭眼图像和睁眼图像各n幅，并将这2n幅图像的尺寸都缩放到a×b。然后，对闭眼图像集和睁眼图像集分别进行灰度直方图统计。

$H_0\left(l\right)=\frac{N_0\left(l\right)}{n\&times;a\&times;b}---\left(9\right)$

$H_1\left(l\right)=\frac{N_1\left(l\right)}{n\&times;a\&times;b}---\left(10\right)$

其中，l=0,1,2,...,255为图像灰度级；N₀(l)和N₁(l)分别为灰度级l在闭眼图像集和开眼图像集中出现的次数；H₀(l)和H₁(l)分别为闭眼图像和开眼图像的归一化直方图。

当获得一副眼睛图像后，将其尺寸缩放到a×b，对其灰度分布进行统计，获得其直方图如下：

$H\left(l\right)=\frac{N\left(l\right)}{a\&times;b},l=\mathrm{0,1,2},...,255---\left(11\right)$

其中N(l)为灰度级l在眼睛图像中出现的次数。将眼睛图像的归一化直方图H与闭眼图像集的归一化直方图H₀和睁眼图像集的归一化直方图H₁分别进行相关计算获得两个相似度如下：

$S_0=\frac{1}{\exp \left(\right[1.0-{\mathrm{\&Sigma;}}_{l=0}^{255}H\left(l\right)*H_0\left(l\right)]/\mathrm{\&lambda;})}---\left(12\right)$

$S_1=\frac{1}{\exp \left(\right[1.0-{\mathrm{\&Sigma;}}_{l=0}^{255}H\left(l\right)*H_1\left(l\right)]/\mathrm{\&lambda;})}---\left(13\right)$

优选地，n＝1000，a×b=52×36，λ＝0.02。

其中，S₀和S₁分别为眼睛图像与闭眼图像和睁眼图像的相似度。如果S₀大于S₁，则判断该眼睛图像为闭眼状态，否则为睁眼状态。

2、通过分析眼睛闭合度，确定司机眼睛状态。

对所述司机眼睛图像的眼睛闭合度进行分析，将得到的分析结果与预设眼睛闭合度阈值进行比较，并根据比较结果，确定所述司机眼睛图像是睁眼状态或闭眼状态，以便获取司机疲劳状态信息。

本发明实施例在具体实验中有P70、P80和P50三种测量方式，其中，P70、P80和P50中的数字70、80、50分别表示眼皮盖过瞳孔的面积超过70%、80%和50%。这三种方法在不同程度上都能预测司机的疲劳程度，而P80与司机疲劳程度的相关性最好。因此，本发明实施例采用P80作为判定标准，即将眼睛闭合程度大于80%的状态归判定为闭眼状态。

五、根据所述司机疲劳状态信息，确定司机是否疲劳。

在预设眼睛状态统计时间内，根据所述司机疲劳状态信息，对眼睛图像的闭眼状态进行统计；当所得到的闭眼状态统计结果大于预设闭眼状态阈值时，或者当预设连续闭眼状态统计时间内连续检测到闭眼状态时，确定司机处于疲劳状态。

例如，通过Perclos(Percentage of Eyelid Closure Over the Pupil OverTime，每秒闭眼次数)算法对眼睛状态进行统计判断，获得司机每秒的闭眼次数，判断司机的疲劳状态，并产生相应的提醒和报警信息。所述Perclos算法是指眼睛闭合时间占某一特定时间的百分率。眼睛闭合时间的长短与疲劳程度有密切关系，司机眼睛闭合时间越长，疲劳程度越严重。因此，通过测量眼睛闭合时间的长短就能确定司机的疲劳程度。疲劳判别依据主要是单位时间内眼睛闭合次数。一般以30秒作为一个测量单元，可得到Perclos值的计算公式如下：

$\mathrm{Perclos}=\frac{\underset{{30}_{\sec }}{\mathrm{\&Sigma;}}[C\left(t\right)<0.2]}{{30}_{\sec }\&times;\mathrm{fps}}---\left(14\right)$

其中，

为30秒内眼睛睁开程度小于20%，即眼睛闭合程度大于80％，判定为闭合状态的次数，这里也可以使用通过直方图匹配原理对眼睛状态识别的统计结果；fps为视频帧率，一般为25fps，每秒25帧。如果Perclos值大于预定阈值，或者连续3秒处理闭眼状态，则认为在该检测对象很可能已处于疲劳状态，系统给出疲劳警告和现场语音提醒。

下面针对一个具体实例，对本发明进行详细说明。

首先，利用人脸检测单元对输入的监控视频图像进行处理，获得司机脸部的位置和图像。接着，利用眼睛定位单元对获得脸部图像进行分析，定位到眼睛位置，提取眼睛图像，图7是系统判断火车司机当前状态为正常时的示意图，大框中是人脸检测的结果，小框中是眼睛定位结果。然后，利用眼睛状态识别单元对获得的眼睛图像进行识别，获得司机眼睛状态。最后，利用司机状态分析单元对设定时间内的眼睛状态进行统计分析获得司机疲劳状态，图8是系统判断火车司机当前处于疲劳状态时的示意图，在图像左下角处，通过文字给出当前监控场景中司机疲劳状态的提示。从以上火车司机状态识别结果可以看到，本发明所述基于视频人脸分析的火车司机状态监控技术从实际应用需求出发，实现了对机车环境下火车司机异常状态的实时监测，为火车司机状态的自动监控报警提供了一条先进实用的技术途径。

本发明在采用先进的图像处理与分析技术的基础上，充分结合实际工程应用经验，既考虑了火车司机状态监控报警对灵敏度和准确性的要求，又考虑了机车环境中的各种干扰因素，具有更高的智能水平和更强的工程适应性。

尽管上文对本发明进行了详细说明，但是本发明不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。

Claims (10)

1.基于视频人脸分析的火车司机状态监控方法，其特征在于，包括：

实时采集火车司机的监控视频图像；

对采集到的监控视频图像进行人脸检测，获取司机脸部图像或未获取司机脸部图像的检测结果；

通过对所述检测结果进行分析，获得司机在岗状态信息；

根据所述司机在岗状态信息，确定司机是否离岗，并在确定司机离岗时，发出司机离岗提醒及报警信息；以及

通过对所获取的司机脸部图像进行分析，获得司机疲劳状态信息；

根据所述司机疲劳状态信息，确定司机是否疲劳，并在确定司机疲劳时，发出司机疲劳提醒及报警信息。

2.根据权利要求1所述的方法，其特征在于，所述的人脸检测步骤包括：

利用由级联在一起的判别人脸特征的多个强分类器和配置给每个强分类器的辅助判决模块，依次对所述监控视频图像中属于人脸部分的待检测图像进行人脸真假判决；

若最后一级强分类器的人脸真假判决结果为真，或者最后一级强分类器的辅助判决模块的人脸真假判决结果为真，则将该待检测图像确定为司机脸部图像。

3.根据权利要求2所述的方法，其特征在于，某个所述辅助判决模块在其强分类器的人脸真假判决结果为假时，对所述待检测图像进行人脸真假辅助判决，并在人脸真假辅助判决结果为真时，将待检测图像送至下一级强分类器进行人脸真假判决。

4.根据权利要求1所述的方法，其特征在于，所述获得司机在岗状态信息的步骤包括：

在预设脸部图像统计时间内，对所述获取司机脸部图像的检测结果进行统计；

将得到的统计结果与预设脸部图像统计阈值进行比较，并根据比较结果，获得司机在岗状态信息。

5.根据权利要求1所述的方法，其特征在于，所述对所获取的司机脸部图像进行分析的步骤包括：

利用角点检测原理，获得司机眼睛的左眼角和右眼角的位置，并根据所述左眼角和右眼角的位置，计算司机眼睛的高度、宽度、眼睛中心位置的垂直坐标；

利用所述高度、宽度、眼睛中心位置的垂直坐标，精确定位司机眼睛位置，并在所述司机脸部图像中提取司机眼睛位置的图像，得到司机眼睛图像。

6.根据权利要求5所述的方法，其特征在于，所述对所获取的司机脸部图像进行分析的步骤还包括：

对所述司机眼睛图像的灰度分布进行统计，得到眼睛图像归一化直方图；

将所述眼睛图像归一化直方图分别与睁眼图像集归一化直方图、闭眼图像集归一化直方图进行相似性处理，得到眼睛图像相对睁眼图像集的睁眼相似度和眼睛图像相对闭眼图像集的闭眼相似度；

比较所述睁眼相似度和所述闭眼相似度，并根据比较结果，确定所述眼睛图像是睁眼状态或闭眼状态，以便获取司机疲劳状态信息。

7.根据权利要求6所述的方法，其特征在于，通过对所述睁眼图像集和所述闭眼图像集的灰度分布分别进行统计，得到睁眼图像集归一化直方图、闭眼图像集归一化直方图。

8.根据权利要求5所述的方法，其特征在于，所述对所获取的司机脸部图像进行分析的步骤还包括：

对所述司机眼睛图像的眼睛闭合度进行分析，将得到的分析结果与预设眼睛闭合度阈值进行比较，并根据比较结果，确定所述司机眼睛图像是睁眼状态或闭眼状态，以便获取司机疲劳状态信息。

9.根据权利要求6或8所述的方法，其特征在于，所述确定司机是否疲劳的步骤包括：

在预设眼睛状态统计时间内，根据所述司机疲劳状态信息，对眼睛图像的闭眼状态进行统计；

当所得到的闭眼状态统计结果大于预设闭眼状态阈值时，或者当预设连续闭眼状态统计时间内连续检测到闭眼状态时，确定司机处于疲劳状态。

10.基于视频人脸分析的火车司机状态监控装置，其特征在于，包括：

视频采集单元，用于实时采集火车司机的监控视频图像；

视频人脸智能分析单元，用于对采集到的监控视频图像进行人脸检测，获取司机脸部图像或未获取司机脸部图像的检测结果，通过对所述检测结果进行分析，获得司机在岗状态信息，并根据所述司机岗状态信息，确定司机是否离岗，以及通过对所获取的司机脸部图像进行分析，获得司机疲劳状态信息，并根据所述司机疲劳状态信息，确定司机是否疲劳；

现场语音提醒单元，用于在确定司机离岗时，发出司机离岗提醒及报警信息，以及在确定司机疲劳时，发出司机疲劳提醒及报警信息。

Images