CN101814136B

CN101814136B - 一种基于快速傅立叶变换的打盹行为检测方法

Info

Publication number: CN101814136B
Application number: CN 201010115994
Authority: CN
Inventors: 秦华标; 林建文
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2010-02-11
Filing date: 2010-02-11
Publication date: 2012-12-05
Anticipated expiration: 2030-02-11
Also published as: CN101814136A

Abstract

本发明公开了一种基于快速傅立叶变换的打盹行为检测方法。其包括如下步骤：对采集到的图像进行人脸检测，在检测到人脸之后采集人脸所在矩形区域的中心点坐标，当采集到的中心点坐标达到需要的数量后就采用快速傅立叶变换对该数据进行频谱分析，以此来寻找人在打盹时与正常运动时的频谱的差异。在频谱分析中，把人的头部行为分为静止，小幅度运动，有规律运动三种状态，在进行了一定次数的频谱分析之后，就对在这个时间段中的头部行为进行分析，找出在这时间段中占主导的状态，当垂直方向的有规律运动占主导，则可以判别人当前正在打盹。本发明采用了模式识别技术以及统计判决的方法对打盹行为进行检测，具有非接触，鲁棒性高，实时性好的特点。

Description

一种基于快速傅立叶变换的打盹行为检测方法

技术领域

本发明属于图像处理和模式识别技术的应用领域，特别涉及驾驶员疲劳检测中的打盹行为的检测方法。

背景技术

目前在驾驶员疲劳检测的领域当中，大多是针对驾驶员是否眨眼睛，多长频率眨眼睛这一动作入手，但是由于驾驶员的个人习惯不同，当驾驶员出现打盹这一行为的时候，由于目前的方法需要找出眼睛的位置进行判别，所以此时这一检测方法将不能满足驾驶人员的需要。而目前在驾驶员打盹行为的检测技术中，主要采用的是硬件实现的方法，通过安装在驾驶员头部的传感器采集头部的运动信息，根据头转动的角度来判别驾驶员是否在打盹，该方法是接触式的检测方法，对驾驶员会造成一定的干扰，而且由于每个人的打盹行为中头转动的角度也不一样，所以该方法鲁棒性不高，使用也不方便。

发明内容

本发明的目的在于克服现有技术存在的上述不足，提供一种基于快速傅立叶变换的打盹行为检测方法。本发明采用图像处理和模式识别技术，对人脸中心坐标点的采集没有任何环境限制，采用了较为成熟的快速傅立叶算法对头部的运动曲线进行分析，使得检测具有较高的鲁棒性、准确性和实时性。本发明通过如下技术方案实现。

一种基于快速傅立叶变换的打盹行为检测方法，包括如下步骤：

(1)人脸检测定位：采用了针对动态图像序列的改进的Adaboost法对人脸进行检测，通过动态地改变搜索区域以及初始搜索框，能快速，准确地定位人脸所在的矩形区域，然后求出人脸所在的矩形区域中心的坐标并记录。

(2)头部运动特征提取：在采集到一定数量的人脸所在的矩形区域的中心坐标点之后，对该坐标点数据进行快速傅立叶变换，把时域信息转换到频域，并根据每次快速傅立叶变换得出的低频段的幅值系数进行分析，把头部行为分为静止，小幅度运动，垂直方向有规律运动三种状态；

(3)打盹行为识别：重复执行步骤(2)，并记录每次步骤(2)的结果及步骤(2)执行的次数，当执行次数达到设定的数量之后则进行打盹行为判别，在重复执行步骤(2)这一时间段中，若垂直方向有规律运动状态的次数超过设定值，则判别为打盹行为。

上述方法的步骤(1)中，Adaboost法是较为成熟的人脸检测方法，而由于采用摄像头对图像进行采集，得到的是动态序列图像，针对这一特点，改进了Adaboost法，通过动态地改变搜索区域以及初始搜索框，提升了该方法的检测精确度和速度.

上述方法的步骤(2)中，分析人头部运动轨迹时是把头部的运动分为垂直方向以及水平方向进行分析的。通过步骤(1)采集人脸所在的矩形区域的中心坐标点，在采集到设定数量的坐标点数据之后就做一次快速傅立叶变换，把时域的数据转换到频域中进行分析。由于人的打盹行为是一种在垂直方向上有规律的运动行为，其运动轨迹是一条类正弦波的曲线，并且是一种低频的运动，所以在频域的分析中，垂直方向的快速傅立叶变换的低频系数的幅值会明显地增加，通过该低频系数以及结合水平方向的分析结果即可对人的行为状态进行判别，识别出人的头部是否在做有规律的运动，当人不动的时候，其各个频段的傅立叶系数也会很小，通过此可以判断头部是否静止不动。

上述方法的步骤(3)中，通过步骤(2)可以判别人的头部在一个短的时间段(采集到64个人脸所在的矩形区域的中心坐标点的时间)中是否在做垂直方向的有规律运动，小幅度运动或静止，而在驾驶时这三种状态应该是交替出现的，若在一定时间段(进行15次的快速傅立叶变换分析)中，垂直方向有规律运动状态的次数超过设定值，则可以判别为打盹行为。在步骤(3)中会对步骤(2)的执行次数进行计数，当步骤(2)执行了设定次数之后就进行行为分析，判断人是否在打盹。

本发明采用了模式识别技术以及统计判决的方法对打盹行为进行检测，具有非接触，鲁棒性高，实时性好的特点，与现有技术相比本发明的优点与积极效果具体有：

1.本发明针对动态序列图像对Adaboost法进行了改进。采用Adaboost法对人脸进行检测，动态地改变搜索的区域和初始搜索矩形框，提升了Adaboost法在动态序列图像中对人脸检测的精确度和速度。

2.傅立叶系数能反映信号在各频段的能量，从而基本上体现人头部运动轨迹的频率分布以及频率特征。

3.本发明采用图像处理和模式识别技术，对人脸所在的矩形区域的中心坐标点信息的采集没有任何环境限制，而且在信息采集的时候是非接触式的采集，对人没有影响，使用方便。

4.本发明采用快速傅立叶变换算法对采集到的64个人脸所在的矩形区域的中心坐标点进行频域变换，变换速度快，实时性好。当人在打盹时，其头部运动轨迹是一类正弦波的曲线，其快速傅立叶变换系数中低频成分的幅值会增大，在进行多次快速傅立叶变换判决之后进行一次行为判决，从而消除了一些误判的影响，提高了识别的正确率。

附图说明

图1为实施方式中的打盹行为检测实现流程图。

图2为实施方式中打盹时头部垂直方向的运动轨迹。

图3为实施方式中有规律运动(打盹)时快速傅立叶变换系数分布图(已过滤直流成分)。

图4为实施方式中小幅度运动时快速傅立叶变换系数分布图(已过滤直流成分)。

图5为实施方式中静止时快速傅立叶变换系数分布图(已过滤直流成分)。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步说明，但本发明的实施不限于此。基于快速傅立叶变换的打盹行为检测方法，具体步骤如下：

步骤一：人脸检测定位

步骤二：头部运动特征提取及状态判决

步骤三：打盹行为判决

以下进一步详细描述上述各个步骤，如图1，其中，步骤一的具体实施步骤为：

通过摄像头对人的头部进行图像采集，在获取动态序列图像的数据之后，首先要进行人脸定位，本发明采用的是较为成熟的Adaboost法对人脸进行检测。Adaboost法是通过查找搜索矩形框内的HAAR特征进行目标检测，在开始时设定初始搜索矩形框大小，之后按比例放大矩形框，直至整幅图像搜索完毕。本发明根据动态序列图像的特点对该方法进行了改进，实现方法如下：

(1)采用Adaboost法对人脸进行检测，当检测到人脸时，记录人脸所在矩形区域，求出人脸所在矩形区域中心的坐标并记录该坐标，若连续三次检测到人脸则可以认为那是一张真正的人脸，转到(2)启动动态人脸检测机制.

(2)根据记录的人脸所在矩形区域，引入缩放因子，把人脸所在矩形区域根据缩放因子进行缩小得出初始搜索矩形框，把人脸所在矩形区域根据缩放因子进行扩大得出终止搜索矩形框，并通过终止搜索矩形框把要搜索的图像区域提取出来，设定初始搜索矩形框后通过Adaboost法进行人脸检测。当连续10次检测不到人脸则转到(1)，否则重新记录人脸所在矩形区域，求出人脸所在矩形区域中心的坐标并记录该坐标，执行(2).

所述终止搜索矩形框的计算公式如下：

width₁＝width₀×scale

height₁＝height₀×scale

x₁＝x₀÷scale

y₁＝y₀÷scale

公式中scale为引入的缩放因子，width₀为人脸所在矩形区域的宽度，height₀为人脸所在矩形区域的高度，x₀为人脸所在矩形区域的左下角在检测图像中的水平方向的坐标，y₀为人脸所在矩形区域的左下角在检测图像中的垂直方向的坐标。width₁为终止搜索矩形框的宽度，height₁为终止搜索矩形框的高度，x₁为终止搜索矩形框的左下角在检测图像中的水平方向的坐标，y₁为终止搜索矩形框的左下角在检测图像中的垂直方向的坐标。初始搜索矩形框的计算公式如下：

width₂＝width₀÷scale

height₂＝height₀÷scale

x₂＝x₀×scale

y₂＝y₀×scale

公式中scale为引入的缩放因子，width₀为人脸所在矩形区域的宽度，height₀为人脸所在矩形区域的高度，x₀为人脸所在矩形区域的左下角在检测图像中的水平方向的坐标，y₀为人脸所在矩形区域的左下角在检测图像中的垂直方向的坐标。width₂为初始搜索矩形框的宽度，height₂为初始搜索矩形框的高度，x₂为初始搜索矩形框的左下角在检测图像中的水平方向的坐标，y₂为初始搜索矩形框的左下角在检测图像中的垂直方向的坐标。

步骤二的具体实施步骤为：

通过步骤一可以得到人脸所在矩形区域中心点的坐标，当人在打盹时，人脸所在矩形区域中心点的运动轨迹(垂直方向)如图2所示。在图2中可以看到，打盹时，人脸所在矩形区域中心的运动轨迹是一条类正弦波的曲线。当采集到64个人脸所在矩形区域中心坐标点的数据之后就进行一次快速傅立叶变换。打盹是一个人的头部在垂直方向上有规律的运动，在垂直方向上的快速傅立叶变换的低频段幅值系数会增加。图3是在垂直方向上有规律运动时的快速傅立叶变换的幅值系数图，从图中可以清楚地看出低频段的幅值明显地高于高频段的，而小幅度运动的快速傅立叶变换幅值系数图(图4)及静止时的快速傅立叶变换幅值系数图(图5)也是有其幅值特征，所以这三种运动的特征都是反映在低频段，通过分析快速傅立叶变换系数图的低频段可以区分这三种运动状态。

在进行快速傅立叶变换之后，就对在这一短时间段(采集64个人脸所在区域的中心坐标点的时间)中的人的状态进行判决，而判决的准则如下：

由于人在打盹时，其头部在垂直方向的运动是一有规律的类正弦运动，而此时在水平方向的运动则因人而异，所以在判别是否有规律运动时只需根据垂直方向的快速傅立叶变换系数图来判决，有规律运动时垂直方向的快速傅立叶变换幅值系数图与图3类似，当垂直方向的快速傅立叶变换的低频段幅值系数超过设定数值(如72)，则判断为垂直方向的有规律运动；；其他状态均判断为小幅度运动。当判决不是垂直方向的有规律运动时，则判别是否为静止，静止时，其快速傅立叶变换系数图的各个频段的幅值均较小，如图5所示。当垂直方向和水平方向的快速傅立叶变换的低频段幅值系数都低于另一设定数值(如24)时，则判断为静止。当不属于之前两种状态时，则直接判断为小幅度正常运动状态。

在判决完成后，所得出的结果对应的状态计数器会自动加1，当三种状态对应的计数器的数值加起来为15，则跳转到步骤三进行打盹行为判决，否则重复执行步骤二。

步骤三的具体实施步骤为：

当三种状态对应的状态计数器的值加起来为15时，则进行一次打盹行为的判决。当在这一时间段(进行15次傅立叶分析的时间)中，垂直方向上的有规律运动的状态次数达到8次或以上时，则可以证明目前垂直方向上的有规律运动占主导，在正常情况下有规律的头部运动不会在一个时间段中占主导的，所以据此可以判定为人目前正在打盹。

Claims

1.一种基于快速傅立叶变换的打盹行为检测方法，其特征在于包括如下步骤：

(1)人脸检测定位：采用Adaboost法针对动态图像序列，动态地改变搜索区域以及初始搜索矩形框，对人脸进行检测，然后求出人脸中心的坐标并记录该坐标；所述Adaboost法采用摄像头对图像进行采集，得到动态序列图像，通过动态地改变搜索区域以及初始搜索矩形框，提升Adaboost法的检测精确度和速度，具体包括：

(3.1）采用Adaboost法对人脸进行检测，当连续在设定次数内检测到人脸后，记录人脸所在矩形区域，求出人脸中心的坐标并记录该坐标，转到步骤(3.2)；

(3.2)根据记录的人脸所在矩形区域，引入缩放因子，把人脸所在矩形区域根据缩放因子进行缩小得出初始搜索矩形框，把人脸所在矩形区域根据缩放因子进行扩大得出终止搜索矩形框，再采用Adaboost法在终止搜索矩形框区域内对人脸进行检测，当连续在设定次数内检测不到人脸则转到步骤(3.1)，否则重新记录人脸所在矩形区域，求出人脸中心的坐标并记录该坐标，执行步骤(3.2)；

(2)头部运动特征提取：在采集到设定数量的人脸中心坐标点之后，对该坐标点数据进行快速傅立叶变换，把时域信息转换到频域，并根据每次快速傅立叶变换得出的低频段的幅值系数进行分析，把头部行为分为静止，小幅度运动，垂直方向有规律运动三种状态；所述根据每次快速傅立叶变换得出的低频段的幅值系数进行分析是把头部的运动轨迹分为垂直方向以及水平方向，根据两个方向的快速傅立叶变换的低频段幅值系数对头部运动状态进行判别，当垂直方向的快速傅立叶变换的低频段幅值系数超过设定数值，则判断为垂直方向的有规律运动；当垂直方向和水平方向的快速傅立叶变换的低频段幅值系数都低于另一设定数值时，则判断为静止；其他状态均判断为小幅度运动；

2.根据权利要求1所述的方法，其特征在于所述初始搜索矩形框的计算公式如下：