CN103955671A - 基于快速判别公共向量算法的人体行为识别方法 - Google Patents

Abstract

本发明公开一种基于快速判别公共向量的人体行为识别方法，其涉及模式识别领域，以快速判别公共向量算法提高分类速率，解决人体行为识别中的小样本问题为目的，步骤如下：对输入的视频序列进行分帧处理、灰度处理和去噪处理；采用时间差分法对分帧后的图像进行运动人体目标检测，提取目标前景；对目标区域大小进行归一化处理；采用k-means聚类的方法得到行为序列的关键帧；采用快速判别公共向量对行为进行分类。本发明提供的人体行为识别方法在现有的技术基础上有效地提高了识别效率，解决了人体行为识别中的小样本问题。本发明可用于机器学习和模式识别范畴内，除了人体行为识别以外，还可用于图像识别和目标识别等领域。

Description

基于快速判别公共向量算法的人体行为识别方法

技术领域

本发明是一种人体行为识别方法，具体地说，是涉及一种基于快速判别公共向量算法的人体行为识别方法，可用于行为识别、图像识别、目标识别等。

背景技术

对基于视频的人体行为进行研究具有重要的学术意义。该研究领域涉及图像处理、计算机视觉、模式识别、人工智能等多个学科。近些年来，基于视频图像序列的人体运动行为的分析与理解一直是计算机视觉和模式识别领域备受关注也最具挑战性的研究方向之一。研究基于视觉的人体运动行为识别技术，其实质就在于通过一定的学习让计算机能够在视频图像序列中实现对运动目标的检测、跟踪和分类，从而使得计算机也能够像人和其他生物一样对外界发生的行为进行识别和理解。它是计算机视觉的高级处理阶段，涉及到图像处理，模式识别，机器学习等领域的许多核心课题，有着非常高的理论和应用价值，特别是在视频监控方面有着广泛的应用需求。

人体行为分析与识别是计算机视觉与模式识别中一个重要的研究领域，在智能监控、高级人机交互等方面有着广泛的应用前景，目前在该领域已成为备受关注的研究方向之一。一个人体行为分析与识别应用系统一般要求能对特定环境中的一类特殊人群的异常行为进行分析与检测，如在机场、车站等公共场所对歹徒的有害行为进行监控识别，在医院病房中对病人的异常表现进行检测，或在家庭居住环境中对老人或儿童的危险行为进行识别并实时报警等。随着我省在经济文化和社会保障体系等方面的发展，越来越多公共场所和医院、福利中心等单位需要对特殊人群进行监控，及时并自动发现其异常行为并实施报警，降低危险的产生避免严重的后果，具有重要的研究价值与社会意义。

经专利查询统计，国内外已有不少人体行为识别方面的专利：例如，一种基于鲁棒相对属性的行为识别方法(CN201310290428)、计算机系统中基于先验知识聚类的人体行为建模识别方法(CN201310213442)、一种基于归一化R变换分层模型的人体行为识别算法(CN201210569908)等。

发明内容

本发明要解决传统的判别公共向量算法分类速度慢和现有的人体行为识别方法存在的针对小样本问题识别效果差的缺点，提供一种基于快速判别公共向量算法的人体行为识别方法。

本发明解决其技术问题所采用的技术方案是：

一种基于快速判别公共向量算法的人体行为识别方法，包括以下步骤：

步骤一，对输入的视频序列进行预处理，预处理分为以下3个过程；

1.1视频分帧处理，对视频数据的分帧处理，是指把格式为AVI的视频数据转化为连续的图像序列；首先对读取的视频数据进行分帧处理，视频转化之后再对得到的图像序列做进一步的处理，达到改善图像质量的目的；

1.2灰度处理，灰度处理是指把彩色图像通过一定的方式转化为不包含色彩信息只表示亮度信息的灰度图，通过黑白的不同层级来表示图像；

1.3去噪处理，系统采用闭运算对灰度图像进行形态学处理，闭运算用来填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积；

步骤二，对分帧后的图像进行运动人体目标检测，提取目标前景；时间差分法能够适应环境的动态变化，对环境亮度变化不敏感，无需获得背景图像，运算量小，易于实现，因此本文采用时间差分法检测运动人体目标，具体实现如下：

2.1读取视频中的图像序列A，每2帧取1帧，得到新的图像序列B；

2.2对图像序列B进行灰度化处理，帧差法(后帧减前帧)得到差分序列C，

差分公式为：

C(i)＝B(i+1)-B(i),i＝1,…,n-1.

C(i)表示第i个进过图像差分计算后得到的视频序列，B(i)表示图像序列B中的第i张图像，n代表B中的图像个数；

2.3自动阈值分割(OTSU)法进行二值化，连通区域连接得到目标人体区域；

2.4对二值化结果进行形态学处理，得到相对完整的人体轮廓图；

步骤三，目标区域处理；在检测得到运动人体目标区域后，对目标区域大小进行归一化处理，使得目标图像大小统一为80×60像素；

步骤四，提取关键帧；采用k-means聚类的方法得到行为序列的关键帧；具体实现如下：

4.1每个聚类都需要确定一个初始聚类中心，这样就有k个初始聚类中心；

4.2将样本集合中的每个样本按照最小距离原则分配到最邻近聚类；

4.3计算每个聚类中的样本均值作为新的聚类中心；

4.4重复步骤三和四，直到聚类中心位置不再发生变化；

4.5结束，得到k个聚类；

通过上述过程，完成k-means聚类得到的k个聚类中心，或者是距离这k个聚类中心最近的k个行为姿态，就是我们需要提取得到的k个行为关键帧；

步骤五，采用快速判别公共向量对行为进行分类；具体过程如下：

5.1从一个行为序列中提取的k个关键帧合并为一个k×80×60维的行向量，一个一维行向量就是一个行为样本；设定训练样本集由C个类组成，每一类包含m个样本数，是一个n维列向量，表示第i个类中的第k个样本，总的训练样本数为N＝mC；

5.2选择每一类中的第一个样本作为减数向量，判别向量，k＝1,…,m-1；第i类的判别子空间B_i可以定义为，所有类的子空间相加可以得到完整的判别子空间

$B=B_1+...+B_c=\mathrm{apan}\{b_1^1,...,b_{m-1}^1,b_1^2,...,b_{m-1}^c\};$

5.3通过Gram-Schmidt正交处理对判别向量正交化，得到：

$\begin{array}{c}{u}_1=\{u_1^1,u_2^1,...,u_{m-1}^1,u_1^2,...,u_{m-1}^c\},\\ {\stackrel{\‾}{U}}_1=\{v_m^1,...,v_n^1,v_m^2,...,v_n^c\}\end{array}$

5.4令x_test为待分类的测试样本，,j＝1,…,C为第j类的减数向量。对应于每一类，可以得到判别向量x_test-,j＝1,…,C；把该判别向量插入到判别子空间B的正交向量集中，得到对应于某一分类的判别子空间：

$B_2^j=\mathrm{span}\{u_1^1,...,u_{m-1}^1,u_1^2,...,u_{m-1}^c,x_{\mathrm{test}}-x_1^j\},j=1,...,C$

5.5对进行Gram-Schmidt正交化处理，可以得到正交向量集：

$U_2^j=\mathrm{span}\{u_1^1,u_2^1,...,u_{m-1}^1,u_1^2,...,u_{m-1}^c,-u_m^j\},j=1,...,C;$

5.6选择作为正交单位向量集，那么可以得到i＝1,…,C,k＝m+1,…,n,l＝1,…,m，通过扩展W^j可以得到新的非判别子空间且满足

因为位于之前定义的非判别子空间B^⊥中，所以所有的特征向量在向上的标量投影是相等的：

${\left(x_1^1\right)}^T{u}_m^j=...={\left(x_m^1\right)}^T{u}_m^j={\left(x_1^2\right)}^T{u}_m^j=...={\left(x_m^c\right)}^T{u}_m^j.$

待测向量x_test在上的投影是位于中，可见该标量投影系数在数值上不同于等式(4-18)中的系数，由此，i＝1,…,C，k＝1,…,m；

5.7由5.5、5.6推理可得快速判别公共向量的分类标准如下：

$C^{*}=\underset{k}{\arg \min }\left\{\right|{(x_{\mathrm{test}}-x_1^k)}^T\·u_m^k\left|\right\}.$

本发明的技术构思：线性判别分析(Linear Discriminant Analysis，LDA)算法是一种有监督的特征提取方法，是降维算法中的典型代表，获得了广泛应用。其基本原理是通过定义类内散步矩阵和类间散步矩阵，通过极大化Fisher准则完成对线性变换矩阵的求解。但在小样本(small sample size)问题下，由于类内散步矩阵接近奇异，从而导致LDA失效。近年来，小样本问题得到人们的广泛关注，提出了许多修改方案。PCA+LDA方法首先通过PCA降维保证类内散步矩阵是非奇异的，再利用LDA算法进行特征提取。PCA降维很可能会丢失一些关键的判别信息，从而影响接下来的LDA特征提取效果。判别公共向量方法(DCV)是为了处理样本数不充分情况而提出的，是一种能够有效处理小样本问题的降维识别算法。人体行为识别即是实际应用中的小样本问题，因此本系统采用判别公共向量(DCV)方法来实现对样本特征数据的降维和识别。

传统的判别公共向量分类方法通过计算特征向量之间的距离进行分类，而改进后的快速判别公共向量分类方法则通过标量计算完成分类。理论分析及复杂度计算表明快速判别公共向量分类方法的分类速率是传统判别公共向量分类方法的2倍左右，且两者具有相同的识别率。

本发明的优点是：与传统的判别公共向量分类算法相比，快速判别公共向量分类算法具有相同的识别率，而后者的分类速率是前者的两倍；与现有的其他人体行为识别算法相比，本系统使用的快速判别公共向量分类算法能够有效处理“小样本问题”，提高了识别效率。

附图说明

图1是Weizmann人体行为分类数据库行为“走”一个周期的分步动作；

图2是彩色图(左)与灰度图(右)对比图；

图3是差分图像的二值化轮廓图；

图4是目标区域示例图；

图5是目标区域大小归一化前后比较示例图；

图6是行为“跑”关键帧；

图7是本发明的流程图；

图8是人体行为识别系统的层级结构设计；

本发明具体步骤：

参照附图：

一种基于快速判别公共向量算法的人体行为识别方法，包括以下步骤：

步骤一，对输入的视频序列进行预处理，预处理分为以下3个过程；

1.1视频分帧处理，对视频数据的分帧处理，是指把格式为AVI的视频数据转化为连续的图像序列；首先对读取的视频数据进行分帧处理，视频转化之后再对得到的图像序列做进一步的处理，达到改善图像质量的目的；

1.2灰度处理，灰度处理是指把彩色图像通过一定的方式转化为不包含色彩信息只表示亮度信息的灰度图，通过黑白的不同层级来表示图像；

1.3去噪处理，系统采用闭运算对灰度图像进行形态学处理，闭运算用来填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积；

步骤二，对分帧后的图像进行运动人体目标检测，提取目标前景；时间差分法能够适应环境的动态变化，对环境亮度变化不敏感，无需获得背景图像，运算量小，易于实现，因此本文采用时间差分法检测运动人体目标，具体实现如下：

2.1读取视频中的图像序列A，每2帧取1帧，得到新的图像序列B；

2.2对图像序列B进行灰度化处理，帧差法(后帧减前帧)得到差分序列C，

差分公式为：

C(i)＝B(i+1)-B(i),i＝1,…,n-1.

C(i)表示第i个进过图像差分计算后得到的视频序列，B(i)表示图像序列B中的第i张图像，n代表B中的图像个数；

2.3自动阈值分割(OTSU)法进行二值化，连通区域连接得到目标人体区域；

2.4对二值化结果进行形态学处理，得到相对完整的人体轮廓图；

步骤三，目标区域处理；在检测得到运动人体目标区域后，对目标区域大小进行归一化处理，使得目标图像大小统一为80×60像素；

步骤四，提取关键帧；采用k-means聚类的方法得到行为序列的关键帧；具体实现如下：

4.1每个聚类都需要确定一个初始聚类中心，这样就有k个初始聚类中心；

4.2将样本集合中的每个样本按照最小距离原则分配到最邻近聚类；

4.3计算每个聚类中的样本均值作为新的聚类中心；

4.4重复步骤三和四，直到聚类中心位置不再发生变化；

4.5结束，得到k个聚类；

通过上述过程，完成k-means聚类得到的k个聚类中心，或者是距离这k个聚类中心最近的k个行为姿态，就是我们需要提取得到的k个行为关键帧；

步骤五，采用快速判别公共向量对行为进行分类；具体过程如下：

5.1从一个行为序列中提取的k个关键帧合并为一个k×80×60维的行向量，一个一维行向量就是一个行为样本；设定训练样本集由C个类组成，每一类包含m个样本数，是一个n维列向量，表示第i个类中的第k个样本，总的训练样本数为N＝mC；

5.2选择每一类中的第一个样本作为减数向量，判别向量k＝1,…,m-1；第i类的判别子空间Bi可以定义为所有类的子空间相加可以得到完整的判别子空间

$B=B_1+...+B_c=\mathrm{apan}\{b_1^1,...,b_{m-1}^1,b_1^2,...,b_{m-1}^c\};$

5.3通过Gram-Schmidt正交处理对判别向量正交化，得到：

$\begin{array}{c}{u}_1=\{u_1^1,u_2^1,...,u_{m-1}^1,u_1^2,...,u_{m-1}^c\},\\ {\stackrel{\‾}{U}}_1=\{v_m^1,...,v_n^1,v_m^2,...,v_n^c\}\end{array}$

5.4令x_test为待分类的测试样本，,j＝1,…,C为第j类的减数向量。对应于每一类，可以得到判别向量x_test-,j＝1,…,C；把该判别向量插入到判别子空间B的正交向量集中，得到对应于某一分类的判别子空间：

$B_2^j=\mathrm{span}\{u_1^1,...,u_{m-1}^1,u_1^2,...,u_{m-1}^c,x_{\mathrm{test}}-x_1^j\},j=1,...,C$

5.5对进行Gram-Schmidt正交化处理，可以得到正交向量集：

$U_2^j=\mathrm{span}\{u_1^1,u_2^1,...,u_{m-1}^1,u_1^2,...,u_{m-1}^c,-u_m^j\},j=1,...,C;$

5.6选择作为正交单位向量集，那么可以得到i＝1,…,C,k＝m+1,…,n,l＝1,…,m，通过扩展Wj可以得到新的非判别子空间且满足

因为位于之前定义的非判别子空间B^⊥中，所以所有的特征向量在向ujm上的标量投影是相等的：

${\left(x_1^1\right)}^T{u}_m^j=...={\left(x_m^1\right)}^T{u}_m^j={\left(x_1^2\right)}^T{u}_m^j=...={\left(x_m^c\right)}^T{u}_m^j.$

待测向量x_test在上的投影是位于中，可见该标量投影系数在数值上不同于等式(4-18)中的系数，由此，，i＝1,…,C，

k＝1,…,m；

5.7由5.5、5.6推理可得快速判别公共向量的分类标准如下：

$C^{*}=\underset{k}{\arg \min }\left\{\right|{(x_{\mathrm{test}}-x_1^k)}^T\·u_m^k\left|\right\}.$

本发明的系统包含两个部分：行为训练子系统和行为识别子系统。行为训练子系统的具体实现步骤如下：

第一步：行为训练视频获取与整理，得到符合本发明需求的行为训练视频集。

第二步：视频分帧处理。对行为训练视频数据进行分帧处理，把格式为AVI的视频数据转化为连续的图像序列。

第三步：对第二步中得到的图像序列进行预处理，包括灰度处理和去噪处理。通过灰度处理把彩色图像通过一定的方式转化为不包含色彩信息只表示亮度信息的灰度图，通过黑白的不同层级来表示图像；系统采用闭运算对灰度图像进行形态学处理，闭运算用来填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积。

第四步：读取原始图像序列A，每2帧取1帧，得到新的图像序列B，减少数据量。

第五步：采用时间差分法对第四步得到的图像序列B中每一帧图像进行运动人体目标检测，提取目标前景。

第六步：目标区域处理。在检测得到运动人体目标区域后，系统对目标区域大小进行归一化处理，使得目标图像大小统一为80×60像素。

第七步：提取关键帧。本系统采用k-means聚类的方法得到行为序列的关键帧。

第八步：从一个行为序列中提取的k个关键帧合并为一个k×80×60维的行向量，一个一维行向量就是一个行为样本。

第九步：重复以上8个步骤，得到由C个行为类组成，每一行为类包含m个样本数的行为训练样本集。

第十步：采用快速判别公共向量方法提取每一类的判别公共向量模板。

行为识别子系统实现步骤如下：

第一步：获得行为识别视频数据，按行为训练视频集的格式进行预处理，得到系统适用的行为识别视频数据。

第二步：视频分帧处理。对行为识别视频数据进行分帧处理，把格式为AVI的视频数据转化为连续的图像序列。

第三步：对第二步中得到的图像序列进行预处理，包括灰度处理和去噪处理。通过灰度处理把彩色图像通过一定的方式转化为不包含色彩信息只表示亮度信息的灰度图，通过黑白的不同层级来表示图像；系统采用闭运算对灰度图像进行形态学处理，闭运算用来填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积。

第四步：读取原始图像序列A，每2帧取1帧，得到新的图像序列B，减少数据量。

第五步：采用时间差分法对第四步得到的图像序列B中每一帧图像进行运动人体目标检测，提取目标前景。

第六步：目标区域处理。在检测得到运动人体目标区域后，系统对目标区域大小进行归一化处理，使得目标图像大小统一为80×60像素。

第七步：提取关键帧。本系统采用k-means聚类的方法得到行为序列的关键帧。

第八步：从一个行为序列中提取的k个关键帧合并为一个k×80×60维的行向量，一个一维行向量就是一个行为样本。得到待识别视频数据的特征样本。

第九步：采用快速判别公共向量的分类算法，计算待识别样本与每一类行为判别公共向量模板的匹配度，对待识别样本进行分类。

Claims (1)

1.一种基于快速判别公共向量算法的人体行为识别方法，包括以下步骤：

步骤一，对输入的视频序列进行预处理，预处理分为以下3个过程；

1.1视频分帧处理，对视频数据的分帧处理，是指把格式为AVI的视频数据转化为连续的图像序列；首先对读取的视频数据进行分帧处理，视频转化之后再对得到的图像序列做进一步的处理，达到改善图像质量的目的；

1.2灰度处理，灰度处理是指把彩色图像通过一定的方式转化为不包含色彩信息只表示亮度信息的灰度图，通过黑白的不同层级来表示图像；

1.3去噪处理，系统采用闭运算对灰度图像进行形态学处理，闭运算用来填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积；

步骤二，对分帧后的图像进行运动人体目标检测，提取目标前景；时间差分法能够适应环境的动态变化，对环境亮度变化不敏感，无需获得背景图像，运算量小，易于实现，因此本文采用时间差分法检测运动人体目标，具体实现如下：

2.1读取视频中的图像序列A，每2帧取1帧，得到新的图像序列B；

2.2对图像序列B进行灰度化处理，帧差法(后帧减前帧)得到差分序列C，

差分公式为：

C(i)＝B(i+1)-B(i),i＝1,…,n-1.

C(i)表示第i个进过图像差分计算后得到的视频序列，B(i)表示图像序列B中的第i张图像，n代表B中的图像个数；

2.3自动阈值分割(OTSU)法进行二值化，连通区域连接得到目标人体区域；

2.4对二值化结果进行形态学处理，得到相对完整的人体轮廓图；

步骤三，目标区域处理；在检测得到运动人体目标区域后，对目标区域大小进行归一化处理，使得目标图像大小统一为80×60像素；

步骤四，提取关键帧；采用k-means聚类的方法得到行为序列的关键帧；具体实现如下：

4.1每个聚类都需要确定一个初始聚类中心，这样就有k个初始聚类中心；

4.2将样本集合中的每个样本按照最小距离原则分配到最邻近聚类；

4.3计算每个聚类中的样本均值作为新的聚类中心；

4.4重复步骤三和四，直到聚类中心位置不再发生变化；

4.5结束，得到k个聚类；

通过上述过程，完成k-means聚类得到的k个聚类中心，或者是距离这k个聚类中心最近的k个行为姿态，就是我们需要提取得到的k个行为关键帧；

步骤五，采用快速判别公共向量对行为进行分类；具体过程如下：

5.1从一个行为序列中提取的k个关键帧合并为一个k×80×60维的行向量，一个一维行向量就是一个行为样本；设定训练样本集由C个类组成，每一类包含m个样本数，是一个n维列向量，表示第i个类中的第k个样本，总的训练样本数为N＝mC；

5.2选择每一类中的第一个样本作为减数向量，判别向量，k＝1,…,m-1；第i类的判别子空间B_i可以定义为，所有类的子空间相加可以得到完整的判别子空间

$B=B_1+...+B_c=\mathrm{apan}\{b_1^1,...,b_{m-1}^1,b_1^2,...,b_{m-1}^c\};$

5.3通过Gram-Schmidt正交处理对判别向量正交化，得到：

$\begin{array}{c}{u}_1=\{u_1^1,u_2^1,...,u_{m-1}^1,u_1^2,...,u_{m-1}^c\},\\ {\stackrel{\‾}{U}}_1=\{v_m^1,...,v_n^1,v_m^2,...,v_n^c\}\end{array}$

5.4令x_test为待分类的测试样本，,j＝1,…,C为第j类的减数向量。对应于每一类，可以得到判别向量x_test-,j＝1,…,C；把该判别向量插入到判别子空间B的正交向量集中，得到对应于某一分类的判别子空间：

$B_2^j=\mathrm{span}\{u_1^1,...,u_{m-1}^1,u_1^2,...,u_{m-1}^c,x_{\mathrm{test}}-x_1^j\},j=1,...,C$

5.5对进行Gram-Schmidt正交化处理，可以得到正交向量集：

$U_2^j=\mathrm{span}\{u_1^1,u_2^1,...,u_{m-1}^1,u_1^2,...,u_{m-1}^c,-u_m^j\},j=1,...,C;$

5.6选择作为正交单位向量集，那么可以得到i＝1,…,C,k＝m+1,…,n,l＝1,…,m，通过扩展W^j可以得到新的非判别子空间，且满足；

因为，位于之前定义的非判别子空间B^⊥中，所以所有的特征向量在向上的标量投影是相等的：

${\left(x_1^1\right)}^T{u}_m^j=...={\left(x_m^1\right)}^T{u}_m^j={\left(x_1^2\right)}^T{u}_m^j=...={\left(x_m^c\right)}^T{u}_m^j.$

待测向量x_test在上的投影是位于中，可见该标量投影系数在数值上不同于等式(4-18)中的系数，由此，i＝1,…,C，k＝1,…,m；

5.7由5.5、5.6推理可得快速判别公共向量的分类标准如下：

$C^{*}=\underset{k}{\arg \min }\left\{\right|{(x_{\mathrm{test}}-x_1^k)}^T\·u_m^k\left|\right\}.$