CN104036243B - 一种基于光流信息的行为识别方法 - Google Patents

Abstract

本发明公开了一种基于光流信息的行为识别方法，属于计算机图像处理技术领域。本发明包括：获取单行为视频序列光流图；将光流图的每个光流矢量通过邻域中的所有光流矢量的方向信息确定其运动方向模式；并利用中值滤波确定幅度值，再按幅度值划分为不同的运动幅度模式，由光流矢量运动方向模式和运动幅度模式确定每个光流矢量运动模式；按行、列将每幅光流图划分为多个矩形块，统计每个矩形块中所有光流矢量的运动模式形成运动模式直方图，级联每幅光流图的所有矩形块的直方图形成光流图的特征向量，再级联所有光流图的特征向量得到当前行为特征向量，基于SVM对获取的不同行为特征向量进行训练和识别。本发明在行为识别时，对复杂背景的抑制能力强。

Description

一种基于光流信息的行为识别方法

技术领域

本发明属于计算机图像处理技术领域，主要涉及对视频图像中的行为识别。

背景技术

人体行为(动作行为)识别在计算机视觉中是一个具有吸引力及挑战性的问题。人体行为识别是指对人体的运动模式、姿态进行分析、理解与识别，是视频中人体运动分析与理解的高级视觉研究，属于人工智能的范畴。人体运动的视觉分析理解、动作行为识别可以应用于很多领域，比如：运动捕捉，视频监控，人机交互，环境控制与监视，体育运动与娱乐等等。特别是在视频监控方面，随着摄像机等安防监控设备成本的日益降低，视频监控系统可以广泛地应用于银行、邮电、教育、交通、公安、监狱、法庭、大型公共设施、公共场所(银行、医院、停车场、商店、等公共场所甚至家庭庭院内)、大型仓库等场所，在公共安全领域起着日益重要的作用。由于巨大的应用需求，基于计算机视觉的行为识别成为学术界和工业界研究的热点。

人体行为识别是计算机视觉中极富挑战的工作。这主要是由于视频拍摄时不断变化的视角，视频中运动人体外观的大小和颜色差异，个体运动时的幅度差异，复杂的背景等等因素都给识别带来了较大困难。行为识别发展多年，按用作识别的特征信息分类大体可分为两类：(1)基于高层次的形状信息；(2)基于低层次的外观和运动细节信息。第(1)种利用高层信息进行识别，它包括利用人体运动模式的标准模板、运动人体的轮廓信息、和3D时空卷。第(2)种利用低层信息，这也是近年来研究比较多的方向。

当前，基于底层信息的行为识别方法主要有：

(1)局部描述符。这类方法是在视频序列中找到时空兴趣点(STIP)，然后用适当的描述子将包围时空兴趣点一定大小的立方体的局部信息描述出来。然后将这些描述符进行聚类，构建词袋。进而用词袋中的元素去描述一个视频，形成特征向量。该方法能够高效的提取运动信息，但是在相机抖动和背景复杂的情况下，人体的运动信息容易被淹没在背景运动的信息中。

(2)基于光流的方法。该方法先要估计视屏序列中连续帧之间的光流信息。光流法提供了一种高效的提起画面中局部动态的方法。但是光流信息提取存在较大误差，不可靠或者错误的估计都将误导后续的识别。现有的HOF特征是对一定大小的网格在几个方向上对运动幅度进行加权，形成直方图，但该直方图对运动幅度没有量化，导致其识别鲁棒性较差。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种对背景复杂具有抑制作用的行为识别技术。

本发明的基于光流信息的行为识别方法，包括下列步骤：

步骤1：提取单行为视频序列的光流信息，得到两幅以上的光流图；

步骤2：确定各光流图的每个光流矢量m的运动模式：

步骤2-1：在光流矢量m的邻域取k×k网格，将所述k×k网格所在的平面划分为等间隔度数的a个方向区间，所述方向区间的取值范围为(0°，360°]，并设定0°表示静止状态模式，基于所述a个方向区间，得到a+1种运动方向模式，其中k为大于1的奇数，a为大于1的整数；

对k×k网格中的各个光流矢量按方向在所述a+1种运动方向模式上进行投票，取得票最多的运动方向模式为光流矢量m的运动方向，取得票最多的运动方向模式所对应的方向区间或取值为k×k网格的主运动方向；

步骤2-2：基于k×k网格中落在所述主运动方向的光流矢量，按幅度值进行中值滤波，并将滤波结果作为光流矢量m的幅度值；

步骤2-3：基于光流矢量m的幅度值，根据预设运动幅度模式聚类类别，对各光流矢量m进行聚类处理，确定光流矢量m的运动幅度模式；

步骤2-4：基于光流矢量m的运动方向模式和运动幅度模式，确定各个光流矢量m的运动模式；

步骤3：确定步骤1所述单行为视频序列的行为特征向量：

步骤3-1：分别将每幅光流图按行、列划分为h×l个矩形块，统计每个矩形块中的各光流矢量m的运动模式，形成各个矩形块的运动模式直方图；将得到的h×l个运动模式直方图级联构成各光流图的特征向量；

步骤3-2：将各光流图的特征向量级联后得到当前行为特征向量；

步骤4：基于支持向量机SVM对步骤3获取的不同的行为特征向量进行训练和识别。

由于采用了上述技术方案，本发明的有益效果是：

(1)对已提取的光流图的每个光流矢量m通过邻域中的所有光流矢量m的方向信息确定中心光流矢量m的运动方向模式，并利用中值滤波确定其幅度值，从而能够很好的抑制由于光流计算时带来的误差和错误；

(2)基于光流矢量m中值滤波确定的幅度值，对光流矢量m的幅度进行聚类，按幅度值划分为不同的运动幅度模式，由光流矢量m运动方向模式和运动幅度模式确定每个光流矢量m运动模式，对因视频采集设备抖动造成的运动干扰信息有一定的抑制作用；

(3)对光流矢量m幅度量化(幅度聚类)使得运动模式更加完备，表征运动信息更精细化，量化后用不同等级来表征运动幅度模式，而不是用运动的绝对幅度值，从而消除不同形体大小的人(如小孩和成年人)在做相同运动模式时因运动幅度尺度不同而带来的差异，使系统对不同形体大小，不同运动尺度的人体行为识别具有更好的鲁棒性。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式，对本发明作进一步地详细描述。

本发明的基于光流信息的行为识别方法的主要流程包括：

步骤S100：提取单行为视频序列的光流图；

步骤S200：以网格为单位对光流图中的各光流矢量m进行运动模式编码；

步骤S300：运动模式直方图统计，获取行为特征向量；

步骤S400：基于支持向量机SVM(Support Vector Machine)分类器对行为特征向量进行分类训练和识别。

各步骤具体执行过程如下：

步骤S100可采取与现有的行为识别中关于光流图的获取相同的方式获取，在本具体实施方式中，可通过下述步骤获取：

步骤S101：调整单行为视频序列(所谓单行为视频，即对待处理的视频进行相应的裁剪，使得当前输入的视频序列中只包含一种行为。或者是在输入的视频序列中，标识出单个行为在视频序列的起始和结束帧)图片的大小，以降低后续计算的计算量，即对视频图像进行下采样处理，将图像大小为m×n矩阵的原始图像调整为c×d矩阵(c≤m,d≤n)；

步骤S102：计算连续帧之间的光流信息：

从单行为的视频序列中等距离抽取s个切片，所述切片表示单行为视频序列中一段连续视频帧，其中s为自然数，s的大小根据动作或视频持续的时间长度自行选取，一般取2-4；

在每个切片中选取3帧等间隔视频图像：前一帧I(t-Δt)，当前帧I(t)，后一帧I(t+Δt)，Δt为每两帧之间的间隔，其中Δt可根据需要取值，其取区间为[1，5]中的整数值；

用光流算法(例如LK(Lucas-Kanade)算法)分别对每个切片中I(t-Δt)与I(t)，I(t)与I(t+Δt)求取光流矢量，得到2幅光流图，s个切片共2s幅光流图。

步骤S200：以网格为单位确定每幅光流图中的各光流矢量m的行运动模式：

步骤S201：对给定的光流失量m，在其领域取k×k网格(k取大于1的奇数)，将所述k×k网格所在的平面划分为等间隔度数的a(a为大于1的整数，a值越大则表示对运动方向的量 化越精细)个方向区间，每个方向区间间隔为360/a°，每个区间代表一种运动方向模式，并设定0°表示静止状态模式(无运动方向)得到a+1种运动方向模式。例如，将平面分为8个方向区间，每个方向区间的取值范围可表示为(0°，45°],(45°，90°]，(90°，135°]，(135°，180°]，(180°，225°]，(225°，270°]，(270°，315°]，(315°，360°]，再加上1个静止状态模式共9种运动方向模式。

对k×k网格中的各个光流矢量按方向在所述a+1种运动方向模式上进行投票，取得票最多的运动方向模式为光流矢量m的运动方向，取得票最多的运动方向模式所对应的方向区间或取值为k×k网格的主运动方向；

步骤S202：基于k×k网格中落在其主运动方向的各光流矢量，按幅度值进行中值滤波，并将滤波结果作为光流矢量m的幅度值；

步骤S203：将一幅光流图上全部光流矢量按上述操作得到的对应的幅度值后，进行聚类处理，根据预设运动幅度模式聚类类别数C(C为整数，C＞1)，对各光流矢量m进行聚类处理，确定光流矢量m的运动幅度模式，即光流矢量m所落在的聚类类别则表示该光流矢量m的运动幅度模式；例如：若C＝2时，则得到的2类分别代表静止、运动两种运动模式；若C＝3，则得到3类分别代表静止、小幅运动、大幅运动三种幅度模式。C越大，则表明对运动幅度的量化越精细，各类别所对应的幅度取值范围基于应用场景进行设定。

步骤S204：将光流矢量m的运动方向模式和运动幅度模式进行联合编码，例如基于局部三值模式LTP进行联合编码。由于运动方向模式有a+1种情况，运动幅度模式有C种模式，联合编码后得到光流矢量m的运动模式一共有C(a+1)种模式，则每一个光流矢量m对应C(a+1)种运动模式中的一种。

步骤S300：对每幅光流图进行运动模式统计，形成运动模式直方图，从而获取当前单行为视频序列所对应的动作行为的行为特征向量：

步骤S301：将每幅光流图按行、列划分为h×l(h、l的取值基于实际应用需求进行设置，一般取1-5中的整数值)个矩形块，分别统计所划分的各矩形块中所包含的光流矢量的运动模式，形成每个矩形块的运动模式直方图，每个矩形块所形成的运动直方图的柱状个数和光流矢量m的运动模式的种类数相同，为C(a+1)；

步骤S302：再将h×l个运动直方图级联形成一个代表一副光流图的特征向量，该特征向量为hlC(a+1)维；

步骤S303：将2s幅光流图所对应的特征向量进行级联，得到当前单行为视频序列的行为 特征向量，则代表一个动作行为的特征向量维度为2shlC(a+1)。在实际操作中各参数可基于处理需求选取适当的值(例如设定s＝3,h＝2,l＝2,C＝3,a＝4,一个动作行为的特征向量维度为360维)，从而使得到的样本维度比用原始的HOF特征去表征整个行为时的维度低，有利于后期的训练和分类。

步骤S400：基于支持向量机SVM对步骤S300获取的不同动作行为的行为特征向量进行训练和识别，具体的训练和识别为现有技术，此处不再详述。

采用上述方法，在Matlab平台上进行本发明处理方法的仿真，通过大量的实验证明，本发明提出的基于光流块的人体动作行为特征的表示方法是一种高效、简单的特征描述方法，基于其的行为识别方法，能够满足实时性的要求，对相机抖动和背景复杂有较强的抑制能力。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (4)

1.一种基于光流信息的行为识别方法，其特征在于，包括下列步骤：

步骤1：提取单行为视频序列的光流信息，得到两幅以上的光流图；

步骤2：确定各光流图的每个光流矢量m的运动模式：

步骤2-1：在光流矢量m的邻域取k×k网格，将所述k×k网格所在的平面划分为等间隔度数的a个方向区间，所述方向区间的取值范围为(0°，360°]，并设定0°表示静止状态模式，基于所述a个方向区间，得到a+1种运动方向模式，其中k为大于1的奇数，a为大于1的整数；

对k×k网格中的各个光流矢量按方向在所述a+1种运动方向模式上进行投票，取得票最多的运动方向模式为光流矢量m的运动方向，取得票最多的运动方向模式所对应的方向区间为k×k网格的主运动方向；

步骤2-2：基于k×k网格中落在所述主运动方向的光流矢量，按幅度值进行中值滤波，并将滤波结果作为光流矢量m的幅度值；

步骤2-3：基于光流矢量m的幅度值，根据预设运动幅度模式聚类类别，对各光流矢量m进行聚类处理，确定光流矢量m的运动幅度模式；

步骤2-4：基于光流矢量m的运动方向模式和运动幅度模式，确定各个光流矢量m的运动模式；

步骤3：确定步骤1所述单行为视频序列的行为特征向量：

步骤3-1：分别将每幅光流图按行、列划分为h×l个矩形块，统计每个矩形块中的各光流矢量m的运动模式，形成各个矩形块的运动模式直方图；将得到的h×l个运动模式直方图级联构成各光流图的特征向量；

步骤3-2：将各光流图的特征向量级联后得到当前行为特征向量；

步骤4：基于支持向量机SVM对步骤3获取的不同的行为特征向量进行训练和识别。

2.如权利要求1所述的方法，其特征在于，所述步骤2-4中，基于局部三值模式LTP对光流矢量m的运动方向模式和运动幅度模式进行联合编码，确定各光流矢量m的运动模式。

3.如权利要求1或2所述的方法，其特征在于，所述步骤1为：

从单行为视频序列中等距离抽取s个切片，所述切片表示单行为视频序列中一段连续视频帧，s为自然数；

分别在每个切片中选取3帧等间隔视频图像：前一帧I(t-Δt)、当前帧I(t)、后一帧I(t+Δt)，其中Δt表示相邻两帧之间的时间间隔；

分别计算各切片中前一帧I(t-Δt)与当前帧I(t)的光流矢量，当前帧I(t)与后一帧I(t+Δt)的光流矢量，得到各切片的光流图。

4.如权利要求3所述的方法，其特征在于，设定参数s＝3,h＝2,l＝2,a＝4，运动幅度模式聚类类别为3。