CN104537687B - 一种具有速度信息的时序模板动作表示方法 - Google Patents

Abstract

本发明公开了一种带有速度信息的时序模板动作表示方法。其首先使用高斯混合模型进行前景提取，只计算运动区域的光流能够减少运算量，然后对前景区域计算视频的稠密光流，最后使用孟塞尔颜色系统对光流着色。本方法能够在描述动作整体轮廓的同时也强调动作的最大速度分布情况，对于单人动作和双人交互动作都有较好的识别结果，可以有效地区分一些外形相似但是速度分布不同的动作，例如用力拍打和轻拍，从而可避免对于外形相似的动作被误分为同一个动作的问题。本动作表示方法可用于智能视频监控和虚拟现实，以提高其准确性。

Description

一种具有速度信息的时序模板动作表示方法

技术领域:

本发明属于人体行为识别领域，特别是涉及一种具有速度信息的时序模板动作表示方法。

技术背景：

随着计算视觉及模式识别技术的快速发展，人体行为识别在智能监控、虚拟现实、人机交互和运动分析中得到了广泛的应用。比如，智能监控被广泛应用于酒店、机场和银行等特殊环境中，对人员的动作进行识别能够及时发现异常行为并发出告警；人的身体动作和手势等包含大量信息，传统的人机交互主要是通过鼠标和键盘对机器进行操作，高级的人机交互通过对人体动作识别进而使计算机做出反应；虚拟现实目前被较为广泛地应用于X-BOX360和PX3等游戏机中；在体育视频中，对运动员的身体动作进行分析、判断，建立最优模型，在运动员的速度和姿势方面做出改进，从而能够帮助运动员提高竞争力。

模板匹配方法主要是使用时序模板(运动历史图像和运动能量图像)对动作进行描述，用二维图像来描述视频中一个人的完整动作，方法简单，并且具备一定的鲁棒性。该方法虽然能够较好地描述动作的整体轮廓，但是对于动作的速度信息描述不够明显。

另外，原有的时序模板方法主要描述动作的运动区域形状，对动作的速度分布情况表现不够突出，因此我们只能够识别出外观相差较大的动作，而对于某些形状相似但用力程度不同的动作识别率却较低，例如用力拍打和轻拍。

发明内容：

为了解决上述问题，本发明的目的在于提供一种带有速度信息的时序模板动作表示方法。

为了达到上述目的，本发明提供的带有速度信息的时序模板动作表示方法包括按顺序进行的下列步骤：

1)使用混合高斯模型提取出视频帧的前景运动区域；

2)计算上述前景运动区域的稠密光流，并比较前后两帧视频上同一像素点的光流，保留较大的光流，得到动作最大光流的分布；

3)最后使用孟塞尔颜色系统对上述保留的光流进行着色，不同的颜色对应不同方向，颜色的深浅表示速度的大小，最终得到最大光流图像。

在步骤1)中，所述的使用混合高斯模型提取出视频帧的前景运动区域的方法为，在时间域内，用K个多维高斯分布来模拟图像中每个像素点的变化，将混合高斯模型中的K个高斯分布按大小排序，取前面N个高斯分布作为背景模型。将当前像素与背景模型的高斯分布做差，若差值小于一定范围，则判定为背景。

在步骤2)中，所述的计算上述前景运动区域的稠密光流，并比较前后两帧视频上同一像素点的光流，保留较大的光流，得到动作最大光流的分布的方法为，假设特征窗口内的各像素点具有大致相同的光流速度；用多项式展开来近似每个像素周围邻近的点，每个特征窗口用局部多项式f(x)＝x^TAx+b^Tx+c近似，于是得到：A(x)d(x)＝△b(x)，其中d(x)为前后两帧像素点的光流位移，假设前后两帧像素点的位移变化是缓慢的，于是得到同一像素点前后两帧的光流位移；将此光流与前一帧的光流做对比，保留较大光流值。

在步骤3)中，所述的最后使用孟塞尔颜色系统对上述保留的光流进行着色，不同的颜色对应不同方向，颜色的深浅表示速度的大小，最终得到最大光流图像的方法为，首先定义颜色轮经度，把一周均分成五种主色，并将五种主色互相调和成五种中间色：红、红黄、黄、黄绿、绿、绿蓝、蓝、蓝紫、紫、紫红，相邻的两个位置之间再均分成10份，共100份；根据计算得到的每个像素点光流的水平位移和垂直位移得到运动方向和大小，将运动方向和大小与孟塞尔颜色轮相对应。

本发明提供的带有速度信息的时序模板动作表示方法首先使用高斯混合模型进行前景提取，只计算运动区域的光流能够减少运算量，然后对前景区域使用Farneback算法计算视频的稠密光流，最后使用孟塞尔颜色系统对光流着色。本方法能够在描述动作整体轮廓的同时也强调动作的最大速度分布情况，对于单人动作和双人交互动作都有较好的识别结果，可以有效地区分一些外形相似但是速度分布不同的动作，例如用力拍打和轻拍，从而可避免对于外形相似的动作被误分为同一个动作的问题。本动作表示方法可用于智能视频监控和虚拟现实，以提高其准确性。

附图说明

图1为本发明提供的具有速度信息的时序模板动作表示方法流程图。

具体实施方式：

下面结合附图和具体实施例对本发明提供的具有速度信息的时序模板动作表示方法进行详细说明。

如图1所示，本发明提供的具有速度信息的时序模板动作表示方法包括按顺序进行的下列步骤：

1)使用混合高斯模型提取出视频帧的前景运动区域；

前景提取的目的是从图像中获得比较完整的前景运动区域。背景减除法是前景提取最常用的方法之一，其基本思想是利用背景的参数模型来近似估计背景图像像素点的像素值，计算当前帧与背景图像的差值，其中与背景模型区别较大的像素区域被认为是运动区域，而区别较小的像素区域被认为是背景区域。背景减除法主要包括基于背景模型的方法和基于全局阈值的方法等。混合高斯模型属于基于背景模型的方法，其是依据像素的历史变化而建立背景模型，并对其不断进行更新以获得前景，对变化复杂的场景也具有一定的适应能力。

将混合高斯模型(Mixture of Gaussians，MoG)用于背景建模时，在时间域内，用K个多维高斯分布来模拟图像中每个像素点的变化，像素点I(x,y)的观测值序列∑_i,t为{X₁,X₂,...,X_t}，在t时刻该像素点值为X_t的概率为其中：K为高斯分布的个数，w_i,t为第i个高斯分布的权值，N(X,μ_,∑)为高斯分布概率密度函数，μ_i,t和Σ_i,t分别为第i个高斯分布的均值和协方差矩阵。

将混合高斯模型中的K个高斯分布按大小排序，取前面N个高斯分布作为背景模型。将当前像素与背景模型的高斯分布做差，若差值小于一定范围，则判定为背景，用一个二值变量B_t来表示，即：

然后更新权值与背景模型：

w_i,t＝(1-λ)w_i,t-1+λB_t

μ_i,t＝(1-α)μ_i,t-1+αX_i,t

∑_i,t＝(1-α)∑_i,t-1+α(X_i,t-μ_i,t)(X_i,t-μ_i,t)^T

式中：λ为学习率，

2)计算上述前景运动区域的稠密光流，并比较前后两帧视频上同一像素点的光流，保留较大的光流，得到动作最大光流的分布；

令5*5为特征窗口大小，假设窗口内的各像素点具有大致相同的光流速度；用多项式展开来近似每个像素周围邻近的点，每个特征窗口用局部多项式f(x)＝x^TAx+b^Tx+c近似，A₁(x),b₁(x),c₁(x)为第一幅图像的多项式参数，A₂(x),b₂(x),c₂(x)为第二幅图像的多项式参数；

令

于是得到：

A(x)d(x)＝△b(x)

假设前后两帧像素点的位移变化是缓慢的，

其中w(△x)为像素点周围点的权函数，给中心点赋予最大的权值，其余沿径向方向减少；

将上式最小化得到位移：

d(x)＝（ΣwA^TA)^-1ΣwA^TΔb

其中F_(x,y)t为t时刻图像中位于(x,y)位置的像素点的光流，则：

依次计算视频中前后两帧的光流，并与前一组光流比较相同像素点的光流，保留较大光流值。

3)最后使用孟塞尔颜色系统对上述保留的光流进行着色，不同的颜色对应不同方向，颜色的深浅表示速度的大小，最终得到最大光流图像。

光流是既有大小又有方向的矢量，能够表示像素点的瞬时速度。本步骤使用孟塞尔颜色系统对光流进行表示，使光流变得更加直观。孟塞尔颜色系统是色度学里用透明度、色相和色度三个维度来描述颜色的方法。经度即色相，把一周均分成五种主色，并将五种主色互相调和成五种中间色(红(R)、红黄(YR)、黄(Y)、黄绿(GY)、绿(G)、绿蓝(BG)、蓝(B)、蓝紫(PB)、紫(P)、紫红(RP))，相邻的两个位置之间再均分成10份，共100份。南北轴为明度的深浅，从全黑至全灰至全白。色度表示色调的纯度，其数值从中间(0)向外随着色调的纯度增加。孟塞尔颜色轮上一周不同的颜色与光流的方向相对应。颜色的深浅代表光流速度的大小。根据计算得到的每个像素点光流的水平位移和垂直位移得到运动方向(角度)和大小(幅值)，将运动方向和大小与孟塞尔颜色轮相对应。

Claims (1)

1.一种具有速度信息的时序模板动作表示方法，其特征在于：按顺序进行的下列步骤：

1)使用混合高斯模型提取出视频帧的前景运动区域；

2)采用Farneback光流算法，计算上述前景运动区域的稠密光流，并比较前后两帧视频上同一像素点的光流，保留较大的光流，得到动作最大光流的分布；

3)最后使用孟塞尔颜色系统对上述保留的光流进行着色，不同的颜色对应不同方向，颜色的深浅表示速度的大小，最终得到最大光流图像；

在步骤2)中，所述的计算上述前景运动区域的稠密光流，并比较前后两帧视频上同一像素点的光流，保留较大的光流，得到动作最大光流的分布的方法为，假设特征窗口内的各像素点具有大致相同的光流速度；用多项式展开来近似每个像素周围邻近的点，每个特征窗口用局部多项式f(x)＝x^TAx+b^Tx+c近似，假设前后两帧像素点的位移变化是缓慢的，于是得到同一像素点前后两帧的光流位移；将此光流与前一帧的光流做对比，保留较大光流值。