CN102760237B - 三维相关滤波器序列动作识别方法及其装置 - Google Patents

Abstract

本发明涉及一种三维相关滤波器序列动作识别方法及其装置，该方法首先建立样本数据库，针对特定序列动作得到训练样本视频列向量，然后建立动作视频最大平均相关滤波器模板，得到特定序列动作的三维最大平均相关高度滤波器；最后将优化后的滤波器响应值与设定的阈值进行比较，判断待测视频中是否存在特定序列动作。该装置包括三维最大平均相关高度滤波器、滤波器响应计算模块、优化滤波器响应模块和特定序列动作判断模块。本发明算法简便、易于实现、运行效率高，识别准确率高，适用于地铁、车站、银行等场所的监控。

Description

三维相关滤波器序列动作识别方法及其装置

技术领域

本发明属于图像信号处理技术领域，涉及一种三维相关滤波器序列动作识别方法及其装置。

背景技术

目前国内外用于分析和识别行为的模式识别方法大多数是基于时域的匹配模板方法。时域动作分析识别方法往往计算复杂，适应性差，效率低下，识别率不高，而且时域模板是针对单幅图像的，对于序列动作的分析需要形成多个模板进行匹配，以上缺点是动作识别理论算法走向实际应用的瓶颈。

发明内容

本发明要解决的一个技术问题是提供一种可以针对特定序列动作形成一个频域三维相关滤波器模板，以完成特定序列行为动作自动识别的三维相关滤波器序列动作识别方法。该方法算法简便、易于实现、运行效率高、识别率高。

为了解决上述技术问题，本发明的三维相关滤波器序列动作识别方法包括下述步骤：

一、建立样本数据库：

存储至少一个特定序列动作的训练样本视频；每个特定序列动作包含L个训练样本视频，每个训练样本视频包含Q帧图像，每幅图像包含d个像素，其中d＝M×N，M×N为每帧图像的大小；则一个特定序列动作的其中任意一个训练样本视频可以表示为s(x,y,t)，其中x、y、t分别为某一像素所在列序号、行序号、帧号；

对s(x,y,t)求导，得到s(x,y,t)的导数d(x,y,t)；

对d(x,y,t)进行三维傅立叶变换得到三维频域响应矩阵F(u,v,w)；

$F(u,v,w)=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{t=0}{\overset{Q-1}{\mathrm{\Σ}}}d(x,y,t)\exp (-j2\mathrm{\π}(\frac{\mathrm{ux}}{M}+\frac{\mathrm{vy}}{N}+\frac{\mathrm{wt}}{Q}))---\left(1\right)$

将三维频域响应矩阵F(u,v,w)按照每帧图像像素从左到右，从上到下，帧间按照时间先后顺序排成一个列向量，则针对每个特定序列动作得到L个训练样本视频列向量a₁,a₂,...,a_i,...a_L；

二、建立动作视频最大平均相关滤波器模板：

通过计算噪声协方差矩阵C，训练图像的平均能量光谱密度D_a和对角平均相似性度矩阵S_a来合成最大平均相关动作高度一维滤波器h；

$h=\frac{{m_a}^{*}}{\mathrm{\αC}+{\mathrm{\βD}}_a+{\mathrm{\γS}}_a}---\left(2\right)$

其中α，β，γ是非负的平衡参数，m_a是L个训练样本视频列向量a₁,a₂,...,a_i,...a_L的平均值；

C＝σ²I(3)

$D_a=\frac{1}{L}{\mathrm{\Σ}}_{i=1}^L{A}_i^{*}{A}_i---\left(4\right)$

$S_a=\frac{1}{L}{\mathrm{\Σ}}_{i=1}^L{(A_i-M_a)}^{*}(A_i-M_a)---\left(5\right)$

其中σ是白噪声的均方差，I是单位矩阵；A_i是训练样本视频的对角化矩阵，它对角线上的元素是列向量a_i的所有元素；*表示复共轭运算；M_a是m_a的对角矩阵，它的对角线元素对应向量m_a的所有元素。

将一维滤波器h还原成三维滤波器，之后进行三维傅立叶反变换，得到特定序列动作的三维最大平均相关高度滤波器H(x,y,t)；

三、计算滤波器响应：

将三维最大平均相关高度滤波器H(x,y,t)和待测试视频t(m,n,q)做相关运算，得到滤波器响应c(m,n,q)；

$c(m,n,q)={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}t(m+x,n+y,q+t)H(x,y,t)---\left(6\right)$

四、优化滤波器响应：

利用式（7）运算得到优化后的滤波器响应c'(m,n,q)；

$c^{\′}(m,n,q)=\frac{c(m,n,q)}{\sqrt{E_H{E}_S(m,n,q)}}---\left(7\right)$

其中E_H是代表滤波器能力的尺度值，E_S(m,n,q)是待测视频相应的响应；

$E_H={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}{H}^2(x,y,t)---\left(8\right)$

$E_S(m,n,q)={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}{t}^2(m+x,n+y,q+t)---\left(9\right)$

五、将优化后的滤波器响应值与设定的阈值ρ进行比较，如果大于阈值ρ则认为待测视频中存在特定序列动作，否则认为不存在该特定序列动作；

ρ＝kmin(ε₁,ε₂,ε₃,......ε_T)(10)

其中，k为加权系数，ε₁,ε₂,...,ε_T为多个待测视频特定序列动作优化后的滤波器响应值，min表示计算括号内数值的最小值。

本发明首先对特定序列动作的训练样本s(x,y,t)求导，得到训练样本的导数d(x,y,t)；然后采用x(水平方向),y（垂直方向）,t（时间轴方向）分别进行一维FFT，然后组合得到三维FFT响应，算法简便、易于实现、运行效率高。利用优化后的滤波器响应值与设定的阈值进行比较判断待测视频中是否存在特定序列动作，消除了场景中光线和噪声的影响，识别准确率高。本发明适用于地铁、车站、银行等场所的监控。

所述α，β，γ可以根据具体的应用灵活设定。

在Weizman动作数据库跳跃动作识别的应用中，α＝0.001，β＝0.5，γ＝0.1,k=0.9。

在Weizman动作数据库的实验表明，光流法的平均识别准确率是86.5%，当α＝0.001，β＝0.5，γ＝0.1，k=0.9时，本发明的平均识别准确率是90.3%。

本发明要解决的另一个技术问题是提供一种三维相关滤波器序列动作识别装置。

为了解决上述技术问题，本发明的三维相关滤波器序列动作识别装置包括：建立样本数据库模块：

存储至少一个特定序列动作的训练样本视频；每个特定序列动作包含L个训练样本视频，每个训练样本视频包含Q帧图像，每幅图像包含d个像素，其中d＝M×N，M×N为每帧图像的大小；则一个特定序列动作的其中任意一个训练样本视频可以表示为s(x,y,t)，其中x、y、t分别为某一像素所在列序号、行序号、帧号；

对s(x,y,t)求导，得到s(x,y,t)的导数d(x,y,t)；

对d(x,y,t)进行三维傅立叶变换得到三维频域响应矩阵F(u,v,w)；

$F(u,v,w)=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{t=0}{\overset{Q-1}{\mathrm{\Σ}}}d(x,y,t)\exp (-j2\mathrm{\π}(\frac{\mathrm{ux}}{M}+\frac{\mathrm{vy}}{N}+\frac{\mathrm{wt}}{Q}))---\left(1\right)$

将三维频域响应矩阵F(u,v,w)按照每帧图像像素从左到右，从上到下，帧间按照时间先后顺序排成一个列向量，则针对每个特定序列动作得到L个训练样本视频列向量a₁,a₂,...,a_i,...a_L；

建立动作视频最大平均相关滤波器模板的模块：

通过计算噪声协方差矩阵C，训练图像的平均能量光谱密度D_a和对角平均相似性度矩阵S_a来合成最大平均相关动作高度一维滤波器h；

$h=\frac{{m_a}^{*}}{\mathrm{\αC}+{\mathrm{\βD}}_a+{\mathrm{\γS}}_a}---\left(2\right)$

其中α，β，γ是非负的平衡参数，m_a是L个训练样本视频列向量a₁,a₂,...,a_i,...a_L的平均值；

C＝σ²I   (3)

$D_a=\frac{1}{L}{\mathrm{\Σ}}_{i=1}^L{A}_i^{*}{A}_i---\left(4\right)$

$S_a=\frac{1}{L}{\mathrm{\Σ}}_{i=1}^L{(A_i-M_a)}^{*}(A_i-M_a)---\left(5\right)$

其中σ是白噪声的均方差，I是单位矩阵；A_i是训练样本视频的对角化矩阵，它对角线上的元素是列向量a_i的所有元素；*表示复共轭运算；M_a是m_a的对角矩阵，它的对角线元素对应向量m_a的所有元素；

将一维滤波器h还原成三维滤波器，之后进行三维傅立叶反变换，得到特定序列动作的三维最大平均相关高度滤波器H(x,y,t)；

滤波器响应计算模块：将H(x,y,t)与待测试视频时空矩阵t(m,n,q)做相关运算，得到滤波器响应c(m,n,q)；

$c(m,n,q)={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}t(m+x,n+y,q+t)H(x,y,t)---\left(6\right)$

优化滤波器响应模块：利用式（7）运算得到优化后的滤波器响应c'(m,n,q)；

$c^{\′}(m,n,q)=\frac{c(m,n,q)}{\sqrt{E_H{E}_S(m,n,q)}}---\left(7\right)$

其中E_H是代表滤波器能力的尺度值，E_S(m,n,q)是待测视频相应的响应；

$E_H={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}{H}^2(x,y,t)---\left(8\right)$

$E_S(m,n,q)={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}{t}^2(m+x,n+y,q+t)---\left(9\right)$

特定序列动作判断模块：将优化后的滤波器响应值与设定的阈值ρ进行比较，如果大于阈值ρ则认为待测视频中存在特定序列动作，否则认为不存在该特定序列动作；

ρ＝kmin(ε₁,ε₂,ε₃,......ε_T)   (10)

其中，k为加权系数，ε₁,ε₂,...,ε_T为多个待测视频特定序列动作优化后的滤波器响应值，min表示计算括号内数值的最小值。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1为实现本发明的三维相关滤波器序列动作识别方法的程序流程图。

图2为本发明的三维相关滤波器序列动作识别装置结构框图。

具体实施方式

如图1所示，本发明的三维相关滤波器序列动作识别方法具体包括下述步骤：

一、建立样本数据库：

按照特定的序列动作（如跑、跳、行走、举手等序列动作）进行样本视频收集。对于每个特定序列动作（如说跑的动作），数据库中包含L个训练样本视频，其中每个训练样本视频包含Q帧图像，每幅图像包含d个像素，其中d＝M×N，M×N为每帧图像的大小。则一个特定序列动作的其中任意一个训练样本视频可以表示为s(x,y,t)，其中x、y、t分别为某一像素所在列序号、行序号、帧号。

对s(x,y,t)求导，得到特定序列动作训练样本视频s(x,y,t)的导数d(x,y,t)。

对d(x,y,t)进行三维傅立叶变换，如式1所示。

$F(u,v,w)=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{t=0}{\overset{Q-1}{\mathrm{\Σ}}}d(x,y,t)\exp (-j2\mathrm{\π}(\frac{\mathrm{ux}}{M}+\frac{\mathrm{vy}}{N}+\frac{\mathrm{wt}}{Q}))---\left(1\right)$

其中F(u,v,w)是d(x,y,t)的三维频域响应矩阵。为了提高运算效率，我们采用x(水平方向),y（垂直方向）,z（时间轴方向），三个方向分别进行一维FFT，然后组合成三维频域响应矩阵F(u,v,w)。得到三维频域响应矩阵F(u,v,w)之后，将这个三维频域响应矩阵每帧图像按照第一行像素从左到右，然后第二行像素从左到右，……，最后一行像素从左到右的顺序，帧间按照时间轴顺序排成一个列向量a_i，它的维数是D,D＝T×M×N,则针对每个特定序列动作得到L个训练样本视频列向量a₁,a₂,......,a_i,......,a_L。

二、建立动作视频最大平均相关滤波器模板：

通过计算噪声协方差矩阵C，训练图像的平均能量光谱密度D_a和对角平均相似性度矩阵S_a来合成最大平均相关动作高度一维滤波器h。

$h=\frac{{m_a}^{*}}{\mathrm{\αC}+{\mathrm{\βD}}_a+{\mathrm{\γS}}_a}---\left(2\right)$

其中α，β，γ是非负的平衡参数，可以根据具体的应用方向的要求灵活设定。m_a是L个训练样本视频列向量a₁,a₂,......,a_i,......,a_L的平均值。

C＝σ₂I(3)

$D_a=\frac{1}{L}{\mathrm{\Σ}}_{i=1}^L{A}_i^{*}{A}_i---\left(4\right)$

$S_a=\frac{1}{L}{\mathrm{\Σ}}_{i=1}^L{(A_i-M_a)}^{*}(A_i-M_a)---\left(5\right)$

其中σ是白噪声的均方差，I是单位矩阵；A_i是训练样本视频的对角化矩阵，它对角线上的元素是列向量a_i的所有元素；*表示复共轭运算；M_a是m_a的对角矩阵，它的对角线元素对应向量m_a的所有元素。

完成一维滤波器h设计之后，将一维滤波器h还原成三维滤波器，之后进行三维傅立叶反变换，得到特定序列动作的三维最大平均相关高度滤波器H(x,y,t)。

三、计算滤波器响应：

完成特定序列动作的最大平均相关高度滤波器设计后，按照式（6）将三维最大平均相关高度滤波器H(x,y,t)和待测试视频t(m,n,q)做相关运算，可以检测待测视频中是否包含待检测动作；其中m、n、q分别为待测视频图像中某一像素所在列序号、行序号、帧号；

$c(m,n,q)={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}t(m+x,n+y,q+t)H(x,y,t)---\left(6\right)$

其中，t(m,n,q)是待测视频的时空矩阵，P×Q×R是时空矩阵t(m+x,n+y,q+t)的维数。这项操作的结果我们得到滤波器响应c(m,n,q),它的维数是(P-L+1)×（Q-M+1）×(R-N+1)。

四、优化滤波器响应：

由于场景中存在光线和噪声，我们通过归一化相关空间来优化相关滤波器响应，得到优化后的滤波器响应c'(m,n,q)。

$c^{\′}(m,n,q)=\frac{c(m,n,q)}{\sqrt{E_H{E}_S(m,n,q)}}---\left(7\right)$

其中c(l,m,n)来自公式（6），E_H是代表滤波器能力的尺度值，E_S(m,n,q)是待测视频相应的响应。

$E_H={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}{H}^2(x,y,t)---\left(8\right)$

$E_S(m,n,q)={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}{t}^2(m+x,n+y,q+t)---\left(9\right)$

归一化之后，每个像元的响应在0和1之间，将优化后的滤波器响应值与设定的阈值ρ进行比较，如果大于阈值ρ认为待测视频中存在特定的序列动作，否则认为不存在该动作。

阈值ρ可以由多个待测视频序列动作优化后的滤波器响应值的最小值乘以加权系数k得到。

ρ＝kmin(ε₁,ε₂,ε₃,......ε_T)   (10)

其中，k为加权系数，ε₁,ε₂,...,ε_T为多个待测视频特定序列动作优化后的滤波器响应值，min表示计算括号内数值的最小值。

其中α，β，γ，k的具体数值由发明人根据具体的应用方向的要求，通过大量实验确定。在Weizman动作数据库跳跃动作识别的应用中，发明人通过大量的实验确定，当α＝0.001，β＝0.5，γ＝0.1，k=0.9时，相关滤波器的平均识别准确率最高，达到90.3%。

如图2所示，本发明的三维相关滤波器序列动作识别装置包括：

三维最大平均相关高度滤波器H(x,y,t)；H(x,y,t)由上述方法中的步骤一和步骤二得到；

滤波器响应计算模块：将H(x,y,t)与待测试视频时空矩阵t(l,m,n)做相关运算，得到滤波器响应c(l,m,n)；

$c(m,n,q)={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}t(m+x,n+y,q+t)H(x,y,t)---\left(6\right)$

其中x、y、t分别为训练样本视频某一像素所在列序号、行序号、帧号；l、m、n分别为待测视频图像中某一像素所在列序号、行序号、帧号；

优化滤波器响应模块：利用式（7）运算得到归一化滤波器响应c'(l,m,n)；

$c^{\′}(l,m,n)=\frac{c(l,m,n)}{\sqrt{E_H{E}_S(l,m,n)}}---\left(7\right)$

其中E_H是代表滤波器能力的尺度值，E_S(m,n,q)是待测视频相应的响应；

$E_H={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}{H}^2(x,y,t)---\left(8\right)$

$E_S(m,n,q)={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}{t}^2(m+x,n+y,q+t)---\left(9\right)$

特定序列动作判断模块：将优化后的滤波器响应值与设定的阈值ρ进行比较，如果大于阈值ρ则认为待测视频中存在特定序列动作，否则认为不存在该特定序列动作；

ρ＝kmin(ε₁,ε₂,ε₃,......ε_T)   (10)

其中，k为加权系数，ε₁,ε₂,...,ε_T为多个待测视频特定序列动作优化后的滤波器响应值，min表示计算括号内数值的最小值。

在Weizman动作数据库的实验表明，光流法的平均识别准确率是86.5%，当α＝0.001，β＝0.5，γ＝0.1，k=0.9时，本发明的平均识别准确率是90.3%。表1中给出了Weizman动作数据库跳跃动作识别中的部分实验数据结果。

表1Weizman动作数据库实验结果

Claims (3)

1.一种三维相关滤波器序列动作识别方法，其特征在于包括下述步骤：

一、建立样本数据库：

存储至少一个特定序列动作的训练样本视频；每个特定序列动作包含L个训练样本视频，每个训练样本视频包含Q帧图像，每幅图像包含d个像素，其中d＝M×N，M×N为每帧图像的大小；则一个特定序列动作的其中任意一个训练样本视频可以表示为s(x,y,t)，其中x、y、t分别为某一像素所在列序号、行序号、帧号；

对s(x,y,t)求导，得到s(x,y,t)的导数d(x,y,t)；

对d(x,y,t)进行三维傅立叶变换得到三维频域响应矩阵F(u,v,w)；

$F(u,v,w)=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{t=0}{\overset{Q-1}{\mathrm{\Σ}}}d(x,y,t)\exp (-j2\mathrm{\π}(\frac{\mathrm{ux}}{M}+\frac{\mathrm{vy}}{N}+\frac{\mathrm{wt}}{Q}))---\left(1\right)$

将三维频域响应矩阵F(u,v,w)按照每帧图像像素从左到右，从上到下，帧间按照时间先后顺序排成一个列向量，则针对每个特定序列动作得到L个训练样本视频列向量a₁,a₂,...,a_i,...a_L；

二、建立动作视频最大平均相关滤波器模板：

通过计算噪声协方差矩阵C，训练图像的平均能量光谱密度D_a和对角平均相似性度矩阵S_a来合成最大平均相关动作高度一维滤波器h；

$h=\frac{{m_a}^{*}}{\mathrm{\αC}+{\mathrm{\βD}}_a+{\mathrm{\γS}}_a}---\left(2\right)$

其中α，β，γ是非负的平衡参数，m_a是L个训练样本视频列向量a₁,a₂,...,a_i,...a_L的平均值；

C＝σ²I   (3)

$D_a=\frac{1}{L}{\mathrm{\Σ}}_{i=1}^L{A}_i^{*}{A}_i---\left(4\right)$

$S_a=\frac{1}{L}{\mathrm{\Σ}}_{i=1}^L{(A_i-M_a)}^{*}(A_i-M_a)---\left(5\right)$

其中σ是白噪声的均方差，I是单位矩阵；A_i是训练样本视频的对角化矩阵，它对角线上的元素是列向量a_i的所有元素；*表示复共轭运算；M_a是m_a的对角矩阵，它的对角线元素对应向量m_a的所有元素；

将一维滤波器h还原成三维滤波器，之后进行三维傅立叶反变换，得到特定序列动作的三维最大平均相关高度滤波器H(x,y,t)；

三、计算滤波器响应：

将三维最大平均相关高度滤波器H(x,y,t)和待测试视频时空矩阵t(m,n,q)做相关运算，得到滤波器响应c(m,n,q)；

$c(m,n,q)={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}t(m+x,n+y,q+t)H(x,y,t)---\left(6\right)$

四、优化滤波器响应：

利用式（7）运算得到优化后的滤波器响应c'(m,n,q)；

$c^{\′}(m,n,q)=\frac{c(m,n,q)}{\sqrt{E_H{E}_S(m,n,q)}}---\left(7\right)$

其中E_H是代表滤波器能力的尺度值，E_S(m,n,q)是待测视频相应的响应；

$E_H={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}{H}^2(x,y,t)---\left(8\right)$

$E_S(m,n,q)={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}{t}^2(m+x,n+y,q+t)---\left(9\right)$

五、将优化后的滤波器响应值与设定的阈值ρ进行比较，如果大于阈值ρ则认为待测视频中存在特定序列动作，否则认为不存在该特定序列动作；

ρ＝kmin(ε₁,ε₂,ε₃,......ε_T)   (10)

其中，k为加权系数，ε₁,ε₂,...,ε_T为多个待测视频特定序列动作优化后的滤波器响应值，min表示计算括号内数值的最小值。

2.根据权利要求1所述的三维相关滤波器序列动作识别方法，其特征在于α＝0.001，β＝0.5，γ＝0.1,k=0.9。

3.一种三维相关滤波器序列动作识别装置，其特征在于包括：

建立样本数据库模块：

存储至少一个特定序列动作的训练样本视频；每个特定序列动作包含L个训练样本视频，每个训练样本视频包含Q帧图像，每幅图像包含d个像素，其中d＝M×N，M×N为每帧图像的大小；则一个特定序列动作的其中任意一个训练样本视频可以表示为s(x,y,t)，其中x、y、t分别为某一像素所在列序号、行序号、帧号；

对s(x,y,t)求导，得到s(x,y,t)的导数d(x,y,t)；

对d(x,y,t)进行三维傅立叶变换得到三维频域响应矩阵F(u,v,w)；

$F(u,v,w)=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{t=0}{\overset{Q-1}{\mathrm{\Σ}}}d(x,y,t)\exp (-j2\mathrm{\π}(\frac{\mathrm{ux}}{M}+\frac{\mathrm{vy}}{N}+\frac{\mathrm{wt}}{Q}))---\left(1\right)$

将三维频域响应矩阵F(u,v,w)按照每帧图像像素从左到右，从上到下，帧间按照时间先后顺序排成一个列向量，则针对每个特定序列动作得到L个训练样本视频列向量a₁,a₂,...,a_i,...a_L；

建立动作视频最大平均相关滤波器模板的模块：

通过计算噪声协方差矩阵C，训练图像的平均能量光谱密度D_a和对角平均相似性度矩阵S_a来合成最大平均相关动作高度一维滤波器h；

$h=\frac{{m_a}^{*}}{\mathrm{\αC}+{\mathrm{\βD}}_a+{\mathrm{\γS}}_a}---\left(2\right)$

其中α，β，γ是非负的平衡参数，m_a是L个训练样本视频列向量a₁,a₂,...,a_i,...a_L的平均值；

C＝σ²I   (3)

$D_a=\frac{1}{L}{\mathrm{\Σ}}_{i=1}^L{A}_i^{*}{A}_i---\left(4\right)$

$S_a=\frac{1}{L}{\mathrm{\Σ}}_{i=1}^L{(A_i-M_a)}^{*}(A_i-M_a)---\left(5\right)$

其中σ是白噪声的均方差，I是单位矩阵；A_i是训练样本视频的对角化矩阵，它对角线上的元素是列向量a_i的所有元素；*表示复共轭运算；M_a是m_a的对角矩阵，它的对角线元素对应向量m_a的所有元素；

将一维滤波器h还原成三维滤波器，之后进行三维傅立叶反变换，得到特定序列动作的三维最大平均相关高度滤波器H(x,y,t)；

滤波器响应计算模块：将H(x,y,t)与待测试视频时空矩阵t(m,n,q)做相关运算，得到滤波器响应c(m,n,q)；

$c(m,n,q)={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}t(m+x,n+y,q+t)H(x,y,t)---\left(6\right)$

优化滤波器响应模块：利用式（7）运算得到优化后的滤波器响应c'(m,n,q)；

$c^{\′}(m,n,q)=\frac{c(m,n,q)}{\sqrt{E_H{E}_S(m,n,q)}}---\left(7\right)$

其中E_H是代表滤波器能力的尺度值，E_S(m,n,q)是待测视频相应的响应；

$E_H={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}{H}^2(x,y,t)---\left(8\right)$

$E_S(m,n,q)={\mathrm{\Σ}}_{x=0}^{M-1}{\mathrm{\Σ}}_{y=0}^{N-1}{\mathrm{\Σ}}_{t=0}^{Q-1}{t}^2(m+x,n+y,q+t)---\left(9\right)$

特定序列动作判断模块：将优化后的滤波器响应值与设定的阈值ρ进行比较，如果大于阈值ρ则认为待测视频中存在特定序列动作，否则认为不存在该特定序列动作；

ρ＝kmin(ε₁,ε₂,ε₃,......ε_T)   (10)

其中，k为加权系数，ε₁,ε₂,...,ε_T为多个待测视频特定序列动作优化后的滤波器响应值，min表示计算括号内数值的最小值。

Images