CN102254328A - 基于部分稀疏约束非负矩阵分解的视频运动特征提取方法 - Google Patents

Abstract

本发明公开了一种基于部分稀疏约束非负矩阵分解的视频运动特征提取方法，主要解决现有技术不能滤除视频静止背景干扰和闪光点及收敛速度缓慢，分解误差过大的问题。其实现步骤是：首先将视频以目标帧为中心转化为视频帧组，并将视频帧组转化为非负矩阵；接着对非负矩阵进行部分稀疏约束非负矩阵分解方法分解，对部分基矩阵列向量添加稀疏约束，使用添加稀疏约束的部分基矩阵列向量和对应的系数矩阵加权求和求取目标帧运动向量；最后将目标帧运动向量转化为目标帧运动特征。本发明可用于目标追踪和视频监控中，以快速、准确、有效的提取视频运动特征。

Description

基于部分稀疏约束非负矩阵分解的视频运动特征提取方法

技术领域

本发明属于图像处理技术领域，涉及视频运动特征提取，可用于目标追踪和视频监控中快速、准确、有效的提取视频运动特征，清晰展现运动轨迹。

背景技术

视频运动特征是视频的重要特征之一，广泛应用于目标追踪和视频监控。目前，对于视频运动特征提取已经取得很大的进展，但是如何精确检测视频流中的运动目标仍然是一个具有挑战性的问题。有些算法需要手动调整参数或设定一些假设条件，其中一种广泛应用的方法基于背景差的方法，该方法是一种基于像素的运动特征提取方法，首先需要精确估计视频的背景模型，然后采用当前帧和背景之间的差来提取视频的运动特征。当前帧的每一个像素都和背景模型作比较，若差值大于某已设定的阈值，则该值被认为是当前帧的运动像素。该方法受阈值和闪光的影响较大，若整个视频都处在同一光照强度之下，则该方法可以精确提取出视频的运动特征，但是，如果存在光照强度的改变，而阈值选择的不合理，则会将闪光点认为是运动特征提取出来。

(1).Duan-Yu Chen，Kevin Cannons，Hsiao-Rong Tyan，Sheng-Wen Shih，Hong-YuanMark Liao.Spatiotemporal motion analysis for the detection and classification of movingtargets.IEEE Transactions on multimedia，2008，10(8)：1578-159。这种方法结合高斯混合模型和背景差提取视频运动特征，该方法能够将背景完全静止视频中的运动特征较好地提取出来，但对于背景有闪光点和晃动的视频，在提取运动特征过程中将产生更多的噪声点，不能将运动特征和噪声完全区分，严重影响运动特征提取的准确度。.

(2).Y-P. Guan.Spatio-temporal motion-based foreground segmentation and shadowsuppression.IET Computer vision，2008，4(1)：50-60。这种方法基于多尺度小波变换进行运动目标检测方法，能够有效地抑制目标的阴影问题，最佳门限的选择可以自动确定，不需要复杂的监督学习或手动校准，但该方法在提取运动特征时需要用到参考帧，若参考帧中含有运动特征，则会对目标帧产生运动重影，不能很好地区分目标帧运动特征。

非负矩阵分解NMF(Non-Negative Matrix Factorization)是在矩阵中所有元素为非负条件下的一种矩阵分解方法，能够大大降低数据特征的维数，分解特性合乎人类视觉感知直观体验，分解结果具有可解释和明确的物理意义，自提出以来受到人们的广泛关注，已成功应用于模式识别、计算机视觉和图像工程等多个领域。

NMF能够将信号分解成一组基信号的线性加权和，而视频帧可以看作静止分量与运动分量的线性加权和，一般来说，静止分量是非稀疏的，运动分量是稀疏的，因此可以利用NMF方法提取视频运动分量。

目前已提出的非负矩阵分解方法主要有：

(3).Lee D D，Seung H S.Learning the parts of objects with nonnegative matrixfactorization.Nature，1999，401(6755)：788-791。提出了一种新的矩阵分解方法-非负矩阵分解。它能够把一个非负矩阵(矩阵的所有元素均为非负)分解为两个非负矩阵的乘积，同时实现非线性的维数约减。基本非负矩阵分解的结果具有一定的稀疏性，但其稀疏性并不令人满意。

(4).P. O.Hoyer.Non-negative matrix factorization with sparseness constraints.J.ofMach.Learning Res.，5：1457-1469，2004。提出了一种可精确控制稀疏性的非负矩阵分解方法，能够以非线性投影同时实现基矩阵和系数矩阵稀疏性的精确控制，但稀疏性约束添加在所有基向量上，并且当施加较高稀疏性约束时，对数据的描述力不够，分解误差过大，收敛速度缓慢。

发明内容

本发明目的是针对上述已有技术的不足，提出了一种基于部分稀疏约束非负矩阵分解的视频运动特征提取方法，以快速、准确、有效的提取视频运动特征，清晰展现运动轨迹。

实现本发明的技术关键是在部分基矩阵列向量中加入了稀疏约束，具体实现步骤包括如下：

(1)以待提取运动特征的目标帧f为中心，目标帧f为m×n大小的矩阵，选取原始视频v中目标帧f前后各10个视频帧，将这21个视频帧构成一个3维视频帧组V，目标帧f为3维视频帧组V的第11帧；

(2)将3维的视频帧组V转化为2维的非负矩阵B；

(3)利用部分稀疏约束非负矩阵分解方法，将2维非负矩阵B分解为两个矩阵的乘积：B≈WH，其中，H为2维非负矩阵B分解得到的系数矩阵，W为2维非负矩阵B分解得到的基矩阵，基矩阵W的总列数为r；

(4)对基矩阵W中前r-1列添加稀疏约束，得到稀疏约束后的列向量：

i＝1，2，L，r-1，其中，wi表示基矩阵W的第i列，R为w_i所含元素总个数，|| ||₂表示2范数，|| ||₀表示0范数，s为稀疏度，r为基矩阵W所含列向量总个数；

(5)对w_i′和目标帧f对应的系数矩阵H进行加权求和，得到目标帧f中含有mn个元素的运动列向量：其中，H(i，11)表示系数矩阵H中第i行第11列的元素值，运动向量mov中的元素值越大，则表示相应位置的运动越剧烈；

(6)按顺序依次选取运动列向量mov中m个元素组成列向量v_h，并将v_h，h＝1，2，L，n，按顺序依次排列构成矩阵M′＝[v₁，v₂，L，v_n]，该矩阵M′即为目标帧f的运动特征。

本发明与现有技术相比具有以下优点：

1)本发明由于在部分基矩阵列向量中加入了稀疏性约束，克服了稀疏性非负矩阵分解方法当施加较高的稀疏性约束时分解误差过大，收敛速度缓慢，对数据描述力差的问题。

2)本发明由于采用部分稀疏约束非负矩阵分解方法，与其它方法相比，能够快速准确提取视频运动特征，完全滤除静止背景的干扰，不受视频帧之间的闪光点影响，使提取的运动特征准确有效，清晰准确展现了运动轨迹。

附图说明

图1是本发明的视频运动特征提取流程图；

图2是用本发明和现有非负矩阵分解方法、稀疏约束非负矩阵分解方法的分解误差收敛速度仿真曲线图；

图3本用本发明和现有非负矩阵分解方法、稀疏约束非负矩阵分解方法、高斯混合模型和背景差方法、多尺度小波变换方法对测试视频hall.yuv第25帧运动特征仿真提取结果对比图。

图4本用本发明和现有非负矩阵分解方法、稀疏约束非负矩阵分解方法、高斯混合模型和背景差方法、多尺度小波变换方法对测试视频hall.yuv第55帧运动特征仿真提取结果对比图。

具体实施方式

一、基础理论介绍

在信号处理、模式识别、神经网络和计算机视觉和图像工程等领域的研究中矩阵分解获得了广泛的应用，矩阵分解能够发现数据内部潜在结构特征，还能够降低数据特征的维数，节省存储和计算资源。常规矩阵分解的结果中可以存在负值，而负值在处理许多实际问题的时候往往缺失物理意义，如灰度图像、物质成分含量、文章中单词出现的次数和统计学中的概率转移矩阵。

部分稀疏约束非负矩阵分解能够把一个矩阵的所有元素均为非负的非负矩阵分解为两个非负矩阵的乘积，同时实现非线性的维数约减。部分稀疏约束非负矩阵分解的数学定义为，设B为M×N大小的非负矩阵，对B进行非负矩阵分解，有：

B≈WH

其中，H为非负矩阵B分解得到的系数矩阵，W为非负矩阵B分解得到的基矩阵，基矩阵W的大小为M×r，数矩阵H的大小为r×N，一般情况下，基矩阵W的列数r应满足如下公式的条件，从而得到了数据矩阵的降维表示。

r＜MN/(M+N)

视频帧可以看作静止分量与运动分量的线性加权和，静止分量和运动分量具有不同的稀疏度，并且相邻视频帧之间具有很高的相似度，变化很小，对于较短时间的一段视频序列，一般认为静止分量是非稀疏的，而运动分量是稀疏的，因此可以利用部分稀疏约束非负矩阵分解方法对视频帧进行分解，并控制运动分量的稀疏度，使静止分量和运动分量完全分离，以提取视频运动特征。

二、相关符号说明

B：2维非负矩阵

W：基矩阵

H：系数矩阵

O：原始视频

V：3维视频帧组

r：基矩阵W所含列向量总个数

R：基矩阵W的列向量所含列元素总个数

M：非负数据矩阵行数

N：非负数据矩阵列数

T：转置运算

m：目标帧行数

n：目标帧列数

f_v：目标帧

k：迭代次数

v：列向量

w_i：基矩阵W的第i列

w′_i：稀疏约束后的列向量

mov：运动列向量

M′：运动分量。

三、基于部分稀疏约束非负矩阵分解的视频运动特征提取方法

参照图1，本发明的基于部分稀疏约束非负矩阵分解的视频运动特征提取方法，步骤如下：

步骤1，将原始视频O以目标帧f为中心转化为视频帧组V。

以待提取运动特征的目标帧f为中心，选取原始视频O中目标帧f前后各10个视频帧，包括目标帧f，目标帧f前10帧分别表示为f_-10，f_-9，L，f_-1，目标帧f后10帧分别表示为f₁，f₂，L，f₁₀，将这21个视频帧按顺序构成一个3维视频帧组V＝f_-10，f_-9，L，f_-1，f，f₁，f₂，L，f₁₀，3维视频帧组V为大小为m×n×21的矩阵，f_-10为3维视频帧组V的第1帧，目标帧f为3维视频帧组V的第11帧，f₁₀为3维视频帧组V的第21帧，3维视频帧组V的每一帧均为m×n大小的矩阵。

步骤2，将3维的视频帧组V转化为2维的非负矩阵B。

按如下公式将3维的视频帧组V转化为2维的非负矩阵B，

其中，B(J，l)表示2维非负矩阵B的第j行第l列元素，j＝1，2，L mn，l＝1，2，L，21，mod()表示求余，表示向上取整，该公式的具体转化方式为，当j＝1，l＝1时，B(1，1)＝V(1，1，1)，V(1，1，1)表示3维的视频帧组V第1行第1列第1帧的元素，当j＝2，l＝1时，B(2，1)＝V(1，2，1)，V(1，2，1)表示3维的视频帧组V第1行第2列第1帧的元素，同理，直到当j＝mn，l＝21时，B(mn，21)＝V(m，n，21)，V(m，n，21)表示3维的视频帧组V第m行第n列第21帧的元素。

步骤3，利用部分稀疏约束非负矩阵分解方法，对2维非负矩阵B进行分解。

利用部分稀疏约束非负矩阵分解方法，将2维非负矩阵B分解为两个矩阵的乘积：B≈WH，其中，H为2维非负矩阵B分解得到的系数矩阵，W为2维非负矩阵B分解得到的基矩阵，对2维非负矩阵B进行分解的具体实现如下：

(3.1)根据2维非负矩阵B和基矩阵W所含列向量总数r确定基矩阵W和系数矩阵H的大小，2维非负矩阵B的大小为M×N，其中，M＝mn，N＝21，则基矩阵W的大小为M×r，系数矩阵H的大小为r×N；

(3.2)对基矩阵W和系数矩阵H进行初始化，使得基矩阵W中的任意元素W(a，b)∈[0，1]，a＝1，2，L，M，b＝1，2，L，r，其中，W(a，b)表示基矩阵W中第a行第b列的元素，系数矩阵H的任意元素H(c，d)∈[0，1]，c＝1，2，L，r，d＝1，2，L，N，其中，H(c，d)表示系数矩阵H中第c行第d列的元素。

(3.3)将初始化后的基矩阵W、系数矩阵H和2维非负矩阵B作为初始矩阵，并按如下方式进行迭代更新基矩阵W和系数矩阵H：

$\begin{array}{c}{W}^{k+1}\←W^k-0.5\mathrm{\Σ}(W^k{H}^k-B)H^{k^T}\\ H^{k+1}\←H^k\frac{W^{k^T}B}{W^{k^T}{W}^k{H}^k}\end{array}$

其中，B为2维非负矩阵，k为迭代次数，W^k为迭代k次后的基矩阵，W^k+1为迭代k+1次后的基矩阵，H^k为迭代k次后的系数矩阵，H^k+1为迭代k+1次后的系数矩阵，T表示对矩阵进行转置运算；

(3.4)将第k+1次迭代后的系数矩阵H^k+1作为分解得到的系数矩阵H，将第k+1次迭代后的基矩阵W^k+1作为分解得到的基矩阵W。

步骤4，计算稀疏约束向量。

对基矩阵W中前r－1列添加稀疏约束，得到稀疏约束后的列向量：

，i＝1，2，L，r－1，其中，w_i表示基矩阵W的第i列，R为w_i所含元素总个数，|| ||₂表示2范数，|| ||₀表示0范数，s为稀疏度。

步骤5，计算目标帧f的运动向量。

对w_i′和目标帧f对应的系数矩阵H进行加权求和，得到目标帧f中含有mn个元素的运动列向量：

其中，H(i，11)表示系数矩阵H中第i行第11列的元素值，运动向量mov中的元素值越大，则表示相应位置的运动越剧烈。

步骤6，提取目标帧f的运动特征。

按顺序依次选取运动列向量mov中m个元素组成列向量v_h，将1，2，L，m个元素组成列向量v₁，将m+1，m+2，L，2m个元素组成列向量v₂，同理将mn－m+1，mn－m+2，L，mn个元素组成列向量v_h，并将v_h，h＝1，2，L，n，按顺序依次排列构成矩阵M′＝[v₁，v₂，L，v_n]，该矩阵M′即为目标帧f的运动特征。

本发明的效果可通过以下实验仿真进一步说明。

仿真条件

实验选择测试视频为QCIF格式的hall.yuv，视频长度分别为299帧。实验软件环境为Matlab7.0。

仿真内容及结果

仿真一：将测试视频hall.yuv的第25帧作为目标帧f，并取目标帧f前后各10帧构成视频帧组V，将V转化为2维非负矩阵B，并使用本发明和现有的非负矩阵分解方法、稀疏约束非负矩阵分解方法对2维非负矩阵B进行分解，其中本发明和稀疏约束非负矩阵分解方法施加了稀疏度s＝0.8的稀疏约束，基矩阵W中所含列向量的总个数r=6，并计算2维非负矩阵B与分解结果的误差，该误差随迭代次数的收敛曲线如图2所示。

仿真二：将测试视频hall.yuv的第25帧作为目标帧f，并取目标帧f前后各10帧构成视频帧组V，将V转化为2维非负矩阵B，并使用本发明和现有的非负矩阵分解方法、稀疏约束非负矩阵分解方法、高斯混合模型和背景差方法和多尺度小波变换方法对2维非负矩阵B进行分解，其中本发明和稀疏约束非负矩阵分解方法施加了稀疏度s＝0.8的稀疏约束，基矩阵W中所含列向量的总个数r=6，并提取目标帧f的运动特征，结果如图3所示，其中，图3(a)为目标帧，图3(b)为本发明提取的目标帧运动特征，图3(c)为高斯混合模型方法得提取的目标帧运动特征，图3(d)为多尺度小波变换方法提取的目标帧运动特征，图3(e)为非负矩阵分解方法提取的目标帧运动特征，图3(f)为稀疏约束非负矩阵分解方法提取的目标帧运动特征。

仿真三：将测试视频hall.yuv的第55帧作为目标帧f，并取目标帧f前后各10帧构成视频帧组V，将V转化为2维非负矩阵B，并使用本发明和现有的非负矩阵分解方法、稀疏约束非负矩阵分解方法、高斯混合模型和背景差方法和多尺度小波变换方法对2维非负矩阵B进行分解，其中本发明和稀疏约束非负矩阵分解方法施加了稀疏度s＝0.8的稀疏约束，基矩阵W中所含列向量的总个数r=6，并提取目标帧f的运动特征，结果如图4所示，其中，图4(a)为目标帧，图4(b)为本发明提取的目标帧运动特征，图4(c)为高斯混合模型方法得提取的目标帧运动特征，图4(d)为多尺度小波变换方法提取的目标帧运动特征，图4(e)为非负矩阵分解方法提取的目标帧运动特征，图4(f)为稀疏约束非负矩阵分解方法提取的目标帧运动特征。

由图2可以看出，本发明的最终迭代误差为0.468，远小于稀疏约束非负矩阵分解方法19.379。由图2还可以看出，经过77次迭代后，部分稀疏约束非负矩阵分解方法已经收敛到了最终迭代误差0.468，而非负矩阵分解方法经过410次迭代熟练到最终误差1.089，稀疏约束非负矩阵分解方法经过913次迭代收敛到最终误差19.379，由以上分析可知，本发明与现有非负矩阵分解方法、稀疏约束非负矩阵分解方法相比明显降低了分解误差，加快了收敛速度，优于其它方法。

由图3可以看出，本发明提取的目标帧运动特征，完全滤除了静止背景的干扰和闪光点影响，与目标帧相比清晰展现了运动轨迹，高斯混合模型方法提取的目标帧运动特征含有大量闪光点，多尺度小波变换方法提取的目标帧运动特征含有大量重影，非负矩阵分解方法提取的目标帧运动特征和稀疏约束非负矩阵分解方法提取的目标帧运动特征完全不能滤除静止的干扰，由以上分析可知，本发明提取的目标帧运动特征准确、有效。

由图4可以看出，本发明提取的目标帧运动特征，完全滤除了静止背景的干扰和闪光点的影响，与目标帧相比清晰展现了运动轨迹，高斯混合模型方法提取的目标帧运动特征含有大量闪光点，多尺度小波变换方法提取的目标帧运动特征含有大量重影，非负矩阵分解方法提取的目标帧运动特征和稀疏约束非负矩阵分解方法提取的目标帧运动特征完全不能滤除静止的干扰，由以上分析可知，本发明提取的目标帧运动特征准确、有效。

以上仿真结果表明，本发明不但能够快速、准确、有效的提取视频运动特征，清晰展现运动轨迹，同时等够降低分解误差，加快收敛速度。

Claims (3)

1.一种基于部分稀疏约束非负矩阵分解的视频运动特征提取方法，包括如下步骤：

(1)以待提取运动特征的目标帧f为中心，目标帧f为m×n大小的矩阵，选取原始视频v中目标帧f前后各10个视频帧，将这21个视频帧构成一个3维视频帧组V，目标帧f为3维视频帧组V的第11帧；

(2)将3维的视频帧组V转化为2维的非负矩阵B；

(3)利用部分稀疏约束非负矩阵分解方法，将2维非负矩阵B分解为两个矩阵的乘积：B≈WH，其中，H为2维非负矩阵B分解得到的系数矩阵，W为2维非负矩阵B分解得到的基矩阵，基矩阵W的总列数为r；

(4)对基矩阵W中前r-1列添加稀疏约束，得到稀疏约束后的列向量：i＝1，2，L，r-1，其中，w_i表示基矩阵W的第i列，R为w_i所含元素总个数，|| ||₂表示2范数，|| ||₀表示0范数，s为稀疏度；

(5)对w_i′和目标帧f对应的系数矩阵H进行加权求和，得到目标帧f中含有mn个元素的运动列向量：

其中，H(i，11)表示系数矩阵H中第i行第11列的元素值，运动向量mov中的元素值越大，则表示相应位置的运动越剧烈；

(6)按顺序依次选取运动列向量mov中m个元素组成列向量v_h，并将v_h，h＝1，2，L，n，按顺序依次排列构成矩阵M′＝[v₁，v₂，L，v_n]，该矩阵M′即为目标帧f的运动特征。

2.根据权利要求1所述的基于部分稀疏约束非负矩阵分解的视频运动特征提取方法，其中步骤(2)所述的将3维的视频帧组V转化为2维的非负矩阵B，是通过如下公式进行：

B(j，l)表示2维非负矩阵B的第j行第l列元素，j＝1，2，Lmn，l＝1，2，L，21，其中，mod()表示求余，

表示向上取整。

3.根据权利要求1所述的基于部分稀疏约束非负矩阵分解的视频运动特征提取方法，其中步骤(3)所述的利用部分稀疏约束非负矩阵分解方法，将2维非负矩阵B分解为两个矩阵的乘积，按如下步骤进行：

(3a)根据2维非负矩阵B和基矩阵W所含列向量总数r确定基矩阵W和系数矩阵H的大小，2维非负矩阵B的大小为M×N，其中，M＝mn，N＝21，则基矩阵W的大小为M×r，系数矩阵H的大小为r×N，r为基矩阵W的总列数；

(3b)对基矩阵W和系数矩阵H进行初始化，使得基矩阵W中的任意元素W(a，b)∈[0，1]，a＝1，2，L，M，b＝1，2，L，r，其中，W(a，b)表示基矩阵W中第a行第b列的元素，系数矩阵H的任意元素H(c，d)∈[0，1]，c＝1，2，L，r，d＝1，2，L，N，其中，H(c，d)表示系数矩阵H中第c行第d列的元素；

(3c)更新基矩阵W和系数矩阵H，即按如下方式进行迭代：

$W^{k+1}\←W^k-0.5\mathrm{\Σ}(W^k{H}^k-B)H^{k^T}$

$H^{k+1}\←H^k\frac{W^{k^T}B}{W^{k^T}{W}^k{H}^k}$

其中，B为2维非负矩阵，k为迭代次数，W^k为迭代k次后的基矩阵，W^k+1为迭代k+1次后的基矩阵，H^k为迭代k次后的系数矩阵，H^k+1为迭代k+1次后的系数矩阵，T表示对矩阵进行转置运算；

(3e)将第k+1次迭代后的系数矩阵H^k+1作为分解得到的系数矩阵H，将第k+1次迭代后的基矩阵W^k+1作为分解得到的基矩阵W。

Images