CN108509834A - 基于多元对数高斯分布下视频特征的图结构规约方法 - Google Patents

Abstract

本发明属于视频特征优化的技术领域，具体涉及一种基于多元对数高斯分布下视频特征的图结构规约方法。基于多元对数高斯分布下视频特征的图结构规约方法，在保持视频特征的空间相关结构前提下，构建出光流特征网络图结构，图结构顶点处光流特征向量的相位信息蕴藏在序列光流场中，光流特征向量的幅度体现了在相连的两帧中目标的变化情况。鉴于光流特征向量幅度值均大于零，视频场景中图结构顶点处的光流特征向量的幅度服从多元对数高斯分布。本发明提出了一种有效降低特征数据量并能实现快速异常检测的视频特征的图结构规约方法。

Description

基于多元对数高斯分布下视频特征的图结构规约方法

技术领域

本发明属于视频特征优化的技术领域，具体涉及一种基于多元对 数高斯分布下视频特征的图结构规约方法。

背景技术

随着人们生活水平的不断提高和人口城镇化率的提升，公共安全 问题日益突出。在监控场景下，异常事件能被及时发现并进行积极的 救援，这对减少了群众的人身伤亡和财产损失有着重要的意义。因此， 基于视频监控的异常检测则尤为重要。

伴随视频智能监控技术的逐渐增长与监控产品的广泛应用，海量 的视频监控数据已变为大数据时期较为重要的处理对象。针对视频监 控场景中出现数据量大、数据分析处理复杂的问题，视频监控系统需 不断的改进，并变得更为智能和高效。

鉴于当前人际交流的社交网络来说，每个人均为网络图上的一个 顶点，每个顶点间均有一定的连接关系，在该顶点上将产生大量的数 据，这样构成一个复杂且含有大量数据信息的网络结构图。如何通过 对含有重要视频特征的图结构操作，从而间接对原始视频特征进行操 作，是现有技术无法攻克的难题。

发明内容

本发明的目的是针对现有技术的不足，提出了一种基于多元对数 高斯分布下视频特征的图结构规约方法。

本发明利用光流法提取视频场景中的光流特征，鉴于监控场景的 视频特征数据存在于加权网络空间结构的顶点上，以及不规则网络图 结构能更好的表达特征之间的空间关系，本发明借助图结构来描述视 频中的特征数据。在保持视频特征的空间相关结构前提下，构建出光 流特征网络图结构，其顶点处光流特征向量的相位信息蕴藏在序列光 流场中，光流特征向量的幅度体现了在相连的两帧中目标的变化情况。 鉴于光流特征向量幅度值均大于零，视频场景中图结构顶点处的光流 特征向量的幅度服从多元对数高斯分布。在此基础上，借助光流特征 图结构的规约操作完成特征优化的目的，实验结果表明该方法可以有 效降低数据量并能实现快速异常检测。

该方法的具体思路：首先选择金字塔LK光流算法提取训练集每 一视频帧的光流特征(u,v),设置网格大小为24*32，选取10*10像素 单元抽取其位移信息。然后，设定运动区域划分阈值T，对高于阈值 的光流分量采取颜色编码，不断累积记录颜色块的变化区域并得到运 动区域的边缘轮廓。并且利用运动区域的边缘轮廓、网格位置与光流 特征来构建光流特征图结构。接下来，对该光流特征图结构进行规约 操作。通过结合光流特征图结构拉普拉斯矩阵最大特征向量的下采样 方法和光流特征向量幅度符合多元对数高斯分布的特征幅度均值下 采样方法两方面来共同筛选合适的顶点，并且选择阈值化的高斯加权核函数来构建出顶点之间的内在连接，从而对特征图结构依次进行规 约操作并达到特征优化的目的。在各个规约图结构上分别进行滤波， 并将滤波过后的训练光流特征构建词袋形式，并送进LDA-iHMM的联 合空时模型中，学习得到正常模型参数。测试集的光流特征向量将视 作已经训练正常模型的输入并送入模型中异常检测，然后得出测试集 每一帧的对数似然函数。将测试集的对数似然函数与设定阈值进行相 对比，若连续三帧测试集的对数似然函数均大于阈值时，该视频帧判 定为异常，反之则判定为正常。

为方便描述发明内容，首先做以下术语定义：

定义1：金字塔LK光流算法

金字塔LK光流算法是一种改进的相邻帧差分光流估计算法，基 于以下三个假设:亮度恒定，就是同一像素点随着时间的变化，其亮 度即灰度值不会发生改变；时间连续，时间正常推移则无法引起物体 运动发生突然变化，区域内像素点的灰度保持不变；空间一致，场景 中相邻点投影到图像上也为相邻点，即相邻像素点有着类似变化。 定义I(x)和J(x)为视频场景中相邻并且连续的两帧图像，图像当中的 像素点在任意时刻的灰度表示为：

I(x)＝I(x,y)

J(x)＝J(x,y)

其中，x＝[x y]^T表示某一像素点的坐标位置。对于金字塔LK光 流算法，当外部光源稳定，我们假设时间间隔较小的情况下图像上像 素点的灰度值是保持不变。由于这个约束条件，通过找到前后相邻两 帧的图像上的像素点u＝[u_x u_y]^T与v＝[u_x+d_x u_y+d_y]^T逐一对应，可达到 跟踪的目的。向量d＝[d_x d_y]^T表示图像在特征点u处的瞬时速度，即 光流值。金字塔LK光流算法过程为首先对图像金字塔进行表述，接 着金字塔的特征跟踪，最后实现迭代仿射光流的计算。

定义2：LDA-iHMM联合空时模型

LDA-iHMM的联合空时模型的结构数学表达式如下：

β|γ～GEM(γ)

在LDA-iHMM的联合空时模型中，定义为视频数据集的 光流特征，其中N为特征的数量，T代表总视频集的帧数。我们提取 的光流特征向量(u,v)是基于两维笛卡尔坐标系下的X轴和Y轴，利用 不同坐标轴间的转换将特征光流向量(u,v)转换成极坐标下的特征光 流向量(ρ,θ)，其模长为ρ和相角为θ。接着利用极坐标下的特征光流 向量(ρ,θ)推算得到单词词频并且构成无序的词袋特征形式且 服从主题为z_n,t的多项式分布。联合空时模型中，主题z_n,t和状态v_t之 间建立无向连接并构建空时耦合。从某个角度来说，主题z_n,t服从状 态v_t的多项式分布，利用主题z_n,t与状态v_t-1间的联合转移概率矩阵来影响状态之间的转移。这个转移过程为狄利赫雷过程，导致状态数最 终趋于稳定而最优的数目。

本发明基于多元对数高斯分布下视频特征的图结构规约方法，其 具体实现步骤如下：

步骤1：读入分辨率为240*320公开视频数据集UMN中的训练集 与测试集视频图像，设置网格大小为24*32，选取训练的正常视频帧 N＝180，利用金字塔LK光流算法计算得到每一帧的运动光流特征(u,v)。 其中u和v为相邻两视频帧网格上目标运动的水平速度场大小与垂 直速度场大小。

步骤2：选取光流特征(u,v)中的一项与设定的阈值T进行比较， 将高于阈值T＝0.095运动区域中光流分量进行颜色编码，并且不断累 积颜色块的区域求出目标运动区域的边缘轮廓。

步骤3：利用运动区域的边缘轮廓、网格位置与光流特征来构建 光流特征图结构G：

G＝{V,ε,W}

其中，V是顶点的集合|V|＝N，ε是无向边集合，W是邻接矩阵。 一条无向边e＝(i,j)连接顶点i和j。

度矩阵是一个对角矩阵：

式中，N_i是图结构G中相邻顶点的集合。

图拉普拉斯矩阵：

L＝D-W

拉普拉斯矩阵L实对称矩阵，其完整的正交特征向量{u_l}_{l＝0,1,...,N-1}和 非负特征值{λ_l}_{l＝0,1,...,N-1}间有Lu_l＝λ_lu_l。按照特征值大小进行递增排序后 为：0＝λ₀<λ₁≤λ₂…≤λ_N-1＝λ_max，定义最大特征值所对应的特征向量为 λ_max＝λ_N-1和u_max＝u_N-1。

步骤4：对构建的光流特征图结构进行多次规约操作，通过光流 特征图结构上顶点的减少，进一步减少相对应的光流特征数量，从而 实现特征信息的优化。

特征图结构的顶点的筛选先是由光流特征图结构的图拉普拉斯 矩阵L最大特征向值λ_max对应最大特征向量u_max与设定阈值T₁相比较 来选择顶点集V。即是：

V₁:＝{i∈V:u_max(i)≥T₁}

V₂:＝{i∈V:u_max(i)<T₁}

阈值T₁为最大特征向量对应值排序后的前所对应的值，将光 流特征图结构的顶点集V分成V₁和V₂两个部分。且对有高权重边所连 接的顶点予以保留，我们保留顶点集V₁并且对顶点集和V₂进行剔除， 以此来完成光流特征图结构的顶点的初次筛选。

利用光流特征图结构顶点上的光流特征向量的幅度均值的大小 再次筛选图结构顶点。光流特征图结构顶点上的特征光流向量(u,v)。 将其转化成极坐标下的光流特征向量(A,θ)，其中A为极坐标下的幅度 值，θ为极坐标下的相角。

对于有n个顶点的特征图结构，每个顶点上的特征向量幅度A即 为一个维度上的随机变量。我们将n维图结构信号x＝(x₁,...,x_N)^T规约为 n-k维图结构信号x₁＝(x₁,...,x_N-K)^T，因为不清楚应该选择哪k个顶点是 最佳的，所以从概率的角度去筛选顶点，使信息损失差降低到最小。 因为特征图结构顶点上的光流特征向量幅度的分布是多元对数高斯分布，所以让规约后的差分熵达到最大值，如下式所示：

上式目标函数中，e为自然底数，D为x₁的协方差矩阵，μ_i为各 个顶点的光流特征向量的幅度均值。为了使尺度化后的信息熵最大化， 选择最佳的x₁找到与x间的最大互信息，即让留下顶点上光流特征向 量的幅度均值μ_i尽可能的大。鉴于视频中图结构的顶点数过多，并且 顶点上的特征信号又十分的小，所以其行列式的值将趋向于无穷小， 因此求差分熵的最大值则忽略此项。因此，图结构顶点的再次筛选过 程是在初次筛选顶点集V₁的基础上，利用顶点上光流向量的幅度均值 与设定阈值T₂比较后进行再次筛选，得到V₁₁。

V₁₁:＝{i∈V₁:μ_i≥T₂}

V₁₂:＝{i∈V₁:μ_i<T₂}

上两式中的阈值大小T₂为图结构每个顶点上光流场幅度均值μ_i按从大到小排列的前所对应的均值大小，将图结构顶点集V₁分 成V₁₁和V₁₂两个部分，并保留顶点集V₁₁并剔除顶点集V₁₂。经过两次顶 点筛选后，图结构顶点数减少一半，总体待处理的数据量也减少一半。

将筛选出的顶点集V₁₁利用一个阈值化的高斯核函数来构建出顶 点间的内在连接，定义一条无向边e＝(i,j)连接顶点i和j的边权重W_i,j， 构成尺度化子图结构G＝{V₁₁,ε,W}，其中V₁₁是筛选后顶点的集合，ε是 无向边集合，W为含权重的邻接矩阵。

其中κ为阈值，参数N是图结构顶点总 数，dist(i,j)为顶点i和j之间的欧式距离，阈值κ＝0.6。

步骤5：在依次规约的图结构上，对送入的训练集与测试集的光 流特征分别进行滤波并构建对应的特征词袋形式。

步骤6：将训练集特征的词袋送入LDA-iHMM联合空时模型中学 习得到模型的参数及训练集每帧的对数似然函数，最后再将测试集的 词袋中的光流特征向量作为已训练“正常”模型的输入进行视频的异 常检测，得到测试集每一帧的对数似然函数。

步骤7：测试集的对数似然函数与设定阈值进行相对比，若连续 三帧测试集的对数似然函数均大于阈值Th时，该视频帧判定为异常， 反之则判定为正常；直到整个测试视频集全部检测完成。

本发明的优点在于：

本发明主要提出了多元对数高斯分布下视频特征的图结构规约 的方法应用于视频特征的优化处理。在此基础上，借助光流特征图结 构的规约操作完成特征优化的目的。通过用UMN数据集异常检测的仿 真结果去验证该算法的适用性，实验结果表明该方法可以有效降低数 据量并能改善视频异常检测算法的计算速度。

附图说明

图1为本发明的流程图。

图2为LDA-iHMM的联合空时模型。

具体实施方式

本发明的实施流程图如图1所示，具体实施步骤如下：

步骤1：读入分辨率为240*320公开视频数据集UMN中的训练集 与测试集视频图像，设置网格大小为24*32，选取训练的正常视频帧 N＝180，利用金字塔LK光流算法计算得到每一帧的运动光流特征(u,v)。 其中u和v为相邻两视频帧网格上目标运动的水平速度场大小与垂 直速度场大小。

步骤2：选取光流特征(u,v)中的一项与设定的阈值T进行比较， 将高于阈值T＝0.095运动区域中光流分量进行颜色编码，并且不断累 积颜色块区域求出目标运动区域的边缘轮廓。

步骤3：利用运动区域的边缘轮廓、网格位置与光流特征来构建 光流特征图结构G：

G＝{V,ε,W}

其中，V是顶点的集合|V|＝N，ε是无向边集合，W是邻接矩阵。 一条无向边e＝(i,j)连接顶点i和j。

度矩阵是一个对角矩阵：

式中，N_i是图结构G中相邻顶点的集合。

图拉普拉斯矩阵：

L＝D-W

拉普拉斯矩阵L实对称矩阵，其完整的正交特征向量{u_l}_{l＝0,1,...,N-1}和 非负特征值{λ_l}_{l＝0,1,...,N-1}间有Lu_l＝λ_lu_l。按照特征值大小进行递增排序后 为：0＝λ₀<λ₁≤λ₂…≤λ_N-1＝λ_max，定义最大特征值所对应的特征向量为 λ_max＝λ_N-1和u_max＝u_N-1。

步骤4：对构建的光流特征图结构进行多次规约操作，通过光流 特征图结构上顶点的减少，进一步减少相对应的光流特征数量，从而 实现特征信息的优化。

特征图结构的顶点的筛选先是由光流特征图结构的图拉普拉斯 矩阵L最大特征向值λ_max对应最大特征向量u_max与设定阈值T₁相比较 来选择顶点集V。即是：

V₁:＝{i∈V:u_max(i)≥T₁}

V₂:＝{i∈V:u_max(i)<T₁}

阈值T₁为最大特征向量对应值排序后的前所对应的值，将光 流特征图结构的顶点集V分成V₁和V₂两个部分。且对有高权重边所连 接的顶点予以保留，我们保留顶点集V₁并且对顶点集和V₂进行剔除， 以此来完成光流特征图结构的顶点的初次筛选。

利用光流特征图结构顶点上的光流特征向量的幅度均值的大小 再次筛选图结构顶点。光流特征图结构顶点上的特征光流向量(u,v)。 将其转化成极坐标下的光流特征向量(A,θ)，其中A为极坐标下的幅度 值，θ为极坐标下的相角。

对于有n个顶点的特征图结构，每个顶点上的特征向量幅度A即 为一个维度上的随机变量。我们将n维图结构信号x＝(x₁,...,x_N)^T规约为 n-k维图结构信号x₁＝(x₁,...,x_N-K)^T，因为不清楚应该选择哪k个顶点是 最佳的，所以从概率的角度去筛选顶点，使信息损失差降低到最小。 因为特征图结构顶点上的光流特征向量幅度的分布是多元对数高斯分布，所以我们让规约后的差分熵达到最大值，如下式所示：

上式目标函数中，e为自然底数，D为x₁的协方差矩阵，μ_i为各 个顶点的光流特征向量的幅度均值。为了使尺度化后的信息熵最大化， 选择最佳的x₁找到与x间的最大互信息，即让留下顶点上光流特征向 量的幅度均值μ_i尽可能的大。鉴于视频中图结构的顶点数过多，并且 顶点上的特征信号又十分的小，所以其行列式的值将趋向于无穷小， 因此求差分熵的最大值则忽略此项。因此，图结构顶点的再次筛选过 程是在初次筛选顶点集V₁的基础上，利用顶点上光流向量的幅度均值 与设定阈值T₂比较后进行再次筛选，得到V₁₁。

V₁₁:＝{i∈V₁:μ_i≥T₂}

V₁₂:＝{i∈V₁:μ_i<T₂}

上两式中的阈值大小T₂为图结构每个顶点上光流场幅度均值μ_i按从大到小排列的前所对应的均值大小，将图结构顶点集V₁分 成V₁₁和V₁₂两个部分，并保留顶点集V₁₁并剔除顶点集V₁₂。经过两次顶 点筛选后，图结构顶点数减少一半，总体待处理的数据量也减少一半。

将筛选出的顶点集V₁₁利用一个阈值化的高斯核函数来构建出顶 点间的内在连接，定义一条无向边e＝(i,j)连接顶点i和j的边权重W_i,j， 构成尺度化子图结构G＝{V₁₁,ε,W}，其中V₁₁是筛选后顶点的集合，ε是 无向边集合，W为含权重的邻接矩阵。

其中κ为阈值，参数N是图结构顶点总 数，dist(i,j)为顶点i和j之间的欧式距离，阈值κ＝0.6。

步骤5：在依次规约的图结构上，对送入的训练集与测试集的光 流特征分别进行滤波并构建对应的特征词袋形式。

步骤6：将训练集特征的词袋送入LDA-iHMM联合空时模型中学 习得到模型的参数及训练集每帧的对数似然函数，LDA-iHMM的联合 空时模型如图2所示，最后再将测试集的词袋中的光流特征向量作为 已训练“正常”模型的输入进行视频的异常检测，得到测试集每一帧 的对数似然函数。

步骤7：测试集的对数似然函数与设定阈值进行相对比，若连续 三帧测试集的对数似然函数均大于阈值Th时，该视频帧判定为异常， 反之则判定为正常；直到整个测试视频集全部检测完成。

Claims (5)

1.基于多元对数高斯分布下视频特征的图结构规约方法，其特征在于包括如下步骤：

步骤1：读入公开视频数据集UMN中的训练集与测试集的视频，选训练的正常视频帧，设置网格大小，利用金字塔LK光流算法求出视频集中运动光流特征(u,v)；其中，u为相邻两视频帧网格上目标运动的水平速度场大小，v为相邻两视频帧网格上目标运动的垂直速度场大小；

步骤2：选取光流特征(u,v)高于划分运动阈值T的光流分量进行颜色编码，并不断累积记录颜色块的区域并得运动区域的边缘轮廓；

步骤3：利用运动区域的边缘轮廓、网格位置与光流特征来构建光流特征图结构G；

步骤4：对构建的光流特征图结构进行多次规约操作，通过光流特征图结构上顶点的减少，进一步减少相对应的光流特征数量，从而实现特征信息的优化；

步骤5：在依次规约的图结构上，对送入的训练集与测试集的光流特征分别进行滤波并构建对应的特征词袋形式；

步骤6：将训练集特征的词袋送入LDA-iHMM联合空时模型中学习得到模型的参数及训练集每帧的对数似然函数，最后再将测试集的词袋中的光流特征向量作为已训练“正常”模型的输入进行视频的异常检测，得到测试集每一帧的对数似然函数；

步骤7：测试集的对数似然函数与设定阈值进行相对比，若连续三帧测试集的对数似然函数均大于阈值Th时，该视频帧判定为异常，反之则判定为正常；直到整个测试视频集全部检测完成。

2.根据权利要求1所述的基于多元对数高斯分布下视频特征的图结构规约方法，其特征在于步骤1读入的公开视频集数据UNM中的训练集与测试集的分辨率为240*320，选取训练的前N张正常视频帧，N＝180；设置网格大小为24*32。

3.根据权利要求1所述的基于多元对数高斯分布下视频特征的图结构规约方法，其特征在于步骤2中设定划分运动阈值T为0.095。

4.根据权利要求1所述的基于多元对数高斯分布下视频特征的图结构规约方法，其特征在于步骤3所述的光流特征图结构G：

G＝{V,ε,W}

其中，V是顶点的集合|V|＝N，ε是无向边集合，W是邻接矩阵，一条无向边e＝(i,j)连接顶点i和j；

度矩阵是一个对角矩阵：

式中，N_i是图结构G中相邻顶点的集合；

图的拉普拉斯矩阵：

L＝D-W

拉普拉斯矩阵L是对称矩阵，其完整的正交特征向量{u_l}_{l＝0,1,...,N-1}和非负特征值{λ_l}_{l＝0,1,...,N-1}间有Lu_l＝λ_lu_l，按照特征值大小进行递增排序后为：0＝λ₀<λ₁≤λ₂…≤λ_N-1＝λ_max，定义最大特征值所对应的特征向量为λ_max＝λ_N-1和u_max＝u_N-1。

5.根据权利要求1所述的基于多元对数高斯分布下视频特征的图结构规约方法，其特征在于步骤4具体实现过程如下：

特征图结构的顶点的筛选先是由光流特征图结构的图拉普拉斯矩阵L最大特征向值λ_max对应最大特征向量u_max与设定阈值T₁相比较来选择顶点集V，即是：

V₁:＝{i∈V:u_max(i)≥T₁}

V₂:＝{i∈V:u_max(i)<T₁}

阈值T₁为最大特征向量对应值排序后的前所对应的值，将光流特征图结构的顶点集V分成V₁和V₂两个部分，且对有高权重边所连接的顶点予以保留，保留顶点集V₁并且对顶点集和V₂进行剔除，以此来完成光流特征图结构的顶点的初次筛选；

利用光流特征图结构顶点上的光流特征向量的幅度均值的大小再次筛选图结构顶点，光流特征图结构顶点上的特征光流向量(u,v)，将其转化成极坐标下的光流特征向量(A,θ)，其中A为极坐标下的幅度值，θ为极坐标下的相角；

对于有n个顶点的特征图结构，每个顶点上的特征向量幅度A即为一个维度上的随机变量，将n维图结构信号x＝(x₁,...,x_N)^T规约为n-k维图结构信号x₁＝(x₁,...,x_N-K)^T；规约后的差分熵达到最大值，如下式所示：

上式目标函数中，e为自然底数，D为x₁的协方差矩阵，μ_i为各个顶点的光流特征向量的幅度均值；图结构顶点的再次筛选过程是在初次筛选顶点集V₁的基础上，利用顶点上光流向量的幅度均值与设定阈值T₂比较后进行再次筛选光流特征图结构的顶点，得到V₁₁：

V₁₁:＝{i∈V₁:μ_i≥T₂}

V₁₂:＝{i∈V₁:μ_i<T₂}

上两式中的阈值大小T₂为图结构每个顶点上光流场幅度均值μ_i按从大到小排列的前所对应的均值大小，将图结构顶点集V₁分成V₁₁和V₁₂两个部分，并保留顶点集V₁₁并剔除顶点集V₁₂；

将筛选出的顶点集V₁₁利用一个阈值化的高斯核函数来构建出顶点间的内在连接，定义一条无向边e＝(i,j)连接顶点i和j的边权重W_i,j，构成尺度化子图结构G＝{V₁₁,ε,W}，其中V₁₁是筛选后顶点的集合，ε是无向边集合，W为含权重的邻接矩阵。

其中κ为阈值，参数N是图结构顶点总数，dist(i,j)为顶点i和j之间的欧式距离，阈值κ＝0.6。