CN108629237B - 基于h.264/avc加密视频的运动异常检测方法 - Google Patents

Abstract

本发明提供一种基于H.264/AVC加密视频的运动异常检测方法，本发明通过对加密视频进行信息提取，对提取的信息进行特征计算，再利用训练集提取的特征，训练模型，最后，利用训练好的模型，进行异常检测。该方法采用直接在压缩码流上处理的方法使得算法效率更高，更适应于实际应用场景，同时根据加密码流结构的特性进行信息提取，为应对加密视频下异常运动的特点，重新设计了特征提取方法，使得异常检测能够在加密视频上实现，利用物理世界物体运动的特性，减少加密视频检测结果的离散问题，进一步提高了检测的准确率，从而可以为云监控系统、云存储系统等应用提供帮助。

Description

基于H.264/AVC加密视频的运动异常检测方法

技术领域

本发明涉及多媒体信息安全领域，更具体地，涉及一种基于H.264/AVC加 密视频的运动异常检测方法。

背景技术

近年来，随着信息技术的快速发展，云技术越来越多地应用在我们的日常生 活中。在云端存储视频时，我们通常选择加密视频以保护隐私信息。这些加密 的视频很难用现有的明文域方法去处理。在这种情况下，加密视频处理具有极其 重要的意义。例如，当用户使用远程客户端登陆云账户时，加密视频处理会带来 极大的便利。用户不需要先下载视频然后解密才能提取想要的信息，或者冒着泄 露隐私的风险在云端解密视频。

加密视频异常检测可以用于加密视频的云端切割或分类。用户可以直接获取 需要的带有异常标签的视频片段，而不需要担心隐私泄露的问题。加密视频异 常检测也可以用于远程监控系统。现有的技术中存储在云端的视频内容对服务提 供方是可见的，存在隐私泄露的可能。基于加密视频异常处理的远程监控系统中， 上传的图像都是经过加密的，可以更好地保护用户的隐私。同时，又保留了检测 运动异常的能力，兼顾了实用性与安全性。

发明内容

本发明提供一种基于H.264/AVC加密视频的运动异常检测方法，该方法能 够高效的在H.264/AVC加密视频中实现异常运动的检测。

为了达到上述技术效果，本发明的技术方案如下：

一种基于H.264/AVC加密视频的运动异常检测方法，包括以下步骤：

S1：对加密视频进行信息提取；

S2：对提取的信息进行特征计算；

S3：利用训练集提取的特征，训练模型；

S4：利用训练好的模型，进行异常检测。

进一步地，所述步骤S1的具体过程如下：

S11：根据码流结构中的宏块划分，获取每个宏块比特量的大小，记为s_ij；

S12：根据码流结构中的子块划分，获取每个宏块划分为子宏块的方式，将 对应的分块级别记为p_ij；

S13：对携带运动向量残差的宏块，根据码字长度估计其大小，公式为：

其中，L为运动向量残差的码字长度，当L＝1时，

进一步地，所述步骤S2的具体过程如下：

S21：对提取出的信息，进行时域上的中值滤波，令γ为视频编码的帧率，那 么滤波的窗口大小为γ/5；

S22：对每一类信息，按帧进行整合，得到其在每一帧的大小，其公式为

其中，S_i表示第i帧比特量，P_i表示第i帧分块级别，M_i表示第i帧运动向量 能量，f_i表示第i帧中所有宏块的地址；

S23：对每一类信息，计算其在时域窗口内的方差，其公式为

Sv_i＝var{[S_i-5，S_i-4，...，S_i+5]}

Pv_i＝var{[P_i-5，P_i-4，...，P_i+5]}

Mv_i＝var{[M_i-5，M_i-4，...，M_i+5]}

其中，var{}表示计算方差，Sv_i表示第i帧比特量在当前时域窗口内的方差， Pv_i表示第i帧分块级别在当前时域窗口内的方差，Mv_i表示第i帧运动向量能量 在当前时域窗口内的方差；

S24：对每一类信息，计算其在每一帧中，最大的前10％的值之和，其公式 为：

其中，fst_i，fpt_i，fmt_i分别为第i帧最大的前10％的s，p，v的地址，Ss_i表示 i帧最大的前10％宏块比特量之和，Ps_i最大的前10％宏块分块级别之和，Ms_i最 大的前10％宏块运动向量能量之和；

S25：得到用于训练的特征集合[S,P,M],其中

s＝[S_i，SV_i，Ss_i]_i∈v

P＝[P_i，Pv_i，Ps_i]_i∈v

M＝[M_i，Mv_i，Ms_i]_i∈v

S表示比特量相关特征集合，P表示分块级别相关特征集合，M表示运动向量 能量相关特征集合，v表示视频中所有的帧的集合。

进一步地，所述步骤S3的具体过程如下：

S31：对提取出的每一类特征，做归一化处理；

S32：计算每一类特征的直方图。

进一步地，所述步骤S4的具体过程如下：

S41：对每一个样本点F_i的每一类特征样本F_i(u)，计算其在模型的直方图中 出现的概率po(F_i(u))；

S42：将每一类特征样本的概率按帧进行整合，其公式为：

PO_i＝∑_u＝1,2,...po(F_i(u))；

S43：对计算出的概率值进行时域的中值滤波；

S44：对于出现概率小于阈值PO_i＜τ的帧，将其标记为异常。

与现有技术相比，本发明技术方案的有益效果是：

本发明通过对加密视频进行信息提取，对提取的信息进行特征计算，再利用 训练集提取的特征，训练模型，最后，利用训练好的模型，进行异常检测。该方 法采用直接在压缩码流上处理的方法使得算法效率更高，更适应于实际应用场景， 同时根据加密码流结构的特性进行信息提取，为应对加密视频下异常运动的特点， 重新设计了特征提取方法，使得异常检测能够在加密视频上实现，利用物理世界 物体运动的特性，减少加密视频检测结果的离散问题，进一步提高了检测的准确 率，从而可以为云监控系统、云存储系统等应用提供帮助。

附图说明

图1为采用本发明方法进行加密视频运动异常检测的流程图；

图2为采用本方法以数据库Avenue中640×360的视频数据进行试验的部分 结果示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实 际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理 解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1，一种基于H.264/AVC加密视频的运动异常检测方法，其具体步骤如 下：

对训练集中的加密视频进行信息提取，具体包括：

①根据码流结构中的宏块划分，获取每个宏块比特量的大小，记为s_ij,表示 第i帧中地址为j的宏块比特量大小；

②按照表1，给每种分块方式指定一个值(分块级别)。在H.264/AVC中， 对于8×8子宏块，还有可能进一步划分为4×4的子块，因此其分块级别为其划 分成的子块数量大小，范围为4-16。然后根据码流结构中的子块划分，获取每个 宏块划分为子宏块的方式，将对应的分块级别记为p_ij；

表1每种分块方式指定值

分块方式	分块级别	方块方式	分块级别
				Skip	0	8×8	4-16
16×16	1	I16×16	18
				16×8	2	I16×16	20
8×16	2

③对携带运动向量残差的宏块，根据码字长度估计其大小，公式为：

其中，L为运动向量残差的码字长度。另外,当L＝1时，

将估计得到 的x与y方向的分量分别记录为

和

那么，运动向量残差的能量大小m_ij可以 由公式

得到。

对提取的信息进行特征计算：

①对提取出的信息，进行时域上的中值滤波。假设γ为视频编码的帧率，那 么滤波的窗口大小为γ/5；

②对每一类信息，按帧进行整合，得到其在每一帧的大小，其公式为

其中f_i表示第i帧中所有宏块的地址。

③对每一类信息，计算其在时域窗口内的方差，其公式为

Sv_i＝var{[S_i-5，S_i-4，...，S_i+5]}

Pv_i＝var{[P_i-5，P_i-4，...，P_i+5]}

Mv_i＝var{[M_i-5，M_i-4，...，M_i+5]}

其中var{}表示计算方差。

④对每一类信息，计算其在每一帧中，最大的前10％的值之和，其公式为

其中，fst_i，fpt_i，fmt_i分别为第i帧最大的前10％的s，p，v的地址。

⑤综上，我们可以得到用于训练的特征集合[S，P，M]，其中

S＝[S_i，Sv_i，Ss_i]_i∈v

P＝[P_i，Pv_i，Ps_i]_i∈v

M＝[M_i，Mv_i，Ms_i]_i∈v

其中v表示视频序列中所有帧。

利用训练集提取的特征，训练模型：

①对提取出的每一类特征，做归一化处理；

②计算每一类特征的直方图。

按照(1)中的方法，对加密视频(测试集)进行信息提取

按照(2)中的方法，对加密视频(测试集)进行特征计算

利用训练好的模型，进行异常检测：

①对每一个样本点F_i的每一类特征样本F_i(u)，计算其在模型的直方图中出 现的概率po(F_i(u))；

②将每一类特征样本的概率按帧进行整合,其公式为

③为了检测连续的异常帧，对计算出的概率值进行时域的中值滤波；

④对于出现概率小于阈值(PO_i＜τ)的帧，将其标记为异常。

本发明方法的原理如下：

本方法利用格式兼容加密后，H.264/AVC码流结构中残留的运动信息，从加 密的视频码流提取出可用于异常检测的信息。同时，结合异常运动的特点，重新 设计了针对加密视频码流的特征，利用训练集训练正常样本的统计模型，将小概 率出现的样本，标记为异常样本点，有效地应对视频中各种不同的异常运动情况。 结合物理世界物体运动的特性，采用中值滤波的方法，处理由于加密视频信息匮 乏、视频编码特性等导致的异常样本点离散分布情况，使得本方法能够检测出连 续的异常。

利用本发明方法进行实验的结果：

以数据库Avenue中640×360的视频为例，通过训练序列建立模型，对测试 序列中的异常运动情况进行检测，部分结果如下图2所示：

其中，灰色区域为正常的帧，红色区域为异常的帧，上边的条形图为数据库 给定的标签，下边的条形图为利用本方法得到的结果。可以看出，异常运动的帧 可以较为准确地在加密视频上定位出来。详细的检测结果如下表所示:

表2实验结果表

数据库	Avenue	Subway	UMN
				曲线下面积(AUC)	0.79	0.85	0.94
等错误率(EER)	0.29	0.26	0.11

其中，用于训练的视频约为40000帧，用于测试的视频约为60000帧。通过 表2可以看到，在两个不同的数据库上，我们的异常检测算法可以达到AUC区 域在79％-94％，等错误率在10％-30％之间。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非 是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明 的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施 方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进 等，均应包含在本发明权利要求的保护范围之内。

Claims (3)

1.一种基于H.264/AVC加密视频的运动异常检测方法，其特征在于，包括以下步骤：

S1：对加密视频进行信息提取；

S2：对提取的信息进行特征计算；

S3：利用训练集提取的特征，训练模型；

S4：利用训练好的模型，进行异常检测；

所述步骤S1的具体过程如下：

S11：根据码流结构中的宏块划分，获取每个宏块比特量的大小，记为s_ij；

S12：根据码流结构中的子块划分，获取每个宏块划分为子宏块的方式，将对应的分块级别记为p_ij；

S13：对携带运动向量残差的宏块，根据码字长度估计其大小，公式为：

其中，L为运动向量残差的码字长度，当L＝1时，

所述步骤S2的具体过程如下：

S21：对提取出的信息，进行时域上的中值滤波，令γ为视频编码的帧率，那么滤波的窗口大小为γ/5；

S22：对每一类信息，按帧进行整合，得到其在每一帧的大小，其公式为

其中，S_i表示第i帧比特量，P_i表示第i帧分块级别，M_i表示第i帧运动向量能量，f_i表示第i帧中所有宏块的地址；

S23：对每一类信息，计算其在时域窗口内的方差，其公式为

Sv_i＝var{[S_i-5，S_i-4，…，S_i+5]}

Pv_i＝var{[P_i-5，P_i-4，…，P_i+5]}

Mv_i＝var{[M_i-5，M_i-4，…，M_i+5]}

其中，var{}表示计算方差，Sv_i表示第i帧比特量在当前时域窗口内的方差，Pv_i表示第i帧分块级别在当前时域窗口内的方差，Mv_i表示第i帧运动向量能量在当前时域窗口内的方差；

S24：对每一类信息，计算其在每一帧中，最大的前10％的值之和，其公式为：

其中，fst_i，fpt_i，fmt_i分别为第i帧最大的前10％的s，p，v的地址，Ss_i表示i帧最大的前10％宏块比特量之和，Ps_i最大的前10％宏块分块级别之和，Ms_i最大的前10％宏块运动向量能量之和；

S25：得到用于训练的特征集合[S，P，M]，其中

S＝[S_i，Sv_i，Ss_i]_i∈v

P＝[P_i，Pv_i，Ps_i]_i∈v

M＝[M_i，Mv_i，Ms_i]_i∈v

S表示比特量相关特征集合，P表示分块级别相关特征集合，M表示运动向量能量相关特征集合，v表示视频中所有的帧的集合。

2.根据权利要求1所述的基于H.264/AVC加密视频的运动异常检测方法，其特征在于，所述步骤S3的具体过程如下：

S31：对提取出的每一类特征，做归一化处理；

S32：计算每一类特征的直方图。

3.根据权利要求2所述的基于H.264/AVC加密视频的运动异常检测方法，其特征在于，所述步骤S4的具体过程如下：

S41：对每一个样本点F_i的每一类特征样本F_i(u)，计算其在模型的直方图中出现的概率po(F_i(u))；

S42：将每一类特征样本的概率按帧进行整合，其公式为：

PO_i＝∑_{u＝1，2，...}po(F_i(u))；

S43：对计算出的概率值进行时域的中值滤波；

S44：对于出现概率PO_i小于阈值τ，PO_i＜τ的帧，将其标记为异常。

Images