CN101470897B - 基于音视频融合策略的敏感影片检测方法 - Google Patents

Abstract

本发明是一种基于音视频融合策略的敏感视频检测方法，包括步骤：建立敏感声音的混合高斯模型，音频数据的分离、加窗、以及特征提取，敏感声音片段的定位及其敏感程度输出，敏感片断视频图像帧的检测，基于贝叶斯的音视频融合决策等。本发明结合了音频和视频两个模态的信息来过滤敏感视频，大大降低了采用单一模态可能出现的不确定性，显著提高了识别效率。本发明可以用来检测互联网上的视频流以及音像制品中是否包含敏感内容，亦可以用来对网络视频聊天室进行监控，一旦发现色情表演即进行阻断。

Description

基于音视频融合策略的敏感影片检测方法

技术领域

本发明涉及计算机应用技术领域，特别涉及敏感影片检测方法。

背景技术

近年来，伴随着计算机尤其是互联网技术的迅猛发展，敏感信息(主要包括色情小说、图像和影片)的内容和传播方式也发生了显著的变化，人们现在可以足不出户轻而易举地浏览到大量的这类内容。敏感信息的广泛传播和易获取性对广大未成年人有着巨大的伤害，容易影响青少年的身心健康并促使诱发青少年犯罪。和敏感文本及图像内容相比，敏感影片的危害性更大，因为它的场景更逼真，多媒体所带来的感官刺激更强烈。如何充分的利用多媒体敏感影片中的多模态信息是本发明的关键内容。

目前检测敏感影片已存在的技术主要是针对影片中视频图像帧的检测，如专利：CN01124484.4——色情影片的过滤系统及方法、CN02157117.1——敏感视频检测方法和CN200410033540.6——基于运动肤色分割的敏感视频检测方法。判断视频图像帧是否为敏感图像主要依赖的是图像中的肤色信息，而肤色检测在图像背景较为复杂或图象质量较差时往往缺乏鲁棒性，导致误检率较高。通常，影片中都包含两个主要的模态信息：音频信息和视频信息。虽然采用单一模态信息可以对影片进行分类，但分类效果的好坏取决于影片的场景，如视频的光照和音频中的噪声。更加鲁棒的算法是能够将两个模态的信息进行融合。在敏感影片中这两个模态的信息往往是密切相关的，采用多模态融合的方法可以消除单一模态中的不确定性。事实上，我们人类自身在处理大多数问题时就是充分地利用了多模态融合方法，我们往往会把眼睛看到的、耳朵听到的，或触觉感受到的等多方面的信息综合起来对一事物进行判断。更进一步，音频的处理速度往往要明显高于视频的处理速度，通过音频分析可以快速定位影片中的敏感片断，再对该片段进行视频分析进而显著提高影片的处理速度。

发明内容

本发明的目的是提供一种基于音视频融合策略的敏感影片检测方法，亦可用来对当前兴起的网络视频聊天室进行监控。

根据本发明的目的，提出一种敏感影片的检测方法，包括步骤：

通过敏感声音模型建立模块，建立敏感声音的混合高斯模型；

通过音视频分离模块，实现音视频数据的分离和加窗；

通过特征提取模块，实现音频特征提取；

通过分类融合模块，实现敏感声音片段的定位及敏感程度输出；

通过分类融合模块，实现敏感片断视频图像帧的检测，

通过分类融合模块，基于贝叶斯的音视频融合决策，将音频检测结果和视频检测结果相融合，对影片的敏感性做出综合决策。

进一步，所述的建立敏感声音的混合高斯模型包括：

收集敏感声音片段样本，建立敏感声音训练集和测试集；

对敏感声音训练集中的敏感声音片段提取13维梅尔频率倒谱参数(MFCC)特征，包括12维MFCC系数以及能量项，并以其均值向量作为该声音片段的特征；

采用期望最大(EM)算法得到混合高斯模型的各个参数，包括高斯个数、各个高斯的中心和协方差矩阵。

进一步，所述的建立敏感声音的混合高斯模型步骤是独立的离线的过程，只需进行一次，得到的模型参数存储到数据文件中。

进一步，所述敏感片断视频图像帧的检测是指，在与检测到敏感声音片断相同的时间轴区间上截取相应的视频图像帧集合，并对视频图像帧集合的敏感性进行检测。

进一步，所述的敏感声音片段的定位及其敏感程度输出包括：

计算声音片段与训练得到的混合高斯模型各高斯中心的马氏距离，并求其最小值dm；

按照如下公式，计算音频片段的敏感程度：

其中，θd是一个阈值，当dm＜θd时，该声音片断被认为是敏感声音，否则为非敏感声音。

进一步，所述的基于贝叶斯的音视频融合决策过程是采用音频片段的敏感程度来作为与之相应的视频片断敏感与否的先验信息。

附图说明

图1为本发明的系统结构框图。

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

本发明的执行环境由以下四个模块组构成：一、敏感声音模型建立模块，该模块的功能是对敏感声音样本进行学习，得到模型参数数据。二、音视频分离模块，该模块的功能是将影片中的音频数据和视频数据相分离。三、特征提取模块，该模块的功能是分别对音频和视频提取其特征。四、分类融合模块，该模块的功能是对音频和视频特征进行分类，并将分类结果进行融合，对影片的敏感性进行综合决策。本发明的整体框架见图1。

下面详细给出本发明技术方案中所涉及的各个步骤细节问题的说明。

步骤一：建立敏感声音的混合高斯模型，此步骤是对敏感声音样本进行学习，得到敏感声音的统计特征，此步骤是由一独立的敏感声音模型建立模块完成，是一个离线的过程，只需进行一次，得到的模型参数存储到数据文件中。收集大量敏感声音片段样本，其中一部分作为训练集，另一部分作为测试集。对敏感声音训练集中的敏感声音片段提取13维梅尔频率倒谱参数(MFCC)特征，这样一段声音数据就被表示为13维MFCC特征空间中的一系列点组成，为了计算的简单快速我们取这一些列点的均值向量作为该段语音的特征向量，因此每段声音就被映射到13维MFCC特征空间中的一个点。在此基础上建立敏感声音的混合高斯模型，对于语音向量x(维数为d，本文中d＝13)，采用混合高斯模型描述其分布为：

$p(x;{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k,{\mathrm{\π}}_k)=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\π}}_k{p}_k\left(x\right),$ π_k≥0， $\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\π}}_k=1,---\left(1\right)$

$p_k\left(x\right)=\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^{d/2}|{\mathrm{\Σ}}_k{|}^{1/2}}}\exp \{-\frac{1}{2}{(x-{\mathrm{\μ}}_k)}^T{\mathrm{\Σ}}_k^{-1}(x-{\mathrm{\μ}}_k)\},---\left(2\right)$

其中m是混合高斯的个数，p_k是高斯分布密度函数，μ_k为高斯中心，∑_k为协方差矩阵，π_k是第k个高斯的权重。我们采用期望最大算法(EM算法)求取上述混合高斯模型各参数的最大似然估计。

给定高斯个数m和样本集{x_i，i＝1...N}，有：

$L(x,\mathrm{\θ})=\log p(x,\mathrm{\θ})=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\log \left(\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\π}}_k{p}_k\left(x\right)\right)\→\underset{\mathrm{\θ}\∈\mathrm{\Θ}}{\max }---\left(3\right)$

$\mathrm{\Θ}=\{({\mathrm{\μ}}_k,{\mathrm{\Σ}}_k,{\mathrm{\π}}_k):{\mathrm{\μ}}_k\∈R^d,{\mathrm{\Σ}}_k={\mathrm{\Σ}}_k^T>0,{\mathrm{\Σ}}_k{\∈R}^{d\×d},{\mathrm{\π}}_k\≥0,\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\π}}_k=1\}---\left(4\right)$

期望最大算法提供了一种迭代估计参数Θ的方法，它包括求期望阶段(E阶段)和最大化阶段(M阶段)。

在求期望阶段：

${\mathrm{\α}}_{\mathrm{ki}}=\frac{{\mathrm{\π}}_k{p}_k(x;{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k)}{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\π}}_j{p}_k(x;{\mathrm{\μ}}_j,{\mathrm{\Σ}}_j)}---\left(5\right)$

其中，α_ki为样本i在当前的参数估计下，属于第k个高斯的概率。

在最大化阶段：

${\mathrm{\π}}_k=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{ki}},$ ${\mathrm{\μ}}_k=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{ki}}{x}_i}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{ki}}},$ ${\mathrm{\Σ}}_k=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{ki}}(x_i-{\mathrm{\μ}}_k){(x_i-{\mathrm{\μ}}_k)}^T}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{ki}}}---\left(6\right)$

当相邻两次迭代的目标函数之差的绝对值小于某一设定值时，迭代收敛，得到混合高斯模型参数的一组估计值。

步骤二：音频数据的分离、加窗、以及特征提取，此步骤首先读取影片文件，将音视频数据分离开，并对音频数据进行特征提取。对待分类影片根据其不同的压缩格式和编码方式自动选用相应的解码器对音频数据和视频数据解码。这一过程我们采用微软公司的DirectShow系统完成，DirectShow系统根据数据源的不同，创建相应结构的解码器组件。对解码后的音频数据进行加窗(窗口宽度一般取0.5-2.0秒)并进行特征提取，特征提取方式和建立敏感声音的混合高斯模型所用的特征提取方式相同，即提取13维梅尔频率倒谱参数(MFCC)特征，并以其均值向量作为该声音窗口的特征。

步骤三：敏感声音片段的定位及敏感程度输出，此步骤在上一步音频特征提取完成后，计算当前声音片断与之前学习得到的敏感声音模型数据的相似性，若相似则标记当前片断为敏感声音片断。计算当前声音窗口的特征向量与先前训练得到的敏感声音的混合高斯模型的马氏距离，若该距离小于某一阈值则标记该声音窗口为敏感声音窗口。空间中两个点x，y的马氏距离定义为：

$d(x,y)=\sqrt{{(x-y)}^T{\mathrm{\Σ}}^{-1}(x-y)}---\left(7\right)$

窗口继续向前滑动并保持50％的重叠。一系列连续的敏感声音窗口构成一敏感声音片断。为了将音频识别结果和视频识别结果相融合，我们首先将敏感声音片段的敏感程度(以Lt表示)转化成类似概率的形式输出。转换方法如下：

其中，dm为声音片段与敏感声音混合高斯模型各高斯中心的马氏距离的最小值，θd是一个阈值。这样离高斯中心越近的点其输出的敏感程度越高，反之则越低。

步骤四：敏感片断视频图像帧的检测，该步骤在上一步检测到敏感声音片断的基础上，在相同的时间轴区间上截取相应的视频图像帧集合，并对视频图像帧集合的敏感性进行检测。一旦敏感声音片断被检测到，则从视频数据中截取相应时间轴区间的图像帧。基于躯干轮廓特征的敏感图像检测算法被用来检测这些图像帧，由于相邻图像帧之间的差别一般比较小，我们只选取其中的关键帧进行检测。

步骤五：基于贝叶斯的音视频融合决策，在上述步骤完成的基础上，将音频检测结果和视频检测结果相融合，对影片的敏感性做出综合决策。首先，统计敏感视频图像帧识别算法的两类分类错误概率：把一幅正常图像误分为敏感图像的概率p1以及把一幅敏感图像误分为正常图像的概率p2。假定被分割出的视频片断共有N幅关键帧，我们首先引入一个强的先验：这N幅关键帧图像要么全为敏感，要么全为正常。假定敏感图像检测算法对这N幅关键帧图像的识别结果为：r＝(N1幅关键帧图像是敏感的，N2幅关键帧图像是正常的)，我们令S＝(N幅关键帧图像全是敏感的)，

S＝(N幅关键帧图像全是正常的)，则有：

$p\left(r\right|S)={(1-p_2)}^{N_1}{\left(p_2\right)}^{N_2},---\left(9\right)$

$p\left(r\right|\⫬S)={\left(p_1\right)}^{N_1}{(1-p_1)}^{N_2}.---\left(10\right)$

根据贝叶斯公式我们可以得到：

$p\left(S\right|r)=\frac{p\left(r\right|S)\×p\left(S\right)}{p\left(r\right)},---\left(11\right)$

$p(\⫬S|r)=\frac{p\left(r\right|\⫬S)\×p(\⫬S)}{p\left(r\right)}\·---\left(12\right)$

我们引入一个因子f，定义为公式(11)、(12)中的两个后验概率之比：

$f=\frac{p\left(S\right|r)}{p(\⫬S|r)}=\frac{p\left(r\right|S)\×p\left(S\right)}{p\left(r\right|\⫬S)\×p(\⫬S)}=\frac{{(1-p_2)}^{N_1}{\left(p_2\right)}^{N_2}}{{\left(p_1\right)}^{N_1}{(1-p_1)}^{N_2}}\×\frac{p\left(S\right)}{p(\⫬S)}\·---\left(13\right)$

如果因子f≥1，则影片被认为是敏感的。余下的问题是估计公式(13)中的两个先验概率p(S)和p(

S)。与这些视频图像帧相应的音频片断可以提供一些先验的信息，因而，我们采用先前得到的音频片断敏感程度Lt来替代p(S)，相应地，p(

S)由1-Lt所替代。于是我们得到：

$f=\frac{{(1-p_2)}^{N_1}{\left(p_2\right)}^{N_2}}{{\left(p_1\right)}^{N_1}{(1-p_2)}^{N_2}}\×\frac{L_t}{1-L_t+\mathrm{\ϵ}},---\left(14\right)$

其中ε是一个足够小的正数。为了避免出现被零除的情况，将公式(14)改写为对数形式：

F＝[N₁log(1-p₂)+N₂log(p₂)+log(L_t)]-[N₁log(p₁)+N₂log(1-p₁)+log(1-L_t+ε)].    (15)

若因子F≥0，则影片被认为是敏感的。否则，上述过程继续进行直到最后一个敏感声音片断及其对应的视频片断被检测。若音频中未发现敏感声音片断，则只有视频检测器被单独使用。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种基于音视频融合策略的敏感视频检测方法，其特征在于，包括步骤：

通过敏感声音模型建立模块，建立敏感声音的混合高斯模型；

通过音视频分离模块，实现音视频数据的分离和加窗；

通过特征提取模块，实现音频特征提取；

通过分类融合模块，实现敏感声音片段的定位及敏感程度输出；

通过分类融合模块，实现敏感片断视频图像帧的检测，

通过分类融合模块，基于贝叶斯的音视频融合决策，将音频检测结果和视频检测结果相融合，对影片的敏感性做出综合决策；所述音视频融合决策的融合算法由基于贝叶斯规则确定：

F＝[N₁log(1-p₂)+N₂log(p₂)+log(L_t)]

   -[N₁log(p₁)+N₂log(1-p₁)+log(1-L_t+ε)]，

式中，统计敏感视频图像帧识别算法的两类分类错误概率：把一幅正常图像误分为敏感图像的概率为p1，把一幅敏感图像误分为正常图像的概率为p2，假定被分割出的视频片断共有N幅关键帧，假定敏感图像检测算法对这N幅关键帧图像的识别结果为：N1幅关键帧图像是敏感的，N2幅关键帧图像是正常的；

L_t是音频片段的敏感程度；ε是一个足够小的正数；若因子F≥0，则影片被认为是敏感的；

所述的敏感声音片段的定位及其敏感程度输出包括：

计算声音片段与训练得到的混合高斯模型各高斯中心的马氏距离，并求其最小值dm；

按照如下公式，计算音频片段的敏感程度：

其中，θd是一个阈值，当dm＜θd时，该声音片断被认为是敏感声音，否则为非敏感声音。

2.根据权利要求1所述的方法，其特征在于，所述的建立敏感声音的混合高斯模型包括：

收集敏感声音片段样本，建立敏感声音训练集和测试集；

对敏感声音训练集中的敏感声音片段提取13维梅尔频率倒谱参数(MFCC)特征，包括12维MFCC系数以及能量项，并以其均值向量作为该声音片段的特征；

采用期望最大算法得到混合高斯模型的各个参数，包括高斯个数、各个高斯的中心和协方差矩阵。

3.根据权利要求1所述的方法，其特征在于，所述的建立敏感声音的混合高斯模型步骤是独立的离线的过程，只需进行一次，得到的模型参数存储到数据文件中。

4.根据权利要求1所述的方法，其特征在于，所述敏感片断视频图像帧的检测是指，在与检测到敏感声音片断相同的时间轴区间上截取相应的视频图像帧集合，并对视频图像帧集合的敏感性进行检测。

5.根据权利要求1所述的方法，其特征在于，所述的基于贝叶斯的音视频融合决策过程是采用音频片段的敏感程度来作为与之相应的视频片断敏感与否的先验信息。

Images