CN102073841A - 一种不良视频检测方法及装置 - Google Patents

Abstract

本发明提供一种不良视频检测方法及装置。方法包括：将待检测视频划分成多个镜头，从每个镜头中提取一个非边缘帧作为视频关键帧；提取所述视频关键帧中的肤色区域；根据提取的肤色区域检测所述视频关键帧是否为不良视频帧；根据检测到的不良视频帧与其前后各帧的相关性，确定所述待检测视频是否为不良视频。依照本发明，能够提高不良视频检测的效率和准确性。

Description

一种不良视频检测方法及装置

技术领域

本发明属于模式识别和图像处理技术领域，特别涉及一种不良视频检测方法及装置。

背景技术

随着互联网的广泛应用以及移动通信技术的迅猛发展，用户在获得大量有用信息的同时也可能遇到许多不良信息，其中尤其以色情视频最为严重。因此，如何通过分析视频内容，来进行不良信息的精确识别与拦截，对打击不良信息的传播和保护青少年成长等方面具有积极作用和深远的意义。

由于视频由彩色图像帧构成，彩色图像不良信息检测方法可用于视频图像的敏感性判别。图像帧中的不良信息检测主要依赖于肤色、皮肤纹理和人体姿态等特征和阈值化、统计学习等分类器设计方法。如，Fleck等人通过肤色分割和人体姿态的几何特征检测来识别色情图像；Kim等人提出基于肤色检测、纹理分析以及特征向量分类来识别色情图像。徐欣欣等人提出一种基于自适应小波不变矩的色情图像过滤方法，通过肤色提取和皮肤纹理判定，来过滤肤色区域中的色情信息。Jeong等提出一种基于感兴趣区域(Region ofInterest，ROI)的敏感图像检测系统，利用ROI图像中的肤色信息提取特征，将提取到的特征输入到支撑向量机分类器来判定输入的图像的敏感性。此外，还有基于神经网络法、规则演算法的过滤方法。

现有技术在文本过滤和图像过滤方面取得了较好的过滤效果，但在不良视频过滤方面存在检测效率和准确率不高的缺陷。视频过滤是建立在图像过滤技术的基础之上，由于视频包含大量数据使得动态敏感信息过滤的计算开销更大，导致对不良视频检测的效率不高；另外，现有技术在色情识别时所采用的特征是图像的静态特征，而与静态图像相比，视频本身还具有其他独有的特性，如视频的时间连续性等，这些特性在色情视频的识别中并没有得到应用，导致对不良信息检测的准确率不高。

发明内容

本发明所要解决的技术问题是提供一种不良视频检测方法及装置，来提高不良视频检测的效率和准确性。

为解决上述技术问题，本发明的实施例提供技术方案如下：

一种不良视频检测方法，包括：

将待检测视频划分成多个镜头，从每个镜头中提取一个非边缘帧作为视频关键帧；

提取所述视频关键帧中的肤色区域；

根据提取的肤色区域检测所述视频关键帧是否为不良视频帧；

根据检测到的不良视频帧与其前后各帧的相关性，确定所述待检测视频是否为不良视频。

进一步地，所述将待检测视频划分为多个镜头包括：

在YC_bC_r空间中，构造所述待检测视频中的每个视频帧的色度直方图；

根据所述色度直方图计算所述视频帧的主色度和次色度；

分别计算每个视频帧与前一个视频帧的主色度差异值和次色度差异值，将所述主色度差异值和次色度差异值作为所述视频帧的聚类特征；

根据所述聚类特征，利用类均值软聚类算法对所述待检测视频的所有视频帧进行聚类分析，得到镜头边缘帧和非镜头边缘帧，并根据所述镜头边缘帧和非镜头边缘帧完成对所述待检测视频的镜头划分。

进一步地，所述提取所述视频关键帧中的肤色区域包括：

获取所述视频关键帧中各像素点的C_bC_r值；

分别计算每个像素点的C_bC_r值在多高斯敏感度判别模型中的概率值；

将所述概率值大于第一阈值的像素点标记为肤色点，并将所有肤色点构成的区域作为所述视频关键帧的肤色区域。

进一步地，所述根据提取的肤色区域检测所述视频关键帧是否为不良视频帧包括：

计算所述肤色区域的面积与所述视频关键帧的面积的比值；

当所述比值大于第二阈值时，确定所述视频关键帧为不良视频帧。

进一步地，所述根据提取的肤色区域检测所述视频关键帧是否为不良视频帧包括：

计算所述肤色区域的面积与所述视频关键帧的面积的比值；

当所述比值大于第二阈值时，判断所述肤色区域中是否包含人脸；

当所述肤色区域中包含人脸时，根据人体结构学特征确定所述视频关键帧是否为不良视频帧。

进一步地，所述根据检测到的不良视频帧与其前后各帧的相关性，确定所述待检测视频是否为不良视频包括：

构造包括所述不良视频帧及其前后若干个视频帧的视频帧序列；

将所述视频帧序列构造成一个张量Z；

用高阶奇异值分解算法对张量Z进行分解：Z＝K×U_x×U_y×U_t，其中，U_x为横轴模矩阵，U_y为纵轴模矩阵，U_t为时间模矩阵，K为核张量；

计算U_i中各个系数之间的距离，用计算得到的距离来表征所述不良视频帧与其前后各帧的相关性，当所述距离小于第三阈值时，确定所述待检测视频为不良视频。

一种不良视频检测装置，包括：

关键帧提取单元，用于将待检测视频划分成多个镜头，从每个镜头中提取一个非边缘帧作为视频关键帧；

肤色区域提取单元，用于提取所述视频关键帧中的肤色区域；

不良视频帧检测单元，用于根据提取的肤色区域检测所述视频关键帧是否为不良视频帧；

不良视频检测单元，用于根据检测到的不良视频帧与其前后各帧的相关性，确定所述待检测视频是否为不良视频。

所述关键帧提取单元进一步用于：

在YC_bC_r空间中，构造所述待检测视频中的每个视频帧的色度直方图；

根据所述色度直方图计算所述视频帧的主色度和次色度；

分别计算每个视频帧与前一个视频帧的主色度差异值和次色度差异值，将所述主色度差异值和次色度差异值作为所述视频帧的聚类特征；

根据所述聚类特征，利用类均值软聚类算法对所述待检测视频的所有视频帧进行聚类分析，得到镜头边缘帧和非镜头边缘帧，并根据所述镜头边缘帧和非镜头边缘帧完成对所述待检测视频的镜头划分。

所述肤色区域提取单元进一步用于：

获取所述视频关键帧中各像素点的C_bC_r值；

分别计算每个像素点的C_bC_r值在多高斯敏感度判别模型中的概率值；

将所述概率值大于第一阈值的像素点标记为肤色点，并将所有肤色点构成的区域作为所述视频关键帧的肤色区域。

所述不良视频帧检测单元进一步用于：

计算所述肤色区域的面积与所述视频关键帧的面积的比值；

当所述比值大于第二阈值时，确定所述视频关键帧为不良视频帧。

所述不良视频帧检测单元进一步用于：

计算所述肤色区域的面积与所述视频关键帧的面积的比值；

当所述比值大于第二阈值时，判断所述肤色区域中是否包含人脸；

当所述肤色区域中包含人脸时，根据人体结构学特征确定所述视频关键帧是否为不良视频帧。

所述不良视频检测单元进一步用于：

构造包括所述不良视频帧及其前后若干个视频帧的视频帧序列；

将所述视频帧序列构造成一个张量Z；

用高阶奇异值分解算法对张量Z进行分解：Z＝K×U_x×U_y×U_t，其中，U_x为横轴模矩阵，U_y为纵轴模矩阵，U_t为时间模矩阵，K为核张量；

计算U_t中各个系数之间的距离，用计算得到的距离来表征所述不良视频帧与其前后各帧的相关性，当所述距离小于第三阈值时，确定所述待检测视频为不良视频。

与现有技术相比，本发明实施例不需要对构成视频的每个视频帧进行敏感性判断，而是从待检测视频中提取视频关键帧，在对每一帧图像进行敏感性判断的基础上，通过相关性分析来评估整段视频的敏感性。由于不需要对每帧图像对进行敏感性判断，因此，提高了不良视频检测的效率；由于利用了视频的时间连续性进行相关性分析，从而降低了单帧敏感性判断失误的可能性，进而提高了不良视频检测的准确性。

附图说明

图1为本发明实施例的不良视频检测方法流程图；

图2为本发明实施例中主动相关反馈选择训练样本集的示意图；

图3为图2中嵌入的主动反馈选择技术的迭代结构示意图；

图4为本发明实施例的不良视频检测方法的详细处理过程示意图；

图5为本发明实施例的不良视频检测装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。

参照图1，本发明实施例的不良视频检测方法，主要包括如下步骤：

步骤101：将待检测视频划分成多个镜头，从每个镜头中提取一个非边缘帧作为视频关键帧；

由于视频关键帧支持对整个视频内容的快速查询，可以大大提高对不良视频的检测效率，因此，本发明实施例不是对构成视频的每个视频帧进行敏感性判断，而是从待检测视频中提取多个视频关键帧，构成视频关键帧序列。同时，选取的关键帧代表了视频中的敏感信息，能够为不良视频的快速识别提供良好的基础。为此，本发明实施例提出一种类均值软聚类视频关键帧提取算法，具体步骤如下：

(1a)人体肤色检测技术对于亮度信号的变化是极其敏感的，为了能充分利用肤色在色度空间的聚类性，将亮度信号从颜色空间中分离出来是十分必要的，而RGB色彩空间表征的色度信号和亮度信号是混合的，因此，首先将图像从RGB空间转换到YC_bC_r空间，利用色度特征来描述视频图像，以更好地对肤色帧进行聚类；

(1b)构造所述待检测视频中的每个视频帧的色度直方图，首先将视频帧图像中每个像素的色度特征转换成一维色度矢量f：

f＝αC_b+βC_r

其中α和β分别为各分量的加权系数，最后对整幅图像的一维色度矢量进行直方图统计，得到色度直方图；

(1c)计算主色度和次色度特征，这里定义主色度为图像中色度直方图中最高的色度(记为f_p)，次色度为图像中除去主色度后其余部分的色度(记为f_s)，利用归一化方法得到主色度颜色特征为

${\stackrel{\‾}{f}}_p=\frac{\underset{{\mathrm{\Ω}}_p}{\∫}{f}_p\left(x\right)/\mathrm{ndx}}{N},$

其中，Ω_p为色度为主色度的像素的集合，f_p(x)表示位于像素x处的主色度颜色特征，n为主色度上的像素个数，N为图像中的像素个数。类似的，还可以得到次色度颜色特征为

${\stackrel{\‾}{f}}_s=\frac{\underset{{\mathrm{\Ω}}_s}{\∫}{f}_s\left(x\right)/\mathrm{mdx}}{N},$

其中，Ω_s为次色度像素的集合，f_s(x)表示位于像素x处的次色度颜色特征，m为色度为次色度颜色特征的像素个数；

(1d)用图像的主色度特征和次色度特征构造图像的二维特征矢量

具体步骤为：

(1d1)计算待检测视频中所有视频图像帧的二维特征矢量

其中，i∈(1，2，...M)，M为待检测视频中视频帧的数量，利用下列公式求视频序列中前后两幅图像的主色度和次色度特征分布的差异：

${\mathrm{Diff}}_{\mathrm{pi}}=|{\stackrel{\‾}{f}}_{\mathrm{pi}}-{\stackrel{\‾}{f}}_{p(i-1)}|$

${\mathrm{Diff}}_{\mathrm{si}}=|{\stackrel{\‾}{f}}_{\mathrm{si}}-{\stackrel{\‾}{f}}_{s(i-1)}|$

其中，和

分别为每帧图像的主色度和次色度特征，i∈(1，2，...M)，Diff_pi为视频序列中前后两幅图像主色度特征的差异，Diff_si为视频序列中前后两幅图像次色度特征的差异；

(1d2)将视频序列中前后两幅图像主色度特征的差异值Diff_pi和次色度特征的差异值Diff_si分别赋给第i帧表示图像的聚类特征，得到关于M幅图像的主色度特征和次色度特征差异值的二维矢量Diff(Diff_pi，Diff_si)，i∈(2，...M)，并将第一幅图像的聚类特征值设为(max(Diff_pi)，max(Diff_si))，i∈(2，...M)；

(1e)用基于色度的类均值软聚类视频帧提取算法对所有视频帧图像的主色度特征和次色度特征差异值进行类别数为2的聚类分析，具体步骤为：

(1e1)设定聚类原型的数目为G，G＝2。L＝(O₁，...O_G)表示G个聚类原型的集合，U＝[u_ij]是一个M×G的矩阵，这里M是集合中数据的个数，u_ij表示第i帧图像属于类别o_j中的隶属度，隶属度计算公式：

$u_{\mathrm{ij}}=1/(1+{\left(\frac{d_{\mathrm{ij}}^2}{{\mathrm{\η}}_j}\right)}^{\frac{1}{m-1}})$

其中，d_ij是[Diff_pi，Diff_si]与聚类o_j之间的距离，η_j决定了聚类o_j中数据点的隶属度为0.5时的距离，m为大于1的整数；

(1e2)利用如下聚类中心迭代公式

$P_i^{(l+1)}=\arg \underset{k}{\min }|\left({\mathrm{\Σ}}_{j=1}^M{u}_{\mathrm{jk}}^l\right)\·{\mathrm{Diff}}_j-{\mathrm{\Σ}}_{j=1}^M(u_{\mathrm{jk}}^l\·{\mathrm{Diff}}_j)|$

i∈{1，2}分别表示两个聚类中心P₁，P₂，l为迭代次数；

(1e3)设定聚类原型的合并门限，当||P^(l-1)-P^(l)||、于门限时，得到聚类O₁，O₂；

(1f)根据聚类分析结果对M幅视频图像进行标记，将聚类中心值小的视频帧标记为0，确定为视频镜头内的非边缘帧；聚类中心值大的视频帧标记为1，确定为视频的镜头边缘帧，具体步骤：

(f1)利用给定的二值化模板确定视频序列中的镜头边缘，若视频帧相邻图像的聚类结果符合如下三个模板[0，1，0]，[1，1，1]，[1，1，0]，则视频序列中的镜头出现了明显的过渡，确定其为视频序列中镜头的边缘帧，从而完成对视频进行镜头划分；

(1f2)取视频序列中的每个镜头的非边缘帧(例如，镜头的中间帧)作为视频序列中的视频关键帧L_i。

本发明提出的基于肤色特征的类均值软聚类视频关键帧提取算法，有针对性的提取复杂视频中的关键帧，减少与不良信息不相关的关键帧数目，从而降低后续的对关键帧是否包含不良信息判别的计算量，并能够提高不良信息判别的鲁棒性。

步骤102：提取所述视频关键帧中的肤色区域；

研究表明人类肤色集中在彩色空间中较小的区域，且特征值比较稳定，即肤色具有一定的聚类特性，因此利用肤色来检测复杂背景中的敏感信息符合实际应用的要求。肤色区域提取的具体步骤如下：

(2a)对于视频关键帧L_i，在YC_bC_r色彩空间获得各个像素点的C_bC_r值；

(2b)计算每个像素点的C_bC_r值在多高斯敏感度判别模型中的概率值；

其中，所述多高斯敏感度判别模型建立过程如下：

(2b1)利用自然计算在进化过程中的保留最佳个体的策略来确定多高斯敏感度判别模型中的最优高斯分量数m，以下式作为适应性度量函数，

$I=\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\frac{{\mathrm{\ϵ}}_j\mathrm{\Ψ}\left(x_t\right|{\mathrm{\μ}}_j,{\mathrm{\δ}}_j)}{{\mathrm{\Σ}}_{i=1}^m{\mathrm{\ϵ}}_i\mathrm{\Ψ}\left(x_t\right|{\mathrm{\μ}}_i,{\mathrm{\δ}}_i)}\ln \left({\mathrm{\ϵ}}_j\mathrm{\ψ}\left(x_t\right|{\mathrm{\μ}}_j,{\mathrm{\δ}}_j)\right)$

其中，每个分量Ψ(x_t|μ_j，δ_j)均是均值为μ_j，方差为δ_j的高斯密度函数，x_t表示第t个像素的色彩特征[C_b，C_r]^T，ε_j是高斯分量的混合比例系数，满足∑_jε_j＝1；，采用复制和变异两种遗传算子，假设当前高斯数目为m，按照聚类准则对不同高斯分类；随机选择一个点作为新增高斯的中心点，新增高斯经过期望最大化方法进行参数优化；然后随机且相互独立的做N次新增高斯的选择，共产生m×N个结果，从中进行选择，保留具有最佳适应度的后代，经过选择可知分量数m取为8具有最佳适应度，即多高斯敏感度判别模型在分量数为8的情况下，能够较好地拟合人体的肤色分布；

(2b2)利用期望最大化方法估计基于色彩空间的多高斯敏感度判别模型的各个参数，基于色彩空间的多高斯敏感度判别模型表示如下：

P＝∑(ε_iΨ(x|μ_i，δ_i))，i＝1...8

本发明选取基于色彩空间的肤色多高斯敏感度判别模型，该模型中肤色有较好的聚类特性，且受人种的影响不大。

(2c)将所述概率值大于第一阈值的像素点标记为肤色点，并将所有肤色点构成的区域作为所述视频关键帧的肤色区域：{Φ_k}，k＝1...N。其中，还可以对肤色区域{Φ_k}，k＝1...N进行形态学处理，以去除噪声点。

步骤103：根据提取的肤色区域检测所述视频关键帧是否为不良视频帧；

本发明实施例提供两种方式来检测不良视频帧：

方式一：计算所述肤色区域的面积与所述视频关键帧的面积的比值；当所述比值大于第二阈值时，确定所述视频关键帧为不良视频帧，否则，确定所述视频关键帧不含不良信息。

方式二：计算所述肤色区域的面积与所述视频关键帧的面积的比值；当所述比值大于第二阈值时，判断所述肤色区域中是否包含人脸；当所述肤色区域中不包含人脸时，确定所述视频关键帧为不良视频帧，当所述肤色区域中包含人脸时，根据人体结构学特征确定所述视频关键帧是否为不良视频帧。

其中，可以采用现有公知的方法进行人脸检测。较佳地，本发明实施例还提供如下的多视角人脸检测器进行人脸检测：

多视角人脸检测器通过样本学习的方法训练得到，由于人脸检测器的性能取决于训练样本的典型性，检测器的训练过程中采用对训练样本集进行主动相关反馈选择，以进一步降低人脸检测的错误率。

参照图2和图3，主动相关反馈选择训练样本集的具体步骤如下：

(3a)给定一个候选示例集E，将第i次迭代所得的检测器D_i在扩展示例集E_i上的错误检测率用σ_i表示，指定可接受的最大错误检测率为σ_max，设置初始迭代次数i＝1，从E中随机抽取一个小示例集E^τ作为初始训练数据集F₁，E^τ可为非典型示例集；

(3b)在F_i上训练一个检测器D_i，从E中抽取一个扩展示例集E_i，用D_i检测E_i，将D_i检测错误的示例组成子集合

计算

其中

表示集合的势或大小。如果σ_i≤σ_max，则执行(3e)；否则，对

进行训练样本集主动反馈选择，设置初始迭代次数k＝0；

(3c)利用图3所示的训练样本集主动相关反馈选择技术中的嵌入迭代结构，随机选择

的一个集

在

上训练一个检测器D_i，0，用D_i，0检测

将D_i，0检测错误的示例组成集合

计算

如果σ_i，k＜α(实验证明α取0.5＜α＜1比较合适)，则令k＝k+1；否则，停止迭代，转到(3d)；

(3d)将k次迭代中随机选择的所有子集

和第k次迭代中D_i，k-1检测错误的示例集

取并，得到对的筛选集合其中

令i＝i+1，则跳转到(3b)；

(3e)经i次迭代可得典型训练集F_i，输出预测器D_i，其中 $F_i={\∪}_{j=1}^{i-1}{E}_j^{\hat{e}}\∪E^{\mathrm{\τ}}.$

(3f)对上述步骤得到的典型训练集F_i进行训练，采用基于统计学习的分层划区方法来训练构造任意视角人脸检测器，对于人脸的视角，我们选择三类：人眼平视时人脸水平方向的平面外旋转范围：[-90°，90°]；正面人脸平面内顺时针旋转的60度范围：[-30°，30°]；正面人脸垂直方向的平面外旋转范围：[-20°，20°]。对三类视角进行划区训练：

(1)对人脸平面外水平旋转的[-90°，90°]视角在整个180度范围进行初始粗训练；对人脸平面内顺时针旋转的[-30°，30°]视角在整个60度范围进行初始粗训练；对人脸平面外旋转的从上到下[-20°，20°]视角在整个40度范围进行初始粗训练；

(2)将人脸平面外水平旋转的[-90°，90°]视角划分成[-90°，-30°]，[-30°，30°]，[30°，90°]三个子区间进行细分训练；将人脸平面内顺时针旋转的[-30°，30°]视角划分成[-30°，-10°]，[-10°，10°]，[10°，30°]三个子区间进行细分训练；将人脸平面外旋转的从上到下[-20°，20°]视角划分成[-20°，0°]，[0°，20°]二个子区间进行细分训练；

(3)将人脸平面外水平旋转的[-90°，90°]视角划分成[-90°，-60°]，[-60°，-30°]，[-30°，0°]，[0°，30°]，[30°，60°]，[60°，90°]六个子区间进一步进行细分训练；将人脸平面内顺时针旋转的[-30°，30°]视角划分成[-30°，-20°]，[-20°，-10°]，[-10°，0°]，[0°，10°]，[10°，20°]，[20°，30°]六个子区间进一步进行细分训练；将人脸平面外旋转的从上到下[-20°，20°]视角划分成[-20°，-10°]，[-10°，0°]，[0°，10°]，[10°，20°]四个子区间进一步进行细分训练；

(3g)将每类视角在不同区间上训练的检测器按照上述划区顺序分层集成，最初粗训练的检测器在上，细分训练的检测器在下，自顶向下构成一个分层级联的任意视角人脸检测器。

上述基于示例学习的多视角的人脸检测方法采用了训练样本集主动相关反馈选择技术，得到更加典型的训练示例集，从而解决了计算条件对训练集规模的限制，使训练所得的人脸检测器具有更高的性能。

当所述肤色区域中包含人脸时，根据人体结构学特征确定所述视频关键帧是否为不良视频帧也有多种实现方式，本发明提供如下的优选方式：

(a1)对于检测到的人脸，记其高度为h₁，对于与人脸相连通的肤色区域M，记其除去人脸区域后的高度为h₂，根据人体的“站七坐五蹲三半”构成比例，如果h₂≤h₁，则可判定图像中不含不良信息；否则，转到(a2)；

(a2)对于与人脸相连通的肤色区域M，记其除去人脸区域后的宽度为w，根据人体的“站七坐五蹲三半”构成比例及男女肩宽与人脸高度比例关系(男性肩宽为两头高，女性肩宽为一个半头高)判断图像中男女性别以及图像中是否含有不良信息：

(1)如果1.5h₁＜w≤2h₁±ε，其中ε(0≤ε＜＜h₁)为弹性参数，则可判定检测图像中含有男性图像，比较h₁，h₂，如果h₂＜2.5_h1，则图像中男性图像为男性头像或男性上半身裸露图像，信息敏感度低；否则，含不良信息；如果w＝1.5h₁±ε，此时图像中可能含男性，也可能含女性，此时加入预警肤色区域N来判断性别及是否含有不良信息；

(2)如果在肤色区域M两侧检测到预警肤色区域N，且近似呈对称分布，则可预测N为男性上肢肤色区域，从而可判定图像中含男性图像，比较h₁，h₂，如果h₂＜2.5h₁，则图像中男性图像为男性头像或男性上半身裸露图像，信息敏感度低；否则，含不良信息；

(3)如果在肤色区域M两侧没有检测到近似呈对称分布的预警肤色区域N，则可判定图像中含女性，比较h₁和h₂，如果h₂＜h₁，则可判定图像中女性图像为女性头像，不含不良信息；否则，含不良信息；

(4)如果w＜1.5h₁，则无论图像中含有男性图像还是女性图像，均判定为不含不良信息。

本发明利用人体结构学中人脸在人体结构中占“站七坐五蹲三半”的构成比例，采用与人脸连通的肤色区域和人脸区域的高度比例关系来判断皮肤的裸露程度，将检测限定在较小的躯体范围内，避免了复杂的人体姿态判别，在不降低检测精度的同时，加快了检测速度。

步骤104：根据检测到的不良视频帧与其前后各帧的相关性，确定所述待检测视频是否为不良视频。

由于待检测视频中包括多个视频帧图像，因此，仅依赖单张视频关键帧的敏感性不能完全代表整段视频的敏感性。本发明根据视频的时间连续性，若视频关键帧L_m被判定为不良视频图像，则将该不良视频帧及与其前后相邻的若干视频帧表示成张量数据的形式，通过分析提取张量数据的相关性，当所述相关性较大时，确定所述待检测视频为不良视频，并结束对所述待检测视频的检测过程；否则，提取下一个视频关键帧，并重复执行步骤103开始的步骤，直到确定所述待检测视频为不良视频，或者，对所有视频关键帧都进行了判断，并确定所述待检测视频中不含不良信息。具体步骤如下：

(4a)提取不良视频帧L_m及其前后相邻的r帧图像构成视频帧序列F＝{L_m-r，...，L_m-1，L_m，L_m+1，...，L_m+r}；

(4b)基于张量分析对所述视频帧序列进行相关性分析；

(4b1)将F沿图像的横轴x、纵轴y和时间信息变化方向t排列成张量Z；

(4b2)用高阶奇异值分解算法对张量Z进行分解，根据张量分解公式Z＝K×U_x×U_y×U_t，得到视频张量的横轴模矩阵U_x、纵轴模矩阵U_y、时间模矩阵U_t及核张量K。其中，三个模矩阵U_x、U_y、和U_t之间相互独立，K表示三个模矩阵之间的相互作用关系；U_x张成不同视频帧的x方向的参数空间，U_y张成不同视频帧y方向的参数空间，U_t张成不同视频帧在时间序列上参数空间；

(4c)计算U_t中各个系数之间的距离，用计算得到的距离来表征所述不良视频帧与其前后各帧的相关性，当所述距离小于第三阈值时，确定所述待检测视频为不良视频，否则该视频关键帧为不良检测的噪声点。

图4为本发明实施例的不良视频检测方法的详细处理过程示意图。参照图4，所述方法包括如下步骤：

步骤401：接收视频输入；

步骤402：从输入的视频中提取视频关键帧序列；

步骤403：判断是否检测完所有视频关键帧，若是，进入步骤412，否则，进入步骤404；

步骤404：从视频关键帧序列中选取一个视频关键帧；

步骤405：对选取的视频关键帧进行肤色检测；

步骤406：判断肤色区域的面积与所述视频关键帧的面积的比值是否大于阈值，若是，进入步骤407，否则，返回步骤403；

步骤407：进行人脸检测；

步骤408：判断视频关键帧中是否包含人脸，若是，进入步骤409，否则，进入步骤410；

步骤409：判断人脸是否符合敏感度比例，若是，进入步骤410，否则，返回步骤403；

步骤410：判断视频关键帧与前后若干帧是否相关，若是，进入步骤411，否则，返回步骤403；

步骤411：确定所述视频为不良视频，结束；

步骤412：确定所述视频不包含不良信息。

图5为本发明实施例的不良视频检测装置的结构示意图，参照图5，所述检测装置包括：关键帧提取单元51、肤色区域提取单元52、不良视频帧检测单元53和不良视频检测单元54。

关键帧提取单元51，用于将待检测视频划分成多个镜头，从每个镜头中提取一个非边缘帧作为视频关键帧。具体地，所述关键帧提取单元51采用如下方式将待检测视频划分成多个镜头：

在YC_bC_r空间中，构造所述待检测视频中的每个视频帧的色度直方图；

根据所述色度直方图计算所述视频帧的主色度和次色度；

分别计算每个视频帧与前一个视频帧的主色度差异值和次色度差异值，将所述主色度差异值和次色度差异值作为所述视频帧的聚类特征；

根据所述聚类特征，利用类均值软聚类算法对所述待检测视频的所有视频帧进行聚类分析，得到镜头边缘帧和非镜头边缘帧，并根据所述镜头边缘帧和非镜头边缘帧完成对所述待检测视频的镜头划分。

肤色区域提取单元52，用于提取所述视频关键帧中的肤色区域。具体地，所述肤色区域提取单元52采用如下方式提取肤色区域：

获取所述视频关键帧中各像素点的C_bC_r值；

分别计算每个像素点的C_bC_r值在多高斯敏感度判别模型中的概率值；

将所述概率值大于第一阈值的像素点标记为肤色点，并将所有肤色点构成的区域作为所述视频关键帧的肤色区域。

不良视频帧检测单元53，用于根据提取的肤色区域检测所述视频关键帧是否为不良视频帧。具体地，所述不良视频帧检测单元53采用如下方式进行不良视频帧检测：

计算所述肤色区域的面积与所述视频关键帧的面积的比值；

当所述比值大于第二阈值时，确定所述视频关键帧为不良视频帧。

所述不良视频帧检测单元53还可以采用如下方式进行不良视频帧检测：

计算所述肤色区域的面积与所述视频关键帧的面积的比值；

当所述比值大于第二阈值时，判断所述肤色区域中是否包含人脸；

当所述肤色区域中包含人脸时，根据人体结构学特征确定所述视频关键帧是否为不良视频帧。

不良视频检测单元54，用于根据检测到的不良视频帧与其前后各帧的相关性，确定所述待检测视频是否为不良视频。具体地，所述不良视频检测单元54采用如下方式进行不良视频检测：

构造包括所述不良视频帧及其前后若干个视频帧的视频帧序列；

将所述视频帧序列构造成一个张量Z；

用高阶奇异值分解算法对张量Z进行分解：Z＝K×U_x×U_y×U_t，其中，U_x为横轴模矩阵，U_y为纵轴模矩阵，U_t为时间模矩阵，K为核张量；

计算U_t中各个系数之间的距离，用计算得到的距离来表征所述不良视频帧与其前后各帧的相关性，当所述距离小于第三阈值时，确定所述待检测视频为不良视频。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神范围，其均应涵盖在本发明的权利要求范围当中。

Claims (12)

1.一种不良视频检测方法，其特征在于，包括：

将待检测视频划分成多个镜头，从每个镜头中提取一个非边缘帧作为视频关键帧；

提取所述视频关键帧中的肤色区域；

根据提取的肤色区域检测所述视频关键帧是否为不良视频帧；

根据检测到的不良视频帧与其前后各帧的相关性，确定所述待检测视频是否为不良视频。

2.如权利要求1所述的不良视频检测方法，其特征在于，所述将待检测视频划分为多个镜头包括：

在YC_bC_r空间中，构造所述待检测视频中的每个视频帧的色度直方图；

根据所述色度直方图计算所述视频帧的主色度和次色度；

分别计算每个视频帧与前一个视频帧的主色度差异值和次色度差异值，将所述主色度差异值和次色度差异值作为所述视频帧的聚类特征；

根据所述聚类特征，利用类均值软聚类算法对所述待检测视频的所有视频帧进行聚类分析，得到镜头边缘帧和非镜头边缘帧，并根据所述镜头边缘帧和非镜头边缘帧完成对所述待检测视频的镜头划分。

3.如权利要求2所述的不良视频检测方法，其特征在于，所述提取所述视频关键帧中的肤色区域包括：

获取所述视频关键帧中各像素点的C_bC_r值；

分别计算每个像素点的C_bC_r值在多高斯敏感度判别模型中的概率值；

将所述概率值大于第一阈值的像素点标记为肤色点，并将所有肤色点构成的区域作为所述视频关键帧的肤色区域。

4.如权利要求1所述的不良视频检测方法，其特征在于，所述根据提取的肤色区域检测所述视频关键帧是否为不良视频帧包括：

计算所述肤色区域的面积与所述视频关键帧的面积的比值；

当所述比值大于第二阈值时，确定所述视频关键帧为不良视频帧。

5.如权利要求1所述的不良视频检测方法，其特征在于，所述根据提取的肤色区域检测所述视频关键帧是否为不良视频帧包括：

计算所述肤色区域的面积与所述视频关键帧的面积的比值；

当所述比值大于第二阈值时，判断所述肤色区域中是否包含人脸；

当所述肤色区域中包含人脸时，根据人体结构学特征确定所述视频关键帧是否为不良视频帧。

6.如权利要求1所述的不良视频检测方法，其特征在于，所述根据检测到的不良视频帧与其前后各帧的相关性，确定所述待检测视频是否为不良视频包括：

构造包括所述不良视频帧及其前后若干个视频帧的视频帧序列；

将所述视频帧序列构造成一个张量Z；

用高阶奇异值分解算法对张量Z进行分解：Z＝K×U_x×U_y×U_t，其中，U_x为横轴模矩阵，U_y，为纵轴模矩阵，U_t为时间模矩阵，K为核张量；

计算U_t中各个系数之间的距离，用计算得到的距离来表征所述不良视频帧与其前后各帧的相关性，当所述距离小于第三阈值时，确定所述待检测视频为不良视频。

7.一种不良视频检测装置，其特征在于，包括：

关键帧提取单元，用于将待检测视频划分成多个镜头，从每个镜头中提取一个非边缘帧作为视频关键帧；

肤色区域提取单元，用于提取所述视频关键帧中的肤色区域；

不良视频帧检测单元，用于根据提取的肤色区域检测所述视频关键帧是否为不良视频帧；

不良视频检测单元，用于根据检测到的不良视频帧与其前后各帧的相关性，确定所述待检测视频是否为不良视频。

8.如权利要求7所述的不良视频检测装置，其特征在于，所述关键帧提取单元进一步用于：

在YC_bC_r空间中，构造所述待检测视频中的每个视频帧的色度直方图；

根据所述色度直方图计算所述视频帧的主色度和次色度；

分别计算每个视频帧与前一个视频帧的主色度差异值和次色度差异值，将所述主色度差异值和次色度差异值作为所述视频帧的聚类特征；

根据所述聚类特征，利用类均值软聚类算法对所述待检测视频的所有视频帧进行聚类分析，得到镜头边缘帧和非镜头边缘帧，并根据所述镜头边缘帧和非镜头边缘帧完成对所述待检测视频的镜头划分。

9.如权利要求8所述的不良视频检测装置，其特征在于，所述肤色区域提取单元进一步用于：

获取所述视频关键帧中各像素点的C_bC_r值；

分别计算每个像素点的C_bC_r值在多高斯敏感度判别模型中的概率值；

将所述概率值大于第一阈值的像素点标记为肤色点，并将所有肤色点构成的区域作为所述视频关键帧的肤色区域。

10.如权利要求7所述的不良视频检测装置，其特征在于，所述不良视频帧检测单元进一步用于：

计算所述肤色区域的面积与所述视频关键帧的面积的比值；

当所述比值大于第二阈值时，确定所述视频关键帧为不良视频帧。

11.如权利要求7所述的不良视频检测装置，其特征在于，所述不良视频帧检测单元进一步用于：

计算所述肤色区域的面积与所述视频关键帧的面积的比值；

当所述比值大于第二阈值时，判断所述肤色区域中是否包含人脸；

当所述肤色区域中包含人脸时，根据人体结构学特征确定所述视频关键帧是否为不良视频帧。

12.如权利要求7所述的不良视频检测装置，其特征在于，所述不良视频检测单元进一步用于：

构造包括所述不良视频帧及其前后若干个视频帧的视频帧序列；

将所述视频帧序列构造成一个张量Z；

用高阶奇异值分解算法对张量Z进行分解：Z＝K×U_x×U_y×U_t，其中，U_z为横轴模矩阵，U_y，为纵轴模矩阵，U_t为时间模矩阵，K为核张量；

计算U_t中各个系数之间的距离，用计算得到的距离来表征所述不良视频帧与其前后各帧的相关性，当所述距离小于第三阈值时，确定所述待检测视频为不良视频。

Images