CN101051344A - 基于光流方向直方图和肤色流形变分的敏感视频识别方法 - Google Patents

Abstract

本发明涉及一种基于光流方向直方图和肤色流形变分的敏感视频识别方法，是通过以下步骤实现的：下载原始视频、并对视频解压；计算每一帧的运动特征：计算光流方向直方图并通过光流直方图分类器进行分类；同时计算图像特征：根据肤色流形分类器进行肤色分割，判别其肤色比例是否超过阈值；当运动特征和图像特征都敏感的时候，判定这一帧敏感；本发明的有益效果是：用于检测互联网上的黄色视频信息，使用户免受黄色信息的毒害。

Description

基于光流方向直方图和肤色流形变分的敏感视频识别方法

技术领域

本发明涉及一种网络敏感信息监控的方法，尤其涉及一种视频过滤的方法。

背景技术

人类已进入21世纪，这是一个全球网络化的社会。网络对全球经济和社会生活的渗透，其深度和影响力已远远超出人们的预料。在人类历史上，从来没有任何一项技术及其应用像互联网一样发展那么快，对人们的工作、生活、消费和交往方式影响那么大，并且，随着高度信息化的网络社会的到来，人们在生产和生活方式、观念和意识等方面也必然会发生翻天覆地的变化。

对于互联网所创造和提供的这个全新环境，人们好像还没有作好充分的心理准备，因而对于它所带来的一系列社会问题，不少人或多或少地表现出了一些惊慌失措。其实，任何事物都有它的两面性，互联网也是如此。毋庸置疑，互联网对社会道德的积极影响和正面作用是十分巨大的，如它带来了社会道德的开放性、多元化，促进了人和社会的自由全面发展以及从依赖型道德向自主型道德的转变等。

在互联网给人们的工作、生活和社会交往带来极大便利的同时，也产生了并将长期存在着许多影响未成年的一些犯罪行为。近年来，随着互联网在我国的飞速发展，人们也不断地看到并感受到了这些行为及其所带来的恶劣后果。统计报告显示，24岁以下的网民占全国上网总人数的55％，在泡网吧的人群中青少年占80％以上。由此可见网络对青少年的影响不可低估。

面对网络上的黄色与反动信息，众多的网络过滤技术发挥了重要作用。对国内的黄色网站进行一律封杀，对国外的黄色网站主要是进行IP和域名过滤。对反动的网站也是如此处理。但是这是一种静态的处理方式，是一种人工发现，然后事后补救的措施。然而这些非法境外网站很狡猾，不断变更域名和IP，给黄色与反动信息的封锁带来了极大的麻烦。这就迫切需要基于内容的网络监控方式，随着网络带宽的飞速发展，网络视频日益成为网络内容监控的主要对象，这就对我们提出了一个重大挑战。

对网络敏感信息监控的一些主要技术主要分4类，分别为：IP与域名过滤、文字过滤、图片过滤、视频过滤。

IP与域名过滤在路由器端主要是通过设置IP与域名过滤表实现的。IP与域名过滤也可以通过客户端软件实现，代表性的有SmartFilter和国内的美萍网站过滤专家。其中SmartFilter对互联网络访问的管理及监督就是通过SmartFilter控制列表资料库来达到的，SmartFilter公司的专业人员每天由世界各地收集目前增加或消失的网站资讯，并且每星期更新一次，SmartFilter控制列表资料库提供的完整URL资料库，所有采用SmartFilter产品的客户都可以每星期下载最新的控制列表资料库。为方便管理者设定且依据各单位不同的需求、兴趣及政策，控制列表资料库被区分为27种类别。如：聊天，网络约会，赌博，过激言论，谣言，色情等。但是这种产品人为参与的因素太多，不能实现信息的自动处理。

文字过滤主要通过分析网页关键词与自然语言处理技术来实现。大部分文字过滤的产品把文字过滤和IP、域名过滤融合在一起。代表性的产品有网页吸尘器、费尔网络监护专家、阳光使者。其主要技术核心是文字拦截。如阳光使者能对所有屏幕上出现的文本进行实时监控，一旦发现打开了含有不良信息的文本，阳光使者立刻对屏幕显示的文字进行屏蔽，这个功能对来自于本地计算机和光盘上的不良信息有最佳的效果。

图片过滤是把人工智能技术应用于图像处理，让计算机自动识别黄色和反动图片。国外一些大学(Berkeley，Iowa)开展了部分对网络上敏感图片进行分析的探索。Fleck与Forsyth通过检测人体的皮肤，并把各部分皮肤区域连成一组，来识别一幅图片是否包含裸体内容。该系统使用组合的颜色和纹理属性标记出类似皮肤的象素，然后将这些皮肤区域送到一特定的成组器。成组器利用人体结构上的几何约束把这些区域组成一个人的轮廓。如果成组器发现了一个足够复杂的结构，它就认为这幅图片中包含有人。这种方法对于存在大范围阴影和皮肤颜色的场合是很有效的。Aberdeen的Ian Craw在皮肤检测中用SOM网对肤色的概率模型进行学习，检验样本输入网络后得到一个可能为肤色的概率值，然后设置一阀值来判定是否为肤色。

值得一提的是，以法国国立计算机与自动化研究所(INRIA)图像与多媒体索引组的四名科学家于1999年成立了LookThatUp公司，该公司图像过滤与检索产品在行业内处于领先地位。LookThatUp的Image-Filter可以对网络上的图像进行实时过滤，该产品使用了先进的识别算法，可以识别出色情图片并将其过滤掉。该系统为了实时判别敏感图像，使用了两个Server模块，LookThatUp Server对图像进行分析和理解，并将结果送Partner Server，Partner Server再与图像库比较，以决定是否过滤该图像。

系统的核心是一个对图像进行高层理解的模块，并可以根据图像特征对图像进行索引、识别和比对。其中，在分析器中使用了对象分割、图像索引和图形识别算法。对特定细节(颜色，纹理，形状)敏感的视觉选择性描述引擎被用来提取图像中的视觉信息。分析器由于具有学习能力，因此做得比一般的图像检索系统要好。在系统中使用了神经网络以提高图像描述和索引的精度。一般说来，分析器可以学习物体的轮廓并丰富其知识库。

视频内容过滤与监控是建立在图象过滤与监控的基础之上的。目前动态黄色与反动信息的过滤依然是个空白，国内外本来做网络图像过滤的就不多，做网络视频过滤的几乎没有。这主要是因为视频过滤的技术还很不成熟，对视频的过滤比对静态图像的过滤要更难，实时性要求更高。但社会对此有迫切需求，因为动态黄色信息危害性更大。

发明内容

本发明需要解决的技术问题是提供了一种基于光流方向直方图和肤色流形变分的敏感视频识别方法，旨在解决上述的缺陷。

为了解决上述技术问题，本发明是通过以下步骤实现的：

下载原始视频、并对视频解压；

计算每一帧的运动特征：计算光流方向直方图并通过光流直方图分类器进行分类；

同时计算图像特征：根据肤色流形分类器进行肤色分割，判别其肤色比例是否超过阈值；

当运动特征和图像特征都敏感的时候，判定这一帧敏感。

与现有技术相比，本发明的有益效果是：用于检测互联网上的黄色视频信息，使用户免受黄色信息的毒害。

附图说明

图1是混合高斯模型的图模型表示；

图2是敏感视频的检测框图；

图3是视频中的敏感帧分布示意图；

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明是通过获取视频的单帧信息以及帧间的运动信息来进行敏感的识别。单帧信息提供的是图像特征，运动信息提供的是运动特征。通过对基于变分混合高斯的肤色流形分类器对图像进行色彩分割，求出皮肤的暴露程度。通过连续图像序列获取光流方向直方图找出视频中运动对象的运动特征。在图像特征和运动特征的基础上对整个视频的敏感性做一个综合评价。

光流直方图求取运动特征：

光流的产生主要来自于摄影机与环境物体之间的相对运动，使得所获得的连续图像的图像强度(Image intensity)产生时间空间上的变化，因此其纯粹从连续图像中，计算图像强度样型(Brightness pattern)在时间空间上二维的可视速度(Apparent velocity)。在光流的定义中并没有描述到与三维场景的关系。所以当图像的光流不为零时，视场中事实上不见得有物体的运动产生。产生这种情形的原因很多，最简单的原因就是场景中光源照度的改变。例如对一个静止的场景取像，但是照射于场景中的光源却是会移动的，则在定义上，既然场景是静止的，场景投射在图像上的图像流会等于零。然而因为光源是移动的，所以在图像中的图像强度是会变动的，使得计算得到的光流不为零。同样地，也会产生有光流等于零，而图像流不等于零的情形。例如，一个表面光滑均匀的球体，由于其表面特性，当球体开始转动而且环境照度均匀，则撷取到的连续影像其图像强度并不会变化，因此计算所得的光流等于零，而实际上图像的图像流却是不为零的。

因此，如果要解析三维场景的结构与运动真正所需要的是图像流场。然而古典的作法却是撷取一连串场景的图像强度变化，从连续图像估测出光流场，然后在环境照度均匀，物体表面为平面等假设条件下，让光流场等效于图像流场，并且用以分析三维场景的架构与物体的运动。

所述的光流方向直方图并与光流直方图分类器比较是通过以下步骤实现的：

光流的约束方程

考虑图象的象素m＝(x，y)^T，时刻t的灰度值I(x，y，t)。令点m的速度为V_m＝(v_x+v_y)^T.若点m的速度保持不变，那么在很短的时间间隔dt内，有：

I(x+V_xdt，y+v_ydt，t+dt)＝I(x，y，t)

$I(x,y,t)+\frac{\∂I}{\∂x}{v}_x+\frac{\∂I}{\∂y}{v}_y+\frac{\∂I}{\∂t}+O\left({\mathrm{dt}}^2\right)=I(x,y,t)$

$\▿I\·v_m+\frac{\∂I}{\∂t}=0$

其中 $\▿I={[\frac{\∂I}{\∂x},\frac{\∂I}{\∂y}]}^T$ 设v_x＝u，v_y＝v

$\frac{\∂I}{\∂t}=\frac{\∂I}{\∂x}u+\frac{\∂I}{\∂y}v$

可以用正则化技术[Horn 1981]求光流使下式最小：

$\∫\∫{(\▿I\·v+\frac{\∂I}{\∂t})}^2+\mathrm{\λ}({\left|\right|\▿v_x\left|\right|}^2+{\left|\right|\▿v_y\left|\right|}^2)\mathrm{dxdy}$

$\▿v_x={(\frac{{\∂v}_x}{\∂x},\frac{{\∂v}_x}{\∂y})}^T;{\▿v}_y={(\frac{{\∂v}_y}{\∂x},\frac{{\∂v}_y}{\∂y})}^T$

在求得每一点的光流后，对整个图像求取光流方向直方图。在训练过程中将敏感视频中每帧的光流方向直方图和正常视频中每帧的光流直方图作为两类样本，输入到SVM分类器中训练。在识别阶段，用被测试视频中每帧的光流方向直方图在分类器中投影，计算其是否具有属于敏感运动特征。肤色流形参数变分估计：

传统肤色模型[Jones 1998]：

在RGB空间中，r，g，b三分量不仅代表颜色，还代表光照的明暗。为消除光照影响，对颜色采用正则化处理：r＝R/(R+G+B)，b＝B/(R+G+B).颜色模型可以用高斯模型N(m，c)表示。

均值：m＝E{x}其中x＝(r b)^T

方差：c＝E{(x-m)(x-m)^T}

P(r，b)＝exp[-0.5(x-m)^Tc^-1(x-m)]其中x＝(r b)^T

通过取一定阈值，就能把皮肤分割出来。

其缺陷：只考虑到单高斯分布，只能处理一类肤色。

传统的多高斯肤色模型：

对肤色样本进行EM(期望最大化)参数估计，参数分别是每类别的均值和方差，还有每一个类别的先验概率。

其缺陷：在训练之前，必须已知模型结构，在模型结构未知的情况下无法训练。为了确定模型结构，往往是人为手工给定一个结构。

本发明的算法：所述的根据肤色流形分类器进行肤色分割，判别其肤色比例是否超过阈值是通过以下步骤实现的。

肤色流形参数变分估计

在混合高斯模型的类别数未知的情况下对样本进行训练，这是一种同时对结构和参数进行学习的方法，目的是寻找一种最优的模型结构和在此结构下的最优参数。

参数描述

假设观测为y＝(y₁，…y_N)，其中y₁，…y_N均为p维向量，N为观测样本的总数。假设隐藏变量为x＝(x₁，…x_N)，其中x₁，…x_N均为k维向量，分别表示对应观测的状态，在所处理的混合高斯模型中，k＝1。

假设对每一类样本c_j，其均值和逆协方差阵分别为μ_j， ${\mathrm{\Γ}}_j={\mathrm{\Σ}}_j^{-1},$ 即p(y_j|x_j)＝N(y_j；μ_j，Γ_j)。设p(x_j)＝π_j，这样模型参数为(π_j，μ_j，Γ_j)。同时对模型参数设定先验概率分布，为了使得模型的先验分布和后验分布性质一致，设定π_j服从Dirichelet分布，μ_j服从高斯分布，Γ_j服从Wishart分布，即：

$p\left(\right\{{\mathrm{\π}}_j\};\{{\mathrm{\λ}}_j\left\}\right)=\frac{\mathrm{\Γ}\left(m{\mathrm{\λ}}_0\right)}{\mathrm{\Γ}\left({\mathrm{\λ}}_0\right)...\mathrm{\Γ}\left({\mathrm{\λ}}_0\right)}\underset{j=1}{\overset{m}{\mathrm{\Π}}}{\mathrm{\π}}_j^{{\mathrm{\λ}}_j-1}---\left(1\right)$

其中π₁，...，π_m≥0； $\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\π}}_j=1$

p(μ_j|Г_j)＝N(μ_j；ρ⁰，β⁰Г_j)                (2)

$p\left({\mathrm{\Γ}}_j\right)=\frac{1}{Z}{\left|{\mathrm{\Γ}}_j\right|}^{(v^0-k-1)/2}{e}^{-\mathrm{tr}\left[{\mathrm{\Φ}}^0{\mathrm{\Γ}}_j\right]/2}---\left(3\right)$

其中 $Z=2^{\mathrm{vk}/2}{\mathrm{\π}}^{k(k-1)/4}{\mathrm{\Π}}_{i=1}^k\mathrm{\Γ}\left(\frac{v+1-i}{2}\right)\×{\left|{\mathrm{\Φ}}^0\right|}^{-v/2}$

{λ_j}，ρ⁰，β⁰，v⁰，Φ⁰均为超参数，代表模型结构。参数估计的目的是在变结构，也就是说在类别数目可变的条件下，可以学习出一个最优参数估计。

混合高斯模型实际上是图模型的一个特例，其模型结构如图1所示，每个观测节点都有一个状态节点作其父节点，而且各状态节点之间相互独立，各观测节点之间也相互独立。下面我们给出通用图模型的EM估计步骤。通用图模型变分估计

参数估计中的EM估计是在p(y|θ)的表达式中求取一个θ，使得p(y|θ)取极大值。而往往直接求取d ln p(y|θ)/dθ＝0来解θ比较困难，通过隐含变量过渡来求取 ${\mathrm{\θ}}^{t+1}=\underset{\mathrm{\θ}}{\arg \max }\∫p\left(x\right|y,{\mathrm{\θ}}^t)\ln p(x,y|\mathrm{\θ})\mathrm{dx}$ 比较方便，这就是经典的EM算法，但是它只适合于结构固定时的参数估计。

根据Hinton的观点，优化p(y|θ)的过程可以转化为优化其下界

的过程。设m表示结构，我们同样可以求取p(y|m)的相应下界：

$p\left(y\right|m)\≥\∫q(x,\mathrm{\θ})\ln \frac{p(x,y,\mathrm{\θ})}{q(x,\mathrm{\θ})}\mathrm{dxd\θ}$

$=\∫q\left(x\right)q\left(\mathrm{\θ}\right)\ln \frac{p(x,y,\mathrm{\θ})}{q\left(x\right)q\left(\mathrm{\θ}\right)}\mathrm{dxd\θ}=F$

假设x和θ独立，需要分别求出q(x)和q(θ)使得p(y|m)的下界F最大。q(x)和q(θ)可以分别看成是相应真实分布的变分估计，当这个估计与真实一致时，p(y|m)的下界F取最大。通过F分别对q(x)和q(θ)求导作变分求解：

$\frac{\∂F}{\∂q\left(x\right)}=0\⇒q\left(x\right)\∝e^{\∫q\left(\mathrm{\θ}\right)\ln p(x,y)\mathrm{d\θ}}---\left(4\right)$

$\frac{\∂F}{\∂q\left(\mathrm{\θ}\right)}=0\⇒q\left(\mathrm{\θ}\right)\∝p\left(\mathrm{\θ}\right)e^{\∫q\left(x\right)\ln p(x,y)\mathrm{dx}}---\left(5\right)$

其中对q(x)估计的过程可以看成是E step，对q(θ)估计的过程可以看成是M step，由于q(θ)是对θ的后验估计，所以这个θ参数比经典EM中最大化p(y|θ)中的参数要可靠。

变分混合高斯模型参数估计

具体到混合高斯模型，我们分别按照(4)和(5)来求q(x)和q(θ)，首先对ln p(x，y)作具体化：

$\ln p(x,y|\mathrm{\θ})=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\ln p(x_i,y_i|\mathrm{\θ})=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\ln p\left(x_i\right)p\left(y_i\right|x_i,\mathrm{\θ})---\left(6\right)$

然后求q(x)：

$\∫q\left(\mathrm{\θ}\right)\ln p(x,y)\mathrm{d\θ}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\∫q\left(\mathrm{\θ}\right)\ln p\left(x_i\right)p\left(y_i\right|x_i,\mathrm{\θ})\mathrm{d\θ}$

$q\left(x\right)\∝e^{\∫q\left(\mathrm{\θ}\right)\ln p(x,y)\mathrm{d\θ}}\⇒q(x_i=j|y_i)\∝e^{\∫q\left(\mathrm{\θ}\right)\ln p(x_i=j,y_i)\mathrm{d\θ}}$

$\⇒{\mathrm{\γ}}_j^i=q(x_i=j|y_i)\∝\⟨\ln {\mathrm{\π}}_j\⟩e^{\⟨\ln \left|{\mathrm{\Γ}}_j\right|\⟩/2}{e}^{{-(y_i-p_j)}^T\⟨{\mathrm{\Γ}}_J\⟩\left(y_i{p}_j\right)/2}{e}^{-d/2{\mathrm{\β}}_j}---\left(7\right)$

其中：

$\⟨\ln {\mathrm{\π}}_j\⟩=\mathrm{\ψ}\left({\mathrm{\λ}}_j^{\′}\right)-\mathrm{\ψ}\left(\underset{k}{\mathrm{\Σ}}{\mathrm{\λ}}_k^{\′}\right)$ $\mathrm{\ψ}\left(x\right)=\frac{d\ln \mathrm{\Γ}\left(x\right)}{\mathrm{dx}}$

$\⟨\ln \left|{\mathrm{\Γ}}_j\right|\⟩=\underset{i=1}{\overset{d}{\mathrm{\Σ}}}\mathrm{\ψ}((v_j+1-i)/2)-\ln \left|{\mathrm{\Φ}}_j\right|+d\ln 2$

$\⟨{\mathrm{\Γ}}_j\⟩=v_j{\mathrm{\Φ}}_j^{-1}$

这是E step，接下来是通过M step估计参数的后验分布，为了书写方便，预先定义几个变量：

${\stackrel{\‾}{\mathrm{\π}}}_j=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\γ}}_j^i$ N_j＝N π_j

${\stackrel{\‾}{\mathrm{\μ}}}_j=\frac{1}{{\stackrel{\‾}{N}}_j}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\γ}}_j^i{y}_i$

${\stackrel{\‾}{\mathrm{\Σ}}}_j=\frac{1}{{\stackrel{\‾}{N}}_j}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\γ}}_j^i(y_i-{\stackrel{\‾}{\mathrm{\μ}}}_j){(y_i-{\stackrel{\‾}{\mathrm{\μ}}}_j)}^T$

将(1)(2)(3)(6)代入(5)得到关于(π_j，μ_j，Γ_j)的新的Dirichelet分布，正态分布和Wishart分布，假设新参数形式如下：

$q\left(\right\{{\mathrm{\π}}_j\};\{{\mathrm{\λ}}_j^{\′}\left\}\right)=\frac{\mathrm{\Γ}\left({\mathrm{\λ}}_0^{\′}\right)}{\mathrm{\Γ}\left({\mathrm{\λ}}_1^{\′}\right)...\mathrm{\Γ}\left({\mathrm{\λ}}_m^{\′}\right)}\underset{j=1}{\overset{m}{\mathrm{\Π}}}{\mathrm{\π}}_j^{{\mathrm{\λ}}_j^{\′}-1}---\left(8\right)$

p(μ_j|Γ_j)＝N(μ_j；ρ^j，β^jΓ_j)                (9)

$p\left({\mathrm{\Γ}}_j\right)=\frac{1}{Z}{\left|{\mathrm{\Γ}}_j\right|}^{(v^j-k-1)/2}{e}^{-\mathrm{tr}\left[{\mathrm{\Φ}}^j{\mathrm{\Γ}}_j\right]/2}---\left(10\right)$

可以求得新的参数分别为：

λ_j′＝ N_j+λ⁰

β_j＝ N_j+β⁰

ρ_j＝( N_j μ_j+β⁰ρ⁰)/( N_j+β⁰)

v_j＝ N_j+v⁰

Φ_j＝ N_j ∑_j+ N_jβ⁰( μ_j-ρ⁰)( μ_j-ρ⁰)^T /( N_j+β⁰)+Φ⁰

并且有：

$\⟨{\mathrm{\π}}_j\⟩={\mathrm{\λ}}_j^{\′}/\underset{k}{\mathrm{\Σ}}{\mathrm{\λ}}_k^{\′}$

<μ_j>＝ρ_j

$\&lang;{\mathrm{\&Gamma;}}_j\&rang;=v_j{\mathrm{\&Phi;}}_j^{-1}$

这就是对(π_j，μ_j，Γ_j)的估计。

肤色分类器

设原来的样本为Y，新来一个样本y，则p(y|Y)服从混合的t分布：

$p\left(y\right|Y)=\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}\&lang;{\mathrm{\&pi;}}_j\&rang;t_{{\mathrm{\&omega;}}_j}\left(y\right|{\mathrm{\&rho;}}_j,(({\mathrm{\&beta;}}_j+1)/{\mathrm{\&beta;}}_j{\mathrm{\&omega;}}_j){\mathrm{\&Phi;}}_j$

ω_j＝v_j+1-d

当样本数目趋于无穷大时，p(y|Y)趋于混合高斯分布。设y的状态为x，则：

$j=\underset{j}{\arg \max }p(y,x=j|Y)$

其中 $p(y,x=j|Y)=\&lang;{\mathrm{\&pi;}}_j\&rang;t_{{\mathrm{\&omega;}}_j}\left(y\right|{\mathrm{\&rho;}}_j,(({\mathrm{\&beta;}}_j+1)/{\mathrm{\&beta;}}_j{\mathrm{\&omega;}}_j){\mathrm{\&Phi;}}_j$

视频信息中的敏感性评测：

通过对每一关键帧的运动特征和图像特征进行敏感性估计，只有当被测试帧的运动特征和图像特征均具有敏感性的时候，才认为这一帧是敏感帧。这样就得到了视频在时间域上的的敏感帧分布情况，如附图3所示，其中深色部分代表可能含有敏感信息的帧。

通过对敏感帧分布密度进行估计，可以决策出视频是否敏感。

本发明采用c++开发而成。首先是输入一段视频，视频的输入可以是本地输入，也可以接收远程的视频URL输入。当接收远程URL时，该系统可以自动完成视频下载功能，并且以流媒体的方式进行下载和播放。在视频下载的同时进行视频解压缩处理，然后计算每一帧的光流方向直方图，然后以光流方向直方图作运动特征判别其是否敏感。同时根据肤色流形分类器进行肤色分割，判别其肤色比例是否超过阈值，如果超过阈值，则认为图像特征敏感。当运动特征和图像特征都敏感的时候，判定这一帧敏感。敏感视频的检测与静态敏感图象的检测有所不同：静态图象是单帧的，这一幅图象要么是敏感，要么非敏感。而视频则不同，里面含有较多的冗余信息，如果某一帧是敏感的，那最好不要马上决策这段视频是敏感的，因为这样会使检测的错误率提高。因为根据常识，如果一段视频是敏感的，那么这段视频绝不可能只有一个关键帧是敏感的。因此，就需要计算敏感帧的分布情况。如果在某个时间段敏感关键帧的分布密度过高，则有理由认为这一段视频就含有敏感信息。实际上，在敏感帧分布密度的基础上来判别视频的敏感性，其准确性往往比静态的敏感图象检测要高。敏感视频的检测框图如附图2所示。

Claims (3)

1.一种基于光流方向直方图和肤色流形变分的敏感视频识别方法，是通过以下步骤实现的：

下载原始视频、并对视频解压；

计算每一帧的运动特征：计算光流方向直方图并通过光流直方图分类器进行分类；

同时计算图像特征：根据肤色流形分类器进行肤色分割，判别其肤色比例是否超过阈值；

当运动特征和图像特征都敏感的时候，判定这一帧敏感。

2.根据权利要求1所述的基于光流方向直方图和肤色流形变分的敏感视频识别方法，所述的光流方向直方图并与光流直方图分类器比较是通过以下步骤实现的：

光流的约束方程：

考虑图象的象素m＝(x，y)^T，时刻t的灰度值I(x，y，t)，令点m的速度为V_m＝(v_x+v_y)^T.若点m的速度保持不变，那么在很短的时间间隔dt内，有：

I(x+V_xdt，y+v_ydt，t+dt)＝I(x，y，t)

$I(x,y,t)+\frac{\&PartialD;I}{\&PartialD;x}{v}_x+\frac{\&PartialD;I}{\&PartialD;y}{v}_y+\frac{\&PartialD;I}{\&PartialD;t}+O\left({\mathrm{dt}}^2\right)=I(x,y,t)$

$\&dtri;I\&CenterDot;v_m+\frac{\&PartialD;I}{\&PartialD;t}=0$

其中 $\&dtri;I={[\frac{\&PartialD;I}{\&PartialD;x},\frac{\&PartialD;I}{\&PartialD;y}]}^T$ 设v_x＝u，v_y＝v

$\frac{\&PartialD;I}{\&PartialD;t}=\frac{\&PartialD;I}{\&PartialD;x}u+\frac{\&PartialD;I}{\&PartialD;y}v$

可以用正则化技术求光流使下式最小：

${\&Integral;\&Integral;(\&dtri;I\&CenterDot;v+\frac{\&PartialD;I}{\&PartialD;t})}^2+\mathrm{\&lambda;}({\left|\right|\&dtri;v_x\left|\right|}^2+{\left|\right|\&dtri;v_y\left|\right|}^2)\mathrm{dxdy}$

$\&dtri;v_x={(\frac{\&PartialD;v_x}{\&PartialD;x},\frac{\&PartialD;v_x}{\&PartialD;y})}^T;\&dtri;v_y={(\frac{{\&PartialD;v}_y}{\&PartialD;x},\frac{\&PartialD;v_y}{\&PartialD;y})}^T$

在求得每一点的光流后，对整个图像求取光流方向直方图；在训练过程中将敏感视频中每帧的光流方向直方图和正常视频中每帧的光流直方图作为两类样本，输入到SVM分类器中训练；在识别阶段，用被测试视频中每帧的光流方向直方图在分类器中投影，计算其是否具有属于敏感运动特征。

3.根据权利要求1所述的基于光流方向直方图和肤色流形变分的敏感视频识别方法，所述的根据肤色流形分类器进行肤色分割，判别其肤色比例是否超过阈值是通过以下步骤实现的：

肤色流形参数变分估计：参数描述：

假设观测为y＝(y₁，…y_N)，其中y₁，…y_N均为p维向量，N为观测样本的总数；假设隐藏变量为x＝(x₁，…X_N)，其中x₁，…x_N均为k维向量，分别表示对应观测的状态，在所处理的混合高斯模型中，k＝1；

假设对每一类样本c_j，其均值和逆协方差阵分别为μ_j， ${\mathrm{\&Gamma;}}_j={\mathrm{\&Sigma;}}_j^{-1},$ 即p(y_j|x_j)＝N(y_j；μ_j，Γ_j)；设p(x_j)＝π_j，这样模型参数为(π_j，μ_j，Γ_j)；同时对模型参数设定先验概率分布，为了使得模型的先验分布和后验分布性质一致，设定π_j服从Dirichelet分布，μ_j服从高斯分布，Γ_j服从Wishart分布，即：

$p\left(\right\{{\mathrm{\&pi;}}_j\};\{{\mathrm{\&lambda;}}_j\left\}\right)=\frac{\mathrm{\&Gamma;}\left(m{\mathrm{\&lambda;}}_0\right)}{\mathrm{\&Gamma;}\left({\mathrm{\&lambda;}}_0\right)...\mathrm{\&Gamma;}\left({\mathrm{\&lambda;}}_0\right)}\underset{j=1}{\overset{m}{\mathrm{\&Pi;}}}{\mathrm{\&pi;}}_j^{{\mathrm{\&lambda;}}_j-1}...\left(1\right)$

其中π₁，…，π_m≥0； $\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{\mathrm{\&pi;}}_j=1$

p(μ_j|Γ_j)＝N(μ_j；ρ⁰，β⁰Γ^j)                   (2)

$p\left({\mathrm{\&Gamma;}}_j\right)=\frac{1}{Z}{\left|{\mathrm{\&Gamma;}}_j\right|}^{(v^0-k-1)/2}{e}^{-\mathrm{tr}\left[{\mathrm{\&Phi;}}^0{\mathrm{\&Gamma;}}_j\right]/2}...\left(3\right)$

其中 $Z=2^{\mathrm{vk}/2}{\mathrm{\&pi;}}^{k(k-1)/4}{\mathrm{\&Pi;}}_{i=1}^k\mathrm{\&Gamma;}\left(\frac{v+1-i}{2}\right)\&times;{\left|{\mathrm{\&Phi;}}^0\right|}^{-v/2}$

Gamma函数 $\mathrm{\&Gamma;}\left(x\right)={\&Integral;}_0^{+\&infin;}{t}^{x-1}{e}^{-t}\mathrm{dt}$

{λ_j}，ρ⁰，β⁰，ν⁰，Φ⁰均为超参数，代表模型结构；

根据Hinton的观点，优化p(y|θ)的过程可以转化为优化其下界 $\&Integral;q\left(x\right)\ln \frac{p(x,y|\mathrm{\&theta;})}{q\left(x\right)}$ 的过程；设m表示结构，我们同样可以求取p(y|m)的相应下界：

$p\left(y\right|m)\&GreaterEqual;\&Integral;q(x,\mathrm{\&theta;})\ln \frac{p(x,y,\mathrm{\&theta;})}{q(x,\mathrm{\&theta;})}\mathrm{dxd\&theta;}$

$=\&Integral;q\left(x\right)q\left(\mathrm{\&theta;}\right)\ln \frac{p(x,y,\mathrm{\&theta;})}{q\left(x\right)q\left(\mathrm{\&theta;}\right)}\mathrm{dxd\&theta;}=F$

假设x和θ独立，需要分别求出q(x)和q(θ)使得p(y|m)的下界F最大；q(x)和q(θ)可以分别看成是相应真实分布的变分估计，当这个估计与真实一致时，p(y|m)的下界F取最大；通过F分别对q(x)和q(θ)求导作变分求解：

$\frac{\&PartialD;F}{\&PartialD;q\left(x\right)}=0\&DoubleRightArrow;q\left(x\right)\&Proportional;e^{\&Integral;q\left(\mathrm{\&theta;}\right)\ln p(x,y)\mathrm{d\&theta;}}...\left(4\right)$

$\frac{\&PartialD;F}{\&PartialD;q\left(\mathrm{\&theta;}\right)}=0\&DoubleRightArrow;q\left(\mathrm{\&theta;}\right)\&Proportional;p\left(\mathrm{\&theta;}\right)e^{\&Integral;q\left(x\right)\ln p(x,y)\mathrm{dx}}...\left(5\right)$

其中对q(x)估计的过程可以看成是E step，对q(θ)估计的过程可以看成是M step，由于q(θ)是对θ的后验估计，所以这个θ参数比经典EM中最大化p(y|θ)中的参数要可靠；

变分混合高斯模型参数估计

具体到混合高斯模型，我们分别按照(4)和(5)来求q(x)和q(θ)，首先对ln p(x，y)作具体化：

$\ln p(x,y|\mathrm{\&theta;})=\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\ln p(x_i,y_i|\mathrm{\&theta;})=\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\ln p\left(x_i\right)p\left(y_i\right|x_i,\mathrm{\&theta;})...\left(6\right)$

然后求q(x)：

$\&Integral;q\left(\mathrm{\&theta;}\right)\ln p(x,y)\mathrm{d\&theta;}=\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\&Integral;q\left(\mathrm{\&theta;}\right)\ln p\left(x_i\right)p\left(y_i\right|x_i,\mathrm{\&theta;})\mathrm{d\&theta;}$

$q\left(x\right)\&Proportional;e^{\&Integral;q\left(\mathrm{\&theta;}\right)\ln p(x,y)\mathrm{d\&theta;}}\&DoubleRightArrow;q(x_i=j|y_i)\&Proportional;e^{\&Integral;q\left(\mathrm{\&theta;}\right)\ln p(x_i=j,y_i)\mathrm{d\&theta;}}$

$\&DoubleRightArrow;{\mathrm{\&gamma;}}_j^i=q(x_i=j|y_i)\&Proportional;\&lang;\ln {\mathrm{\&pi;}}_j\&rang;e^{\&lang;\ln \left|{\mathrm{\&Gamma;}}_j\right|\&rang;1/2}{e}^{-{(y_i-{\mathrm{\&rho;}}_j)}^T\&lang;{\mathrm{\&Gamma;}}_j\&rang;(y_i-{\mathrm{\&rho;}}_j)/2}{e}^{-d/2{\mathrm{\&beta;}}_j}...\left(7\right)$

其中：

$\&lang;\ln {\mathrm{\&pi;}}_j\&rang;=\mathrm{\&psi;}\left({\mathrm{\&lambda;}}_j^{\&prime;}\right)-\mathrm{\&psi;}\left(\underset{k}{\mathrm{\&Sigma;}}{\mathrm{\&lambda;}}_k^{\&prime;}\right)$ $\mathrm{\&psi;}\left(x\right)=\frac{d\ln \mathrm{\&Gamma;}\left(x\right)}{\mathrm{dx}}$

$\&lang;\ln \left|{\mathrm{\&Gamma;}}_j\right|\&rang;=\underset{i=1}{\overset{d}{\mathrm{\&Sigma;}}}\mathrm{\&psi;}((v_j+1-i)/2)-\ln \left|{\mathrm{\&Phi;}}_j\right|+d\ln 2$

$\&lang;{\mathrm{\&Gamma;}}_j\&rang;=v_j{\mathrm{\&Phi;}}_j^{-1}$

这是E step，接下来是通过M step估计参数的后验分布，预先定义几个变量： ${\stackrel{\&OverBar;}{\mathrm{\&pi;}}}_j=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_j^i$ N_j＝N π_j

${\stackrel{\&OverBar;}{\mathrm{\&mu;}}}_j=\frac{1}{{\stackrel{\&OverBar;}{N}}_j}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_j^i{y}_i$

${\stackrel{\&OverBar;}{\mathrm{\&Sigma;}}}_j=\frac{1}{{\stackrel{\&OverBar;}{N}}_j}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_j^i(y_i-{\stackrel{\&OverBar;}{\mathrm{\&mu;}}}_j){(y_i-{\stackrel{\&OverBar;}{\mathrm{\&mu;}}}_j)}^T$

将(1)(2)(3)(6)代入(5)得到关于(π_j，μ_j，Γ_j)的新的Dirichelet分布，正态分布和Wishart分布，假设新参数形式如下：

$q\left(\right\{{\mathrm{\&pi;}}_j\};\{{\mathrm{\&lambda;}}_j^{\&prime;}\left\}\right)=\frac{\mathrm{\&Gamma;}\left({\mathrm{\&lambda;}}_0^{\&prime;}\right)}{\mathrm{\&Gamma;}\left({\mathrm{\&lambda;}}_1^{\&prime;}\right)...\mathrm{\&Gamma;}\left({\mathrm{\&lambda;}}_m^{\&prime;}\right)}\underset{j=1}{\overset{m}{\mathrm{\&Pi;}}}{\mathrm{\&pi;}}_j^{{\mathrm{\&lambda;}}_j^{\&prime;}-1}...\left(8\right)$

p(μ_j|Γ_j)＝N(μ_j；ρ^j，β^jΓ_j)                          (9)

$p\left({\mathrm{\&Gamma;}}_j\right)=\frac{1}{Z}{\left|{\mathrm{\&Gamma;}}_j\right|}^{(v^j-k-1)/2}{e}^{-\mathrm{tr}\left[{\mathrm{\&Phi;}}^j{\mathrm{\&Gamma;}}_j\right]/2}...\left(10\right)$

可以求得新的参数分别为：

λ_j′＝ N_j+λ⁰

β_j＝ N_j+β⁰

ρ_j＝( N_j μ_j+β⁰ρ⁰)/( N_j+β⁰)

ν_j＝ N_j+ν⁰

Φ_j＝ N_j ∑_j+ N_jβ⁰( μ_j-ρ⁰)( μ_j-ρ⁰)^T/( N_j+β⁰)+Φ⁰

并且有：

$\&lang;{\mathrm{\&pi;}}_j\&rang;={\mathrm{\&lambda;}}_j^{\&prime;}/\underset{k}{\mathrm{\&Sigma;}}{\mathrm{\&lambda;}}_k^{\&prime;}$

<μ_j>＝ρ_j

$\&lang;{\mathrm{\&Gamma;}}_j\&rang;=v_j{\mathrm{\&Phi;}}_j^{-1}$

这就是对(π_j，μ_j，Γ_j)的估计；

肤色分类器

设原来的样本为Y，新来一个样本y，则p(y|Y)服从混合的t分布：

$p\left(y\right|Y)=\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}\&lang;{\mathrm{\&pi;}}_j\&rang;t_{{\mathrm{\&omega;}}_j}\left(y\right|{\mathrm{\&rho;}}_j,(({\mathrm{\&beta;}}_j+1)/{\mathrm{\&beta;}}_j{\mathrm{\&omega;}}_j){\mathrm{\&Phi;}}_j$

ω_j＝ν_j+1-d

当样本数目趋于无穷大时，p(y|Y)趋于混合高斯分布；设y的状态为x，则：

$j=\underset{j}{\arg \max }p(y,x=j|Y)$

其中 $p(y,x=j|Y)=<{\mathrm{\&pi;}}_j>t_{{\mathrm{\&omega;}}_j}\left(y\right|{\mathrm{\&rho;}}_j,(({\mathrm{\&beta;}}_j+1)/{\mathrm{\&beta;}}_j{\mathrm{\&omega;}}_j){\mathrm{\&Phi;}}_j.$

Images