CN103440248A - 基于动态关联规则的网络视频事件挖掘框架 - Google Patents

Abstract

本发明公开了一种基于动态关联规则的网络视频事件挖掘框架，针对网络视频文本信息所具有的信息量少和噪声多等特点，利用关键词间的语义信息，通过动态调整关联规则中的支持度，减少由于噪声、同义词、多义词和多语言等问题对文本和视觉信息间关系的影响，增强文本信息的鲁棒性，使其建立起视觉近似关键帧和高层语义之间的一座桥梁。本发明充分利用了文本信息间的语义相关性，以及文本信息和视觉信息间的关系，减少文本信息中的噪声对视觉近似关键帧与事件间关系的影响，增强视觉近似关键帧与对应事件间的相关性，使其更好的适应于噪声多且信息量少的网络视频的事件挖掘。

Description

基于动态关联规则的网络视频事件挖掘框架

技术领域

本发明属于数据挖掘领域，具体涉及热点话题检索与跟踪中大规模网络视频事件挖掘研究。

背景技术

社交网络的流行使得网络视频爆炸式的增长，浏览海量网络视频时的一个关键任务是事件挖掘。随着多媒体技术、网络技术和有线电视的发展，视频已经成为人们日常生活中获取信息和享受娱乐的主要载体。到2009年9月，大约每分钟有20小时的新视频数据上传到YouTube。YouTube占用了整个互联网约10%的流量，占据总在线视频量的60%。互联网已经成为多媒体信息发布和共享中心，同时网络电视台、“播客”已经成为互联网上重要的多媒体信息获取渠道。社交网络爆炸式的增长使得数以百万计的网络视频可供人们观看，大量的视频在互联网上传输，通过互联网搜索并观看丰富的视频内容已成为广大网民获取信息的主流方式。面对互联网上的海量视频数据，如何对大规模视频数据进行有效的事件挖掘已成为一项迫切的用户需求，也是新一代视频搜索引擎的主要研究热点问题。

目前，由于网络视频的多样性，相对较模糊的视频图像质量以及视频后期编辑处理，使得仅仅使用视觉信息进行事件挖掘变得更加困难。因此，最近多通过视觉和文本信息融合的方式进行事件挖掘。然而，有限的标题和标签等文本信息却通常使用笼统、概括、模糊的单词来大致的概括视频的主要内容，其中包含较多嗓音，不准确，甚至是误导或者错误的标签。这些标题和标签通常较短，寥寥数词无法囊括视频中丰富的内容，这给网络视频事件挖掘带来了新的挑战。

发明内容

鉴于现有技术的以上缺点，为了克服文本信息的缺点和不足，能够更好的进行文本和视觉信息的融合。本发明的目的是提出一种基于动态关联规则的网络视频事件挖掘框架，使之克服现有技术的以上缺

本发明的目的通过如下手段来实现的。

1、基于动态关联规则的网络视频事件挖掘框架，对网络视频文本和视觉信息的融合进行事件挖掘;分别处理视频信息和文本信息;

视频数据预处理，首先，采用SIFT特征中的Harris-Laplace方法进行局部特征点提取;其次,通过公用工具进行相似关键帧的检测，得到相似关键帧集;最后,利用相似关键帧集间的相关性信息，通过传递闭包进一步聚类，形成“相似关键帧集”;

文本信息预处理，从视频的标题和标签中提取的单词作为文本信息，去除无效的特殊字符，再通过词干提取对文本信息进行净化后，按如下步骤进行动态关联规则挖掘；

(1)根据相关单词的个数分成N个项目，其中N指项目中所包含的单词数目;将所有单词组成不同“组合”，并将这些“组合”按其所包含的单词数目由小到大排序；

(2)根据初始设置的支持度挖掘单词间相关性,假设每个项目中最多有K种组合；支持度的计算方法如公式1所示：

支持度 $(T_i,T_j)=\frac{|T_i\∩T_j|}{\mathrm{Min}(T_i,T_j)}---\left(1\right)$

其中，T_i和T_j代表两个单词，|T_i∩T_j|指这两个单词共同出现的视频数，Min(T_i,T_j)指两个单词出现的最少视频数;

然后，利用传递闭包算法查找通过关联规则得到的数据集间的相关性，最后得到更大的集合G_t;

(3)求出不同项目中每个集合G_t在各个视觉近似关键帧中的TFIDF值,即在此支持度下各个项目在视觉近似关键帧中的分布权重,TFIDF的计算方法如公式2所示：

${\mathrm{NT}}_j^i=\frac{F(i,j)}{\mathrm{\ΣN}\left(j\right)}\×\log \frac{N}{D\left(G_i\right)}---\left(2\right)$

其中，F(i,j)指G_i在NDK_j中出现的频率;ΣN(j)指NDK_j中出现的所有的单词集的频率;D(G_i)指包含G_i的视觉近似关键帧的数目;N指视觉近似关键帧的总数;建立文本和视觉信息间的对应关系矩阵;

视频和文本信息融合分类：将所述文本和视觉信息间的对应关系矩阵输入分类器,计算视觉近似关键帧与每个类的相似度，以F1值为评判标准，不断调整步骤(2)中的支持度并最终找到使关联效果评价因子F1值最大的项目的长度和支持度，并将该F1值条件下对应的视觉近似关键帧所包含的视频归入到与它相似度最高的类，从而完成网络视频事件的分类处理。

采用本发明的方法，基于动态关联规则的网络视频事件挖掘框架通过动态关联规则挖掘文本信息间的语义关系，统计文本信息在视觉相关信息中的分布特征，建立起文本与视觉信息间的桥梁，最终通过文本和视频信息的融合进行网络视频事件挖掘。概括地讲，对于动态关联规则挖掘所采用技术的各步骤以及要达到的效果体现在：

(1)根据单词间的语义关系，将所有单词组成不同“组合”，并将这些“组合”按其所包含的单词数目由小到大排序。

(2)通过调整单词间语义相关性的设置增加或舍弃部分语义关系较弱的单词，利用传递闭包算法将语义相关的“组合”进行合并得到新的“单词集”。

(3)通过计算不同“单词集”在所有视觉近似关键帧中的权重分布情况，建立文本和视觉信息间的桥梁。

(4)首先，根据上述方法建立文本和视觉信息间的对应关系矩阵，将此作为分类器的输入数据。然后，通过分类器计算视觉近似关键帧与每个类的相似度，并将视觉近似关键帧包含的视频归入到与它相似度最高的类中。最后，通过评价机制不断调整第(2)步中的单词间语义关系的要求，找到最佳的单词语义关系组合。

采用本发明基于动态关联规则的网络视频事件挖掘框架，通过在基于关联规则的网络视频事件挖掘框架中引入动态关联规则，可以更准确的将语义相关的单词聚集在一起；同时更具有鲁棒性，即使用户提供多语言，同义词和多义词的情况也可以找到此语义信息所对应的视觉信息，充分利用了文本信息的语义信息的鲁棒性，减少了网络视频文本信息由于信息量少和噪声多等特点对视觉信息产生的影响，从而更好的适应于充满噪声的网络视频事件挖掘。

附图说明如下：

图1是现有技术的网络视频事件挖掘框架。

图2是本发明基于动态关联规则的网络视频事件挖掘框架。

图3动态选择最佳支持度示意图。

图4发明方法与现有方法效果对比示意图。

图5是本发明实施例关联规则挖掘描述表。

图6是本发明实施例分类器输入数据描述表。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步的详细说明。

图1所示是现有技术的网络视频事件挖掘框架，包括三个部分：视频部分、文本部分以及通过视频和文本信息融合进行事件挖掘。视频部分，相似关键帧检测采用标准相似关键帧检测方法，并提取视觉特征，如图1视频部分所示；文本部分，通常针对独立的单词提取特征或采用标准的关联规则方法提取特征如图1文本部分所示；视频和文本信息融合部分，通过文本和视频信息的融合弥补各自的缺陷实现更好的事件分类的目的。

这种网络视频事件挖掘框架，在文本和视觉特征融合过程中，充分利用了文本的语义信息和视频的内容信息间的关系，有效提高了事件挖掘的有效性。但是另一方面，由于语义信息的使用，使得文本信息中的噪声很容易扩散到视觉信息甚至起到误导的作用，从而降低事件挖掘的效果。例如对于单词dead和death是同义词，由于不同的用户表达习惯不同，故同一视频内容可能会用不同的词来表达。一方面，如果只提取单个单词的特征，dead和death这两个单词的特征分布会不同，甚至会与视觉特征的分布产生较大的差异，从而导致内容相关的视频被错误的分到不同的类中去。另一方面，如果按照标准的关联规则方法求单词间的语义关系，由于不同的单词间的语义相关度不同，支持度过高会丢失很多有用信息，而支持度过低又会引入过多噪声，难以把握。

图2是本发明基于动态关联规则的网络视频事件挖掘框架，包括三个部分：视频部分、文本部分以及通过视频和文本信息融合进行事件挖掘。视频部分，相似关键帧检测采用标准相似关键帧检测方法，并提取视觉特征，如图2视频部分所示，可以将内容相关的视频聚在一起；文本部分，引入动态关联规则将语义相关的文本信息聚在一起，在文本语义关系中引入动态关联规则可以降低支持度的选择、噪声、同义词和多语言等问题对特征分布的影响，提供了一种鲁棒性更强的语义关联规则，从而提供了稳定的文本和视觉信息间的分布关系，提高了事件挖掘的效果，如图2文本部分所示。视频和文本信息融合部分，通过统计语义相关的文本信息在视觉信息中的分布情况，利用分类器计算视觉近似关键帧与事件的相似度。

例如对于单词dead和death是同义词，由于表达习惯，一部分人用dead来表达某事件中主人公的死亡，而另一部分人则用death来描述。由于这两个单词都与主人公的名字或地点有关，从而它们间有很强的语义关系。另外，由于语义相关的单词越多最小支持度就会越小，如果能够根据事件分类效果动态调整每一类语义相关的单词间的最小支持度，从而不仅将尽量多的相关单词聚集在一起增加语义信息的鲁棒性，同时尽量少的将相关性较弱的单词做为噪声去除，达到了阻止文本噪声传播和稳定文本信息在视觉近似关键帧中的分布特征的目的。

图3是本发明提出的动态选择最佳支持度示意图。由于每个单词出现的频率不同，即使在相同关联规则的条件下，不同的支持度对语义关系的挖掘也会产生不同的影响，对于不同长度项目的影响会更大，因此，对于支持度设定统一的阈值并不合适。

为了使得支持度的选择能够在不同长度的项目中都起到最好的效果，支持度的值被分为10段（0.1～1.0），如图3所示。然后，支持度的值由小到大排序。在每次迭代中，对于相同的训练集分别采用不同的支持度，经分类器训练后，用相同的测试数据进行测试，并用标准的评价机制对分类效果进行评估。例如，图3中支持度选择0.9时F1取得最好效果，则0.9为该长度下的最佳的支持度。

图4发明方法与现有方法效果对比示意图。为了证明发明方法的效果，将现有框架中IEEE Multimedia2011的一篇文章Mining eventstructures from web videos中的方法作为对比实验。实验数据：14个话题，其中包含10,716个视频、35,555个视觉近似关键帧和41,814个单词。采用F1结果作为事件分类效果的评价标准。由图可见在14个话题中，发明方法比现有方法事件挖掘效果均有大幅度提高。由此可证明利用文本间语义信息与视觉信息结合可有效降低噪声和信息量少等因素对网络视频事件挖掘的影响。

图5是动态关联规则的一个例子。例如存在项目集T=<T₁,T₂,T₃…T_K>其中T_i指项目集中第i个单词。首先，根据相关单词的个数分成N个项目如图5所示，然后，根据不同的支持度在不同项目中会得到k种不同组合，其中，由于项目的长度和支持度不同组合数量也会相应不同，最后根据图3中的动态关联规则调整方法对每个项目得到不同的支持度。

图6是分类器的输入样式。其中，G_i代表单词经动态关联规则和传递闭包挖掘后得到的单词集。NDK₁代表视觉近似关键帧。NT₁ ¹代表单词集G₁在视频近似关键帧NDK₁中的TFIDF值。Class代表视觉近似关键帧实际上是属于哪一类的。

实施例

本网络视频事件挖掘框架适用于文本信息量少，且噪声较多的用户上传的网络视频。现以网上下载的m个视频为例，记为V=<V₁,V₂,V₃…V_m>，其中共包含w个单词T=<T₁,T₂,T₃…T_w>。

数据预处理。为了减少噪声对文本和视觉部分的影响，数据预处理是必不可少的步骤。视频信息，提取视觉近似关键帧。对于视频数据集，为了确保视频间相似关键帧检测的准确性，首先，采用SIFT特征中的Harris-Laplace方法进行局部特征点提取。其次，通过公用工具进行相似关键帧的检测，得到相似关键帧集。最后，利用相似关键帧集间的相关性信息，通过传递闭包进一步聚类，形成“相似关键帧集”。由于“相似关键帧集”具有识别相似事件的独特特点，因此，所有“相似关键帧集”都被认为是有效信息;文本信息，从视频的标题和标签中提取的单词作为文本信息。由于用户提供的文本信息比较嘈杂。首先，去除无效的特殊字符（如＃,?,-）。然后，通过词干提取对文本信息进行净化，并进行中文分词等处理。

动态关联规则挖掘

(1)根据相关单词的个数分成N个项目，其中N指项目中所包含的单词数目，如图5所示，此处N=10。

(2)首先，根据初始设置的支持度挖掘单词间相关性如图5所示，假设每个项目中最多有K种组合。支持度的计算方法如公式1所示：

支持度 $(T_i,T_j)=\frac{|T_i\&cap;T_j|}{\mathrm{Min}(T_i,T_j)}---\left(1\right)$

其中，T_i和T_j代表两个单词，|T_i∩T_j|指这两个单词共同出现的视频数，Min(T_i,T_j)指两个单词出现的最少视频数。这样可以减少单词频率造成的影响，即使高频词与低频词的关系比较紧密也可以将低频词包含进来而不至于丢失部分有用信息。

然后，利用传递闭包算法查找通过关联规则得到的数据集间的相关性，最后得到更大的集合G_t。

(3)求出不同项目中每个集合G_t在各个视觉近似关键帧中的TFIDF值。即在此支持度下各个项目在视觉近似关键帧中的分布权重。TFIDF的计算方法如公式2所示：

${\mathrm{NT}}_j^i=\frac{F(i,j)}{\mathrm{\&Sigma;N}\left(j\right)}\&times;\log \frac{N}{D\left(G_i\right)}---\left(2\right)$

其中，F(i,j)指G_i在NDK_j中出现的频率。ΣN(j)指NDK_j中出现的所有的单词集的频率。D(G_i)指包含G_i的视觉近似关键帧的数目。N指视觉近似关键帧的总数。此处，TFIDF值利用了文本信息在视觉信息中的分布特征，可以建立了语义信息和视觉内容信息间的关系。

(4)首先，根据上述方法建立文本和视觉信息间的对应关系矩阵如图6所示，将此做为分类器的输入数据。然后，根据分类器中得到的视觉近似关键帧与每个类的相似度，将视觉近似关键帧包含的视频归入到与它相似度最高的类。最后以F1值为评判标准，不断调整第2步中的支持度并最终找到使F1值最大的项目的长度和支持度。

精确度、覆盖率和F1的计算方法如公式：3、4和5所示。

其中，｜B_i ⁺｜指在得到的类A_i中正确的视频个数，B_i分别指真实的分类中A_i这个事件所包含的视频数。

由于F1同时考虑了精确度和覆盖率的影响更有具有代表性也是标准的评价标准，因此采用F1的值来对事件分类效果进行评价。

例如，在图3中，在支持度选择0.9时F1取得最好效果，则0.9作为该长度下的最佳支持度。

Claims (1)

1.基于动态关联规则的网络视频事件挖掘框架，对网络视频文本和视觉信息的融合进行事件挖掘;分别处理视频信息和文本信息;

视频数据预处理，首先，采用SIFT特征中的Harris-Laplace方法进行局部特征点提取;其次,通过公用工具进行相似关键帧的检测，得到相似关键帧集;最后,利用相似关键帧集间的相关性信息，通过传递闭包进一步聚类，形成“相似关键帧集”;

文本信息预处理，从视频的标题和标签中提取的单词作为文本信息，去除无效的特殊字符，再通过词干提取对文本信息进行净化后，按如下步骤进行动态关联规则挖掘；

(1)根据相关单词的个数分成N个项目，其中N指项目中所包含的单词数目;将所有单词组成不同“组合”，并将这些“组合”按其所包含的单词数目由小到大排序；

(2)根据初始设置的支持度挖掘单词间相关性,假设每个项目中最多有K种组合；支持度的计算方法如公式1所示：

支持度 $(T_i,T_j)=\frac{|T_i\&cap;T_j|}{\mathrm{Min}(T_i,T_j)}---\left(1\right)$

其中，T_i和T_j代表两个单词，|T_i∩T_j|指这两个单词共同出现的视频数，Min(T_i,T_j)指两个单词出现的最少视频数;

然后，利用传递闭包算法查找通过关联规则得到的数据集间的相关性，最后得到更大的集合G_t;

(3)求出不同项目中每个集合G_t在各个视觉近似关键帧中的TFIDF值,即在此支持度下各个项目在视觉近似关键帧中的分布权重,TFIDF的计算方法如公式2所示：

${\mathrm{NT}}_j^i=\frac{F(i,j)}{\mathrm{\&Sigma;N}\left(j\right)}\&times;\log \frac{N}{D\left(G_i\right)}---\left(2\right)$

其中，F(i,j)指G_i在NDK_j中出现的频率;ΣN(j)指NDK_j中出现的所有的单词集的频率;D(G_i)指包含G_i的视觉近似关键帧的数目;N指视觉近似关键帧的总数;建立文本和视觉信息间的对应关系矩阵;

视频和文本信息融合分类：将所述文本和视觉信息间的对应关系矩阵输入分类器,计算视觉近似关键帧与每个类的相似度，以F1值为评判标准，不断调整步骤(2)中的支持度并最终找到使关联效果评价因子F1值最大的项目的长度和支持度，并将该F1值条件下对应的视觉近似关键帧所包含的视频归入到与它相似度最高的类，从而完成网络视频事件的分类处理。

Images