CN103294811A - 考虑特征可靠性的视频分类器构造方法 - Google Patents

Abstract

本发明提供了一种考虑视频特征可靠性的视频分类器构造方法，包括：提取视频样本集中每个视频样本的视频特征，以得到视频特征集；对每个视频样本赋予标签，以表示该视频样本属于第一类别或第二类别；针对每个视频样本进行可靠性评估，以得到视频样本的可靠因子；以及基于视频特征集、每个视频样本的标签以及每个视频样本的可靠因子，利用加权的支持向量机算法得到视频分类器。本发明可以应用在互联网有害视频过滤与视频监管等业务中，以维护互联网的内容安全。

Description

考虑特征可靠性的视频分类器构造方法

技术领域

本发明涉及计算机应用技术领域，特别涉及一种考虑特征可靠性的视频分类器构造方法。

背景技术

随着互联网技术的飞速发展，各类多媒体应用不断涌现，数字图书馆、远程教育、视频点播、数字视频广播、交互式电视等都产生和使用了大量的多媒体数据。即使足不出户，人们也可以通过互联网学习知识，查阅信息，以及享受各种各样的娱乐活动。然而，除了对人们工作学习和生活等有用的信息之外，由于互联网的开放性，也使许多有害信息通过网络得到传播。互联网上的有害信息对社会造成了严重的影响，尤其是对未成年人的不良影响更是屡见于报端。互联网不良信息对人类社会造成的危害日益引起了世界的广泛关注。

最近几年，视频网站正在大量兴起。2006年国外最大的视频网站“Youtube”被google以16.5亿美元收购，这一年被称为网络视频元年。与此同时，国内也出现了大量的视频网站，如优酷网、土豆网、酷6网、56.com等。国内知名的门户网站和搜索引擎也相继推出了自己的视频网站。网络视频数量成井喷式增长，越来越多的人热衷于上传视频到网上，与更多的人分享。同时，更多的人乐于搜索自己感兴趣的视频来欣赏。然而，网络上充斥着各类不健康的视频，尤其是其中数量巨大的暴力、恐怖以及色情类视频对于儿童的发展是有比较大的危害，需要对这些视频进行有效地识别，根据识别结果来对其进行有效地管控。

对于网络有害视频的识别，现有的技术主要可以分为两类：(1)基于单模态特征的识别方法。这类方法主要是提取视频的视觉特征，根据这些特征来构造分类器。例如在暴力视频识别上，常见的特征有视频运动矢量、颜色、纹理以及形状等。(2)基于多模态特征融合的识别方法，这类方法主要是提取视频的多个模态的特征，将其融合以构造分类器。例如在暴力视频识别上，除了视频特征外，很多方法还提取音频特征，包括短时能量，突发声音等。有些方法还考虑网络视频周围的文本，从这些文本里面继续提取一些特征用于融合识别。大量研究与实践表明基于多模态特征融合的识别方法要优于基于单模态特征的识别方法。但是网络视频数据通常比较复杂，从文本、视觉以及音频这三个模态来看，有些视频周围的文本很丰富，而有的很少；有的视频的视觉质量很高，而有的很低；有的视频的音频信号非常清晰，有的则噪声很大。从质量不好的模态提取的特征由于可靠性不高而通常无法真实地反映视频的特性。目前的基于多模态特征融合的识别方法均没有考虑特征可靠性这一问题，导致无法实现准确可靠的视频识别和分类。

发明内容

有鉴于此，本发明的主要目的是提供一种考虑特征可靠性的视频分类器构造方法。

为达到上述目的，根据本发明的一个方面提供了一种考虑视频特征可靠性的视频分类器构造方法，包括：提取视频样本集中每个视频样本的视频特征，以得到视频特征集；对每个视频样本赋予标签，以表示该视频样本属于第一类别或第二类别；针对每个视频样本进行可靠性评估，以得到视频样本的可靠因子；以及基于视频特征集、每个视频样本的标签以及每个视频样本的可靠因子，利用加权的支持向量机算法得到视频分类器。

可选地，每个视频样本包括视频以及该视频周围的文本。

可选地，视频特征包括视觉特征、音频特征和文本特征。

可选地，针对每个视频样本进行可靠性评估包括对每个样本的视觉信息、音频信息和文本信息分别进行可靠性评估。

可选地，可靠因子包括：视觉特征可靠因子，通过对视觉信息进行可靠性评估以得到所述视觉特征可靠因子；音频特征可靠因子，通过对音频信息进行可靠性评估以得到所述音频特征可靠因子；以及文本特征可靠因子，通过对文本信息进行可靠性评估以得到所述文本特征可靠因子。

可选地，第一类别是有害视频，第二类别是正常视频。

可选地，对每个视频样本的视觉信息进行可靠性评估包括：利用无参考视频客观质量评估方法对每个视频样本的视觉信息进行评估，得到一个评估值；确定所有视频样本的视觉信息的最大评估值；以及将每个视频样本的视觉信息的评估值除以所述最大评估值，以得到每个视频样本的视觉特征可靠因子。

可选地，无参考视频客观质量评估方法包括基于指标峰值信噪比的方法或基于块效应的测量算法。

可选地，对每个视频样本的音频信息进行可靠性评估包括：利用音频客观质量评估方法对每个视频样本的音频信息进行评估，得到一个评估值；确定所有视频样本的音频信息的最大评估值；以及将每个视频样本的音频信息的评估值除以所述最大评估值，以得到每个视频样本的音频特征可靠因子。

可选地，音频客观质量评估方法包括：巴克谱失真测度、归一化块测度、或感知分析测度。

可选地，对每个视频样本的文本信息进行可靠性评估包括：统计文本的总字数L₁以及句子的平均字数L₂；以及通过下式计算文本特征可靠因子r_t：

r_t＝0.5*min(1，L₁/200)+0.5*min(1，L₂/20)。

可选地，基于视频特征集、每个视频样本的标签以及每个视频样本的可靠因子，利用加权的支持向量机算法得到视频分类器包括：将视频特征集表示为X＝{(x_v1，x_a1，x_t1)，...，(x_vi，x_ai，x_ti)，...，(x_vN，x_aN，x_tN)}，其中x_vi为第i个视频样本的视觉特征，x_ai为第i个视频样本的音频特征，x_ti为第i个视频样本的文本特征，N表示视频样本总数；第i个视频样本的标签用y_i表示，当第i个视频样本为第一类别时，y_i＝1，当第i个视频样本为第二类别时，y_i＝-1；r_vi表示第i个视频样本的视觉特征可靠因子，r_ai表示第i个视频样本的音频特征可靠因子，r_ti表示第i个视频样本的文本特征可靠因子；用s_i表示r_vi+r_ai+r_ti，通过对下式进行求解得到视频分类器的参数：

$\underset{w_v,w_a,w_t,b_v,b_a,b_t,{\mathrm{\ξ}}_i}{\min }\frac{1}{2}\left(\right|\left|w_v\right||+|\left|w_a\right||+|\left|w_t\right|\left|\right)+C\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i$

$s.t.\∀i:y_i[\frac{r_{\mathrm{vi}}}{s_i}({w_v}^T{x}_{\mathrm{vi}}+b_v)+\frac{r_{\mathrm{ai}}}{s_i}({w_a}^T{x}_{\mathrm{ai}}+b_a)+\frac{r_{\mathrm{ti}}}{s_i}({w_t}^T{x}_{\mathrm{ti}}+b_t)]\≥1-{\mathrm{\ξ}}_i$

ξ_i＞0，

其中w_v，w_a，w_t，b_v，b_a，b_t为视频分类器参数，，ξ_i为松弛因子，C为平衡因子，在求解过程中通过交叉验证的方法来对C进行选取。

可选地，根据本发明实施例的方法还包括：从待分类视频提取视觉特征、音频特征以及文本特征并得到相应的视觉特征可靠因子、音频特征可靠因子和文本特征可靠因子；以及根据视频分类器参数w_v，w_a，w_t，b_v，b_a，b_t计算

s＝r_v+r_a+r_t

$y=\frac{r_v}{s}({w_v}^T{x}_v+b_v)+\frac{r_a}{s}({w_a}^T{x}_a+b_a)+\frac{r_t}{s}({w_t}^T{x}_t+b_t)$

其中x_v表示待分类视频的视觉特征，x_a表示待分类视频的音频特征，x_t表示待分类视频的文本特征，r_v表示待分类视频的视频特征可靠因子，r_a表示待分类视频的音频特征可靠因子，r_t表示待分类视频的文本特征可靠因子，如果y＞0，那么该网络视频样本判定为第一类别，否则判定为第二类别。

从上述技术方案可以看出，本发明具有以下优点：

1、本发明提供的一种考虑特征可靠性的视频分类器构造方法，可以准确可靠地对视频分类，例如识别网络上的有害视频。本发明能够根据网络视频样本的自身特点来分析所提取特征的可靠性，并在构造网络有害视频分类器的过程中融入这些可靠性因素。网络视频样本比较复杂，从文本、视觉以及音频这三个模态来看，有些视频周围的文本很丰富，而有的很少；有的视频的视觉质量很高，而有的很低，有很大的噪声；有的视频的音频信号非常清晰，有的则失真非常严重。这些因素显然影响着所提取的特征的可靠性。目前所有的基于多模态特征融合的网络有害视频分类器构造方法均没有考虑这些实际因素。而本发明通过各个模态信息自身的特点来计算各个模态对应特征的可靠性，所构造出的分类器相比于现有方法所构造出的分类器，更加符合网络视频的特点。

2、本发明的所提出的加权的支持向量机算法能够将网络视频样本对应的三个特征可靠因子有效地融入进去，使得训练出来的分类器能够在识别网络视频样本时，根据样本的三个特征可靠因子进行自适应的信息融合，更具合理性。

附图说明

图1示出了根据本发明实施例的考虑特征可靠性的视频分类器构造方法的流程图；以及

图2示出了根据本发明实施例的视频分类方法的工作过程。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明的执行环境采用一台具有3.0G赫兹中央处理器和2G字节内存的奔腾4计算机并用C++语言编制了网络有害视频分类器构造程序，实现了本发明的考虑特征可靠性的视频分类器构造方法。还可以采用其他计算机环境实现本发明，在此不再赘述。

图1为本发明提供的一种考虑特征可靠性的视频分类器构造方法的流程图，其步骤如下：

在步骤101，提取视频样本集中每个视频样本的视频特征，以得到视频特征集。可选地，每个视频样本包括视频以及该视频周围的文本。可以利用计算机收集网络视频以及每个网络视频周围的文本以构成网络视频样本集。也可以通过其他方式提供该视频样本集。

根据本发明的实施例，视频特征可以包括视觉特征、音频特征和文本特征。关于具体选取哪些特征，主要依据视频的具体类别来定。下面以暴力视频为例来说明提取哪些特征。在视觉特征提取上，主要提取能体现暴力内容的特征，例如运动矢量、颜色、纹理、形状等。在音频特征提取上，主要提取和暴力相关的音频特征，例如短时能量，过零率，基音周期等。在文本特征提取上，主要利用常规的文本特征提取算法，如文档频率，信息增益以及互信息等方法来提取。

在步骤102，对每个视频样本赋予与其类别相对应的标签，以表示该视频样本属于第一类别或第二类别。例如，第一类别可以是有害(例如包含暴力内容)类别，第二类别可以是正常类别。根据本发明的实施例，可以人工识别视频是否有害，然后相应地对视频样本赋予标签。备选地，也可以利用已有的有害视频样本集和正常视频样本集，并以批处理方式对其赋予标签。

在步骤103，针对每个视频样本进行可靠性评估，以得到视频样本的可靠因子。所述可靠因子可以表示当视频特征用于对视频分类时的可靠程度。根据本发明的实施例，可靠因子包括：视觉特征可靠因子，通过对视觉信息进行可靠性评估以得到所述视觉特征可靠因子；音频特征可靠因子，通过对音频信息进行可靠性评估以得到所述音频特征可靠因子；以及文本特征可靠因子，通过对文本信息进行可靠性评估以得到所述文本特征可靠因子。

在步骤104，基于视频特征集、每个视频样本的标签以及每个视频样本的可靠因子，利用加权的支持向量机算法得到视频分类器。

可选地，该方法还可以包括：从待分类视频提取视觉特征、音频特征以及文本特征并得到相应的视觉特征可靠因子、音频特征可靠因子和文本特征可靠因子；以及利用视频分类器对待分类视频分类为第一类别或第二类别。

应当注意，以上对各步骤的编号仅为说明目的，而并不限定各步骤的执行顺序。在不脱离本发明精神和范围的情况下，可以改变步骤的执行顺序和/或将单个步骤拆分为多个步骤、将多个步骤组合为单个步骤、或将某个步骤的一部分与其他步骤或其他步骤的一部分组合为单个步骤来执行。本发明明确考虑这些情况并将其包含在本发明的范围内。

根据本发明的实施例，可选地，在步骤103，对每个视频样本的视觉信息进行可靠性评估包括：利用无参考视频客观质量评估方法对每个视频样本的视觉信息进行评估，得到一个评估值；确定所有视频样本的视觉信息的最大评估值；以及将每个视频样本的视觉信息的评估值除以所述最大评估值，以得到每个视频样本的视觉特征可靠因子，其中，所述视觉特征可靠因子的值介于0和1之间，值越大表示视觉特征的可靠性越高。

可选地，无参考视频客观质量评估方法包括基于指标峰值信噪比的方法或基于块效应的测量算法。

可选地，对每个视频样本的音频信息进行可靠性评估包括：利用音频客观质量评估方法对每个视频样本的音频信息进行评估，得到一个评估值；确定所有视频样本的音频信息的最大评估值；以及将每个视频样本的音频信息的评估值除以所述最大评估值，以得到每个视频样本的音频特征可靠因子，其中，所述音频特征可靠因子的值介于0和1之间，值越大表示音频特征的可靠性越高。

可选地，音频客观质量评估方法包括：巴克谱失真测度、归一化块测度、或感知分析测度。

可选地，对每个视频样本的文本信息进行可靠性评估包括：统计文本的总字数L₁以及句子的平均字数L₂；以及通过下式计算文本特征可靠因子r_t＝0.5*min(1，L₁/200)+0.5*min(1，L₂/20)，其中该可靠因子的值介于0和1之间，值越大表明文本特征的可靠性越高。

根据本发明的实施例，可选地，在步骤104，基于视频特征集、每个视频样本的标签以及每个视频样本的可靠因子，利用加权的支持向量机算法得到视频分类器包括：将视频特征集表示为X＝{(x_v1，x_a1，x_t1)，...，(x_vi，x_ai，x_ti)，...，(x_vN，x_aN，x_tN)}，其中x_vi为第i个视频样本的视觉特征，x_ai为第i个视频样本的音频特征，x_ti为第i个视频样本的文本特征，N表示视频样本总数；第i个视频样本的标签用y_i表示，当第i个视频样本为第一类别时，y_i＝1，当第i个视频样本为第二类别时，y_i＝-1；r_vi表示第i个视频样本的视频特征可靠因子，r_ai表示第i个视频样本的音频特征可靠因子，r_ti表示第i个视频样本的文本特征可靠因子；用s_i表示r_vi+r_ai+r_ti，通过对下式进行求解得到视频分类器的参数：

$\underset{w_v,w_a,w_t,b_v,b_a,b_t,{\mathrm{\ξ}}_i}{\min }\frac{1}{2}\left(\right|\left|w_v\right||+|\left|w_a\right||+|\left|w_t\right|\left|\right)+C\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i$

$s.t.\∀i:y_i[\frac{r_{\mathrm{vi}}}{s_i}({w_v}^T{x}_{\mathrm{vi}}+b_v)+\frac{r_{\mathrm{ai}}}{s_i}({w_a}^T{x}_{\mathrm{ai}}+b_a)+\frac{r_{\mathrm{ti}}}{s_i}({w_t}^T{x}_{\mathrm{ti}}+b_t)]\≥1-{\mathrm{\ξ}}_i$

ξ_i＞0，

其中w_v，w_a，w_t，b_v，b_a，b_t为视频分类器参数，ξ_i为松弛因子，C为平衡因子，在求解过程中可以通过交叉验证的方法来对C进行选取。

根据本发明的实施例，可选地，利用与上述从视频样本提取视觉特征、音频特征以及文本特征并得到相应的视觉特征可靠因子、音频特征可靠因子和文本特征可靠因子类似的方法，从待分类视频提取视觉特征、音频特征以及文本特征并得到相应的视觉特征可靠因子、音频特征可靠因子和文本特征可靠因子，其具体过程在此不再赘述。

根据本发明的实施例，可选地，利用视频分类器对待分类视频进行分类包括：根据以上计算的视频分类器参数w_v，w_a，w_t，b_v，b_a，b_t计算

s＝r_v+r_a+r_t

$y=\frac{r_v}{s}({w_v}^T{x}_v+b_v)+\frac{r_a}{s}({w_a}^T{x}_a+b_a)+\frac{r_t}{s}({w_t}^T{x}_t+b_t)$

其中x_v表示待分类视频的视觉特征，x_a表示待分类视频的音频特征，x_t表示待分类视频的文本特征，r_v表示待分类视频的视频特征可靠因子，r_a表示待分类视频的音频特征可靠因子，r_t表示待分类视频的文本特征可靠因子，如果y＞0，那么该网络视频样本判定为第一类别，否则判定为第二类别。

当将根据本发明的实施例应用于对网络有害视频的识别时，可以收集网络视频以及每个网络视频周围的文本构成上述视频样本集，并且上述第一类别是有害视频，第二类别是正常视频。

图2示出了根据本发明实施例的视频分类方法的工作过程。如图2所示，视频样本集201包括N个视频样本。根据本发明的实施例，每个视频样本可以包括视频和视频周围的文本。当应用于网络有害视频识别时，视频样本集可以是从网络上收集的。从每个视频样本i(i＝1，2，……N)提取视频特征以得到视频特征集202。根据本发明的实施例，视频特征可以包括视觉特征x_vi、音频特征x_ai和文本特征x_ti，

对每个视频样本赋予与其类别相对应的标签203，以表示其属于第一类别或第二类别。例如，可以人工识别视频是否有害，然后逐一对视频样本赋予标签。备选地，也可以利用已有的有害视频样本集和正常视频样本集，并以批处理方式对其赋予标签。

针对每个视频样本i，按照上文所述的方式，计算可靠因子204。对视觉信息进行与视觉质量有关的可靠性评估以得到视觉特征可靠因子r_vi，对音频信息进行与音频质量有关的可靠性评估以得到音频特征可靠因子r_ai，对文本信息进行与文本的总字数和句子的平均字数有关的可靠性评估以得到文本特征可靠因子r_ti。

基于视频特征集202、每个视频样本的标签203以及每个视频样本的视频特征可靠因子204，利用加权的支持向量机算法205得到视频分类器206。

对于待分类视频，按照与从每个视频样本提取视频特征和计算可靠因子相同的方式，计算该待分类视频的视频特征(x_v，x_a，x_t)和可靠因子(r_v，r_a，r_t)，利用视频分类器206对其进行分类。

尽管以上针对网络视频分类说明了本发明，但是本发明并不仅限于应用于网络视频，而是可以应用于各种包含视觉、音频和文本信息的视频分类。本发明也不仅限于有害视频的识别，而是可以应用于识别各种包含特定特征的视频。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (13)

1.一种考虑视频特征可靠性的视频分类器构造方法，包括：

提取视频样本集中每个视频样本的视频特征，以得到视频特征集；

对每个视频样本赋予标签，以表示该视频样本属于第一类别或第二类别；

针对每个视频样本进行可靠性评估，以得到视频样本的可靠因子；以及

基于视频特征集、每个视频样本的标签以及每个视频样本的可靠因子，利用加权的支持向量机算法得到视频分类器。

2.根据权利要求1所述的方法，其中每个视频样本包括视频以及该视频周围的文本。

3.根据权利要求2所述的方法，其中视频特征包括视觉特征、音频特征和文本特征。

4.根据权利要求3所述的方法，其中针对每个视频样本进行可靠性评估包括对每个样本的视觉信息、音频信息和文本信息分别进行可靠性评估。

5.根据权利要求4所述的方法，其中可靠因子包括：

视觉特征可靠因子，通过对视觉信息进行可靠性评估以得到所述视觉特征可靠因子；

音频特征可靠因子，通过对音频信息进行可靠性评估以得到所述音频特征可靠因子；以及

文本特征可靠因子，通过对文本信息进行可靠性评估以得到所述文本特征可靠因子。

6.根据权利要求1所述的方法，其中第一类别是有害视频，第二类别是正常视频。

7.根据权利要求5所述的方法，其中对每个视频样本的视觉信息进行可靠性评估包括：

利用无参考视频客观质量评估方法对每个视频样本的视觉信息进行评估，得到一个评估值；

确定所有视频样本的视觉信息的最大评估值；以及

将每个视频样本的视觉信息的评估值除以所述最大评估值，以得到每个视频样本的视觉特征可靠因子。

8.根据权利要求7所述的方法，其中无参考视频客观质量评估方法包括基于指标峰值信噪比的方法或基于块效应的测量算法。

9.根据权利要求5所述的方法，其中对每个视频样本的音频信息进行可靠性评估包括：

利用音频客观质量评估方法对每个视频样本的音频信息进行评估，得到一个评估值；

确定所有视频样本的音频信息的最大评估值；以及

将每个视频样本的音频信息的评估值除以所述最大评估值，以得到每个视频样本的音频特征可靠因子。

10.根据权利要求9所述的方法，其中音频客观质量评估方法包括：巴克谱失真测度、归一化块测度、或感知分析测度。

11.根据权利要求5所述的方法，其中对每个视频样本的文本信息进行可靠性评估包括：

统计文本的总字数L₁以及句子的平均字数L₂；以及

通过下式计算文本特征可靠因子r_t：

r_t＝0.5*min(1，L₁/200)+0.5*min(1，L₂/20)。

12.根据权利要求5所述的方法，其中基于视频特征集、每个视频样本的标签以及每个视频样本的可靠因子，利用加权的支持向量机算法得到视频分类器包括：

将视频特征集表示为X＝{(x_v1，x_a1，x_t1)，...，(x_vi，x_ai，x_ti)，...，(x_vN，x_aN，x_tN)}，其中x_vi为第i个视频样本的视觉特征，x_ai为第i个视频样本的音频特征，x_ti为第i个视频样本的文本特征，N表示视频样本总数；

第i个视频样本的标签用y_i表示，当第i个视频样本为第一类别时，y_i＝1，当第i个视频样本为第二类别时，y_i＝-1；

r_vi表示第i个视频样本的视觉特征可靠因子，r_ai表示第i个视频样本的音频特征可靠因子，r_ti表示第i个视频样本的文本特征可靠因子；

用s_i表示r_vi+r_ai+r_ti，通过对下式进行求解得到视频分类器的参数：

$\underset{w_v,w_a,w_t,b_v,b_a,b_t,{\mathrm{\ξ}}_i}{\min }\frac{1}{2}\left(\right|\left|w_v\right||+|\left|w_a\right||+|\left|w_t\right|\left|\right)+C\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i$

$s.t.\∀i:y_i[\frac{r_{\mathrm{vi}}}{s_i}({w_v}^T{x}_{\mathrm{vi}}+b_v)+\frac{r_{\mathrm{ai}}}{s_i}({w_a}^T{x}_{\mathrm{ai}}+b_a)+\frac{r_{\mathrm{ti}}}{s_i}({w_t}^T{x}_{\mathrm{ti}}+b_t)]\≥1-{\mathrm{\ξ}}_i$

ξ_i＞0，

其中w_v，w_a，w_t，b_v，b_a，b_t为视频分类器参数，ξ_i为松弛因子，C为平衡因子，在求解过程中通过交叉验证的方法来对C进行选取。

13.根据权利要求12所述的方法，还包括：

从待分类视频提取视觉特征、音频特征以及文本特征并得到相应的视觉特征可靠因子、音频特征可靠因子和文本特征可靠因子；以及

根据视频分类器参数w_v，w_a，w_t，b_v，b_a，b_t计算

s＝r_v+r_a+r_t

$y=\frac{r_v}{s}({w_v}^T{x}_v+b_v)+\frac{r_a}{s}({w_a}^T{x}_a+b_a)+\frac{r_t}{s}({w_t}^T{x}_t+b_t)$

其中x_v表示待分类视频的视觉特征，x_a表示待分类视频的音频特征，x_t表示待分类视频的文本特征，r_v表示待分类视频的视频特征可靠因子，r_a表示待分类视频的音频特征可靠因子，r_t表示待分类视频的文本特征可靠因子，如果y＞0，那么该网络视频样本判定为第一类别，否则判定为第二类别。

Images