CN102542024B - 一种视频资源语义标签的标定方法 - Google Patents

Abstract

本发明公开了一种视频资源语义标签的标定方法，通过训练得到“标签-帧序列”样本集合，在这个样本集合的基础上，通过待标定视频资源关键帧序列提取，并与“标签-帧序列”中语义标签对应的帧序列进行相似度计算，然后再阀值判定，最终将语义标签集合K中合适的语义标签标定给待标定视频资源。本发明视频资源语义标签的标定方法克服了大量视频资源语义标签标定过程中人工操作的繁琐，并提高了标定的完备性及准确性，同时将语义标签限定到一个可控的范围中，即语义标签集合K中，另外，标定的语义标签可以根据对应的序列帧与待标定视频资源的相似度进行排序，因而可以实现列表化。

Description

一种视频资源语义标签的标定方法

技术领域

本发明属于多媒体处理技术领域，更为具体来讲，涉及一种应用于视频内容描述的视频资源语义标签的标定方法。

背景技术

网络应用的不断发展，各种各样的业务呈现出几何级数的增长。这其中视频类业务受到用户的广泛青睐，并积累了海量的视频资源。怎样准确、精炼的使用语义标签来描述这些视频资源的内容，在各种视频业务系统中都有较大价值及需求。基于这些语义标签，视频业务系统不仅可以更好的对视频资源进行整理分类，把视频资源有序的组织起来，还可以通过计算并向用户推荐其更感兴趣的视频资源，减少用户搜索的时间以及筛选的过程。当然，用户也可以自主的在海量资源中搜索筛选自己想要的。

互联网上一些共享视频网站，如优酷、土豆等为了获取更好的视频资源描述，允许用户为特定的视频资源提供描述性的标签，如短语、关键词等作为描述视频内容的语义标签，这些语义标签在海量视频资源的分类整理中发挥着重要的作用。但是，由于这些语义标签是用户主观自由标定的，没有任何可遵循的规则可言，也就不可避免的会遇到诸如：同义词、一词多义、同音异议词以及主观判定等问题，而且用户不太可能给出数量充足的语义标签，也即在完整性上无法保证。

当前，在这些视频网站中，用户标定的语义标签存在的问题归结为：1)不完备性，未能对视频资源进行充分描述；2)不准确性，语义标签的表达本身不准确，这些是由用户主观感受的不同而导致不准确；3)没有语义强度的相关性排序，语义标签列表杂乱无序。

近年来，针对上述问题已做出了一些尝试，大致的方法可以分为两类：标签的注解和标签的精炼。

1、注解法

注解法主要通过寻找已有语义标签的相关语义标签来完善视频资源的描述，进而解决视频资源描述的不完备性。

2、精炼法

精练法是通过剔除噪音语义标签或依据语义标签与视频资源的相关度来排序进而优化已有的语义标签，最终得到高质量的语义标签列表。

在语义标签的标定技术领域中，虽然已取得进展，但现有的标定方法仍存在着问题：1)没有同时考虑完备性，准确性，列表化；2)依赖于实际不符的一些假设，如标签注解法假定原始标签列表是准确的，精炼法假定原始标签列表是完备的。

在视频资源推荐技术领域，对于描述视频资源的语义标签还需要一定的规范性，即需要将语义标签限定在一定的可控范围之内，并满足语义标签数据的维度要求，以便于推荐计算。目前已有的研究进展主要集中在将语义资源更完备，更准确的描述出来，对于语义标签的规范性关注程度有待提高。

发明内容

本发明的目的在于克服现有技术的不足，提供一种视频资源语义标签的标定方法，使得对视频资源的描述更加完备、准确，并能对语义标签进行列表化，同时，还能将使用的语义标签限定在一个可控范围之内，更有利于作为视频推荐技术的基础。

为实现上述发明目的，本发明视频资源语义标签的标定方法，其特征在于，包括以下步骤：

(1)、采用传统语义标签标定方法对部分视频资源进行语义标签标定，得到标定的视频资源集{v_old}，剩余部分视频资源为待标定视频资源集{v_new}；其中，语义标签为能够有效表达用户兴趣度的关键词；

(2)、形成带语义细分的语义标签集合K

在视频资源集{v_old}中，首先根据语义标签在标定视频资源集{v_old}的描述过程中出现的频率，由高到低排序后，选取前n个的语义标签，构成语义标签集合K＝{tag₁，tag₂，tag₃......tag_n}，其中，tag₁，tag₂，tag₂，…，tag_n为依次排序的语义标签；

然后，经过语义相似度分析，将语义标签集合K细分为：

K＝{k₁，k₂，k₃......k_p}

其中：

…… $k_1=\{{\mathrm{tag}}_{k1\_1},{\mathrm{tag}}_{k1\_2},......,{\mathrm{tag}}_{k1\_l_1}\}$

$k_2=\{{\mathrm{tag}}_{k2\_1},{\mathrm{tag}}_{k2\_2},......,{\mathrm{tag}}_{k2\_l_2}\}$

$k_p=\{{\mathrm{tag}}_{\mathrm{kp}\_1},{\mathrm{tag}}_{\mathrm{kp}\_2},......,{\mathrm{tag}}_{\mathrm{kp}\_l_p}\}$

$\underset{i=1}{\overset{p}{\mathrm{\Σ}}}{l}_i=n;$

每个子集合k_i，i∈{1，2......p}中的语义标签具有相似的语义信息；

(3)、“标签-帧序列”样本训练

3.1)、以语义标签tag_h∈K，h＝1，2，…，n为依据，在标定的视频资源集{v_old}中收集cnt个具有较高代表性的视频资源{v_o-1，v_o-2......v_o-cnt}，每个视频资源提取出一个长度为m的关键帧序列KeyFS_j，组成一个长度为z＝m*cnt的帧序列KeyFS_init：

${\mathrm{FS}}_{\mathrm{init}}=\underset{j=1}{\overset{\mathrm{cnt}}{\mathrm{\Σ}}}{\mathrm{KeyFS}}_j=\{{\mathrm{FS}}_1,{\mathrm{FS}}_2......{\mathrm{FS}}_z\}$

3.2)、以两个关键帧之间的相似度距离值为基础，对帧序列FS_init进行聚类分析，得到若干组，并选取关键帧个数最多的一组作为语义标签tag_h的帧序列：

${\mathrm{FS}}_{{\mathrm{tag}}_h}=\{{\mathrm{FS}}_{{\mathrm{tag}}_h\_1},{\mathrm{FS}}_{t{\mathrm{ag}}_h\_2},......,{\mathrm{FS}}_{{\mathrm{tag}}_h\_\mathrm{fcnt}}\},$ fcnt为关键帧个数；

3.3)、由上得到一个“标签-帧序列”

重复步骤3.1)、3.2)得到语义标签集合K中每个语义标签对应的“标签-帧序列”构成的样本集合 $\{{\mathrm{tag}}_h-{\mathrm{FS}}_{{\mathrm{tag}}_h};h=\mathrm{1,2}......n\};$

(4)、在待标定视频资源集{v_new}中，选取一个待标定视频资源v_w，并提取关键帧序列KeyFS_w；

(5)、取语义标签tag_x，x＝1，2......n中对应的帧序列

计算帧序列

与关键帧序列KeyFS_w的相似度值，得到α_w-x，取值范围[0～1]；

(6)、判定语义标签tag_x是否标定给视频资源v_w：

6.1)、如果存在已标定给视频资源v_w的语义标签tag_y，且tag_y、tag_x∈k_i，tag_y对应的帧序列

帧序列

与关键帧序列KeyFS_w的相似度值为α_w-y，

则：

A.当 ${\mathrm{\α}}_{w-x}\≥{\mathrm{\α}}_{\mathrm{std}}+\frac{(1-{\mathrm{\α}}_{w-y})\×\cos ({\mathrm{\α}}_{w-y}\mathrm{\π}/2)}{2}$ 时，语义标签tag_x标定给视频资源v_w；

B.当 ${\mathrm{\&alpha;}}_{w-x}<{\mathrm{\&alpha;}}_{\mathrm{std}}+\frac{(1-{\mathrm{\&alpha;}}_{w-y})\&times;\cos ({\mathrm{\&alpha;}}_{w-y}\mathrm{\&pi;}/2)}{2}$ 时，语义标签tag_x不标定给资源v_w

6.2)、如果不存在已标定给资源v_w的tag_y∈k_i且tag_x∈k_i，则：

A.当α_w-x≥α_std时，语义标签tag_x标定给资源v_w

B.当α_w-x＜α_std时，语义标签tag_x不标定给资源v_w；

(7)、重复步骤(5)、(6)，遍历语义标签集合K中所有语义标签，判定其是否标定给视频资源v_w，最终形成视频资源v_w的语义标签{tag_{w_1}，tag_{w_2}……}；

(8)、重复步骤(4)～(7)，遍历待标定视频资源集{v_new}中的所有待标定视频资源并进行标定。

本发明的发明目的是这样实现的：

本发明视频资源语义标签的标定方法，通过训练得到“标签-帧序列”样本集合，在这个样本集合的基础上，通过待标定视频资源关键帧序列提取，并与“标签-帧序列”中语义标签对应的帧序列进行相似度计算，然后再阀值判定，最终将语义标签集合K中合适的语义标签标定给待标定视频资源。本发明视频资源语义标签的标定方法克服了大量视频资源语义标签标定过程中人工操作的繁琐，并提高了标定的完备性及准确性，同时将语义标签限定到一个可控的范围中，即语义标签集合K中，另外，标定的语义标签可以根据对应的序列帧与待标定视频资源的相似度进行排序，因而可以实现列表化。

附图说明

图1是本发明视频资源语义标签的标定方法一种具体实施方式流程图；

图2是图1所示的“标签-帧序列”样本训练一具体实施方式流程图；

图3是图1中帧序列相似度计算及阀值判定流程图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明视频资源语义标签的标定方法一种具体实施方式流程图；

在本实施例中，如图1所示，它包括两个主要功能模块，分别是“标签-帧序列”样本训练和帧序列相似度计算及阀值判定。

“标签-帧序列”样本训练，通过不断的训练和优化得到语义标签与帧序列的对应关系，其训练过程如图2所示，包括以下几个具体步骤：

步骤1：在已进行传统方法标定过的视频资源集{v_dd}中，收集并整理能够有效表达用户对视频资源的兴趣程度的语义标签集合，如{足球、西甲、英超、新闻、剧情、故事片、暴力、京剧}。

在本实施例中，标定的视频资源集{v_old}中有6个视频资源，用传统方法进行标定为：

v_o-1：{足球、西甲}

v_o-2：{足球、英超、新闻}

v_o-3：{西甲、新闻}

v_o-4：{剧情、故事片}

v_o-5：{京剧、新闻}

v_o-6：{剧情、暴力、故事片}

步骤2：统计语义标签出现频率如下：{足球(2)、西甲(2)、英超(1)、新闻(3)、剧情(2)、故事片(2)、暴力(1)、京剧(1)}。假设我们需要n＝5个语义标签，那么最终选定的前5个语义标签，构成语义标签集合K＝{足球、西甲、新闻、剧情、故事片}。

根据语义相似度分析，将该标签集合细分为：

K＝{k₁，k₂，k₃}

k₁＝{足球、西甲}

k₂＝{新闻}

k₃＝{剧情、故事片}

步骤3：3.1、语义标签tag_h选为“足球”，标定的视频资源集{v_dd}中收集cnt＝3具有较高代表性足球视频{v_o-1，v_o-2，v_o-3}，分别提取出关键帧序列，每个视频提取m＝5关键帧：

v_o-1：KeyFS₁＝{FS₁₁，FS₁₂，FS₁₃，FS₁₄，FS₁₅}

v_o-2：KeyFS₂＝{FS₂₁，FS₂₂，FS₂₃，FS₂₄，FS₂₅}

v_o-3：KeyFS₃＝{FS₃₁，FS₃₂，FS₃₃，FS₃₄，FS₃₅}

将三组关键帧序列融合，得到：

FS_init＝{FS₁₁，FS₁₂，FS₁₃，FS₁₄，FS₁₅，FS₂₁，FS₂₂，FS₂₃，FS₂₄，FS₂₅，FS₃₁，FS₃₂，FS₃₃，FS₃₄，FS₃₅}

3.2)、对帧序列FS_init进行基于相似度的关键帧聚类分析，聚类结果中有一类含有最多的fcnt＝6个帧，那么就以这6个帧组成一个帧序列：

FS_足球＝{FS_{足球_1}，FS_{足球_2}，FS_{足球_3}，FS_{足球_4}，FS_{足球_5}，FS_{足球_6}}

3.3)、由上得到一个标签-帧序列足球-FS_足球，分别选取“西甲”、“新闻”、“剧情”、“故事片”重复步骤本步骤，即可得到“标签-帧序列”样本集合：

{足球-FS_足球、西甲-FS_西甲、新闻-FS_新闻、剧情-FS_剧情、故事片-FS_故事片}

第二个重要部分是在“标签-帧序列”样本集的基础上进行帧序列相似度计算及阀值判定，以对待标定资源v_w进行语义标签标定，如图3所示，语义标签标定步骤如下：

步骤1：在本实施例中，选取的待标定资源v_w为一个西甲足球集锦视频，提取它的关键帧序列，在本实施例中提取3个关键帧：

KeyFS_w＝{FS_w1，FS_w2，FS_w3}

步骤2：计算KeyFS_w与{tag_i-FS_i；i＝1，2......n}中每个“标签-帧序列”对应的帧序列FS_i的相似度值，得到α_w-足球＝0.82，α_w-西甲＝0.75，α_w-新闻＝0.40，α_w-剧情＝0.07，α_w-故事片＝0.01。

步骤3：在本实施例中，相似度判定阀值α_std＝0.70。

A.判定是否将标签“足球”标定给待标定资源v_w：

因为不存在已标定语义标签和“足球”同属于K的某个子集，因此判定阀值直接取α_std＝0.70，由于α_w-足球＝0.82＞α_std＝0.70，因此“足球”标定给待标定资源v_w。

B.判定是否将语义标签“西甲”标定给待标定资源资源v_w：

因为存在已标定语义标签“足球”和待判定语义标签“西甲”同属于k₁，因此判定阀值变为：

${\mathrm{\&alpha;}}_{\mathrm{std}}^{\&prime;}={\mathrm{\&alpha;}}_{\mathrm{std}}+\frac{(1-{\mathrm{\&alpha;}}_{w-y})\&times;\cos ({\mathrm{\&alpha;}}_{w-y}\mathrm{\&pi;}/2)}{2}=0.70+\frac{(1-0.82)\&times;\cos (0.82*\mathrm{\&pi;}/2)}{2}=0.725,$ 由α_w-西甲＝0.75＞α′_std＝0.725，因此“西甲”标定给资源v_w。

按照上述方法，判定语义标签“新闻”、“剧情”、“故事片”三个标签是否标定给视频资源v_w，由于α_w-新闻＝0.40，α_w-剧情＝0.07，α_w-故事片＝0.01都小于判定阀值α′_std，因此，不标定给视频资源v_w。

步骤4：形成视频资源v_w的语义标签描述{“足球”，“西甲”}。

重复步骤1～4，遍历待标定视频资源集{v_new}中的所有待标定视频资源并进行标定。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种视频资源语义标签的标定方法，其特征在于，包括以下步骤：

（1）、采用传统语义标签标定方法对部分视频资源进行语义标签标定，得到标定的视频资源集{v_old}，剩余部分视频资源为待标定视频资源集{v_new}；其中，语义标签为能够有效表达用户兴趣度的关键词；

（2）、形成带语义细分的语义标签集合K

在视频资源集{v_old}中，首先根据语义标签在标定视频资源集{v_old}的描述过程中出现的频率，由高到低排序后，选取前n个的语义标签，构成语义标签集合K={tag₁,tag₂,tag₃......tag_n}，其中，tag₁，tag₂，tag₃，…，tag_n为依次排序的语义标签；

然后，经过语义相似度分析，将语义标签集合K细分为p个子集合：

K={k₁,k₂,k₃......k_p}；

每个子集合k_i,i∈{1,2......p}中的语义标签具有相似的语义信息；

（3）、“标签-帧序列”样本训练

3.1）、以语义标签tag_h∈K，h=1,2,···,n为依据，在标定的视频资源集{v_old}中收集cnt个具有较高代表性的视频资源{v_o-1,v_o-2......v_o-cnt}，每个视频资源提取出一个长度为m的关键帧序列KeyFS_j，组成一个长度为z=m*cnt的帧序列KeyFS_init：

$\mathrm{KeyF}{S}_{\mathrm{init}}=\underset{j=1}{\overset{\mathrm{cnt}}{\mathrm{\&Sigma;}}}\mathrm{Ksy}{\mathrm{FS}}_j;$

3.2)、以两个关键帧之间的相似度距离值为基础，对帧序列KeyFS_init进行聚类分析，得到若干组，并选取关键帧个数最多的一组作为语义标签tag_h的帧序列： ${\mathrm{FS}}_{{\mathrm{tag}}_h}=\{{\mathrm{FS}}_{{\mathrm{tag}}_h\_1},{\mathrm{FS}}_{{\mathrm{tag}}_h\_2},......,{\mathrm{FS}}_{{\mathrm{tag}}_h\_\mathrm{fcnt}}\},\mathrm{fcnt}$ 为关键帧个数；

3.3）、由上得到一个“标签-帧序列”tag_h-；

重复步骤3.1）、3.2）得到语义标签集合K中每个语义标签对应的“标签-帧序列”构成的样本集合{tag_h-

;h=1,2......n}；

（4）、在待标定视频资源集{v_new}中，选取一个待标定视频资源v_w，并提取关键帧序列KeyFS_w；

（5）、取语义标签tag_x，x=1,2......n中对应的帧序列

，计算帧序列

与关键帧序列KeyFS_w的相似度值，得到α_w-x，取值范围[0～1]；

（6）、判定语义标签tag_x是否标定给视频资源v_w：

6.1）、如果存在已标定给视频资源v_w的语义标签tag_y，且tag_y、tag_x∈k_i，tag_y对应的帧序列

与关键帧序列KeyFS_w的相似度值为α_w-y，则：

A.当 ${\mathrm{\&alpha;}}_{w-x}\&GreaterEqual;{\mathrm{\&alpha;}}_{\mathrm{std}}+\frac{(1-{\mathrm{\&alpha;}}_{w-y})\&times;\cos ({\mathrm{\&alpha;}}_{w-y}\mathrm{\&pi;}/2)}{2}$ 时，语义标签tag_x标定给视频资源v_w；

B.当 ${\mathrm{\&alpha;}}_{w-x}<{\mathrm{\&alpha;}}_{\mathrm{std}}+\frac{(1-{\mathrm{\&alpha;}}_{w-y})\&times;\cos ({\mathrm{\&alpha;}}_{w-y}\mathrm{\&pi;}/2)}{2}$ 时，语义标签tag_x不标定给资源v_w

6.2）、如果不存在已标定给资源v_w的tag_y∈k_i且tag_x∈k_i，则：

A．当α_w-x≥α_std时，语义标签tag_x标定给资源v_w

B．当α_w-x<α_std时，语义标签tag_x不标定给资源v_w；

其中，相似度判定阀值α_std=0.7；

（7）、重复步骤（5）、（6），遍历语义标签集合K中所有语义标签，判定其是否标定给视频资源v_w，最终形成视频资源v_w的语义标签{tag_{w_1},tag_{w_2},......}；

（8）、重复步骤（4）～（7），遍历待标定视频资源集{v_new}中的所有待标定视频资源并进行标定。

Images