CN102521321A - 基于检索词歧义性和用户偏好的视频搜索方法 - Google Patents

Abstract

本发明公开了一种基于检索词的歧义性和用户偏好的视频搜索方法，包括：获取视频，抽取视频的相关文本信息，为相关文本信息建立文本索引，抽取视频分类信息，并建立视频分类模型，输入检索词，查找文本索引，以得到相关文本信息与检索词对应的视频有序集合，根据检索词对应的点击记录生成检索词对应的歧义性描述信息，生成本次搜索会话中用户的短期偏好描述信息及长期偏好描述信息，并将短期偏好描述信息及长期偏好描述信息拟合成用户偏好描述信息，根据用户选定的视频更新用户的短期偏好描述信息和长期偏好描述信息。本发明能针对具有不同偏好的用户重排、优化视频搜索结果，具有效率高、可用性强、对用户的感知侵扰小等特点。

Description

基于检索词歧义性和用户偏好的视频搜索方法

技术领域

本发明涉及互联网视频搜索领域，更具体地说，本发明涉及一种基于检索词歧义性和用户偏好的视频搜索方法。

背景技术

互联网的视频的数量迅猛增长，将视频进行分类的方法已经不能使用户快速找到用户所需要的视频。使用搜索的方法来定位用户所需的视频也成了必然。基于内容的视频搜索方法由于存在著名的语义鸿沟问题无法大规模应用，因此现有的大多数视频搜索的方法都是基于文本的视频搜索方法。

视频页面往往存在相关文本过短、链接关系不能直接反映页面权威度的问题。为此，传统的基于文本的视频搜索方法通过利用视频附加元数据(如视频时长、发布时间等)来提高搜索体验。这些方法需要过多的用户参与，而且无法针对具有不同偏好的用户来重排搜索结果。

重视个性化搜索对最终结果的影响会在一定程度上抑制其他因素对搜索结果的影响。而检索词往往具有歧义性，不同的检索词歧义性有所不同。对于歧义性比较小的检索词，并不适合做个性化搜索，如果对此类检索词做个性化搜索反而容易取得较差效果。

发明内容

本发明的目的在于提供一种基于检索词歧义性和用户偏好的视频搜索方法，其综合利用用户长期偏好描述信息和短期偏好描述信息来描述用户偏好、以检索词歧义性为参考来进行视频搜索的方法，最终提高用户的视频搜索体验。

本发明是通过以下技术方案实现的：

一种基于检索词的歧义性和用户偏好的视频搜索方法，包括以下步骤：获取视频，抽取视频的相关文本信息，为相关文本信息建立文本索引，抽取视频分类信息，并建立视频分类模型，输入检索词，查找文本索引，以得到相关文本信息与检索词对应的视频有序集合，根据检索词对应的点击记录生成检索词对应的歧义性描述信息，生成本次搜索会话中用户的短期偏好描述信息及长期偏好描述信息，并将短期偏好描述信息及长期偏好描述信息拟合成用户偏好描述信息，根据歧义性描述信息及用户偏好描述信息对视频有序集合中的视频重新排序，并输出排序后的视频有序集合，在用户从视频有序集合中选定视频后，更新检索词对应的点击记录，将用户识别号、检索词、本次搜索会话的识别号、选定的视频及其视频分类信息存入数据库，根据用户选定的视频更新用户的短期偏好描述信息和长期偏好描述信息。

抽取视频分类信息，并建立视频分类模型的步骤包括：抽取视频的分类字段文本，将分类字段文本归类到维度为n的视频分类空间之中的某一个分类i中，以建立视频的分类向量D＝{d₀，d₁，...，d_j，...，d_n-1}，其中 $d_j=\left\{\begin{array}{c}1,j=i\\ 0,j\≠i\end{array}\right.,$ 将视频的分类向量D存入视频分类模型。

根据检索词对应的点击记录生成检索词对应的歧义性描述信息的步骤是采用以下公式：

其中，ClickEntroy(q)是检索词q对应的歧义性描述信息，W(q)是根据检索词q选中的所有视频集合，W(p|q)是根据检索词q选中的所有记录中所选视频属于第p类视频的记录所占的百分比。

生成本次搜索会话中用户的短期偏好描述信息及长期偏好描述信息，并将短期偏好描述信息及长期偏好描述信息拟合成用户偏好描述信息的步骤包括：获取视频分类模型的所在的视频分类空间的维数n，生成维数为n的默认的偏好向量P₀代表用户在每个分类下的偏好权值都为

从用户偏好描述信息中判断是否存在用户长期偏好描述信息，如果存在用户长期偏好描述信息则读出用户长期偏好描述信息并生成归一化向量P_L＝{l₀，l₁，l₂，l₃，...，l_n-1}，其中l_i代表用户在分类i上的长期偏好权值，如果不存在则赋予P_L为默认的偏好向量P₀，再将P_L存入用户长期偏好描述信息中，从用户偏好描述信息中判断是否存在用户短期偏好描述信息，如果存在用户短期偏好描述信息则读出用户短期偏好描述信息并生成归一化向量Ps＝{s₀，s₁，s₂，s₃，...，s_n-1}，其中s_i代表用户在分类i上的短期偏好权值，如果不存在则赋予P_S为默认的偏好向量P₀，再将P_S存入用户短期偏好描述信息中，通过线性拟合的方法生成用户最终偏好向量P＝α*P_L+(1-α)*P_S，其中α是长期偏好影响因子，且α＝0.5。

根据歧义性描述信息及用户偏好描述信息对视频有序集合中的视频重新排序，并输出排序后的视频有序集合的步骤包括：在歧义性描述信息中找到检索词q对应的歧义性描述信息ClickEntroy(q)，在用户偏好描述信息中查找用户最终偏好向量P＝{p₀，p₁，p₂，p₃，...，p_n-1}，利用公式

计算出用户最终偏好向量P和视频的分类向量D的相似度，在视频有序集合中取出视频的相关文本与检索词的文本相关性大小，记为原始得分S₀，计算出每个视频的最终得分S＝βS₀+(1-β)*Sim(P，D)*exp(ClickEntropy(q)-1)，其中β是原始得分影响因子，且β＝0.3，根据视频的最终得分对视频有序集合进行重新排序，并输出结果。

根据用户选定的视频更新用户的短期偏好描述信息和长期偏好描述信息的步骤包括：对于用户的长期偏好向量，取偏好向量权值递增因子γ₁＝0.1，将P_L更新为P_L＝P_L+γ₁D/|P_L+γ₁D|并存入用户偏好描述信息中，对于用户的短期偏好向量，取偏好向量权值递增因子γ₂＝0.3，将Ps更新为P_s＝P_s+γ₂D/|p_s+γ₂D|并存入用户偏好描述信息中。

视频的相关文本信息包括标题和关键词。

本发明具有以下优点：

首先，本发明采用用户短期偏好描述信息和长期偏好描述信息结合的方式来描述用户偏好描述信息，既考虑了用户固定偏好，也考虑到用户新增的偏好。

其次，本发明注意到当检索词歧义不大的情况下，个性化视频搜索会因引入过多的无效影响而抑制了其他排序因素的作用，故用了检索词歧义性大小值尽量克服个性化搜索带来的无效影响，从而在整体上提高视频搜索的整体体验。

附图说明

图1为本发明基于检索词歧义性和用户偏好的视频搜索方法的流程图。

图2为本发明方法中步骤(1)的细化流程图。

图3为方法中步骤(4)的细化流程图。

图4为方法中步骤(5)的细化流程图。

图5为方法中步骤(7)的细化流程图。

具体实施方式

如图1所示，本发明基于检索词歧义性和用户偏好的视频搜索方法包括以下步骤：

(1)获取视频，抽取视频的相关文本信息，为相关文本信息建立文本索引，抽取视频分类信息，并建立视频分类模型，视频的相关文本信息包括标题和关键词；

(2)输入检索词，查找文本索引，以得到相关文本信息与检索词对应的视频有序集合；

(3)根据检索词对应的点击记录生成检索词对应的歧义性描述信息，具体而言，是采用以下公式：

$\mathrm{ClickEntropy}\left(q\right)=\underset{p\∈W\left(q\right)}{\mathrm{\Σ}}-W\left(p\right|q){\log }_{2}W\left(p\right|q),$

其中，ClickEntroy(q)是所述检索词q对应的歧义性描述信息，W(q)是根据所述检索词q选中的所有视频集合，W(p|q)是根据所述检索词q选中的所有记录中所选视频属于第p类视频的记录所占的百分比；

(4)生成本次搜索会话中用户的短期偏好描述信息及长期偏好描述信息，并将短期偏好描述信息及长期偏好描述信息拟合成用户偏好描述信息；

(5)根据歧义性描述信息及用户偏好描述信息对视频有序集合中的视频重新排序，并输出排序后的视频有序集合；

(6)在用户从视频有序集合中选定视频后，更新检索词对应的点击记录，将用户识别号、检索词、本次搜索会话的识别号、选定的视频及其视频分类信息存入数据库；

(7)根据用户选定的视频更新用户的短期偏好描述信息和长期偏好描述信息。

如图2所示，本发明方法的步骤(1)中抽取视频分类信息，并建立视频分类模型的步骤具体包括以下子步骤：

(1-1)抽取视频的分类字段文本，将分类字段文本归类到维度为n的视频分类空间之中的某一个分类i中，以建立视频的分类向量D＝{d₀，d₁，...，d_j，...，d_n-1}，其中 $d_j=\left\{\begin{array}{c}1,j=i\\ 0,j\≠i\end{array}\right.;$

(1-2)将视频的分类向量D存入视频分类模型。

如图3所示，本发明方法的步骤(4)包括以下子步骤：

(4-1)获取视频分类模型所在的视频分类空间的维数n；

(4-2)生成默认的偏好向量

P₀代表用户在每个分类下的偏好权值都为

(4-3)从用户偏好描述信息中判断是否存在用户长期偏好描述信息，如果存在用户长期偏好描述信息则读出用户长期偏好描述信息并生成归一化向量P_L＝{l₁，l₂，l₃，...，l_n-1}，其中l_i代表用户在分类i上的长期偏好权值，如果不存在则赋予P_L为默认的偏好向量P₀，再将P_L存入用户长期偏好描述信息中；

(4-4)从用户偏好描述信息中判断是否存在用户短期偏好描述信息，如果存在用户短期偏好描述信息则读出用户短期偏好描述信息并生成归一化向量Ps＝{s₀，s₁，s₂，s₃，...，s_n-1}，其中s_i代表用户在分类i上的短期偏好权值，如果不存在则赋予P_S为默认的偏好向量P₀，再将P_S存入用户短期偏好描述信息中；

(4-5)通过线性拟合的方法生成用户最终偏好向量P＝α*P_L+(1-α)*P_S，其中α是长期偏好影响因子，且α＝0.5。

如图4所示，本发明方法的步骤(5)包括以下子步骤：

(5-1)利用公式 $\mathrm{Sim}(P,D)=\underset{i=0}{\overset{i=n-1}{\mathrm{\Σ}}}(d_i*p_i)/(\sqrt{\underset{i=0}{\overset{i=n-1}{\mathrm{\Σ}}}{d}_i^2}*\sqrt{\underset{i=0}{\overset{i=n-1}{\mathrm{\Σ}}}{p}_i^2})$ 计算出用户最终偏好向量P和视频的分类向量D的相似度；

(5-2)在视频有序集合中取出视频的相关文本与检索词的文本相关性大小，记为原始得分S₀；

(5-3)计算出每个视频的最终得分

S＝βS₀+(1-β)*Sim(P，D)*exp(ClickEntropy(q)-1)，其中β是原始得分影响因子，且β＝0.3；

(5-4)根据视频的最终得分对视频有序集合进行重新排序，并输出结果。

如图5所示，本发明方法的步骤(7)包括以下子步骤：

(7-1)对于用户的长期偏好向量，取偏好向量权值递增因子γ₁＝0.1，将P_L更新为P_L＝P_L+γ₁D/|P_L+γ₁D|并存入用户偏好描述信息中；

(7-2)对于用户的短期偏好向量，取偏好向量权值递增因子γ₂＝0.3，将Ps更新为P_s＝P_s+γ₂D/|P_s+γ₂D|并存入用户偏好描述信息中。

综上所述，本发明提出了一种基于检索词歧义性和用户长、短期偏好的个性化视频搜索方法。本发明能根据用户输入的简短而又有歧义的检索词针对具有不同偏好的用户重排、优化视频搜索结果，具有效率高、可用性强、对用户的感知侵扰小等特点。

Claims (7)

1.一种基于检索词歧义性和用户偏好的视频搜索方法，包括以下步骤：

获取视频，抽取所述视频的相关文本信息，为所述相关文本信息建立文本索引，抽取视频分类信息，并建立视频分类模型；

输入检索词，查找所述文本索引，以得到所述相关文本信息与所述检索词对应的视频有序集合；

根据所述检索词对应的点击记录生成所述检索词对应的歧义性描述信息；

生成本次搜索会话中用户的短期偏好描述信息及长期偏好描述信息，并将所述短期偏好描述信息及所述长期偏好描述信息拟合成用户偏好描述信息；

根据所述歧义性描述信息及所述用户偏好描述信息对所述视频有序集合中的视频重新排序，并输出排序后的视频有序集合；

在用户从所述视频有序集合中选定视频后，更新所述检索词对应的点击记录，将用户识别号、所述检索词、本次搜索会话的识别号、选定的视频及其视频分类信息存入数据库；

根据所述用户选定的视频更新所述用户的短期偏好描述信息和所述长期偏好描述信息。

2.根据权利要求1所述的视频搜索方法，其特征在于，所述抽取视频分类信息，并建立视频分类模型的步骤包括：

抽取所述视频的分类字段文本，将所述分类字段文本归类到维度为n的视频分类空间之中的某一个分类i中，以建立所述视频的分类向量D＝{d₀，d₁，...，d_j，...，d_n-1}，其中 $d_j=\left\{\begin{array}{c}1,j=i\\ 0,j\≠i\end{array}\right.;$

将所述视频的分类向量D存入所述视频分类模型。

如果还有未被分类的视频则重复以上步骤。

3.根据权利要求2所述的视频搜索方法，其特征在于，所述根据所述检索词对应的点击记录生成所述检索词对应的歧义性描述信息的步骤是采用以下公式：

$\mathrm{ClickEntropy}\left(q\right)=\underset{p\∈W\left(q\right)}{\mathrm{\Σ}}-W\left(p\right|q){\log }_{2}W\left(p\right|q),$

其中，ClickEntroy(q)是所述检索词q对应的歧义性描述信息，W(q)是

根据所述检索词q选中的所有视频集合，W(p|q)是根据所述检索词q选中的

所有记录中所选视频属于第p类视频的记录所占的百分比。

4.根据权利要求3所述的视频搜索方法，其特征在于，所述生成本次搜索会话中用户的短期偏好描述信息及长期偏好描述信息，并将所述短期偏好描述信息及所述长期偏好描述信息拟合成用户偏好描述信息的步骤包括：

计算所述视频分类模型所在的所述视频分类空间的维数n；

生成默认的维数为所述维数n的偏好向量

P₀代表用户在每个分类下的偏好权值都为

获取用户识别号，根据用户识别号从所述用户偏好描述信息中判断是否存在所述用户长期偏好描述信息，如果存在所述用户长期偏好描述信息则读出所述用户长期偏好描述信息并生成归一化向量P_L＝{l₁，l₂，l₃，...，l_n-1}，其中l_i代表用户在分类i上的长期偏好权值，如果不存在则赋予P_L为所述默认的偏好向量P₀，再将P_L存入所述用户偏好描述信息中；

获取搜索会话识别号，根据搜索会话识别号从所述用户偏好描述信息中判断是否存在所述用户短期偏好描述信息，如果存在所述用户短期偏好描述信息则读出所述用户短期偏好描述信息并生成归一化向量Ps＝{s₀，s₁，s₂，s₃，...，s_n-1}，其中s_i代表用户在分类i上的短期偏好权值，如果不存在则赋予P_S为所述默认的偏好向量P₀，再将P_S存入所述用户偏好描述信息中；

通过线性拟合的方法生成用户最终偏好向量P＝α*P_L+(1-α)*P_S，其中α是长期偏好影响因子，且α＝0.5。

5.根据权利要求4所述的视频搜索方法，其特征在于，所述根据所述歧义性描述信息及所述用户偏好描述信息对所述视频有序集合中的视频重新排序，并输出排序后的视频有序集合的步骤包括：

利用公式 $\mathrm{Sim}(P,D)=\underset{i=0}{\overset{i=n-1}{\mathrm{\Σ}}}(d_i*p_i)/(\sqrt{\underset{i=0}{\overset{i=n-1}{\mathrm{\Σ}}}{d}_i^2}*\sqrt{\underset{i=0}{\overset{i=n-1}{\mathrm{\Σ}}}{p}_i^2})$ 计算出所述用户最终偏好向量P和所述视频的分类向量D的相似度；

在所述视频有序集合中取出视频的相关文本与所述检索词的文本相关性大小，记为原始得分S₀；

获取检索词q的歧义性大小描述值ClickEntropy(q)；

计算出每个视频的最终得分

$\begin{array}{c}S=\mathrm{\β}{S}_0+(1-\mathrm{\β})*\mathrm{Sim}(P,D)\\ *\exp (\mathrm{ClickEntropy}\left(q\right)-1)\end{array},$ 其中β是原始得分影响因子，且β＝0.3；

根据所述视频的最终得分对所述视频有序集合进行重新排序，并输出结果。

6.根据权利要求5所述的视频搜索方法，其特征在于，所述根据所述用户选定的视频更新所述用户的短期偏好描述信息和所述长期偏好描述信息的步骤包括：

对于所述用户的所述长期偏好向量，取偏好向量权值递增因子γ₁＝0.1，将所述P_L更新为P_L＝P_L+γ₁D/|P_L+γ₁D|并存入所述用户偏好描述信息中；

对于所述用户的所述短期偏好向量，取偏好向量权值递增因子γ₂＝0.3，将所述P_s更新为P_s＝P_s+γ₂D/|P_s+γ₂D|并存入所述用户偏好描述信息中。

7.根据权利要求1-6中任意一项所述的视频检索方法，其特征在于，所述视频的相关文本信息包括标题和关键词。

Images