CN101382941A - 基于眼球跟踪的网络视频个性化搜索方法 - Google Patents

Abstract

本发明公开了一种基于眼球跟踪的网络视频个性化搜索方法。该方法包括以下步骤：1)利用眼球跟踪装置，获取用户对网络视频的关注时间的样本信息；2)对获取到的用户关注时间样本进行校正；3)对未知网络视频，运用决策树的方法动态选择合适的图像相似度算法；4)基于图像相似度来预测未知网络视频中各个关键帧的用户关注时间；5)对未知网络视频，通过该视频各关键帧的用户关注时间，计算该视频的用户关注时间；6)利用用户关注时间结合传统搜索技术生成个性化的网络视频搜索结果。本发明有效地通过眼球跟踪装置获取到了用户的个人阅读兴趣，将用户的喜好结合在网络视频搜索过程中，使得最终的视频搜索排名结果更加接近用户期待的理想排名。

Description

基于眼球跟踪的网络视频个性化搜索方法

技术领域

本发明涉及计算机搜索领域，尤其涉及一种基于眼球跟踪的网络视频个性化搜索方法。

背景技术

现有的个性化引擎依靠的是用户的反馈，它可以分为显式反馈和隐式反馈。我们从这两种反馈中都可以得到用户的喜好特征(Salton & Buckley 1990；White，Jose，& Ruthven 2001；White，Ruthven，& Jose 2002)。但是用户一般都不愿意去提供显式的反馈，所以现在的研究越来越多的研究都转向隐式反馈(Granka，Joachims，& Gay 2004；Guan & Cutrell 2007；Fu 2007)。研究表明，隐式反馈可以很好的反映用户的搜索意图(Fox et al.2005；Dou，Song，& Wen 2007；Fu 2007).并且从大量的隐式反馈中得到的用户喜好往往比显式反馈更加可靠。

查询历史：现代研究中，用得最多的隐式反馈就是用户的查询历史。Google的个性化搜索(http://www.google.com/psearch)就是基于用户的查询历史的。总的来说，基于查询历史的算法又可以分为以下两类：一类是基于整个查询历史的算法，另一类是基于某个查询会话(指的是一连串相关的查询)。对于前者来说，通常算法会产生一个该用户的概要文本用来描述用户的搜索喜好。

点击数据：点击数据是另一种非常重要的隐式反馈，如(Dupret，Mrudock，& Piwowarski 2007；Joachims 2002)。在一个搜索结果页面上，我们假设用户点击过的链接比用户没有点过的链接对于此用户来说更加重要。研究者们用了很多中方法从用户的点击行为中获取用户的喜好特征。举例来说，有些研究者用一种叫Ranking SVM的算法(Hersh et al.1994)通过用户的点击信息来获得对该用户来说最好的网页排序。在(Radlinski & Joachims 2005)一文中，作者不但从用户的单次查询中提取用户喜好，同时也从用户对同一信息的一连串查询中提取用户的喜好，这些喜好特征然后通过Ranking SVM的改进算法来进行训练。Sun et al.(2005)提出了一种基于Singluar Value Decomposition的算法，它通过分析用户的点击数据来提高搜索引擎的建议系统的准确率。

关注时间：相对来说，关注时间是一个新型的隐式用户反馈。虽然它在近期的研究中越来越多被提到，但是关于它是否真的能够反映用户意图仍然有争辩。Kelly和Belkin(2004；2001)建议说，在文本的关注时间和它对用户的有用度之间并没有非常可靠的相互关系。但是不同的是，在他们的研究当中，关注时间是通过测量一组用户阅读不同主题的文章而得到的平均关注时间。Halabiet al.(2007)认为对于一个的用户在同一个搜索行为中关注时间，它可以很好的反映出用户的喜好。我们认为以上两个研究并不矛盾，因为他们所计算的关注时间并不相同。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于眼球跟踪的网络视频个性化搜索方法。

基于眼球跟踪的网络视频个性化搜索方法包括以下步骤：

1)利用眼球跟踪装置，获取用户对网络视频的关注时间的样本信息；

2)对获取到的用户关注时间样本进行校正；

3)对未知网络视频，运用决策树的方法动态选择合适的图像相似度算法；

4)基于图像相似度来预测未知网络视频中各个关键帧的用户关注时间；

5)对未知网络视频，通过该视频各关键帧的用户关注时间，计算该视频的用户关注时间；

6)利用用户关注时间结合传统搜索技术生成个性化的网络视频搜索结果；

所述的利用眼球跟踪装置，获取用户对网络视频的关注时间的样本信息步骤：

(a)在网络视频搜索结果页面上，搜索引擎通常会在搜索结果页面上为每个网络视频提供概要，包括缩略图与几行文本叙述概要；利用眼球跟踪装置，追踪用户眼球的移动位置，从而来记录用户在某个网络视频概要上花的时间；

(b)在被打开的网络视频页面上，记录用户在播放此视频时，眼球跟踪装置在各视频关键帧上停留的时间；设该视频播放至时刻t_i时，眼球跟踪装置位置落在视频播放区域内，并设K₁与K₂分别是该视频中最靠近时刻t_i的前后两个关键帧，而K₁与K₂分别对应时刻t₁与t₂，则K₁与K₂的用户关注时间分别为：

$t_{\mathrm{att}}^{\mathrm{raw}}(u,K_1)=\frac{|t_i-t_1|}{|t_2-t_1|},$ $t_{\mathrm{att}}^{\mathrm{raw}}(u,K_2)=\frac{|t_i-t_2|}{|t_2-t_1|};$

(c)对于此网络视频的关注时间就是用户在该视频概要上的关注时间加上在该视频各关键帧上的关注时间之和；如果之后用户又回到该视频已看过的页面，那么该网络视频的用户关注时间会相应增加；

所述的对获取到的用户关注时间样本进行校正步骤：

(d)对获取到的用户关注时间样本通过校正公式

$t_{\mathrm{att}}^{\inf }(u,V)=\max (t_{\mathrm{att}}^{\mathrm{raw}}(u,V)-t_{\mathrm{basic}}\left(u\right),0)$

进行校正，其中

是从步骤(a)～(c)中收集到的用户关注时间，t_basic(u)是用户用来判断此视频是否值得一读的时间，

则是校正后的对该网络视频d的用户关注时间。

所述的对未知网络视频，运用决策树的方法动态选择合适的图像相似度算法步骤：

(e)任意挑选5个已有的图像相似度算法A1，A2，...，A5；并从步骤(a)～(d)收集到的样本集中任意挑选其中90％的关键帧图像作为训练集，另10％的关键帧图像作为测试集；

(f)对训练集与样本集中的每个图像中的每个图像K，提取出特征向量F(K)：首先使用已有的非负矩阵的因素分解方法对训练集中的关键帧图像进行聚类，每个关键帧图像都将获得几个分值，每个分值表示的是该关键帧图像对某一聚类集合的依附程度，选择最高的3个依附分值和相应聚类集合编号作为特征向量：

F(K)＝(N₁(K)，f₁(K)，N₂(K)，f₂(K)，N₃(K)，f₃(K))

其中N₁(K)，N₂(K)，N₃(K)是有最高依附分值的三个聚类集合编号，f₁(K)，f₂(K)，f₃(K)则是对应的依附分值；

(g)对于训练集与测试集中每个关键帧图像K，分别用每个图像相似度算法A_i预测算法预测它的关注时间，然后分别和真实关注时间进行相减，得到误差error；从A₁～A₅中找到其中误差error最小的算法A_opt(K)；

(h)使用一个决策树来学习每个关键帧图像R的特征向量F(K)与具有最小误差error的算法A_opt(K)之间的关系；即以图像特征向量、算法编号分别作为决策树的输入输出，并使用训练集中的样本对决策树训练，当决策树的输出在测试集中样本上的平均误差最小时，保存此时的决策树；

(i)用训练好的决策树为未知网络视频V_x中的每个关键帧图像选择最合适的图像相似度算法；

所述的基于图像相似度来预测未知网络视频中各个关键帧的用户关注时间步骤：

(j)用Sim(K_o，K₁)来表示关键帧图像K₀和关键帧图像K₁之间的相似度，同时Sim(K_o，K₁)∈[0，1]，在计算两个关键帧图像的相似度之前，将它们的图像尺寸归一化为同样大小；

(k)把每个已通过眼球跟踪获取到用户关注时间的关键帧图像样本集表示为{t_att(u，K_i)|i＝1，...n}，其中n是当前用户关注过的关键帧图像的个数，关注过的关键帧图像表示为K_i(i＝1，...，n)，当用户遇到一个新的视频V_x的时候，设V_x由矩形关键帧图像K₁(x)，K₂(x)...K_m(x)构成，对其中每个关键帧图像K_j(x)和样本集中的所有关键帧图像进行相似度计算，挑选出k个具有最高相似度的图像，把k设为min(10，m)，挑选出来的图像为K_i(i＝1，...，k)，用以下这个公式来预测K_j(x)的用户关注时间，

$t_{\mathrm{att}}(u,K_j\left(x\right))=\frac{{\mathrm{\Σ}}_{i=1}^k\left(t_{\mathrm{att}}^{\inf }(u,K_i){\mathrm{Sim}}^{\mathrm{\γ}}(K_j\left(x\right),K_i)\mathrm{\δ}(K_j\left(x\right),K_i)\right)}{{\mathrm{\Σ}}_{i=1}^k\left({\mathrm{Sim}}^{\mathrm{\γ}}(K_j\left(x\right),K_i)\mathrm{\δ}(K_j\left(x\right),K_i)\right)+\mathrm{\ϵ}}$

其中γ用来控制Sim(，)的值占多的比重，ε是一个很小的正整数用来防止表达式的分母为0，函数δ(，)用来去除一些相似度非常低的图像，它被定义为:

$\mathrm{\δ}(K_j\left(x\right),K_i)=\left\{\begin{array}{cc}1& \mathrm{If}{\mathrm{Sim}}^{\mathrm{\γ}}(K_j\left(x\right),K_i)>0.01\\ 0& \mathrm{Otherwise}\end{array}\right.;$

所述的对未知网络视频，通过该视频各关键帧的用户关注时间，计算该视频的用户关注时间步骤：

(1)计算未知网络视频V_x的用户关注时间，使用如下公式：

$t_{\mathrm{att}}(u,V_x)={\mathrm{\Σ}}_{K_j\left(x\right)\∈V_x}{t}_{\mathrm{att}}(u,K_j\left(x\right));$

所述的利用用户关注时间结合传统搜索技术生成个性化的网络视频搜索结果步骤：

(m)当用户提交一个查询请求时，服务端首先将查询重定向至传统搜索引擎，并获得返回的前n个网络视频，对于返回的每个页面，系统将在该用户的样本集中查找k个与视频相似度最高的样本，并用步骤(1)中的方法预测该网络视频的关注时间；

(n)对于传统的排序，系统会生成一个关注时间偏差，那就是在传统排序中，排名越高的视频，获得更高的关注时间偏差，用如下公式定义这个偏差

$t_{\mathrm{atten}}^{\mathrm{offset}}\left(i\right)=\frac{2\exp (-{\mathrm{\κ}}_d\·\mathrm{rank}\left(i\right))}{1+\exp (-{\mathrm{\κ}}_d\·\mathrm{rank}\left(i\right))}$

其中rank(i)表示的视频i在传统网络视频搜索引擎的排序的排名，参数κ_d用来控制关注时间随排名下降的坡度；

(o)从视频i的关注时间t_atten(i)和偏差获得视频i的全局关注时间： $t_{\mathrm{atten}}^{\mathrm{overall}}\left(i\right)={\mathrm{\κ}}_{\mathrm{overall}}{t}_{\mathrm{atten}}\left(i\right)+t_{\mathrm{atten}}^{\mathrm{offset}}\left(i\right),$ 参数κ_overall是一个用户变量，用来控制该用户希望个性化的排名占的比重；

(p)最终排序将按照总关注时间的倒序排列，生成搜索结果。

本发明有效地将用户的喜好结合在搜索过程中，充分的利用了眼球跟踪技术获取用户当前的兴趣所在，并利用机器学习技术中的决策树动态选择视频相似度算法，更加准确的预测了未知视频对用户的潜在吸引力，使得最终的搜索排名结果更加接近用户期待的理想排名，从而使得网络视频引擎为用户提供更好的个性化服务。

附图说明

图1是具体实施方式的流程图；

图2是10组视频搜索的实验结果图表；从左到右是用户理想排名分别与视频搜索引擎YouTube的排名、以及用户观看过1，2，...，15个视频之后的排名之间的排名绝对误差总和。

具体实施方式

基于眼球跟踪的网络视频个性化搜索方法包括以下步骤：

1)利用眼球跟踪装置，获取用户对网络视频的关注时间的样本信息；

2)对获取到的用户关注时间样本进行校正；

3)对未知网络视频，运用决策树的方法动态选择合适的图像相似度算法；

4)基于图像相似度来预测未知网络视频中各个关键帧的用户关注时间；

5)对未知网络视频，通过该视频各关键帧的用户关注时间，计算该视频的用户关注时间；

6)利用用户关注时间结合传统搜索技术生成个性化的网络视频搜索结果；

所述的利用眼球跟踪装置，获取用户对网络视频的关注时间的样本信息步骤：

(a)在网络视频搜索结果页面上，搜索引擎通常会在搜索结果页面上为每个网络视频提供概要，包括缩略图与几行文本叙述概要；利用眼球跟踪装置，追踪用户眼球的移动位置，从而来记录用户在某个网络视频概要上花的时间；

(b)在被打开的网络视频页面上，记录用户在播放此视频时，眼球跟踪装置在各视频关键帧上停留的时间；设该视频播放至时刻t_i时，眼球跟踪装置位置落在视频播放区域内，并设K₁与K₂分别是该视频中最靠近时刻t_i的前后两个关键帧，而K₁与K₂分别对应时刻t₁与t₂，则K₁与K₂的用户关注时间分别为：

$t_{\mathrm{att}}^{\mathrm{raw}}(u,K_1)=\frac{|t_i-t_1|}{|t_2-t_1|},$ $t_{\mathrm{att}}^{\mathrm{raw}}(u,K_2)=\frac{|t_i-t_2|}{|t_2-t_1|};$

(c)对于此网络视频的关注时间就是用户在该视频概要上的关注时间加上在该视频各关键帧上的关注时间之和；如果之后用户又回到该视频已看过的页面，那么该网络视频的用户关注时间会相应增加；

所述的对获取到的用户关注时间样本进行校正步骤：

(d)对获取到的用户关注时间样本通过校正公式

$t_{\mathrm{att}}^{\inf }(u,V)=\max (t_{\mathrm{att}}^{\mathrm{raw}}(u,V)-t_{\mathrm{basic}}\left(u\right),0)$

进行校正，其中是从步骤(a)～(c)中收集到的用户关注时间，t_basic(u)是用户用来判断此视频是否值得一读的时间，

则是校正后的对该网络视频d的用户关注时间。

所述的对未知网络视频，运用决策树的方法动态选择合适的图像相似度算法步骤：

(e)任意挑选5个已有的图像相似度算法A1，A2，...，A5；并从步骤(a)～(d)收集到的样本集中任意挑选其中90％的关键帧图像作为训练集，另10％的关键帧图像作为测试集；

(f)对训练集与样本集中的每个图像中的每个图像K，提取出特征向量F(K)：首先使用已有的非负矩阵的因素分解方法对训练集中的关键帧图像进行聚类，每个关键帧图像都将获得几个分值，每个分值表示的是该关键帧图像对某一聚类集合的依附程度，选择最高的3个依附分值和相应聚类集合编号作为特征向量：

F(K)＝(N₁(K)，f₁(K)，N₂(K)，f₂(K)，N₃(K)，f₃(K))

其中N₁(K)，N₂(K)，N₃(K)是有最高依附分值的三个聚类集合编号，f₁(K)，f₂(K)，f₃(K)则是对应的依附分值；

(g)对于训练集与测试集中每个关键帧图像K，分别用每个图像相似度算法A_i预测算法预测它的关注时间，然后分别和真实关注时间进行相减，得到误差error；从A₁～A₅中找到其中误差error最小的算法A_opt(K)；

(h)使用一个决策树来学习每个关键帧图像R的特征向量F(K)与具有最小误差error的算法A_opt(K)之间的关系；即以图像特征向量、算法编号分别作为决策树的输入输出，并使用训练集中的样本对决策树训练，当决策树的输出在测试集中样本上的平均误差最小时，保存此时的决策树；

(i)用训练好的决策树为未知网络视频V_x中的每个关键帧图像选择最合适的图像相似度算法；

所述的基于图像相似度来预测未知网络视频中各个关键帧的用户关注时间步骤：

(j)用Sim(K_o，K₁)来表示关键帧图像K₀和关键帧图像K₁之间的相似度，同时Sim(K_o，K₁)∈[0，1]，在计算两个关键帧图像的相似度之前，将它们的图像尺寸归一化为同样大小；

(k)把每个已通过眼球跟踪获取到用户关注时间的关键帧图像样本集表示为{t_att(u，K_i)|i＝1，...n}，其中n是当前用户关注过的关键帧图像的个数，关注过的关键帧图像表示为K_i(i＝1，...，n)，当用户遇到一个新的视频V_x的时候，设V_x由矩形关键帧图像K₁(x)，K₂(x)...K_m(x)构成，对其中每个关键帧图像K_j(x)和样本集中的所有关键帧图像进行相似度计算，挑选出k个具有最高相似度的图像，把k设为min(10，m)，挑选出来的图像为K_i(i＝1，...，k)，用以下这个公式来预测K_j(x)的用户关注时间，

$t_{\mathrm{att}}(u,K_j\left(x\right))=\frac{{\mathrm{\Σ}}_{i=1}^k\left(t_{\mathrm{att}}^{\inf }(u,K_i){\mathrm{Sim}}^{\mathrm{\γ}}(K_j\left(x\right),K_i)\mathrm{\δ}(K_j\left(x\right),K_i)\right)}{{\mathrm{\Σ}}_{i=1}^k\left({\mathrm{Sim}}^{\mathrm{\γ}}(K_j\left(x\right),K_i)\mathrm{\δ}(K_j\left(x\right),K_i)\right)+\mathrm{\ϵ}}$

其中γ用来控制Sim(，)的值占多的比重，ε是一个很小的正整数用来防止表达式的分母为0，函数δ(，)用来去除一些相似度非常低的图像，它被定义为:

$\mathrm{\δ}(K_j\left(x\right),K_i)=\left\{\begin{array}{cc}1& \mathrm{If}{\mathrm{Sim}}^{\mathrm{\γ}}(K_j\left(x\right),K_i)>0.01\\ 0& \mathrm{Otherwise}\end{array}\right.;$

所述的对未知网络视频，通过该视频各关键帧的用户关注时间，计算该视频的用户关注时间步骤：

(1)计算未知网络视频V_x的用户关注时间，使用如下公式：

$t_{\mathrm{att}}(u,V_x)={\mathrm{\Σ}}_{K_j\left(x\right)\∈V_x}{t}_{\mathrm{att}}(u,K_j\left(x\right));$

所述的利用用户关注时间结合传统搜索技术生成个性化的网络视频搜索结果步骤：

(m)当用户提交一个查询请求时，服务端首先将查询重定向至传统搜索引擎，并获得返回的前n个网络视频，对于返回的每个页面，系统将在该用户的样本集中查找k个与视频相似度最高的样本，并用步骤(1)中的方法预测该网络视频的关注时间；

(n)对于传统的排序，系统会生成一个关注时间偏差，那就是在传统排序中，排名越高的视频，获得更高的关注时间偏差，用如下公式定义这个偏差

$t_{\mathrm{atten}}^{\mathrm{offset}}\left(i\right)=\frac{2\exp (-{\mathrm{\κ}}_d\·\mathrm{rank}\left(i\right))}{1+\exp (-{\mathrm{\κ}}_d\·\mathrm{rank}\left(i\right))}$

其中rank(i)表示的视频i在传统网络视频搜索引擎的排序的排名，参数κ_d用来控制关注时间随排名下降的坡度；

(o)从视频i的关注时间t_atten(i)和偏差

获得视频i的全局关注时间： $t_{\mathrm{atten}}^{\mathrm{overall}}\left(i\right)={\mathrm{\κ}}_{\mathrm{overall}}{t}_{\mathrm{atten}}\left(i\right)+t_{\mathrm{atten}}^{\mathrm{offset}}\left(i\right),$ 参数κ_overall是一个用户变量，用来控制该用户希望个性化的排名占的比重；

(p)最终排序将按照总关注时间的倒序排列，生成搜索结果。

实施例：

本发明的基于眼球跟踪的网络视频个性化搜索方法的流程结构如图1所示。该个性化排序系统包括客户端和服务端两部分，客户端20、眼球跟踪装置来获取用户的关注时间20、自定义浏览器来获取用户的关注时间，服务端包括30、样本收集模块，40、关注时间校正，50、用户数据库和60、视频数据库，70、查询界面，80、传统引擎模块，90、视频预处理模块，100、视频比较模块，110、关注时间预测模块，120、排序模块。

眼球跟踪装置20，利用先进的眼球运动捕捉仪器，分析当前用户视线所在位置的视频或其概要。在本例中眼球跟踪装置采用普通摄像头(LogitechQuickcam Notebook Pro)搭配开源眼球跟踪系统opengazer(http://www.inference.phy.cam.ac.uk/opengazer/)组装而成。

样本收集模块30，将客户端发送的样本数据存入对应用户的数据库中，如果某视频在视频数据库中不存在，则下载并存入视频数据库。

关注时间校正模块40，直接从客户端获得的预测关注时间还需要进行校正，当用户浏览一个视频时，不管此视频是否对该用户有用，用户都得花一段时间去粗略的浏览此视频。一般来说，此时获得关注时间既包括了用户的实际关注时间也包括了用户粗略浏览该视频的时间，为了克服这个问题，我们以下这个方程来校正我们原先获得的关注时间：

$t_{\mathrm{att}}^{\inf }(u,d)=\max (t_{\mathrm{att}}^{\mathrm{raw}}(u,d)-t_{\mathrm{basic}}\left(u\right),0)$

是我们原先获得的关注时间，t_basic(u)是用户用来判断此视频是否值得一读的时间，

则是潜在的该视频d包含的关注时间。

用户数据库50，存储系统各个用户对视频的关注时间，在本例中用MYSQL存储。

视频数据库60，存储视频的数据，在本例中用flv文件格式存储原始视频，以MYSQL数据库存储视频的关键帧图像。

查询界面70，提供一个用户查询的web入口，提供视频文本搜索服务。在本例中，此查询界面用jsp实现。

传统引擎模块80，当用户提交一个查询请求时，服务端会对传统搜索引擎(比如YouTube)的结果页面进行解析并获取其返回结果中的前300个视频，并将视频下载存至视频服务器。

视频预处理模块90，直接从网站下载下来的视频页包含很多无用信息，比如HTML标签，广告栏，导航栏等。此模块用于去除网页中的无用信息，保留用户将关注的主体视频。在本例中，我们实现了，去除HTML标签功能。

视频比较模块100，我们采用了2000年IEEE的一篇论文“Key frame selectionto represent a video”中的视频关键帧提取方法，并使用决策树算法动态的选择最适合的图像相似度比较算法。我们挑选了5个图像相似度算法A1，A2，...，A5。对于训练集中的样本，我们随机的选择90％的样本作为训练样本，剩下的10％作为测试样本。对于测试集中每个图像I_x和算法A_i，我们用预测算法预测它的关注时间，然后和真实关注时间进行比较，我们可以得到一个误差error，表示为(I_x，A_i，error)，这样我们可以从A₁～A₅中找到最小误差的算法A_opt。接下来我们将对决策树进行训练，此决策树的输入是一个特征向量，输出是对应相似度算法的标识。我们对每个图像I_x提取出一个特征向量F(I_x)，直接的是将I_x中的每个单词作为特征会使特征空间变得巨大。因此我们引入了一个聚类算法来生成特征向量F(I_x)使得特征变小。在这些图像被聚合之后，每个图像都有几个分值，每个分值表示的是该图像对某一聚集的依附程度，我们选择最高的3个依附分值和聚集标识作为特征向量：

F(I_x)＝(N₁(I_x)，f₁(I_x)，N₂(I_x)，f₂(I_x)，N₃(I_x)，f₃(I_x))

N₁(I_x)，N₂(I_x)，N₃(I_x)是有最高依附分值的三个聚集标识，f₁(I_x)，f₂(I_x)，f₃(I_x)则是对应的依附分值。接下来我们就用新生成的特征向量来训练决策树，为了防止过度训练，我们用10-folder交叉验证的方法来测试决策树。一旦决策树生成，我们将在运行过程中动态的决定用什么文本相似度算法来进行相似度计算。在本例中，我们选用的5个图片相似度算法为基于像素的灰度直方图相似度算法，基于“ScalableColor”的，“ColorLayout”以及“EdgeHistogram”算法和基于“AutoColor Correlogram”(Huang et al.1997)的相似度算法。实施例中所用的聚类算法为Unsupervised image-set clustering算法(Goldberger 2006)。

关注时间预测模块110，包含以下几个步骤：

a.)此模块对于传统引擎模块中的每个视频都进行关注时间的预测。首先我们把每个训练样本表示为{t_att(u，V_i)|i＝1，...n}，其中n是当前用户阅读过的视频的个数。阅读过的视频表示为V_i(i＝1，...，n)。对于传统引擎返回的视频V_x的时候，我们会计算视频文档V_x和测试集中的所有视频进行相似度计算。然后我们会挑选出k个具有最高相似度的视频。在我们的实验中，我们把k设为min(10，n)。我们挑选出来的视频为V_i(i＝1，...，k).然后我们用以下这个方程来预测V_x的关注时间。

$t_{\mathrm{att}}(u,V_x)=\frac{{\mathrm{\Σ}}_{i=1}^k\left(t_{\mathrm{att}}(u,V_x){\mathrm{Sim}}^{\mathrm{\γ}}(V_i,V_x)\mathrm{\δ}(V_i,V_x)\right)}{{\mathrm{\Σ}}_{i=1}^k\left({\mathrm{Sim}}^{\mathrm{\γ}}(V_i,V_x)\mathrm{\δ}(V_i,V_x)\right)+\mathrm{\ϵ}}$

其中γ用来控制Sim(，)的值占多的比重，ε是一个很小的正整数用来防止表达式的分母为0。函数δ(，)用来去除一些相似度非常低的图像，它被定义为

$\mathrm{\δ}(d_i,d_x)=\left\{\begin{array}{cc}1& \mathrm{If}{\mathrm{Sim}}^{\mathrm{\γ}}(d_i,d_x)>0.01\\ 0& \mathrm{Otherwise}\end{array}\right.$

b.)在系统运行的初期，我们还会将传统引擎的排名转化成一个关注时间偏差。我们用下面这个方程将传统排名转化成一个值在0和1之间的标准化关注时间偏差：

$t_{\mathrm{atten}}^{\mathrm{offset}}\left(i\right)=\frac{2\exp (-{\mathrm{\κ}}_d\·\mathrm{rank}\left(i\right))}{1+\exp (-{\mathrm{\κ}}_d\·\mathrm{rank}\left(i\right))}$

其中rank(i)表示的视频i在传统搜索引擎的排名。我们之所以选择这样一个式子是因为它可以把网页排名信息转换成关注时间，而且让排名较低的视频转化所得的关注时间相对更短。参数κ_d用来控制关注时间随排名下降的坡度，在我们是实验中，我们设定为0.2。

c.)一旦我们得到了视频i的关注时间t_atten(i)和偏差

我们可以获得该视频的全局关注时间： $t_{\mathrm{atten}}^{\mathrm{overall}}i{=\mathrm{\κ}}_{\mathrm{overall}}{t}_{\mathrm{atten}}i{t}_{\mathrm{atten}}^{\mathrm{offset}}i.$ 参数κ_overall是一个用户变量，用来控制该用户希望个性化的排名占的比重。最终视频的排名就是按照全局关注时间的降序来排列的。我们实现了种自动设置κ_overall值的方法，当训练集中的样本很少的时候，κ_overall值较小，并且当训练集中的样本变的越来越多的时候，κ_overall值越来越大。之所以这样是因为我们的排序算法从根本上来说是一个学习算法。但是，就像其他学习算法一样，当训练样本集还很小的时候，算法会产生比较差的结果，因此我们需要借鉴传统引擎的排序结果。在我们的实验中，我们一个S形函数去自动验证κ_overall的值，发现它是一个常量，通常为0.1。

排序模块120，排序模块将结果按照所有视频按照全局关注时间进行倒序排列，并将结果返回给用户。

图2的实验结果清晰的显示出本方法的优越性；图2以图形化的形式显示了10个不同的用户对不同关键词做视频搜索的实验数据；每一行表示每组实验中所得排名与用户理想排名之间的排名绝对误差总和。

上述结果表明，本发明有效地将用户的喜好结合在搜索过程中，使得最终的排名结果更加接近用户期待的理想排名，从而使得网络视频搜索引擎为用户提供更好的个性化服务。

以上所述仅为本发明的基于眼球跟踪的网络视频个性化搜索方法的较佳实施例，并非用以限定本发明的实质技术内容的范围。本发明的基于眼球跟踪的网络视频个性化搜索方法，其实质技术内容是广泛的定义于权利要求书中，任何他人所完成的技术实体或方法，若是与权利要求书中所定义者完全相同，或是同一等效的变更，均将被视为涵盖于此专利保护范围之内。

Claims (7)

1.一种基于眼球跟踪的网络视频个性化搜索方法，其特征在于包括以下步骤：

1)利用眼球跟踪装置，获取用户对网络视频的关注时间的样本信息；

2)对获取到的用户关注时间样本进行校正；

3)对未知网络视频，运用决策树的方法动态选择合适的图像相似度算法；

4)基于图像相似度来预测未知网络视频中各个关键帧的用户关注时间；

5)对未知网络视频，通过该视频各关键帧的用户关注时间，计算该视频的用户关注时间；

6)利用用户关注时间结合传统搜索技术生成个性化的网络视频搜索结果。

2.根据权利要求1所述的一种基于眼球跟踪的网络视频个性化搜索方法，其特征在于所述的利用眼球跟踪装置，获取用户对网络视频的关注时间的样本信息步骤：

(a)在网络视频搜索结果页面上，搜索引擎通常会在搜索结果页面上为每个网络视频提供概要，包括缩略图与几行文本叙述概要；利用眼球跟踪装置，追踪用户眼球的移动位置，从而来记录用户在某个网络视频概要上花的时间；

(b)在被打开的网络视频页面上，记录用户在播放此视频时，眼球跟踪装置在各视频关键帧上停留的时间；设该视频播放至时刻t_i时，眼球跟踪装置位置落在视频播放区域内，并设K₁与K₂分别是该视频中最靠近时刻t_i的前后两个关键帧，而K₁与K₂分别对应时刻t₁与t₂，则K₁与K₂的用户关注时间分别为：

$t_{\mathrm{att}}^{\mathrm{raw}}(u,K_1)=\frac{|t_i-t_1|}{|t_2-t_1|},$ $t_{\mathrm{att}}^{\mathrm{raw}}(u,K_2)=\frac{|t_i-t_2|}{|t_2-t_1|};$

(c)对于此网络视频的关注时间就是用户在该视频概要上的关注时间加上在该视频各关键帧上的关注时间之和；如果之后用户又回到该视频已看过的页面，那么该网络视频的用户关注时间会相应增加。

3.根据权利要求1所述的一种基于眼球跟踪的网络视频个性化搜索方法，其特征在于所述的对获取到的用户关注时间样本进行校正步骤：

(d)对获取到的用户关注时间样本通过校正公式

$t_{\mathrm{att}}^{\inf }(u,V)=\max (t_{\mathrm{att}}^{\mathrm{raw}}(u,V)-t_{\mathrm{basic}}\left(u\right),0)$

进行校正，其中是从步骤(a)～(c)中收集到的用户关注时间，t_basic(u)是用户用来判断此视频是否值得一读的时间，

则是校正后的对该网络视频d的用户关注时间。

4.根据权利要求1所述的一种基于眼球跟踪的网络视频个性化搜索方法，其特征在于所述的对未知网络视频，运用决策树的方法动态选择合适的图像相似度算法步骤：

(e)任意挑选5个已有的图像相似度算法A1，A2，...，A5；并从步骤(a)～(d)收集到的样本集中任意挑选其中90％的关键帧图像作为训练集，另10％的关键帧图像作为测试集；

(f)对训练集与样本集中的每个图像中的每个图像K，提取出特征向量F(K)：首先使用已有的非负矩阵的因素分解方法对训练集中的关键帧图像进行聚类，每个关键帧图像都将获得几个分值，每个分值表示的是该关键帧图像对某一聚类集合的依附程度，选择最高的3个依附分值和相应聚类集合编号作为特征向量：

F(K)＝(N₁(k)，f₁(k)，N₂(K)，f₂(k)，N₃(k)，f₃(K))

其中N₁(K)，N₂(K)，N₃(K)是有最高依附分值的三个聚类集合编号，f₁(K)，f₂(K)，f₃(K)则是对应的依附分值；

(g)对于训练集与测试集中每个关键帧图像K，分别用每个图像相似度算法A_i预测算法预测它的关注时间，然后分别和真实关注时间进行相减，得到误差error；从A₁～A₅中找到其中误差error最小的算法A_opt(K)；

(h)使用一个决策树来学习每个关键帧图像R的特征向量F(K)与具有最小误差error的算法A_opt(K)之间的关系；即以图像特征向量、算法编号分别作为决策树的输入输出，并使用训练集中的样本对决策树训练，当决策树的输出在测试集中样本上的平均误差最小时，保存此时的决策树；

(i)用训练好的决策树为未知网络视频V_x中的每个关键帧图像选择最合适的图像相似度算法。

5.根据权利要求1所述的一种基于眼球跟踪的网络视频个性化搜索方法，其特征在于所述的基于图像相似度来预测未知网络视频中各个关键帧的用户关注时间步骤：

(j)用Sim(K_o，K₁)来表示关键帧图像K₀和关键帧图像K₁之间的相似度，同时Sim(K_o，K₁)∈[0，1]，在计算两个关键帧图像的相似度之前，将它们的图像尺寸归一化为同样大小；

(k)把每个已通过眼球跟踪获取到用户关注时间的关键帧图像样本集表示为{t_att(u，K_i)|i＝1，...n}，其中n是当前用户关注过的关键帧图像的个数，关注过的关键帧图像表示为K_i(i＝1，...，n)，当用户遇到一个新的视频V_x的时候，设V_x由矩形关键帧图像K₁(x)，K₂(x)...K_m(x)构成，对其中每个关键帧图像K_j(x)和样本集中的所有关键帧图像进行相似度计算，挑选出k个具有最高相似度的图像，把k设为min(10，m)，挑选出来的图像为K_i(i＝1，...，k)，用以下这个公式来预测K_j(x)的用户关注时间，

$t_{\mathrm{att}}(u,K_j\left(x\right))=\frac{{\mathrm{\Σ}}_{i=1}^k\left(t_{\mathrm{att}}^{\inf }(u,K_i){\mathrm{Sim}}^{\mathrm{\γ}}(K_j\left(x\right),K_i)\mathrm{\δ}(K_j\left(x\right),K_i)\right)}{{\mathrm{\Σ}}_{i=1}^k\left({\mathrm{Sim}}^{\mathrm{\γ}}(K_j\left(x\right),K_i)\mathrm{\δ}(K_j\left(x\right),K_i)\right)+\mathrm{\ϵ}}$

其中γ用来控制Sim(，)的值占多的比重，ε是一个很小的正整数用来防止表达式的分母为0，函数δ(，)用来去除一些相似度非常低的图像，它被定义为:

$\mathrm{\δ}(K_j\left(x\right),K_i)=\left\{\begin{array}{cc}1& \mathrm{If}{\mathrm{Sim}}^{\mathrm{\γ}}(K_j\left(x\right),K_i)>0.01\\ 0& \mathrm{Otherwise}\end{array}\right..$

6.根据权利要求1所述的一种基于眼球跟踪的网络视频个性化搜索方法，其特征在于所述的对未知网络视频，通过该视频各关键帧的用户关注时间，计算该视频的用户关注时间步骤：

(1)计算未知网络视频V_x的用户关注时间，使用如下公式：

$t_{\mathrm{att}}(u,V_x)={\mathrm{\Σ}}_{K_j\left(x\right)\∈V_x}{t}_{\mathrm{att}}(u,K_j\left(x\right)).$

7.根据权利要求1所述的一种基于眼球跟踪的网络视频个性化搜索方法，其特征在于所述的利用用户关注时间结合传统搜索技术生成个性化的网络视频搜索结果步骤：

(m)当用户提交一个查询请求时，服务端首先将查询重定向至传统搜索引擎，并获得返回的前n个网络视频，对于返回的每个页面，系统将在该用户的样本集中查找k个与视频相似度最高的样本，并用步骤(1)中的方法预测该网络视频的关注时间；

(n)对于传统的排序，系统会生成一个关注时间偏差，那就是在传统排序中，排名越高的视频，获得更高的关注时间偏差，用如下公式定义这个偏差

$t_{\mathrm{atten}}^{\mathrm{offset}}\left(i\right)=\frac{2\exp (-{\mathrm{\κ}}_d\·\mathrm{rank}\left(i\right))}{1+\exp (-{\mathrm{\κ}}_d\·\mathrm{rank}\left(i\right))}$

其中rank(i)表示的视频i在传统网络视频搜索引擎的排序的排名，参数κ_d用来控制关注时间随排名下降的坡度；

(o)从视频i的关注时间t_atten(i)和偏差

获得视频i的全局关注时间： $t_{\mathrm{atten}}^{\mathrm{overall}}\left(i\right)={\mathrm{\κ}}_{\mathrm{overall}}{t}_{\mathrm{atten}}\left(i\right)+t_{\mathrm{atten}}^{\mathrm{offset}}\left(i\right),$ 参数κ_overall是一个用户变量，用来控制该用户希望个性化的排名占的比重；

(p)最终排序将按照总关注时间的倒序排列，生成搜索结果。

Images