发明内容
本发明的目的在于提出一种基于词网络的视频播放量预估方法及装置,改善搜索聚集效应的带来的播放集中问题,增加搜索引擎的多样性。
为达此目的,本发明采用以下技术方案:
一种基于词网络的视频播放量预估方法,包括如下步骤:
查询串及视频标题收集步骤S110;查询一段时间内搜索记录,筛选出每个查询后有点击观看的查询记录,得到查询串以及对应的视频标题;
词网络的状态转移矩阵初始化步骤S120,包括:
查询串切分子步骤S121:切分查询串,相同的词对应同一个源状态ID,不同的词标记为不同的源状态ID,所有词对应的源状态ID构成了源状态集合,每个源状态ID还记录该词的出现频次;
视频标题切分子步骤S122:切分查询后点击的视频标题,相同的词对应同一个目的状态ID,不同的词标记为不同的目的状态ID,所有词对应的目的状态ID构成了目的状态集合,每个目的状态ID也记录该词的出现频次;
构造状态转移矩阵子步骤S123: 以所有的源状态ID作为状态转移矩阵的列,以所有的目的状态ID作为状态转移矩阵的行,矩阵中每个单元,[x,y],表示源状态ID x到相应目的状态ID y的转移强度,初始化所述初始状态转移矩阵的所有单元值为1,即认为每个源状态可能转移到每个目的状态,且这个转移强度为1,表示很弱的转移关系;
状态转移矩阵强化步骤S130:遍历查询串及视频标题收集步骤中得到的每条查询串和对应的视频标题,使用查询串和对应的视频标题增强所述状态转移矩阵中的转移强度,其中对于每一查询串及对应的视频标题的强化具体包括:
源状态ID序列生成子步骤S131:切分查询串,相同的词只算一次出现,得到包含m个词序列,查询每个词对应的源状态ID,得到源状态ID序列;
目的状态ID序列生成子步骤S132:切分所述查询串对应的视频标题,相同的词只算一次出现,得到含有n个词的序列,查询每个词对应的目的状态ID,得到目的状态序列;
转移强度增强子步骤S133:对于所述源状态ID序列中每个源状态ID,遍历得到的所述目的状态ID序列每个目的状态ID,修改状态转移矩阵的单元[源状态ID, 目的状态ID]的值为原值加1/m,增强源状态ID对应的源词的状态到目的状态ID对应的目的词的转移强度;
新视频播放量预估步骤S140:对于一个新视频,切分所述新视频的标题得到含有g个词的新视频词序列,相同的词只算一次出现,根据公式词的不同顺序并不影响最终结果,在目的状态集合中查询其对应的新视频词ID序列为( T1, T2, ..., Tg),对于每个新视频词ID Ti,i=1..g,找到在所述状态转移矩阵中以Ti为目的状态的转移强度,即在所述状态转移矩阵中Ti所对应的一列中所有的转移强度,将所述一列中所有的转移强度与阈值TH比较,累加所有大于TH的以Ti为目标状态的转移强度,得到所述新视频词ID Ti的新视频词播放量贡献度PTi,然后根据公式(1)对所述新视频词播放量贡献度PTi进行加权,得到加权新视频词播放量贡献度NPTi,
(1)
其中ND(Ti)表示词Ti在目的状态ID中的词频,NS(Ti)表示Ti在源状态ID中的词频,
累加所有的所述加权新视频词播放量贡献度NPTi,得到该新视频的预估播放量。
优选地,所述查询串及视频标题收集步骤具体为,遍历一段时间内服务器的搜索日志,筛选出每个查询后有点击的查询记录,提取出查询串和该查询过程中有点击观看的视频ID记录,遍历每条查询串和该查询点击的视频ID记录,根据视频ID记录去视频信息库中取出视频ID对应的视频的标题,将查询串和查询点击的视频ID记录转换为查询串和查询后点击观看的视频标题的记录。
优选地,所述一段时间为最近100天内。
优选地,所述阈值TH为选择所述状态转移矩阵中所有转移强度的中位数。进一步优选地,
所述阈值TH在所述中位数的基础上,进行人工调整。
本发明还公开了一种基于词网络的视频播放量预估装置,包括如下单元:
查询串及视频标题收集单元;查询一段时间内搜索记录,筛选出每个查询后有点击观看的查询记录,得到查询串以及对应的视频标题;
词网络的状态转移矩阵初始化单元,包括:
查询串切分子单元:切分查询串,相同的词对应同一个源状态ID,不同的词标记为不同的源状态ID,所有词对应的源状态ID构成了源状态集合,每个源状态ID还记录该词的出现频次;
视频标题切分子单元:切分查询后点击的视频标题,相同的词对应同一个目的状态ID,不同的词标记为不同的目的状态ID,所有词对应的目的状态ID构成了目的状态集合,每个目的状态ID也记录该词的出现频次;
构造状态转移矩阵子单元: 以所有的源状态ID作为状态转移矩阵的列,以所有的目的状态ID作为状态转移矩阵的行,矩阵中每个单元,[x,y],表示源状态ID x到相应目的状态ID y的转移强度,初始化所述初始状态转移矩阵的所有单元值为1,即认为每个源状态可能转移到每个目的状态,且这个转移强度为1,表示很弱的转移关系;
状态转移矩阵强化单元:遍历查询串及视频标题收集单元中得到的每条查询串和对应的视频标题,使用查询串和对应的视频标题增强所述状态转移矩阵中的转移强度,其中对于每一查询串及对应的视频标题的强化具体包括:
源状态ID序列生成子单元:切分查询串,相同的词只算一次出现,得到包含m个词序列,查询每个词对应的源状态ID,得到源状态ID序列;
目的状态ID序列生成子单元:切分所述查询串对应的视频标题,相同的词只算一次出现,得到含有n个词的序列,查询每个词对应的目的状态ID,得到目的状态序列;
转移强度增强子单元:对于所述源状态ID序列中每个源状态ID,遍历得到的所述目的状态ID序列每个目的状态ID,修改状态转移矩阵的单元[源状态ID, 目的状态ID]的值为原值加1/m,增强源状态ID对应的源词的状态到目的状态ID对应的目的词的转移强度;
新视频播放量预估单元:对于一个新视频,切分所述新视频的标题得到含有g个词的新视频词序列,相同的词只算一次出现,根据公式词的不同顺序并不影响最终结果,在目的状态集合中查询其对应的新视频词ID序列为( T1, T2, ..., Tg),对于每个新视频词ID Ti,i=1..g,找到在所述状态转移矩阵中以Ti为目的状态的转移强度,即在所述状态转移矩阵中Ti所对应的一列中所有的转移强度,将所述一列中所有的转移强度与阈值TH比较,累加所有大于TH的以Ti为目标状态的转移强度,得到所述新视频词ID Ti的新视频词播放量贡献度PTi,然后根据公式(1)对所述新视频词播放量贡献度PTi进行加权,得到加权新视频词播放量贡献度NPTi,
其中ND(Ti)表示词Ti在目的状态ID中的词频,NS(Ti)表示Ti在源状态ID中的词频,
累加所有的所述加权新视频词播放量贡献度NPTi,得到该新视频的预估播放量。
优选地,所述查询串及视频标题收集单元具体为,遍历一段时间内服务器的搜索日志,筛选出每个查询后有点击的查询记录,提取出查询串和该查询过程中有点击观看的视频ID记录,遍历每条查询串和该查询点击的视频ID记录,根据视频ID记录去视频信息库中取出视频ID对应的视频的标题,将查询串和查询点击的视频ID记录转换为查询串和查询后点击观看的视频标题的记录。
优选地,所述一段时间为最近100天内。
优选地,所述阈值TH为选择所述状态转移矩阵中所有转移强度的中位数。进一步优选地,所述阈值TH在所述中位数的基础上,进行人工调整。
因此,根据本发明的视频播放量预估方法和系统,通过查询串和查询后播放数据得到词网络的状态转移矩阵,使用状态转移矩阵预估新视频的播放量权重,通过预估新视频播放量提高结果多样性。这样,能够改善搜索聚集效应的带来的播放集中问题,能够通过与新视频相关老视频的播放推动新视频的预估播放量,提高新视频的曝光率,增加引擎结果的多样性,同时能够保证新视频的相关性。因为引入和新视频标题词数有关的阈值,能够避免包含很多热点词的新视频被过度提升。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
本发明的考虑了在一段时间内所查询的查询串和所播放的视频之间的关系,构造查询串和播放视频标题词之间的状态转移网络,来计算新视频的预估播放量。具体而言,首先得到一段时间内的查询串集合和播放视频标题集合。然后,处理查询串集合得到源词状态集合,处理播放视频标题集合得到目的词状态集合。接着,根据查询后的播放记录计算源词状态集合中各个词向目的词状态集合中各个词的转移概率。最后,对每个新视频根据该视频的标题中包含的词计算其预估播放量。
这样,能够有效地利用用户的查询串与播放视频之间的关系,并且查询串仅仅统计最近一段时间的查询串,保证了播放预估量能体现最新的用户需求,或者网站的流行趋势,提高了时效性。
实施例1:
参见图1,公开了根据本发明的视频播放量预估方法的流程图,其包括如下步骤:
查询串及视频标题收集步骤S110;查询一段时间内搜索记录,筛选出每个查询后有点击观看的查询记录,得到查询串以及对应的视频标题。
具体的,该步骤遍历近100天内服务器的搜索日志,筛选出每个查询后有点击的查询记录,提取出查询串和该查询过程中有点击观看的视频ID记录,遍历每条查询串和该查询点击的视频ID记录,根据视频ID记录去视频信息库中取出视频ID对应的视频的标题,将查询串和查询点击的视频ID记录转换为查询串和查询后点击观看的视频标题的记录。
词网络的状态转移矩阵初始化步骤S120,包括:
查询串切分子步骤S121:切分查询串,例如,利用切词的方法切割查询串,相同的词对应同一个源状态ID,不同的词标记为不同的源状态ID。所有词对应的源状态ID构成了源状态集合,每个源状态ID还记录该词的出现频次;
视频标题切分子步骤S122:切分查询后点击的视频标题,例如,利用切词的方法切割视频标题,相同的词对应同一个目的状态ID,不同的词标记为不同的目的状态ID,所有词对应的目的状态ID构成了目的状态集合,每个目的状态ID也记录该词出现的频次;
构造状态转移矩阵子步骤S123: 以所有的源状态ID作为状态转移矩阵的列,以所有的目的状态ID作为状态转移矩阵的行,矩阵中每个单元,[x,y],表示源状态ID x到相应目的状态ID y的转移强度,初始化所述初始状态转移矩阵的所有单元值为1,即认为每个源状态可能转移到每个目的状态,且这个转移强度为1,表示很弱的转移关系。
所述状态转移矩阵强化步骤S130:遍历查询串及视频标题收集步骤中得到的每条查询串和对应的视频标题,使用查询串和对应的视频标题增强所述状态转移矩阵中的转移强度,其中对于每一查询串及对应的视频标题的强化具体包括:
源状态ID序列生成子步骤S131:切分查询串,例如,利用切词的方法切割查询串,得到包含m个词序列(W1, W2, ... Wm),查询每个词对应的源状态ID,相同的词只算一次出现,且词的顺序并不影响计算结果,得到源状态ID序列;
目的状态ID序列生成子步骤S132:切分所述查询串对应的视频标题,例如,利用切词的方法切割视频标题,得到含有n个词的序列(B1, B2, ... Bn),相同的词只算一次出现,查询每个词对应的目的状态ID,得到目的状态序列;
转移强度增强子步骤S133:对于所述源状态ID序列中每个源状态ID,遍历得到的所述目的状态ID序列每个目的状态ID,修改状态转移矩阵的单元[源状态ID, 目的状态ID]的值为原值加1/m,增强源状态ID对应的源词的状态到目的状态ID对应的目的词的转移强度;
也就是说从子步骤S131到子步骤S133中,由每个查询串所对应的每个源状态ID分别对所述查询串所对应的视频标题的中所有的目的状态ID进行转移强度的强化。当遍历完每个查询串所包含的源状态ID后,完成一条查询串的转移强度的强化。然后按此方法遍历所有的查询串,完成整个的状态转移矩阵的强化。
新视频播放量预估步骤S140:对于一个新视频,切分所述新视频的标题得到含有g个词的新视频词序列,相同的词只算一次出现,且词的顺序并不影响计算结果,在目的状态集合中查询其对应的新视频词ID序列为( T1, T2, ..., Tg),对于每个新视频词ID Ti,i=1..g,找到在所述状态转移矩阵中以词ID Ti为目的状态的转移强度,也就是在所述状态转移矩阵中词ID Ti所对应的一列中所有的转移强度,将所述一列中所有的转移强度与阈值TH比较,累加所有大于TH的以Ti为目标状态的转移强度,得到该新视频词ID Ti的新视频词播放量贡献度PTi,然后根据公式(1)对所述新视频词播放量贡献度PTi进行加权,得到加权新视频词播放量贡献度NPTi,
其中ND(Ti)表示词Ti在目的状态ID中的词频,NS(Ti)表示Ti在源状态ID中的词频,
累加所有的所述加权新视频词播放量贡献度NPTi,得到该新视频的预估播放量。
所述阈值TH选取的方法为选择所述状态转移矩阵中所有转移强度的中位数,进一步的优选地,可以所述中位数的基础上,根据实验进行人工调整,以获得最佳的效果。
可见,本方法能够有效地利用用户的查询串与播放视频之间的关系,通过查询串和查询后播放数据,即视频标题得到词网络的状态转移矩阵,使用状态转移矩阵预估新视频的播放量权重,通过预估新视频播放量提高结果多样性。这样,能够改善搜索聚集效应的带来的播放集中问题,能够通过与新视频相关老视频的播放推动新视频的预估播放量,提高新视频的曝光率,增加引擎结果的多样性,同时能够保证新视频的相关性。因为引入和新视频标题词数有关的阈值,能够避免包含很多热点词的新视频被过度提升。
实施例2:
本实施例中具体公开了查询的步骤。
假定有如下查询和查询后播放视频标题,应当知道这仅仅为示例:
对这四条记录,逐个切分得到切词结果,每条记录都带上源状态和目的状态序列。
统计源状态集合中每个词出现的频次,得到:
统计目的状态集合中每个词出现的频次,得到:
在根据切分后的查询串和播放视频标题记录构造词网络的状态转移矩阵,在这里仅仅选取了部分词频较高的词。应当知道,词频较低的词在最后的计算中由于其的转移强度与阈值TH比较较小而被舍去,因此在下表中不再予以体现。
例如,对于状态转移矩阵中的[四川,四川]中的数值,也就是转移强度包括4部分。初始化转移强度时得到的1。查询串“四川地震最新消息”被切分为了4个词,因此在此条中,源词“四川”对于视频标题中的目标词“四川”的转移强度为1/4。查询串“四川卫视”被切分为了2个词,因此在此条中,源词“四川”对于视频标题中的目标词“四川”的转移强度为1/2。查询串“四川雅安地震瞬间锦集”被切分为了5个词,因此在此条中,源词“四川”对于视频标题中的目标词“四川”的转移强度为1/5。查询串“基金”所对应的播放的视频标题中不包含“四川”,因此,对目标词“四川”的转移强度为0。因此,[四川,四川]的转移强度为1+1/4+1/2+1/5=1.95。
对于如下新视频:
雅安地震救灾消息
壹基金参与雅安地震救援
进行切分标记后得到:
1、雅安/D2 地震/D3 救灾/D8 消息/D4
2、壹/D19 基金/D5 参与/D22 雅安/D2 地震/D3 救援/D7
在该步骤中,如果出现相同的词,只算一次出现,不同词的顺序并不影响计算结果。
定义阈值TH为1.23,阈值TH的选取采用以状态转移矩阵的中位数做参考,即所有值排序后,中间值为1.2,人工调整后得到1.23。对每个目的状态词计算其PTi:
PT雅安=(1.95+1.45+2+1.25)=6.65
PT地震=(1.45+1.45+2+1.25)=6.15
PT救灾=(2)=2
PT消息=(1.25+1.25+1.25)=3.75
PT壹=(2)=2
PT基金=(2)=2
PT参与=(0)=0
PT救援=(2)=2
修正后的计算:
PT雅安=(1.95+1.45+2+1.25)/5*(1+ln(1+5/3))=6.65/5*(1+ln(1+5/3))=1.13*1.98=2.24
PT地震=(1.45+1.45+2+1.25)/3*(1+ln(1+3/2))=6.15/3*(1+ln(1+3/2))=2.05*1.92=3.94
PT救灾=(2)/1*(1+ln(1))=2/1*(1+ln(1))=2
PT消息=(1.25+1.25+1.25)/1*(1+ln(1))=3.75/1=3.75
PT壹=(2)/1*(1+ln(1))=2/1*(1+ln(1))=2
PT基金=(2)/1*(1+ln(1))=2/1*(1+ln(1))=2
PT参与=(0)/1*(1+ln(1))=0/1*(1+ln(1))=0
PT救援=(2)/1*(1+ln(1))=2/1*(1+ln(1))=2
可见,如果一个词没有对应的目的状态(即在目的状态集合中没有该词,该词在目的状态出现次数为0),则其计算出来的PT权重为0。
再分别得到两个视频标题的预估分值:
1、PT雅安+PT地震+PT救灾+PT消息=2.24+3.94+2+3.75=11.93
2、PT壹+PT基金+PT参与+PT雅安+PT地震+PT救援=2+2+0+2.24+3.94+2=12.18
可以看到第二个视频比第一个视频得到的分值高,是因为其所含有效信息多,也表明对于查询“雅安地震”,第二个结果能够提高搜索结果的多样性。
实施例3:
本发明还公开了一种基于词网络的视频播放量预估装置,其包括如下单元:
查询串及视频标题收集单元210;查询一段时间内搜索记录,筛选出每个查询后有点击观看的查询记录,得到查询串以及对应的视频标题;
词网络的状态转移矩阵初始化单元220,包括:
查询串切分子单元221:切分查询串,相同的词对应同一个源状态ID,不同的词标记为不同的源状态ID,所有词对应的源状态ID构成了源状态集合,每个源状态ID还记录该词的出现频次;
视频标题切分子单元222:切分查询后点击的视频标题,相同的词对应同一个目的状态ID,不同的词标记为不同的目的状态ID,所有词对应的目的状态ID构成了目的状态集合,每个目的状态ID也记录该词的出现频次;
构造状态转移矩阵子单元223: 以所有的源状态ID作为状态转移矩阵的列,以所有的目的状态ID作为状态转移矩阵的行,矩阵中每个单元,[x,y],表示源状态ID x到相应目的状态ID y的转移强度,初始化所述初始状态转移矩阵的所有单元值为1,即认为每个源状态可能转移到每个目的状态,且这个转移强度为1,表示很弱的转移关系;
状态转移矩阵强化单元230:遍历查询串及视频标题收集单元中得到的每条查询串和对应的视频标题,使用查询串和对应的视频标题增强所述状态转移矩阵中的转移强度,其中对于每一查询串及对应的视频标题的强化具体包括:
源状态ID序列生成子单元231:切分查询串,相同的词只算一次出现,得到包含m个词序列,查询每个词对应的源状态ID,得到源状态ID序列;
目的状态ID序列生成子单元232:切分所述查询串对应的视频标题,相同的词只算一次出现,得到含有n个词的序列,查询每个词对应的目的状态ID,得到目的状态序列;
转移强度增强子单元233:对于所述源状态ID序列中每个源状态ID,遍历得到的所述目的状态ID序列每个目的状态ID,修改状态转移矩阵的单元[源状态ID, 目的状态ID]的值为原值加1/m,增强源状态ID对应的源词的状态到目的状态ID对应的目的词的转移强度;
新视频播放量预估单元240:对于一个新视频,切分所述新视频的标题得到含有g个词的新视频词序列,相同的词只算一次出现,根据公式词的不同顺序并不影响最终结果,在目的状态集合中查询其对应的新视频词ID序列为( T1, T2, ..., Tg),对于每个新视频词ID Ti,i=1..g,找到在所述状态转移矩阵中以Ti为目的状态的转移强度,即在所述状态转移矩阵中Ti所对应的一列中所有的转移强度,将所述一列中所有的转移强度与阈值TH比较,累加所有大于TH的以Ti为目标状态的转移强度,得到所述新视频词ID Ti的新视频词播放量贡献度PTi,然后根据公式(1)对所述新视频词播放量贡献度PTi进行加权,得到加权新视频词播放量贡献度NPTi,
(1)
其中ND(Ti)表示词Ti在目的状态ID中的词频,NS(Ti)表示Ti在源状态ID中的词频,
累加所有的所述加权新视频词播放量贡献度NPTi,得到该新视频的预估播放量。
优选地,所述查询串及视频标题收集单元具体为,遍历一段时间内服务器的搜索日志,筛选出每个查询后有点击的查询记录,提取出查询串和该查询过程中有点击观看的视频ID记录,遍历每条查询串和该查询点击的视频ID记录,根据视频ID记录去视频信息库中取出视频ID对应的视频的标题,将查询串和查询点击的视频ID记录转换为查询串和查询后点击观看的视频标题的记录。
优选地,所述一段时间为最近100天内。
优选地,所述阈值TH为选择所述状态转移矩阵中所有转移强度的中位数,进一步优选地,所述阈值TH在所述中位数的基础上,进行人工调整。
本装置能够有效地利用用户的查询串与播放视频之间的关系,通过查询串和查询后播放数据,即视频标题得到词网络的状态转移矩阵,使用状态转移矩阵预估新视频的播放量权重,通过预估新视频播放量提高结果多样性。这样,能够改善搜索聚集效应的带来的播放集中问题,能够通过与新视频相关老视频的播放推动新视频的预估播放量,提高新视频的曝光率,增加引擎结果的多样性,同时能够保证新视频的相关性。因为引入和新视频标题词数有关的阈值,能够避免包含很多热点词的新视频被过度提升。
显然,本领域技术人员应该明白,上述的本发明的各单元或各步骤可以用通用的计算装置来实现,它们可以集中在单个计算装置上,可选地,他们可以用计算机装置可执行的程序代码来实现,从而可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件的结合。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施方式仅限于此,对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单的推演或替换,都应当视为属于本发明由所提交的权利要求书确定保护范围。