CN106227793A - 一种视频与视频关键词相关度的确定方法及装置 - Google Patents

一种视频与视频关键词相关度的确定方法及装置 Download PDF

Info

Publication number
CN106227793A
CN106227793A CN201610576541.8A CN201610576541A CN106227793A CN 106227793 A CN106227793 A CN 106227793A CN 201610576541 A CN201610576541 A CN 201610576541A CN 106227793 A CN106227793 A CN 106227793A
Authority
CN
China
Prior art keywords
video
key word
list
vector
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610576541.8A
Other languages
English (en)
Other versions
CN106227793B (zh
Inventor
刘荣
罗川
王晓龙
赵磊
单明辉
尹玉宗
姚键
潘柏宇
王冀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
1Verge Internet Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 1Verge Internet Technology Beijing Co Ltd filed Critical 1Verge Internet Technology Beijing Co Ltd
Priority to CN201610576541.8A priority Critical patent/CN106227793B/zh
Publication of CN106227793A publication Critical patent/CN106227793A/zh
Application granted granted Critical
Publication of CN106227793B publication Critical patent/CN106227793B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的主要目的在于提供一种视频与视频关键词相关度的确定方法及装置,以解决目前无法确定视频与视频对应的关键词的匹配度的问题,其中,视频与视频关键词相关度的确定方法包括:根据用户对视频的观看行为,获取与用户相关的视频信息,根据视频信息生成相关视频列表;获取相关视频列表中的视频对应的关键词;以视频列表中的视频与关键词为训练目标使用神经网络模型在同一维度进行协同训练;输出协同训练的结果;根据协同训练的结果确定视频与关键词的相关度,该方案能够确定出视频与其对应的关键词的相关度,且能够使得视频的关键词与用户行为相关。

Description

一种视频与视频关键词相关度的确定方法及装置
技术领域
本发明涉及网络视频领域,尤其涉及一种视频与视频关键词相关度的确定方法及装置。
背景技术
在互联网时代,特别是移动互联网时代,如何有效的为用户推荐用户感兴趣的视频显得尤为重要。在视频的个性化推荐领域和视频解释领域,有效的视频与兴趣词(关键词)的计算可以快速对视频进行文字信息的解释以及用户兴趣的匹配,从而为用户快速的匹配和推荐其兴趣的视频。目前视频与兴趣词匹配度的计算主要是通过视频标题的关键词的词频信息进行度量,如通过视频标题关键词的IF(Term Frequency,词频)和IDF(inversedocument frequency,逆向文件频率)信息表征该关键词与视频的相关度。此方法假设视频标题唯一表征了视频的所有信息,但是在人为给视频进行标题描述时,关键词很难覆盖大多数人对这个视频的认知或关键词不具有信息扩展性。例如,视频本身讲述了猫和狗的内容,视频上传者只给视频添加上了猫的关键词,但是没有狗的关键词,该视频也就与狗没有相关性。因此,如何有效的计算视频与兴趣词的显性和隐性的相关性,显得尤为重要。现有的视频与兴趣词的计算方法的具有以下缺点:
1)、现有的视频与兴趣词的计算区分性小且受噪声影响大,目前的方法利用标题关键词的TF和IDF信息进行度量,如果关键词与视频的信息不符且TF和IDF值大,会给视频和兴趣词计算带来噪声,并且关键词词频信息的描述覆盖度小,无法充分描述视频。
2)、现有的视频与关键词的计算缺乏用户行为的维度信息,目前的方法只考虑视频上传者对视频的标题描述,没有考虑由于用户观看行为产生的视频描述和聚类信息,缺乏视频用户行为信息。
3)、现有的视频与关键词不在同一维度表示,缺乏共享信息。目前的方法只是单一的考虑文本信息,视频和文本为两个不同的空间描述,两个对象的计算不存在共享信息。
发明内容
本发明的主要目的在于提供一种视频与视频关键词相关度的确定方法及装置,以解决目前无法确定视频与视频对应的关键词的匹配度的问题。
根据本发明的一个方面,提供了一种视频与视频关键词相关度的确定方法,该方法包括:根据用户对视频的观看行为,获取与用户相关的视频信息,根据视频信息生成相关视频列表;获取相关视频列表中的视频对应的关键词;以视频列表中的视频与关键词为训练目标使用神经网络模型在同一维度进行协同训练;输出协同训练的结果;根据协同训练的结果确定视频与关键词的相关度。
其中,根据用户对视频的观看行为,获取与用户相关的视频信息,根据视频信息生成相关视频列表,包括:从日志文件中获取用户在预设时间段内观看、订阅、以及参与评论的视频信息,将该视频信息作为与用户相关的视频信息;根据视频信息生成候选视频列表;将候选视频列表中的视频按照时间进行排序;将候选视频列表中重复的视频敏感的视频、以及观看完成度小于预设百分比的视频删除;得到用户的相关视频列表。
其中,以视频列表中的视频与关键词为训练目标使用神经网络模型在同一维度进行协同训练,包括:将初始化的视频的向量和初始化的关键词的词向量作为神经网络模型的输入层;将输入层的视频的向量进行求和后再进行非线性变换得到的对象作为神经网络模型的映射层;神经网络模型的输出层用于输出神经网络模型和优化目标,使用最大似然估计算法得到优化的标的计算公式为:
E ( v k , w j - 2 , w j - 1 , w j + 1 , w j + 2 ) = &Sigma; - c < t < c , t &NotEqual; 0 log p ( w j | w j + t , v k ) - - - ( 1 )
p ( w j | w k ) = e ( H ( w j ) T &CenterDot; H ( w k ) ) &Sigma; m = 1 M e ( H ( w m ) T &CenterDot; H ( w j ) )
p ( w j | v k ) = e ( H ( w j ) T &CenterDot; H ( v k ) ) &Sigma; m = 1 M e ( H ( v m ) T &CenterDot; H ( w j ) ) - - - ( 2 )
其中,wj是关键词,vk为视频列表中的视频,Hw为关键词的向量,Hv为视频的向量,E为神经网络模型中最大化的函数,表征视频列表中的视频。
其中,输出协同训练的结果,包括:获取训练完成的神经网络模型;通过对神经网络模型的解析,得到相关视频列表中每个视频对应的视频向量和每个关键词对应的词向量。
其中,根据协同训练的结果确定视频与关键词的相关度,包括:采用余弦距离公式(3)计算视频与关键词之间的距离,使用计算出的距离表征视频与关键词之间的相关度;
s c o r e ( v k , w i ) = H ( v k ) &CenterDot; H ( w j ) | H ( v k ) | &times; | H ( w j ) | - - - ( 3 )
其中,wj表示关键词,vk表示视频列表中的视频,Hw表示关键词的向量,Hv表示视频的向量。
根据本发明的另一个方面,提供了一种视频与视频关键词相关度的确定装置,包括:生成模块,用于根据用户对视频的观看行为,获取与用户相关的视频信息,根据视频信息生成相关视频列表;获取模块,用于获取相关视频列表中的视频对应的关键词;训练模块,用于以视频列表中的视频与关键词为训练目标使用神经网络模型在同一维度进行协同训练;输出模块,用于输出协同训练的结果;确定模块,用于根据协同训练的结果确定视频与关键词的相关度。
其中,上述生成模块包括:第一获取单元,用于从日志文件中获取用户在预设时间段内观看、订阅、以及参与评论的视频信息,将该视频信息作为与用户相关的视频信息;生成单元,用于根据视频信息生成候选视频列表;排序单元,用于将候选视频列表中的视频按照时间进行排序;删除单元,用于将候选视频列表中重复的视频敏感的视频、以及观看完成度小于预设百分比的视频删除,得到用户的相关视频列表。
其中,上述训练模块包括:第一输入单元,用于将初始化的视频的向量和初始化的关键词的词向量作为神经网络模型的输入层;变换单元,将输入层的视频的向量进行求和后再进行非线性变换得到的对象作为神经网络模型的映射层;第二输入单元,神经网络模型的输出层用于输出神经网络模型和优化目标,使用最大似然估计算法得到优化的标的计算公式为:
E ( v k , w j - 2 , w j - 1 , w j + 1 , w j + 2 ) = &Sigma; - c < t < c , t &NotEqual; 0 log p ( w j | w j + t , v k ) - - - ( 1 )
p ( w j | w k ) = e ( H ( w j ) T &CenterDot; H ( w k ) ) &Sigma; m = 1 M e ( H ( w m ) T &CenterDot; H ( w j ) )
p ( w j | v k ) = e ( H ( w j ) T &CenterDot; H ( v k ) ) &Sigma; m = 1 M e ( H ( v m ) T &CenterDot; H ( w j ) ) - - - ( 2 )
其中,wj是关键词,vk为视频列表中的视频,Hw为关键词的向量,Hv为视频的向量,E为神经网络模型中最大化的函数,表征视频列表中的视频。
其中,上述输出模块包括:第二获取单元,用于获取训练完成的神经网络模型;
解析单元,用于通过对神经网络模型的解析,得到相关视频列表中每个视频对应的视频向量和每个关键词对应的词向量。
其中,上述确定模块具体用于:采用余弦距离公式(3)计算视频与关键词之间的距离,使用计算出的距离表征视频与关键词之间的相关度;
s c o r e ( v k , w i ) = H ( v k ) &CenterDot; H ( w j ) | H ( v k ) | &times; | H ( w j ) | - - - ( 3 )
其中,wj表示关键词,vk表示视频列表中的视频,Hw表示关键词的向量,Hv表示视频的向量。本发明有益效果如下:
本发明实施例提供的方案,根据用户对视频的观看行为获取用户感兴趣的视频列表,并获取用户感兴趣的视频对应的关键词,根据用户感兴趣的视频以及视频对应的关键词在同一空间内进行训练,得到用户感兴趣的视频的向量以及视频对应的关键词的向量,根据视频的向量以及与视频对应的关键词的向量计算二者的相关度,该方法能够确定出视频与其对应的关键词的相关度,且能够使得视频的关键词与用户行为相关。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例1提供的视频与视频关键词相关度的确定方法的流程图;
图2是本发明实施例2中上下文视频列表与兴趣词获取模块所执行的流程的流程图;
图3是本发明实施例2中视频与兴趣词的协同训练模块所执行的流程的流程图;
图4是本发明实施例2中视频与兴趣词向量的获取模块所执行的流程的流程图;
图5是本发明实施例3提供的种视频与视频关键词相关度的确定装置的结构框图。
具体实施方式
为了解决现有技术在无法确定视频与视频对应的关键词的匹配度的问题,本发明提供了一种视频与视频关键词相关度的确定方法及装置,以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不限定本发明。
实施例1
本实施例提供了一种视频与视频关键词相关度的确定方法,图1是该方法的流程图,如图1所示,该方法包括如下步骤:
步骤101:根据用户对视频的观看行为,获取与用户相关的视频信息,根据视频信息生成相关视频列表;
在本实施例中,根据用户对视频的观看行为,获取与用户相关的视频信息,根据视频信息生成相关视频列表具体可以包括:
从日志文件中获取用户在预设时间段内观看、订阅、以及参与评论的视频信息,在本实施例中,视频的信息具体包括但不限于视频的编号,视频的名称等,将该视频信息作为与用户相关的视频信息;根据视频信息生成候选视频列表;将候选视频列表中的视频按照时间进行排序;将候选视频列表中重复的视频敏感的视频、以及观看完成度小于预设百分比(例如,50%)的视频删除;得到用户的相关视频列表。此外,还可以直接将获取到的用户在预设时间段内观看、订阅以及参与评论(例如,在某个视频的评论栏中选择顶或踩,点赞等评论方式)的视频直接生成用户相关视频列表,在生成的过程中重复的视频只记录一次。
步骤102:获取相关视频列表中的视频对应的关键词;
在该步骤102中,关键词(也称兴趣词)可以是预先为视频设置的与视频主题相关的关键词,也可以从视频的描述信息中提取。
步骤103:以视频列表中的视频与关键词为训练目标使用神经网络模型在同一维度进行协同训练;
以视频列表中的视频与关键词为训练目标使用神经网络模型在同一维度进行协同训练,具体可以包括:将初始化的视频的向量和初始化的关键词的词向量作为神经网络模型的输入层;将输入层的视频的向量进行求和后再进行非线性变换得到的对象作为神经网络模型的映射层;神经网络模型的输出层用于输出神经网络模型和优化目标,使用最大似然估计算法得到优化的标的计算公式为:
E ( v k , w j - 2 , w j - 1 , w j + 1 , w j + 2 ) = &Sigma; - c < t < c , t &NotEqual; 0 log p ( w j | w j + t , v k ) - - - ( 1 )
p ( w j | w k ) = e ( H ( w j ) T &CenterDot; H ( w k ) ) &Sigma; m = 1 M e ( H ( w m ) T &CenterDot; H ( w j ) )
p ( w j | v k ) = e ( H ( w j ) T &CenterDot; H ( v k ) ) &Sigma; m = 1 M e ( H ( v m ) T &CenterDot; H ( w j ) ) - - - ( 2 )
其中,wj是关键词,vk为视频列表中的视频,Hw为关键词的向量,Hv为视频的向量,E为神经网络模型中最大化的函数,表征视频列表中的视频。
步骤104:输出协同训练的结果;
在本实施例中,输出协同训练的结果,具体可以包括:
获取训练完成的神经网络模型;通过对神经网络模型的解析,得到相关视频列表中每个视频对应的视频向量和每个关键词对应的词向量。
步骤105:根据协同训练的结果确定视频与关键词的相关度。
在本实施例中,根据协同训练的结果确定视频与关键词的相关度具体可以包括:
采用余弦距离公式(3)计算视频与关键词之间的距离,使用计算出的距离表征视频与关键词之间的相关度;
s c o r e ( v k , w i ) = H ( v k ) &CenterDot; H ( w j ) | H ( v k ) | &times; | H ( w j ) | - - - ( 3 )
其中,wj表示关键词,vk表示视频列表中的视频,Hw表示关键词的向量,Hv表示视频的向量。
实施例2
本实施例提供了另一种视频与视频关键词相关度的确定方法,该方法首先要收集与用户相关的视频的序列列表,然后进行离线的协同训练和输出视频向量和兴趣词的词向量,最后通过输出的模型文件进行视频和兴趣词的相似度计算,该过程需要采用以下四个模块实体实现,上下文视频列表与兴趣词获取模块、视频与兴趣词协同训练模块、视频向量与词向量获取模块和视频与兴趣词相关度计算模块,以下结合这几个模块对该方法的具体实现进行说明:
上下文视频列表与兴趣词获取模块用于根据用户的观看行为,获取上下文视频列表(也称用户相关视频列表),生成用户Ui的相关序列视频列表UVi={Vi1,Vi2..ViN},同时获取该视频列表中的视频对应的关键词TUVi={TVi1,TVi2..TViM},TVi={Wi1,Wi2…WiN}。
视频与兴趣词协同训练模块,主要利用神经网络将视频与兴趣词放在同一维度进行协同训练,让视频与相近兴趣词在空间的表示上距离比较近。
视频向量与词向量获取模块,本模块将协同训练的结果解析输出,供视频与兴趣词的相关度计算模块使用。
视频与兴趣词的相关度计算模块,本模块主要是计算视频与兴趣词的相关度。
以下对上文提到的四个模块所执行的步骤进行进一步说明:
上下文视频列表与兴趣词获取模块:上下文视频列表的定义是视频列表内的视频在用户行为下具有相似的主题或隐含的视频。假设用户在T时间段内观看(评论、订阅和顶、踩)视频LUi={Vi1,Vi2…ViN},则LUi为用户Ui的一个上下文视频列表。如2图所示,该模块主要用于执行以下步骤:
201)、从日志文件中获取用户在时间T内观看、订阅、顶、踩等的视频信息,获取候选的上下文视频列表{V1,V2,..,VN}。
202)、将获取的候选上下文视频列表中的视频按照时间进行排序;
203)、为了去除上下文视频列表对训练的噪音影响,将重复的视频、敏感视频删除,并去除用户无效的观看行为,如观看完成比很小的视频等;
204)、获取筛选和排序好的上下文候选列表;
205)、获取上下文列表中的视频对应的兴趣词列表,具体地,每个视频id对应一个兴趣词列表,如视频V1对应兴趣词{W1,W2},W2对应兴趣词{W3,W4}。
视频与兴趣词的协同训练模块采用了可以处理复杂特征的神经网络模型,根据用户行为的特征和视频及兴趣词的关系,设计了与此相适应的神经网络模型,如图3所示,该模块主要用于执行以下步骤:
301)、输入层为H(Vj)视频向量和上下文视频列表中对应的兴趣词向量H(W)(其中H(Vj),H(W)可以是优选的初始视频向量以及兴趣词向量),根据训练需要选择上下文的长度,本实施例中优选长度为2,其中,视频向量H(Vj)的值在0-1之间进行选择,H(W)为兴趣词的词向量,且这两个向量同维度,该步骤主要是将视频向量和兴趣词向量编码在同一空间。
302)、映射层是将输入层的视频向量进行取和后进行非线性变换,公式如下:
f ( v k , w j - 2 , w j - 1 , w j + 1 , w j + 2 ) = g ( ( &Sigma; k = - 1 , k ! = 0 2 H ( w j - k ) ) + &lambda; H ( v k )
g ( x ) = 1 e - x
此过程中主要是获取视频Vj的向量和其上下文视频列表对应的关键词向量,输出的值为f(vk,wj-2,wj-1,wj+1,wj+2)。
303)输出层主要是模型的输出和优化的目标,在本发明中采用最大似然估计,优化目标公式为:
E ( v k , w j - 2 , w j - 1 , w j + 1 , w j + 2 ) = &Sigma; - c < t < c , t &NotEqual; 0 log p ( w j | w j + t , v k )
p ( w j | w k ) = e ( H ( w j ) T &CenterDot; H ( w k ) ) &Sigma; m = 1 M e ( H ( w m ) T &CenterDot; H ( w j ) )
p ( w j | v k ) = e ( H ( w j ) T &CenterDot; H ( v k ) ) &Sigma; m = 1 M e ( H ( v m ) T &CenterDot; H ( w j ) )
其中,E为本模型中最大化的函数,表征在统一上下文中的视频,视频的兴趣词和视频在空间中的位置相距的较近,在训练中采用随机梯度下降算法进行模型的更新和训练。
视频与兴趣词向量的获取模块,
模型协同训练完成后,即获取了对应的视频向量和兴趣词向量,该模块主要用于输出视频向量以及兴趣词向量,如图4所示,该模块主要用于执行以下步骤:
401)获取已经训练好的模型文件;
402)通过对模型文件的存储解析,得到每个视频对应的视频向量和每个兴趣词对应的词向量;
403)获取视频向量(V1…VN);
404)获取兴趣词向量(W1,WN)。
视频与兴趣词相关度计算模块,
本实施例中提出了一种视频与兴趣词向量的权重计算公式,由于由协同模型训练的视频向量和兴趣词向量在同一空间维度,因此本实施例中采用余弦距离计算两者的距离,具体公式如下:
s c o r e ( v k , w i ) = H ( v k ) &CenterDot; H ( w j ) | H ( v k ) | &times; | H ( w j ) |
余弦距离计算的距离在0-1之间,表征了视频与其对应的兴趣词的相似度。
实施例3,
生成模块51,用于根据用户对视频的观看行为,获取与用户相关的视频信息,根据视频信息生成相关视频列表;
获取模块52,用于获取相关视频列表中的视频对应的关键词;
训练模块53,用于以视频列表中的视频与关键词为训练目标使用神经网络模型在同一维度进行协同训练;
输出模块54,用于输出协同训练的结果;
确定模块55,用于根据协同训练的结果确定视频与关键词的相关度。
其中,上述生成模块具体可以包括:第一获取单元,用于从日志文件中获取用户在预设时间段内观看、订阅、以及参与评论的视频信息,将该视频信息作为与用户相关的视频信息;生成单元,用于根据视频信息生成候选视频列表;排序单元,用于将候选视频列表中的视频按照时间进行排序;删除单元,用于将候选视频列表中重复的视频敏感的视频、以及观看完成度小于预设百分比的视频删除,得到用户的相关视频列表。
其中,上述训练模块具体可以包括:
第一输入单元,用于将初始化的视频的向量和初始化的关键词的词向量作为神经网络模型的输入层;变换单元,将输入层的视频的向量进行求和后再进行非线性变换得到的对象作为神经网络模型的映射层;第二输入单元,神经网络模型的输出层用于输出神经网络模型和优化目标,使用最大似然估计算法得到优化的标的计算公式为:
E ( v k , w j - 2 , w j - 1 , w j + 1 , w j + 2 ) = &Sigma; - c < t < c , t &NotEqual; 0 log p ( w j | w j + t , v k ) - - - ( 1 )
p ( w j | w k ) = e ( H ( w j ) T &CenterDot; H ( w k ) ) &Sigma; m = 1 M e ( H ( w m ) T &CenterDot; H ( w j ) )
p ( w j | v k ) = e ( H ( w j ) T &CenterDot; H ( v k ) ) &Sigma; m = 1 M e ( H ( v m ) T &CenterDot; H ( w j ) ) - - - ( 2 )
其中,wj是关键词,vk为视频列表中的视频,Hw为关键词的向量,Hv为视频的向量,E为神经网络模型中最大化的函数,表征视频列表中的视频。
其中,上述输出模块具体可以包括:第二获取单元,用于获取训练完成的神经网络模型;解析单元,用于通过对神经网络模型的解析,得到相关视频列表中每个视频对应的视频向量和每个关键词对应的词向量。
其中,上述确定模块具体用于:
采用余弦距离公式(3)计算视频与关键词之间的距离,使用计算出的距离表征视频与关键词之间的相关度;
s c o r e ( v k , w i ) = H ( v k ) &CenterDot; H ( w j ) | H ( v k ) | &times; | H ( w j ) | - - - ( 3 )
其中,wj表示关键词,vk表示视频列表中的视频,Hw表示关键词的向量,Hv表示视频的向量。
本发明中提出的方法可以学习兴趣词的隐含语义信息,神经网络在学习兴趣词向量的过程中,会学习到相同词在高维空间上的相近的特征信息,共享相同的语义信息和隐含信息;本发明中提出的方法能够学习用户对视频的行为信息,在协同训练过程中,使用到了用户的观看序列信息,能够学习到隐含的视频相似度信息,将用户行为对视频的影响映射到向量中;本发明将视频和兴趣词映射到同一空间,共享空间信息,神经网络的协同训练将视频和兴趣词放在同一空间进行训练学习,共享空间信息,有效进行视频和兴趣词的计算,提高相似度计算准确度。
以上所述仅为本发明的实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种视频与视频关键词相关度的确定方法,其特征在于,包括:
根据用户对视频的观看行为,获取与所述用户相关的视频信息,根据所述视频信息生成相关视频列表;
获取所述相关视频列表中的视频对应的关键词;
以所述视频列表中的视频与所述关键词为训练目标使用神经网络模型在同一维度进行协同训练;
输出所述协同训练的结果;
根据所述协同训练的结果确定所述视频与所述关键词的相关度。
2.根据权利要求1所述的方法,其特征在于,根据用户对视频的观看行为,获取与所述用户相关的视频信息,根据所述视频信息生成相关视频列表,包括:
从日志文件中获取用户在预设时间段内观看、订阅、以及参与评论的视频信息,将该视频信息作为与所述用户相关的视频信息;
根据所述视频信息生成候选视频列表;
将所述候选视频列表中的视频按照时间进行排序;
将所述候选视频列表中重复的视频敏感的视频、以及观看完成度小于预设百分比的视频删除;
得到所述用户的相关视频列表。
3.根据权利要求1所述的方法,其特征在于,所述以所述视频列表中的视频与所述关键词为训练目标使用神经网络模型在同一维度进行协同训练,包括:
将初始化的视频的向量和初始化的关键词的词向量作为神经网络模型的输入层;
将所述输入层的视频的向量进行求和后再进行非线性变换得到的对象作为所述神经网络模型的映射层;
所述神经网络模型的输出层用于输出所述神经网络模型和优化目标,使用最大似然估计算法得到优化的标的计算公式为:
E ( v k , w j - 2 , w j - 1 , w j + 1 , w j + 2 ) = &Sigma; - c < t < c , t &NotEqual; 0 log p ( w j | w j + t , v k ) - - - ( 1 )
p ( w j | w k ) = e ( H ( w j ) T &CenterDot; H ( w k ) ) &Sigma; m = 1 M e ( H ( w m ) T &CenterDot; H ( w j ) )
p ( w j | v k ) = e ( H ( w j ) T &CenterDot; H ( v k ) ) &Sigma; m = 1 M e ( H ( v m ) T &CenterDot; H ( w j ) ) - - - ( 2 )
其中,wj是所述关键词,vk为所述视频列表中的视频,Hw为所述关键词的向量,所述Hv为所述视频的向量,E为所述神经网络模型中最大化的函数,表征所述视频列表中的视频。
4.根据权利要求1所述的方法,其特征在于,所述输出所述协同训练的结果,包括:
获取训练完成的神经网络模型;
通过对所述神经网络模型的解析,得到所述相关视频列表中每个视频对应的视频向量和每个关键词对应的词向量。
5.根据权利要求4所述的方法,其特征在于,所述根据所述协同训练的结果确定所述视频与所述关键词的相关度,包括:
采用余弦距离公式(3)计算所述视频与关键词之间的距离,使用计算出的距离表征所述视频与所述关键词之间的相关度;
s c o r e ( v k , w i ) = H ( v k ) &CenterDot; H ( w j ) | H ( v k ) | &times; | H ( w j ) | - - - ( 3 )
其中,wj表示所述关键词,vk表示所述视频列表中的视频,Hw表示所述关键词的向量,所述Hv表示所述视频的向量。
6.一种视频与视频关键词相关度的确定装置,其特征在于,包括:
生成模块,用于根据用户对视频的观看行为,获取与所述用户相关的视频信息,根据所述视频信息生成相关视频列表;
获取模块,用于获取所述相关视频列表中的视频对应的关键词;
训练模块,用于以所述视频列表中的视频与所述关键词为训练目标使用神经网络模型在同一维度进行协同训练;
输出模块,用于输出所述协同训练的结果;
确定模块,用于根据所述协同训练的结果确定所述视频与所述关键词的相关度。
7.根据权利要求6所述的装置,其特征在于,所述生成模块,包括:
第一获取单元,用于从日志文件中获取用户在预设时间段内观看、订阅、以及参与评论的视频信息,将该视频信息作为与所述用户相关的视频信息;
生成单元,用于根据所述视频信息生成候选视频列表;
排序单元,用于将所述候选视频列表中的视频按照时间进行排序;
删除单元,用于将所述候选视频列表中重复的视频敏感的视频、以及观看完成度小于预设百分比的视频删除,得到所述用户的相关视频列表。
8.根据权利要求6所述的装置,其特征在于,所述训练模块,包括:
第一输入单元,用于将初始化的视频的向量和初始化的关键词的词向量作为神经网络模型的输入层;
变换单元,将所述输入层的视频的向量进行求和后再进行非线性变换得到的对象作为所述神经网络模型的映射层;
第二输入单元,所述神经网络模型的输出层用于输出所述神经网络模型和优化目标,使用最大似然估计算法得到优化的标的计算公式为:
E ( v k , w j - 2 , w j - 1 , w j + 1 , w j + 2 ) = &Sigma; - c < t < c , t &NotEqual; 0 log p ( w j | w j + t , v k ) - - - ( 1 )
p ( w j | w k ) = e ( H ( w j ) T &CenterDot; H ( w k ) ) &Sigma; m = 1 M e ( H ( w m ) T &CenterDot; H ( w j ) )
p ( w j | v k ) = e ( H ( w j ) T &CenterDot; H ( v k ) ) &Sigma; m = 1 M e ( H ( v m ) T &CenterDot; H ( w j ) ) - - - ( 2 )
其中,wj是所述关键词,vk为所述视频列表中的视频,Hw为所述关键词的向量,所述Hv为所述视频的向量,E为所述神经网络模型中最大化的函数,表征所述视频列表中的视频。
9.根据权利要求6所述的装置,其特征在于,所述输出模块,包括:
第二获取单元,用于获取训练完成的神经网络模型;
解析单元,用于通过对所述神经网络模型的解析,得到所述相关视频列表中每个视频对应的视频向量和每个关键词对应的词向量。
10.根据权利要求9所述的装置,其特征在于,所述确定模块具体用于:
采用余弦距离公式(3)计算所述视频与关键词之间的距离,使用计算出的距离表征所述视频与所述关键词之间的相关度;
s c o r e ( v k , w i ) = H ( v k ) &CenterDot; H ( w j ) | H ( v k ) | &times; | H ( w j ) | - - - ( 3 )
其中,wj表示所述关键词,vk表示所述视频列表中的视频,Hw表示所述关键词的向量,所述Hv表示所述视频的向量。
CN201610576541.8A 2016-07-20 2016-07-20 一种视频与视频关键词相关度的确定方法及装置 Expired - Fee Related CN106227793B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610576541.8A CN106227793B (zh) 2016-07-20 2016-07-20 一种视频与视频关键词相关度的确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610576541.8A CN106227793B (zh) 2016-07-20 2016-07-20 一种视频与视频关键词相关度的确定方法及装置

Publications (2)

Publication Number Publication Date
CN106227793A true CN106227793A (zh) 2016-12-14
CN106227793B CN106227793B (zh) 2019-10-22

Family

ID=57531851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610576541.8A Expired - Fee Related CN106227793B (zh) 2016-07-20 2016-07-20 一种视频与视频关键词相关度的确定方法及装置

Country Status (1)

Country Link
CN (1) CN106227793B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304453A (zh) * 2017-12-18 2018-07-20 北京奇艺世纪科技有限公司 一种视频相关搜索词的确定方法及装置
CN108429920A (zh) * 2018-02-06 2018-08-21 北京奇虎科技有限公司 一种处理标题党视频的方法和装置
CN108513176A (zh) * 2017-12-06 2018-09-07 北京邮电大学 一种基于话题模型的社会化视频主题提取系统及方法
CN109558514A (zh) * 2019-01-08 2019-04-02 青岛聚看云科技有限公司 视频推荐方法、其装置、信息处理设备及存储介质
CN109618236A (zh) * 2018-12-13 2019-04-12 连尚(新昌)网络科技有限公司 视频评论处理方法和装置
CN110072140A (zh) * 2019-03-22 2019-07-30 厦门理工学院 一种视频信息提示方法、装置、设备及存储介质
CN110263218A (zh) * 2019-06-21 2019-09-20 北京百度网讯科技有限公司 视频描述文本生成方法、装置、设备和介质
CN110717069A (zh) * 2018-07-11 2020-01-21 北京优酷科技有限公司 视频推荐方法及装置
CN111046233A (zh) * 2019-12-24 2020-04-21 浙江大学 一种基于视频评论文本的视频标签确定方法
WO2021047237A1 (zh) * 2019-09-09 2021-03-18 苏宁云计算有限公司 一种up主匹配方法及装置
CN112818251A (zh) * 2021-04-13 2021-05-18 腾讯科技(深圳)有限公司 视频推荐方法、装置、电子设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2045729A1 (en) * 2007-10-02 2009-04-08 BlinkX UK Ltd Data processing system and method
CN101634996A (zh) * 2009-08-13 2010-01-27 浙江大学 基于综合考量的个性化视频排序方法
CN104834686A (zh) * 2015-04-17 2015-08-12 中国科学院信息工程研究所 一种基于混合语义矩阵的视频推荐方法
CN104992347A (zh) * 2015-06-17 2015-10-21 北京奇艺世纪科技有限公司 一种视频匹配广告的方法及装置
CN105069041A (zh) * 2015-07-23 2015-11-18 合一信息技术(北京)有限公司 基于视频用户性别分类的广告投放方法
CN105279495A (zh) * 2015-10-23 2016-01-27 天津大学 一种基于深度学习和文本总结的视频描述方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2045729A1 (en) * 2007-10-02 2009-04-08 BlinkX UK Ltd Data processing system and method
CN101634996A (zh) * 2009-08-13 2010-01-27 浙江大学 基于综合考量的个性化视频排序方法
CN104834686A (zh) * 2015-04-17 2015-08-12 中国科学院信息工程研究所 一种基于混合语义矩阵的视频推荐方法
CN104992347A (zh) * 2015-06-17 2015-10-21 北京奇艺世纪科技有限公司 一种视频匹配广告的方法及装置
CN105069041A (zh) * 2015-07-23 2015-11-18 合一信息技术(北京)有限公司 基于视频用户性别分类的广告投放方法
CN105279495A (zh) * 2015-10-23 2016-01-27 天津大学 一种基于深度学习和文本总结的视频描述方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HYOUNG K.LEE ET AL.: "A neutral network-based image retrieval using nonlinear combination of heterogeneous features", 《INTERNATIONAL JOURNAL OF COMPUTATION INTELLIGENCE AND APPLICATIONS》 *
SUBHASHINI VENUGOPALAN ET AL.: "Translating Videos to Natural Language Using Deep Recurrent Neural Networks", 《COMPUTER SCIENCE》 *
李朝晖 等: "小波-神经网络在视频文本自动检测中的应用", 《广州大学学报(综合版)》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108513176A (zh) * 2017-12-06 2018-09-07 北京邮电大学 一种基于话题模型的社会化视频主题提取系统及方法
CN108304453B (zh) * 2017-12-18 2021-07-06 北京奇艺世纪科技有限公司 一种视频相关搜索词的确定方法及装置
CN108304453A (zh) * 2017-12-18 2018-07-20 北京奇艺世纪科技有限公司 一种视频相关搜索词的确定方法及装置
CN108429920A (zh) * 2018-02-06 2018-08-21 北京奇虎科技有限公司 一种处理标题党视频的方法和装置
CN110717069A (zh) * 2018-07-11 2020-01-21 北京优酷科技有限公司 视频推荐方法及装置
CN110717069B (zh) * 2018-07-11 2022-08-05 阿里巴巴(中国)有限公司 视频推荐方法及装置
CN109618236A (zh) * 2018-12-13 2019-04-12 连尚(新昌)网络科技有限公司 视频评论处理方法和装置
CN109558514A (zh) * 2019-01-08 2019-04-02 青岛聚看云科技有限公司 视频推荐方法、其装置、信息处理设备及存储介质
CN109558514B (zh) * 2019-01-08 2023-04-11 青岛聚看云科技有限公司 视频推荐方法、其装置、信息处理设备及存储介质
CN110072140A (zh) * 2019-03-22 2019-07-30 厦门理工学院 一种视频信息提示方法、装置、设备及存储介质
CN110263218B (zh) * 2019-06-21 2022-02-25 北京百度网讯科技有限公司 视频描述文本生成方法、装置、设备和介质
CN110263218A (zh) * 2019-06-21 2019-09-20 北京百度网讯科技有限公司 视频描述文本生成方法、装置、设备和介质
WO2021047237A1 (zh) * 2019-09-09 2021-03-18 苏宁云计算有限公司 一种up主匹配方法及装置
CN111046233B (zh) * 2019-12-24 2022-05-13 浙江大学 一种基于视频评论文本的视频标签确定方法
CN111046233A (zh) * 2019-12-24 2020-04-21 浙江大学 一种基于视频评论文本的视频标签确定方法
CN112818251A (zh) * 2021-04-13 2021-05-18 腾讯科技(深圳)有限公司 视频推荐方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN106227793B (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN106227793A (zh) 一种视频与视频关键词相关度的确定方法及装置
Nakashima et al. Estimating animal density without individual recognition using information derivable exclusively from camera traps
Ghosh et al. Bayesian time-series model for short-term traffic flow forecasting
Vandecasteele et al. Improving volunteered geographic information quality using a tag recommender system: the case of OpenStreetMap
Feeley et al. Keep collecting: accurate species distribution modelling requires more collections than previously thought
CN104572734B (zh) 问题推荐方法、装置及系统
Tuanmu et al. Temporal transferability of wildlife habitat models: implications for habitat monitoring
Wu et al. Comparison of two hybrid models for forecasting the incidence of hemorrhagic fever with renal syndrome in Jiangsu Province, China
Banerjee et al. Directional rates of change under spatial process models
Willems Probabilistic immission modelling of receiving surface waters
Sugasawa et al. Bayesian estimators for small area models shrinking both means and variances
Borgers et al. Transport facilities and residential choice behavior: a model of multi‐person choice processes
KR102079745B1 (ko) 인공지능 에이전트의 훈련 방법, 이에 기반한 사용자 액션의 추천 방법 및 이를 이용한 장치
CN110188263B (zh) 一种面向异构时距的科学研究热点预测方法及系统
JP2018142272A (ja) コンテンツ評価予測システム及びコンテンツ評価予測方法
CN103198072A (zh) 一种流行检索词的挖掘、推荐方法及装置
Guo et al. Dynamic Item Block and Prediction Enhancing Block for Sequential Recommendation.
CN106294621B (zh) 一种基于复杂网络结点相似性的计算事件相似性的方法和系统
JP2008123526A (ja) 情報検索方法及び装置
Shao et al. Beyond imitation: Generating human mobility from context-aware reasoning with large language models
CN113139128B (zh) 一种基于图卷积神经网络的博文推荐方法及系统
CN106503859A (zh) 一种基于在线社会关系网络的消息传播预测方法及装置
Liu et al. Digital twins by physical education teaching practice in visual sensing training system
CN115618124A (zh) 双向社会影响学习的传播流行度预测方法
CN114610913A (zh) 多媒体数据的推荐方法、推荐模型训练方法及相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100080 A 5 C, block A, China International Steel Plaza, 8 Haidian Avenue, Haidian District, Beijing.

Applicant after: Youku network technology (Beijing) Co., Ltd.

Address before: 100080 A 5 C, block A, China International Steel Plaza, 8 Haidian Avenue, Haidian District, Beijing.

Applicant before: 1Verge Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200514

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Alibaba (China) Co.,Ltd.

Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Patentee before: Youku network technology (Beijing) Co., Ltd

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191022

Termination date: 20200720

CF01 Termination of patent right due to non-payment of annual fee