CN112949703A - 视频召回方法、装置及电子设备 - Google Patents

视频召回方法、装置及电子设备 Download PDF

Info

Publication number
CN112949703A
CN112949703A CN202110202148.3A CN202110202148A CN112949703A CN 112949703 A CN112949703 A CN 112949703A CN 202110202148 A CN202110202148 A CN 202110202148A CN 112949703 A CN112949703 A CN 112949703A
Authority
CN
China
Prior art keywords
video
user
vector
class
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110202148.3A
Other languages
English (en)
Other versions
CN112949703B (zh
Inventor
宋炜
王森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Baiguoyuan Information Technology Co Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN202110202148.3A priority Critical patent/CN112949703B/zh
Publication of CN112949703A publication Critical patent/CN112949703A/zh
Application granted granted Critical
Publication of CN112949703B publication Critical patent/CN112949703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种视频召回方法、装置及电子设备，涉及计算机技术领域。该方法包括：获取样本中关于目标用户的多用户ID类特征和多用户统计特征，以及视频ID类特征和视频统计特征；其中多用户ID类特征为多个用户共享同一ID的ID类特征，多用户统计特征是根据多用户ID类特征在样本中出现的频次统计得到的；将多用户ID类特征、多用户统计特征、视频ID类特征以及视频统计特征输入至第一因子分解机FM模型中进行训练，得到训练后的第二FM模型；通过第二FM模型，从视频数据库中确定目标用户的召回视频。上述方案，去除了样本中的单用户ID类特征、单用户行为统计特征等无效特征，提升了召回模型在新用户上的召回效果。

Description

视频召回方法、装置及电子设备
技术领域
本发明涉及计算机技术领域，尤其涉及一种视频召回方法、装置及电子设备。
背景技术
目前产品的推荐系统中的个性化召回模型通常是采用双塔深度神经网络(DeepNeural Networks，DNN)召回或者因子分解机算法(Factorization Machines，FM)召回模型，上述个性化召回模型一般是在全体用户训练数据集上建成的，这样训练出来的模型里面用户身份证明(User Identification，UID)类embedding(一种将离散变量转化为连续向量表示的一种方式)特征及统计行为类特征是占主导地位的，但是这样的模型面对新用户样本时，由于新用户缺失有效UID以及行为特征稀少，这些主导特征都会失效或者产生较大偏差，如：预测接受者操作特征曲线(receiver operating characteristic curve，ROC)曲线下方的面积大小(Area Under Curve，AUC)偏低，从而影响新用户推荐效果。
发明内容
本发明提供一种视频召回方法、装置及电子设备，以便在一定程度上解决现有召回模型在新用户上的召回效果较差的问题。
在本发明实施的第一方面，提供了一种视频召回方法，所述方法包括：
获取样本中关于目标用户的多用户ID类特征和多用户统计特征，以及视频ID类特征和视频统计特征；其中，所述多用户ID类特征为多个用户共享同一ID的ID类特征，所述多用户统计特征是根据多用户ID类特征在样本中出现的频次统计得到的；
将所述多用户ID类特征、所述多用户统计特征、所述视频ID类特征以及所述视频统计特征输入至第一因子分解机FM模型中进行训练，得到训练后的第二FM模型；
通过所述第二FM模型，从所述视频数据库中确定所述目标用户的召回视频。
在本发明实施的第二方面，提供了一种视频召回装置，所述装置包括：
第一获取模块，用于获取样本中关于目标用户的多用户ID类特征和多用户统计特征，以及视频ID类特征和视频统计特征；其中，所述多用户ID类特征为多个用户共享同一ID的ID类特征，所述多用户统计特征是根据多用户ID类特征在样本中出现的频次统计得到的；
第一训练模块，用于将所述多用户ID类特征、所述多用户统计特征、所述视频ID类特征以及所述视频统计特征输入至第一因子分解机FM模型中进行训练，得到训练后的第二FM模型；
第一确定模块，用于通过所述第二FM模型，从视频数据库中确定所述目标用户的召回视频。
在本发明实施的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现如上所述的视频召回方法中的步骤。
在本发明实施的第四方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的视频召回方法。
在本发明实施例的第五方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如上所述的视频召回方法。
针对在先技术，本发明具备如下优点：
本发明实施例中，通过获取样本中关于目标用户的多用户ID类特征和多用户统计特征，以及视频ID类特征和视频统计特征，其中，所述多用户ID类特征为多个用户共享同一ID的ID类特征，所述多用户统计特征是根据多用户ID类特征在样本中出现的频次统计得到的，相当于去除了样本中的单用户ID类特征、单用户行为统计特征等无效特征；并且将所述多用户ID类特征、所述多用户统计特征、所述视频ID类特征以及所述视频统计特征输入至第一因子分解机FM模型中进行训练，得到训练后的第二FM模型，通过所述第二FM模型，从所述视频数据库中确定所述目标用户的召回视频，由于去除了无效特征，在新用户推荐场景下，提升了召回模型在新用户上的召回效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的视频召回方法的流程图；
图2为本发明实施例提供的FM模型训练流程图；
图3为本发明实施例提供的视频召回方法的具体流程图；
图4为本发明实施例提供的视频召回装置的结构框图；
图5为本发明实施例提供的电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
具体的，如图1至图3所示，本发明实施例提供了一种视频召回方法，该方法可以应用于召回模型中，上述方法具体包括如下步骤：
步骤101，获取样本中关于目标用户的多用户ID类特征和多用户统计特征，以及视频ID类特征和视频统计特征；其中，所述多用户ID类特征为多个用户共享同一ID的ID类特征，所述多用户统计特征是根据多用户ID类特征在样本中出现的频次统计得到的。
在上述步骤101中，获取样本中的训练数据，即关于目标用户的多用户ID类特征和多用户统计特征，以及视频ID类特征和视频统计特征；其中，用户user侧的ID类特征包括：多用户ID类特征和单用户ID类特征，其中，多用户ID类特征是多个用户共享同一个ID的ID类特征，如：用户城市user city特征、用户获客渠道ad_id特征等；单用户ID类特征是每一个用户单独有一个ID，如：单用户ID特征uid emb等；在上述召回模型中仅获取关于目标用户的多用户ID类特征，相当于去除了样本中的单用户ID类特征等无效特征。并且，item_emb1～item_emb m代表视频item侧的m种不同属性的视频ID类特征，用户侧的ID类特征和item侧的视频ID类特征都称为离散ID类特征sparse embedding特征，这些ID类特征中每个ID会对应一个固定维度的sparse embedding，然后在召回模型训练的过程中，通过梯度训练这些向量，从而让这些向量能够正确表达这些ID的作用；而user侧的多用户统计特征和item侧的视频统计特征是根据这些ID在样本中出现的频次得到的统计特征，例如：对一个视频的点赞数目、点赞率等。
其中，embedding在表述中也缩写为emb，是一种将(sparse)离散变量转化为连续向量表示的一种方式，具体到推荐系统场景，就是Id类特征(如：用户ID(user_id)、视频ID(video_id)、用户年龄、性别、手机型号、视频标签等)的低维的向量化表示。
步骤102，将所述多用户ID类特征、所述多用户统计特征、所述视频ID类特征以及所述视频统计特征输入至第一因子分解机FM模型中进行训练，得到训练后的第二FM模型。
在上述步骤102中，模型训练基于开源深度学习框架(X-Deep Learning，XDL)框架，模型训练以线上打点日志及特征日志产出的准实时训练数据作为输入数据，即多用户ID类特征、所述多用户统计特征、所述视频ID类特征以及所述视频统计特征，以上一个小时产出的模型checkpoints作为输入模型，即第一FM模型，进行新一轮的迭代训练，产出最新的模型checkpoint，即第二FM模型，该步骤整个流程以自动离线调用框架进行周期性调用。
其中，上述FM算法是为了解决稀疏数据下的特征组合问题的一种算法，有线性的计算复杂度的特点。
步骤103，通过所述第二FM模型，从视频数据库中确定所述目标用户的召回视频。
在上述步骤103中，通过训练后的第二FM模型，从视频数据库中选取至少一个召回视频，该至少一个召回视频作为目标用户的召回视频。
其中，该视频数据库为在离线状态下获取的建库视频，具体的是根据一定条件(如：视频浏览量、点赞数等)过滤得到每个地区的近期(如：一个月内)产出的视频，并根据播完数、点赞数、分享数取进行排列(如：倒序排列)，从而建立不同维度、不同类型的热门视频集合，作为FM模型的KNN召回的视频库。
本发明上述实施例中，通过获取样本中关于目标用户的多用户ID类特征和多用户统计特征，以及视频ID类特征和视频统计特征，其中，所述多用户ID类特征为多个用户共享同一ID的ID类特征，所述多用户统计特征是根据多用户ID类特征在样本中出现的频次统计得到的，相当于去除了样本中的单用户ID类特征、单用户行为统计特征等无效特征；并且将所述多用户ID类特征、所述多用户统计特征、所述视频ID类特征以及所述视频统计特征输入至第一因子分解机FM模型中进行训练，得到训练后的第二FM模型，通过所述第二FM模型，从所述视频数据库中确定所述目标用户的召回视频，由于去除了无效特征，在新用户推荐场景下，提升了召回模型在新用户上的召回效果。
可选的，所述步骤102将所述多用户ID类特征、所述多用户统计特征、所述视频ID类特征以及所述视频统计特征输入至第一因子分解机FM模型中进行训练，得到训练后的第二FM模型，具体可以包括如下步骤：
步骤A1，将所述多用户ID类特征和所述多用户统计特征进行预设处理，得到第一用户向量；
步骤A2，将所述视频ID类特征和所述视频统计特征进行所述预设处理，得到第一视频向量；
步骤A3，将所述第一用户向量和所述第一视频向量进行第一拼接处理，得到预测结果；
步骤A4，根据所述预测结果对所述第一FM模型进行调整，得到第二FM模型。
作为一可选的实施例，将多用户ID类特征和多用户统计特征进行预设处理，可以得到关于用户侧的第一用户向量；并且，将视频ID类特征和视频统计特征进行所述预设处理，可以得到关于视频侧的第一视频向量。然后将第一用户向量和第一视频向量进行第一拼接处理，由此可以得到拼接处理后的预测结果；根据得到的预测结果可以调整第一FM模型，从而得到调整后的第二FM模型。
需要说明的是，步骤A1和步骤A2两个步骤并没有限定的先后关系，可以先进行步骤A1的过程，也可以先进行步骤A2的过程，也可以将步骤A1和步骤A2两个过程同时进行，在此并不限定。
可选的，所述预设处理，可以包括如下内容：
将目标ID类特征中的每一ID类特征转换为第一维度向量；
将所述第一维度向量经过平均池化处理，得到第二维度向量；
将目标统计特征经过多层神经网络MLP处理，得到第三维度向量；
将所述第二维度向量与所述第三维度向量进行第二拼接处理，得到目标向量；
其中，所述目标ID类特征为多用户ID类特征或者视频ID类特征，在所述目标ID类特征为多用户ID类特征的情况下，所述目标统计特征为多用户统计特征，所述目标向量为第一用户向量；在所述目标ID类特征为视频ID类特征的情况下，所述目标统计特征为视频统计特征，所述目标向量为第一视频向量。
作为一可选的实施例，如图2所示，步骤B1，在所述目标ID类特征为多用户ID类特征的情况下，获取多用户ID类特征；并将多用户ID类特征中的每一ID类特征转换为第一维度向量(如：13维度向量或者16维度向量)；
步骤B2，获取根据多用户ID类特征在样本中出现的频次统计得到的多用户统计特征；
步骤B3，步骤B1得到的多个第一维度向量经过平均池化处理，得到用户侧的第二维度向量(如：16维度向量)；
步骤B4，将多用户统计特征经过多层神经网络(Multi-Layer Perceptron，MLP)处理，得到用户侧的第三维度向量(如：16维度统计向量)。
在步骤B3和步骤B4之后，将步骤B3得到的第二维度向量与步骤B4得到的第三维度向量进行第二拼接处理，由此可以得到第一用户向量(如：16维度的用户向量)。其中，上述神经网络层数和向量维度不进行限定，MLP可以优选为3层神经网络。
需要说明的是，对于步骤B1和步骤B2的先后关系并不进行限定，同理，对于步骤B3和步骤B4的先后关系也并不进行限定。
作为另一可选的实施例，如图2所示，步骤B5，在所述目标ID类特征为视频ID类特征的情况下，获取视频ID类特征；
步骤B6，获取根据视频ID类特征在样本中出现的频次统计得到的视频统计特征；
步骤B7，步骤B5得到的多个第一维度向量经过平均池化处理，得到视频侧的第二维度向量(如：16维度向量)；
步骤B8，将多用户统计特征经过MLP处理，得到视频侧的第三维度向量(如：16维度统计向量)。
在步骤B7和步骤B8之后，将步骤B7得到的第二维度向量与步骤B8得到的第三维度向量进行第二拼接处理，由此可以得到第一视频向量(如：16维度的视频向量)。其中，上述神经网络层数和向量维度不进行限定，MLP可以优选为3层神经网络。
可选的，上述将所述第二维度向量与所述第三维度向量进行第二拼接处理，得到目标向量，具体可以包括如下内容：
将所述第二维度向量与所述第三维度向量进行第二拼接处理，得到拼接向量；
将所述拼接向量输入至第一全连接层，得到目标向量。
作为一可选的实施例，如图2所示，步骤B9，在所述目标ID类特征为多用户ID类特征的情况下，将步骤B3得到的第二维度向量与步骤B4得到的第三维度向量进行第二拼接处理，由此可以得到拼接后的拼接向量，所述拼接向量经过一层第一全连接层dense得到第一用户向量(如：一个16维度的用户向量)。
作为一另可选的实施例，如图2所示，步骤B10，在所述目标ID类特征为视频ID类特征的情况下，将步骤B7得到的第二维度向量与步骤B8得到的第三维度向量进行第二拼接处理，由此可以得到拼接后的拼接向量，所述拼接向量经过一层第一全连接层dense得到第一视频向量(如：一个16维度的视频向量)。
可选的，所述步骤A3将所述第一用户向量和所述第一视频向量进行第一拼接处理，得到预测结果，具体包括如下内容：
将所述第一用户向量进行余弦计算，得到第一余弦值；
将所述第一视频向量进行余弦计算，得到第二余弦值；
将所述第一余弦值、所述第二余弦值以及样本中的偏置特征进行第一拼接处理，得到拼接特征；
将所述拼接特征输入至第二全连接层，得到预测结果。
作为一可选的实施例，如图2所示，步骤B11，将所述第一用户向量进行余弦计算，得到第一余弦值，并将所述第一视频向量进行余弦计算，得到第二余弦值，上述两个计算过程并不限定先后关系。
步骤B12，获取样本中的偏置特征；如：视频出现在屏幕的位置等；
步骤B13，将所述第一余弦值、所述第二余弦值以及样本中的偏置特征进行第一拼接处理，得到拼接特征，并将所述拼接特征输入至第二全连接层，得到预测结果。
需要说明的是，步骤B12获取偏置特征的过程并不限定于在步骤B11之后，仅需要在步骤B13之前完成即可。
在以上实施例的实现过程中，是将用户侧和视频侧的不同特征向量分别经过平均池化处理，然后再进行余弦计算，即等价于FM模型中只求用户侧辅助向量和视频侧辅助向量的内积，而取消了不同用户ID类特征之间的内积、不同视频ID类特征之间的内积以及常数项和线性项，可以认为是FM模型的一种比较合理的变种实现。并且，由于传统FM模型中单用户ID类特征重要性很高，表达能力很强，从而模型在老用户上效果较好，在面对新用户这种基本缺失单用户ID类特征的样本的时候，预测结果与实际效果产生比较大的偏差。而如果去除掉训练数据中的老用户数据，只用新用户数据重新训练模型，那么训练数据会非常稀少，影响最终效果。如果去除了用户侧的单用户ID类特征和/或单用户设备ID类特征，并取消了针对这两种ID类特征的统计特征，这样既能够让其他不依赖具体用户ID的泛化属性特征得到比较充分的表达，也能够充分利用已有的老用户数据，达到类似于迁移学习的效果。
可选的，所述步骤103通过所述第二FM模型，从视频数据库中确定所述目标用户的召回视频，具体包括如下步骤：
将所述第二FM模型转换为神经网络模型TensorFlow模型；
将所述TensorFlow模型进行处理，得到用户向量预测模型以及视频向量预测模型；
根据所述用户向量预测模型和所述视频向量预测模型，从所述视频数据库中确定所述目标用户的召回视频。
作为一可选的实施例，如图3所示，步骤C1，进行模型转换及发布，具体的，由于第二FM模型中间会有预测用户向量和预测视频向量两个部分，由此将第二FM模型中预测用户侧向量的模型和预测视频侧向量的模型，转换成支持线上实时预测的TensorFlow模型，并产出用户预测向量user_vec和视频预测向量item_vec两个预测向量的模型，即用户向量预测模型和视频向量预测模型。
在步骤C1之后，可以根据用户向量预测模型、视频向量预测模型以及用户侧的特征数据、视频侧的特征数据，可以从所述视频数据库中确定出所述目标用户的召回视频。
可选的，上述根据所述用户向量预测模型和所述视频向量预测模型，从所述视频数据库中确定所述目标用户的召回视频，具体可以包括如下内容：
将所述视频ID类特征和所述视频统计特征输入至所述视频向量预测模型中，得到预测视频向量；
根据所述视频数据库以及所述预测视频向量，建立逼近最近邻ANN开源算法库(K-Nearest Neighbours，KNN)库；
在接收到请求获取所述目标用户的召回视频的第一信息的情况下，获取关于所述目标用户的用户线上特征；
将所述用户线上特征输入至所述用户向量预测模型中，得到预测用户向量；
根据所述KNN库中每一预测视频向量与所述预测用户向量的相似度，确定所述目标用户的召回视频。
作为一可选的实施例，如图3所示，步骤C2，在离线状态下获取建库视频，即视频数据库。
步骤C3，在步骤C1和步骤C2之后，所述方法还包括：预测视频向量并建立KNN库；具体的，将item特征(即视频ID类特征和视频统计特征)输入至视频向量预测模型中，从而得到预测视频向量，并通过大规模向量相似度计算hnswlib将这些item特征、预测视频向量按键值对kv pair的形式存入KNN库。其中，KNN是机器学习中比较常见的一种算法，即是通过计算向量空间距离然后排列的方式返回与目标向量最相似的K个向量，因为计算复杂度的原因，直接应用最近邻方法并不可行，最佳实践是使用逼近最近邻(approximate nearestneighbor，ANN)算法。
步骤C4，在目标用户发出请求获取所述目标用户的召回视频的第一信息、且在接收到第一信息的情况下，获取关于目标用户的用户线上特征，并将所述用户线上特征输入至所述用户向量预测模型中，从而得到预测用户向量。
步骤C5，在步骤C3和步骤C4之后，用预测用户向量查询KNN库，具体的，以预测用户向量作为查询向量query vec，查询得到与目标用户向量距离最近的视频。
步骤C6，取top N(如：N的取值可以为5000、1000等)作为目标用户召回通路的召回视频。
综上所述，本发明实施例在新用户推荐场景下，通过针对性地特征工程去除单用户ID类特征、单用户统计特征等无效特征，凸出新用户人群属性等特征的重要性，优化了模型中泛化属性特征的表达效果以及传统DNN/FM召回模型在新用户上的召回效果，提升了新用户留存和交互指标。
如图4所示，本发明实施例提供的一种视频召回装置400，所述装置包括：
第一获取模块401，用于获取样本中关于目标用户的多用户ID类特征和多用户统计特征，以及视频ID类特征和视频统计特征；其中，所述多用户ID类特征为多个用户共享同一ID的ID类特征，所述多用户统计特征是根据多用户ID类特征在样本中出现的频次统计得到的；
第一训练模块402，用于将所述多用户ID类特征、所述多用户统计特征、所述视频ID类特征以及所述视频统计特征输入至第一因子分解机FM模型中进行训练，得到训练后的第二FM模型；
第一确定模块403，用于通过所述第二FM模型，从视频数据库中确定所述目标用户的召回视频。
本发明上述实施例中，通过获取样本中关于目标用户的多用户ID类特征和多用户统计特征，以及视频ID类特征和视频统计特征，其中，所述多用户ID类特征为多个用户共享同一ID的ID类特征，所述多用户统计特征是根据多用户ID类特征在样本中出现的频次统计得到的，相当于去除了样本中的单用户ID类特征、单用户行为统计特征等无效特征；并且将所述多用户ID类特征、所述多用户统计特征、所述视频ID类特征以及所述视频统计特征输入至第一因子分解机FM模型中进行训练，得到训练后的第二FM模型，通过所述第二FM模型，从所述视频数据库中确定所述目标用户的召回视频，由于去除了无效特征，在新用户推荐场景下，提升了召回模型在新用户上的召回效果。
可选的，所述第一训练模块402，包括：
第一处理单元，用于将所述多用户ID类特征和所述多用户统计特征进行预设处理，得到第一用户向量；
第二处理单元，用于将所述视频ID类特征和所述视频统计特征进行所述预设处理，得到第一视频向量；
第三处理单元，用于将所述第一用户向量和所述第一视频向量进行第一拼接处理，得到预测结果；
第一调整单元，用于根据所述预测结果对所述第一FM模型进行调整，得到第二FM模型。
可选的，所述预设处理，包括：
将目标ID类特征中的每一ID类特征转换为第一维度向量；
将所述第一维度向量经过平均池化处理，得到第二维度向量；
将目标统计特征经过多层神经网络MLP处理，得到第三维度向量；
将所述第二维度向量与所述第三维度向量进行第二拼接处理，得到目标向量；
其中，所述目标ID类特征为多用户ID类特征或者视频ID类特征，在所述目标ID类特征为多用户ID类特征的情况下，所述目标统计特征为多用户统计特征，所述目标向量为第一用户向量；在所述目标ID类特征为视频ID类特征的情况下，所述目标统计特征为视频统计特征，所述目标向量为第一视频向量。
可选的，所述将所述第二维度向量与所述第三维度向量进行第二拼接处理，得到目标向量，包括：
将所述第二维度向量与所述第三维度向量进行第二拼接处理，得到拼接向量；
将所述拼接向量输入至第一全连接层，得到目标向量。
可选的，所述第三处理单元，包括：
第一计算子单元，用于将所述第一用户向量进行余弦计算，得到第一余弦值；
第二计算子单元，用于将所述第一视频向量进行余弦计算，得到第二余弦值；
第一处理子单元，用于将所述第一余弦值、所述第二余弦值以及样本中的偏置特征进行第一拼接处理，得到拼接特征；
第二处理子单元，用于将所述拼接特征输入至第二全连接层，得到预测结果。
可选的，所述第一确定模块403，包括：
第一转换单元，用于将所述第二FM模型转换为神经网络模型TensorFlow模型；
第四处理单元，用于将所述TensorFlow模型进行处理，得到用户向量预测模型以及视频向量预测模型；
第一确定单元，用于根据所述用户向量预测模型和所述视频向量预测模型，从所述视频数据库中确定所述目标用户的召回视频。
可选的，所述第一确定单元，包括：
第一获取子单元，用于将所述视频ID类特征和所述视频统计特征输入至所述视频向量预测模型中，得到预测视频向量；
第一建立子单元，用于根据所述视频数据库以及所述预测视频向量，建立逼近最近邻ANN开源算法库KNN库；
第二获取子单元，用于在接收到请求获取所述目标用户的召回视频的第一信息的情况下，获取关于所述目标用户的用户线上特征；
第三获取子单元，用于将所述用户线上特征输入至所述用户向量预测模型中，得到预测用户向量；
第一确定子单元，用于根据所述KNN库中每一预测视频向量与所述预测用户向量的相似度，确定所述目标用户的召回视频。
需要说明的是，该视频召回装置实施例是与上述视频召回方法相对应的装置，上述实施例的所有实现方式均适用于该装置实施例中，也能达到与其相同的技术效果，在此不做赘述。
综上所述，本发明实施例在新用户推荐场景下，通过针对性地特征工程去除单用户ID类特征、单用户统计特征等无效特征，凸出新用户人群属性等特征的重要性，优化了模型中泛化属性特征的表达效果以及传统DNN/FM召回模型在新用户上的召回效果，提升了新用户留存和交互指标。
本发明实施例还提供了一种电子设备。如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。
存储器503，用于存放计算机程序。
处理器501用于执行存储器503上所存放的程序时，实现本发明实施例提供的一种视频召回方法中的部分或者全部步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中所述的视频召回方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中所述的视频召回方法。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，包含在本发明的保护范围内。

Claims (10)

1.一种视频召回方法，其特征在于，所述方法包括：
获取样本中关于目标用户的多用户ID类特征和多用户统计特征，以及视频ID类特征和视频统计特征；其中，所述多用户ID类特征为多个用户共享同一ID的ID类特征，所述多用户统计特征是根据多用户ID类特征在样本中出现的频次统计得到的；
将所述多用户ID类特征、所述多用户统计特征、所述视频ID类特征以及所述视频统计特征输入至第一因子分解机FM模型中进行训练，得到训练后的第二FM模型；
通过所述第二FM模型，从视频数据库中确定所述目标用户的召回视频。
2.根据权利要求1所述的方法，其特征在于，所述将所述多用户ID类特征、所述多用户统计特征、所述视频ID类特征以及所述视频统计特征输入至第一因子分解机FM模型中进行训练，得到训练后的第二FM模型，包括：
将所述多用户ID类特征和所述多用户统计特征进行预设处理，得到第一用户向量；
将所述视频ID类特征和所述视频统计特征进行所述预设处理，得到第一视频向量；
将所述第一用户向量和所述第一视频向量进行第一拼接处理，得到预测结果；
根据所述预测结果对所述第一FM模型进行调整，得到第二FM模型。
3.根据权利要求2所述的方法，其特征在于，所述预设处理，包括：
将目标ID类特征中的每一ID类特征转换为第一维度向量；
将所述第一维度向量经过平均池化处理，得到第二维度向量；
将目标统计特征经过多层神经网络MLP处理，得到第三维度向量；
将所述第二维度向量与所述第三维度向量进行第二拼接处理，得到目标向量；
其中，所述目标ID类特征为多用户ID类特征或者视频ID类特征，在所述目标ID类特征为多用户ID类特征的情况下，所述目标统计特征为多用户统计特征，所述目标向量为第一用户向量；在所述目标ID类特征为视频ID类特征的情况下，所述目标统计特征为视频统计特征，所述目标向量为第一视频向量。
4.根据权利要求3所述的方法，其特征在于，所述将所述第二维度向量与所述第三维度向量进行第二拼接处理，得到目标向量，包括：
将所述第二维度向量与所述第三维度向量进行第二拼接处理，得到拼接向量；
将所述拼接向量输入至第一全连接层，得到目标向量。
5.根据权利要求2所述的方法，其特征在于，所述将所述第一用户向量和所述第一视频向量进行第一拼接处理，得到预测结果，包括：
将所述第一用户向量进行余弦计算，得到第一余弦值；
将所述第一视频向量进行余弦计算，得到第二余弦值；
将所述第一余弦值、所述第二余弦值以及样本中的偏置特征进行第一拼接处理，得到拼接特征；
将所述拼接特征输入至第二全连接层，得到预测结果。
6.根据权利要求1所述的方法，其特征在于，所述通过所述第二FM模型，从视频数据库中确定所述目标用户的召回视频，包括：
将所述第二FM模型转换为神经网络模型TensorFlow模型；
将所述TensorFlow模型进行处理，得到用户向量预测模型以及视频向量预测模型；
根据所述用户向量预测模型和所述视频向量预测模型，从所述视频数据库中确定所述目标用户的召回视频。
7.根据权利要求6所述的方法，其特征在于，所述根据所述用户向量预测模型和所述视频向量预测模型，从所述视频数据库中确定所述目标用户的召回视频，包括：
将所述视频ID类特征和所述视频统计特征输入至所述视频向量预测模型中，得到预测视频向量；
根据所述视频数据库以及所述预测视频向量，建立逼近最近邻ANN开源算法库KNN库；
在接收到请求获取所述目标用户的召回视频的第一信息的情况下，获取关于所述目标用户的用户线上特征；
将所述用户线上特征输入至所述用户向量预测模型中，得到预测用户向量；
根据所述KNN库中每一预测视频向量与所述预测用户向量的相似度，确定所述目标用户的召回视频。
8.一种视频召回装置，其特征在于，所述装置包括：
第一获取模块，用于获取样本中关于目标用户的多用户ID类特征和多用户统计特征，以及视频ID类特征和视频统计特征；其中，所述多用户ID类特征为多个用户共享同一ID的ID类特征，所述多用户统计特征是根据多用户ID类特征在样本中出现的频次统计得到的；
第一训练模块，用于将所述多用户ID类特征、所述多用户统计特征、所述视频ID类特征以及所述视频统计特征输入至第一因子分解机FM模型中进行训练，得到训练后的第二FM模型；
第一确定模块，用于通过所述第二FM模型，从视频数据库中确定所述目标用户的召回视频。
9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线；其中，处理器、通信接口以及存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现如权利要求1至7任一项所述的视频召回方法中的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7任一项所述的视频召回方法。
CN202110202148.3A 2021-02-23 2021-02-23 视频召回方法、装置及电子设备 Active CN112949703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110202148.3A CN112949703B (zh) 2021-02-23 2021-02-23 视频召回方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110202148.3A CN112949703B (zh) 2021-02-23 2021-02-23 视频召回方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112949703A true CN112949703A (zh) 2021-06-11
CN112949703B CN112949703B (zh) 2024-08-23

Family

ID=76245616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110202148.3A Active CN112949703B (zh) 2021-02-23 2021-02-23 视频召回方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112949703B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013126589A1 (en) * 2012-02-21 2013-08-29 Ooyala, Inc. Automatically recommending content
CN107105318A (zh) * 2017-03-21 2017-08-29 华为技术有限公司 一种视频热点片段提取方法、用户设备和服务器
CN110162691A (zh) * 2018-11-15 2019-08-23 腾讯科技（深圳）有限公司 在线内容服务中的话题推荐、运营方法、装置和机器设备
CN110851651A (zh) * 2019-11-08 2020-02-28 杭州趣维科技有限公司 一种个性化视频推荐方法及系统
CN110866191A (zh) * 2019-11-21 2020-03-06 苏州朗动网络科技有限公司 推荐召回方法、设备和存储介质
CN110930223A (zh) * 2019-11-21 2020-03-27 苏州朗动网络科技有限公司 基于场感知因子分解机的推荐召回方法、设备和存储介质
CN111209477A (zh) * 2019-12-31 2020-05-29 广州市百果园信息技术有限公司 一种信息推荐的方法及装置、电子设备、存储介质
CN111597380A (zh) * 2020-05-14 2020-08-28 北京奇艺世纪科技有限公司 一种推荐视频确定方法、装置、电子设备及存储介质
CN112035740A (zh) * 2020-08-19 2020-12-04 广州市百果园信息技术有限公司 项目使用时长预测方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013126589A1 (en) * 2012-02-21 2013-08-29 Ooyala, Inc. Automatically recommending content
CN107105318A (zh) * 2017-03-21 2017-08-29 华为技术有限公司 一种视频热点片段提取方法、用户设备和服务器
CN110162691A (zh) * 2018-11-15 2019-08-23 腾讯科技（深圳）有限公司 在线内容服务中的话题推荐、运营方法、装置和机器设备
CN110851651A (zh) * 2019-11-08 2020-02-28 杭州趣维科技有限公司 一种个性化视频推荐方法及系统
CN110866191A (zh) * 2019-11-21 2020-03-06 苏州朗动网络科技有限公司 推荐召回方法、设备和存储介质
CN110930223A (zh) * 2019-11-21 2020-03-27 苏州朗动网络科技有限公司 基于场感知因子分解机的推荐召回方法、设备和存储介质
CN111209477A (zh) * 2019-12-31 2020-05-29 广州市百果园信息技术有限公司 一种信息推荐的方法及装置、电子设备、存储介质
CN111597380A (zh) * 2020-05-14 2020-08-28 北京奇艺世纪科技有限公司 一种推荐视频确定方法、装置、电子设备及存储介质
CN112035740A (zh) * 2020-08-19 2020-12-04 广州市百果园信息技术有限公司 项目使用时长预测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112949703B (zh) 2024-08-23

Similar Documents

Publication Publication Date Title
Zheng et al. A neural autoregressive approach to collaborative filtering
Rathore et al. DeepCachNet: A proactive caching framework based on deep learning in cellular networks
CN111506820B (zh) 推荐模型、方法、装置、设备及存储介质
CN110020022B (zh) 数据处理方法、装置、设备及可读存储介质
Yoon et al. Robustifying sequential neural processes
CN110489574B (zh) 一种多媒体信息推荐方法、装置和相关设备
CN109214543B (zh) 数据处理方法及装置
CN113869420B (zh) 基于对比学习的文本推荐方法及相关设备
KR20190083127A (ko) 단말 클러스터 내 이미지를 이용하여 컨볼루션 뉴럴 네트워크 모델을 학습시키기 위한 시스템 및 방법
CN111552883A (zh) 内容推荐方法及计算机可读存储介质
CN111291217B (zh) 一种内容推荐方法、装置、电子设备以及计算机可读介质
Veeramachaneni et al. A maximum margin matrix factorization based transfer learning approach for cross-domain recommendation
CN110909817B (zh) 分布式聚类方法及系统、处理器、电子设备及存储介质
CN115169548A (zh) 基于张量的持续学习方法和装置
CN110213660B (zh) 节目的分发方法、系统、计算机设备和存储介质
CN115564017A (zh) 模型数据处理方法、电子设备及计算机存储介质
CN112541128B (zh) 基于特征双向动态协同的个性化新闻推荐方法
CN110825902A (zh) 特征相似性搜索的实现方法、装置、电子设备及存储介质
Emirov et al. A divide-and-conquer algorithm for distributed optimization on networks
CN112949703A (zh) 视频召回方法、装置及电子设备
Li et al. Cusnmf: A sparse non-negative matrix factorization approach for large-scale collaborative filtering recommender systems on multi-gpu
CN115618121A (zh) 个性化资讯推荐方法、装置、设备及存储介质
CN111353001A (zh) 对用户进行分类的方法和装置
CN115062069A (zh) 基于大数据的股票优选方法、系统、装置及存储介质
CN115129991A (zh) 内容推荐方法、模型训练方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant