CN111107435A - 视频推荐方法及装置、设备、存储介质 - Google Patents

视频推荐方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN111107435A
CN111107435A CN201911302687.3A CN201911302687A CN111107435A CN 111107435 A CN111107435 A CN 111107435A CN 201911302687 A CN201911302687 A CN 201911302687A CN 111107435 A CN111107435 A CN 111107435A
Authority
CN
China
Prior art keywords
video
sample
target
floating layer
playing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911302687.3A
Other languages
English (en)
Other versions
CN111107435B (zh
Inventor
赵教生
谭莲芝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911302687.3A priority Critical patent/CN111107435B/zh
Publication of CN111107435A publication Critical patent/CN111107435A/zh
Application granted granted Critical
Publication of CN111107435B publication Critical patent/CN111107435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请的实施例揭示了一种视频推荐方法及装置。该方法包括：确定客户端页面的视频浮层中播放的目标视频，所述目标视频为所述客户端页面上的其中一个视频；根据视频浮层的历史播放信息，获取基于所述客户端页面上的视频进行浮层消费的视频样本集合，浮层消费是指视频样本集合中视频样本在视频浮层中进行的播放；分别提取目标视频和各个视频样本的视频特征，视频特征融合有目标视频或者视频样本的内容信息和播放信息；根据视频样本和目标视频之间视频特征的相关性，为视频样本确定其在视频样本集合中的排序；根据排序进行视频样本集合在客户端页面的推荐。本申请实施例的技术方案能够满足于实时性和精准性要求较高的视频推荐场景。

Description

视频推荐方法及装置、设备、存储介质
技术领域
本申请涉及视频推荐技术领域，具体而言，涉及一种视频推荐方法、装置、设备以及计算机可读存储介质。
背景技术
随着移动终端的普及和网络技术的发展，人们越来越倾向于通过观看视频获取网络信息，由此各类视频平台逐渐兴起。由于视频平台中具有海量视频，如何将用户感兴趣的视频推荐给用户成为提升视频平台体验的重要手段。
目前，视频平台对于视频的推荐是基于视频分类实现的，基于对平台中海量视频的分类处理，便于得到与用户感兴趣的视频类型相同或者相似的视频为用户进行推荐。但是，由于视频分类过程中需要标注大量的样本，标注成本非常大，导致视频推荐耗时较长，虽然样本标注也可以通过离线方式实现，以解决视频推荐耗时的问题，但是已有的标注样本都是针对通用视频类别进行标注的，难以对用户的兴趣类别准确描述，在视频推荐的实际应用中与用户期望相差较大，难以实现视频的精准推荐。
发明内容
为解决现有技术中难以实现精准视频推荐的技术问题，本申请的实施例提供了一种视频推荐方法、装置、设备以及计算机可读存储介质，能够保证视频推荐的精准性和实时性。
其中，本申请所采用的技术方案为：
一种视频推荐方法，包括：确定客户端页面的视频浮层中播放的目标视频，所述目标视频为所述客户端页面上的其中一个视频；根据所述视频浮层的历史播放信息，获取基于所述客户端页面上的视频进行浮层消费的视频样本集合，所述浮层消费是指所述视频样本集合中视频样本在所述视频浮层中进行的播放；分别提取所述目标视频和各个视频样本的视频特征，所述视频特征融合有所述目标视频或者所述视频样本的内容信息和播放信息；根据所述视频样本和所述目标视频之间视频特征的相关性，为所述视频样本确定其在所述视频样本集合中的排序；根据所述排序进行所述视频样本集合在所述客户端页面的推荐。
一种视频推荐装置，包括：目标视频确定模块，用于确定客户端页面的视频浮层中播放的目标视频，所述目标视频为所述客户端页面上的其中一个视频；视频样本获取模块，用于根据所述视频浮层的历史播放信息，获取基于所述客户端页面上的视频进行浮层消费的视频样本集合，所述浮层消费是指所述视频样本集合中视频样本在所述视频浮层中进行的播放；视频特征提取模块，用于分别提取所述目标视频和各个视频样本的视频特征，所述视频特征融合有所述目标视频或者所述视频样本的内容信息和播放信息；
排序确定模块，用于根据所述视频样本和所述目标视频之间视频特征的相关性，为所述视频样本确定其在所述视频样本集合中的排序；排序推荐模块，用于根据所述排序进行所述视频样本集合在所述客户端页面的推荐。
一种视频推荐设备，包括处理器及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的视频推荐方法。
一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的视频推荐方法。
申请实施例提供的技术方案可以包括以下有益效果：
在上述技术方案中，确定视频浮层中播放的目标视频后，根据视频浮层的历史播放信息，获取基于客户端页面上的视频进行浮层消费的若干视频样本，并且分别提取目标视频和各个视频样本的视频特征，根据视频样本和目标视频之间视频特征的相关性确定各个视频样本的排序，从而根据所得排序进行视频样本在客户端页面的推荐，以上过程并不涉及视频分类的过程，而是通过视频的内容信息和播放信息确定目标视频和视频样本之间的相关性，并根据相关性排序为客户端页面进行视频推荐，由此保证了视频推荐的精准性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明涉及的实施环境的示意图；
图2是根据一示例性实施例示出的一种客户端页面的界面示意图；
图3是根据一示例性实施例示出的一种视频推荐方法的流程图；
图4是图3所示实施例中步骤230在一个实施例的流程图；
图5是图4所示实施例中步骤231在一个实施例的流程图；
图6是图3所示实施例中步骤220在一个实施例的流程图；
图7是图3所示实施例中步骤240在一个实施例的流程图；
图8是根据一示例性应用场景示出的一种视频推荐方法的流程图；
图9是根据一示例性实施例示出的一种视频推荐装置的框图；
图10是根据一示例性实施例示出的一种视频推荐设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
请参阅图1，图1是本申请涉及的实施环境的示意图，该实施环境为一视频推荐系统，该系统包括终端100和服务器200。
其中，终端100和服务器200之间预先通过网络相连接，并通过该网络进行数据传输，例如进行视频推荐过程中所需信息的传输。该网络可以是有线网络或者无线网络，本处不进行限制。
终端100中安装有播放视频的客户端，用户在客户端页面显示的视频流(即feed流，是指持续更新并呈现给用户内容的信息流)中点击感兴趣的目标视频后，客户端页面跳转进入视频浮层，并在视频浮层中播放用户点击的目标视频。其中，终端100可以是智能手机、平板电脑、计算机等任意能够安装并运行视频播放客户端的电子设备。
如图2所示，客户端页面中显示有针对不同视频的视频标题和视频封面，用户点击任一视频的标题或者封面均可以触发跳转至视频浮层，以在视频浮层中播放用户所点击的视频。例如在图2所示客户端页面中，如果用户点击视频2封面所在的页面区域，则相应触发视频浮层中播放视频2，该视频2即作为用户感兴趣的目标视频。
服务器200则在终端100进行目标视频播放的过程中为终端100推荐与目标视频相关的视频，使得目标视频播放完毕后，或者用户在视频浮层中触发视频切换的操作后，视频浮层自动切换并播放服务器200所推荐的视频。其中，服务器200可以是单独的一台服务器，也可以是由若干服务器构成的服务器集群，本处也不进行限制。
从上述实施环境可以看出，服务器进行的视频推荐是在终端进行目标视频播放的过程中完成的，当目标视频播放完毕或者用户触发视频切换的操作之后，例如在视频浮层中触发上滑或下滑的操作，终端需立即切换并播放服务器推荐的视频，否则用户体验将会大打折扣，因此在此过程中对于视频推荐的实时性具有较高的要求。同时，终端所切换播放的视频是否为用户感兴趣的视频，也在一定程度上影响用户体验。
在现有的技术实现中，视频推荐是基于视频分类实现的，但是由于视频分类过程中样本标注的成本非常大，导致视频推荐耗时较长，虽然样本标注也可以通过离线方式实现，以解决视频推荐耗时的问题，但是已有的标注样本都是针对通用视频类型进行标注的，在视频推荐的实际应用中与用户期望相差较大，难以实现视频的精准推荐。。
基于此，本申请的实施例一方面提供了一种视频推荐方法，另一方面还提供一种视频推荐装置以及一种视频推荐设备，用以解决现有视频推荐过程中无法满足较高精准性和实时性要求的问题。
请参阅图3，图3是根据一示例性实施示出的一种视频推荐方法的流程图，该方法可以适用于图1所示实施环境中的服务器200。如图3所示，在一示例性实施例中，该方法至少包括以下步骤：
步骤210，确定客户端页面的视频浮层中播放的目标视频，目标视频为客户端页面上的其中一个视频。
其中，客户端页面的视频浮层是指位于客户端页面上层的浮层页面，并且该浮层页面用于进行视频播放。示例性的，在图1所示实施环境中，当用户在客户端页面显示的视频流中触发感兴趣的目标视频后，客户端页面跳转进入视频浮层，以将视频浮层呈现给用户，并将目标视频在视频浮层中进行播放。
在视频浮层并未退出的过程中，即未从视频浮层返回客户端页面，视频浮层中进行的视频播放都视为基于目标视频进行的视频播放，因此通过获取基于用户在客户端页面中的触发而跳转至视频浮层进行播放的视频，即可将此视频确定为视频浮层中播放的目标视频。
步骤220，根据视频浮层的历史播放信息，获取基于客户端页面上的视频进行浮层消费的视频样本集合。
首先需要说明的是，浮层消费是指视频在视频浮层中进行的播放，例如用户在客户端页面中触发目标视频在视频浮层中的播放即作为一次浮层消费，目标视频播放完毕后视频浮层自动播放下一视频、所切换的视频播放完毕后自动播放另一视频、以及目标视频播放的过程中用户触发视频浮层切换播放下一视频、在所切换的视频播放过程中用户触发视频浮层切换播放另一视频均可作为一次浮层消费。
相应的，对于客户页面上的任一视频来说，视频播放完毕后视频浮层自动播放下一视频、所切换的视频播放完毕后自动播放另一视频、以及目标视频播放的过程中用户触发视频浮层切换播放下一视频、在所切换的视频播放过程中用户触发视频浮层切换播放另一视频都是基于客户端页面上的视频进行的浮层消费，因此将这类浮层消费称为基于客户端页面上的视频进行的浮层消费。
便于理解的，在用户触发客户端页面上的视频跳转至视频浮层后，除播放客户端页面上的该视频外，视频浮层中播放的其他视频均为基于客户端页面上的该视频进行的浮层消费。
视频浮层的历史播放信息是指视频浮层的播放日志，其中包括客户端页面上的视频在视频浮层中进行浮层消费的历史记录，还包括基于客户端页面上的视频进行浮层消费的历史记录。
由此，根据视频浮层的历史播放信息能够获取到基于客户端页面上的视频进行浮层消费的视频样本集合。需要说明的是，视频样本集合可以包括基于客户端页面上的全部视频或者部分视频进行浮层消费的视频样本集合，本处不进行限制。
步骤230，分别提取目标视频和各个视频样本的视频特征，视频特征融合有目标视频或者视频样本的内容信息和播放信息。
其中，针对目标视频和各个视频样本，它们各自的视频特征融合有各自视频的内容信息和播放信息，该内容信息可以包括视频封面、视频标题、视频标签等与视频内容相关的文字信息和/或视觉信息，该播放信息可以包括视频的播放量、点赞量、评论量、平均播放时长、视频总时长等进行播放的参数信息。
步骤240，根据视频样本和目标视频之间视频特征的相关性，为视频样本确定其在视频样本集合中的排序。
其中，视频样本和目标视频之间视频特征的相关性，也是指视频样本和目标视频之间在内容信息和播放信息等方面上的相关性。根据视频样本和目标视频之间视频特征的相关性为视频样本确定其在视频样本集合中的排序，即确定视频样本集合中各个视频样本在视频内容以及视频播放情况等方面与目标视频的相关性排序。
步骤250，根据排序进行视频样本集合在客户端页面的推荐。
如前所述，视频样本集合中的视频样本根据其与目标视频关于视频特征的相关性进行排序，因此在根据所得排序进行视频样本集合向客户端页面的推荐过程中，客户端页面的视频浮层在目标视频播放完毕后或者用户触发切换操作后自动按照排序播放视频样本，使得视频浮层自动播放与目标视频相关性较高的视频，从而提升用户体验。
在一个实施例中，视频浮层在目标视频播放完毕后或者用户触发切换操作后，根据视频浮层的曝光列表进行视频的自动播放，在得到视频样本集合中各个视频样本的排序后，则可根据排序将相应的视频样本更新至曝光列表，由此使得视频浮层自动播放与目标视频相关性较高的视频。
综上可以得出，本实施例提供的视频推荐方法并不涉及视频分类的过程，而是通过视频的内容信息和播放信息确定目标视频和视频样本之间的相关性，并根据相关性排序为客户端页面进行视频推荐，相比于视频分类中繁杂的样本标注过程，本实施例基于视频内容信息和视频播放信息进行视频推荐的过程更加简单，耗时较少，能够满足于视频浮层中进行视频播放的实时性要求。并且，视频样本集合是基于视频浮层的历史播放信息进行选取的，与用户偏好相符合，从而实现视频的准确推荐。
图4是步骤230在一个实施例的流程图。如图4所示，在一示例性实施例中，提取目标视频和各个视频样本的视频特征至少包括以下步骤：
步骤231，针对视频样本和目标视频中的任一视频，根据视频的视觉信息和文本信息提取多模态特征。
首先需要说明的是，本实施例所称的“视频”是指视频样本和目标视频中的任一视频，该视频不仅包括目标视频，还包括视频样本集合中的任一视频样本。
视频的视觉信息可以是视频封面或者是视频中的任意帧或者指定帧，本处不进行限制。视频的文本信息可以是视频的标题、标签等描述视频的文本。多模态特征则融合了视频的文本信息和视觉信息。
在一个示例性实施例中，如图5所示，根据视频的视频信息和文本信息提取多模态特征，可以包括如下步骤：
步骤2311，针对视频样本和目标视频中的任一视频获取视频封面、视频标签和视频标题。
步骤2312，分别提取视频封面的封面特征、视频标签的标签特征和视频标题的标题特征。
由于视频封面、视频标签和视频标题所携带信息的类型不同，对视频封面、视频标签和视频标题进行特征提取的手段也相应不同。示例性的，可采用FastText(快速文本分类)模型和LDA(Latent Dirichlet Allocation，文档主题生成)模型提取视频标签的标签特征，采用VGG模型(是指论文《Very Deep Convolutional Networks for Large-ScaleImage Recognition》中的算法模型)提取视频封面的封面特征，并采用BERT(Bidirectional Encoder Representations from Transformers，基于Transformer的双向编码表示)模型提取视频标题的标题特征。
步骤2313，融合封面特征、标签特征和标题特征，得到视频的多模态特征。
融合视频的封面特征、标签特征和标题特征是指将这三者特征通过全连接层进行融合，从而得到视频的多模态特征。由此，将通过多模态特征表征视频的内容特征。
因此在本实施例中，由于多模态特征只与视频的内容信息相关，与用户行为等信息并无直接联系，从而使得多模态特征的获取过程十分方便和快速，在一定程度上保证了视频推荐过程的实时性。
步骤232，融合多模态特征和视频的播放特征得到视频特征。
视频的播放特征是对视频在视频浮层中进行播放的参数信息进行编码所得到的，如前所述，视频在视频浮层中进行播放的参数信息包括播放量、点赞量、评论量、平均播放时长、视频总时长等，因此可以通过视频浮层的历史播放信息获取视频的播放特征。
通过对视频进行播放的参数信息进行编码，即可得到视频的播放特征。示例性的，可以将视频对应的参数信息进行二进制编码，所得到的播放特征则对应为二进制编码形式，还可以将此参数信息编码为one-hot(独热)等编码形式，本处不进行限制。
在一个实施例中，目标视频的播放特征对应为目标视频进行播放的参数信息所对应编码的缺省最好值，视频样本的播放特征则对应为视频样本的参数信息所对应编码的真实值，由此，视频样本和目标视频在播放信息上的相关性将通过二者参数信息对应的编码值直接体现。
举例来说，如果针对视频样本进行播放的某一项播放参数进行二进制编码所得编码值为010110，目标视频进行播放的该项播放参数的二进制编码则对111111。
此外，与前述针对视频的封面特征、标签特征和标题特征的融合相似，视频的多模态特征和播放特征也是通过全连接层进行融合，由此得到视频特征。
由此，本实施例通过分别对目标视频和视频样本集合中的每一视频样本进行视频特征的提取，使得所得到的视频特征中融合有各自视频的内容信息和播放信息，从而使得视频样本和目标视频之间可以通过视频特征建立相关性，从而根据相关性排序进行视频样本的推荐。
图6是步骤220在一个实施例的示意图。如图6所示，根据视频浮层的历史播放信息，获取基于客户端页面上的视频进行浮层消费的视频样本集合，至少包括以下步骤：
步骤221，根据视频浮层的历史播放信息，确定基于客户端页面上的视频进行浮层消费的视频样本。
如前所述，视频浮层的历史播放信息不仅包括客户端页面上的视频在视频浮层中进行浮层消费的历史记录，还包括基于客户端页面上的视频进行浮层消费的历史记录，因此根据视频浮层的历史播放信息可以确定基于客户端页面上的视频进行浮层消费的视频样本。
也即是说，本实施例根据视频浮层进行视频播放的历史记录，可以将基于客户端页面上的视频进行浮层消费的所有视频获取为视频样本。
步骤222，将播放时长大于设定阈值的视频样本获取为正样本，并将播放时长小于设定阈值的视频样本获取为负样本，由正样本和负样本构成视频样本集合。
由于播放时长在一定程度上反映了用户对所播放视频的感兴趣程度，因此可以根据视频样本的播放时长将步骤221中确定的视频样本划分为正样本和负样本两种类别，其中正样本表示与目标视频相关性较大的视频样本，负样本表示与目标视频相关性较小的视频样本。
各视频样本的播放时长可以是各视频样本的平均播放时长，还可以是各视频样本的播放总时长，本处不进行限制。各视频样本的播放时长具体可以从视频浮层的历史播放信息中确定。
由此，本实施例将基于视频样本的播放时长将视频样本划分为正样本和负样本，由正样本和负样本构成视频样本集合，便于后续根据视频样本集合中正样本和负样本的视频特征确定各视频样本的排序。
此外，在另一示例性实施例中，为进一步丰富视频样本的类型，以为后续确定视频样本集合中各视频样本的排序提供更多的信息参考，本实施例还对区别于客户端页面上的视频类型的其它视频进行随机采样，将采样所得视频获取为负样本。需要说明的是，视频类型可以通过视频标签或者其它视频特征体现。
图7是步骤240在一个实施例的流程图。如图7所示，在一示例性实施例中，根据视频样本和目标样本之间视频特征的相关性，为视频样本确定其在视频样本集合中的排序，可以包括以下步骤：
步骤241，计算目标视频的视频特征分别与正样本和负样本的视频特征之间的余弦相似度。
首先需要说明的是，本实施例中目标视频、正样本以及负样本的视频特征实质上为视频向量，视频特征之间的余弦相似度为两个视频向量的夹角的余弦值。
针对与目标视频相关的正样本和负样本，分别计算各个正样本的视频特征与目标视频的视频特征之间的余弦相似度，以及分别计算各个负样本的视频特征与目标视频的视频特征之间的余弦相似度。由此，针对视频样本集合中的任一视频样本，都将得到其视频特征与目标视频的视频特征之间的余弦相似度。
步骤242，根据所得余弦相似度拟合正样本和负样本之间的排序关系。
如前所述，视频样本集合中任一视频样本对应的余弦相似度是通过对其视频特征和目标视频的视频特征进行计算得到的，因此视频样本的余弦相似度反映了该视频样本与目标视频之间的相关性。
因此，根据步骤241中所得正样本和负样本对应的余弦相似度，可以确定正样本和负样本分别与目标视频之间的相关性，从而可以根据该相关性排序拟合正样本和负样本之间的排序。
在所得排序中，与目标视频相关性越大的视频样本的排名越靠前，与目标视频相关性越小的视频样本的排名则越靠后。而在根据所得排序向客户端页面进行的视频推荐中，视频浮层将按照此排序进行推荐视频的播放，以优先播放与目标视频相关性较大的视频样本。
在另一示例性实施例中，根据余弦相似度拟合正样本和负样本之间的排序关系，可以是通过机器学习模型实现的。通过将正样本和负样本对应的余弦相似度输入机器学习模型中，机器学习模型将主动学习正样本和负样本所对应余弦相似度之间的排序关系，由此拟合正样本和负样本之间的真实排序关系。
需要说明的是，在机器学习模型主动学习排序关系的过程中，机器学习模型的输入特征必须同时含有正样本对应的余弦相似度以及负样本对应的余弦相似度，以基于正样本和负样本之间余弦相似度的差异来学习余弦相似度之间的排序关系，从而根据余弦相似度之间的排序关系得到正样本和负样本的排序关系。
示例性的，上述机器学习模型具体根据动态铰链损失函数来学习余弦相似度之间的排序关系，动态铰链损失函数如下：
dynamic_hinge_loss＝max(0,margin-Sp-Sn)
其中margin为预设的边界值，Sp表示正样本对应的余弦相似度，Sn表示负样本对应的余弦相似度。
边界值margin可以通过以下公式确定：
Figure BDA0002322259880000111
其中，tp表示正样本的播放时长，tn表示负样本的播放时长。如前所述的，该播放时长可以指视频样本的平均播放时长，也可以指视频样本的播放总时长。
本实施例通过上述动态铰链损失函数学习余弦相似度之间的排序关系，不仅能学习到正样本和负样本与目标视频之间的相关性，还可以学习到相关性的排序关系，使得学习得到的排序关系可以直接拟合正样本和负样本之间的真实排序关系。
下面将以一个具体的应用场景来对本申请提供的视频推荐方法进行详细描述。
如图8所示，在确定客户端页面的视频浮层中播放的目标视频之后，根据视频浮层的历史播放信息获取基于客户端页面上的视频进行浮层消费的视频样本，并将播放时长大于设定预置的视频样本确定为正样本，将播放时长小于设定阈值的视频样本的确定为负样本。
对于目标视频、正样本以及负样本，均需要根据其视频内容信息提取多模态特征，视频内容信息可以包括视频标签、视频标题和视频封面，还需要根据其视频播放信息提取播放特征，视频播放信息可以包括播放量、点赞量、评论量、平均播放时长、视频总时长等。
得到目标视频、正样本和负样本各自对应的多模态特征和播放特征后，通过将多模态特征和播放特征经由全连接层进行融合，以得到目标视频、正样本和负样本各自对应视频特征。
然后计算目标视频的视频特征与正样本的视频特征之间的余弦相似度，以及计算目标视频的视频特征与负样本的视频特征之间的余弦相似度，并通过动态铰链损失函数学习正样本和负样本所对应余弦相似度之间的排序关系，由此根据排序关系得到正样本和负样本之间的排序。
在所得排序关系中，正样本对应的排名应当先于负样本对应的排名，因此在根据所得排序关系对客户端页面进行的视频推荐中，客户端页面优先在视频浮层中播放排名靠前的视频。并且由于排名靠前的视频与目标视频之间的相关性更大，视频浮层优先播放与目标视频相关性更大的视频，由此在实现实时视频推荐的同时实现视频推荐的精准性，极大程度上提升了用户体验。
图9是根据一示例性实施例示出的一种视频推荐装置，该装置可以适用于图1所示实施环境中的服务器200。如图9所示，在一示例性实施例中，该装置包括目标视频确定模块310、视频样本获取模块320、视频特征提取模块330、排序确定模块340和排序推荐模块350。
目标视频确定模块310用于确定客户端页面的视频浮层中播放的目标视频，目标视频为客户端页面上的其中一个视频。
样本集合获取模块320用于根据视频浮层的历史播放信息，获取基于客户端页面上的视频进行浮层消费的视频样本集合，浮层消费是指视频样本集合中视频样本在视频浮层中进行的播放。
视频特征提取模块330用于分别提取目标视频和各个视频样本的视频特征，视频特征融合有目标视频或者视频样本的内容信息和播放信息。
排序确定模块340用于根据视频样本和目标视频之间视频特征的相关性，为视频样本确定其在视频样本集合中的排序。
排序推荐模块350用于根据排序进行视频样本集合在客户端页面的推荐。
在另一示例性实施例中，视频特征提取模块330包括多模态特征提取单元和多模态特征融合单元。
多模态特征提取单元用于针对视频样本和目标视频中的任一视频，根据视频的视觉信息和文本信息提取多模态特征。
多模态特征融合单元用于融合多模态特征和视频的播放特征得到视频特征。
在另一示例性实施例中，多模态特征提取单元包括视频内容获取子单元、内容特征提取子单元和内容特征融合子单元。
视频内容获取子单元用于针对视频样本和目标视频中的任一视频获取视频封面、视频标签和视频标题。
内容特征提取子单元用于分别提取视频封面的封面特征、视频标签的标签特征和视频标题的标题特征。
内容特征融合子单元用于融合封面特征、标签特征和标题特征，得到视频的多模态特征。
在另一示例性实施例中，视频特征提取模块330还包括参数信息获取单元和参数信息编码单元。
参数信息获取单元用于针对视频样本和目标视频中的任一视频获取进行播放的参数信息。
参数信息编码单元用于对数信息编码得到视频对应的播放特征。
在另一示例性实施例中，目标视频的播放特征为参数信息所对应编码的缺省最好值。
在另一示例性实施例中，样本集合获取模块320包括视频样本确定单元和样本分类单元。
视频样本确定单元用于根据视频浮层的历史播放信息确定基于客户端页面上的视频进行浮层消费的视频样本。
样本分类单元用于将播放时长大于设定阈值的视频样本获取为正样本，并将播放时长小于设定阈值的视频样本获取为负样本，由正样本和负样本构成视频样本集合。
在另一示例性实施例中，样本集合获取模块320还包括样本采样单元，样本采样单元用于对视频类型区别于目标视频的视频进行随机采样，将采样所得视频获取为负样本。
在另一示例性实施例中，排序确定模块340包括余弦相似度计算单元和拟合排序单元。
余弦相似度计算单元用于计算目标视频的视频特征分别与正样本和负样本的视频特征之间的余弦相似度。
拟合排序单元用于根据余弦相似度拟合正样本和负样本之间的排序关系。
在另一示例性实施例中，拟合排序单元包括特征输入子单元和排序输出子单元。
特征输入子单元用于将正样本和负样本的余弦相似度输入至机器学习模型中，使机器学习模型学习正样本和负样本的余弦相似度之间的排序关系。
排序输出子单元用于获取机器学习模型输出的排序关系。
需要说明的是，上述实施例所提供的装置与上述实施例所提供的方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。
在另一示例性的实施例中，本申请还提供了一种视频推荐设备，包括处理器和存储器，其中，存储器上存储有计算机可读指令，该计算机可读指令被处理器执行时实现如前所述的视频推荐方法。
请参阅图10，图10是根据一示例性实施例示出的一种视频推荐设备的硬件结构示意图。
需要说明的是，该设备只是一个适配于本申请的示例，不能认为是提供了对本申请的使用范围的任何限制。该设备也不能解释为需要依赖于或者必须具有图10中示出的示例性的视频推荐设备中的一个或者多个组件。
该设备的硬件结构可因配置或者性能的不同而产生较大的差异，如图10所示，该设备包括：电源410、接口430、至少一存储器450、以及至少一中央处理器(CPU，CentralProcessing Units)470。
其中，电源410用于为该设备上的各硬件设备提供工作电压。
接口430包括至少一有线或无线网络接口431、至少一串并转换接口433、至少一输入输出接口435以及至少一USB接口437等，用于与外部设备通信。
存储器450作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统451、应用程序453或者数据455等，存储方式可以是短暂存储或者永久存储。其中，操作系统451用于管理与控制该设备上的各硬件设备以及应用程序453，以实现中央处理器470对海量数据455的计算与处理，其可以是WindowsServerTM、Mac OS XTM、UnixTM、LinuxTM等。应用程序453是基于操作系统451之上完成至少一项特定工作的计算机程序，其可以包括至少一模块，每个模块都可以分别包含有对该设备的一系列计算机可读指令。
中央处理器470可以包括一个或多个以上的处理器，并设置为通过总线与存储器450通信，用于运算与处理存储器450中的海量数据455。
如上面所详细描述的，适用本申请的视频推荐设备将通过中央处理器470读取存储器450中存储的一系列计算机可读指令的形式来完成如前所述的视频推荐方法。
此外，通过硬件电路或者硬件电路结合软件指令也能同样实现本申请，因此，实现本申请并不限于任何特定硬件电路、软件以及两者的组合。
在另一示例性的实施例中，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的视频推荐方法。该计算机可读存储介质可以是上述实施例中描述的视频推荐设备中所包含的，也可以是单独存在，而未装配入该视频推荐设备中。
上述内容，仅为本申请的较佳示例性实施例，并非用于限制本申请的实施方案，本领域普通技术人员根据本申请的主要构思和精神，可以十分方便地进行相应的变通或修改，故本申请的保护范围应以权利要求书所要求的保护范围为准。

Claims (10)

1.一种视频推荐方法，其特征在于，包括：
确定客户端页面的视频浮层中播放的目标视频，所述目标视频为所述客户端页面上的其中一个视频；
根据所述视频浮层的历史播放信息，获取基于所述客户端页面上的视频进行浮层消费的视频样本集合，所述浮层消费是指所述视频样本集合中视频样本在所述视频浮层中进行的播放；
分别提取所述目标视频和各个视频样本的视频特征，所述视频特征融合有所述目标视频或者所述视频样本的内容信息和播放信息；
根据所述视频样本和所述目标视频之间视频特征的相关性，为所述视频样本确定其在所述视频样本集合中的排序；
根据所述排序进行所述视频样本集合在所述客户端页面的推荐。
2.根据权利要求1所述的方法，其特征在于，所述分别提取所述目标视频和各个视频样本的视频特征，包括：
针对所述视频样本和所述目标视频中的任一视频，根据所述视频的视觉信息和文本信息提取多模态特征；
融合所述多模态特征和所述视频的播放特征得到所述视频特征。
3.根据权利要求2所述的方法，其特征在于，所述针对所述视频样本和所述目标视频中的任一视频，根据所述视频的视觉信息和文本信息提取多模态特征，包括：
针对所述视频样本和所述目标视频中的任一视频获取视频封面、视频标签和视频标题；
分别提取所述视频封面的封面特征、所述视频标签的标签特征和所述视频标题的标题特征；
融合所述封面特征、所述标签特征和所述标题特征，得到所述视频的多模态特征。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
针对所述视频样本和所述目标视频中的任一视频获取进行播放的参数信息；
对所述参数信息编码得到所述视频对应的播放特征。
5.根据权利要求4所述的方法，其特征在于，所述目标视频的播放特征为所述参数信息所对应编码的缺省最好值。
6.根据权利要求1所述的方法，其特征在于，所述根据所述视频浮层的历史播放信息，获取基于所述客户端页面上的每个视频进行浮层消费的视频样本集合，包括：
根据所述视频浮层的历史播放信息，确定基于所述客户端页面上的视频进行浮层消费的视频样本；
将播放时长大于设定阈值的所述视频样本获取为正样本，并将播放时长小于所述设定阈值的视频样本获取为负样本，由所述正样本和所述负样本构成所述视频样本集合。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
对视频类型区别于所述目标视频的视频进行随机采样，将采样所得视频获取为所述负样本。
8.根据权利要求6或7所述方法，其特征在于，所述根据所述视频样本的视频特征与所述目标样本的视频特征之间的相关性确定所述视频样本的排序，包括：
计算所述目标视频的视频特征分别与所述正样本和所述负样本的视频特征之间的余弦相似度；
根据所述余弦相似度拟合所述正样本和所述负样本之间的排序关系。
9.根据权利要求8所述的方法，其特征在于，所述根据所述视频样本和所述目标视频之间视频特征的相关性，为所述视频样本确定其在所述视频样本集合中的排序，包括：
将所述正样本和所述负样本的余弦相似度输入至机器学习模型中，使所述机器学习模型学习所述正样本和所述负样本的余弦相似度之间的排序关系；
获取所述机器学习模型输出的所述排序关系。
10.一种视频推荐装置，其特征在于，包括：
目标视频确定模块，用于确定客户端页面的视频浮层中播放的目标视频，所述目标视频为所述客户端页面上的其中一个视频；
视频样本获取模块，用于根据所述视频浮层的历史播放信息，获取基于所述客户端页面上的视频进行浮层消费的视频样本集合，所述浮层消费是指所述视频样本集合中视频样本在所述视频浮层中进行的播放；
视频特征提取模块，用于分别提取所述目标视频和各个视频样本的视频特征，所述视频特征融合有所述目标视频或者所述视频样本的内容信息和播放信息；
排序确定模块，用于根据所述视频样本和所述目标视频之间视频特征的相关性，为所述视频样本确定其在所述视频样本集合中的排序；
排序推荐模块，用于根据所述排序进行所述视频样本集合在所述客户端页面的推荐。
CN201911302687.3A 2019-12-17 2019-12-17 视频推荐方法及装置 Active CN111107435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911302687.3A CN111107435B (zh) 2019-12-17 2019-12-17 视频推荐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911302687.3A CN111107435B (zh) 2019-12-17 2019-12-17 视频推荐方法及装置

Publications (2)

Publication Number Publication Date
CN111107435A true CN111107435A (zh) 2020-05-05
CN111107435B CN111107435B (zh) 2022-03-25

Family

ID=70422470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911302687.3A Active CN111107435B (zh) 2019-12-17 2019-12-17 视频推荐方法及装置

Country Status (1)

Country Link
CN (1) CN111107435B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541115A (zh) * 2020-12-02 2021-03-23 创盛视联数码科技（北京）有限公司 推荐教学视频的方法、电子设备及计算机可读介质
CN113378552A (zh) * 2021-07-06 2021-09-10 焦点科技股份有限公司 一种基于多模态gpt2模型的商品标题生成方法
CN113705315A (zh) * 2021-04-08 2021-11-26 腾讯科技（深圳）有限公司 视频处理方法、装置、设备及存储介质
CN114283350A (zh) * 2021-09-17 2022-04-05 腾讯科技（深圳）有限公司 视觉模型训练和视频处理方法、装置、设备及存储介质
CN114363660A (zh) * 2021-12-24 2022-04-15 腾讯科技（武汉）有限公司 视频合集确定方法、装置、电子设备及存储介质
WO2023273769A1 (zh) * 2021-07-01 2023-01-05 北京百度网讯科技有限公司 视频标签推荐模型的训练方法和确定视频标签的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469429A (zh) * 2014-12-22 2015-03-25 无锡天脉聚源传媒科技有限公司 一种节目推送方法及装置
US20160212494A1 (en) * 2013-09-06 2016-07-21 Beijing Qihoo Technology Company Limited Video recommendation method and device
CN106599165A (zh) * 2016-12-08 2017-04-26 腾讯科技（深圳）有限公司 一种基于播放行为的内容推荐方法及服务器
US20170251258A1 (en) * 2016-02-25 2017-08-31 Adobe Systems Incorporated Techniques for context aware video recommendation
CN109800325A (zh) * 2018-12-26 2019-05-24 北京达佳互联信息技术有限公司 视频推荐方法、装置和计算机可读存储介质
CN110446065A (zh) * 2019-08-02 2019-11-12 腾讯科技（武汉）有限公司 一种视频召回方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160212494A1 (en) * 2013-09-06 2016-07-21 Beijing Qihoo Technology Company Limited Video recommendation method and device
CN104469429A (zh) * 2014-12-22 2015-03-25 无锡天脉聚源传媒科技有限公司 一种节目推送方法及装置
US20170251258A1 (en) * 2016-02-25 2017-08-31 Adobe Systems Incorporated Techniques for context aware video recommendation
CN106599165A (zh) * 2016-12-08 2017-04-26 腾讯科技（深圳）有限公司 一种基于播放行为的内容推荐方法及服务器
CN109800325A (zh) * 2018-12-26 2019-05-24 北京达佳互联信息技术有限公司 视频推荐方法、装置和计算机可读存储介质
CN110446065A (zh) * 2019-08-02 2019-11-12 腾讯科技（武汉）有限公司 一种视频召回方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于洪涌等: "IPTV视频个性化推荐方案", 《电信科学》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541115A (zh) * 2020-12-02 2021-03-23 创盛视联数码科技（北京）有限公司 推荐教学视频的方法、电子设备及计算机可读介质
CN113705315A (zh) * 2021-04-08 2021-11-26 腾讯科技（深圳）有限公司 视频处理方法、装置、设备及存储介质
CN113705315B (zh) * 2021-04-08 2024-05-14 腾讯科技（深圳）有限公司 视频处理方法、装置、设备及存储介质
WO2023273769A1 (zh) * 2021-07-01 2023-01-05 北京百度网讯科技有限公司 视频标签推荐模型的训练方法和确定视频标签的方法
CN113378552A (zh) * 2021-07-06 2021-09-10 焦点科技股份有限公司 一种基于多模态gpt2模型的商品标题生成方法
CN113378552B (zh) * 2021-07-06 2024-04-19 焦点科技股份有限公司 一种基于多模态gpt2模型的商品标题生成方法
CN114283350A (zh) * 2021-09-17 2022-04-05 腾讯科技（深圳）有限公司 视觉模型训练和视频处理方法、装置、设备及存储介质
CN114283350B (zh) * 2021-09-17 2024-06-07 腾讯科技（深圳）有限公司 视觉模型训练和视频处理方法、装置、设备及存储介质
CN114363660A (zh) * 2021-12-24 2022-04-15 腾讯科技（武汉）有限公司 视频合集确定方法、装置、电子设备及存储介质
CN114363660B (zh) * 2021-12-24 2023-09-08 腾讯科技（武汉）有限公司 视频合集确定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111107435B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN111107435B (zh) 视频推荐方法及装置
CN110837579B (zh) 视频分类方法、装置、计算机以及可读存储介质
CN110781347B (zh) 一种视频处理方法、装置、设备以及可读存储介质
US20190108242A1 (en) Search method and processing device
CN112163122B (zh) 确定目标视频的标签的方法、装置、计算设备及存储介质
CN111767461B (zh) 数据处理方法及装置
CN111143610A (zh) 一种内容推荐方法、装置、电子设备和存储介质
CN111708941A (zh) 内容推荐方法、装置、计算机设备和存储介质
CN112559800B (zh) 用于处理视频的方法、装置、电子设备、介质和产品
CN112100504B (zh) 内容推荐方法、装置、电子设备及存储介质
CN109275047B (zh) 视频信息处理方法及装置、电子设备、存储介质
US11126682B1 (en) Hyperlink based multimedia processing
CN111783712A (zh) 一种视频处理方法、装置、设备及介质
CN112487242A (zh) 用于识别视频的方法、装置、电子设备及可读存储介质
CN111291564B (zh) 一种用于词向量获取的模型训练方法、装置和存储介质
CN114186074A (zh) 视频搜索词推荐方法、装置、电子设备及存储介质
CN115640449A (zh) 媒体对象推荐方法、装置、计算机设备和存储介质
CN110569447B (zh) 一种网络资源的推荐方法、装置及存储介质
CN116956183A (zh) 多媒体资源推荐方法、模型训练方法、装置及存储介质
CN116978028A (zh) 视频处理方法、装置、电子设备及存储介质
CN109800326A (zh) 一种视频处理方法、装置、设备和存储介质
CN115952317A (zh) 视频处理方法、装置、设备、介质及程序产品
CN114443904A (zh) 视频查询方法、装置、计算机设备及计算机可读存储介质
CN114449342A (zh) 视频推荐方法、装置、计算机可读存储介质和计算机设备
CN113672820B (zh) 特征提取网络的训练方法、信息推荐方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant