CN111078942B - 一种推荐视频的方法、装置及存储介质 - Google Patents

一种推荐视频的方法、装置及存储介质 Download PDF

Info

Publication number
CN111078942B
CN111078942B CN201911306066.2A CN201911306066A CN111078942B CN 111078942 B CN111078942 B CN 111078942B CN 201911306066 A CN201911306066 A CN 201911306066A CN 111078942 B CN111078942 B CN 111078942B
Authority
CN
China
Prior art keywords
user
key frame
vector
feature
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911306066.2A
Other languages
English (en)
Other versions
CN111078942A (zh
Inventor
梁涛
张晗
马连洋
衡阵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911306066.2A priority Critical patent/CN111078942B/zh
Publication of CN111078942A publication Critical patent/CN111078942A/zh
Application granted granted Critical
Publication of CN111078942B publication Critical patent/CN111078942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/735Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供一种推荐视频的方法、装置及存储介质,所述方法包括:获取待推荐的视频数据和用户兴趣数据;从所述视频数据中获取多个关键帧,将所述多个关键帧分别转换为第一特征向量;根据各关键帧的第一特征向量与所述用户兴趣数据之间的相似度,得到各关键帧的权重;根据关键帧的权重和各关键帧的特征向量得到关键帧的分布式信息向量;对所述分布式信息向量分类,得到并输出目标视频帧,所述目标视频帧用于向所述用户推荐所述视频数据。采用本方案能够提高个性化推荐视频的准确率。

Description

一种推荐视频的方法、装置及存储介质
技术领域
本申请实施例涉及视频处理技术领域,尤其涉及一种推荐视频的方法、装置及存储介质。
背景技术
对于用户个性化推荐,目前常用的推荐方案是根据用户个体特点为每个用户个体构建一个个性化推荐模型,或是基于普遍用户属性(年龄、性别等)构建一个用户群体性推荐模型,但是前者构建成本太大且获取每个用户个体数据不太现实,后者由于是基于普遍性用户属性构建的推荐模型,对于个体用户个性化推荐效果不佳。
由于采集的用户兴趣数据包括视频、图像、属性特征等,所以,目前一般采用卷积神经网络抽象特征或基于传统视觉的低级特征提取方法从对于视频、图像数据中提取one-hot编码,随机编码等用户属性特征。
在对现有技术的研究和实践过程中,本申请实施例的发明人发现,将这些用户兴趣数据进行特征抽取后,随后只是简单拼接或加和平均以向量化形式输出,并未考虑这些用户兴趣数据内在的联系特点,而个体用户由于兴趣点的原因会在历史数据上表现出一致性的属性特点。
发明内容
本申请实施例提供了一种推荐视频的方法、装置及存储介质,能够提高提高个性化推荐视频的准确率。
第一方面中,本申请实施例提供一种推荐视频的方法,所述方法包括:
获取待推荐的视频数据和用户兴趣数据;
从所述视频数据中获取多个关键帧,将所述多个关键帧分别转换为第一特征向量;
根据各关键帧的第一特征向量与所述用户兴趣数据之间的相似度,得到各关键帧的权重;
根据关键帧的权重和各关键帧的第一特征向量得到关键帧的分布式信息向量;
对所述分布式信息向量分类,得到并输出目标视频帧,所述目标视频帧用于向所述用户推荐所述视频数据。
一种可能的设计中,所述获取用户兴趣数据,包括:
获取所述用户的多个历史图像信息;
将所述用户的多个历史图像信息转换为第二特征向量;
从所述第二特征向量中获取多个关联特征向量,所述关联特征向量用于表示所述用户的兴趣点分布;
根据所述多个关联特征向量得到所述用户兴趣数据。
一种可能的设计中,所述从所述第二特征向量中获取多个关联特征向量,根据所述多个关联特征向量得到所述用户兴趣数据,包括:
从所述第二特征向量中获取一致性关联特征,所述一致性关联向量用于表示各历史图像信息之间的一致性关联特征;
根据所述一致性关联特征得到所述多个关联特征向量;
将所述多个关联特征向量合并,得到所述用户兴趣数据。
一种可能的设计中,所述根据各关键帧的第一特征向量与所述用户兴趣数据之间的相似度,得到各关键帧的权重,包括:
分别计算各关键帧的第一特征向量与所述用户兴趣数据的相似度;
将第一特征向量与所述用户兴趣数据的相似度作为与所述第一特征向量对应的关键帧的权重。
一种可能的设计中,所述根据关键帧的权重和各关键帧的第一特征向量得到关键帧的分布式信息向量,包括:
分别将各关键帧的第一特征向量与关键帧对应的权重进行加权,得到多个目标特征向量;
将所述多个目标特征向量加和,得到所述分布式信息向量。
一种可能的设计中,所述对所述分布式信息向量分类,得到并输出目标视频帧,包括:
根据关键帧的权重和各关键帧的第一特征向量,对各关键帧进行拼接,得到拼接向量;
对所述拼接向量进行特征变换,得到特征变换后的所述拼接向量;
根据所述特征变换后的所述拼接向量得到各关键帧的推荐概率,所述推荐概率是指关键帧成为用户兴趣点的概率;
根据各关键帧的推荐概率对各关键帧分类,将推荐概率高于预设概率关键帧作为所述目标视频帧并输出。
第二方面中,本申请实施例提供一种用于推荐视频的装置,具有实现对应于上述第一方面提供的推荐视频的方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,所述模块可以是软件和/或硬件。
一种可能的设计中,所述装置包括:
处理模块,用于获取待推荐的视频数据和用户兴趣数据;
所述处理模块还用于从所述视频数据中获取多个关键帧,将所述多个关键帧分别转换为第一特征向量;根据各关键帧的第一特征向量与所述用户兴趣数据之间的相似度,得到各关键帧的权重;根据关键帧的权重和各关键帧的第一特征向量得到关键帧的分布式信息向量;对所述分布式信息向量分类,得到目标视频帧,所述目标视频帧用于向所述用户推荐所述视频数据;
输入输出模块,用于输出所述处理模块得到的目标视频帧。
一种可能的设计中,所述处理模块具体用于:
提供所述输入输出模块获取所述用户的多个历史图像信息;
将所述用户的多个历史图像信息转换为第二特征向量;
从所述第二特征向量中获取多个关联特征向量,所述关联特征向量用于表示所述用户的兴趣点分布;
根据所述多个关联特征向量得到所述用户兴趣数据。
一种可能的设计中,所述处理模块具体用于:
从所述第二特征向量中获取一致性关联特征,所述一致性关联向量用于表示各历史图像信息之间的一致性关联特征;
根据所述一致性关联特征得到所述多个关联特征向量;
将所述多个关联特征向量合并,得到所述用户兴趣数据。
一种可能的设计中,所述处理模块具体用于:
分别计算各关键帧的第一特征向量与所述用户兴趣数据的相似度;
将第一特征向量与所述用户兴趣数据的相似度作为与所述第一特征向量对应的关键帧的权重。
一种可能的设计中,所述处理模块具体用于:
分别将各关键帧的第一特征向量与关键帧对应的权重进行加权,得到多个目标特征向量;
将所述多个目标特征向量加和,得到所述分布式信息向量。
一种可能的设计中,所述处理模块具体用于:
根据关键帧的权重和各关键帧的第一特征向量,对各关键帧进行拼接,得到拼接向量;
对所述拼接向量进行特征变换,得到特征变换后的所述拼接向量;
根据所述特征变换后的所述拼接向量得到各关键帧的推荐概率,所述推荐概率是指关键帧成为用户兴趣点的概率;
根据各关键帧的推荐概率对各关键帧分类,将推荐概率高于预设概率关键帧作为所述目标视频帧并输出。
本申请实施例又一方面提供了一种计算机设备,其包括至少一个连接的处理器、存储器和输入输出单元,其中,所述存储器用于存储计算机程序,所述处理器用于调用所述存储器中的计算机程序来执行上述第一方面所述的方法。
本申请实施例又一方面提供了一种计算机可读存储介质,其包括指令,当其在计算机上运行时,使得计算机执行上述第一方面所述的方法。
相较于现有技术,本申请实施例提供的方案中,获取待推荐的视频数据和用户兴趣数据;从所述视频数据中获取多个关键帧,将所述多个关键帧分别转换为第一特征向量;根据各关键帧的第一特征向量与所述用户兴趣数据之间的相似度,得到各关键帧的权重;根据关键帧的权重和各关键帧的特征向量得到关键帧的分布式信息向量;对所述分布式信息向量分类,得到并输出用于向所述用户推荐所述视频数据的目标视频帧。采用本方案,将用户历史的内在一致性关联挖掘过程和主体推荐的过程相隔离,使得内在一致性关联挖掘并不直接参与主体推荐模型的参数训练,可以分别针对单个用户个体上进行训练和推荐,无需针对每个用户单独训练一个推荐模型;另一方面,由于引入用户兴趣数据,所以能够有效提高用户个性化推荐的效果,以及提高个性化推荐视频的准确率。
附图说明
图1为本申请实施例中推荐模型的一种结构示意图;
图2为本申请实施例中推荐视频的方法的一种流程示意图;
图3为本申请实施例中针对推荐模型的一种训练过程示意图;
图4a为本申请实施例中示意图;
图4b为本申请实施例中示意图;
图5为本申请实施例中推荐模型中全连接层的一种结构示意图;
图6为本申请实施例中区块链系统的一种结构示意图;
图7为本申请实施例中用于推荐视频的装置的结构示意图;
图8为本申请实施例中用于推荐视频的装置的结构示意图。
具体实施方式
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块,本申请实施例中所出现的模块的划分,仅仅是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个系统中,或一些特征可以忽略,或不执行,另外,所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,模块之间的间接耦合或通信连接可以是电性或其他类似的形式,本申请实施例中均不作限定。并且,作为分离部件说明的模块或子模块可以是也可以不是物理上的分离,可以是也可以不是物理模块,或者可以分布到多个电路模块中,可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。
本申请实施例供了一种推荐视频的方法、装置及存储介质,可用于服务器侧,服务器可用于向不同的用户推荐个性化封面图像,以提高视频被用户观看的概率和时间,同时也符合用户的实际兴趣,从而提高推荐视频的准确性。一些实施方式中,本申请实施例中推荐视频的方法可基于推荐模型实现,该推荐模型分推荐封面图像模块和用户兴趣数据挖掘模块,图1为本申请实施例中推荐模型的一种结构示意图。以下进行详细说明。
用户兴趣数据挖掘模块,用于从用户历史数据中挖掘用户兴趣数据,并将挖掘的用户兴趣数据输入到封面图像模块,为封面图像模块提供个性化推荐的依据。
封面图像模块,用于对输入的视频进行关键帧提取,并将关键帧和来自用户兴趣数据挖掘模块的用户兴趣数据进行训练,输出与用户兴趣数据相匹配的封面图像。
本申请实施例主要提供以下技术方案:
将用户兴趣数据特征抽取的过程从推荐模型中分离出来,对用户兴趣数据特征抽取的过程不参与推荐模型的参数训练,仅仅产生用户对于当前视频的用户兴趣点分布,这样使得推荐模型使用所有用户的用户兴趣数据进行通用化训练。
从用户兴趣数据进行提取特征向量后,将特征向量依次输入双向长短期记忆(Bi-directional Long Short-Term Memory,Bi-LSTM)模型中,以挖掘用户兴趣数据之间的内在一致性关联特征(即内在关联)。然后对用户兴趣数据的内在一致性关联特征进行挖掘编码,且利用该编码构建推荐模型。后续向该推荐模型输入用户兴趣数据,该推荐模型即可输出用户个性化的封面图像,即向用户提供精准的且感兴趣的封面图像。
参照图2,以下介绍本申请实施例所提供的一种推荐视频的方法,本申请实施例包括:
201、获取待推荐的视频数据和用户兴趣数据。
其中,待推荐的视频数据包括多个视频帧,多个视频帧在时域上按照先后顺序排列,可将多个视频帧称作视频帧序列或动画序列。多个视频帧中包括关键帧。关键帧是指通过在动画序列中定义关键帧的样式来控制视频帧序列中的中间步骤。关键帧的用途又分为:普通关键帧(用于处理图形图像和动画);动作脚本关键帧(用于存放动作脚本,关键帧可以通过动作脚本控制flash影片和其中的影片剪辑)。每个关键帧有一个百分比值作为名称,代表在动画进行中,在哪个阶段触发这个帧所包含的样式。
用户兴趣数据是指用户历史观看过的视频数据、以及用户的属性特征,用户兴趣数据可称为用户历史数据,用户兴趣数据可包括图像、视频、用户的属性特征等格式的数据。其中,用户的属性特征可包括用户年龄、性别、职业、兴趣等行为数据。本申请实施例不对用户兴趣数据的名称和包括的内容作限定。
一些实施方式中,为便于对推荐模型的训练,可将用户兴趣数据处理为数据对,每个数据对包括视频分片和该视频分片中用户感兴趣的封面图像,每个用户对应至少一个数据对。这样,在训练推荐模型时,将每个用户的一个数据对作为推荐模型的输入和输出,即该数据对的视频作为推荐模型的输入,视频分片对应的封面图像作为推荐模型的输出,其余的数据对作为用户个性化历史数据使用,即推荐模型将使用这些数据对的封面图像来挖掘该用户兴趣点的内在一致性关联特征。
一些实施方式中,所述获取待推荐的视频和用户兴趣数据,包括:
获取所述用户的多个历史图像信息;
将所述用户的多个历史图像信息转换为第二特征向量;
从所述第二特征向量中获取多个关联特征向量,所述关联特征向量用于表示所述用户的兴趣点分布;
根据所述多个关联特征向量得到所述用户兴趣数据。
一些实施方式中,所述从所述第二特征向量中获取多个关联特征向量,根据所述多个关联特征向量得到所述用户兴趣数据,包括:
从所述第二特征向量中获取一致性关联特征,所述一致性关联向量用于表示各历史图像信息之间的一致性关联特征;
根据所述一致性关联特征得到所述多个关联特征向量;
将所述多个关联特征向量合并,得到所述用户兴趣数据。
例如图3所示,针对用户1(user1),将视频作为推荐模型的输入,视频分片对应的封面图像作为推荐模型的输出,将输入推荐模型的视频,以及推荐模型输出的封面图像作为一个数据对。推荐模型使用这些数据对的封面图像即可挖掘该用户兴趣点的内在一致性关联特征。
202、从所述视频数据中获取多个关键帧,将所述多个关键帧分别转换为第一特征向量。
其中,所述第一特征向量是指将关键帧映射到向量空间后得到的向量,例如,可将关键帧输入卷积神经网络,卷积神经网络输出关键帧相应的特征信息向量。
203、根据各关键帧的第一特征向量与所述用户兴趣数据之间的相似度,得到各关键帧的权重。
其中,关键帧的权重是指关键帧的重要程度,权重也可称为权重系数。多个关键帧的权重可用权重矩阵表示,本申请实施例不对权重的表示方式和名称作限定。
一些实施方式中,所述根据各关键帧的第一特征向量与所述用户兴趣数据之间的相似度,得到各关键帧的权重,包括:
分别计算各关键帧的第一特征向量与所述用户兴趣数据的相似度;
将第一特征向量与所述用户兴趣数据的相似度作为与所述第一特征向量对应的关键帧的权重。
相似度可以是欧氏距离或者余弦相似度,本申请实施例不多相似度的计算方式作限定。
例如,有k个关键帧(即KF1、KF2、…KFk),共对应k个特征向量kfcv_i(即kfcv_1、kfcv_2、…kfcv_k),i=1,2,…k,所述用户兴趣数据为hdv。其中,kfcv_1为KF1的特征向量,其他同理,不作赘述。那么,分别计算hdv与kfcv_1、kfcv_2、…kfcv_k之间的相似度,将hdv与kfcv_1之间的相似度作为KF1的权重,将hdv与kfcv_2之间的相似度作为KF2的权重,其他同理,不作赘述。
204、根据关键帧的权重和各关键帧的第一特征向量得到关键帧的分布式信息向量。
其中,分布式信息向量是指各关键帧的第一特征向量在加上权重后的分布特征,例如,有k个关键帧,共k个特征向量kfcv_i,权重依次为a1、a2、…ak,那么,分布式信息向量为a1*kfcv_1、a2*kfcv_2、…ak*kfcv_k这k个加权的特征向量在向量空间的分布特征。
一些实施方式中,所述根据关键帧的权重和各关键帧的第一特征向量得到关键帧的分布式信息向量,包括:
分别将各关键帧的第一特征向量与关键帧对应的权重进行加权,得到多个目标特征向量;
将所述多个目标特征向量加和,得到所述分布式信息向量。
205、对所述分布式信息向量分类,得到并输出目标视频帧。
其中,所述目标视频帧用于向所述用户推荐所述视频数据。例如,目标视频帧是指用户个性化推荐的封面图像或视频封面,例如图3所示,推荐模型在测试用户个性化推荐时,向该推荐模型输入该user1的用户兴趣数据,以生成该user1的兴趣点一致性关联向量,以及向推荐模型输入一个待推荐的视频,最终推荐模型会根据user1的兴趣点推荐符合该user1的封面图像。
一些实施方式中,所述对所述分布式信息向量分类,得到并输出目标视频帧,包括:
根据关键帧的权重和各关键帧的第一特征向量,对各关键帧进行拼接,得到拼接向量;
对所述拼接向量进行特征变换,得到特征变换后的所述拼接向量;
根据所述特征变换后的所述拼接向量得到各关键帧的推荐概率,所述推荐概率是指关键帧成为用户兴趣点的概率;
根据各关键帧的推荐概率对各关键帧分类,将推荐概率高于预设概率关键帧作为所述目标视频帧并输出。
与现有机制相比,本申请实施例中,采用本方案,将用户历史的内在一致性关联挖掘过程和主体推荐的过程相隔离,使得内在一致性关联挖掘并不直接参与主体推荐模型的参数训练,可以分别针对单个用户个体上进行训练和推荐,无需针对每个用户单独训练一个推荐模型;另一方面,由于引入用户兴趣数据,所以能够有效提高用户个性化推荐的效果,以及提高个性化推荐视频的准确率。
此外,本申请实施例中,将用户兴趣数据特征抽取的过程从推荐模型中分离出来,对用户兴趣数据特征抽取的过程不参与推荐模型的参数训练,仅仅产生用户对于当前视频的用户兴趣点分布,这样使得推荐模型使用所有用户的用户兴趣数据进行通用化训练,这样该推荐模型即可输出用户个性化的封面图像,即向用户提供精准的且感兴趣的封面图像。
为便于理解,下面以具体应用场景为例,如图3所示的针对推荐模型的一种训练过程示意图。推荐模型在测试目标视频帧(即用户个性化推荐的封面图像)时,需要提供该用户的历史数据用来生成该用户的兴趣点一致性关联向量,还有一个待推荐的输入短视频,最终模型会根据用户个体的兴趣点推荐符合该用户的短视频封面。下面分别从用户历史数据中挖掘用户兴趣数据、以及输出个性化推荐的封面图像介绍:
一、从用户历史数据中挖掘用户兴趣数据
将用户的m个历史图像信息HP输入如图1或如图4a所示的用户兴趣数据挖掘模块中,将用户的m个历史图像信息HP经过卷积神经网络(Convolu tional Neural Networks,CNN),得到m个历史图像信息HP的关键帧的特征向量表示,即得到m个历史图像信息HP的特征向量:hcv_1、hcv_2、…hc v_k。将m个历史图像信息HP的特征向量传入一个Bi-LSTM模型中,以通过Bi-LSTM模型挖掘m个历史图像信息之间内在的一致性关联特征,并将m个历史图像信息之间内在的一致性关联特征输出,即:lcdv_1、lcdv_2、…lcdv_m,并合并得到用户兴趣数据向量hdv。
最终,通过多轮迭代训练,通过图4a即可得到用户个体的m个历史图像信息中存在的用户兴趣数据向量hdv(即所述用户兴趣数据),该用户兴趣数据向量hdv包含了用户在历史中一致性的兴趣点数据,将该用户兴趣数据向量hdv推荐模型中封面图像模块的输入,以用于评估用户对关键帧中作为封面图像的兴趣点。
由于不直接参与主体推荐模型的参数训练,故本算法可以在所有用户的m个历史图像信息上进行训练,一方面能够保证推荐模型的通用性,另一方面能够保证该推荐模型能够有效的、准确的向用户输出个性化推荐的封面图像。
二、输出个性化推荐的封面图像
如图1所示,基于如图1所示的推荐模型,将短视频输入推荐模型的封面图像模块,将视频(video)进行关键帧提取,得到k个关键帧(即KF1、KF2、…KFk),将k个关键帧均输入CNN,得到各关键帧相应的特征向量kfcv_i(即k个特征向量:kfcv_1、kfcv_2、…kfcv_k),i=1,2,…k。
特征向量kfcv_i有两方面作用:一方面,如图4b所示,将特征向量kfcv_i与用户兴趣数据向量hdv进行相似性计算,从而将两者之间的相似度作为该关键帧的重要性程度,重要性程度用权重W表示;另一方面该特征向量kfcv_i与权重W进行加权。
然后,将所有加权后的特征向量kfcv_i加和,得到整个关键帧的分布式信息向量w_kfcv,最后将这个分布式信息向量输入如图5所示的全连接(Full-connected,FC)层,FC层对输入的分布式信息向量w_kfcv进行非线性变换并输出至Softmax层,一些实施方式中,非线性变换的方式可按照Y=f(WX+b)实现,其中f为图5中的节点,节点f为激活函数,W为权重矩阵,b为偏置常量。
在Softmax层对FC层的输出结果进行分类,即可得到各个关键帧的推荐概率,按照推荐概率确定一个该用户个性化的封面图像并输出。计算关键帧的推荐概率的一种计算公式可为:
Figure BDA0002323129970000111
其中zj=Wxj+b,xj为FC层的输出,W、b为FC层待训练的参数。
可见,本申请实施例将用户历史的内在一致性关联挖掘过程和主体推荐的过程相隔离,使得内在一致性关联特征挖掘过程不直接参与推荐模型的参数训练,使得推荐模型可以在所有用户个体上进行训练,而不用针对每个用户单独训练一个推荐模型,其次由于引入用户兴趣数据,故对于用户个性化推荐的效果也有好的提升,同时能够降低训练成本,提高推荐效果以及训练速度。
本申请实施例中,上述目标视频帧可保存在区块链中。其中,区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求完成共识后记录到存储上,对于一个新的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。
本申请实施例中执行推荐视频的方法的装置(也可称作服务器)可以是区块链系统中的节点。本申请实施例中的用于推荐视频的装置可以是如图6所示的一种区块链系统中的节点。
图1至图6中任一项所对应的实施例中所提及的任一技术特征也同样适用于本申请实施例中的图7和图8所对应的实施例,后续类似之处不再赘述。
以上对本申请实施例中一种推荐视频的方法进行说明,以下对执行上述推荐视频的方法的装置、计算机设备分别进行介绍。
上面对本申请实施例中的一种推荐视频的方法进行了描述,下面对本申请实施例中的用于推荐视频的装置进行描述。
参阅图7,如图7所示的一种用于推荐视频的装置的结构示意图,其可应用于视频处理。本申请实施例中的用于推荐视频的装置70能够实现对应于上述图1所对应的实施例中所执行的推荐视频的方法的步骤。用于推荐视频的装置实现的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,所述模块可以是软件和/或硬件。所述用于推荐视频的装置70可包括处理模块701和输入输出模块702,所述处理模块701、所述输入输出模块702功能实现可参考图1所对应的实施例中所执行的操作,此处不作赘述。例如,所述处理模块701可用于控制所述输入输出模块702的获取、输出等操作。
一些实施方式中,所述处理模块701可用于获取待推荐的视频数据和用户兴趣数据;
所述处理模块701还用于从所述视频数据中获取多个关键帧,将所述多个关键帧分别转换为第一特征向量;根据各关键帧的第一特征向量与所述用户兴趣数据之间的相似度,得到各关键帧的权重;根据关键帧的权重和各关键帧的第一特征向量得到关键帧的分布式信息向量;对所述分布式信息向量分类,得到目标视频帧,所述目标视频帧用于向所述用户推荐所述视频数据;
所述输入输出模块702可用于输出所述处理模块得到的目标视频帧。
本申请实施例中,所述处理模块701获取待推荐的视频数据和用户兴趣数据;从所述视频数据中获取多个关键帧,将所述多个关键帧分别转换为第一特征向量;根据各关键帧的第一特征向量与所述用户兴趣数据之间的相似度,得到各关键帧的权重;根据关键帧的权重和各关键帧的特征向量得到关键帧的分布式信息向量;对所述分布式信息向量分类,得到用于向所述用户推荐所述视频数据的目标视频帧。采用本方案,将用户历史的内在一致性关联挖掘过程和主体推荐的过程相隔离,使得内在一致性关联挖掘并不直接参与主体推荐模型的参数训练,可以分别针对单个用户个体上进行训练和推荐,无需针对每个用户单独训练一个推荐模型;另一方面,由于引入用户兴趣数据,所以能够有效提高用户个性化推荐的效果,以及提高个性化推荐视频的准确率。
一些实施方式中,所述处理模块701具体用于:
提供所述输入输出模块获取所述用户的多个历史图像信息;
将所述用户的多个历史图像信息转换为第二特征向量;
从所述第二特征向量中获取多个关联特征向量,所述关联特征向量用于表示所述用户的兴趣点分布;
根据所述多个关联特征向量得到所述用户兴趣数据。
一些实施方式中,所述处理模块701具体用于:
从所述第二特征向量中获取一致性关联特征,所述一致性关联向量用于表示各历史图像信息之间的一致性关联特征;
根据所述一致性关联特征得到所述多个关联特征向量;
将所述多个关联特征向量合并,得到所述用户兴趣数据。
一些实施方式中,所述处理模块701具体用于:
分别计算各关键帧的第一特征向量与所述用户兴趣数据的相似度;
将第一特征向量与所述用户兴趣数据的相似度作为与所述第一特征向量对应的关键帧的权重。
一些实施方式中,所述处理模块701具体用于:
分别将各关键帧的第一特征向量与关键帧对应的权重进行加权,得到多个目标特征向量;
将所述多个目标特征向量加和,得到所述分布式信息向量。
一些实施方式中,所述处理模块701具体用于:
根据关键帧的权重和各关键帧的第一特征向量,对各关键帧进行拼接,得到拼接向量;
对所述拼接向量进行特征变换,得到特征变换后的所述拼接向量;
根据所述特征变换后的所述拼接向量得到各关键帧的推荐概率,所述推荐概率是指关键帧成为用户兴趣点的概率;
根据各关键帧的推荐概率对各关键帧分类,将推荐概率高于预设概率关键帧作为所述目标视频帧并输出。
上面从模块化功能实体的角度对本申请实施例中的网络认证服务器和终端设备进行了描述,下面从硬件处理的角度分别对本申请实施例中的网络认证服务器和终端设备进行描述。图7所示的装置可以具有如图8所示的结构,当图7所示的装置具有如图8所示的结构时,图8中的处理器和输入输出单元能够实现前述对应该装置的装置实施例提供的处理模块和输入输出模块相同或相似的功能,图8中的中央存储器存储处理器执行上述推荐视频的方法时需要调用的计算机程序。在本申请实施例图7所示的实施例中的输入输出模块所对应的实体设备可以为输入输出单元或输入输出接口,处理模块对应的实体设备可以为处理器。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上对本申请实施例所提供的技术方案进行了详细介绍,本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请实施例的限制。

Claims (9)

1.一种推荐视频的方法,其特征在于,所述方法包括:
获取待推荐的视频数据和用户的多个历史图像信息;
将所述用户的多个历史图像信息转换为第二特征向量;
从所述第二特征向量中获取多个关联特征向量,所述关联特征向量用于表示所述用户的兴趣点分布;
根据所述多个关联特征向量得到用户兴趣数据;
从所述视频数据中获取多个关键帧,将所述多个关键帧分别转换为第一特征向量;
根据各关键帧的第一特征向量与所述用户兴趣数据之间的相似度,得到各关键帧的权重;
根据关键帧的权重和各关键帧的第一特征向量得到关键帧的分布式信息向量;
对所述分布式信息向量分类,得到并输出目标视频帧,所述目标视频帧用于向所述用户推荐所述视频数据。
2.根据权利要求1所述的方法,其特征在于,所述从所述第二特征向量中获取多个关联特征向量,根据所述多个关联特征向量得到所述用户兴趣数据,包括:
从所述第二特征向量中获取一致性关联特征,所述一致性关联向量用于表示各历史图像信息之间的一致性关联特征;
根据所述一致性关联特征得到所述多个关联特征向量;
将所述多个关联特征向量合并,得到所述用户兴趣数据。
3.根据权利要求2所述的方法,其特征在于,所述根据各关键帧的第一特征向量与所述用户兴趣数据之间的相似度,得到各关键帧的权重,包括:
分别计算各关键帧的第一特征向量与所述用户兴趣数据的相似度;
将第一特征向量与所述用户兴趣数据的相似度作为与所述第一特征向量对应的关键帧的权重。
4.根据权利要求1-2中任一项所述的方法,其特征在于,所述根据关键帧的权重和各关键帧的第一特征向量得到关键帧的分布式信息向量,包括:
分别将各关键帧的第一特征向量与关键帧对应的权重进行加权,得到多个目标特征向量;
将所述多个目标特征向量加和,得到所述分布式信息向量。
5.根据权利要求4所述的方法,其特征在于,所述对所述分布式信息向量分类,得到并输出目标视频帧,包括:
根据关键帧的权重和各关键帧的第一特征向量,对各关键帧进行拼接,得到拼接向量;
对所述拼接向量进行特征变换,得到特征变换后的所述拼接向量;
根据所述特征变换后的所述拼接向量得到各关键帧的推荐概率,所述推荐概率是指关键帧成为用户兴趣点的概率;
根据各关键帧的推荐概率对各关键帧分类,将推荐概率高于预设概率关键帧作为所述目标视频帧并输出。
6.根据权利要求1所述的方法,其特征在于,所述目标视频帧保存在区块链节点上。
7.一种用于推荐视频的装置,其特征在于,所述装置包括:
处理模块,用于获取待推荐的视频数据和用户的多个历史图像信息;将所述用户的多个历史图像信息转换为第二特征向量;从所述第二特征向量中获取多个关联特征向量,所述关联特征向量用于表示所述用户的兴趣点分布;根据所述多个关联特征向量得到用户兴趣数据;
所述处理模块还用于从所述视频数据中获取多个关键帧,将所述多个关键帧分别转换为第一特征向量;根据各关键帧的第一特征向量与所述用户兴趣数据之间的相似度,得到各关键帧的权重;根据关键帧的权重和各关键帧的第一特征向量得到关键帧的分布式信息向量;对所述分布式信息向量分类,得到目标视频帧,所述目标视频帧用于向所述用户推荐所述视频数据;
输入输出模块,用于输出所述处理模块得到的目标视频帧。
8.一种计算机设备,其特征在于,所述计算机设备包括:
至少一个处理器、存储器和输入输出单元;
其中,所述存储器用于存储计算机程序,所述处理器用于调用所述存储器中存储的计算机程序来执行如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,其包括指令,当其在计算机上运行时,使得计算机执行如权利要求1-6中所述的方法。
CN201911306066.2A 2019-12-18 2019-12-18 一种推荐视频的方法、装置及存储介质 Active CN111078942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911306066.2A CN111078942B (zh) 2019-12-18 2019-12-18 一种推荐视频的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911306066.2A CN111078942B (zh) 2019-12-18 2019-12-18 一种推荐视频的方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111078942A CN111078942A (zh) 2020-04-28
CN111078942B true CN111078942B (zh) 2021-10-08

Family

ID=70315314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911306066.2A Active CN111078942B (zh) 2019-12-18 2019-12-18 一种推荐视频的方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111078942B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115190357A (zh) * 2022-07-05 2022-10-14 三星电子(中国)研发中心 一种视频摘要生成方法和装置
CN117082309B (zh) * 2023-07-24 2024-05-03 北京天译科技有限公司 基于人工智能的气象服务短视频加工方法及平台系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887459B (zh) * 2010-06-28 2012-07-11 中国科学院计算技术研究所 网络视频话题检测的方法及其系统
WO2014172484A1 (en) * 2013-04-16 2014-10-23 DotProduct LLC Handheld portable optical scanner and method of using
CN107517393B (zh) * 2016-06-17 2020-04-17 阿里巴巴集团控股有限公司 一种信息推送方法、装置及系统
CN106845390B (zh) * 2017-01-18 2019-09-20 腾讯科技(深圳)有限公司 视频标题生成方法及装置
CN108470136A (zh) * 2017-07-17 2018-08-31 王庆军 一种拟探索视频特征数据的语义低维特征的获取方法
CN110097045A (zh) * 2018-01-31 2019-08-06 株式会社理光 一种定位方法、定位装置及可读存储介质
CN109359592B (zh) * 2018-10-16 2019-12-06 北京达佳互联信息技术有限公司 视频帧的处理方法、装置、电子设备及存储介质
CN109862432A (zh) * 2019-01-31 2019-06-07 厦门美图之家科技有限公司 点击率预测方法和装置
CN110196919B (zh) * 2019-05-10 2021-09-17 广东智媒云图科技股份有限公司 基于关键帧的电影推荐方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
CN111078942A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN108062780B (zh) 图像压缩方法和装置
CN111814977B (zh) 训练事件预测模型的方法及装置
CN108197532B (zh) 人脸识别的方法、装置及计算机装置
CN108830235B (zh) 用于生成信息的方法和装置
CN111401344B (zh) 人脸识别方法和装置及人脸识别系统的训练方法和装置
CN110222554A (zh) 欺诈识别方法、装置、电子设备及存储介质
CN110798709B (zh) 视频处理方法和装置、存储介质及电子装置
CN111078942B (zh) 一种推荐视频的方法、装置及存储介质
CN109214543B (zh) 数据处理方法及装置
CN108460365A (zh) 身份认证方法和装置
CN116862012A (zh) 机器学习模型训练方法、业务数据处理方法、装置及系统
CN108600250A (zh) 认证方法
CN110929806A (zh) 基于人工智能的图片处理方法、装置及电子设备
KR20210028365A (ko) 인공지능 기반의 기계학습을 통한 사용자 맞춤형 상품 추천 장치
CN110704668B (zh) 基于网格的协同注意力vqa方法和装置
CN104486306B (zh) 基于指静脉识别和云服务进行身份认证的方法
CN110008926A (zh) 用于识别年龄的方法和装置
CN109543068A (zh) 用于生成视频的评论信息的方法和装置
CN115249082A (zh) 用户兴趣预测方法、装置、存储介质和电子设备
CN111488887B (zh) 基于人工智能的图像处理方法、装置
CN113222073A (zh) 训练迁移学习模型和推荐模型的方法及装置
US20200012772A1 (en) Systems and methods for matching identity and readily accessible personal identifier information based on transaction timestamp
CN116431915A (zh) 一种基于联邦学习和注意力机制的跨域推荐方法与装置
CN112115452A (zh) 用于生成验证码图像的方法和装置
CN115017362A (zh) 数据处理方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022574

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant