CN114117203A - 一种短视频推荐方法、系统及设备 - Google Patents
一种短视频推荐方法、系统及设备 Download PDFInfo
- Publication number
- CN114117203A CN114117203A CN202111311290.8A CN202111311290A CN114117203A CN 114117203 A CN114117203 A CN 114117203A CN 202111311290 A CN202111311290 A CN 202111311290A CN 114117203 A CN114117203 A CN 114117203A
- Authority
- CN
- China
- Prior art keywords
- target
- tensor
- privacy
- fusion
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000013598 vector Substances 0.000 claims abstract description 106
- 230000004927 fusion Effects 0.000 claims abstract description 62
- 230000001537 neural effect Effects 0.000 claims abstract description 29
- 238000001914 filtration Methods 0.000 claims abstract description 28
- 238000007499 fusion processing Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 3
- 229960001948 caffeine Drugs 0.000 claims description 2
- RYYVLZVUVIJVGH-UHFFFAOYSA-N trimethylxanthine Natural products CN1C(=O)N(C)C(=O)C2=C1N=CN2C RYYVLZVUVIJVGH-UHFFFAOYSA-N 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 description 10
- 230000003993 interaction Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 101100379079 Emericella variicolor andA gene Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Neurology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种短视频推荐方法、系统、及设备，步骤包括：获得目标视频的两个特征向量，将目标融合张量利用Tucker分解成一个核心张量和三个因子矩阵，利用Tucker融合将目标视频的两个特征向量与核心张量和三个因子矩阵进行融合并且在融合过程中为核心张量通过差分隐私添加噪声，得到融合后的目标特征隐私向量，然后通过神经协同过滤计算出最终预测结果，通过最终预测结果判断是否向目标用户推荐目标视频，总体实现了隐私保护、特征融合和推荐系统。
Description
技术领域
本发明涉及视频推荐技术领域，特别涉及一种短视频推荐方法、系统及设备。
背景技术
推荐系统主要是通过联系用户和项目信息，发现对用户感兴趣的项目特征，再推送用户可能感兴趣的项目信息到用户面前，从而实现信息消费者和信息生产者的双赢；随着移动终端普及和网络的提速，短视频这一种互联网内容传播方式在各大平台迅速崛起，如何快速有效的预测并推送每个用户感兴趣的视频是目前的一个研究方向。目前存在许多解决计算复杂问题的视频推荐方案，但往往涉及的数据暴露了用户的隐私信息，例如用户兴趣点、用户城市、用户设备等，因此如何在加强视频推荐效率的同时，实现隐私保护是目前亟待解决的一个问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题。为此，本发明提出一种短视频推荐方法、系统及设备，通过应用Tucker分解，多模态融合与差分隐私技术，对原始真实数据进行一定程度上的扰动来提高隐私保护程度。
第一方面，本发明提供了一种短视频推荐方法，包括以下步骤：
获取目标视频的两个特征向量，所述目标视频包含有用户兴趣隐私信息，所述两个特征向量包括所述目标视频的视觉特征向量、音频特征向量和文本特征向量中的任意两个特征向量；
计算得到目标融合张量，将所述目标融合张量通过Tucker分解成一个核心张量和三个因子矩阵，将所述目标视频的两个特征向量与核心张量和三个因子矩阵进行融合，并在融合过程中为核心张量通过差分隐私添加与所述核心张量对应大小的噪声，得到融合后的目标特征隐私向量；
将所述目标特征隐私向量与目标用户的特征向量输入到神经协同过滤学习模型中，得到所述神经协同过滤学习模型输出的最终预测结果；
根据所述最终预测结果判断是否向所述目标用户推荐所述目标视频。
根据本发明的实施例，至少具有如下技术效果：
本方法针对视频的多模态信息，利用双线性融合技术将视频的两个模态特征融合成最终用于预测的视频特征隐私向量，从而得到更为精确的预测结果，且期间因为外积操作产生的维数过大问题，通过Tucker分解方法进行参数压缩，并利用差分隐私的方法对Tucker分解后的所述核心张量添加相应的噪音，从而通过对原始真实数据进行一定程度上的扰动来提高隐私保护程度，最后通过神经协同过滤学习用户特征向量和视频特征隐私向量之间的相互作用，得到最终的预测结果，总体实现了隐私保护、特征融合和推荐系统。
根据本发明的一些实施例，所述计算得到目标融合张量，包括：
步骤(1)、获取第t个融合张量，将所述第t个融合张量通过Tucker分解成一个核心张量和三个因子矩阵，将所述目标视频的两个特征向量与核心张量和三个因子矩阵进行融合，并在融合过程中为核心张量通过差分隐私添加与所述核心张量对应大小的噪声，得到第t个融合后的特征隐私向量；t为统计变量且t的初始值为1；
步骤(2)、将第t个融合后的特征隐私向量与目标用户的特征向量输入到神经协同过滤学习模型中，得到所述神经协同过滤学习模型输出的第t次预测结果；
步骤(3)、通过损失函数判断所述第t次预测结果是否满足预设的真实值，若所述第t次预测结果不满足所述预设的真实值，则根据所述第t次预测结果与所述预设的真实值之间的区别值计算得到第t+1个融合张量，令t＝t+1，跳转至步骤(1)，直至所述第t次预测结果满足所述预设的真实值，得到所述目标融合张量。
根据本发明的一些实施例，计算所述融合后的特征隐私向量的计算公式包括：
其中，所述向量
和
为所述目标视频的两个特征向量，所述
为融合张量且
所述A(1),A(2),A(3)为因子矩阵，所述
为核心张量，
所述η为噪音张量，所述
为所述融合后的目标特征隐私向量。
根据本发明的一些实施例，判断所述第t次是否等于预设的最大迭代次数，若等于所述预设的最大迭代次数，则使所述第t次预测结果为所述最终预测结果。
根据本发明的一些实施例，所述噪音张量η中的每个元素
且是从密度函数
中独立随机选取，所述
满足ε-差分隐私，所述ε为隐私预算。
根据本发明的一些实施例，所述神经协同过滤学习模型具体为多层感知机。
根据本发明的一些实施例，计算所述最终预测结果的计算公式包括：
其中，所述
表示第X层感知机的映射函数，所述
为所述最终预测结果，所述
所述
分别表示第X层感知机的权重矩阵，偏差向量，激活函数以及输出层的边权重。
根据本发明的一些实施例，所述损失函数的计算公式为：
其中，所述bceloss为所述区别值，所述target为所述预设的真实值，所述output为所述的预测结果,所述n为样本数量。
第二方面，本发明提供了一种短视频推荐系统，包括以下模块：
数据获取模块，用于获取目标视频的两个特征向量，所述目标视频包含有用户兴趣隐私信息，所述两个特征向量包括所述目标视频的视觉特征向量、音频特征向量和文本特征向量中的任意两个特征向量；
数据融合模块，用于计算得到目标融合张量，将所述目标融合张量通过Tucker分解成一个核心张量和三个因子矩阵，将所述目标视频的两个特征向量与核心张量和三个因子矩阵进行融合，并在融合过程中为核心张量通过差分隐私添加与所述核心张量对应大小的噪声，得到融合后的目标特征隐私向量；
数据输出模块，用于将所述目标特征隐私向量与目标用户的特征向量输入到神经协同过滤学习模型中，得到所述神经协同过滤学习模型输出的最终预测结果；
视频推荐模块，用于根据所述最终预测结果判断是否向所述目标用户推荐所述目标视频。
第三方面，本发明提供了一种短视频推荐设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上述的一种短视频推荐方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例提供的一种短视频推荐方法的流程示意图；
图2为本发明另一个实施例提供的一种短视频推荐方法的框架示意图；
图3为本发明另一个实施例提供的一种短视频推荐方法在Movielens数据集上6到10的TOP-K的HR以及NDCG归一化折损累计增益示意图；
图4为本发明另一个实施例提供的一种短视频推荐方法的Tucker分解示意图；
图5为本发明另一个实施例提供的一种短视频推荐方法的差分隐私示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
目前存在许多解决计算复杂问题的推荐系统方法，但往往涉及的数据暴露了用户的隐私信息，且传统的推荐系统预测方法多采用单模态特征进行推荐，通常只考虑到了用户对视频的点赞情况，预测准确度较低，且计算通常随着用户和项目的数量线性增长。
参照图1和图2，本发明提供了一种短视频推荐方法，本方法包括以下步骤：
步骤S100、获取目标视频的两个特征向量，目标视频包含有用户兴趣隐私信息，两个特征向量包括目标视频的视觉特征向量、音频特征向量和文本特征向量中的任意两个特征向量；
步骤S200、计算得到目标融合张量，将目标融合张量通过Tucker分解成一个核心张量和三个因子矩阵，将目标视频的两个特征向量与核心张量和三个因子矩阵进行融合，并在融合过程中为核心张量通过差分隐私添加与核心张量对应大小的噪声，得到融合后的目标特征隐私向量；
步骤S300、将目标特征隐私向量与目标用户的特征向量输入到神经协同过滤学习模型中，得到神经协同过滤学习模型输出的最终预测结果；
步骤S400、根据最终预测结果判断是否向目标用户推荐目标视频。
参照图2，本申请的一个实施例：首先执行步骤S100，然后参见图2中的“Multi-modal Tucker Fusion”框，向量与向量之间进行融合，并在融合过程中为核心张量通过差分隐私添加与核心张量对应大小的噪声处理，最后得到目标特征隐私向量，然后再参见图2中的“Embedding”框，将隐私向量和用户的特征向量共同输入至神经协同过滤学习模型中,得到神经协同过滤学习模型输出的最终预测结果。其中图2的Multi-model Tucker Fusion表示多模态Tucker融合，Differential Privacy表示差分隐私，Neural CF表示神经协同过滤，Noise vector element after Fusion表示融合后的噪声元素，Feature vectorelement after Fusion表示融合后的特征向量元素，Original feature vector element表示未进行融合与分解操作的特征向量元素。
在一些实施例中，步骤S200中计算得到目标融合张量具体包括如下步骤：
步骤(1)、获取第t个融合张量，将第t个融合张量通过Tucker分解成一个核心张量和三个因子矩阵，将目标视频的两个特征向量与核心张量和三个因子矩阵进行融合，并在融合过程中为核心张量通过差分隐私添加与核心张量对应大小的噪声，得到第t个融合后的特征隐私向量；t为统计变量且t的初始值为1；
步骤(2)、将第t个融合后的特征隐私向量与目标用户的特征向量输入到神经协同过滤学习模型中，得到神经协同过滤学习模型输出的第t次预测结果；
步骤(3)、通过损失函数判断第t次预测结果是否满足预设的真实值，若第t次预测结果不满足预设的真实值，则根据第t次预测结果与预设的真实值之间的区别值计算得到第t+1个融合张量，令t＝t+1，跳转至步骤(1)，直至第t次预测结果满足预设的真实值，得到目标融合张量。
在一些实施例中，计算特征隐私向量的计算公式包括：
其中，向量
和
为目标视频的两个特征向量，
为融合张量且
A(1),A(2),A(3)为因子矩阵，
为核心张量，
η为噪音张量，
为特征隐私向量。
在一些实施例中，上述步骤(3)还包括：
判断第t次是否等于预设的最大迭代次数，若等于预设的最大迭代次数，则使第t次预测结果为最终预测结果。
目标融合张量为第t次预测结果满足预设的真实值或第t次等于预设的最大迭代次数时的第t个融合张量，最终预测结果为第t次预测结果满足预设的真实值或第t次等于预设的最大迭代次数时的第t个预测结果。
噪音张量η中的每个元素
且是从密度函数
中独立随机选取的，
满足ε-差分隐私，ε为隐私预算。
例如：记用户评分值的最大范围为Δ＝max-min，
表示仅有一个元素不同的邻近张量，即
与
其中，L是可微的，η和η′分别为
和
的噪音矩阵。
对目标函数L中的gmnl求偏导数，得：
在迭代完成时，能得到
展开可得：
如果ijk≠p1p2p3，则可以推出η＝η’。
如果ijk＝p1p2p3，可以推出：
因为
且
所以||η-η′||F≤Δ。
因此，对于所有的xijk，x′ijk，有：
因此，在本实施例中，可以通过调节隐私预算ε来达到数据可用性和隐私保护程度之间的最佳权衡。
在步骤S300中，计算最终预测结果的计算公式包括：
其中，
表示第X层感知机的映射函数，
为最终预测结果，
aX,
分别表示第X层感知机的权重矩阵，偏差向量，激活函数以及输出层的边权重。
关于最终预测结果
为：
即：
其中，
均为正则化项，用来防止在训练过程中的过拟合，λk,k＝1,2,3,4为正则化系数。
例如：评测指标有命中率(Hit Ratio,HR)以及归一化折损累计增益(NormalizedDiscounted Cumulative Gain,NDCG)，它们的定义如下：
其中为N用户的总数量，hits(i)为第i个用户访问的值是否在推荐列表中，是则为1，否则为0。pi为第i个用户的真实访问值在推荐列表的位置，若推荐列表不存在该值，则pi→∞。
整个网络结构为端到端网络，采用BCE Loss的方法进行评判，计算公式如下：
其中，bceloss为区别值，target为预设的真实值，output为预测结果,n为样本数量，从初始化开始训练融合张量
直到bbceloss足目标值或整个算法达到最大迭代次数为止。
本方法针对视频的多模态信息，利用双线性融合技术将视频的两个模态特征融合成最终用于预测的视频特征隐私向量，从而得到更为精确的预测结果，且期间因为外积操作产生的维数过大问题，通过Tucker分解方法进行参数压缩，并利用差分隐私的方法对Tucker分解后的所述核心张量添加相应的噪音，从而通过对原始真实数据进行一定程度上的扰动来提高隐私保护程度，最后通过神经协同过滤学习用户特征向量和视频特征隐私向量之间的相互作用，得到最终的预测结果，总体实现了隐私保护、特征融合和推荐系统。
为了便于本领域人员的理解，以下提供一组最佳实施例：
步骤1，目标视频的多模态特征融合：
获取融合张量和目标视频的两个特征向量，目标视频包含有用户兴趣隐私信息，通过双线性融合可以在特征向量
和
之间编码完全参数化的双线性交互，公式如下：
其中，向量
和
为目标视频的视觉特征向量和音频特征向量，
为融合张量且
虽然该融合方法比较有效，但融合张量的大小以及特征向量的参数数量越大，计算效率也越低，所以用Tucker分解的方法将融合张量
分解成一个核心张量和三个因子矩阵，通过调节核心张量的大小来保持易于计算的参数数量与计算的灵活性。
将三阶张量
通过Tucker分解为三个因子矩阵
和一个核心张量
的乘积：
元素级别表达式为：
其中，核心张量
的元素可以保证各个模式矩阵A(1),A(2)和A(3)之间的相互作用，这是一种有效的参数压缩方法，可以提高计算速度。
融合可以采用分解后的形式，即将两式整合：
其中矩阵A(1)和A(2)将目标视频的两个特征分为相应尺寸N1和N2的空间，这些尺寸的大小直接影响到每个模态的建模复杂度，N1和N2越大，该视频的背景特征和时间特征就越复杂，核心张量主要用于模拟两个特征向量
和
之间的相互作用。
步骤2，差分隐私：
将目标视频的两个特征向量与核心张量和三个因子矩阵在融合过程中为核心张量通过差分隐私添加噪声以达到隐私保护的效果，步骤如下：
其中η为噪音张量，
为融合后的特征隐私向量。
对目标函数L中的gmnl求偏导数，得：
其中，记用户评分值的最大范围为Δ＝max-min，假设噪音张量η中的每个元素
且是从密度函数
中独立随机选取的，则
满足ε-差分隐私，ε为隐私预算。
证明：
表示仅有一个元素不同的邻近张量，即
与
其中，L是可微的，η和η′分别为
和
的噪音矩阵。
对目标函数L中的gmnl求偏导数，得：
在迭代完成时，能得到
展开可得：
如果ijk≠p1p2p3，则可以推出η＝η’。
如果ijk＝p1p2p3，可以推出：
因为
且
所以||η-η′||F≤Δ。
因此，对于所有的xijk，x′ijk，有：
因此，在本实施例中，可以通过调节隐私预算ε来达到数据可用性和隐私保护程度之间的最佳权衡。
步骤3，神经协同过滤模型：利用深度学习来对用户和项目潜在向量进行建模，即使用多层感知机来学习用户-项目交互函数，使模型具有非线性表达能力，步骤如下：
将目标用户特征向量
和目标视频特征隐私向量
输入到嵌入层，得到多层感知机中可以学习出用户和项目之间的非线性交互函数。计算步骤为：
其中，
表示第X层感知机的映射函数，
为最终预测结果，
aX,
分别表示第X层感知机的权重矩阵，偏差向量，激活函数以及输出层的边权重。
整个网络结构为端到端网络，其间通过
从初始化开始训练融合张量
直到bceloss满足目标值或整个算法达到最大迭代次数为止。
参照图3，显示了五种方案下的TOP-K性能，方案一：多层感知机(Multi-LayerPerception，MLP)；方案二：双线性Tucker融合的多层感知机(Bilinear)；方案三：双线性Tucker融合的多层感知机以及添加ε＝0.5的差分隐私噪音(Bilinear-DP(ε＝0.5))；方案四：双线性Tucker融合的多层感知机以及添加ε＝1.0的差分隐私噪音(Bilinear-DP(ε＝1.0))；方案五：双线性Tucker融合的多层感知机以及添加ε＝2.0的差分隐私噪音(Bilinear-DP(ε＝2.0))；
且由图3可知，双线性Tucker融合后的多层感知机与基础的多层感知机的方法相比，都有了一定的提升，约为7％。随着K的提升基本都得出了五种方法中的最优结果。为了使差分隐私的噪音大小对数据集产生的影响更加清晰，进一步展示了三种差分隐私方案的性能，分别是ε＝0.5，ε＝1.0，ε＝2.0。在拉普拉斯机制中，随着隐私预算的增加，机制添加的噪音量也越小。所以当ε＝0.5时，添加的噪音最大，所以得到的命中率结果较差，而ε＝2.0的方案五，在TOP10的评估时，命中率甚至超越未添加噪音的方案二，这也侧面说明适量的噪音有助于特征向量的融合。整体来说，HR以及NDCG的排名为方案二>方案五>方案四>方案一>方案三。
在融合特征向量的时候添加适量的噪音不仅有助于保护用户的兴趣隐私，还可以在一定程度上发掘到用户的其他兴趣点。
基于上述实施例，参照图4和图5，本实施例还提供了一种短视频推荐方法，包括：首先将目标视频的两个特征向量
和
进行双线性融合得到最终用于预测的特征向量
其中为了控制计算速率，将用于融合的张量
利用Tucker分解为三个因子矩阵A(1),A(2),A(3)与核心张量
张的乘积，且
期间利用差分隐私技术对每次迭代更新的核心张量添加噪音。
基于上述实施例，本实施例还提供了一种短视频推荐方法，不同于传统的推荐系统预测方法多采用单模态特征进行推荐，通常只考虑到了用户对视频的点赞情况，预测准确度较低，本发明利用Tucker融合技术将视频的多个模态特征融合成最终用于预测的视频特征隐私向量，从而得到更为精确的预测结果。
基于上述实施例，神经协同过滤学习模型具体为多层感知机。
基于上述实施例，本实施例还提供了一种短视频推荐系统，包括以下模块：
数据获取模块，用于获取目标视频的两个特征向量，目标视频包含有用户兴趣隐私信息，两个特征向量包括目标视频的视觉特征向量、音频特征向量和文本特征向量中的任意两个特征向量；
数据融合模块，用于计算得到目标融合张量，将目标融合张量通过Tucker分解成一个核心张量和三个因子矩阵，将目标视频的两个特征向量与核心张量和三个因子矩阵进行融合，并在融合过程中为核心张量通过差分隐私添加与核心张量对应大小的噪声，得到融合后的目标特征隐私向量；
数据输出模块，用于将目标特征隐私向量与目标用户的特征向量输入到神经协同过滤学习模型中，得到神经协同过滤学习模型输出的最终预测结果；
视频推荐模块，用于根据最终预测结果判断是否向目标用户推荐目标视频。
需要注意的是，本实施提供的系统实施例与上述的方法实施例是基于同一个发明构思，因此上述方法实施例的相关内容同样适用于本系统实施例，此处不再赘述。
本申请一个实施例，提供了一种短视频推荐设备；该设备可以是任意类型的智能终端，例如手机、平板电脑、个人计算机等。具体地，该设备包括：一个或多个控制处理器和存储器，本实例以一个控制处理器为例。控制处理器和存储器可以通过总线或者其他方式连接，本实例以通过总线连接为例。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种短视频推荐方法，其特征在于，包括以下步骤：
获取目标视频的两个特征向量，所述目标视频包含有用户兴趣隐私信息，所述两个特征向量包括所述目标视频的视觉特征向量、音频特征向量和文本特征向量中的任意两个特征向量；
计算得到目标融合张量，将所述目标融合张量通过Tucker分解成一个核心张量和三个因子矩阵，将所述目标视频的两个特征向量与核心张量和三个因子矩阵进行融合，并在融合过程中为核心张量通过差分隐私添加与所述核心张量对应大小的噪声，得到融合后的目标特征隐私向量；
将所述目标特征隐私向量与目标用户的特征向量输入到神经协同过滤学习模型中，得到所述神经协同过滤学习模型输出的最终预测结果；
根据所述最终预测结果判断是否向所述目标用户推荐所述目标视频。
2.根据权利要求1所述的一种短视频推荐方法，其特征在于，所述计算得到目标融合张量，包括：
步骤(1)、获取第t个融合张量，将所述第t个融合张量通过Tucker分解成一个核心张量和三个因子矩阵，将所述目标视频的两个特征向量与核心张量和三个因子矩阵进行融合，并在融合过程中为核心张量通过差分隐私添加与所述核心张量对应大小的噪声，得到第t个融合后的特征隐私向量；t为统计变量且t的初始值为1；
步骤(2)、将第t个融合后的特征隐私向量与目标用户的特征向量输入到神经协同过滤学习模型中，得到所述神经协同过滤学习模型输出的第t次预测结果；
步骤(3)、通过损失函数判断所述第t次预测结果是否满足预设的真实值，若所述第t次预测结果不满足所述预设的真实值，则根据所述第t次预测结果与所述预设的真实值之间的区别值计算得到第t+1个融合张量，令t＝t+1，跳转至步骤(1)，直至所述第t次预测结果满足所述预设的真实值，得到所述目标融合张量。
3.根据权利要求2所述的一种短视频推荐方法，其特征在于，计算所述特征隐私向量的计算公式包括：
其中，所述向量
和
为所述目标视频的两个特征向量，所述
为融合张量且
所述A(1)，A(2)，A(3)为因子矩阵，所述
为核心张量，
所述η为噪音张量，所述
为所述目标特征隐私向量。
4.根据权利要求2所述的一种短视频推荐方法，其特征在于，在所述步骤(3)中，还包括：判断所述第t次是否等于预设的最大迭代次数，若等于所述预设的最大迭代次数，则使所述第t次预测结果为所述最终预测结果。
5.根据权利要求3所述的一种短视频推荐方法，其特征在于，所述噪音张量η中的每个元素
且是从密度函数
中独立随机选取，所述
满足ε-差分隐私，所述ε为隐私预算。
6.根据权利要求1所述的一种短视频推荐方法，其特征在于，所述神经协同过滤学习模型具体为多层感知机。
7.根据权利要求1所述的一种短视频推荐方法，其特征在于，计算所述最终预测结果的计算公式包括：
其中，所述
表示第X层感知机的映射函数，所述
为所述最终预测结果，所述
所述
分别表示第X层感知机的权重矩阵，偏差向量，激活函数以及输出层的边权重。
8.根据权利要求2所述的一种短视频推荐方法，其特征在于，所述损失函数的计算公式为：
其中，所述bceloss为所述区别值，所述target为所述预设的真实值，所述output为所述预测结果，所述n为样本数量。
9.一种短视频推荐系统，其特征在于，包括：
数据获取模块，用于获取目标视频的两个特征向量，所述目标视频包含有用户兴趣隐私信息，所述两个特征向量包括所述目标视频的视觉特征向量、音频特征向量和文本特征向量中的任意两个特征向量；
数据融合模块，用于计算得到目标融合张量，将所述目标融合张量通过Tucker分解成一个核心张量和三个因子矩阵，将所述目标视频的两个特征向量与核心张量和三个因子矩阵进行融合，并在融合过程中为核心张量通过差分隐私添加与所述核心张量对应大小的噪声，得到融合后的目标特征隐私向量；
数据输出模块，用于将所述目标特征隐私向量与目标用户的特征向量输入到神经协同过滤学习模型中，得到所述神经协同过滤学习模型输出的最终预测结果；
视频推荐模块，用于根据所述最终预测结果判断是否向所述目标用户推荐所述目标视频。
10.一种短视频推荐设备，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至8任一项所述的一种短视频推荐方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111311290.8A CN114117203B (zh) | 2021-11-08 | 2021-11-08 | 一种短视频推荐方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111311290.8A CN114117203B (zh) | 2021-11-08 | 2021-11-08 | 一种短视频推荐方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114117203A true CN114117203A (zh) | 2022-03-01 |
| CN114117203B CN114117203B (zh) | 2024-06-11 |
Family
ID=80381051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111311290.8A Active CN114117203B (zh) | 2021-11-08 | 2021-11-08 | 一种短视频推荐方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114117203B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114723591A (zh) * | 2022-04-13 | 2022-07-08 | 北京邮电大学 | 基于增量式张量Tucker分解的教育推荐方法及系统 |
| WO2023158446A1 (en) * | 2022-02-18 | 2023-08-24 | Google Llc | Privacy-enhanced training and deployment of machine learning models using client-side and server-side data |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392049A (zh) * | 2017-07-26 | 2017-11-24 | 安徽大学 | 一种基于差分隐私保护的推荐方法 |
| CN108280217A (zh) * | 2018-02-06 | 2018-07-13 | 南京理工大学 | 一种基于差分隐私保护的矩阵分解推荐方法 |
| WO2019056572A1 (zh) * | 2017-09-25 | 2019-03-28 | 深圳大学 | 隐私保护协同Web服务质量预测的基于模型的协同过滤方法 |
| CN111125517A (zh) * | 2019-12-06 | 2020-05-08 | 陕西师范大学 | 一种基于差分隐私和时间感知的隐式矩阵分解推荐方法 |
| CN111191078A (zh) * | 2020-01-08 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 基于视频信息处理模型的视频信息处理方法及装置 |
| CN111324769A (zh) * | 2020-01-20 | 2020-06-23 | 腾讯科技（北京）有限公司 | 视频信息处理模型的训练方法、视频信息处理方法及装置 |
| CN111460223A (zh) * | 2020-02-25 | 2020-07-28 | 天津大学 | 基于深度网络的多模态特征融合的短视频单标签分类方法 |
-
2021
- 2021-11-08 CN CN202111311290.8A patent/CN114117203B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392049A (zh) * | 2017-07-26 | 2017-11-24 | 安徽大学 | 一种基于差分隐私保护的推荐方法 |
| WO2019056572A1 (zh) * | 2017-09-25 | 2019-03-28 | 深圳大学 | 隐私保护协同Web服务质量预测的基于模型的协同过滤方法 |
| CN108280217A (zh) * | 2018-02-06 | 2018-07-13 | 南京理工大学 | 一种基于差分隐私保护的矩阵分解推荐方法 |
| CN111125517A (zh) * | 2019-12-06 | 2020-05-08 | 陕西师范大学 | 一种基于差分隐私和时间感知的隐式矩阵分解推荐方法 |
| CN111191078A (zh) * | 2020-01-08 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 基于视频信息处理模型的视频信息处理方法及装置 |
| CN111324769A (zh) * | 2020-01-20 | 2020-06-23 | 腾讯科技（北京）有限公司 | 视频信息处理模型的训练方法、视频信息处理方法及装置 |
| CN111460223A (zh) * | 2020-02-25 | 2020-07-28 | 天津大学 | 基于深度网络的多模态特征融合的短视频单标签分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 于晓;聂秀山;马林元;尹义龙;: "基于短空时变化的鲁棒视频哈希算法", 计算机科学, no. 02, 15 February 2018 (2018-02-15) * |
| 谭黎立;聂瑞华;梁军;王进宏;: "基于动态时间的个性化推荐模型", 华南师范大学学报(自然科学版), no. 03, 25 June 2017 (2017-06-25) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023158446A1 (en) * | 2022-02-18 | 2023-08-24 | Google Llc | Privacy-enhanced training and deployment of machine learning models using client-side and server-side data |
| CN114723591A (zh) * | 2022-04-13 | 2022-07-08 | 北京邮电大学 | 基于增量式张量Tucker分解的教育推荐方法及系统 |
| CN114723591B (zh) * | 2022-04-13 | 2023-10-20 | 北京邮电大学 | 基于增量式张量Tucker分解的教育推荐方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114117203B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | Deep learning based recommender system using cross convolutional filters | |
| CN111310063B (zh) | 基于神经网络的记忆感知门控因子分解机物品推荐方法 | |
| Yu et al. | Inclusive gan: Improving data and minority coverage in generative models | |
| CN110781409B (zh) | 一种基于协同过滤的物品推荐方法 | |
| EP4180991A1 (en) | Neural network distillation method and apparatus | |
| Hu et al. | Movie collaborative filtering with multiplex implicit feedbacks | |
| CN111708950A (zh) | 内容推荐方法、装置及电子设备 | |
| Jiao et al. | A novel learning rate function and its application on the SVD++ recommendation algorithm | |
| CN114117203A (zh) | 一种短视频推荐方法、系统及设备 | |
| CN114117216A (zh) | 推荐概率预测方法及装置、计算机存储介质和电子设备 | |
| Suriati et al. | Weighted hybrid technique for recommender system | |
| CN112631560A (zh) | 一种推荐模型的目标函数的构建方法及终端 | |
| Xia et al. | Modeling consumer buying decision for recommendation based on multi-task deep learning | |
| CN113590976A (zh) | 一种空间自适应图卷积网络的推荐方法 | |
| CN113221019A (zh) | 基于即时学习的个性化推荐方法和系统 | |
| CN109857928A (zh) | 基于多元信用评估的用户偏好预测方法 | |
| CN115147192A (zh) | 基于双视角纠偏的推荐方法及推荐系统 | |
| Mondal et al. | Decs: A deep neural network framework for cold start problem in recommender systems | |
| Liang et al. | Weight normalization optimization movie recommendation algorithm based on three-way neural interaction networks | |
| CN115809374B (zh) | 纠正推荐系统主流偏差的方法、系统、设备及存储介质 | |
| Yin et al. | PeNet: A feature excitation learning approach to advertisement click-through rate prediction | |
| Tegetmeier et al. | Artificial intelligence algorithms for collaborative book recommender systems | |
| Zhang et al. | Leveraging mixed distribution of multi-head attention for sequential recommendation | |
| CN115470397B (zh) | 内容推荐方法、装置、计算机设备和存储介质 | |
| CN114254187A (zh) | 基于自适应降噪训练的推荐方法、系统、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |