CN111046166A - 一种基于相似度修正的半隐式多模态推荐方法 - Google Patents
一种基于相似度修正的半隐式多模态推荐方法 Download PDFInfo
- Publication number
- CN111046166A CN111046166A CN201911261522.6A CN201911261522A CN111046166A CN 111046166 A CN111046166 A CN 111046166A CN 201911261522 A CN201911261522 A CN 201911261522A CN 111046166 A CN111046166 A CN 111046166A
- Authority
- CN
- China
- Prior art keywords
- user
- item
- similarity
- text
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012937 correction Methods 0.000 title claims abstract description 22
- 230000002452 interceptive effect Effects 0.000 claims abstract description 49
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 230000003993 interaction Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000004048 modification Effects 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 8
- 238000002360 preparation method Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000003058 natural language processing Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 abstract description 4
- 230000008034 disappearance Effects 0.000 abstract description 3
- 206010065042 Immune reconstitution inflammatory syndrome Diseases 0.000 description 6
- 230000001537 neural effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/435—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供的一种基于相似度修正的半隐式多模态推荐方法，包括：获取用户交互信息，包括图像信息和文本信息；提取图像视觉特征和文本特征；根据图像视觉特征、文本特征计算每个用户各条目间的兴趣相关系数，得到用户对每个条目的预测评分；计算相似度修正损失函数，对兴趣相关系数生成网络进行参数更新；利用更新后的兴趣相关系数生成网络得到每个用户各条目间的兴趣相关系数，完成用户对每个条目的修正后的预测评分。本发明提供的半隐式多模态推荐方法，利用非交互项与交互项之间的相似程度，对现有网络损失函数中非交互项条目对应的期望评分进行修正，有效缓解非交互项期望评分简单置零带来的凸路径消失和梯度方向准确度下降的问题。
Description
技术领域
本发明涉及信息推荐技术领域，更具体的，涉及一种基于相似度修正的半隐式多模态推荐方法。
背景技术
推荐系统中的信息种类日趋多样化，文本、图像和视频等多种模态的非结构化数据所占比重越来越大。然后，由于不同模态之间的表示差异，很难有效的使用非结构化的多模态数据来提高推荐系统的效率。另一方面，深度学习中的表示学习对于低层次数据中提取高层次特征非常有效，尤其是对于非结构化数据，它提供了一种向量化的方式来对各模态数据进行理解。将非结构化信息之间的关系描述为结构化特征之间的关系，将抽象感念向量化，使得推荐系统具有更好的准确性和可解释性。
针对具有多种模态特征的推荐系统，JUNMEI LV[1]等在各模态间增加知识共享处理模块，使经过表示学习后的各个模态信息能够相互作用，而不是传统的加权平均处理。兴趣相关网络中引入了基于条目相似度的神经注意力模型，用以学习交互项的不同重要性，并重新设计注意机制的形式，以解决不同用户交互项数目的差异巨大的问题。该论文中，包含图像与文本两种模态数据的兴趣相关系数生成网络如图2所示。如图2，经过表示学习模型，图像和文本数据被分别预处理为2048维、768维的特征向量。在嵌入层中，通过参数矩阵、条目图像特征和文本特征被映射成长度为嵌入尺寸的向量(嵌入尺寸为训练前规定的较小值，使向量更稠密，减小参数规模和学习成本)，并作为兴趣相关网络的输入。一般地，在隐式推荐方法中，参数估计的目标可理解为使得训练集中的交互项获得的预测评分趋于1，而非交互项获得的预测评分趋于0。
然而，将非交互项的期望评分简单地规定为0，会使训练过程中的梯度下降遇到问题。对两个特征高度相似的条目而言，若它们分别出现在同一用户的交互项集合和非交互项集合当中，训练目标应为使处于交互项集合的条目的预测评分尽可能趋于1，而与该条目高度相似但处于非交互项集合中的条目的预测评分却期望趋于0，这样一组矛盾可能使得凸路径消失，一定程度上降低了梯度下降的准确性。
发明内容
本发明为克服现有的推荐系统中直接将非交互项的期望评分规定为0，存在引起凸路径消失、降低系统梯度方向准确性的技术缺陷，提供一种基于相似度修正的半隐式多模态推荐方法。
为解决上述技术问题，本发明的技术方案如下：
一种基于相似度修正的半隐式多模态推荐方法，包括以下步骤：
S1：获取用户交互信息，包括图像信息和文本信息，进行数据准备；
S2：对图像信息和文本信息进行特征提取，得到图像视觉特征和文本特征；
S3：基于兴趣相关系数生成网络，根据图像视觉特征、文本特征计算得到每个用户各条目间的兴趣相关系数，得到用户对每个条目的预测评分；
S4：根据预测评分计算相似度修正损失函数，利用相似度修正损失函数对兴趣相关系数生成网络进行参数更新；
S5：利用更新后的兴趣相关系数生成网络得到每个用户各条目间的兴趣相关系数，完成用户对每个条目的修正后的预测评分。
其中，所述步骤S1具体包括：
S11：通过MovieLens获取用户交互信息，包括图像信息和文本信息；
S12：从交互信息中随机抽取一个作为测试集的正例，其与交互信息作为训练集中的正例；
S13：选取未与该用户发生交互的非交互信息作为测试集的负例，再随机抽取若干非交互信息加入训练集中作为负例，使得训练集中的正例和负例比值为 1:4，完成数据的准备。
其中，在所述步骤S2中，使用ResNet50模型提取图像信息的图像视觉特征，使用自然语言处理模型BERT提取文本信息的文本特征。
其中，所述步骤S3具体包括以下步骤：
S31：将图像视觉特征预处理为2048维的特征向量，将文本特征预处理为768 维特征向量；
S32：对于条目i、条目j对应的图像视觉特征、文本特征分别表示为vi，ti， vj，tj，对于用户u的条目i、条目j兴趣相关系数的计算公式具体为：
式中，W1、W2、W3、W4、b、h为基本参数，β为超参数，f(·)为激活函数，利用兴趣相关系数auij计算用户u对于条目j的预测评分
具体计算公式为：
式中，
表示用户u所有交互项的集合，pi、qi来源于特征向量，α为超参数。
其中，所述步骤S4具体为：
S31：对于用户u对应的交互信息i，其损失函数为：
其中，
表示预测评分；考虑到同一用户的相似条目拥有相近的期望评分，将损失函数表示为：
式中，rui取对应的非交互项和所有交互项相似度的平均值；
S32：利用特征向量余弦相似度表征相似度，条目i、条目j的余弦相似度计算公示具体为：
其中，vi，vj为2048维的图像视觉特征，ti，tj为768维的文本特征向量；
S33：根据步骤S31、步骤S32，对某一用户的训练集中的某一条目而言，rui的计算公式为：
S34：利用余弦相似度、rui的计算式对现有的损失函数进行修正，得到相似度修正损失函数，具体表示为：
S35：以式为损失函数，用Adam优化器进行训练，以最小化损失函数为原则更新兴趣相关系数生成网络的所有参数。
其中，在所述步骤S34中，所述的现有的损失函数具体表达式为：
其中，所述步骤S5具体为，将测试集作为更新参数后的相关系数生成网络的输入参数，得到每个用户各条目间的兴趣相关系数，完成用户对每个条目的修正后的预测评分。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供的一种基于相似度修正的半隐式多模态推荐方法，利用非交互项与交互项之间的相似程度，对现有网络损失函数中非交互项条目对应的期望评分进行修正，有效缓解非交互项期望评分简单置零带来的凸路径消失和梯度方向准确度下降的问题，提升了梯度方向的准确度。
附图说明
图1为本发明所述方法流程图；
图2为包含两种模态数据情况下的兴趣相关系数生成网络结构示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于相似度修正的半隐式多模态推荐方法，包括以下步骤：
S1：获取用户交互信息，包括图像信息和文本信息，进行数据准备；
S2：对图像信息和文本信息进行特征提取，得到图像视觉特征和文本特征；
S3：基于兴趣相关系数生成网络，根据图像视觉特征、文本特征计算得到每个用户各条目间的兴趣相关系数，得到用户对每个条目的预测评分；
S4：根据预测评分计算相似度修正损失函数，利用相似度修正损失函数对兴趣相关系数生成网络进行参数更新；
S5：利用更新后的兴趣相关系数生成网络得到每个用户各条目间的兴趣相关系数，完成用户对每个条目的修正后的预测评分。
更具体的，所述步骤S1具体包括：
S11：通过MovieLens获取用户交互信息，包括图像信息和文本信息；
S12：从交互信息中随机抽取一个作为测试集的正例，其与交互信息作为训练集中的正例；
S13：选取未与该用户发生交互的非交互信息作为测试集的负例，再随机抽取若干非交互信息加入训练集中作为负例，使得训练集中的正例和负例比值为 1:4，完成数据的准备。
更具体的，在所述步骤S2中，使用ResNet50模型提取图像信息的图像视觉特征，使用自然语言处理模型BERT提取文本信息的文本特征。
更具体的，如图2所示，所述步骤S3具体包括以下步骤：
S31：将图像视觉特征预处理为2048维的特征向量，将文本特征预处理为768 维特征向量；
S32：对于条目i、条目j对应的图像视觉特征、文本特征分别表示为vi，ti， vj，tj，对于用户u的条目i、条目j兴趣相关系数的计算公式具体为：
式中，W1、W2、W3、W4、b、h为基本参数，β为超参数，f(·)为激活函数，利用兴趣相关系数auij计算用户u对于条目j的预测评分
具体计算公式为：
式中，
表示用户u所有交互项的集合，pi、qi来源于特征向量，α为超参数。
更具体的，所述步骤S4具体为：
S31：对于用户u对应的交互信息i，其损失函数为：
其中，
表示预测评分；考虑到同一用户的相似条目拥有相近的期望评分，将损失函数表示为：
式中，rui取对应的非交互项和所有交互项相似度的平均值；
S32：利用特征向量余弦相似度表征相似度，条目i、条目j的余弦相似度计算公示具体为：
其中，vi，vj为2048维的图像视觉特征，ti，tj为768维的文本特征向量；
S33：根据步骤S31、步骤S32，对某一用户的训练集中的某一条目而言，rui的计算公式为：
S34：利用余弦相似度、rui的计算式对现有的损失函数进行修正，得到相似度修正损失函数，具体表示为：
S35：以上式为损失函数，用Adam优化器进行训练，以最小化损失函数为原则更新兴趣相关系数生成网络的所有参数。
更具体的，在所述步骤S34中，所述的现有的损失函数具体表达式为：
其中，所述步骤S5具体为，将测试集作为更新参数后的相关系数生成网络的输入参数，得到每个用户各条目间的兴趣相关系数，完成用户对每个条目的修正后的预测评分。
在具体实施过程中，本发明提供的一种基于相似度修正的半隐式多模态推荐方法，利用非交互项与交互项之间的相似程度，对现有网络损失函数中非交互项条目对应的期望评分进行修正，有效缓解非交互项期望评分简单置零带来的凸路径消失和梯度方向准确度下降的问题，提升了梯度方向的准确度。
实施例2
更具体的，在实施例1的基础上，使用用户电影交互数据集“MovieLens”的电影推荐场景为例说明本发明的一种具体实施方式。
在具体实施过程中，“MovieLens”数据集包含了6040位用户对电影的评分，通过将电影名称传入OMDb API，并解析其返回的json串，获取电影对应的海报和梗概，并分别以此作为该电影的图像信息和文本信息。按照常见的数据准备方法，对于每一用户，从交互项中随机抽取一个作为测试集中的正例，其余交互项作为训练集中的正例。从3685部电影中未与该用户发生交互的条目中随机抽取 99项加入测试集中作为负例，再随机抽取若干项加入训练集中作为负例，使得训练集中正例和负例的比值为1：4。
在具体实施过程中，对于电影海报，使用ResNet50模型，提取其平坦层输出的2048维向量作为视觉特征。对于电影梗概，使用自然语言处理模型“BERT”获取768维的向量作为其文本特征。至此，“MovieLens”数据集被划分为训练集和测试集，二者都包含了一定比例的正例和负例，并且都以特定维度的向量形式表征。
在具体实施过程中，利用相似度修正损失函数，通过Adam优化器进行训练，以最小化损失函数为原则更新兴趣相关系数生成网络的所有参数。训练批量大小设置为500，以0.001的学习率进行模型学习，其中超参数β取1，超参数α取0 以使其在该方法中表现最优。
为更充分地阐述本发明所具有的有益效果，以下结合模型测试结果，进一步对本发明的有效性和先进性予以说明。
首先简单介绍几种用于比较的推荐方法。神经协同过滤推荐方法(NeuralCollaborative Filtering，NCF)[2]，利用多层感知器对用户和条目之间的非线性进行建模，具有较好的神经网络表示能力；视觉贝叶斯个性化排序(Visual BayesianPersonalized Ranking，VBPR)[3]，将视觉信息整合到预测器中，增强了仅依赖用户与条目潜在因素的矩阵分解模型的性能；图像文本加权的兴趣相关条目相似模型(Image-Add-Text IRIS)，不考虑多模态特征的共享，仅将各模态作加权叠加；多模态兴趣相关条目相似模型(Multimodal IRIS)，即Interest-Related Item Similarity Model Based onMultimodal Data for Top-N Recommendation[4]中使用的方法。
表1给出了本发明所提出的基于相似度修正的多模态特征推荐算法与其他推荐方法测试结果的对比。包括Top-N推荐中的两项典型指标：HR@N和 NDCG@N。NCF、VBPR、Image-Add-Text IRIS方法测试结果来源于使用相同数据集的论文[4],Multimodal IRIS方法及本发明性能结果来源于实际数据训练与测试。
表1：各种推荐算法性能对比表(嵌入尺寸：64)
在Top-10推荐的情况下，6040个测试用例中有5043个用例的交互项出现在前10的位置，HR@10值为0.8349，NDCG@10值为0.594，两种性能值均优于其他推荐方法。在Top-20推荐的情况下，6040个测试用例中有5529个用例的交互项出现在前20的位置，即HR@20值为0.9154，NDCG@20值为0.6149，同样，两种性能值亦均优于其他推荐方法。特别地，本实例基于相似度修正的基础是表中第四行Multimodal IRIS推荐方法，其损失函数对应为未经本发明修正的损失函数。在Top-10推荐和Top-20推荐的情况下，本发明在本实例中的HR 和NDCG均优于表一中前三种推荐算法，亦优于本发明实施基础：Multimodal IRIS[4]多模态推荐算法。这说明，具有多模态特征的推荐任务下，本发明具有良好的优化效果，能够得到更优的推荐结果。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
[1]B.Sarwar,G.Karypis,J.Konstan,and J.Riedl,“Item-based collaborativefiltering recommendation algorithms,”in Proc.10th Int.Conf.World Wide Web(WWW),Hong Kong,2001,pp.285–295
[2]X.He,L.Liao,H.Zhang,L.Nie,X.Hu,and T.S.Chua,“Neural collaborativefiltering,”in Proc.26th Int.Conf.World Wide Web,Perth, WA,Australia,2017,pp.173–182
[3]R.He and J.McAuley,“VBPR:Visual Bayesian personalized ranking fromimplicit feedback,”in Proc.13th AAAI Conf.Artif.Intell.(AAAI), Phoenix,AZ,USA,2016,pp.144–150.
[4]J.Lv,B.Song,J.Guo,X.Du and M.Guizani,"Interest-Related ItemSimilarity Model Based on Multimodal Data for Top-N Recommendation,"in IEEEAccess,vol.7,pp.12809-12821,2019。
Claims (7)
1.一种基于相似度修正的半隐式多模态推荐方法，其特征在于，包括以下步骤：
S1：获取用户交互信息，包括图像信息和文本信息，进行数据准备；
S2：对图像信息和文本信息进行特征提取，得到图像视觉特征和文本特征；
S3：基于兴趣相关系数生成网络，根据图像视觉特征、文本特征计算得到每个用户各条目间的兴趣相关系数，得到用户对每个条目的预测评分；
S4：根据预测评分计算相似度修正损失函数，利用相似度修正损失函数对兴趣相关系数生成网络进行参数更新；
S5：利用更新后的兴趣相关系数生成网络得到每个用户各条目间的兴趣相关系数，完成用户对每个条目的修正后的预测评分。
2.根据权利要求1所述的一种基于相似度修正的半隐式多模态推荐方法，其特征在于，所述步骤S1具体包括：
S11：通过MovieLens获取用户交互信息，包括图像信息和文本信息；
S12：从交互信息中随机抽取一个作为测试集的正例，其与交互信息作为训练集中的正例；
S13：选取未与该用户发生交互的非交互信息作为测试集的负例，再随机抽取若干非交互信息加入训练集中作为负例，使得训练集中的正例和负例比值为1:4，完成数据的准备。
3.根据权利要求2所述的一种基于相似度修正的半隐式多模态推荐方法，其特征在于，在所述步骤S2中，使用ResNet50模型提取图像信息的图像视觉特征，使用自然语言处理模型BERT提取文本信息的文本特征。
4.根据权利要求3所述的一种基于相似度修正的半隐式多模态推荐方法，其特征在于，所述步骤S3具体包括以下步骤：
S31：将图像视觉特征预处理为2048维的特征向量，将文本特征预处理为768维特征向量；
S32：对于条目i、条目j对应的图像视觉特征、文本特征分别表示为vi，ti，vj，tj，对于用户u的条目i、条目j兴趣相关系数的计算公式具体为：
式中，W1、W2、W3、W4、b、h为基本参数，β为超参数，f(·)为激活函数，利用兴趣相关系数auij计算用户u对于条目j的预测评分
具体计算公式为：
式中，
表示用户u所有交互项的集合，pi、qi来源于特征向量，α为超参数。
5.根据权利要求4所述的一种基于相似度修正的半隐式多模态推荐方法，其特征在于，所述步骤S4具体为：
S31：对于用户u对应的交互信息i，其损失函数为：
其中，
表示预测评分；考虑到同一用户的相似条目拥有相近的期望评分，将损失函数表示为：
式中，rui取对应的非交互项和所有交互项相似度的平均值；
S32：利用特征向量余弦相似度表征相似度，条目i、条目j的余弦相似度计算公示具体为：
其中，vi，vj为2048维的图像视觉特征，ti，tj为768维的文本特征向量；
S33：根据步骤S31、步骤S32，对某一用户的训练集中的某一条目而言，rui的计算公式为：
S34：利用余弦相似度、rui的计算式对现有的损失函数进行修正，得到相似度修正损失函数，具体表示为：
S35：以式为损失函数，用Adam优化器进行训练，以最小化损失函数为原则更新兴趣相关系数生成网络的所有参数。
6.根据权利要求5所述的一种基于相似度修正的半隐式多模态推荐方法，其特征在于，在所述步骤S34中，所述的现有的损失函数具体表达式为：
7.根据权利要求6所述的一种基于相似度修正的半隐式多模态推荐方法，其特征在于，所述步骤S5具体为，将测试集作为更新参数后的相关系数生成网络的输入参数，得到每个用户各条目间的兴趣相关系数，完成用户对每个条目的修正后的预测评分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911261522.6A CN111046166B (zh) | 2019-12-10 | 2019-12-10 | 一种基于相似度修正的半隐式多模态推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911261522.6A CN111046166B (zh) | 2019-12-10 | 2019-12-10 | 一种基于相似度修正的半隐式多模态推荐方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111046166A true CN111046166A (zh) | 2020-04-21 |
| CN111046166B CN111046166B (zh) | 2022-10-11 |
Family
ID=70235470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911261522.6A Active CN111046166B (zh) | 2019-12-10 | 2019-12-10 | 一种基于相似度修正的半隐式多模态推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111046166B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112100442A (zh) * | 2020-11-13 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 用户倾向性识别方法、装置、设备及存储介质 |
| CN112256917A (zh) * | 2020-11-17 | 2021-01-22 | 腾讯科技（深圳）有限公司 | 用户兴趣识别方法、装置、设备及计算机可读存储介质 |
| CN113836392A (zh) * | 2021-08-06 | 2021-12-24 | 浙江大学 | 一种基于bert与用户评论的深度学习可解释推荐方法 |
| CN113918764A (zh) * | 2020-12-31 | 2022-01-11 | 浙江大学 | 一种基于交叉模态融合的电影推荐系统 |
| CN114385930A (zh) * | 2021-12-28 | 2022-04-22 | 清华大学 | 一种兴趣点推荐方法及系统 |
| CN117611516A (zh) * | 2023-09-04 | 2024-02-27 | 北京智芯微电子科技有限公司 | 图像质量评估、人脸识别、标签生成及确定方法和装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101021849A (zh) * | 2006-09-14 | 2007-08-22 | 浙江大学 | 基于内容相关性的跨媒体检索方法 |
| US20130290339A1 (en) * | 2012-04-27 | 2013-10-31 | Yahoo! Inc. | User modeling for personalized generalized content recommendations |
| CN108108657A (zh) * | 2017-11-16 | 2018-06-01 | 浙江工业大学 | 一种基于多任务深度学习的修正局部敏感哈希车辆检索方法 |
| US10282431B1 (en) * | 2015-12-18 | 2019-05-07 | A9.Com, Inc. | Image similarity-based group browsing |
| CN110008405A (zh) * | 2019-03-25 | 2019-07-12 | 华南理工大学 | 一种基于时效性的个性化消息推送方法及系统 |
| CN110021051A (zh) * | 2019-04-01 | 2019-07-16 | 浙江大学 | 一种基于生成对抗网络通过文本指导的人物图像生成方法 |
| US20190236450A1 (en) * | 2017-12-22 | 2019-08-01 | Snap Inc. | Multimodal machine learning selector |
| CN110210540A (zh) * | 2019-05-22 | 2019-09-06 | 山东大学 | 基于注意力机制的跨社交媒体用户身份识别方法及系统 |
| CN110263256A (zh) * | 2019-06-21 | 2019-09-20 | 西安电子科技大学 | 基于多模态异质信息的个性化推荐方法 |
-
2019
- 2019-12-10 CN CN201911261522.6A patent/CN111046166B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101021849A (zh) * | 2006-09-14 | 2007-08-22 | 浙江大学 | 基于内容相关性的跨媒体检索方法 |
| US20130290339A1 (en) * | 2012-04-27 | 2013-10-31 | Yahoo! Inc. | User modeling for personalized generalized content recommendations |
| US10282431B1 (en) * | 2015-12-18 | 2019-05-07 | A9.Com, Inc. | Image similarity-based group browsing |
| CN108108657A (zh) * | 2017-11-16 | 2018-06-01 | 浙江工业大学 | 一种基于多任务深度学习的修正局部敏感哈希车辆检索方法 |
| US20190236450A1 (en) * | 2017-12-22 | 2019-08-01 | Snap Inc. | Multimodal machine learning selector |
| CN110008405A (zh) * | 2019-03-25 | 2019-07-12 | 华南理工大学 | 一种基于时效性的个性化消息推送方法及系统 |
| CN110021051A (zh) * | 2019-04-01 | 2019-07-16 | 浙江大学 | 一种基于生成对抗网络通过文本指导的人物图像生成方法 |
| CN110210540A (zh) * | 2019-05-22 | 2019-09-06 | 山东大学 | 基于注意力机制的跨社交媒体用户身份识别方法及系统 |
| CN110263256A (zh) * | 2019-06-21 | 2019-09-20 | 西安电子科技大学 | 基于多模态异质信息的个性化推荐方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZHAO HUAN: "Review of Robust Aerodynamic Design Optimization for Air Vehicles", 《ARCHIVES OF COMPUTATIONAL METHODS IN ENGINEERING》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112100442A (zh) * | 2020-11-13 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 用户倾向性识别方法、装置、设备及存储介质 |
| CN112100442B (zh) * | 2020-11-13 | 2021-02-26 | 腾讯科技（深圳）有限公司 | 用户倾向性识别方法、装置、设备及存储介质 |
| CN112256917A (zh) * | 2020-11-17 | 2021-01-22 | 腾讯科技（深圳）有限公司 | 用户兴趣识别方法、装置、设备及计算机可读存储介质 |
| CN112256917B (zh) * | 2020-11-17 | 2024-03-26 | 腾讯科技（深圳）有限公司 | 用户兴趣识别方法、装置、设备及计算机可读存储介质 |
| CN113918764A (zh) * | 2020-12-31 | 2022-01-11 | 浙江大学 | 一种基于交叉模态融合的电影推荐系统 |
| CN113836392A (zh) * | 2021-08-06 | 2021-12-24 | 浙江大学 | 一种基于bert与用户评论的深度学习可解释推荐方法 |
| CN113836392B (zh) * | 2021-08-06 | 2024-03-26 | 浙江大学 | 一种基于bert与用户评论的深度学习可解释推荐方法 |
| CN114385930A (zh) * | 2021-12-28 | 2022-04-22 | 清华大学 | 一种兴趣点推荐方法及系统 |
| CN117611516A (zh) * | 2023-09-04 | 2024-02-27 | 北京智芯微电子科技有限公司 | 图像质量评估、人脸识别、标签生成及确定方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111046166B (zh) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111046166B (zh) | 一种基于相似度修正的半隐式多模态推荐方法 | |
| CN108763362B (zh) | 基于随机锚点对选择的局部模型加权融合Top-N电影推荐方法 | |
| Yang et al. | Video captioning by adversarial LSTM | |
| Hidasi et al. | Parallel recurrent neural network architectures for feature-rich session-based recommendations | |
| Gogna et al. | A comprehensive recommender system model: Improving accuracy for both warm and cold start users | |
| US11687835B2 (en) | Domain specific pre-training of cross modality transformer model | |
| Pyo et al. | LDA-based unified topic modeling for similar TV user grouping and TV program recommendation | |
| CN109271537B (zh) | 一种基于蒸馏学习的文本到图像生成方法和系统 | |
| CN109543722A (zh) | 一种基于情感分析模型的情感趋势预测方法 | |
| US20170200065A1 (en) | Image Captioning with Weak Supervision | |
| US20170200066A1 (en) | Semantic Natural Language Vector Space | |
| CN110580500A (zh) | 一种面向人物交互的网络权重生成少样本图像分类方法 | |
| US20110289025A1 (en) | Learning user intent from rule-based training data | |
| CN108363804A (zh) | 基于用户聚类的局部模型加权融合Top-N电影推荐方法 | |
| CN104462327B (zh) | 语句相似度的计算、搜索处理方法及装置 | |
| JP2006252333A (ja) | データ処理方法、データ処理装置およびそのプログラム | |
| CN111985520A (zh) | 一种基于图卷积神经网络的多模态分类方法 | |
| CN110059220A (zh) | 一种基于深度学习与贝叶斯概率矩阵分解的电影推荐方法 | |
| CN111488524A (zh) | 一种面向注意力的语义敏感的标签推荐方法 | |
| AU2023260828A1 (en) | Contrastive captioning neural networks | |
| CN111797622A (zh) | 用于生成属性信息的方法和装置 | |
| CN114595780B (zh) | 图文处理模型训练及图文处理方法、装置、设备及介质 | |
| CN110008348A (zh) | 结合节点和边进行网络图嵌入的方法和装置 | |
| CN114330514A (zh) | 一种基于深度特征与梯度信息的数据重建方法及系统 | |
| Shrivastava et al. | CLIP-Lite: Information Efficient Visual Representation Learning with Language Supervision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |