CN113704615A - 一种基于多模态的深度兴趣网络推荐方法 - Google Patents

一种基于多模态的深度兴趣网络推荐方法 Download PDF

Info

Publication number
CN113704615A
CN113704615A CN202111005811.7A CN202111005811A CN113704615A CN 113704615 A CN113704615 A CN 113704615A CN 202111005811 A CN202111005811 A CN 202111005811A CN 113704615 A CN113704615 A CN 113704615A
Authority
CN
China
Prior art keywords
model
features
user
microblog
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111005811.7A
Other languages
English (en)
Inventor
万振民
胡彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wanhui Interconnection Shenzhen Technology Co ltd
Original Assignee
Wanhui Interconnection Shenzhen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wanhui Interconnection Shenzhen Technology Co ltd filed Critical Wanhui Interconnection Shenzhen Technology Co ltd
Priority to CN202111005811.7A priority Critical patent/CN113704615A/zh
Publication of CN113704615A publication Critical patent/CN113704615A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于多模态的深度兴趣网络推荐方法，步骤包括：数据采集、数据预处理、网络模型训练、模型在线推理。本发明利用新模型提取微博画像特征、上下文特征、用户画像特征、用户历史行为序列、微博文本、微博图像、社交关系等信息构建个性化的深度学习微博推荐模型，满足用户个性化阅读，解决现有技术中的深度学习模型无法解决图像、文字、声音、动画等多种模态形式的特征对模型的影响，从而提高排序推荐模型的效果。

Description

一种基于多模态的深度兴趣网络推荐方法
技术领域
本发明涉及智能推荐技术领域，具体涉及一种基于多模态的深度兴趣网络推荐方法。
背景技术
与传统的机器学习模型相比，深度学习的表达能力更强，能够挖掘出更多数据中潜藏的模型，目前主流的深度学习推荐模型有AutoRec、DeepCross、PNN、NeuralCF、FNN、NFM、Wide&Deep、DeepFM、AFM、DIN、DIEN。但是，这些深度学习推荐模型都没有考虑到图像、文字、声音、动画等多种模态形式的特征对模型的影响，导致推荐效果不够理想。事实上图像、文字、声音、动画这样的形式很容易影响用户的选择。
因此，现有技术存在缺陷，需要进一步改进。
发明内容
针对现有技术存在的问题，本发明提供一种基于多模态的深度兴趣网络推荐方法。通过采集图像、文字、声音、动画等多种模态形式的特征，从而提高排序推荐模型的效果。
为实现上述目的，本发明的具体方案如下：
本发明提供一种基于多模态的深度兴趣网络推荐方法，包括如下步骤：
S1，数据采集；
S2，数据预处理；
S3，网络模型训练；
S4，模型在线推理。
进一步地，步骤S1，数据采集具体包括根据前端对用户行为进行埋点，收集用户行为数据存入hive里面，触发数据预处理。
进一步地，步骤S2，数据预处理具体包括读取hive原始数据集，进行数据预处理，样本清洗，去重，缺失值处理，样本重构成适合网络模型的特征结构的数据集，并拆分数据集为训练集和样本集，触发网络模型训练。
进一步地，步骤S3，网络模型训练具体包括使用tensorflow构建新的CTR排序模型的网络结构，使用训练集训练得到新的CTR排序模型。
进一步地，步骤S4，模型在线推理具体包括将训练完成的排序模型通过docker容器和tensorflow serving镜像提供预测服务，用户通过HTTP或者GRPC远程请求迭代排序模型进行预测服务，对用户召回的微博资源进行排序。
进一步地，步骤S2具体包括如下步骤：
S21：将微博的图像特征经过Resnet34网络模型得到图像的特征；
S22：将微博的文本经过预训练Bert得到embedding之后经过GRU进行微博文本序列特征处理；
S23：将用户关系图经过node2vec得到每个用户的embedding向量特征；
S24：将步骤S21、S22、S23输出结果进行concat，然后输入2层全连接层网络模型中；
S25：将关于用户阅读、点赞、评论、收藏的历史序列经过Attention网络进行用户兴趣特征提取；
S26：将上下文特征、微博画像特征、用户画像特征和步骤S25提取的特征进行concat输入2层全连接网格模型中；
S27：将上下文特征、微博画像特征、用户画像特征和步骤S21、S22、S23、S25提取的特征输入FM模型中；
S28：将步骤S24、S26、S27的模型输出结果进行concat，经过单个神经元之后使用sigmod函数处理。
进一步地，步骤S27中FM模型函数公式为：
Figure BDA0003236988010000021
其中，
Figure BDA0003236988010000022
表示FM模型的运行结果；
X表示特征向量；
w0是常数项系数，表示FM模型的偏置；
n是所有特征的个数，
wixi表示第i个特征向量和特征值的相乘；
vi是第i个特征的向量表示，
<vi,vj>表示第i个特征向量和第j个特征向量的内积表示特征交叉；
xi,xj表示两个互异特征组合的二阶特征。
采用本发明的技术方案，具有以下有益效果：
本发明提供一种基于多模态的深度兴趣网络推荐方法，步骤包括：数据采集，数据预处理，网络模型训练，模型在线推理。利用新模型提取微博画像特征、上下文特征、用户画像特征、用户历史行为序列、微博文本、微博图像、社交关系等信息构建个性化的深度学习微博推荐模型，满足用户个性化阅读，解决现有技术中的深度学习模型无法解决图像、文字、声音、动画等多种模态形式的特征对模型的影响，从而提高排序推荐模型的效果。
附图说明
图1是本发明具体实施方式的总体流程图；
图2是本发明具体实施方式的提取微博数据处理的流程图；
图3是本发明具体实施方式的处理微博数据的示意图。
具体实施方式
以下结合附图和具体实施例，对本发明进一步说明。
结合图1-图3对本发明进行具体说明，
本发明提供一种基于多模态的深度兴趣网络推荐方法，包括如下步骤：
S1、数据采集→S2、数据预处理→S3、网络模型训练→S4、模型在线推理。
具体内容如下：
S1、数据采集：根据前端对用户行为进行埋点，收集用户行为数据存入hive里面，触发数据预处理。
S2、数据预处理：读取hive原始数据集，进行数据预处理：样本清洗，去重，缺失值处理等，样本重构成适合网络模型的特征结构的数据集，并拆分数据集为训练集和样本集，触发网络模型训练。
S3、网络模型训练：使用tensorflow构建新的CTR排序模型的网络结构，使用训练集训练得到新的CTR排序模型；
S4、模型在线推理：训练完成的排序模型通过docker容器和tensorflow serving镜像提供预测服务，用户通过HTTP或者GRPC远程请求迭代排序模型预测服务，对用户召回的微博资源进行排序。
本方案新模型的特点：
(1)多模态利用：使用Resnet34网络模型得到图像的embedding特征和使用GRU对微博文本进行序列号特征提取，这样新模型就可以学习图片和文字这样的形态特征信息；
(2)学习用户深度兴趣：根据用户历史行为经过Attention网络进行用户兴趣特征提取，然后放入新模型中，可以学习到用户中长期兴趣；
(3)深度神经网络和FM结合：使用深度神经网络和FM结合，能提高整个模型的记忆能力和泛化能力，让推荐的效果更好。
基于社区微博推荐的多模态的深度兴趣网络的模型结构详解，如图2和图3所示：
S21：将微博的图像特征经过Resnet34网络模型得到图像的特征；
S22：将微博的文本经过预训练Bert得到embedding之后经过GRU进行微博文本序列特征处理；
S23：将用户关系图经过node2vec得到每个用户的embedding向量特征；
S24：将步骤S21、S22、S23输出结果进行concat，然后输入2层全连接层网络模型中；
S25：将关于用户阅读、点赞、评论、收藏的历史序列经过Attention网络进行用户兴趣特征提取；
S26：将上下文特征、微博画像特征、用户画像特征和步骤S25提取的特征进行concat输入2层全连接网格模型中；
S27：将上下文特征、微博画像特征、用户画像特征和步骤S21、S22、S23、S25提取的特征输入FM模型中；
S28：将步骤S24、S26、S27的模型输出结果进行concat，经过单个神经元之后使用sigmod函数处理。
步骤S27中FM模型函数公式为：
Figure BDA0003236988010000041
其中，
Figure BDA0003236988010000042
表示FM模型的运行结果；
X表示特征向量；
w0是常数项系数，表示FM模型的偏置；
n是所有特征的个数，
wixi表示第i个特征向量和特征值的相乘；
vi是第i个特征的向量表示，
<vi,vj>表示第i个特征向量和第j个特征向量的内积表示特征交叉；
xi,xj表示两个互异特征组合的二阶特征。
本方案在深度学习框架下构建了用户和微博关系推荐模型的新模型，新模型较好解决了用户获取微博信息不准的问题，各项指标都有一定的增幅：
表1模型训练过程中的auc(Area Under Curve)和优缺点对比
Figure BDA0003236988010000051
从表1可以看出，新模型上线之后，在微博推荐业务中微博CTR(点击通过率)提升50％左右，微博的点赞、评论、转发、用户留存率也有一定的提升。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的保护范围内。

Claims (7)

1.一种基于多模态的深度兴趣网络推荐方法，其特征在于包括如下步骤：
S1，数据采集；
S2，数据预处理；
S3，网络模型训练；
S4，模型在线推理。
2.根据权利要求1所述的基于多模态的深度兴趣网络推荐方法，其特征在于，
步骤S1具体包括根据前端对用户行为进行埋点，收集用户行为数据存入hive里面，触发数据预处理。
3.根据权利要求1所述的基于多模态的深度兴趣网络推荐方法，其特征在于，
步骤S2具体包括读取hive原始数据集，进行数据预处理，样本清洗，去重，缺失值处理，样本重构成适合网络模型的特征结构的数据集，并拆分数据集为训练集和样本集，触发网络模型训练。
4.根据权利要求1所述的基于多模态的深度兴趣网络推荐方法，其特征在于，
步骤S3具体包括使用tensorflow构建新的CTR排序模型的网络结构，使用训练集训练得到新的CTR排序模型。
5.根据权利要求1所述的基于多模态的深度兴趣网络推荐方法，其特征在于，
步骤S4具体包括将训练完成的排序模型通过docker容器和tensorflow serving镜像提供预测服务，用户通过HTTP或者GRPC远程请求迭代排序模型进行预测服务，对用户召回的微博资源进行排序。
6.根据权利要求3所述的基于多模态的深度兴趣网络推荐方法，其特征在于，步骤S2具体包括如下步骤：
S21：将微博的图像特征经过Resnet34网络模型得到图像的特征；
S22：将微博的文本经过预训练Bert得到embedding之后经过GRU进行微博文本序列特征处理；
S23：将用户关系图经过node2vec得到每个用户的embedding向量特征；
S24：将步骤S21、S22、S23输出结果进行concat，然后输入2层全连接层网络模型中；
S25：将关于用户阅读、点赞、评论、收藏的历史序列经过Attention网络进行用户兴趣特征提取；
S26：将上下文特征、微博画像特征、用户画像特征和步骤S25提取的特征进行concat输入2层全连接网格模型中；
S27：将上下文特征、微博画像特征、用户画像特征和步骤S21、S22、S23、S25提取的特征输入FM模型中；
S28：将步骤S24、S26、S27的模型输出结果进行concat，经过单个神经元之后使用sigmod函数处理。
7.根据权利要求6所述的基于多模态的深度兴趣网络推荐方法，其特征在于，步骤S27中FM模型函数公式为：
Figure FDA0003236988000000021
其中，
Figure FDA0003236988000000022
表示FM模型的运行结果；
X表示特征向量；
w0是常数项系数，表示FM模型的偏置；
n是所有特征的个数，
wixi表示第i个特征向量和特征值的相乘；
vi是第i个特征的向量表示，
<vi,vj>表示第i个特征向量和第j个特征向量的内积表示特征交叉；
xi,xj表示两个互异特征组合的二阶特征。
CN202111005811.7A 2021-08-30 2021-08-30 一种基于多模态的深度兴趣网络推荐方法 Pending CN113704615A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111005811.7A CN113704615A (zh) 2021-08-30 2021-08-30 一种基于多模态的深度兴趣网络推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111005811.7A CN113704615A (zh) 2021-08-30 2021-08-30 一种基于多模态的深度兴趣网络推荐方法

Publications (1)

Publication Number Publication Date
CN113704615A true CN113704615A (zh) 2021-11-26

Family

ID=78656920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111005811.7A Pending CN113704615A (zh) 2021-08-30 2021-08-30 一种基于多模态的深度兴趣网络推荐方法

Country Status (1)

Country Link
CN (1) CN113704615A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114647787A (zh) * 2022-03-30 2022-06-21 东北大学 一种基于多模态数据的用户个性化推荐方法
CN114764479A (zh) * 2022-03-24 2022-07-19 中山大学 一种基于新闻场景下用户行为的个性化新闻推荐方法
CN116975454A (zh) * 2023-09-22 2023-10-31 北京荆跃科技有限公司 一种基于推荐系统的大模型生成方法
CN117312542A (zh) * 2023-11-29 2023-12-29 泰山学院 基于人工智能的阅读推荐方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400591A (zh) * 2020-03-11 2020-07-10 腾讯科技（北京）有限公司 资讯信息推荐方法、装置、电子设备及存储介质
CN111767732A (zh) * 2020-06-09 2020-10-13 上海交通大学 基于图注意力模型的文档内容理解方法及系统
CN112434184A (zh) * 2020-12-15 2021-03-02 四川长虹电器股份有限公司 基于历史影视海报的深度兴趣网络的排序方法
CN113065837A (zh) * 2019-12-31 2021-07-02 深信服科技股份有限公司 确定用户所属群组的方法、装置、电子设备和存储介质
CN113222647A (zh) * 2021-04-26 2021-08-06 西安点告网络科技有限公司 基于点击率预估模型的广告推荐方法、系统及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065837A (zh) * 2019-12-31 2021-07-02 深信服科技股份有限公司 确定用户所属群组的方法、装置、电子设备和存储介质
CN111400591A (zh) * 2020-03-11 2020-07-10 腾讯科技（北京）有限公司 资讯信息推荐方法、装置、电子设备及存储介质
CN111767732A (zh) * 2020-06-09 2020-10-13 上海交通大学 基于图注意力模型的文档内容理解方法及系统
CN112434184A (zh) * 2020-12-15 2021-03-02 四川长虹电器股份有限公司 基于历史影视海报的深度兴趣网络的排序方法
CN113222647A (zh) * 2021-04-26 2021-08-06 西安点告网络科技有限公司 基于点击率预估模型的广告推荐方法、系统及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764479A (zh) * 2022-03-24 2022-07-19 中山大学 一种基于新闻场景下用户行为的个性化新闻推荐方法
CN114647787A (zh) * 2022-03-30 2022-06-21 东北大学 一种基于多模态数据的用户个性化推荐方法
CN116975454A (zh) * 2023-09-22 2023-10-31 北京荆跃科技有限公司 一种基于推荐系统的大模型生成方法
CN117312542A (zh) * 2023-11-29 2023-12-29 泰山学院 基于人工智能的阅读推荐方法及系统
CN117312542B (zh) * 2023-11-29 2024-02-13 泰山学院 基于人工智能的阅读推荐方法及系统

Similar Documents

Publication Publication Date Title
CN109492157B (zh) 基于rnn、注意力机制的新闻推荐方法及主题表征方法
CN110134786B (zh) 一种基于主题词向量与卷积神经网络的短文本分类方法
CN111126069B (zh) 一种基于视觉对象引导的社交媒体短文本命名实体识别方法
CN111797321B (zh) 一种面向不同场景的个性化知识推荐方法及系统
CN113704615A (zh) 一种基于多模态的深度兴趣网络推荐方法
CN118193683B (zh) 一种基于语言大模型的文本推荐方法及系统
CN108427670A (zh) 一种基于语境词向量和深度学习的情感分析方法
WO2019056628A1 (zh) 关注点文案的生成
CN110619044B (zh) 一种情感分析方法、系统、存储介质及设备
CN110991464A (zh) 一种基于深度多模态数据融合的商品点击率预测方法
CN109213859A (zh) 一种文本检测方法、装置及系统
CN116975615A (zh) 基于视频多模态信息的任务预测方法和装置
CN114693397A (zh) 一种基于注意力神经网络的多视角多模态商品推荐方法
CN112364168A (zh) 一种基于多属性信息融合的舆情分类方法
CN113239159A (zh) 基于关系推理网络的视频和文本的跨模态检索方法
CN116245110A (zh) 基于图注意力网络的多维度信息融合用户立场检测方法
CN117540007A (zh) 基于相似模态补全的多模态情感分析方法、系统和设备
Lee et al. Generating realistic images from in-the-wild sounds
Lu et al. RECON: Training-Free Acceleration for Text-to-Image Synthesis with Retrieval of Concept Prompt Trajectories
CN114153965A (zh) 一种结合内容和图谱的舆情事件推荐方法、系统及终端
CN111339289B (zh) 一种基于商品评论的主题模型推断方法
CN109933741B (zh) 用户网络行为特征提取方法、装置及存储介质
CN116108836B (zh) 文本情感识别方法、装置、计算机设备及可读存储介质
CN116484953A (zh) 一种出行目的推断方法及终端
Shama et al. A meticulous critique on prevailing techniques of aspect-level sentiment analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211126