CN113704615A - 一种基于多模态的深度兴趣网络推荐方法 - Google Patents
一种基于多模态的深度兴趣网络推荐方法 Download PDFInfo
- Publication number
- CN113704615A CN113704615A CN202111005811.7A CN202111005811A CN113704615A CN 113704615 A CN113704615 A CN 113704615A CN 202111005811 A CN202111005811 A CN 202111005811A CN 113704615 A CN113704615 A CN 113704615A
- Authority
- CN
- China
- Prior art keywords
- model
- features
- user
- microblog
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000004140 cleaning Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000006399 behavior Effects 0.000 abstract description 7
- 238000013135 deep learning Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 238000013136 deep learning model Methods 0.000 abstract description 2
- 238000012163 sequencing technique Methods 0.000 abstract 1
- 238000013480 data collection Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- RPNUMPOLZDHAAY-UHFFFAOYSA-N Diethylenetriamine Chemical compound NCCNCCN RPNUMPOLZDHAAY-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007087 memory ability Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于多模态的深度兴趣网络推荐方法,步骤包括:数据采集、数据预处理、网络模型训练、模型在线推理。本发明利用新模型提取微博画像特征、上下文特征、用户画像特征、用户历史行为序列、微博文本、微博图像、社交关系等信息构建个性化的深度学习微博推荐模型,满足用户个性化阅读,解决现有技术中的深度学习模型无法解决图像、文字、声音、动画等多种模态形式的特征对模型的影响,从而提高排序推荐模型的效果。
Description
技术领域
本发明涉及智能推荐技术领域,具体涉及一种基于多模态的深度兴趣网络推荐方法。
背景技术
与传统的机器学习模型相比,深度学习的表达能力更强,能够挖掘出更多数据中潜藏的模型,目前主流的深度学习推荐模型有AutoRec、DeepCross、PNN、NeuralCF、FNN、NFM、Wide&Deep、DeepFM、AFM、DIN、DIEN。但是,这些深度学习推荐模型都没有考虑到图像、文字、声音、动画等多种模态形式的特征对模型的影响,导致推荐效果不够理想。事实上图像、文字、声音、动画这样的形式很容易影响用户的选择。
因此,现有技术存在缺陷,需要进一步改进。
发明内容
针对现有技术存在的问题,本发明提供一种基于多模态的深度兴趣网络推荐方法。通过采集图像、文字、声音、动画等多种模态形式的特征,从而提高排序推荐模型的效果。
为实现上述目的,本发明的具体方案如下:
本发明提供一种基于多模态的深度兴趣网络推荐方法,包括如下步骤:
S1,数据采集;
S2,数据预处理;
S3,网络模型训练;
S4,模型在线推理。
进一步地,步骤S1,数据采集具体包括根据前端对用户行为进行埋点,收集用户行为数据存入hive里面,触发数据预处理。
进一步地,步骤S2,数据预处理具体包括读取hive原始数据集,进行数据预处理,样本清洗,去重,缺失值处理,样本重构成适合网络模型的特征结构的数据集,并拆分数据集为训练集和样本集,触发网络模型训练。
进一步地,步骤S3,网络模型训练具体包括使用tensorflow构建新的CTR排序模型的网络结构,使用训练集训练得到新的CTR排序模型。
进一步地,步骤S4,模型在线推理具体包括将训练完成的排序模型通过docker容器和tensorflow serving镜像提供预测服务,用户通过HTTP或者GRPC远程请求迭代排序模型进行预测服务,对用户召回的微博资源进行排序。
进一步地,步骤S2具体包括如下步骤:
S21:将微博的图像特征经过Resnet34网络模型得到图像的特征;
S22:将微博的文本经过预训练Bert得到embedding之后经过GRU进行微博文本序列特征处理;
S23:将用户关系图经过node2vec得到每个用户的embedding向量特征;
S24:将步骤S21、S22、S23输出结果进行concat,然后输入2层全连接层网络模型中;
S25:将关于用户阅读、点赞、评论、收藏的历史序列经过Attention网络进行用户兴趣特征提取;
S26:将上下文特征、微博画像特征、用户画像特征和步骤S25提取的特征进行concat输入2层全连接网格模型中;
S27:将上下文特征、微博画像特征、用户画像特征和步骤S21、S22、S23、S25提取的特征输入FM模型中;
S28:将步骤S24、S26、S27的模型输出结果进行concat,经过单个神经元之后使用sigmod函数处理。
进一步地,步骤S27中FM模型函数公式为:
其中,
X表示特征向量;
w0是常数项系数,表示FM模型的偏置;
n是所有特征的个数,
wixi表示第i个特征向量和特征值的相乘;
vi是第i个特征的向量表示,
<vi,vj>表示第i个特征向量和第j个特征向量的内积表示特征交叉;
xi,xj表示两个互异特征组合的二阶特征。
采用本发明的技术方案,具有以下有益效果:
本发明提供一种基于多模态的深度兴趣网络推荐方法,步骤包括:数据采集,数据预处理,网络模型训练,模型在线推理。利用新模型提取微博画像特征、上下文特征、用户画像特征、用户历史行为序列、微博文本、微博图像、社交关系等信息构建个性化的深度学习微博推荐模型,满足用户个性化阅读,解决现有技术中的深度学习模型无法解决图像、文字、声音、动画等多种模态形式的特征对模型的影响,从而提高排序推荐模型的效果。
附图说明
图1是本发明具体实施方式的总体流程图;
图2是本发明具体实施方式的提取微博数据处理的流程图;
图3是本发明具体实施方式的处理微博数据的示意图。
具体实施方式
以下结合附图和具体实施例,对本发明进一步说明。
结合图1-图3对本发明进行具体说明,
本发明提供一种基于多模态的深度兴趣网络推荐方法,包括如下步骤:
S1、数据采集→S2、数据预处理→S3、网络模型训练→S4、模型在线推理。
具体内容如下:
S1、数据采集:根据前端对用户行为进行埋点,收集用户行为数据存入hive里面,触发数据预处理。
S2、数据预处理:读取hive原始数据集,进行数据预处理:样本清洗,去重,缺失值处理等,样本重构成适合网络模型的特征结构的数据集,并拆分数据集为训练集和样本集,触发网络模型训练。
S3、网络模型训练:使用tensorflow构建新的CTR排序模型的网络结构,使用训练集训练得到新的CTR排序模型;
S4、模型在线推理:训练完成的排序模型通过docker容器和tensorflow serving镜像提供预测服务,用户通过HTTP或者GRPC远程请求迭代排序模型预测服务,对用户召回的微博资源进行排序。
本方案新模型的特点:
(1)多模态利用:使用Resnet34网络模型得到图像的embedding特征和使用GRU对微博文本进行序列号特征提取,这样新模型就可以学习图片和文字这样的形态特征信息;
(2)学习用户深度兴趣:根据用户历史行为经过Attention网络进行用户兴趣特征提取,然后放入新模型中,可以学习到用户中长期兴趣;
(3)深度神经网络和FM结合:使用深度神经网络和FM结合,能提高整个模型的记忆能力和泛化能力,让推荐的效果更好。
基于社区微博推荐的多模态的深度兴趣网络的模型结构详解,如图2和图3所示:
S21:将微博的图像特征经过Resnet34网络模型得到图像的特征;
S22:将微博的文本经过预训练Bert得到embedding之后经过GRU进行微博文本序列特征处理;
S23:将用户关系图经过node2vec得到每个用户的embedding向量特征;
S24:将步骤S21、S22、S23输出结果进行concat,然后输入2层全连接层网络模型中;
S25:将关于用户阅读、点赞、评论、收藏的历史序列经过Attention网络进行用户兴趣特征提取;
S26:将上下文特征、微博画像特征、用户画像特征和步骤S25提取的特征进行concat输入2层全连接网格模型中;
S27:将上下文特征、微博画像特征、用户画像特征和步骤S21、S22、S23、S25提取的特征输入FM模型中;
S28:将步骤S24、S26、S27的模型输出结果进行concat,经过单个神经元之后使用sigmod函数处理。
步骤S27中FM模型函数公式为:
其中,
X表示特征向量;
w0是常数项系数,表示FM模型的偏置;
n是所有特征的个数,
wixi表示第i个特征向量和特征值的相乘;
vi是第i个特征的向量表示,
<vi,vj>表示第i个特征向量和第j个特征向量的内积表示特征交叉;
xi,xj表示两个互异特征组合的二阶特征。
本方案在深度学习框架下构建了用户和微博关系推荐模型的新模型,新模型较好解决了用户获取微博信息不准的问题,各项指标都有一定的增幅:
表1模型训练过程中的auc(Area Under Curve)和优缺点对比
从表1可以看出,新模型上线之后,在微博推荐业务中微博CTR(点击通过率)提升50%左右,微博的点赞、评论、转发、用户留存率也有一定的提升。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的保护范围内。
Claims (7)
1.一种基于多模态的深度兴趣网络推荐方法,其特征在于包括如下步骤:
S1,数据采集;
S2,数据预处理;
S3,网络模型训练;
S4,模型在线推理。
2.根据权利要求1所述的基于多模态的深度兴趣网络推荐方法,其特征在于,
步骤S1具体包括根据前端对用户行为进行埋点,收集用户行为数据存入hive里面,触发数据预处理。
3.根据权利要求1所述的基于多模态的深度兴趣网络推荐方法,其特征在于,
步骤S2具体包括读取hive原始数据集,进行数据预处理,样本清洗,去重,缺失值处理,样本重构成适合网络模型的特征结构的数据集,并拆分数据集为训练集和样本集,触发网络模型训练。
4.根据权利要求1所述的基于多模态的深度兴趣网络推荐方法,其特征在于,
步骤S3具体包括使用tensorflow构建新的CTR排序模型的网络结构,使用训练集训练得到新的CTR排序模型。
5.根据权利要求1所述的基于多模态的深度兴趣网络推荐方法,其特征在于,
步骤S4具体包括将训练完成的排序模型通过docker容器和tensorflow serving镜像提供预测服务,用户通过HTTP或者GRPC远程请求迭代排序模型进行预测服务,对用户召回的微博资源进行排序。
6.根据权利要求3所述的基于多模态的深度兴趣网络推荐方法,其特征在于,步骤S2具体包括如下步骤:
S21:将微博的图像特征经过Resnet34网络模型得到图像的特征;
S22:将微博的文本经过预训练Bert得到embedding之后经过GRU进行微博文本序列特征处理;
S23:将用户关系图经过node2vec得到每个用户的embedding向量特征;
S24:将步骤S21、S22、S23输出结果进行concat,然后输入2层全连接层网络模型中;
S25:将关于用户阅读、点赞、评论、收藏的历史序列经过Attention网络进行用户兴趣特征提取;
S26:将上下文特征、微博画像特征、用户画像特征和步骤S25提取的特征进行concat输入2层全连接网格模型中;
S27:将上下文特征、微博画像特征、用户画像特征和步骤S21、S22、S23、S25提取的特征输入FM模型中;
S28:将步骤S24、S26、S27的模型输出结果进行concat,经过单个神经元之后使用sigmod函数处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111005811.7A CN113704615A (zh) | 2021-08-30 | 2021-08-30 | 一种基于多模态的深度兴趣网络推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111005811.7A CN113704615A (zh) | 2021-08-30 | 2021-08-30 | 一种基于多模态的深度兴趣网络推荐方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113704615A true CN113704615A (zh) | 2021-11-26 |
Family
ID=78656920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111005811.7A Pending CN113704615A (zh) | 2021-08-30 | 2021-08-30 | 一种基于多模态的深度兴趣网络推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113704615A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114647787A (zh) * | 2022-03-30 | 2022-06-21 | 东北大学 | 一种基于多模态数据的用户个性化推荐方法 |
CN114764479A (zh) * | 2022-03-24 | 2022-07-19 | 中山大学 | 一种基于新闻场景下用户行为的个性化新闻推荐方法 |
CN116975454A (zh) * | 2023-09-22 | 2023-10-31 | 北京荆跃科技有限公司 | 一种基于推荐系统的大模型生成方法 |
CN117312542A (zh) * | 2023-11-29 | 2023-12-29 | 泰山学院 | 基于人工智能的阅读推荐方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111400591A (zh) * | 2020-03-11 | 2020-07-10 | 腾讯科技(北京)有限公司 | 资讯信息推荐方法、装置、电子设备及存储介质 |
CN111767732A (zh) * | 2020-06-09 | 2020-10-13 | 上海交通大学 | 基于图注意力模型的文档内容理解方法及系统 |
CN112434184A (zh) * | 2020-12-15 | 2021-03-02 | 四川长虹电器股份有限公司 | 基于历史影视海报的深度兴趣网络的排序方法 |
CN113065837A (zh) * | 2019-12-31 | 2021-07-02 | 深信服科技股份有限公司 | 确定用户所属群组的方法、装置、电子设备和存储介质 |
CN113222647A (zh) * | 2021-04-26 | 2021-08-06 | 西安点告网络科技有限公司 | 基于点击率预估模型的广告推荐方法、系统及存储介质 |
-
2021
- 2021-08-30 CN CN202111005811.7A patent/CN113704615A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113065837A (zh) * | 2019-12-31 | 2021-07-02 | 深信服科技股份有限公司 | 确定用户所属群组的方法、装置、电子设备和存储介质 |
CN111400591A (zh) * | 2020-03-11 | 2020-07-10 | 腾讯科技(北京)有限公司 | 资讯信息推荐方法、装置、电子设备及存储介质 |
CN111767732A (zh) * | 2020-06-09 | 2020-10-13 | 上海交通大学 | 基于图注意力模型的文档内容理解方法及系统 |
CN112434184A (zh) * | 2020-12-15 | 2021-03-02 | 四川长虹电器股份有限公司 | 基于历史影视海报的深度兴趣网络的排序方法 |
CN113222647A (zh) * | 2021-04-26 | 2021-08-06 | 西安点告网络科技有限公司 | 基于点击率预估模型的广告推荐方法、系统及存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114764479A (zh) * | 2022-03-24 | 2022-07-19 | 中山大学 | 一种基于新闻场景下用户行为的个性化新闻推荐方法 |
CN114647787A (zh) * | 2022-03-30 | 2022-06-21 | 东北大学 | 一种基于多模态数据的用户个性化推荐方法 |
CN116975454A (zh) * | 2023-09-22 | 2023-10-31 | 北京荆跃科技有限公司 | 一种基于推荐系统的大模型生成方法 |
CN117312542A (zh) * | 2023-11-29 | 2023-12-29 | 泰山学院 | 基于人工智能的阅读推荐方法及系统 |
CN117312542B (zh) * | 2023-11-29 | 2024-02-13 | 泰山学院 | 基于人工智能的阅读推荐方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109492157B (zh) | 基于rnn、注意力机制的新闻推荐方法及主题表征方法 | |
CN110134786B (zh) | 一种基于主题词向量与卷积神经网络的短文本分类方法 | |
CN111126069B (zh) | 一种基于视觉对象引导的社交媒体短文本命名实体识别方法 | |
CN111797321B (zh) | 一种面向不同场景的个性化知识推荐方法及系统 | |
CN113704615A (zh) | 一种基于多模态的深度兴趣网络推荐方法 | |
CN118193683B (zh) | 一种基于语言大模型的文本推荐方法及系统 | |
CN108427670A (zh) | 一种基于语境词向量和深度学习的情感分析方法 | |
WO2019056628A1 (zh) | 关注点文案的生成 | |
CN110619044B (zh) | 一种情感分析方法、系统、存储介质及设备 | |
CN110991464A (zh) | 一种基于深度多模态数据融合的商品点击率预测方法 | |
CN109213859A (zh) | 一种文本检测方法、装置及系统 | |
CN116975615A (zh) | 基于视频多模态信息的任务预测方法和装置 | |
CN114693397A (zh) | 一种基于注意力神经网络的多视角多模态商品推荐方法 | |
CN112364168A (zh) | 一种基于多属性信息融合的舆情分类方法 | |
CN113239159A (zh) | 基于关系推理网络的视频和文本的跨模态检索方法 | |
CN116245110A (zh) | 基于图注意力网络的多维度信息融合用户立场检测方法 | |
CN117540007A (zh) | 基于相似模态补全的多模态情感分析方法、系统和设备 | |
Lee et al. | Generating realistic images from in-the-wild sounds | |
Lu et al. | RECON: Training-Free Acceleration for Text-to-Image Synthesis with Retrieval of Concept Prompt Trajectories | |
CN114153965A (zh) | 一种结合内容和图谱的舆情事件推荐方法、系统及终端 | |
CN111339289B (zh) | 一种基于商品评论的主题模型推断方法 | |
CN109933741B (zh) | 用户网络行为特征提取方法、装置及存储介质 | |
CN116108836B (zh) | 文本情感识别方法、装置、计算机设备及可读存储介质 | |
CN116484953A (zh) | 一种出行目的推断方法及终端 | |
Shama et al. | A meticulous critique on prevailing techniques of aspect-level sentiment analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211126 |