CN110727855A - 一种基于改进因子分解机的个性化推荐方法 - Google Patents

一种基于改进因子分解机的个性化推荐方法 Download PDF

Info

Publication number
CN110727855A
CN110727855A CN201910804120.XA CN201910804120A CN110727855A CN 110727855 A CN110727855 A CN 110727855A CN 201910804120 A CN201910804120 A CN 201910804120A CN 110727855 A CN110727855 A CN 110727855A
Authority
CN
China
Prior art keywords
factorization machine
model
feature
improved
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910804120.XA
Other languages
English (en)
Inventor
王艺航
熊晓明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910804120.XA priority Critical patent/CN110727855A/zh
Publication of CN110727855A publication Critical patent/CN110727855A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于改进因子分解机的个性化推荐方法，通过对因子分解机算法进行改进，将原始因子分解机模型中特征之间的交互强度的权重度量不再利用内积，而是利用平方欧氏距离，既传承了因子分解机本身具有的优点，又具有了提取序列特征的优势。另外，将改进后的因子分解机模型与深度神经网络结合，克服了因子分解机提取二阶以上关联特征计算量巨大的缺点，因子分解机模型负责提取低阶特征(即一阶及二阶特征)之间的关联特征及用户行为的序列特征，深度神经网络负责提取更高阶的特征，从而更加准确高效的进行推荐。最后，作为端到端模型，与其它神经网络模型相比，不需要特征工程的操作，更加方便。

Description

一种基于改进因子分解机的个性化推荐方法
技术领域
本发明涉及推荐算法的技术领域，尤其涉及到一种基于改进因子分解机的个性化推荐方法。
背景技术
随着大数据时代科技高速发展，用户通过互联网和电子产品获得的信息资源越来越丰富。每天有数以千万计的信息涌入生活,造成了”信息过载”的问题,用户经常需要从海量的商品中挑选出自己需要的,尤其在用户没有明确目标的情况下,挑选商品既费时又费力。如何从海量商品中快速且有针对性地对用户作出推荐便成为一个商机。鉴于这种情况，推荐系统应运而生。现如今已经有很多网站推出了“猜你喜欢”，“今日推荐”等功能，旨在给用户推荐符合心意的商品，如果这些推荐符合用户兴趣，则既可以增加网站利润和用户黏度；也可以节省用户获取自己想要物品的时间。因此推荐系统可谓是一种“双赢”的技术。而推荐算法作为推荐系统的核心，对推荐结果起着关键的作用，同时面临着极大的挑战，如何准确而迅速的为用户推荐符合心意的商品(这里的商品可以是音乐，电影，物品等)引起人们的思考。
其中，常见的推荐方法比如基于用户的协同过滤推荐方法和基于物品的协同过滤推荐方法，本质上与机器学习中的最近邻思想相似，但存在缺点：当用户数据和商品数据量增大的时候，运算负担十分大，准确率下降；无法提取无法提取用户行为数据中的隐含特征和序列特征。因此推荐效果不理想。
在深度学习领域，基于卷积神经网络的方法并未考虑用户行为数据的上下文相关的本质，提取到的特征并没有完全发挥深度学习的优势；基于循环神经网络的推荐方法可以提取序列特征，但是在数据处于高维且稀疏的情况下效果不佳。
发明内容
本发明的目的在于克服现有技术的不足，提供一种可以更好的提取数据的序列特征、隐含特征、低阶特征以及高阶特征，从而为用户进行更为精准推荐的基于改进因子分解机的个性化推荐方法。
为实现上述目的，本发明所提供的技术方案为：
一种基于改进因子分解机的个性化推荐方法，包括以下步骤：
S1.获取用户历史行为数据；
S2.将用户历史行为数据转换成用户数*物品数的矩阵格式，并进行one-hot编码处理；处理后的数据分为训练数据和测试数据；
S3.构建由因子分解机和深度神经网络组成的模型；
S4.通过步骤S2得到的训练数据对模型进行训练，得到优化模型；
S5.将步骤S2得到的测试数据输入到优化模型中，得出个性化推荐结果。
进一步地，所述步骤S3中，因子分解机的模型增添特征组合，具体如下：
上式中，特征Xi和特征Xj之间的关联特征权重Wij由特征Xi和特征Xj所对应的隐向量Vi和Vj的内积表示。
进一步地，将所述因子分解机中隐向量的内积改进为平方欧式距离；
具体为：通过学习每个特征Xi的嵌入向量
Figure BDA0002183140380000022
和平移向量
Figure BDA0002183140380000023
用平方欧氏距离代替内积来度量特征之间的交互强度：
Figure BDA0002183140380000024
进一步地，所述步骤S3构建的由因子分解机和深度神经网络组成的模型如下：
因子分解机yFM和深度神经网络yDNN的输出共同经过sigmoid激活函数得到的输出作为整个模型的输出
Figure BDA0002183140380000032
进一步地，所述深度神经网络yDNN中，其中m表示输入的个数，xk表示第k个输入，wk表示第k个特征的权重，b表示偏差。
与现有技术相比，本方案原理及优点如下：
(1)对因子分解机算法进行改进，将原始因子分解机模型中特征之间的交互强度的权重度量不再利用内积，而是利用平方欧氏距离，既传承了因子分解机本身具有的优点，又具有了提取序列特征的优势。
(2)将改进后的因子分解机模型与深度神经网络结合，克服了因子分解机提取二阶以上关联特征计算量巨大的缺点，因子分解机模型负责提取低阶特征(即一阶及二阶特征)之间的关联特征及用户行为的序列特征，深度神经网络负责提取更高阶的特征，从而更加准确高效的进行推荐。
(3)作为端到端模型，与其它神经网络模型相比，不需要特征工程的操作，更加方便。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于改进因子分解机的个性化推荐方法的工作流程图；
图2为因子分解机原理图；
图3为深度神经网络示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明：
本实施例所述的一种基于改进因子分解机的个性化推荐方法，包括以下步骤：
S1.获取用户历史行为数据；原始数据的格式为：{用户，物品，评分}；
S2.将用户历史行为数据转换成用户数*物品数的矩阵格式，并进行one-hot编码处理；处理后的数据分为训练数据和测试数据；
S3.构建由因子分解机和深度神经网络组成的模型；
其中，因子分解机的模型增添特征组合，具体如下：
Figure BDA0002183140380000041
上式中，特征Xi和特征Xj之间的关联特征权重Wij由特征Xi和特征Xj所对应的隐向量Vi和Vj的内积表示。
然后，将因子分解机中隐向量的内积改进为平方欧式距离；
具体为：通过学习每个特征Xi的嵌入向量
Figure BDA0002183140380000042
和平移向量
Figure BDA0002183140380000043
用平方欧氏距离代替内积来度量特征之间的交互强度：
Figure BDA0002183140380000044
这部分因子分解机的原理如图2所示。
而深度神经网络中，其输入和输出之间会学习到一个线性关系：
Figure BDA0002183140380000045
其中m表示输入的个数，xk表示第k个输入，wk表示第k个特征的权重，b表示偏差。
构建得到的由因子分解机和深度神经网络组成的模型如下：
Figure BDA0002183140380000051
即：因子分解机yFM和深度神经网络yDNN的输出共同经过sigmoid激活函数得到的输出作为整个模型的输出
Figure BDA0002183140380000054
S4.通过步骤S2得到的训练数据对模型进行训练，得到优化模型；
在训练过程中，需要调节和学习的参数有因子分解机模型的参数w0，wi，vi，vj，和深度神经网络的参数wk，模型损失函数定义为均方误差函数通过梯度下降法来更新参数，当损失函数训练到最小的时候，得到最优训练参数。
S5.将步骤S2得到的测试数据输入到优化模型中，得出个性化推荐结果。
下面对上述方法步骤作详细解析：
由于步骤S2数据进行one-hot编码之后，将会变得高维且稀疏。举个例子：
原始数据如下表1所示：
用户 物品 是否点击
用户1 物品1 1
用户2 物品2 0
用户3 物品3 1
表1
进行one-hot编码之后，如下表2所示：
Figure BDA0002183140380000053
Figure BDA0002183140380000061
表2
依次类推，如果用户和物品很多，那么经过one-hot编码后的数据将变得高维且稀疏。
另外，推荐过程还存在着特征组合问题：
传统机器学习进行建模的时候，都是将各个特征独立考虑，并没有考虑到特征与特征之间的相互关系。一般的线性模型为：
Figure BDA0002183140380000062
但实际上，特征之间是可能有隐含关联的。举例说明，一般来说，女性用户看化妆品之类的商品比较多，而男性更容易点击各种鞋类商品。那么可以推断出，性别为女性这个特征与化妆品类商品有很大的关联性，男性这个特征与鞋类商品的关联性更为密切。如果能将这些有关联的特征找出来，对于提升推荐效果很有意义。
而因子分解机可以解决数据稀疏的情况下，特征组合的问题，因此，步骤S3构建的模型包括因子分解机，通过因子分解机的模型增加特征组合显得很有必要。
但随之而来的是，因子分解机在处理高阶特征时计算量急剧增大，因子分解机只用来提取一阶特征Xi和二阶特征Xi，Xj；所以步骤S3构建的模型还包括深度神经网络，更高阶特征由深度神经网络来提取。该深度神经网络是若干层全连接的神经网络，具体原理图见附图3所示。
本实施例中，通过对因子分解机算法进行改进，将原始因子分解机模型中特征之间的交互强度的权重度量不再利用内积，而是利用平方欧氏距离，既传承了因子分解机本身具有的优点，又具有了提取序列特征的优势。另外，将改进后的因子分解机模型与深度神经网络结合，克服了因子分解机提取二阶以上关联特征计算量巨大的缺点，因子分解机模型负责提取低阶特征(即一阶及二阶特征)之间的关联特征及用户行为的序列特征，深度神经网络负责提取更高阶的特征，从而更加准确高效的进行推荐。最后，作为端到端模型，与其它神经网络模型相比，不需要特征工程的操作，更加方便。
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (5)

1.一种基于改进因子分解机的个性化推荐方法，其特征在于，包括以下步骤：
S1.获取用户历史行为数据；
S2.将用户历史行为数据转换成用户数*物品数的矩阵格式，并进行one-hot编码处理；处理后的数据分为训练数据和测试数据；
S3.构建由因子分解机和深度神经网络组成的模型；
S4.通过步骤S2得到的训练数据对模型进行训练，得到优化模型；
S5.将步骤S2得到的测试数据输入到优化模型中，得出个性化推荐结果。
2.根据权利要求1所述的一种基于改进因子分解机的个性化推荐方法，其特征在于，所述步骤S3中，因子分解机的模型增添特征组合，具体如下：
Figure FDA0002183140370000011
上式中，特征Xi和特征Xj之间的关联特征权重Wij由特征Xi和特征Xj所对应的隐向量Vi和Vj的内积表示。
3.根据权利要求2所述的一种基于改进因子分解机的个性化推荐方法，其特征在于，将所述因子分解机中隐向量的内积改进为平方欧式距离；
具体为：通过学习每个特征Xi的嵌入向量和平移向量
Figure FDA0002183140370000013
用平方欧氏距离代替内积来度量特征之间的交互强度：
Figure FDA0002183140370000014
4.根据权利要求1所述的一种基于改进因子分解机的个性化推荐方法，其特征在于，所述步骤S3构建的由因子分解机和深度神经网络组成的模型如下：
Figure FDA0002183140370000021
因子分解机yFM和深度神经网络yDNN的输出共同经过sigmoid激活函数得到的输出作为整个模型的输出
Figure FDA0002183140370000022
5.根据权利要求4所述的一种基于改进因子分解机的个性化推荐方法，其特征在于，所述深度神经网络yDNN中，
Figure FDA0002183140370000023
其中m表示输入的个数，xk表示第k个输入，wk表示第k个特征的权重，b表示偏差。
CN201910804120.XA 2019-08-28 2019-08-28 一种基于改进因子分解机的个性化推荐方法 Pending CN110727855A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910804120.XA CN110727855A (zh) 2019-08-28 2019-08-28 一种基于改进因子分解机的个性化推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910804120.XA CN110727855A (zh) 2019-08-28 2019-08-28 一种基于改进因子分解机的个性化推荐方法

Publications (1)

Publication Number Publication Date
CN110727855A true CN110727855A (zh) 2020-01-24

Family

ID=69218803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910804120.XA Pending CN110727855A (zh) 2019-08-28 2019-08-28 一种基于改进因子分解机的个性化推荐方法

Country Status (1)

Country Link
CN (1) CN110727855A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428137A (zh) * 2020-03-25 2020-07-17 全球能源互联网研究院有限公司 一种电动汽车充电设施的推荐方法及推荐装置
CN112699271A (zh) * 2021-01-08 2021-04-23 北京工业大学 一种提升用户在视频网站留存时间的视频推荐系统方法
CN113255891A (zh) * 2021-05-27 2021-08-13 支付宝(杭州)信息技术有限公司 对事件特征进行处理的方法、神经网络模型和装置
CN113744229A (zh) * 2021-08-27 2021-12-03 北京航空航天大学 一种基于cta图像的适用于不同分割模型的改进因子
CN116525121A (zh) * 2023-07-05 2023-08-01 昆明同心医联科技有限公司 栓塞动脉瘤的首发弹簧圈推荐模型建立方法及其应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107515909A (zh) * 2017-08-11 2017-12-26 深圳市耐飞科技有限公司 一种视频推荐方法及系统
CN109299976A (zh) * 2018-09-07 2019-02-01 深圳大学 点击率预测方法、电子装置及计算机可读存储介质
CN109388731A (zh) * 2018-08-31 2019-02-26 昆明理工大学 一种基于深度神经网络的音乐推荐方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107515909A (zh) * 2017-08-11 2017-12-26 深圳市耐飞科技有限公司 一种视频推荐方法及系统
CN109388731A (zh) * 2018-08-31 2019-02-26 昆明理工大学 一种基于深度神经网络的音乐推荐方法
CN109299976A (zh) * 2018-09-07 2019-02-01 深圳大学 点击率预测方法、电子装置及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RAJIV PASRICHA等: "Translation-based Factorization Machine for Sequential Recommendation", 《RECSYS‘18：PROCEEDINGS OF THE 12TH ACM CONFERENCE ON RECOMMENDER SYSTEMS》, pages 63 - 71 *
悄悄的努力: "RS Meet DL（60）-FM家族的新朋友之TransFM", HTTPS://BLOG.CSDN.NET/WEIXIN_38753230/ARTICLE/DETAILS/99265837, pages 1 - 7 *
陈检;: "基于神经网络与因子分解机的点击率预估应用研究", no. 08 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428137A (zh) * 2020-03-25 2020-07-17 全球能源互联网研究院有限公司 一种电动汽车充电设施的推荐方法及推荐装置
CN111428137B (zh) * 2020-03-25 2021-06-11 全球能源互联网研究院有限公司 一种电动汽车充电设施的推荐方法及推荐装置
WO2021189745A1 (zh) * 2020-03-25 2021-09-30 全球能源互联网研究院有限公司 电动汽车充电设施的推荐方法、装置、计算机设备及存储介质
CN112699271A (zh) * 2021-01-08 2021-04-23 北京工业大学 一种提升用户在视频网站留存时间的视频推荐系统方法
CN112699271B (zh) * 2021-01-08 2024-02-02 北京工业大学 一种提升用户视频网站留存时间的推荐方法
CN113255891A (zh) * 2021-05-27 2021-08-13 支付宝(杭州)信息技术有限公司 对事件特征进行处理的方法、神经网络模型和装置
CN113744229A (zh) * 2021-08-27 2021-12-03 北京航空航天大学 一种基于cta图像的适用于不同分割模型的改进因子
CN113744229B (zh) * 2021-08-27 2024-02-23 北京航空航天大学 一种基于cta图像的适用于不同分割模型的改进因子
CN116525121A (zh) * 2023-07-05 2023-08-01 昆明同心医联科技有限公司 栓塞动脉瘤的首发弹簧圈推荐模型建立方法及其应用
CN116525121B (zh) * 2023-07-05 2023-09-26 昆明同心医联科技有限公司 栓塞动脉瘤的首发弹簧圈推荐模型建立方法及其应用

Similar Documents

Publication Publication Date Title
CN108648049B (zh) 一种基于用户行为区别建模的序列推荐方法
CN110727855A (zh) 一种基于改进因子分解机的个性化推荐方法
CN111797321B (zh) 一种面向不同场景的个性化知识推荐方法及系统
CN111310063B (zh) 基于神经网络的记忆感知门控因子分解机物品推荐方法
CN112231583B (zh) 基于动态兴趣组标识和生成对抗网络的电商推荐方法
CN110321473B (zh) 基于多模态注意力的多样性偏好信息推送方法、系统、介质及设备
CN106296242A (zh) 一种用于电子商务中商品推荐列表的生成方法及生成系统
US8180715B2 (en) Systems and methods for collaborative filtering using collaborative inductive transfer
Duong et al. An effective similarity measure for neighborhood-based collaborative filtering
CN113850616A (zh) 基于深度图神经网络的客户生命周期价值预测方法
CN114840745B (zh) 一种基于图表征学习和深度语义匹配模型的个性化推荐方法及系统
CN111695024A (zh) 对象评估值的预测方法及系统、推荐方法及系统
CN114861050A (zh) 一种基于神经网络的特征融合推荐方法及系统
CN115187345A (zh) 智能家居建材推荐方法、装置、设备及存储介质
CN117252665B (zh) 业务推荐方法、装置、电子设备及存储介质
CN114417161B (zh) 基于异构图的虚拟物品时序推荐方法、装置、介质及设备
CN113298546A (zh) 销量预测方法及装置、商品处理方法及装置
CN110851694B (zh) 基于用户记忆网络和树形结构的深度模型的个性化推荐系统
US20240037133A1 (en) Method and apparatus for recommending cold start object, computer device, and storage medium
Sharma et al. Recommendation system for movies using improved version of som with hybrid filtering methods
Babeetha et al. An enhanced kernel weighted collaborative recommended system to alleviate sparsity
Insuwan et al. Improving missing values imputation in collaborative filtering with user-preference genre and singular value decomposition
CN112905906A (zh) 一种融合局部协同与特征交叉的推荐方法及系统
CN114429384B (zh) 基于电商平台的产品智能推荐方法及系统
Li et al. PRIMA++: A probabilistic framework for user choice modelling with small data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200124