CN110580316A - 一种基于量子启发的推荐方法 - Google Patents

一种基于量子启发的推荐方法 Download PDF

Info

Publication number
CN110580316A
CN110580316A CN201910865554.0A CN201910865554A CN110580316A CN 110580316 A CN110580316 A CN 110580316A CN 201910865554 A CN201910865554 A CN 201910865554A CN 110580316 A CN110580316 A CN 110580316A
Authority
CN
China
Prior art keywords
matrix
recommendation
data
quantum
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910865554.0A
Other languages
English (en)
Inventor
李春光
章丽娟
刘旭
胡漪逸
孟凯强
王亚龙
赵治博
朱晓贝
李维超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Rongpan Network Technology Co Ltd
Original Assignee
Henan Rongpan Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Rongpan Network Technology Co Ltd filed Critical Henan Rongpan Network Technology Co Ltd
Priority to CN201910865554.0A priority Critical patent/CN110580316A/zh
Publication of CN110580316A publication Critical patent/CN110580316A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N10/00—Quantum computing, i.e. information processing based on quantum-mechanical phenomena

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于量子启发的推荐方法，属于互联网技术领域，该基于量子启发的推荐方法具体包括以下步骤：用户场景信息数据的采集；用户信息数据的输入；大概率信息量的抽取；数据信息的补全填充；推荐结果的初步排序；推荐结果的再处理。本发明一种基于量子启发的推荐方法，利用量子启发矩阵补全模型可以用于推荐问题中，将用户与被推荐的项组合成偏好矩阵；本发明用于对用户行为的分析和内容的推荐；本算法为纯数学方法，本质是矩阵补全算，不需要参数的训练过程，对数据的依赖较小，能够在一定程度上缓解用户和信息冷启动问题，并且可加入人工干预的机制，对某些词汇进行限定出现或者禁止出现，防患于未然。

Description

一种基于量子启发的推荐方法
技术领域
本发明属于互联网推荐算法技术领域，尤其涉及一种基于量子启发的推荐方法。
背景技术
随着互联网的飞速发展，互联网上的信息每年都在以几何级数增长。如何在这个海量信息库中精确获取所需信息已成为人们越来越关注的问题。尤其是各类移动终端媒体平台的快速普及，人们获取信息的途径也在悄然变化。《美国社交媒体平台新闻使用报告》显示，有62％的美国成年人从社交媒体上获取新闻；《中国移动资讯信息分发市场专题研究报告》显示在国内资讯信息分发市场上，算法推送的内容已经超过了50％；路透新闻研究院的调查显示，虽然对于算法推送新闻确实存在算法审查、平台偏向、信息茧房以及回音壁的担心，但人们尤其是年轻人，更加愿意使用和相信根据算法生成和推送的内容。
传统计算(电子计算)是基于晶体管上的经典比特实现的，是传统计算机中信息处理的基本单位。它们是嵌入在微芯片中的电子开关，在0或1之间交替，以处理信息。芯片上的晶体管越多，芯片处理电信号的速度就越快，计算机就会变得越好。
量子计算机与传统计算机的不同之处在于，传统计算机的改进主要依赖于构成晶体管和微芯片的材料的进步，而量子计算机不再使用晶体管(或者经典比特)，而是使用量子计算机中处理信息的基本单位——量子比特。
2018年由美国华盛顿大学的Tang根据KP的量子推荐算法提出了量子启发推荐算法。Tang证明了经典算法根据量子思想也可以得到与量子推荐算法相同的指数加速比。
中国专利公开号为CN104809191B，发明创造的名称为一种信息推荐方法通过展示与搜索词相关的聚合信息，可以展示不限于与搜索词同一维度的信息，可以展示与搜索词更相关的信息，通过展示推荐实体对应的深度信息，使得用户了解更多的信息，可以降低搜索成本，提高搜索效率。
但是，目前的传统算法普遍存在的具有训练时间长、占用资源多、“信息茧房”、“回声室”、“群体极化”等缺陷，但短期内量子算法又无法立即投入商用，难以在短时间内创造社会效益，而传统的电子计算发展又陷入停滞，无法保证摩尔定律的问题。
所以，发明一种基于量子启发的推荐方法显得非常必要。
发明内容
为了解决上述技术问题，本发明提供一种基于量子启发的推荐方法，以解决现有的传统算法普遍存在的具有训练时间长、占用资源多、“信息茧房”、“回声室”、“群体极化”等缺陷，但短期内量子算法又无法立即投入商用，难以在短时间内创造社会效益，而传统的电子计算发展又陷入停滞，无法保证摩尔定律的问题。
一种基于量子启发的推荐方法具体包括以下步骤：
步骤一：用户场景信息数据的采集；
步骤二：用户信息数据的输入；
步骤三：大概率信息量的抽取；
步骤四：数据信息的补全填充；
步骤五：推荐结果的初步排序；
步骤六：推荐结果的再处理。
优选地，在步骤一中，所述的用户场景信息数据的采集通过CSV的形式采集；所述的信息数据包括用户行为数据和内容数据。
优选地，在步骤二中，将采集的数据输入至量子启发，并形成一个用户与被推荐的项组合成偏好矩阵A。
优选地，在步骤三中，利用蒙的卡罗算法-样本的信息量多则大概率进行抽取，相反信息量较少则抽取概率较低。通过该种方式可以再保留数据趋势的情况下对数据进行筛选，通过相关矩阵变换可以得到与原矩阵相似的补全矩阵。
优选的，在步骤三中，所述的大概率信息量的抽取具体包括以下步骤：
S1031：偏好矩阵A抽样：针对步骤2)产生的偏好矩阵A进行行抽样，得到矩阵S；
S1032：矩阵S进行列抽样：对矩阵s进行列抽样，得到大小为P×P的矩阵W；
S1033:对W进行奇异值分解：.对W进行奇异值分解，得到左奇异值矩阵U与对应的奇异值δ；
S1034:奇异值矩阵的提取：取前k个奇异值以及对应的奇异值矩阵，与矩阵 S得到矩阵V；
S1035：补全矩阵D的生成：使用得到的v与v的转置与原矩阵进行矩阵乘法，得到最终的补全矩阵D。
优选地，在步骤四中，所述的对于用户评分过的项填写对应评分，对于空缺的项，也就是用户没有了解过或者购买过的项，通过矩阵补全的规则进行数据填充；
优选地，在步骤五中，将步骤四中填充后的数据按照大小进行排序，将评分的前二十或者前十对用户进行推荐即可，进而得到初步的推荐结果。
优选地，在步骤六中，产生的初步推荐结果还不能直接推荐给用户，必须进行合理处理，所以在本方法设计了推荐结果处理模块，本方法设计了四组推荐引擎，每组推荐引擎都有默认的分配权重，是一个加权型并行计算模型。当每组推荐引擎完成计算任务后会给出中间层推荐数据，把这些数据推送到结果处理模块完成最后的推荐任务。
与现有技术相比，本发明具有如下有益效果：由于本发明的一种基于量子启发的推荐方法广泛应用于互联网技术领域。本发明利用量子启发，用于对用户行为的分析和内容的推荐；本算法为纯数学方法，本质是矩阵补全算，不需要参数的训练过程，对数据的依赖较小，能够在一定程度上缓解用户和信息冷启动问题，并且可加入人工干预的机制，对某些词汇进行限定出现或者禁止出现，防患于未然。
附图说明
图1是基于量子启发的推荐方法流程图。
图2是大概率信息量的抽取过程的流程图。
图3是基于量子启发的推荐方法系统结构图。
图4是基于量子启发的推荐方法算法示意图。
图5表示量子与经典方法在不同数据集下所用时间对比图。
图6表示量子与经典方法在不同数据集下推荐效果对比图。
具体实施方式
以下结合附图对本发明做进一步描述：
如附图1和图2所示
一种基于量子启发的推荐方法包括以下步骤：
S101：用户场景信息数据的采集；
S102：用户信息数据的输入；
S103：大概率信息量的抽取；
S104：数据信息的补全填充；
S105：推荐结果的初步排序；
S106：推荐结果的再处理。
一种基于量子启发的推荐方法具体实施例1：
S101：用户场景信息数据的采集：
通过CSV方式在用户交互模块采集了源数据，形成了十组了MovieLens[1-10 组]数据集，该数据集被叫作mlHatest-small它包括60000个用户，1000部电影和100023个评分。它与其他MovieLens数据集的不同之处是:它的评分粒度更细一些其评分域是1-10，有10个不同的评分值。它的用户物品评分矩阵的密度是1.7％。
先从数据来看:实施方案中使用的是MovieLens1M数据集，包含6000个用户在近4000部电影上的1亿条评论。数据集分为三个文件：用户数据users.csv，电影数据movies.scv和评分数据ratings.csv。
1.1数据用户(如表1所示)
分别有用户ID、性别、年龄、职业ID和邮编等字段。
数据中的格式：UserID::Gender::Age::Occupation::Zip-code
表1
1.2电影数据(如表2所示)
分别有电影ID、电影名和电影风格等字段。
数据中的格式：MovieID::Title::Genres
表2
1.3评分数据(如表3所示)
分别有用户ID、电影ID、评分和时间戳等字段。
数据中的格式：UserID::MovieID::Rating::Timestamp
表3
1.4数据预处理结果
1)UserID、Occupation和MovieID不用变。
2)Gender字段：需要将‘F’和‘M’转换成0和1。
3)Age字段：要转成7个连续数字0～6。
4)Genres字段：是分类字段，要转成数字。首先将Genres中的类别转成字符串到数字的字典，然后再将每个电影的Genres字段转成数字列表，因为有些电影是多个Genres的组合。
5)Title字段：处理方式跟Genres字段一样，首先创建文本到数字的字典，然后将Title中的描述转成数字的列表。另外Title中的年份也需要去掉。
6)Genres和Title字段需要将长度统一，这样在神经网络中方便处理。空白部分用‘<PAD>’对应的数字填充。
选取了该数据集中的十组5041、10083、15125、20167、25209、30292、40334、45376、50418用户和前5000部电影分别组成十组用于实验的用户物品评分矩阵。在实验过程中数据集被分成两部分80％的数据用于训练，剩下20％的数据用于测试。按照这样的数据处理方式在实验过程中一共进行了十次交叉验证。
S102：用户信息数据的输入：将采集的数据输入至量子启发，并形成一个用户与被推荐的项组合成偏好矩阵A；
S103：大概率信息量的抽取：
1)、对A进行行抽样，得到矩阵S，其中大小为，其中PP×N值远小于M；
对矩阵S进行列抽样得到矩阵w；
2)、对W进行奇异值分解，得到左奇异值矩阵U与对应的奇异值δ，其中
W＝UΣLT
其中U是一个P×P的矩阵(里面的向量是正交的)，Σ是一个P×P的矩阵 (除了对角线的元素，其他均为0)，δ为Σ矩阵对角线元素，L为P×P的矩阵 (里面的向量也是正交的)，LT为矩阵L的转置矩阵。
3)、取前k个奇异值以及对应的奇异值矩阵，与矩阵S得到矩阵V，其中
其中sT为s的行抽样矩阵的转置矩阵，U为列抽样矩阵的左奇异值矩阵， W为列抽样矩阵，δ为列抽样矩阵得到的左奇异值矩阵对应的奇异值矩阵。
4)、使用得到的v与v的转置与原矩阵进行矩阵乘法，得到最终的补全矩阵D
D＝VVT
其中VT为矩阵V的转置矩阵。
S104：数据信息的补全填充：对于用户评分过的项填写对应评分，对于空缺的项，也就是用户没有了解过或者购买过的项，通过矩阵补全的规则进行数据填充；
S105：推荐结果的初步排序：将步骤四中填充后的数据按照大小进行排序，将评分的前二十或者前十对用户进行推荐即可，进而得到初步的推荐结果；
S106：推荐结果的再处理：产生的初步推荐结果还不能直接推荐给用户，必须进行合理处理，所以在本方法设计了推荐结果处理模块，本方法设计了四组推荐引擎，每组推荐引擎都有默认的分配权重，是一个加权型并行计算模型。当每组推荐引擎完成计算任务后会给出中间层推荐数据，把这些数据推送到结果处理模块完成最后的推荐任务。
对比实验数据(如图5和图6所示)：
经过试验对比，发现量子与传统的SVD++相比速度上有巨大的提升。在10W 条数据集中，基于量子启发推荐方法仅仅使用一分钟，而SVD++使用一个小时左右。使用最长公共子序列LCS进行评估，发现在相同数据集下量子启发推荐方法的LCS与SVD++持平，但是时间上有较大的提升，设置五万条训练集进行训练， SVD++大概需要2960s，而量子只需要144s，具有较高的实际应用价值。下面将会展示目前取得的实验结果以及对应的解释。
图5表示量子与经典方法在不同数据集下所用时间对比图。这里选用目前非常流行的SVD++作为对比试验。从图4中我们可以看到随着数据集的增加经典方法所消耗的时间是指数级上升的，而量子则是线性上升。图6是量子与经典方法在不同数据集下推荐效果对比图，这里继续沿用SVD++作为对比方法。由图可知在不同数据集下，经典方法与量子的推荐效果相差较小，几乎是一样的。
可以得出结论，量子可以在进行指数级加速的同时能够保证与经典推荐模型效果大致相同。使用该模型，可以使得模型进行快速迭代，在发现不良信息时能够快速进行响应迭代，减少此类信息的影响。
本发明的一种基于量子启发的推荐方法广泛应用于互联网技术领域。本发明利用量子启发，用于对用户行为的分析和内容的推荐；本算法为纯数学方法，本质是矩阵补全算，不需要参数的训练过程，对数据的依赖较小，能够在一定程度上缓解用户和信息冷启动问题，并且可加入人工干预的机制，对某些词汇进行限定出现或者禁止出现，防患于未然。
上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而做出的变化，均应属于本发明的保护范围之内。

Claims (8)

1.一种基于量子启发的推荐方法，其特征在于，该基于量子启发的推荐方法具体包括以下步骤：
步骤一：用户场景信息数据的采集；
步骤二：用户信息数据的输入；
步骤三：大概率信息量的抽取；
步骤四：数据信息的补全填充；
步骤五：推荐结果的初步排序；
步骤六：推荐结果的再处理。
2.如权利要求1所述的基于量子启发的推荐方法，其特征在于，在步骤一中，所述的用户场景信息数据的采集通过CSV的形式采集；所述的信息数据包括用户行为数据和内容数据。
3.如权利要求1所述的基于量子启发的推荐方法，其特征在于，在步骤二中，将采集的数据输入至量子启发，并形成一个用户与被推荐的项组合成偏好矩阵A。
4.如权利要求1所述的基于量子启发的推荐方法，其特征在于，在步骤三中，利用蒙的卡罗算法-样本的信息量多则大概率进行抽取，相反信息量较少则抽取概率较低。通过该种方式可以再保留数据趋势的情况下对数据进行筛选，通过相关矩阵变换可以得到与原矩阵相似的补全矩阵。
5.如权利要求1所述的基于量子启发的推荐方法，其特征在于，在步骤三中，所述的大概率信息量的抽取包括以下步骤：
S1031：偏好矩阵A抽样：针对步骤2)产生的偏好矩阵A进行行抽样，得到矩阵S，其中大小为，其中P P×N值远小于M；
S1032：矩阵S进行列抽样：对矩阵s进行列抽样，得到大小为P×P的矩阵w；
S1033:对W进行奇异值分解：.对W进行奇异值分解，得到左奇异值矩阵U与对应的奇异值δ，其中
W＝UΣLT
其中U是一个P×P的矩阵(里面的向量是正交的)，Σ是一个P×P的矩阵(除了对角线的元素，其他均为0)，δ为Σ矩阵对角线元素，L为P×P的矩阵(里面的向量也是正交的)，LT为矩阵L的转置矩阵；
S1034:奇异值矩阵的提取：取前k个奇异值以及对应的奇异值矩阵，与矩阵S得到矩阵V，其中其中sT为s的行抽样矩阵的转置矩阵，U为列抽样矩阵的左奇异值矩阵，W为列抽样矩阵，δ为列抽样矩阵得到的左奇异值矩阵对应的奇异值矩阵；
S1035：补全矩阵D的生成：使用得到的v与v的转置与原矩阵进行矩阵乘法，得到最终的补全矩阵D，D＝VVT其中VT为矩阵V的转置矩阵。
6.如权利要求1所述的基于量子启发的推荐方法，其特征在于，在步骤四中，所述的对于用户评分过的项填写对应评分，对于空缺的项，也就是用户没有了解过或者购买过的项，通过矩阵补全的规则进行数据填充。
7.如权利要求6所述的基于量子启发的推荐方法，其特征在于，在步骤五中，将步骤四中填充后的数据按照大小进行排序，将评分的前二十或者前十对用户进行推荐即可，进而得到初步的推荐结果。
8.如权利要求1所述的基于量子启发的推荐方法，其特征在于，在步骤六中，产生的初步推荐结果还不能直接推荐给用户，必须进行合理处理，所以在本方法设计了推荐结果处理模块，本方法设计了四组推荐引擎，每组推荐引擎都有默认的分配权重，是一个加权型并行计算模型。当每组推荐引擎完成计算任务后会给出中间层推荐数据，把这些数据推送到结果处理模块完成最后的推荐任务。
CN201910865554.0A 2019-09-09 2019-09-09 一种基于量子启发的推荐方法 Pending CN110580316A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910865554.0A CN110580316A (zh) 2019-09-09 2019-09-09 一种基于量子启发的推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910865554.0A CN110580316A (zh) 2019-09-09 2019-09-09 一种基于量子启发的推荐方法

Publications (1)

Publication Number Publication Date
CN110580316A true CN110580316A (zh) 2019-12-17

Family

ID=68812976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910865554.0A Pending CN110580316A (zh) 2019-09-09 2019-09-09 一种基于量子启发的推荐方法

Country Status (1)

Country Link
CN (1) CN110580316A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682963A (zh) * 2016-12-29 2017-05-17 同济大学 基于凸优化局部低秩矩阵近似的推荐系统数据补全方法
US20180075137A1 (en) * 2016-09-09 2018-03-15 Yandex Europe Ag Method and apparatus for training a machine learning algorithm (mla) for generating a content recommendation in a recommendation system and method and apparatus for generating the recommended content using the mla
CN108320027A (zh) * 2017-12-29 2018-07-24 国网河南省电力公司信息通信公司 一种基于量子计算的大数据处理方法
CN108629420A (zh) * 2017-03-22 2018-10-09 埃森哲环球解决方案有限公司 多状态量子优化引擎
CN108804683A (zh) * 2018-06-13 2018-11-13 重庆理工大学 结合矩阵分解和协同过滤算法的电影推荐方法
CN109510676A (zh) * 2019-01-11 2019-03-22 杭州电子科技大学 一种基于量子计算的无线信道预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075137A1 (en) * 2016-09-09 2018-03-15 Yandex Europe Ag Method and apparatus for training a machine learning algorithm (mla) for generating a content recommendation in a recommendation system and method and apparatus for generating the recommended content using the mla
CN106682963A (zh) * 2016-12-29 2017-05-17 同济大学 基于凸优化局部低秩矩阵近似的推荐系统数据补全方法
CN108629420A (zh) * 2017-03-22 2018-10-09 埃森哲环球解决方案有限公司 多状态量子优化引擎
CN108320027A (zh) * 2017-12-29 2018-07-24 国网河南省电力公司信息通信公司 一种基于量子计算的大数据处理方法
CN108804683A (zh) * 2018-06-13 2018-11-13 重庆理工大学 结合矩阵分解和协同过滤算法的电影推荐方法
CN109510676A (zh) * 2019-01-11 2019-03-22 杭州电子科技大学 一种基于量子计算的无线信道预测方法

Similar Documents

Publication Publication Date Title
CN112785397B (zh) 一种产品推荐方法、装置及存储介质
Manasse et al. Consistent weighted sampling
Yin et al. Incomplete multi-view clustering via subspace learning
Ahmed et al. Scalable distributed inference of dynamic user interests for behavioral targeting
Jing et al. Sparse probabilistic matrix factorization by laplace distribution for collaborative filtering
CN105426514A (zh) 个性化的移动应用app推荐方法
CN104063481A (zh) 一种基于用户实时兴趣向量的电影个性化推荐方法
CN113590970B (zh) 一种基于读者偏好的个性化数字图书推荐系统、方法、计算机及存储介质
WO2011057497A1 (zh) 一种词汇质量挖掘评价方法及装置
CN111177538A (zh) 一种基于无监督权值计算的用户兴趣标签构建方法
Nadungodage et al. GPU accelerated item-based collaborative filtering for big-data applications
CN109816015B (zh) 一种基于材料数据的推荐方法及系统
Song et al. An effective query recommendation approach using semantic strategies for intelligent information retrieval
Babu et al. An implementation of the user-based collaborative filtering algorithm
Jiang et al. A unified neural network approach to e-commerce relevance learning
CN103095849A (zh) 基于QoS属性预测和纠错的有监督Web服务发现方法及系统
CN111079011A (zh) 一种基于深度学习的信息推荐方法
JP2001101227A (ja) 文書分類装置および文書分類方法
CN110580316A (zh) 一种基于量子启发的推荐方法
Pita et al. Strategies for short text representation in the word vector space
CN109902169B (zh) 基于电影字幕信息提升电影推荐系统性能的方法
CN103631832A (zh) 业务对象排序方法、业务对象搜索方法及相关装置
CN107203632A (zh) 基于相似关系和共现关系的话题流行度预测方法
Ye et al. A collaborative neural model for rating prediction by leveraging user reviews and product images
CN107577690B (zh) 海量信息数据的推荐方法及推荐装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191217