CN108664558B - 一种面向大规模用户的网络电视个性化推荐服务方法 - Google Patents
一种面向大规模用户的网络电视个性化推荐服务方法 Download PDFInfo
- Publication number
- CN108664558B CN108664558B CN201810293504.5A CN201810293504A CN108664558B CN 108664558 B CN108664558 B CN 108664558B CN 201810293504 A CN201810293504 A CN 201810293504A CN 108664558 B CN108664558 B CN 108664558B
- Authority
- CN
- China
- Prior art keywords
- user
- recommendation
- data
- context
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种面向大规模用户的网络电视个性化推荐服务方法,利用大规模用户及用户属性和行为等数据,实现基于大数据的用户画像建模,并且通过提取时间、地点、天气等情景信息,构建基于大数据的上下文建模。离线计算阶段,通过用户、物品双聚类解决算法可扩展性的问题,并结合矩阵分解、协同过滤等技术训练模型及拟合参数;在线计算阶段,设计基于二次矩阵抽样的增量计算推荐模型,利用新增加的交互数据,实现实时在线推荐。最终,融合离线阶段和在线阶段模型的推荐结果,形成初始的Top‑K推荐列表,再利用基于上下文建模中的信息完成上下文过滤,形成最终的Top‑N推荐列表,提高面向大规模用户的网络电视个性化推荐精度。
Description
技术领域
本发明涉及网络电视个性化推荐服务领域,具体涉及一种面向大规模用户的网络电视个性化推荐服务方法。
背景技术
网络电视改变了用户传统、被动地收看方式,使自主播放互联网上海量的影视资源成为可能,但资源的种类和数量增长速度越来越快,如何在用户数量庞大、种类繁多的资源中甄别并获取有价值的信息成为制约网络电视发展的一个重要的瓶颈,个性化推荐技术能有效解决此类问题。
自1990年以来,推荐系统技术蓬勃发展,业界提出了各种各样的实用的推荐系统方案。推荐系统从最初的电子商务推荐到如今音乐、电影、社交网络、阅读、O2O、广告、旅游、新闻,搜索等领域。协同过滤算法(Collaborative Filtering)是最早被实际应用的推荐算法。协同过滤算法实现简单且高效,但是存在着冷启动(Cold start)以及矩阵稀疏性(sparsity)等问题。Hyung Jun Ahn提出了一种新的相似性度量方法以缓解冷启动问题,Andre Luiz Vizine Pereira等人于2015年进一步提出了协同聚类学习方法解决冷启动问题。当前为了提高协同过滤算法的推荐精度,上下文情景因素的应用越来越频繁。YangShuxin等人于2016年提出在不同的上下文因素下,用户会有不同的项目偏好,通过贝叶斯推断在不同上下文信息下用户喜好项目的概率,并以此来过滤推荐列表,提高算法的推荐精度。为了能够及时体现用户的反馈,Luo Xin等人于2016年提出一种基于矩阵分解的增量计算推荐算法,通过快速训练新增数据,降低算法计算复杂度,达到近在线推荐的目的。另外随着个性化推荐技术的快速发展和交互数据的积累,单一的推荐算法已经不能再满足用户的需求,组合推荐算法逐渐流行起来,它通过混合、加权、切换、级联、特征组合2种或2种以上推荐算法,充分利用各推荐算法的优势,从而获取更高的性能。近年来,随着互联网的高速发展,信息也呈几何倍数增加,但面向网络电视的个性化推荐技术依然面临处理数据量大、准确度不高、实时性不强和扩展性不好等问题。
发明内容
针对现有的网络电视在面向大规模用户和海量资源时出现的信息过载、推荐精度不高、实时性不强以及扩展性不好等问题,本发明提供了一种面向大规模用户的网络电视个性化推荐服务方法。
本发明采用以下的技术方案:
一种面向大规模用户的网络电视个性化推荐服务方法,包括以下步骤:
步骤1:网络电视用户画像建模:
(1)自大规模网络电视用户中完成信息的收集与处理,收集用户的基本属性数据、行为倾向数据及内容偏好数据;
(2)对收集到的数据进行预处理,数据处理完成后,通过数据挖掘、文本挖掘、自然语言处理技术对用户未知属性与行为进行预测;
(3)利用用户的基本属性信息通过贝叶斯分类算法进行分类,完成用户静态属性建模,利用用户的行为倾向、内容偏好行为信息通过逻辑回归算法进行用户动态行为建模;
步骤2:基于余弦相似度的网络电视上下文建模方法:
(1)对用户观看视频时的时间、地点和天气情景因素数据进行收集;
(2)对用户在不同情境因素条件下观看的视频做相关性分析,利用余弦相似度算法计算视频之间的相关性,基于上下文情景因素对视频影片进行分类,完成上下文建模,为后续的上下文过滤阶段做准备;
步骤3:离线计算阶段:
离线计算通过面向大规模用户网络电视的双聚类和矩阵分解的协同过滤算法进行;
利用聚类技术对大规模用户和资源进行聚类操作,然后对聚类形成的所有簇集进行矩阵分解,以此实现对大规模用户和资源的降维处理,最后利用协同过滤技术训练离线计算模型和拟合参数;
步骤4:在线计算阶段:
在线阶段通过基于二次矩阵抽样的增量计算推荐算法进行;
当新增数据达到设定阈值时,根据新增数据对原始矩阵进行行抽样和列抽样,抽取跟新增用户或物品相关的原始评分,形成稀疏性较低的子矩阵,以此来缓解增量矩阵的数据稀疏问题,完成第一次矩阵抽样;
然后在第一次矩阵抽样的基础上,对热门项目进行第二次抽样,形成维度较低的子矩阵,降低算法时间复杂度和计算开销,加快模型训练速度,完成第二次抽样;
在离线阶段训练的离线计算模型和拟合参数的基础上进行增量训练以及参数更新,最后形成初始的Top-K推荐列表;
步骤5:上下文过滤阶段:
利用上下文信息对步骤4中得到的Top-K推荐列表过滤优化,通过计算上下文信息之间的相似度,对推荐列表中与当前上下文关联度较小的项目进行过滤,形成新的Top-N推荐列表,完成网络电视个性化推荐服务。
本发明具有的有益效果是:
利用大规模用户及用户属性和行为等数据,实现基于大数据的用户画像建模,并且通过提取时间、地点、天气等情景信息,构建基于大数据的上下文建模。按照推荐算法的计算复杂度,将算法分为复杂度较高的离线计算阶段和实时性较好的在线计算阶段:离线计算阶段,通过用户、物品双聚类解决算法可扩展性的问题,并结合矩阵分解、协同过滤等技术训练模型及拟合参数;在线计算阶段,设计基于二次矩阵抽样的增量计算推荐模型,利用新增加的交互数据,实现实时在线推荐。最终,融合离线阶段和在线阶段模型的推荐结果,形成一个初始的Top-K推荐列表,再利用基于上下文建模中的信息完成上下文过滤,形成最终的Top-N推荐列表,提高面向大规模用户网络电视的个性化推荐精度,解决了推荐实时性不强、扩展性不好的问题。
附图说明
图1为面向大规模用户的网络电视个性化推荐服务方法的框图。
具体实施方式
下面结合附图和具体实施例对本发明的具体实施方式做进一步说明:
结合图1,一种面向大规模用户的网络电视个性化推荐服务方法,包括以下步骤:
步骤1:网络电视用户画像建模:
(1)自大规模网络电视用户中完成信息的收集与处理,收集用户的基本属性数据、行为倾向数据及内容偏好数据;
(2)对收集到的数据进行预处理,数据处理完成后,通过数据挖掘、文本挖掘、自然语言处理技术对用户未知属性与行为进行预测;
(3)利用用户的基本属性信息通过贝叶斯分类算法进行分类,完成用户静态属性建模,利用用户的行为倾向、内容偏好行为信息通过逻辑回归算法进行用户动态行为建模;
步骤2:随着对个性化推荐服务的研究逐步深入,研究发现,在传统的推荐系统中添加情景信息能够显著地提高算法模型的推荐精度。而现有的上下文建模忽略了上下文信息对于用户决策的影响力强弱问题,将各上下文信息以同等权重融入推荐过程中。实际上,网络电视每个上下文对用户决策的单独影响力都有所不同。
步骤2:基于余弦相似度的网络电视上下文建模方法:
(1)对用户观看视频时的时间、地点和天气情景因素数据进行收集;
(2)对用户在不同情境因素条件下观看的视频做相关性分析,利用余弦相似度算法计算视频之间的相关性,基于上下文情景因素对视频影片进行分类,完成上下文建模,为后续的上下文过滤阶段做准备。
步骤3:离线计算阶段:
协同过滤技术是信息推荐系统中最为成功的技术,也是目前应用最广泛的个性化推荐技术,但是随着网络电视用户数、物品数以及交互数据的指数型增加,单纯的协同过滤技术面对高维数据复杂度高的特点暴露无遗,其扩展性差的特点也越发明显。
离线计算通过面向大规模用户网络电视的双聚类和矩阵分解的协同过滤算法进行;
利用聚类技术对大规模用户和资源进行聚类操作,然后对聚类形成的所有簇集进行矩阵分解,以此实现对大规模用户和资源的降维处理,最后利用协同过滤技术训练离线计算模型和拟合参数;
步骤4:在线计算阶段:
传统的个性化推荐系统一般采用定期对全部数据进行训练的做法来更新模型,但在网络电视应用环境下,随着上线用户、物品的增多,以及交互数据的积累,这种方法会导致重复的计算开销,计算复杂度会指数增长甚至崩溃,更重要的是无法及时响应用户反馈。
在线阶段通过基于二次矩阵抽样的增量计算推荐算法进行;
当新增数据达到设定阈值时,根据新增数据对原始矩阵进行行抽样和列抽样,抽取跟新增用户或物品相关的原始评分,形成稀疏性较低的子矩阵,以此来缓解增量矩阵的数据稀疏问题,完成第一次矩阵抽样;
然后在第一次矩阵抽样的基础上,对热门项目进行第二次抽样,形成维度较低的子矩阵,降低算法时间复杂度和计算开销,加快模型训练速度,完成第二次抽样;
在离线阶段训练的离线计算模型和拟合参数的基础上进行增量训练以及参数更新,最后形成初始的Top-K推荐列表。
在线计算阶段有效的降低了在线计算的复杂度,大幅度提高了计算效率,节约了时间损耗,达到快速增量计算的目的,及时响应用户的反馈,实现实时在线推荐。
步骤5:上下文过滤阶段:
利用上下文信息对步骤4中得到的Top-K推荐列表过滤优化,通过计算上下文信息之间的相似度,对推荐列表中与当前上下文关联度较小的项目进行过滤,形成新的Top-N推荐列表,完成网络电视个性化推荐服务。
当然,上述说明并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换,也应属于本发明的保护范围。
Claims (1)
1.一种面向大规模用户的网络电视个性化推荐服务方法,其特征在于,包括以下步骤:
步骤1:网络电视用户画像建模:
(1)自大规模网络电视用户中完成信息的收集与处理,收集用户的基本属性数据、行为倾向数据及内容偏好数据;
(2)对收集到的数据进行预处理,数据处理完成后,通过数据挖掘、文本挖掘、自然语言处理技术对用户未知属性与行为进行预测;
(3)利用用户的基本属性信息通过贝叶斯分类算法进行分类,完成用户静态属性建模,利用用户的行为倾向、内容偏好行为信息通过逻辑回归算法进行用户动态行为建模;
步骤2:基于余弦相似度的网络电视上下文建模方法:
(1)对用户观看视频时的时间、地点和天气情景因素数据进行收集;
(2)对用户在不同情境因素条件下观看的视频做相关性分析,利用余弦相似度算法计算视频之间的相关性,基于上下文情景因素对视频影片进行分类,完成上下文建模,为后续的上下文过滤阶段做准备;
步骤3:离线计算阶段:
离线计算通过面向大规模用户网络电视的双聚类和矩阵分解的协同过滤算法进行;
利用聚类技术对大规模用户和网络电视的视频进行聚类操作,然后对聚类形成的所有簇集进行矩阵分解,以此实现对大规模用户和网络电视的视频的降维处理,最后利用协同过滤技术训练离线计算模型和拟合参数;
步骤4:在线计算阶段:
在线阶段通过基于二次矩阵抽样的增量计算推荐算法进行;
当新增数据达到设定阈值时,根据新增数据对原始矩阵进行行抽样和列抽样,抽取跟新增用户或网络电视的视频相关的原始评分,形成稀疏性较低的子矩阵,以此来缓解增量矩阵的数据稀疏问题,完成第一次矩阵抽样;
然后在第一次矩阵抽样的基础上,对网络电视的视频进行第二次抽样,形成维度较低的子矩阵,降低算法时间复杂度和计算开销,加快模型训练速度,完成第二次抽样;
在离线阶段训练的离线计算模型和拟合参数的基础上进行增量训练以及参数更新,最后形成初始的Top-K推荐列表;
步骤5:上下文过滤阶段:
利用上下文信息对步骤4中得到的Top-K推荐列表过滤优化,通过计算上下文信息之间的相似度,对推荐列表中与当前上下文关联度较小的项目进行过滤,形成新的Top-N推荐列表,完成网络电视个性化推荐服务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810293504.5A CN108664558B (zh) | 2018-04-04 | 2018-04-04 | 一种面向大规模用户的网络电视个性化推荐服务方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810293504.5A CN108664558B (zh) | 2018-04-04 | 2018-04-04 | 一种面向大规模用户的网络电视个性化推荐服务方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108664558A CN108664558A (zh) | 2018-10-16 |
CN108664558B true CN108664558B (zh) | 2020-05-05 |
Family
ID=63782837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810293504.5A Active CN108664558B (zh) | 2018-04-04 | 2018-04-04 | 一种面向大规模用户的网络电视个性化推荐服务方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108664558B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109493195B (zh) * | 2018-12-24 | 2021-07-30 | 成都品果科技有限公司 | 一种基于强化学习的双聚类推荐方法和系统 |
CN110321489A (zh) * | 2019-07-11 | 2019-10-11 | 重庆邮电大学 | 一种基于改进推荐算法的智慧旅游推荐方法及系统 |
CN111881190B (zh) * | 2020-08-05 | 2021-10-08 | 厦门南讯股份有限公司 | 基于客户画像的关键数据挖掘系统 |
CN113536140B (zh) * | 2021-09-16 | 2022-02-11 | 广东众聚人工智能科技有限公司 | 一种基于小样本数据的实时推荐方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104951518A (zh) * | 2015-06-04 | 2015-09-30 | 中国人民大学 | 一种基于动态增量更新的上下文推荐方法 |
CN105608219A (zh) * | 2016-01-07 | 2016-05-25 | 上海通创信息技术有限公司 | 一种基于聚类的流式推荐引擎、推荐系统以及推荐方法 |
CN106126641A (zh) * | 2016-06-24 | 2016-11-16 | 中国科学技术大学 | 一种基于Spark的实时推荐系统及方法 |
CN107368519A (zh) * | 2017-06-05 | 2017-11-21 | 桂林电子科技大学 | 一种契合用户兴趣变化的协同处理方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104462385B (zh) * | 2014-12-10 | 2018-07-03 | 山东科技大学 | 一种基于用户兴趣模型的电影个性化相似度计算方法 |
WO2017066755A1 (en) * | 2015-10-15 | 2017-04-20 | Triad Digital Media Llc | Apparatus and method for generating dynamic similarity audiences |
US20170206551A1 (en) * | 2016-01-15 | 2017-07-20 | Adobe Systems Incorporated | Personalized Recommendation Computation in Real Time using Incremental Matrix Factorization and User Factor Clustering |
CN107527236A (zh) * | 2017-08-10 | 2017-12-29 | 云南财经大学 | 一种基于市场效应的协同过滤推荐方法及推荐系统 |
-
2018
- 2018-04-04 CN CN201810293504.5A patent/CN108664558B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104951518A (zh) * | 2015-06-04 | 2015-09-30 | 中国人民大学 | 一种基于动态增量更新的上下文推荐方法 |
CN105608219A (zh) * | 2016-01-07 | 2016-05-25 | 上海通创信息技术有限公司 | 一种基于聚类的流式推荐引擎、推荐系统以及推荐方法 |
CN106126641A (zh) * | 2016-06-24 | 2016-11-16 | 中国科学技术大学 | 一种基于Spark的实时推荐系统及方法 |
CN107368519A (zh) * | 2017-06-05 | 2017-11-21 | 桂林电子科技大学 | 一种契合用户兴趣变化的协同处理方法及系统 |
Non-Patent Citations (2)
Title |
---|
Improving matrix factorization recommendations for problems in big data;Xiaohan Tu,等;《2017 IEEE 2nd International Conference on Big Data Analysis (ICBDA)》;20170312;全文 * |
基于用户兴趣模型的协同过滤推荐算法;梁天一,等;《计算机应用与软件》;20141130;第31卷(第11期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108664558A (zh) | 2018-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108664558B (zh) | 一种面向大规模用户的网络电视个性化推荐服务方法 | |
CN110275964B (zh) | 基于知识图谱与循环神经网络的推荐模型 | |
CN110430471B (zh) | 一种基于瞬时计算的电视推荐方法和系统 | |
CN106156127B (zh) | 选择数据内容向终端推送的方法及装置 | |
CN105138653B (zh) | 一种基于典型度和难度的题目推荐方法及其推荐装置 | |
CN109947987B (zh) | 一种交叉协同过滤推荐方法 | |
Lai et al. | CPRS: A cloud-based program recommendation system for digital TV platforms | |
CN107633444B (zh) | 基于信息熵与模糊c均值聚类的推荐系统噪声过滤方法 | |
Juan et al. | Survey of recommendation based on collaborative filtering | |
CN104933156A (zh) | 一种基于共享近邻聚类的协同过滤方法 | |
Li et al. | Content-based filtering recommendation algorithm using HMM | |
CN111861550B (zh) | 一种基于ott设备的家庭画像构建方法及系统 | |
CN114329222B (zh) | 一种融合注意力机制和双端知识图谱的电影推荐方法 | |
CN112380451A (zh) | 一种基于大数据的喜好内容推荐方法 | |
Aharon et al. | Watch-it-next: a contextual TV recommendation system | |
CN113343077A (zh) | 一种融合用户兴趣时序波动的个性化推荐方法及系统 | |
CN114140171B (zh) | 一种应用于推荐系统的鲁棒无偏的负采样方法 | |
Chen et al. | A fuzzy matrix factor recommendation method with forgetting function and user features | |
CN108491477B (zh) | 基于多维云和用户动态兴趣的神经网络推荐方法 | |
CN108287902B (zh) | 一种基于数据非随机缺失机制的推荐系统方法 | |
Li et al. | Semi-siamese network for content-based video relevance prediction | |
CN114022233A (zh) | 一种新型的商品推荐方法 | |
He | Construction of internet TV industry ecosystem based on data mining technology | |
Liu et al. | Overview of context-aware recommender system research | |
Si | [Retracted] Classification Method of Ideological and Political Resources of Broadcasting and Hosting Professional Courses Based on SOM Artificial Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |