CN117216396A - 基于大数据分析的智能推荐方法、装置、设备及存储介质 - Google Patents
基于大数据分析的智能推荐方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117216396A CN117216396A CN202311231711.5A CN202311231711A CN117216396A CN 117216396 A CN117216396 A CN 117216396A CN 202311231711 A CN202311231711 A CN 202311231711A CN 117216396 A CN117216396 A CN 117216396A
- Authority
- CN
- China
- Prior art keywords
- recommendation
- algorithm
- data
- user
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000007418 data mining Methods 0.000 claims abstract description 35
- 238000007781 pre-processing Methods 0.000 claims abstract description 28
- 238000005065 mining Methods 0.000 claims abstract description 24
- 230000006399 behavior Effects 0.000 claims description 158
- 238000001914 filtration Methods 0.000 claims description 60
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000000354 decomposition reaction Methods 0.000 claims description 21
- 238000004140 cleaning Methods 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000003064 k means clustering Methods 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 description 9
- 230000003542 behavioural effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及智能推荐技术领域,公开了一种基于大数据分析的智能推荐方法、装置、设备及存储介质。该方法包括基于预设数据源采集历史行为数据并进行预处理;根据预设数据挖掘算法对预处理后的历史行为数据进行分析和挖掘获得用户行为偏好模型;根据用户行为偏好模型确定初始推荐算法并进行优化,获得目标推荐算法;根据目标推荐算法和历史行为数据获得推荐结果并进行展示。本发明中对历史行为数据进行挖掘分析,得到更能反映用户兴趣偏好的用户行为偏好模型,进而根据用户行为偏好模型去选择推荐算法并对其进行优化,最终得到更加准确的推荐结果,从而提高推荐准确度和用户满意度。对于新用户或新物品,优化后的目标推荐算法也能有效推荐。
Description
技术领域
本发明涉及智能推荐技术领域,尤其涉及一种基于大数据分析的智能推荐方法、装置、设备及存储介质。
背景技术
随着互联网和移动互联网的普及,用户面临着越来越多的信息和选择。为了更好地满足用户需求,推荐系统应运而生。推荐系统是一种通过分析用户历史行为数据,预测用户兴趣偏好,并向用户推荐相关内容的系统。推荐系统广泛应用于电商、社交网络、新闻媒体、音乐、电影等领域。然而,传统的推荐系统还存在一些问题。例如容易出现过度推荐现象,即只向用户推荐相似的物品却忽略了用户的多样化需求,或是存在冷启动问题,即对于新用户或新物品,无法进行有效推荐。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于大数据分析的智能推荐方法、装置、设备及存储介质,旨在解决现有推荐系统容易出现过度推荐现象以及存在冷启动无法进行有效推荐的技术问题。
为实现上述目的,本发明提供了一种基于大数据分析的智能推荐方法,包括:
基于预设数据源采集历史行为数据,并对所述历史行为数据进行预处理;
根据预设数据挖掘算法对预处理后的所述历史行为数据进行分析和挖掘,以获得用户行为偏好模型;
根据所述用户行为偏好模型确定初始推荐算法,并对所述初始推荐算法进行优化,以获得目标推荐算法;
根据所述目标推荐算法和所述历史行为数据获得推荐结果,并将所述推荐结果进行展示。
在一些实施例中,所述基于预设数据源采集历史行为数据,并对所述历史行为数据进行预处理,包括:
基于预设数据源采集用户的历史浏览信息、历史购买信息以及历史评分信息;
根据所述历史浏览信息、历史购买信息以及历史评分信息生成历史行为数据;
基于预设编程语言对所述历史行为数据进行数据清洗和预处理。
在一些实施例中,所述基于预设编程语言对所述历史行为数据进行数据清洗和预处理,包括:
基于Python编程语言对所述历史行为数据进行缺失项处理,以剔除所述历史行为数据中属性类别项目缺失和评价字符数小于预设字符数的数据项,获得清洗后的数据集;
对所述清洗后的数据集提取电子资讯的评论信息;
对所述评论信息进行分词操作和词性标注操作,以实现对所述历史行为数据进行预处理。
在一些实施例中,所述根据预设数据挖掘算法对预处理后的所述历史行为数据进行分析和挖掘,以获得用户行为偏好模型,包括:
基于预设机器学习库获取若干预设数据挖掘算法;
从若干所述预设数据挖掘算法中确定预设K-means聚类算法;
根据所述预设K-means聚类算法对预处理后的所述历史行为数据进行分析和挖掘,以获得用户行为偏好模型。
在一些实施例中,所述根据所述用户行为偏好模型确定初始推荐算法,并对所述初始推荐算法进行优化,以获得目标推荐算法,包括:
获取若干预设推荐算法;
根据所述用户行为偏好模型从所述预设推荐算法中选取基于物品相似度的协同过滤算法;
对所述基于物品相似度的协同过滤算法进行优化,以获得优化后的协同过滤算法;
将所述优化后的协同过滤算法作为目标推荐算法。
在一些实施例中,所述对所述基于物品相似度的协同过滤算法进行优化,以获得优化后的协同过滤算法,包括:
确定矩阵分解的优化目标函数;
基于矩阵分解技术对所述基于物品相似度的协同过滤算法进行优化,以获得优化后的协同过滤算法。
在一些实施例中,所述根据所述目标推荐算法和所述历史行为数据获得推荐结果,并将所述推荐结果进行展示之后,还包括:
接收用户基于所述推荐结果反馈的评分信息和评论信息;
根据所述评分信息和评论信息更新优化所述目标推荐算法。
此外,为实现上述目的,本发明还提出一种基于大数据分析的智能推荐装置,包括:
采集模块,用于基于预设数据源采集历史行为数据,并对所述历史行为数据进行预处理;
挖掘模块,用于根据预设数据挖掘算法对预处理后的所述历史行为数据进行分析和挖掘,以获得用户行为偏好模型;
优化模块,用于根据所述用户行为偏好模型确定初始推荐算法,并对所述初始推荐算法进行优化,以获得目标推荐算法;
推荐模块,用于根据所述目标推荐算法和所述历史行为数据获得推荐结果,并将所述推荐结果进行展示。
此外,为实现上述目的,本发明还提出一种基于大数据分析的智能推荐设备,所述基于大数据分析的智能推荐设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于大数据分析的智能推荐程序,所述基于大数据分析的智能推荐程序配置为实现如上文所述的基于大数据分析的智能推荐方法。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质存储有基于大数据分析的智能推荐程序,所述基于大数据分析的智能推荐程序用于使处理器执行时实现如上文所述的基于大数据分析的智能推荐方法。
本发明通过基于预设数据源采集历史行为数据,并对所述历史行为数据进行预处理;根据预设数据挖掘算法对预处理后的所述历史行为数据进行分析和挖掘,以获得用户行为偏好模型;根据所述用户行为偏好模型确定初始推荐算法,并对所述初始推荐算法进行优化,以获得目标推荐算法;根据所述目标推荐算法和所述历史行为数据获得推荐结果,并将所述推荐结果进行展示。本发明中,对采集到的历史行为数据进行挖掘和分析,得到更能反映用户兴趣偏好的用户行为偏好模型,进而根据用户行为偏好模型去选择推荐算法并对推荐算法进行优化,得到更加准确的推荐结果,可以更好地了解用户兴趣偏好,从而提高推荐准确度和用户满意度。此外,对于新用户或新物品,优化后的目标推荐算法也可以有效推荐,解决了现有推荐系统容易出现过度推荐现象以及存在冷启动无法进行有效推荐的技术问题。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的基于大数据分析的智能推荐设备的结构示意图;
图2为本发明基于大数据分析的智能推荐方法第一实施例的流程示意图;
图3为本发明基于大数据分析的智能推荐方法实施技术流程图;
图4为本发明基于大数据分析的智能推荐方法第二实施例的流程示意图;
图5为本发明基于大数据分析的智能推荐装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的基于大数据分析的智能推荐设备结构示意图。
如图1所示,该基于大数据分析的智能推荐设备可以包括:处理器1001,例如中央处理器(Central ProcessingUnit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口))。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM存储器),也可以是稳定的非易失性存储器(Non-VolatileMemory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对基于大数据分析的智能推荐设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于大数据分析的智能推荐程序。
在图1所示的基于大数据分析的智能推荐设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明基于大数据分析的智能推荐设备中的处理器1001、存储器1005可以设置在基于大数据分析的智能推荐设备中,所述基于大数据分析的智能推荐设备通过处理器1001调用存储器1005中存储的基于大数据分析的智能推荐程序,并执行本发明实施例提供的基于大数据分析的智能推荐方法。
目前,推荐系统主要分为基于内容的推荐、基于协同过滤的推荐和混合推荐三种。基于内容的推荐是根据物品的属性和特征,向用户推荐相似的物品。基于协同过滤的推荐是根据用户历史行为数据,向用户推荐和其兴趣相似的其他用户喜欢的物品。混合推荐则是将基于内容的推荐和基于协同过滤的推荐结合起来,以提高推荐准确度和用户满意度。
然而,传统的推荐系统还存在一些问题。例如,基于内容的推荐容易出现过度推荐现象,即只向用户推荐相似的物品却忽略了用户的多样化需求;基于协同过滤的推荐则存在冷启动问题,即对于新用户或新物品,无法进行有效推荐。
鉴于上述问题,本发明提出一种基于大数据分析的智能推荐方法、装置、设备及存储介质。
本发明实施例提供了一种基于大数据分析的智能推荐方法,参照图2,图2为本发明一种基于大数据分析的智能推荐方法第一实施例的流程示意图。
如图2所示,所述基于大数据分析的智能推荐方法,包括:
步骤S100:基于预设数据源采集历史行为数据,并对所述历史行为数据进行预处理;
步骤S200:根据预设数据挖掘算法对预处理后的所述历史行为数据进行分析和挖掘,以获得用户行为偏好模型;
步骤S300:根据所述用户行为偏好模型确定初始推荐算法,并对所述初始推荐算法进行优化,以获得目标推荐算法;
步骤S400:根据所述目标推荐算法和所述历史行为数据获得推荐结果,并将所述推荐结果进行展示。
需要说明的是,本实施例中的执行主体可为基于大数据分析的智能推荐设备,该基于大数据分析的智能推荐设备可为具有数据处理功能的计算机设备,还可为其他可实现相同或相似功能的设备,本实施例对此不作限制,在本实施例中,以计算机设备为例进行说明。
示例性地,本实施例基于大数据分析的智能推荐方法可以用于图书推荐、电子商务推荐和电影网站推荐等,本实施例以用于电影领域的智能推荐为例进行说明。
在一实施例中,基于预设数据源采集历史行为数据,并对所述历史行为数据进行预处理,包括:基于预设数据源采集用户的历史浏览信息、历史购买信息以及历史评分信息;根据所述历史浏览信息、历史购买信息以及历史评分信息生成历史行为数据;基于预设编程语言对所述历史行为数据进行数据清洗和预处理。
具体地,历史行为数据采集和处理:从电商网站、社交网络、搜索引擎等多个数据源采集历史行为数据,并对历史行为数据进行清洗和预处理,以便后续的数据分析。示例性地,采集和处理用户历史行为数据,包括用户浏览、购买、评分等信息。在数据采集和处理步骤中,可以使用Python等编程语言进行数据清洗和预处理,数据清洗和预处理操作包括但不限于去重、填充缺失值以及归一化等。
在一示例中,采集用户历史观影记录,包括观看的电影、评分、观看时间等信息,并进行数据清洗和预处理。
在一实施例中,基于预设编程语言对所述历史行为数据进行数据清洗和预处理,包括:基于Python编程语言对所述历史行为数据进行缺失项处理,以剔除所述历史行为数据中属性类别项目缺失和评价字符数小于预设字符数的数据项,获得清洗后的数据集;对所述清洗后的数据集提取电子资讯的评论信息;对所述评论信息进行分词操作和词性标注操作,以实现对所述历史行为数据进行预处理。
具体地,对历史行为数据进行数据清洗和预处理包括但不限于对数据进行去重、缺失值填充、异常值处理等操作。
示例性地,数据的清洗操作,首先是对缺失项的处理,剔除属性类别项目缺失以及评价字符数小于预设字符数的数据项;经过数据清洗获取到数据集之后,对电子资讯的评论信息进行预处理,包括分词操作和词性标注操作等。
可以理解的是,本实施例对数据清洗和预处理的具体操作并不加以限制。
在一实施例中,根据预设数据挖掘算法对预处理后的所述历史行为数据进行分析和挖掘,以获得用户行为偏好模型,包括:基于预设机器学习库获取若干预设数据挖掘算法;从若干所述预设数据挖掘算法中确定预设K-means聚类算法;根据所述预设K-means聚类算法对预处理后的所述历史行为数据进行分析和挖掘,以获得用户行为偏好模型。
具体地,参考图3,对采集到的历史行为数据进行挖掘和分析,以了解用户兴趣偏好。采用数据挖掘技术和机器学习算法,对采集到的历史行为数据进行分析和挖掘,以得到用户的行为偏好模型。示例性地,数据挖掘和分析可以包括采用聚类、分类或关联规则等数据挖掘技术和机器学习算法,对采集到的数据进行分析和挖掘,以得到用户的行为偏好模型。例如在数据挖掘和分析步骤中,可以使用Scikit-learn等机器学习库进行数据挖掘和分析。可以采用K-means聚类算法,将用户划分为不同的群体,以便更好地理解用户的行为和偏好。
示例性地,K-means聚类算法涉及的欧几里得距离和曼哈顿距离为:
欧几里得距离:
曼哈顿距离:
其中,欧几里得距离公式和曼哈顿距离公式分别表示在n维空间内两个点(点x和点μ)之间的真实距离。
在一示例中,对于电影领域的推荐系统,采用K-means聚类算法将用户划分为不同的群体,以了解用户兴趣偏好。例如,将用户划分为喜欢动作片、喜欢爱情片、喜欢科幻片等群体。
在一实施例中,根据所述用户行为偏好模型确定初始推荐算法,并对所述初始推荐算法进行优化,以获得目标推荐算法,包括:获取若干预设推荐算法;根据所述用户行为偏好模型从所述预设推荐算法中选取基于物品相似度的协同过滤算法;对所述基于物品相似度的协同过滤算法进行优化,以获得优化后的协同过滤算法;将所述优化后的协同过滤算法作为目标推荐算法。
具体地,推荐算法的选择和优化:根据用户行为偏好模型,选择合适的推荐算法,并对推荐算法进行优化得到目标推荐算法,以提高推荐的准确性和效率。示例性地,可以使用基于物品相似度的协同过滤算法,结合采集到的用户的历史行为数据,为用户推荐与其历史行为相似的物品。
可以理解的是,参考图3,在通过数据挖掘和分析技术了解用户兴趣偏好得到用户行为偏好模型后,需要选择合适的推荐算法,并对推荐算法进行优化。本实施例以推荐算法为基于物品相似度的协同过滤算法为例进行说明。采用基于物品相似度的协同过滤算法,并对基于物品相似度的协同过滤算法进行优化。具体的优化操作包括但不限于使用矩阵分解等技术。例如,在推荐算法选择和优化过程中,设置矩阵分解的优化目标函数,使用矩阵分解技术根据优化目标函数优化基于物品相似度的协同过滤算法。
在一示例中,推荐算法选择和优化:选择基于物品相似度的协同过滤算法,并使用矩阵分解等技术进行优化。例如,通过矩阵分解将电影矩阵分解为用户矩阵和电影矩阵,以便更好地计算用户对电影的偏好。
在一实施例中,根据所述目标推荐算法和所述历史行为数据获得推荐结果,并将所述推荐结果进行展示之后,还包括:接收用户基于所述推荐结果反馈的评分信息和评论信息;根据所述评分信息和评论信息更新优化所述目标推荐算法。
具体地,将推荐结果展示给用户,并收集用户反馈。推荐结果展示和反馈可以包括将推荐结果展示给用户,并根据用户的反馈和行为数据,不断优化推荐算法和模型。示例性地,可以在推荐结果页面中加入用户反馈按钮,让用户对推荐结果进行评价和反馈,以便更好地了解用户的需求和偏好。
示例性地,在推荐结果展示和反馈过程中,可以使用HTML、CSS、JavaScript等前端技术,实现推荐结果页面。可以使用AJAX等技术,实现用户反馈功能。
在一示例中,推荐结果展示和反馈:将推荐结果展示在电影推荐页面上,并收集用户反馈,例如用户的评分和评论。根据用户反馈,可以进一步优化推荐算法,提高推荐准确度和用户满意度。
需要说明的是,本实施例能够根据用户的历史行为和偏好,为用户提供个性化的推荐服务,提高用户满意度。本实施例的优点在于:通过机器学习算法对用户历史行为数据进行挖掘和分析,可以更好地了解用户兴趣偏好,提高推荐准确度和用户满意度。采用基于物品相似度的协同过滤算法作为推荐算法,并对推荐算法进行优化,进一步提高推荐准确度。
本实施例通过基于预设数据源采集历史行为数据,并对所述历史行为数据进行预处理;根据预设数据挖掘算法对预处理后的所述历史行为数据进行分析和挖掘,以获得用户行为偏好模型;根据所述用户行为偏好模型确定初始推荐算法,并对所述初始推荐算法进行优化,以获得目标推荐算法;根据所述目标推荐算法和所述历史行为数据获得推荐结果,并将所述推荐结果进行展示。本实施例中,对采集到的历史行为数据进行挖掘和分析,得到更能反映用户兴趣偏好的用户行为偏好模型,进而根据用户行为偏好模型去选择推荐算法并对推荐算法进行优化,得到更加准确的推荐结果,可以更好地了解用户兴趣偏好,从而提高推荐准确度和用户满意度。此外,对于新用户或新物品,优化后的目标推荐算法也可以有效推荐,解决了现有推荐系统容易出现过度推荐现象以及存在冷启动无法进行有效推荐的技术问题。
在一些实施例中,如图4所示,基于第一实施例提出本发明基于大数据分析的智能推荐方法第二实施例,所述步骤S300,包括:
步骤S301:获取若干预设推荐算法;
步骤S302:根据所述用户行为偏好模型从所述预设推荐算法中选取基于物品相似度的协同过滤算法;
步骤S303:对所述基于物品相似度的协同过滤算法进行优化,以获得优化后的协同过滤算法;
步骤S304:将所述优化后的协同过滤算法作为目标推荐算法。
可以理解的是,获取若干预设推荐算法:预设推荐算法包括但不限于协同过滤推荐算法、基于内容推荐算法、基于知识推荐算法以及混合推荐算法等。
具体地,根据所述用户行为偏好模型从所述预设推荐算法中选取基于物品相似度的协同过滤算法。本实施例以推荐算法为基于物品相似度的协同过滤算法为例进行说明。根据用户行为偏好模型,选择合适的推荐算法,并对推荐算法进行优化得到目标推荐算法,以提高推荐的准确性和效率。示例性地,可以使用基于物品相似度的协同过滤算法,结合采集到的用户的历史行为数据,为用户推荐与其历史行为相似的物品。
在一些实施例中,对所述基于物品相似度的协同过滤算法进行优化,以获得优化后的协同过滤算法,包括:确定矩阵分解的优化目标函数;基于矩阵分解技术对所述基于物品相似度的协同过滤算法进行优化,以获得优化后的协同过滤算法。
具体地,在通过数据挖掘和分析技术了解用户兴趣偏好得到用户行为偏好模型后,需要选择合适的推荐算法,并对推荐算法进行优化。采用基于物品相似度的协同过滤算法,并对基于物品相似度的协同过滤算法进行优化。具体的优化操作包括但不限于使用矩阵分解等技术。例如,在推荐算法选择和优化过程中,设置矩阵分解的优化目标函数,使用矩阵分解技术根据优化目标函数优化基于物品相似度的协同过滤算法。
在一示例中,推荐算法选择和优化:选择基于物品相似度的协同过滤算法,并使用矩阵分解等技术进行优化。例如,通过矩阵分解将电影矩阵分解为用户矩阵和电影矩阵,以便更好地计算用户对电影的偏好。
需要说明的是,本实施例能够根据用户的历史行为和偏好,为用户提供个性化的推荐服务,提高用户满意度。采用基于物品相似度的协同过滤算法作为推荐算法,并对推荐算法进行优化,进一步提高推荐准确度。
本实施例通过获取若干预设推荐算法;根据所述用户行为偏好模型从所述预设推荐算法中选取基于物品相似度的协同过滤算法;对所述基于物品相似度的协同过滤算法进行优化,以获得优化后的协同过滤算法;将所述优化后的协同过滤算法作为目标推荐算法。本实施例中,根据用户行为偏好模型去选择推荐算法并对推荐算法进行优化,得到更加准确的推荐结果,可以更好地了解用户兴趣偏好,从而提高推荐准确度和用户满意度。此外,对于新用户或新物品,优化后的目标推荐算法也可以有效推荐,解决了现有推荐系统容易出现过度推荐现象以及存在冷启动无法进行有效推荐的技术问题。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有基于大数据分析的智能推荐程序,所述基于大数据分析的智能推荐程序被处理器执行时实现如上文所述的基于大数据分析的智能推荐方法的步骤。
参照图5,图5为本发明基于大数据分析的智能推荐装置第一实施例的结构框图。
如图5所示,所述基于大数据分析的智能推荐装置,包括:
采集模块10,用于基于预设数据源采集历史行为数据,并对所述历史行为数据进行预处理;
挖掘模块20,用于根据预设数据挖掘算法对预处理后的所述历史行为数据进行分析和挖掘,以获得用户行为偏好模型;
优化模块30,用于根据所述用户行为偏好模型确定初始推荐算法,并对所述初始推荐算法进行优化,以获得目标推荐算法;
推荐模块40,用于根据所述目标推荐算法和所述历史行为数据获得推荐结果,并将所述推荐结果进行展示。
需要说明的是,本实施例以用于电影领域的智能推荐系统为例进行说明。
在一实施例中,基于预设数据源采集历史行为数据,并对所述历史行为数据进行预处理,包括:基于预设数据源采集用户的历史浏览信息、历史购买信息以及历史评分信息;根据所述历史浏览信息、历史购买信息以及历史评分信息生成历史行为数据;基于预设编程语言对所述历史行为数据进行数据清洗和预处理。
具体地,历史行为数据采集和处理:从电商网站、社交网络、搜索引擎等多个数据源采集历史行为数据,并对历史行为数据进行清洗和预处理,以便后续的数据分析。示例性地,采集和处理用户历史行为数据,包括用户浏览、购买、评分等信息。在数据采集和处理步骤中,可以使用Python等编程语言进行数据清洗和预处理,数据清洗和预处理操作包括但不限于去重、填充缺失值以及归一化等。
在一示例中,采集用户历史观影记录,包括观看的电影、评分、观看时间等信息,并进行数据清洗和预处理。
在一实施例中,基于预设编程语言对所述历史行为数据进行数据清洗和预处理,包括:基于Python编程语言对所述历史行为数据进行缺失项处理,以剔除所述历史行为数据中属性类别项目缺失和评价字符数小于预设字符数的数据项,获得清洗后的数据集;对所述清洗后的数据集提取电子资讯的评论信息;对所述评论信息进行分词操作和词性标注操作,以实现对所述历史行为数据进行预处理。
具体地,对历史行为数据进行数据清洗和预处理包括但不限于对数据进行去重、缺失值填充、异常值处理等操作。
示例性地,数据的清洗操作,首先是对缺失项的处理,剔除属性类别项目缺失以及评价字符数小于预设字符数的数据项;经过数据清洗获取到数据集之后,对电子资讯的评论信息进行预处理,包括分词操作和词性标注操作等。
可以理解的是,本实施例对数据清洗和预处理的具体操作并不加以限制。
在一实施例中,根据预设数据挖掘算法对预处理后的所述历史行为数据进行分析和挖掘,以获得用户行为偏好模型,包括:基于预设机器学习库获取若干预设数据挖掘算法;从若干所述预设数据挖掘算法中确定预设K-means聚类算法;根据所述预设K-means聚类算法对预处理后的所述历史行为数据进行分析和挖掘,以获得用户行为偏好模型。
具体地,参考图3,对采集到的历史行为数据进行挖掘和分析,以了解用户兴趣偏好。采用数据挖掘技术和机器学习算法,对采集到的历史行为数据进行分析和挖掘,以得到用户的行为偏好模型。示例性地,数据挖掘和分析可以包括采用聚类、分类或关联规则等数据挖掘技术和机器学习算法,对采集到的数据进行分析和挖掘,以得到用户的行为偏好模型。例如在数据挖掘和分析步骤中,可以使用Scikit-learn等机器学习库进行数据挖掘和分析。可以采用K-means聚类算法,将用户划分为不同的群体,以便更好地理解用户的行为和偏好。
在一示例中,对于电影领域的推荐系统,采用K-means聚类算法将用户划分为不同的群体,以了解用户兴趣偏好。例如,将用户划分为喜欢动作片、喜欢爱情片、喜欢科幻片等群体。
在一实施例中,根据所述用户行为偏好模型确定初始推荐算法,并对所述初始推荐算法进行优化,以获得目标推荐算法,包括:获取若干预设推荐算法;根据所述用户行为偏好模型从所述预设推荐算法中选取基于物品相似度的协同过滤算法;对所述基于物品相似度的协同过滤算法进行优化,以获得优化后的协同过滤算法;将所述优化后的协同过滤算法作为目标推荐算法。
具体地,推荐算法的选择和优化:根据用户行为偏好模型,选择合适的推荐算法,并对推荐算法进行优化得到目标推荐算法,以提高推荐的准确性和效率。示例性地,可以使用基于物品相似度的协同过滤算法,结合采集到的用户的历史行为数据,为用户推荐与其历史行为相似的物品。
可以理解的是,参考图3,在通过数据挖掘和分析技术了解用户兴趣偏好得到用户行为偏好模型后,需要选择合适的推荐算法,并对推荐算法进行优化。本实施例以推荐算法为基于物品相似度的协同过滤算法为例进行说明。采用基于物品相似度的协同过滤算法,并对基于物品相似度的协同过滤算法进行优化。具体的优化操作包括但不限于使用矩阵分解等技术。例如,在推荐算法选择和优化过程中,设置矩阵分解的优化目标函数,使用矩阵分解技术根据优化目标函数优化基于物品相似度的协同过滤算法。
在一示例中,推荐算法选择和优化:选择基于物品相似度的协同过滤算法,并使用矩阵分解等技术进行优化。例如,通过矩阵分解将电影矩阵分解为用户矩阵和电影矩阵,以便更好地计算用户对电影的偏好。
在一实施例中,根据所述目标推荐算法和所述历史行为数据获得推荐结果,并将所述推荐结果进行展示之后,还包括:接收用户基于所述推荐结果反馈的评分信息和评论信息;根据所述评分信息和评论信息更新优化所述目标推荐算法。
具体地,将推荐结果展示给用户,并收集用户反馈。推荐结果展示和反馈可以包括将推荐结果展示给用户,并根据用户的反馈和行为数据,不断优化推荐算法和模型。示例性地,可以在推荐结果页面中加入用户反馈按钮,让用户对推荐结果进行评价和反馈,以便更好地了解用户的需求和偏好。
示例性地,在推荐结果展示和反馈过程中,可以使用HTML、CSS、JavaScript等前端技术,实现推荐结果页面。可以使用AJAX等技术,实现用户反馈功能。
在一示例中,推荐结果展示和反馈:将推荐结果展示在电影推荐页面上,并收集用户反馈,例如用户的评分和评论。根据用户反馈,可以进一步优化推荐算法,提高推荐准确度和用户满意度。
需要说明的是,本实施例能够根据用户的历史行为和偏好,为用户提供个性化的推荐服务,提高用户满意度。本实施例的优点在于:通过机器学习算法对用户历史行为数据进行挖掘和分析,可以更好地了解用户兴趣偏好,提高推荐准确度和用户满意度。采用基于物品相似度的协同过滤算法作为推荐算法,并对推荐算法进行优化,进一步提高推荐准确度。
本实施例提出一种基于大数据分析的智能推荐装置,包括:采集模块10,用于基于预设数据源采集历史行为数据,并对所述历史行为数据进行预处理;挖掘模块20,用于根据预设数据挖掘算法对预处理后的所述历史行为数据进行分析和挖掘,以获得用户行为偏好模型;优化模块30,用于根据所述用户行为偏好模型确定初始推荐算法,并对所述初始推荐算法进行优化,以获得目标推荐算法;推荐模块40,用于根据所述目标推荐算法和所述历史行为数据获得推荐结果,并将所述推荐结果进行展示。本实施例中,对采集到的历史行为数据进行挖掘和分析,得到更能反映用户兴趣偏好的用户行为偏好模型,进而根据用户行为偏好模型去选择推荐算法并对推荐算法进行优化,得到更加准确的推荐结果,可以更好地了解用户兴趣偏好,从而提高推荐准确度和用户满意度。此外,对于新用户或新物品,优化后的目标推荐算法也可以有效推荐,解决了现有推荐系统容易出现过度推荐现象以及存在冷启动无法进行有效推荐的技术问题。
另外,未在本基于大数据分析的智能推荐装置实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的应用于如上文所述的基于大数据分析的智能推荐方法,此处不再赘述。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于大数据分析的智能推荐方法,其特征在于,所述基于大数据分析的智能推荐方法,包括:
基于预设数据源采集历史行为数据,并对所述历史行为数据进行预处理;
根据预设数据挖掘算法对预处理后的所述历史行为数据进行分析和挖掘,以获得用户行为偏好模型;
根据所述用户行为偏好模型确定初始推荐算法,并对所述初始推荐算法进行优化,以获得目标推荐算法;
根据所述目标推荐算法和所述历史行为数据获得推荐结果,并将所述推荐结果进行展示。
2.如权利要求1所述的基于大数据分析的智能推荐方法,其特征在于,所述基于预设数据源采集历史行为数据,并对所述历史行为数据进行预处理,包括:
基于预设数据源采集用户的历史浏览信息、历史购买信息以及历史评分信息;
根据所述历史浏览信息、历史购买信息以及历史评分信息生成历史行为数据;
基于预设编程语言对所述历史行为数据进行数据清洗和预处理。
3.如权利要求2所述的基于大数据分析的智能推荐方法,其特征在于,所述基于预设编程语言对所述历史行为数据进行数据清洗和预处理,包括:
基于Python编程语言对所述历史行为数据进行缺失项处理,以剔除所述历史行为数据中属性类别项目缺失和评价字符数小于预设字符数的数据项,获得清洗后的数据集;
对所述清洗后的数据集提取电子资讯的评论信息;
对所述评论信息进行分词操作和词性标注操作,以实现对所述历史行为数据进行预处理。
4.如权利要求1所述的基于大数据分析的智能推荐方法,其特征在于,所述根据预设数据挖掘算法对预处理后的所述历史行为数据进行分析和挖掘,以获得用户行为偏好模型,包括:
基于预设机器学习库获取若干预设数据挖掘算法;
从若干所述预设数据挖掘算法中确定预设K-means聚类算法;
根据所述预设K-means聚类算法对预处理后的所述历史行为数据进行分析和挖掘,以获得用户行为偏好模型。
5.如权利要求1所述的基于大数据分析的智能推荐方法,其特征在于,所述根据所述用户行为偏好模型确定初始推荐算法,并对所述初始推荐算法进行优化,以获得目标推荐算法,包括:
获取若干预设推荐算法;
根据所述用户行为偏好模型从所述预设推荐算法中选取基于物品相似度的协同过滤算法;
对所述基于物品相似度的协同过滤算法进行优化,以获得优化后的协同过滤算法;
将所述优化后的协同过滤算法作为目标推荐算法。
6.如权利要求5所述的基于大数据分析的智能推荐方法,其特征在于,所述对所述基于物品相似度的协同过滤算法进行优化,以获得优化后的协同过滤算法,包括:
确定矩阵分解的优化目标函数;
基于矩阵分解技术对所述基于物品相似度的协同过滤算法进行优化,以获得优化后的协同过滤算法。
7.如权利要求1至6中任一项所述的基于大数据分析的智能推荐方法,其特征在于,所述根据所述目标推荐算法和所述历史行为数据获得推荐结果,并将所述推荐结果进行展示之后,还包括:
接收用户基于所述推荐结果反馈的评分信息和评论信息;
根据所述评分信息和评论信息更新优化所述目标推荐算法。
8.一种基于大数据分析的智能推荐装置,其特征在于,包括:
采集模块,用于基于预设数据源采集历史行为数据,并对所述历史行为数据进行预处理;
挖掘模块,用于根据预设数据挖掘算法对预处理后的所述历史行为数据进行分析和挖掘,以获得用户行为偏好模型;
优化模块,用于根据所述用户行为偏好模型确定初始推荐算法,并对所述初始推荐算法进行优化,以获得目标推荐算法;
推荐模块,用于根据所述目标推荐算法和所述历史行为数据获得推荐结果,并将所述推荐结果进行展示。
9.一种基于大数据分析的智能推荐设备,其特征在于,所述基于大数据分析的智能推荐设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于大数据分析的智能推荐程序,所述基于大数据分析的智能推荐程序配置为实现如权利要求1至7中任一项所述的基于大数据分析的智能推荐方法。
10.一种存储介质,其特征在于,所述存储介质存储有基于大数据分析的智能推荐程序,所述基于大数据分析的智能推荐程序用于使处理器执行时实现如权利要求1至7中任一项所述的基于大数据分析的智能推荐方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311231711.5A CN117216396A (zh) | 2023-09-22 | 2023-09-22 | 基于大数据分析的智能推荐方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311231711.5A CN117216396A (zh) | 2023-09-22 | 2023-09-22 | 基于大数据分析的智能推荐方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117216396A true CN117216396A (zh) | 2023-12-12 |
Family
ID=89049239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311231711.5A Pending CN117216396A (zh) | 2023-09-22 | 2023-09-22 | 基于大数据分析的智能推荐方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117216396A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118071466A (zh) * | 2024-04-17 | 2024-05-24 | 深圳市致尚信息技术有限公司 | 一种基于用户特征的电商产品精准推送方法及系统 |
CN118132856A (zh) * | 2024-05-07 | 2024-06-04 | 南京梓恒数字科技有限公司 | 一种基于大数据的智能分析方法及系统 |
-
2023
- 2023-09-22 CN CN202311231711.5A patent/CN117216396A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118071466A (zh) * | 2024-04-17 | 2024-05-24 | 深圳市致尚信息技术有限公司 | 一种基于用户特征的电商产品精准推送方法及系统 |
CN118132856A (zh) * | 2024-05-07 | 2024-06-04 | 南京梓恒数字科技有限公司 | 一种基于大数据的智能分析方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109191240B (zh) | 一种进行商品推荐的方法和装置 | |
Lu et al. | Content-based collaborative filtering for news topic recommendation | |
CN107423355B (zh) | 信息推荐方法及装置、电子设备 | |
US8234311B2 (en) | Information processing device, importance calculation method, and program | |
US7941383B2 (en) | Maintaining state transition data for a plurality of users, modeling, detecting, and predicting user states and behavior | |
US10354308B2 (en) | Distinguishing accessories from products for ranking search results | |
CN1694105B (zh) | 用于使用链接和页面的布局分析来识别图像相关度的方法和系统 | |
US20190156395A1 (en) | System and Method for Analyzing and Searching for Features Associated with Objects | |
CN108885624B (zh) | 信息推荐系统及方法 | |
CN117216396A (zh) | 基于大数据分析的智能推荐方法、装置、设备及存储介质 | |
Kong et al. | Predicting search intent based on pre-search context | |
US11176586B2 (en) | Data analysis method and system thereof | |
WO2015034850A2 (en) | Feature selection for recommender systems | |
CN111914172B (zh) | 一种基于用户标签的医学信息推荐方法及系统 | |
CN104216881A (zh) | 一种个性化标签的推荐方法及装置 | |
CN109168047B (zh) | 视频推荐方法、装置、服务器及存储介质 | |
WO2017121272A1 (zh) | 用户行为数据的处理方法及装置 | |
Huang et al. | A novel recommendation model with Google similarity | |
CN110851729A (zh) | 资源信息推荐方法、装置、设备及计算机存储介质 | |
KR20070089898A (ko) | 사용자 피드백을 이용하여 검색된 컨텐츠를 평가하고 평가결과를 이용하여 검색 결과를 제공하는 방법 및 장치 | |
CN113077317A (zh) | 基于用户数据的物品推荐方法、装置、设备及存储介质 | |
CN113032668A (zh) | 基于用户画像的产品推荐方法、装置、设备及存储介质 | |
CN117370660A (zh) | 一种互联网网页显示管理方法、设备及计算机存储介质 | |
US11488223B1 (en) | Modification of user interface based on dynamically-ranked product attributes | |
Giannopoulos et al. | Algorithms and criteria for diversification of news article comments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |