CN111625713B - 基于大数据的资源推荐方法、装置、电子设备及介质 - Google Patents
基于大数据的资源推荐方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN111625713B CN111625713B CN202010360569.4A CN202010360569A CN111625713B CN 111625713 B CN111625713 B CN 111625713B CN 202010360569 A CN202010360569 A CN 202010360569A CN 111625713 B CN111625713 B CN 111625713B
- Authority
- CN
- China
- Prior art keywords
- resource
- data
- training
- model
- recommended
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 227
- 238000013145 classification model Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 30
- 238000000354 decomposition reaction Methods 0.000 description 26
- 239000013598 vector Substances 0.000 description 18
- 238000007726 management method Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000007405 data analysis Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理技术,揭露了一种基于大数据的资源推荐方法,包括:获取训练数据集以及多个基模型,对基模型进行训练,得到标准基模型;通过标准基模型对训练数据集包含的第二数据子集进行预测,得到至少两个预测结果集;将所述预测结果集通过分类模型进行分类,得到第一推荐资源集;向第一推荐资源集中添加资源数据的隐反馈信息,得到第二推荐资源集,通过所述第二推荐资源集训练预构建的推荐模型,得到资源推荐模型;将获目标资源数据和/或目标用户数据输入至资源推荐模型,生成资源推荐列表并进行资源推送。此外,本发明还涉及区块链技术,所述目标资源数据和/或目标用户数据可存储于区块链节点中。本发明可以解决资源推荐效率低,成本高的问题。
Description
技术领域
本发明涉及大数据的数据处理技术领域,尤其涉及一种基于大数据的资源推荐方法、装置、电子设备及计算机可读存储介质。
背景技术
随着大数据的兴起,人们对现有市场上各类产品的需求越来越广泛,资源的显示方式已经从用户主动获取并显示的方式,主动向用户推荐并显示资源。现有技术中,资源推荐方法有两类:第一类是计算资源的热度、平均值等特征,基于从众思想生成统一资源推荐列表,该方法忽略了用户兴趣,造成资源推荐的准确度不高;第二类是通过专家定义指定参数,改进第一类的资源推荐方式,具体的,当发现推荐资源存在偏差情况时,通过人工方式进行数据分析,依据分析结果更新推荐资源,这种方式提高了推荐的准确性,但是需要繁琐的人工操作,资源推荐的效率低下,因此,如何实现高精度,高效率的资源推荐成为一个亟待解决的问题。
发明内容
本发明提供一种基于大数据的资源推荐方法、装置、电子设备及计算机可读存储介质,其主要目的在于提供一种高精度,高效率的资源推荐方法。
为实现上述目的,本发明提供的一种基于大数据的资源推荐方法,包括:
获取训练数据集以及至少两个基模型;
从所述训练数据集中选取第一数据子集对所述至少两个基模型进行训练,得到至少两个标准基模型;
通过所述至少两个标准基模型对所述训练数据集包含的第二数据子集进行预测,得到至少两个标准基模型对应的至少两个预测结果集;
将所述至少两个预测结果集通过分类模型进行分类,得到第一推荐资源集,所述第一推荐资源集包含资源数据与所述资源数据的资源评分;
向所述第一推荐资源集中添加所述资源数据的隐反馈信息,得到第二推荐资源集,通过所述第二推荐资源集对预构建的推荐模型进行训练,得到资源推荐模型;
将获取到的目标资源数据和/或目标用户数据输入至所述资源推荐模型,生成资源推荐列表,根据所述资源推荐列表进行资源推送。
可选地,所述通过所述第二推荐资源集对预构建的推荐模型进行训练,包括:
通过所述第二推荐资源集包含的隐反馈信息,调整所述第一推荐资源集中所述资源数据的资源评分,得到第三推荐资源集;
根据所述第三推荐资源集调整所述预构建的推荐模型的系数;
通过所述第三推荐资源集对预构建的推荐模型进行训练。
可选地,所述推荐模型为:
其中,D为所述推荐模型,θj为所述标准基模型,wi为资源数据i的评分,vi为资源数据i的隐反馈信息,degree为预设权重值,n为所述第二数据子集中资源数据的个数,m为所述标准基模型的个数。
可选地,所述基模型包括矩阵分解模型、基线估计模型、距离分解模型、文本处理模型、聚类模型之中任意一项。
可选地,所述根据所述资源推荐列表进行资源推送包括:
基于websocket协议建立的长连接向客户端推送所述源推荐列表包含的资源。
为了解决上述问题,本发明还提供一种资源推荐装置,所述装置包括:
获取模块,用于获取训练数据集以及至少两个基模型;
基模型训练模块,用于从所述训练数据集中选取第一数据子集对所述至少两个基模型进行训练,得到至少两个标准基模型;
预测模块,用于通过所述至少两个标准基模型对所述所述训练数据集包含的第二数据子集进行预测,得到至少两个标准基模型对应的至少两个预测结果集;
分类模块,用于将所述至少两个预测结果集通过分类模型进行分类,得到第一推荐资源集,所述第一推荐资源集包含资源数据与所述资源数据的资源评分;
隐反馈模块,用于向所述第一推荐资源集中添加所述资源数据的隐反馈信息,得到第二推荐资源集,通过所述第二推荐资源集对预构建的推荐模型进行训练,得到资源推荐模型;
资源推送模块,用于将获取到的目标资源数据和/或目标用户数据输入至所述资源推荐模型,生成资源推荐列表,根据所述资源推荐列表进行资源推送。
可选地,所述基模型训练模块具体用于:
通过所述第二推荐资源集包含的隐反馈信息,调整所述第一推荐资源集中所述资源数据的资源评分,得到第三推荐资源集;
根据所述第三推荐资源集调整所述预构建的推荐模型的系数;
通过所述第三推荐资源集对系数调整后的推荐模型进行训练,得到至少两个标准基模型。
可选地,所述基模型包括矩阵分解模型、基线估计模型、距离分解模型、文本处理模型、聚类模型之中任意一项。
为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述存储器中存储的指令以实现上述基于大数据的资源推荐方法。
为了解决上述问题,本发明还提供一种计算机可读存储介质,包括存储数据区和存储程序区,存储数据区存储根据区块链节点的使用所创建的数据,存储程序区存储有计算机程序;其中,所述计算机程序被处理器执行时实现上述基于大数据的资源推荐方法。
本发明实施例获取训练数据集以及至少两个基模型;从所述训练数据集中选取第一数据子集对所述至少两个基模型进行训练,得到至少两个标准基模型;通过所述至少两个标准基模型对所述所述训练数据集包含的第二数据子集进行预测,得到至少两个标准基模型对应的至少两个预测结果集;将所述至少两个预测结果集通过分类模型进行分类,得到第一推荐资源集;通过训练多个不同的基模型进行资源数据预测,并综合多个基模型的预测结果进行分类得到第一推荐资源及,使得到的第一推荐资源集更加准确,同时,利用分类模型对所述预测结果集进行分类,可以减少后续计算资源的占用,便于后续实现快速的资源推荐;向所述第一推荐资源集中添加所述资源数据的隐反馈信息,得到第二推荐资源集,通过所述第二推荐资源集对预构建的推荐模型进行训练,得到资源推荐模型,通过隐反馈信息调整所述第一推荐资源集的数据,并对对预构建的推荐模型进行训练,通过在训练推荐模型时在增加隐反馈信息,从资源数据的多个维度进行模型训练,从而能够获得更加精准的资源推荐模型,达到对资源精准推荐的效果。同时,本实施例中无需在每次运行过程中进行人工数据分析,提高了资源推荐的效率。因此本发明提出的基于大数据的资源推荐方法、装置及计算机可读存储介质,可以实现将高效、精准地推荐资源的目的。
附图说明
图1为本发明一实施例提供的基于大数据的资源推荐方法的流程示意图;
图2为本发明一实施例提供的基于大数据的资源推荐装置的模块示意图;
图3为本发明一实施例提供的实现基于大数据的资源推荐方法的电子设备的内部结构示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本申请实施例提供的基于大数据的资源推荐方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述实例动态调整方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求完成共识后记录到存储上,对于一个新的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。
本发明提供一种基于大数据的资源推荐方法。参照图1所示,为本发明一实施例提供的基于大数据的资源推荐方法的流程示意图。该方法可以由一个装置执行,该装置可以由软件和/或硬件实现。
在本实施例中,基于大数据的资源推荐方法包括:
S1、获取训练数据集以及至少两个基模型。
本发明实施例中,所述训练资源数据集为现有的影视资源,如电影,短视频等;所述用训练用户数据为看过或没有看过所述训练影视资源的用户的个人信息,如用户年龄,性别,是否看过所述训练影视资源,对看过的所述训练影视资源的评分等。
优选地,采用现有的数据库调用语句从预先构建的数据库中调用获得所述训练资源数据和训练用户数据。其中,所述预先构建的数据库可以为mysql数据库,Qracle数据库等。
S2、从所述训练数据集中选取第一数据子集对所述至少两个基模型进行训练,得到至少两个标准基模型。
本实施例中,所述基模型可以为用于数据分布的任意模型。
较佳地,所述基模型包括但不限于矩阵分解模型、基线估计模型、距离分解模型、文本处理模型、聚类模型之中任意一项。
例如,至少两个基模型分别为矩阵分解模型、基线估计模型、距离分解模型。
所述第一数据子集包含训练资源数据中的部分资源数据以及训练用户中的部分用户数据。具体实施时,将训练数据集中的训练资源数据和训练用户数据分别分为若干组,分别选取其中的几组为第一数据子集。
进一步地,任一基模型的训练过程包括:
步骤A:获取训练资源数据和训练用户数据,以及所述训练资源数据和训练用户数据对应的标准训练结果;
步骤B:利用基模型对所述训练资源数据和训练用户数据进行转化,得到转化训练结果;
步骤C:将所述转化训练结果和所述标准训练结果输入至所述基模型的损失函数中进行计算,得到损失值,当所述损失值大于或等于预设的损失阈值时,调整所述基模型参数,返回步骤B重新进行转化;
步骤D:当所述损失值小于预设的损失阈值时,得到标准基模型。
详细地,所述基模型的损失函数如下:
其中,表示转化训练结果,Y表示标准训练结果,α表示误差因子,为预设常数。
当基模型训练完成后,训练之后的基模型即为标准基模型。
S3、通过所述至少两个标准基模型对所述所述训练数据集包含的第二数据子集进行预测,得到至少两个标准基模型对应的至少两个预测结果集。
本实施例中,第二数据子集为包含训练资源数据中的部分资源数据以及训练用户中的部分用户数据,且第二数据子集与第一数据子集为不同的数据。具体实施时,将训练数据集中的训练资源数据和训练用户数据分别分为若干组,分别选取其中的几组为第二数据子集。
本发明实施例以至少两个基模型分别为矩阵分解模型、距离分解模型和基线估计模型为例,说明如何从所述训练数据集中选取第一数据子集对所述基模型进行训练。
详细地,通过矩阵分解模型将获取到的所述第一数据子集进行转化,得到叫交互矩阵(如表1所示)。
Item1 | Item2 | … | Item1 | |
User1 | Rating11 | Rating12 | … | Rating1n |
User2 | Rating21 | Rating22 | … | Rating2n |
… | … | … | … | … |
Userm | Ratingm1 | Ratingm2 | … | Ratingmn |
表1
其中,Itemn表示第n个第一数据子集中的训练资源数据;Userm表示第m个第一训练子集中的训练用户数据;Ratingmn表示第m个训练用户数据对第n个训练资源数据的资源评分,可记为rmn。
在矩阵分解模型中采用如下评分算法对所述训练资源数据进行评分,得到真实评分值rui:
rui=pu×qi
其中,qi为所述第一训练子集中的训练资源数据i,pu为第一训练子集中的用户数据u。
进一步地,由于所述第一数据子集中资源数量可能与用户数量并不一致,因此存在着一些资源没有评分的情况,因此,进一步采用距离分解模型,来对所述第一数据子集中没有评分的训练资源数据进行分析评分。
在距离分解模型中,利用如下距离算法计算第一数据子集中训练资源数据和第一数据子集中训练用户数据来进行分析评分,得到评分分析值rui*:
rui*=1/dui
其中,dui为第一数据子集中训练资源数据和第一数据子集中训练用户数据之间的距离值,k为所述第一数据子集中没有评分的训练资源数据的数目,ik为所述第一数据子集中没有评分的资源数据,uk为所述评分的资源数据对应的用户数据。
较佳地,将距离分解模型得到的评分分析值回传至所述第一推荐资源列表中,即可得到一张包含所有资源评分的第一推荐资源列表。
由于获取到的所述训练资源数据和训练用户数据可能存在数据标准不一致等情况,这将导致所述第一数据子集中的资源评分出现不具有可比性的情况,因此,本发明实施例进一步利用基线估计模型对通过矩阵分解模型和距离分解模型得到的第一推荐资源列表中的评分进行标准化。
详细地,在基线估计模型中,利用如下标准化算法对所述第一数据子集中的数据进行标准化,得到标准评分
bui=u+bi
其中,rmax表示第一推荐资源列表中资源评分的最大值,pi为第一推荐资源列表中所有训练资源数据的平均评分,bui为资源评分误差值,μ为预设系统参数,bi为第一推荐资源列表中训练资源数据i的评分。
S4、将所述至少两个预测结果集通过分类模型进行分类,得到第一推荐资源集,所述第一推荐资源集包含资源数据与所述资源数据的资源评分。
本实施例中,至少两个预测结果集包含的为训练数据集中的训练资源数据和该训练资源数据的资源评分。
具体的,至少两个预测结果集为:
{(xi,yi)|xi∈Rn,yi∈R}
其中,xi为训练数据集中的训练资源数据,是n维空间的向量,这些向量描述了训练资源数据的特征,被称为特征向量,yi为训练资源数据的资源评分。
优选地,本发明实施例利用SVM分类器来对所述至少两个预测结果集进行分类处理。
具体的,获取预构建的超平面,该超平面为:
其中,符号<>是向量的内积运算符,是所述至少两个预测结果集中的训练资源数据,b是已知的实数,x为预设的向量参数。
较佳地,对于所述超平面,本发明实施例构建如下约束函数对其进行限制:
其中,符号<>是向量的内积运算符,是所述至少两个预测结果集中的训练资源数据,b是已知的实数,x为预设的向量参数,k为所述至少两个预测结果集中的训练资源数据的个数,yi为训练资源数据的资源评分。
优选地,为了对所述至少两个预测结果集进行分类,获取预构建的原始目标函数,该原始目标函数为:
其中,是所述至少两个预测结果集中的训练资源数据,b是已知的实数。
较佳地,本发明实施例获取标准目标函数,通过标准目标函数进行分类。该标准目标函数根据所述约束函数和所述初始目标函数,使用拉格朗日数乘法构建,具体的,该标准目标函数为:
其中,符号<>是向量的内积运算符,是所述至少两个预测结果集中的训练资源数据,b是已知的实数,x为预设的向量参数,k为所述至少两个预测结果集中的训练资源数据的个数,yi为训练资源数据的资源评分。
本实施例中,根据上述标准目标函数分类完成后,得到第一推荐资源集,第一推荐资源集包含资源数据与资源数据的资源评分,其中,资源数据为训练资源数据之中的数据。
S5、向所述第一推荐资源集中添加所述资源数据的隐反馈信息,得到第二推荐资源集,通过所述第二推荐资源集对预构建的推荐模型进行训练,得到资源推荐模型。
进一步地,为了使所述第一推荐资源集中的资源评分更加精确,以实现后续精准的对用户进行资源推荐,本发明实施例获取所述第一推荐资源集中的资源数据的隐反馈信息,利用所述隐反馈信息对所述资源评分进行调整。
所述隐式反馈指的是用户行为中并未明确表达喜好的部分。例如在电影领域中,用户对电影的评分即为显式反馈,电影的票房即为隐反馈,表示用户看过这部电影,尽管看过并不代表用户最终会喜欢这部电影,但购票或者观看本身这一行为仍然可以表示用户的某种态度。
例如,表2中为显式反馈评分矩阵和隐反馈矩阵,其中,Ii表示资源i,Uj表示用户j,“?”表示对应的用户和资源间并没有关系,表中数字为用户j对资源i的评分。
表2
较佳地,将所述显示反馈的评分矩阵和所述隐式反馈的评分矩阵中与资源i有关系的用户评分集合用Ni表示,将资源i的向量表示重新修正为
其中,yu为所述第一推荐资源集,yi为所述第一推荐资源集中的资源评分。
详细地,本实施例中,所述推荐模型为:
其中,D为所述推荐模型,θj为所述标准基模型,wi为资源数据i的评分,vi为资源数据i的隐反馈信息,degree为预设权重值,n为所述第二数据子集中资源数据的个数,m为所述标准基模型的个数。
进一步地,所述通过所述第二推荐资源集对预构建的推荐模型进行训练,包括:
通过所述第二推荐资源集包含的隐反馈信息,调整所述第一推荐资源集中所述资源数据的资源评分,得到第三推荐资源集;
根据所述第三推荐资源集调整所述预构建的推荐模型的系数;
通过所述第三推荐资源集对系预构建的推荐模型进行训练。
在本实施例中,可以根据隐反馈信息按照反馈行为重排序资源数据的资源评分,根据第三推荐资源集反向调整基模型的系数,进而调整预构建的推荐模型的系数,提高推荐模型分析数据的准确性。
具体的,可以通过高维空间聚类算法调整预构建的推荐模型的系数。
S6、将获取到的目标资源数据和/或目标用户数据输入至所述资源推荐模型,生成资源推荐列表,根据所述资源推荐列表进行资源推送。
本发明实施例中,得到所述资源推荐模型后,可以直接从网络上获取目标资源数据和/或目标用户数据,该目标用户数据可以是已注册在某应用软件的用户数据,或者登陆过但并未注册过的用户数据,目标资源数据可以是新添加的资源数据或者是历史资源数据。
本实施例中,在获取到的目标资源数据输入至资源推荐模型之后所生成资源推荐列表中,可以包括:目标资源数据以及目标资源数据相对用户数据库中不同用户数据的资源评分。
本实施例中,在获取到的目标用户数据输入至资源推荐模型之后所生成资源推荐列表中,可以包括:资源数据库中资源数据,以及以及目标用户数据相对资源数据库中不同资源数据的资源评分。
本实施例中,在获取到的目标用户数据和目标资源数据输入至资源推荐模型之后所生成资源推荐列表中,可以包括:目标资源数据,以及以及目标用户数据相对目标资源数据的资源评分。
所述根据所述资源推荐列表进行资源推送包括:
向用户数据库中不同用户推荐资源推荐列表中的目标资源数据;或者
向目标用户推荐所述资源推荐列表中的资源数据;或者
向目标用户推荐所述资源推荐列表中的目标资源数据。
进一步的,在本发明一可选实施例中,所述根据所述资源推荐列表进行资源推送包括:
基于websocket协议建立的长连接向客户端推送所述源推荐列表包含的资源数据。
本实施例中,WebSocket实现了多路复用,是全双工通信。基于websocket协议建立长连接之后服务器不必在客户端发送request请求之后才能发送信息到客户端。
本实施例通过基于websocket协议建立的长连接向客户端推送资源数据可以及时、准确的进行资源数据的推送。
本发明实施例获取训练数据集以及至少两个基模型;从所述训练数据集中选取第一数据子集对所述至少两个基模型进行训练,得到至少两个标准基模型;通过所述至少两个标准基模型对所述所述训练数据集包含的第二数据子集进行预测,得到至少两个标准基模型对应的至少两个预测结果集;将所述至少两个预测结果集通过分类模型进行分类,得到第一推荐资源集;通过训练多个不同的基模型进行资源数据预测,并综合多个基模型的预测结果进行分类得到第一推荐资源及,使得到的第一推荐资源集更加准确,同时,利用分类模型对所述预测结果集进行分类,可以减少后续计算资源的占用,便于后续实现快速的资源推荐;向所述第一推荐资源集中添加所述资源数据的隐反馈信息,得到第二推荐资源集,通过所述第二推荐资源集对预构建的推荐模型进行训练,得到资源推荐模型,通过隐反馈信息调整所述第一推荐资源集的数据,并对对预构建的推荐模型进行训练,通过在训练推荐模型时在增加隐反馈信息,从资源数据的多个维度进行模型训练,从而能够获得更加精准的资源推荐模型,达到对资源精准推荐的效果。同时,本实施例中无需在每次运行过程中进行人工数据分析,提高了资源推荐的效率。因此本发明提出的基于大数据的资源推荐方法、装置及计算机可读存储介质,可以实现将高效、精准地推荐资源的目的。
如图2所示,是本发明基于大数据的资源推荐装置的功能模块图。
本发明所述基于大数据的资源推荐装置100可以安装于电子设备中。根据实现的功能,所述基于大数据的资源推荐装置可以包括获取模块101、基模型训练模块102、预测模块103、分类模块104、隐反馈模块105和资源推送模块106。本发所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
所述获取模块101,用于获取训练数据集以及至少两个基模型;
所述基模型训练模块102,用于从所述训练数据集中选取第一数据子集对所述至少两个基模型进行训练,得到至少两个标准基模型;
所述预测模块103,用于通过所述至少两个标准基模型对所述所述训练数据集包含的第二数据子集进行预测,得到至少两个标准基模型对应的至少两个预测结果集;
所述分类模块104,用于将所述至少两个预测结果集通过分类模型进行分类,得到第一推荐资源集,所述第一推荐资源集包含资源数据与所述资源数据的资源评;
所述隐反馈模块105,用于向所述第一推荐资源集中添加所述资源数据的隐反馈信息,得到第二推荐资源集,通过所述第二推荐资源集对预构建的推荐模型进行训练,得到资源推荐模型;
所述资源推送模块106,用于将获取到的目标资源数据和/或目标用户数据输入至所述资源推荐模型,生成资源推荐列表,根据所述资源推荐列表进行资源推送。
详细地,所述基于大数据的资源推荐装置各模块的具体实施步骤如下:
所述获取模块101获取训练数据集以及至少两个基模型。
本发明实施例中,所述训练资源数据集为现有的影视资源,如电影,短视频等;所述用训练用户数据为看过或没有看过所述训练影视资源的用户的个人信息,如用户年龄,性别,是否看过所述训练影视资源,对看过的所述训练影视资源的评分等。
优选地,采用现有的数据库调用语句从预先构建的数据库中调用获得所述训练资源数据和训练用户数据。其中,所述预先构建的数据库可以为mysql数据库,Qracle数据库等。
所述基模型训练模块102从所述训练数据集中选取第一数据子集对所述至少两个基模型进行训练,得到至少两个标准基模型。
本实施例中,所述基模型可以为用于数据分布的任意模型。
较佳地,所述基模型包括但不限于矩阵分解模型、基线估计模型、距离分解模型、文本处理模型、聚类模型之中任意一项。
例如,至少两个基模型分别为矩阵分解模型、基线估计模型、距离分解模型。
所述第一数据子集包含训练资源数据中的部分资源数据以及训练用户中的部分用户数据。具体实施时,将训练数据集中的训练资源数据和训练用户数据分别分为若干组,分别选取其中的几组为第一数据子集。
进一步地,任一基模型的训练过程包括:
步骤A:获取训练资源数据和训练用户数据,以及所述训练资源数据和训练用户数据对应的标准训练结果;
步骤B:利用基模型对所述训练资源数据和训练用户数据进行转化,得到转化训练结果;
步骤C:将所述转化训练结果和所述标准训练结果输入至所述基模型的损失函数中进行计算,得到损失值,当所述损失值大于或等于预设的损失阈值时,调整所述基模型参数,返回步骤B重新进行转化;
步骤D:当所述损失值小于预设的损失阈值时,得到标准基模型。
详细地,所述基模型的损失函数如下:
其中,表示转化训练结果,Y表示标准训练结果,α表示误差因子,为预设常数。
当基模型训练完成后,训练之后的基模型即为标准基模型。
所述预测模块103通过所述至少两个标准基模型对所述所述训练数据集包含的第二数据子集进行预测,得到至少两个标准基模型对应的至少两个预测结果集。
本实施例中,第二数据子集为包含训练资源数据中的部分资源数据以及训练用户中的部分用户数据,且第二数据子集与第一数据子集为不同的数据。具体实施时,将训练数据集中的训练资源数据和训练用户数据分别分为若干组,分别选取其中的几组为第二数据子集。
本发明实施例以至少两个基模型分别为矩阵分解模型、距离分解模型和基线估计模型为例,说明如何从所述训练数据集中选取第一数据子集对所述基模型进行训练。
详细地,通过矩阵分解模型将获取到的所述第一数据子集进行转化,得到叫交互矩阵(如表1所示)。
表1
其中,Itemn表示第n个第一数据子集中的训练资源数据;Userm表示第m个第一训练子集中的训练用户数据;Ratingmn表示第m个训练用户数据对第n个训练资源数据的资源评分,可记为rmn。
在矩阵分解模型中采用如下评分算法对所述训练资源数据进行评分,得到真实评分值rui:
rui=pu×qi
其中,qi为所述第一训练子集中的训练资源数据i,pu为第一训练子集中的用户数据u。
进一步地,由于所述第一数据子集中资源数量可能与用户数量并不一致,因此存在着一些资源没有评分的情况,因此,进一步采用距离分解模型,来对所述第一数据子集中没有评分的训练资源数据进行分析评分。
在距离分解模型中,利用如下距离算法计算第一数据子集中训练资源数据和第一数据子集中训练用户数据来进行分析评分,得到评分分析值rui*:
rui*=1/dui
其中,dui为第一数据子集中训练资源数据和第一数据子集中训练用户数据之间的距离值,k为所述第一数据子集中没有评分的训练资源数据的数目,ik为所述第一数据子集中没有评分的资源数据,uk为所述评分的资源数据对应的用户数据。
较佳地,将距离分解模型得到的评分分析值回传至所述第一推荐资源列表中,即可得到一张包含所有资源评分的第一推荐资源列表。
由于获取到的所述训练资源数据和训练用户数据可能存在数据标准不一致等情况,这将导致所述第一数据子集中的资源评分出现不具有可比性的情况,因此,本发明实施例进一步利用基线估计模型对通过矩阵分解模型和距离分解模型得到的第一推荐资源列表中的评分进行标准化。
详细地,在基线估计模型中,利用如下标准化算法对所述第一数据子集中的数据进行标准化,得到标准评分
bui=u+bi
其中,rmax表示第一推荐资源列表中资源评分的最大值,pi为第一推荐资源列表中所有训练资源数据的平均评分,bui为资源评分误差值,μ为预设系统参数,bi为第一推荐资源列表中训练资源数据i的评分。
所述分类模块104将所述至少两个预测结果集通过分类模型进行分类,得到第一推荐资源集,所述第一推荐资源集包含资源数据与所述资源数据的资源评分。
本实施例中,至少两个预测结果集包含的为训练数据集中的训练资源数据和该训练资源数据的资源评分。
具体的,至少两个预测结果集为:
{(xi,yi)|xi∈Rn,yi∈R}
其中,xi为训练数据集中的训练资源数据,是n维空间的向量,这些向量描述了训练资源数据的特征,被称为特征向量,yi为训练资源数据的资源评分。
优选地,本发明实施例利用SVM分类器来对所述至少两个预测结果集进行分类处理。
具体的,获取预构建的超平面,该超平面为:
其中,符号<>是向量的内积运算符,是所述至少两个预测结果集中的训练资源数据,b是已知的实数,x为预设的向量参数。
较佳地,对于所述超平面,本发明实施例构建如下约束函数对其进行限制:
其中,符号<>是向量的内积运算符,是所述至少两个预测结果集中的训练资源数据,b是已知的实数,x为预设的向量参数,k为所述至少两个预测结果集中的训练资源数据的个数,yi为训练资源数据的资源评分。
优选地,为了对所述至少两个预测结果集进行分类,获取预构建的原始目标函数,该原始目标函数为:
其中,是所述至少两个预测结果集中的训练资源数据,b是已知的实数。
较佳地,本发明实施例获取标准目标函数,通过标准目标函数进行分类。该标准目标函数根据所述约束函数和所述初始目标函数,使用拉格朗日数乘法构建,具体的,该标准目标函数为:
其中,符号<>是向量的内积运算符,是所述至少两个预测结果集中的训练资源数据,b是已知的实数,x为预设的向量参数,k为所述至少两个预测结果集中的训练资源数据的个数,yi为训练资源数据的资源评分。
本实施例中,根据上述标准目标函数分类完成后,得到第一推荐资源集,第一推荐资源集包含资源数据与资源数据的资源评分,其中,资源数据为训练资源数据之中的数据。
所述隐反馈模块105向所述第一推荐资源集中添加所述资源数据的隐反馈信息,得到第二推荐资源集,通过所述第二推荐资源集对预构建的推荐模型进行训练,得到资源推荐模型。
进一步地,为了使所述第一推荐资源集中的资源评分更加精确,以实现后续精准的对用户进行资源推荐,本发明实施例获取所述第一推荐资源集中的资源数据的隐反馈信息,利用所述隐反馈信息对所述资源评分进行调整。
所述隐式反馈指的是用户行为中并未明确表达喜好的部分。例如在电影领域中,用户对电影的评分即为显式反馈,电影的票房即为隐反馈,表示用户看过这部电影,尽管看过并不代表用户最终会喜欢这部电影,但购票或者观看本身这一行为仍然可以表示用户的某种态度。
例如,表2中为显式反馈评分矩阵和隐反馈矩阵,其中,Ii表示资源i,Uj表示用户j,“?”表示对应的用户和资源间并没有关系,表中数字为用户j对资源i的评分。
表2
较佳地,将所述显示反馈的评分矩阵和所述隐式反馈的评分矩阵中与资源i有关系的用户评分集合用Ni表示,将资源i的向量表示重新修正为
其中,yu为所述第一推荐资源集,yi为所述第一推荐资源集中的资源评分。
详细地,本实施例中,所述推荐模型为:
其中,D为所述推荐模型,θj为所述标准基模型,wi为资源数据i的评分,vi为资源数据i的隐反馈信息,degree为预设权重值,n为所述第二数据子集中资源数据的个数,m为所述标准基模型的个数。
进一步地,所述通过所述第二推荐资源集对预构建的推荐模型进行训练,包括:
通过所述第二推荐资源集包含的隐反馈信息,调整所述第一推荐资源集中所述资源数据的资源评分,得到第三推荐资源集;
根据所述第三推荐资源集调整所述预构建的推荐模型的系数;
通过所述第三推荐资源集对系预构建的推荐模型进行训练。
在本实施例中,可以根据隐反馈信息按照反馈行为重排序资源数据的资源评分,根据第三推荐资源集反向调整基模型的系数,进而调整预构建的推荐模型的系数,提高推荐模型分析数据的准确性。
具体的,可以通过高维空间聚类算法调整预构建的推荐模型的系数。
所述资源推送模块106将获取到的目标资源数据和/或目标用户数据输入至所述资源推荐模型,生成资源推荐列表,根据所述资源推荐列表进行资源推送。
本发明实施例中,得到所述资源推荐模型后,可以直接从网络上获取目标资源数据和/或目标用户数据,该目标用户数据可以是已注册在某应用软件的用户数据,或者登陆过但并未注册过的用户数据,目标资源数据可以是新添加的资源数据或者是历史资源数据。
本实施例中,在获取到的目标资源数据输入至资源推荐模型之后所生成资源推荐列表中,可以包括:目标资源数据以及目标资源数据相对用户数据库中不同用户数据的资源评分。
本实施例中,在获取到的目标用户数据输入至资源推荐模型之后所生成资源推荐列表中,可以包括:资源数据库中资源数据,以及以及目标用户数据相对资源数据库中不同资源数据的资源评分。
本实施例中,在获取到的目标用户数据和目标资源数据输入至资源推荐模型之后所生成资源推荐列表中,可以包括:目标资源数据,以及以及目标用户数据相对目标资源数据的资源评分。
所述根据所述资源推荐列表进行资源推送包括:
向用户数据库中不同用户推荐资源推荐列表中的目标资源数据;或者
向目标用户推荐所述资源推荐列表中的资源数据;或者
向目标用户推荐所述资源推荐列表中的目标资源数据。
进一步的,在本发明一可选实施例中,所述根据所述资源推荐列表进行资源推送包括:
基于websocket协议建立的长连接向客户端推送所述源推荐列表包含的资源数据。
本实施例中,WebSocket实现了多路复用,是全双工通信。基于websocket协议建立长连接之后服务器不必在客户端发送request请求之后才能发送信息到客户端。
本实施例通过基于websocket协议建立的长连接向客户端推送资源数据可以及时、准确的进行资源数据的推送。
如图3所示,是本发明实现基于大数据的资源推荐方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11和总线,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如基于大数据的资源推荐程序12。
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如基于大数据的资源推荐程序12的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如执行基于大数据的资源推荐程序等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
本发明实施例获取训练数据集以及至少两个基模型,所述训练数据集包括训练资源数据和训练用户数据;从所述训练数据集中选取第一数据子集对所述至少两个基模型进行训练,得到至少两个标准基模型;通过所述至少两个标准基模型对所述所述训练数据集包含的第二数据子集进行预测,得到至少两个标准基模型对应的至少两个预测结果集;将所述至少两个预测结果集通过分类模型进行分类,得到第一推荐资源集;通过训练多个不同的基模型进行资源数据预测,并综合多个基模型的预测结果进行分类得到第一推荐资源及,使得到的第一推荐资源集更加准确,同时,利用分类模型对所述预测结果集进行分类,可以减少后续计算资源的占用,便于后续实现快速的资源推荐;向所述第一推荐资源集中添加所述资源数据的隐反馈信息,得到第二推荐资源集,通过所述第二推荐资源集对预构建的推荐模型进行训练,得到资源推荐模型,通过隐反馈信息调整所述第一推荐资源集的数据,并对对预构建的推荐模型进行训练,通过在训练推荐模型时在增加隐反馈信息,从资源数据的多个维度进行模型训练,从而能够获得更加精准的资源推荐模型,达到对资源精准推荐的效果。同时,本实施例中无需在每次运行过程中进行人工数据分析,提高了资源推荐的效率。因此本发明提出的基于大数据的资源推荐方法、装置及计算机可读存储介质,可以实现将高效、精准地推荐资源的目的。
图3仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图3示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
进一步地,所述电子设备1还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的基于大数据的资源推荐程序12是多个指令的组合,在所述处理器10中运行时,可以实现:
获取训练数据集以及至少两个基模型,所述训练数据集包括训练资源数据和训练用户数据;
从所述训练数据集中选取第一数据子集对所述至少两个基模型进行训练,得到至少两个标准基模型;
通过所述至少两个标准基模型对所述训练数据集包含的第二数据子集进行预测,得到至少两个标准基模型对应的至少两个预测结果集;
将所述至少两个预测结果集通过分类模型进行分类,得到第一推荐资源集,所述第一推荐资源集包含资源数据与所述资源数据的资源评分;
向所述第一推荐资源集中添加所述资源数据的隐反馈信息,得到第二推荐资源集,通过所述第二推荐资源集对预构建的推荐模型进行训练,得到资源推荐模型;
将获取到的目标资源数据和/或目标用户数据输入至所述资源推荐模型,生成资源推荐列表,根据所述资源推荐列表进行资源推送。
进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
进一步地,所述计算机可用存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图表记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种基于大数据的资源推荐方法,其特征在于,所述方法应用于电子设备中,包括:
获取训练数据集以及至少两个基模型,所述基模型为用于数据分布的模型,所述训练数据集包含训练资源数据和训练用户数据;
从所述训练数据集中选取第一数据子集对所述至少两个基模型进行训练,得到至少两个标准基模型,其中,所述第一数据子集包含训练资源数据中的部分资源数据以及训练用户数据中的部分用户数据;
通过所述至少两个标准基模型对所述训练数据集包含的第二数据子集进行预测,得到至少两个标准基模型对应的至少两个预测结果集,其中,所述第二数据子集包含训练资源数据中的部分资源数据以及训练用户数据中的部分用户数据,且所述第二数据子集与所述第一数据子集为不同的数据;
将所述至少两个预测结果集通过分类模型进行分类,得到第一推荐资源集,所述第一推荐资源集包含资源数据与所述资源数据的资源评分;
向所述第一推荐资源集中添加所述资源数据的隐反馈信息,得到第二推荐资源集,通过所述第二推荐资源集对预构建的推荐模型进行训练,得到资源推荐模型;
将获取到的目标资源数据和/或目标用户数据输入至所述资源推荐模型,生成资源推荐列表,根据所述资源推荐列表进行资源推送。
2.如权利要求1所述的基于大数据的资源推荐方法,其特征在于,所述通过所述第二推荐资源集对预构建的推荐模型进行训练,包括:
通过所述第二推荐资源集包含的隐反馈信息,调整所述第一推荐资源集中所述资源数据的资源评分,得到第三推荐资源集;
根据所述第三推荐资源集调整所述预构建的推荐模型的系数;
通过所述第三推荐资源集对预构建的推荐模型进行训练。
3.如权利要求1所述的基于大数据的资源推荐方法,其特征在于,所述推荐模型为:
其中,D为所述推荐模型,θj为所述标准基模型,wi为资源数据i的评分,vi为资源数据i的隐反馈信息,degree为预设权重值,n为所述第二数据子集中资源数据的个数,m为所述标准基模型的个数。
4.如权利要求1所述的基于大数据的资源推荐方法,其特征在于,所述基模型包括矩阵分解模型、基线估计模型、距离分解模型、文本处理模型、聚类模型之中任意一项。
5.如权利要求1所述的基于大数据的资源推荐方法,其特征在于,所述根据所述资源推荐列表进行资源推送包括:
基于websocket协议建立的长连接向客户端推送所述资源推荐列表包含的资源。
6.一种基于大数据的资源推荐装置,其特征在于,所述装置包括:
获取模块,用于获取训练数据集以及至少两个基模型,所述基模型为用于数据分布的模型,所述训练数据集包含训练资源数据和训练用户数据;
基模型训练模块,用于从所述训练数据集中选取第一数据子集对所述至少两个基模型进行训练,得到至少两个标准基模型,其中,所述第一数据子集包含训练资源数据中的部分资源数据以及训练用户数据中的部分用户数据;
预测模块,用于通过所述至少两个标准基模型对所述训练数据集包含的第二数据子集进行预测,得到至少两个标准基模型对应的至少两个预测结果集,其中,所述第二数据子集包含训练资源数据中的部分资源数据以及训练用户数据中的部分用户数据,且所述第二数据子集与所述第一数据子集为不同的数据;
分类模块,用于将所述至少两个预测结果集通过分类模型进行分类,得到第一推荐资源集,所述第一推荐资源集包含资源数据与所述资源数据的资源评分;
隐反馈模块,用于向所述第一推荐资源集中添加所述资源数据的隐反馈信息,得到第二推荐资源集,通过所述第二推荐资源集对预构建的推荐模型进行训练,得到资源推荐模型;
资源推送模块,用于将获取到的目标资源数据和/或目标用户数据输入至所述资源推荐模型,生成资源推荐列表,根据所述资源推荐列表进行资源推送。
7.如权利要求6所述的基于大数据的资源推荐装置,其特征在于,所述基模型训练模块具体用于:
通过所述第二推荐资源集包含的隐反馈信息,调整所述第一推荐资源集中所述资源数据的资源评分,得到第三推荐资源集;
根据所述第三推荐资源集调整所述预构建的推荐模型的系数;
通过所述第三推荐资源集对系数调整后的推荐模型进行训练,得到至少两个标准基模型。
8.如权利要求6所述的基于大数据的资源推荐装置,其特征在于,所述基模型包括矩阵分解模型、基线估计模型、距离分解模型、文本处理模型、聚类模型之中任意一项。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至5中任一所述的基于大数据的资源推荐方法。
10.一种计算机可读存储介质,包括存储数据区和存储程序区,存储数据区存储根据区块链节点的使用所创建的数据,存储程序区存储有计算机程序;其中,所述计算机程序被处理器执行时实现如权利要求1至5中任一所述的基于大数据的资源推荐方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010360569.4A CN111625713B (zh) | 2020-04-30 | 2020-04-30 | 基于大数据的资源推荐方法、装置、电子设备及介质 |
PCT/CN2020/105923 WO2021217938A1 (zh) | 2020-04-30 | 2020-07-30 | 基于大数据的资源推荐方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010360569.4A CN111625713B (zh) | 2020-04-30 | 2020-04-30 | 基于大数据的资源推荐方法、装置、电子设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111625713A CN111625713A (zh) | 2020-09-04 |
CN111625713B true CN111625713B (zh) | 2024-06-04 |
Family
ID=72258979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010360569.4A Active CN111625713B (zh) | 2020-04-30 | 2020-04-30 | 基于大数据的资源推荐方法、装置、电子设备及介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111625713B (zh) |
WO (1) | WO2021217938A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112269793B (zh) * | 2020-09-16 | 2024-06-25 | 连尚(新昌)网络科技有限公司 | 一种基于区块链的检测用户类型的方法与设备 |
CN112559859B (zh) * | 2020-12-08 | 2023-06-30 | 杭州海康威视系统技术有限公司 | 资源推荐方法、装置、电子设备及机器可读存储介质 |
CN112733023A (zh) * | 2020-12-30 | 2021-04-30 | 平安科技(深圳)有限公司 | 资讯推送方法、装置、电子设备及计算机可读存储介质 |
CN113032662B (zh) * | 2021-03-31 | 2021-11-26 | 艾普深瞳(北京)智能科技有限公司 | 基于人工智能的区块链大数据推荐方法、系统及云平台 |
CN114266324B (zh) * | 2021-12-30 | 2023-04-07 | 智慧眼科技股份有限公司 | 模型可视化建模方法、装置、计算机设备及存储介质 |
CN114519144A (zh) * | 2022-02-21 | 2022-05-20 | 北京三快在线科技有限公司 | 信息推荐方法、装置、服务器及存储介质 |
CN115795368B (zh) * | 2023-02-07 | 2023-05-02 | 山东毓星智能科技有限公司 | 一种基于人工智能的企业内训数据处理方法及系统 |
CN116186693B (zh) * | 2023-04-27 | 2023-08-29 | 中国科学技术大学 | 针对推荐系统的用户隐私保护方法、系统、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108132963A (zh) * | 2017-11-23 | 2018-06-08 | 广州优视网络科技有限公司 | 资源推荐方法和装置、计算设备和存储介质 |
CN108304441A (zh) * | 2017-11-14 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 网络资源推荐方法、装置、电子设备、服务器及存储介质 |
CN110457596A (zh) * | 2019-08-01 | 2019-11-15 | 北京明略软件系统有限公司 | 一种资源推荐处理方法及装置 |
WO2020048084A1 (zh) * | 2018-09-07 | 2020-03-12 | 平安科技(深圳)有限公司 | 资源推荐方法、装置、计算机设备及计算机可读存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140180760A1 (en) * | 2011-03-18 | 2014-06-26 | Telefonica, S.A. | Method for context-aware recommendations based on implicit user feedback |
CN104462383B (zh) * | 2014-12-10 | 2017-11-21 | 山东科技大学 | 一种基于用户多种行为反馈的电影推荐方法 |
CN106649733B (zh) * | 2016-12-23 | 2020-04-10 | 中山大学 | 一种基于无线接入点情境分类与感知的在线视频推荐方法 |
CN106951528B (zh) * | 2017-03-21 | 2019-11-08 | 北京邮电大学 | 一种推荐信息确定方法及装置 |
CN108108821B (zh) * | 2017-12-29 | 2022-04-22 | Oppo广东移动通信有限公司 | 模型训练方法及装置 |
CN110084670B (zh) * | 2019-04-15 | 2022-03-25 | 东北大学 | 一种基于lda-mlp的货架商品组合推荐方法 |
-
2020
- 2020-04-30 CN CN202010360569.4A patent/CN111625713B/zh active Active
- 2020-07-30 WO PCT/CN2020/105923 patent/WO2021217938A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108304441A (zh) * | 2017-11-14 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 网络资源推荐方法、装置、电子设备、服务器及存储介质 |
CN108132963A (zh) * | 2017-11-23 | 2018-06-08 | 广州优视网络科技有限公司 | 资源推荐方法和装置、计算设备和存储介质 |
WO2020048084A1 (zh) * | 2018-09-07 | 2020-03-12 | 平安科技(深圳)有限公司 | 资源推荐方法、装置、计算机设备及计算机可读存储介质 |
CN110457596A (zh) * | 2019-08-01 | 2019-11-15 | 北京明略软件系统有限公司 | 一种资源推荐处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2021217938A1 (zh) | 2021-11-04 |
CN111625713A (zh) | 2020-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111625713B (zh) | 基于大数据的资源推荐方法、装置、电子设备及介质 | |
WO2021179720A1 (zh) | 基于联邦学习的用户数据分类方法、装置、设备及介质 | |
US20240006038A1 (en) | Team-based tele-diagnostics blockchain-enabled system | |
US10497013B2 (en) | Purchasing behavior analysis apparatus and non-transitory computer readable medium | |
Kurve et al. | Multicategory crowdsourcing accounting for variable task difficulty, worker skill, and worker intention | |
CN112394974B (zh) | 代码变更的注释生成方法、装置、电子设备及存储介质 | |
CN111652280B (zh) | 基于行为的目标物数据分析方法、装置及存储介质 | |
CN110020022B (zh) | 数据处理方法、装置、设备及可读存储介质 | |
US20190019202A1 (en) | Information processing apparatus, information processing method, and program | |
US20220129706A1 (en) | Systems and Methods for Heterogeneous Federated Transfer Learning | |
CN113157739B (zh) | 跨模态检索方法、装置、电子设备及存储介质 | |
WO2021208695A1 (zh) | 目标物推荐方法、装置、电子设备及计算机可读存储介质 | |
US20210216613A1 (en) | Systems and methods for providing user validation | |
CN112269875B (zh) | 文本分类方法、装置、电子设备及存储介质 | |
CN114880449B (zh) | 智能问答的答复生成方法、装置、电子设备及存储介质 | |
CN110020800A (zh) | 基于区块链的信息处理方法、装置、介质及电子设备 | |
CN111209403B (zh) | 数据处理方法、装置、介质及电子设备 | |
CN109547406A (zh) | 数据发送方法及装置、存储介质和电子设备 | |
CN113344415A (zh) | 基于深度神经网络的业务分配方法、装置、设备及介质 | |
WO2023154351A2 (en) | Apparatus and method for automated video record generation | |
CN113780473B (zh) | 基于深度模型的数据处理方法、装置、电子设备及存储介质 | |
CN115982454A (zh) | 基于用户画像的问卷推送方法、装置、设备及存储介质 | |
CN115099875A (zh) | 基于决策树模型的数据分类方法及相关设备 | |
Fouz et al. | Optimizing Communication And Cooling Costs In Hpc Data Center | |
CN111694884B (zh) | 基于大数据的智慧政务请求处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |