CN115982449B - 一种基于平台大数据反馈的智能推送优化方法 - Google Patents
一种基于平台大数据反馈的智能推送优化方法 Download PDFInfo
- Publication number
- CN115982449B CN115982449B CN202211538327.5A CN202211538327A CN115982449B CN 115982449 B CN115982449 B CN 115982449B CN 202211538327 A CN202211538327 A CN 202211538327A CN 115982449 B CN115982449 B CN 115982449B
- Authority
- CN
- China
- Prior art keywords
- data
- user
- data set
- node
- verification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000005457 optimization Methods 0.000 title claims abstract description 42
- 238000012795 verification Methods 0.000 claims abstract description 64
- 238000003066 decision tree Methods 0.000 claims abstract description 63
- 230000008451 emotion Effects 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 52
- 238000012360 testing method Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 11
- 230000009191 jumping Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 235000005911 diet Nutrition 0.000 claims description 6
- 230000037213 diet Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000014759 maintenance of location Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 238000013468 resource allocation Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000004140 cleaning Methods 0.000 claims description 2
- 230000001276 controlling effect Effects 0.000 claims description 2
- 239000002574 poison Substances 0.000 claims description 2
- 231100000614 poison Toxicity 0.000 claims description 2
- 208000001613 Gambling Diseases 0.000 claims 1
- 238000004220 aggregation Methods 0.000 claims 1
- 230000002776 aggregation Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000013475 authorization Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于平台大数据反馈的智能推送优化方法,包括如下步骤:步骤一、数据采集:对该区域内所有用户产生的数据经由eNB基站进行对应采集,步骤二、数据分类:eNB基站将各用户采集的数据按照MDT数据和MR数据类型进行分类,步骤三、大数据决策树:接着将处理后的推送数据以整个最优属性集作为根部,通过步骤流程配合,根据各个用户反馈的兴趣爱好,将海量数据经过预先采集分类,并以大数据决策树的形式进行双重优化和验证后,实现精准无误的推送至对应的用户终端效果,提高推送的准确定位性,同时也实现信息推送后续的用户情感预测,以防推送信息不准确,获取不了用户的青睐的情况,提高推送信息数据的价值,获得有效收益和关注。
Description
技术领域
本发明涉及平台大数据反馈推送优化技术领域,具体为一种基于平台大数据反馈的智能推送优化方法。
背景技术
大数据:以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合,最早应用于IT行业,目前正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态,大数据必须采用分布式架构,对海量数据进行分布式数据挖掘,因此必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
随着现在互联网技术的日益发展,在平台向海量用户推送信息数据时,需要用到推送方法,而根据基于大数据和广告推送的数据处理方法及大数据平台(授权号:CN112418935B)以及一种面向电商平台的商品图像大数据精准推送方法及系统(授权号:CN114581207B)来说,其具备的功能较为片面,不能根据各个用户反馈的兴趣爱好,将海量数据经过预先采集分类,并以大数据决策树的形式进行双重优化和验证后,精准无误的推送至对应的用户终端,且不能做到后续的情感预测,导致推送信息不准确,获取不了用户的青睐,丧失推送信息数据的价值,得不偿失,为此,提出基于平台大数据反馈的智能推送优化方法。
发明内容
本发明的目的在于提供基于平台大数据反馈的智能推送优化方法,以解决上述背景技术中提出的不能根据各个用户反馈的兴趣爱好,将海量数据经过预先采集分类,并以大数据决策树的形式进行双重优化和验证后,精准无误的推送至对应的用户终端,且不能做到后续的情感预测,导致推送信息不准确,获取不了用户的青睐,丧失推送信息数据的价值,得不偿失的问题。
为实现上述目的,本发明提供如下技术方案:一种基于平台大数据反馈的智能推送优化方法,包括如下步骤:
步骤一、数据采集:对该区域内所有用户产生的数据经由eNB基站进行对应采集,且eNB基站的最大覆盖范围为该区域全地区,最小覆盖范围为该区域市井街道及小区村庄,同时所有用户可主动将数据上传至基站,也可由基站在符合合约协议前提下获取各个用户的反馈数据;
步骤二、数据分类:eNB基站将各用户采集的数据按照MDT数据和MR数据类型进行分类,再将分类后的MDT数据和MR数据上传至综合服务器内进行统一数据处理,综合服务器对上传推送的MDT数据和MR数据按照十中抽九原则(若数据总数为十组,则随机抽取十组数据中的九组,随机抽样率为90%)对其N组数据进行查重处理,且抽中的数据标记为S1、S2....Sj,j为抽中数据的总量,接着在对抽中的数据进行属性测试,若符合属性测试条件的可生成最优属性集,若不符合属性测试条件的直接摒弃;
步骤三、大数据决策树:接着将处理后的推送数据以整个最优属性集作为根部,若干个测试数据向量为枝干,若干个测试结果为枝叶,形成大数据决策树,且大数据决策树的根部、枝干和枝叶串联起来形成若干个完整的测试序列;
步骤四、双重优选:然后再将大数据决策树中整个最优属性集的若干个测试数据向量和若干个测试结果遵循矩阵优化原则形成以x、y和z三轴的三维数据学习模型,根据各用户采集的初始数据为对比依据,迎合各用户对应的喜好、习惯、饮食等因素进行学习,并相对应的聚集形成针对各用户的一级学习数据集;
与此同时,再将大数据决策树中整个最优属性集的若干个测试数据向量和若干个测试结果遵循迭代优化原则以感受、情绪、留观时间等因素进行训练,并相对应的聚集形成针对各用户的一级训练数据集;
步骤五、双重验证:再根据MAE算法和RMSE算法针对各用户的一级学习数据集和一级训练数据集数据按照平均绝对误差法和三重积分误差法进行双重验证,确保推送信息数据对应符合每个用户,然后再将通过双重验证的一级学习数据集和一级训练数据集数据上传至后台终端,并生成存储总库,最后再通过步骤一的eNB基站按照原路径推送至对应的用户终端上。
优选的,所述在步骤一数据采集过程中,所有用户产生的数据基于SPARK分布式集群框架,以eNB基站的一台任务调度器作为主节点,若干台服务器作为子节点,主节点主要用于向作为子节点的若干台服务器分配任务,并将采集的各用户数据存储收集并反馈至作为主节点的任务调度器。
优选的,所述在步骤二数据分类过程中,将各用户采集的数据按照MDT数据和MR数据类型分类后基于SPARK分布式集群框架将数据任务提交至YARN中,YARN再将数据任务按照综合服务器进行资源分配、数据任务调度、数据任务运行状况查询进行供给,再将分配完成后的MDT数据和MR数据上传至综合服务器内,且综合服务器对上传的MDT数据和MR数据产生的运行日志和时间戳存储到HBASE数据仓库中。
优选的,所述在步骤二数据分类过程中,综合服务器对上传推送的MDT数据和MR数据按照十中抽九原则对其N组数据进行查重处理时,先对上传推送的MDT数据和MR数据进行清洗处理,剔除关于“黄”、“赌”和“毒”的数据信息。
优选的,所述在步骤三大数据决策树过程中,大数据决策树中的若干个完整的测试序列基于SPARK分布式集群框架并按照决策树数量、决策树深度和最大分裂数为依据进行并行随机处理,若大数据决策树中的所有完整的测试序列总数为89756条,则决策树数量为256个,此时决策树深度的深度为8.9,最大分裂数为45,此时大数据决策树处于最优状态,且大数据决策树中所有完整测试序列的总数与决策树数量、决策树深度和最大分裂数的关系呈正比。
优选的,所述在步骤四双重优选过程中,遵循矩阵优化原则对大数据决策树优化时,x、y和z三轴对应代表用户的作息时间、观看类型和其他爱好,且重点优化各用户数据在三维数据学习模型中x、y和z三轴的重叠点,并以此点作为初始原点,并以格栅形式将改初始原点前后事件进行平铺展开,获取用户基于喜好、习惯、饮食等因素的重要数据信息。
优选的,所述在步骤四双重优选过程中,遵循迭代优化原则对大数据决策树优化时,根据情感捕捉模块、情感分析模块对各用户的重点数据信息形成网格化样式,且预测推送数据信息后的用户后续动作进行扩展延伸,并基于SPARK分布式集群框架演示用户接受到推送信息后的感受、情绪、留观时间等参数,再绘制形成用户反馈表上传至后台终端进行审核。
优选的,所述在步骤五双重验证过程中,MAE算法基于按照平均绝对误差法针对各用户的一级学习数据集和一级训练数据集数据的计算公式为:K=1/n∑n j=1|Sj-S′j|,且计算公式中Sj为一级学习数据集和一级训练数据集数据计算的实际平均值,S′j为一级学习数据集和一级训练数据集数据计算的预演平均值,j为一级学习数据集和一级训练数据集数据总量。
优选的,所述在步骤五双重验证过程中,RMSE算法基于按照三重积分误差法针对各用户的一级学习数据集和一级训练数据集数据的计算公式为: 且计算公式中Sj为一级学习数据集和一级训练数据集数据计算的实际误差值,S′j为一级学习数据集和一级训练数据集数据计算的预演误差值,j为一级学习数据集和一级训练数据集数据总量。
优选的,所述在步骤五双重验证过程中,MAE算法和RMSE算法针对各用户的一级学习数据集和一级训练数据集数据按照平均绝对误差法和三重积分误差法进行双重验证时,将一级学习数据集和一级训练数据集数据的验证初始数据作为元节点,一级学习数据集和一级训练数据集数据的验证中间数据作为中节点,一级学习数据集和一级训练数据集数据的验证中间数据作为末节点,再通过划分状态位,对MAE算法和RMSE算法验证过程中的拥堵情况进行判断,且*代表不拥堵,#代表拥堵,且MAE算法和RMSE算法验证中控制拥堵的步骤如下:
A、先将一级学习数据集和一级训练数据集数据上传至MAE算法和RMSE算法验证单元中,在MAE算法和RMSE算法验证时,若中节点发生拥堵时,弹出#拥堵警告,并以该中节点为初始点,立刻对前后数据节点进行检测;
B、在中节点b发出拥堵警告后,自动上跳至上一个节点,向上一个节点传达到拥堵警告,并快速作出措施,若上一个节点不识别该拥堵警告,且未作出相关措施,则直接摒弃;若上一个节点未发生拥堵,那么调慢数据包从上一个节点到中节点的验证速度;若上一个节点已经出现拥堵,则节点上一个节点不作任何措施,以上一个节点的速度进行调节处理,同时末节点收到警报后直接摒弃;
C、当上一个节点调低验证速度导致出现步骤A的情况时,直接跳转至步骤B并执行;
D、当上一个节点调低验证速度,且超过预定周期后,未收到下一个节点的拥堵警告,则表示当前节点已经拥堵接触,上一个节点按照既定验证速度继续维持当前状态;
E、若中节点在发出拥堵并发处警告后,上一个节点调低验证速度后仍能持续收到拥堵警告,则断定中节点异常,将上一个节点经过路由层作出相应重新路由措施;
F、若前后两个验证节点同时出现拥堵时,若中节点和末节点同时出现拥堵,直接跳转至步骤B并重新执行。
与现有技术相比,本发明的有益效果是:本发明中通过数据采集、数据分类、大数据决策树、双重优选以及双重验证的流程配合,根据各个用户反馈的兴趣爱好,将海量数据经过预先采集分类,并以大数据决策树的形式进行双重优化和验证后,实现精准无误的推送至对应的用户终端效果,提高推送的准确定位性,同时也实现信息推送后续的用户情感预测,以防推送信息不准确,获取不了用户的青睐的情况,提高推送信息数据的价值,获得有效收益和关注。
附图说明
图1为本发明的方法流程图;
图2为本发明的平台大数据预处理图;
图3为本发明的平台大数据决策树构建图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
请参阅图1-图3,本发明提供一种技术方案:一种基于平台大数据反馈的智能推送优化方法,包括如下步骤:
步骤一、数据采集:对该区域内所有用户产生的数据经由eNB基站进行对应采集,且eNB基站的最大覆盖范围为该区域全地区,最小覆盖范围为该区域市井街道及小区村庄,同时所有用户可主动将数据上传至基站,也可由基站在符合合约协议前提下获取各个用户的反馈数据,所有用户产生的数据基于SPARK分布式集群框架,以eNB基站的一台任务调度器作为主节点,若干台服务器作为子节点,主节点主要用于向作为子节点的若干台服务器分配任务,并将采集的各用户数据存储收集并反馈至作为主节点的任务调度器,以防数据采集任务出现紊乱,提高各个用户反馈数据的采集高效性;
步骤二、数据分类:eNB基站将各用户采集的数据按照MDT数据和MR数据类型进行分类,再将分类后的MDT数据和MR数据上传至综合服务器内进行统一数据处理,综合服务器对上传推送的MDT数据和MR数据按照十中抽九原则(若数据总数为十组,则随机抽取十组数据中的九组,随机抽样率为90%)对其N组数据进行查重处理,且抽中的数据标记为S1、S2....Sj,j为抽中数据的总量,接着在对抽中的数据进行属性测试,若符合属性测试条件的可生成最优属性集,若不符合属性测试条件的直接摒弃,将各用户采集的数据按照MDT数据和MR数据类型分类后基于SPARK分布式集群框架将数据任务提交至YARN中,YARN再将数据任务按照综合服务器进行资源分配、数据任务调度、数据任务运行状况查询进行供给,再将分配完成后的MDT数据和MR数据上传至综合服务器内,且综合服务器对上传的MDT数据和MR数据产生的运行日志和时间戳存储到HBASE数据仓库中,综合服务器对上传推送的MDT数据和MR数据按照十中抽九原则对其N组数据进行查重处理时,先对上传推送的MDT数据和MR数据进行清洗处理,剔除关于“黄”、“赌”和“毒”的数据信息,为数据分类提供最佳资源供给,不仅降低综合服务器的处理负担,也进一步提高综合服务器的处理时效性,同时也杜绝不良信息的分类处理情况;
步骤三、大数据决策树:接着将处理后的推送数据以整个最优属性集作为根部,若干个测试数据向量为枝干,若干个测试结果为枝叶,形成大数据决策树,且大数据决策树的根部、枝干和枝叶串联起来形成若干个完整的测试序列,大数据决策树中的若干个完整的测试序列基于SPARK分布式集群框架并按照决策树数量、决策树深度和最大分裂数为依据进行并行随机处理,若大数据决策树中的所有完整的测试序列总数为89756条,则决策树数量为256个,此时决策树深度的深度为8.9,最大分裂数为45,此时大数据决策树处于最优状态,且大数据决策树中所有完整测试序列的总数与决策树数量、决策树深度和最大分裂数的关系呈正比,实现大数据决策树的构建全面性和精准度,为后续推送信息数据提供精准定位支持;
步骤四、双重优选:然后再将大数据决策树中整个最优属性集的若干个测试数据向量和若干个测试结果遵循矩阵优化原则形成以x、y和z三轴的三维数据学习模型,根据各用户采集的初始数据为对比依据,迎合各用户对应的喜好、习惯、饮食等因素进行学习,并相对应的聚集形成针对各用户的一级学习数据集,遵循矩阵优化原则对大数据决策树优化时,x、y和z三轴对应代表用户的作息时间、观看类型和其他爱好,且重点优化各用户数据在三维数据学习模型中x、y和z三轴的重叠点,并以此点作为初始原点,并以格栅形式将改初始原点前后事件进行平铺展开,获取用户基于喜好、习惯、饮食等因素的重要数据信息,提高用户推送数据的定位精准度,迎合各个用户的喜爱,延长用户对推送数据的留观时间;
与此同时,再将大数据决策树中整个最优属性集的若干个测试数据向量和若干个测试结果遵循迭代优化原则以感受、情绪、留观时间等因素进行训练,并相对应的聚集形成针对各用户的一级训练数据集,遵循迭代优化原则对大数据决策树优化时,根据情感捕捉模块、情感分析模块对各用户的重点数据信息形成网格化样式,且预测推送数据信息后的用户后续动作进行扩展延伸,并基于SPARK分布式集群框架演示用户接受到推送信息后的感受、情绪、留观时间等参数,再绘制形成用户反馈表上传至后台终端进行审核,提高用户推送数据的定位精准度,预测各个用户收到推送数据后的情感变化,增强用户对推送数据的好感;
步骤五、双重验证:再根据MAE算法和RMSE算法针对各用户的一级学习数据集和一级训练数据集数据按照平均绝对误差法和三重积分误差法进行双重验证,确保推送信息数据对应符合每个用户,然后再将通过双重验证的一级学习数据集和一级训练数据集数据上传至后台终端,并生成存储总库,最后再通过步骤一的eNB基站按照原路径推送至对应的用户终端上,,MAE算法基于按照平均绝对误差法针对各用户的一级学习数据集和一级训练数据集数据的计算公式为:K=1/n∑n j=1|Sj-S′j|,且计算公式中Sj为一级学习数据集和一级训练数据集数据计算的实际平均值,S′j为一级学习数据集和一级训练数据集数据计算的预演平均值,j为一级学习数据集和一级训练数据集数据总量,RMSE算法基于按照三重积分误差法针对各用户的一级学习数据集和一级训练数据集数据的计算公式为:且计算公式中Sj为一级学习数据集和一级训练数据集数据计算的实际误差值,S′j为一级学习数据集和一级训练数据集数据计算的预演误差值,j为一级学习数据集和一级训练数据集数据总量,MAE算法和RMSE算法针对各用户的一级学习数据集和一级训练数据集数据按照平均绝对误差法和三重积分误差法进行双重验证时,将一级学习数据集和一级训练数据集数据的验证初始数据作为元节点,一级学习数据集和一级训练数据集数据的验证中间数据作为中节点,一级学习数据集和一级训练数据集数据的验证中间数据作为末节点,再通过划分状态位,对MAE算法和RMSE算法验证过程中的拥堵情况进行判断,且*代表不拥堵,#代表拥堵,且MAE算法和RMSE算法验证中控制拥堵的步骤如下:
A、先将一级学习数据集和一级训练数据集数据上传至MAE算法和RMSE算法验证单元中,在MAE算法和RMSE算法验证时,若中节点发生拥堵时,弹出#拥堵警告,并以该中节点为初始点,立刻对前后数据节点进行检测;
B、在中节点b发出拥堵警告后,自动上跳至上一个节点,向上一个节点传达到拥堵警告,并快速作出措施,若上一个节点不识别该拥堵警告,且未作出相关措施,则直接摒弃;若上一个节点未发生拥堵,那么调慢数据包从上一个节点到中节点的验证速度;若上一个节点已经出现拥堵,则节点上一个节点不作任何措施,以上一个节点的速度进行调节处理,同时末节点收到警报后直接摒弃;
C、当上一个节点调低验证速度导致出现步骤A的情况时,直接跳转至步骤B并执行;
D、当上一个节点调低验证速度,且超过预定周期后,未收到下一个节点的拥堵警告,则表示当前节点已经拥堵接触,上一个节点按照既定验证速度继续维持当前状态;
E、若中节点在发出拥堵并发处警告后,上一个节点调低验证速度后仍能持续收到拥堵警告,则断定中节点异常,将上一个节点经过路由层作出相应重新路由措施;
F、若前后两个验证节点同时出现拥堵时,若中节点和末节点同时出现拥堵,直接跳转至步骤B并重新执行,以防MAE算法和RMSE算法针对各用户的一级学习数据集和一级训练数据集数据按照平均绝对误差法和三重积分误差法进行双重验证时出现堵塞,提高数据的验证时效性,以防出现卡滞,通过数据采集、数据分类、大数据决策树、双重优选以及双重验证的流程配合,根据各个用户反馈的兴趣爱好,将海量数据经过预先采集分类,并以大数据决策树的形式进行双重优化和验证后,实现精准无误的推送至对应的用户终端效果,提高推送的准确定位性,同时也实现信息推送后续的用户情感预测,以防推送信息不准确,获取不了用户的青睐的情况,提高推送信息数据的价值,获得有效收益和关注。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于平台大数据反馈的智能推送优化方法,其特征在于:包括如下步骤:
步骤一、数据采集:对区域内所有用户产生的数据经由eNB基站进行对应采集,且eNB基站的最大覆盖范围为该区域全地区,最小覆盖范围为该区域市井街道及小区村庄,所述数据由所有用户主动上传至基站,或者由基站在符合合约协议前提下获取用户的反馈数据;
步骤二、数据分类:eNB基站将各用户采集的数据按照MDT数据和MR数据类型进行分类,再将分类后的MDT数据和MR数据上传至综合服务器内进行统一数据处理,综合服务器对上传推送的MDT数据和MR数据按照十中抽九原则对其N组数据进行查重处理,且抽中的数据标记为S1、S2....Sj,j为抽中数据的总量,接着在对抽中的数据进行属性测试,若符合属性测试条件的生成最优属性集,若不符合属性测试条件的直接摒弃;
步骤三、大数据决策树:接着将处理后的推送数据以整个最优属性集作为根部,若干个测试数据向量为枝干,若干个测试结果为枝叶,形成大数据决策树,且大数据决策树的根部、枝干和枝叶串联起来形成若干个完整的测试序列;
步骤四、双重优选:然后再将大数据决策树中整个最优属性集的若干个测试数据向量和若干个测试结果遵循矩阵优化原则形成以x、y和z三轴的三维数据学习模型,根据各用户采集的初始数据为对比依据,迎合各用户对应的喜好、习惯、饮食因素进行学习,并相对应的聚集形成针对各用户的一级学习数据集;
与此同时,再将大数据决策树中整个最优属性集的若干个测试数据向量和若干个测试结果遵循迭代优化原则以感受、情绪、留观时间因素进行训练,并相对应的聚集形成针对各用户的一级训练数据集;
步骤五、双重验证:再根据MAE算法和RMSE算法针对各用户的一级学习数据集和一级训练数据集数据按照平均绝对误差法和三重积分误差法进行双重验证,确保推送信息数据对应符合每个用户,然后再将通过双重验证的一级学习数据集和一级训练数据集数据上传至后台终端,并生成存储总库,最后再通过步骤一的eNB基站按照原路径推送至对应的用户终端上。
2.根据权利要求1所述的一种基于平台大数据反馈的智能推送优化方法,其特征在于:在所述步骤一数据采集过程中,所有用户产生的数据基于SPARK分布式集群框架,以eNB基站的一台任务调度器作为主节点,若干台服务器作为子节点,主节点主要用于向作为子节点的若干台服务器分配任务,并将采集的各用户数据存储收集并反馈至作为主节点的任务调度器。
3.根据权利要求1所述的一种基于平台大数据反馈的智能推送优化方法,其特征在于:在所述步骤二数据分类过程中,将各用户采集的数据按照MDT数据和MR数据类型分类后基于SPARK分布式集群框架将数据任务提交至YARN中,YARN再将数据任务按照综合服务器进行资源分配、数据任务调度、数据任务运行状况查询进行供给,再将分配完成后的MDT数据和MR数据上传至综合服务器内,且综合服务器对上传的MDT数据和MR数据产生的运行日志和时间戳存储到HBASE数据仓库中。
4.根据权利要求1所述的一种基于平台大数据反馈的智能推送优化方法,其特征在于:在所述步骤二数据分类过程中,综合服务器对上传推送的MDT数据和MR数据按照十中抽九原则对其N组数据进行查重处理时,先对上传推送的MDT数据和MR数据进行清洗处理,剔除关于“黄”、“赌”和“毒”的数据信息。
5.根据权利要求1所述的一种基于平台大数据反馈的智能推送优化方法,其特征在于:在所述步骤三大数据决策树过程中,大数据决策树中的若干个完整的测试序列基于SPARK分布式集群框架并按照决策树数量、决策树深度和最大分裂数为依据进行并行随机处理,若大数据决策树中的所有完整的测试序列总数为89756条,则决策树数量为256个,此时决策树深度的深度为8.9,最大分裂数为45,此时大数据决策树处于最优状态,且大数据决策树中所有完整测试序列的总数与决策树数量、决策树深度和最大分裂数的关系呈正比。
6.根据权利要求1所述的一种基于平台大数据反馈的智能推送优化方法,其特征在于:在所述步骤四双重优选过程中,遵循矩阵优化原则对大数据决策树优化时,x、y和z三轴对应代表用户的作息时间、观看类型和其他爱好,且重点优化各用户数据在三维数据学习模型中x、y和z三轴的重叠点,并以此点作为初始原点,并以格栅形式将改初始原点前后事件进行平铺展开,获取用户基于喜好、习惯、饮食因素的重要数据信息。
7.根据权利要求1所述的一种基于平台大数据反馈的智能推送优化方法,其特征在于:在所述步骤四双重优选过程中,遵循迭代优化原则对大数据决策树优化时,根据情感捕捉模块、情感分析模块对各用户的重点数据信息形成网格化样式,且预测推送数据信息后的用户后续动作进行扩展延伸,并基于SPARK分布式集群框架演示用户接受到推送信息后的感受、情绪、留观时间参数,再绘制形成用户反馈表上传至后台终端进行审核。
8.根据权利要求1所述的一种基于平台大数据反馈的智能推送优化方法,其特征在于:在所述步骤五双重验证过程中,MAE算法基于按照平均绝对误差法针对各用户的一级学习数据集和一级训练数据集数据的计算公式为:K=1/n∑n j=1|Sj-S′j|,且计算公式中Sj为一级学习数据集和一级训练数据集数据计算的实际平均值,S′j为一级学习数据集和一级训练数据集数据计算的预演平均值,j为一级学习数据集和一级训练数据集数据总量。
9.根据权利要求1所述的一种基于平台大数据反馈的智能推送优化方法,其特征在于:在所述步骤五双重验证过程中,RMSE算法基于按照三重积分误差法针对各用户的一级学习数据集和一级训练数据集数据的计算公式为:P=∫∫∫1/n∑n j=1|Sj-S′j|2,且计算公式中Sj为一级学习数据集和一级训练数据集数据计算的实际误差值,S′j为一级学习数据集和一级训练数据集数据计算的预演误差值,j为一级学习数据集和一级训练数据集数据总量。
10.根据权利要求1所述的一种基于平台大数据反馈的智能推送优化方法,其特征在于:在所述步骤五双重验证过程中,MAE算法和RMSE算法针对各用户的一级学习数据集和一级训练数据集数据按照平均绝对误差法和三重积分误差法进行双重验证时,将一级学习数据集和一级训练数据集数据的验证初始数据作为元节点,一级学习数据集和一级训练数据集数据的验证中间数据作为中节点,一级学习数据集和一级训练数据集数据的验证中间数据作为末节点,再通过划分状态位,对MAE算法和RMSE算法验证过程中的拥堵情况进行判断,且*代表不拥堵,#代表拥堵,且MAE算法和RMSE算法验证中控制拥堵的步骤如下:
A、先将一级学习数据集和一级训练数据集数据上传至MAE算法和RMSE算法验证单元中,在MAE算法和RMSE算法验证时,若中节点发生拥堵时,弹出#拥堵警告,并以该中节点为初始点,立刻对前后数据节点进行检测;
B、在中节点b发出拥堵警告后,自动上跳至上一个节点,向上一个节点传达到拥堵警告,并快速作出措施,若上一个节点不识别该拥堵警告,且未作出相关措施,则直接摒弃;若上一个节点未发生拥堵,那么调慢数据包从上一个节点到中节点的验证速度;若上一个节点已经出现拥堵,则节点上一个节点不作任何措施,以上一个节点的速度进行调节处理,同时末节点收到警报后直接摒弃;
C、当上一个节点调低验证速度导致出现步骤A的情况时,直接跳转至步骤B并执行;
D、当上一个节点调低验证速度,且超过预定周期后,未收到下一个节点的拥堵警告,则表示当前节点已经拥堵接触,上一个节点按照既定验证速度继续维持当前状态;
E、若中节点在发出拥堵并发处警告后,上一个节点调低验证速度后仍能持续收到拥堵警告,则断定中节点异常,将上一个节点经过路由层作出相应重新路由措施;
F、若前后两个验证节点同时出现拥堵时,若中节点和末节点同时出现拥堵,直接跳转至步骤B并重新执行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211538327.5A CN115982449B (zh) | 2022-12-01 | 2022-12-01 | 一种基于平台大数据反馈的智能推送优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211538327.5A CN115982449B (zh) | 2022-12-01 | 2022-12-01 | 一种基于平台大数据反馈的智能推送优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115982449A CN115982449A (zh) | 2023-04-18 |
CN115982449B true CN115982449B (zh) | 2023-11-14 |
Family
ID=85956990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211538327.5A Active CN115982449B (zh) | 2022-12-01 | 2022-12-01 | 一种基于平台大数据反馈的智能推送优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115982449B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102761863A (zh) * | 2011-04-29 | 2012-10-31 | 华为技术有限公司 | 最小化人工路测方法、收集终端信息方法、终端及网元 |
CN106250461A (zh) * | 2016-07-28 | 2016-12-21 | 北京北信源软件股份有限公司 | 一种基于Spark框架利用梯度提升决策树进行数据挖掘的算法 |
CN113141625A (zh) * | 2020-01-20 | 2021-07-20 | 上海大唐移动通信设备有限公司 | 小区覆盖场景的确定方法、装置、电子设备及存储介质 |
CN114418035A (zh) * | 2022-03-25 | 2022-04-29 | 腾讯科技(深圳)有限公司 | 决策树模型生成方法、基于决策树模型的数据推荐方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220734B (zh) * | 2017-06-26 | 2020-05-12 | 江南大学 | 基于决策树的数控车床车削过程能耗预测系统 |
-
2022
- 2022-12-01 CN CN202211538327.5A patent/CN115982449B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102761863A (zh) * | 2011-04-29 | 2012-10-31 | 华为技术有限公司 | 最小化人工路测方法、收集终端信息方法、终端及网元 |
CN106250461A (zh) * | 2016-07-28 | 2016-12-21 | 北京北信源软件股份有限公司 | 一种基于Spark框架利用梯度提升决策树进行数据挖掘的算法 |
CN113141625A (zh) * | 2020-01-20 | 2021-07-20 | 上海大唐移动通信设备有限公司 | 小区覆盖场景的确定方法、装置、电子设备及存储介质 |
CN114418035A (zh) * | 2022-03-25 | 2022-04-29 | 腾讯科技(深圳)有限公司 | 决策树模型生成方法、基于决策树模型的数据推荐方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115982449A (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102682059B (zh) | 用于将用户分配到集群的方法和系统 | |
CN111740884B (zh) | 一种日志处理方法及电子设备、服务器、存储介质 | |
CN106959965B (zh) | 一种信息处理方法及服务器 | |
CN107451149A (zh) | 流量数据查询任务的监控方法及其装置 | |
US20130185429A1 (en) | Processing Store Visiting Data | |
CN105302885B (zh) | 一种全文数据的提取方法和装置 | |
CN110675194A (zh) | 一种漏斗分析方法、装置、设备及可读介质 | |
CN104182506A (zh) | 日志管理方法 | |
CN111459986A (zh) | 数据计算系统及方法 | |
CN108600300A (zh) | 日志数据处理方法及装置 | |
CN101421751A (zh) | 用于在通信网络中进行交易监控的方法和系统 | |
CN104615765A (zh) | 一种移动用户上网记录的数据处理方法及装置 | |
CN109167672B (zh) | 一种回源错误定位方法、装置、存储介质以及系统 | |
CN111552885A (zh) | 实现自动化实时消息推送运营的系统及其方法 | |
CN113609374A (zh) | 基于内容推送的数据处理方法、装置、设备及存储介质 | |
CN109359686A (zh) | 一种基于校园网流量的用户画像方法及系统 | |
CN116450982A (zh) | 一种基于云服务推送的大数据分析方法及系统 | |
CN111159135A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN105426392A (zh) | 一种协同过滤推荐方法及系统 | |
CN106897313B (zh) | 一种海量用户业务偏好评估方法和装置 | |
CN106557483B (zh) | 一种数据处理、数据查询方法及设备 | |
CN104503983A (zh) | 为搜索引擎提供网站认证数据的方法及装置 | |
CN112231481A (zh) | 网址的分类方法、装置、计算机设备和存储介质 | |
CN115982449B (zh) | 一种基于平台大数据反馈的智能推送优化方法 | |
CN112925964A (zh) | 基于云计算服务的大数据采集方法及大数据采集服务系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |