CN115174580B - 一种基于大数据的数据处理方法及系统 - Google Patents
一种基于大数据的数据处理方法及系统 Download PDFInfo
- Publication number
- CN115174580B CN115174580B CN202211076149.9A CN202211076149A CN115174580B CN 115174580 B CN115174580 B CN 115174580B CN 202211076149 A CN202211076149 A CN 202211076149A CN 115174580 B CN115174580 B CN 115174580B
- Authority
- CN
- China
- Prior art keywords
- data
- service
- service cluster
- real
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于大数据的数据处理方法及系统。所述方法包括云平台接收各客户端上传的实时数据;云平台获取各服务集群的综合性能属性;云平台根据接收到的客户端实时数据属性和各服务集群的综合性能属性,选择相匹配的服务集群;云平台将客户端实时数据发送给相匹配的服务集群。采用本发明技术方案,为云平台设置多个进行数据处理的服务集群,综合考虑各服务集群的性能,选择最合适的服务集群进行客户端数据的处理,提高数据处理效率。
Description
技术领域
本发明涉及大数据处理技术领域,尤其涉及一种基于大数据的数据处理方法及系统。
背景技术
近年来,随着互联网的迅速发展,大量的应用的使用也越来越普及,在应用的使用过程中所产生的数据也呈爆发式增长。目前,通常会将大量的数据存储在云端,以通过“云”为我们提供各种各样的服务,例如:存储服务、分析服务等。
随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
然而,随着客户端应用数据的爆发式增长,云平台对大数据的处理效率越来越低,因此如何使云平台能够对客户端的实时数据进行快速有效的处理,同时还能够提高运算性能,是目前本领域技术人员急需解决的技术问题。
发明内容
本发明提供了一种基于大数据的数据处理方法,包括:
云平台接收各客户端上传的实时数据;
云平台获取各服务集群的综合性能属性;
云平台根据接收到的客户端实时数据属性和各服务集群的综合性能属性,选择相匹配的服务集群;
云平台将客户端实时数据发送给相匹配的服务集群。
如上所述的一种基于大数据的数据处理方法,其中,云平台包括M个数据服务集群,每个数据服务集群具有各自的集群属性,每个数据服务集群下包含多个数据服务商,每个数据服务集群下的数据服务商能够注册,当某一服务商要注册加入云平台时,由云平台依据其属性选择加入对应的数据服务集群,该数据服务集群的整体性能属性随着新服务商的加入重新评估。
如上所述的一种基于大数据的数据处理方法,其中,客户端负责采集实时数据,包括采集各网站节点数据,具体包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长。
如上所述的一种基于大数据的数据处理方法,其中,各服务集群中设置一个主服务商,由主服务商计算各服务集群的综合性能属性。
如上所述的一种基于大数据的数据处理方法,其中,主服务商计算各服务集群的综合性能属性,具体包括:
计算服务集群的安全性能;
计算服务集群的数据处理能力;
计算服务集群的数据存储能力;
根据安全性能、数据处理能力和数据存储能力计算服务集群的综合性能属性。
本发明还提供一种基于大数据的数据处理系统,包括N个客户端和一个云平台;所述客户端用于采集实时数据,所述云平台具体包括:
数据接收模块,用于接收N个客户端上传的实时数据;
综合性能属性获取模块,用于获取各服务集群的综合性能属性;
相匹配服务集群选择模块,用于根据接收到的客户端实时数据属性和各服务集群的综合性能属性,选择相匹配的服务集群;
数据发送模块,用于将客户端实时数据发送给相匹配的服务集群。
如上所述的一种基于大数据的数据处理系统,其中,云平台包括M个数据服务集群,每个数据服务集群具有各自的集群属性,每个数据服务集群下包含多个数据服务商,每个数据服务集群下的数据服务商能够注册,当某一服务商要注册加入云平台时,由云平台依据其属性选择加入对应的数据服务集群,该数据服务集群的整体性能属性随着新服务商的加入重新评估。
如上所述的一种基于大数据的数据处理系统,其中,客户端负责采集实时数据,包括采集各网站节点数据,具体包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长。
如上所述的一种基于大数据的数据处理系统,其中,各服务集群中设置一个主服务商,由主服务商计算各服务集群的综合性能属性。
如上所述的一种基于大数据的数据处理系统,其中,主服务商计算各服务集群的综合性能属性,具体包括:
计算服务集群的安全性能;
计算服务集群的数据处理能力;
计算服务集群的数据存储能力;
根据安全性能、数据处理能力和数据存储能力计算服务集群的综合性能属性。
本发明实现的有益效果如下:采用本发明技术方案,为云平台设置多个进行数据处理的服务集群,综合考虑各服务集群的性能,选择最合适的服务集群进行客户端数据的处理,提高数据处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种基于大数据的数据处理方法流程图;
图2是本发明实施例二提供的一种基于大数据的数据处理系统示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
如图1所示,本发明实施例一提供一种基于大数据的数据处理方法,包括:
步骤110、云平台接收各客户端上传的实时数据;
本申请提供的基于大数据的数据处理方法,应用于数据处理系统中,所述数据处理系统包括N个客户端和一个云平台,云平台包括M个数据服务集群,每个数据服务集群具有各自的集群属性,例如数据服务集群A安全性能高,数据服务集群B数据处理能力高,数据服务集群C数据存储能力高。每个数据服务集群下包含多个数据服务商,每个数据服务集群下的数据服务商可以注册,当某一服务商要注册加入云平台时,由云平台依据其属性选择加入对应的数据服务集群,该数据服务集群的整体性能属性随着新服务商的加入重新评估。
本实施例中,客户端负责采集实时数据,例如,采集各网站节点数据,包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长。
步骤120、云平台获取各服务集群的综合性能属性;
在云平台中存储有各服务集群的综合性能属性,该综合性能属性随着新服务商的注册和对客户端数据的处理实时改变,由各服务集群中的主服务商进行综合性能属性的计算和上送,具体计算过程包括:
①计算服务集群的安全性能:,其中,表示服务集群的安全性能;为服务集群中第i个授权服务的关键特征值,为服务集群中第i个授权服务的关键特征值的影响因子,i的取值为1到N,N为授权服务总量;服务集群中第j个拒绝服务的关键特征值,为服务集群中第j个拒绝服务的关键特征值的影响因子,j的取值为1到M,M为拒绝服务总量。
②计算服务集群的数据处理能力;,其中,表示服务集群的数据处理能力,表示服务集群中第k个服务商使用频率,表示第k个服务商的数据处理速率,为第k个服务商任务处理平均时长,k的取值为1到K,K为服务集群下的服务商总数。
步骤130、云平台根据接收到的客户端实时数据属性和各服务集群的综合性能属性,选择相匹配的服务集群;
云平台在接收到客户端上传的实时数据之后,根据实时数据通过公式计算在T时间段内接收到的客户端实时数据的属性值,其中,表示T时间段内接收到的客户端实时数据的属性值,为客户端实时数据的第r种特征值,包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长,为客户端实时数据的第r种特征值的影响权重,r的取值为1到R,R为客户端实时数据种类。
比较客户端实时数据属性和各服务集群的综合性能属性,按综合性能属性排序,选择最接近且高于实时数据属性的综合性能属性,相对应的服务集群即为本时段处理客户端实时数据的服务集群。
步骤140、云平台将客户端实时数据发送给服务集群;
其中,服务集群根据云平台分配的客户端实时数据进行分布式处理,发送给当前处于空闲状态的服务商,并在各服务商返回处理结果后,将处理结果返回给云平台。
实施例二
如图2所示,本发明实施例二提供一种基于大数据的数据处理系统2,包括N个客户端21和一个云平台22;所述客户端21用于采集实时数据,例如,采集各网站节点数据,包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长。所述云平台22具体包括:
数据接收模块221,用于接收N个客户端上传的实时数据;
综合性能属性获取模块222,用于获取各服务集群的综合性能属性;云平台包括M个数据服务集群,每个数据服务集群具有各自的集群属性,例如数据服务集群A安全性能高,数据服务集群B数据处理能力高,数据服务集群C数据存储能力高。每个数据服务集群下包含多个数据服务商,每个数据服务集群下的数据服务商可以注册,当某一服务商要注册加入云平台时,由云平台依据其属性选择加入对应的数据服务集群,该数据服务集群的整体性能属性随着新服务商的加入重新评估。
其中,各服务集群中设置一个主服务商,由主服务商计算各服务集群的综合性能属性。主服务商计算各服务集群的综合性能属性,具体包括:
计算服务集群的安全性能:,其中,表示服务集群的安全性能;为服务集群中第i个授权服务的关键特征值,为服务集群中第i个授权服务的关键特征值的影响因子,i的取值为1到N,N为授权服务总量;服务集群中第j个拒绝服务的关键特征值,为服务集群中第j个拒绝服务的关键特征值的影响因子,j的取值为1到M,M为拒绝服务总量。
计算服务集群的数据处理能力;,其中,表示服务集群的数据处理能力,表示服务集群中第k个服务商使用频率,表示第k个服务商的数据处理速率,为第k个服务商任务处理平均时长,k的取值为1到K,K为服务集群下的服务商总数。
根据安全性能、数据处理能力和数据存储能力计算服务集群的综合性能属性:,其中,表示服务集群的综合性能属性,表示安全性能对综合性能属性的影响权重,表示数据处理能力对综合性能属性的影响权重,表示数据存储能力对综合性能属性的影响权重。
相匹配服务集群选择模块223,用于根据接收到的客户端实时数据属性和各服务集群的综合性能属性,选择相匹配的服务集群;
云平台在接收到客户端上传的实时数据之后,根据实时数据通过公式计算在T时间段内接收到的客户端实时数据的属性值,其中,表示T时间段内接收到的客户端实时数据的属性值,为客户端实时数据的第r种特征值,包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长,为客户端实时数据的第r种特征值的影响权重,r的取值为1到R,R为客户端实时数据种类。
比较客户端实时数据属性和各服务集群的综合性能属性,按综合性能属性排序,选择最接近且高于实时数据属性的综合性能属性,相对应的服务集群即为本时段处理客户端实时数据的服务集群。
数据发送模块224,用于将客户端实时数据发送给相匹配的服务集群。其中,服务集群根据云平台分配的客户端实时数据进行分布式处理,发送给当前处于空闲状态的服务商,并在各服务商返回处理结果后,将处理结果返回给云平台。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (6)
1.一种基于大数据的数据处理方法,其特征在于,包括:
云平台接收各客户端上传的实时数据;
云平台获取各服务集群的综合性能属性;
云平台根据接收到的客户端实时数据属性和各服务集群的综合性能属性,选择相匹配的服务集群;
云平台将客户端实时数据发送给相匹配的服务集群;
各服务集群中设置一个主服务商,由主服务商计算各服务集群的综合性能属性,主服务商计算各服务集群的综合性能属性,具体包括:
计算服务集群的安全性能:,其中,表示服务集群的安全性能;为服务集群中第i个授权服务的关键特征值,为服务集群中第i个授权服务的关键特征值的影响因子,i的取值为1到N,N为授权服务总量;服务集群中第j个拒绝服务的关键特征值,为服务集群中第j个拒绝服务的关键特征值的影响因子,j的取值为1到M,M为拒绝服务总量;
计算服务集群的数据处理能力;,其中,表示服务集群的数据处理能力,表示服务集群中第k个服务商使用频率,表示第k个服务商的数据处理速率,为第k个服务商任务处理平均时长,k的取值为1到K,K为服务集群下的服务商总数;
根据安全性能、数据处理能力和数据存储能力计算服务集群的综合性能属性:,其中,表示服务集群的综合性能属性,表示安全性能对综合性能属性的影响权重,表示数据处理能力对综合性能属性的影响权重,表示数据存储能力对综合性能属性的影响权重;
3.如权利要求1所述的一种基于大数据的数据处理方法,其特征在于,客户端负责采集实时数据,包括采集各网站节点数据,具体包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长。
综合性能属性获取模块,用于获取各服务集群的综合性能属性;
相匹配服务集群选择模块,用于根据接收到的客户端实时数据属性和各服务集群的综合性能属性,选择相匹配的服务集群;
数据发送模块,用于将客户端实时数据发送给相匹配的服务集群;
各服务集群中设置一个主服务商,由主服务商计算各服务集群的综合性能属性,主服务商计算各服务集群的综合性能属性,具体包括:
计算服务集群的安全性能:,其中,表示服务集群的安全性能;为服务集群中第i个授权服务的关键特征值,为服务集群中第i个授权服务的关键特征值的影响因子,i的取值为1到N,N为授权服务总量;服务集群中第j个拒绝服务的关键特征值,为服务集群中第j个拒绝服务的关键特征值的影响因子,j的取值为1到M,M为拒绝服务总量;
计算服务集群的数据处理能力;,其中,表示服务集群的数据处理能力,表示服务集群中第k个服务商使用频率,表示第k个服务商的数据处理速率,为第k个服务商任务处理平均时长,k的取值为1到K,K为服务集群下的服务商总数;
根据安全性能、数据处理能力和数据存储能力计算服务集群的综合性能属性:,其中,表示服务集群的综合性能属性,表示安全性能对综合性能属性的影响权重,表示数据处理能力对综合性能属性的影响权重,表示数据存储能力对综合性能属性的影响权重;
6.如权利要求4所述的一种基于大数据的数据处理系统,其特征在于,客户端负责采集实时数据,包括采集各网站节点数据,具体包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211076149.9A CN115174580B (zh) | 2022-09-05 | 2022-09-05 | 一种基于大数据的数据处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211076149.9A CN115174580B (zh) | 2022-09-05 | 2022-09-05 | 一种基于大数据的数据处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115174580A CN115174580A (zh) | 2022-10-11 |
CN115174580B true CN115174580B (zh) | 2023-01-17 |
Family
ID=83481882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211076149.9A Active CN115174580B (zh) | 2022-09-05 | 2022-09-05 | 一种基于大数据的数据处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115174580B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115865518B (zh) * | 2023-01-30 | 2023-05-16 | 天云融创数据科技(北京)有限公司 | 一种基于大数据的云平台数据处理方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016231A (zh) * | 2017-02-21 | 2017-08-04 | 广州七乐康药业连锁有限公司 | 一种基于云平台实现医疗数据计算的方法及系统 |
CN107241290A (zh) * | 2016-03-28 | 2017-10-10 | 武汉花生壳科技有限公司 | 一种云平台客户端 |
EP3276919A1 (en) * | 2016-07-26 | 2018-01-31 | Schneider Electric IT Corporation | Cloud assisted management of devices |
CN107819876A (zh) * | 2017-11-27 | 2018-03-20 | 北京旷视科技有限公司 | 一种基于云平台的数据处理方法及系统 |
CN109067600A (zh) * | 2018-09-25 | 2018-12-21 | 郑州云海信息技术有限公司 | 一种私有云管理平台系统及其任务处理方法 |
CN114969470A (zh) * | 2022-08-02 | 2022-08-30 | 北京宏数科技有限公司 | 一种基于大数据的决策方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104917772B (zh) * | 2015-06-12 | 2017-12-08 | 深圳大学 | 一种云存储服务平台的访问控制系统的访问控制方法 |
CN105827744A (zh) * | 2016-06-08 | 2016-08-03 | 四川新环佳科技发展有限公司 | 云存储平台的数据处理方法 |
-
2022
- 2022-09-05 CN CN202211076149.9A patent/CN115174580B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107241290A (zh) * | 2016-03-28 | 2017-10-10 | 武汉花生壳科技有限公司 | 一种云平台客户端 |
EP3276919A1 (en) * | 2016-07-26 | 2018-01-31 | Schneider Electric IT Corporation | Cloud assisted management of devices |
CN107016231A (zh) * | 2017-02-21 | 2017-08-04 | 广州七乐康药业连锁有限公司 | 一种基于云平台实现医疗数据计算的方法及系统 |
CN107819876A (zh) * | 2017-11-27 | 2018-03-20 | 北京旷视科技有限公司 | 一种基于云平台的数据处理方法及系统 |
CN109067600A (zh) * | 2018-09-25 | 2018-12-21 | 郑州云海信息技术有限公司 | 一种私有云管理平台系统及其任务处理方法 |
CN114969470A (zh) * | 2022-08-02 | 2022-08-30 | 北京宏数科技有限公司 | 一种基于大数据的决策方法及系统 |
Non-Patent Citations (2)
Title |
---|
基于政府人才云平台的申报审批系统研究与实现;彭炳江;《中国优秀硕士学位论文全文数据库信息科技辑》;20220515(第5期);全文 * |
泛在电力物联网数据管理研究;胡方舟;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20210615(第6期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115174580A (zh) | 2022-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cao et al. | Efficient top-k query calculation in distributed networks | |
US8396828B2 (en) | Providing lightweight multidimensional online data storage for web service usage reporting | |
US7765216B2 (en) | Multidimensional analysis tool for high dimensional data | |
CN104424229B (zh) | 一种多维度拆分的计算方法及系统 | |
US20070226209A1 (en) | Methods and Apparatus for Clustering Evolving Data Streams Through Online and Offline Components | |
US20160034505A1 (en) | Systems and methods for large-scale link analysis | |
CN106250457B (zh) | 大数据平台物化视图的查询处理方法及系统 | |
US11151146B2 (en) | System and method for multi-dimensional real time vector search and heuristics backed insight engine | |
CN115174580B (zh) | 一种基于大数据的数据处理方法及系统 | |
CN106960391A (zh) | 一种用户信息聚合方法、系统和装置 | |
CN109450978A (zh) | 一种基于storm的数据分类和负载均衡处理方法 | |
CN115858168A (zh) | 一种基于重要性排序的地球应用模型编排系统及其方法 | |
CN116126901A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN114781717A (zh) | 网点设备推荐方法、装置、设备和存储介质 | |
CN107358534A (zh) | 社交网络的无偏数据采集系统及采集方法 | |
Psallidas et al. | Soc web: Efficient monitoring of social network activities | |
CN109299089A (zh) | 一种画像标签数据的计算及存储方法和计算及存储系统 | |
CN112860810A (zh) | 域名多重图嵌入表示方法、装置、电子设备及介质 | |
CN110019152A (zh) | 一种大数据清洗方法 | |
Chen et al. | A user dependent web service QoS collaborative prediction approach using neighborhood regularized matrix factorization | |
CN111708936B (zh) | 基于相似性传播策略的Web服务推荐系统及方法 | |
Mamoulis et al. | Optimization of spatial joins on mobile devices | |
CN114201535A (zh) | 异常数据的检测方法、装置、计算机设备及存储介质 | |
Wang et al. | Global Path Link Prediction Method Based on Improved Resource Allocation | |
Al-Shammary | Jaccard Coefficients based Clustering of XML Web Messages for Network Traffic Aggregation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |