CN115174580B - 一种基于大数据的数据处理方法及系统 - Google Patents

一种基于大数据的数据处理方法及系统 Download PDF

Info

Publication number
CN115174580B
CN115174580B CN202211076149.9A CN202211076149A CN115174580B CN 115174580 B CN115174580 B CN 115174580B CN 202211076149 A CN202211076149 A CN 202211076149A CN 115174580 B CN115174580 B CN 115174580B
Authority
CN
China
Prior art keywords
data
service
service cluster
real
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211076149.9A
Other languages
English (en)
Other versions
CN115174580A (zh
Inventor
石俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruizhi Technology Group Co ltd
Original Assignee
Ruizhi Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruizhi Technology Group Co ltd filed Critical Ruizhi Technology Group Co ltd
Priority to CN202211076149.9A priority Critical patent/CN115174580B/zh
Publication of CN115174580A publication Critical patent/CN115174580A/zh
Application granted granted Critical
Publication of CN115174580B publication Critical patent/CN115174580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于大数据的数据处理方法及系统。所述方法包括云平台接收各客户端上传的实时数据；云平台获取各服务集群的综合性能属性；云平台根据接收到的客户端实时数据属性和各服务集群的综合性能属性，选择相匹配的服务集群；云平台将客户端实时数据发送给相匹配的服务集群。采用本发明技术方案，为云平台设置多个进行数据处理的服务集群，综合考虑各服务集群的性能，选择最合适的服务集群进行客户端数据的处理，提高数据处理效率。

Description

一种基于大数据的数据处理方法及系统
技术领域
本发明涉及大数据处理技术领域，尤其涉及一种基于大数据的数据处理方法及系统。
背景技术
近年来，随着互联网的迅速发展，大量的应用的使用也越来越普及，在应用的使用过程中所产生的数据也呈爆发式增长。目前，通常会将大量的数据存储在云端，以通过“云”为我们提供各种各样的服务，例如：存储服务、分析服务等。
随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
然而，随着客户端应用数据的爆发式增长，云平台对大数据的处理效率越来越低，因此如何使云平台能够对客户端的实时数据进行快速有效的处理，同时还能够提高运算性能，是目前本领域技术人员急需解决的技术问题。
发明内容
本发明提供了一种基于大数据的数据处理方法，包括：
云平台接收各客户端上传的实时数据；
云平台获取各服务集群的综合性能属性；
云平台根据接收到的客户端实时数据属性和各服务集群的综合性能属性，选择相匹配的服务集群；
云平台将客户端实时数据发送给相匹配的服务集群。
如上所述的一种基于大数据的数据处理方法，其中，云平台包括M个数据服务集群，每个数据服务集群具有各自的集群属性，每个数据服务集群下包含多个数据服务商，每个数据服务集群下的数据服务商能够注册，当某一服务商要注册加入云平台时，由云平台依据其属性选择加入对应的数据服务集群，该数据服务集群的整体性能属性随着新服务商的加入重新评估。
如上所述的一种基于大数据的数据处理方法，其中，客户端负责采集实时数据，包括采集各网站节点数据，具体包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长。
如上所述的一种基于大数据的数据处理方法，其中，各服务集群中设置一个主服务商，由主服务商计算各服务集群的综合性能属性。
如上所述的一种基于大数据的数据处理方法，其中，主服务商计算各服务集群的综合性能属性，具体包括：
计算服务集群的安全性能；
计算服务集群的数据处理能力；
计算服务集群的数据存储能力；
根据安全性能、数据处理能力和数据存储能力计算服务集群的综合性能属性。
本发明还提供一种基于大数据的数据处理系统，包括N个客户端和一个云平台；所述客户端用于采集实时数据，所述云平台具体包括：
数据接收模块，用于接收N个客户端上传的实时数据；
综合性能属性获取模块，用于获取各服务集群的综合性能属性；
相匹配服务集群选择模块，用于根据接收到的客户端实时数据属性和各服务集群的综合性能属性，选择相匹配的服务集群；
数据发送模块，用于将客户端实时数据发送给相匹配的服务集群。
如上所述的一种基于大数据的数据处理系统，其中，云平台包括M个数据服务集群，每个数据服务集群具有各自的集群属性，每个数据服务集群下包含多个数据服务商，每个数据服务集群下的数据服务商能够注册，当某一服务商要注册加入云平台时，由云平台依据其属性选择加入对应的数据服务集群，该数据服务集群的整体性能属性随着新服务商的加入重新评估。
如上所述的一种基于大数据的数据处理系统，其中，客户端负责采集实时数据，包括采集各网站节点数据，具体包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长。
如上所述的一种基于大数据的数据处理系统，其中，各服务集群中设置一个主服务商，由主服务商计算各服务集群的综合性能属性。
如上所述的一种基于大数据的数据处理系统，其中，主服务商计算各服务集群的综合性能属性，具体包括：
计算服务集群的安全性能；
计算服务集群的数据处理能力；
计算服务集群的数据存储能力；
根据安全性能、数据处理能力和数据存储能力计算服务集群的综合性能属性。
本发明实现的有益效果如下：采用本发明技术方案，为云平台设置多个进行数据处理的服务集群，综合考虑各服务集群的性能，选择最合适的服务集群进行客户端数据的处理，提高数据处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种基于大数据的数据处理方法流程图；
图2是本发明实施例二提供的一种基于大数据的数据处理系统示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1所示，本发明实施例一提供一种基于大数据的数据处理方法，包括：
步骤110、云平台接收各客户端上传的实时数据；
本申请提供的基于大数据的数据处理方法，应用于数据处理系统中，所述数据处理系统包括N个客户端和一个云平台，云平台包括M个数据服务集群，每个数据服务集群具有各自的集群属性，例如数据服务集群A安全性能高，数据服务集群B数据处理能力高，数据服务集群C数据存储能力高。每个数据服务集群下包含多个数据服务商，每个数据服务集群下的数据服务商可以注册，当某一服务商要注册加入云平台时，由云平台依据其属性选择加入对应的数据服务集群，该数据服务集群的整体性能属性随着新服务商的加入重新评估。
本实施例中，客户端负责采集实时数据，例如，采集各网站节点数据，包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长。
步骤120、云平台获取各服务集群的综合性能属性；
在云平台中存储有各服务集群的综合性能属性，该综合性能属性随着新服务商的注册和对客户端数据的处理实时改变，由各服务集群中的主服务商进行综合性能属性的计算和上送，具体计算过程包括：
①计算服务集群的安全性能：
Figure 973443DEST_PATH_IMAGE001
，其中，
Figure 167664DEST_PATH_IMAGE002
表示服务集群的安全性能；
Figure 834269DEST_PATH_IMAGE003
为服务集群中第i个授权服务的关键特征值，
Figure 444242DEST_PATH_IMAGE004
为服务集群中第i个授权服务的关键特征值的影响因子，i的取值为1到N，N为授权服务总量；
Figure 20848DEST_PATH_IMAGE005
服务集群中第j个拒绝服务的关键特征值，
Figure 792495DEST_PATH_IMAGE006
为服务集群中第j个拒绝服务的关键特征值的影响因子，j的取值为1到M，M为拒绝服务总量。
②计算服务集群的数据处理能力；
Figure 211975DEST_PATH_IMAGE007
，其中，
Figure 360059DEST_PATH_IMAGE008
表示服务集群的数据处理能力，
Figure 40439DEST_PATH_IMAGE009
表示服务集群中第k个服务商使用频率，
Figure 982988DEST_PATH_IMAGE010
表示第k个服务商的数据处理速率，
Figure 420922DEST_PATH_IMAGE011
为第k个服务商任务处理平均时长，k的取值为1到K，K为服务集群下的服务商总数。
③计算服务集群的数据存储能力：
Figure 310381DEST_PATH_IMAGE012
，其中，
Figure 782950DEST_PATH_IMAGE013
为服务集群的数据存储能力，
Figure 975028DEST_PATH_IMAGE014
为第k个服务商剩余存储空间，
Figure 165838DEST_PATH_IMAGE015
为第k个服务商的总存储量。
④计算服务集群的综合性能属性：
Figure 390146DEST_PATH_IMAGE016
，其中，
Figure 920485DEST_PATH_IMAGE017
表示服务集群的综合性能属性，
Figure 470415DEST_PATH_IMAGE018
表示安全性能对综合性能属性的影响权重，
Figure 945258DEST_PATH_IMAGE019
表示数据处理能力对综合性能属性的影响权重，
Figure 238837DEST_PATH_IMAGE020
表示数据存储能力对综合性能属性的影响权重。
步骤130、云平台根据接收到的客户端实时数据属性和各服务集群的综合性能属性，选择相匹配的服务集群；
云平台在接收到客户端上传的实时数据之后，根据实时数据通过公式
Figure 623681DEST_PATH_IMAGE021
计算在T时间段内接收到的客户端实时数据的属性值，其中，
Figure 78934DEST_PATH_IMAGE022
表示T时间段内接收到的客户端实时数据的属性值，
Figure 244336DEST_PATH_IMAGE023
为客户端实时数据的第r种特征值，包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长，
Figure 889075DEST_PATH_IMAGE024
为客户端实时数据的第r种特征值的影响权重，r的取值为1到R，R为客户端实时数据种类。
比较客户端实时数据属性和各服务集群的综合性能属性，按综合性能属性排序，选择最接近且高于实时数据属性的综合性能属性，相对应的服务集群即为本时段处理客户端实时数据的服务集群。
步骤140、云平台将客户端实时数据发送给服务集群；
其中，服务集群根据云平台分配的客户端实时数据进行分布式处理，发送给当前处于空闲状态的服务商，并在各服务商返回处理结果后，将处理结果返回给云平台。
实施例二
如图2所示，本发明实施例二提供一种基于大数据的数据处理系统2，包括N个客户端21和一个云平台22；所述客户端21用于采集实时数据，例如，采集各网站节点数据，包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长。所述云平台22具体包括：
数据接收模块221，用于接收N个客户端上传的实时数据；
综合性能属性获取模块222，用于获取各服务集群的综合性能属性；云平台包括M个数据服务集群，每个数据服务集群具有各自的集群属性，例如数据服务集群A安全性能高，数据服务集群B数据处理能力高，数据服务集群C数据存储能力高。每个数据服务集群下包含多个数据服务商，每个数据服务集群下的数据服务商可以注册，当某一服务商要注册加入云平台时，由云平台依据其属性选择加入对应的数据服务集群，该数据服务集群的整体性能属性随着新服务商的加入重新评估。
其中，各服务集群中设置一个主服务商，由主服务商计算各服务集群的综合性能属性。主服务商计算各服务集群的综合性能属性，具体包括：
计算服务集群的安全性能：
Figure 190743DEST_PATH_IMAGE001
，其中，
Figure 20159DEST_PATH_IMAGE002
表示服务集群的安全性能；
Figure 407278DEST_PATH_IMAGE003
为服务集群中第i个授权服务的关键特征值，
Figure 104975DEST_PATH_IMAGE004
为服务集群中第i个授权服务的关键特征值的影响因子，i的取值为1到N，N为授权服务总量；
Figure 526730DEST_PATH_IMAGE005
服务集群中第j个拒绝服务的关键特征值，
Figure 323784DEST_PATH_IMAGE006
为服务集群中第j个拒绝服务的关键特征值的影响因子，j的取值为1到M，M为拒绝服务总量。
计算服务集群的数据处理能力；
Figure 135882DEST_PATH_IMAGE025
，其中，
Figure 309375DEST_PATH_IMAGE008
表示服务集群的数据处理能力，
Figure 395755DEST_PATH_IMAGE009
表示服务集群中第k个服务商使用频率，
Figure 629290DEST_PATH_IMAGE010
表示第k个服务商的数据处理速率，
Figure 928685DEST_PATH_IMAGE011
为第k个服务商任务处理平均时长，k的取值为1到K，K为服务集群下的服务商总数。
计算服务集群的数据存储能力：
Figure 905868DEST_PATH_IMAGE026
，其中，
Figure 364531DEST_PATH_IMAGE013
为服务集群的数据存储能力，
Figure 503388DEST_PATH_IMAGE014
为第k个服务商剩余存储空间，
Figure 86816DEST_PATH_IMAGE015
为第k个服务商的总存储量。
根据安全性能、数据处理能力和数据存储能力计算服务集群的综合性能属性：
Figure 805374DEST_PATH_IMAGE027
，其中，
Figure 56226DEST_PATH_IMAGE017
表示服务集群的综合性能属性，
Figure 444614DEST_PATH_IMAGE018
表示安全性能对综合性能属性的影响权重，
Figure 515338DEST_PATH_IMAGE019
表示数据处理能力对综合性能属性的影响权重，
Figure 772007DEST_PATH_IMAGE020
表示数据存储能力对综合性能属性的影响权重。
相匹配服务集群选择模块223，用于根据接收到的客户端实时数据属性和各服务集群的综合性能属性，选择相匹配的服务集群；
云平台在接收到客户端上传的实时数据之后，根据实时数据通过公式
Figure 611787DEST_PATH_IMAGE028
计算在T时间段内接收到的客户端实时数据的属性值，其中，
Figure 685922DEST_PATH_IMAGE022
表示T时间段内接收到的客户端实时数据的属性值，
Figure 243942DEST_PATH_IMAGE023
为客户端实时数据的第r种特征值，包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长，
Figure 101040DEST_PATH_IMAGE024
为客户端实时数据的第r种特征值的影响权重，r的取值为1到R，R为客户端实时数据种类。
比较客户端实时数据属性和各服务集群的综合性能属性，按综合性能属性排序，选择最接近且高于实时数据属性的综合性能属性，相对应的服务集群即为本时段处理客户端实时数据的服务集群。
数据发送模块224，用于将客户端实时数据发送给相匹配的服务集群。其中，服务集群根据云平台分配的客户端实时数据进行分布式处理，发送给当前处于空闲状态的服务商，并在各服务商返回处理结果后，将处理结果返回给云平台。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (6)

1.一种基于大数据的数据处理方法，其特征在于，包括：
云平台接收各客户端上传的实时数据；
云平台获取各服务集群的综合性能属性；
云平台根据接收到的客户端实时数据属性和各服务集群的综合性能属性，选择相匹配的服务集群；
云平台将客户端实时数据发送给相匹配的服务集群；
各服务集群中设置一个主服务商，由主服务商计算各服务集群的综合性能属性，主服务商计算各服务集群的综合性能属性，具体包括：
计算服务集群的安全性能：
Figure 760034DEST_PATH_IMAGE001
，其中，
Figure 834169DEST_PATH_IMAGE002
表示服务集群的安全性能；
Figure 861031DEST_PATH_IMAGE003
为服务集群中第i个授权服务的关键特征值，
Figure 186970DEST_PATH_IMAGE004
为服务集群中第i个授权服务的关键特征值的影响因子，i的取值为1到N，N为授权服务总量；
Figure 241776DEST_PATH_IMAGE005
服务集群中第j个拒绝服务的关键特征值，
Figure 362178DEST_PATH_IMAGE006
为服务集群中第j个拒绝服务的关键特征值的影响因子，j的取值为1到M，M为拒绝服务总量；
计算服务集群的数据处理能力；
Figure 141916DEST_PATH_IMAGE007
，其中，
Figure 396179DEST_PATH_IMAGE008
表示服务集群的数据处理能力，
Figure 413814DEST_PATH_IMAGE009
表示服务集群中第k个服务商使用频率，
Figure 95331DEST_PATH_IMAGE010
表示第k个服务商的数据处理速率，
Figure 96785DEST_PATH_IMAGE011
为第k个服务商任务处理平均时长，k的取值为1到K，K为服务集群下的服务商总数；
计算服务集群的数据存储能力：
Figure 764527DEST_PATH_IMAGE012
，其中，
Figure 761302DEST_PATH_IMAGE013
为服务集群的数据存储能力，
Figure 754665DEST_PATH_IMAGE014
为第k个服务商剩余存储空间，
Figure 243416DEST_PATH_IMAGE015
为第k个服务商的总存储量；
根据安全性能、数据处理能力和数据存储能力计算服务集群的综合性能属性：
Figure 75368DEST_PATH_IMAGE016
，其中，
Figure 67594DEST_PATH_IMAGE017
表示服务集群的综合性能属性，
Figure 356493DEST_PATH_IMAGE018
表示安全性能对综合性能属性的影响权重，
Figure 801381DEST_PATH_IMAGE019
表示数据处理能力对综合性能属性的影响权重，
Figure 76505DEST_PATH_IMAGE020
表示数据存储能力对综合性能属性的影响权重；
云平台在接收到客户端上传的实时数据之后，根据实时数据通过公式
Figure 579030DEST_PATH_IMAGE021
计算在T时间段内接收到的客户端实时数据的属性值，其中，
Figure 383038DEST_PATH_IMAGE022
表示T时间段内接收到的客户端实时数据的属性值，
Figure 846381DEST_PATH_IMAGE023
为客户端实时数据的第r种特征值，包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长，
Figure 518670DEST_PATH_IMAGE024
为客户端实时数据的第r种特征值的影响权重，r的取值为1到R，R为客户端实时数据种类；比较客户端实时数据属性和各服务集群的综合性能属性，按综合性能属性排序，选择最接近且高于实时数据属性的综合性能属性，相对应的服务集群即为本时段处理客户端实时数据的服务集群。
2.如权利要求1所述的一种基于大数据的数据处理方法，其特征在于，云平台包括
Figure 751069DEST_PATH_IMAGE025
个数据服务集群，每个数据服务集群具有各自的集群属性，每个数据服务集群下包含多个数据服务商，每个数据服务集群下的数据服务商能够注册，当某一服务商要注册加入云平台时，由云平台依据其属性选择加入对应的数据服务集群，该数据服务集群的整体性能属性随着新服务商的加入重新评估。
3.如权利要求1所述的一种基于大数据的数据处理方法，其特征在于，客户端负责采集实时数据，包括采集各网站节点数据，具体包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长。
4.一种基于大数据的数据处理系统，其特征在于，包括
Figure 991557DEST_PATH_IMAGE026
个客户端和一个云平台；所述客户端用于采集实时数据，所述云平台具体包括：
数据接收模块，用于接收
Figure 314434DEST_PATH_IMAGE026
个客户端上传的实时数据；
综合性能属性获取模块，用于获取各服务集群的综合性能属性；
相匹配服务集群选择模块，用于根据接收到的客户端实时数据属性和各服务集群的综合性能属性，选择相匹配的服务集群；
数据发送模块，用于将客户端实时数据发送给相匹配的服务集群；
各服务集群中设置一个主服务商，由主服务商计算各服务集群的综合性能属性，主服务商计算各服务集群的综合性能属性，具体包括：
计算服务集群的安全性能：
Figure 931360DEST_PATH_IMAGE001
，其中，
Figure 877319DEST_PATH_IMAGE002
表示服务集群的安全性能；
Figure 288709DEST_PATH_IMAGE003
为服务集群中第i个授权服务的关键特征值，
Figure 461064DEST_PATH_IMAGE004
为服务集群中第i个授权服务的关键特征值的影响因子，i的取值为1到N，N为授权服务总量；
Figure 475157DEST_PATH_IMAGE005
服务集群中第j个拒绝服务的关键特征值，
Figure 682147DEST_PATH_IMAGE006
为服务集群中第j个拒绝服务的关键特征值的影响因子，j的取值为1到M，M为拒绝服务总量；
计算服务集群的数据处理能力；
Figure 123493DEST_PATH_IMAGE007
，其中，
Figure 783144DEST_PATH_IMAGE008
表示服务集群的数据处理能力，
Figure 741873DEST_PATH_IMAGE009
表示服务集群中第k个服务商使用频率，
Figure 163889DEST_PATH_IMAGE010
表示第k个服务商的数据处理速率，
Figure 182661DEST_PATH_IMAGE011
为第k个服务商任务处理平均时长，k的取值为1到K，K为服务集群下的服务商总数；
计算服务集群的数据存储能力：
Figure 329608DEST_PATH_IMAGE012
，其中，
Figure 685503DEST_PATH_IMAGE013
为服务集群的数据存储能力，
Figure 335927DEST_PATH_IMAGE014
为第k个服务商剩余存储空间，
Figure 525600DEST_PATH_IMAGE015
为第k个服务商的总存储量；
根据安全性能、数据处理能力和数据存储能力计算服务集群的综合性能属性：
Figure 284478DEST_PATH_IMAGE016
，其中，
Figure 319430DEST_PATH_IMAGE017
表示服务集群的综合性能属性，
Figure 89940DEST_PATH_IMAGE018
表示安全性能对综合性能属性的影响权重，
Figure 575148DEST_PATH_IMAGE019
表示数据处理能力对综合性能属性的影响权重，
Figure 431108DEST_PATH_IMAGE020
表示数据存储能力对综合性能属性的影响权重；
云平台在接收到客户端上传的实时数据之后，根据实时数据通过公式
Figure 269751DEST_PATH_IMAGE021
计算在T时间段内接收到的客户端实时数据的属性值，其中，
Figure 520866DEST_PATH_IMAGE022
表示T时间段内接收到的客户端实时数据的属性值，
Figure 786763DEST_PATH_IMAGE023
为客户端实时数据的第r种特征值，包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长，
Figure 254653DEST_PATH_IMAGE024
为客户端实时数据的第r种特征值的影响权重，r的取值为1到R，R为客户端实时数据种类；比较客户端实时数据属性和各服务集群的综合性能属性，按综合性能属性排序，选择最接近且高于实时数据属性的综合性能属性，相对应的服务集群即为本时段处理客户端实时数据的服务集群。
5.如权利要求4所述的一种基于大数据的数据处理系统，其特征在于，云平台包括
Figure 896987DEST_PATH_IMAGE025
个数据服务集群，每个数据服务集群具有各自的集群属性，每个数据服务集群下包含多个数据服务商，每个数据服务集群下的数据服务商能够注册，当某一服务商要注册加入云平台时，由云平台依据其属性选择加入对应的数据服务集群，该数据服务集群的整体性能属性随着新服务商的加入重新评估。
6.如权利要求4所述的一种基于大数据的数据处理系统，其特征在于，客户端负责采集实时数据，包括采集各网站节点数据，具体包括节点安全等级、浏览量、访客数、IP数、跳出率和平均访问时长。
CN202211076149.9A 2022-09-05 2022-09-05 一种基于大数据的数据处理方法及系统 Active CN115174580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211076149.9A CN115174580B (zh) 2022-09-05 2022-09-05 一种基于大数据的数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211076149.9A CN115174580B (zh) 2022-09-05 2022-09-05 一种基于大数据的数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN115174580A CN115174580A (zh) 2022-10-11
CN115174580B true CN115174580B (zh) 2023-01-17

Family

ID=83481882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211076149.9A Active CN115174580B (zh) 2022-09-05 2022-09-05 一种基于大数据的数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN115174580B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115865518B (zh) * 2023-01-30 2023-05-16 天云融创数据科技（北京）有限公司 一种基于大数据的云平台数据处理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016231A (zh) * 2017-02-21 2017-08-04 广州七乐康药业连锁有限公司 一种基于云平台实现医疗数据计算的方法及系统
CN107241290A (zh) * 2016-03-28 2017-10-10 武汉花生壳科技有限公司 一种云平台客户端
EP3276919A1 (en) * 2016-07-26 2018-01-31 Schneider Electric IT Corporation Cloud assisted management of devices
CN107819876A (zh) * 2017-11-27 2018-03-20 北京旷视科技有限公司 一种基于云平台的数据处理方法及系统
CN109067600A (zh) * 2018-09-25 2018-12-21 郑州云海信息技术有限公司 一种私有云管理平台系统及其任务处理方法
CN114969470A (zh) * 2022-08-02 2022-08-30 北京宏数科技有限公司 一种基于大数据的决策方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104917772B (zh) * 2015-06-12 2017-12-08 深圳大学 一种云存储服务平台的访问控制系统的访问控制方法
CN105827744A (zh) * 2016-06-08 2016-08-03 四川新环佳科技发展有限公司 云存储平台的数据处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107241290A (zh) * 2016-03-28 2017-10-10 武汉花生壳科技有限公司 一种云平台客户端
EP3276919A1 (en) * 2016-07-26 2018-01-31 Schneider Electric IT Corporation Cloud assisted management of devices
CN107016231A (zh) * 2017-02-21 2017-08-04 广州七乐康药业连锁有限公司 一种基于云平台实现医疗数据计算的方法及系统
CN107819876A (zh) * 2017-11-27 2018-03-20 北京旷视科技有限公司 一种基于云平台的数据处理方法及系统
CN109067600A (zh) * 2018-09-25 2018-12-21 郑州云海信息技术有限公司 一种私有云管理平台系统及其任务处理方法
CN114969470A (zh) * 2022-08-02 2022-08-30 北京宏数科技有限公司 一种基于大数据的决策方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于政府人才云平台的申报审批系统研究与实现;彭炳江;《中国优秀硕士学位论文全文数据库信息科技辑》;20220515(第5期);全文 *
泛在电力物联网数据管理研究;胡方舟;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20210615(第6期);全文 *

Also Published As

Publication number Publication date
CN115174580A (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
Cao et al. Efficient top-k query calculation in distributed networks
US8396828B2 (en) Providing lightweight multidimensional online data storage for web service usage reporting
US7765216B2 (en) Multidimensional analysis tool for high dimensional data
CN104424229B (zh) 一种多维度拆分的计算方法及系统
US7353218B2 (en) Methods and apparatus for clustering evolving data streams through online and offline components
US9135630B2 (en) Systems and methods for large-scale link analysis
CN106250457B (zh) 大数据平台物化视图的查询处理方法及系统
US11151146B2 (en) System and method for multi-dimensional real time vector search and heuristics backed insight engine
Sampson et al. Surpassing the limit: Keyword clustering to improve Twitter sample coverage
CN115174580B (zh) 一种基于大数据的数据处理方法及系统
Budgaga et al. A framework for scalable real‐time anomaly detection over voluminous, geospatial data streams
CN115858168B (zh) 一种基于重要性排序的地球应用模型编排系统及其方法
CN116126901A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
US20110055229A1 (en) System and method for generating a valuation of revenue opportunity for a keyword from a valuation of online sessions on a website from user activities following a keyword search
CN109299089A (zh) 一种画像标签数据的计算及存储方法和计算及存储系统
CN112860810A (zh) 域名多重图嵌入表示方法、装置、电子设备及介质
Psallidas et al. Soc web: Efficient monitoring of social network activities
CN110019152A (zh) 一种大数据清洗方法
Chen et al. A user dependent web service QoS collaborative prediction approach using neighborhood regularized matrix factorization
CN114205424B (zh) 账单文件解压方法、装置、计算机设备和存储介质
Mamoulis et al. Optimization of spatial joins on mobile devices
CN114201535A (zh) 异常数据的检测方法、装置、计算机设备及存储介质
CN114840742A (zh) 用户画像构建装置、方法以及计算机可读介质
CN111708936A (zh) 基于相似性传播策略的Web服务推荐系统及方法
Wang et al. Global Path Link Prediction Method Based on Improved Resource Allocation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant