CN113568759B - 一种基于云计算的大数据处理方法及其系统 - Google Patents

一种基于云计算的大数据处理方法及其系统 Download PDF

Info

Publication number
CN113568759B
CN113568759B CN202111132815.1A CN202111132815A CN113568759B CN 113568759 B CN113568759 B CN 113568759B CN 202111132815 A CN202111132815 A CN 202111132815A CN 113568759 B CN113568759 B CN 113568759B
Authority
CN
China
Prior art keywords
data
sub
cloud computing
target data
follows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111132815.1A
Other languages
English (en)
Other versions
CN113568759A (zh
Inventor
石俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruizhi Technology Group Co ltd
Original Assignee
Ruizhi Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruizhi Technology Group Co ltd filed Critical Ruizhi Technology Group Co ltd
Priority to CN202111132815.1A priority Critical patent/CN113568759B/zh
Publication of CN113568759A publication Critical patent/CN113568759A/zh
Application granted granted Critical
Publication of CN113568759B publication Critical patent/CN113568759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing

Abstract

本申请公开了一种基于云计算的大数据处理方法及其系统，其中，基于云计算的大数据处理系统包括：大数据管理中心和云计算系统；云计算系统：用于接收并执行大数据管理中心发送的基础设置指令，向大数据管理中心发送设置成功信息；接收目标数据获取指令，对获取到的目标数据进行初始分析，获得多个子结果数据，将多个子结果数据发送至大数据管理中心；大数据管理中心：用于执行以下步骤：发送基础设置指令，接收设置成功信息；发送目标数据获取指令，接收多个子结果数据；对所有的子结果数据进行综合分析，获得校核数据，并存储。本申请具有能够快速对所需管理的资源的大数据进行获取和分析计算，便于对资源进行管理的技术效果。

Description

一种基于云计算的大数据处理方法及其系统
技术领域
本申请涉及计算机技术领域，尤其涉及一种基于云计算的大数据处理方法及其系统。
背景技术
资源管理是为了高效且有效的对资源进行分配和补给，但能表征资源当前状态的数据量十分庞大，且数据类型繁多。但当前对资源的管理方式一般仅根据当前资源的总量和当前资源的消耗量进行管理，并没有同时且快速的对用于表征资源当前状态的海量数据，以及用于表征资源历史状态的海量数据进行综合分析，从而及时预测出当前资源的增减、消耗或可向外补给量等变化状态。
此外，当前对资源进行管理的方式对表征资源当前状态的数据的获取和分析计算效率低，工作量大、不便于对资源进行全面管理。
发明内容
本申请的目的在于提供一种基于云计算的大数据处理方法及其系统，具有能够快速对所需管理的资源的大数据进行获取和分析计算，便于对资源进行管理的技术效果。
为达到上述目的，本申请提供一种基于云计算的大数据处理系统，包括：大数据管理中心和云计算系统；云计算系统：用于接收并执行大数据管理中心发送的基础设置指令，完成基础设置后，向大数据管理中心发送设置成功信息；接收目标数据获取指令，并对获取到的目标数据进行初始分析，获得多个子结果数据，并将多个子结果数据发送至大数据管理中心；大数据管理中心：用于执行以下步骤：发送基础设置指令，并接收设置成功信息，其中，基础设置指令至少包括：目标数据基础信息和目标数据计算规则；发送目标数据获取指令，并接收对目标数据进行初始分析后获得的多个子结果数据，其中，子结果数据至少包括：资源子总量和资源子变化量；对所有的子结果数据进行综合分析，获得校核数据，并存储，其中，校核数据包括：资源总量、资源增减率和可供给率。
如上的，其中，云计算系统包括一个主服务器和多个云计算服务器；其中，主服务器：用于接收到基础设备指令后，向所有的云计算服务器发送设备信息获取指令；接收设备信息；根据基础设置指令和设备信息，对每个云计算服务器进行基础信息设置，并将完成基础信息设置的云计算服务器作为云计算执行服务器；完成基础信息配置后，向大数据管理中心发送设置成功信息；接收大数据管理中心发送的目标数据获取指令，根据目标数据获取指令生成多个子获取指令，并将每个子获取指令发送至相应的云计算执行服务器；用于将所有的子结果数据发送至大数据管理中心；云计算服务器：用于接收并执行设备信息获取指令，将自身的设备信息发送至主服务器；接收并执行子获取指令，对获取的目标数据进行处理，生成子结果数据，并将子结果数据发送至主服务器。
如上的，其中，大数据管理中心包括：数据收发单元、数据处理单元和数据存储单元；其中，数据收发单元：用于发送基础设置指令，接收设置成功信息；发送目标数据获取指令，并接收多个子结果数据，将子结果数据发送至数据处理单元；数据处理单元：用于接收子结果数据，并对子结果数据进行综合分析，获得校核数据，并将校核数据发送至数据存储单元；数据存储单元：用于存储校核数据。
如上的，其中，数据处理单元包括：归类单元和分析单元；其中，归类单元：用于对所有的子结果数据进行归类分析，获得多个结果数据；分析单元：用于对每个结果数据进行综合分析，获得多个校核数据，并将多个校核数据发送至数据存储单元。
本申请还提供一种基于云计算的大数据处理方法，包括如下步骤：大数据管理中心发送基础设置指令，并接收设置成功信息，其中，基础设置指令至少包括：目标数据基础信息和目标数据计算规则；大数据管理中心发送目标数据获取指令，并接收对目标数据进行初始分析后获得的多个子结果数据，其中，子结果数据至少包括：资源子总量和资源子变化量；大数据管理中心对所有的子结果数据进行综合分析，获得校核数据，并存储，其中，校核数据包括：资源总量、资源增减率和可供给率。
如上的，其中，云计算系统接收到基础设置指令后，完成基础信息设置的子步骤如下：主服务器接收到基础设置指令后，向所有的云计算服务器发送设备信息获取指令，获取每个云计算服务器的设备信息；主服务器根据基础设置指令和设备信息，对每个云计算服务器进行基础信息设置，并将完成基础信息设置的云计算服务器作为云计算执行服务器；其中，基础信息包括：获取规则和计算规则；当所有云计算服务器均完成基础信息设置后，主服务器生成设置成功信息，并发送。
如上的，其中，大数据管理中心发送目标数据获取指令，并接收对目标数据进行初始分析后获得的多个子结果数据的子步骤如下：主服务器接收大数据管理中心发送的目标数据获取指令，其中，目标数据获取指令包括：多个目标数据的名称和多个目标数据的总数据量；主服务器根据目标数据获取指令生成多个子获取指令，并将每个子获取指令发送至相应的云计算执行服务器；主服务器接收云计算执行服务器对获取的目标数据进行处理后生成的子结果数据，并将所有的子结果数据发送至大数据管理中心。
如上的，其中，云计算执行服务器对获取的目标数据进行处理，生成的子结果数据的子步骤如下：云计算执行服务器接收并执行子获取指令，根据获取规则获取目标数据；云计算执行服务器根据计算规则对目标数据进行计算，获得子结果数据，并将子结果数据发送至主服务器。
如上的，其中，大数据管理中心对所有的子结果数据进行综合分析，获得校核数据的子步骤如下：大数据管理中心对所有的子结果数据进行归类分析，获得多个结果数据，其中，结果数据包括：资源子总量数组和资源子变化量数组；大数据管理中心对每个结果数据进行综合分析，获得多个校核数据，其中，校核数据包括：资源总量、资源增减率和可供给率。
如上的，其中，资源增减率的计算公式如下：
Figure 419933DEST_PATH_IMAGE001
；其中，
Figure 868232DEST_PATH_IMAGE002
为第
Figure 179128DEST_PATH_IMAGE003
种目标数据当前的资源增减率；
Figure 574337DEST_PATH_IMAGE004
为第
Figure 683982DEST_PATH_IMAGE005
个资源子总量，
Figure 240866DEST_PATH_IMAGE006
为第
Figure 304637DEST_PATH_IMAGE007
个资源子变化量，
Figure 237957DEST_PATH_IMAGE008
，其中，
Figure 703574DEST_PATH_IMAGE009
为第
Figure 696938DEST_PATH_IMAGE003
种目标数据所需云计算执行服务器的预设个数。
本申请具有能够快速对所需管理的资源的大数据进行获取和分析计算，便于对资源进行管理的技术效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为基于云计算的大数据处理系统一种实施例的结构示意图；
图2为基于云计算的大数据处理方法一种实施例的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如1图所示，本申请提供了一种基于云计算的大数据处理系统，包括：大数据管理中心110和云计算系统120。
云计算系统120：用于接收并执行大数据管理中心发送的基础设置指令，完成基础设置后，向大数据管理中心发送设置成功信息；接收目标数据获取指令，并对获取到的目标数据进行初始分析，获得多个子结果数据，并将多个子结果数据发送至大数据管理中心。
大数据管理中心110：用于执行以下步骤：
发送基础设置指令，并接收设置成功信息，其中，基础设置指令至少包括：目标数据基础信息和目标数据计算规则；
发送目标数据获取指令，并接收对目标数据进行初始分析后获得的多个子结果数据；
对所有的子结果数据进行综合分析，获得校核数据，并存储。
进一步的，云计算系统120包括一个主服务器和多个云计算服务器。
其中，主服务器：用于接收到基础设备指令后，向所有的云计算服务器发送设备信息获取指令；接收设备信息；根据基础设置指令和设备信息，对每个云计算服务器进行基础信息设置，并将完成基础信息设置的云计算服务器作为云计算执行服务器；完成基础信息配置后，向大数据管理中心发送设置成功信息；接收大数据管理中心发送的目标数据获取指令，根据目标数据获取指令生成多个子获取指令，并将每个子获取指令发送至相应的云计算执行服务器；用于将所有的子结果数据发送至大数据管理中心。
云计算服务器：用于接收并执行设备信息获取指令，将自身的设备信息发送至主服务器；接收并执行子获取指令，对获取的目标数据进行处理，生成子结果数据，并将子结果数据发送至主服务器。
进一步的，云计算系统120还包括优化服务器，优化服务器用于获取每种目标数据的所有的云计算执行服务器的运行信息，并对运行信息进行分析，获得优化参数。
进一步，优化参数的计算公式如下：
Figure 185688DEST_PATH_IMAGE010
；
其中，
Figure 719437DEST_PATH_IMAGE011
为第
Figure 977243DEST_PATH_IMAGE012
种目标数据的优化参数，
Figure 203825DEST_PATH_IMAGE013
，
Figure 179872DEST_PATH_IMAGE014
为需要获取的目标数据的种类总数；
Figure 251733DEST_PATH_IMAGE015
为获取数据的速率比重；
Figure 629625DEST_PATH_IMAGE016
为数据运算的速率比重；
Figure 761529DEST_PATH_IMAGE017
为第
Figure 224871DEST_PATH_IMAGE012
种目标数据的平均获取时间；
Figure 100423DEST_PATH_IMAGE018
为第
Figure 332821DEST_PATH_IMAGE012
种目标数据的云计算执行服务器的平均获取时间；
Figure 402671DEST_PATH_IMAGE019
为第
Figure 87730DEST_PATH_IMAGE012
种目标数据的获取时间；
Figure 766973DEST_PATH_IMAGE020
为第
Figure 119457DEST_PATH_IMAGE012
种目标数据的平均运算时间；
Figure 796426DEST_PATH_IMAGE021
为第
Figure 31098DEST_PATH_IMAGE012
种目标数据的云计算执行服务器的平均运算时间；
Figure 982874DEST_PATH_IMAGE022
为第
Figure 189864DEST_PATH_IMAGE012
种目标数据的运算时间；
Figure 100051DEST_PATH_IMAGE023
为第
Figure 759703DEST_PATH_IMAGE012
种目标数据的云计算执行服务器的数量。
进一步的，大数据管理中心110包括：数据收发单元、数据处理单元和数据存储单元。
其中，数据收发单元：用于发送基础设置指令，接收设置成功信息；发送目标数据获取指令，并接收多个子结果数据，将子结果数据发送至数据处理单元。
数据处理单元：用于接收子结果数据，并对子结果数据进行综合分析，获得校核数据，并将校核数据发送至数据存储单元。
数据存储单元：用于存储校核数据。
进一步的，数据处理单元包括：归类单元和分析单元。
其中，归类单元：用于对所有的子结果数据进行归类分析，获得多个结果数据。
分析单元：用于对每个结果数据进行综合分析，获得多个校核数据，并将多个校核数据发送至数据存储单元。
如2图所示，本申请提供一种基于云计算的大数据处理方法，包括如下步骤：
S210：大数据管理中心发送基础设置指令，并接收设置成功信息，其中，基础设置指令至少包括：目标数据基础信息和目标数据计算规则。
具体的，大数据管理中心向云计算系统发送基础设置指令，云计算系统接收并执行大数据管理中心发送的基础设置指令，完成基础信息设置后，向大数据管理中心发送设置成功信息。
其中，基础设置指令至少包括：目标数据基础信息和目标数据计算规则。目标数据基础信息中包括多个获取规则；目标数据计算规则中包括多个计算规则；获取规则和计算规则为一一对应的关系。
其中，获取规则包括：目标数据的名称、目标数据的种类、目标数据的数据类型和目标数据的大小。
具体的，目标数据为接收到目标数据获取指令后需要获取的资源的大数据。目标数据的名称为需要获取的资源的名称。目标数据的种类为需要获取的资源的种类。目标数据的数据类型为需要获取的资源的大数据的数据类型（例如：文本、图、表等数据类型）。目标数据的大小为需要获取的资源的大数据的最大数据量。
进一步的，云计算系统接收到基础设置指令后，完成基础信息设置的子步骤如下：
S2101：主服务器接收到基础设置指令后，向所有的云计算服务器发送设备信息获取指令，获取每个云计算服务器的设备信息。
具体的，云计算系统中的主服务器接收到基础设备指令后，向所有的云计算服务器发送设备信息获取指令。每个云计算服务器接收并执行设备信息获取指令，将自身的设备信息发送至主服务器。
其中，设备信息包括：存储能力和计算能力。具体的，存储能力表示云计算服务器对数据的最大存储容量。计算能力表示云计算服务器运行计算规则对数据进行计算的能力。
S2102：主服务器根据基础设置指令和设备信息，对每个云计算服务器进行基础信息设置，并将完成基础信息设置的云计算服务器作为云计算执行服务器；其中，基础信息包括：获取规则和计算规则。
具体的，主服务器根据基础设置指令和设备信息对每个云计算服务器进行分析，根据每个云计算服务器的设备信息从基础设置指令中选择适合该云计算服务器的获取规则和计算规则，将该获取规则和计算规则作为基础信息设置于该云计算服务器中，并将完成基础信息设置的云计算服务器作为云计算执行服务器。
进一步的，云计算服务器的总数为
Figure 780748DEST_PATH_IMAGE024
个，需要获取的目标数据的种类总数为
Figure 576666DEST_PATH_IMAGE025
种，每种目标数据的云计算执行服务器的总数为
Figure 657755DEST_PATH_IMAGE026
个，则
Figure 804702DEST_PATH_IMAGE027
；同种目标数据的云计算执行服务器设置的基础信息相同。
每个云计算执行服务器的获取规则仅获取一种目标数据，计算规则也只计算一种目标数据。
S2103：当所有云计算服务器均完成基础信息设置后，主服务器生成设置成功信息，并发送。
具体的，当所有的云计算服务器均完成基础信息设置后，主服务器生成设置成功信息，并将设置成功信息发送至大数据管理中心，执行S220。
S220：大数据管理中心发送目标数据获取指令，并接收对目标数据进行初始分析后获得的多个子结果数据。
进一步的，大数据管理中心发送目标数据获取指令，并接收对目标数据进行初始分析后获得的多个子结果数据的子步骤如下：
S2201：主服务器接收大数据管理中心发送的目标数据获取指令，其中，目标数据获取指令包括：多个目标数据的名称和多个目标数据的总数据量。
具体的，一个目标数据的名称对应一个目标数据的总数据量。
S2202：主服务器根据目标数据获取指令生成多个子获取指令，并将每个子获取指令发送至相应的云计算执行服务器。
具体的，主服务器根据目标数据获取指令中的多个目标数据的名称生成多个子获取指令，其中，一个目标数据的名称对应于一个子获取指令。主服务器生成所有的子获取指令后，将每个子获取指令发送至相应的云计算执行服务器。
进一步的，主服务器根据目标数据获取指令生成多个子获取指令，并将每个子获取指令发送至相应的云计算执行服务器的子步骤如下：
S22021：主服务器根据每种目标数据的获取规则对目标数据获取指令进行预分析，生成预分析结果，其中，预分析结果包括：每种目标数据的子获取指令的总个数。
具体的，根据每种目标数据的获取规则对目标数据获取指令中每种目标数据的总数据量进行预分析，若目标数据获取指令中每种目标数据的总数据量大于获取规则中的目标数据的大小，则计算获取该种目标数据需要选择的云计算执行服务器的预设个数
Figure 629439DEST_PATH_IMAGE028
，则第
Figure 545442DEST_PATH_IMAGE029
种目标数据的子获取指令的总个数为
Figure 30388DEST_PATH_IMAGE030
。
进一步，云计算执行服务器的预设个数的计算公式如下：
Figure 664631DEST_PATH_IMAGE031
；
其中，
Figure 27480DEST_PATH_IMAGE032
为第
Figure 63569DEST_PATH_IMAGE033
种目标数据所需云计算执行服务器的预设个数；
Figure 220881DEST_PATH_IMAGE034
为目标数据获取指令中第
Figure 608000DEST_PATH_IMAGE033
种目标数据的总数据；
Figure 508960DEST_PATH_IMAGE035
为第
Figure 399555DEST_PATH_IMAGE033
种目标数据的获取规则中的目标数据的大小；
Figure 931031DEST_PATH_IMAGE036
，
Figure 336604DEST_PATH_IMAGE037
为需要获取的目标数据的种类总数。
S22022：主服务器根据预分析结果生成子获取指令，并将子获取指令发送至相应的云计算执行服务器。
具体的，主服务器根据预分析结果生成子获取指令，第
Figure 244517DEST_PATH_IMAGE033
种目标数据的子获取指令的总个数为
Figure 51936DEST_PATH_IMAGE038
，根据每种目标数据的云计算执行服务器的总数
Figure 19892DEST_PATH_IMAGE039
对第
Figure 850445DEST_PATH_IMAGE033
种目标数据的子获取指令的总个数为
Figure 93208DEST_PATH_IMAGE038
进行判断。若
Figure 755133DEST_PATH_IMAGE040
，则第
Figure 628411DEST_PATH_IMAGE033
种目标数据的
Figure 211839DEST_PATH_IMAGE039
个云计算执行服务器均接收并执行子获取指令，若
Figure 759758DEST_PATH_IMAGE041
，则每个云计算执行服务器均只接收并执行一个子获取指令；若
Figure 479452DEST_PATH_IMAGE042
，则
Figure 585948DEST_PATH_IMAGE043
个云计算执行服务器中的一个或多个云计算执行服务器接收并执行一个或多个子获取指令，例如：若
Figure 656672DEST_PATH_IMAGE044
，
Figure 444500DEST_PATH_IMAGE045
，则5个云计算执行服务器中的3个接收并执行2个子获取指令，另外2个云计算执行服务器接收并执行1个子获取指令；若
Figure 81017DEST_PATH_IMAGE046
，
Figure 296098DEST_PATH_IMAGE047
，则5个云计算执行服务器中的4个接收并执行2个子获取指令，另外1个云计算执行服务器接收并执行3个子获取指令。若一个云计算执行服务器接收到多个子获取指令，则先执行完上一个子获取指令后(即执行完获取数据，对数据进行计算，生成子结果数据，并将子结果数据发送至主服务器这一整个过程)，再执行下一个子获取指令。若预设个数
Figure 385277DEST_PATH_IMAGE048
，则从
Figure 976795DEST_PATH_IMAGE039
个云计算执行服务器中选择
Figure 671082DEST_PATH_IMAGE038
个云计算执行服务器接收并执行子获取数据。
S2203：主服务器接收云计算执行服务器对获取的目标数据进行处理后生成的子结果数据，并将所有的子结果数据发送至大数据管理中心；其中，子结果数据至少包括：资源子总量和资源子变化量。
进一步的，云计算执行服务器对获取的目标数据进行处理，生成的子结果数据的子步骤如下：
S22031：云计算执行服务器接收并执行子获取指令，根据获取规则获取目标数据。
具体的，云计算执行服务器接收到子获取指令后，根据云计算执行服务器内设置的获取规则获取目标数据，获得目标数据后，执行S22032。
S22032：云计算执行服务器根据计算规则对目标数据进行计算，获得子结果数据，并将子结果数据发送至主服务器。
具体的，云计算执行服务器根据云计算执行服务器内设置的计算规则对目标数据进行计算，获得子结果数据，并将子结果数据发送至主服务器。主服务器接收到所有的子结果数据后，将所有的子结果数据发送至大数据管理中心，执行S230。
其中，子结果数据至少包括：资源子总量和资源子变化量。
具体的，资源子总量表示云计算执行服务器获取并计算的目标数据中当前所包含的资源的总量。资源子变化量表示云计算执行服务器获取并计算的目标数据中当前所包含的资源的总量与上一次所包含的资源的总量的差值。
S230：大数据管理中心对所有的子结果数据进行综合分析，获得校核数据，并存储。
进一步的，大数据管理中心对所有的子结果数据进行综合分析，获得校核数据的子步骤如下：
S2301：大数据管理中心对所有的子结果数据进行归类分析，获得多个结果数据，其中，结果数据包括：资源子总量数组和资源子变化量数组。
具体的，大数据管理中心接收到主服务器发送的所有的子结果数据后，对所有的子结果数据进行归类，将同一种目标数据的所有资源子总量归为同类，并将同一种目标数据的所有资源子总量存入资源子总量数组内。将同一种目标数据的所有资源子变化量归为同类，并将同一种目标数据的所有资源子变化量存入资源子变化量数组内，即获得
Figure 119381DEST_PATH_IMAGE049
个资源子总量数组和
Figure 899118DEST_PATH_IMAGE049
个资源子变化量数组。
S2302：大数据管理中心对每个结果数据进行综合分析，获得多个校核数据，其中，校核数据包括：资源总量、资源增减率和可供给率。
具体的，大数据管理中心对每个结果数据进行综合分析，获得多个校核数据，并将所有的校核数据发送至数据存储单元存储。
进一步的，资源总量的计算公式如下：
Figure 91065DEST_PATH_IMAGE050
；
其中，
Figure 374278DEST_PATH_IMAGE051
为第
Figure 462320DEST_PATH_IMAGE052
种目标数据当前的资源总量；
Figure 526091DEST_PATH_IMAGE053
为第
Figure 459412DEST_PATH_IMAGE054
个资源子总量，
Figure 659449DEST_PATH_IMAGE055
，其中，
Figure 918392DEST_PATH_IMAGE056
为第
Figure 407142DEST_PATH_IMAGE052
种目标数据所需云计算执行服务器的预设个数。
进一步的，资源增减率的计算公式如下：
Figure 439427DEST_PATH_IMAGE057
；
其中，
Figure 697233DEST_PATH_IMAGE058
为第
Figure 923815DEST_PATH_IMAGE052
种目标数据当前的资源增减率；
Figure 634282DEST_PATH_IMAGE059
为第
Figure 971723DEST_PATH_IMAGE060
个资源子总量，
Figure 615194DEST_PATH_IMAGE061
为第
Figure 684781DEST_PATH_IMAGE060
个资源子变化量，
Figure 210440DEST_PATH_IMAGE062
，其中，
Figure 23675DEST_PATH_IMAGE063
为第
Figure 318390DEST_PATH_IMAGE052
种目标数据所需云计算执行服务器的预设个数。
进一步的，可供给率的计算公式如下：
Figure 824458DEST_PATH_IMAGE064
；
其中，
Figure 775096DEST_PATH_IMAGE065
为第
Figure 454340DEST_PATH_IMAGE052
种目标数据当前的可供给率；
Figure 541244DEST_PATH_IMAGE066
为第
Figure 280530DEST_PATH_IMAGE052
种目标数据上一次的资源总量；
Figure 718465DEST_PATH_IMAGE067
为历史内耗率；
Figure 873502DEST_PATH_IMAGE068
为第
Figure 142810DEST_PATH_IMAGE060
个资源子总量，
Figure 725101DEST_PATH_IMAGE069
为第
Figure 948534DEST_PATH_IMAGE060
个资源子变化量，
Figure 172842DEST_PATH_IMAGE070
，其中，
Figure 234339DEST_PATH_IMAGE071
为第
Figure 315427DEST_PATH_IMAGE052
种目标数据所需云计算执行服务器的预设个数。
具体的，
Figure 462375DEST_PATH_IMAGE072
为第
Figure 21532DEST_PATH_IMAGE052
种目标数据上一次的资源总量，即本次获取目标数据前一次获取目标数据的资源总量。
Figure 203115DEST_PATH_IMAGE073
为历史内耗率，表示分析本次获取目标数据之前的目标数据所获得的表征不可向外供给的资源的消耗速率。
本申请具有能够快速对所需管理的资源的大数据进行获取和分析计算，便于对资源进行管理的技术效果。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，本申请的保护范围意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请保护范围及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种基于云计算的大数据处理系统，其特征在于，包括：大数据管理中心和云计算系统；
云计算系统：用于接收并执行大数据管理中心发送的基础设置指令，完成基础设置后，向大数据管理中心发送设置成功信息；接收目标数据获取指令，并对获取到的目标数据进行初始分析，获得多个子结果数据，并将多个子结果数据发送至大数据管理中心；
大数据管理中心：用于执行以下步骤：
发送基础设置指令，并接收设置成功信息，其中，基础设置指令至少包括：目标数据基础信息和目标数据计算规则；
发送目标数据获取指令，并接收对目标数据进行初始分析后获得的多个子结果数据，其中，子结果数据至少包括：资源子总量和资源子变化量；
对所有的子结果数据进行综合分析，获得校核数据，并存储，其中，校核数据包括：资源总量、资源增减率和可供给率；
其中，可供给率的计算公式如下：
Figure 869106DEST_PATH_IMAGE001
；
其中，
Figure 989509DEST_PATH_IMAGE002
为第
Figure 34826DEST_PATH_IMAGE003
种目标数据当前的可供给率；
Figure 898876DEST_PATH_IMAGE004
为第
Figure 916511DEST_PATH_IMAGE003
种目标数据上一次的资源总量；
Figure 4553DEST_PATH_IMAGE005
为历史内耗率；
Figure 474848DEST_PATH_IMAGE006
为第
Figure 939328DEST_PATH_IMAGE007
个资源子总量，
Figure 811469DEST_PATH_IMAGE008
为第
Figure 70412DEST_PATH_IMAGE007
个资源子变化量，
Figure 792118DEST_PATH_IMAGE009
，其中，
Figure 732392DEST_PATH_IMAGE010
为第
Figure 724619DEST_PATH_IMAGE003
种目标数据所需云计算执行服务器的预设个数；
其中，云计算系统包括一个主服务器和多个云计算服务器；主服务器：用于接收到基础设备指令后，向所有的云计算服务器发送设备信息获取指令；接收设备信息；根据基础设置指令和设备信息，对每个云计算服务器进行基础信息设置，并将完成基础信息设置的云计算服务器作为云计算执行服务器；完成基础信息配置后，向大数据管理中心发送设置成功信息；接收大数据管理中心发送的目标数据获取指令，根据目标数据获取指令生成多个子获取指令，并将每个子获取指令发送至相应的云计算执行服务器；用于将所有的子结果数据发送至大数据管理中心；云计算服务器：用于接收并执行设备信息获取指令，将自身的设备信息发送至主服务器；接收并执行子获取指令，对获取的目标数据进行处理，生成子结果数据，并将子结果数据发送至主服务器；
其中，云计算系统还包括优化服务器，优化服务器用于获取每种目标数据的所有的云计算执行服务器的运行信息，并对运行信息进行分析，获得优化参数；优化参数的计算公式如下：
Figure 420042DEST_PATH_IMAGE011
；
其中，
Figure 864930DEST_PATH_IMAGE012
为第
Figure 874475DEST_PATH_IMAGE013
种目标数据的优化参数，
Figure 721208DEST_PATH_IMAGE014
，G为需要获取的目标数据的种类总数；
Figure 321953DEST_PATH_IMAGE015
为获取数据的速率比重；
Figure 254137DEST_PATH_IMAGE016
为数据运算的速率比重；
Figure 598531DEST_PATH_IMAGE017
为第
Figure 299771DEST_PATH_IMAGE013
种目标数据的平均获取时间；
Figure 336997DEST_PATH_IMAGE018
为第
Figure 255012DEST_PATH_IMAGE013
种目标数据的云计算执行服务器的平均获取时间；
Figure 340780DEST_PATH_IMAGE019
为第
Figure 958843DEST_PATH_IMAGE013
种目标数据的获取时间；
Figure 104653DEST_PATH_IMAGE020
为第
Figure 808167DEST_PATH_IMAGE013
种目标数据的平均运算时间；
Figure 432047DEST_PATH_IMAGE021
为第
Figure 170196DEST_PATH_IMAGE013
种目标数据的云计算执行服务器的平均运算时间；
Figure 486907DEST_PATH_IMAGE022
为第
Figure 880980DEST_PATH_IMAGE013
种目标数据的运算时间；
Figure 370867DEST_PATH_IMAGE023
为第
Figure 635626DEST_PATH_IMAGE013
种目标数据的云计算执行服务器的数量。
2.根据权利要求1所述的基于云计算的大数据处理系统，其特征在于，大数据管理中心包括：数据收发单元、数据处理单元和数据存储单元；
其中，数据收发单元：用于发送基础设置指令，接收设置成功信息；发送目标数据获取指令，并接收多个子结果数据，将子结果数据发送至数据处理单元；
数据处理单元：用于接收子结果数据，并对子结果数据进行综合分析，获得校核数据，并将校核数据发送至数据存储单元；
数据存储单元：用于存储校核数据。
3.根据权利要求2所述的基于云计算的大数据处理系统，其特征在于，数据处理单元包括：归类单元和分析单元；
其中，归类单元：用于对所有的子结果数据进行归类分析，获得多个结果数据；
分析单元：用于对每个结果数据进行综合分析，获得多个校核数据，并将多个校核数据发送至数据存储单元。
4.一种基于云计算的大数据处理方法，其特征在于，包括如下步骤：
大数据管理中心向云计算系统发送基础设置指令，并接收云计算系统执行基础设置指令后发送的设置成功信息，其中，基础设置指令至少包括：目标数据基础信息和目标数据计算规则；
大数据管理中心向云计算系统发送目标数据获取指令，并接收云计算系统执行目标数据获取指令后对获得的目标数据进行初始分析后获得的多个子结果数据，其中，子结果数据至少包括：资源子总量和资源子变化量；
大数据管理中心对所有的子结果数据进行综合分析，获得校核数据，并存储，其中，校核数据包括：资源总量、资源增减率和可供给率；
其中，可供给率的计算公式如下：
Figure 185556DEST_PATH_IMAGE024
；
其中，
Figure 66924DEST_PATH_IMAGE025
为第
Figure 796721DEST_PATH_IMAGE026
种目标数据当前的可供给率；
Figure 243883DEST_PATH_IMAGE027
为第
Figure 902397DEST_PATH_IMAGE026
种目标数据上一次的资源总量；
Figure 5482DEST_PATH_IMAGE028
为历史内耗率；
Figure 837172DEST_PATH_IMAGE029
为第
Figure 342103DEST_PATH_IMAGE030
个资源子总量，
Figure 968256DEST_PATH_IMAGE031
为第
Figure 558637DEST_PATH_IMAGE030
个资源子变化量，
Figure 397280DEST_PATH_IMAGE032
，其中，
Figure 553455DEST_PATH_IMAGE033
为第
Figure 553772DEST_PATH_IMAGE026
种目标数据所需云计算执行服务器的预设个数；
其中，云计算系统包括一个主服务器和多个云计算服务器；主服务器：用于接收到基础设备指令后，向所有的云计算服务器发送设备信息获取指令；接收设备信息；根据基础设置指令和设备信息，对每个云计算服务器进行基础信息设置，并将完成基础信息设置的云计算服务器作为云计算执行服务器；完成基础信息配置后，向大数据管理中心发送设置成功信息；接收大数据管理中心发送的目标数据获取指令，根据目标数据获取指令生成多个子获取指令，并将每个子获取指令发送至相应的云计算执行服务器；用于将所有的子结果数据发送至大数据管理中心；云计算服务器：用于接收并执行设备信息获取指令，将自身的设备信息发送至主服务器；接收并执行子获取指令，对获取的目标数据进行处理，生成子结果数据，并将子结果数据发送至主服务器；
其中，云计算系统还包括优化服务器，优化服务器用于获取每种目标数据的所有的云计算执行服务器的运行信息，并对运行信息进行分析，获得优化参数；优化参数的计算公式如下：
Figure 428187DEST_PATH_IMAGE034
；
其中，
Figure 804942DEST_PATH_IMAGE035
为第
Figure 81203DEST_PATH_IMAGE036
种目标数据的优化参数，
Figure 745097DEST_PATH_IMAGE037
，G为需要获取的目标数据的种类总数；
Figure 310070DEST_PATH_IMAGE038
为获取数据的速率比重；
Figure 287254DEST_PATH_IMAGE039
为数据运算的速率比重；
Figure 355704DEST_PATH_IMAGE040
为第
Figure 760140DEST_PATH_IMAGE036
种目标数据的平均获取时间；
Figure 546831DEST_PATH_IMAGE041
为第
Figure 62126DEST_PATH_IMAGE036
种目标数据的云计算执行服务器的平均获取时间；
Figure 250662DEST_PATH_IMAGE042
为第
Figure 825999DEST_PATH_IMAGE036
种目标数据的获取时间；
Figure 365565DEST_PATH_IMAGE043
为第
Figure 887813DEST_PATH_IMAGE036
种目标数据的平均运算时间；
Figure 930856DEST_PATH_IMAGE044
为第
Figure 677095DEST_PATH_IMAGE045
种目标数据的云计算执行服务器的平均运算时间；
Figure 936913DEST_PATH_IMAGE046
为第
Figure 997272DEST_PATH_IMAGE047
种目标数据的运算时间；
Figure 957138DEST_PATH_IMAGE048
为第
Figure 811962DEST_PATH_IMAGE047
种目标数据的云计算执行服务器的数量。
5.根据权利要求4所述的基于云计算的大数据处理方法，其特征在于，云计算系统接收到基础设置指令后，完成基础信息设置的子步骤如下：
主服务器接收到基础设置指令后，向所有的云计算服务器发送设备信息获取指令，获取每个云计算服务器的设备信息；
主服务器根据基础设置指令和设备信息，对每个云计算服务器进行基础信息设置，并将完成基础信息设置的云计算服务器作为云计算执行服务器；其中，基础信息包括：获取规则和计算规则；
当所有云计算服务器均完成基础信息设置后，主服务器生成设置成功信息，并发送。
6.根据权利要求4所述的基于云计算的大数据处理方法，其特征在于，大数据管理中心发送目标数据获取指令，并接收对目标数据进行初始分析后获得的多个子结果数据的子步骤如下：
主服务器接收大数据管理中心发送的目标数据获取指令，其中，目标数据获取指令包括：多个目标数据的名称和多个目标数据的总数据量；
主服务器根据目标数据获取指令生成多个子获取指令，并将每个子获取指令发送至相应的云计算执行服务器；
主服务器接收云计算执行服务器对获取的目标数据进行处理后生成的子结果数据，并将所有的子结果数据发送至大数据管理中心。
7.根据权利要求6所述的基于云计算的大数据处理方法，其特征在于，云计算执行服务器对获取的目标数据进行处理，生成的子结果数据的子步骤如下：
云计算执行服务器接收并执行子获取指令，根据获取规则获取目标数据；
云计算执行服务器根据计算规则对目标数据进行计算，获得子结果数据，并将子结果数据发送至主服务器。
8.根据权利要求4所述的基于云计算的大数据处理方法，其特征在于，大数据管理中心对所有的子结果数据进行综合分析，获得校核数据的子步骤如下：
大数据管理中心对所有的子结果数据进行归类分析，获得多个结果数据，其中，结果数据包括：资源子总量数组和资源子变化量数组；
大数据管理中心对每个结果数据进行综合分析，获得多个校核数据，其中，校核数据包括：资源总量、资源增减率和可供给率。
9.根据权利要求8所述的基于云计算的大数据处理方法，其特征在于，资源增减率的计算公式如下：
Figure 122857DEST_PATH_IMAGE049
；
其中，
Figure 721329DEST_PATH_IMAGE050
为第
Figure 738964DEST_PATH_IMAGE051
种目标数据当前的资源增减率；
Figure 92584DEST_PATH_IMAGE052
为第
Figure 562880DEST_PATH_IMAGE053
个资源子总量，
Figure 27359DEST_PATH_IMAGE054
为第
Figure 633921DEST_PATH_IMAGE053
个资源子变化量，
Figure 158444DEST_PATH_IMAGE055
，其中，
Figure 116035DEST_PATH_IMAGE056
为第
Figure 118626DEST_PATH_IMAGE051
种目标数据所需云计算执行服务器的预设个数。
CN202111132815.1A 2021-09-27 2021-09-27 一种基于云计算的大数据处理方法及其系统 Active CN113568759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111132815.1A CN113568759B (zh) 2021-09-27 2021-09-27 一种基于云计算的大数据处理方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111132815.1A CN113568759B (zh) 2021-09-27 2021-09-27 一种基于云计算的大数据处理方法及其系统

Publications (2)

Publication Number Publication Date
CN113568759A CN113568759A (zh) 2021-10-29
CN113568759B true CN113568759B (zh) 2022-02-22

Family

ID=78174762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111132815.1A Active CN113568759B (zh) 2021-09-27 2021-09-27 一种基于云计算的大数据处理方法及其系统

Country Status (1)

Country Link
CN (1) CN113568759B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114528112B (zh) * 2022-04-25 2022-07-29 睿至科技集团有限公司 一种基于云计算的大数据信息分析方法及系统
CN114840770A (zh) * 2022-07-04 2022-08-02 睿至科技集团有限公司 一种基于大数据的管理方法及其系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8972578B2 (en) * 2011-12-16 2015-03-03 Microsoft Corporation Master data management system for monitoring cloud computing
CN104038392A (zh) * 2014-07-04 2014-09-10 云南电网公司 一种云计算资源服务质量评估方法
CN107608795A (zh) * 2017-09-19 2018-01-19 百度在线网络技术（北京）有限公司 云计算方法和装置
CN110266533A (zh) * 2019-06-18 2019-09-20 湖南晖龙集团股份有限公司 大数据平台管理系统
CN111491006B (zh) * 2020-03-03 2021-11-02 天津大学 负载感知的云计算资源弹性分配系统及方法
CN111459617B (zh) * 2020-04-03 2023-07-11 南方电网科学研究院有限责任公司 基于云平台的容器化应用自动分配优化系统及其方法
CN111541567A (zh) * 2020-04-22 2020-08-14 彭小雪 一种人工智能云计算大数据管理系统及方法
CN112380006A (zh) * 2020-11-10 2021-02-19 深圳供电局有限公司 一种数据中心资源分配方法及装置
CN113010576A (zh) * 2021-03-19 2021-06-22 中国建设银行股份有限公司 云计算系统容量评估的方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN113568759A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
US10841241B2 (en) Intelligent placement within a data center
CN104317658B (zh) 一种基于MapReduce的负载自适应任务调度方法
CN104038540B (zh) 一种应用代理服务器自动选择方法及系统
CN113568759B (zh) 一种基于云计算的大数据处理方法及其系统
CN109213597A (zh) 资源分配方法、装置、计算机设备及计算机可读存储介质
CN109981744B (zh) 数据的分发方法、装置、存储介质及电子设备
CN113037877B (zh) 云边端架构下时空数据及资源调度的优化方法
CN105718364A (zh) 一种云计算平台中计算资源能力动态评估方法
Janus et al. SLO-aware colocation of data center tasks based on instantaneous processor requirements
CN105607952B (zh) 一种虚拟化资源的调度方法及装置
CN102799512A (zh) 一种基于向量自回归的云计算中虚拟机监控方法
CN110502323B (zh) 一种云计算任务实时调度方法
CN107562532B (zh) 一种预测设备集群的硬件资源利用率的方法及装置
CN108132840A (zh) 一种分布式系统中的资源调度方法及装置
CN110796591B (zh) 一种gpu卡的使用方法及相关设备
CN108833592A (zh) 云主机调度器优化方法、装置、设备及存储介质
CN107370783B (zh) 一种云计算集群资源的调度方法及装置
CN107844496B (zh) 统计信息输出方法及装置
CN117311973A (zh) 计算设备调度方法、装置、非易失性存储介质及电子设备
US20200314019A1 (en) Managing bandwidth based on user behavior
CN109840308B (zh) 一种区域风电功率概率预报方法及系统
Ismaeel et al. A systematic cloud workload clustering technique in large scale data centers
CN115952054A (zh) 一种仿真任务资源管理方法、装置、设备及介质
CN111598390B (zh) 服务器高可用性评估方法、装置、设备和可读存储介质
CN115037665A (zh) 设备测试方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant