CN108804378A - 一种计算机数据处理方法及系统 - Google Patents

Abstract

本发明提供了一种计算机数据处理方法，包括一台主计算机和多台子计算机，所述计算机数据处理方法包括：获取所述主计算机和每台所述子计算机的配置信息，所述配置信息包括处理数据的时间周期及数据运算速率；根据获取到的所述配置信息对所述子计算机进行分组；接收所述主计算机发送的采集指令，所述采集指令包括目标数据容量及目标数据处理预期值；通过所述采集指令按照分组选择具有最优的所述配置信息的运行子计算机进行目标数据的处理；将处理后的所述目标数据返回至所述主计算机。通过本发明的技术方案，提高了计算机处理数据的计算效率，降低了资源的浪费。

Description

一种计算机数据处理方法及系统

技术领域

本发明涉及计算机计算的技术领域，具体而言，涉及一种计算机数据处理方法及一种计算机数据处理系统。

背景技术

随着技术的飞速发展，计算机逐渐成为工作生活的必需品，其中计算机对数据的处理功能是重中之重，而数据处理一般分为集中式数据处理和分布式数据处理，其中集中式数据处理的处理速度较慢，对计算机的性能要求也比较高；分布式数据处理是和集中式数据处理相对立的概念，分布式数据处理普遍的是将数据分布在较大的区域内进行计算处理，由于分布式数据处理中的每个计算机都可以分担计算任务，所以计算机不必拥有强大的处理性能，价格也较低，不过，从上面的描述中可以发现，现有的分布式数据处理在处理过程中没有分组，处理起来没有规律可寻，且在其中一个计算机完成任务后，不会被重新分配任务，而其它未完成任务的计算机则需要继续工作，容易造成资源浪费。

发明内容

本发明正是基于上述技术问题至少之一，提出了一种新的计算机数据处理方案，对分布式处理数据中的每台计算机进行了分组，使得数据能够在更为合适的计算机内进行处理，加快了数据的处理速度，而且还对数据的处理进行实时监控，能够最大程度的利用每个计算机，减少资源的浪费。

有鉴于此，本发明提出了一种新的计算机数据处理方法，包括一台主计算机和多台子计算机，所述计算机数据处理方法包括：获取所述主计算机和每台所述子计算机的配置信息，所述配置信息包括处理数据的时间周期及数据运算速率；根据获取到的所述配置信息对所述子计算机进行分组；接收所述主计算机发送的采集指令，所述采集指令包括目标数据容量及目标数据处理预期值；通过所述采集指令按照分组选择具有最优的所述配置信息的运行子计算机进行目标数据的处理；将处理后的所述目标数据返回至所述主计算机。

在该技术方案中，通过获取主计算机和每台子计算机的配置信息，能够对将要分布式处理的每台子计算机处理数据的能力进行了解；通过根据配置信息对子计算机进行分组，使得数据处理能力较为相似的子计算机能够分配在较为接近的连接位置；通过根据主计算机发送的采集指令选择最优的子计算机作为运行子计算机进行目标数据的处理，使得目标数据的处理更加迅速。

在上述技术方案中，优选地，所述通过所述采集指令按照分组选择具有最佳所述配置信息的所述子计算机进行目标数据的处理的具体步骤包括：分析所述采集指令；获取所述采集指令中的所述目标数据处理预期值；检测每个所述子计算机的分组；根据获取到的所述目标数据处理预期值在所述子计算机的分组中选择相一致的所述处理数据的时间周期及数据运算速率，即最优的所述配置信息；根据选择的最优的所述配置信息确定所述运行子计算机对所述目标数据进行处理。

在该技术方案中，通过分析采集指令，获取到待处理的目标数据处理预期值，使得能够根据实际情况了解用户对该目标数据的实际需求度；通过检测每个子计算机的分组，选择与目标数据处理预期值相一致的处理数据的时间周期及数据运算速率，从而筛选出该台子计算机作为最优的运行子计算机对目标数据进行处理，能够在满足用户需求度的同时，降低子计算机的负荷。

在上述技术方案中，优选地，所述根据选择的最优的所述配置信息确定所述运行子计算机对所述目标数据进行处理的步骤包括：获取目标数据；将所述目标数据划分为至少一个目标数据子集，每个所述目标数据子集对应一种数据源类型，各个目标数据子集对应的数据源类型的种类不同；去除每个所述目标数据子集中的冗余数据，使每个所述目标数据子集只保留有效数据；根据不同所述数据源类型对去除所述冗余数据后的所述目标数据子集进行处理。

在该技术方案中，通过将获取到的目标数据划分为至少一个目标数据子集，有效缩小了单个的计算单位，降低了子计算机的负荷；通过去除目标数据子集中的冗余数据，提高单个的每次的计算效率；通过根据不同数据源类型对去除冗余数据后四位目标数据子集进行处理，使得能够对目标数据分类进行处理，有效加快了计算机数据处理的速率。

在上述技术方案中，优选地，所述将处理后的所述目标数据返回至所述主计算机之后的步骤还包括：实时监控并实时存储每个所述子计算机的剩余所述目标数据子集；当监控到所述子计算机的所述目标数据子集处理完毕时，将未完成的所述子计算机的所述目标数据子集的一部分分配给完成处理的所述子计算机。

在该技术方案中，通过实时监控并实时存储每个子计算机的剩余目标数据子集，然后以此将未完成的子计算机的目标数据子集的一部分分配给完成处理的子计算机，能够最大程度的利用每个子计算机，有效减少了资源的浪费。

根据本发明的第二方面，提出了一种计算机数据处理系统，包括一台主计算机和多台子计算机，所述计算机数据处理系统包括：第一获取单元，用于获取所述主计算机和每台所述子计算机的配置信息，所述配置信息包括处理数据的时间周期及数据运算速率；第一分组单元，用于根据获取到的所述配置信息对所述子计算机进行分组；接收单元，用于接收所述主计算机发送的采集指令，所述采集指令包括目标数据容量及目标数据处理预期值；第一处理单元，用于通过所述采集指令按照分组选择具有最优的所述配置信息的运行子计算机进行目标数据的处理；反馈单元，用于将处理后的所述目标数据返回至所述主计算机。

在该技术方案中，第一获取单元通过获取主计算机和每台子计算机的配置信息，能够对将要分布式处理的每台子计算机处理数据的能力进行了解；第一分组单元通过根据配置信息对子计算机进行分组，使得数据处理能力较为相似的子计算机能够分配在较为接近的连接位置；接收单元、第一处理单元通过根据主计算机发送的采集指令选择最优的子计算机作为运行子计算机进行目标数据的处理，使得目标数据的处理更加迅速。

在上述技术方案中，优选地，所述第一处理单元包括：分析模块，用于分析所述采集指令；第二获取模块，用于获取所述采集指令中的所述目标数据处理预期值；第一检测模块，用于检测每个所述子计算机的分组；选择模块，用于根据获取到的所述目标数据处理预期值在所述子计算机的分组中选择相一致的所述处理数据的时间周期及数据运算速率，即最优的所述配置信息；第二处理模块，用于根据选择的最优的所述配置信息确定所述运行子计算机对所述目标数据进行处理。

在该技术方案中，分析模块和第二获取模块通过分析采集指令，获取到待处理的目标数据处理预期值，使得能够根据实际情况了解用户对该目标数据的实际需求度；第一检测模块和第二处理模块通过检测每个子计算机的分组，选择与目标数据处理预期值相一致的处理数据的时间周期及数据运算速率，从而筛选出该台子计算机作为最优的运行子计算机对目标数据进行处理，能够在满足用户需求度的同时，降低子计算机的负荷。

在上述技术方案中，优选地，所述第二处理模块包括：第三获取模块，用于获取目标数据；第二分组模块，用于将所述目标数据划分为至少一个目标数据子集，每个所述目标数据子集对应一种数据源类型，各个目标数据子集对应的数据源类型的种类不同；删选模块，用于去除每个所述目标数据子集中的冗余数据，使每个所述目标数据子集只保留有效数据；第三处理模块，用于根据不同所述数据源类型对去除所述冗余数据后的所述目标数据子集进行处理。

在该技术方案中，第三获取模块和第二分组模块通过将获取到的目标数据划分为至少一个目标数据子集，有效缩小了单个的计算单位，降低了子计算机计算时的负荷；删选模块通过去除目标数据子集中的冗余数据，提高单个的每次的计算效率；第三处理模块通过根据不同数据源类型对去除冗余数据后四位目标数据子集进行处理，使得能够对目标数据分类进行处理，有效加快了计算机数据处理的速率。

在上述技术方案中，优选地，所述计算机数据处理系统还包括：监控单元，用于实时监控并实时存储每个所述子计算机的剩余所述目标数据子集；分配单元，用于当监控到所述子计算机的所述目标数据子集处理完毕时，将未完成的所述子计算机的所述目标数据子集的一部分分配给完成处理的所述子计算机。

在该技术方案中，监控单元通过实时监控并实时存储每个子计算机的剩余目标数据子集，然后分配单元以此将未完成的子计算机的目标数据子集的一部分分配给完成处理的子计算机，能够最大程度的利用每个子计算机，有效减少了资源的浪费。

通过以上技术方案，对分布式处理数据中的每台计算机进行了分组，使得数据能够在更为合适的计算机内进行处理，加快了数据的处理速度，而且还对数据的处理进行实时监控，能够最大程度的利用每个计算机，减少资源的浪费。

附图说明

图1示出了根据本发明的实施例的计算机数据处理方法的流程示意图；

图2示出了根据本发明的实施例的计算机数据处理系统的结构框图；

图3示出了根据本发明的实施例的第一处理单元的结构框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了根据本发明的实施例的计算机数据处理方法的流程示意图。

如图1所示，本发明的实施例的计算机数据处理方法，包括一台主计算机和多台子计算机，所述计算机数据处理方法包括：

步骤101，获取所述主计算机和每台所述子计算机的配置信息，所述配置信息包括处理数据的时间周期及数据运算速率；

步骤102，根据获取到的所述配置信息对所述子计算机进行分组；

步骤103，接收所述主计算机发送的采集指令，所述采集指令包括目标数据容量及目标数据处理预期值；

步骤104，通过所述采集指令按照分组选择具有最优的所述配置信息的运行子计算机进行目标数据的处理；

步骤105，将处理后的所述目标数据返回至所述主计算机。

在该技术方案中，通过获取主计算机和每台子计算机的配置信息，能够对将要分布式处理的每台子计算机处理数据的能力进行了解；通过根据配置信息对子计算机进行分组，使得数据处理能力较为相似的子计算机能够分配在较为接近的连接位置；通过根据主计算机发送的采集指令选择最优的子计算机作为运行子计算机进行目标数据的处理，使得目标数据的处理更加迅速。

在上述技术方案中，优选地，所述通过所述采集指令按照分组选择具有最佳所述配置信息的所述子计算机进行目标数据的处理的具体步骤包括：分析所述采集指令；获取所述采集指令中的所述目标数据处理预期值；检测每个所述子计算机的分组；根据获取到的所述目标数据处理预期值在所述子计算机的分组中选择相一致的所述处理数据的时间周期及数据运算速率，即最优的所述配置信息；根据选择的最优的所述配置信息确定所述运行子计算机对所述目标数据进行处理。

在该技术方案中，通过分析采集指令，获取到待处理的目标数据处理预期值，使得能够根据实际情况了解用户对该目标数据的实际需求度；通过检测每个子计算机的分组，选择与目标数据处理预期值相一致的处理数据的时间周期及数据运算速率，从而筛选出该台子计算机作为最优的运行子计算机对目标数据进行处理，能够在满足用户需求度的同时，降低子计算机的负荷。

在上述技术方案中，优选地，所述根据选择的最优的所述配置信息确定所述运行子计算机对所述目标数据进行处理的步骤包括：获取目标数据；将所述目标数据划分为至少一个目标数据子集，每个所述目标数据子集对应一种数据源类型，各个目标数据子集对应的数据源类型的种类不同；去除每个所述目标数据子集中的冗余数据，使每个所述目标数据子集只保留有效数据；根据不同所述数据源类型对去除所述冗余数据后的所述目标数据子集进行处理。

在该技术方案中，通过将获取到的目标数据划分为至少一个目标数据子集，有效缩小了单个的计算单位，降低了子计算机的负荷；通过去除目标数据子集中的冗余数据，提高单个的每次的计算效率；通过根据不同数据源类型对去除冗余数据后四位目标数据子集进行处理，使得能够对目标数据分类进行处理，有效加快了计算机数据处理的速率。

在上述技术方案中，优选地，所述将处理后的所述目标数据返回至所述主计算机之后的步骤还包括：实时监控并实时存储每个所述子计算机的剩余所述目标数据子集；当监控到所述子计算机的所述目标数据子集处理完毕时，将未完成的所述子计算机的所述目标数据子集的一部分分配给完成处理的所述子计算机。

在该技术方案中，通过实时监控并实时存储每个子计算机的剩余目标数据子集，然后以此将未完成的子计算机的目标数据子集的一部分分配给完成处理的子计算机，能够最大程度的利用每个子计算机，有效减少了资源的浪费。

以下结合图2和图3对本发明的实施例进行进一步的说明。

如图2和图3所示，一种计算机数据处理系统200，包括一台主计算机和多台子计算机，所述计算机数据处理系统200包括：第一获取单元201，用于获取所述主计算机和每台所述子计算机的配置信息，所述配置信息包括处理数据的时间周期及数据运算速率；第一分组单元202，用于根据获取到的所述配置信息对所述子计算机进行分组；接收单元203，用于接收所述主计算机发送的采集指令，所述采集指令包括目标数据容量及目标数据处理预期值；第一处理单元204，用于通过所述采集指令按照分组选择具有最优的所述配置信息的运行子计算机进行目标数据的处理；反馈单元205，用于将处理后的所述目标数据返回至所述主计算机。

在该技术方案中，第一获取单元201通过获取主计算机和每台子计算机的配置信息，能够对将要分布式处理的每台子计算机处理数据的能力进行了解；第一分组单元202通过根据配置信息对子计算机进行分组，使得数据处理能力较为相似的子计算机能够分配在较为接近的连接位置；接收单元203、第一处理单元204通过根据主计算机发送的采集指令选择最优的子计算机作为运行子计算机进行目标数据的处理，使得目标数据的处理更加迅速。

在上述技术方案中，优选地，所述第一处理单元204包括：分析模块2041，用于分析所述采集指令；第二获取模块2042，用于获取所述采集指令中的所述目标数据处理预期值；第一检测模块2043，用于检测每个所述子计算机的分组；选择模块2044，用于根据获取到的所述目标数据处理预期值在所述子计算机的分组中选择相一致的所述处理数据的时间周期及数据运算速率，即最优的所述配置信息；第二处理模块2045，用于根据选择的最优的所述配置信息确定所述运行子计算机对所述目标数据进行处理。

在该技术方案中，分析模块2041和第二获取模块2042通过分析采集指令，获取到待处理的目标数据处理预期值，使得能够根据实际情况了解用户对该目标数据的实际需求度；第一检测模块2043和第二处理模块2045通过检测每个子计算机的分组，选择与目标数据处理预期值相一致的处理数据的时间周期及数据运算速率，从而筛选出该台子计算机作为最优的运行子计算机对目标数据进行处理，能够在满足用户需求度的同时，降低子计算机的负荷。

在上述技术方案中，优选地，所述第二处理模块2045包括：第三获取模块2015，用于获取目标数据；第二分组模块2025，用于将所述目标数据划分为至少一个目标数据子集，每个所述目标数据子集对应一种数据源类型，各个目标数据子集对应的数据源类型的种类不同；删选模块2035，用于去除每个所述目标数据子集中的冗余数据，使每个所述目标数据子集只保留有效数据；第三处理模块2045，用于根据不同所述数据源类型对去除所述冗余数据后的所述目标数据子集进行处理。

在该技术方案中，第三获取模块2015和第二分组模块2025通过将获取到的目标数据划分为至少一个目标数据子集，有效缩小了单个的计算单位，降低了子计算机计算时的负荷；删选模块2035通过去除目标数据子集中的冗余数据，提高单个的每次的计算效率；第三处理模块2045通过根据不同数据源类型对去除冗余数据后四位目标数据子集进行处理，使得能够对目标数据分类进行处理，有效加快了计算机数据处理的速率。

在上述技术方案中，优选地，所述计算机数据处理系统200还包括：监控单元206，用于实时监控并实时存储每个所述子计算机的剩余所述目标数据子集；分配单元207，用于当监控到所述子计算机的所述目标数据子集处理完毕时，将未完成的所述子计算机的所述目标数据子集的一部分分配给完成处理的所述子计算机。

在该技术方案中，监控单元206通过实时监控并实时存储每个子计算机的剩余目标数据子集，然后分配单元207以此将未完成的子计算机的目标数据子集的一部分分配给完成处理的子计算机，能够最大程度的利用每个子计算机，有效减少了资源的浪费。

用户若通过常用的分布式数据处理来进行计算机的数据处理，在处理过程中，数据是通过主计算机采用随机分配的方式分配至各个子计算机中，这个分配过程将各个数据平均分配，没有考虑各个子计算机的实际运行能力，很容易引起子计算机的负荷过重，造成不必要的损失，由此思考出一种能够根据实际子计算机的承担能力进行数据分配方式，能够有效降低子计算机的运算负荷；然后各个子计算机开始进行数据处理，处理的过程中较为简单，接收到便开始进行处理，效率较为低下，由此思考出在子计算机的单个处理中再次分类处理的方式，从而通过提高单个相适配的运算单位来提高子计算机的整体运算效率；最后，在个别子计算机将数据处理完成后，有其它的子计算机的计算任务没有完成，容易造成完成计算的子计算机闲置，由此思考出在个别子计算机运算完成后，再次进行数据分配，尽可能的利用现有资源，快速完成计算。

根据上述技术方案，在实际的应用过程中，用户通过第一获取单元201获取获取主计算机和每台子计算机的配置信息后，第一分组单元202根据获取到的配置信息对子计算机进行分组，接收单元203接收主计算机发送的采集指令，第一处理单元204通过采集指令按照分组选择具有最优的配置信息的运行子计算机进行目标数据的处理，最后反馈单元205将处理后的目标数据返回至主计算机，完成此次数据处理。

以上结合附图详细说明了本发明的技术方案，本发明的技术方案提出了一种新的计算机数据处理方法及系统，对分布式处理数据中的每台计算机进行了分组，使得数据能够在更为合适的计算机内进行处理，加快了数据的处理速度，而且还对数据的处理进行实时监控，能够最大程度的利用每个计算机，减少资源的浪费。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种计算机数据处理方法，包括一台主计算机和多台子计算机，其特征在于，所述计算机数据处理方法包括：

获取所述主计算机和每台所述子计算机的配置信息，所述配置信息包括处理数据的时间周期及数据运算速率；

根据获取到的所述配置信息对所述子计算机进行分组；

接收所述主计算机发送的采集指令，所述采集指令包括目标数据容量及目标数据处理预期值；

通过所述采集指令按照分组选择具有最优的所述配置信息的运行子计算机进行目标数据的处理；

将处理后的所述目标数据返回至所述主计算机。

2.根据权利要求1所述的计算机数据处理方法，其特征在于，所述通过所述采集指令按照分组选择具有最佳所述配置信息的所述子计算机进行目标数据的处理的具体步骤包括：

分析所述采集指令；

获取所述采集指令中的所述目标数据处理预期值；

检测每个所述子计算机的分组；

根据获取到的所述目标数据处理预期值在所述子计算机的分组中选择相一致的所述处理数据的时间周期及数据运算速率，即最优的所述配置信息；

根据选择的最优的所述配置信息确定所述运行子计算机对所述目标数据进行处理。

3.根据权利要求2所述的计算机数据处理方法，其特征在于，所述根据选择的最优的所述配置信息确定所述运行子计算机对所述目标数据进行处理的步骤包括：

获取目标数据；

将所述目标数据划分为至少一个目标数据子集，每个所述目标数据子集对应一种数据源类型，各个目标数据子集对应的数据源类型的种类不同；

去除每个所述目标数据子集中的冗余数据，使每个所述目标数据子集只保留有效数据；

根据不同所述数据源类型对去除所述冗余数据后的所述目标数据子集进行处理。

4.根据权利要求1所述的计算机数据处理方法，其特征在于，所述将处理后的所述目标数据返回至所述主计算机之后的步骤还包括：

实时监控并实时存储每个所述子计算机的剩余所述目标数据子集；

当监控到所述子计算机的所述目标数据子集处理完毕时，将未完成的所述子计算机的所述目标数据子集的一部分分配给完成处理的所述子计算机。

5.一种计算机数据处理系统，包括一台主计算机和多台子计算机，其特征在于，所述计算机数据处理系统包括：

第一获取单元，用于获取所述主计算机和每台所述子计算机的配置信息，所述配置信息包括处理数据的时间周期及数据运算速率；

第一分组单元，用于根据获取到的所述配置信息对所述子计算机进行分组；

接收单元，用于接收所述主计算机发送的采集指令，所述采集指令包括目标数据容量及目标数据处理预期值；

第一处理单元，用于通过所述采集指令按照分组选择具有最优的所述配置信息的运行子计算机进行目标数据的处理；

反馈单元，用于将处理后的所述目标数据返回至所述主计算机。

6.根据权利要求5所述的计算机数据处理系统，其特征在于，所述第一处理单元包括：

分析模块，用于分析所述采集指令；

第二获取模块，用于获取所述采集指令中的所述目标数据处理预期值；

第一检测模块，用于检测每个所述子计算机的分组；

选择模块，用于根据获取到的所述目标数据处理预期值在所述子计算机的分组中选择相一致的所述处理数据的时间周期及数据运算速率，即最优的所述配置信息；

第二处理模块，用于根据选择的最优的所述配置信息确定所述运行子计算机对所述目标数据进行处理。

7.根据权利要求6所述的计算机数据处理系统，其特征在于，所述第二处理模块包括：

第三获取模块，用于获取目标数据；

第二分组模块，用于将所述目标数据划分为至少一个目标数据子集，每个所述目标数据子集对应一种数据源类型，各个目标数据子集对应的数据源类型的种类不同；

删选模块，用于去除每个所述目标数据子集中的冗余数据，使每个所述目标数据子集只保留有效数据；

第三处理模块，用于根据不同所述数据源类型对去除所述冗余数据后的所述目标数据子集进行处理。

8.根据权利要求5所述的计算机数据处理系统，其特征在于，所述计算机数据处理系统还包括：

监控单元，用于实时监控并实时存储每个所述子计算机的剩余所述目标数据子集；

分配单元，用于当监控到所述子计算机的所述目标数据子集处理完毕时，将未完成的所述子计算机的所述目标数据子集的一部分分配给完成处理的所述子计算机。