CN105357317B - 一种基于多客户端轮循排队的数据上传方法及系统 - Google Patents

Abstract

本申请公开了一种基于多客户端轮循排队的数据上传方法及系统，该方法包括：按照预设的数据上传周期，定期根据预设终端评分规则，对当前数据上传周期内所有客户端中的每一客户端进行评分；每一客户端的当前综合性能优良程度与该客户端当前的评分呈正相关关系；按照评分由高到低的顺序，对所有客户端进行排序，从排序好的所有客户端中选取出前N个客户端；对当前数据上传周期内需要进行上传的大数据进行分割处理，并将分割处理后得到的所有小数据块不重复地分配至上述前N个客户端，以利用上述前N个客户端，将所有小数据块并行上传至云服务器。本申请在对大数据进行上传处理的过程中，避免了消耗过多的系统性能，并提升了数据的上传效率。

Description

一种基于多客户端轮循排队的数据上传方法及系统

技术领域

本发明涉及数据上传技术领域，特别涉及一种基于多客户端轮循排队的数据上传方法及系统。

背景技术

在以往的ERP产品(ERP，即Enterprise Resource Planning，企业资源计划)中，云概念、大数据等尚未普及，较少有用户数据需要进行上传处理，即便有也仅仅是对小量数据进行上传，一般由当台客户端或者能够联网的中间层统一发送数据便可。

然而，随着大数据时代的到来，以往对小量数据进行上传的技术手段已经无法满足现实对大数据进行上传处理的需求，这种小量数据上传的技术手段会对多客户端系统造成诸多不便，例如大量消耗系统的整体性能、降低系统整体的数据传输效率等。

综上所述可以看出，如何在对大数据进行上传处理的过程中，提高数据的上传效率以及避免消耗过多的系统性能是目前亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于多客户端轮循排队的数据上传方法及系统，提高了数据的上传效率，并避免了消耗过多的系统性能。其具体方案如下：

一种基于多客户端轮循排队的数据上传方法，包括：

按照预设的数据上传周期，定期根据预设终端评分规则，对当前数据上传周期内所有客户端中的每一客户端进行评分；其中，每一客户端的当前综合性能优良程度与该客户端当前的评分呈正相关关系；

按照评分由高到低的顺序，对所有客户端进行排序，并从排序好的所有客户端中选取出前N个客户端，其中，N为正整数；

对当前数据上传周期内需要进行上传的大数据进行分割处理，并将分割处理后得到的所有小数据块不重复地分配至所述前N个客户端，以利用所述前N个客户端，将所有小数据块并行地上传至云服务器。

优选的，所述预设终端评分规则为根据当前所有客户端的性能状况、当前所有客户端的负载压力状况以及所有客户端的历史数据传输效果，预先建立的评分规则。

优选的，客户端的性能状况包括网速状况、硬件性能参数以及数据上传行为对自身性能的影响程度。

优选的，客户端的历史数据传输效果包括数据上传准确率、数据上传成功率以及单位时间内上传数据量。

优选的，所述数据上传方法，还包括：

当所述前N个客户端中的任一客户端完成当前数据上传周期内的数据上传任务后，记录相应的数据上传日志文件，并根据该数据上传日志文件分析出相应的数据传输效果。

优选的，所述将分割处理后得到的所有小数据块不重复地分配至所述前N个客户端的过程，包括：

根据所述前N个客户端的评分情况，对分割处理后得到的所有小数据块进行分组，相应地得到N组小数据块；其中，所述N组小数据块与所述前N个客户端一一对应，并且在所述前N个客户端中，每一客户端对应的一组小数据块中所包含的小数据块的数量与该客户端的评分呈正相关关系；

将所述N组小数据块中的每一组小数据块分配至所述前N个客户端中相应的客户端。

优选的，在所述将所述N组小数据块中的每一组小数据块分配至所述前N个客户端中相应的客户端过程之前，还包括：

根据所述前N个客户端的评分情况以及每一客户端对应的小数据块的数量情况，为所述前N个客户端中的每一客户端分配相应的数据上传时间片，以使每一客户端在对应的数据上传时间片内将接收到的小数据块并行地上传至所述云服务器；其中，任一客户端所对应的数据上传时间片的时间长度均不大于当前数据上传周期的时间长度。

本发明还公开了一种基于多客户端轮循排队的数据上传系统，包括：

客户端评分模块，按照预设的数据上传周期，定期根据预设终端评分规则，对当前数据上传周期内所有客户端中的每一客户端进行评分；其中，每一客户端的当前综合性能优良程度与该客户端当前的评分呈正相关关系；

客户端选取模块，按照评分由高到低的顺序，对所有客户端进行排序，并从排序好的所有客户端中选取出前N个客户端，其中，N为正整数；

大数据分配模块，对当前数据上传周期内需要进行上传的大数据进行分割处理，并将分割处理后得到的所有小数据块不重复地分配至所述前N个客户端，以利用所述前N个客户端，将所有小数据块并行地上传至云服务器。

优选的，所述大数据分配模块包括：

大数据分割单元，用于对当前数据上传周期内需要进行上传的大数据进行分割处理；

数据块分组单元，用于根据所述前N个客户端的评分情况，对所述大数据分割单元进行分割处理后得到的所有小数据块进行分组，相应地得到N组小数据块；其中，所述N组小数据块与所述前N个客户端一一对应，并且在所述前N个客户端中，每一客户端对应的一组小数据块中所包含的小数据块的数量与该客户端的评分呈正相关关系；

数据块分配单元，用于将所述N组小数据块中的每一组小数据块分配至所述前N个客户端中相应的客户端，以利用所述前N个客户端，将所有小数据块并行地上传至所述云服务器。

优选的，所述大数据分配模块还包括：

上传时间分配单元，用于根据所述前N个客户端的评分情况以及每一客户端对应的小数据块的数量情况，为所述前N个客户端中的每一客户端分配相应的数据上传时间片，以使每一客户端在对应的数据上传时间片内将接收到的小数据块并行地上传至所述云服务器；其中，任一客户端所对应的数据上传时间片的时间长度均不大于当前数据上传周期的时间长度。

本发明中，数据上传方法包括：按照预设的数据上传周期，定期根据预设终端评分规则，对当前数据上传周期内所有客户端中的每一客户端进行评分；其中，每一客户端的当前综合性能优良程度与该客户端当前的评分呈正相关关系；按照评分由高到低的顺序，对所有客户端进行排序，并从排序好的所有客户端中选取出前N个客户端；对当前数据上传周期内需要进行上传的大数据进行分割处理，并将分割处理后得到的所有小数据块不重复地分配至上述前N个客户端，以利用上述前N个客户端，将所有小数据块并行地上传至云服务器。可见，本发明在任一数据上传周期内，均会从所有客户端中选取出当前综合性能优良程度最大的N个客户端作为本周期内能够进行数据上传处理的客户端，从而杜绝了当前性能较差的客户端进行数据上传处理的可能性，有利于避免消耗过多的系统性能；并且，在对大数据进行上传处理之前，会对大数据进行分割处理，然后将分割处理后得到的多个小数据块通过上述N个客户端发送至云服务器，从而避免客户端上传的每一个数据文件出现文件过大的情况，由此提升了数据的上传效率，同时也有利于进一步降低系统的性能消耗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种基于多客户端轮循排队的数据上传方法流程图；

图2为本发明实施例公开的一种具体的基于多客户端轮循排队的数据上传方法流程图；

图3为本发明实施例公开的一种基于多客户端轮循排队的数据上传系统结构示意图；

图4为本发明实施例公开的一种具体的基于多客户端轮循排队的数据上传系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于多客户端轮循排队的数据上传方法，参见图1所示，该数据上传方法包括：

步骤S11：按照预设的数据上传周期，定期根据预设终端评分规则，对当前数据上传周期内所有客户端中的每一客户端进行评分；其中，每一客户端的当前综合性能优良程度与该客户端当前的评分呈正相关关系。

需要说明的是，优选的预设终端评分规则为根据当前所有客户端的性能状况、当前所有客户端的负载压力状况以及所有客户端的历史数据传输效果，预先建立的评分规则。其中，客户端的性能状况主要包括网速状况、硬件性能参数以及数据上传行为对自身性能的影响程度。而客户端的历史数据传输效果则可以包括数据上传准确率、数据上传成功率以及单位时间内上传数据量。另外，本实施例中，可以将数据上传行为对客户端自身性能的影响程度作为在构建上述预设终端评分规则的过程中最主要的考虑因素。

步骤S12：按照评分由高到低的顺序，对所有客户端进行排序，并从排序好的所有客户端中选取出前N个客户端，其中，N为正整数。

可以理解的是，上述排序好的所有客户端是按照评分由高至低的顺序进行排序的，从这个排序好的所有客户端中选出前N个客户端，也即是将所有客户端中当前综合性能优良程度最大的前N个客户端挑选出来。

步骤S13：对当前数据上传周期内需要进行上传的大数据进行分割处理；

步骤S14：:将分割处理后得到的所有小数据块不重复地分配至上述前N个客户端，以利用上述前N个客户端，将所有小数据块并行地上传至云服务器。

需要指出的是，上述云服务器在接收完所有的小数据块后，便可对所有的小数据块进行合并，从而还原为原始相对应的大数据。

另外需要说明的是，本实施例中公开的数据上传方法可以应用于多种ERP系统，例如应用于金蝶K3WISE ERP系统。

本发明实施例中，数据上传方法包括：按照预设的数据上传周期，定期根据预设终端评分规则，对当前数据上传周期内所有客户端中的每一客户端进行评分；其中，每一客户端的当前综合性能优良程度与该客户端当前的评分呈正相关关系；按照评分由高到低的顺序，对所有客户端进行排序，并从排序好的所有客户端中选取出前N个客户端；对当前数据上传周期内需要进行上传的大数据进行分割处理，并将分割处理后得到的所有小数据块不重复地分配至上述前N个客户端，以利用上述前N个客户端，将所有小数据块并行地上传至云服务器。

可见，本发明实施例在任一数据上传周期内，均会从所有客户端中选取出当前综合性能优良程度最大的N个客户端作为本周期内能够进行数据上传处理的客户端，从而杜绝了当前性能较差的客户端进行数据上传处理的可能性，有利于避免消耗过多的系统性能；并且，在对大数据进行上传处理之前，会对大数据进行分割处理，然后将分割处理后得到的多个小数据块通过上述N个客户端发送至云服务器，从而避免客户端上传的每一个数据文件出现文件过大的情况，由此提升了数据的上传效率，同时也有利于进一步降低系统的性能消耗。

本发明实施例公开了一种具体的基于多客户端轮循排队的数据上传方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

本实施例中，数据上传方法还可以包括：当前N个客户端中的任一客户端完成当前数据上传周期内的数据上传任务后，记录相应的数据上传日志文件，并根据该数据上传日志文件分析出相应的数据传输效果。其中，这里的数据传输效果可以包括数据上传准确率、数据上传成功率以及单位时间内上传数据量。

参见图2所示，上一实施例步骤S14中，将分割处理后得到的所有小数据块不重复地分配至前N个客户端的过程，具体包括：

步骤S141：根据上述前N个客户端的评分情况，对分割处理后得到的所有小数据块进行分组，相应地得到N组小数据块；其中，上述N组小数据块与上述前N个客户端一一对应，并且在上述前N个客户端中，每一客户端对应的一组小数据块中所包含的小数据块的数量与该客户端的评分呈正相关关系；

步骤S142：将上述N组小数据块中的每一组小数据块分配至上述前N个客户端中相应的客户端。

在步骤S142之前，还可以包括：根据上述前N个客户端的评分情况以及每一客户端对应的小数据块的数量情况，为上述前N个客户端中的每一客户端分配相应的数据上传时间片，以使每一客户端在对应的数据上传时间片内将接收到的小数据块并行地上传至云服务器；其中，任一客户端所对应的数据上传时间片的时间长度均不大于当前数据上传周期的时间长度。

可以理解的是，客户端的评分越高，所对应的数据上传时间片越小，客户端需要上传的小数据块的数量越多，所对应的数据上传时间片则越大。每一个当前能够进行数据上传处理的客户端所对应的数据上传时间片需要在综合考虑该客户端的具体评分以及当前分配给该客户端的小数据块的数量后方可确定，以确保该客户端能够在对应的数据上传时间片内完成相应的数据上传任务。

本发明实施例还公开了一种基于多客户端轮循排队的数据上传系统，参见图3所示，该数据上传系统包括客户端评分模块31、客户端选取模块32和大数据分配模块33；其中，

客户端评分模块31，按照预设的数据上传周期，定期根据预设终端评分规则，对当前数据上传周期内所有客户端中的每一客户端进行评分；其中，每一客户端的当前综合性能优良程度与该客户端当前的评分呈正相关关系。

需要说明的是，优选的预设终端评分规则为根据当前所有客户端的性能状况、当前所有客户端的负载压力状况以及所有客户端的历史数据传输效果，预先建立的评分规则。其中，客户端的性能状况主要包括网速状况、硬件性能参数以及数据上传行为对自身性能的影响程度。而客户端的历史数据传输效果则可以包括数据上传准确率、数据上传成功率以及单位时间内上传数据量。另外，本实施例中，可以将数据上传行为对客户端自身性能的影响程度作为在构建上述预设终端评分规则的过程中最主要的考虑因素。

客户端选取模块32，按照评分由高到低的顺序，对所有客户端进行排序，并从排序好的所有客户端中选取出前N个客户端，其中，N为正整数。

可以理解的是，上述排序好的所有客户端是按照评分由高至低的顺序进行排序的，从这个排序好的所有客户端中选出前N个客户端，也即是将所有客户端中当前综合性能优良程度最大的前N个客户端挑选出来。

大数据分配模块33，对当前数据上传周期内需要进行上传的大数据进行分割处理，并将分割处理后得到的所有小数据块不重复地分配至上述前N个客户端，以利用上述前N个客户端，将所有小数据块并行地上传至云服务器。

需要说明的是，上述云服务器在接收完所有的小数据块后，并可对所有的小数据块进行合并，从而还原为原始相对应的大数据。

其中，参见图4所示，上述大数据分配模块33具体可以包括大数据分割单元331、数据块分组单元332和数据块分配单元333；其中，

大数据分割单元331，用于对当前数据上传周期内需要进行上传的大数据进行分割处理；

数据块分组单元332，用于根据上述前N个客户端的评分情况，对大数据分割单元331进行分割处理后得到的所有小数据块进行分组，相应地得到N组小数据块；其中，上述N组小数据块与上述前N个客户端一一对应，并且在上述前N个客户端中，每一客户端对应的一组小数据块中所包含的小数据块的数量与该客户端的评分呈正相关关系；

数据块分配单元333，用于将上述N组小数据块中的每一组小数据块分配至上述前N个客户端中相应的客户端，以利用上述前N个客户端，将所有小数据块并行地上传至云服务器。

另外，上述大数据分配模块33还可以进一步包括：

上传时间分配单元，用于根据上述前N个客户端的评分情况以及每一客户端对应的小数据块的数量情况，为上述前N个客户端中的每一客户端分配相应的数据上传时间片，以使每一客户端在对应的数据上传时间片内将接收到的小数据块并行地上传至云服务器；其中，任一客户端所对应的数据上传时间片的时间长度均不大于当前数据上传周期的时间长度。

可以理解的是，客户端的评分越高，所对应的数据上传时间片越小，客户端需要上传的小数据块的数量越多，所对应的数据上传时间片则越大。每一个当前能够进行数据上传处理的客户端所对应的数据上传时间片需要在综合考虑该客户端的具体评分以及当前分配给该客户端的小数据块的数量后方可确定，以确保该客户端能够在对应的数据上传时间片内完成相应的数据上传任务。

可见，本发明实施例在任一数据上传周期内，客户端选取模块均会从所有客户端中选取出当前综合性能优良程度最大的N个客户端作为本周期内能够进行数据上传处理的客户端，从而杜绝了当前性能较差的客户端进行数据上传处理的可能性，有利于避免消耗过多的系统性能；并且，在对大数据进行上传处理之前，大数据分配模块会对大数据进行分割处理，然后将分割处理后得到的多个小数据块通过上述N个客户端发送至云服务器，从而避免客户端上传的每一个数据文件出现文件过大的情况，由此提升了数据的上传效率，同时也有利于进一步降低系统的性能消耗。

最后，还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种基于多客户端轮循排队的数据上传方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于多客户端轮循排队的数据上传方法，其特征在于，包括：

按照预设的数据上传周期，定期根据预设终端评分规则，对当前数据上传周期内所有客户端中的每一客户端进行评分；其中，每一客户端的当前综合性能优良程度与该客户端当前的评分呈正相关关系；

按照评分由高到低的顺序，对所有客户端进行排序，并从排序好的所有客户端中选取出前N个客户端，其中，N为正整数；

对当前数据上传周期内需要进行上传的大数据进行分割处理，并将分割处理后得到的所有小数据块不重复地分配至所述前N个客户端，以利用所述前N个客户端，将所有小数据块并行地上传至云服务器；

其中，所述预设终端评分规则为根据当前所有客户端的网速状况、硬件性能参数、数据上传行为对自身性能的影响程度、负载压力状况以及历史数据传输效果，预先建立的评分规则；

并且，所述将分割处理后得到的所有小数据块不重复地分配至所述前N个客户端的过程，包括：

根据所述前N个客户端的评分情况，对分割处理后得到的所有小数据块进行分组，相应地得到N组小数据块；其中，所述N组小数据块与所述前N个客户端一一对应，并且在所述前N个客户端中，每一客户端对应的一组小数据块中所包含的小数据块的数量与该客户端的评分呈正相关关系；将所述N组小数据块中的每一组小数据块分配至所述前N个客户端中相应的客户端。

2.根据权利要求1所述的基于多客户端轮循排队的数据上传方法，其特征在于，客户端的历史数据传输效果包括数据上传准确率、数据上传成功率以及单位时间内上传数据量。

3.根据权利要求2所述的基于多客户端轮循排队的数据上传方法，其特征在于，还包括：

当所述前N个客户端中的任一客户端完成当前数据上传周期内的数据上传任务后，记录相应的数据上传日志文件，并根据该数据上传日志文件分析出相应的数据传输效果。

4.根据权利要求1所述的基于多客户端轮循排队的数据上传方法，其特征在于，在所述将所述N组小数据块中的每一组小数据块分配至所述前N个客户端中相应的客户端过程之前，还包括：

根据所述前N个客户端的评分情况以及每一客户端对应的小数据块的数量情况，为所述前N个客户端中的每一客户端分配相应的数据上传时间片，以使每一客户端在对应的数据上传时间片内将接收到的小数据块并行地上传至所述云服务器；其中，任一客户端所对应的数据上传时间片的时间长度均不大于当前数据上传周期的时间长度。

5.一种基于多客户端轮循排队的数据上传系统，其特征在于，包括：

客户端评分模块，按照预设的数据上传周期，定期根据预设终端评分规则，对当前数据上传周期内所有客户端中的每一客户端进行评分；其中，每一客户端的当前综合性能优良程度与该客户端当前的评分呈正相关关系；

客户端选取模块，按照评分由高到低的顺序，对所有客户端进行排序，并从排序好的所有客户端中选取出前N个客户端，其中，N为正整数；

大数据分配模块，对当前数据上传周期内需要进行上传的大数据进行分割处理，并将分割处理后得到的所有小数据块不重复地分配至所述前N个客户端，以利用所述前N个客户端，将所有小数据块并行地上传至云服务器；

其中，所述预设终端评分规则为根据当前所有客户端的网速状况、硬件性能参数、数据上传行为对自身性能的影响程度、负载压力状况以及历史数据传输效果，预先建立的评分规则；

并且，所述大数据分配模块包括：

大数据分割单元，用于对当前数据上传周期内需要进行上传的大数据进行分割处理；

数据块分组单元，用于根据所述前N个客户端的评分情况，对所述大数据分割单元进行分割处理后得到的所有小数据块进行分组，相应地得到N组小数据块；其中，所述N组小数据块与所述前N个客户端一一对应，并且在所述前N个客户端中，每一客户端对应的一组小数据块中所包含的小数据块的数量与该客户端的评分呈正相关关系；

数据块分配单元，用于将所述N组小数据块中的每一组小数据块分配至所述前N个客户端中相应的客户端，以利用所述前N个客户端，将所有小数据块并行地上传至所述云服务器。

6.根据权利要求5所述的基于多客户端轮循排队的数据上传系统，其特征在于，所述大数据分配模块还包括：

上传时间分配单元，用于根据所述前N个客户端的评分情况以及每一客户端对应的小数据块的数量情况，为所述前N个客户端中的每一客户端分配相应的数据上传时间片，以使每一客户端在对应的数据上传时间片内将接收到的小数据块并行地上传至所述云服务器；其中，任一客户端所对应的数据上传时间片的时间长度均不大于当前数据上传周期的时间长度。