CN114124838B - 大数据平台的数据传输方法、装置及大数据平台管理系统 - Google Patents

Abstract

本发明公开了一种大数据平台的数据传输方法、装置及大数据平台管理系统，其中该方法包括：获取大数据平台中多个数据节点的数据接收发送记录；根据所述数据接收发送记录，确定所述多个数据节点之间的数据传输路径统计信息；根据所述数据传输路径统计信息，确定出所述多个数据节点之间的数据传输积压情况；根据所述数据传输积压情况，生成传输指令；所述传输指令用于指示任一所述数据节点在任一时间段接收任一其他所述数据节点反向传输的数据，或是停止向任一其他所述数据节点传输数据，来缓解所述数据传输积压情况。可见，本发明能够合理地控制大数据平台之中的数据传输，使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。

Description

大数据平台的数据传输方法、装置及大数据平台管理系统

技术领域

本发明涉及数据传输技术领域，尤其涉及一种大数据平台的数据传输方法、装置及大数据平台管理系统。

背景技术

随着数据时代的到来，大数据平台越来越广泛地应用于各个领域中，工程师们开始借用大数据平台中的多个数据节点来实现分布式计算和分布式储存，以实现更加高效的数据分析和数据处理。但现有的大数据平台，没有综合数据节点之间的传输规律来合理控制数据节点之间的数据传输，从而使得数据传输中经常因为传输策略的失误而导致数据积压以及进一步的数据出错，可见现有技术存在缺陷，亟待解决。

发明内容

本发明所要解决的技术问题在于，提供一种大数据平台的数据传输方法、装置及大数据平台管理系统，能够结合数据传输记录来合理地控制大数据平台之中的数据传输，使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。

为了解决上述技术问题，本发明第一方面公开了一种大数据平台的数据传输方法，所述方法包括：

获取大数据平台中多个数据节点的数据接收发送记录；

根据所述数据接收发送记录，确定所述多个数据节点之间的数据传输路径统计信息；

根据所述数据传输路径统计信息，确定出所述多个数据节点之间的数据传输积压情况；

根据所述数据传输积压情况，生成传输指令；所述传输指令用于指示任一所述数据节点在任一时间段接收任一其他所述数据节点反向传输的数据，或是停止向任一其他所述数据节点传输数据，来缓解所述数据传输积压情况。

作为一种可选的实施方式，在本发明第一方面中，所述数据传输路径统计信息包括不同所述数据节点之间在多个时间段的传输次数和传输数据量。

作为一种可选的实施方式，在本发明第一方面中，所述根据所述数据传输路径统计信息，确定出所述多个数据节点之间的数据传输积压情况，包括：

根据所述数据传输路径统计信息，确定多个历史时间段中每一所述数据节点的输出数据量和输入数据量；

根据每一所述历史时间段中每一所述数据节点的输出数据量和输入数据量之差，确定所述数据节点在所述历史时间段的数据储存量；

根据每一所述历史时间段中所有所述数据节点的数据储存量，以及基于正态分布的异常数据分析方法，确定出每一所述历史时间段中所述数据储存量为异常数据的异常数据节点的个数；

基于正态分布的异常数据分析方法，将所有所述历史时间段中，对应的所述异常数据节点的个数为异常数据的历史时间段，确定为异常时间段；

确定所述异常时间段中的所有所述异常数据节点中，所述数据储存量大于中间值的数据节点为积压节点，所述数据储存量小于所述中间值的数据节点为空闲节点；所述中间值根据所有所述异常数据节点的数据储存量的平均值计算得到。

作为一种可选的实施方式，在本发明第一方面中，所述根据所述数据传输积压情况，生成传输指令，包括：

基于当前时间段的时间元素，判断所述当前时间段与所述异常时间段是否相似；所述时间元素包括月、日、时、分、秒中的至少一种；

当判断结果为是时，生成传输指令；所述传输指令用于，指示所述积压节点的数据输出量大于数据输入量；和/或，所述空闲节点的数据输入量大于数据输出量；和/或，所述积压节点对于所述空闲节点传输的数据的接收比重降低；和/或，所述空闲节点对于所述积压节点传输的数据的接收比重升高。

作为一种可选的实施方式，在本发明第一方面中，所述生成传输指令，包括：

确定任一所述数据节点的当前传输数据的数据类型；所述数据类型包括本地数据、全域数据和处理后数据中的至少一种；

根据所述数据类型，确定所述数据节点的数据传输参数；所述数据传输参数包括数据传输频率、数据传输包大小和数据传输机制中的至少一种；

在针对任一所述数据节点生成传输指令时，将所述数据传输参数作为所述传输指令的参数，以指示所述数据节点的传输。

作为一种可选的实施方式，在本发明第一方面中，所述方法还包括：

获取任一用户对至少一次所述数据节点之间的数据传输的用户评价；所述用户评价包括数据可用度评价、传输及时性评价和数据完备性评价中的至少一种；

根据所述用户评价，确定任一所述数据节点的数据传输评分；

在生成所述传输指令时，根据所述数据传输评分，确定所述传输指令所指示的任一所述数据节点的传输任务量比重；所述传输任务量比重与所述数据传输评分成正比。

作为一种可选的实施方式，在本发明第一方面中，所述方法还包括：

获取任一所述数据节点的历史数据传输参数；所述历史数据传输参数包括历史传输用时、历史传输频率和历史传输内容中的至少一种；

根据所述历史数据传输参数，建立任一所述数据节点对应的节点画像；

在生成所述传输指令时，根据所述数据传输评分和所述节点画像，确定所述传输指令所指示的任一所述数据节点的传输策略。

本发明第二方面公开了一种大数据平台的数据传输装置，其包括：

获取模块，用于获取大数据平台中多个数据节点的数据接收发送记录；

统计模块，用于根据所述数据接收发送记录，确定所述多个数据节点之间的数据传输路径统计信息；

分析模块，用于根据所述数据传输路径统计信息，确定出所述多个数据节点之间的数据传输积压情况；

生成模块，用于根据所述数据传输积压情况，生成传输指令；所述传输指令用于指示任一所述数据节点在任一时间段接收任一其他所述数据节点反向传输的数据，或是停止向任一其他所述数据节点传输数据，来缓解所述数据传输积压情况。

作为一种可选的实施方式，在本发明第二方面中，所述数据传输路径统计信息包括不同所述数据节点之间在多个时间段的传输次数和传输数据量。

作为一种可选的实施方式，在本发明第二方面中，所述分析模块根据所述数据传输路径统计信息，确定出所述多个数据节点之间的数据传输积压情况的具体方式，包括：

根据所述数据传输路径统计信息，确定多个历史时间段中每一所述数据节点的输出数据量和输入数据量；

根据每一所述历史时间段中每一所述数据节点的输出数据量和输入数据量之差，确定所述数据节点在所述历史时间段的数据储存量；

根据每一所述历史时间段中所有所述数据节点的数据储存量，以及基于正态分布的异常数据分析方法，确定出每一所述历史时间段中所述数据储存量为异常数据的异常数据节点的个数；

基于正态分布的异常数据分析方法，将所有所述历史时间段中，对应的所述异常数据节点的个数为异常数据的历史时间段，确定为异常时间段；

确定所述异常时间段中的所有所述异常数据节点中，所述数据储存量大于中间值的数据节点为积压节点，所述数据储存量小于所述中间值的数据节点为空闲节点；所述中间值根据所有所述异常数据节点的数据储存量的平均值计算得到。

作为一种可选的实施方式，在本发明第二方面中，所述生成模块根据所述数据传输积压情况，生成传输指令的具体方式，包括：

基于当前时间段的时间元素，判断所述当前时间段与所述异常时间段是否相似；所述时间元素包括月、日、时、分、秒中的至少一种；

当判断结果为是时，生成传输指令；所述传输指令用于，指示所述积压节点的数据输出量大于数据输入量；和/或，所述空闲节点的数据输入量大于数据输出量；和/或，所述积压节点对于所述空闲节点传输的数据的接收比重降低；和/或，所述空闲节点对于所述积压节点传输的数据的接收比重升高。

作为一种可选的实施方式，在本发明第二方面中，所述生成模块生成传输指令的具体方式，包括：

确定任一所述数据节点的当前传输数据的数据类型；所述数据类型包括本地数据、全域数据和处理后数据中的至少一种；

根据所述数据类型，确定所述数据节点的数据传输参数；所述数据传输参数包括数据传输频率、数据传输包大小和数据传输机制中的至少一种；

在针对任一所述数据节点生成传输指令时，将所述数据传输参数作为所述传输指令的参数，以指示所述数据节点的传输。

作为一种可选的实施方式，在本发明第二方面中，所述获取模块还用于获取任一用户对至少一次所述数据节点之间的数据传输的用户评价；所述用户评价包括数据可用度评价、传输及时性评价和数据完备性评价中的至少一种；

所述生成模块还用于根据所述用户评价，确定任一所述数据节点的数据传输评分，并在生成所述传输指令时，根据所述数据传输评分，确定所述传输指令所指示的任一所述数据节点的传输任务量比重；所述传输任务量比重与所述数据传输评分成正比。

作为一种可选的实施方式，在本发明第二方面中，所述获取模块还用于获取任一所述数据节点的历史数据传输参数；所述历史数据传输参数包括历史传输用时、历史传输频率和历史传输内容中的至少一种；

所述生成模块还用于根据所述历史数据传输参数，建立任一所述数据节点对应的节点画像，并在生成所述传输指令时，根据所述数据传输评分和所述节点画像，确定所述传输指令所指示的任一所述数据节点的传输策略。

本发明第三方面公开了另一种大数据平台的数据传输装置，所述装置包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的大数据平台的数据传输方法中的部分或全部步骤。

本发明第四方面公开了一种大数据平台管理系统，所述大数据平台管理系统包括多个数据节点和连接至每一所述数据节点的数据传输装置，所述数据传输装置用于执行本发明实施例第一方面公开的大数据平台的数据传输方法中的部分或全部步骤。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例中，获取大数据平台中多个数据节点的数据接收发送记录；根据所述数据接收发送记录，确定所述多个数据节点之间的数据传输路径统计信息；根据所述数据传输路径统计信息，确定出所述多个数据节点之间的数据传输积压情况；根据所述数据传输积压情况，生成传输指令；所述传输指令用于指示任一所述数据节点在任一时间段接收任一其他所述数据节点反向传输的数据，或是停止向任一其他所述数据节点传输数据，来缓解所述数据传输积压情况。可见，本发明能够通过多个数据节点之间的数据传输记录来确定出数据传输中的数据积压情况，并通过传输指令来控制数据节点的传输以缓解数据积压，从而能够结合数据传输记录来合理地控制大数据平台之中的数据传输，使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种大数据平台的数据传输方法的流程示意图；

图2是本发明实施例公开的一种大数据平台的数据传输装置的结构示意图；

图3是本发明实施例公开的另一种大数据平台的数据传输装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明公开了一种大数据平台的数据传输方法、装置及大数据平台管理系统，能够通过多个数据节点之间的数据传输记录来确定出数据传输中的数据积压情况，并通过传输指令来控制数据节点的传输以缓解数据积压，从而能够结合数据传输记录来合理地控制大数据平台之中的数据传输，使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。以下分别进行详细说明。

实施例一

请参阅图1，图1是本发明实施例公开的一种大数据平台的数据传输方法的流程示意图。其中，图1所描述的方法可以应用于相应的数据传输终端、数据传输设备或数据传输服务器中，且该服务器可以是本地服务器，也可以是云服务器。具体地，如图1所示，该大数据平台的数据传输方法可以包括以下操作：

101、获取大数据平台中多个数据节点的数据接收发送记录。

102、根据数据接收发送记录，确定多个数据节点之间的数据传输路径统计信。

可选的，数据传输路径统计信息包括不同数据节点之间在多个时间段的传输次数和传输数据量。

103、根据数据传输路径统计信息，确定出多个数据节点之间的数据传输积压情况。

104、根据数据传输积压情况，生成传输指令。

其中，传输指令用于指示任一数据节点在任一时间段接收任一其他数据节点反向传输的数据，或是停止向任一其他数据节点传输数据，来缓解数据传输积压情况。

可见，实施本发明实施例所描述的方法能够通过多个数据节点之间的数据传输记录来确定出数据传输中的数据积压情况，并通过传输指令来控制数据节点的传输以缓解数据积压，从而能够结合数据传输记录来合理地控制大数据平台之中的数据传输，使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。

作为一种可选的实施方式，上述步骤103中的，根据数据传输路径统计信息，确定出多个数据节点之间的数据传输积压情况，包括：

根据数据传输路径统计信息，确定多个历史时间段中每一数据节点的输出数据量和输入数据量；

根据每一历史时间段中每一数据节点的输出数据量和输入数据量之差，确定数据节点在历史时间段的数据储存量；

根据每一历史时间段中所有数据节点的数据储存量，以及基于正态分布的异常数据分析方法，确定出每一历史时间段中数据储存量为异常数据的异常数据节点的个数；

基于正态分布的异常数据分析方法，将所有历史时间段中，对应的异常数据节点的个数为异常数据的历史时间段，确定为异常时间段；

确定异常时间段中的所有异常数据节点中，数据储存量大于中间值的数据节点为积压节点，数据储存量小于中间值的数据节点为空闲节点。

其中，中间值根据所有异常数据节点的数据储存量的平均值计算得到。

可选的，确定异常数据节点的方式，可以为计算每一历史时间段中所有数据节点的数据储存量的标准差、中位数或平均数，再计算任一数据节点的数据储存量与中位数或平均数之间的差值，当差值大于三倍标准差时，将该数据节点确定为异常数据节点。

可选的，确定异常时间段的方式，可以为所有历史时间段的异常数据节点个数的标准差、中位数或平均数，再计算任一历史时间段的异常数据节点个数与中位数或平均数之间的差值，当差值大于三倍标准差时，将该历史时间段确定为异常时间段。

可见，通过实施该可选的实施方式，能够确定出异常时间段以及积压节点和空闲节点，从而能够准确地计算出数据传输的积压情况，以便于后续合理地控制大数据平台之中的数据传输，使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。

作为一种可选的实施方式，上述步骤104中的，根据数据传输积压情况，生成传输指令，包括：

基于当前时间段的时间元素，判断当前时间段与异常时间段是否相似；

可选的，时间元素包括月、日、时、分、秒中的至少一种；

当判断结果为是时，生成传输指令。

其中，传输指令可以用于，指示积压节点的数据输出量大于数据输入量；和/或，空闲节点的数据输入量大于数据输出量；和/或，积压节点对于空闲节点传输的数据的接收比重降低；和/或，空闲节点对于积压节点传输的数据的接收比重升高。

可选的，判断当前时间段与异常时间段是否相似，可以通过确定当前时间段的时间元素与异常时间段的时间元素的相同程度，例如确定出当前时间段或异常时间段所包括所有时间元素的数量，以及两者之间相同的时间元素的数量，并求得相同时间元素的数量占所有时间元素的数量的比重，当该比重大于预设的比重阈值时，判定当前时间段与异常时间段相似。

可见，通过实施该可选的实施方式，能够在判断到当前时间段与异常时间段相似时，确定出传输指令，以便于利用先前实施方式中确定的特殊时间段中可能存在的数据潮汐导致的数据积压问题，来预测当前时间段是否可能存在这一问题，并相应地确定出传输指令来缓解数据积压，使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。

作为一种可选的实施方式，上述步骤中的，生成传输指令，包括：

确定任一数据节点的当前传输数据的数据类型；

可选的，数据类型包括本地数据、全域数据和处理后数据中的至少一种；

根据数据类型，确定数据节点的数据传输参数；

可选的，数据传输参数包括数据传输频率、数据传输包大小和数据传输机制中的至少一种；

在针对任一数据节点生成传输指令时，将数据传输参数作为传输指令的参数，以指示数据节点的传输。

可选的，数据传输机制可以为覆盖传输或累进传输。

可选的，可以根据数据类型来确定数据传输参数以使得该类型的数据被更高效和合理地传输，例如，类型为本地数据的当前传输数据不需外发，仅本地使用，则其传输的目标节点一般为本地节点，因此可以适当降低数据传输频率，增加数据传输包大小，并将数据传输机制确定为向本地节点覆盖传输，以提高该数据的传输效率。又例如，类型为全域数据的当前传输数据需要在全网传输的数据，则其传输的目标节点可以为任意节点包括本地节点和云端节点，因此可以适当提高数据传输频率，降低数据传输包大小以防止数据丢失，并将数据传输机制确定为向任意节点传输或是尽量通过中转路由器进行传输，以提高该数据的传输效率。又例如，类型为处理后数据的当前传输数据为将单个或多个数据节点的数据经过分布计算得出的中间或最终计算的数据，则其传输的目标节点一般为距离较近的计算节点，因此可以适当降低数据传输频率，增加数据传输包大小，并将数据传输机制确定为向计算节点进行累进传输，以提高该数据的传输效率以及后续的数据计算效率。

可见，通过实施该可选的实施方式，能够根据数据类型，确定数据节点的数据传输参数，并将数据传输参数作为传输指令的参数，以指示数据节点的传输，从而能够使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。

作为一种可选的实施方式，该方法还包括：

获取任一用户对至少一次数据节点之间的数据传输的用户评价；

其中，用户评价包括数据可用度评价、传输及时性评价和数据完备性评价中的至少一种；

根据用户评价，确定任一数据节点的数据传输评分；

在生成传输指令时，根据数据传输评分，确定传输指令所指示的任一数据节点的传输任务量比重。

其中，传输任务量比重与数据传输评分成正比。

可选的，可以为用户提供数据评价画面以获取用户的数据可用度评价、传输及时性评价和数据完备性评价，这些评价均可以为分值评价，例如位于1-100分区间内的分值。可选的，可以进一步的，根据数据可用度评价、传输及时性评价和数据完备性评价的加权求和，确定出任一数据节点的数据传输评分，其中，任一评价的分数对应的权重，与大数据平台中对该评价的重视程度有关，具体的，数据可用度评价、传输及时性评价和数据完备性评价的权重之和为1。

可选的，传输任务量比重可以为该数据节点的当前负责传输的数据量占所有数据节点的数据传输量的比值，具体的，可以根据比重确定算法，以及当次传输中每一负责有数据传输任务的数据节点的数据评分，确定出每一数据节点的传输任务量比重，从而使得评分更好，也即更加高效和优秀的数据节点传输更多的数据。

可见，通过实施该可选的实施方式，可以根据数据节点的用户评价确定数据节点的数据传输评分，以确定数据节点的传输质量，再根据评分确定数据节点的传输任务量比重，以使得更加高效和优秀的数据节点传输更多的数据，从而能够使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。

作为一种可选的实施方式，该方法还包括：

获取任一数据节点的历史数据传输参数；

可选的，历史数据传输参数包括历史传输用时、历史传输频率和历史传输内容中的至少一种；

根据历史数据传输参数，建立任一数据节点对应的节点画像；

在生成传输指令时，根据数据传输评分和节点画像，确定传输指令所指示的任一数据节点的传输策略。

可选的，根据数据传输评分和节点画像，确定传输指令所指示的任一数据节点的传输策略，可以通过训练好的神经网络算法来实施，例如可以采用已知数据传输评分和节点画像和历史传输策略的多个数据节点作为训练数据集，训练得到一个神经网络模型，并在后续将数据传输评分和节点画像输入至该模型中，即可得到模型认为最合适的传输策略。

可见，通过实施该可选的实施方式，能够在生成传输指令时，根据数据传输评分和节点画像，确定传输指令所指示的任一数据节点的传输策略，从而能够使得节点的传输策略更加合理和高效，也使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。

实施例二

请参阅图2，图2是本发明实施例公开的一种大数据平台的数据传输装置的结构示意图。其中，图2所描述的装置可以应用于相应的数据传输终端、数据传输设备或数据传输服务器，且该服务器可以是本地服务器，也可以是云服务器，本发明实施例不做限定。具体地，如图2所示，该装置可以包括：

获取模块201，用于获取大数据平台中多个数据节点的数据接收发送记录；

统计模块202，用于根据数据接收发送记录，确定多个数据节点之间的数据传输路径统计信息；

分析模块203，用于根据数据传输路径统计信息，确定出多个数据节点之间的数据传输积压情况；

生成模块204，用于根据数据传输积压情况，生成传输指令。

其中，传输指令用于指示任一数据节点在任一时间段接收任一其他数据节点反向传输的数据，或是停止向任一其他数据节点传输数据，来缓解数据传输积压情况。

可见，实施本发明实施例所描述的装置能够通过多个数据节点之间的数据传输记录来确定出数据传输中的数据积压情况，并通过传输指令来控制数据节点的传输以缓解数据积压，从而能够结合数据传输记录来合理地控制大数据平台之中的数据传输，使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。

作为一种可选的实施方式，数据传输路径统计信息包括不同数据节点之间在多个时间段的传输次数和传输数据量。

作为一种可选的实施方式，分析模块203根据数据传输路径统计信息，确定出多个数据节点之间的数据传输积压情况的具体方式，包括：

根据数据传输路径统计信息，确定多个历史时间段中每一数据节点的输出数据量和输入数据量；

根据每一历史时间段中每一数据节点的输出数据量和输入数据量之差，确定数据节点在历史时间段的数据储存量；

根据每一历史时间段中所有数据节点的数据储存量，以及基于正态分布的异常数据分析方法，确定出每一历史时间段中数据储存量为异常数据的异常数据节点的个数；

基于正态分布的异常数据分析方法，将所有历史时间段中，对应的异常数据节点的个数为异常数据的历史时间段，确定为异常时间段；

确定异常时间段中的所有异常数据节点中，数据储存量大于中间值的数据节点为积压节点，数据储存量小于中间值的数据节点为空闲节点。

其中，中间值根据所有异常数据节点的数据储存量的平均值计算得到。

可选的，确定异常数据节点的方式，可以为计算每一历史时间段中所有数据节点的数据储存量的标准差、中位数或平均数，再计算任一数据节点的数据储存量与中位数或平均数之间的差值，当差值大于三倍标准差时，将该数据节点确定为异常数据节点。

可选的，确定异常时间段的方式，可以为所有历史时间段的异常数据节点个数的标准差、中位数或平均数，再计算任一历史时间段的异常数据节点个数与中位数或平均数之间的差值，当差值大于三倍标准差时，将该历史时间段确定为异常时间段。

可见，通过实施该可选的实施方式，能够确定出异常时间段以及积压节点和空闲节点，从而能够准确地计算出数据传输的积压情况，以便于后续合理地控制大数据平台之中的数据传输，使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。

作为一种可选的实施方式，生成模块204根据数据传输积压情况，生成传输指令的具体方式，包括：

基于当前时间段的时间元素，判断当前时间段与异常时间段是否相似；

可选的，时间元素包括月、日、时、分、秒中的至少一种；

当判断结果为是时，生成传输指令。

其中，传输指令可以用于，指示积压节点的数据输出量大于数据输入量；和/或，空闲节点的数据输入量大于数据输出量；和/或，积压节点对于空闲节点传输的数据的接收比重降低；和/或，空闲节点对于积压节点传输的数据的接收比重升高。

可选的，判断当前时间段与异常时间段是否相似，可以通过确定当前时间段的时间元素与异常时间段的时间元素的相同程度，例如确定出当前时间段或异常时间段所包括所有时间元素的数量，以及两者之间相同的时间元素的数量，并求得相同时间元素的数量占所有时间元素的数量的比重，当该比重大于预设的比重阈值时，判定当前时间段与异常时间段相似。

可见，通过实施该可选的实施方式，能够在判断到当前时间段与异常时间段相似时，确定出传输指令，以便于利用先前实施方式中确定的特殊时间段中可能存在的数据潮汐导致的数据积压问题，来预测当前时间段是否可能存在这一问题，并相应地确定出传输指令来缓解数据积压，使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。

作为一种可选的实施方式，生成模块204生成传输指令的具体方式，包括：

确定任一数据节点的当前传输数据的数据类型；

可选的，数据类型包括本地数据、全域数据和处理后数据中的至少一种；

根据数据类型，确定数据节点的数据传输参数；

可选的，数据传输参数包括数据传输频率、数据传输包大小和数据传输机制中的至少一种；

在针对任一数据节点生成传输指令时，将数据传输参数作为传输指令的参数，以指示数据节点的传输。

可选的，数据传输机制可以为覆盖传输或累进传输。

可选的，可以根据数据类型来确定数据传输参数以使得该类型的数据被更高效和合理地传输，例如，类型为本地数据的当前传输数据不需外发，仅本地使用，则其传输的目标节点一般为本地节点，因此可以适当降低数据传输频率，增加数据传输包大小，并将数据传输机制确定为向本地节点覆盖传输，以提高该数据的传输效率。又例如，类型为全域数据的当前传输数据需要在全网传输的数据，则其传输的目标节点可以为任意节点包括本地节点和云端节点，因此可以适当提高数据传输频率，降低数据传输包大小以防止数据丢失，并将数据传输机制确定为向任意节点传输或是尽量通过中转路由器进行传输，以提高该数据的传输效率。又例如，类型为处理后数据的当前传输数据为将单个或多个数据节点的数据经过分布计算得出的中间或最终计算的数据，则其传输的目标节点一般为距离较近的计算节点，因此可以适当降低数据传输频率，增加数据传输包大小，并将数据传输机制确定为向计算节点进行累进传输，以提高该数据的传输效率以及后续的数据计算效率。

可见，通过实施该可选的实施方式，能够根据数据类型，确定数据节点的数据传输参数，并将数据传输参数作为传输指令的参数，以指示数据节点的传输，从而能够使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。

作为一种可选的实施方式，获取模块201还用于获取任一用户对至少一次数据节点之间的数据传输的用户评价；用户评价包括数据可用度评价、传输及时性评价和数据完备性评价中的至少一种；

生成模块204还用于根据用户评价，确定任一数据节点的数据传输评分，并在生成传输指令时，根据数据传输评分，确定传输指令所指示的任一数据节点的传输任务量比重。

其中，传输任务量比重与数据传输评分成正比。

可选的，可以为用户提供数据评价画面以获取用户的数据可用度评价、传输及时性评价和数据完备性评价，这些评价均可以为分值评价，例如位于1-100分区间内的分值。可选的，可以进一步的，根据数据可用度评价、传输及时性评价和数据完备性评价的加权求和，确定出任一数据节点的数据传输评分，其中，任一评价的分数对应的权重，与大数据平台中对该评价的重视程度有关，具体的，数据可用度评价、传输及时性评价和数据完备性评价的权重之和为1。

可选的，传输任务量比重可以为该数据节点的当前负责传输的数据量占所有数据节点的数据传输量的比值，具体的，可以根据比重确定算法，以及当次传输中每一负责有数据传输任务的数据节点的数据评分，确定出每一数据节点的传输任务量比重，从而使得评分更好，也即更加高效和优秀的数据节点传输更多的数据。

可见，通过实施该可选的实施方式，可以根据数据节点的用户评价确定数据节点的数据传输评分，以确定数据节点的传输质量，再根据评分确定数据节点的传输任务量比重，以使得更加高效和优秀的数据节点传输更多的数据，从而能够使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。

作为一种可选的实施方式，获取模块201还用于获取任一数据节点的历史数据传输参数；历史数据传输参数包括历史传输用时、历史传输频率和历史传输内容中的至少一种；

生成模块204还用于根据历史数据传输参数，建立任一数据节点对应的节点画像，并在生成传输指令时，根据数据传输评分和节点画像，确定传输指令所指示的任一数据节点的传输策略。

可选的，根据数据传输评分和节点画像，确定传输指令所指示的任一数据节点的传输策略，可以通过训练好的神经网络算法来实施，例如可以采用已知数据传输评分和节点画像和历史传输策略的多个数据节点作为训练数据集，训练得到一个神经网络模型，并在后续将数据传输评分和节点画像输入至该模型中，即可得到模型认为最合适的传输策略。

可见，通过实施该可选的实施方式，能够在生成传输指令时，根据数据传输评分和节点画像，确定传输指令所指示的任一数据节点的传输策略，从而能够使得节点的传输策略更加合理和高效，也使得大数据平台的数据传输更加流畅和高效，减少因数据积压而导致的出错。

实施例三

请参阅图3，图3是本发明实施例公开的另一种大数据平台的数据传输装置的结构示意图。如图3所示，该装置可以包括：

存储有可执行程序代码的存储器301；

与存储器301耦合的处理器302；

处理器302调用存储器301中存储的可执行程序代码，执行本发明实施例一公开的大数据平台的数据传输方法中的部分或全部步骤。

实施例四

本发明实施例公开了一种计算机存储介质，该计算机存储介质存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一公开的大数据平台的数据传输方法中的部分或全部步骤。

实施例五

本发明实施例公开了一种大数据平台管理系统，该大数据平台管理系统包括多个数据节点和连接至每一数据节点的数据传输装置，其中，数据传输装置用于执行本发明实施例一公开的大数据平台的数据传输方法中的部分或全部步骤。

上述对本说明书特定实施例进行了描述，其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，附图中描绘的过程不一定必须按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书实施例提供的装置、设备、非易失性计算机可读存储介质与方法是对应的，因此，装置、设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、设备、非易失性计算机存储介质的有益技术效果。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field ProgrammableGateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera HardwareDescriptionLanguage)、Confluence、CUPL(Cornell University ProgrammingLanguage)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后应说明的是：本发明实施例公开的一种大数据平台的数据传输方法、装置及大数据平台管理系统所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (7)

1.一种大数据平台的数据传输方法，其特征在于，所述方法包括：

获取大数据平台中多个数据节点的数据接收发送记录；

根据所述数据接收发送记录，确定所述多个数据节点之间的数据传输路径统计信息；所述数据传输路径统计信息包括不同所述数据节点之间在多个时间段的传输次数和传输数据量；

根据所述数据传输路径统计信息，确定多个历史时间段中每一所述数据节点的输出数据量和输入数据量；

根据每一所述历史时间段中每一所述数据节点的输出数据量和输入数据量之差，确定所述数据节点在所述历史时间段的数据储存量；

根据每一所述历史时间段中所有所述数据节点的数据储存量，以及基于正态分布的异常数据分析方法，确定出每一所述历史时间段中所述数据储存量为异常数据的异常数据节点的个数；

基于正态分布的异常数据分析方法，将所有所述历史时间段中，对应的所述异常数据节点的个数为异常数据的历史时间段，确定为异常时间段；

确定所述异常时间段中的所有所述异常数据节点中，所述数据储存量大于中间值的数据节点为积压节点，所述数据储存量小于所述中间值的数据节点为空闲节点；所述中间值根据所有所述异常数据节点的数据储存量的平均值计算得到；

基于当前时间段的时间元素，判断所述当前时间段与所述异常时间段是否相似；所述时间元素包括月、日、时、分、秒中的至少一种；

当判断结果为是时，生成传输指令；所述传输指令用于，指示所述积压节点的数据输出量大于数据输入量；和/或，所述空闲节点的数据输入量大于数据输出量；和/或，所述积压节点对于所述空闲节点传输的数据的接收比重降低；和/或，所述空闲节点对于所述积压节点传输的数据的接收比重升高。

2.根据权利要求1所述的大数据平台的数据传输方法，其特征在于，所述生成传输指令，包括：

确定任一所述数据节点的当前传输数据的数据类型；所述数据类型包括本地数据、全域数据和处理后数据中的至少一种；

根据所述数据类型，确定所述数据节点的数据传输参数；所述数据传输参数包括数据传输频率、数据传输包大小和数据传输机制中的至少一种；

在针对任一所述数据节点生成传输指令时，将所述数据传输参数作为所述传输指令的参数，以指示所述数据节点的传输。

3.根据权利要求1所述的大数据平台的数据传输方法，其特征在于，所述方法还包括：

获取任一用户对至少一次所述数据节点之间的数据传输的用户评价；所述用户评价包括数据可用度评价、传输及时性评价和数据完备性评价中的至少一种；

根据所述用户评价，确定任一所述数据节点的数据传输评分；

在生成所述传输指令时，根据所述数据传输评分，确定所述传输指令所指示的任一所述数据节点的传输任务量比重；所述传输任务量比重与所述数据传输评分成正比。

4.根据权利要求3所述的大数据平台的数据传输方法，其特征在于，所述方法还包括：

获取任一所述数据节点的历史数据传输参数；所述历史数据传输参数包括历史传输用时、历史传输频率和历史传输内容中的至少一种；

根据所述历史数据传输参数，建立任一所述数据节点对应的节点画像；

在生成所述传输指令时，根据所述数据传输评分和所述节点画像，确定所述传输指令所指示的任一所述数据节点的传输策略。

5.一种大数据平台的数据传输装置，其特征在于，所述装置包括：

获取模块，用于获取大数据平台中多个数据节点的数据接收发送记录；

统计模块，用于根据所述数据接收发送记录，确定所述多个数据节点之间的数据传输路径统计信息；所述数据传输路径统计信息包括不同所述数据节点之间在多个时间段的传输次数和传输数据量；

分析模块，用于根据所述数据传输路径统计信息，确定出所述多个数据节点之间的数据传输积压情况；所述分析模块根据所述数据传输路径统计信息，确定出所述多个数据节点之间的数据传输积压情况的具体方式，包括：

根据所述数据传输路径统计信息，确定多个历史时间段中每一所述数据节点的输出数据量和输入数据量；

根据每一所述历史时间段中每一所述数据节点的输出数据量和输入数据量之差，确定所述数据节点在所述历史时间段的数据储存量；

根据每一所述历史时间段中所有所述数据节点的数据储存量，以及基于正态分布的异常数据分析方法，确定出每一所述历史时间段中所述数据储存量为异常数据的异常数据节点的个数；

基于正态分布的异常数据分析方法，将所有所述历史时间段中，对应的所述异常数据节点的个数为异常数据的历史时间段，确定为异常时间段；

确定所述异常时间段中的所有所述异常数据节点中，所述数据储存量大于中间值的数据节点为积压节点，所述数据储存量小于所述中间值的数据节点为空闲节点；所述中间值根据所有所述异常数据节点的数据储存量的平均值计算得到；

生成模块，用于根据所述数据传输积压情况，生成传输指令；所述传输指令用于指示任一所述数据节点在任一时间段接收任一其他所述数据节点反向传输的数据，或是停止向任一其他所述数据节点传输数据，来缓解所述数据传输积压情况；所述生成模块根据所述数据传输积压情况，生成传输指令的具体方式，包括：

基于当前时间段的时间元素，判断所述当前时间段与所述异常时间段是否相似；所述时间元素包括月、日、时、分、秒中的至少一种；

当判断结果为是时，生成传输指令；所述传输指令用于，指示所述积压节点的数据输出量大于数据输入量；和/或，所述空闲节点的数据输入量大于数据输出量；和/或，所述积压节点对于所述空闲节点传输的数据的接收比重降低；和/或，所述空闲节点对于所述积压节点传输的数据的接收比重升高。

6.一种大数据平台的数据传输装置，其特征在于，所述装置包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1－4任一项所述的大数据平台的数据传输方法。

7.一种大数据平台管理系统，其特征在于，所述大数据平台管理系统包括多个数据节点和连接至每一所述数据节点的数据传输装置，所述数据传输装置用于执行如权利要求1－4任一项所述的大数据平台的数据传输方法。

Images