CN107707395B - 一种数据传输方法、装置和系统 - Google Patents

Abstract

本发明公开了一种数据传输方法、装置和系统，用以解决当出现节点异常时，数据传输过程耗时较长的问题。方法包括：当存在待传输的数据时，将待传输的数据划分为至少一个数据块；针对每个数据块，基于冗余规则，将该数据块确定为第一数量的子数据块，第一数量为接收数据的节点的数量；依次针对每个数据块，根据服务器发送的接收数据的每个第一节点的标识信息，将该数据块对应的每个子数据块向对应的每个第一节点进行传输；针对每个数据块，统计传输该数据块对应的每个子数据块至对应的每个第一节点的传输时长；采用预设的方法，当确定存在异常节点时，停止向异常节点传输数据。因此当节点异常时，可以减小传输所有数据的时长，提高了系统性能。

Description

一种数据传输方法、装置和系统

技术领域

本发明涉及技术数据传输领域，特别涉及一种数据传输方法、装置和系统。

背景技术

数据量的爆发式增长，导致云存储越来越普及，数据的可靠性面临考验，随之而来的纠删码(Erasure Code)的出现，在一定程度上解决了数据的可靠性。基于纠删码的云存储系统，当考虑到数据的可靠性时，客户端往往需要保证数据传输至不同的存储节点。

在现有技术中，当客户端识别当前存在待传输的数据时，先根据预先确定的条带单位，将待传输的数据分为至少一个数据块，每个数据块占用的存储容量相同；然后基于冗余规则，以及预先确定的存储数据的节点的第一数量，将每个数据块确定为第一数量的子数据块，每个子数据块占用的存储容量相同；最后，依次针对每个数据块，将该数据块对应的每个子数据块依次传输至对应的存储节点；每个存储节点在每次接收到对应的子数据块后，会向客户端返回响应信息，客户端再进行下一次的传输。

一般情况下，存储节点向客户端返回响应信息的时间差不多是相同的，以客户端将每个数据块对应的子数据块传输至不同的存储节点的传输时长来表示系统的性能，当出现某个存储节点处于异常状态时，将子数据块传输至该存储节点的传输时长就会较大，则客户端所在的终端向存储节点传输数据的过程耗时较长，降低了传输系统的性能。

发明内容

本发明实施例公开了一种数据传输方法、装置和系统，用以解决现有技术中的当出现存储节点异常时，数据传输过程耗时较长，传输系统的性能较差的问题。

为达到上述目的，本发明实施例公开了一种数据传输方法，所述方法包括：

当识别到存在待传输的数据时，将待传输的数据划分为至少一个数据块；并针对每个数据块，基于冗余规则，将该数据块确定为第一数量的子数据块，其中，所述第一数量为预先确定的接收数据的节点的数量；

依次针对每个数据块，根据服务器发送的接收数据的每个第一节点的标识信息，将该数据块对应的每个子数据块向对应的每个第一节点进行传输；

针对每个数据块，统计传输该数据块对应的每个子数据块至对应的每个第一节点的传输时长；采用预设的异常传输时长的确定方法，确定是否存在异常节点；如果是，则停止向异常节点传输数据。

进一步地，在将数据块确定为第一数量的子数据块时，所述方法还包括：

基于冗余规则，以及根据所述第一数量，确定能够停止向其传输数据的异常节点的第二数量，并保存；

在停止向异常节点传输数据之前，所述方法还包括：

判断当前确定的异常节点的第三数量是否大于保存的所述第二数量；

如果是，则根据每个异常节点对应的传输时长，在第三数量的异常节点中选取第二数量的目标异常节点，根据第二数量的目标异常节点，进行后续步骤，并对所述第二数量进行更新；

如果否，则直接进行后续步骤，并对所述第二数量进行更新。

进一步地，所述采用预设的异常传输时长的确定方法，确定是否存在异常节点包括：

采用格里布斯准则算法，以及每个第一节点对应的传输时长，确定是否存在异常节点；或

确定每个第一节点对应的传输时长的中值，并确定大于该中值的每个传输时长与该中值的比值，针对每个比值，判断该比值是否大于预设的比值阈值，如果是，则确定存在异常节点。

进一步地，所述方法还包括：

将所述异常节点的标识信息发送给所述服务器，使服务器保存所述异常节点标识信息与终端的对应关系。

本发明实施例公开了一种数据传输系统，所述系统包括：终端、服务器；

所述终端，用于当识别到存在待传输的数据时，将待传输的数据划分为至少一个数据块；并针对每个数据块，基于冗余规则，将该数据块确定为第一数量的子数据块，其中，所述第一数量为预先确定的接收数据的节点的数量；并向服务器发送携带接收数据的节点的第一数量的节点申请请求；

所述服务器，用于接收所述终端发送的所述节点申请请求，确定第一数量的节点，将所述第一数量的节点的标识信息发送给所述终端；

所述终端，还用于依次针对每个数据块，根据接收到的所述服务器发送的接收数据的每个第一节点的标识信息，将该数据块对应的每个子数据块向对应的每个第一节点进行传输；针对每个数据块，统计传输该数据块对应的每个子数据块至对应的每个第一节点的传输时长；采用预设的异常传输时长的确定方法，确定是否存在异常节点，如果是，则停止向异常节点传输数据。

进一步地，所述服务器，具体用于根据保存的每个节点是否为该终端对应的异常节点，确定第一数量的接收数据的第一节点。

进一步地，所述终端，还用于将所述异常节点的标识信息发送给服务器；

所述服务器，用于在接收到所述终端发送的所述异常节点的标识信息后，保存所述异常节点标识信息与终端的对应关系。

进一步地，所述服务器，还用于识别保存的该终端对应的每个异常节点的时长，判断所述时长是否大于预设的时长阈值，如果是，删除该终端与该异常节点的对应关系。

本发明实施例公开了一种数据传输装置，所述装置包括：

确定模块，用于当识别到存在待传输的数据时，将待传输的数据划分为至少一个数据块；并针对每个数据块，基于冗余规则，将该数据块确定为第一数量的子数据块，其中，所述第一数量为预先确定的接收数据的节点的数量；

传输模块，用于依次针对每个数据块，根据服务器发送的接收数据的每个第一节点的标识信息，将该数据块对应的每个子数据块向对应的每个第一节点进行传输；

判断模块，用于针对每个数据块，统计传输该数据块对应的每个子数据块至对应的每个第一节点的传输时长；采用预设的异常传输时长的确定方法，确定是否存在异常节点；如果是，则停止向异常节点传输数据。

进一步地，所述确定模块，还用于基于冗余规则，以及根据所述第一数量，确定能够停止向其传输数据的异常节点的第二数量，并保存；

所述判断模块，还用于判断当前确定的异常节点的第三数量是否大于保存的所述第二数量；如果是，则根据每个异常节点对应的传输时长，在第三数量的异常节点中选取第二数量的目标异常节点，根据第二数量的目标异常节点，进行后续步骤，并对所述第二数量进行更新；如果否，则直接进行后续步骤，并对所述第二数量进行更新。

进一步地，所述判断模块，具体用于采用格里布斯准则算法，以及每个第一节点对应的传输时长，确定是否存在异常节点；或确定每个第一节点对应的传输时长的中值，并确定大于该中值的每个传输时长与该中值的比值，针对每个比值，判断该比值是否大于预设的比值阈值，如果是，则确定存在异常节点。

进一步地，所述装置还包括：

上报模块，用于将所述异常节点的标识信息发送给所述服务器，使服务器保存所述异常节点标识信息与终端的对应关系。

本发明实施例提供了一种数据传输方法、装置和系统。所述方法包括：当识别到存在待传输的数据时，将待传输的数据划分为至少一个数据块；并针对每个数据块，基于冗余规则，将该数据块确定为第一数量的子数据块，其中，所述第一数量为预先确定的接收数据的节点的数量；依次针对每个数据块，根据服务器发送的接收数据的每个第一节点的标识信息，将该数据块对应的每个子数据块向对应的每个第一节点进行传输；针对每个数据块，统计传输该数据块对应的每个子数据块至对应的每个第一节点的传输时长；采用预设的异常传输时长的确定方法，确定是否存在异常节点；如果是，则停止向异常节点传输数据。由于在本发明实施例中，在依次将数据块对应的每个子数据块传输至对应的每个第一节点时，针对每个数据块，统计每个第一节点对应的传输时长，并在确定出传输时长较大的异常节点后，停止向异常节点传输数据，因此，当节点处于异常状态时，可以减小传输所有数据的时长，提高了系统性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1本发明实施例1提供的一种数据传输过程示意图；

图2为本发明实施例提供的一种确定异常节点的流程示意图；

图3为本发明实施例提供的一种异常节点上报示意图；

图4为本发明实施例5提供的一种数据传输系统结构示意图；

图5为本发明实施例提供的一种数据传输系统结构示意图；

图6为本发明实施例提供的一种数据传输系统装置结构图。

具体实施方式

为了当存储节点异常时，减小传输数据的时长，本发明实施例提供了一种数据传输方法、装置和系统。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

图1为本发明实施例1提供的一种数据传输过程示意图，该过程包括以下步骤：

S101：当识别到存在待传输的数据时，将待传输的数据划分为至少一个数据块；并针对每个数据块，基于冗余规则，将该数据块确定为第一数量的子数据块，其中，所述第一数量为预先确定的接收数据的节点的数量。

本发明实施例提供的数据传输方法应用于终端。

终端当识别到自身存在待传输的数据时，需将该数据传输至至少一个节点中，使该至少一个节点对终端传输的数据进行存储。

首先，终端中预先保存有条带单位量即预设的单位量，根据预先保存的条带单位量将待传输的数据划分为至少一个数据块。

并且终端中预先保存有接收数据的节点的第一数量，并且保存有基于冗余规则，将每个数据块确定为第一数量的子数据块的方法，可以理解为将固定单位量的数据，基于冗余规则，确定为固定数量的数据块的方法。终端在将待传输的数据划分为至少一个数据块后，针对每个数据块，基于冗余规则，将该数据块确定为第一数量的子数据块，其中，所述第一数量为预先确定的接收数据的节点的数量，确定的每个子数据块占用的存储容量相同。第一数量一般为5或10。

基于冗余规则，将数据块确定为第一数量的子数据块，可以理解为，第一数量的子数据块中，允许丢失预设比例的子数据块，当该预设比例的子数据块丢失时，可以根据剩余的其他几个子数据块确定该丢失的子数据块中的数据，也就可以确定出原有的数据块中的数据，也就是可以确定出上述的待传输的数据。例如，预设比例为1/5，如果确定的子数据块为5个，则可丢失的子数据块为1个，如果确定的子数据块为10个，则可丢失的子数据块为2个。

例如，终端中存在的待传输的数据为160k，预设的条带单位量为16k，则将待传输的数据划分为10个数据块，接收数据的第一节点的第一数量为5，则基于冗余规则，将每个数据块确定为5个子数据块，5个子数据块中可丢失的子数据块为1个，则可以先将16k的数据块依次划分为4个子数据块，再从每个子数据块中提取冗余数据，构成第5个4k的子数据块。基于冗余规则，将固定单位量的数据确定为固定数量的数据块的过程属于现有技术，在本发明实施例中对该过程不进行赘述。

S102：根据服务器发送的接收数据的每个第一节点的标识信息，将第一个数据块对应的每个子数据块向对应的每个第一节点进行传输。

S103：统计传输该第一个数据块对应的每个子数据块至对应的每个第一节点的传输时长；采用预设的异常传输时长的确定方法，确定是否存在异常节点；如果是，则进行S104，如果否，则将该第一个的下一个数据块作为第一个数据块，返回S102。

S104：停止向异常节点传输数据，并将该第一个的下一个数据块作为第一个数据块，返回S102。

终端可以向服务器发送携带接收数据的节点的第一数量的节点申请请求，具体的该节点申请请求可以称为Object申请请求。终端在识别到存在待传输的数据后，在将子数据块传输至对应的第一节点之前，向服务器发送该节点申请请求。

服务器在接收到终端发送的节点申请请求后，在自身保存的每个节点中选取第一数量的节点，将该第一数量的节点的标识信息发送给该终端。终端接收服务器发送的每个节点的标识信息，将每个标识信息对应的节点作为接收每个子数据块的第一节点，一个数据块对应的子数据块的数量与第一节点的数量相同，一个子数据块对应一个节点。

终端在确定出接收每个子数据块的每个第一节点后，依次针对每个数据块，将该数据块对应的每个子数据块向对应的每个第一节点进行传输。先将第一个数据块对应的每个子数据块传输至对应的每个第一节点，再将第二个数据块对应的每个子数据块传输至对应的每个第一节点，……。终端在向节点传输数据时，采用传输控制协议(TransmissionControl Protocol，TCP)的方式传输。

终端中预先保存有确定传输时长是否为异常传输时长的方法。

终端依次针对每个数据块，将该数据块对应的每个子数据块向对应的每个第一节点进行传输，从开始传输到接收到每个第一节点返回的响应信息的时长作为每个第一节点对应的传输时长。

针对每个数据块，统计传输该数据块对应的每个子数据块至对应的每个第一节点的传输时长；采用预设的异常传输时长的确定方法，判断每个传输时长中是否存在异常传输时长，异常传输时长对应的第一节点为异常节点，即判断是否存在异常节点；如果是，则停止向异常节点传输数据，也就是中断与异常节点的传输链路。不影响终端向其他的正常的第一节点传输对应的子数据块中的数据。异常节点是指传输时长较大的节点，异常节点的对应的传输时长称为异常传输时长。

终端先传输第一个数据块对应的每个子数据块中的数据至对应的每个第一节点，当接收到每个第一节点返回的响应信息时，根据每个第一节点对应的传输时长，判断是否存在异常节点；

如果不存在，则进行下一个数据块对应的每个子数据块的传输；

如果存在，则停止向异常节点传输数据，并进行下一个数据块对应的每个子数据块的传输。停止向异常节点传输数据，是指下一个数据块，以及下下个数据块，……，中的与异常节点对应的子数据块，均停止向异常节点传输。

所述预设的异常传输时长的确定方法可以是判断每个第一节点对应的传输时长是否大于预设的时长阈值。预设的时长阈值与传输子数据块占用的存储容量的数据的平均传输时长有关。

例如，有10个数据块，每个数据块对应5个子数据块，即对应5个第一节点。每个子数据块的标识信息依次为1、2、3、4、5，对应的每个节点的标识为a、b、c、d、e，先将第一个数据块中的，第1个子数据块传输至标识为a的节点，将第2个子数据块传输至标识为b的节点，……，将第5个子数据块传输至标识为e的节点。第一个数据块传输完毕后，若根据每个节点对应的传输时长，确定标识为b的节点为异常节点，则在将第二数据块对应的5个子数据块传输至对应的每个第一节点时，不能将第2个子数据块传输至标识为b的异常节点，在传输接下来的第三、第四，……，第十个数据块时，均不将每个数据中的第2个子数据块传输至标识为b的异常节点。其他子数据块正常传输，并根据正常传输的第一节点的传输时长确定是否存在异常节点。

由于在本发明实施例中，在依次将数据块对应的每个子数据块传输至对应的每个第一节点时，针对每个数据块，统计每个第一节点对应的传输时长，并在确定出传输时长较大的异常节点后，停止向异常节点传输数据，因此，当节点处于异常状态时，可以减小传输所有数据的时长，提高了系统性能。

实施例2：

为了进一步减小传输时长，提高系统的性能，在上述实施例的基础上，在本发明实施例中，在将该数据块确定为第一数量的子数据块时，所述方法还包括：

基于冗余规则，以及根据所述第一数量，确定能够停止向其传输数据的异常节点的第二数量，并保存；

在停止向异常节点传输数据之前，所述方法还包括：

判断当前确定的异常节点的第三数量是否大于保存的所述第二数量；

如果是，则根据每个异常节点对应的传输时长，在第三数量的异常节点中选取第二数量的目标异常节点，根据第二数量的目标异常节点，进行后续步骤，并对所述第二数量进行更新；

如果否，则直接进行后续步骤，并对所述第二数量进行更新。

在本发明实施例中，在停止向传输时长较大的异常节点传输数据时，为了保证能够恢复原有的数据，不能随意停止向异常节点传输数据，能够停止传输数据的异常节点的数量是根据接收数据的第一节点的第一数量确定的。

在将数据块确定为第一数量的子数据块时，终端基于冗余规则，以及根据所述第一数量，确定能够停止向其传输数据的异常节点的第二数量，并保存。也就是上述实施例中提到的第一数量的子数据块中，允许丢失预设比例的子数据块，当该预设比例的子数据块丢失时，可以根据剩余的其他几个子数据块确定该丢失的子数据块中的数据，也就可以确定出原有的数据块中的数据。一般如果确定的子数据块为5个，则可丢失的子数据块为1个，如果确定的子数据块为10个，则可丢失的子数据块为2个，即第一数量为5时，第二数量为1，第一数量为10时，第二数量为2，当然不仅限于此，只要根据第一数量确定出的第二数量符合冗余规则即可。

针对每个数据块，在停止向异常节点传输数据之前，需要考虑当前确定的异常节点的第三数量与保存的第二数量的大小，具体的，判断当前确定的异常节点的第三数量是否大于保存的所述第二数量；

如果第三数量大于第二数量，则根据每个异常节点对应的传输时长，在第三数量的异常节点中选取第二数量的目标异常节点，根据第二数量的目标异常节点，进行后续步骤，即停止向第二数量的目标异常节点传输数量，并对所述第二数量进行更新。

根据每个异常节点对应的传输时长，在第三数量的异常节点中选取第二数量的目标异常节点具体的，将第三数量的异常节点对应的异常传输时长由大至小排序，选择排序靠前的第二数量的异常节点作为目标异常节点。

在对第二数量进行更新时，具体的，将第二数量与第二数量的差作为更新后的第二数量，更新的第二数量为0。

如果第三数量不大于第二数量，则停止向确定的出的所有异常节点传输数据，并对所述第二数量进行更新，具体的，将第二数量与第三数量的差值作为更新后的第二数量，更新的第二数量大于或等于0。

终端在未停止向异常节点传输数据即中断与异常节点的传输链路之前，第二数量为最大的，每中断一条链路，第二数量则被更新减小，当第二数量被更新为0后，即使后续又确定出异常节点，为了能够恢复原有的数据块，也不能中断与异常节点的传输链路，即不能停止向后续确定出的异常节点传输数据。

实施例3：

为了提高确定的异常节点的准确性，提高系统的性能，在上述各实施例的基础上，在本发明实施例中，所述采用预设的异常传输的确定方法，确定是否存在异常节点包括：

采用格里布斯准则算法，以及每个第一节点对应的传输时长，确定是否存在异常节点；或

确定每个第一节点对应的传输时长的中值，并确定大于该中值的每个传输时长与该中值的比值，针对每个比值，判断该比值是否大于预设的比值阈值，如果是，则确定该批次传输中存在异常传输时长。

在发明实施例中，终端中预先保存有格里布斯准则算法，在确定是否存在异常节点时，可以是根据每个第一节点对应的传输时长，以及该格里布斯准则算法，确定是否存在异常节点。

异常节点是指该节点对应的传输时长较大，另一种方法为终端中预先保存有比值阈值，当统计了每个第一节点对应的传输时长后，可以确定每个第一节点对应的传输时长的中值，并识别大于该中值的每个传输时长，确定该大于中值的传输时长与该中值的比值，针对每个比值，判断该比值是否大于预设的比值阈值，如果是，则确定存在异常节点，该大于预设比值的，且大于中值的传输时长即为异常传输时长，异常传输时长对应的第一节点为异常节点。

当然，在确定是否存在异常节点时，可以是采用其他方法，例如，K-均值聚类算法、拉依达准则法、肖维勒准则法、狄克逊准则法、罗马诺夫斯基(t检验)准则法等。

较优的，在本申请中采用格里布斯准则算法确定是否存在异常节点。

实施例4：

为了使服务器分配给终端的节点的性能最优，减小传输数据的耗时时长，提高系统的性能。在上述各实施例的基础上，在本发明实施例中，所述方法还包括：

将所述异常节点的标识信息发送给所述服务器，使服务器保存所述异常节点标识信息与终端的对应关系。

在本发明实施例中，当终端在确定出异常节点后，可以将异常节点的标识信息发送给服务器，使服务器在接收到终端发送的异常节点的标识信息后，保存异常节点的标识信息与终端的对应关系，在向终端分配接收数据的第一节点时，尽量不分配异常节点，也就是降低异常节点的分配优先级，减小传输时长。该异常节点可能是终端中断了与其的传输链路的异常节点，也可能是未中断与其的传输链路的异常节点。该异常节点的标识信息例如可以是IP地址。除了可以将异常节点的标识信息上报给服务器，还可以将异常节点对应的异常传输时长上报给服务器，以供服务器判断异常节点的异常情况，进行相应的处理。

为了保证其他功能的较优运行，还可以在将每个子数据块传输至对应的第一节点后，删除该子数据块的数据，并删除未传输数据。并保存每个子数据块与第一节点的对应关系，以便后期使用该数据时，知道在哪个节点中保存有对应的子数据块。

图2为本发明实施例提供的一种确定异常节点的流程示意图，终端中可以进行异常节点的管理，统计每个第一节点对应的传输时长，并判断是否存在异常传输时长即异常节点，如果是，则判断是否能够停止向异常节点传输数据，如果是，则停止向异常节点传输数据，并将异常节点的标识信息上报给服务器，并进行下一次的统计传输时长的过程。

如图3所示的异常节点上报示意图，终端可以进行异常节点的管理，在确定出异常节点后，将异常节点的标识信息上报给服务器，异常节点的标识信息例如可以是IP地址，并且终端还可以将异常节点对应的异常传输时长上报给服务器，具体的可以是上报给服务器中的节点管理模块。

实施例5：

图4为本发明实施例5提供的一种数据传输系统结构示意图，所述系统包括：终端41和服务器42；

所述终端41，用于当识别到存在待传输的数据时，将待传输的数据划分为至少一个数据块；并针对每个数据块，基于冗余规则，将该数据块确定为第一数量的子数据块，其中，所述第一数量为预先确定的接收数据的节点的数量；并向服务器发送携带接收数据的节点的第一数量的节点申请请求；

所述服务器42，用于接收所述终端41发送的所述节点申请请求，确定第一数量的节点，将所述第一数量的节点的标识信息发送给所述终端；

所述终端41，还用于依次针对每个数据块，根据接收到的所述服务器42发送的接收数据的每个第一节点的标识信息，将该数据块对应的每个子数据块向对应的每个第一节点进行传输；针对每个数据块，统计传输该数据块对应的每个子数据块至对应的每个第一节点的传输时长；采用预设的异常传输时长的确定方法，确定是否存在异常节点，如果是，则停止向异常节点传输数据。

本发明实施例提供的数据传输系统包括终端和服务器。

终端当识别到自身存在待传输的数据时，需将该数据传输至至少一个节点中，使该至少一个节点对终端传输的数据进行存储。

首先，终端中预先保存有条带单位量即预设的单位量，根据预先保存的条带单位量将待传输的数据划分为至少一个数据块。

并且终端中预先保存有接收数据的节点的第一数量，并且保存有基于冗余规则，将每个数据块确定为第一数量的子数据块的方法，可以理解为将固定单位量的数据，基于冗余规则，确定为固定数量的数据块的方法。终端在将待传输的数据划分为至少一个数据块后，针对每个数据块，基于冗余规则，将该数据块确定为第一数量的子数据块，其中，所述第一数量为预先确定的接收数据的节点的数量，确定的每个子数据块占用的存储容量相同。第一数量一般为5或10。

基于冗余规则，将数据块确定为第一数量的子数据块，可以理解为，第一数量的子数据块中，允许丢失预设比例的子数据块，当该预设比例的子数据块丢失时，可以根据剩余的其他几个子数据块确定该丢失的子数据块中的数据，也就可以确定出原有的数据块中的数据，也就是可以确定出上述的待传输的数据。例如，预设比例为1/5，如果确定的子数据块为5个，则可丢失的子数据块为1个，如果确定的子数据块为10个，则可丢失的子数据块为2个。

例如，终端中存在的待传输的数据为160k，预设的条带单位量为16k，则将待传输的数据划分为10个数据块，接收数据的第一节点的第一数量为5，则基于冗余规则，将每个数据块确定为5个子数据块，5个子数据块中可丢失的子数据块为1个，则可以先将16k的数据块依次划分为4个子数据块，再从每个子数据块中提取冗余数据，构成第5个4k的子数据块。基于冗余规则，将固定单位量的数据确定为固定数量的数据块的过程属于现有技术，在本发明实施例中对该过程不进行赘述。终端可以向服务器发送携带接收数据的节点的第一数量的节点申请请求，具体的该节点申请请求可以称为Object申请请求。终端在识别到存在待传输的数据后，在将子数据块传输至对应的第一节点之前，向服务器发送该节点申请请求。

服务器在接收到终端发送的节点申请请求后，在自身保存的每个节点中选取第一数量的节点，将该第一数量的节点的标识信息发送给该终端。终端接收服务器发送的每个节点的标识信息，将每个标识信息对应的节点作为接收每个子数据块的第一节点，一个数据块对应的子数据块的数量与第一节点的数量相同。

终端在确定出接收每个子数据块的每个第一节点后，依次针对每个数据块，将该数据块对应的每个子数据块向对应的每个第一节点进行传输。先将第一个数据块对应的每个子数据块传输至对应的每个第一节点，再将第二个数据块对应的每个子数据块传输至对应的每个第一节点，……。终端在向节点传输数据时，采用TCP的方式传输。

终端中预先保存有确定传输时长是否为异常传输时长的方法。

终端依次针对每个数据块，将该数据块对应的每个子数据块向对应的每个第一节点进行传输，从开始传输到接收到每个第一节点返回的响应信息的时长作为每个第一节点对应的传输时长。

针对每个数据块，统计传输该数据块对应的每个子数据块至对应的每个第一节点的传输时长；采用预设的异常传输时长的确定方法，判断每个传输时长中是否存在异常传输时长，异常传输时长对应的第一节点为异常节点，即判断是否存在异常节点；如果是，则停止向异常节点传输数据，也就是中断与异常节点的传输链路。不影响终端向其他的正常的第一节点传输对应的子数据块中的数据。异常节点是指传输时长较大的节点，异常节点的对应的传输时长称为异常传输时长。

终端先传输第一个数据块对应的每个子数据块中的数据至对应的每个第一节点，当接收到每个第一节点返回的响应信息时，根据每个第一节点对应的传输时长，判断是否存在异常节点；

如果不存在，则进行下一个数据块对应的每个子数据块的传输；

如果存在，则停止向异常节点传输数据，并进行下一个数据块对应的每个子数据块的传输。停止向异常节点传输数据，是指下一个数据块，以及下下个数据块，……，中的与异常节点对应的子数据块，均停止向异常节点传输。

所述预设的异常传输时长的确定方法可以是判断每个第一节点对应的传输时长是否大于预设的时长阈值。预设的时长阈值与传输子数据块占用的存储容量的数据的平均传输时长有关。

例如，有10个数据块，每个数据块对应5个子数据块，即对应5个第一节点。每个子数据块的标识信息依次为1、2、3、4、5，对应的每个节点的标识为a、b、c、d、e，先将第一个数据块中的，第1个子数据块传输至标识为a的节点，将第2个子数据块传输至标识为b的节点，……，将第5个子数据块传输至标识为e的节点。第一个数据块传输完毕后，若根据每个节点对应的传输时长，确定标识为b的节点为异常节点，则在将第二数据块对应的5个子数据块传输至对应的每个第一节点时，不能将第2个子数据块传输至标识为b的异常节点，在传输接下来的第三、第四，……，第十个数据块时，均不将每个数据中的第2个子数据块传输至标识为b的异常节点。其他子数据块正常传输，并根据正常传输的第一节点的传输时长确定是否存在异常节点。

由于在本发明实施例中，在依次将数据块对应的每个子数据块传输至对应的每个第一节点时，针对每个数据块，统计每个第一节点对应的传输时长，并在确定出传输时长较大的异常节点后，停止向异常节点传输数据，因此，当节点处于异常状态时，可以减小传输所有数据的时长，提高了系统性能。

实施例6：

为使服务器分配给终端的节点的性能最优，减小传输数据的耗时时长，提高系统的性能。在上述实施例5的基础上，在本发明实施例中，所述服务器，具体用于根据保存的每个节点是否为该终端对应的异常节点，确定第一数量的接收数据的第一节点。

在本发明实施例中，服务器中保存每个节点的标识信息，并保存有每个节点是否为异常节点，如果为异常节点，则保存有该异常节点与终端的对应关系。服务器在接收到终端发送的携带第一数量的节点申请请求后，可以根据每个节点是否为该终端对应的异常节点，确定第一数量的节点作为接收终端传输的每个子数据块的节点。

服务器在确定接收终端传输的数据的第一节点时，还可以考虑到每个节点的存储容量和CPU利用率等，则在正常节点中选择CPU利用率较小，且空闲存储容量较大的第一数量个节点，将选择的第一数量个节点的标识信息发送给终端。

如果服务器中当前保存的节点中正常节点的数量不能满足第一数量，则可以先向终端发送等待消息，后续在向终端发送节点的标识信息。

实施例7：

为了使服务器分配给终端的节点的性能最优，减小传输数据的耗时，提高系统的性能。在上述各实施例的基础上，在本发明实施例中，所述终端，还用于将异常节点的标识信息发送给服务器；

所述服务器，用于在接收到所述终端发送的所述异常节点的标识信息后，保存所述异常节点标识信息与终端的对应关系。

在本发明实施例中，当终端在确定出异常节点后，可以将异常节点的标识信息发送给服务器，服务器在接收到终端发送的异常节点的标识信息后，保存该异常节点的标识信息与终端的对应关系，在向终端分配接收数据的第一节点时，尽量不分配异常节点，也就是降低异常节点的分配优先级，减小传输时长。该异常节点可能是终端中断了与其的传输链路的异常节点，也可能是未中断与其的传输链路的异常节点。该异常节点的标识信息例如可以是IP地址。除了可以将异常节点的标识信息上报给服务器，还可以将异常节点对应的异常传输时长上报给服务器，以供服务器判断该异常节点的异常情况，进行相应的处理。

实施例8：

为了保证负载均衡，在上述各实施例的基础上，在本发明实施例中，所述服务器，还用于识别保存的该终端对应的每个异常节点的第一时长，判断所述第一时长是否大于预设的时长阈值，如果是，删除该终端与该异常节点的对应关系。

在本发明实施例中，服务器保存有每个终端与其对应的异常节点的标识信息的对应关系，节点在出现异常时，可能只是在小段时间中出现异常，过一段时间后可能将该节点已恢复为正常的节点，并且考虑到负载均衡，也需将异常节点定期恢复为正常节点。

服务器中保存有时长阈值，当服务器接收到终点发送的异常节点的标识信息后，会保存该终端与该异常节点的对应关系，并记录保存的该终端对应的每个异常节点的时长，判断所述时长是否大于预设的时长阈值，如果是，则删除该终端与该异常节点的对应关系，也就是将该异常节点恢复为正常节点。

具体的可以是，服务器中预先保存有正常节点表与异常节点表，正常节点表中保存有每个节点的标识信息，正常节点表中保存的每个节点均为正常节点。异常节点表中保存有每个终端与每个节点的标识信息的对应关系，异常节点表中保存的每个节点均为异常节点，并且该异常节点为某个终端对应的异常节点，每保存一个终端与异常节点的标识信息的对应关系，则在正常节点表中删除该异常节点的标识信息，并且启动该异常节点的定时器，当定时结束后，删除该终端与该异常节点的对应关系，也就是将该异常节点的标识信息从该异常节点表中删除，恢复为正常节点，并将其保存在正常节点表中。

定时器的定时时长，也就是时长阈值可以为5分钟，半小时等，较优的，该时长阈值为10分钟。

图5为本发明实施例提供的一种数据传输系统结构示意图，终端中可以进行异常节点的管理，服务器中设置有节点管理模块，可进行节点的管理，终端当存在待传输的数据时，向服务器申请节点，服务器在向该终端分配节点时，考虑每个节点是否为终端对应的异常节点，降低异常节点的分配优先级，该终端将待传输的数块确定为每个节点对应的子数块后，依次向每个节点进行传输，并在传输的过程中，判断是否存在异常节点，如果存在，则将该异常节点的标识信息上报给服务器，并停止向该异常节点传输数据。

实施例9：

图6为本发明实施例提供的一种数据传输系统装置结构图，所述装置包括：

确定模块61，用于当识别到存在待传输的数据时，将待传输的数据划分为至少一个数据块；并针对每个数据块，基于冗余规则，将该数据块确定为第一数量的子数据块，其中，所述第一数量为预先确定的接收数据的节点的数量；

传输模块62，用于依次针对每个数据块，根据服务器发送的接收数据的每个第一节点的标识信息，将该数据块对应的每个子数据块向对应的每个第一节点进行传输；

判断模块63，用于针对每个数据块，统计传输该数据块对应的每个子数据块至对应的每个第一节点的传输时长；采用预设的异常传输时长的确定方法，确定是否存在异常节点；如果是，则停止向异常节点传输数据。

所述确定模块61，还用于基于冗余规则，以及根据所述第一数量，确定能够停止向其传输数据的异常节点的第二数量，并保存；

所述判断模块63，还用于判断当前确定的异常节点的第三数量是否大于保存的所述第二数量；如果是，则根据每个异常节点对应的传输时长，在第三数量的异常节点中选取第二数量的目标异常节点，根据第二数量的目标异常节点，进行后续步骤，并对所述第二数量进行更新；如果否，则直接进行后续步骤，并对所述第二数量进行更新。

所述判断模块63，具体用于采用格里布斯准则算法，以及每个第一节点对应的传输时长，确定是否存在异常节点；或确定每个第一节点对应的传输时长的中值，并确定大于该中值的每个传输时长与该中值的比值，针对每个比值，判断该比值是否大于预设的比值阈值，如果是，则确定存在异常节点。

所述装置还包括：

上报模块64，用于将所述异常节点的标识信息发送给所述服务器，使服务器保存所述异常节点标识信息与终端的对应关系。

本发明实施例提供了一种数据传输方法、装置和系统。所述方法包括：当识别到存在待传输的数据时，将待传输的数据划分为至少一个数据块；并针对每个数据块，基于冗余规则，将该数据块确定为第一数量的子数据块，其中，所述第一数量为预先确定的接收数据的节点的数量；依次针对每个数据块，根据服务器发送的接收数据的每个第一节点的标识信息，将该数据块对应的每个子数据块向对应的每个第一节点进行传输；针对每个数据块，统计传输该数据块对应的每个子数据块至对应的每个第一节点的传输时长；采用预设的异常传输时长的确定方法，确定是否存在异常节点；如果是，则停止向异常节点传输数据。由于在本发明实施例中，在依次将数据块对应的每个子数据块传输至对应的每个第一节点时，针对每个数据块，统计每个第一节点对应的传输时长，并在确定出传输时长较大的异常节点后，停止向异常节点传输数据，因此，当节点处于异常状态时，可以减小传输所有数据的时长，提高了系统性能。

对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者一个操作与另一个实体或者另一个操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全应用实施例、或结合应用和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种数据传输方法，其特征在于，所述方法包括：

当识别到存在待传输的数据时，将待传输的数据划分为至少一个数据块；并针对每个数据块，基于冗余规则，将该数据块确定为第一数量的子数据块，其中，所述第一数量为预先确定的接收数据的节点的数量；

依次针对每个数据块，根据服务器发送的接收数据的每个第一节点的标识信息，将该数据块对应的每个子数据块向对应的每个第一节点进行传输；

针对每个数据块，统计传输该数据块对应的每个子数据块至对应的每个第一节点的传输时长；采用预设的异常传输时长的确定方法，确定是否存在异常节点；如果是，则停止向异常节点传输数据；

其中，在将数据块确定为第一数量的子数据块时，所述方法还包括：

基于冗余规则，以及根据所述第一数量，确定能够停止向其传输数据的异常节点的第二数量，并保存；

在停止向异常节点传输数据之前，所述方法还包括：

判断当前确定的异常节点的第三数量是否大于保存的所述第二数量；

如果是，则根据每个异常节点对应的传输时长，在第三数量的异常节点中选取第二数量的目标异常节点，根据第二数量的目标异常节点，进行后续步骤，并对所述第二数量进行更新；

如果否，则直接进行后续步骤，并对所述第二数量进行更新。

2.如权利要求1所述的方法，其特征在于，所述采用预设的异常传输时长的确定方法，确定是否存在异常节点包括：

采用格里布斯准则算法，以及每个第一节点对应的传输时长，确定是否存在异常节点；或

确定每个第一节点对应的传输时长的中值，并确定大于该中值的每个传输时长与该中值的比值，针对每个比值，判断该比值是否大于预设的比值阈值，如果是，则确定存在异常节点。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

将所述异常节点的标识信息发送给所述服务器，使服务器保存所述异常节点的标识信息与终端的对应关系。

4.一种数据传输系统，其特征在于，所述系统包括：终端、服务器；

所述终端，用于当识别到存在待传输的数据时，将待传输的数据划分为至少一个数据块；并针对每个数据块，基于冗余规则，将该数据块确定为第一数量的子数据块，其中，所述第一数量为预先确定的接收数据的节点的数量；并向服务器发送携带接收数据的节点的第一数量的节点申请请求；其中，在将数据块确定为第一数量的子数据块时，基于冗余规则，以及根据所述第一数量，确定能够停止向其传输数据的异常节点的第二数量，并保存；

所述服务器，用于接收所述终端发送的所述节点申请请求，确定第一数量的节点，将所述第一数量的节点的标识信息发送给所述终端；

所述终端，还用于依次针对每个数据块，根据接收到的所述服务器发送的接收数据的每个第一节点的标识信息，将该数据块对应的每个子数据块向对应的每个第一节点进行传输；针对每个数据块，统计传输该数据块对应的每个子数据块至对应的每个第一节点的传输时长；采用预设的异常传输时长的确定方法，确定是否存在异常节点，如果是，则停止向异常节点传输数据；在停止向异常节点传输数据之前，判断当前确定的异常节点的第三数量是否大于保存的所述第二数量；如果是，则根据每个异常节点对应的传输时长，在第三数量的异常节点中选取第二数量的目标异常节点，根据第二数量的目标异常节点，进行后续步骤，并对所述第二数量进行更新；如果否，则直接进行后续步骤，并对所述第二数量进行更新。

5.如权利要求4所述的系统，其特征在于，所述服务器，具体用于根据保存的每个节点是否为该终端对应的异常节点，确定第一数量的接收数据的第一节点。

6.如权利要求4所述的系统，其特征在于，所述终端，还用于将所述异常节点的标识信息发送给服务器；

所述服务器，用于在接收到所述终端发送的所述异常节点的标识信息后，保存所述异常节点的标识信息与终端的对应关系。

7.如权利要求6所述的系统，其特征在于，所述服务器，还用于识别保存的该终端对应的每个异常节点的时长，判断所述时长是否大于预设的时长阈值，如果是，删除该终端与该异常节点的对应关系。

8.一种数据传输装置，其特征在于，所述装置包括：

确定模块，用于当识别到存在待传输的数据时，将待传输的数据划分为至少一个数据块；并针对每个数据块，基于冗余规则，将该数据块确定为第一数量的子数据块，其中，所述第一数量为预先确定的接收数据的节点的数量；

传输模块，用于依次针对每个数据块，根据服务器发送的接收数据的每个第一节点的标识信息，将该数据块对应的每个子数据块向对应的每个第一节点进行传输；

判断模块，用于针对每个数据块，统计传输该数据块对应的每个子数据块至对应的每个第一节点的传输时长；采用预设的异常传输时长的确定方法，确定是否存在异常节点；如果是，则停止向异常节点传输数据；

其中，所述确定模块，还用于基于冗余规则，以及根据所述第一数量，确定能够停止向其传输数据的异常节点的第二数量，并保存；

所述判断模块，还用于判断当前确定的异常节点的第三数量是否大于保存的所述第二数量；如果是，则根据每个异常节点对应的传输时长，在第三数量的异常节点中选取第二数量的目标异常节点，根据第二数量的目标异常节点，进行后续步骤，并对所述第二数量进行更新；如果否，则直接进行后续步骤，并对所述第二数量进行更新。

9.如权利要求8所述的装置，其特征在于，所述判断模块，具体用于采用格里布斯准则算法，以及每个第一节点对应的传输时长，确定是否存在异常节点；或确定每个第一节点对应的传输时长的中值，并确定大于该中值的每个传输时长与该中值的比值，针对每个比值，判断该比值是否大于预设的比值阈值，如果是，则确定存在异常节点。

10.如权利要求8所述的装置，其特征在于，所述装置还包括：

上报模块，用于将所述异常节点的标识信息发送给所述服务器，使服务器保存所述异常节点的标识信息与终端的对应关系。

Images