CN106331184B - 基于互联网的大数据分发方法和分发平台 - Google Patents

Abstract

本发明公开了一种基于互联网的大数据分发方法和分发平台，分发方法包括以下步骤：任务调度管理平台向文件分发服务器和文件接收客户端分别发送分发任务信息；文件分发服务器和文件接收客户端分别接收分发任务信息，并根据所述分发任务信息分别进行状态检查；文件分发服务器与文件接收客户端建立最优数据分发通道；文件分发服务器通过最优数据分发通道，将分发任务的数据文件主动下发主动推送至文件接收客户端。本发明通过私有传输协议实现分发服务端到客户端的传输加速，克服传统传输协议实现超大文件传输尤其是200GB以上文件的网络性能限制瓶颈问题，实现任务定时下发和智能推送，构成统一的数据分发和调度管理平台。

Description

基于互联网的大数据分发方法和分发平台

技术领域

本发明涉及计算机领域，特别涉及一种基于互联网的大数据分发方法和分发平台。

背景技术

随着全球消费者市场的不断扩大，娱乐文化产业处于稳步增长的发展时期，中国是全球第二大电影市场，同时也是增长最快的市场之一。为了满足消费者对于影视娱乐的需求，影视分发公司需要快速的将上映影片进行全国范围的分发。根据数字电影发行放映业务要求，一部专业(2K)电影数字拷贝(文件约200GB)要求能在同一时间内分发到全国各放映影院。

当前国内的影视行业中，数字影片内容分发主要有人工分发、快递分发、卫星分发和网络分发几种方式。然而这几种分发方式均存在种种不足，例如：人工分发成本太高，分发速度太慢；快递分发成本也很高，并且依赖快递服务的时效性和分发范围，耗时较长，难以应对突发状态，分发可靠性和效率较低；卫星分发涉及到大型硬件的加装改造，价格昂贵，传输时长和传输成功率也较难保障；而网络分发则面临全国大部分影院的网络带宽不足以支撑高速传输，传统传输协议在实现200GB以上大数据量的电影数字拷贝传输任务中，很难保证传输性能等问题，暂时无法实现应用。

综上所述，现有技术存在的问题是：现有的大数据分发方法，分发速度慢，耗时长；分发成本高，价格昂贵；分发可靠性难以保证；分发效率低。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种基于互联网的大数据分发方法和分发平台。所述技术方案如下：

一方面，一种基于互联网的大数据分发方法，包括以下步骤：

任务调度管理平台向文件分发服务器和文件接收客户端分别发送分发任务信息；

文件分发服务器和文件接收客户端分别接收分发任务信息，并根据分发任务信息分别进行状态检查；

文件分发服务器与文件接收客户端建立最优数据分发通道；

文件分发服务器通过最优数据分发通道，将分发任务的数据文件主动推送至文件接收客户端。

进一步的，文件分发服务器和文件接收客户端分别接收分发任务信息，并根据分发任务信息分别进行状态检查的具体步骤包括：

文件分发服务器和文件接收客户端分别接收并解析分发任务信息；

文件分发服务器和文件接收客户端根据解析后的分发任务信息，分别检查本地文件分发环境是否正常，并上报任务调度管理平台。

进一步的，文件分发服务器与文件接收客户端建立最优数据分发通道的具体步骤包括：

任务调度管理平台向中转平台发送最优传输路径查询请求；

中转平台接收最优传输路径查询请求，分析获得最优传输路径，并将最优传输路径反馈给任务调度管理平台；

任务调度管理平台根据最优传输路径，通过私有传输协议，在文件分发服务器、中转平台和文件接收客户端之间建立最优数据分发通道。

进一步的，文件分发服务器通过最优数据分发通道，将分发任务的数据文件主动推送至文件接收客户端的具体步骤包括：

文件分发服务器通过最优数据分发通道，将分发任务的数据文件主动推送至文件接收客户端；

文件接收客户端实时向任务调度管理平台上报分发任务的数据文件接收进度信息，直至分发任务的数据文件接收完成。

进一步的，任务调度管理平台向文件分发服务器和文件接收客户端分别发送分发任务信息的具体步骤包括：

任务调度管理平台配置分发任务信息；

任务调度管理平台根据分发任务信息，判断当前时间是否为分发时间的前N分钟，N＞0；

若不是则停留在当前步骤直至到达分发时间的前N分钟；

若是则任务调度管理平台将分发任务信息发送至文件分发服务器和文件接收客户端。

进一步的，私有传输协议具体包括：智能发包策略控制、智能拥塞控制算法、协议保持连接方法和数据包智能优化处理方法。

具体的，智能发包策略控制为：实时根据传输链路实际情况，调整传输链路发包速率大小，减少传输链路拥塞；

具体的，智能拥塞控制算法为：通过判定传输链路拥塞原因，从而调整发包速率，提高带宽利用率；

具体的，协议保持连接方法为：建立最优数据分发通道后，同时建立备用数据分发通道，若数据在传输过程中，出现传输链路异常中断，则零时延切换到备用数据分发通道；

具体的，数据包智能优化处理方法包括：数据包智能压缩、快速重传、断点续传、智能秒传。

进一步的，最优传输路径通过节点负载均衡、节点就近原则或路径可用带宽进行加权分析得到。

进一步的，任务信息的具体内容包括：分发时间、分发文件名称、文件接收客户端以及是否需要中转缓存。

另一方面，一种基于互联网的大数据分发平台，包括：

调度管理平台，用于向分发服务器和接收客户端发送任务信息；

分发服务器，与调度管理平台连接，用于接收调度管理平台发送的任务信息，存储和发送数据；

中转平台，与分发服务器连接，用于缓存和中转分发服务器发送的数据；

接收客户端，与中转平台连接，用于接收调度管理平台发送的任务信息和中转平台中转的数据。

进一步的，调度管理平台具体包括：

任务管理模块，用于设定数据分发任务；

网络监控模块，用于对分发任务进行质量监控；

中央文件管理模块，用于对分发服务器中的数据进行存储管理、分析是否需要通过中转平台上的中转节点进行分发数据缓存。

进一步的，中转平台具体包括：

数据缓存模块，用于将分发服务器发送的数据在中转平台上的中转节点进行缓存；

智能路由模块，用于在接收客户端和分发服务器之间、分发服务器和中转节点之间、接收客户端和中转节点之间选择最优传输路径建立连接；

中转平台大数据优化模块，用于针对超大文件数据传输进行优化处理。

进一步的，客户端具体包括：

私有传输协议模块，用于在分发服务器、中转节点和客户端间建立私有传输协议；

客户端大数据优化模块，用于对接收到的分发数据进行处理。

可选的，调度管理平台还包括：数据安全控制模块，用于保证数据传输过程中的安全性。

进一步的，数据安全控制模块包括：

数据安全加密模块，用于对传输数据安全加密；

身份认证模块，用于校验接收客户端的身份，防止数据被恶意盗取。

本发明实施例提供的技术方案带来的有益效果是：本发明的方法通过私有传输协议实现分发服务端到客户端的传输加速，克服传统传输协议实现超大文件传输尤其是200GB以上文件的网络性能限制瓶颈问题，实现任务定时下发和智能推送，构成统一的数据分发和调度管理平台。本发明通过统一调度监控管理平台，按分发任务时间主动将文件从分发服务器发送至文件接收客户端，并进行全程智能监控，实现超大数据的主动快速分发。本发明的方法能够建立满足电影数字拷贝放映要求的大容量点对面传输系统，利用互联网优化数字电影发行流程，解放电影从业人员生产力，提高我国电影数字内容的分发效率。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的基于互联网的大数据分发方法的流程图；

图2是本发明实施例一提供的基于互联网的大数据分发方法的流程图；

图3是本发明实施例一提供的基于互联网的大数据分发方法的流程图，图3(1)是本发明实施例一的一种实施方式的流程图，图3(2)是本发明实施例一的另一种实施方式的流程图，图3(3)是本发明实施例一的再一种实施方式的流程图；

图4是本发明实施例二提供的基于互联网的大数据分发平台的结构图；

图5是本发明实施例二提供的基于互联网的大数据分发平台的结构图；

图6是本发明实施例二提供的基于互联网的大数据分发平台的调度管理平台结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

本发明提供一种基于互联网的大数据分发方法，如图1所示，包括以下步骤：步骤S101，任务调度管理平台向文件分发服务器和文件接收客户端分别发送分发任务信息；步骤S102，文件分发服务器和文件接收客户端分别接收分发任务信息，并根据分发任务信息分别进行状态检查；检查完成后进行步骤S103，文件分发服务器与文件接收客户端建立最优数据分发通道；步骤S104，文件分发服务器通过最优数据分发通道，将分发任务的数据文件主动推送至文件接收客户端。

具体的，如图2所示：

步骤S201，任务调度管理平台向文件分发服务器和文件接收客户端分别发送分发任务信息。

步骤S202，文件分发服务器和文件接收客户端分别接收并解析该分发任务信息。

步骤S203，文件分发服务器和文件接收客户端根据解析后的分发任务信息，分别检查本地文件分发环境是否正常，并上报任务调度管理平台。

步骤S204，任务调度管理平台向中转平台发送最优传输路径查询请求。

步骤S205，中转平台接收最优传输路径查询请求，分析获得最优传输路径，并将最优传输路径反馈给任务调度管理平台。

步骤S206，任务调度管理平台根据最优传输路径，通过私有传输协议，在文件分发服务器、中转平台和文件接收客户端之间建立最优数据分发通道。

步骤S207，文件分发服务器通过最优数据分发通道，将分发任务的数据文件主动推送至文件接收客户端。

步骤S208，文件接收客户端实时向任务调度管理平台上报分发任务的数据文件接收进度信息，直至分发任务的数据文件接收完成。

如图3(1)所示是本发明的一种实施方式：

步骤S301，任务调度管理平台配置分发任务信息。任务信息包括：分发时间、分发文件名称、文件接收客户端以及是否需要中转缓存等信息。文件分发服务器则是将存储该分发任务数据文件的服务器作为文件分发服务器。

步骤S302，任务调度管理平台根据分发任务信息，判断当前时间是否为分发时间的前N分钟。若是则进入步骤S303，若不是则停留在当前步骤直至到达分发时间的前N分钟。N的取值范围大于零，即只需保证时间点设置在分发时间前即可。在本实施例中将N设置为1为较优选值，在其他实施例中N也可以是0.5或1.5等值。

步骤S303，任务调度管理平台将分发任务信息发送至文件分发服务器和文件接收客户端。

步骤S304，文件分发服务器和文件接收客户端分别接收并解析该分发任务信息。

步骤S305，文件分发服务器和文件接收客户端根据解析后的分发任务信息，分别检查本地文件分发环境是否正常，并上报任务调度管理平台。文件分发服务器和文件接收客户端检查本地分发环境是否正常的内容包括：文件分发服务器上分发数据文件是否完整，文件接收客户端本地存储是否正常，是否可以正常接收分发任务数据文件等，检查结束后将检查结果反馈给任务调度管理平台，若有异常则进行步骤S306处理，否则进行步骤S307。

步骤S306，任务调度管理平台接收到异常报警信息，触发异常报警处理，启动线上异常处理及紧急人工处理机制进行修复。

步骤S307，任务调度管理平台向中转平台发送最优传输路径查询请求。

步骤S308，中转平台接收最优传输路径查询请求，分析获得最优传输路径，并将最优传输路径反馈给任务调度管理平台。中转平台收到任务调度管理平台发送的最优传输路径查询请求后，经过智能路由策略分析，得到文件分发服务器-中转平台-文件接收客户端的最优分发路径信息，并将最优分发路径信息和中转平台上的中转节点服务器是否缓存该分发任务数据文件的信息反馈给任务调度管理平台。智能路由策略为通过节点负载均衡、节点就近原则、路径可用带宽等条件进行加权分析，得出最优传输路径。

步骤S309，判断中转节点服务器是否缓存该分发任务的数据文件。

在本实施例中，中转节点服务器已缓存有该分发任务的数据文件。

步骤S310，任务调度管理平台发送指令，由缓存有该分发任务数据文件的中转节点服务器根据最优分发路径发起路由连接请求，通过私有传输协议，与文件接收客户端建立高速任务分发通道。私有传输协议是指通过智能发包策略控制、智能拥塞控制算法、协议保持连接、数据包智能优化处理等克服传统TCP/UDP传输协议的机制瓶颈。智能发包策略控制实时根据传输链路实际情况，调整链路发包速率大小，减少链路拥塞；智能拥塞控制能够更准确地判定链路拥塞原因，从而更准确地调整发包速率，提高带宽利用率；协议保持连接是指，当通过传输协议建立连接分发通道后，同时建立备用连接分发通道，若数据在传输过程中，出现传输链路异常中断，则零时延切换到备用连接分发通道，保证数据传输可靠性和稳定性；数据包智能优化处理包括数据包智能压缩、快速重传、断点续传、智能秒传等数据优化处理，进一步提升数据传输效率。

步骤S311，中转节点服务器通过该高速任务分发通道主动将该分发任务对应的数据文件分发至文件接收客户端。该分发任务对应数据文件，通过该高速任务分发通道，不经过文件分发服务器，直接从中转节点服务器主动分发至文件接收客户端。

步骤S312，文件接收客户端接收分发任务数据文件，并进行一致性效验，实时向任务调度管理平台反馈分发任务数据文件接收进度信息。若数据文件正常接收完成并且一致性校验通过，至此，对应该文件接收客户端的分发任务结束，否则进行步骤S306处理。

如图3(2)所示是本发明的另一种实施方式，中转节点服务器未缓存该分发任务的数据文件。

步骤S301-步骤S309、步骤S312与图3(1)相同。

步骤S313，任务调度管理平台判断该分发任务的数据文件是否需要进行中转缓存。在本实施例中该分发任务的数据文件需要进行中转缓存。

步骤S314，任务调度管理平台发送指令，由文件分发服务器根据最优分发路径发起路由连接请求，通过私有传输协议，经过中转平台上的中转节点服务器，与文件接收客户端建立高速任务分发通道。私有传输协议是指通过智能发包策略控制、智能拥塞控制算法、协议保持连接、数据包智能优化处理等克服传统TCP/UDP传输协议的机制瓶颈。智能发包策略控制实时根据传输链路实际情况，调整链路发包速率大小，减少链路拥塞；智能拥塞控制能够更准确地判定链路拥塞原因，从而更准确地调整发包速率，提高带宽利用率；协议保持连接是指，当通过传输协议建立连接分发通道后，同时建立备用连接分发通道，若数据在传输过程中，出现传输链路异常中断，则零时延切换到备用连接分发通道，保证数据传输可靠性和稳定性；数据包智能优化处理包括数据包智能压缩、快速重传、断点续传、智能秒传等数据优化处理，进一步提升数据传输效率。

步骤S315，文件分发服务器通过该高速任务分发通道主动将该分发任务的数据文件分发至文件接收客户端。该分发任务的数据文件通过该高速任务分发通道从文件分发服务器经过中转节点服务器主动分发至文件接收客户端，分发任务的数据文件经过中转节点服务器时，中转节点服务器同步进行文件数据缓存。然后进入步骤S312。

如图3(3)所示是本发明的又一种实施方式，中转节点服务器未缓存该分发任务的数据文件，且该分发任务的数据文件不需要进行中转缓存。

步骤S301-步骤S309、步骤S312、步骤S313与图3(2)相同。

步骤S316，任务调度管理平台发送指令，由文件分发服务器通过私有传输协议直接与文件接收客户端建立高速任务分发通道。该高速任务分发通道不经过中转平台。私有传输协议是指通过智能发包策略控制、智能拥塞控制算法、协议保持连接、数据包智能优化处理等克服传统TCP/UDP传输协议的机制瓶颈。智能发包策略控制实时根据传输链路实际情况，调整链路发包速率大小，减少链路拥塞；智能拥塞控制能够更准确地判定链路拥塞原因，从而更准确地调整发包速率，提高带宽利用率；协议保持连接是指，当通过传输协议建立连接分发通道后，同时建立备用连接分发通道，若数据在传输过程中，出现传输链路异常中断，则零时延切换到备用连接分发通道，保证数据传输可靠性和稳定性；数据包智能优化处理包括数据包智能压缩、快速重传、断点续传、智能秒传等数据优化处理，进一步提升数据传输效率。

步骤S317，文件分发服务器通过该高速任务分发通道主动将该分发任务的数据文件分发至文件接收客户端。该分发任务对应大数据文件通过该高速任务分发通道从文件分发服务器主动分发至文件接收客户端时，不经过中转平台，直接到达文件接收客户端。然后进入步骤S312。

本发明的方法通过私有传输协议实现分发服务端到客户端的传输加速，克服传统传输协议实现超大文件传输尤其是200GB以上文件的网络性能限制瓶颈问题，实现任务定时下发和智能推送。

实施例二

本发明还提供一种基于互联网的大数据分发平台，如图4所示，包括：调度管理平台100、分发服务器200、中转平台300和接收客户端400。

调度管理平台100用于向分发服务器200和接收客户端400发送任务信息；分发服务器200与调度管理平台100连接，用于接收调度管理平台100发送的任务信息，存储和发送数据；中转平台300与分发服务器200连接，用于缓存和中转分发服务器200发送的数据；接收客户端400与中转平台300连接，用于接收调度管理平台100发送的任务信息和中转平台300中转的数据。

如图5所示：

调度管理平台100包括：任务管理模块101、网络监控模块102和中央文件管理模块103。

分发服务器200由N台单独的服务器201组成，N为大于1的整数。

中转平台300包括：数据缓存模块301、智能路由模块302和中转平台大数据优化模块303。

接收客户端400包括：私有传输协议模块401和客户端大数据优化模块402。

任务管理模块101用于设定数据分发任务，通过选择分发文件，选择分发时间，选择接收客户端400名称来进行分发任务下发。网络监控模块102用于对分发任务进行质量监控，包括监控分发任务情况、接收客户端400服务是否正常。中央文件管理模块103用于对分发服务器200中的数据进行存储管理，分析是否需要通过中转平台上的中转节点进行分发数据缓存。

数据缓存模块301用于将分发服务器200发送的数据在中转平台300上的中转节点进行缓存。通过数据缓存模块301实现分发数据在中转平台300上的中转节点进行缓存，当最优分发通道建立后，可直接通过中转节点将分发数据主动下发至接收客户端400，能够有效提高数据分发速率。

智能路由模块302用于在接收客户端400和分发服务器之间200、分发服务器200和中转节点之间、接收客户端400和中转节点之间选择最优传输路径建立连接。具体地通过节点负载均衡、节点就近原则、路径可用带宽等条件进行加权分析，得出最优传输路径。

中转平台大数据优化模块303用于针对超大文件数据传输进行优化处理，包括数据压缩、数据分片、数据一致性处理等，保障大数据分发的时效性、安全性和可靠性。

私有传输协议模块401用于在分发服务器200—中转节点—接收客户端400间建立私有传输协议。私有传输协议能够解决传统传输控制协议进行超大文件传输的网络瓶颈问题，通过智能探测、智能拥塞控制等优化技术，实现分发服务器200—中转节点—接收客户端400的全程传输加速。客户端大数据优化模块402用于对接收到的分发数据进行处理，保证传输数据的准确性和可靠性。

可选的，如图6所示，调度管理平台100还包括数据安全控制模块104，用于保证数据传输过程中的安全性。

数据安全控制模块104包括数据安全加密模块1041和身份认证模块1042。数据安全加密模块1041用于对传输数据安全加密。通过加密的分发任务请求，防止请求被不良劫持，避免服务器受到非法攻击，同时采用传输数据块粒度的加密，保证传输过程的数据安全。身份认证模块1042用于校验接收客户端的身份，防止数据被恶意盗取。

通过以上装置可以实现全国所有影院从影片发行方正常接收分发的电影数字文件，同时对全国所有影院的网络和电影数字拷贝中转平台、分发服务器进行有效的监控和报警，及时监控和汇报异常接入点，并通过数据优化技术、数据传输加解密技术、身份密钥管理技术、校验技术保证电影数字拷贝在互联网传输网络中传输过程的保密性和安全性，以及内容接收端合法身份信息的可管可控，搭建电影数字拷贝传输平台认证系统。

国内某一流的电影院线，通过接入该大数据分发平台，在100Mbps带宽环境下，从片源提供方机房传输248G文件到广州、北京、厦门某影院，传输速度统计结果如下：

从测试结果可以看出，平均传输性能在11.98MB/S以上，带宽利用率达到95.84％以上，一部248G的影片，能够在6个小时内完成传输分发，较好地满足全国电影数字分发拷贝的需求，实现基于互联网的数字电影分发。并且该分发平台可适用于其他数据文件分发的场景，尤其是超大文件分发的场景。

本发明通过统一调度监控管理平台，按分发任务时间主动将文件从分发服务器发送至文件接收客户端，并进行全程智能监控，实现超大数据的主动快速分发。本发明的方法能够建立满足电影数字拷贝放映要求的大容量点对面传输系统，利用互联网优化数字电影发行流程，解放电影从业人员生产力，提高我国电影数字内容的分发效率。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于互联网的大数据分发方法，其特征在于，包括以下步骤：

任务调度管理平台向文件分发服务器和文件接收客户端分别发送分发任务信息；

所述文件分发服务器和所述文件接收客户端分别接收所述分发任务信息，并根据所述分发任务信息分别进行状态检查；

中转平台根据智能路由策略分析，得到最优分发路径；

如果所述中转平台上的中转节点已存储所述分发任务的数据文件，则所述中转节点根据最优分发路径，通过私有传输协议，与所述文件接收客户端建立高速任务分发通道，并将所述分发任务的数据文件主动推送至所述文件接收客户端；

否则，所述文件分发服务器根据最优分发路径，通过私有传输协议，经过所述中转平台上的中转节点，与所述文件接收客户端建立高速任务分发通道，并将所述分发任务的数据文件主动推送至所述文件接收客户端。

2.如权利要求1所述的基于互联网的大数据分发方法，其特征在于，所述文件分发服务器和所述文件接收客户端分别接收所述分发任务信息，并根据所述分发任务信息分别进行状态检查的具体步骤包括：

所述文件分发服务器和所述文件接收客户端分别接收并解析所述分发任务信息；

所述文件分发服务器和所述文件接收客户端根据解析后的分发任务信息，分别检查本地文件分发环境是否正常，并上报所述任务调度管理平台。

3.如权利要求2所述的基于互联网的大数据分发方法，其特征在于，所述中转平台根据智能路由策略分析，得到最优分发路径，包括：

所述任务调度管理平台向中转平台发送最优分发路径查询请求；

所述中转平台接收所述最优分发路径查询请求，通过智能路由策略分析获得最优分发路径，并将所述最优分发路径反馈给所述任务调度管理平台。

4.如权利要求3所述的基于互联网的大数据分发方法，其特征在于，所述文件分发服务器通过所述高速任务分发通道，将所述分发任务的数据文件主动推送至所述文件接收客户端的具体步骤包括：

所述文件分发服务器通过所述高速任务分发通道，将所述分发任务的数据文件主动推送至所述文件接收客户端；

所述文件接收客户端实时向所述任务调度管理平台上报所述分发任务的数据文件接收进度信息，直至所述分发任务的数据文件接收完成。

5.如权利要求4所述的基于互联网的大数据分发方法，其特征在于，所述任务调度管理平台向文件分发服务器和文件接收客户端分别发送分发任务信息的具体步骤包括：

所述任务调度管理平台配置分发任务信息；

所述任务调度管理平台根据所述分发任务信息，判断当前时间是否为分发时间的前N分钟，N＞0；

若不是则停留在当前步骤直至到达分发时间的前N分钟；

若是则所述任务调度管理平台将所述分发任务信息发送至所述文件分发服务器和所述文件接收客户端。

6.如权利要求5所述的基于互联网的大数据分发方法，其特征在于，所述私有传输协议具体包括：智能发包策略控制、智能拥塞控制算法、协议保持连接方法和数据包智能优化处理方法；

所述智能发包策略控制具体为：实时根据传输链路实际情况，调整所述传输链路发包速率大小，减少所述传输链路拥塞；

所述智能拥塞控制算法具体为：通过判定所述传输链路拥塞原因，从而调整发包速率，提高带宽利用率；

所述协议保持连接方法具体为：建立所述高速任务分发通道后，同时建立备用数据分发通道，若数据在传输过程中，出现所述传输链路异常中断，则零时延切换到所述备用数据分发通道；

所述数据包智能优化处理方法具体包括：数据包智能压缩、快速重传、断点续传、智能秒传。

7.一种基于互联网的大数据分发平台，其特征在于，包括：

调度管理平台，用于向分发服务器和文件接收客户端发送任务信息；

所述分发服务器，与所述调度管理平台连接，用于接收所述调度管理平台发送的任务信息，根据最优分发路径，通过私有传输协议，经过中转平台上的中转节点与所述文件接收客户端建立高速任务分发通道，存储并通过所述高速任务分发通道发送数据；

所述中转平台，与所述分发服务器连接，用于根据智能路由策略分析，得到最优分发路径，缓存所述分发服务器发送的数据，并且所述中转平台上的中转节点根据最优分发路径，通过私有传输协议，与所述文件接收客户端建立高速任务分发通道，通过所述高速任务分发通道发送数据；

所述文件接收客户端，与所述中转平台连接，用于接收所述调度管理平台发送的任务信息和所述中转平台中转的数据。

8.如权利要求7所述的基于互联网的大数据分发平台，其特征在于，所述调度管理平台具体包括：

任务管理模块，用于设定数据分发任务；

网络监控模块，用于对分发任务进行质量监控；

中央文件管理模块，用于对所述分发服务器中的数据进行存储管理、分析是否需要通过所述中转平台上的中转节点进行分发数据缓存。

9.如权利要求8所述的基于互联网的大数据分发平台，其特征在于，所述中转平台具体包括：

数据缓存模块，用于将所述分发服务器发送的数据在所述中转平台上的中转节点进行缓存；

智能路由模块，用于通过智能路由策略，在所述文件接收客户端和所述分发服务器之间、所述分发服务器和所述中转节点之间、所述文件接收客户端和所述中转节点之间确定最优分发路径；

中转平台大数据优化模块，用于针对超大文件数据传输进行优化处理。

10.如权利要求9所述的基于互联网的大数据分发平台，其特征在于，所述文件接收客户端具体包括：

私有传输协议模块，用于在所述分发服务器、中转节点和文件接收客户端间建立私有传输协议；

客户端大数据优化模块，用于对接收到的分发数据进行处理。

11.如权利要求10所述的基于互联网的大数据分发平台，其特征在于，所述调度管理平台还包括：数据安全控制模块，用于保证数据传输过程中的安全性。

Images