CN104811499A - 一种网络文件传输优化方法 - Google Patents

Abstract

本发明实施例公开了一种网络文件传输优化方法，用于解决现有文件传输方式容易受到网络状态的影响，网络资源浪费和传输效率低下的问题。本发明实施例方法包括：获取主机当前的第一网络流量；根据预建立的流量模型和所述第一网络流量预测得到主机未来的第二网络流量；分析所述第二网络流量超越预设流量阈值的概率，得到分析结果；根据所述分析结果和预设的分割标准将需要传输的文件分割为相应的数据块进行传输。

Description

一种网络文件传输优化方法

技术领域

本发明涉及通信领域，尤其涉及一种网络文件传输优化方法。

背景技术

资源共享是Internet高速发展的主要动力，与此同时文件交换的需求就直接导致了文件传输技术的兴起。采用计算机技术和网络技术来实现对办公文档或实验数据的即使共享可以很大程度上减轻工作人员的负担，也可以使文件管理更科学、更规范以及更安全。

目前人们采用文件传输方式主要是通过局域网文件共享、邮件传输等，这些方式在传输文件较小、文件数量较少以及不需要及时共享数据的前提下还是比较方便。但是当要传输大批量文件、大体积文件时，由于网络是动态的，兼具噪音和不稳定性，这种文件传输方式极其容易受到网络状态的影响，从而出现网络资源浪费和传输效率低下的现象。

发明内容

本发明实施例提供了一种网络文件传输优化方法，能够解决现有文件传输方式容易受到网络状态的影响，网络资源浪费和传输效率低下的问题。

本发明实施例提供的一种网络文件传输优化方法，包括：

获取主机当前的第一网络流量；

根据预建立的流量模型和所述第一网络流量预测得到主机未来的第二网络流量；

分析所述第二网络流量超越预设流量阈值的概率，得到分析结果；

根据所述分析结果和预设的分割标准将需要传输的文件分割为相应的数据块进行传输。

可选地，所述分析所述第二网络流量超越预设流量阈值的概率，得到分析结果具体包括：

计算所述第二网络流量在预设时间长度内超越所述流量阈值的拥堵比例；

根据所述拥堵比例对所述主机的网络状态进行分级，得到分级结果作为所述分析结果，所述分级结果与所述分割标准相对应。

可选地，根据所述分析结果和预设的分割标准将需要传输的文件分割为相应的数据块进行传输具体包括：

根据所述分级结果和预设的分割标准将需要传输的文件分割为对应大小的数据块，所述数据块的大小与所述拥堵比例的大小成反比；

通过对应数量的传输线程对所述数据块进行传输，所述传输线程的数量与所述数据块的大小成正比。

可选地，所述方法还包括：预建立所述流量模型；

预建立所述流量模型具体包括：

采集所述主机的历史网络流量数据；

根据所述历史网络流量数据建立周期预测函数，所述周期预测函数将网络流量分为周期分量和随机分量；

将所述随机分量划分为预设的多个状态区间；

根据多个状态区间构造所述随机分量的转移概率矩阵；

根据所述转移概率矩阵和全概率公式得到所述随机分量的概率向量；

所述流量模型由所述周期预测函数和所述概率向量组成。

可选地，所述周期预测函数的表达式如下：

Τ[t]＝τ_t+ξ[t]τ_t；

Τ[t]表示t时刻的网络流量，τ_t为周期分量，ξ[t]为随机分量；

其中，τ_t＝Ε(Τ_i[t])。

可选地，所述转移概率矩阵的表达式如下：

       $P_1=\left[\begin{array}{cccc}{P}_{11}& P_{12}& ...& P_{1j}\\ P_{21}& P_{22}& ...& P_{2j}\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ P_{i1}& P_{i2}& ...& P_{\mathrm{ij}}\end{array}\right];$

其中，p_ij为前一时刻ξ[t]处于状态区间i，后一时刻ξ[t]处于状态区间j的比率。

可选地，所述概率向量的表达式如下：

P(t_k)＝P(t₀)P_tk；

其中，t_k为未来时刻，t₀为当前时刻；

所述随机分量ξ[t]的表达式为：

       $\mathrm{\ξ}\left[t\right]=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\θ}}_i{p}_i\left(t\right);$

θ_i为ξ[t]所处状态区间i的平均值，p_i(t)表示t时刻ξ[t]所处状态区间i的概率。

可选地，根据预建立的流量模型和所述第一网络流量预测得到主机未来的第二网络流量之前还包括：

根据所述主机的历史网络流量数据和所述流量模型计算所述主机网络流量的置信上下限区间；

判断所述第一网络流量是否落入所述置信上下限区间，若是，则执行根据预建立的流量模型和所述第一网络流量预测得到主机未来的第二网络流量的步骤，若否，则更新所述置信上下限区间。

可选地，所述更新所述置信上下限区间具体包括：

采集主机更新后的第三网络流量；

根据所述第三网络流量和所述流量模型计算随机分量ξ[t]的正态分布参数μ和σ²；

根据μ、σ²以及预设的ξ[t]的随机上限α、随机下限α₀计算得到更新后的置信上下限区间。

可选地，所述置信上下限区间的表达式为：[ξ₁，ξ₂]；

ξ₁＝φ^-1(α+α₀)σ+μ；

ξ₂＝φ^-1(α₀)σ+μ；

其中，ξ₁为置信上限，ξ₂为置信下限，φ^-1为标准正态分布函数的反函数。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例中，首先，获取主机当前的第一网络流量；然后，根据预建立的流量模型和所述第一网络流量预测得到主机未来的第二网络流量；接着，分析所述第二网络流量超越预设流量阈值的概率，得到分析结果；最后，根据所述分析结果和预设的分割标准将需要传输的文件分割为相应的数据块进行传输。在本发明实施例中，根据当前的第一网络流量对未来的第二网络流量进行预测，并分析其超越流量阈值的概率，从而对文件进行相应的分割传输，使得在网络状态不好时，尤其是传输大批量文件、大体积文件时，可以根据网络状态动态地调整数据块的传输，避免文件传输易受网络状态的影响，从而节省网络资源，提高传输效率。

附图说明

图1为本发明实施例中一种网络文件传输优化方法一个实施例流程图；

图2为本发明实施例中一种网络文件传输优化方法另一个实施例流程图；

图3为服务器端的示意框图；

图4为客户端的示意框图；

图5为根据传输状态的线程调度方法流程图。

具体实施方式

本发明实施例提供了一种网络文件传输优化方法，用于解决现有文件传输方式容易受到网络状态的影响，网络资源浪费和传输效率低下的问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例中一种网络文件传输优化方法一个实施例包括：

101、获取主机当前的第一网络流量；

首先，获取主机当前的第一网络流量。

102、根据预建立的流量模型和该第一网络流量预测得到主机未来的第二网络流量；

在获取主机当前的第一网络流量之后，可以根据预建立的流量模型和该第一网络流量预测得到主机未来的第二网络流量。

103、分析该第二网络流量超越预设流量阈值的概率，得到分析结果；

在根据预建立的流量模型和该第一网络流量预测得到主机未来的第二网络流量之后，可以分析该第二网络流量超越预设流量阈值的概率，得到分析结果。

104、根据该分析结果和预设的分割标准将需要传输的文件分割为相应的数据块进行传输。

在分析该第二网络流量超越预设流量阈值的概率，得到分析结果之后，可以根据该分析结果和预设的分割标准将需要传输的文件分割为相应的数据块进行传输。

本实施例中，首先，获取主机当前的第一网络流量；然后，根据预建立的流量模型和该第一网络流量预测得到主机未来的第二网络流量；接着，分析该第二网络流量超越预设流量阈值的概率，得到分析结果；最后，根据该分析结果和预设的分割标准将需要传输的文件分割为相应的数据块进行传输。在本实施例中，根据当前的第一网络流量对未来的第二网络流量进行预测，并分析其超越流量阈值的概率，从而对文件进行相应的分割传输，使得在网络状态不好时，尤其是传输大批量文件、大体积文件时，可以根据网络状态动态地调整数据块的传输，从而节省网络资源，提高传输效率。

为便于理解，下面对本发明实施例中的一种网络文件传输优化方法进行详细描述，请参阅图2，本发明实施例中一种网络文件传输优化方法另一个实施例包括：

201、预建立流量模型；

在进行网络文件传输之前，需要预建立流量模型，该流量模型可以用来预测未来时刻的网络流量或者对未来网络状态进行评估。预建立该流量模型具体可以包括：

1、采集该主机的历史网络流量数据；

2、根据该历史网络流量数据建立周期预测函数，该周期预测函数将网络流量分为周期分量和随机分量；

该周期预测函数的表达式如下：

Τ[t]＝τ_t+ξ[t]τ_t

Τ[t]表示t时刻的网络流量，τ_t为周期分量，属于周期性函数，ξ[t]为随机分量，属于随机函数；

其中，τ_t＝Ε(Τ_i[t])。

3、将该随机分量划分为预设的多个状态区间，例如可以划分为m个状态区间；

4、根据多个状态区间构造该随机分量的转移概率矩阵；

该转移概率矩阵的表达式如下：

       $P_1=\left[\begin{array}{cccc}{P}_{11}& P_{12}& ...& P_{1j}\\ P_{21}& P_{22}& ...& P_{2j}\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ P_{i1}& P_{i2}& ...& P_{\mathrm{ij}}\end{array}\right]$

其中，p_ij为前一时刻ξ[t]处于状态区间i，后一时刻ξ[t]处于状态区间j的比率。

5、根据该转移概率矩阵和全概率公式得到该随机分量的概率向量；

需要说明的是，可以根据当前t₀时刻ξ[t]所处的状态区间，根据全概率公式得到：Ρ(t₀)＝(p₁(t₀),p₂(t₀),…,p_n(t₀))，其中p_i(t₀)表示t₀时刻ξ[t]处于第i(i∈m)区间的绝对概率。

由上面的全概率公式可知，未来时刻t_k时刻ξ[t]所处各状态区间的概率向量可表示为如下公式：

P(t_k)＝P(t₀)P_tk

其中，t_k为未来时刻，t₀为当前时刻；

因此，该随机分量ξ[t]的表达式为：

       $\mathrm{\ξ}\left[t\right]=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\θ}}_i{p}_i\left(t\right)$

θ_i为ξ[t]所处状态区间i的平均值，p_i(t)表示t时刻ξ[t]所处状态区间i的概率。

需要说明的是，该流量模型由该周期预测函数和该概率向量组成，因此得到该周期预测函数和该概率向量后，即得到该流量模型，该流量模型的公式如下：

       $\left\{\begin{array}{c}T\left[t\right]={\mathrm{\τ}}_t+\mathrm{\ξ}\left[t\right]{\mathrm{\τ}}_t\\ \mathrm{\ξ}\left[t\right]=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\θ}}_i{p}_i\left(t\right)\end{array}\right.$

202、根据该主机的历史网络流量数据和该流量模型计算该主机网络流量的置信上下限区间；

在建立该流量模型之后，可以根据该主机的历史网络流量数据和该流量模型计算该主机网络流量的置信上下限区间。可以理解的是，根据主机网络历史流量采集数据，利用流量模型计算τ_t及ξ[t]并估算ξ[t]的正态分布参数μ和σ²，然后根据预设置信度α和α₀计算该主机网络流量的置信上下限区间。

203、获取主机当前的第一网络流量；

在进行网络文件传输时，首先获取主机当前的第一网络流量。

204、判断该第一网络流量是否落入该置信上下限区间，若是，则执行步骤206，若否，则执行步骤205；

在获取主机当前的第一网络流量之后，可以判断该第一网络流量是否落入该置信上下限区间，若是，则执行步骤206，若否，则执行步骤205。可以理解的是，若该第一网络流量落入该置信上下限区间，可以认为该网络流量属于正常的、可接受的范围之内，则执行步骤206。反之，若该第一网络流量未落入该置信上下限区间，则可以认为该置信上下限区间与当前的第一网络流量无法相互适应和匹配，因此可以执行步骤205，对置信上下限区间进行更新，使得该置信上下限区间动态适应当前网络状态的变化。

205、更新该置信上下限区间；

当该第一网络流量未落入该置信上下限区间时，可以更新该置信上下限区间。需要说明的是，更新该置信上下限区间具体可以为：

1、采集主机更新后的第三网络流量；

2、根据该第三网络流量和该流量模型计算随机分量ξ[t]的正态分布参数μ和σ²；

3、根据μ、σ²以及预设的ξ[t]的随机上限α、随机下限α₀计算得到更新后的置信上下限区间。

由ξ[t]服从正态分布N(u,σ²)，那么可以得到一个满足某置信度的置信区间，设ξ_a为ξ[t]的置信下限，ξ_b分别为ξ[t]的置信上限。那么有：

P{ξ_a＜ξ[t]＜ξ_b}＝α

即：P{ξ[t]＜ξ_b}-P{ξ[t]＜ξ_a}＝α由正态分布函数的属性，可知置信上限ξ_b的表达式为： $\mathrm{\φ}\left(\frac{{\mathrm{\ξ}}_b-u}{\mathrm{\σ}}\right)=\mathrm{\α}+\mathrm{\φ}\left(\frac{{\mathrm{\ξ}}_a-u}{\mathrm{\σ}}\right)$

设置信下限为：P{ξ[t]＜ξ_a}＝α₀，那么有：ξ_b＝φ^-1(α₀)σ+u

可得置信上限ξ_a：也等价于：ξ_a＝φ^-1(α+α₀)+u

因此，该置信上下限区间的表达式为：[ξ₁，ξ₂]

ξ₁＝φ^-1(α+α₀)σ+μ

ξ₂＝φ^-1(α₀)σ+μ

其中，ξ₁为置信上限，ξ₂为置信下限，φ^-1为标准正态分布函数的反函数。

206、根据预建立的流量模型和该第一网络流量预测得到主机未来的第二网络流量；

当该第一网络流量落入该置信上下限区间时，可以根据预建立的流量模型和该第一网络流量预测得到主机未来的第二网络流量。

207、计算该第二网络流量在预设时间长度内超越该流量阈值的拥堵比例；

在得到该第二网络流量之后，可以计算该第二网络流量在预设时间长度内超越该流量阈值的拥堵比例。可以理解的是，该第二网络流量为未来时间的网络流量表达式，取合适的时间长度，可以计算该第二网络流量在这段时间长度内其值超越该流量阈值的比例(可以为时长比例)，即可得到拥堵比例。该拥堵比例表示的是，在未来的时间段内，网络状态处于拥堵状态的几率。

208、根据该拥堵比例对该主机的网络状态进行分级，得到分级结果；

在计算该第二网络流量在预设时间长度内超越该流量阈值的拥堵比例之后，可以根据该拥堵比例对该主机的网络状态进行分级，得到分级结果作为该分析结果，该分级结果与该分割标准相对应。假设分级的标准为将网络状态分为6个层级，分别为三级顺畅、二级顺畅、一级顺畅、一级拥堵、二级拥堵和三级拥堵，其对应的拥堵比例分别为10％、20％、30％、40％、50％和60％。可以知道，若该拥堵比例为55％，则主机当前的网络状态为二级拥堵，该分级结果为二级拥堵。

209、根据该分级结果和预设的分割标准将需要传输的文件分割为对应大小的数据块；

在得到分级结果之后，可以根据该分级结果和预设的分割标准将需要传输的文件分割为对应大小的数据块，该数据块的大小与该拥堵比例的大小成反比。可以理解的是，承接步骤208的例子，该分割标准分别对应6个层级分别为：一级分割、二级分割、三级分割、四级分割、五级分割和六级分割，其中一级分割得到的数据块的大小>二级分割的数据块的大小>三级分割的数据块的大小>四级分割的数据块的大小>五级分割的数据块的大小>六级分割的数据块的大小。也就是说，当网络状态越顺畅时，分割得到的数据块越大，当网络状态越拥堵时，分割得到的数据块就越小。

210、通过对应数量的传输线程对该数据块进行传输。

在根据该分级结果和预设的分割标准将需要传输的文件分割为对应大小的数据块之后，可以通过对应数量的传输线程对该数据块进行传输，该传输线程的数量与该数据块的大小成正比。可以理解的是，当传输线程的数量越多时，传输速度越快，传输大数据块越有效率；反之，当传输线程越少时，传输速度较慢，适合传输小数据块。

为便于理解，根据图2所描述的实施例，下面以一个实际应用场景对本发明实施例中的一种网络文件传输优化方法进行描述：

本发明的一种网络文件传输优化方法可以适用于一种基于WinSock的文件传输系统，包括：服务器端和客户端。

其中服务器端包括：

启动模块，用于设置服务器地址、端口号等参数并根据设置的服务器相关属性参数启动服务器，并将这些基本信息发送给文件传输支持模块；

文件传输支持模块，用于实现与客户端对文件的接收操作；

文件维护模块，用于对传输完成的文件执行完整性、一致性检验与合并等操作；

服务器响应模块，用于对传输完成的文件信息与客户端通信等操作。

该服务器端执行以下处理：

首先在服务器启动模块完成设置服务器IP地址和端口信息设置，待服务器启动后客户端便可根据服务器的地址和端口信息连接服务器，并与客户端通信，在启动模块完成之后服务器端便开始对端口进行监听，为文件传输做准备；文件传输支持模块主要完成的是在客户端准备上传文件到服务器端时，服务器端的响应模块就响应客户端传来的待传输的文件信息，在服务器端则开始查询是否存在重复文件，如果为重传文件则把消息发送的客户端，如果不为重传文件则开始接收缓冲区中的内容执行写操作；最后待传输的文件传输完成之后响应模块就开始执行对传输的文件进行一致性检验，验证通过后对分片传输的文件通过文件合并模块执行合并操作，校验、合并等操作完成之后响应模块就发送传输成功的消息给客户端，如果失败则发送错误消息给客户端。

其中客户端包括：

与服务器连接模块，用于根据服务器的参数连接服务器；

文件预处理模块，用于实现要传输的文件执行分块信息、获取文件信息，包括获取文件名、大小、MD5等信息；

文件传输支持模块，用于根据启动与监听模块的信息建立连接并支撑与服务器之间的文件传输；

交互模块，用于将当前任务进度状态、文件传输结果信息传递给客户端或发送给页面与之实现交互；

组件设计模块，用于将客户端可以嵌入到页面中或者其他应用中作为子系统的一部分，本发明主要采用了将客户端设计为ActiveX组件形式，以提高本发明的灵活性和可移植性。

该客户端执行以下处理：

首先客户端与服务器连接模块实现根据服务器的信息实现与服务器连接，接着在客户端提供供用户选择要传输的文件(可批量选择)，在用户选择了要传输的文件之后，文件预处理模块便执行对文件的一些基本信息的获取，如文件名、大小、MD5码等，并将这些文件信息发送给客户端，与此同时根据网络流量状态自适应分块传输方法确定分块传输的块大小；文件传输支持模块用于将待传输的文件任务投放到线程池中等待线程读取文件到缓冲区并发送到服务器端，最后将客户端设计为组件，通过这些可以复用的组件将客户端嵌入到客户浏览器中或其他应用中并可完成与用户的良好交互，也提高了系统灵活性。

本发明还提供一种线程调度方法，用于动态地调度线程池中的活动线程以达到最大利用资源传输文件，该线程调度方法具体可以包括：

采用了POSIX线程标准，可以根据当前线程传输的状态动态的调整线程池中的任务数：

(1)初始化阶段。在传输任务之初对各个参数初始化，为上传任务的到来做准备。

(2)线程启动阶段。初始化完成之后，首先根据初值创建最小数目的线程，如果有上传任务到来便根据上传任务的规模与网络状态逐个增加线程池中线程的个数。

(3)线程优化调度阶段。本阶段可分为两步：第一步，在线程超时时，即认为线程发生了阻塞或上传超时情况，即此时线程在上下文切换时花费了比较多的时间，此时将最大线程数设置为当前线程数，然后将活动的线程数线性减少，直至线程阻塞的情况得到缓解；第二步，在检测到线程阻塞情况缓解之后，为最大限度利用网络资源，实时判定当前活动线程是否达到最大线程数阀值，若没有则继续增加活动的线程数，只有在检测到没有出现长传超时时才继续增加最大线程数和活动线程。

(4)完成阶段。当上传任务队列为空时，逐个关闭活动线程。

而本发明的一种网络文件传输优化方法，首先通过对主句网络流量数据采集和分析，建立网络流量周期预测函数，将网络流量分为周期分量和随机分量，其中周期分量是周期函数，随机分量是随机函数，该周期预测函数的表达公式如下：

Τ[t]＝τ_t+ξ[t]τ_t     (1)

其中Τ[t]表示t时刻的网络流量，τ_t为周期分量，是周期性函数，可用如下公式计算:

τ_t＝Ε(Τ_i[t])     (2)

ξ[t]为随机分量，是随机函数，通过分布拟合检验证明其服从正态分布，分布函数如下：

       $P\left\{\mathrm{\&xi;}\right[t]<x\}={\&Integral;}_{-\&infin;}^x\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&sigma;}}{e}^{\frac{{(x-\mathrm{\&mu;})}^2}{{2\mathrm{\&sigma;}}^2}}\mathrm{dx}---\left(3\right)$

其中参数μ和σ²可以通过极大似然估计法获得。又通过X²统计量检验证明其具有马尔可夫性，即ξ[t]序列可被视为马尔可夫链。因此可以根据前一时刻ξ[t]的状态按照转移概率来对下一时刻ξ[t]状态进行预测，具体实现方法如下：

(1)根据主机网络流量历史采集数据计算ξ[t]并将其划分为m个状态区间，根据前一时刻ξ[t]处于第i区间，后一时刻ξ[t]处于第j区间的比率p_ij(i,j∈m)来构造转移概率矩阵Ρ₁＝(p_ij)：

       $P_1=\left[\begin{array}{cccc}{P}_{11}& P_{12}& ...& P_{1j}\\ P_{21}& P_{22}& ...& P_{2j}\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ P_{i1}& P_{i2}& ...& P_{\mathrm{ij}}\end{array}\right]$

其中P_ij就为状态转移概率。

(2)根据当前t₀时刻ξ[t]所处的状态区间，建立概率向量Ρ(t₀)＝(p₁(t₀),p₂(t₀),…,p_n(t₀))，其中p_i(t₀)表示t₀时刻ξ[t]处于第i(i∈m)区间的绝对概率。

(3)由全概率公式可知，未来t_k时刻ξ[t]所处各状态区间的概率向量可表示为如下公式：

P(t_k)＝P(t₀)P_tk     (4)

其中为k步转移概率矩阵，同时可以得到未来t_k时刻ξ[t]的预测值：

       $\mathrm{\&xi;}\left[t_k\right]=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&theta;}}_i{p}_i\left(t_k\right)---\left(5\right)$

其中θ_i为ξ[t]所处状态区间i的平均值，p_i(t_k)表示t_k时刻ξ[t]所处状态区间i的概率。

通过对网络流量的上述分析，建立基于正态分布的马尔可夫周期流量模型，该模型公式如下：

       $\left\{\begin{array}{c}T\left[t\right]={\mathrm{\&tau;}}_t+\mathrm{\&xi;}\left[t\right]{\mathrm{\&tau;}}_t\\ \mathrm{\&xi;}\left[t\right]=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&theta;}}_i{p}_i\left(t\right)\end{array}\right.$

其中Τ[t]表示t时刻的网络流量，τ_t为周期分量，是周期性函数，ξ[t]为随机分量，服从正态分布且具有马尔可夫性，θ_i为ξ[t]所处状态区间i的平均值，p_i(t)表示t时刻ξ[t]所处状态区间i的概率。

利用该流量模型的主机网络流量预测具体实现方法如下：

(l)根据当前时刻t₀的网络流量Τ[t₀]，由公式1得当前时刻t₀的 $\mathrm{\&xi;}\left[t_0\right]=\frac{T\left[t_0\right]-{\mathrm{\&tau;}}_{t_0}}{{\mathrm{\&tau;}}_{t_0}}.$

(2)根据ξ[t₀]所处状态区间建立概率向量Ρ(t₀)＝(p₁(t₀),p₂(t₀),…,p_n(t₀))，由公式4得未来t_k时刻ξ[t_k]处于各状态区间的概率 $P\left(t_k\right)=P\left(t_0\right)P_{t_k}=(p_1\left(t_k\right),p_2\left(t_k\right),...,p_n\left(t_k\right)).$

(3)由公式5得t_k时刻的ξ[t_k]的预测值为其中θ_i为第i状态区间的平均值。

(4)再由公式1得t_k时刻的网络流量为:

基于该流量模型的未来时刻超越阀值λ的概率预测实现方法如下：

(l)根据当前时刻t₀的网络流量Τ[t₀]，由公式1得当前时刻t₀的 $\mathrm{\&xi;}\left[t_0\right]=\frac{T\left[t_0\right]-{\mathrm{\&tau;}}_{t_0}}{{\mathrm{\&tau;}}_{t_0}}.$

(2)根据ξ[t₀]所处状态区间建立概率向量Ρ(t₀)＝(p₁(t₀),p₂(t₀),…,p_n(t₀))，由公式4得未来t_k时刻ξ[t_k]处于各状态区间的概率 $P\left(t_k\right)=P\left(t_0\right)P_{t_k}=(p_1\left(t_k\right),p_2\left(t_k\right),...,p_n\left(t_k\right)).$

(3)设存在状态区间j，j∈m，θ_j为状态区间j的平均值， $T\left[t_k\right]={\mathrm{\&tau;}}_{t_k}+{\mathrm{\&theta;}}_{j-1}{\mathrm{\&tau;}}_{t_k}<\mathrm{\&lambda;}$ 且 $T^{\&prime;}\left[t_k\right]={\mathrm{\&tau;}}_{t_k}+{\mathrm{\&theta;}}_j{\mathrm{\&tau;}}_{t_k}\&GreaterEqual;\mathrm{\&lambda;},$ 则主机网络流量超越阈值λ的概率如果对于所有j(j∈m)，则概率此时，在文件传输模块中针对大文件的分块传输策略中将每个文件块分为较大的数据块(比如5M、10M等)，相反如果对于所有j(j∈m)，则概率此时则认为当前主机网络处于忙时，对大体积文件则分为比较小的块传输(比如500K、1M等)。

该网络文件传输优化方法的流程步骤为：

S1：设定置信参数α和α₀。

S2：根据主机网络历史流量采集数据，利用周期流量模型计算τ_t及ξ[t]并估算ξ[t]的正态分布参数μ和σ²，根据预设置信度α和α₀计算主机网络流量的置信上下限区间。

由ξ[t]服从正态分布N(u,σ²)，那么我们可以得到一个满足某置信度的置信区间，设ξ_a为ξ[t]的置信下限，ξ_b分别为ξ[t]的置信上限。那么有：

P{ξ_a＜ξ[t]＜ξ_b}＝α

即：

P{ξ[t]＜ξ_b}-P{ξ[t]＜ξ_a}＝α由正态分布函数的属性，可知置信上限ξ_b的表达式为：设置信下限为：P{ξ[t]＜ξ_a}＝α₀，那么有：ξ_b＝φ^-1(α₀)σ+u

可得置信上限ξ_a：也等价于：ξ_a＝φ^-1(α+α₀)+u

因此，ξ随机分量的置信上下限分别为：

ξ＝φ^-1(α+α₀)σ+μ

ξ＝φ^-1(α₀)σ+μ

其中φ^-1为标准正态分布函数的反函数，α₀为随机分量置信下限的预设置信度。

S3：判断当前流量是否超越网络流量置信区间，如果超越则转S4，否则转S7。

S4：更新流量采集数据，更新后的流量数据用于网络流量模型参数的建立。

S5：根据更新的流量数据按照流量模型计算τ_t并估算ξ[t]的正态分布参数μ和σ²。

S6：根据预设的置信度α和α₀计算新的网络流量的置信上下限。

S7：根据更新的流量数据计算ξ[t]并将其划分为m个状态区间，根据前一时刻ξ[t]处于第i区间，后一时刻ξ[t]处于第j区间的比率P_ij(i,j∈m)来构造转移概率矩阵P＝(P_ij)。

S8：根据当前时刻网络流量利用流量预测算法或流量超越阈值的概率预测算法对未来时刻网络流量或网络流量超越阈值的概率进行预测，并依此来设置文件分块传输方案。

通过以上技术方案，不仅可以提高文件传输的效率，而且保证了文件传输的正确性，提高了系统的稳定性。

图3示出了的服务器端示意框图。

如图3所示，根据本发明的实施例的服务器端，包括：启动模块，用于设置服务器的地址、端口号和监听方式等，并建立于客户端连接支持。

在该技术方案中还包括文件传输支持模块，用于在与客户端建立连接之后提供客户端向服务器端传输文件支持。在该技术方案中，服务器端根据客户端消息模块传来的文件信息，首先查询是否是重复文件，如果为重复文件则发送重传消息给客户端，如果不为重复文件则新建该待传文件并向该文件中写入数据，同时将传输时的实时进度消息输出。

在上述技术方案中还包括文件合并模块，主要用于针对客户端分块传输到服务器端的文件，执行合并操作，当客户端每个分块的文件传输至服务器端完成时，便执行文件合并操作。

在上述技术方案中还包括文件维护模块，在服务器端接收完文件之后便执行文件验证，比如获取文件MD5、文件属性等，并将验证到的文件信息通过服务器响应模块输出状态信息给客户端。

在上述技术方案中，优选的，还包括服务器响应模块，用于处理与客户端通信消息处理，该模块处理的消息类型有：接收客户端连接，连接出错，连接关闭，发送文件信息，文件发送出错，文件进度消息，发送文件成功，发送文件失败，服务器端接收取消等。通过该模块及时的与客户端完成通信，以保证传输正确性，并提供良好的交互。

图4示出了客户端示意框图。

如图4所示，该客户端包括：与服务器连接模块，用于通过服务器端启动模块信息建立与服务器端连接。

在该技术方案中还包括文件传输支持模块，该模块首先通过文件选择操作供用户选择需要上传的文件，在用户选择完文件之后便通过该模块执行文件传输。

在上述技术方案中还包括文件预处理模块，该模块主要用于获取要传输的文件的文件名、MD5、文件属性等，并将这些信息传送给服务器端。

在上述技术方案中还包括交互模块，在本实施例中通过交互模块可直观的将任务进度状态实时地显示出来，用户可以直观地了解当前任务的进度状态。并且通过该模块可将文件信息，线程任务状态实时的输出，方便用户监督文件传输的状态。

在上述技术方案中还包括组件设计模块。依据本发明的实施例采用了将客户端设计为ActiveX组件，通过这种可以复用的组件便可实现将本发明系统嵌入到页面中或者其它应用中，用户还可以通过网页传送到客户浏览器上，并在客户端执行。正是由于组件的可复用功能，可以大大提高本发明实施例的灵活性，并实现与用户的良好交互。

在上述技术方案中还包括传输优化模块。该模块包括了线程调度方法和根据网络状态自适应文件传输方法。该线程调度方法提出了一种根据传输状态的线程调度策略。该策略采用了POSIX线程标准，该标准具有很好的移植性可以潜在的提高程序性能，并且该标准定义了自己内部的API来创建和操作线程，能方便的实现传输任务线程的调度。在该技术方案中线程调度模块的核心思想是根据线程池中传输任务的线程状态动态的调度当前活动的任务数，以达到充分利用资源的目的。根据网络文件传输优化方法包括主机网络状态检测与主机网络流量预测模块，用于检测客户端主机实时网络流量状态，当网络闲时便可增加传输任务数，针对大体积文件的分块便可分为较大的数据块，当网络忙时则减少任务数，以及分割较小的数据块。在该技术方案中，通过网络状态检测模块将主机流量数据并把这些数据存入知识库中，系统通过分析流量数据建立一种基于正态分布的马尔科夫周期流量模型，以此便可预测主机络状态，并依据此状态充分利用文件传输的异步机制实现异步传输、定时传输。

如图5所示，为实施例中根据传输状态线程调度方法流程图。

步骤S301，初始化阶段。在传输任务之初对各个参数初始化(包括线程池大小，最大任务数，初始活动线程数等)，为上传任务的到来做准备。

步骤S302，线程启动阶段。初始化完成之后，首先根据初值创建最小数目的线程，如果有上传任务到来便根据上传任务的规模与网络状态逐个增加线程池中线程的个数。

步骤S303，线程优化调度阶段。本阶段可分为两步：第一步，在线程超时时，即认为线程发生了阻塞或上传超时情况，即此时线程在上下文切换时花费了比较多的时间，此时将最大线程数设置为当前线程数。然后将活动的线程数线性减少，直至线程阻塞的情况得到缓解；第二步，在检测到线程阻塞情况缓解之后，为最大限度利用网络资源，实时判定当前活动线程是否达到最大线程数阀值，若没有则继续增加活动的线程数，只有在检测到没有出现长传超时时才继续增加最大线程数和活动线程。

步骤S304，结束阶段。当上传任务队列为空时，逐个关闭活动线程。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种网络文件传输优化方法，其特征在于，包括：

获取主机当前的第一网络流量；

根据预建立的流量模型和所述第一网络流量预测得到主机未来的第二网络流量；

分析所述第二网络流量超越预设流量阈值的概率，得到分析结果；

根据所述分析结果和预设的分割标准将需要传输的文件分割为相应的数据块进行传输。

2.根据权利要求1所述的方法，其特征在于，所述分析所述第二网络流量超越预设流量阈值的概率，得到分析结果具体包括：

计算所述第二网络流量在预设时间长度内超越所述流量阈值的拥堵比例；

根据所述拥堵比例对所述主机的网络状态进行分级，得到分级结果作为所述分析结果，所述分级结果与所述分割标准相对应。

3.根据权利要求2所述的方法，其特征在于，根据所述分析结果和预设的分割标准将需要传输的文件分割为相应的数据块进行传输具体包括：

根据所述分级结果和预设的分割标准将需要传输的文件分割为对应大小的数据块，所述数据块的大小与所述拥堵比例的大小成反比；

通过对应数量的传输线程对所述数据块进行传输，所述传输线程的数量与所述数据块的大小成正比。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：预建立所述流量模型；

预建立所述流量模型具体包括：

采集所述主机的历史网络流量数据；

根据所述历史网络流量数据建立周期预测函数，所述周期预测函数将网络流量分为周期分量和随机分量；

将所述随机分量划分为预设的多个状态区间；

根据多个状态区间构造所述随机分量的转移概率矩阵；

根据所述转移概率矩阵和全概率公式得到所述随机分量的概率向量；

所述流量模型由所述周期预测函数和所述概率向量组成。

5.根据权利要求4所述的方法，其特征在于，所述周期预测函数的表达式如下：

Τ[t]＝τ_t+ξ[t]τ_t；

Τ[t]表示t时刻的网络流量，τ_t为周期分量，ξ[t]为随机分量；

其中，τ_t＝Ε(Τ_i[t])。

6.根据权利要求5所述的方法，其特征在于，所述转移概率矩阵的表达式如下：

$P_1=\left[\begin{array}{cccc}{P}_{11}& P_{12}& ...& P_{1j}\\ P_{21}& P_{22}& ...& P_{2j}\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ P_{i1}& P_{i2}& ...& P_{\mathrm{ij}}\end{array}\right];$

其中，p_ij为前一时刻ξ[t]处于状态区间i，后一时刻ξ[t]处于状态区间j的比率。

7.根据权利要求6所述的方法，其特征在于，所述概率向量的表达式如下：

P(t_k)＝P(t₀)P_tk；

其中，t_k为未来时刻，t₀为当前时刻；

所述随机分量ξ[t]的表达式为：

$\mathrm{\&xi;}\left[t\right]=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&theta;}}_i{p}_i\left(t\right);$

θ_i为ξ[t]所处状态区间i的平均值，p_i(t)表示t时刻ξ[t]所处状态区间i的概率。

8.根据权利要求5所述的方法，其特征在于，根据预建立的流量模型和所述第一网络流量预测得到主机未来的第二网络流量之前还包括：

根据所述主机的历史网络流量数据和所述流量模型计算所述主机网络流量的置信上下限区间；

判断所述第一网络流量是否落入所述置信上下限区间，若是，则执行根据预建立的流量模型和所述第一网络流量预测得到主机未来的第二网络流量的步骤，若否，则更新所述置信上下限区间。

9.根据权利要求8所述的方法，其特征在于，所述更新所述置信上下限区间具体包括：

采集主机更新后的第三网络流量；

根据所述第三网络流量和所述流量模型计算随机分量ξ[t]的正态分布参数μ和σ²；

根据μ、σ²以及预设的ξ[t]的随机上限α、随机下限α₀计算得到更新后的置信上下限区间。

10.根据权利要求9所述的方法，其特征在于，所述置信上下限区间的表达式为：[ξ₁，ξ₂]；

ξ₁＝φ^-1(α+α₀)σ+μ；

ξ₂＝φ^-1(α₀)σ+μ；

其中，ξ₁为置信上限，ξ₂为置信下限，φ^-1为标准正态分布函数的反函数。