CN104022852A - 一种文件传输方法及装置 - Google Patents

一种文件传输方法及装置 Download PDF

Info

Publication number
CN104022852A
CN104022852A CN201410291410.6A CN201410291410A CN104022852A CN 104022852 A CN104022852 A CN 104022852A CN 201410291410 A CN201410291410 A CN 201410291410A CN 104022852 A CN104022852 A CN 104022852A
Authority
CN
China
Prior art keywords
network
file
transmitted
fragment
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410291410.6A
Other languages
English (en)
Other versions
CN104022852B (zh
Inventor
唐婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201410291410.6A priority Critical patent/CN104022852B/zh
Publication of CN104022852A publication Critical patent/CN104022852A/zh
Application granted granted Critical
Publication of CN104022852B publication Critical patent/CN104022852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本申请公开了一种文件传输方法,包括:以预设分片大小值为单位在被传输文件数据中分割出预设个数的文件片段;传输文件片段,分别记录每个文件片段的传输速率;根据文件片段的传输速率确定下一时刻网络传输速率;根据下一时刻网络传输速率更新分片大小值,以更新后的分片大小值为单位,在被传输文件中未被传输的数据中分割出预设个数的文件片段;重复根据当前的文件片段的传输速率确定下一时刻网络传输速率来更新分片大小值,在未被传输的数据中分割出预设个数的文件片段并传输被传输文件数据。本申请通过使分片大小值与下一时刻网络传输速率实时的适配的方式,达到了充分的利用当前网络传输数据流量能力,合理利用网络的数据传输流量能力的目的。

Description

一种文件传输方法及装置
技术领域
本发明涉及数据传输领域,特别是涉及一种文件传输方法及装置。
背景技术
在数据传输过程中,为了减少由于网络异常造成数据的传送失败造成的整个文件重复传送,需要将文件按照固定的分片大小将文件切分为大小相等的片段,即,将文件分片为多个文件分片,然后分别行串行传输这多个文件分片,在接收端接收到该文件的所有文件分片后,再重组为完整的文件;通过上述方式,如果遇到网络异常,一般只会对文件中的个别文件分片造成影响,此时,只要将传送失败的文件分片进行重复传送即可,从而避免整个文件重复传送,从而提高对网络的利用率。
但是,发明人经过研究发现,按照现有技术中的方式,对文件进行分片后,当网络的传输流量能力有较大波动时,文件分片的传输失败率明显增高,这样会造成重复传输的文件分片过多,从而降低数据传输中的网络利用率;此外,如果网络的传输流量能力较大时,现有技术中的分片方式还有可能由于文件分片较小,所以不能有效的利用当前较大传输流量能力,从而造成网络资源的浪费。
发明内容
有鉴于此,本申请提供了一种文件传输方法及装置,以解决现有技术中,不能合理利用网络的数据传输流量能力的问题。
为实现上述目的,本申请提供如下技术方案:
一种文件传输方法,包括:
S11、以预设分片大小值为单位在被传输文件数据中分割出预设个数的文件片段;
S12、在传输文件片段时,分别记录每个文件片段的传输速率;
S13、根据文件片段的传输速率确定下一时刻网络传输速率;
S14、根据所述下一时刻网络传输速率更新分片大小值,以更新后的分片大小值为单位,在被传输文件中未被传输的数据中分割出预设个数的文件片段;
S15、重复步骤S12至步骤S14直至所述被传输文件数据传输完毕。
优选的,在本发明实施例中,所述根据文件片段的传输速率确定下一时刻网络传输速率,包括:
将文件片段的传输速率带入半马尔科夫模型,以获取当前网络流量状态;通过网络预测模型根据所述当前网络流量状态确定所述下一时刻网络传输速率。
优选的,在本发明实施例中,所述根据所述下一时刻网络传输速率更新分片大小值,包括:
生成与所述下一时刻网络传输速率适配的分片大小值。
优选的,在本发明实施例中,所述将文件片段的传输速率带入半马尔科夫模型,以获取当前网络流量状态;通过网络预测模型根据所述当前网络流量状态确定所述下一时刻网络传输速率,包括:
S21、设文件片段的预设个数为n,n个文件片段生成的文件片段数据集为C={c1,c2,...cn},其中,c1,c2,...cn分别为各个文件片段数据;记录的每个所述文件片段的传输速率生成的学习样本为F={f1,f2,...,fn},其中,f1,f2,...,fn分别为各个文件片段的传输速率;
对所述学习样本F进行分析,获取期望值Eξ,和样本方差Dξ;其中,
获取期望值Eξ的公式包括:
Eξ = Σ i = 1 n f i n ;
获取样本方差Dξ的公式包括:
Dξ = Σ i = 1 n ( f i - Eξ ) 2 n ;
S22、根据所述期望值Eξ,和样本方差Dξ得到随机过程S(t),获取当前网络流量状态;
所述获取当前网络流量状态的公式包括:
所述网络流量状态为忙时,服从几何布朗运动;所述网络流量为状态空闲时,服从正态分布,所述网络流量为状态上升或下降时,服从指数分布;
S23、根据网络预测模型确定所述下一时刻网络传输速率,包括:
根据步骤S22中所获取的网络流量状态i,带入网络状态随机转移过程公式,以获取t时刻网络传输速率ft
获取网络状态随机转移过程的公式包括:
设随机过程S(t)=Si(i=1,2,3,4)
i = 1 , Y ( t ) = Y ( t ) ~ N ( μ , σ 2 ) i = 2,3 , Y ( t ) = λe - λ i = 4 , Y ( t ) = Y ( 0 ) exp ( ( μ - σ 2 / 2 ) t + σW ( t ) ) .
优选的,在本发明实施例中,所述根据所述下一时刻网络传输速率更新分片大小值,包括:
获取步骤S23输出的网络传输速率ft,根据自适应网络决策模块,适配出符合预测网速的可用的更新后分片大小值γt;所述自适应网络决策模块初始决策样本为T={t1,t2,t3,..tn),使用决策函数为P(x)。
优选的,在本发明实施例中,所述重复步骤S12至步骤S14直至所述被传输文件传输完毕,包括:
在所述文件片段传输失败后,根据步骤S21所获得的样本方差对所述ft进行调整,并获取更新后的分片大小值γt
优选的,在本发明实施例中,在以预设分片大小值为单位在被传输文件数据中分割出预设个数的文件片段之前,还包括:
将被传输文件分割切块为多个被传输文件数据;
将所述多个数被传输文件数据并行传输。
在本申请的另一面,还提供了一种文件传输装置,包括:
预分片单元,用于以预设分片大小值为单位在被传输文件数据中分割出预设个数的文件片段;
传输速率记录单元,用于在传输文件片段时,分别记录每个文件片段的传输速率;
网络传输速率预测单元,用于根据文件片段的传输速率确定下一时刻网络传输速率;
动态分片单元,用于根据所述下一时刻网络传输速率更新分片大小值,以更新后的分片大小值为单位,在被传输文件中未被传输的数据中分割出预设个数的文件片段。
优选的,在本发明实施例中,所述网络传输速率预测单元包括:
当前网络流量状态确定组件,用于将文件片段的传输速率带入半马尔科夫模型,以获取当前网络流量状态;
网络预测模型组件,用于根据所述当前网络流量状态确定所述下一时刻网络传输速率。
优选的,在本发明实施例中,所述动态分片单元包括:
动态分片值生成组件,用于生成与所述下一时刻网络传输速率适配的分片大小值。
优选的,在本发明实施例中,还包括:
分块单元,用于在以预设分片大小值为单位在被传输文件数据中分割出预设个数的文件片段之前,将被传输文件分割切块为多个被传输文件数据;
并行传输单元,用于将所述多个数被传输文件数分别并行传输。
从上述的技术方案可以看出,本申请中通过以传输中的预设个数的传输文件片段的传输速率为参数,来确定下一时刻网络传输速率,从而可以实时的根据下一时刻网络传输速率来更新被传输文件数据后续的分片大小值,即,本申请通过使分片大小值与下一时刻网络传输速率实时的适配,从而在网络传输数据流量能力变小时,自动的减小分片大小值来减少文件分片的传输失败率;同时,在网络传输数据流量能力变大时,还可以自动的提高分片大小值来充分的利用当前网络传输数据流量能力,从而达到了合理利用网络的数据传输流量能力的目的。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请中所述文件传输方法的流程示意图;
图2为本申请中所述文件传输方法的又一流程示意图;
图3为本申请中所述文件传输装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决现有技术中,不能合理利用当前网络传输数据流量能力的问题,本申请提供一种文件传输方法,如图1所示,包括步骤:
S11、以预设分片大小值为单位在被传输文件数据中分割出预设个数的文件片段;
由于在传输文件前,还无法确定当前的网络传输数据流量能力,为此,在本申请中,首先在被传输文件数据中可以以预设分片大小值为单位,在被传输文件数据中分割出预设个数的文件片段,其目的为,可以以这些分割出的文件片段的在当前的网络环境中的传输情况为学习样本,来推算出后续的网络传输数据流量能力。
S12、传输文件片段,分别记录每个文件片段的传输速率;
在传输分片后的文件片段过程中,可以同时记录这些文件片段的传输速率。
S13、根据文件片段的传输速率确定下一时刻网络传输速率;
由于在网络传输数据流量能力具有波动性可以进行一定程度上的预测,所以,在获取了多个已传输的文件片段后的传输速率后,根据多个已传输的文件片段后的传输速率,可以预测下一时刻网络传输数据流量能力,即,可以确定下一时刻网络传输速率。
在实际应用中,可以基于半马尔可夫模型通过建立网络流量预测模型的方式来确定下一时刻网络传输速率,比如,可以是,将文件片段的传输速率带入半马尔科夫模型,以获取当前网络流量状态;根据网络预测模型确定下一时刻网络传输速率。
在网络流量预测模型中,可以将网络流量变化趋势定义为一个状态集S={s1=idle,s2=falling,s3=ring,s4=busy},在该状态中集中,s1表示空闲状态,s2表示下降状态,s3表示上升状态,s4表示忙状态。这样,在通过网络流量预测模型获得了网络的网络流量的波动变化趋势后,就可以确定下一时刻的网络传输数据流量能力。
基于半马尔可夫模型通过建立网络流量预测模型的方式来确定下一时刻网络传输速率,具体可以如如图2所示,包括步骤:
S21、设文件片段的预设个数为n,n个文件片段生成的文件片段数据集为C={c1,c2,...cn},其中,c1,c2,...cn分别为各个文件片段数据;记录的每个所述文件片段的传输速率生成的学习样本为F={f1,f2,...,fn},其中,f1,f2,...,fn分别为各个文件片段的传输速率;
对所述学习样本F进行分析,获取期望值Eξ,和样本方差Dξ;其中,
获取期望值Eξ的公式包括:
获取样本方差Dξ的公式包括:
具体的,在传输文件数据(所述传输数据既可以是一个完整的文件,也可以是将文件分块切割后的数据块)的一开始,首先要在被传输文件数据中分割出n个数的文件片段,并根据这些文件片段传输速率来生成的学习样本为F={f1,f2,...,fn}。
为了获取当前网络流量状态,首先要根据学习样本为F={f1,f2,...,fn}来获取期望值Eξ,和样本方差Dξ。
S22、根据期望值Eξ,和样本方差Dξ得到随机过程S(t),获取当前网络流量状态;
获取当前网络流量状态的公式包括:
网络流量状态为忙时,服从几何布朗运动;网络流量为状态空闲时,服从正态分布,网络流量状态为上升或下降时,服从指数分布;这样就可以预测网络流量状态的变化趋势。
S23、根据网络波动模型确定所述下一时刻网络传输速率,包括:
根据步骤S22中所获取的网络流量状态i,带入网络状态随机转移过程公式,以获取t时刻网络传输速率ft
获取网络状态随机转移过程公式包括:
设随机过程S(t)=Si(i=1,2,3,4),
i = 1 , Y ( t ) = Y ( t ) ~ N ( μ , σ 2 ) i = 2,3 , Y ( t ) = λe - λ i = 4 , Y ( t ) = Y ( 0 ) exp ( ( μ - σ 2 / 2 ) t + σW ( t ) ) .
在通过网络流量状态公式获取网络流量状态i后,将网络流量状态i带入网络状态随机转移过程公式,即可得到t时刻的网络传输速度ft,从而得到了下一时刻网络传输速率。
S14、根据所述下一时刻网络传输速率更新分片大小值,以更新后的分片大小值为单位,在被传输文件中未被传输的数据中分割出预设个数的文件片段;
在本申请中,获取下一时刻网络传输速率的目的为,可以根据后续的网络流量状态来适配合适的分片大小值,以在避免过多的重复传输的前提下,充分的利用网络带宽,这样,将分片大小值更新为与下一时刻网络传输速率适配的大小后,就可以以更新后的分片大小值为单位,在被传输文件中未被传输的数据中分割出预设个数的文件片段。
在实际应用中,根据下一时刻网络传输速率更新分片大小值,具体可以包括:
获取步骤S23所输出的网络传输速率ft,根据自适应网络决策模块,适配出符合预测网速的可用的更新后分片大小值γt;具体的,可以是设自适应网络决策模块的初始网络波动系数为ο(0<ο<1),初始决策样本为T={t1,t2,t3,..tn);决策样本中每个元素预定义一组网络传输速率与分片大小的关系表;这样,将步骤S23所输出的网络传输速率ft,输入到决策函数P(x)中,经过函数演算,就可以适配出符合预估网速较为合理的分片大小rt。
决策函数P(x)的工作原理包括:输入网络传输速率ft,根据上述关系表,判断网络传输速率ft落在决策样本中哪个区间,进而可以获取对应的分片大小;将获取的分片大小乘以网络波动系数,计算出下一时刻的分片大小rt。如使用以rt为大小的分片上传数据失败,则对网络波动系数进行微调,ο=ο-0.05,然后再次重复获取下一时刻的,直至数据上传成功。
S15、重复步骤S12至步骤S14直至所述被传输文件数据传输完毕。
为了将传输文件数据传输完毕,在确定了新的分片大小值后,需要回到步骤S12来传输所述传输文件数据中未被传输的部分,此外,在传输以更新后的分片大小值为单位分割出预设个数的文件片段的过程中,还需要同时记录这些文件片段的传输速率。从而获取当前被传输的文件片段的传输速率,以作为后续确定新的分片大小值的分析参数,这样,在传输文件数据的过程中,不断地更新分片大小值来与当前的网络流量状态来适配,以在避免过多的重复传输的前提下,充分的利用网络带宽,从而达到了合理利用网络的数据传输流量能力的目的。
进一步的,在本申请中,再通过重复步骤S12至步骤S14直至所述被传输文件传输完毕的过程,具体可以包括:
在文件片段传输失败后,根据步骤S21所获得的样本方差对所述ft进行调整,并获取更新后的分片大小值γt
由于在本申请中,如果文件片段传输失败,则表示分片的大小过大,不适应当前的网络流量状态,需要对分片大小值进行调整以避免对文件片段进行过多的重复传输,为此,此时根据步骤S21所获得的样本方差对所述ft进行调整,获取更新后的分片大小值γt,以便于以更新后的分片大小值为单位,在被传输文件中未被传输的数据中分割出预设个数的文件片段,进行后续的传输。
在文件片段传输成功后,由于传输过程中还记录的被传输文件片段的传输速率,所以,可以通过步骤S12来获取更新后分片大小值,所以就可以在网络流量状况较好时,及时的加大分片大小值,从而可以充分的利用当前的网络带宽,以提高网络的利用率。
在以预设分片大小值为单位在被传输文件数据中分割出预设个数的文件片段之前,还可以包括:
将被传输文件分割切块为多个被传输文件数据,并将多个数被传输文件数并行传输。
通过将传输文件分割切块多个被传输文件数据块,然后将每个被传输文件数据块以上述实施例中的方法进行传输,这样对于每一个被传输文件数据块,都可以以最优大小的分片大小值进行传输,多个被传输文件数据块的传输作业可并行触发,从而可以极大程度提高了数据的传输效率。
在本申请的另一面,还提供了一种文件传输装置,如图3所示,包括:
预分片单元01,用于以预设分片大小值为单位在被传输文件数据中分割出预设个数的文件片段;传输速率记录单元02,用于在传输文件片段时,分别记录每个文件片段的传输速率;网络传输速率预测单元03,用于根据文件片段的传输速率确定下一时刻网络传输速率;动态分片单元04,用于根据所述下一时刻网络传输速率更新分片大小值,以更新后的分片大小值为单位,在被传输文件中未被传输的数据中分割出预设个数的文件片段。
由于在传输文件前,还无法确定当前的网络传输数据流量能力,为此,在本申请中,首先通过预分片单元01在被传输文件数据中可以以预设分片大小值为单位,在被传输文件数据中分割出预设个数的文件片段,其目的为,可以以这些分割出的文件片段的在当前的网络环境中的传输情况为学习样本,来推算出后续的网络传输数据流量能力。
接着,在传输分片后的文件片段过程中,可以通过传输速率记录单元02同时记录这些文件片段的传输速率。
由于在网络传输数据流量能力具有波动性可以进行一定程度上的预测,所以,在获取了多个已传输的文件片段后的传输速率后,根据多个已传输的文件片段后的传输速率,可以通过网络传输速率预测单元03来预测下一时刻网络传输数据流量能力,即,可以确定下一时刻网络传输速率。
在实际应用中,当前网络流量状态确定组件可以基于半马尔可夫模型通过建立网络流量预测模型的方式来确定下一时刻网络传输速率,比如,可以是,将文件片段的传输速率带入半马尔科夫模型,以获取当前网络流量状态;根据网络预测模型确定下一时刻网络传输速率。
在网络预测模型组件的网络流量预测模型中,可以将网络流量变化趋势定义为一个状态集S={s1=idle,s2=falling,s3=ring,s4=busy},在该状态中集中,s1表示空闲状态,s2表示下降状态,s3表示上升状态,s4表示忙状态。这样,在通过网络流量预测模型获得了网络的网络流量的波动变化趋势后,就可以确定下一时刻的网络传输数据流量能力。
在本申请中,获取下一时刻网络传输速率的目的为,可以根据后续的网络流量状态来适配合适的分片大小值,以在避免过多的重复传输的前提下,充分的利用网络带宽,这样,通过动态分片单元04,将分片大小值更新为与下一时刻网络传输速率适配的大小后,就可以以更新后的分片大小值为单位,在被传输文件中未被传输的数据中分割出预设个数的文件片段。
在实际应用中,动态分片单元04具体可以包括动态分片值生成组件,动态分片值生成组件的工作原理具体为,获取网络传输速率ft,根据自适应网络决策模块,适配出符合预测网速的可用的更新后分片大小值γt
然后,自适应网络决策模块初始决策样本为T={t1,t2,t3,..tn),使用决策函数为P(x)。
在本申请中,为了将传输文件数据传输完毕,在通过动态分片单元04确定了新的分片大小值后,需要在传输所述传输文件数据中未被传输的部分后,在传输以更新后的分片大小值为单位分割出预设个数的文件片段的过程中,还需要通过传输速率记录单元02不断的记录这些文件片段的传输速率。再通过网络传输速率预测单元03获取当前被传输的文件片段的传输速率,以作为后续确定新的分片大小值的分析参数,这样,在传输文件数据的过程中,不断地通过动态分片单元04更新分片大小值来与当前的网络流量状态来动态适配,以在避免过多的重复传输的前提下,充分的利用网络带宽,从而达到了合理利用网络的数据传输流量能力的目的。
进一步的,在本发明实施例中,还可以包括分块单元和并行传输单元;其中,分块单元用于在以预设分片大小值为单位在被传输文件数据中分割出预设个数的文件片段之前,将被传输文件分割切块为多个被传输文件数据;并行传输单元用于将多个数被传输文件数分别并行传输。
通过将传输文件分割切块多个被传输文件数据块,然后将每个被传输文件数据块进行传输,这样对于每一个被传输文件数据块,都可以以最优大小的分片大小值进行传输,多个被传输文件数据块的传输作业可并行触发,从而可以极大程度提高了数据的传输效率。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例提供的装置而言,由于其与实施例提供的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所提供的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所提供的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种文件传输方法,其特征在于,包括:
S11、以预设分片大小值为单位在被传输文件数据中分割出预设个数的文件片段;
S12、在传输文件片段时,分别记录每个文件片段的传输速率;
S13、根据文件片段的传输速率确定下一时刻网络传输速率;
S14、根据所述下一时刻网络传输速率更新分片大小值,以更新后的分片大小值为单位,在被传输文件中未被传输的数据中分割出预设个数的文件片段;
S15、重复步骤S12至步骤S14直至所述被传输文件数据传输完毕。
2.根据权利要求1所述文件传输方法,其特征在于,所述根据文件片段的传输速率确定下一时刻网络传输速率,包括:
将文件片段的传输速率带入半马尔科夫模型,以获取当前网络流量状态;通过网络预测模型根据所述当前网络流量状态确定所述下一时刻网络传输速率。
3.根据权利要求1所述文件传输方法,其特征在于,所述根据所述下一时刻网络传输速率更新分片大小值,包括:
生成与所述下一时刻网络传输速率适配的分片大小值。
4.根据权利要求2所述文件传输方法,其特征在于,所述将文件片段的传输速率带入半马尔科夫模型,以获取当前网络流量状态;通过网络预测模型根据所述当前网络流量状态确定所述下一时刻网络传输速率,包括:
S21、设文件片段的预设个数为n,n个文件片段生成的文件片段数据集为C={c1,c2,...cn},其中,c1,c2,...cn分别为各个文件片段数据;记录的每个所述文件片段的传输速率生成的学习样本为F={f1,f2,...,fn},其中,f1,f2,...,fn分别为各个文件片段的传输速率;
对所述学习样本F进行分析,获取期望值Eξ,和样本方差Dξ;其中,
获取期望值Eξ的公式包括:
E&xi; = &Sigma; i = 1 n f i n ;
获取样本方差Dξ的公式包括:
D&xi; = &Sigma; i = 1 n ( f i - E&xi; ) 2 n ;
S22、根据所述期望值Eξ,和样本方差Dξ得到随机过程S(t),获取当前网络流量状态;
所述获取当前网络流量状态的公式包括:
所述网络流量状态为忙时,服从几何布朗运动;所述网络流量为状态空闲时,服从正态分布,所述网络流量为状态上升或下降时,服从指数分布;
S23、根据网络预测模型确定所述下一时刻网络传输速率,包括:
根据步骤S22中所获取的网络流量状态i,带入网络状态随机转移过程公式,以获取t时刻网络传输速率ft
获取网络状态随机转移过程的公式包括:
设随机过程S(t)=Si(i=1,2,3,4)
i = 1 , Y ( t ) = Y ( t ) ~ N ( &mu; , &sigma; 2 ) i = 2,3 , Y ( t ) = &lambda;e - &lambda; i = 4 , Y ( t ) = Y ( 0 ) exp ( ( &mu; - &sigma; 2 / 2 ) t + &sigma;W ( t ) ) .
5.根据权利要求4所述文件传输方法,其特征在于,所述根据所述下一时刻网络传输速率更新分片大小值,包括:
获取步骤S23输出的网络传输速率ft,根据自适应网络决策模块,适配出符合预测网速的可用的更新后分片大小值γt;所述自适应网络决策模块初始决策样本为T={t1,t2,t3,..tn),使用决策函数为P(x)。
6.根据权利要求5所述文件传输方法,其特征在于,所述重复步骤S12至步骤S14直至所述被传输文件传输完毕,包括:
在所述文件片段传输失败后,根据步骤S21所获得的样本方差对所述ft进行调整,并获取更新后的分片大小值γt
7.根据权利要求1至6中任一所述文件传输方法,其特征在于,在以预设分片大小值为单位在被传输文件数据中分割出预设个数的文件片段之前,还包括:
将被传输文件分割切块为多个被传输文件数据;
将所述多个数被传输文件数据并行传输。
8.一种文件传输装置,其特征在于,包括:
预分片单元,用于以预设分片大小值为单位在被传输文件数据中分割出预设个数的文件片段;
传输速率记录单元,用于在传输文件片段时,分别记录每个文件片段的传输速率;
网络传输速率预测单元,用于根据文件片段的传输速率确定下一时刻网络传输速率;
动态分片单元,用于根据所述下一时刻网络传输速率更新分片大小值,以更新后的分片大小值为单位,在被传输文件中未被传输的数据中分割出预设个数的文件片段。
9.根据权利要求8所述文件传输装置,其特征在于,所述网络传输速率预测单元包括:
当前网络流量状态确定组件,用于将文件片段的传输速率带入半马尔科夫模型,以获取当前网络流量状态;
网络预测模型组件,用于根据所述当前网络流量状态确定所述下一时刻网络传输速率。
10.根据权利要求8所述文件传输装置,其特征在于,所述动态分片单元包括:
动态分片值生成组件,用于生成与所述下一时刻网络传输速率适配的分片大小值。
11.根据权利要求8至10中任一所述文件传输装置,其特征在于,还包括:
分块单元,用于在以预设分片大小值为单位在被传输文件数据中分割出预设个数的文件片段之前,将被传输文件分割切块为多个被传输文件数据;
并行传输单元,用于将所述多个数被传输文件数分别并行传输。
CN201410291410.6A 2014-06-25 2014-06-25 一种文件传输方法及装置 Active CN104022852B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410291410.6A CN104022852B (zh) 2014-06-25 2014-06-25 一种文件传输方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410291410.6A CN104022852B (zh) 2014-06-25 2014-06-25 一种文件传输方法及装置

Publications (2)

Publication Number Publication Date
CN104022852A true CN104022852A (zh) 2014-09-03
CN104022852B CN104022852B (zh) 2017-12-05

Family

ID=51439441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410291410.6A Active CN104022852B (zh) 2014-06-25 2014-06-25 一种文件传输方法及装置

Country Status (1)

Country Link
CN (1) CN104022852B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811499A (zh) * 2015-05-14 2015-07-29 广东中烟工业有限责任公司 一种网络文件传输优化方法
CN105430035A (zh) * 2014-09-18 2016-03-23 腾讯科技(北京)有限公司 一种上传网络数据的方法和装置
CN105812456A (zh) * 2016-03-08 2016-07-27 北京恒华伟业科技股份有限公司 一种文件传输方法及设备
CN106302589A (zh) * 2015-05-27 2017-01-04 腾讯科技(深圳)有限公司 文件传输方法及终端
WO2017035802A1 (zh) * 2015-09-02 2017-03-09 深圳好视网络科技有限公司 一种传输流编码、播放的方法和装置
CN107172174A (zh) * 2017-06-01 2017-09-15 重庆高略启达智慧城市信息技术有限公司 在客户端和服务器之间实现文件的快速上传
CN108401002A (zh) * 2017-02-07 2018-08-14 腾讯科技(深圳)有限公司 文件传输方法及设备
CN109150935A (zh) * 2017-06-19 2019-01-04 深圳联友科技有限公司 一种文件传输方法、装置以及移动终端
CN109561119A (zh) * 2017-09-26 2019-04-02 中国移动通信有限公司研究院 一种数据发送方法、数据接收方法及设备
CN110266438A (zh) * 2019-07-01 2019-09-20 深圳市迅雷网络技术有限公司 一种数据传输方法、装置、系统及计算机可读存储介质
CN110611644A (zh) * 2018-06-15 2019-12-24 视联动力信息技术股份有限公司 一种数据的传输方法和装置
CN110870275A (zh) * 2017-07-13 2020-03-06 国际商业机器公司 共享存储器文件传输
CN110881021A (zh) * 2018-09-06 2020-03-13 中国移动通信有限公司研究院 Msrp分片的处理方法及装置、网络设备及存储介质
CN111245949A (zh) * 2020-01-19 2020-06-05 中国建设银行股份有限公司 文件归档传输方法、装置及设备
CN111862412A (zh) * 2020-07-21 2020-10-30 上海茂声智能科技有限公司 用于智能门锁的图片获取方法、装置及智能门锁系统
CN113076283A (zh) * 2021-04-06 2021-07-06 中移(上海)信息通信科技有限公司 文件一致性验证方法、装置及电子设备
CN113747245A (zh) * 2021-09-06 2021-12-03 北京字跳网络技术有限公司 多媒体资源上传方法、装置、电子设备以及可读存储介质
CN113765945A (zh) * 2020-06-01 2021-12-07 深圳兆日科技股份有限公司 文件动态分片传输方法、装置、设备和存储介质
CN114221954A (zh) * 2021-12-07 2022-03-22 中国电信股份有限公司 文件传输方法及装置、电子设备及存储介质
CN115242782A (zh) * 2022-09-21 2022-10-25 之江实验室 一种超算中心间的大文件分片传输方法和传输架构

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101656756A (zh) * 2009-09-17 2010-02-24 中国科学院声学研究所 一种发送速率自适应控制的文件传输方法及其系统
CN101848067A (zh) * 2010-06-22 2010-09-29 中兴通讯股份有限公司 一种自适应带宽的数据传输方法及系统
CN102571966A (zh) * 2012-01-16 2012-07-11 上海方正数字出版技术有限公司 一种大型xml文件的网络传输方法
EP2590451A1 (en) * 2010-06-29 2013-05-08 Alcatel Lucent File transmission method based on distributed storage in wireless communication system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101656756A (zh) * 2009-09-17 2010-02-24 中国科学院声学研究所 一种发送速率自适应控制的文件传输方法及其系统
CN101848067A (zh) * 2010-06-22 2010-09-29 中兴通讯股份有限公司 一种自适应带宽的数据传输方法及系统
EP2590451A1 (en) * 2010-06-29 2013-05-08 Alcatel Lucent File transmission method based on distributed storage in wireless communication system
CN102571966A (zh) * 2012-01-16 2012-07-11 上海方正数字出版技术有限公司 一种大型xml文件的网络传输方法

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430035A (zh) * 2014-09-18 2016-03-23 腾讯科技(北京)有限公司 一种上传网络数据的方法和装置
CN104811499A (zh) * 2015-05-14 2015-07-29 广东中烟工业有限责任公司 一种网络文件传输优化方法
CN106302589A (zh) * 2015-05-27 2017-01-04 腾讯科技(深圳)有限公司 文件传输方法及终端
CN106302589B (zh) * 2015-05-27 2020-07-28 腾讯科技(深圳)有限公司 文件传输方法及终端
WO2017035802A1 (zh) * 2015-09-02 2017-03-09 深圳好视网络科技有限公司 一种传输流编码、播放的方法和装置
CN105812456A (zh) * 2016-03-08 2016-07-27 北京恒华伟业科技股份有限公司 一种文件传输方法及设备
CN108401002A (zh) * 2017-02-07 2018-08-14 腾讯科技(深圳)有限公司 文件传输方法及设备
CN108401002B (zh) * 2017-02-07 2021-01-01 腾讯科技(深圳)有限公司 文件传输方法及设备
CN107172174A (zh) * 2017-06-01 2017-09-15 重庆高略启达智慧城市信息技术有限公司 在客户端和服务器之间实现文件的快速上传
CN109150935A (zh) * 2017-06-19 2019-01-04 深圳联友科技有限公司 一种文件传输方法、装置以及移动终端
CN110870275B (zh) * 2017-07-13 2022-06-03 国际商业机器公司 用于共享存储器文件传输的方法和装置
CN110870275A (zh) * 2017-07-13 2020-03-06 国际商业机器公司 共享存储器文件传输
CN109561119A (zh) * 2017-09-26 2019-04-02 中国移动通信有限公司研究院 一种数据发送方法、数据接收方法及设备
CN109561119B (zh) * 2017-09-26 2022-04-01 中国移动通信有限公司研究院 一种数据接收方法及设备
CN110611644A (zh) * 2018-06-15 2019-12-24 视联动力信息技术股份有限公司 一种数据的传输方法和装置
CN110881021A (zh) * 2018-09-06 2020-03-13 中国移动通信有限公司研究院 Msrp分片的处理方法及装置、网络设备及存储介质
CN110881021B (zh) * 2018-09-06 2022-06-03 中国移动通信有限公司研究院 Msrp分片的处理方法及装置、网络设备及存储介质
CN110266438A (zh) * 2019-07-01 2019-09-20 深圳市迅雷网络技术有限公司 一种数据传输方法、装置、系统及计算机可读存储介质
CN111245949A (zh) * 2020-01-19 2020-06-05 中国建设银行股份有限公司 文件归档传输方法、装置及设备
CN113765945A (zh) * 2020-06-01 2021-12-07 深圳兆日科技股份有限公司 文件动态分片传输方法、装置、设备和存储介质
CN111862412A (zh) * 2020-07-21 2020-10-30 上海茂声智能科技有限公司 用于智能门锁的图片获取方法、装置及智能门锁系统
CN113076283A (zh) * 2021-04-06 2021-07-06 中移(上海)信息通信科技有限公司 文件一致性验证方法、装置及电子设备
CN113076283B (zh) * 2021-04-06 2022-02-18 中移(上海)信息通信科技有限公司 文件一致性验证方法、装置及电子设备
CN113747245A (zh) * 2021-09-06 2021-12-03 北京字跳网络技术有限公司 多媒体资源上传方法、装置、电子设备以及可读存储介质
WO2023029846A1 (zh) * 2021-09-06 2023-03-09 北京字跳网络技术有限公司 多媒体资源上传方法、装置、电子设备以及可读存储介质
CN114221954A (zh) * 2021-12-07 2022-03-22 中国电信股份有限公司 文件传输方法及装置、电子设备及存储介质
CN115242782A (zh) * 2022-09-21 2022-10-25 之江实验室 一种超算中心间的大文件分片传输方法和传输架构

Also Published As

Publication number Publication date
CN104022852B (zh) 2017-12-05

Similar Documents

Publication Publication Date Title
CN104022852A (zh) 一种文件传输方法及装置
CN104158760B (zh) 一种广域网tcp单边加速的方法及系统
TW200729850A (en) Method and apparatus for adaptive bandwidth control with defined priorities for different networks
CN103119899B (zh) 减少数据传输开销的方法和设备
CN101286937B (zh) 一种网络流量控制方法、装置及系统
ATE438245T1 (de) Verfahren und vorrichtung zur ablaufplanung in einem drahtlosen netzwerk
CN107391317A (zh) 一种数据恢复的方法、装置、设备及计算机可读存储介质
US20210336857A1 (en) Managing internet of things network traffic using federated machine learning
CN103179171B (zh) 基于分布式系统架构的文件传输方法及装置
MX2009004494A (es) Administracion de recursos que depende de la sub-banda.
CN108924057B (zh) 一种云上系统的端口流量智能控制系统
EP2890063B1 (en) Method and apparatus for determining energy-efficient routing
WO2009057391A1 (ja) 通信システムにおけるリソース割当方法及びリソース割当システム並びにそれに用いる基地局
CN109639470A (zh) 基于星型组网的vsat卫星通信系统带宽分配方法
CN103596223B (zh) 调度顺序可控的蜂窝网络移动设备能耗优化方法
DE102019105615A1 (de) Technologien für leistungsbewusste planung für netzwerkpaketverarbeitung
CN103248884A (zh) 一种控制视频速率的系统、基站及方法
CN114285855B (zh) 一种基于智能边缘物联的云边协同方法
CN103841648A (zh) 一种分布式协作传输速率、发送功率和频谱分配的方法
CN106533972A (zh) 一种数据发送速率的调整方法、装置及系统
CN110290071A (zh) 网络流量均衡调整的方法及系统、云端服务器及监控设备
DE602004024506D1 (de) Verfahren zum verfolgen der grösse einer multicast-zuhörerschaft
CN105357317B (zh) 一种基于多客户端轮循排队的数据上传方法及系统
CN111555984B (zh) 用于数据传输的方法及装置、智能家居设备、存储介质
CN107734475A (zh) 基于短信链路的短信发送方法及业务平台

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant