CN105847390A - 数据传输的方法、装置及计算机设备 - Google Patents
数据传输的方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN105847390A CN105847390A CN201610258625.7A CN201610258625A CN105847390A CN 105847390 A CN105847390 A CN 105847390A CN 201610258625 A CN201610258625 A CN 201610258625A CN 105847390 A CN105847390 A CN 105847390A
- Authority
- CN
- China
- Prior art keywords
- file
- compression
- data
- data file
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明实施例提供一种数据传输的方法、装置及计算机设备,所述方法包括:获取传输文件中已压缩的数据文件的平均压缩率;根据所述平均压缩率和所述传输文件的第一剩余容量确定待压缩的第一数据文件的文件大小;将所述第一数据文件压缩后置于所述传输文件中,并传输。采用本发明实施例的技术方案,根据多个数据文件压缩前后大小的变化率获取数据文件压缩率,并根据所述传输文件的剩余容量和所述数据文件压缩率确定待压缩数据文件大小的第一数值,可以根据一段时间内需要传输的数据文件的压缩率获取尽量大且不溢出的待压缩数据文件,提高远距离传输的效率和实用性,节省远距离传输的成本。
Description
技术领域
本发明涉及数据传输技术领域,尤其涉及一种数据传输的方法、装置及计算机设备。
背景技术
随着网络技术的不断发展,跨地区、跨国家之间的数据传输越来越多,比如,用户从美国传照片给在中国的用户或者需要从中国将电影传给南极洲的用户等等。远距离传输由于距离远,对于确定大小的传输文件而言,如何传输更多的数据文件而且不溢出,对于远距离传输而言特别重要。
发明内容
本发明的目的在于,提供一种数据传输的方法、装置及计算机设备,节省远距离传输的成本。
根据本发明的一方面,提供一种数据传输的方法,所述方法包括:获取传输文件中已压缩的数据文件的平均压缩率;根据所述平均压缩率和所述传输文件的第一剩余容量确定待压缩的第一数据文件的文件大小;将所述第一数据文件压缩后置于所述传输文件中,并传输。
根据本发明的另一方面,还提供一种数据传输的装置,所述装置包括:获取单元,用于获取传输文件中已压缩的数据文件的平均压缩率;控制单元,用于根据所述平均压缩率和所述传输文件的第一剩余容量确定待压缩的第一数据文件的文件大小;传输单元,用于将所述第一数据文件压缩后置于所述传输文件中,并传输。
根据本发明的另一方面,还提供一种计算机设备,所述计算机设备包括:一个或多个处理器;存储器;一个或多个程序,所述一个或多个程序存储在所述存储器中,且经配置以由所述一个或者多个处理器执行所述一个或者多个程序包含的用于执行如前所述的任一种数据传输的方法的指令。
采用本发明实施例的技术方案,由于数据文件的类型很多,不同类型的数据文件的压缩率不同,对于聊天记录而言,几百兆的数据文件压缩后大小可能只有几百K,采用本发明的技术方案,根据多个数据文件压缩前后大小的变化率获取数据文件压缩率,并根据所述传输文件的剩余容量和所述数据文件压缩率确定待压缩数据文件大小的第一数值,可以根据一段时间内需要传输的数据文件的压缩率获取尽量大且不溢出的待压缩数据文件,提高远距离传输的效率和实用性,节省远距离传输的成本。
附图说明
图1示出本发明实施例一中一种数据传输的方法的流程示意图;
图2示出本发明实施例二中一种数据传输的装置的结构示意图;
图3示出本发明实施例三计算机设备的结构示意图。
具体实施方式
下面结合附图详细描述本发明的示例性实施例。
实施例一
图1示出本发明实施例一中一种数据传输的方法的流程示意图。
由于数据文件的类型很多,不同类型的数据文件的压缩率不同,对于聊天记录而言,几百兆的数据文件压缩后大小可能只有几百K,在远距离传输时,由于传输距离远,对于确定大小的传输文件而言,提出本发明的技术方案,传输更多的数据文件而且不溢出。
参见图1,一种数据传输的方法包括S110、S120和S130。
在S110,获取传输文件中已压缩的数据文件的平均压缩率。
可以预先统计不同类型的数据文件的传输状态,确定基础传输单元即传输文件的容量。
可选地,所述获取传输文件中已压缩的数据文件的平均压缩率的处理包括:根据当前所述传输文件的第二剩余容量确定下一次待压缩的第二数据文件的文件大小;根据采样次数内多个数据文件压缩前后文件大小的变化率得到所述平均压缩率。采样次数的数值越大,所获取的平均压缩率越精确,相应的,采样次数的数值越大,计算平均压缩率的系统开销也越大,因此,在本实施例中以采样次数为三次为例进行说明,采样次数为其他数值时的原理相同。
本实施例以传输文件的容量为512k(byte)为例进行说明,传输文件的容量为其他数值时的原理相同。所述第二数据文件的文件大小等于所述第二剩余容量。传输文件的初始第二剩余容量为512k,选取512k的第二数据文件A,第二数据文件A压缩后的大小为1k,将压缩后的第二数据文件A置于传输文件中之后,传输文件的第二剩余容量为512k-1k=511k;继续选取511k的第二数据文件B,第二数据文件B压缩后的大小为4k,将压缩后的第二数据文件B置于传输文件中之后,传输文件的第二剩余容量为511k-4k=507k;继续选取507k的第二数据文件C,第二数据文件C压缩后的大小为2k,将压缩后的第二数据文件C置于传输文件中之后,结束采样,传输文件的第一剩余容量为507k-2k=505k。
可选地,可以通过以下两种方式得到平均压缩率:将所述多个数据文件压缩后的文件大小之和除以所述多个数据文件压缩前的文件大小之和,得到所述平均压缩率,即(1+4+2)/(512+511+507)=0.46%;或者,分别计算所述各数据文件压缩后的文件大小与压缩前的文件大小的比值;将所述比值的平均值作为所述平均压缩率,即1/512+4/511+2/507=1.37%。
在S120,根据所述平均压缩率和所述传输文件的第一剩余容量确定待压缩的第一数据文件的文件大小。
将所述第一剩余容量除以所述平均压缩率并乘以压缩冗余率,得到所述待压缩的第一数据文件的文件大小;其中,所述压缩冗余率大于0小于1。例如,505k/0.46%=107M,或者505k/1.37%=36M,将107M或者36M分别乘以压缩冗余率后得到待压缩的第一数据文件的文件大小。
在S130,将所述第一数据文件压缩后置于所述传输文件中,并传输。
采用本发明实施例的技术方案,由于数据文件的类型很多,不同类型的数据文件的压缩率不同,对于聊天记录而言,几百兆的数据文件压缩后大小可能只有几百K,采用本发明的技术方案,根据多个数据文件压缩前后大小的变化率获取数据文件压缩率,并根据所述传输文件的剩余容量和所述数据文件压缩率确定待压缩数据文件大小的第一数值,可以根据一段时间内需要传输的数据文件的压缩率获取尽量大且不溢出的待压缩数据文件,提高远距离传输的效率和实用性,节省远距离传输的成本。
实施例二
图2示出本发明实施例二中一种数据传输的装置的结构示意图。本实施例提供的一种数据传输的装置用于执行实施例一中的一种数据传输的方法。参见图2,本实施例中的一种数据传输的装置包括获取单元210、控制单元220和传输单元230。
获取单元210用于获取传输文件中已压缩的数据文件的平均压缩率。
控制单元220用于根据所述平均压缩率和所述传输文件的第一剩余容量确定待压缩的第一数据文件的文件大小。
传输单元230用于将所述第一数据文件压缩后置于所述传输文件中,并传输。
进一步地,所述获取单元包括文件大小确定子单元和压缩率获取子单元。
文件大小确定子单元(图中未示出)用于根据当前所述传输文件的第二剩余容量确定下一次待压缩的第二数据文件的文件大小。
压缩率获取子单元(图中未示出)用于根据采样次数内所述文件大小确定子单元确定的多个数据文件压缩前后文件大小的变化率得到所述平均压缩率。
进一步地,所述采样次数为三次。
进一步地,所述第二数据文件的文件大小等于所述第二剩余容量。
进一步地,所述压缩率获取子单元具体用于将所述多个数据文件压缩后的文件大小之和除以所述多个数据文件压缩前的文件大小之和,得到所述平均压缩率。
进一步地,所述压缩率获取子单元具体用于分别计算所述各数据文件压缩后的文件大小与压缩前的文件大小的比值;将所述比值的平均值作为所述平均压缩率。
进一步地,所述控制单元具体用于将所述第一剩余容量除以所述平均压缩率并乘以压缩冗余率,得到所述待压缩的第一数据文件的文件大小;其中,所述压缩冗余率大于0小于1。
采用本发明实施例的技术方案,由于数据文件的类型很多,不同类型的数据文件的压缩率不同,对于聊天记录而言,几百兆的数据文件压缩后大小可能只有几百K,采用本发明的技术方案,根据多个数据文件压缩前后大小的变化率获取数据文件压缩率,并根据所述传输文件的剩余容量和所述数据文件压缩率确定待压缩数据文件大小的第一数值,可以根据一段时间内需要传输的数据文件的压缩率获取尽量大且不溢出的待压缩数据文件,提高远距离传输的效率和实用性,节省远距离传输的成本。
实施例三
图3示出本发明实施例三计算机设备的结构示意图。
参见图3,本实施例中的计算机设备包括:一个或多个处理器310和存储器320,处理器310和存储器320通过总线330通信;一个或多个程序,所述程序包括计算机可读代码,所述一个或多个程序存储在所述存储器中,且经配置以由所述一个或者多个处理器执行所述一个或者多个程序包含的用于执行如实施例一中所述的任一种数据传输的方法的指令。
本发明实施例还提供了一种计算机可读介质,其中存储了上述的程序。
采用本发明实施例的技术方案,由于数据文件的类型很多,不同类型的数据文件的压缩率不同,对于聊天记录而言,几百兆的数据文件压缩后大小可能只有几百K,采用本发明的技术方案,根据多个数据文件压缩前后大小的变化率获取数据文件压缩率,并根据所述传输文件的剩余容量和所述数据文件压缩率确定待压缩数据文件大小的第一数值,可以根据一段时间内需要传输的数据文件的压缩率获取尽量大且不溢出的待压缩数据文件,提高远距离传输的效率和实用性,节省远距离传输的成本。
需要指出,根据实施的需要,可将本申请中描述的各个部件/步骤拆分为更多部件/步骤,也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤,以实现本发明的目的。
上述根据本发明的方法可在硬件、固件中实现,或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如,RAM、ROM、闪存等),当所述软件或计算机代码被计算机、处理器或硬件访问且执行时,实现在此描述的处理方法。此外,当通用计算机访问用于实现在此示出的处理的代码时,代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (15)
1.一种数据传输的方法,所述方法包括:
获取传输文件中已压缩的数据文件的平均压缩率;
根据所述平均压缩率和所述传输文件的第一剩余容量确定待压缩的第一数据文件的文件大小;
将所述第一数据文件压缩后置于所述传输文件中,并传输。
2.根据权利要求1所述的方法,其中,所述获取传输文件中已压缩的数据文件的平均压缩率的处理包括:
根据当前所述传输文件的第二剩余容量确定下一次待压缩的第二数据文件的文件大小;
根据采样次数内多个数据文件压缩前后文件大小的变化率得到所述平均压缩率。
3.根据权利要求2所述的方法,其中,所述采样次数为三次。
4.根据权利要求3所述的方法,其中,所述第二数据文件的文件大小等于所述第二剩余容量。
5.根据权利要求4所述的方法,其中,根据采样次数内多个数据文件压缩前后文件大小的变化率得到所述平均压缩率包括:
将所述多个数据文件压缩后的文件大小之和除以所述多个数据文件压缩前的文件大小之和,得到所述平均压缩率。
6.根据权利要求4所述的方法,其中,根据采样次数内多个数据文件压缩前后文件大小的变化率得到所述平均压缩率包括:
分别计算所述各数据文件压缩后的文件大小与压缩前的文件大小的比值;
将所述比值的平均值作为所述平均压缩率。
7.根据权利要求5或6所述的方法,其中,所述根据所述平均压缩率和所述传输文件的第一剩余容量确定待压缩的第一数据文件的文件大小的处理包括:
将所述第一剩余容量除以所述平均压缩率并乘以压缩冗余率,得到所述待压缩的第一数据文件的文件大小;其中,所述压缩冗余率大于0小于1。
8.一种数据传输的装置,所述装置包括:
获取单元,用于获取传输文件中已压缩的数据文件的平均压缩率;
控制单元,用于根据所述平均压缩率和所述传输文件的第一剩余容量确定待压缩的第一数据文件的文件大小;
传输单元,用于将所述第一数据文件压缩后置于所述传输文件中,并传输。
9.根据权利要求8所述的装置,其中,所述获取单元包括:
文件大小确定子单元,用于根据当前所述传输文件的第二剩余容量确定下一次待压缩的第二数据文件的文件大小;
压缩率获取子单元,用于根据采样次数内所述文件大小确定子单元确定的多个数据文件压缩前后文件大小的变化率得到所述平均压缩率。
10.根据权利要求9所述的装置,其中,所述采样次数为三次。
11.根据权利要求10所述的装置,其中,所述第二数据文件的文件大小等于所述第二剩余容量。
12.根据权利要求11所述的装置,其中,所述压缩率获取子单元具体用于将所述多个数据文件压缩后的文件大小之和除以所述多个数据文件压缩前的文件大小之和,得到所述平均压缩率。
13.根据权利要求11所述的装置,其中,所述压缩率获取子单元具体用于分别计算所述各数据文件压缩后的文件大小与压缩前的文件大小的比值;将所述比值的平均值作为所述平均压缩率。
14.根据权利要求12或13所述的装置,其中,所述控制单元具体用于将所述第一剩余容量除以所述平均压缩率并乘以压缩冗余率,得到所述待压缩的第一数据文件的文件大小;其中,所述压缩冗余率大于0小于1。
15.一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器;
一个或多个程序,所述一个或多个程序存储在所述存储器中,且经配置以由所述一个或者多个处理器执行所述一个或者多个程序包含的用于执行如权利要求1至7任一项所述的数据传输的方法的指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610258625.7A CN105847390A (zh) | 2016-04-22 | 2016-04-22 | 数据传输的方法、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610258625.7A CN105847390A (zh) | 2016-04-22 | 2016-04-22 | 数据传输的方法、装置及计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105847390A true CN105847390A (zh) | 2016-08-10 |
Family
ID=56589019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610258625.7A Pending CN105847390A (zh) | 2016-04-22 | 2016-04-22 | 数据传输的方法、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105847390A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109558088A (zh) * | 2018-12-03 | 2019-04-02 | 郑州云海信息技术有限公司 | 一种压缩方法、系统、设备及计算机可读存储介质 |
CN109947722A (zh) * | 2019-02-13 | 2019-06-28 | 北京达佳互联信息技术有限公司 | 用于应用程序的数据压缩方法、装置和计算机可读存储介质 |
CN110266814A (zh) * | 2019-07-09 | 2019-09-20 | 联想(北京)有限公司 | 传输方法及传输装置 |
-
2016
- 2016-04-22 CN CN201610258625.7A patent/CN105847390A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109558088A (zh) * | 2018-12-03 | 2019-04-02 | 郑州云海信息技术有限公司 | 一种压缩方法、系统、设备及计算机可读存储介质 |
CN109947722A (zh) * | 2019-02-13 | 2019-06-28 | 北京达佳互联信息技术有限公司 | 用于应用程序的数据压缩方法、装置和计算机可读存储介质 |
CN109947722B (zh) * | 2019-02-13 | 2021-08-17 | 北京达佳互联信息技术有限公司 | 用于应用程序的数据压缩方法、装置和计算机可读存储介质 |
CN110266814A (zh) * | 2019-07-09 | 2019-09-20 | 联想(北京)有限公司 | 传输方法及传输装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104506619B (zh) | 一种数据备份、恢复方法及其装置、服务器 | |
CN104503891B (zh) | 对jvm线程进行在线监控的方法和装置 | |
CN107770229B (zh) | 云端文件分享方法、系统和云服务器 | |
CN105847390A (zh) | 数据传输的方法、装置及计算机设备 | |
JP2018501752A5 (zh) | ||
CN103581216B (zh) | 分片数据存储的方法、设备和系统 | |
CN110515706B (zh) | 一种请求处理方法、装置、设备及可读存储介质 | |
CN110995513A (zh) | 物联网系统中的数据发送、接收方法、物联网设备及平台 | |
CN103577500A (zh) | 分布式文件系统进行数据处理的方法及该分布式文件系统 | |
CN110389715B (zh) | 数据存储方法、存储服务器及云存储系统 | |
CN110516129B (zh) | 一种数据处理方法及装置 | |
CN104699566B (zh) | 基于云存储的数据冗余备份方法、系统及存储节点服务器 | |
WO2009028545A1 (ja) | ネットワークシステム | |
CN103902447A (zh) | 一种分布式系统的系统测试方法及装置 | |
CN107870940A (zh) | 一种文件存储方法及装置 | |
WO2021147319A1 (zh) | 一种数据处理方法、装置、设备及介质 | |
CN105281940B (zh) | 一种基于netconf协议的hello报文交互的方法、设备和系统 | |
CN110636637B (zh) | 一种Linux设备的网络连接方法和装置 | |
CN106131238B (zh) | Ip地址的分类方法及装置 | |
CN107070987B (zh) | 用于分布式对象存储系统的数据获取方法及系统 | |
CN106385322B (zh) | 一种数据组呼方法、装置及系统 | |
CN104281534B (zh) | 一种存储元数据的方法和装置 | |
CN112100844B (zh) | 一种车联网信息配置仿真方法及系统 | |
CN107026888B (zh) | 大容量数据传送装置及方法 | |
CN111159980B (zh) | 数据转换的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160810 |