CN103873860B - 文件传输方法及装置 - Google Patents

Abstract

本发明提供了一种文件传输方法，包括：获取原始文件对应的数据流；提取所述数据流中的特征信息，根据所述特征信息获取所述原始文件的文件格式类型；根据所述文件格式类型选择相应的文件压缩算法，以选择的文件压缩算法对原始文件进行压缩生成压缩文件；获取所述文件压缩算法对应的压缩算法类型信息，发送所述压缩算法类型信息和压缩文件。此外，还提供了一种文件传输装置。上述文件传输方法及装置能够减少传输的数据量，节约传输耗时。

Description

文件传输方法及装置

技术领域

本发明涉及网络技术领域，特别是涉及一种文件传输方法及装置。

背景技术

传统技术中的网络设备在传输文件时，为了提高传输速度，通常采用gzip的压缩方式对文件进行压缩，以减小传输数据量的方式实现传输速度提升。然而，gzip压缩方式对于文本类型的文件压缩率较高，而对于多媒体类型（视频、音频）文件的数据压缩率十分低，使得对于多媒体类型的文件的传输速度提升效果不明显。

发明内容

基于此，有必要提供一种能够节约传输耗时的文件传输方法。

一种文件传输方法，包括：

获取原始文件对应的数据流；

提取所述数据流中的特征信息，根据所述特征信息获取所述原始文件的文件格式类型；

根据所述文件格式类型选择相应的文件压缩算法，以选择的文件压缩算法对原始文件进行压缩生成压缩文件；

获取所述文件压缩算法对应的压缩算法类型信息，发送所述压缩算法类型信息和压缩文件。

在其中一个实施例中，所述特征信息为所述数据流中预设偏移位置处的字节码；

所述提取所述数据流中的特征信息的步骤为：

通过深度包检测提取所述数据流中的特征信息。

在其中一个实施例中，所述根据所述文件格式类型选择相应的文件压缩算法的步骤包括：

判断所述原始文件的文件格式类型，若对应图片、视频或音频，则选择相应的有损压缩算法；否则，选择GZIP压缩算法。

在其中一个实施例中，所述对于文件格式类型对应图片、视频或音频的原始文件，选择相应的有损压缩算法的步骤之前还包括：

将文件格式类型对应图片、视频或音频的原始文件转换成有损编码的文件格式类型。

在其中一个实施例中，所述方法还包括：

接收所述压缩算法类型信息和压缩文件；

根据所述压缩算法类型信息选择文件压缩算法对所述压缩文件解压得到原始文件。

此外，还有必要提供一种能够节约传输耗时的文件传输装置。

一种文件传输装置，包括：

原始文件获取模块，用于获取原始文件对应的数据流；

格式类型提取模块，用于提取所述数据流中的特征信息，根据所述特征信息获取所述原始文件的文件格式类型；

压缩文件生成模块，用于根据所述文件格式类型选择相应的文件压缩算法，以选择的文件压缩算法对原始文件进行压缩生成压缩文件；

文件发送模块，用于获取所述文件压缩算法对应的压缩算法类型信息，发送所述压缩算法类型信息和压缩文件。

在其中一个实施例中，所述特征信息为所述数据流中预设偏移位置处的字节码；

所述格式类型提取模块还用于通过深度包检测提取所述数据流中的特征信息。

在其中一个实施例中，所述压缩文件生成模块还用于判断所述原始文件的文件格式类型，若对应图片、视频或音频，则选择相应的有损压缩算法；否则，选择GZIP压缩算法。

在其中一个实施例中，所述压缩文件生成模块还用于将文件格式类型对应图片、视频或音频的原始文件转换成有损编码的文件格式类型。

在其中一个实施例中，所述装置还包括文件接收模块，用于接收所述压缩算法类型信息和压缩文件；根据所述压缩算法类型信息选择文件压缩算法对所述压缩文件解压得到原始文件。

上述文件传输方法及装置中，可根据传输的原始文件中数据流的特征信息获取原始文件的文件格式类型，并根据文件格式类型选择相应的压缩比较高的文件压缩算法对原始文件进行压缩，使得对于图片、音频和视频类型的文件同样可在经过高压缩比压缩后再进行传输，从而减小了传输的数据量的大小，节约了传输耗时。

附图说明

图1为一个实施例中文件传输方法的流程图；

图2为一个实施例中文件传输装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

除非上下文另有特定清楚的描述，本发明中的元件和组件，数量既可以单个的形式存在，也可以多个的形式存在，本发明并不对此进行限定。本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。

在一个实施例中，如图1所示，一种文件传输方法，该方法可依赖于计算机程序，能够运行于基于冯洛伊曼体系的用于文件传输的计算机系统上。该计算机系统可以是常见的网络设备或网络加速设备，例如广域网加速设备中的加速客户端和加速服务器、缓存服务器等；也可以是用户使用的计算机终端设备，例如用户的个人电脑、手提电脑等；还可以是应用服务器设备，例如提供下载服务器的http服务器或ftp服务器。

在本实施例中，该方法包括：

步骤S102，获取原始文件对应的数据流。

原始文件即用户希望传输的文件，原始文件在传输前，通常会以数据流的形式缓存在内存中，数据流的来源可以是硬盘也可以是网络。例如，若使用个人电脑终端的用户希望将本地的某个视频文件发送给其他用户对应的另一终端，则需要先需要将该视频文件由硬盘加载到电脑终端的内存中生成数据流；若网络加速设备例如加速服务器在选择优质链路后转发文件时运行该方法，则可由接收数据的链路得到原始文件对应的数据流。

步骤S104，提取数据流中的特征信息，根据特征信息获取原始文件的文件格式类型。

在本实施例中，特征信息为数据流中预设偏移位置处的字节码。而提取数据流中的特征信息的步骤即具体为：通过深度包检测提取数据流中的特征信息。

深度包检测技术（DPI，Deep Packet Inspection）是一种基于应用层的流量检测和控制技术，当IP数据包、TCP或UDP数据流通过基于DPI技术的带宽管理系统时，该系统通过深入读取IP包载荷的内容来对OSI七层协议中的应用层信息进行重组，从而得到整个应用程序的内容，然后按照系统定义的管理策略对流量进行整形操作。

对于图片、音频或视频类型的原始文件，其数据流通常具有一定的特征信息。在Windows环境下，大部分的多媒体文件都依循着一种结构来存放信息，这种结构即为资源互换文件格式（Resources lnterchange File Format），简称RIFF。例如声音的WAV文件、视频的AVI文件等等均是由此结构衍生出来的。RIFF可以看做是一种树状结构，其基本构成单位为chunk，犹如树状结构中的节点，每个chunk由"辨别码"、"数据大小"及"数据"所组成。例如：

BMP图像文件结构：BMP图像文件主要包括文件头、调色板数据以及图像数据三个部分。其中文件头的长度固定为54个字节；调色板数据对所有不超过256色的图像模式都需要进行设置，即使对于单色图像模式也不例外，但是对于真彩色图像模式，其对应的BMP文件结构中却不存在相应调色板数据的设置信息；图像数据即可以采用一定的压缩算法进行处理，也可以不必对图像数据进行压缩处理，这不仅与图像文件的大小相关，而且也与对应的图像处理软件是否支持经过压缩处理的BMP图像文件相关。

GIF图像文件结构：GIF图像文件由五部分组成，首先是文件头块和逻辑屏幕描述块，然后是可选择的调色板数据块，图像数据块，最后是标志GIF图像结束的尾块。文件头是一个带有识别GIF格式数据流的数据块；逻辑屏幕描述块定义了与随后图像数据相关的图像平面大小、纵横尺寸比以及彩色深度等信息，可选择的调色板数据块，定义图像可以选择的调色板数据，如果是全局调色板存在，则构成一个24位RGB三联体的调色板，其中一个基色占用一个字节，图像数据块可以作为图形数据或者特殊目的块出现，尾块是用于标记整个数据流的结束，一般取固定值3BH。

AVI视频文件结构：AVI视频文件主要包含文件头、数据块和索引块三部分。其中数据块包含实际数据流，即图像和声音序列数据。这是文件的主体，也是决定文件容量的主要部分。索引块包括数据块列表和它们在文件中的位置，以提供文件内数据随机存取能力。文件头包括文件的通用信息，定义数据格式，所用的压缩算法等参数。

FLV文件结构：FLV文件是一个二进制文件，由文件头（FLV header）和很多tag组成。tag又可以分成三类:audio,video,script，分别代表音频流，视频流，脚本流（关键字或者文件信息之类）。

WAVE文件结构：WAVE文件是非常简单的一种RIFF文件，它的格式类型为"WAVE"。RIFF块包含两个子块，这两个子块的ID分别是"fmt"和"data",其中"fmt"子块由结构PCMWAVEFORMAT所组成，其子块的大小就是sizeofof(PCMWAVEFORMAT),数据组成就是PCMWAVEFORMAT结构中的数据。

MP3文件结构：MP3文件大体分为TAG_V2(ID3V2)，Frame,TAG_V1(ID3V1)三部分。ID3V2包含了作者，作曲，专辑等信息，长度不固定，扩展了ID3V1的信息量。每个FRAME又分为帧头和数据实体两部分帧头记录了mp3的位率，采样率，版本等信息，每个帧之间相互独立。ID3V1包含了作者，作曲，专辑等信息，长度为128BYTE。

MP3Pro：MP3Pro是新一代的MP3格式，是Mp3编码格式的升级版本。MP3Pro是由瑞典Coding科技公司开发的，在保持相同的音质下同样可以把声音文件的文件量压缩到原有MP3格式的一半大小。而且可以在基本不改变文件大小的情况下改善原先的MP3音乐音质。它能够在用较低的比特率压缩音频文件的情况下，最大程度地保持压缩前的音质。

zip文件结构：zip文件由压缩的文件内容源数据，压缩的目录源数据和目录结束标识结构三部分组成。压缩的文件内容源数据记录着压缩的所有文件的内容信息，其数据组织结构是对于每个文件都由file header，file data和data descriptor三部分组成。对于待压缩的目录而言，每一个子目录对应一个压缩目录源数据，记录该目录的描述信息。压缩包中所有目录源数据连续存储在整个归档包的最后，这样便于向包中追加新的文件。目录结束标识存在于整个归档包的结尾，用于标记压缩的目录数据的结束。

RAR文件结构：RAR文件是由可变长度的块组成的。这些块之间没有固定地先后顺序，但是要求第一个块必须是被一个归档头部块紧跟的标志块。每一块又由一些域组成。

H.264：又称AVC（Advanced Video Coding，高级视频编码），是一种视频压缩标准，一种被广泛使用的高精度视频的录制、压缩和发布格式。它是一种面向块的基于运动补偿的编解码器标准。由ITU-T视频编码专家组与ISO/IEC联合工作组——即动态图像专家组（MPEG）——联合组成的联合视频组（JVT，Joint Video Team）开发。

变换编码：将给定的图像变换到另一个数据域（如频域）上，使得大量的信息能用较少的数据来表示，从而达到压缩的目的。变换编码有很多，如（1）离散傅立叶变换（Discrete Fourier Transform，简称DFT）；（2）离散余弦变换（Discrete CosineTransform，简称DCT）；（3）离散哈达玛变换（Discrete Hadamard Transform，简称DHT）。

在本实施例中，即可根据上述的特征信息获取文件格式类型。例如，图片，音频，和视频文件均有一个文件头，文件头中包含一些属于此类文件的特殊标记。

对于BMP图片，其数据流的偏移位置的前2个字节是424D，紧接着是表示文件大小的4个字节，即可以根据这些特征信息来判断原始文件是否是bmp图片。

对于wav音频文件，其数据流的偏移位置的前4个字节是52494646，然后是表示长度的4个字节，紧接着的4个字节是是57415645，即可根据这些特征信息来判断文件是否是wav音频文件。

对于flv视频文件，其数据流的偏移位置的前3个字节就是464c56，然后是表示版本信息的一个字节，然后是表示流信息的一个字节，然后是表示文件头长度的4个字节，即可根据这些特征信息来判断原始文件是否是flv视频文件。

对于zip文件，其数据流的偏移位置的前四个字节是504b0304，倒数第22个字节开始的4个字节内容是504b0506，即可以根据这些特征信息来判断文件是否是zip压缩文件。

步骤S106，根据文件格式类型选择相应的文件压缩算法，以选择的文件压缩算法对原始文件进行压缩生成压缩文件。

在本实施例中，根据文件格式类型选择相应的文件压缩算法的步骤包括：判断原始文件的文件格式类型，若对应图片、视频或音频，则选择相应的有损压缩算法；否则，选择GZIP压缩算法。

进一步的，对于文件格式类型对应图片、视频或音频的原始文件，选择相应的有损压缩算法的步骤之前还包括：

将文件格式类型对应图片、视频或音频的原始文件转换成有损编码的文件格式类型。

例如，可把图片都先转为jpg图片（jpg格式的图片文件较BMP等格式的图片数据小），再对jpg图片使用变换编码进行二次压缩；可把视频文件先转换成H.264格式，再对H.264格式的视频使用变换编码进行二次压缩（可以是GZIP压缩）；可将音频文件都转换为mp3或mp3pro，再进行二次编码压缩。如果数据的文件类型是压缩文件，则不进行压缩，其它文件，例如文本文件、.doc、.ppt文件等则使用GZIP压缩算法对数据进行压缩。

步骤S108，获取文件压缩算法对应的压缩算法类型信息，发送压缩算法类型信息和压缩文件。

压缩算法类型信息即对原始文件进行压缩时用到的压缩算法的标识信息，例如，若使用了JPG的有损压缩算法，则可在传输压缩文件的同时传输标识“JPG”。

接收传输的数据的终端即可：

接收压缩算法类型信息和压缩文件；根据压缩算法类型信息选择文件压缩算法对压缩文件解压得到原始文件。

在本实施例中，可预先定义标准传输协议，将压缩算法以数字编号表示。例如，可在标准传输协议将“GZIP”定义为0001，将“JPG”定义为0002，若接收数据的终端接收到的数据中包括压缩算法的标识0001，则使用GZIP算法对压缩文件进行解压。若接收到的数据中包括压缩算法的标识为0002的二次编码压缩算法的标识，则可使用JPG算法对压缩文件进行解码。

也就是说，在接收前述传输的压缩文件时，可采用与生成压缩文件的过程互逆的操作对压缩文件进行处理，从而得到原始文件。对于在网络加速设备上运行本方法的应用场景而言，接收到发送终端发送的原始数据的网络加速设备在转发原始文件时，将其按照上述方式压缩成压缩文件；接收传输的压缩文件的网络加速设备在接收压缩文件并对其解压后，即可将解压得到的原始文件转发至接收终端。对于发送终端和接收终端而言，原始文件的压缩和解压过程是透明的，因此也提高了加速网络的扩展性。

在一个实施例中，如图2所示，一种文件传输装置，包括原始文件获取模块102、格式类型提取模块104、压缩文件生成模块106和文件发送模块108，其中：

原始文件获取模块102，用于获取原始文件对应的数据流。

格式类型提取模块104，用于提取数据流中的特征信息，根据特征信息获取原始文件的文件格式类型。

压缩文件生成模块106，用于根据文件格式类型选择相应的文件压缩算法，以选择的文件压缩算法对原始文件进行压缩生成压缩文件。

文件发送模块108，用于获取文件压缩算法对应的压缩算法类型信息，发送压缩算法类型信息和压缩文件。

在一个实施例中，特征信息为数据流中预设偏移位置处的字节码。

格式类型提取模块104还用于通过深度包检测提取数据流中的特征信息。

在一个实施例中，压缩文件生成模块106还用于判断原始文件的文件格式类型，若对应图片、视频或音频，则选择相应的有损压缩算法；否则，选择GZIP压缩算法。

在一个实施例中，压缩文件生成模块106还用于将文件格式类型对应图片、视频或音频的原始文件转换成有损编码的文件格式类型。

在一个实施例中，如图1所示，文件传输装置还包括文件接收模块110，用于接收压缩算法类型信息和压缩文件；根据压缩算法类型信息选择文件压缩算法对压缩文件解压得到原始文件。

上述文件传输方法及装置中，可根据传输的原始文件中数据流的特征信息获取原始文件的文件格式类型，并根据文件格式类型选择相应的压缩比较高的文件压缩算法对原始文件进行压缩，使得对于图片、音频和视频类型的文件同样可在经过高压缩比压缩后再进行传输，从而减小了传输的数据量的大小，节约了传输耗时。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种文件传输方法，包括：

获取原始文件对应的数据流，所述数据流具有设定文件结构；

提取所述数据流中的特征信息，根据所述特征信息获取所述原始文件的文件格式类型，其中，所述特征信息是根据所述数据流对应的所述设定文件结构的预设偏移位置处的字节码；

根据所述文件格式类型选择相应的文件压缩算法，以选择的文件压缩算法对原始文件进行压缩生成压缩文件；对于文件格式类型对应图片、视频或音频的原始文件，将所述原始文件转换成有损编码的文件格式类型，并针对转换后的所述有损编码文件格式类型选择相应的文件压缩算法进行二次编码压缩；

获取所述文件压缩算法对应的压缩算法类型信息，发送所述压缩算法类型信息和压缩文件。

2.根据权利要求1所述的文件传输方法，其特征在于，所述特征信息为所述数据流中预设偏移位置处的字节码；

所述提取所述数据流中的特征信息的步骤为：

通过深度包检测提取所述数据流中的特征信息。

3.根据权利要求1所述的文件传输方法，其特征在于，所述根据所述文件格式类型选择相应的文件压缩算法的步骤包括：

判断所述原始文件的文件格式类型，若对应图片、视频或音频，则选择相应的有损压缩算法；否则，选择GZIP压缩算法。

4.根据权利要求1至3任一项所述的文件传输方法，其特征在于，所述方法还包括：

接收所述压缩算法类型信息和压缩文件；

根据所述压缩算法类型信息选择文件压缩算法对所述压缩文件解压得到原始文件。

5.一种文件传输装置，其特征在于，包括：

原始文件获取模块，用于获取原始文件对应的数据流，所述数据流具有设定文件结构；

格式类型提取模块，用于提取所述数据流中的特征信息，根据所述特征信息获取所述原始文件的文件格式类型，其中，所述特征信息是根据所述数据流对应的所述设定文件结构的预设偏移位置处的字节码；

压缩文件生成模块，用于根据所述文件格式类型选择相应的文件压缩算法，以选择的文件压缩算法对原始文件进行压缩生成压缩文件；

文件发送模块，用于获取所述文件压缩算法对应的压缩算法类型信息，发送所述压缩算法类型信息和压缩文件。

6.根据权利要求5所述的文件传输装置，其特征在于，所述特征信息为所述数据流中预设偏移位置处的字节码；

所述格式类型提取模块还用于通过深度包检测提取所述数据流中的特征信息。

7.根据权利要求5所述的文件传输装置，其特征在于，所述压缩文件生成模块还用于判断所述原始文件的文件格式类型，若对应图片、视频或音频，则选择相应的有损压缩算法；否则，选择GZIP压缩算法。

8.根据权利要求5至7任一项所述的文件传输装置，其特征在于，所述装置还包括文件接收模块，用于接收所述压缩算法类型信息和压缩文件；根据所述压缩算法类型信息选择文件压缩算法对所述压缩文件解压得到原始文件。