CN101166190B

CN101166190B - 影音文件的多源下载方法及装置

Info

Publication number: CN101166190B
Application number: CN 200710122058
Authority: CN
Inventors: 胡鹏; 余祥鑫; 李建成; 蓝烈华
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2007-09-20
Filing date: 2007-09-20
Publication date: 2010-10-13
Anticipated expiration: 2027-09-20
Also published as: WO2009043252A1; CN101166190A

Abstract

本发明公开了一种影音文件的多源下载方法，该方法包括：根据客户端请求的目标文件的媒体数据摘要和完整文件摘要，寻找目标文件的文件源；将文件源中与目标文件媒体数据摘要相同的文件组成集合，并将所述集合中的文件源信息反馈给发起请求的客户端；发起请求的客户端根据收到的文件源信息对目标文件并行下载。本发明还涉及一种影音文件的多源下载装置，该装置通过两次筛选，得到目标文件的相同及相似文件源集合。本发明针对影音文件的特点，增加了目标文件的相似文件源，从而提高了目标文件的下载速度，以及文件共享系统的带宽利用率。

Description

影音文件的多源下载方法及装置

技术领域

本发明涉及网络文件下载技术，尤其涉及一种对等网络(P2P，Peer to Peer)环境中影音文件的多源下载方法及装置。

背景技术

一直以来，音视频等多媒体数据即影音文件都是整个互联网流量的主要组成部分。由于影音文件较大，为了提高其下载速率，近年来以P2P、P2P与客户/服务器两种模式结合(P2SP，Peer to Server and Peer)联网为代表的多源下载技术被广泛采用。所谓多源下载是指从网络中多个文件源同时并发下载目标文件的文件下载方式。

现有的多源下载技术使用信息-摘要算法(MD5，Message-Digest Algorithm5)、安全散列算法(SHA，Secure HashAlgorithm)等哈希算法对整个文件内容进行计算，获得固定长度的数字摘要信息，并基于数字摘要的异同来判断文件的异同。当下载客户端请求下载网络中的某个文件时，P2P系统返回具有相同数字摘要信息的多个文件源，下载客户端从多个文件源分块并行下载文件，从而提高P2P系统的带宽使用率，加快数据传输速率。

文件共享系统是P2P技术最为主流的应用，现有文件共享系统的文件下载整体分为两个步骤：1)根据集中或者分布式索引查找获得多个文件源；2)同时从多个文件源分块下载所需的目标文件。P2SP的下载方式实际是对P2P技术的进一步延伸，它不但支持P2P技术，同时还通过集中的检索数据库把原本孤立稳定的服务器资源和P2P资源整合到一起。这样，下载客户端不仅可以根据P2P的特定协议从其他客户端上并行下载文件，而且还可以按照超文本传输协议(HTTP，Hyper Text Transfer Protocol)、文件传输协议(FTP，File TransferProtocol)等协议从公开、稳定的服务器处并行下载文件，资源更丰富，下载速度更快，且稳定性更强。

现有P2P/P2SP系统中文件副本的判断方法如下：如果设备1上的文件A与设备2上的文件B数字摘要相同，且文件长度等属性信息也相同，系统则认为两个文件内容相同。因此，当客户端请求下载文件A时，系统不仅返回设备1的网络信息，也返回设备2的网络信息，以便客户端从多文件源下载。通常，系统中具体参与判断的设备是跟踪服务器，客户端在上线并发布共享的时候，将文件摘要等基本信息都上报到跟踪服务器，以备判断。但是，这种判断方法可应用于各类文件系统，并未对影音文件做特殊考虑。

影音文件在目前的网络下载中使用非常频繁，且数据量大，而其自身的数据格式也与其他文件有所不同，具体来说，存在音视频编码数据完全相同而标签属性不同的文件，现有下载方式并未对影音文件的特殊格式进行关注，这样，既浪费了网络资源，也难以满足客户端下载速度的需求。

发明内容

有鉴于此，本发明的主要目的在于提供一种影音文件的多源下载方法，能增加文件源，扩展文件源集合。

本发明的另一目的在于提供一种影音文件的多源下载装置，能增加影音文件的文件源。

为达到上述目的，本发明的技术方案是这样实现的：

一种影音文件的多源下载方法，该方法包括：

A、根据客户端请求的目标文件的媒体数据摘要和完整文件摘要，寻找目标文件的文件源；

B、将文件源中与目标文件媒体数据摘要相同的文件放入第一集合；将第一集合中与目标文件完整文件摘要相同的文件放入第二集合；将所述第一集合、第二集合中的文件源信息反馈给发起请求的客户端；

C、发起请求的客户端根据收到的文件源信息对目标文件并行下载；

其中，所述并行下载具体包括：客户端接收反馈的文件源信息；从第一集合中并行下载媒体数据部分，从第二集合中并行下载非媒体数据部分；将下载的媒体数据部分和非媒体数据部分合并为目标文件。

所述并行下载媒体数据部分或并行下载非媒体数据部分时，同时将当前正在下载的目标文件作为文件源共享。

所述影音文件为包含媒体数据与非媒体数据的文件，所述非媒体数据指文件头、文件尾，所述媒体数据为影音文件的主体部分。

比较文件源与目标文件，将与目标文件的媒体数据摘要相同，完整文件摘要不一致的文件源作为相似文件。

所述文件源包括已经下载的文件、正在上传但包含完整文件信息的部分文件、正在下载且包含完整文件信息的部分文件。

所述文件源信息包括但不限于：集合分类信息、各个下载源的网络信息、完整文件摘要、媒体数据摘要、文件长度、媒体数据长度、媒体数据偏移量。

一种影音文件的多源下载装置，该装置包括：

查找模块，用于查找与目标文件相似的文件源，将查找到的文件源信息发送给筛选模块；

筛选模块，根据媒体数据摘要与非媒体数据摘要的异同，将收到的文件源划分为与目标文件相同、相似两个集合，将两个集合的信息发送给下载模块；

下载模块，用于从收到的两个集合中分别并行下载目标文件的媒体数据部分、非媒体数据部分；

合并模块，将下载模块下载后的媒体数据部分、非媒体数据部分合并为目标文件。

所述查找模块、筛选模块位于跟踪服务器中，下载模块、合并模块位于客户端。

所述查找模块通过比较文件源与目标文件的非媒体数据摘要，识别与目标文件相似的文件源。

所述下载模块还包含对目标文件并发下载、或分时下载的下载策略。

本发明在收集和查询资源时，根据影音文件媒体数据部分相同，但非媒体数据部分不一定相同的特点，P2P/P2SP系统对影音文件的媒体数据部分进行索引操作，即在收集或发布文件时，除了对整个文件做常规的数字摘要运算，还额外对影音文件的媒体数据部分再做一次数字摘要运算，并配合影音文件的长度在文件中的偏移量信息上报到负责查询的服务器或客户端节点。

本发明针对影音文件的特点，除了相同影音文件，更增加了媒体数据摘要相同、完整数字摘要不一致的相似的影音文件作为下载源，从而增加了影音文件的潜在下载源，提高了客户端的下载速率。

附图说明

图1为影音文件格式示意图；

图2为P2P系统结构图；

图3为本发明方法的实现流程示意图；

图4为本发明并行下载目标文件的流程示意图；

图5为本发明装置的示意图。

具体实施方式

本发明针对P2P/P2SP系统，在维护和检索影音文件的文件源时，查找对象不仅包括完全相同的影音文件，还包括媒体内容相同而标签属性不同的影音文件。

如图1所示，通常，大部分影音文件包括文件头、媒体数据帧和文件尾。其中，媒体数据帧占据文件的绝大部分；文件头、文件尾记录文件的摘要，是非媒体数据部分，也就是影音文件的标签，相应的，文件头、文件尾中包含的信息被称为标签的属性。实际应用中，有的文件没有文件头，有的文件没有文件尾，总的来说，大部分的影音文件分为媒体数据部分与记录文件摘要的非媒体数据部分。媒体数据部分记录了影音文件的具体内容，比如歌曲的音频、视频等信息；非媒体数据部分包含了完整的影音文件信息，即整个影音文件的大小、作者、内容概括、版本、分块等等，当影音文件处于上传或下载过程中时，依靠完整的影音文件信息就可以判断该影音文件的内容是否符合用户需求。

下面以一种数字音频压缩格式(MP3，Moving Picture Experts Group AudioLayer3)文件为例，具体分析一下目前应用较多的几种格式的影音文件：

如图1所示，影音文件的内容分为三个部分，按前后顺序排列依次为：文件头部分，包括版本2的标签TAG_V2，又被称为ID3V2；媒体数据帧部分即音频帧(frame)；文件尾即版本1的标签TAG_V1，又被称为ID3V1。其中，ID3V2包含了作者、作曲、专辑等信息，长度不固定，扩展了ID3V1的信息量；ID3V1则包含作者、作曲、专辑等信息，长度为128字节。

MP3文件中是一系列的帧，帧的个数由文件大小和帧长决定，每个帧的长度可以不固定，也可固定，由位率(bit ra te)决定。每个帧分为帧头和数据实体两部分，帧头记录有MP3的位率、采样率、版本等信息，数据实体即为编码后的音频数据，每个帧之间相互独立。

类似地，微软的媒体音频格式(WMA，Windows Media Audio)、流媒体音频格式(WMV，Windows Media Video)、高级数据流格式(ASF，AdvancedStream Format)文件格式也是由头对象(Head Object)、数据对象(Data Object)和索引对象(Index Object)组成，即前述的文件头、媒体数据帧和文件尾，其他常见的影音文件也基本遵循图1所示的格式。

本发明中，为了加快数据库的查询速度，P2P/P2SP文件下载系统只将文件媒体数据的摘要建立一份索引表。为了避免哈希算法的碰撞，建立索引时可以辅助配合媒体数据长度，以便快速获得相同的文件集合。

图2是一个典型的P2P文件共享网络，跟踪服务器通过网络连接数据库、多个客户端。各个客户端之间可以通过网络连接，用于共享或下载文件；跟踪服务器主要负责实时跟踪文件下载状态，响应客户端的文件下载请求和文件上报请求等；跟踪服务器还连接数据库，该数据库用于维护、保存、共享文件基本信息。

下面结合基于P2P的文件共享应用，介绍本发明一实施例的处理流程，本实施例中，至少包括三个客户端，客户端1、客户端2和客户端3，其中有发出下载请求的客户端，有提供文件源的客户端。如图3所示，本实施例中文件的多源下载流程包括以下步骤：

步骤301：获取发出下载请求的客户端提交的下载请求，下载请求中包括媒体数据摘要H1与完整文件摘要H2。

本实施例中，客户端1和客户端2为提供文件源的客户端，客户端3为发出下载请求的客户端。客户端1共享影音文件reality.mp3，客户端1首先分别计算获得完整文件的数字摘要，设为12345678，与媒体数据部分的数字摘要，设为abcdef12，并附加长度、偏移量、客户端1的网络等信息，上报至P2P系统中的跟踪服务器。类似地，客户端2也共享一个相似的影音文件reality france.mp3，其完整影音文件的数字摘要为11111111，媒体数据部分的数字摘要为abcdef12。共享影音文件可以是完整的共享影音文件，也可以是正在下载的部分共享影音文件，只要能得到完整的影音文件信息即可。

客户端3向跟踪服务器提交下载请求：媒体数据摘要H1为abcdef12与完整文件摘要H2为11111111，媒体数据内容为D，非媒体数据内容N。

步骤302：跟踪服务器在数据库中检索媒体数据摘要为H1的可用影音文件集合S1。

跟踪服务器在数据库中添加客户端1、客户端2的共享条目，其中包括共享客户端1和客户端2的名称、客户端1和2的网络地址以及上报的摘要、文件名、文件长度、媒体数据偏移等基本信息，并将其中的媒体数据的数字摘要abcdef12建立索引，以便于查找。

当客户端3通过搜索等方法提交欲下载的目标文件时，请求内容中会包括目标文件的完整文件摘要11111111与媒体数据摘要abcdef12等信息。跟踪服务器先根据abcdef12检索具有此媒体数据摘要的、可用的影音文件下载源集合S1(其中包括客户端1与客户端2)，之后进入步骤303。

步骤303：在集合S1内检索完整文件摘要为H2的文件集合S2。

在集合S1中再根据完整文件数字摘要11111111进行二次筛选，得到集合S1的子集S2，S2中不再包括客户端1，但包括客户端2，从而将下载源结果分为两个集合：包括客户端1与客户端2的S1；仅包括客户端2的S2。将各个下载源的网络信息、完整文件摘要、媒体数据摘要、文件长度、媒体数据长度、媒体数据偏移量等文件源信息回应给客户端3。

步骤304：发出下载请求的客户端根据反馈信息下载目标文件。

客户端3根据收到的集合S1、S2两类数据源信息下载目标文件，具体过程如图4所示：

步骤401：客户端3接收跟踪服务器反馈的S1与S2。

步骤402：客户端3分别从S1、S2中并行下载媒体数据内容D和非媒体数据内容N；该步骤包含步骤402a、步骤402b两个并行的步骤，

步骤402a：客户端3从S1中，即从客户端1与客户端2处并行下载目标文件的媒体数据内容D；

步骤402b：客户端3从S2中，即从客户端2处下载目标文件的非媒体数据部分N，包括目标文件头、文件尾。

步骤403：客户端3将下载的D与N合并为目标文件。

一般，文件源中的文件对象分为两种：一种是完整的文件；另一种是仍在下载的文件，即文件收集中仅下载了片段的文件。对于后者，文件源信息中还应包括该数据源的实际可用数据片段。

根据本发明所述的方法，在文件下载过程中及下载完毕后，根据P2P文件共享系统的惯例，将此文件设置为共享状态，并将该文件的完整数据摘要、偏移量、附加信息、媒体数据摘要等相关信息通知跟踪服务器。

基于以上方法，对应的影音文件的多源下载装置如图5所示，该装置包括：查找模块，通过比较文件源与目标文件的非媒体数据摘要，识别与目标文件相似的文件源，将查找到的文件源信息发送给筛选模块；筛选模块，根据媒体数据摘要与非媒体数据摘要的异同，将收到的文件源划分为与目标文件相同、相似两个集合，将两个集合的信息发送给下载模块；下载模块，用于从收到的两个集合中分别并行下载目标文件的媒体数据部分、非媒体数据部分；合并模块，将下载模块下载后的媒体数据部分、非媒体数据部分合并为目标文件；所述查找模块、筛选模块位于跟踪服务器中，下载模块、合并模块位于客户端。

客户端查询时，查找模块先根据目标文件媒体数据的数字摘要及其长度查询，获得多个具有相同媒体内容的可用文件对象即文件源，构成一个临时集合A；然后，筛选模块对集合A中的每个文件，继续比较其与目标文件的完整文件摘要、文件长度等信息，做二次筛选，得到的文件集合B，集合B中是完全相同的文件副本，而集合A中剩余的是具有与目标文件相同媒体数据的文件。系统将这两部分文件源信息回应查询客户端，其中不仅包括网络信息，还包括媒体数据长度及偏移信息等。

客户端收到的文件源包含两种：1)完全相同的文件副本信息；2)媒体数据相同的文件信息。下载模块根据收到的文件源信息并发下载目标文件。客户端的下载策略可以灵活定制，例如：将媒体数据与非媒体数据相互独立，采用并发下载的策略，即同时从所有数据源下载媒体数据信息，只从相同文件副本的数据源下载文件头部和尾部等非媒体数据；或者，遇到文件源稀缺的情况，采用分时下载的策略，即将文件源稀缺的部分优先下载，其余部分稍后下载等等；最后，合并模块将媒体数据部分和非媒体数据部分合并为目标文件。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims

1.一种影音文件的多源下载方法，其特征在于，该方法包括：

2.根据权利要求1所述的影音文件的多源下载方法，其特征在于，所述并行下载媒体数据部分或并行下载非媒体数据部分时，同时将当前正在下载的目标文件作为文件源共享。

3.根据权利要求1所述的影音文件的多源下载方法，其特征在于，所述影音文件为包含媒体数据与非媒体数据的文件，所述非媒体数据指文件头、文件尾，所述媒体数据为影音文件的主体部分。

4.根据权利要求1所述的影音文件的多源下载方法，其特征在于，比较文件源与目标文件，将与目标文件的媒体数据摘要相同，完整文件摘要不一致的文件源作为相似文件。

5.根据权利要求1所述的影音文件的多源下载方法，其特征在于，所述文件源包括已经下载的文件、正在上传但包含完整文件信息的部分文件、正在下载且包含完整文件信息的部分文件。

6.根据权利要求1所述的影音文件的多源下载方法，其特征在于，所述文件源信息包括但不限于：集合分类信息、各个下载源的网络信息、完整文件摘要、媒体数据摘要、文件长度、媒体数据长度、媒体数据偏移量。

7.一种影音文件的多源下载装置，其特征在于，该装置包括：

8.根据权利要求7所述的影音文件的多源下载装置，其特征在于，所述查找模块、筛选模块位于跟踪服务器中，下载模块、合并模块位于客户端。

9.根据权利要求7或8所述的影音文件的多源下载装置，其特征在于，所述查找模块通过比较文件源与目标文件的非媒体数据摘要，识别与目标文件相似的文件源。

10.根据权利要求7或8所述的影音文件的多源下载装置，其特征在于，所述下载模块还包含对目标文件并发下载、或分时下载的下载策略。