CN102868707A - 一种文件下载和转码的方法和系统 - Google Patents

Abstract

本发明实施例公开了一种文件下载和转码的方法和系统。该方法包括：任务管理服务器接收下载和转码任务请求，该下载和转码任务请求中携带有下载任务信息和转码任务信息，任务管理服务器根据所述下载任务信息和所述转码任务信息查询索引数据库，判断目标文件是否已存储在云存储服务器中；在所述目标文件没有存储在云存储服务器中时，任务管理服务器下发转码任务，转码服务器根据所述转码任务将原始文件转码为目标文件，将所述目标文件存储在云存储服务器中；在所述目标文件已存储在云存储服务器中时，下载客户端获得云存储服务器中存储的所述目标文件。应用本发明能够缩短下载客户端获得转码后的目标文件所需的时间。

Description

一种文件下载和转码的方法和系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种文件下载和转码的方法和系统。

背景技术

视频文件转码，是指将已经压缩编码的视频码流转换成另一个视频码流，以适应不同的网络带宽、不同的终端处理能力和不同的用户需求。转码本质上是一个先解码，再编码的过程，因此转换前后的码流可能遵循相同的视频编码标准，也可能不遵循相同的视频编码标准。

目前有三种主要的转码需求：其一，在不同视频格式间进行转换，例如从MPEG-2或者MPEG-4转到H.264；其二，为了满足不同网络带宽或者设备播放速度的需求，进行比特率的转换，以实现内容传输或播放；其三，在不同清晰度之间进行转换，例如，将高清视频转为标清甚至更低的清晰度，后者反向处理，即将标清或者更低清晰度的视频转为高清视频。

现有对获得转码后的目标文件的方法主要为：

将原始文件通过下载器下载到本地，再在本地通过转码工具转成目标文件。

可见，由于需要从互联网下载原始文件，该过程往往需要长时间挂机，而且，下载完成后，还需要在本地通过工具转码，因此，现有获得转码后的目标文件所需的时间较长。

发明内容

有鉴于此，本发明提供了一种文件下载和转码的方法和系统，以便缩短下载客户端获得转码后的目标文件所需的时间。

本发明的技术方案具体是这样实现的：

一种文件下载和转码的方法，该方法包括：

任务管理服务器接收下载和转码任务请求，该下载和转码任务请求中携带有下载任务信息和转码任务信息；

任务管理服务器根据所述下载任务信息和所述转码任务信息查询索引数据库，判断所述目标文件是否已存储在云存储服务器中；

在所述目标文件没有存储在云存储服务器中时，任务管理服务器下发转码任务，转码服务器根据所述转码任务将原始文件转码为目标文件，将所述目标文件存储在云存储服务器中；

在所述目标文件已存储在云存储服务器中时，下载客户端获得云存储服务器中存储的所述目标文件。

一种文件下载和转码的系统，该系统包括下载客户端、任务管理服务器和转码服务器；

所述下载客户端，用于向任务管理服务器发送下载和转码任务请求，获得云存储服务器中存储的目标文件，其中，所述下载和转码任务请求中携带有下载任务信息和转码任务信息；

所述任务管理服务器，用于接收下载和转码任务请求，根据所述下载任务信息和所述转码任务信息查询索引数据库，判断所述目标文件是否已存储在云存储服务器中，在所述目标文件没有存储在云存储服务器中时，下发转码任务；

所述转码服务器，用于根据所述转码任务将原始文件转码为目标文件，将所述目标文件存储在云存储服务器中。

由上述技术方案可见，本发明中，任务管理服务器接收的下载和转码任务请求中，既携带有下载任务信息，也携带有转码任务信息，通过查询索引数据库判断目标文件是否已存储在云存储服务器中。

如果目标文件已存储在云存储服务器中，则下载客户端可以直接从云存储服务器中获得所述目标文件，从而不必在下载原始文件后再在本地执行转码操作，因此能够缩短下载客户端获得转码后的目标文件所需的时间。

如果目标文件没有存储在云存储服务器中，则由网络侧根据转码任务信息执行转码操作，将原始文件转码为目标文件，并将目标文件存储在云存储服务器中，使得下载客户端能够从云存储服务器中获得所述目标文件，与下载客户端先下载原始文件，然后再在本地进行转码相比，也能够缩短获得转码后的目标文件所需的时间。

附图说明

图1是本发明提供的文件下载和转码的方法流程图。

图2是本发明提供的文件下载和转码方法的第一实施例流程图。

图3是转码服务器处理转码任务的流程图。

图4是本发明提供的文件下载和转码方法的第二实施例流程图。

图5是本发明提供的文件下载和转码系统的组成示意图。

具体实施方式

图1是本发明提供的文件下载和转码的方法流程图。

如图1所示，该方法包括：

步骤101，任务管理服务器接收下载和转码任务请求。

其中，所述下载和转码任务请求中携带有下载任务信息和转码任务信息，所述下载任务信息包括原始文件的标识和下载地址信息，所述转码任务信息包括将所述原始文件转码为目标文件的转码参数信息。

步骤102，任务管理服务器根据所述下载任务信息和所述转码任务信息查询索引数据库，判断目标文件是否已存储在云存储服务器中，如果所述目标文件没有存储在云存储服务器中，执行步骤103，如果目标文件已存储在云存储服务器中，执行步骤104。

步骤103，任务管理服务器下发转码任务，转码服务器根据所述转码任务将原始文件转码为目标文件，将所述目标文件存储在云存储服务器中。

步骤104，下载客户端获得云存储服务器中存储的所述目标文件。

下面举两个具体的实施例对本发明提供的文件下载和转码方法进行介绍，具体请参见图2～图4。

图2是本发明提供的文件下载和转码方法的第一实施例流程图。

如图2所示，该方法包括：

步骤201，下载客户端接收下载和转码任务请求，该下载和转码任务请求中携带有下载任务信息和转码任务信息。

其中的下载任务信息中携带有原始文件的下载地址信息，转码任务信息中携带有转码的目标格式信息。其中，转码的目标格式信息可以是mp4，avi，rmvb等格式，也可以是播放平台的类型或型号信息，比如Android手机、ipad等，根据播放平台的类型和型号信息可以确定出播放平台支持的目标格式信息，所述播放平台支持的目标格式信息即为所述转码任务信息中携带的目标格式信息。

通过本步骤，用户不仅可以在下载客户端输入下载任务信息，还可以输入转码任务信息。

步骤202，下载客户端将该下载和转码任务请求发给任务管理服务器。

步骤203，任务管理服务器通过查询索引数据库，判断请求下载的原始文件和转码后的目标文件是否已存储在云存储服务器中，如果目标文件已存储在云存储服务器中，执行步骤204，如果原始文件已存储在云存储服务器中，但是目标文件没有存储在云存储服务器中，执行步骤205，如果原始文件和目标文件都没有存储在云存储服务器中，执行步骤206。

其中，云存储服务器是一个广义的概念，可以是能够查询到的任意存储服务器，也可以理解为预定的存储服务器。

其中，索引数据库以原始文件标识以及转码格式为复合键值对云存储服务器中存储的文件的信息进行存储，索引数据库中存储的所述信息还可以包含转码相关的其他信息，例如原始文件大小、目标文件标识、目标文件在云存储服务器的地址、目标文件大小和转码时刻等。

步骤204，任务管理服务器向客户端返回转码成功消息，将目标文件在云存储服务器中的地址发给下载客户端，下载客户端可据此将目标文件下载到PC或者其他播放平台。结束本流程。

其中，目标文件在存储服务器中的地址可以携带在所述转码成功消息中发给下载客户端。

其中，目标文件已存储在云存储服务器中，说明之前已经有用户对该原始文件进行过转码，且转码后的格式与所述目标文件相同，因此不需要再重复转码。

步骤205，任务管理服务器向转码任务分发服务器下发转码任务，转入步骤210。

该转码任务中一般携带有原始文件标识、原始文件大小、原始文件在云存储服务器中的下载地址、以及转码格式信息等。

步骤206，任务管理服务器向下载任务分发服务器下发下载任务，并在任务管理服务器的内存中建立下载任务与转码目标的映射关系。

其中的转码目标一般是指目标文件的格式信息，转码目标可以是一种格式信息，也可以是多种格式信息，因此下载任务与转码目标的映射关系可以一对一的关系，即一个下载任务对应一种转码格式，也可以是一对多的关系，即一个下载任务对应多种转码格式。

其中，下载任务中一般携带有原始文件的下载地址，例如原始文件的URL地址、emule地址、bt种子和bt索引等。

步骤207，下载任务分发服务器将下载任务分发给下载服务器。

步骤208，下载服务器执行下载任务，在成功下载原始文件后，向任务管理服务器发送原始文件下载成功的响应消息，执行步骤209，如果下载原始文件失败，则说明转码任务也失败，结束本流程。

本步骤中，下载服务器一般是离线下载原始文件。下载服务器将下载的原始文件存储在云存储服务器，并将该原始文件在云存储服务器中的存储地址信息等写入索引数据库。

步骤209，任务管理服务器收到原始文件下载成功的响应消息后，根据内存中下载任务与转码目标的映射关系，生成相应的转码任务，向转码任务分发服务器下发转码任务。

其中，当下载任务与转码目标的映射关系为一对一的关系时，生成一个转码任务，当所述映射关系为一对多的关系时，生成多个转码任务，即对应每种转码格式生成一个转码任务，用于将原始文件转码成该种格式的目标文件。

步骤210，转码任务分发服务器接收到转码任务后，从转码服务器集群中选择转码服务器进行转码。

本步骤中，转码任务分发服务器收到转码任务后，从转码服务器集群中挑选出一个空闲的进程来处理转码任务。如果没有空闲进程，则在队列中等待。转码任务分发服务器接收转码服务器对转码状态和进度的汇报信息，将接收的汇报信息发给任务管理服务器。

转码任务分发服务器还可以对相同的转码任务进行过滤，换言之，同一个转码任务只需要向转码服务器群发送一次，不同的用户可以共享同一个转码任务。

通过对相同的转码任务进行过滤，可以避免启动不同的进程执行相同的转码任务，从而节省了资源。

其中，转码服务器收到的转码任务信息一般包含原始文件标识、原始文件大小、原始文件在云存储服务器中的地址、转码格式信息等。

在图2所示方法中，任务管理服务器在下发下载任务时，也可以不通过下载任务分发服务器，而是直接将下载任务分发给下载服务器。类似地，任务管理服务器在下发转码任务时，也可以不通过转码任务分发服务器，而是直接将转码任务分发给转码服务器。

图3是转码服务器处理转码任务的流程图。

如图3所示，该流程一般包括：

步骤301，转码服务器从云存储服务器下载原始文件。

步骤302，转码服务器检测下载的原始文件的大小和标识等信息，根据检测到的原始文件信息和接收的转码任务信息判断下载的原始文件是否正确，如果正确，执行步骤303，如果不正确，转码任务失败，结束本流程。

步骤303，转码服务器根据转码任务信息中的转码格式信息，对原始文件进行转码。

步骤304，转码服务器在转码完成后，将目标文件上传到云存储服务器，并将原始文件和目标文件的信息以及原始文件和目标文件的映射关系写入索引数据库。

本步骤中，通过将原始文件和目标文件的信息以及原始文件和目标文件的映射关系写入索引数据库，后续如果任务管理服务器再次接收到将所述原始文件转码为所述目标文件的请求，则任务管理服务器可以直接向客户端返回转码成功消息，下载客户端根据该转码成功消息中携带的目标文件地址，可以直接从云存储服务器下载转码后的目标文件，大大缩短获得转码后的目标文件所需的时间。

步骤305，转码服务器通过转码任务分发服务器和任务管理服务器，将转码成功的消息发给下载客户端，将目标文件在云存储服务器中的地址发给下载客户端，下载客户端可据此将目标文件下载到PC或者其他播放平台。

其中，目标文件在云存储服务器中的地址可以携带在转码成功的消息中。转码服务器将转码成功的消息发给转码任务分发服务器，转码任务分发服务器再将该转码成功的消息发给任务管理服务器，最后由任务管理服务器将该转码成功的消息发给下载客户端。

由图1～图3可见，本发明中，在用户通过下载客户端提交下载请求的同时，设定转码的目标格式信息，发送携带有下载任务信息和转码任务信息的下载和转码任务请求，根据云存储服务器中对原始文件和目标文件的存储情况，在云存储服务器中没有存储目标文件时，由网络侧在获得原始文件后，直接执行转码操作，将转码后的目标文件地址发给下载客户端，从而能够缩短获得目标文件所需的时间。

为了降低耦合性，图2和图3所述方法将下载服务器和转码服务器分开，由下载服务器下载原始文件，并将下载的原始文件上传到云存储服务器，由转码服务器从云存储服务器中下载原始文件，并将该原始文件转码成目标文件。

本发明的另一实施例是，将下载服务器和转码服务器合并，即由一个服务器来完成下载原始文件和将原始文件转码为目标文件的工作，具体请参见图4。

图4是本发明提供的文件下载和转码方法的第二实施例流程图。

如图4所示，该方法包括：

步骤401，下载客户端接收下载和转码任务请求，该下载和转码任务请求中携带有下载任务信息和转码任务信息。

本步骤与步骤201相同。

步骤402，下载客户端将该下载和转码任务请求发给任务管理服务器。

本步骤与步骤402相同。

步骤403，任务管理服务器通过查询索引数据库，判断请求下载的原始文件和转码后的目标文件是否已存储在云存储服务器中，如果目标文件已存储在云存储服务器中，执行步骤404，如果原始文件已存储在云存储服务器中，但是目标文件没有存储在云存储服务器中，执行步骤405，如果原始文件和目标文件都没有存储在云存储服务器中，执行步骤406。

步骤404，任务管理服务器向客户端返回转码成功消息，将目标文件在云存储服务器中的地址发给下载客户端，下载客户端可据此将目标文件下载到PC或者其他播放平台。结束本流程。

本步骤与步骤204相同。

步骤405，任务管理服务器向下载和转码任务服务器下发转码任务，转入步骤408。

步骤406，任务管理服务器向下载和转码任务服务器下发下载和转码任务。

在步骤405和步骤406中，任务管理服务器可以将转码任务或者下载和转码任务发给任务分发服务器，然后由任务分发服务器从下载和转码服务器集群中选择一个下载和转码服务器，将所述转码任务或者下载和转码任务发给选出的下载和转码服务器。

步骤407，下载和转码服务器根据下载和转码任务中携带的下载任务信息，下载原始文件，将下载的原始文件存储在云存储服务器中。

步骤408，下载和转码服务器根据下载和转码任务中携带的转码任务信息，或者根据转码任务中携带的转码任务信息，从云存储服务器中下载原始文件，并将原始文件转换为目标文件。

步骤409，下载和转码服务器将转码成功的消息通过任务管理服务器发给下载客户端，下载客户端根据任务管理服务器通知的目标文件地址，从云存储服务器中下载所述目标文件。

在图2～图4所示方法中，网络侧将原始文件转码为目标文件后，由网络侧将目标文件的存储地址信息发给下载客户端，下载客户端根据所述存储地址信息从网络侧下载所述目标文件。

本发明还提供了一种文件下载和转码系统，具体请参见图5。

图5是本发明提供的文件下载和转码系统的组成示意图。

如图5所示，该系统包括下载客户端501、任务管理服务器502和转码服务器503。

下载客户端501，用于向任务管理服务器502发送下载和转码任务请求，获得云存储服务器中存储的目标文件，其中，所述下载和转码任务请求中携带有下载任务信息和转码任务信息，所述下载任务信息包括原始文件的标识和下载地址信息，所述转码任务信息包括将所述原始文件转码为目标文件的转码参数信息。

任务管理服务器502，用于接收下载和转码任务请求，根据所述下载任务信息和所述转码任务信息查询索引数据库，判断所述目标文件是否已存储在云存储服务器中，在所述目标文件没有存储在云存储服务器中时，下发转码任务。

转码服务器503，用于根据所述转码任务将原始文件转码为目标文件，将所述目标文件存储在云存储服务器中。

其中，图5所示系统还可以包括下载服务器。

任务管理服务器502，用于在目标文件和原始文件都没有存储在云存储服务器中时，下发下载任务，建立下载任务和目标文件格式信息的映射关系，在所述原始文件下载成功后，根据所述映射关系生成转码任务，下发转码任务。

所述下载服务器，用于根据所述下载任务下载原始文件，将所述原始文件存储在云存储服务器中。

进一步地，该系统还可以包括下载任务分发服务器。

任务管理服务器502，用于向下载任务分发服务器下发下载任务。

所述下载任务分发服务器，用于接收所述下载任务，从下载服务器集群中选择下载服务器，将所述下载任务分发给选出的下载服务器。

图5所示系统还可以包括转码任务分发服务器。

任务管理服务器502，用于向转码任务分发服务器下发转码任务。

所述转码任务分发服务器，用于接收所述转码任务，从转码服务器集群中选择转码服务器，将所述转码任务分发给选出的转码服务器。

其中，所述转码任务分发服务器，可以用于根据转码服务器集群中各个转码服务器的空闲情况，从所述转码服务器集群中选择转码服务器。

图5所示系统中，任务管理服务器502可以用于，在目标文件和原始文件都没有存储在云存储服务器中时，下发下载任务和转码任务。

转码服务器503可以用于，根据所述下载任务下载原始文件，根据所述转码任务将所述原始文件转码为目标文件。

图5所示系统中，任务管理服务器502可以将目标文件在云存储服务器中的存储地址信息发给下载客户端501，下载客户端501根据所述存储地址信息从云存储服务器下载所述目标文件。

或者，下载和转码任务请求中携带有下载客户端地址信息，任务管理服务器502或转码服务器503根据所述下载客户端地址信息，将云存储服务器中的所述目标文件发给下载客户端501。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (15)

1.一种文件下载和转码的方法，其特征在于，该方法包括：

任务管理服务器接收下载和转码任务请求，该下载和转码任务请求中携带有下载任务信息和转码任务信息；

任务管理服务器根据所述下载任务信息和所述转码任务信息查询索引数据库，判断所述目标文件是否已存储在云存储服务器中；

在所述目标文件没有存储在云存储服务器中时，任务管理服务器下发转码任务，转码服务器根据所述转码任务将原始文件转码为目标文件，将所述目标文件存储在云存储服务器中；

在所述目标文件已存储在云存储服务器中时，下载客户端获得云存储服务器中存储的所述目标文件。

2.根据权利要求1所述的方法，其特征在于，在目标文件和原始文件都没有存储在云存储服务器中时，任务管理服务器下发转码任务之前，该方法还包括：

任务管理服务器下发下载任务，建立下载任务和目标文件格式信息的映射关系，下载服务器根据所述下载任务下载原始文件，将所述原始文件存储在云存储服务器中；

任务管理服务器在所述原始文件下载成功后，根据所述映射关系生成转码任务。

3.根据权利要求2所述的方法，其特征在于，任务管理服务器下发下载任务包括：

任务管理服务器向下载任务分发服务器下发下载任务；

下载任务分发服务器从下载服务器集群中选择下载服务器，下载任务分发给选出的下载服务器。

4.根据权利要求1所述的方法，其特征在于，

在目标文件没有存储在云存储服务器中、且原始文件存储在云存储服务器中时，任务管理服务器下发转码任务，转码服务器从云存储服务器下载所述原始文件，根据所述转码任务将原始文件转码为目标文件。

5.根据权利要求1或2或3或4所述的方法，其特征在于，任务管理服务器下发转码任务包括：

任务管理服务器向转码任务分发服务器下发转码任务，转码任务分发服务器根据转码服务器集群中各个转码服务器的空闲情况，从转码服务器集群中选择转码服务器，将所述转码任务分发给选出的转码服务器。

6.根据权利要求1所述的方法，其特征在于，在目标文件和原始文件都没有存储在云存储服务器中时，该方法还包括，任务管理服务器下发下载任务；

转码服务器根据所述转码任务将原始文件转码为目标文件之前，该方法还包括：

所述转码服务器根据所述下载任务下载原始文件。

7.根据权利要求1所述的方法，其特征在于，所述下载客户端获得云存储服务器中存储的所述目标文件包括：

任务管理服务器将目标文件在云存储服务器中的存储地址信息发给下载客户端，下载客户端根据所述存储地址信息从云存储服务器下载所述目标文件。

8.根据权利要求1所述的方法，其特征在于，

所述下载任务信息包括原始文件的标识和下载地址信息，所述转码任务信息包括将所述原始文件转码为目标文件的转码参数信息。

9.一种文件下载和转码的系统，其特征在于，该系统包括下载客户端、任务管理服务器和转码服务器；

所述下载客户端，用于向任务管理服务器发送下载和转码任务请求，获得云存储服务器中存储的目标文件，其中，所述下载和转码任务请求中携带有下载任务信息和转码任务信息；

所述任务管理服务器，用于接收下载和转码任务请求，根据所述下载任务信息和所述转码任务信息查询索引数据库，判断所述目标文件是否已存储在云存储服务器中，在所述目标文件没有存储在云存储服务器中时，下发转码任务；

所述转码服务器，用于根据所述转码任务将原始文件转码为目标文件，将所述目标文件存储在云存储服务器中。

10.根据权利要求9所述的系统，其特征在于，该系统还包括下载服务器；

所述任务管理服务器，用于在目标文件和原始文件都没有存储在云存储服务器中时，下发下载任务，建立下载任务和目标文件格式信息的映射关系，在所述原始文件下载成功后，根据所述映射关系生成转码任务，下发转码任务；

所述下载服务器，用于根据所述下载任务下载原始文件，将所述原始文件存储在云存储服务器中。

11.根据权利要求10所述的系统，其特征在于，该系统还包括下载任务分发服务器；

所述任务管理服务器，用于向下载任务分发服务器下发下载任务；

所述下载任务分发服务器，用于接收所述下载任务，从下载服务器集群中选择下载服务器，将所述下载任务分发给选出的下载服务器。

12.根据权利要求9或10或11所述的系统，其特征在于，该系统还包括转码任务分发服务器；

所述任务管理服务器，用于向转码任务分发服务器下发转码任务；

所述转码任务分发服务器，用于接收所述转码任务，根据转码服务器集群中各个转码服务器的空闲情况，从转码服务器集群中选择转码服务器，将所述转码任务分发给选出的转码服务器。

13.根据权利要求9所述的系统，其特征在于，

所述任务管理服务器，用于在目标文件和原始文件都没有存储在云存储服务器中时，下发下载任务和转码任务；

所述转码服务器，用于根据所述下载任务下载原始文件，根据所述转码任务将所述原始文件转码为目标文件。

14.根据权利要求9所述的系统，其特征在于，

任务管理服务器将目标文件在云存储服务器中的存储地址信息发给下载客户端，下载客户端根据所述存储地址信息从云存储服务器下载所述目标文件。

15.根据权利要求9所述的系统，其特征在于，

所述下载任务信息包括原始文件的标识和下载地址信息，所述转码任务信息包括将所述原始文件转码为目标文件的转码参数信息。

Images