CN105302645B - 一种任务分发方法及装置 - Google Patents

Abstract

本发明是关于一种任务分发方法及装置，其中，任务分发方法，用于分布式处理系统，包括：从预设目录中读取源视频文件；根据所述源视频文件生成任务命令文件；判断所述任务命令文件中的任务信息是否齐全；在判断所述任务信息齐全时，根据所述任务命令文件为任务打散装置分发任务，在判断所述任务信息不齐全时，以缺少的任务信息作为节点建立对应的任务队列，按照任务队列获取所述缺少的任务信息。通过该技术方案，以缺少的任务信息作为节点建立对应的任务队列，从而获取缺少的任务信息，可以快速获取缺少的任务信息，并快速进行分发，当其被应用在分布式处理系统时，大大减少了处理所需的时间，同时降低了系统的处理压力，减少了系统崩溃的可能性。

Description

一种任务分发方法及装置

技术领域

本发明涉及视频处理技术领域，尤其涉及任务分发方法及装置。

背景技术

随着网络和文化事业的发展，音视频资源极大丰富，对音视频文件的处理的需要也快速增长。

音视频文件处理的大致流程如下：首先将需处理的音视频文件解封装成为视频帧序列和音频帧序列；然后将视频帧序列和音频帧序列分别解码为RAW格式和PCM格式数据；对RAW格式和PCM格式数据进行处理；再将RAW格式和PCM格式的数据编码为所需格式的音频帧序列和视频帧序列；最后将音频帧序列和视频帧序列封装成需要的文件格式。

以上处理是通过计算机或计算机构成的数据处理装置来完成的，现有的这些计算机或数据处理装置是依靠本机的软硬件资源来实现对文件的处理。音视频文件处理的计算量庞大，对处理装置的运算能力和存储资源消耗很大，而且随着高清音视频文件的日益增多和处理需求的不断增大，依靠单机进行音视频文件处理的瓶颈问题日益突出，单机处理速度慢且容易发生系统崩溃。即使用户使用配置很高的计算机也难以保证处理的速度和稳定程度，尤其无法满足大批量和时间要求很高的处理任务。

鉴于现有技术中存在的以上问题，提供了一种分布式处理系统，使用多台计算机或处理装置来实现并行处理，并通过本发明的任务分发方法为分布式处理系统中的各个装置分发任务，从而大大减少了处理所需的时间，同时降低了系统的处理压力，减少了系统崩溃的可能性。

发明内容

本发明实施例提供一种任务分发方法及装置，包括如下技术方案：

根据本发明实施例的第一方面，提供一种任务分发方法，用于分布式处理系统，包括：

从预设目录中读取源视频文件；

根据所述源视频文件生成任务命令文件；

判断所述任务命令文件中的任务信息是否齐全；

在判断所述任务信息齐全时，根据所述任务命令文件为任务打散装置分发任务，在判断所述任务信息不齐全时，以缺少的任务信息作为节点建立对应的任务队列，按照任务队列获取所述缺少的任务信息。

在一个实施例中，所述任务命令文件包括所述源视频文件的转码命令，其中，每个源视频文件至少对应一个任务命令文件。

在一个实施例中，所述以缺少的任务信息作为节点建立对应的任务队列，按照任务队列获取所述缺少的任务信息，包括：

依次选取一缺少的任务信息作为目标任务信息，将所述目标任务信息确定为节点，并将所述任务命令文件放入所述节点对应的任务队列中；

将所述任务队列中所有的缺少的任务信息按照树形结构进行排列；

当接收到一任务信息时，按照树形结构排列顺序遍历所述任务队列中所有缺少的任务信息，判断所述任务队列中是否有所述任务信息；

当所述任务队列中有所述任务信息时，将所述任务信息写入所述任务命令文件中。

在一个实施例中，所述判断所述任务命令文件中的任务信息是否齐全，包括：

判断所述任务命令文件中，是否缺少任务信息；

在判断所述任务命令文件中缺少任务信息时，确定所述任务命令文件不齐全；

在判断所述任务命令文件中不缺少任务信息时，确定所述任务命令文件齐全。

在一个实施例中，所述任务命令文件中包括以下至少一项或多项：

通用唯一识别码、源视频文件名、目标输出文件名、目标视频信息、目标音频信息、目标视频的logo文件。

根据本发明实施例的第二方面，提供一种任务分发装置，用于分布式处理系统，包括：

读取模块，用于从预设目录中读取源视频文件；

生成模块，用于根据所述源视频文件生成任务命令文件；

判断模块，用于判断所述任务命令文件中的任务信息是否齐全；

处理模块，用于在判断所述任务信息齐全时，根据所述任务命令文件为任务打散装置分发任务，在判断所述任务信息不齐全时，以缺少的任务信息作为节点建立对应的任务队列，按照任务队列获取所述缺少的任务信息。

在一个实施例中，所述任务命令文件包括所述源视频文件的转码命令，其中，每个源视频文件至少对应一个任务命令文件。

在一个实施例中，所述处理模块包括：

选取子模块，用于依次选取一缺少的任务信息作为目标任务信息，将所述目标任务信息确定为节点，并将所述任务命令文件放入所述节点对应的任务队列中；

排列子模块，用于将所述任务队列中所有的缺少的任务信息按照树形结构进行排列；

遍历子模块，用于当接收到一任务信息时，按照树形结构排列顺序遍历所述任务队列中所有缺少的任务信息，判断所述任务队列中是否有所述任务信息；

写入子模块，用于当所述任务队列中有所述任务信息时，将所述任务信息写入所述任务命令文件中。

在一个实施例中，所述判断模块包括：

判断子模块，用于判断所述任务命令文件中，是否缺少任务信息；

第一确定子模块，用于在判断所述任务命令文件中缺少任务信息时，确定所述任务命令文件不齐全；

第二确定子模块，用于在判断所述任务命令文件中不缺少任务信息时，确定所述任务命令文件齐全。

在一个实施例中，所述任务命令文件中包括以下至少一项或多项：

通用唯一识别码、源视频文件名、目标输出文件名、目标视频信息、目标音频信息、目标视频的logo文件。

本发明的实施例提供的技术方案可以包括以下有益效果：

上述技术方案，通过本发明的任务分发方法为分布式处理系统的任务打散装置分发任务，这样，以缺少的任务信息作为节点建立对应的任务队列，从而获取缺少的任务信息，可以快速获取缺少的任务信息，并快速进行分发，大大减少了处理所需的时间，同时降低了系统的处理压力，减少了系统崩溃的可能性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的任务分发方法的流程图。

图2是根据一示例性实施例示出的任务分发方法中步骤S104的流程图。

图3是根据一示例性实施例示出的任务分发方法中步骤S103的流程图。

图4是根据一示例性实施例示出的任务分发装置的框图。

图5是根据一示例性实施例示出的任务分发装置中处理模块的框图。

图6是根据一示例性实施例示出的任务分发装置中判断模块的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

本发明的任务分发方法用于分布式处理系统，分布式处理系统包括：任务分发装置(dispatcher)、任务打散装置(ingress)、第一传输装置(offer)、多个音频处理装置(AP)、多个视频处理装置(VP)、第二传输装置(offer)、输出装置egress和监视装置Watcher，其中，在每个装置中均设置有监控装置Monitor，不同的装置之间，通过监控装置进行交互。下面详细说明个装置：

任务分发装置获得视频数据，然后分给任务打散装置。

任务打散装置将视频数据打散，得到音频文件(。goa)、视频文件(。gop)、音频总数信息、视频总数信息，对音频文件和视频文件进行解封装，得到多个视频文件碎片和多个音频文件碎片。其中，对于音频文件碎片，可以每10分钟作为一段(不是整分钟，有出入)对于视频文件碎片，可以每分钟为一段(不是整分钟，有出入)。

第一传输装置用于将不同的打散碎片传输给相应的音频或视频处理装置进行处理。

音频处理装置用于处理音频文件碎片，包括对音频文件碎片进行解码，进行图像处理，对处理后的图像进行编码。第一传输装置将音频总数信息传输给音频处理装置，但是音频处理装置不处理，音频处理装置转发给输出装置Egress。

同理，视频处理装置用于处理视频文件碎片。

第二传输装置用于将音频处理装置和视频处理装置处理得到的数据传输给输出装置egress。

输出装置Egress用于根据音频总数信息和视频总数信息对音频处理装置和视频处理装置处理后得到的数据进行汇总。

监视装置Watcher提供客户端查询数据的接口，与任务分发装置

(dispatcher)连接。监视装置Watcher与任务分发装置(dispatcher)通过共享内存共享信息。

监控装置Monitor，负责信息的接收和汇总，与任务分发装置(dispatcher)连接。任务分发装置通过各装置中的监控装置监控其任务的状态，进而可以根据其任务的状态为其分发任务。

本发明实施例提供了一种任务分发方法，如图1所示，该方法包括步骤S101-S102：

在步骤S101中，从预设目录中读取源视频文件；

在步骤S102中，根据源视频文件生成任务命令文件；

在步骤S103中，判断任务命令文件中的任务信息是否齐全；

在步骤S104中，在判断任务信息齐全时，根据任务命令文件为任务打散装置分发任务，在判断任务信息不齐全时，以缺少的任务信息作为节点建立对应的任务队列，按照任务队列获取缺少的任务信息。

在该实施例中，以缺少的任务信息作为节点建立对应的任务队列，从而获取缺少的任务信息，可以快速获取缺少的任务信息，并快速进行分发，当其被应用在分布式处理系统时，大大减少了处理所需的时间，同时降低了系统的处理压力，减少了系统崩溃的可能性。

在一个实施例中，任务命令文件包括源视频文件的转码命令，其中，每个源视频文件至少对应一个任务命令文件。

如图2所示，在一个实施例中，上述步骤S104包括步骤S201-S204：

在步骤S201中，依次选取一缺少的任务信息作为目标任务信息，将目标任务信息确定为节点，并将任务命令文件放入节点对应的任务队列中；

在步骤S202中，将任务队列中所有的缺少的任务信息按照树形结构进行排列；

在步骤S203中，当接收到一任务信息时，按照树形结构排列顺序遍历任务队列中所有缺少的任务信息，判断任务队列中是否有任务信息；

在步骤S204中，当任务队列中有任务信息时，将任务信息写入任务命令文件中。

在该实施例中，任务命令文件(.par)到来时，检查本地是否有足够的信息来填写任务命令文件(.par)，或者说任务命令文件中的信息是否齐全。如果不全，则以缺少的信息作为节点，将该任务命令文件放到该节点对应的队列中。将所有缺少的信息建立树结构。此时，不用判断任务命令文件缺少的所有信息，因为只要缺少一个信息就必须等待。当收到一个信息时，遍历缺少的信息树，若树中有该信息，则将该信息填写到节点对应的任务命令文件。再判断任务命令文件是否缺少其它信息，如果缺少，则判断本地是否已收到其它信息，如果收到，则填写，否则将该任务命令文件放到其它缺少信息的队列中。如果不缺少，则分发任务。

通过该技术方案，以树形结构获取缺少的任务信息，只要缺少一个信息就继续等待，这样，不用判断任务命令文件缺少的所有信息，从而节省了操作，减少了处理所需的时间。

如图3所示，在一个实施例中，上述步骤S103包括步骤S301-S303：

在步骤S301中，判断任务命令文件中，是否缺少任务信息；

在步骤S302中，在判断任务命令文件中缺少任务信息时，确定任务命令文件不齐全；

在步骤S303中，在判断任务命令文件中不缺少任务信息时，确定任务命令文件齐全。

在该实施例中，可以通过判断任务命令文件中是否缺少任务信息来判断任务命令文件是否齐全，这样，便于在任务命令文件时，进行任务分发。

在一个实施例中，任务命令文件中包括以下至少一项或多项：

通用唯一识别码、源视频文件名、目标输出文件名、目标视频信息、目标音频信息、目标视频的logo文件。

在该实施例中，任务命令文件中可以包括通用唯一标识码、源视频文件名、目标输出文件名、目标视频信息、目标音频信息、和logo文件名等，用户还可根据个人需要对任务命令文件的内容进行配置。

下述为本发明装置实施例，可以用于执行本发明方法实施例。

图4是根据一示例性实施例示出的一种任务分发装置的框图。如图4所示，该任务分发装置包括：

读取模块41，用于从预设目录中读取源视频文件；

生成模块42，用于根据源视频文件生成任务命令文件；

判断模块43，用于判断任务命令文件中的任务信息是否齐全；

处理模块44，用于在判断任务信息齐全时，根据任务命令文件为任务打散装置分发任务，在判断任务信息不齐全时，以缺少的任务信息作为节点建立对应的任务队列，按照任务队列获取缺少的任务信息。

在一个实施例中，任务命令文件包括源视频文件的转码命令，其中，每个源视频文件至少对应一个任务命令文件。

如图5所示，在一个实施例中，上述处理模块44包括：

选取子模块51，用于依次选取一缺少的任务信息作为目标任务信息，将目标任务信息确定为节点，并将任务命令文件放入节点对应的任务队列中；

排列子模块52，用于将任务队列中所有的缺少的任务信息按照树形结构进行排列；

遍历子模块53，用于当接收到一任务信息时，按照树形结构排列顺序遍历任务队列中所有缺少的任务信息，判断任务队列中是否有任务信息；

写入子模块54，用于当任务队列中有任务信息时，将任务信息写入任务命令文件中。

如图6所示，在一个实施例中，判断模块43包括：

判断子模块61，用于判断任务命令文件中，是否缺少任务信息；

第一确定子模块62，用于在判断任务命令文件中缺少任务信息时，确定任务命令文件不齐全；

第二确定子模块63，用于在判断任务命令文件中不缺少任务信息时，确定任务命令文件齐全。

在一个实施例中，任务命令文件中包括以下至少一项或多项：

通用唯一识别码、源视频文件名、目标输出文件名、目标视频信息、目标音频信息、目标视频的logo文件。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种任务分发方法，用于分布式处理系统，其特征在于，包括：

从预设目录中读取源视频文件；

根据所述源视频文件生成任务命令文件，所述任务命令文件中包括以下至少一项或多项：

通用唯一识别码、源视频文件名、目标输出文件名、目标视频信息、目标音频信息、目标视频的logo文件；

判断所述任务命令文件中的任务信息是否齐全；

在判断所述任务信息齐全时，根据所述任务命令文件为任务打散装置分发任务，在判断所述任务信息不齐全时，以缺少的任务信息作为节点建立对应的任务队列，按照任务队列获取所述缺少的任务信息。

2.根据权利要求1所述的方法，其特征在于，所述任务命令文件包括所述源视频文件的转码命令，其中，每个源视频文件至少对应一个任务命令文件。

3.根据权利要求1所述的方法，其特征在于，所述以缺少的任务信息作为节点建立对应的任务队列，按照任务队列获取所述缺少的任务信息，包括：

依次选取一缺少的任务信息作为目标任务信息，将所述目标任务信息确定为节点，并将所述任务命令文件放入所述节点对应的任务队列中；

将所述任务队列中所有的缺少的任务信息按照树形结构进行排列；

当接收到一任务信息时，按照树形结构排列顺序遍历所述任务队列中所有缺少的任务信息，判断所述任务队列中是否有所述任务信息；

当所述任务队列中有所述任务信息时，将所述任务信息写入所述任务命令文件中。

4.根据权利要求1所述的方法，其特征在于，所述判断所述任务命令文件中的任务信息是否齐全，包括：

判断所述任务命令文件中，是否缺少任务信息；

在判断所述任务命令文件中缺少任务信息时，确定所述任务命令文件不齐全；

在判断所述任务命令文件中不缺少任务信息时，确定所述任务命令文件齐全。

5.一种任务分发装置，用于分布式处理系统，其特征在于，包括：

读取模块，用于从预设目录中读取源视频文件；

生成模块，用于根据所述源视频文件生成任务命令文件；所述任务命令文件中包括以下至少一项或多项：

通用唯一识别码、源视频文件名、目标输出文件名、目标视频信息、目标音频信息、目标视频的logo文件；

判断模块，用于判断所述任务命令文件中的任务信息是否齐全；

处理模块，用于在判断所述任务信息齐全时，根据所述任务命令文件为任务打散装置分发任务，在判断所述任务信息不齐全时，以缺少的任务信息作为节点建立对应的任务队列，按照任务队列获取所述缺少的任务信息。

6.根据权利要求5所述的装置，其特征在于，所述任务命令文件包括所述源视频文件的转码命令，其中，每个源视频文件至少对应一个任务命令文件。

7.根据权利要求5所述的装置，其特征在于，所述处理模块包括：

选取子模块，用于依次选取一缺少的任务信息作为目标任务信息，将所述目标任务信息确定为节点，并将所述任务命令文件放入所述节点对应的任务队列中；

排列子模块，用于将所述任务队列中所有的缺少的任务信息按照树形结构进行排列；

遍历子模块，用于当接收到一任务信息时，按照树形结构排列顺序遍历所述任务队列中所有缺少的任务信息，判断所述任务队列中是否有所述任务信息；

写入子模块，用于当所述任务队列中有所述任务信息时，将所述任务信息写入所述任务命令文件中。

8.根据权利要求5所述的装置，其特征在于，所述判断模块包括：

判断子模块，用于判断所述任务命令文件中，是否缺少任务信息；

第一确定子模块，用于在判断所述任务命令文件中缺少任务信息时，确定所述任务命令文件不齐全；

第二确定子模块，用于在判断所述任务命令文件中不缺少任务信息时，确定所述任务命令文件齐全。