CN102438030A - 一种适用于广电云架构平台的打包系统及方法 - Google Patents

Abstract

本发明属于计算机网络应用技术，具体涉及一种适用于广电云架构平台的打包系统。该系统和方法通过在网络存储中配置一块专用磁盘空间作为任务数据中心，将任务数据中心上的文件格式和目录结构定义为交互协议，使任务数据中心成为媒体中心与工作站集群系统之间数据交互的接口和介质，媒体中心与工作站集群系统中的每台工作站通过在任务数据中心定义的交互协议进行数据的交互，每台工作站自动获取任务，并进行任务的分解、执行以及合并最终结果的操作。本发明能够使用户减少系统投入和维护的成本。

Description

一种适用于广电云架构平台的打包系统及方法

技术领域

本发明属于计算机网络应用技术，具体涉及一种适用于广电云架构平台的打包系统及方法。

背景技术

在计算机技术、网络技术发展的历史大潮流下，企业级应用也在悄然进行着改变。从传统单机作业到网络服务，从单任务处理到并行计算，近年来随着云计算技术的发展，更多的企业都开始进行云探索，根据自身行业的具体业务特征，采用低成本的投入，从基础架构(IaaS)、软件服务(SaaS)和平台服务(Paas)三大层面通过公共开放的云系统，为企业提供更加高效率、高稳定和高安全的服务。

广电行业存在着数据大量化、编码多样化、业务复杂化的特点，随着高清素材的大量应用，数据量增加速度越来越快，随着各电视台、影视机构之间内容共享交互地频繁，不同文件格式之间的相互转换识别也显得尤为重要，随着台内业务系统的增加，业务系统之间进行信息共享和数据交换的需求也越来越大。可见，广电行业内容信息量日益增加，业务范围逐渐扩大，云计算毫无疑问地为广电行业的发展带来了新的机遇和挑战。

在广电云架构平台中，可提供包括媒资内容管理、收录管理、制作管理、文稿编辑等传统和成熟的媒体行业业务应用系统的操作功能，以服务的方式提供给终端用户。用户无需在本地安装应用客户端程序，只需通过Web方式访问服务云平台，使用平台提供的服务即可完成各种业务应用中通用的信息处理和逻辑处理功能，并体验更加灵活的协同办公环境。

发明内容

本发明的目的在于针对广电行业的发展需求，提供一种适用于广电云架构平台的打包系统，使用户减少系统投入和维护的成本。

本发明的技术方案如下：一种适用于广电云架构平台的打包系统，由媒体中心、任务数据中心和工作站集群系统组成，其中，任务数据中心为在网络存储中配置的一块专用磁盘空间，作为媒体中心与工作站集群系统之间数据交互的接口和介质；工作站集群系统由多台相互独立的工作站组成，每个工作站分别与网络存储器和任务数据中心进行数据交互。

进一步，如上所述的适用于广电云架构平台的打包系统，其中，所述的任务数据中心用于存放媒体中心与工作站集群系统中的工作站之间的交互协议，交互协议被定义成特定的文件结构和目录结构；同时，任务数据中心还存放与任务分解、执行相关的，以及与合并最终结果相关的协议数据文件。

进一步，如上所述的适用于广电云架构平台的打包系统，其中，所述的任务数据中心所存放的交互协议的目录结构包括待执行任务目录、正执行任务目录、工作站交互目录，各目录下存放相应任务的配置文件。

进一步，如上所述的适用于广电云架构平台的打包系统，其中，所述的工作站集群系统中的每个工作站至少包含如下组成模块：

任务获取和分解模块，用于监控待执行任务目录，根据任务文件解析媒体中心提交的任务，构造出集群工作站系统内部使用的、用于表述具体任务内容的任务数据文件；

子任务执行模块，用于解析任务数据文件，获取子任务并执行；

合并任务提交模块，用于执行合并任务功能，对子任务执行模块写到网络存储上的文件再进行最后的格式化整合。

进一步，如上所述的适用于广电云架构平台的打包系统，其中，还包括集群监控模块，用于对任务数据中心进行监控，并对整个系统进行主动控制。

一种适用于广电云架构平台的打包方法，该方法通过在网络存储中配置一块专用磁盘空间作为任务数据中心，将任务数据中心上的文件格式和目录结构定义为交互协议，使任务数据中心成为媒体中心与工作站集群系统之间数据交互的接口和介质，媒体中心与工作站集群系统中的每台工作站通过在任务数据中心定义的交互协议进行数据的交互，每台工作站自动获取任务，并进行任务的分解、执行以及合并最终结果的操作。

进一步，如上所述的适用于广电云架构平台的打包方法，其中，所述的任务数据中心所存放的交互协议的目录结构包括待执行任务目录、正执行任务目录、工作站交互目录，各目录下存放相应任务的配置文件；工作站集群系统中的工作站从待执行任务目录下获取待执行任务后将该文件移走，并在正执行任务目录下建立与该任务对应的文件，记录该任务的分解、执行状态，执行同一任务的其它工作站在工作站交互目录下通过文件进行必要的数据更新和交互。

进一步，如上所述的适用于广电云架构平台的打包方法，其中，所述的工作站集群系统中的工作站监控任务数据中心的待执行任务目录，根据任务文件解析媒体中心提交的任务，构造出工作站集群内部使用的、用于表述具体任务内容的任务数据文件，该任务数据文件应该至少定义如下信息：子任务分配粒度、已分配的任务区间列表、未分配的区间信息。

进一步，如上所述的适用于广电云架构平台的打包方法，其中，所述的工作站集群系统中的每一台工作站的工作流程如下：

(1)工作站启动后，扫描任务数据中心正在执行的任务队列；

(2)如果有正在执行的任务，则解析任务，获得可执行的任务区间，否则，转至步骤(6)；

(3)获得子任务并执行，如无子任务可执行，则转至步骤(5)，

(4)子任务执行完成后，返回步骤(1)；

(5)执行各子任务最终结果的合并操作，合并完成后提交任务；

(6)监控任务数据中心的待执行任务目录；

(7)获得任务后，创建正在执行任务产生任务数据文件，并转至步骤(1)。

本发明的有益效果如下：本发明所提供的广电云架构平台的打包系统及方法针对单个任务可实现分段式分布式并行工作，单台机器同时运行多个任务的不同片段，从而提高了工作效率。以往打包工作都是单任务独占单机器，采用本发明以后，工作效率能够提高2倍以上。

附图说明

图1为本发明的系统结构示意图；

图2为任务数据中心的交互数据分类示意图；

图3为任务数据中心的目录结构示意图；

图4为工作站集群系统中的每一台工作站的工作流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细的描述。

如图1所示，本发明所提供的适用于广电云架构平台的打包系统，由用户1(即打包、计审、转码任务的提交者，本发明中为网络媒体中心)、任务数据中心2和工作站集群系统3组成。其中，任务数据中心2为在网络存储中配置的一块专用磁盘空间，作为媒体中心1与工作站集群系统3之间数据交互的接口和介质，每台工作站自动获取任务，并进行任务的分解、执行以及合并最终结果的操作。。网络存储用于存放视音频数据文件是非常稳定的，本发明将任务数据中心2上的文件格式和目录结构定义为交互协议，媒体中心1与工作站集群系统3中的工作站通过这种协议进行数据交互。

工作站集群系统3由多台相互独立的工作站组成，工作站上能够执行打包、计审、转码等任务，每个工作站分别与网络存储器和任务数据中心进行数据交互。该工作站集群中，所有的工作站从角色上都是平等的，相互独立的。在这个集群中，工作站的接入与移除不会影响整个系统的运行，新加入的工作站能够自动获取任务进行工作，正在工作的工作站如果出错或死机，其他工作站能够自动执行没有完成的任务。集群中的工作站只与网络存储和任务数据中心联系，用户看不到任何集群中的工作站细节。

任务数据中心2实际上是在网络存储上专门配置出一块专用磁盘空间。本发明将媒体中心1与工作站集群系统3中工作站的交互协议定义成特定的文件结构和目录结构。同时，任务数据中心2也存放与任务分解、执行相关的，以及与合并最终结果相关的协议数据文件，这些专门定义的文件用于各个工作站之间的集群内部通讯。任务数据中心的交互数据分类如图2所示，包括待执行任务目录下的任务文件队列，正在执行任务目录下的任务状态、进度信息文件，工作站交互目录下的正在执行的任务分解信息文件，以及合并任务时需要的信息文件。

如图3所示，作为一种实现形式，任务数据中心所存放的交互协议的目录结构包括待执行任务目录、正执行任务目录、工作站交互目录，各目录下存放相应任务的配置文件。假设目录Task是网络存储上设置的作为任务数据中心的根目录，那么在这个目录下可以建若干目录来存放不同目的的数据文件。例如网路媒体中心可以将任务配置文件放到待执行任务的目录下，该目录下的文件构成一个任务队列。集群中的工作站从待执行任务目录下获取待执行任务后将该文件移走，并在正执行任务目录下建立与该任务对应的文件，记录该任务的分解、执行状态。执行同一任务的工作站在工作站交互的目录下通过文件进行必要的数据更新和交互。

每个目录下，每条任务都有一条独立记录，具体文件结构如下：

待执行任务目录：任务名、创建时间、优先级；

正执行任务目录：任务名、开始执行时间、优先级、执行进度；

工作站交互目录：任务名、工作站1、工作站2...工作站n。

工作站交互目录中每条任务对应的工作站数量并不相等。

以上仅是简单的描述了一下任务数据中心可能的一种设计思路和方案，在实际的应用中设计会比较复杂。

工作站集群系统中的每一台工作站的地位是平等的，其执行的工作是主动的、自适应的，在整个集群中不存在调度服务器的概念。每一台工作站安装同样的软件系统，该软件系统至少包含如下组成模块：

(a)任务获取和分解模块，该模块用于监控待执行任务目录，根据任务文件解析网络媒体中心提交的任务，构造出集群工作站系统内部使用的、用于表述具体任务内容的任务数据文件。该任务数据文件应该至少定义如下信息：子任务分配粒度、已分配的任务区间列表、未分配的区间等信息。

已分配的任务区间列表信息应有如下属性：

1)子任务区间；

2)子任务状态：执行中或完成；

3)执行该任务的工作站信息。

(b)子任务执行模块，该模块用于解析任务数据文件，获取子任务并执行。该模块首先检查是否还有未分配区间，如果有获取一块任务区间，并修改总任务中的未分配区间和增加该区间的相关信息到区间列表。

如果任务已全部分配出去，则遍历检查已分配出去的区间信息，查看哪些还未完成，并与之通讯检查是否还在正常工作，如果已经死机，则接手该条未完成的任务继续执行。

如果所有区间均完成，则执行合并任务功能。

子任务执行模块采用直接写文件的方式写文件到网络存储上，在执行过程中可能会产生的必要的中间文件信息以便最后进行合并整合。

(c)合并任务提交模块，用于执行合并任务功能，对子任务执行模块写到网络存储上的文件再进行最后的格式化整合。

该模块如果检测到所有区间均完成操作，则执行合并任务功能。合并功能就是对执行模块写到网络存储上的文件在进行最后的格式化整合，它可能会用到子任务执行模块在执行过程中产生的必要的中间文件信息。

上述三个模块实现在同一个进程之中，线性相互调用以执行不同的具体任务。具体的调用流程如图4所示，包括如下步骤：

(1)工作站启动后，扫描任务数据中心正在执行的任务队列；

(2)如果有正在执行的任务，则解析任务，获得可执行的任务区间，否则，转至步骤(6)；

(3)获得子任务并执行，如无子任务可执行，则转至步骤(5)，

(4)子任务执行完成后，返回步骤(1)；

(5)执行各子任务最终结果的合并操作，合并完成后提交任务；

(6)监控任务数据中心的待执行任务目录；

(7)获得任务后，创建正在执行任务产生任务数据文件，并转至步骤(1)。

本发明还可以设置群监控模块，作为一个独立的软件模块，用于对任务数据中心进行监控，并对整个系统进行主动控制。其主要作用如下：

1)在开发和运行中对整个系统进行监控；

2)提供一种主动控制系统的功能，在实际业务中可能需要如下功能：

①提升某个任务的优先级，优先执行该任务；

②主动设置某条任务能够参与的工作站个数。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种适用于广电云架构平台的打包系统，由媒体中心、任务数据中心和工作站集群系统组成，其特征在于：任务数据中心为在网络存储中配置的一块专用磁盘空间，作为媒体中心与工作站集群系统之间数据交互的接口和介质；工作站集群系统由多台相互独立的工作站组成，每个工作站分别与网络存储器和任务数据中心进行数据交互。

2.如权利要求1所述的适用于广电云架构平台的打包系统，其特征在于：所述的任务数据中心用于存放媒体中心与工作站集群系统中的工作站之间的交互协议，交互协议被定义成特定的文件结构和目录结构；同时，任务数据中心还存放与任务分解、执行相关的，以及与合并最终结果相关的协议数据文件。

3.如权利要求2所述的适用于广电云架构平台的打包系统，其特征在于：所述的任务数据中心所存放的交互协议的目录结构包括待执行任务目录、正执行任务目录、工作站交互目录，各目录下存放相应任务的配置文件。

4.如权利要求1或2或3所述的适用于广电云架构平台的打包系统，其特征在于：所述的工作站集群系统中的每个工作站至少包含如下组成模块：

任务获取和分解模块，用于监控待执行任务目录，根据任务文件解析媒体中心提交的任务，构造出集群工作站系统内部使用的、用于表述具体任务内容的任务数据文件；

子任务执行模块，用于解析任务数据文件，获取子任务并执行；

合并任务提交模块，用于执行合并任务功能，对子任务执行模块写到网络存储上的文件再进行最后的格式化整合。

5.如权利要求1所述的适用于广电云架构平台的打包系统，其特征在于：还包括集群监控模块，用于对任务数据中心进行监控，并对整个系统进行主动控制。

6.一种适用于广电云架构平台的打包方法，其特征在于：该方法通过在网络存储中配置一块专用磁盘空间作为任务数据中心，将任务数据中心上的文件格式和目录结构定义为交互协议，使任务数据中心成为媒体中心与工作站集群系统之间数据交互的接口和介质，媒体中心与工作站集群系统中的每台工作站通过在任务数据中心定义的交互协议进行数据的交互，每台工作站自动获取任务，并进行任务的分解、执行以及合并最终结果的操作。

7.如权利要求6所述的适用于广电云架构平台的打包方法，其特征在于：所述的任务数据中心所存放的交互协议的目录结构包括待执行任务目录、正执行任务目录、工作站交互目录，各目录下存放相应任务的配置文件；工作站集群系统中的工作站从待执行任务目录下获取待执行任务后将该文件移走，并在正执行任务目录下建立与该任务对应的文件，记录该任务的分解、执行状态，执行同一任务的其它工作站在工作站交互目录下通过文件进行必要的数据更新和交互。

8.如权利要求7所述的适用于广电云架构平台的打包方法，其特征在于：所述的工作站集群系统中的工作站监控任务数据中心的待执行任务目录，根据任务文件解析媒体中心提交的任务，构造出工作站集群内部使用的、用于表述具体任务内容的任务数据文件，该任务数据文件应该至少定义如下信息：子任务分配粒度、已分配的任务区间列表、未分配的区间信息。

9.如权利要求8所述的适用于广电云架构平台的打包方法，其特征在于：所述的工作站集群系统中的每一台工作站的工作流程如下：

(1)工作站启动后，扫描任务数据中心正在执行的任务队列；

(2)如果有正在执行的任务，则解析任务，获得可执行的任务区间，否则，转至步骤(6)；

(3)获得子任务并执行，如无子任务可执行，则转至步骤(5)，

(4)子任务执行完成后，返回步骤(1)；

(5)执行各子任务最终结果的合并操作，合并完成后提交任务；

(6)监控任务数据中心的待执行任务目录；

(7)获得任务后，创建正在执行任务产生任务数据文件，并转至步骤(1)。

Images