CN101296373B - 一种基于素材交换格式的多媒体数据处理系统及方法 - Google Patents

Abstract

本发明提供了一种基于素材交换格式的多媒体数据处理系统及方法，系统包括：交换数据存储装置，存储素材交换格式封装的完整数据；调度服务器，查询与多媒体业务请求的类别相应的空闲数据处理单元数目，将素材交换格式封装的完整数据划分为与多个数据处理单元的数目对应的映射数据分段，分配映射数据分段至数据处理单元；多个数据处理单元，并行处理数据映射分段生成目标数据分段；数据合并单元，将数据处理单元传送的数据映射分段合并为目标数据；目标数据存储装置，存储目标数据。本发明提供基于素材交换格式的多媒体数据处理系统及方法，实现多服务器对同一交换数据的并行多媒体处理。

Description

一种基于素材交换格式的多媒体数据处理系统及方法

技术领域

本发明关于多媒体数据处理技术，具体的讲是一种基于素材交换格式(Material Exchange Format)的多媒体数据处理系统及方法。

背景技术

现有的电视节目编辑播出流程大致包括以下步骤：电视台的节目制作网络对录像机、摄像机、卫星接收机等外部设备收录的节目素材进行转码、添加字幕、提取关键帧、配音等后期编辑工作。待后期编辑完成后将制作好的电视节目通过电视台播出网络播出。当电视台的节目制作网络、播出网络、媒体资产网络之间以及各网络与上述外部设备之间进行数据交换时要采用专用设备进行数据采集、转换的处理。

但是现有的多媒体数据处理系统存在如下缺点：

(1)只可利用单一设备执行某一业务请求的交换数据的多媒体处理，当单一设备执行运算量巨大的多媒体处理时速度慢、效率较低，即使系统中配备有多台设备，也无法执行并行处理，造成了系统的资源浪费。

(2)传统的AVI等媒体格式数据只能在整个文件完整的情况下执行多媒体处理，对于时效性很好的电视节目来说，无法满足对交换数据一边采集一边编辑的要求。

而，素材交换格式(MXF:Material Exchange Format)支持节目内容及其交换数据的无缝传输、用户可以定义各种交换数据以支持不同领域的特殊应用，最重要的是MXF支持实时的数据流传输和文件传输，及在文件传输的过程中即可使用文件的内容，而不必等待整个文件传输完成。但现有电视制作领域未实现用于支持MXF的多媒体数据处理系统。

发明内容

本发明的目的在于，提供一种基于素材交换格式的多媒体数据处理系统及方法，通过多台服务器对同一交换数据执行并行多媒体处理，并对流媒体格式交换数据执行边采集边编辑。

为实现上述发明目的，本发明提供了：一种基于素材交换格式的多媒体数据处理方法，包括以下步骤：按照多媒体业务请求的类别为所述多媒体交换数据指定对应的多个数据处理单元；所述多个数据处理单元对所述多媒体交换数据进行并行处理；所述多个数据处理单元输出处理后的多媒体交换数据。

所述多媒体交换数据为素材交换格式封装的完整数据或素材交换格式封装的数据流。

所述多媒体交换数据为素材交换格式封装的完整数据时，按照多媒体业务请求的类别为所述多媒体交换数据指定对应的多个数据处理单元是指，指定与所述多媒体业务请求的类别对应的多个空闲的所述数据处理单元。

所述多媒体交换数据为素材交换格式封装的数据流时，按照多媒体业务请求的类别为所述多媒体交换数据指定对应的多个数据处理单元是指，指定多个所述数据处理单元分别与多个所述多媒体业务请求的类别对应的。

所述多个数据处理单元对所述多媒体交换数据进行并行处理，包括步骤：将所述多媒体交换数据划分为与多个所述数据处理单元的数目对应的多个映射数据分段；将多个所述映射数据分段分配至多个所述数据处理单元；多个所述数据处理单元将多个所述映射数据分段转换为与所述业务请求的类别对应的多个目标数据分段；将多个所述目标数据分段合并为目标数据。

所述多个数据处理单元对所述多媒体交换数据进行并行处理，包括步骤：多个所述数据处理单元分别读取所述多媒体交换数据；多个所述数据处理单元对所述多媒体交换数据进行转换，形成分别与多个所述多媒体业务请求的类别对应的目标数据。

所述多媒体业务请求的类别至少包括：媒体格式转换请求、抽取关键帧请求、添加字幕请求、声音特技请求、图像校正处理。

本发明还提供了一种基于素材交换格式的多媒体数据处理系统，包括：交换数据存储装置，用于存储素材交换格式封装的完整数据；调度服务器，查询与多媒体业务请求的类别相应的空闲数据处理单元数目，将素材交换格式封装的完整数据划分为与多个所述数据处理单元的数目对应的映射数据分段，分配所述映射数据分段至所述数据处理单元；多个数据处理单元，并行处理所述调度服务器分配的数据映射分段以生成目标数据分段，传送所述目标数据分段至数据合并单元，数据合并单元，将所述数据处理单元传送的所述数据映射分段合并为目标数据并传送至目标数据存储装置；目标数据存储装置，用于存储所述目标数据。

本发明还提供了：一种基于素材交换格式的多媒体数据处理系统，包括收录服务器，用于收录数据流并进行素材交换格式封装，传输素材交换格式封装的数据流至交换数据存储装置；交换数据存储装置，存储素材交换格式封装的数据流；调度服务器，指定与多类别多媒体业务请求中各多媒体业务请求类别对应的数据处理单元，为所述交换数据存储装置中素材交换格式封装的数据流指定；多个数据处理单元，并行分别读取交换数据存储装置中的素材交换格式封装的数据流，生成与所述多媒体业务请求的类别对应的目标数据；所述目标数据存储装置，用于存储目标数据。

本发明有益效果在于，提供了一种新的基于素材交换格式的多媒体数据处理系统及方法，实现了多媒体数据处理系统中多台服务器对同一交换数据执行并行处理，以及多媒体数据处理系统对于流媒体格式交换数据的一边采集一边编辑的有益效果。

附图说明

图1所示为本发明的多媒体数据处理系统的一实施例的结构示意图；

图2所示为图1中实施例执行数据并行处理的示意图；

图3所示为本发明的多媒体数据处理系统的另一实施例的结构示意图；

图4所示为图3中实施例执行数据并行处理的示意图；

图5所示为图3中实施例另一执行数据并行处理的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

图1所示为本发明的多媒体数据处理系统的一实施例的结构示意图。图1中的基于MXF的多媒体数据处理系统，由交换数据存储装置、调度服务器、多个服务器、主服务器、目标数据存储装置组成。其中交换数据存储装置存储的交换数据为素材交换格式封装的完整数据；调度服务器，接收外部输入的媒体格式转换请求、添加字幕请求、抽取关键帧请求等业务请求，并根据多媒体业务请求查询用于执行该多媒体业务请求的空闲的数据处理单元数目。

需要说明的，图1系统实施例中的服务器数量并非等于数据处理单元数目。这是因为，可在同一服务器上配置一个或多个相同类别或不同类别的数据处理单元(图1中未示)。这是因为媒体格式转换业务与添加字幕业务、抽取关键帧业务、配音业务等业务相比，多媒体运算量较大。

因而可根据各多媒体业务的运算量设置一服务资源等级，以标志该业务的数据处理单元在服务器中可占用CPU和内存的比例。

本实施例中，仅以媒体格式转换业务、添加字幕业务、抽取关键帧业务三类多媒体业务为例，根据一取值范围(如[0—100])，任意定一值分别表示媒体格式转换数据处理器、抽取关键帧数据处理器、字幕数据处理器在同一服务器中的服务资源等级。

本实施例中将媒体格式转换数据处理器的服务资源等级设为50，将抽取关键帧数据处理器服务资源等级设为30，将字幕数据处理器服务资源等级设为20。

为保证所有的空闲的同类别数据处理器能够以相同的时间完成多媒体业务，调度服务器将根据各数据处理器执行业务的速度及数据处理器的可用服务资源等级，将完整数据分为不同帧数的映射数据分段，使得处理速度越快的数据处理器处理的映射数据分段的帧数越多。为便于调度服务器判断各数据处理器的速度，可通过公式：V(速度)＝服务资源等级×服务器等级，计算各数据处理器的速度。

公式中的服务器等级是根据服务器能够提供的CPU和内存的资源的多少而设定一个任意数值，即，硬件配置较好的服务器的服务器等级高于硬件配置较低的服务器的服务器等级。则高等级的服务器中的数据处理单元的速度高于低等级服务器中的同类别服务器的速度。

本实施例中便于说明，以相同服务器等级的服务器架构图1中网络。服务器1上配置1个媒体格式转换数据处理单元、1个抽取关键帧数据处理单元以及1个字幕数据处理器；在服务器2上配置两个媒体格式转换数据处理单元；在服务器3上配置2个字幕数据处理单元。

当图1中的调度服务器收到媒体格式转换的业务请求时，调度服务器中的查询模块(图1未示)查询到服务器1、2上的共有3个媒体格式转换的数据处理单元处于空闲状态，可并行处理媒体格式转换业务。调度服务器的调度模块(图1未示)根据业务请求中的交换数据存储地址，读取交换数据存储装置存储的由素材交换格式封装的完整数据。服务器1、2未运行其它多媒体业务的状态下，服务器1的一个媒体格式转换单元可用的服务资源等级为50、服务器2上配置有两个媒体格式转换单元则分别可用的服务资源等级为

调度服务器中的帧分配模块(图1未示)按照各媒体转换格式数据处理单元的速度 $50:50\left(\frac{50}{50+50}\right):50\left(\frac{50}{50+50}\right),$ 即2：1：1将完整数据的帧的数目分为3个的映射数据段。调度模块将每个映射数据段分配至服务器1、2的每个空闲的媒体格式转换的数据处理单元。如图2所示，服务器2中配置的两个媒体格式转换的数据处理单元(图2中未示)处理了个映射数据段。图2中服务器1、2并行处理完毕各自的映射数据段后生成3个目标数据分段，传输至服务器指定的主服务器，由主服务器将3个目标数据分段合并为目标数据，并根据业务请求中的目标数据存储地址，将目标数据存储至目标数据存储单元。需要说明的是，图1的调度服务器与合并目标数据的主服务器可通过同一台设备的硬件实现，目标数据存储装置与交换数据存储装置也可通过一台设备的硬件实现。

本实施例中，若多媒体请求业务中同时包含了媒体格式转换请求和添加字幕业务请求，则查询模块分别为媒体格式转换多媒体业务请求和添加字幕多媒体业务请求，查询空闲的媒体格式转换数据处理器和字幕数据处理器。而服务器1因为同时运行了媒体格式转换数据处理单元和字幕数据处理单元，则服务器1的媒体格式转换数据处理单元的服务资源等级分别为

，字幕数据处理单元的服务资源等级为

而服务器2的2个媒体格式转换数据处理单元的服务资源等级为

服务器3上运行的两个字幕数据处理单元的服务资源等级为

则帧分配模块按照 $20\left(\frac{20}{20+50}\right):20\left(\frac{20}{20+20}\right):20\left(\frac{20}{20+20}\right)$ 将交换数据分为3个的映射数据分段，分别分配给服务器1和服务器3中的字幕数据处理器；按照 $50\left(\frac{50}{20+50}\right):50\left(\frac{50}{50+50}\right):50\left(\frac{50}{50+50}\right)$ 的比例将交换数据分为3个映射数据分段分配给服务器1和服务器2上的媒体格式转换数据处理单元。

图3所示为本发明的多媒体数据处理系统的另一实施例的结构示意图，本实施例的多媒体数据处理系统包括：收录服务器、交换数据存储装置、调度服务器、多个服务器、目标数据存储装置，本实施例中可按照图1所示实施例中数据处理单元的配置方式，配置对本实施例系统中各个服务器的数据处理单元。

本实施例中，收录服务器实时采集流媒体交换数据，将采集的流媒体交换数据进行素材交换格式封装后以实时速度传输至交换数据存储装置。交换数据存储装置中存储的交换数据为素材交换格式封装的流媒体。

本实施例仍以抽取关键帧业务、媒体格式转换业务与添加字幕业务为例进行说明，当调度服务器收到外部的业务请求时，调度服务器的调度模块(图3未示)为多类别多媒体业务请求中的每个多媒体业务请求类别指定一台服务器。本实施例中，调度服务器的调度模块指定服务器1的关键帧数据处理单元、服务器2中的一媒体格式转换数据处理单元、服务器3中的字幕数据处理单元并行执行关键帧业务请求、媒体格式转换业务请求与添加字幕业务请求对应的数据转换。如图4所示，各服务器以各自的速度并行处理由收录服务器收录的交换数据。如图5所示，若收录服务器能够实时采集多个节目的信号时，调度服务器同时为每个信号指定一个服务器中的同类型服务的数据处理单元，执行同类别的多媒体处理。

本实施例中，调度模块通过查询各数据处理单元的运行速度(V)，指定运行速度最快的数据处理单元处理相应类别的多媒体业务请求。

本实施例中，为便于说明，将各种不同媒体格式业务转换通称为媒体格式转换业务，但在实际应用中，本领域技术人员可针对不同的媒体格式(譬如：Mpeg2IBP、Mpeg2I、Mpeg4、WMV)设置不同的媒体格式转换数据处理单元，根据多媒体业务请求的中媒体格式转换请求的类别，为MXF封装数据流指定不同功能的媒体格式转换单元。同理，本领域技术人员可根据图像校正业务的具体处理设置不同功能的图像识别数据处理单元。

需要说明的是，图1和图3的多媒体所处里系统中，调度服务器与各装置及各装置见采用TCP(或其它方式)连接，因而用于同类的处理数据处理单元不用部署在独立的设备上，可以按照每类数据处理单元的资源消耗量和服务使用频率，将处理不同类别业务请求的数据处理单元部署在同一台设备上。

本发明多媒体数据处理系统主要是利用了MXF文件格式流式传输的性质，利用一定算法将交换数据分解，从而达到充分利用系统中的所有设备性能，迅速完成多媒体海量数据的处理。使用该集群处理引擎能够方便的支持电视业务数字化的中的多数基本服务，如：收录、转码、字幕、关键帧、特技等，完成许多原来由于软、硬件限制而无法达到实用功能。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于素材交换格式的多媒体数据处理方法，其中，所述方法包括以下步骤：

使用交换数据存储装置来存储素材交换格式封装的完整数据；

使用调度服务器来查询与多媒体业务请求的类别相应的空闲数据处理单元数目，将素材交换格式封装的完整数据划分为与多个所述数据处理单元的数目对应的映射数据分段，分配所述映射数据分段至所述数据处理单元；

使用多个数据处理单元来并行处理所述调度服务器分配的映射数据分段以生成目标数据分段，传送所述目标数据分段至数据合并单元，

使用数据合并单元来将所述数据处理单元传送的所述目标数据分段合并为目标数据并传送至目标数据存储装置；

使用目标数据存储装置来存储所述目标数据。

2.根据权利要求1所述的方法，其中，所述多媒体业务请求的类别至少包括：媒体格式转换请求、抽取关键帧请求、添加字幕请求、声音特技请求和图像校正处理请求。

3.一种基于素材交换格式的多媒体数据处理方法，其中，所述方法包括以下步骤：

使用收录服务器来收录数据流并进行素材交换格式封装，传输素材交换格式封装的数据流至交换数据存储装置；

使用交换数据存储装置来存储素材交换格式封装的数据流；

使用调度服务器来为所述交换数据存储装置中素材交换格式封装的数据流指定与多类别多媒体业务请求中各多媒体业务请求类别对应的数据处理单元；

使用多个数据处理单元来并行分别读取交换数据存储装置中的素材交换格式封装的数据流，生成与所述多媒体业务请求的类别对应的目标数据；

使用目标数据存储装置来存储目标数据。

4.根据权利要求3所述的方法，其中，所述多媒体业务请求的类别至少包括：媒体格式转换请求、抽取关键帧请求、添加字幕请求、声音特技请求和图像校正处理请求。

5.一种基于素材交换格式的多媒体数据处理系统，其中，所述系统包括：

交换数据存储装置，用于存储素材交换格式封装的完整数据；

调度服务器，查询与多媒体业务请求的类别相应的空闲数据处理单元数目，将素材交换格式封装的完整数据划分为与多个所述数据处理单元的数目对应的映射数据分段，分配所述映射数据分段至所述数据处理单元；

多个数据处理单元，并行处理所述调度服务器分配的映射数据分段以生成目标数据分段，传送所述目标数据分段至数据合并单元，

数据合并单元，将所述数据处理单元传送的所述目标数据分段合并为目标数据并传送至目标数据存储装置；

目标数据存储装置，用于存储所述目标数据。

6.一种基于素材交换格式的多媒体数据处理系统，其中，所述系统包括：

收录服务器，用于收录数据流并进行素材交换格式封装，传输素材交换格式封装的数据流至交换数据存储装置；

交换数据存储装置，存储素材交换格式封装的数据流；

调度服务器，为所述交换数据存储装置中素材交换格式封装的数据流指定与多类别多媒体业务请求中各多媒体业务请求类别对应的数据处理单元；

多个数据处理单元，并行分别读取交换数据存储装置中的素材交换格式封装的数据流，生成与所述多媒体业务请求的类别对应的目标数据；

目标数据存储装置，用于存储目标数据。

Images