CN103167222A

CN103167222A - 一种非线性云编辑系统

Info

Publication number: CN103167222A
Application number: CN2013101072445A
Authority: CN
Inventors: 谷显峰; 骆萧萧
Original assignee: Beijing Dayang Technology Development Inc
Current assignee: Beijing Dayang Technology Development Inc
Priority date: 2013-03-29
Filing date: 2013-03-29
Publication date: 2013-06-19
Anticipated expiration: 2033-03-29
Also published as: CN103167222B

Abstract

本发明涉及一种非线性云编辑系统，包括:多个的客户端，客户端通过局域网或广域网与两台任务调度分配服务器连接，任务调度分配服务器与可向各个客户端直接发送数据的计算服务器集群连接，计算服务器集群与数据存储矩阵连接，数据存储矩阵通过局域网或广域网与各个客户端连接。本发明在客户端进行除渲染和合成打包的所有文件编辑的所有操作，将渲染和合成打包这样的复杂运算放在云端运行，最大程度地利用整个云系统资源，任务调度服务器与前端客户端资源都得到充分利用。由于使用了智能分配方案，使渲染和合成计算的繁重任务尽量均匀的分配到各个计算服务器集群的各个服务器上，充分利用计算服务器集群的资源，提高资金利用率。

Description

一种非线性云编辑系统

技术领域

本发明涉及本发明涉及一种非线性云编辑系统，是一种网络计算机系统，是一种应用于视音频非线性编辑的网络计算机系统。

背景技术

传统的非线性视音频云编辑系统采用虚拟机的方式，通过虚拟化技术将服务器的硬件处理能力抽象为标准化的逻辑处理能力，形成计算池，再将不同类型的处理任务分配到计算池中相应的虚拟服务器之上，这样就实现了服务器运算处理能力的动态分配，对于负载较高的任务增加逻辑处理单元，对于负载较少的任务减少逻辑处理单元，从而提高了服务器处理资源的平均利用率。但这种方案存在较多的限制和不足。

首先，虚拟机在资源调配上存在先天的劣势，虚拟机本身的运行需要耗费一定的运算资源，无形中造成了服务器资源的浪费，特别是目前的虚拟化技术对GPU运算性能的损失很大，而非线性编辑处理对GPU的要求很高。其次，虚拟机资源设定好并启动后，是没有办法动态调整的，相当于把渲染资源人为的分成了若干份。当遇到突发情况，需要提高虚拟机使用的运算资源时，则需要在管理软件中设置虚拟机参数，并重新启动虚拟机。而对于非线性编辑应用来说，一个故事板内部就存在有些片段非常简单而有些片段非常复杂的情况，此时要求渲染资源在极短的时间内进行重新分配。而且，采用虚拟机方案，无法将多台虚拟机的运算能力合并起来支撑某个复杂处理任务，而这是原本期望在云编辑环境中实现的一个重要功能。

发明内容

为解决现有技术的问题，本发明提出一种非线性云编辑系统。所述的系统使客户端不再是远程桌面，而是一个系统中参与视音频编辑的重要部分，系统不再设立任务分配服务器集群。

本发明的目的是这样实现的：一种非线性云编辑系统，包括:多个的客户端，所述的客户端通过局域网或广域网与两台任务调度分配服务器连接，所述的任务调度分配服务器与可向各个客户端直接发送数据的计算服务器集群连接，所述的计算服务器集群与数据存储矩阵连接，所述的数据存储矩阵通过局域网或广域网与各个客户端连接；

所述的客户端包含：素材采集装置、素材输出装置、资源管理装置、故事板编辑装置、素材回放装置、故事板回放装置、字幕装置、计算请求装置、计算结果接收装置、节目合成存储装置；

所述的素材采集装置用于记录着原始素材的介质内容的上载、导入；

所述的素材输出装置用于将已编辑完成的节目内容或素材下载到移动存储介质中；

所述的资源管理装置用于统一管理位于数据存储矩阵中的原始素材文件和编辑制作过程中产生的中间文件以及完成的节目内容文件；

所述的故事板编辑装置用于以横向时间轴、纵向图像和声音层轨的方式来编辑节目内容直到形成最终编辑完成的节目内容;

所述的素材回放装置用于对资源管理装置中的视音频文件、字幕文件进行回放；

所述的故事板回放装置用于对故事板编辑装置中层轨上的视音频、字幕文件的回放；

所述的字幕装置用于创建、制作字幕文件；

所述的计算请求装置用于客户端发起利用计算服务器进行渲染或合成计算任务请求；

所述的计算结果接收装置用于接收计算服务器执行的计算任务的结果数据，并将其输出给故事板回放装置，当计算任务是节目合成时，再将结果数据输出给节目合成存储装置；

所述的节目合成存储装置用于存储最终节目合成文件，将计算结果接收装置输出的合成结果数据以文件的形式存储到数据存储矩阵中；

所述的任务调度分配服务器包含：计算任务接收装置、计算任务分配装置、状态请求及接收存储装置、连接管理装置；

所述的计算任务接收装置用于接收已建立链接的客户端的计算请求装置发起的计算任务请求；

所述的计算任务分配装置用于将已接收的计算任务请求，根据计算服务器集群中每个计算服务器的空闲状态,将任务分配给最空闲的计算服务器的计算任务接收装置中；

所述的状态请求及接收存储装置用于向已建立链接的计算服务器主动请求其资源利用状态，以及请求客户端信息，或被动接收客户端状态信息，并将所述客户端状态信息记录存储；

所述的连接管理装置用于将已接收计算任务的计算服务器和发起该计算任务的客户端建立连接；

所述的计算服务器集群包括多个计算服务器，所述的各个计算服务器包括计算任务接收装置、计算任务执行装置、计算结果回传装置、计算结果存储装置、计算服务器连接装置；

所述的计算任务接收装置用于接收所述的任务调度分配服务器上的计算任务分配装置发出的计算任务；

所述的计算任务执行装置用于根据计算任务接收装置中的计算任务信息，执行计算任务并根据计算任务中的相关信息将结果数据输出给计算结果回传装置或计算结果存储装置；

所述的计算结果回传装置用于将计算结果数据回传给已通过连接管理装置建立连接的客户端的计算结果接收装置；

所述的计算结果存储装置用于将节目的合成任务的计算结果数据以文件的形式存储在数据存储矩阵中；

所述的计算服务器连接装置用于在计算服务器启动后，主动向任务调度服务器请求建立连接。

本发明产生的有益效果是：本发明在客户端进行除渲染和合成打包的所有文件编辑的所有操作，将渲染和合成打包这样的复杂运算放在云端运行，最大程度地利用整个云系统资源，任务调度服务器与前端客户端资源都得到充分利用。由于使用了智能分配方案，使渲染和合成计算的繁重任务尽量均匀的分配到各个计算服务器集群的各个服务器上，充分利用计算服务器集群的资源，提高资金利用率。由于是边编辑边进行渲染，后台系统只传回渲染数据结果,渲染的数据流量不大，只是必要时做有损压缩传输，解决有效图像传输问题。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是发明实施例一所述的系统的结构原理示意图。

具体实施方式

实施例一：

本实施例是一种非线性云编辑系统，原理图如图1所示（由于作图的限制，图1中只画出了一个客户端和计算服务器集群中的两个计算服务器，实际客户端有很多个，并且计算服务器集群中可以有很多个计算服务器）。本实施例包括:多个的客户端，所述的客户端通过局域网或广域网与两台任务调度分配服务器连接，所述的任务调度分配服务器与可向各个客户端直接发送数据的计算服务器集群连接，所述的计算服务器集群与数据存储矩阵连接，所述的数据存储矩阵通过局域网或广域网与各个客户端连接。如图1所示任务调度分配服务器、计算机集群和数据存储矩阵在云端。

本实施例所述的客户端包含：素材采集装置、素材输出装置、资源管理装置、故事板编辑装置、素材回放装置、故事板回放装置、字幕装置、计算请求装置、计算结果接收装置、节目合成存储装置。

所述的素材采集装置用于记录着原始素材的介质内容的上载、导入。完成例如传统磁带通过视音频采集卡的信号采集，采集的信号以文件的形式存储到数据存储盘阵中，供今后的编辑使用。除此之外，素材采集装置支持的介质还包括其他常用的存储介质，如蓝光盘、DVD、闪存等。

所述的素材输出装置用于将已编辑完成的节目内容或素材通过传统磁盘录像机下载到磁带中，或将其拷贝到其他常见的移动存储介质中。

所述的资源管理装置用于统一管理位于数据存储矩阵中的原始素材文件和编辑制作过程中产生的中间文件以及完成的节目内容文件。包括通过上载、导入的视音频文件、字幕文件、故事板文件、编辑制作过程中通过合成产生的视音频文件等。

所述的故事板编辑装置用于以横向时间轴、纵向图像和声音层轨的方式来编辑节目内容直到形成最终编辑完成的节目内容，可以进行后续的节目打包。将待编辑的视音频文件、字幕文件拖拽到故事板的层轨上，随后可以对其进行调整节目片段的时间顺序、为变换的场景之间增加特技特效、为视频画面添加带有各种动画效果的字幕图层等操作。上述这些操作中有些会涉及对原有数据文件的处理及重新计算，我们在这里统称为渲染，且为使编辑人员在操作后能够随即确认操作的效果是否符合他的预期要求，需要在编辑人员确认时实时地将渲染结果展现，编辑人员确认一般是通过画面回放、seek等操作来达到。

所述的素材回放装置用于对资源管理装置中的视音频文件、字幕文件进行回放。所述的故事板回放装置用于对故事板编辑装置中层轨上的视音频、字幕文件的回放。所述的字幕装置用于创建、制作字幕文件。所述的渲染装置用于客户端使用本地的自有资源进行简单渲染计算，并将渲染计算结果数据输出给故事板回放装置。所述的渲染请求装置用于客户端发起利用计算服务器进行渲染计算任务请求。所述的渲染结果接收装置用于接收计算服务器执行的渲染任务的结果数据，并将其输出给故事板回放装置，当渲染任务属于节目合成时，再将结果数据输出给节目合成存储装置。所述的节目合成存储装置用于存储最终节目合成文件，将渲染结果接收装置输出的结果数据以文件的形式存储到数据存储矩阵中。

本实施例所述的客户端主要使用轻量级的台式计算机（或笔记本），客户端运行非线性编辑软件，客户端在启动与任务分配服务器建立连接，并等待计算服务器返回结果。客户端在本地利用自身计算机资源进行素材的上传，采集工作，以及视音频的显示与播放，这一点在传统的云计算视频编辑系统中的远程桌面方式是无法做到的。

客户端可以使用任何附加硬件资源(例如手写笔，颜色校正面板，视音频采集播放卡等)，这一点远程桌面方式也是无法做到的。

客户端利用自身计算机资源处理用户的所有操作与界面显示，并向任务调度服务器发送需要处理的视音频数据，远程桌面方式仅仅是向远程服务器发送鼠标与键盘响应。

客户端只接收有效的处理结果数据，在有效处理数据的面积小于屏幕面积时节约带宽，无损压缩数据的传输以及有损压缩的传输，根据用户的喜好，以及系统带宽状态，当整个系统网络传输带宽紧张时，用户或系统自动根据客户端对视频质量的需求，适当对传输的视频进行有损或无损的压缩处理，并对传回客户端视频的尺寸适当缩放，保证网络系统的正常运行。

每个客户端同时链接两个任务调度分配服务器，并将其中一个默认设置为主任务调度分配服务器，设置规则可以是随机，也可以是客户端自己指定，当主任务调度分配服务器不响应时，客户端自动将任务重新发给另一个任务调度分配服务器，一旦主任务调度分配服务器正常链接恢复，则客户端重新使用主任务调度分配服务器进行工作。

客户端可以让任务调度服务器分配若干个计算服务器帮助其运算或同时执行不同任务。

所述的任务调度分配服务器包含：计算任务接收装置、计算任务分配装置、状态请求及接收存储装置、连接管理装置。

所述的计算任务接收装置用于接收已建立链接的客户端的计算请求装置发起的计算任务请求。

所述的计算任务分配装置用于将已接收的计算任务请求，根据计算服务器集群中每个计算服务器的空闲状态,将任务分配给最空闲的计算服务器的计算任务接收装置中。

所述的状态请求及接收存储装置用于向已建立链接的计算服务器主动请求其资源利用状态，以及请求客户端信息，或被动接收客户端状态信息，并将所述客户端状态信息记录存储。

所述的连接管理装置用于将已接收计算任务的计算服务器和发起该计算任务的客户端建立连接。此后，计算服务器通过此连接将渲染的结果数据直接回传给该客户端。

传统的云计算网络使用调度服务器和分配服务器两层，而本实施例将调度服务器与任务分配服务器统一成为一种服务器（任务调度分配服务器）,这个任务调度分配服务器采用双机共同处理任务工作模式，在正常情况下，两个服务器共同分担客户端的任务请求，如果其中任意一台服务器垮掉，另一台服务期可立刻承担所有工作量。两台服务器之间有主从关系，这种主从关系可以根据规则任意定制，主服务器只是比从服务器多承担用户具体分配到哪个计算服务器上去渲染。以后简单将主从服务器称之为“主服务器”,与“从服务器”。

主从服务器都会被动或主动地接收各计算服务器发出的资源利用状态以及拥有的各客户端信息。主从服务器同时为不同客户端提供分配服务。当主服务器接收到新的客户端链接请求时，主服务器根据各计算服务器状态，将该客户端自动分配给一个负载最低的计算服务器。当从服务器接收到新的客户端链接请求时，从服务器会把消息传送到主服务器，由主服务器处理新的客户端。当其中任意一台服务器发生故障时，则不再区分主从服务器。

当任意一个服务器异常重启后，由于还没来得及获得完整的各种信息，此时客户端传来的信息不能够被识别在哪个计算服务器上，则该任务分配服务器会将信息转发到另一台各计算服务器上。当任意任务分配服务器接收到的转发信息超过一次时，如果不能处理，将会采用默认策略执行。这样在整个系统中，两个任务分配服务器的利用率是基本均衡的。

当有新的计算服务器连接时，或某台服务器空闲较多时，主服务器将会根据其它各计算服务器运行状态，通知相应负载最多的计算服务器上的客户端是否执行任务迁移到负载较为清闲的计算服务器上。

所述的计算服务器集群包括多个计算服务器，所述的各个计算服务器包括计算任务接收装置、计算任务执行装置、计算结果回传装置、计算结果存储装置、计算服务器连接装置。

所述的计算任务接收装置用于接收所述的任务调度分配服务器上的计算任务分配装置发出的计算任务。

所述的计算任务执行装置用于根据计算任务接收装置中的计算任务信息，执行计算任务并根据计算任务中的相关信息将结果数据输出给计算结果回传装置或计算结果存储装置。在编辑过程中的渲染计算任务的结果数据均输出给渲染结果回传装置，属于节目合成的计算任务的结果数据既可以输出给渲染结果回传装置，也可以输出给计算结果存储装置，依计算任务的相关参数信息而定。输出给计算结果回传装置意味着节目的合成任务的结果数据会在故事板回放装置中实时显示。输出给计算结果存储装置意味着，客户端对于合成结果不需要实时回看，直接在后台将打包结果存储到数据存储矩阵中。

所述的计算结果回传装置用于将计算结果数据回传给已通过连接管理装置建立连接的客户端的计算结果接收装置。

所述的计算结果存储装置用于将节目的合成任务的计算结果数据以文件的形式存储在数据存储矩阵中。

所述的计算服务器连接装置用于在计算服务器启动后，主动向任务调度服务器请求建立连接，这里所述的连接指的是进行一般性信息传输，当需要进行数据传输的时候还要进行数据链接。连接时如果任务调度服务器还没有启动，则计算服务器每隔一段时间自动连接一次，直到建立连接为止。

每个计算服务器在启动时同时与两个任务分配服务器建立连接(当运行过程中假设某一任务调度分配服务器崩溃,则每个计算服务器每隔一段时间（可设定）,主动去与崩溃的任务调度分配服务器建立连接,直到建立连接为止)，计算服务器不区分这两个任务调度分配服务器的主从关系。计算服务器接收到任务分配服务器发来的任务时，会将结果返回给客户端，计算服务器在认为自己需要向任务调度分配服务器通报自身状态时,会主动向两个或其中一个任务调度分配服务器发送消息。

后台更换计算服务器不会对前台操作造成过多影响。计算服务器集群可以随时加入计算服务器，也可以随时退出，增加的数量不受限制。

计算服务器端只做渲染运算和接近于渲染计算的合成计算（合成计算是一种将编辑完成的所有素材进行连接和渲染的计算），计算服务器直接从存储矩阵读取文件，并实现对多路视音频文件的解码，解码完成之后，根据客户端的需求对视频图像的进行相应的图像处理，对音频数据进行相应的信号处理之后将处理的结果返回给客户端，不进行任何界面方面的操作。

当客户端需要对故事板进行合成时有两种方式:

计算服务器接受指令后，对故事板进行合成，并将生成的文件保存在存储矩阵里，并将合成过程中的图像传回给客户端，以便客户端监看合成的进度与质量。

另一种方法是：计算服务器将渲染完的数据传回给客户端，客户端一边显示图像，一边将图像压缩成文件，并保存到存储矩阵里。

计算服务器之间可以互相调用：当客户端需要渲染的数据过于复杂时，计算服务器可以向任务调度服务器发送请求，要求获得能够帮助它运算的其它计算服务器资源，并与那些可以帮助其运算的计算服务器建立连接，并将需要计算的数据发送给那些服务器，实现多个服务器帮助一个服务器计算，达到资源的高度利用，以及用提高工作效率。

实施例二：

本实施例实施实施例一的改进，是实施例一关于客户端的细化。本实施例所述的客户端还设有客户端建立连接装置，所述的客户端建立连接装置用于在客户端开启后主动向任务调度分配服务器请求建立连接，如果此时任务调度分配服务器还没有启动，建立连接装置则每隔一段时间自动连接一次，直到建立连接为止。

所述的客户端同时连接两台的任务调度分配服务器，并默认其中任意一台任务分配调度服务器为主任务调度分配服务器，另一台为从任务调度分配服务器，当客户端向主任务调度分配服务器发送任务时，如果主任务分配调度服务器不相应，则客户端将任务重新发给从任务调度分配服务器，当主任务调度分配服务器恢复后，则客户端重新使用主任务调度分配服务器进行工作。

实施例三：

本实施例是实施例二的改进，是实施例二关于客户端的细化。本实施例所述的客户端还设有与监视器连接的视音频接口板。

本实施例中客户端连接一个监视器，在监视器可以看到编辑中的渲染情况和编辑的视频图像。传统的云编辑系统由于客户端是远程桌面，所以无法连接视音频接口卡，也就无法连接监视器。编辑人员在编辑过程中要查看编辑的过程十分困难，本实施解决了这个问题。在客户端的编辑界面上，编辑人员可以做各种编辑操作，同时在监视器上编辑人员可以实时的看到编辑和编辑后渲染的效果视频图像，有效的提高了编辑效率。

实施例四：

本实施例是上述实施例的改进，是上述实施例关于计算任务分配装置的细化。本实施例所述的计算任务分配装置包括如下子装置：

用于计算计算服务器集群中各个计算服务器工作的饱和程度，并将接收到的计算任务分配给工作任务不十分饱和的计算服务器的子装置。

用于实时监测计算服务器集群中各个计算服务器的工作状态，并监测是否有新的计算服务器加入计算服务器集群的子装置。

用于如果有计算服务器的计算工作过于繁重，计算服务器主动向任务调度分配服务器发出请求，任务调度分配服务器将该计算服务器所进行的计算任务分配到其他计算任务不太饱和的计算服务器中的子装置。

用于如果发现有新的计算服务器加入计算服务器集群，则将那些新加入的计算服务器视为空闲，同时调整正在工作的计算服务器集群中的其他计算服务器的工作量，减轻那些处于饱和状态的计算服务器的工作压力的子装置。

本实施例所述的计算任务分配装置是一种智能分配装置，用于自动按照计算工作量、计算工作的复杂程度将计算任务分配给计算集群中各个计算服务器，是计算服务器集群中的各个计算机的工作量基本处于一种相对平衡的状态。

实施例五：

本实施例是上述实施例的改进，是上述实施例关于计算结果回传装置的细化。本实施例所述的计算结果回传装置包括如下子装置：

用于检测渲染后图像面积的大小和网络传输带宽的子装置。

用于如果渲染后图像面积小于屏幕面积或带宽足够，则不压缩图像进行传输的子装置。

用于如果渲染后图像面积略大于屏幕面积或带宽略显不足，则无损压缩图像进行传输的子装置。

用于如果渲染后图像面积大于屏幕面积或带宽不足，则有损压缩图像进行传输的子装置。

计算结果回传装置也是一种智能装置，可以自动的判断回传数据量和网络情况，以便以最小的压缩损失量回传渲染后的数据，使播放的渲染结果最为清晰，效果最好。

实施例六：

本实施例是上述实施例的改进，是上述实施例关于客户端的细化。本实施例所述的客户端设有合成装置。

由于本实施例在客户端设立了合成装置，渲染后的结果可以在客户端进行合成，前提是渲染合成的计算量不很大，或者说客户端的硬件资源足够应付渲染合成计算的计算量。

实施例七：

本实施例是实施例一至五的改进，是实施例一至五关于计算服务器的细化。本实施例所述的计算服务器集群中的各个计算服务器设有合成装置。

将合成装置设置在计算服务器中的目的在于充分利用计算服务器的硬件资源。当渲染合成运算的计算量十分大时，必须有较大的硬件资源才能应付。在计算服务器集群中，可以使用一台或多台计算服务器同时合成一个节目，即便是十分复杂的渲染合成也可以轻松的进行。

最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案（比如各装置之间的连接关系、各个服务器之间的连接关系等）进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。本发明所述的方法可编制为应用于计算机系统的程序，并运行于本发明所述的计算机网络系统中。

Claims

1.一种非线性云编辑系统，其特征在于，包括:多个的客户端，所述的客户端通过局域网或广域网与两台任务调度分配服务器连接，所述的任务调度分配服务器与可向各个客户端直接发送数据的计算服务器集群连接，所述的计算服务器集群与数据存储矩阵连接，所述的数据存储矩阵通过局域网或广域网与各个客户端连接；

所述的字幕装置用于创建、制作字幕文件；

2.根据权利要求1所述的系统，其特征在于：所述的客户端还设有客户端建立连接装置，所述的客户端建立连接装置用于在客户端开启后主动向任务调度分配服务器请求建立链接，如果此时任务调度分配服务器还没有启动，客户端建立连接装置则每隔一段时间自动连接一次，直到建立连接为止；

3.根据权利要求2所述的系统，其特征在于，所述的客户端还设有与监视器连接的视音频接口板。

4.根据权利要求3所述的系统，其特征在于，所述的计算任务分配装置包括如下子装置：

用于计算计算服务器集群中各个计算服务器工作的饱和程度，并将接收到的计算任务分配给工作任务不十分饱和的计算服务器的子装置；

用于实时监测计算服务器集群中各个计算服务器的工作状态，并监测是否有新的计算服务器加入计算服务器集群的子装置；

用于如果有计算服务器的计算工作过于繁重，计算服务器主动向任务调度分配服务器发出请求，任务调度分配服务器将该计算服务器所进行的计算任务分配到其他计算任务不太饱和的计算服务器中的子装置；

5.根据权利要求4所述的系统，其特征在于，所述的计算结果回传装置包括如下子装置：

用于检测渲染后图像面积的大小和网络传输带宽的子装置；

用于如果渲染后图像面积小于屏幕面积或带宽足够，则不压缩图像进行传输的子装置；

用于如果渲染后图像面积略大于屏幕面积或带宽略显不足，则无损压缩图像进行传输的子装置；

6.根据权利要求1-5之一所述的系统，其特征在于，所述的客户端设有合成装置。

7.根据权利要求1-5之一所述的系统，其特征在于，所述的计算服务器集群中的各个计算服务器设有合成装置。