CN103200350B - 一种非线性云编辑方法 - Google Patents

Abstract

本发明涉及一种非线性云编辑方法，包括：建立连接；进行节目编辑；计算任务提交；任务调度与分配；计算任务执行；渲染计算任务结果返回；客户端显示结果；判断是否完成节目编辑；合成打包；最终节目合成结果显示。本发明在客户端进行除渲染和合成打包的所有文件编辑的所有操作，将渲染和合成打包这样的复杂运算放在云端运行，最大程度地利用整个云系统资源，任务调度服务器与前端客户端资源都得到充分利用。由于使用了智能分配方案，使渲染和合成计算的繁重任务尽量均匀的分配到各个计算服务器集群的各个服务器上，充分利用计算服务器集群的资源，提高资金利用率。

Description

一种非线性云编辑方法

技术领域

本发明涉及本发明涉及一种非线性云编辑方法，是一种网络信息处理的方法，是一种应用于视音频非线性编辑的网络数字视音频数据和文件处理和传输方法。

背景技术

传统的非线性视音频云编辑系统采用虚拟机的方式，通过虚拟化技术将服务器的硬件处理能力抽象为标准化的逻辑处理能力，形成计算池，再将不同类型的处理任务分配到计算池中相应的虚拟服务器之上，这样就实现了服务器运算处理能力的动态分配，对于负载较高的任务增加逻辑处理单元，对于负载较少的任务减少逻辑处理单元，从而提高了服务器处理资源的平均利用率。但这种方案存在较多的限制和不足。

首先，虚拟机在资源调配上存在先天的劣势，虚拟机本身的运行需要耗费一定的运算资源，无形中造成了服务器资源的浪费，特别是目前的虚拟化技术对GPU运算性能的损失很大，而非线性编辑处理对GPU的要求很高。其次，虚拟机资源设定好并启动后，是没有办法动态调整的，相当于把渲染资源人为的分成了若干份。当遇到突发情况，需要提高虚拟机使用的运算资源时，则需要在管理软件中设置虚拟机参数，并重新启动虚拟机。而对于非线性编辑应用来说，一个故事板内部就存在有些片段非常简单而有些片段非常复杂的情况，此时要求渲染资源在极短的时间内进行重新分配。而且，采用虚拟机方案，无法将多台虚拟机的运算能力合并起来支撑某个复杂处理任务，而这是原本期望在云编辑环境中实现的一个重要功能。

发明内容

为解决现有技术的问题，本发明提出一种非线性云编辑方法。所述的方法在客户端进行编辑操作，充分利用客户端的资源，利用计算服务器集群进行计算量大的渲染和合成计算，通过设置调度分配服务器，实时动态分配计算任务实现充分利用计算服务器集群的资源。

本发明的目的是这样实现的：一种非线性云编辑方法，所述方法所使用的系统包括：多个客户端、两台任务调度分配服务器、计算服务器集群、数据存储矩阵，所述方法的步骤如下：

建立连接的步骤：用于所述系统在启动初始化时各个服务器之间建立连接；

进行节目编辑的步骤：用于所述的客户端按照故事板进行节目编辑操作，当在故事板上的操作涉及渲染计算时，所述客户端将渲染计算作为渲染计算任务提交至所述的任务调度分配服务器，并实时将编辑操作传输至任务调度分配服务器；

计算任务提交的步骤：用于所述的客户端将计算任务提交至任务调度分配服务器，所述的计算任务包括渲染计算任务或合成计算任务；

任务调度与分配的步骤：用于任务调度分配服务器接收客户端的任务并分配任务给计算服务器集群中计算服务器，同时记录任务分配状况,当客户端或者计算服务器集群发生变化时，任务调度分配服务器重新调整各计算服务器执行任务的分配；

计算任务执行的步骤：用于所述计算服务器集群中的各个计算服务器根据任务分配情况执行渲染计算任务，计算服务器接收到渲染计算任务后将与其对应的客户端建立连接，客户端与计算服务器之间的通讯并不是双向的，客户端只有通过任务调度分配服务器间接地向计算服务器发送信息，计算服务器可直接向客户端发送信息；当进行的渲染计算任务执行时间过长，该计算服务器将每隔一段时间向相对应的客户端报告计算进度或者告知客户端任务正在执行中；

渲染计算任务结果返回的步骤：用于计算服务器将渲染计算的结果直接发送给相应该客户端，并在客户端显示；

客户端显示结果的步骤：用于客户端根据回传的结果数据显示视音频图像；

判断是否完成节目编辑的步骤：用于所述的客户端判断是否已经完成节目编辑，如果“否”则回到“进行节目编辑的步骤”，如果“是”则进入下一步骤；

合成打包的步骤：用于将最终编辑合成的节目合成打包，并将生成的文件存储在数据存储矩阵；

最终节目合成结果显示的步骤，用于客户端对于已经编辑完成的节目的显示。

本发明产生的有益效果是：本发明在客户端进行除渲染和合成打包的所有文件编辑的所有操作，将渲染和合成打包这样的复杂运算放在云端运行，最大程度地利用整个云系统资源，任务调度服务器与前端客户端资源都得到充分利用。由于使用了智能分配方案，使渲染和合成计算的繁重任务尽量均匀的分配到各个计算服务器集群的各个服务器上，充分利用计算服务器集群的资源，提高资金利用率。由于是边编辑边进行渲染，后台系统只传回渲染数据结果,渲染的数据流量不大，只是必要时做有损压缩传输，解决有效图像传输问题。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是发明实施例一所述方法所使用的系统图；

图2是发明实施例一所述方法的流程图。

具体实施方式

实施例一：

本实施例是一种非线性云编辑方法。所述方法所使用的系统如图1所示。所述的系统包括：多个带有可连接监视器的视音频板卡的客户端（限于做图，图1中只画出了5台客户端，实际可以连接更多的客户端），所述的客户端通过局域网或广域网与两台任务调度分配服务器连接，所述的两台任务调度分配服务器与可向各个客户端直接发送数据的计算服务器集群连接（图1中用虚线表示计算服务器集群向客户端直接回传计算完成数据的路径以及客户端与数据存储矩阵进行直接交互，存储或获取数据），所述的计算服务器集群与数据存储矩阵连接（限于做图，图1中计算服务器集群只画出了6台计算服务器，实际可以连接更多的计算服务器）。其中，除客户端之外，任务调度分配服务器、计算服务器集群、数据存储矩阵都放在云端。

本实施例所述的客户端主要使用轻量级的台式计算机（或笔记本），客户端运行非线性编辑软件。客户端在本地利用自身计算机资源进行素材的上传,采集工作，以及视音频的显示与播放。客户端可以使用任何附加硬件资源(例如手写笔,颜色校正面板,视音频采集播放卡等)。客户端利用自身计算机资源处理用户的所有操作与界面显示，并向任务调度分配服务器发送需要处理的视音频数据。客户端只接收有效的处理结果数据。在有效处理数据的面积小于屏幕面积时节约带宽，无损压缩数据的传输以及有损压缩的传输，根据用户的喜好，以及系统带宽状态，当整个系统网络传输带宽紧张时，系统自动根据客户端对视频质量的需求，适当对传输的视频进行有损或无损的压缩处理，并对传回客户端视频的尺寸适当缩放，保证网络系统的正常运行。

每个客户端同时连接两个任务调度分配服务器，并将其中一个默认设置为主任务调度分配服务器，设置规则可以是随机，也可以是客户端自己指定。当向主任务调度分配服务器发出请求时，如果主任务调度分配服务器不响应，客户端自动将任务重新发给另一个任务调度分配服务器。一旦主任务调度分配服务器正常连接恢复，则客户端重新使用主任务调度分配服务器进行工作。

客户端可以让任务调度分配服务器分配计算服务器集群中的若干个计算服务器帮助其运算或同时执行不同任务。

本实施例所述的任务调度服务器采用双机共同处理任务工作模式，在正常情况下，两个服务器共同分担客户端的任务请求，如果其中任意一台服务器垮掉，另一台服务期可立刻承担所有工作量。两台服务器之间有主从关系，这种主从关系可以根据规则任意定制，主服务器只是比从服务器多承担用户具体分配到哪个计算服务器上去进行计算。本实施例中将主、从服务器简称为“主服务器”、“从服务器”。主、从服务器都会被动或主动地接收各计算服务器发出的资源利用状态以及拥有的各客户端信息。主从服务器同时为不同客户端提供分配服务。当主服务器接收到新的客户端链接请求时，主服务器根据各计算服务器状态，将该客户端自动分配给一个负载最低的计算服务器。当从服务器接收到新的客户端链接请求时，从服务器会把消息传送到主服务器，由主服务器处理新的客户端。当其中任意一台任务调度分配服务器发生故障时，则不再区分主从服务器。当任意一台任务调度分配服务器异常重启后，由于还没来得及获得完整的各种信息，此时客户端传来的信息不能够被识别在哪个计算服务器上，则该任务调度分配服务器会将信息转发到另一台各计算服务器上。当任意任务调度分配服务器接收到的转发信息超过一次时，如果不能处理，将会采用默认策略执行。这样在整个系统中,两个任务调度分配服务器的利用率是基本均衡的。当在计算服务器集群中增加有新的计算服务器连接时，或某台服务器空闲较多时，主服务器将会根据其它各计算服务器运行状态，通知相应负载最多的计算服务器上的客户端是否将执行的计算任务迁移到负载较为清闲的计算服务器上。如果客户端同意迁移，则执行迁移，反之则继续进行运算。

本实施例所述的计算服务器集群中的每个计算服务器在启动时同时与两个任务调度分配服务器建立链接(当运行过程中假设某一任务分配服务器崩溃，则每个计算服务器每隔一段时间(可设定)，主动去与崩溃的任务调度分配服务器建立连接,直到建立连接为止)，计算服务器不区分这两个任务调度分配服务器的主从关系。计算服务器接收到任务调度分配服务器发来的任务时，会将结果返回给客户端。计算服务器在认为自己需要向分配服务器通报自身状态时，会主动向两个或其中一个任务调度分配服务器发送消息。计算服务器可以随时加入计算服务器集群中,也可以随时退出，计算服务器增加的数量不受限制。

计算服务器端只做渲染和合成计算。计算服务器直接从数据存储矩阵读取素材文件,并实现对多路视音频文件的解码,解码完成之后,根据客户端的需求对视频图像的进行相应的图像处理，对音频数据进行相应的信号处理，之后将处理的结果返回给客户端，不会有任何界面方面的操作。当客户端需要对故事板进行合成时，有两种方式。一种方式是：计算服务器接受指令后，对故事板进行合成，并将生成的文件保存在存储矩阵里，并将合成过程中的图像传回给客户端，以便客户端监看合成的进度与质量。另一种方式是：计算服务器将渲染完的数据传回给客户端，客户端一边显示图像，一边将图像合成文件，并保存到存储矩阵里。

由于任务调度和分配服务器实时监测计算服务器集群的状态，计算机集群后台更换或增加计算服务器不会对前台操作造成过多影响。

计算服务器之间可以互相调用：当客户端需要渲染的数据过于复杂时，计算服务器可以向任务调度服务器发送请求，要求获得能够帮助它运算的其它计算服务器资源，并与那些可以帮助其运算的计算服务器建立连接，并将需要计算的数据发送给那些服务器，实现多个服务器帮助一个服务器计算，达到资源的高度利用，以及用提高工作效率。

所述方法的步骤如下，流程图见图2：

建立连接的步骤：用于所述系统在启动初始化时各个服务器之间建立连接。客户端启动后将主动与任务调度分配服务器建立连接，如果此时任务调度分配服务器还没有启动，则客户端每隔一段时间自动连接一次，直到建立连接为止。客户端可以随时与任务调度分配服务器断开连接。

计算服务集群的各个计算服务器启动后将主动与任务调度分配服务器建立连接，如果此时任务调度分配服务器还没有启动，则计算服务器每隔一段时间自动连接一次，直到建立连接为止。计算服务器可以随时与任务调度分配服务器断开连接，其上正在运行的任务将会经由任务调度分配服务器重新分配给其它计算服务器。

任务调度分配服务器启动后，将不断地接收各个服务器之间数据链接传输的信息，并将这些信息保存下来，当客户端或者计算服务器发生变化时（例如客户端个数的变化、计算服务器个数的变化等），任务调度分配服务器重新调整各计算服务器执行任务的分配。

每个客户端同时连接两个任务调度分配服务器,并将其中一个默认设置为主任务调度分配服务器，设置规则可以是随机，也可以是客户端自己指定。

每个计算服务器在启动时同时与两个任务分配服务器建立连接(当运行过程中假设某一任务分配服务器崩溃，则每个计算服务器每隔一段时间(可设定)，主动去与崩溃的任务分配服务器建立连接，直到建立连接为止),计算服务器不区分这两个任务分配服务器的主从关系。

整个系统启动时最优的开机顺序依次为：存储矩阵、任务调度分配服务器、客户端和计算服务器。但由于在客户端和计算服务器与任务调度分配服务器之间建立了每隔一段时间的自动连接机制，所以也不局限于最优开机顺序。

进行节目编辑的步骤：用于所述的客户端按照故事板进行节目编辑操作，包括素材的上载、故事板上节目片段的剪切（对片段顺序的编排）编辑（添加特技特效字幕处理等）、素材及故事板的回放等，所述操作除渲染计算外均在客户端进行，当在故事板上的操作涉及渲染计算时，所述客户端将渲染计算作为任务提交至所述的任务调度分配服务器，并实时将编辑操作传输至任务调度分配服务器。

计算任务提交的步骤：用于所述的客户端将计算任务提交至任务调度分配服务器，所述的计算任务包括渲染计算任务或合成计算任务。客户端提交的任务中包括向任务调度分配服务器发送渲染计算所需的视音频、字幕等数据，以及相应的指令集。或者提交合成所需要的指令集，以及合成相关的数据。

任务调度与分配的步骤：用于任务调度分配服务器接收客户端的任务并分配任务给计算服务器集群中计算服务器，同时记录任务分配状况，当客户端或者计算服务器集群发生变化时，任务调度分配服务器重新调整各计算服务器执行任务的分配，即不断了解当前任务执行状况，动态调整分配任务。在客户端与任务调度分配服务器联系时，首先与主任务调度分配服务器联系，当主任务调度分配服务器不响应时，客户端自动将任务重新发给从任务调度分配服务器。一旦主任务调度分配服务器连接恢复，则客户端重新使用主任务调度分配服务器进行工作。

客户端可以让任务调度分配服务器分配若干个计算服务器帮助其运算或同时执行不同任务。当客户端进行任务操作时，客户端将需要渲染的数据传送到任务调度分配服务器，任务调度分配服务器将根据每个计算服务器的空闲状态，将任务分配给最空闲的计算服务器，之后计算服务器将与客户端建立链接，将计算完成的数据直接发送给客户端。客户端与计算服务器之间的通讯并不是双向的。客户端只有通过任务调度服务器间接地向计算服务器发送信息，计算服务器可直接向客户端发送信息。如果某个任务执行时间过长，计算服务器将每隔一段时间向客户端报告进度或者告知客户端任务正在执行中。

当有新的计算服务器连接时，或某台服务器空闲较多时，主服务器将会根据其它各计算服务器运行状态，通知相应负载最多的计算服务器上的客户端是否执行任务迁移到负载较为清闲的计算服务器上。计算服务器之间可以互相调用:当客户端需要渲染的数据过于复杂时,即计算服务器在认为自己需要向分配服务器通报自身状态时，会主动向两个或其中一个任务分配服务器发送消息（请求）,要求获得能够帮助它运算的其它计算服务器资源，并与那些可以帮助其运算的计算服务器建立连接，并将需要计算的数据发送给那些服务器，实现多个服务器帮助一个服务器计算，达到资源的高度利用，以及用以提高工作效率。

计算任务执行的步骤：用于所述计算服务器集群中的各个计算服务器根据任务分配情况执行渲染计算任务，计算服务器接收到渲染计算任务后将与其对应的客户端建立连接，客户端与计算服务器之间的通讯并不是双向的，客户端只有通过任务调度分配服务器间接地向计算服务器发送信息，计算服务器可直接向客户端发送信息；当进行的渲染计算任务执行时间过长，该计算服务器将每隔一段时间向相对应的客户端报告计算进度或者告知客户端任务正在执行中。

当计算服务器端进行渲染运算时，计算服务器直接从数据存储矩阵读取文件,并实现对多路视音频文件的解码，解码完成之后，根据客户端的需求对视频图像的进行相应的图像处理，对音频数据进行相应的信号处理，之后将处理的结果返回给客户端，不做任何界面方面的操作。

渲染计算任务结果返回的步骤：用于计算服务器将渲染计算的结果直接发送给相应该客户端，并在客户端显示；

客户端显示结果的步骤：用于客户端根据回传的结果数据显示视音频图像；

判断是否完成节目编辑的步骤：用于所述的客户端判断是否已经完成节目编辑，如果“否”则回到“进行节目编辑的步骤”，如果“是”则进入下一步骤；

合成打包的步骤：用于将最终编辑合成的节目合成打包，并将生成的文件存储在数据存储矩阵；

最终节目合成结果显示的步骤，用于客户端对于已经编辑完成的节目的显示。

实施例二：

本实施例是实施例一改进，是实施例一关于建立连接的步骤的细化。本实施例所述建立连接的步骤包括如下子步骤：

所述的客户端同时连接两台的任务调度分配服务器。

默认其中任意一台任务分配调度服务器为主任务调度分配服务器，另一台为从任务调度分配服务器。

当客户端向主任务调度分配服务器发送任务时，如果主任务分配调度服务器不响应，则客户端将任务重新发给从任务调度分配服务器。

当主任务调度分配服务器恢复后，则客户端重新使用主任务调度分配服务器进行工作。

实施例三：

本实施例上上述实施例的改进，是上述实施例关于任务调度与分配的步骤细化。本实施例所述的任务调度与分配的步骤包括如下子步骤：

接收计算任务，计算计算服务器集群中各个计算服务器工作的饱和程度，并将接收到的计算任务分配给工作任务不十分饱和的计算服务器。

实时监测计算服务器集群中各个计算服务器的工作状态，并监测是否有新的计算服务器加入计算服务器集群。

如果有计算服务器的计算工作过于繁重，计算服务器主动向任务调度分配服务器发出请求，任务调度分配服务器将该计算服务器所进行的计算任务分配到其他计算任务不太饱和的计算服务器中。

如果发现有新的计算服务器加入计算服务器集群，则将那些新加入的计算服务器视为空闲，同时调整正在工作的计算服务器集群中的其他计算服务器的工作量，减轻那些处于饱和状态的计算服务器的工作压力。

实施例四：

本实施例是上述实施例的改进，是上述实施例关于渲染计算任务结果返回的步骤的细化。本实施例所述的渲染计算任务结果返回的步骤包括如下子步骤：

检测渲染后图像面积的大小和网络传输带宽。

如果渲染后图像面积小于屏幕面积或带宽足够，则不压缩图像进行传输。

如果渲染后图像面积略大于屏幕面积或带宽略显不足，则无损压缩图像进行传输。

如果渲染后图像面积大于屏幕面积或带宽不足，则有损压缩图像进行传输。

实施例五：

本实施例是上述实施例的改进，是上述实施例关于合成打包的步骤细化。本实施例所述的合成打包的步骤包括以下子步骤：

计算服务器将渲染计算完成的数据回传客户端；

客户端对编辑完成节目进行打包合成，形成节目文件，在合成过程中在客户端的监视器上显示合成过程的图像；

客户端将合成打包完成的文件存储在数据存储矩阵。

实施例六：

本实施例是实施例一至四的改进，是实施例一至四关于合成打包的步骤细化。本实施例所述的合成打包的步骤包括以下子步骤：

客户端向任务调度分配服务器提交合成任务。

任务调度分配服务器将合成任务分配给计算服务器集群中的一个计算服务器进行合成计算。

合成计算过程中计算服务器将合成过程中的图像回传客户端。

计算服务器将合成打包完成的文件存储在数据存储矩阵。

最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案（比如步骤的先后顺序、启动的先后顺序、任务的智能分配等）进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。本发明所述的方法可编制为应用于计算机系统的程序，并运行于本发明所述的计算机网络系统中。

Claims (5)

1.一种非线性云编辑方法，所述方法所使用的系统包括：多个客户端、两台任务调度分配服务器、计算服务器集群、数据存储矩阵，其特征在于，所述方法的步骤如下：

建立连接的步骤：用于所述系统在启动初始化时各个服务器之间建立连接；

进行节目编辑的步骤：用于所述的客户端按照故事板进行节目编辑操作，当在故事板上的操作涉及渲染计算时，所述客户端将渲染计算作为渲染计算任务提交至所述的任务调度分配服务器，并实时将编辑操作传输至任务调度分配服务器；

计算任务提交的步骤：用于所述的客户端将计算任务提交至任务调度分配服务器，所述的计算任务包括渲染计算任务或合成计算任务；

任务调度与分配的步骤：用于任务调度分配服务器接收客户端的任务并分配任务给计算服务器集群中计算服务器，同时记录任务分配状况,当客户端或者计算服务器集群发生变化时，任务调度分配服务器重新调整各计算服务器执行任务的分配；

计算任务执行的步骤：用于所述计算服务器集群中的各个计算服务器根据任务分配情况执行渲染计算任务，计算服务器接收到渲染计算任务后将与其对应的客户端建立连接，客户端与计算服务器之间的通讯并不是双向的，客户端只有通过任务调度分配服务器间接地向计算服务器发送信息，计算服务器可直接向客户端发送信息；当进行的渲染计算任务执行时间过长，该计算服务器将每隔一段时间向相对应的客户端报告计算进度或者告知客户端任务正在执行中；

渲染计算任务结果返回的步骤：用于计算服务器将渲染计算的结果直接发送给相应该客户端，并在客户端显示；

客户端显示结果的步骤：用于客户端根据回传的结果数据显示视音频图像；

判断是否完成节目编辑的步骤：用于所述的客户端判断是否已经完成节目编辑，如果“否”则回到“进行节目编辑的步骤”，如果“是”则进入下一步骤；

合成打包的步骤：用于将最终编辑合成的节目合成打包，并将生成的文件存储在数据存储矩阵；

最终节目合成结果显示的步骤，用于客户端对于已经编辑完成的节目的显示。

2.根据权利要求1所述的方法，其特征在于，所述建立连接的步骤包括如下子步骤：

所述的客户端同时连接两台的任务调度分配服务器；

默认其中任意一台任务分配调度服务器为主任务调度分配服务器，另一台为从任务调度分配服务器；

当客户端向主任务调度分配服务器发送任务时，如果主任务分配调度服务器不响应，则客户端将任务重新发给从任务调度分配服务器；

当主任务调度分配服务器恢复后，则客户端重新使用主任务调度分配服务器进行工作。

3.根据权利要求1所述的方法，其特征在于，所述的任务调度与分配的步骤包括如下子步骤：

接收计算任务，计算计算服务器集群中各个计算服务器工作的饱和程度，并将接收到的计算任务分配给工作任务不十分饱和的计算服务器；

实时监测计算服务器集群中各个计算服务器的工作状态，并监测是否有新的计算服务器加入计算服务器集群；

如果有计算服务器的计算工作过于繁重，计算服务器主动向任务调度分配服务器发出请求，任务调度分配服务器将该计算服务器所进行的计算任务分配到其他计算任务不饱和的计算服务器中；

如果发现有新的计算服务器加入计算服务器集群，则将那些新加入的计算服务器视为空闲，同时调整正在工作的计算服务器集群中的其他计算服务器的工作量，减轻那些处于饱和状态的计算服务器的工作压力。

4.根据权利要求1-3之一所述的方法，其特征在于，所述的合成打包的步骤包括以下子步骤：

计算服务器将渲染计算完成的数据回传客户端；

客户端对编辑完成节目进行打包合成，形成节目文件，在合成过程中在客户端的监视器上显示合成过程的图像；

客户端将合成打包完成的文件存储在数据存储矩阵。

5.根据权利要求1-3之一所述的方法，其特征在于，所述的合成打包的步骤包括以下子步骤：

客户端向任务调度分配服务器提交合成任务；

任务调度分配服务器将合成任务分配给计算服务器集群中的一个计算服务器进行合成计算；

合成计算过程中计算服务器将合成过程中的图像回传客户端；

计算服务器将合成打包完成的文件存储在数据存储矩阵。