CN113556610B - 视频合成控制方法及其装置、设备与介质 - Google Patents

Abstract

本申请公开一种视频合成控制方法及其装置、设备与介质，所述方法包括：启动客户端应用程序以加载其内置浏览器；在内置浏览器中加载基于超文本标记语言编写的视频编辑远程页面，以启动远程页面预配置的视频元素后台管理器；接收作用于视频元素变动的操作指令，触发后台管理器响应于视频元素的变动操作指令将对应的界面效果信息传递给视频合成器；将视频合成器根据界面效果信息合成视频编辑区中所有视频元素后生成的视频流反馈更新到视频编辑区中显示。本申请基于超文本标记语言编写提供视频编辑功能的网络页面，构造轻量化的视频编辑软件，减少用户的学习成本，节省设备的存储空间，且通过视频合成器高效地合成视频，提升视频编辑的整体效率。

Description

视频合成控制方法及其装置、设备与介质

技术领域

本申请涉及视频编辑技术领域，尤其涉及一种视频合成控制方法，此外还涉及该方法相应的装置、设备以及非易失性存储介质。

背景技术

现有的视频编辑软件可提供用户进行视频编辑，用户通过视频编辑软件所提供的各种功能，对视频中显示的图文信息进行编辑，并将编辑完成的视频交由视频编辑软件进行渲染合成，输出与编辑相符的视频进行播放。

但对于非专业的用户而言，现有的大量视频编辑软件拥有复杂的编辑功能及繁杂的交互逻辑，需要用户通过系统性地学习，才可流畅地使用该些视频编辑软件完成视频编辑工作，较大的学习成本对于非专业的用户来说并不友好。

专业的视频编辑软件将占用设备的大量存储空间，进而设备需要大量的时间加载专业的视频编辑软件，且当视频编辑软件对视频进行渲染合成时，需占用设备的大量算力资源进行计算，耗费设备的大量性能，用户仅能提升设备的性能，来提升视频编辑的效率，对于用户来说成本过大。

鉴于各种现有视频编辑软件所存在的问题，本申请人出于满足更多用户的需求的考虑做出相应的探索。

发明内容

本申请的目的在于满足用户需求而提供一种视频合成控制方法及其相应的装置、电子设备、非易失性存储介质。

为实现本申请的目的，采用如下技术方案：

适应本申请的目的之一而提出的一种视频合成控制方法，包括如下步骤：

启动客户端应用程序以加载其内置浏览器；

在该内置浏览器中加载基于超文本标记语言编写的视频编辑远程页面，以启动该远程页面预配置的视频元素后台管理器；

接收作用于所述视频编辑远程页面的视频元素的变动操作指令，触发视频元素后台管理器响应于该视频元素的变动操作指令将对应的界面效果信息传递给该应用程序的视频合成器；

将所述视频合成器根据所述界面效果信息合成视频编辑区中所有视频元素后生成的视频流反馈更新到该视频编辑区中显示。

进一步的实施例中，在该内置浏览器中加载基于超文本标记语言编写的视频编辑远程页面，以启动该远程页面预配置的视频元素后台管理器，包括如下具体步骤：

通过所述内置浏览器向提供直播间服务的业务服务器发送请求，验证当前操作用户输入的登录身份信息；

获取该登录身份信息验证合法由该业务服务器返回的所述基于超文本标记语言编写的视频编辑远程页面；

解析并加载该视频编辑远程页面，启动该远程页面预配置的视频元素后台管理器，在该远程页面中展示所述的视频编辑区、视频元素展示调用区，所述后台管理器启动对所述视频元素展示调用区中的视频元素的调用及对进入所述视频编辑区中的视频元素的变动信息的监听。

进一步的实施例中，接收作用于所述远程页面的视频编辑区的视频元素操作指令，触发视频元素后台管理器将该视频元素操作指令所产生的界面效果信息传递给该应用程序的视频合成器，包括如下具体步骤：

接收作用于所述视频编辑远程页面的一个或多个视频元素的变动操作指令，产生相应的变动操作事件；

所述后台管理器响应于所述变动操作事件，获取与该变动操作事件相应的视频元素在该视频编辑区中的空间布局信息，根据该空间布局信息确定所述视频编辑区中所有视频元素之间的界面效果信息，将该界面效果信息发送给所述应用程序的视频合成器。

较佳的实施例中，接收作用于所述视频编辑远程页面的一个或多个视频元素的变动操作指令，产生相应的变动操作事件，包括如下具体步骤：

响应作用于所述一个或多个视频元素的选定操作，显示该一个或多个视频元素的外轮廓边框；

响应作用于该一个或多个视频元素的变动操作，构造相应的变动操作指令，根据该变动操作指令相应变动该一个或多个视频元素。

进一步的实施例中，所述变动操作指令所对应的变动操作包括视频元素在视频编辑远程页面中被执行如下任意之一的操作：平面移动操作、层级调整操作、新增操作、删除操作。

进一步的实施例中，将所述视频合成器根据所述界面效果信息合成视频编辑区中所有视频元素后生成的视频流反馈更新到该视频编辑区中显示，包括如下具体步骤：

所述视频合成器解析其所接收的界面效果信息，根据所述界面效果信息计算各个视频元素在视频流画幅中的显示区域；

所述视频合成器以帧为单位将各视频元素相应的显示区域组合为视频流的帧数据；

所述视频合成器将合成后的视频流推送到所述视频编辑区中，使视频编辑区对应显示该视频流的画面内容。

进一步的实施例中，本方法包括如下后续步骤：

响应于作用于该远程页面的直播间开播指令，将所述视频流推送到该远程页面的已登录用户相关联的直播间中。

适应本申请的目的而提出的一种视频合成控制装置，其包括：

内置浏览器加载模块，用于启动客户端应用程序以加载其内置浏览器；

后台管理器启动模块，用于在该内置浏览器中加载基于超文本标记语言编写的视频编辑远程页面，以启动该远程页面预配置的视频元素后台管理器；

界面效果信息传递模块，用于接收作用于所述视频编辑远程页面的视频元素的变动操作指令，触发视频元素后台管理器响应于该视频元素的变动操作指令将对应的界面效果信息传递给该应用程序的视频合成器；

视频流更新模块，用于将所述视频合成器根据所述界面效果信息合成视频编辑区中所有视频元素后生成的视频流反馈更新到该视频编辑区中显示。

进一步的实施例中，所述后台管理器启动模块包括：

登录身份信息验证子模块，用于通过所述内置浏览器向提供直播间服务的业务服务器发送请求，验证当前操作用户输入的登录身份信息；

视频编辑远程界面获取子模块，用于获取该登录身份信息验证合法由该业务服务器返回的所述基于超文本标记语言编写的视频编辑远程页面；

视频编辑远程界面解析子模块，用于解析并加载该视频编辑远程页面，启动该远程页面预配置的视频元素后台管理器，在该远程页面中展示所述的视频编辑区、视频元素展示调用区，所述后台管理器启动对所述视频元素展示调用区中的视频元素的调用及对进入所述视频编辑区中的视频元素的变动信息的监听。

进一步的实施例中，所述界面效果信息传递模块包括：

变动操作事件产生子模块，用于接收作用于所述视频编辑远程页面的一个或多个视频元素的变动操作指令，产生相应的变动操作事件；

变动操作事件响应子模块，用于所述后台管理器响应于所述变动操作事件，获取与该变动操作事件相应的视频元素在该视频编辑区中的空间布局信息，根据该空间布局信息确定所述视频编辑区中所有视频元素之间的界面效果信息，将该界面效果信息发送给所述应用程序的视频合成器。

进一步的实施例中，所述视频流更新模块包括：

视频元素计算子模块，用于所述视频合成器解析其所接收的界面效果信息，根据所述界面效果信息计算各个视频元素在视频流画幅中的显示区域；

视频元素组合子模块，用于所述视频合成器以帧为单位将各视频元素相应的显示区域组合为视频流的帧数据；

视频流推送子模块，用于所述视频合成器将合成后的视频流推送到所述视频编辑区中，使视频编辑区对应显示该视频流的画面内容。

适应本申请的目的而提出的一种电子设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行所述视频合成控制方法的步骤。

适应本申请的目的而提出的一种非易失性存储介质，其存储有依据所述视频合成控制方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行其相应的方法所包括的步骤。

相对于现有技术，本申请的优势如下：

本申请结合基于超文本标记语言编写的视频编辑远程页面及基于高级语言编写的视频合成器，为用户提供基于网络的视频编辑页面对视频流进行视频编辑，并将视频流与视频元素的视频合成工作交由视频合成器执行高效的视频合成。

首先，本申请基于超文本标记语言编写的所述视频编辑远程页面，该页面中的视频编辑界面较为轻量化，其中，该页面通过加载视频元素后台管理器，提供视频元素调用展示区，供用户进行视频元素的调用，且提供视频编辑区，直观地显示各视频元素与视频流的合成效果，以便用户在该区中进行编辑实施视频元素的变动操作。

其次，本申请通过内置浏览器获取所述视频编辑远程页面，该视频编辑远程页面中的数据文本仅需加载至设备的缓存中即可，可节省设备的存储空间，且因所述视频编辑远程页面包含的编辑功能具有针对性，其加载速度较快，从而提高了用户的视频编辑效率。

另外，本申请的客户端应用程序中内置了所述视频合成器，可为视频编辑远程页面中编辑的视频提供高效的视频合成功能，由此构造出轻量化的视频编辑软件，无需用户花费大量的学习成本，就能有效提升用户的整体视频编辑效率。

再者，本申请的视频编辑及合成功能可与直播应用程序相结合，主播用户通过视频编辑远程页面，为其直播流添加各类型的视频元素以丰富播放效果，且通过视频合成器高效地将该些视频元素合成至直播流中，方便主播用户快速高效地将该直播流推送至直播间中进行播放，丰富直播流的整体观感，提升直播间的直播氛围。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为实施本申请的技术方案相关的一种典型的网络部署架构示意图；

图2为本申请的视频合成控制方法的典型实施例的流程示意图；

图3为本申请的内置浏览器加载视频编辑远程页面时，客户端应用程序的图形用户界面的示意图；

图4为图2中步骤S12的实施例的具体步骤所形成的流程示意图；

图5为图2中步骤S13的实施例的具体步骤所形成的流程示意图；

图6为图5中步骤S131的实施例的具体步骤所形成的流程示意图；

图7为本申请的内置浏览器加载视频编辑远程页面后，对视频元素进行变动操作时，客户端应用程序的图形用户界面的示意图；

图8为图2中步骤S14的实施例的具体步骤所形成的流程示意图；

图9为以视频编辑区中视频流播放窗口的左下角为坐标系原点的示意图；

图10为本申请的视频合成控制方法的一种实施例的流程示意图，其相对添加了后置步骤；

图11为本申请的视频合成控制装置的典型实施例的原理框图；

图12为本申请一个实施例的计算机设备的基本结构框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他诸如个人计算机、平板电脑之类的通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。

需要指出的是，本申请所称的“服务器”这一概念，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。

请参阅图1，本申请相关技术方案实施时所需的硬件基础可按图中所示的架构进行部署。本申请所称服务器80部署在云端，作为一个业务服务器，其可以负责进一步连接起相关数据服务器以及其他提供相关支持的服务器等，以此构成逻辑上相关联的服务机群，来为相关的终端设备例如图中所示的智能手机81和个人计算机82或者第三方服务器(未图示)提供服务。所述的智能手机和个人计算机均可通过公知的网络接入方式接入互联网，与云端的服务器80建立数据通信链路，以便运行所述服务器所提供的服务相关的终端应用程序。

对于服务器而言，所述的应用程序通常会被构建为服务进程，开放相应的程序接口，供各种终端设备上运行的应用程序进行远程调用，本申请中适于运行于服务器的相关技术方案，便可以此种方式实现于服务器中。

所述的应用程序，是指运行于服务器或终端设备上的应用程序，这一应用程序采用编程的方式实现了本申请的相关技术方案，其程序代码可被以计算机可执行指令的形式保存于计算机能识别的非易失性存储介质中，并被中央处理器调入内存中运行，通过该应用程序在计算机的运行而构造出本申请的相关装置。

对于服务器而言，所述的应用程序通常会被构建为服务进程，开放相应的程序接口，供各种终端设备上运行的应用程序进行远程调用，本申请中适于运行于服务器的相关技术方案，便可以此种方式实现于服务器中。

本申请中适于在终端设备实现的技术方案也可以被编程内置于提供网络直播的应用程序中，作为其一部分扩展功能。所述的网络直播，是指一种基于前述的网络部署架构所实现的一种直播间网络服务。

本申请所称的直播间，是指依靠互联网技术实现的一种视频聊天室，通常具备音视频播控功能，包括主播用户和观众用户，观众用户可以包括已经在平台中注册的注册用户，也可以是未注册的游客用户；可以是关注了主播用户的注册用户，也可以是未关注主播用户的注册或未注册用户。主播用户与观众用户之间可通过语音、视频、文字等公知的线上交互方式来实现互动，一般是主播用户以音视频流的形式为观众用户表演节目，并且在互动过程中还可产生经济交易行为。当然，直播间的应用形态并不局限于在线娱乐，也可推广到其他相关场景中，例如教育培训场景、视频会议场景、产品推介销售场景以及其他任何需要类似互动的场景中。

本领域技术人员对此应当知晓：本申请的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本申请所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。

请参阅图2，本申请的一种视频合成控制方法，在其典型实施例中，其包括如下步骤：

步骤S11，启动客户端应用程序以加载其内置浏览器：

启动所述客户端应用程序，以加载该客户端应用程序的内置浏览器，以为主播用户提供编辑开播前的视频流的功能。

所述的客户端应用程序一般是指由高级编程语言所构造，且预安装至设备中的直播应用程序，操作用户通过该客户端应用所具有直播服务功能，开启直播间进行直播，同时该客户端应用内置所述内置浏览器及同样由高级编程语言所构造的视频合成器，以为操作用户提供视频编辑功能，操作用户通过所述的内置浏览器加载的视频编辑远程页面，对开播前进行广播推送的视频流执行视频元素变动操作。

通过内置浏览器加载所述视频编辑远程页面的远程视频编辑方式，区别于一般的本地视频编辑方式，远程视频编辑提供给操作用户最新最全的视频元素进行视频编辑，且大量的视频元素是通过网络的方式加载至缓存，当所述客户端应用程序关闭后，该些视频元素将从缓存中删除，以节省设备的存储空间。

关于所述视频合成器、视频编辑远程页面及视频元素，请参考后续步骤的叙述，此处恕不赘述。

步骤S12，在该内置浏览器中加载基于超文本标记语言编写的视频编辑远程页面，以启动该远程页面预配置的视频元素后台管理器：

所述客户端应用程序完成所述内置浏览器的加载后，将在该内置浏览器中加载基于超文本标记语言所编写的所述视频编辑远程页面，以启动该视频编辑远程页面的预先配置的所述视频元素后台管理器。

所述超文本标记语言一般是指符合Web中核心语言HTML尤其是HTML5的规范的语言，其包括一系列标签.通过这些标签可以将网络上的文档格式统一，使分散的互联网资源连接为一个逻辑整体。所述视频远程页面基于该超文本标记语言所编写构造，该视频远程页面通过加载所述视频元素后台管理器，使其图形用户界面中显示视频编辑区及视频元素展示调用区，以便操作用户通过所述视频编辑区及视频元素展示调用区，选定相应的视频元素合成至其自身的视频流中进行广播推送。

所述的视频编辑远程页面一般由为所述客户端应用程序提供直播间服务的业务服务器所推送，所述客户端应用程序通过所述内置浏览器，向所述业务服务器发送页面获取请求，以便该业务服务器响应该请求，向其推送最新的所述视频编辑远程页面，以便所述内置浏览器获取该视频编辑远程页面进行加载。

一种实施例中，当所述客户端应用程序向所述业务服务器发送保存页面请求，以便该业务服务器响应该请求，将该客户端应用程序的内置浏览器中当前的视频编辑远程页面存储至相应的数据库中，以保存该页面中当前各视频元素的编辑状态；当所述客户端应用程序重新启动并向所述业务服务器推送页面获取请求时，业务服务器将最新保存的所述视频编辑远程页面推送至该客户端应用程序中，以便用户从该页面中进行编辑各视频元素。

所述视频元素一般是指合成至视频流中的可视化图文信息，其用于美化视频流在直播间中的播放效果，所述视频元素的类型包括：动态图片、静态图片、视频滤镜及文本信息等，操作用户可通过所述视频元素展示调用区，选择相应的视频元素，客户端应用程序将选定的视频元素显示至所述视频编辑区中，以便操作用户在所述视频编辑区中对该视频元素执行相应的视频元素变动操作，编辑该视频元素在其视频流中的显示效果。

所述的视频元素后台管理器实时监听所述视频编辑远程页面中显示的所述视频元素展示调用区中的视频元素的调用及对进入所述视频编辑区中的视频元素的变动信息,并生成相应的视频元素变动操作指令，将该指令推送至视频合成器，以便视频合成器根据该指令更新各视频元素在视频流中的显示效果。

具体的，请参考图3，图3为所述客户端应用程序的内置浏览器加载所述视频编辑远程页面的图形用户界面，视频元素展示调用区301中的视频元素A、视频元素B、视频元素C为已合成至视频流中的视频元素，如视频编辑区304的视频流播放窗口所示，该些视频元素已合成至视频流中，所述后台管理器将监听操作用户在所述视频元素展示调用区301及视频编辑区304中执行的视频元素变动操作指令，已将所述视频元素变动操作指令推送至所述客户端应用程序的视频合成器中，以便该视频合成器根据所述视频元素变动操作指令，对该指令所指向的视频元素与视频流执行相应的变动操作。

请参考图3及4，关于所述客户端应用程序的内置浏览器加载所述视频编辑远程页面的实施方式，其具体实施步骤如下：

步骤S121，通过所述内置浏览器向提供直播间服务的业务服务器发送请求，验证当前操作用户输入的登录身份信息：

所述客户端应用程序响应用户登录事件，生成包含该事件中操作用户所输入的用户身份信息的登录请求，并将该登录请求通过所述内置浏览器推送至提供视频流服务的业务服务器，以便业务服务器响应该登录请求，验证该登录请求所包含的所述登录身份信息。

所述的登录身份信息中一般包含操作用户在身份登录窗口中所输入的用户账号及用户密码，以便业务服务器解析所述登录身份信息，获取所述用户账号及用户密码，查询用户身份数据库中是否存在所述用户账号，若不存在，则推送表征账号不存在的通知信息至所述客户端应用程序中进行显示，若存在，则验证所述用户密码是否为该用户账号相匹配的用户密码，若不相匹配，则推送表征密码错误的通知信息至所述客户端应用程序中进行显示，若匹配，推送表征登录成功的通知信息至所述客户端应用程序中进行显示，并推送所述视频编辑远程页面至所述客户端应用程序的内置浏览器中。

步骤S122，获取该登录身份信息验证合法由该业务服务器返回的所述基于超文本标记语言编写的视频编辑远程页面：

当所述业务服务器验证所述登录身份信息为合法时，将向所述客户端应用程序的内置浏览器推送所述视频编辑远程页面，所述内置浏览器获取所述业务服务器返回的所述视频编辑远程页面，将加载解析该视频编辑远程页面，并启动该远程页面预配置的所述视频元素后台管理器。

步骤S123，解析并加载该视频编辑远程页面，启动该远程页面预配置的视频元素后台管理器，在该远程页面中展示所述的视频编辑区、视频元素展示调用区，所述后台管理器启动对所述视频元素展示调用区中的视频元素的调用及对进入所述视频编辑区中的视频元素的变动信息的监听：

所述内置浏览器解析并加载所述业务服务器返回的所述视频编辑远程页面，启动该远程页面预配置的所述视频元素后台管理器，以在该视频编辑远程页面中展示所述的视频编辑区及视频元素展示调用区。

所述的视频元素后台管理器实时监听所述视频编辑远程页面中显示的所述视频元素展示调用区中的视频元素的调用及对进入所述视频编辑区中的视频元素的变动信息,并生成相应的视频元素变动操作指令，将该指令推送至视频合成器，以便视频合成器根据该指令更新各视频元素在视频流中的显示效果。

具体的，请参考图3，视频元素后台管理器实时监听视频元素展示调用区301及视频编辑区304中的视频元素A、视频元素B及视频元素C的调用及变动信息，当用户对所述视频元素展示调用区301中的选定视频元素B302时，所述视频元素后台管理器将响应该选定操作，对所述视频编辑区304中视频流播放窗口的视频元素B305执行选定操作，并监听操作用户对该视频元素B305执行相应的编辑视频元素B305的变动信息。

步骤S13，接收作用于所述视频编辑远程页面的视频元素的变动操作指令，触发视频元素后台管理器响应于该视频元素的变动操作指令将对应的界面效果信息传递给该应用程序的视频合成器：

所述内置浏览器完成所述视频编辑远程页面的加载后，所述客户端应用程序将通过所述内置浏览器的所述视频元素后台管理器，监听所述视频编辑远程页面中各视频元素的变动操作，当操作用户对该视频编辑远程页面中相应的视频元素执行相应的变动操作时，所述视频编辑远程页面将生成相应的所述变动操作指令，触发所述视频元素后台管理器响应该变动操作指令，根据该变动操作指令生成对应的所述界面效果信息传递给该应用程序的视频合成器。

所述界面效果信息由所述视频元素后台管理器根据所述视频编辑区中所有视频元素之间的位置所确定的，该后台管理器将所述界面效果信息传递至所述视频合成器中，以便所述视频合成器根据该界面效果信息，确定各视频元素在视频流中的显示效果。

所述的变动操作指令所对应的变动操作一般包括所述视频编辑远程页面中所述视频元素在所述视频编辑区或视频元素展示调用区中被执行的平面移动操作、层级调整操作、新增操作或删除操作等操作。

所述的平面移动操作是指用户通过所述视频编辑区调整某一视频元素在视频流中的合成位置的操作。

所述的层级调整操作是指用户通过所述视频编辑区调整某一视频元素在视频流中显示的层级，例如，将视频元素调整为视频流中各元素的最顶层的层级或将最底层的层级等。

所述的新增操作是指用户通过所述视频元素展示调用区添加新的视频元素至视频流中进行显示的操作，用户通过所述视频元素展示调用区，从所述视频编辑远程页面所提供的多个视频元素中选择相应的视频元素或从设备的存储空间中选择相应的图文内容作为视频元素，将该视频元素添加至视频流中进行显示。

所述的删除操作是指用户通过所述视频元素展示调用区或视频编辑区删除已添加至视频流中的某一视频元素的操作。

所述的视频合成器一般是基于高级编程语言所编写构造的，其根据所述视频元素后台管理器所传递的所述界面效果信息，合成视频编辑区中所有视频元素后至视频流中，并将该视频流反馈至所述视频编辑远程页面，以便该页面将所述视频流加载至所述视频编辑区中进行显示。

请参考图5至7，关于所述客户端应用程序接收作用于所述视频编辑远程页面的视频元素变动操作指令，以触发视频元素后台管理器将该视频元素变动操作指令所产生的界面效果信息传递给该应用程序的视频合成器的具体实施方式，其实施步骤如下：

步骤S131,接收作用于所述视频编辑远程页面的一个或多个视频元素的变动操作指令，产生相应的变动操作事件:

操作用户在所述视频编辑远程页面中针对一个或多个所述视频元素执行变动操作，以变动该些视频元素在视频流中的显示效果，进而触发所述视频编辑远程页面根据该些视频元素各自相对应的变动操作生成相应的所述变动操作指令，所述客户端应用程序接收该些变动操作指令，产生各所述变动操作指令相应的所述变动操作事件，以获取与该些变动操作事件相应的各视频元素在所述视频编辑远程页面的视频编辑区中的空间布局信息。

请参考图6及7，当所述客户端应用程序接收所述变动操作指令，产生相应的所述变动操作事件的具体实施方式，其实施步骤如下：

步骤S1311，响应作用于所述一个或多个视频元素的选定操作，显示该一个或多个视频元素的外轮廓边框：

所述视频编辑远程页面响应作用于所述一个或多个所述视频元素的所述选定操作，在所述视频编辑区中显示该些视频元素的所述外轮廓边框。

具体的，请参考图7，图7的图A中，当操作用户通过视频元素展示调用区A-701选定B视频元素A-702，或通过视频编辑区A-704选定B元素视频A-705时，所述视频编辑页面将响应指向B视频元素的选定操作，显示B视频元素的所述外轮廓边框，所述客户端应用程序的图形用户界面将从图A转换为图B，视频编辑区B-704中，B视频元素B-705显示所述外轮廓边框，以表征B视频元素为被选定的视频元素。

步骤S1312，响应作用于该一个或多个视频元素的变动操作，构造相应的变动操作指令，根据该变动操作指令相应变动该一个或多个视频元素：

所述客户端应用程序响应所述视频编辑远程页面中作用于一个或多个视频元素的所述变动操作，并根据该些变动操作指令相应的变动该指令所指向的视频元素在视频编辑区的显示效果。

具体的，请参考图7，图B中的B视频元素被选定的视频元素，视频编辑区B-704中的B视频元素B-705显示所述外轮廓边框，当B视频元素B-705在视频编辑区B-704中被执行平面移动操作的变动操作时，所述客户端应用程序的图形用户界面将从图B转换为图C，视频编辑区C-704中的B视频元素C-705平面移动至视频流中相应的位置。

步骤S132，所述后台管理器响应于所述变动操作事件，获取与该变动操作事件相应的视频元素在该视频编辑区中的空间布局信息，根据该空间布局信息确定所述视频编辑区中所有视频元素之间的界面效果信息，将该界面效果信息发送给所述应用程序的视频合成器：

所述客户端应用程序将产生的所述变动操作事件推送至所述后台管理器中，以便该后台管理器响应该变动操作事件，获取所述变动操作事件所指向的视频元素在所述视频编辑区中的空间布局信息，并根据该空间布局信息确定该视频编辑区中所有视频元素之间的所述界面效果信息，并将该界面效果信息方式给所述客户端应用程序池的视频合成器中。

所述的空间布局信息是指所述变动操作事件所指向的视频元素在视频编辑区中的位置信息及层级信息，例如，当所述变动操作事件为视频元素进行平面移动操作时，其所述空间布局信息为该视频元素进行平面移动操作后的在所述视频编辑区的位置的位置信息，或者当所述变动操作事件为视频元素进行层级调整操作时，其所述空间布局信息为该视频元素进行层级调节操作后的在所述视频编辑区的各视频元素之间的层级的位置信息，所述后台管理器根据所述空间布局信息修改当前视频编辑区中相应的视频元素的位置，产生所述界面效果信息。

步骤S14，将所述视频合成器根据所述界面效果信息合成视频编辑区中所有视频元素后生成的视频流反馈更新到该视频编辑区中显示：

所述后台管理器根据所述变动操作指令产生所述界面效果信息后，将该界面效果信息推送至所述视频合成器中，以便所述视频合成器接收该界面效果信息，并根据该界面效果信息所表征的所述视频编辑区中所有的视频元素各自相应的显示效果，将该些视频元素合成至所述视频流中，并将该视频流访客至所述视频编辑远程页面中，以便该视频编辑远程页面将该视频流输出至所述视频编辑区中进行显示。

所述的视频合成器一般由基于高级编程语言如C++所编写构成，其包含用于将视频元素合成至视频流中的功能模块，通过该功能模型，依照接收至所述后台管理器的所述界面效果信息，将所述视频编辑区中的所有视频元素合成至视频流中相应的位置，并反馈合成该些视频元素的视频流至所述视频编辑远程页面中，以便该视频编辑远程页面将该视频流输出至所述视频编辑区中进行显示。

具体的，请参考图7，当操作用户在图7的图C中所示的视频编辑区C-704完成B视频元素C-705的平面移动操作的变动操作后，所示后台管理器根据当前视频编辑区C-704中所有视频元素之间的位置，生成该视频编辑区C-704的所述界面效果信息，并将该界面效果信息推送至所述视频合成器中，所述视频合成器根据该界面效果信息，确定视频编辑区C-704中各视频元素的显示信息，并根据该些视频元素的显示信息，将该些视频元素合成至视频流中，并将完成视频元素合成的视频流反馈至所述视频编辑远程页面中，所述视频编辑远程页面获取该视频流后，将该视频流输出至视频编辑区C-704中进行显示，使所述客户端应用程序的图形用户界面从图B转换为图C，视频编辑区D-704中播放的视频流中B视频元素D-705的显示效果与图C中视频编辑区的B视频元素C-705的显示效果相同。

请参考图7至9，关于所述视频合成器根据所述界面效果信息，执行合成视频元素至视频流中进行反馈的具体实施方式，其实施步骤如下：

步骤S141，所述视频合成器解析其所接收的界面效果信息，根据所述界面效果信息计算各个视频元素在视频流画幅中的显示区域：

所述视频合成器接收到所述界面效果信息后，解析该界面效果信息，以根据该界面信息计算各个视频元素在视频流画幅中的显示区域。

所述界面效果信息中包含各视频元素在视频流画幅中的位置信息，该些位置信息一般是为坐标轴信息，该些坐标轴信息基于所述视频流画幅的坐标系，该坐标系一般以视频流画幅的左下角为原点，如图9所示，所示视频编辑区中所有视频元素的位置信息参照坐标系901所确定。

相应的，所述界面效果信息中包含用于表征各视频元素之间的层级关系的层级信息，以确定所述视频编辑区中所有视频元素之间的展示层级。

所述视频合成器根据所述界面效果信息中包含的各视频元素的各自相对应所述位置信息及层级信息，计算其在所述视频流画幅中的所述显示区域，并按照该些显示区域，将该些视频元素合成至所述视频流画幅中的相应的位置中。

步骤S142，所述视频合成器以帧为单位将各视频元素相应的显示区域组合为视频流的帧数据：

所述视频合成器计算出所述界面效果信息所指向的各视频元素的所述显示区域后，将以帧为单位，将该些视频元素相应的所述显示区域组合为视频流的帧数据。

所述视频流的视频帧数一般为24或60，所述视频合成器以帧为单位将各视频元素的显示区域合成为视频流的帧数据，保证视频元素在视频流中的流畅显示，防止各视频元素显示至视频流进行播放时，出现视频元素在某些时刻无法显示的情况，从而影响各视频元素的显示效果。

步骤S143，所述视频合成器将合成后的视频流推送到所述视频编辑区中，使视频编辑区对应显示该视频流的画面内容：

所述视频合成器将合成所述视频元素的视频流推送至所述视频编辑远程页面中，以便该视频编辑远程页面将该视频流加载至所述视频编辑区中播放相应的画面内容，使各视频元素在视频流中显示效果与所述界面效果信息所表征的显示效果同步。

以上的典型实施例及其变化实施例充分揭示了本申请的视频合成控制方法的实施方案，但是，仍可通过对一些技术手段的变换和扩增而演绎出该方法的多种变化实施例，如下概要说明其他实施例：

一种实施例中，请参阅图3及10，本方法还包括如下后置步骤：

步骤S15，响应于作用于该远程页面的直播间开播指令，将所述视频流推送到该远程页面的已登录用户相关联的直播间中：

所述客户端应用程序响应于所述视频编辑远程页面的所述直播间开播指令，将完成所述视频元素合成的视频流推送至登录该客户端应用程序相关联的直播间中进行播放。

请参考图3，所述的直播间开播指令由主播用户通过触控相应的控件所触发生成，如图3的开播控件306所示，当主播用户触控该开播控件306时，将触发所示直播间开播指令，以便所述客户端应用程序响应该直播间开播指令，将所述视频流推送至该主播用户所属的直播间的业务服务器中，触发该业务服务器将所属视频流广播至处于所述直播间的观众客户端中进行播放显示。

一种实施例中，所述客户端将完成所述视频元素合成的视频流推送至所述业务服务器中，触发所述业务服务器将该视频流广播至将所述视频流广播至该客户端应用程序的已登录用户相关联的直播间中进行播放。

另一种实施例中，所述客户端将已添加的视频元素、所述界面效果信息及未进行视频元素合成的视频流推送至所述业务服务器中，所述业务服务器接收到所述界面效果信息及视频流后，将根据该界面效果信息将该些视频元素合成至所述视频流中，并将该直播流推送至该客户端应用程序的已登录用户相关联的直播间中进行播放。

再一种实施例中，进入主播客户端相关联的观众客户端的应用程序中拥有与所述视频编辑远程页面中所拥有的视频元素相同的视频元素，所述主播用户的客户端应用程序将所述视频流及界面效果信息推送至所述业务服务器中，业务服务器将该视频界面效果信息及视频流广播至所述观众用户端，观众用户端根据该视频界面效果信息将该信息指向的视频元素合成至所述视频流中，并将该视频流输出至直播间中进行播放。

进一步，可以通过将上述各实施例所揭示的方法中的各个步骤进行功能化，构造出本申请的一种视频合成控制装置，按照这一思路，请参阅图11，其中的一个典型实施例中，该装置包括：适应本申请的目的而提出的一种视频合成控制装置，其包括：内置浏览器加载模块11，用于启动客户端应用程序以加载其内置浏览器；后台管理器启动模块12，用于在该内置浏览器中加载基于超文本标记语言编写的视频编辑远程页面，以启动该远程页面预配置的视频元素后台管理器；界面效果信息传递模块13，用于接收作用于所述视频编辑远程页面的视频元素的变动操作指令，触发视频元素后台管理器响应于该视频元素的变动操作指令将对应的界面效果信息传递给该应用程序的视频合成器；视频流更新模块14，用于将所述视频合成器根据所述界面效果信息合成视频编辑区中所有视频元素后生成的视频流反馈更新到该视频编辑区中显示。

一种实施例中，所述后台管理器启动模块12包括：登录身份信息验证子模块，用于通过所述内置浏览器向提供直播间服务的业务服务器发送请求，验证当前操作用户输入的登录身份信息；视频编辑远程界面获取子模块，用于获取该登录身份信息验证合法由该业务服务器返回的所述基于超文本标记语言编写的视频编辑远程页面；视频编辑远程界面解析子模块，用于解析并加载该视频编辑远程页面，启动该远程页面预配置的视频元素后台管理器，在该远程页面中展示所述的视频编辑区、视频元素展示调用区，所述后台管理器启动对所述视频元素展示调用区中的视频元素的调用及对进入所述视频编辑区中的视频元素的变动信息的监听。

一种实施例中，所述界面效果信息传递模块13包括：变动操作事件产生子模块，用于接收作用于所述视频编辑远程页面的一个或多个视频元素的变动操作指令，产生相应的变动操作事件；变动操作事件响应子模块，用于所述后台管理器响应于所述变动操作事件，获取与该变动操作事件相应的视频元素在该视频编辑区中的空间布局信息，根据该空间布局信息确定所述视频编辑区中所有视频元素之间的界面效果信息，将该界面效果信息发送给所述应用程序的视频合成器。

一种实施例中，所述视频流更新模块14包括：视频元素计算子模块，用于所述视频合成器解析其所接收的界面效果信息，根据所述界面效果信息计算各个视频元素在视频流画幅中的显示区域；视频元素组合子模块，用于所述视频合成器以帧为单位将各视频元素相应的显示区域组合为视频流的帧数据；视频流推送子模块，用于所述视频合成器将合成后的视频流推送到所述视频编辑区中，使视频编辑区对应显示该视频流的画面内容。

为解决上述技术问题，本申请实施例还提供一种计算机设备，用于运行根据所述视频合成控制方法所实现的计算机程序。具体请参阅图12，图12为本实施例计算机设备基本结构框图。

如图12所示，计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种视频合成控制方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种视频合成控制方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施方式中处理器用于执行本发明的视频合成控制装置中的各个模块/子模块的具体功能，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有视频合成控制装置中执行所有模块/子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。

本申请还提供一种非易失性存储介质，所述的视频合成控制方法被编写成计算机程序，以计算机可读指令的形式存储于该存储介质中，计算机可读指令被一个或多个处理器执行时，意味着该程序在计算机中的运行，由此使得一个或多个处理器执行上述任一实施例视频合成控制方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

综上所述，本申请基于超文本标记语言编写提供视频编辑功能的网络页面，构造轻量化的视频编辑软件，减少用户的学习成本，节省设备的存储空间，且通过视频合成器高效地合成视频，以提升视频编辑的整体效率。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (9)

1.一种视频合成控制方法，其特征在于，包括如下步骤：

启动客户端应用程序以加载其内置浏览器，所述客户端应用程序为直播应用程序，内置有视频合成器；

在该内置浏览器中加载基于超文本标记语言编写的视频编辑远程页面，以启动该远程页面预配置的视频元素后台管理器，通过该后台管理器在图形用户界面中加载视频编辑区及视频元素展示调用区，并启动对所述视频元素展示调用区中的视频元素的调用及对进入所述视频编辑区中的视频元素的变动信息的监听；

接收作用于所述视频编辑远程页面的视频元素的变动操作指令，触发视频元素后台管理器响应于该视频元素的变动操作指令将对应的界面效果信息传递给该应用程序的视频合成器；

将所述视频合成器根据所述界面效果信息在直播间开播前的视频流的基础上合成视频编辑区中所有视频元素后生成的视频流反馈更新到该视频编辑区中显示；

响应于作用于该远程页面的直播间开播指令，将所述合成视频编辑区中所有视频元素后生成的视频流推送到该远程页面的主播用户的直播间中，所述的直播间开播指令由所述主播用户通过触控相应的控件所触发生成。

2.根据权利要求1所述的视频合成控制方法，其特征在于，在该内置浏览器中加载基于超文本标记语言编写的视频编辑远程页面，以启动该远程页面预配置的视频元素后台管理器，包括如下具体步骤：

通过所述内置浏览器向提供直播间服务的业务服务器发送请求，验证当前操作用户输入的登录身份信息；

获取该登录身份信息验证合法由该业务服务器返回的所述基于超文本标记语言编写的视频编辑远程页面；

解析并加载该视频编辑远程页面，启动该远程页面预配置的视频元素后台管理器，在该远程页面中展示所述的视频编辑区、视频元素展示调用区，所述后台管理器启动对所述视频元素展示调用区中的视频元素的调用及对进入所述视频编辑区中的视频元素的变动信息的监听。

3.根据权利要求1所述的视频合成控制方法，其特征在于，接收作用于所述远程页面的视频编辑区的视频元素操作指令，触发视频元素后台管理器将该视频元素操作指令所产生的界面效果信息传递给该应用程序的视频合成器，包括如下具体步骤：

接收作用于所述视频编辑远程页面的一个或多个视频元素的变动操作指令，产生相应的变动操作事件；

所述后台管理器响应于所述变动操作事件，获取与该变动操作事件相应的视频元素在该视频编辑区中的空间布局信息，根据该空间布局信息确定所述视频编辑区中所有视频元素之间的界面效果信息，将该界面效果信息发送给所述应用程序的视频合成器。

4.根据权利要求3所述的视频合成控制方法，其特征在于，接收作用于所述视频编辑远程页面的一个或多个视频元素的变动操作指令，产生相应的变动操作事件，包括如下具体步骤：

响应作用于所述一个或多个视频元素的选定操作，显示该一个或多个视频元素的外轮廓边框；

响应作用于该一个或多个视频元素的变动操作，构造相应的变动操作指令，根据该变动操作指令相应变动该一个或多个视频元素。

5.根据权利要求3或4所述的视频合成控制方法，其特征在于，所述变动操作指令所对应的变动操作包括视频元素在视频编辑远程页面中被执行如下任意之一的操作：平面移动操作、层级调整操作、新增操作、删除操作。

6.根据权利要求1所述的视频合成控制方法，其特征在于，将所述视频合成器根据所述界面效果信息在直播间开播前的视频流的基础上合成视频编辑区中所有视频元素后生成的视频流反馈更新到该视频编辑区中显示，包括如下具体步骤：

所述视频合成器解析其所接收的界面效果信息，根据所述界面效果信息计算各个视频元素在视频流画幅中的显示区域；

所述视频合成器以帧为单位将各视频元素相应的显示区域组合为视频流的帧数据；

所述视频合成器将合成后的视频流推送到所述视频编辑区中，使视频编辑区对应显示该视频流的画面内容。

7.一种视频合成控制装置，其特征在于，其包括：

内置浏览器加载模块，用于启动客户端应用程序以加载其内置浏览器，所述客户端应用程序为直播应用程序，内置有视频合成器；

后台管理器启动模块，用于在该内置浏览器中加载基于超文本标记语言编写的视频编辑远程页面，以启动该远程页面预配置的视频元素后台管理器，通过该后台管理器在图形用户界面中加载视频编辑区及视频元素展示调用区，并启动对所述视频元素展示调用区中的视频元素的调用及对进入所述视频编辑区中的视频元素的变动信息的监听；

界面效果信息传递模块，用于接收作用于所述视频编辑远程页面的视频元素的变动操作指令，触发视频元素后台管理器响应于该视频元素的变动操作指令将对应的界面效果信息传递给该应用程序的视频合成器；

视频流更新模块，用于将所述视频合成器根据所述界面效果信息在直播间开播前的视频流的基础上合成视频编辑区中所有视频元素后生成的视频流反馈更新到该视频编辑区中显示，响应于作用于该远程页面的直播间开播指令，将所述合成视频编辑区中所有视频元素后生成的视频流推送到该远程页面的主播用户的直播间中，所述的直播间开播指令由所述主播用户通过触控相应的控件所触发生成。

8.一种电子设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至6中任一项所述的方法的步骤。

9.一种非易失性存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至6中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行该方法所包括的步骤。