CN106162221A - 直播视频的合成方法、装置及系统 - Google Patents

Abstract

本申请涉及一种直播视频的合成方法、装置及系统，所述方法包括：在播放第一视频流时，通过视频采集设备采集第二视频流；将所述第二视频流传输至服务器，以便所述服务器利用所述第二视频流与正在播放的所述第一视频流合并，形成直播的第三视频流；接收所述服务器发送的所述第三视频流；解析所述第三视频流，形成所述第三视频流的播放画面，播放所述第三视频流的播放画面。本申请可以针对当前播放的画面添加用户的交互视频，形成直播画面，在服务器中合成视频流的效果更好，用户体验好。

Description

直播视频的合成方法、装置及系统

技术领域

本申请涉及视频处理技术领域，尤其涉及一种直播视频的合成方法、装置及系统。

背景技术

现有的直播频道是通过单一的视频流直接形成的直播，用户可以通过网络直接观看直播的视频。然而，随着计算机和网络的发展，传统的直播已经不能满足用户多元化的需求。人们在查看视频播放的过程中，会希望多一些互动的方式。例如在用户玩游戏的过程中，有些游戏达人希望可以对正在进行的游戏进行游戏解说或者添加动作指导，与游戏画面合成一段视频，形成生动形象的游戏攻略，而其他用户也想要看到这些游戏达人是如何操作的游戏攻略。

现有的视频合成方法通常是在终端上安装有媒体素材编辑功能的软件，将拍摄的视频、图片以及录制的音频合成为有声的动态视频。这种在单个终端上合成的视频并没有办法直接分享给别人，因而无法达到视频直播的效果。

发明内容

本申请的目的是，提供一种直播视频的合成方法、装置及系统，可以针对当前播放的画面添加用户的交互视频，形成直播画面，在服务器中合成视频流的效果更好，用户体验好。

本申请提供了一种直播视频的合成方法，所述方法包括：

在播放第一视频流时，通过视频采集设备采集第二视频流；

将所述第二视频流传输至服务器，以便所述服务器利用所述第二视频流与正在播放的所述第一视频流合并，形成直播的第三视频流；

接收所述服务器发送的所述第三视频流；

解析所述第三视频流，形成所述第三视频流的播放画面，播放所述第三视频流的播放画面。

又一方面，本申请还提供了一种直播视频的合成方法，所述方法包括：

在终端播放第一视频流时，接收所述终端传输的第二视频流，所述第二视频流为所述终端通过视频采集设备采集的视频流；

利用所述第二视频流与所述第一视频流合并，形成直播的第三视频流；

将所述第三视频流传输给所述终端。

又一方面，本申请还提供了一种直播视频的合成装置，所述装置包括：

采集单元，用于在播放第一视频流时，采集第二视频流；

传输单元，用于将所述采集单元采集到的所述第二视频流传输至服务器，以便所述服务器利用所述第二视频流与正在播放的所述第一视频流合并，形成直播的第三视频流；

接收单元，用于接收所述服务器发送的所述第三视频流；

处理单元，用于解析所述接收单元接收的所述第三视频流，形成所述第三视频流的播放画面，播放所述第三视频流的播放画面。

又一方面，本申请还提供了一种直播视频的合成装置，所述装置包括：

接收单元，在终端播放第一视频流时，接收所述终端传输的第二视频流，所述第二视频流为所述终端通过视频采集设备采集的视频流；

处理单元，用于利用所述接收单元接收的所述第二视频流与所述第一视频流合并，形成直播的第三视频流；

传输单元，用于将所述处理单元形成的所述第三视频流传输给所述终端。

又一方面，本申请还提供了一种直播视频的合成系统，所述系统包括：服务器和带有视频采集设备的终端；

所述终端在播放第一视频流时，通过视频采集设备采集第二视频流；

所述终端将所述第二视频流传输至所述服务器；

所述服务器利用所述第二视频流与正在播放的所述第一视频流合并，形成直播的第三视频流；

所述终端接收所述服务器发送的所述第三视频流；

所述终端解析所述第三视频流，形成所述第三视频流的播放画面，播放所述第三视频流的播放画面。

本申请实施例提供的直播视频的合成方法及装置，利用视频采集设备采集用户针对当前播放的画面的交互行为，将采集到的视频流传输到服务器，可以针对当前播放的画面添加用户的交互视频，形成直播画面，实时性好，用户体验好，同时由于是在服务器中合成视频流，可以使得直播视频流的效果更好，画面更清晰。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种直播视频的合成系统的示意图；

图2为本申请实施例提供的一种终端侧的直播视频的合成方法流程图；

图3为本申请实施例提供的一种服务端侧的直播视频的合成方法流程图；

图4为本申请实施例提供的一种合成后的直播画面示意图；

图5为本申请实施例提供的一种直播视频的合成装置示意图；

图6为本申请实施例提供的一种直播视频的合成装置示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例提供的直播视频的合成方法及装置，适用于带有视频采集设备且能够进行网络连接的终端，或者，也适用于可以外接视频采集设备且能够进行网络连接的终端，例如，带有摄像头的电视机、电脑、Pad、手机等终端设备，这些终端设备可以通过网线或无线网络连接到云端服务器，与云端服务器通信。

图1是本申请实施例提供的直播视频的合成系统的示意图，如图1所示，该系统包括带有视频采集设备11的终端1和服务器2。服务器2可以是云端服务器，终端1和服务器2之间通过网络连接。终端1播放服务器传输过来的视频流，用户可以对终端1的播放画面进行互动，终端1通过视频采集设备11采集用户的交互视频流，并传输给服务器2，在服务器2中进行视频合成后，将合成后的直播视频流在终端1上播放。下面通过图2和图3对本申请提供的直播视频的合成方法进行详细介绍。

图2是本申请实施例提供的直播视频的合成方法流程图，如图2所示，本申请实施例的直播视频的合成方法包括：

S101、终端在播放第一视频流时，通过视频采集设备采集第二视频流。

第二视频流是终端通过视频采集设备实时采集到的视频数据流，例如，包括通过视频采集设备采集用户对所述第一视频流的播放画面的交互行为形成第二视频流。当然，也可以是其他通过摄像头等设备实时拍摄而采集到的视频内容。

视频采集设备包括摄像头或摄像机等，所述摄像头可以是与电视机相连接的手机、平板电脑等移动终端上的摄像头，也可以是照相机、录像机等设备的摄像头。

其中，所述交互行为包括语音交互行为和动作交互行为。所述通过视频采集设备采集用户对所述第一视频流的播放画面的交互行为包括：通过摄像头采集所述用户对所述第一视频流的播放画面的动作交互行为；以及，通过麦克风采集所述用户对所述第一视频流的语音交互数据。

或者，所述交互行为包括动作交互行为。则所述通过视频采集设备采集用户对所述第一视频流的播放画面的交互行为包括：通过摄像头采集所述用户对播放的画面的动作交互行为。

S102、将所述第二视频流传输至服务器，以便所述服务器利用所述第二视频流与正在播放的所述第一视频流合并，形成直播的第三视频流。

S103、接收所述服务器发送的所述第三视频流。

第三视频流是服务器中保存的正在播放的视频与终端通过摄像头等采集到的视频合成之后的视频数据流。终端在接收到第三视频流之后，可以形成播放画面。

S104、解析所述第三视频流，形成所述第三视频流的播放画面，播放所述第三视频流的播放画面。

终端在接收到第三视频流之后，按照现有的视频编解码方式对第三视频流进行处理，得到第三视频流的播放画面，并在终端的显示器上播放第三视频流的播放画面。此时的播放画面中包括原有的视频画面以及终端采集的视频画面。在用户自己所在的终端中可以立刻看到直播的画面，当其他用户在网络中选择收看该视频时，也可以看到直播的画面。

在本申请实施例中，由于视频合成是在云端服务器上进行处理的，这样，用户可以通过自有的视频采集设备，简单地选择互动直播的方式，就可以进行视频直播了，不需要购买专业的设备，非常简单方便。而且，在云服务器端合成的视频画面像素更高，效果更好。

可选地，在所述播放第一视频流之后，还包括：通过输入控制设备接收所述用户对所述第一视频流的输入控制操作。其中，所述输入控制设备包括游戏手柄、键盘、鼠标或体感摄像机。

终端对接收的所述输入控制操作进行相应地处理。例如，用户利用游戏手柄进行向左或向右移动的操作时，终端则可以将正在播放的视频画面向左或向右移动。

可选地，在接收所述服务器发送的所述第三视频流之后，还包括：终端存储所述第三视频流；当接收到播放所述第三视频流的操作时，解析所述第三视频流，形成所述第三视频流的播放画面，播放所述第三视频流的播放画面。这样，用户可以在终端上回看或点播这一视频，操作灵活方便。

用户还可以选择将这个第三视频流所形成的文件存储到网站上或者云存储空间中，以便其他用户回看或点播这一视频。当然，在服务器上也可以存储该第三视频流所形成的文件。

图3是本申请实施例提供的直播视频的合成方法流程图，如图3所示，本申请实施例的直播视频的合成方法包括：

S201、在终端播放第一视频流时，接收所述终端传输的第二视频流。

所述第二视频流是终端通过视频采集设备实时采集到的视频数据流。例如，所述第二视频流为所述终端通过视频采集设备采集的用户对所述第一视频流进行交互而形成的视频流。

S202、利用所述第二视频流与所述第一视频流合并，形成直播的第三视频流。

服务器在S201中接收到终端的第二视频流之后，则通过编解码技术，将该第二视频流与服务器中存储的正在终端上播放的第一视频流进行合并处理，形成第三视频流。

具体地，利用所述第二视频流与正在播放的第一视频流合并，形成直播的第三视频流，可以包括：在所述第一视频流的播放画面中嵌入一个播放窗口；按照所述第二视频流的时间标识，将所述第二视频流的播放画面添加到所述播放窗口中，且所述播放窗口的播放画面与所述第一视频流的播放画面具有相同的时间标识，形成所述第三视频流。

S203、将所述第三视频流传输给所述终端。

可选地，在S203将所述第三视频流传输给所述终端之前，还包括：对形成的所述第三视频流的播放画面进行压缩，将压缩后的第三视频流传输给所述终端。这样，还可以使在网络中传输的数据量变小，响应速度快。

举个例子，用户正在本地的终端上玩云游戏，并选择了通过网络实时上传游戏视频流(即第一视频流)。其中，云游戏是指游戏的视频流存储在云端服务器上的游戏。那么，用户则可以利用本地的摄像头采集视频，将其如何进行游戏的动作和语音都采集到，形成第二视频流，并通过网络实时上传该第二视频流到云端服务器。云端服务器通过编解码技术，将第一视频流和第二视频流合并，形成一个视频流的直播节目，即第三视频流。云端服务器再将合成后的第三视频流传输给本地的终端。用户在本地的终端的屏幕上即可观看到合成的直播视频节目。同时，在网络中的其他用户也可以点播的方式选择收看到该用户的直播视频节目。

本申请的直播视频合成方法可以用于许多应用场景，与上述用户玩游戏相类似的场景还可以包括：教师也可以利用本申请提供的直播视频合成系统制作直播课堂等等，具体地处理过程也相类似，于此不再赘述。

本申请实施例提供的直播视频的合成方法，这种通过客户端和云端结合形成直播频道的方式，将终端采集的用户交互的视频流传输到服务器，在服务器中合成视频流的效果更好，可以针对当前播放的画面添加用户的交互视频，形成直播画面，用户体验好。

以上是对本申请实施例所提供的直播视频的合成方法进行的详细描述，下面对本申请提供的直播视频的合成装置进行详细描述。

图5是本申请实施例提供的直播视频的合成装置示意图，如图5所示，本申请的直播视频的合成装置包括：采集单元301、传输单元302、接收单元303和处理单元304。

采集单元301用于在播放第一视频流时，采集第二视频流。

其中，第二视频流为采集用户对所述第一视频流的播放画面的交互行为而形成的视频流。

传输单元302用于将采集单元301采集到的所述第二视频流传输至服务器2，以便服务器2利用所述第二视频流与正在播放的所述第一视频流合并，形成直播的第三视频流。

接收单元303用于接收服务器2发送的所述第三视频流。

处理单元304用于解析接收单元303接收的所述第三视频流，形成所述第三视频流的播放画面，播放所述第三视频流的播放画面。

可选地，所述交互行为包括语音交互行为和动作交互行为。采集单元301包括摄像头和麦克风，所述摄像头采集所述用户对所述第一视频流的播放画面的动作交互行为，所述麦克风采集所述用户对所述第一视频流的语音交互数据。

可选地，所述交互行为包括动作交互行为。采集单元301包括摄像头，所述摄像头采集所述用户对所述第一视频流的播放画面的动作交互行为。

可选地，直播视频的合成装置还包括：输入控制单元，所述输入控制单元用于接收所述用户对所述第一视频流的输入控制操作。处理单元304对所述输入控制单元接收的所述输入控制操作进行相应地处理。例如，用户利用游戏手柄进行向左或向右移动的操作时，处理单元304将正在播放的视频画面向左或向右移动。

可选地，直播视频的合成装置还包括：存储单元，所述存储单元用于在接收单元303接收到所述服务器发送的所述第三视频流之后，存储所述第三视频流。当接收单元3303接收到播放所述第三视频流的操作时，处理单元304解析所述第三视频流，形成所述第三视频流的播放画面，播放所述第三视频流的播放画面。

上述各单元的功能可对应于图2详细描述的上述直播视频的合成方法的处理步骤，于此不再赘述。

图6是本申请实施例提供的直播视频的合成装置示意图，如图6所示，本申请的直播视频的合成装置包括：接收单元401、处理单元402和传输单元403。

接收单元401用于在终端播放第一视频流时，接收所述终端传输的第二视频流，所述第二视频流为所述终端通过视频采集设备采集的视频流。

其中，所述第二视频流为所述终端通过视频采集设备采集的用户对所述第一视频流进行交互而形成的视频流。

处理单元402用于利用接收单元401接收的所述第二视频流与所述第一视频流合并，形成直播的第三视频流。

传输单元403用于将处理单元402形成的所述第三视频流传输给所述终端。

可选地，处理单元402具体包括：嵌入子单元和合并子单元。

所述嵌入子单元用于在所述第一视频流的播放画面中嵌入一个播放窗口。

所述合并子单元用于按照所述第二视频流的时间标识，将所述第二视频流的播放画面添加到所述播放窗口中，且所述播放窗口的播放画面与所述第一视频流的播放画面具有相同的时间标识，形成所述第三视频流。

可选地，处理单元402还包括：压缩子单元。所述压缩子单元用于在传输单元403将所述第三视频流传输给所述终端之前，对形成的所述第三视频流的播放画面进行压缩。传输单元403将所述压缩子单元压缩后的第三视频流传输给所述终端。

上述各单元的功能可对应于图3详细描述的上述直播视频的合成方法的处理步骤，于此不再赘述。

本申请实施例提供的直播视频的合成方法、装置及系统，利用视频采集设备采集用户针对当前播放的画面的交互行为，将采集到的视频流传输到服务器，可以针对当前播放的画面添加用户的交互视频，形成直播画面，实时性好，用户体验好，同时由于是在服务器中合成视频流，可以使得直播视频流的效果更好，画面更清晰。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD－ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (17)

1.一种直播视频的合成方法，其特征在于，所述方法包括：

在播放第一视频流时，通过视频采集设备采集第二视频流；

将所述第二视频流传输至服务器，以便所述服务器利用所述第二视频流与正在播放的所述第一视频流合并，形成直播的第三视频流；

接收所述服务器发送的所述第三视频流；

解析所述第三视频流，形成所述第三视频流的播放画面，播放所述第三视频流的播放画面。

2.根据权利要求1所述的方法，其特征在于，所述第二视频流包括通过视频采集设备采集用户对所述第一视频流的播放画面的交互行为形成第二视频流。

3.根据权利要求2所述的方法，其特征在于，所述交互行为包括语音交互行为和动作交互行为；

所述通过视频采集设备采集用户对所述第一视频流的播放画面的交互行为包括：

通过摄像头采集所述用户对所述第一视频流的播放画面的动作交互行为；以及，通过麦克风采集所述用户对所述第一视频流的语音交互数据。

4.根据权利要求2所述的方法，其特征在于，所述交互行为包括动作交互行为；

所述通过视频采集设备采集用户对所述第一视频流的播放画面的交互行为包括：

通过摄像头采集所述用户对播放的画面的动作交互行为。

5.根据权利要求1所述的方法，其特征在于，在接收所述服务器发送的所述第三视频流之后，还包括：

存储所述第三视频流；

当接收到播放所述第三视频流的操作时，解析所述第三视频流，形成所述第三视频流的播放画面，播放所述第三视频流的播放画面。

6.一种直播视频的合成方法，其特征在于，所述方法包括：

在终端播放第一视频流时，接收所述终端传输的第二视频流，所述第二视频流为所述终端通过视频采集设备采集的视频流；

利用所述第二视频流与所述第一视频流合并，形成直播的第三视频流；

将所述第三视频流传输给所述终端。

7.根据权利要求6所述的方法，其特征在于，所述第二视频流为所述终端通过视频采集设备采集的用户对所述第一视频流进行交互而形成的视频流。

8.根据权利要求6所述的方法，其特征在于，利用所述第二视频流与正在播放的第一视频流合并，形成直播的第三视频流，具体包括：

在所述第一视频流的播放画面中嵌入一个播放窗口；

按照所述第二视频流的时间标识，将所述第二视频流的播放画面添加到所述播放窗口中，且所述播放窗口的播放画面与所述第一视频流的播放画面具有相同的时间标识，形成所述第三视频流。

9.根据权利要求6所述的方法，其特征在于，在将所述第三视频流传输给所述终端之前，还包括：

对形成的所述第三视频流的播放画面进行压缩，将压缩后的第三视频流传输给所述终端。

10.一种直播视频的合成装置，其特征在于，所述装置包括：

采集单元，用于在播放第一视频流时，采集第二视频流；

传输单元，用于将所述采集单元采集到的所述第二视频流传输至服务器，以便所述服务器利用所述第二视频流与正在播放的所述第一视频流合并，形成直播的第三视频流；

接收单元，用于接收所述服务器发送的所述第三视频流；

处理单元，用于解析所述接收单元接收的所述第三视频流，形成所述第三视频流的播放画面，播放所述第三视频流的播放画面。

11.根据权利要求10所述的装置，其特征在于，所述第二视频流包括采集的用户对所述第一视频流的播放画面的交互行为而形成的第二视频流；

所述交互行为包括语音交互行为和动作交互行为；所述采集单元包括摄像头和麦克风，所述摄像头采集所述用户对所述第一视频流的播放画面的动作交互行为，所述麦克风采集所述用户对所述第一视频流的语音交互数据；

或者，所述交互行为包括动作交互行为；所述采集单元包括摄像头，所述摄像头采集所述用户对所述第一视频流的播放画面的动作交互行为。

12.根据权利要求10所述的装置，其特征在于，所述装置还包括：

存储单元，用于在所述接收单元接收到所述服务器发送的所述第三视频流之后，存储所述第三视频流；

当所述接收单元接收到播放所述第三视频流的操作时，所述处理单元解析所述第三视频流，形成所述第三视频流的播放画面，播放所述第三视频流的播放画面。

13.一种直播视频的合成装置，其特征在于，所述装置包括：

接收单元，用于在终端播放第一视频流时，接收所述终端传输的第二视频流；

处理单元，用于利用所述接收单元接收的所述第二视频流与所述第一视频流合并，形成直播的第三视频流；

传输单元，用于将所述处理单元形成的所述第三视频流传输给所述终端。

14.根据权利要求13所述的装置，其特征在于，所述第二视频流为所述终端通过视频采集设备采集的用户对所述第一视频流进行交互而形成的视频流。

15.根据权利要求13所述的装置，其特征在于，所述处理单元具体包括：

嵌入子单元，用于在所述第一视频流的播放画面中嵌入一个播放窗口；

合并子单元，用于按照所述第二视频流的时间标识，将所述第二视频流的播放画面添加到所述播放窗口中，且所述播放窗口的播放画面与所述第一视频流的播放画面具有相同的时间标识，形成所述第三视频流。

16.根据权利要求13所述的装置，其特征在于，所述处理单元还包括：

压缩子单元，用于在所述传输单元将所述第三视频流传输给所述终端之前，对形成的所述第三视频流的播放画面进行压缩；

所述传输单元将所述压缩子单元压缩后的第三视频流传输给所述终端。

17.一种直播视频的合成系统，其特征在于，所述系统包括：服务器和带有视频采集设备的终端；

所述终端在播放第一视频流时，通过视频采集设备采集第二视频流；

所述终端将所述第二视频流传输至所述服务器；

所述服务器利用所述第二视频流与正在播放的所述第一视频流合并，形成直播的第三视频流；

所述终端接收所述服务器发送的所述第三视频流；

所述终端解析所述第三视频流，形成所述第三视频流的播放画面，播放所述第三视频流的播放画面。