CN113315927A - 视频处理方法和装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种视频处理方法和装置、电子设备和存储介质，属于视频处理技术领域，其中，视频处理方法，应用于终端，包括：接收会议服务器发送的第一视频流，其中，第一视频流包括视频信息以及扩展报头信息；获取扩展报头信息中的布局信息；根据布局信息，在第一视频流中得到M个视频画面，其中M为大于1的整数；响应于第一输入，显示与第一输入对应的参数的N个视频画面，其中，N小于或等于M。

Description

视频处理方法和装置、电子设备和存储介质

技术领域

本申请属于视频处理技术领域，具体涉及一种视频处理方法和装置、电子设备和存储介质。

背景技术

在相关技术中，视频会议的场景中通常存在多个与会者，服务器接收每个与会者的画面，并通过流视频的方式发送给每个与会者。在这个过程中，为了节约带宽，有效的做法是使用多点控制单元(Multi Control Unit，MCU)的视频流通信，即将多方视频源在服务器合并后，作为单视频源发送给与会者。

MCU方式能够节约带宽，但是作为播放端的与会者只能播放服务器合并好的视频，无法对视频中多个与会者的布局进行灵活布局，导致体验不佳。

发明内容

本申请实施例的目的是提供一种视频处理方法和装置、电子设备和存储介质，能够实现提高视频会议中与会者视频的布局灵活度。

第一方面，本申请实施例提供了一种视频处理方法，应用于终端，包括：

接收会议服务器发送的第一视频流，其中，第一视频流包括视频信息以及扩展报头信息；

获取扩展报头信息中的布局信息；

根据布局信息，在第一视频流中得到M个视频画面，其中M为大于1的整数；

响应于第一输入，显示与第一输入对应的参数的N个视频画面，其中，N小于或等于M。

第二方面，本申请实施例提供了一种视频处理方法，应用于服务器，包括：

接收M个终端分别发送的第二视频流，其中，M为大于1的正整数；

对多个第二视频流进行合并处理，得到合并后的第一视频流；

记录每个第二视频流在第一视频流中的布局信息；

将布局信息添加至扩展报头，获得扩展报头信息；

将第二视频流和扩展报头信息发送至终端。

第三方面，本申请实施例提供了一种视频处理装置，应用于终端，包括：

第一接收单元，用于接收会议服务器发送的第一视频流，其中，所述第一视频流包括视频信息以及扩展报头信息；

获取单元，用于获取所述扩展报头信息中的布局信息；

确定单元，用于根据所述布局信息，在所述第一视频流中得到M个视频画面，其中M为大于1的整数；

显示单元，用于响应于第一输入，显示与所述第一输入对应的参数的N个视频画面，N小于或等于M。

第四方面，本申请实施例提供了一种视频处理装置，应用于服务器，包括：

第二接收单元，用于接收M个终端分别发送的第二视频流，其中，M为大于1的正整数；

合并单元，用于对多个第二视频流进行合并处理，得到合并后的第一视频流；

记录单元，用于记录每个第二视频流在第一视频流中的布局信息；将布局信息添加至扩展报头，获得扩展报头信息；

发送单元，用于将第二视频流和扩展报头信息发送至终端。

第五方面，本申请实施例提供了一种第一电子设备，包括第一处理器，第一存储器及存储在第一存储器上并可在第一处理器上运行的程序或指令，程序或指令被第一处理器执行时实现如第一方面的方法的步骤。

第六方面，本申请实施例提供了一种第二电子设备，包括第二处理器，第二存储器及存储在第二存储器上并可在第二处理器上运行的程序或指令，程序或指令被第二处理器执行时实现如第二方面的方法的步骤。

第七方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现如第一方面和/或第二方面的方法的步骤。

第八方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序或指令，实现如第一方面和/或第二方面的方法的步骤。

在本申请实施例中，参与视频会议的与会者终端，实时接收来自会议服务器发送的第一视频流，其中，该第一视频流为整合了全部与会者视频的整合视频流。

在接收到第一视频流后，与会者终端根据实时传输协议(RTP协议)，首先在第一视频流中确定多个与会者视频在其中的布局信息，根据该布局信息，与会者终端能够在整合视频，也即第一视频流中，分离出M个视频画面，其中每个视频画面均为一个与会者终端的独立视频。

其中，视频服务器可以根据RTP协议，将上述布局信息形成为第一视频流的拓展头，与会者终端在接收到第一视频流后，通过拓展头获取对应的布局信息。

进一步地，与会者可根据自身喜好或参会需要，对多个视频画面进行重新布局。具体地，与会者终端接收与会者的第一输入，并根据与会者的第一输入，对多个视频画面在第一视频流中的布局状态进行调整，并显示与第一输入对应的参数的N个视频画面。

举例来说，共有4个与会者，分别为A、B、C和D，4个与会者将其各自的视频发送至会议服务器，由会议服务器对其进行合并，合并后当前的第一视频流是一个2×2的“田”字型矩形视频。

A在接收到第三视频后，根据第三视频中的布局信息，能够对第三视频进行进一步的重新布局，比如将画面聚焦到A身上，此时，窗口中全屏显示A的画面，还可以将A、B、C、D进行重新排列，比如按照1×4的方式进行排列，最终得到A、B、C、D四个第四视频列为一排的视频布局，并进行播放。

本申请实施例在接收到会议服务器发送的视频流后，根据其中的布局信息，对整合视频中各与会者视频进行重新布局，从而在维持视频会议对网络带宽的低消耗的前提下，提高视频会议中与会者视频的布局灵活度。

附图说明

图1示出了根据本申请实施例的视频处理方法的流程图之一；

图2示出了根据本申请实施例的视频流的布局示意图；

图3示出了根据本申请实施例的视频处理方法的流程图之二；

图4示出了根据本申请实施例的视频处理装置的结构框图之一；

图5示出了根据本申请实施例的视频处理装置的结构框图之二；

图6示出了根据本申请实施例中视频会议的交互示意图；

图7示出了根据本申请实施例的第一电子设备的结构框图；

图8示出了根据本申请实施例的第二电子设备的结构框图；

图9为实现本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的视频处理方法和装置、电子设备和存储介质进行详细地说明。

在本申请的一些实施例中，提供了一种视频处理方法，应用于终端，图1示出了根据本申请实施例的视频处理方法的流程图之一，如图1所示，方法包括：

步骤102，接收会议服务器发送的第一视频流，其中，第一视频流包括视频信息以及扩展报头信息；

步骤104，获取扩展报头信息中的布局信息；

步骤106，根据布局信息，在第一视频流中得到M个视频画面，其中M为大于1的整数；

步骤108，响应于第一输入，显示与第一输入对应的参数的N个视频画面，其中，N小于或等于M。

在本申请实施例中，参与视频会议的与会者终端，实时接收来自会议服务器发送的第一视频流，其中，该第一视频流为整合了全部与会者视频的整合视频流。

在接收到第一视频流后，与会者终端根据实时传输协议(RTP协议)，首先在第一视频流中确定多个与会者视频在其中的布局信息，根据该布局信息，与会者终端能够在整合视频，也即第一视频流中，分离出多个视频画面，其中每个视频画面均为一个与会者终端的独立视频。

其中，视频服务器可以根据RTP协议，将上述布局信息形成为第一视频流的拓展头，与会者终端在接收到第一视频流后，通过拓展头获取对应的布局信息。

进一步地，与会者可根据自身喜好或参会需要，对多个视频画面进行重新布局。具体地，与会者终端接收与会者的第一输入，并根据与会者的第一输入，对多个视频画面在第一视频流中的布局状态进行调整，并显示与第一输入对应的参数的N个视频画面。

举例来说，图2示出了根据本申请实施例的视频流的布局示意图，如图2所示，共有4个与会者，分别为A、B、C和D，4个与会者将其各自的视频发送至会议服务器，由会议服务器对其进行合并，合并后当前的第一视频流是一个2×2的“田”字型矩形视频，如图2所示，其中，A位于左上角，B位于右上角，C位于左下角，D位于右下角。

A在接收到第三视频后，根据第三视频中的布局信息，能够对第三视频进行进一步的重新布局，比如将画面聚焦到A身上，此时，窗口中全屏显示A的画面，还可以将A、B、C、D进行重新排列，比如按照1×4的方式进行排列，最终得到A、B、C、D四个第四视频列为一排的视频布局，并进行播放。

本申请实施例在接收到会议服务器发送的视频流后，根据其中的布局信息，对整合视频中各与会者视频进行重新布局，从而在维持视频会议对网络带宽的低消耗的前提下，提高视频会议中与会者视频的布局灵活度。

在本申请的一些实施例中，布局信息包括视频画面对应的识别信息、形状信息、尺寸信息和顶点坐标信息；

响应于第一输入，显示与第一输入对应的参数的N个视频画面，包括：

根据第一输入，确定目标识别信息，并对目标识别信息对应的形状信息、尺寸信息和顶点坐标信息中的至少一项进行修改，得到对应的目标形状、目标尺寸和目标位置；

根据目标识别信息，在M个视频画面中，确定N个视频画面；

根据目标形状、目标尺寸和目标位置，显示N个视频画面。

在本申请实施例中，布局信息包括视频画面的识别信息、形状信息、尺寸信息和顶点坐标信息，其中，每一个识别信息均对应一个与会者的身份ID(Identification)，也就是说，每个视频画面均于一个与会者映射。当前与会终端的与会者，在调整视频画面的布局状态时，通过选择输入选择某个与会者的ID，此时系统根据与会者的ID，在多个视频画面中，确定与被选择的与会者ID相对应的视频画面，并将其确定为N个视频画面中的一个。

形状信息代表了一个视频画面的形状，一般来说，多个视频画面的形状均相同，优选为矩形。尺寸信息代表了一个视频画面的大小，尺寸信息可以是基于像素点的尺寸信息，如某视频画面的尺寸信息为320×480个像素点。顶点坐标信息，则是以第一视频流为基准建立坐标系，在第一视频流为基准的坐标系中，通过顶点坐标信息来确定视频画面在第一视频流中的位置。

以视频画面的形状为矩形为例，在形状信息为矩形的情况下，只需要知道该矩形画面的一个对角线的两个端点坐标(如左上角和右下角)，就可以推算出该视频画面的画面尺寸和在第一视频流的位置，因此对于视频画面为矩形的情况下，仅需在拓展头中获取两个顶点坐标，即可得到该视频画面的尺寸、大小和在第一视频流中的位置。根据N个视频画面的形状、尺寸和位置，对N个视频画面进行显示，从而使得视频会议中与会者视频的布局更加灵活。

在本申请的一些实施例中，根据布局信息，在第一视频流中得到M个视频画面，包括：

根据形状信息、尺寸信息和顶点坐标信息，针对第一视频流进行画面分割，获得分割后的M个视频画面。

在本申请实施例中，布局信息包括视频画面的形状信息、尺寸信息和顶点坐标信息，在得知每个视频画面，在第一视频流中的位置、大小和形状之后，则可以对第一视频流的完整视频画面进行“切割”，切割后得到若干个小的视频画面，其中每个切割后的M个小的视频画面，就是一个与会者的画面。

在得到M个视频画面后，根据用户的选择，对其中的N个视频画面进行大小、位置和形状等参数的调整，来对第一视频流中的视频画面进行重新布局，从而在维持视频会议对网络带宽的低消耗的前提下，提高视频会议中与会者视频的布局灵活度。

在本申请的一些实施例中，根据布局信息，在第一视频流中得到M个视频画面，包括：

根据形状信息、尺寸信息和顶点坐标信息，在第一视频流中，确定每个视频画面的画面边界；

根据画面边界，对第一视频流进行划分，得到第一视频流中包括的M个视频画面。

在本申请实施例中，在本申请实施例中，布局信息包括视频画面的形状信息、尺寸信息和顶点坐标信息，在得知每个视频画面，在第一视频流中的位置、大小和形状之后，则可以在第一视频流的完整视频画面中，对每一个单独的视频画面进行划分。

具体地，根据每个视频画面在第一视频流中的位置、大小和形状，对每个视频画面的画面边界进行确定。画面边界即每个视频画面的“外边”，根据视频画面的画面边界，对第一视频流进行划分，从而确定其中包括的全部M个视频画面，在用户终端播放第一视频流时，能够通过每个视频画面的边界快速定位到对应的视频画面，如选择某个与会者的ID后，系统快速定位到与之对应的视频画面，并对其进行自动适配，从而在维持视频会议对网络带宽的低消耗的前提下，提高视频会议中与会者视频的布局灵活度。

在本申请的一些实施例中，提供了一种视频处理方法，用于服务器，图3示出了根据本申请实施例的视频处理方法的流程图之二，如图3所示，方法包括：

步骤302，接收M个终端分别发送的第二视频流，其中M为大于1的正整数；

步骤304，对M个第二视频流进行合并处理，得到合并后的第一视频流；

步骤306，记录每个第二视频流在第一视频流中的布局信息；

步骤308，将布局信息添加至扩展报头，获得扩展报头信息；

步骤310，将第二视频流和扩展报头信息发送至终端。

在本申请实施例中，视频会议服务器接收来自与会者终端的第二视频流，第二视频流也即与会者终端拍摄的与会者的视频。在接收到不同终端分别发送的第二视频流后，视频会议服务器对其进行合并处理，即将多个第二视频流进行合并，从而得到合并后的第一视频流。

同时，在合并第二视频流的过程中，按照合并时的处理方法，记录每个第二视频流在第一视频流中的布局信息，布局信息包括第二视频流的识别信息、形状信息、尺寸信息和顶点坐标信息。其中，每一个识别信息均对应一个与会者的身份ID(Identification)，形状信息代表了第二视频流的形状，一般来说，多个第二视频流的形状均相同，优选为矩形。尺寸信息代表了第二视频流的大小，尺寸信息可以是基于像素点的尺寸信息，如某第二视频流的尺寸信息为320×480个像素点。顶点坐标信息，则是以第一视频流为基准建立坐标系，在第一视频流为基准的坐标系中，通过顶点坐标信息来确定第二视频流在第一视频流中的位置。

在向与会者终端推送第一视频流时，可以根据实时传输协议(RTP协议)，在第一视频流的头部，将上述布局信息形成为拓展头。在与会者终端接收到RTP信息后，可以从拓展头解析得到上述布局信息，然后根据该布局信息对播放的第一视频流的画面进行调整，如通过形状信息和顶点坐标信息，来对特定的第二视频流进行聚焦，又或者对第一视频流进行分割，从而将第一视频流再次分割为多个第二视频流，从而方便地对与会者的视频进行重新布局、拖动、放大、聚焦等布局操作。

具体地，举例来说，当与会者的画面，也即第二视频流为矩形的情况下，只需要知道该矩形画面的一个对角线的两个端点坐标(如左上角和右下角)，就可以推算出该第二视频流的画面尺寸和在第一视频流的位置，因此对于第二视频流为矩形的情况下，拓展头仅需记录第二视频流对应的与会者的ID和两个顶点坐标即可。其中，假设某与会者的ID为“#1”，其第一顶点坐标为“(x1，y1)”，第二顶点坐标为“(x2，y2)”，则拓展头中记录其布局信息为：#1：x1，y1；x2，y2。

进一步地，根据实时传输协议(Real-time Transport Protocol，RTP)，将布局信息和第一视频流一并发送至每一个与会的终端。终端在接收到第一视频流和布局信息后，能够根据布局信息调整第一视频流中，每一个单独视频的布局，也就是与会终端能够根据布局信息自由调整每一个与会者视频的位置和大小，从而在保证对带宽低消耗的前提下，提高视频会议中与会者视频的布局灵活度。

本申请提供的实施例，通过视频会议服务器，将来自不同与会终端的视频流信息进行整合，从而形成为一个包含全部与会者视频的整合视频流，并向每个与会者推送该视频流，而无需将全部与会者的视频流分别独立推送至与会终端，因此能够有效地降低视频会议对网络带宽的需求。同时，由于在对多个与会视频流(上述第二视频流)进行整合时，保留有每个与会者的视频，在整合后的完整视频流中的位置、尺寸等布局信息，因此在与会终端接收到视频会议服务器推送的完整视频流(上述第一视频流)后，能够对完整视频流中各与会者视频的位置、尺寸等进行重新布局，因此本申请实施例一方面降低了视频会议对网络带宽的消耗，另一方面还能提高视频会议中与会者视频的布局灵活度，进而提高网络视频会议的体验。

在本申请的一些实施例中，提供了一种视频处理装置，图4示出了根据本申请实施例的视频处理装置的结构框图之一，如图4所示，视频处理装置400包括：

第一接收单元402，用于接收会议服务器发送的第一视频流，其中，第一视频流包括视频信息以及扩展报头信息；

获取单元404，用于获取扩展报头信息中的布局信息；

确定单元406，用于根据布局信息，在第一视频流中得到M个视频画面，其中M为大于1的整数；

显示单元408，用于响应于第一输入，显示与第一输入对应的参数的M个视频画面。

在本申请实施例中，参与视频会议的与会者终端，实时接收来自会议服务器发送的第一视频流，其中，该第一视频流为整合了全部与会者视频的整合视频流。

在接收到第一视频流后，与会者终端根据实时传输协议(RTP协议)，首先在第一视频流中确定多个与会者视频在其中的布局信息，根据该布局信息，与会者终端能够在整合视频，也即第一视频流中，分离出多个视频画面，其中每个视频画面均为一个与会者终端的独立视频。

其中，视频服务器可以根据RTP协议，将上述布局信息形成为第一视频流的拓展头，与会者终端在接收到第一视频流后，通过拓展头获取对应的布局信息。

进一步地，与会者可根据自身喜好或参会需要，对多个视频画面进行重新布局。具体地，与会者终端接收与会者的第一输入，并根据与会者的第一输入，对多个视频画面在第一视频流中的布局状态进行调整，并显示与第一输入对应的参数的N个视频画面。

举例来说，图2示出了根据本申请实施例的视频流的布局示意图，如图2所示，共有4个与会者，分别为A、B、C和D，4个与会者将其各自的视频发送至会议服务器，由会议服务器对其进行合并，合并后当前的第一视频流是一个2×2的“田”字型矩形视频，如图2所示，其中，A位于左上角，B位于右上角，C位于左下角，D位于右下角。

A在接收到第三视频后，根据第三视频中的布局信息，能够对第三视频进行进一步的重新布局，比如将画面聚焦到A身上，此时，窗口中全屏显示A的画面，还可以将A、B、C、D进行重新排列，比如按照1×4的方式进行排列，最终得到A、B、C、D四个第四视频列为一排的视频布局，并进行播放。

本申请实施例在接收到会议服务器发送的视频流后，根据其中的布局信息，对整合视频中各与会者视频进行重新布局，从而在维持视频会议对网络带宽的低消耗的前提下，提高视频会议中与会者视频的布局灵活度。

在本申请的一些实施例中，布局信息包括视频画面对应的识别信息、形状信息、尺寸信息和顶点坐标信息；

确定单元406，还用于：响应于第一输入，显示与第一输入对应的参数的N个视频画面，包括：根据第一输入，确定目标识别信息，并对目标识别信息对应的形状信息、尺寸信息和顶点坐标信息中的至少一项进行修改，得到对应的目标形状、目标尺寸和目标位置；根据目标识别信息，在M个视频画面中，确定N个视频画面；

显示单元408，还用于根据目标形状、目标尺寸和目标位置，显示N个视频画面。

在本申请实施例中，布局信息包括视频画面的识别信息、形状信息、尺寸信息和顶点坐标信息，其中，每一个识别信息均对应一个与会者的身份ID(Identification)，也就是说，每个视频画面均于一个与会者映射。当前与会终端的与会者，在调整视频画面的布局状态时，通过选择输入选择某个与会者的ID，此时系统根据与会者的ID，在多个视频画面中，确定与被选择的与会者ID相对应的视频画面，并将其确定为N个视频画面中的一个。

形状信息代表了一个视频画面的形状，一般来说，多个视频画面的形状均相同，优选为矩形。尺寸信息代表了一个视频画面的大小，尺寸信息可以是基于像素点的尺寸信息，如某视频画面的尺寸信息为320×480个像素点。顶点坐标信息，则是以第一视频流为基准建立坐标系，在第一视频流为基准的坐标系中，通过顶点坐标信息来确定视频画面在第一视频流中的位置。

以视频画面的形状为矩形为例，在形状信息为矩形的情况下，只需要知道该矩形画面的一个对角线的两个端点坐标(如左上角和右下角)，就可以推算出该视频画面的画面尺寸和在第一视频流的位置，因此对于视频画面为矩形的情况下，仅需在拓展头中获取两个顶点坐标，即可得到该视频画面的尺寸、大小和在第一视频流中的位置。根据N个视频画面的形状、尺寸和位置，对N个视频画面进行显示，从而使得视频会议中与会者视频的布局更加灵活。

在本申请的一些实施例中，确定单元406还用于根据形状信息、尺寸信息和顶点坐标信息，针对第一视频流进行画面分割，获得分割后的M个视频画面。

在本申请实施例中，布局信息包括视频画面的形状信息、尺寸信息和顶点坐标信息，在得知每个视频画面，在第一视频流中的位置、大小和形状之后，则可以对第一视频流的完整视频画面进行“切割”，切割后得到若干个小的视频画面，其中每个切割后的M个小的视频画面，就是一个与会者的画面。

在得到M个视频画面后，根据用户的选择，对其中的N个视频画面进行大小、位置和形状等参数的调整，来对第一视频流中的视频画面进行重新布局，从而在维持视频会议对网络带宽的低消耗的前提下，提高视频会议中与会者视频的布局灵活度。

在本申请的一些实施例中，确定单元406还用于根据形状信息、尺寸信息和顶点坐标信息，在第一视频流中，确定每个视频画面的画面边界；

根据画面边界，对第一视频流进行划分，得到第一视频流中包括的M个视频画面。

在本申请实施例中，在本申请实施例中，布局信息包括视频画面的形状信息、尺寸信息和顶点坐标信息，在得知每个视频画面，在第一视频流中的位置、大小和形状之后，则可以在第一视频流的完整视频画面中，对每一个单独的视频画面进行划分。

具体地，根据每个视频画面在第一视频流中的位置、大小和形状，对每个视频画面的画面边界进行确定。画面边界即每个视频画面的“外边”，根据视频画面的画面边界，对第一视频流进行划分，从而确定其中包括的全部M个视频画面，在用户终端播放第一视频流时，能够通过每个视频画面的边界快速定位到对应的视频画面，如选择某个与会者的ID后，系统快速定位到与之对应的视频画面，并对其进行自动适配，从而在维持视频会议对网络带宽的低消耗的前提下，提高视频会议中与会者视频的布局灵活度。

在本申请的一些实施例中，提供了一种视频处理装置，用于服务器，图5示出了根据本申请实施例的视频处理装置的结构框图之二，如图5所示，视频处理装置500包括：

第二接收单元502，用于接收M个终端分别发送的第二视频流，其中，M为大于1的正整数；

合并单元504，用于对多个第二视频流进行合并处理，得到合并后的第一视频流；

记录单元506，用于记录每个第二视频流在第一视频流中的布局信息；将布局信息添加至扩展报头，获得扩展报头信息；

发送单元508，用于将第二视频流和扩展报头信息发送至终端。

在本申请实施例中，视频会议服务器接收来自与会者终端的第二视频流，第二视频流也即与会者终端拍摄的与会者的视频。在接收到不同终端分别发送的第二视频流后，视频会议服务器对其进行合并处理，即将多个第二视频流进行合并，从而得到合并后的第一视频流。

同时，在合并第二视频流的过程中，按照合并时的处理方法，记录每个第二视频流在第一视频流中的布局信息，布局信息包括第二视频流的识别信息、形状信息、尺寸信息和顶点坐标信息。其中，每一个识别信息均对应一个与会者的身份ID(Identification)，形状信息代表了第二视频流的形状，一般来说，多个第二视频流的形状均相同，优选为矩形。尺寸信息代表了第二视频流的大小，尺寸信息可以是基于像素点的尺寸信息，如某第二视频流的尺寸信息为320×480个像素点。顶点坐标信息，则是以第一视频流为基准建立坐标系，在第一视频流为基准的坐标系中，通过顶点坐标信息来确定第二视频流在第一视频流中的位置。

在向与会者终端推送第一视频流时，可以根据实时传输协议(RTP协议)，在第一视频流的头部，将上述布局信息形成为拓展头。在与会者终端接收到RTP信息后，可以从拓展头解析得到上述布局信息，然后根据该布局信息对播放的第一视频流的画面进行调整，如通过形状信息和顶点坐标信息，来对特定的第二视频流进行聚焦，又或者对第一视频流进行分割，从而将第一视频流再次分割为多个第二视频流，从而方便地对与会者的视频进行重新布局、拖动、放大、聚焦等布局操作。

具体地，举例来说，当与会者的画面，也即第二视频流为矩形的情况下，只需要知道该矩形画面的一个对角线的两个端点坐标(如左上角和右下角)，就可以推算出该第二视频流的画面尺寸和在第一视频流的位置，因此对于第二视频流为矩形的情况下，拓展头仅需记录第二视频流对应的与会者的ID和两个顶点坐标即可。其中，假设某与会者的ID为“#1”，其第一顶点坐标为“(x1，y1)”，第二顶点坐标为“(x2，y2)”，则拓展头中记录其布局信息为：#1：x1，y1；x2，y2。

进一步地，根据实时传输协议(Real-time Transport Protocol，RTP)，将布局信息和第一视频流一并发送至每一个与会的终端。终端在接收到第一视频流和布局信息后，能够根据布局信息调整第一视频流中，每一个单独视频的布局，也就是与会终端能够根据布局信息自由调整每一个与会者视频的位置和大小，从而在保证对带宽低消耗的前提下，提高视频会议中与会者视频的布局灵活度。

本申请提供的实施例，通过视频会议服务器，将来自不同与会终端的视频流信息进行整合，从而形成为一个包含全部与会者视频的整合视频流，并向每个与会者推送该视频流，而无需将全部与会者的视频流分别独立推送至与会终端，因此能够有效地降低视频会议对网络带宽的需求。同时，由于在对多个与会视频流(上述第二视频流)进行整合时，保留有每个与会者的视频，在整合后的完整视频流中的位置、尺寸等布局信息，因此在与会终端接收到视频会议服务器推送的完整视频流(上述第一视频流)后，能够对完整视频流中各与会者视频的位置、尺寸等进行重新布局，因此本申请实施例一方面降低了视频会议对网络带宽的消耗，另一方面还能提高视频会议中与会者视频的布局灵活度，进而提高网络视频会议的体验。

本申请实施例中的视频处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的视频处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的视频处理装置能够实现上述方法实施例实现的各个过程，为避免重复，这里不再赘述。

在本申请的一个完整实施例中，图6示出了根据本申请实施例中视频会议的交互示意图，如图6所示，多个终端分别拍摄视频并上传至会议服务器，会议服务器对视频进行合并处理，并返回合并后的完整视频到每一个终端。在合并过程中，会议服务器保留每个单独与会者视频在整合视频中的布局信息，并作为整合视频流的拓展头，发送至终端。

终端在接收到完整视频后，根据拓展头中的布局信息，对整合画面进行分割，如图2所示，最终得到每个与会者单独的视频。

具体过程包括：

第一步，获取各个与会终端上传的视频流。具体地，与会者通过终端拨号加入会议，在加入会议成功后，把本地视频流(一般为摄像头)上传到会议服务器。

第二步，会议服务器在收到与会者的视频流后，同其他与会者的视频流通过MCU方式合并后下发到与会者的终端。在这个过程中，MCU分别将传入的视频流进行解码，之后将解码后的流进行混流，然后再编码，再将编码后的整合视频流数据再分发各终端。

第三步，在下发视频流的RTP扩展头中增加上与会者画面的布局信息。布局信息具体为与会者视频在MCU混流后的描述信息。包括与会者的画面的形状信息、尺寸信息、顶点坐标信息和与会者的ID信息。

具体可以定义为如下格式：与会者ID1：顶点1横坐标，顶点1纵坐标；顶点2横坐标，顶点2纵坐标……顶点x横坐标，顶点x纵坐标。

多个与会者描述信息以#分隔。例如有3个与会者时，与会者合并的布局为2+2，每个与会者的画面为一个小的矩形，则RTP扩展头信息可以为：

#1：0，0；45，90；#2：0，90；45，180；#3：45，45；90，135。

合成信息由系统根据与会者人数以及合成画面顺序自动添加到RTP扩展头。在与会者进入或者退出会议时自动更新合成信息，达到实时动态调整。

第四步，与会者终端在收到RTP信息后，从扩展头解析出画面的合成信息。然后根据合成信息进行画面的切割。根据RTP头信息，获取到与会者画面的坐标点后，调用图像切割API进行图像切割(可以使用opencv开源计算机视觉库进行图像切割)。

第五步，终端还根据自身的布局需求，通过切割后的画面对布局进行填充。填充的主要方法是计算原始图片与目标布局位置的长宽比，在不失真情况下等比例放大或缩小原始图片。获取到切割后的画面后，将画面进行重新布局，采用自适应方法将画面填充到整个屏幕。

第六步，对于聚焦需求，终端只需要把切割后的画面与用户指定的与会者相关联，并把关联上的画面进行放大显示就可以了。

本申请实例能够使与会者在MCU下既节省带宽，又可以满足个性化的布局以及聚焦单个与会者的需求，间接达到多视频流效果。

本申请实施例中，终端侧也可以不进行画面切割，具体地，终端在收到视频后及扩展头信息后，处理方式有两种：

方式1是根据当前布局进行自适应，比如会议中当前画布只有两个人，但是画布布局是2×2，2个画面无法填满4个画布，此时，画布自适应为2×1的布局，能够完美全屏显示。

方式2是据用户操作自动进行画布移动，并将移动后展示的画面放大显示，比如监听用户在当前屏幕的操作，当用户双击某个与会者的视频，则将该与会者的视频单独放大展示，如放大至全屏显示。

可选地，本申请实施例还提供一种第一电子设备700，图7示出了根据本申请实施例的第一电子设备的结构框图，如图7所示，包括第一处理器702，第一存储器704，存储在第一存储器704上并可在第一处理器702上运行的程序或指令，该程序或指令被第一处理器702执行时实现上述应用于终端的视频处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

可选地，本申请实施例还提供一种第二电子设备800，图8示出了根据本申请实施例的第二电子设备的结构框图，如图8所示，包括第二处理器802，第二存储器804，存储在第二存储器804上并可在第二处理器802上运行的程序或指令，该程序或指令被第二处理器802执行时实现上述应用于服务器的视频处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图9为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备2000包括但不限于：射频单元2001、网络模块2002、音频输出单元2003、输入单元2004、传感器2005、显示单元2006、用户输入单元2007、接口单元2008、存储器2009、以及处理器2010等部件。

本领域技术人员可以理解，电子设备2000还可以包括给各个部件供电的电源2011(比如电池)，电源2011可以通过电源管理系统与处理器2010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，输入单元2004用于接收会议服务器发送的第一视频流，其中，所述第一视频流包括视频信息以及扩展报头信息；

处理器2010用于获取所述扩展报头信息中的布局信息；根据所述布局信息，在所述第一视频流中得到M个视频画面，其中M为大于1的整数；

显示单元2006用于响应于第一输入，显示与第一输入对应的参数的N个视频画面，其中，N小于或等于M。

可选地，布局信息包括视频画面对应的识别信息、形状信息、尺寸信息和顶点坐标信息；

处理器2010还用于根据第一输入，确定目标识别信息，并对目标识别信息对应的形状信息、尺寸信息和顶点坐标信息中的至少一项进行修改，得到对应的目标形状、目标尺寸和目标位置；根据目标识别信息，在M个视频画面中，确定N个视频画面；

显示单元2006还用于根据目标形状、目标尺寸和目标位置，显示N个视频画面。

可选地，处理器2010还用于根据形状信息、尺寸信息和顶点坐标信息，针对第一视频流进行画面分割，获得分割后的M个视频画面。

可选地，处理器2010还用于根据形状信息、尺寸信息和顶点坐标信息，在第一视频流中，确定每个视频画面的画面边界；

根据画面边界，对第一视频流进行划分，得到第一视频流中包括的M个视频画面。

应理解的是，本申请实施例中，输入单元2004可以包括图形处理器(GraphicsProcessing Unit，GPU)5082和麦克风5084，图形处理器5082对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。

显示单元2006可包括显示面板5122，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5122。用户输入单元2007包括触控面板5142以及其他输入设备5144。触控面板5142，也称为触摸屏。触控面板5142可包括触摸检测装置和触摸控制器两个部分。其他输入设备5144可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器2009可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器2010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器2010中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种视频处理方法，应用于终端，其特征在于，包括：

接收会议服务器发送的第一视频流，其中，所述第一视频流包括视频信息以及扩展报头信息；

获取所述扩展报头信息中的布局信息；

根据所述布局信息，在所述第一视频流中得到M个视频画面，其中M为大于1的整数；

响应于第一输入，显示与所述第一输入对应的参数的N个视频画面，其中，N小于或等于M。

2.根据权利要求1所述的视频处理方法，其特征在于，所述布局信息包括所述视频画面对应的识别信息、形状信息、尺寸信息和顶点坐标信息；

所述响应于第一输入，显示与所述第一输入对应的参数的N个视频画面，包括：

根据所述第一输入，确定目标识别信息，并对所述目标识别信息对应的所述形状信息、所述尺寸信息和所述顶点坐标信息中的至少一项进行修改，得到对应的目标形状、目标尺寸和目标位置；

根据所述目标识别信息，在M个所述视频画面中，确定所述N个视频画面；

根据所述目标形状、目标尺寸和目标位置，显示所述N个视频画面。

3.根据权利要求2所述的视频处理方法，其特征在于，所述根据所述布局信息，在所述第一视频流中得到M个视频画面，包括：

根据所述形状信息、所述尺寸信息和所述顶点坐标信息，针对所述第一视频流进行画面分割，获得分割后的M个所述视频画面。

4.根据权利要求2所述的视频处理方法，其特征在于，所述根据所述布局信息，在所述第一视频流中得到M个视频画面，包括：

根据所述形状信息、所述尺寸信息和所述顶点坐标信息，在所述第一视频流中，确定每个所述视频画面的画面边界；

根据所述画面边界，对所述第一视频流进行划分，得到所述第一视频流中包括的M个所述视频画面。

5.一种视频处理方法，应用于服务器，其特征在于，包括：

接收M个终端分别发送的第二视频流，其中，M为大于1的正整数；

对M个所述第二视频流进行合并处理，得到合并后的第一视频流；

记录每个所述第二视频流在所述第一视频流中的布局信息；

将所述布局信息添加至扩展报头，获得扩展报头信息；

将所述第二视频流和所述扩展报头信息发送至所述终端。

6.一种视频处理装置，应用于终端，其特征在于，包括：

第一接收单元，用于接收会议服务器发送的第一视频流，其中，所述第一视频流包括视频信息以及扩展报头信息；

获取单元，用于获取所述扩展报头信息中的布局信息；

确定单元，用于根据所述布局信息，在所述第一视频流中得到M个视频画面，其中M为大于1的整数；

显示单元，用于响应于第一输入，显示与所述第一输入对应的参数的N个视频画面，N小于或等于M。

7.一种视频处理装置，应用于服务器，其特征在于，包括：

第二接收单元，用于接收M个终端分别发送的第二视频流，其中，M为大于1的正整数；

合并单元，用于对多个所述第二视频流进行合并处理，得到合并后的第一视频流；

记录单元，用于记录每个所述第二视频流在所述第一视频流中的布局信息；将所述布局信息添加至扩展报头，获得扩展报头信息；

发送单元，用于将所述第二视频流和所述扩展报头信息发送至所述终端。

8.一种第一电子设备，其特征在于，包括第一处理器，第一存储器及存储在所述第一存储器上并可在所述第一处理器上运行的程序或指令，所述程序或指令被所述第一处理器执行时实现如权利要求1至4中任一项所述方法的步骤。

9.一种第二电子设备，其特征在于，包括第二处理器，第二存储器及存储在所述第二存储器上并可在所述第二处理器上运行的程序或指令，所述程序或指令被所述第二处理器执行时实现如权利要求5所述方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至5中任一项所述方法的步骤。

Images