CN116074467A - 一种音视频控制方法、处理单元及系统 - Google Patents

Abstract

本发明公开了一种音视频控制方法、单元及系统，提供了一种动态灵活的方式进行分屏显示，可以大大提供分屏的灵活性，提高用户操作和使用效率，减少对于多个界面的跳转等操作。

Description

一种音视频控制方法、处理单元及系统

技术领域

本发明涉及音视频通信领域，尤其涉及一种音视频控制方法、单元及系统。

背景技术

传统的视频会议系统包括视频会议服务器(简称MCU，或MCU多点控制器)、视频会议终端、网关、摄像头、麦克风、显示装置等几个部分。各种不同的终端都连入MCU进行集中交换，组成一个视频会议网络。此外，语音会议系统可以让所有桌面用户通过PC参与语音会议，传统的视频会议采用WEB界面形式，但随着MCU中操作功能的增加，通过WEB界面操作时会增加操作的复杂度，并且对于MCU中用户及会议状态的查看并不是很直观方便，比如多个界面的跳转增加了用户的跳转操作效率不高。随着MCU中的会议及用户资源的增多，查看会议及用户时会更加的不便，现有的WEB界面，传统的MCU已经不能满足日益增长的用户需求。

发明内容

有鉴于此，本发明的目的在于提出一种音视频控制方法、单元及系统。

为达此目的，本发明采用以下技术方案：

根据本申请的一个方面，提供了一种音视频控制方法，包括：

接收音视频客户端的分屏请求；

根据所述分屏请求获得对应的动态数组，所述动态数组包含每块分屏对应参考点的位置比例和长度比例；

根据所述位置比例和长度比例，以及音视频客户端显示区域的大小处理为每块分屏在音视频客户端对应的坐标及长度；

将每块分屏显示在所述音视频客户端上。

可选的，接收音视频客户端的分屏请求可以包括：

接收音视频客户端根据MCU发送的分屏选项选定的分屏请求；

或者音视频客户端自定义的分屏请求。

可选的，根据所述分屏请求获得对应的动态数组，所述动态数组包含每块分屏对应参考点的位置比例和长度比例可包括：

根据所述分屏请求获知分屏的数量n及对应的每块分屏的比例；

根据所述分屏的数量n及每块分屏的比例处理动态数组：

其中：1≤m≤n

x_m：第m块分屏的起始点位置在x坐标方向所占的比例数；S_x:x坐标方向总比例数；

y_m:第m块分屏的起始点位置在y坐标方向所占的比例数；S_y:y坐标方向总比例数；

Lx_m:第m块分屏的从起始点开始x坐标方向所占的长度比例数；SL_x:x坐标方向总长度比例数；

Ly_m:第m块分屏的从起始点开始y坐标方向所占的长度比例数；SL_y:y坐标方向总长度比例数。

可选的，根据所述分屏请求获得对应的动态数组，所述动态数组包含每块分屏对应参考点的位置比例和长度比例还可以包括：

根据所述分屏请求获知分屏的数量n及对应的每块分屏的比例；

根据所述分屏的数量n及每块分屏的比例处理动态数组：

其中：1≤m≤n

x_m/S_Xm:第m块分屏的起始点位置在x坐标方向所占的比例；

y_m/S_ym:第m块分屏的起始点位置在y方向所占的比例；

Lx_m/SL_xm:第m块分屏从起始点开始，x方向所占屏幕的长度比例；

Ly_m/SL_ym:第m块分屏从起始点开始，y方向所占屏幕的长度比例。

进一步的，根据所述位置比例和长度比例，以及音视频客户端显示区域的大小处理为每块分屏在音视频客户端对应的坐标及长度可包括:

根据所述音视频客户端显示界面的大小获知显示x方向总长度W及y方向总长度H；

根据所述动态数组的位置比例及长度比例计算每块分屏对应的起始点坐标及所占空间：

第m块分屏的起始点坐标及所占空间：

x方向坐标：x_m/S_xm*W；

y方向坐标：y_m/S_ym*H；

x方向所占长度:Lx_m/SL_xm*W；

y方向所占长度:Ly_m/SL_ym*H，其中：1≤m≤n。

其中参考点可以为屏幕的四个顶点：左顶点、左底点、右顶点或者右底点。

可选的，还可以接收所述音视频客户端的特定请求，将指定的用户添加至对应的分屏区域。

根据本申请的另一个方面，提供了一种音视频控制处理单元，包括：

消息处理模块，用于根据接收的音视频客户端的触发请求，进行消息处理，其中所述触发请求包含分屏请求，所述消息处理包括：根据所述分屏请求处理成对应的动态数组，所述动态数组包含每块分屏对应参考点的位置比例和长度比例；

数据处理模块，用于对所述动态数组进行数据处理，根据音视频客户端显示区域的大小处理成每块分屏在音视频客户端对应的坐标及长度。

根据本申请的另一个方面，提供了一种音视频控制系统，包括显示模块，存储模块，处理单元及收发模块，其中：

所述显示模块，用于接收客户端的触发行为对应的触发请求，并发送处理单元；

所述收发模块，用于处理单元及MCU间的通信；

所述处理单元，用于对显示模块及所述收发模块进行消息处理或者数据处理；

所述存储模块，用于将所述处理单元处理的数据进行存储及更新，或通过显示模块进行数据显示。

可选的，所述处理单元包括：

消息处理模块，用于接收音视频客户端的触发请求，并进行消息处理，其中所述触发请求包含分屏请求，所述消息处理包括：根据所述分屏请求处理成对应的动态数组，所述动态数组包含每块分屏对应参考点的位置比例和长度比例；

数据处理模块，用于对所述动态数组进行处理，根据音视频客户端显示区域的大小处理成每块分屏在音视频客户端对应的坐标及长度。

本发明提出的音视频控制方法、处理单元及系统，提供了一种动态灵活的方式进行分屏显示，由于将分屏结构通过包含位置比例和长度比例的动态数组结构，动态的显示出来，可以大大提供分屏的灵活性，提高用户使用效率。并且，可以将分屏的触发请求通过动态数组进行存储并根据实际屏幕计算出对应的分屏，从而可以灵活的显示各种需求的分屏请求，并进一步可以根据特定需求进行特定用户的分屏区域，比如将指定的用户添加至对应的分屏区域，由此极大的减少对于多个界面的跳转等操作，提高效率和节省时间。

本申请还进一步提供了音视频控制系统，进行各模块的联合工作和处理，提高分屏使用效率，可以应用于APP，并查看MCU中会议及各种用户资源的状态，并提供允许操作人员对于整个会议或者某个客户端进行画面查看的方法及流程，提高操作者的操作效率，便于更好的调度MCU中各个会议或各个用户。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明一方面提出的音视频控制系统及控制处理单元实施例一示意图；

图2是本发明另一方面提出的音视频控制方法实施例一示意图；

图3是本发明另一方面提出的音视频控制方法实施例二解析示意图；

图4是本发明另一方面提出的音视频控制方法实施例三解析示意图；

图5是本发明另一方面提出的音视频控制方法实施例四解析示意图；

图6是本发明一方面提出的音视频控制系统的实施例二示意图；

图7是本发明一方面提出的音视频控制系统实施例三结构示意图；

图8是本发明一方面提出的音视频控制系统实施例四结构示意图；

图9是本发明一方面提出的音视频控制系统的实施例五示意图；

图10是本发明一方面提出的音视频控制系统的实施例六示意图；

图11是本发明一方面提出的音视频控制系统的实施例七示意图；

图12是本发明一方面提出的音视频控制系统的实施例八示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1是本发明一方面提出的音视频控制系统及处理单元实施例一示意图，如图1所示，本实施例系统包括：显示模块，存储模块，音视频控制处理单元及收发模块，这几个模块、单元可以联合进行工作，处理各种操作。

其中，音视频控制处理单元包括：消息处理模块、数据处理模块。

显示模块，通过显示界面去显示MCU中会议及用户的状态；可以接收音视频客户端操作者的操作行为，比如各种触发请求，将消息传递给消息处理模块，进行消息的封装。

消息收发模块，用于接收到消息处理模块封装好的消息，并将消息通过网络发送给MCU；当接收MCU返回的消息后，将消息传递给消息处理模块，进行消息的拆分处理及数据处理与存储等；

消息处理模块，用于接收到音视频客户端操作后传递的消息，组合成相应格式的消息，封装起来，将其加入到发生消息队列中，由消息收发模块进行消息的发送；收发模块接收到MCU传递的消息后，将消息给到消息处理模块，消息处理模块将消息拆分，进行对应的处理，进行分类操作，得到想要的操作结果，比如可以根据触发的分屏请求处理成对应的动态数组，动态数组包含每块分屏对应参考点的位置比例和长度比例，具体可参见后续方法实施例相关说明；

数据处理模块，用于接收到由消息处理模块各种处理的数据，对于给到的数据处理为显示与存储所需要的样式，比如对消息处理模块中的动态数组进行数据处理，根据音视频客户端显示区域的大小处理成每块分屏在音视频客户端对应的坐标及长度，具体可参见后续方法实施例相关说明；

数据存储模块，用于将显示模块及处理单元所用到的数据进行统一，更好的将数据传输，减少数据状态的转换，将数据存储到内存中，用到时可快捷的使用。

图1系统中各个模块的相互作用及交互流程可参见后续系统图6-图12的相关说明。

下面通过图2-图5对本申请的音视频控制方法及图1系统中消息处理及数据处理中的动态数组如何进行对应处理、存储等进行举例说明。

图2是本发明另一方面提出的音视频控制方法实施例一示意图。如图2所示，本实施例包括：

S01：接收音视频客户端的分屏请求，根据分屏请求获得对应的动态数组，该动态数组包含每块分屏对应参考点的位置比例和长度比例；参考点可以是音视频显示客户端对应的四个顶点中其一；

S102:根据位置比例和长度比例，以及音视频客户端显示区域的大小处理为每块分屏在音视频客户端对应的坐标及长度；

S103：将每块分屏显示在所述音视频客户端上。

下面结合图1及图3-5进行解释说明。如图1：

显示模块在客户端发生操作时，会触发相应的行为，将触发请求传递给消息处理模块，交给消息处理模块进行处理；

消息处理模块可以接收显示模块发送的触发行为，并拼接为对应的消息传递给消息收发模块。

消息收发模块负责与MCU之间的通信，将接收到消息处理模块拼接好的消息发送给MCU；接收由MCU传递的消息，并将其传递给消息处理模块进行处理。

通过消息处理模块，将消息的类型及需要的操作整理出来，并将数据，传递给数据处理模块，将数据处理为需要的类型。

数据处理模块将数据处理之后，将已经转为需要格式的数据传递给数据存储模块，存在内存中，方便快速获取。

当数据存储模块中数据发送变更时，显示模块会根据所变更的数据，对于显示界面做出相对应的修改。

下面对本申请的音视频控制方法、单元和系统中进行分屏的过程及根据动态数组进行处理、存储等相应处理进行举例说明：

(1)、由于现有的分屏模式都是固定的模板，并不可以灵活修改，无法更加灵活的对于进行分屏显示。图3-图5实施例提供一种动态且灵活的方式，将分屏结构通过动态数组结构，动态的显示出来，提高分屏的灵活性，可以通过相同的方式，定制出相对应的图标按钮，用户可通过点击，去选择需要的样式。同时，也避免了如之前分屏设置用户一样的点击选择，本实施例可支持如图5一样通过拖拽的方式将所需要的特点用户放入指定的区域进行显示。

本发明以动态数组的方式对显示界面进行分屏显示，不像现有的固定的样式对于分屏结构进行绘制。本发明的动态数组中包含：相对参考点的位置比例以及长度比例。一方面，通过动态数组可以计算出每块分屏的大小位置等，同时，还可以通过拖拽的方式，如图5将指定的用户加到指定的区域之中进行分屏。另一方面，可以通过数据进行计算，自定义出分屏图标，提供给使用者进行点击选择分屏的样式，比如MCU提供分屏选项，客户端根据MCU发送的分屏选项选定分屏请求。当然，还可通过操作者对客户端操作进行自定义分屏，从而实现自定义分屏的效果，比如想分成几块屏，每块屏占的大小等，均可以采用自定义的方式，不再采用固定的样式，提高使用灵活度。

如图3所示，为本发明另一方面提出的音视频控制方法实施例二解析示意图，图3为分屏显示举例，计算某块分屏的起始点(M点)的坐标及长度的示意图。

动态数组的实施例一：

假设分屏请求需要分成n块屏幕，每块分屏对应的比例(位置比例和长度比例)根据触发的分屏请求可相应获得，则处理后的动态数组为：

其中：1≤m≤n

x_m：第m块分屏的起始点在x坐标方向所占的比例数S_x:x坐标方向总比例数；

y_m:第m块分屏的起始点y坐标方向所占的比例数S_y:y坐标方向总比例数；

Lx_m:从第m块分屏的起始点位置开始x坐标方向所占的长度比例

SL_x:x坐标方向总长度比例数；

Ly_m:从第m块分屏的从起始点位置开始y坐标方向所占的长度比例SL_y:y方向总长度比例数。

上述举例以把整个屏幕在x、y方向分成若干份总比例，然后每块分屏起始点在x、y方向的坐标所占的比例数，即对应的位置比例数，以及此块分屏起始点开始长度在x、y方向所占的比例数，从而可以计算获得每块分屏的起始点坐标及所占空间：

x方向坐标：x_m/S_x*W；

y方向坐标：y_m/S_y*H；

x方向所占长度:Lx_m/SL_x*W；

y方向所占长度:Ly_m/SL_y*H；

其中W为显示界面的x坐标方向总长度，H为显示界面的y坐标方向总长度，也称y方向的总宽度H。

动态数组实施例二举例：

如图3所示的分屏显示实施例，通过另一种动态数组方式计算第m块分屏的起始点M的坐标，及第m块分屏的x、y方向的长度示意图。

同样，根据分屏请求获得对应的动态数组，动态数组包含每块分屏对应参考点的位置比例和长度比例包括：

根据分屏请求获知分屏的数量n及对应的每块分屏的比例；

根据分屏的数量n及每块分屏的比例处理动态数组：

其中：1≤m≤n

x_m/S_xm:第m块分屏的起始点在x方向所占的比例；

y_m/S_ym:第m块分屏的起始点在y方向所占的比例；

Lx_m/SL_xm:第m块分屏从起始点开始x方向所占屏幕的长度比例；

Ly_m/SL_ym:第m块分屏从起始点开始y方向所占屏幕的长度比例。

此动态数组的第m块分屏包含四个数组：{x_m,S_xm}，{y_m,S_ym}，{Lx_m,SL_xm}，{Ly_m,SL_ym}

这里，只需要知道x_m/S_xm、y_m/S_ym、Lx_m/SL_xm、Ly_m/SL_ym四个比例即可，不需要知道整个屏幕分成的总比例数。

例如，举例来说，某m块分屏的起始点x方向坐标位于总屏幕的1/3处，第n块分屏的起始点x方向坐标位于总屏幕的3/4处，

按照动态数组一的存储及处理方式：会存储m、n的x方向起始点分别为(4,12)&(9,12)。

按照动态数组二的存储及处理方式：会存储m、n的x方向起始点分别为(1,3)&(3,4)即可。

无论那种方式，x方向的位置比例均是一致的，动态数组一的方式更统一、简洁、直观；但是动态数组二不需要分成总比例数，不需要数据上的通分，每块分屏对于屏幕的总比例可以独立，不需要统一分成同样的总比例数，更简单一些，也计算更方便，节省效率。

按照第二种动态数组方式，根据动态数组的位置比例及长度比例计算每块分屏对应的坐标及所占空间：如图3所示，假设参考点为左下面的左底顶点为(0，0)，则第m块分屏的起始点M的坐标及第m块分屏所占空间：

x方向坐标：x_m/S_xm*W；

y方向坐标：y_m/S_ym*H；

x方向所占长度:Lx_m/SL_xm*W；

y方向所占长度:Ly_m/SL_ym*H。

需要说明的是，在进行分屏处理时，并非为传统意义上的坐标系的正负方向，我们将其视为一块屏幕，任意四个顶点均可作为为参考点(0，0)，然后其余的分屏的起始点相对于此参考点的位置及长度比例均为正向，当然还可以将其他点作为参考点，比如屏幕中心，但其他点相对与参考点就会有正负方向区分，不如采用四个顶点作为参考点简单直观。整体思路就是采用顶点作为参考点，根据每块分屏相对x、y方向的位置比例即可获得每个分屏的起始点坐标，然后根据长度比例获得每块分屏的x、y方向的长度，由此这块分屏的区域即可固定。

图4是本发明另一方面提出的音视频控制方法实施例三解析示意图。如图4为另一种分屏举例，将显示界面分为6分屏，本实施例以左上顶点为参考点(0，0)，①分屏起始点就是参考点，因此起始点位置比例都是0，x方向长度占x方向界面总长度的2/3,y方向长度同样占y方向界面总长度的2/3；则如图所示①②…⑥,6块分屏用动态数组表示分别为：

通过上述动态数组的位置比例和长度比例，以及显示区域x方向总长度W为1960，y方向总长度H为1080，计算得到的分屏样式，并对每块屏进行排序，其计算过程如下：

第一块①号分屏坐标：x:0；y:0；

长度：x方向:1960*2/3；y方向:1080*2/3；

第二块②号分屏坐标x:1960*2/3；y:0；

长度：x方向:1960*1/3；y方向:1080*1/3；

第三块③号分屏坐标x:1960*2/3；y:1080*1/3；

长度：x方向:1960*1/3；y方向:1080*1/3；

第四块④号分屏坐标x:0；y:1080*2/3；

长度：x方向:1960*1/3；y方向:1080*1/3；

第五块⑤号分屏坐标x:1960*1/3；y:1080*2/3；

长度：x方向:1960*1/3；y方向:1080*1/3；

第六块⑥号分屏坐标x:1960*2/3；y:1080*2/3；

长度：x方向:1960*1/3；y方向:1080*1/3。

图5是本发明另一方面提出的音视频控制方法实施例四解析示意图。如图5所示，分屏界面左侧为用户区域，右侧为分屏显示区域。用户在音视频客户端侧可根据箭头所示，通过拖拽的方式将用户放入指定的分屏区域中。提高了分屏显示的灵活度，提供了定制化的图标供用户选择，不再像之前需要通过固定的样式进行分屏设置。

上述分屏请求也可以根据客户端自定义的方式进行分屏的区域划分，当然也支持MCU提供多种分屏选项，客户端选定分屏请求并将特定或指定的用户拖曳进对应区域，减少现有技术中对于多个界面的跳转等操作，提高效率和节省时间。

通过上述图2-图5，对音视频控制方法进行了举例说明，这些动态数组具体的计算处理及存储过程均可以通过图1的音视频控制处理单元进行处理。

图6是本发明一方面提出的音视频控制系统的实施例二示意图，如图6所示，本实施例提供一种客户端通过对于显示界面进行点击操作，进而产生的一系列的模块联动的流程。

步骤1：通过点击显示界面上的按钮，触发对应的消息事件；

步骤2：该消息事件，发送到消息处理模块，通过相对应的处理方法，将其封装为对应的消息内容，如有触发分屏请求消息时可参见图2-图5相关说明，不再赘述；

步骤3：封装好消息后，将消息加入到消息收发模块中的消息发送队列；

步骤4：通过网络层，向MCU发送消息；

步骤5：MCU接收并处理消息后，会返回相对应的结果消息，由消息收发模块进行接收；

步骤6：消息收发模块接收到消息后，传递给消息处理模块，通过预定的相关处理操作，将消息进行处理；

例如：拖拽开启会议。通过将用户拖拽到指定区域，进行会议的开启。预定的相关处理包括：

将会议的开启时间，周期，开会模式，音视频格式，默认的分屏样式等，封装起来。待拖拽入用户后，随机生成会议ID，将参与的用户加入其中，发送命令，通知MCU(视频会议服务器)进行开会；

步骤7：消息处理过程中，会调用数据处理模块共同对消息进行拆解，并处理为需要的数据格式，比如动态数组的相关格式，可参见图2-图5相关说明，不再赘述；

步骤8：消息处理之后，将处理好的数据结构发送给数据存储模块存储到内存之中。

步骤9：数据变更后，会通知显示模块进行界面显示的修改或刷新。

至此，一次按钮点击事件的处理及模块之间的联动完成。

图7是本发明一方面提出的音视频控制系统实施例三结构示意图，如图7所示，提供一种当会议状态发生变更后，由MCU主动告知数据变更，去查看变更内容的流程实施例，包括：

步骤1：消息收发模块接收到MCU推送的某个会场相关状态发生变更的消息；

步骤2：将消息传递给消息处理模块进行处理；

步骤3：判定为会场某个状态发生变更后，封装对应的消息，并将消息添加到消息发送队列中；

步骤4：通过网络层，将该消息发送给MCU；

步骤5：消息收发模块接收到返回的消息；

步骤6：继续传递给消息处理模块，并进行消息的处理；

步骤7：找到对应的会议数据，并在数据处理模块中，对于变更的数据做出相对应的修改；

步骤8：变更后的数据存入数据存储模块中；

步骤9：显示模块收到数据变更的信息，变更显示界面。

图8是本发明一方面提出的音视频控制系统实施例四结构示意图，图8提供一种根据MCU默认模板进行会议快速开启的方法，通过将用户拖拽到指定开启会议区域，进行会议创建。

步骤1：在显示模块中，点击用户并将其拖拽到会议部分指定的用于快速创建会议的区域；

步骤2：将消息传递给消息处理模块进行处理；

步骤3：通过默认的模板信息及拖拽进来的用户，进行一个依据默认模板封装而成的消息；

步骤4：通过网络层，将该消息发送给MCU；

步骤5：消息收发模块接收到返回的消息；

步骤6：继续传递给消息处理模块，并进行消息的处理；

步骤7：找到对应的会议数据，并在数据处理模块中，对于新增的会议做出相对应的变更；

步骤8：存储新召开的会议的相关消息；

步骤9：数据变更，通知显示模块，对于显示界面做出相对应的修改。

至此，一次通过拖拽用户进行会议的快速召开的流程结束。

图9是本发明一方面提出的音视频控制系统的实施例五示意图，本实施例是拖拽创建点对点会话的流程举例，提供一种对于点对点会话的召开，通过对于用户的拖拽，更快捷的实现点对点会话的创建。

步骤1：在显示模块中，点击主叫用户并将其拖拽到指定区域中；

步骤2：在显示模块中，点击被叫用户并将其拖拽到指定区域中；

步骤3：将消息传递给消息处理模块进行处理；

步骤4：通过主叫与被叫用户，封装成指定的创建点对点会话的消息；

步骤5：通过网络层，将该消息发送给MCU；

步骤6：消息收发模块接收到返回的消息；

步骤7：继续传递给消息处理模块，并进行消息的处理；

步骤8：找到对应的点对点会话数据，并在数据处理模块中，对于新增的点对点会话做出相对应的变更；

步骤9：存储新开启的点对点会话的相关消息；

步骤10：数据变更，通知显示模块，对于显示界面做出相对应的修改。

至此，一次点对点会话的创建流程结束。

图10是本发明一方面提出的音视频控制系统的实施例六示意图；本实施例是点对点会话的强插进行举例说明，可以快捷的实现用户插入会话。(强插：当有优先级更高的用户需要与其中某个用户通话时，保持会话更换会话中用户的操作)

步骤1：在显示模块中，点击用户3(需要强插的用户)拖拽到已经有的点对点会话中，替换掉用户1；

步骤2：将消息传递给消息处理模块进行处理；

步骤3：点对点会话及强插的用户，封装成指定的强插点对点会话的消息；

步骤4：通过网络层，将该消息发送给MCU；

步骤5：消息收发模块接收到返回的消息；

步骤6：继续传递给消息处理模块，并进行消息的处理；

步骤7：找到对应的点对点会话数据，并在数据处理模块中，对于点对点会话信息做出相对应的变更；

步骤8：变更对应的点对点会话相关消息；

步骤9：数据变更，通知显示模块，对于显示界面做出相对应的修改。

至此，一次对于点对点会话的强插流程结束。

图11是本发明一方面提出的音视频控制系统的实施例七示意图，本实施例是MCU查看客户端画面的举例说明，提供一种对于会议中使用的客户端的本地画面的预览过程。通过点击显示界面上的按钮，建立实时传输协议(Real-time Transport Protocol，简称RTP)收发通道，通过CPU解码，并组成相对应的纹理，即可在显示界面看到客户端的本地画面。

步骤1：操作者通过点击显示模块，选取要获取画面的客户端；

步骤2：将选取的客户端传递给消息处理模块进行封装，封装为建立RTP通道的请求；

步骤3：将消息加入发送队列；

步骤4：消息收发模块通过网络层发送给MCU；

步骤5：接收到MCU返回的消息；

步骤6：消息处理模块进行消息的处理；

步骤7：调取RTP，建立对应的RTP通道；

步骤8：RTP消息接收到图像信息后，将其传递给解码器进行解码操作；

步骤9：将解码后的数据发送到数据处理模块，将数据放入对应的数据结构中等待调用；

步骤10：数据存储模块存储解码数据；

步骤11：将解码后的数据进行纹理创建，显示到显示模块中。

至此，一个观看客户端本地画面的流程结束。

图12是本发明一方面提出的音视频控制系统的实施例八示意图。本实施例对MCU查看会场画面的过程进行举例，提供一种对于会议画面的预览方法。通过点击显示界面上的按钮，呼叫一个不参与混屏的虚拟用户，建立RTP收发通道，通过CPU解码，并组成相对应的纹理，即可在显示界面看到会场的画面。

步骤1：操作者通过点击显示模块，选取要获取画面的会议；

步骤2：将选取的客户端传递给消息处理模块进行封装；

步骤3：封装为呼叫虚拟客户端的消息，添加到消息发送队列；

步骤4：消息收发模块通过网络层发送给MCU；

步骤5：消息收发模块接收到MCU返回的消息；

步骤6：消息处理模块进行消息的处理；

步骤7：消息处理模块封装为建立RTP通道的请求，将消息加入消息发送队列；

步骤8：消息收发模块发送消息；

步骤9：消息收发模块接收到MCU返回的消息；

步骤10：消息处理模块进行消息的处理；

步骤11：调取RTP，建立对应的RTP通道；

步骤12：RTP消息接收到图像信息后，将其传递给解码器进行解码操作；

步骤13：将解码后的数据发送到数据处理模块，将数据放入对应的数据结构中等待调用；

步骤14：数据存储模块存储解码数据；

步骤15：将解码后的数据进行纹理创建，显示到显示模块中。

至此，一次通过点击对于会场画面的预览到此结束。

本发明提供一种针对于MCU(视频会议服务器)的客户端操作方法、单元及系统，有利于提高用户的使用效率，减少用户对于多个界面直接的跳转操作。有效的提高了用户的操作效率，及对MCU的掌握程度，并可对于会场或用户进行视频画面的查看，提高了分屏显示的灵活度，提供了定制化的图标供用户选择，不再需要通过固定的样式进行分屏设置。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本申请的几个实施例，并非对本申请做任何形式的限制，虽然本申请以较佳实施例揭示如上，然而并非用以限制本申请，任何熟悉本专业的技术人员，在不脱离本申请技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。

Claims (10)

1.一种音视频控制方法，其特征在于，包括：

接收音视频客户端的分屏请求；

根据所述分屏请求获得对应的动态数组，所述动态数组包含每块分屏对应参考点的位置比例和长度比例；

根据所述位置比例和长度比例，以及音视频客户端显示区域的大小处理为每块分屏在所述音视频客户端对应的坐标及长度；

将每块分屏显示在所述音视频客户端上。

2.根据权利要求1所述的方法，其特征在于，接收音视频客户端的分屏请求包括：

接收音视频客户端根据MCU发送的分屏选项选定的分屏请求；

或者接收音视频客户端自定义的分屏请求。

3.根据权利要求1所述的方法，其特征在于，根据所述分屏请求获得对应的动态数组，所述动态数组包含每块分屏对应参考点的位置比例和长度比例包括：

根据所述分屏请求获知分屏的数量n及对应的每块分屏的比例；

根据所述分屏的数量n及每块分屏的比例处理动态数组：

{

{第1块：{x₁,S_x}，{y₁,S_y}，{Lx₁,SL_x}，{Ly₁,SL_y}}

…

{第m块：{x_m,S_x}，{y_m,S_y}，{Lx_m,SL_x}，{Ly_m,SL_y}}

…

{第n块：{x_n,S_x}，{y_n,S_y}，{Lx_n,SL_x}，{Ly_n,SL_y}}

}

其中：1≤m≤n

x_m：第m块分屏的起始点在x坐标方向所占的比例数；S_x:x坐标方向总比例数；

y_m:第m块分屏的起始点在y坐标方向所占的比例数；S_y:y坐标方向总比例数；

Lx_m:第m块分屏的从起始点开始x坐标方向所占的长度比例数；SL_x:x坐标方向总长度比例数；

Ly_m:第m块分屏的从起始点开始y坐标方向所占的长度比例数；SL_y:y坐标方向总长度比例数。

4.根据权利要求1所述的方法，其特征在于，根据所述分屏请求获得对应的动态数组，所述动态数组包含每块分屏对应参考点的位置比例和长度比例包括：

根据所述分屏请求获知分屏的数量n及对应的每块分屏的比例；

根据所述分屏的数量n及每块分屏的比例处理动态数组：

{

{第1块：{x₁,S_x1}，{y₁,S_y1}，{Lx₁,SL_x1}，{Ly₁,SL_y1}}

…

{第m块：{x_m,S_xm}，{y_m,S_ym}，{Lx_m,SL_xm}，{Ly_m,SL_ym}}

…

{第n块：{x_n,S_xn}，{y_n,S_yn}，{Lx_n,SL_xn}，{Ly_n,SL_yn}}

}

其中：1≤m≤n

x_m/S_xm:第m块分屏的起始点在x坐标方向所占的比例；

y_m/S_ym:第m块分屏的起始点在y坐标方向所占的比例；

Lx_m/SL_xm:第m块分屏从起始点开始x方向所占屏幕的长度比例；

Ly_m/SL_ym:第m块分屏从起始点开始y方向所占屏幕的长度比例。

5.根据权利要求3或4所述的方法，其特征在于，根据所述位置比例和长度比例，以及音视频客户端显示区域的大小处理为每块分屏在音视频客户端对应的坐标及长度包括:

根据所述音视频客户端显示界面的大小获知x方向显示总长度W及y方向显示总长度H；

根据所述动态数组的位置比例及长度比例计算每块分屏对应的起始点坐标及所占空间：

第m块分屏的起始点坐标及x、y方向所占长度：

x方向坐标：x_m/S_xm*W；

y方向坐标：y_m/S_ym*H；

x方向所占长度:Lx_m/SL_xm*W；

y方向所占长度:Ly_m/SL_ym*H；

其中：1≤m≤n。

6.根据权利要求1所述的方法，其特征在于，所述参考点包括屏幕的四个顶点：左顶点、左底点、右顶点或者右底点。

7.根据权利要求1-6任意一项所述的方法，其特征在于，还包括：

接收所述音视频客户端的特定请求，将指定的用户添加至对应的分屏区域。

8.一种音视频控制处理单元，应用上述任意一项权利要求所述方法，其特征在于，包括：

消息处理模块，用于根据接收的音视频客户端的触发请求，进行消息处理，其中所述触发请求包含分屏请求，所述消息处理包括：根据所述分屏请求处理成对应的动态数组，所述动态数组包含每块分屏对应参考点的位置比例和长度比例；

数据处理模块，用于对所述动态数组进行数据处理，根据音视频客户端显示区域的大小处理成每块分屏在音视频客户端对应的坐标及长度。

9.一种音视频控制系统，应用上述任意一项权利要求所述方法，其特征在于，包括显示模块，存储模块，处理单元及收发模块，其中：

所述显示模块，用于接收客户端的触发行为对应的触发请求，并发送所述处理单元；

所述收发模块，用于所述处理单元及MCU间的通信；

所述处理单元，用于对显示模块及所述收发模块进行消息处理或者数据处理；

所述存储模块，用于将所述处理单元处理的数据进行存储及更新，或通过显示模块进行数据显示。

10.根据权利要求9所述的音视频控制系统，其特征在于，所述处理单元包括：

消息处理模块，用于接收音视频客户端的触发请求，并进行消息处理，其中所述触发请求包含分屏请求，所述消息处理包括：根据所述分屏请求处理成对应的动态数组，所述动态数组包含每块分屏对应参考点的位置比例和长度比例；

数据处理模块，用于对所述动态数组进行处理，根据音视频客户端显示区域的大小处理成每块分屏在音视频客户端对应的坐标及长度。

Images