CN108718399A - 一种基于浏览器页面的视频会议布局方法 - Google Patents

Abstract

本发明披露了一种基于浏览器页面的视频会议布局方法，包括以下步骤：步骤a、启动多个参会浏览器参加视频会议；步骤b、MCU服务器接收各参会视频数据，并根据之前和参会浏览器的约定方式获取视频边界参数后进行混频数据操作；步骤c、参会浏览器对接收到的混频数据进行解析，通过所述混频数据中携带的参会视频边界参数布局各参会视频画面，所述参会视频边界参数是指视频画面尺寸和初始位置。通过本发明方法可以实现客户端控制接收的多路视频画面的各个尺寸，使视频画面灵活的呈现在会议视频中,优化原先特定视频会议布局。

Description

一种基于浏览器页面的视频会议布局方法

技术领域

本发明属于视频会议领域，尤其涉及多方视频会议的视频布局技术。

背景技术

在视频会议中，视频画面布局的显示都是固定的。针对不同场景下进行的视频会议，其显示画面布局都是统一的，带来的用户体验感不高。MCU服务器，视频会议系统中心控制设备，实质表现为多媒体信息交换机，可以进行多点呼叫和连接，实现视频广播、视频选择、音频混合、数据广播等功能，完成各终端信号的汇接与切换。MCU与现行交换机不同之处在于，交换机完成的是信号的点对点连接，而MCU则要完成多点对多点的切换、汇接或广播。在视频会议中MCU服务器用于音视频数据交换，可收集各客户端的视频信息，汇总，分发回给各个接收的客户端。Web视频会议系统，是指打开Web网页就可以使用、可以进行多方多媒体交互沟通的视频会议系统。Web视频会议系统让视频会议的应用门槛降低至基本为零，用户只需要能够上网，便可以进行视频会议。通过浏览器参加视频会议，给用户带来极大的便利。利用浏览器Canvas的渲染性以及可以获取位移信息的特性能实现视频画面的缩放调整，实时的变化，在不同场景下，用户可以根据自身的喜好实现不同的视频画面。

在实际视频会议中，各客户端入会的视频画面都是固定的，较为单一，不能充分满足需求，无法突出重要的视频的画面，体验感不高。

发明内容

本发明目的在于提供一种基于浏览器页面的视频会议布局方法，用于提供一种多种形式的视频画面展示的会议方式。

为了实现本发明目的，该 一种基于浏览器页面的视频会议布局方法，可以通过提前约定客户端和服务器之间用于界定视频画面的参数，主要包括以下步骤：一种基于浏览器页面的视频会议布局方法，其特征在于，视频布局方法包括以下步骤：步骤a、启动多个参会浏览器参加视频会议；步骤b、MCU服务器接收各参会视频数据，并根据之前和参会浏览器的约定方式获取视频边界参数后进行混频数据操作；步骤c、参会浏览器对接收到的混频数据进行解析，通过混频数据中携带的参会视频边界参数布局各参会视频画面，参会视频边界参数是指视频画面尺寸和初始位置。

优选的，在步骤a中，视频会议是基于浏览器 Canvas页面布局，MCU服务器定义了视频边界信息，携带在视频流中，浏览器从视频流中解析所述视频边界信息。

优选的，视频边界参数的约定是指：浏览器和MCU服务器提前约定使用统一参数描述视频边界。参会视频边界参数是浏览器和MCU服务器在视频会议开始之前约定使用的固定的参会视频边界参数，参会视频参数是通过信令/媒体信息进行传输。

优选的，参会视频边界参数的约定是指：浏览器和MCU服务器通过信令通道/媒体通道进行视频画面边界参数的协商。参会视频边界参数是浏览器和MCU服务器在会议邀请时通过SIP信令/SDP信息中进行参数的协商，参会视频边界参数可以进行再次协商改动。MCU服务器收到各与会方的视频数据后生成混频数据，将参会视频边界参数通过混频数据的RTP扩展包转发给浏览器。浏览器收到混频数据后，根据RTP扩展包解析出参会视频边界参数。

优选的，参会视频边界参数的约定是指：MCU服务器自己定义视频画面的边界参数。

本发明通过浏览器参加视频会议，直观地在本地浏览器的Canvas上改变视频坐标，从而改变每个视频画面的呈现画面，提高了用户参加视频会议的操作感以及提供了便利，改变了现有视频会议画面单一的显示方式。

附图说明

图1 是本发明基于浏览器 Canvas的页面视频会议模型的示意图；

图2 是本发明具体实施例中的使用信令/媒体信息进行协商流程图；

图3 是本发明基于视频会议的入会以及用户离会流程图；

图4是本发明视频会议布局优化方案的视频画面的展示图。

具体实施方式

本发明的基本原理：本发明基于视频会议模型，通过本地浏览器入会，向MCU服务器发送本地的音视频数据，MCU服务器将收到的多路视频数据添加特定的界面布局标识之后再进行混频操作，然后将混频之后的携带特定界面布局标识的音视频数据发送回各浏览器终端，由此实现在浏览器上对各视频画面的布局控制。

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是此时所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了方便描述，附图中仅示出于本发明相关的部分而非全部结构。

图1 是本发明基于浏览器 Canvas的页面视频会议模型的示意图。由该图可知本发明基于浏览器 Canvas的页面视频会议布局优化方案架构。

在本发明的视频会议布局方法中，参会者使用指定的浏览器网站参加由指定MCU服务器转发的Web视频会议，根据具体应用可以采用以下三种实现方式：

实现方式一：指定的浏览器和指定的MCU服务器提前约定要使用的视频边界参数，在指定的浏览器发送的SIP信令报头/SDP信息中携带该约定参数：Locate-i，该标识主要用于标定视频画面的尺寸和初始位置，指定MCU服务器将收集的视频数据中分离出每路视频的‘Locate-i’，添加到RTP包的扩展包中，RTP报文的报头中的扩展标志‘X’置为1，其报头后添加的扩展报头为：Locate，内容为视频位置，该扩展头域只在视频流数量发生变化的时候携带。

实现方式二：指定的浏览器发送INVITE信令入会，在SIP信令/SDP信息携带‘Locate-i’参数，指定MCU服务器回复200/488进行协商。回复200OK之后的实现与方式一相同。回复488 Not Acceptable Here之后，指定浏览器重新发送INVITE信令入会。

MCU服务器将视频画面进行混频之后，把RTP数据再分发给各浏览器，浏览器通过解析RTP的扩展头域来获取视频坐标信息，将收到的媒体流中分隔出每个视频画面，然后依据坐标信息在浏览器Canvas上面进行渲染。

会议中出现参会者离开会议的情况，MCU服务器继续收集其他会中用户的视频，视频坐标信息不会发生变化，在RTP报文中携带扩展报头表示仍在会的参会者的视频位置，按之前的操作继续向会中参会者发送混频之后的视频流。对于其他参会者而言，保留之前在浏览器Canvas中对其他视频画面坐标的操作，移除了已经离开会议的坐标信息。

实现方式三：指定的MCU服务器收到浏览器的RTP包数据，MCU服务器解析出每路数据中的视频画面添加边界坐标数据，进行混频转发给各个浏览器，不需要发送RTP扩展包，浏览器可以直接将视频画面数据，放入Canvas画布中渲染显示。

参会者可以根据需求，通过鼠标选中浏览器Canvas中某个视频的边界坐标，伸缩改变该视频画面的尺寸。本地浏览器的Canvas中的视频画面操作不会影响MCU服务器上的转发的视频流数据，不会影响其他参会者的本地浏览器中的Canvas中视频画面。

本发明的方式一， 使用提前约定视频边界参数。

步骤101：浏览器网页和MCU服务器提前规定了视频边界信息参数Locate-i信息；使用的用户通过指定的网页参加视频会议，向MCU服务器发送本地音视频数据。

步骤102：MCU服务器收集每路视频数据，将视频边界信息参数Locate-i信息通过RTP扩展包转发给浏览器，其中Locate-i参数的表现形式：

Locate-i：(x*a)/(y*b)

其中‘i’表明浏览器的id；‘x’，‘y’表明视频将在浏览器Canvas中x轴和y轴的位置；‘a’，‘b’表明x轴和y轴的各自偏移量。

扩展RTP报头的内容：

Locate：video-edge

id=0001

x=00.00

y=00.00

a=10.0

b=10.0

其中‘Locate’ 信息为指定携带的数据标识。

步骤103：MCU服务器对视频数据添加之后，然后再将多路视频数据进行混频操作。MCU服务器将混频之后的多路音视频数据发送给各个与会的浏览器，并且实时进行数据传输。

步骤104：浏览器收到MCU服务器混频视频数据的RTP包之后，根据该RTP的扩展包中的信息解析出每个视频的画面，根据得到的视频坐标信息放入浏览器Canvas中进行渲染。

步骤105：在本地浏览器上对呈现的多路视频画面进行改动，初始收到的视频画面，在浏览器Canvas中呈九宫格画面。用户在本地对视频画面大小的操作不影响其他用户的操作。

步骤106：离开本次视频会议，断开与MCU服务器的数据传输，MCU服务器继续收集参会的用户的视频数据，对每路视频数据添加的边界数据不变，将混频数据发送给参会的浏览器。

步骤107：其他在会客户端的视频画面会更新，重新从RTP扩展包中解析出每路视频画面的位置，其Canvas布局根据目前的边界数据信息进行调整，所有的坐标信息的总和不小于Canvas坐标的70%，即：

(a1-x1)*(b1-y1)+(a2-x2)*(b2-y2)+...+(ai-xi)*(bi-yi) >= Canvas的面积的70%，如果不满足要求，则将每个画面的坐标放大，如果满足，按之前的视频画面大小继续呈现。

此外，上述视频边界信息参数固定为：Locate-1：(0*0)/(40*40) ，MCU服务器根据接收的视频数据的先后，对视频画面进行排序。

本发明的方式二，使用信令/媒体信息进行协商。

图2是本发明具体实施例中的使用信令/媒体信息进行协商流程图。结合该图，本发明具体实施例方式一主要步骤如下：

步骤201：用户通过指定的浏览器参加视频会议，向MCU服务器发送INIVITE信令，协商使用的Locate-i参数内容，协商的内容可以在SIP包体中，也可以在SDP信息中：

携带在SIP信息中：

INVITE tel:1234 SIP/2.0

Via: SIP/2.0/UDP x.x.x.x:x;branch=0000000000000000

From: "1234" <sip:1234@x.x.x.x>;tag=245144431

To: <tel:1212>

Call-ID: xx-xx-25@xxx

CSeq: 240 INVITE

Contact: "1234" <sip:123@x.x.x.x:x>

Max-Forwards: 70

User-Agent: xx

Content-Type: application/sdp

Locate-1：(12*3)/(67*25)

Accept: application/sdp

Content-Length: 382

携带在SDP信息中：

v=0

o=12348000 8000 IN IP4 x.x.x.x

s=SIP Call

c=IN IP4 x.x.x.x

t=0 0

m=video 5004 RTP/AVP 0 8 9 101 124 121

a=sendrecv

a=Locate-1：(12*3)/(67*25)

步骤202：MCU服务器回复200OK/488，进行协商定义。协商成功之后收集视频数据，将参数Locate-i信息通过RTP扩展包转发给浏览器。

步骤203：MCU服务器将混频之后的多路音视频数据发送给各个与会的浏览器，并且时时进行数据传输。

步骤204：浏览器收到数据之后，根据RTP扩展包中的信息去分割视频画面信息，根据得到的视频坐标信息把每个视频的画面放入浏览器Canvas中进行渲染。

此外，MCU服务器可以根据接收的数据中的信息，解析出视频画面的排版顺序。例，该参数为 Locate-1：(0*0)/(40*40) ，可以优先依据坐标（0*0）进行排版，如果存在重叠的坐标，再依据 ‘Locate-i’中的‘i’来进行对比，‘i’越大，其优先级越低。

本发明的方式三，MCU服务器自己定义视频画面的边界参数。

步骤301：用户通过指定的浏览器参加视频会议，向MCU服务器发送本地音视频数据。

步骤302：MCU服务器收集每路视频数据，为每个视频画面准备一个唯一的视频画面边框。

步骤303：MCU服务器对视频数据添加之后，然后再将多路视频数据进行混频操作。MCU服务器将混频之后的多路音视频数据发送给各个与会的浏览器，并且实时进行数据传输。

步骤304：浏览器收到视频数据之后，直接放入浏览器Canvas中进行渲染。

图3是本发明基于视频会议的入会以及用户离会流程图。图4是本发明视频会议布局优化方案的视频画面的展示图。结合图3和图4，对本发明视视频会议布局方法进一步说明如下：

步骤1001：用户通过浏览器Canvas的页面参加视频会议，向MCU服务器发送本地音视频数据。

步骤1002：MCU服务器对每路视频数据添加唯一的标识，该标识可以划定视频画面尺寸，然后再将多路视频数据进行混频操作。

步骤1003：MUC服务器将混频之后的多路音视频数据发送给各个与会的用户，实时进行数据传输。

步骤1004：用户A在本地浏览器上对呈现的多路视频画面进行改动，初始收到的视频画面如图4-a所示，呈均部画面；用户B可以根据需求改变视频画面大小，如同4-b所示；同时用户A也可以改变其本地显示的视频画面大小，如图4-c所示。用户在本地对视频画面大小的操作不影响其他用户的操作。

步骤1005：用户A离开本次视频会议。

步骤1006：MCU服务器继续收集参会的用户的视频数据，发送给参会的用户现有的混频数据。

步骤1007：用户B收到的视频数据呈现的画面不显示已经离开会议的用户A的视频画面，对其他的视频画面的显示方式不影响，如图4-d所示。

此外，在本发明具体实施例中，浏览器A对视频会议画面布局的操作不会影响所述浏览器B所呈现的视频会议画面，浏览器A对视频分辨率的操作不会改变各视频会议画面的坐标数据。调整视频布局画面包括：浏览器A退出视频会议之后，MCU服务器会将收到的视频重新发送给各个浏览器，其他视频数据中的边界信息保持不变。浏览器B显示的会议视频画面中将不会再出现浏览器A的视频画面。

浏览器B之前对浏览器A的视频画面的布局操作失效，其他的视频画面Canvas中布局数据则不会变化。每个视频画面在Canvas都有一个最小的坐标数据。每个视频画面在Canvas的长度和高度都可以调整，相邻的视频画面坐标数据不会重合。每个视频画面在Canvas都最低的画面比例，必须符合人眼的视觉特性，保证视频画面在Canvas布局中不失真。

注意，上述仅为本发明的较佳实施例以及所运用技术原理。本领域技术人员会理解，本发明不限于所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。 因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于浏览器页面的视频会议布局方法，其特征在于，所述视频布局方法包括以下步骤：

步骤a、启动多个参会浏览器参加视频会议；

步骤b、MCU服务器接收各参会视频数据，并根据之前和所述参会浏览器的约定方式获取视频边界参数后进行混频数据操作；

步骤c、所述参会浏览器对接收到的混频数据进行解析，通过所述混频数据中携带的参会视频边界参数布局各参会视频画面，所述参会视频边界参数是指视频画面尺寸和初始位置。

2.根据权利要求1所述的视频会议布局方法，其特征在于，所述步骤a中，所述视频会议是基于浏览器 Canvas页面布局，所述MCU服务器定义了视频边界信息，携带在视频流中，所述浏览器从视频流中解析所述视频边界信息。

3.根据权利要求2所述的视频会议布局方法，其特征在于，所述视频边界参数的约定是指：所述浏览器和所述MCU服务器提前约定使用统一参数描述视频边界。

4.根据权利要求2所述的视频会议布局方法，其特征在于，所述参会视频边界参数的约定是指：所述浏览器和所述MCU服务器通过信令通道/媒体通道进行视频画面边界参数的协商。

5.根据权利要求2所述的视频会议布局方法，其特征在于，所述参会视频边界参数的约定是指：所述MCU服务器自行定义视频画面的边界参数。

6.根据权利要求3所述的视频会议布局方法，其特征在于，所述参会视频边界参数是所述浏览器和所述MCU服务器在所述视频会议开始之前约定使用的固定的参会视频边界参数，所述参会视频参数是通过信令/媒体信息进行传输。

7.根据权利要求4所述的视频会议布局方法，其特征在于，所述参会视频边界参数是所述浏览器和所述MCU服务器在会议邀请时通过SIP信令/SDP信息中进行参数的协商，所述参会视频边界参数可以进行再次协商改动。

8.根据权利要求7所述的视频会议布局方法，其特征在于，所述MCU服务器收到所述参会视频数据后生成所述混频数据，将所述参会视频边界参数通过所述混频数据的RTP扩展包转发给所述浏览器。

9.根据权利要求8所述的视频会议布局方法，其特征在于，所述浏览器收到所述混频数据后，根据所述RTP扩展包解析出所述参会视频边界参数。

10.根据权利要求5所述的视频会议布局方法，其特征在于，所述浏览器在收到所述MCU服务器转发的视频数据，可以直接放入所述浏览器的canvas画布中进行渲染显示。