CN102025973B

CN102025973B - 视频合成方法及视频合成系统

Info

Publication number: CN102025973B
Application number: CN201010593915.XA
Authority: CN
Inventors: 周建有; 郑伟钿
Original assignee: Vtron Technologies Ltd
Current assignee: Changshu Intellectual Property Operation Center Co ltd; Guangdong Gaohang Intellectual Property Operation Co ltd
Priority date: 2010-12-17
Filing date: 2010-12-17
Publication date: 2014-07-02
Anticipated expiration: 2030-12-17
Also published as: CN102025973A

Abstract

本发明公开一种视频合成方法及视频合成系统，其中，视频合成的方法包括步骤：用户终端与服务端的管理服务器建立通信，所述管理服务器根据负载均衡原则选择视频服务器并指定合成服务器，所述视频服务器接收用户视频，将所述用户视频汇总到所述合成服务器，根据用户设置的参数合成所述用户视频，将合成后的合成视频回传到视频服务器，将所述合成视频转发给用户终端。本发明还公开一种视频合成系统，包括：管理服务器，视频服务器，合成服务器，通信模块。本发明将用户视频在服务端进行合成后再转发给用户，实现了用户利用现有终端以及有限的网络带宽就能看到彼此的视频。

Description

视频合成方法及视频合成系统

技术领域

本发明涉及视频会议技术，特别涉及视频会议的视频合成的方法。

背景技术

当前，市面上使用的视频会议系统是比较简单的系统，在每个会场安装一套视频会议终端，接上电视机、摄像头、麦克风等附件，再接入相应的宽带网络如IP，ISDN，E1/T1等，即可实现视频、音频、数据的实时传送，这样的系统在局域网或点对点的视频通信应用非常广泛。

而随着用户沟通的范围不断扩大，企业内各分公司之间的沟通愈发频繁，这种系统越来越难以承受用户的个性化要求，并且呈现出了越来越明显的弱点，主要表现在如下：用户基本只局限于局域网内或者在广域网上只能局限两人之间的视频对话，难以满足广域网内多方通话的要求，多方视频会议要求的带宽越来越多，用户使用费用不断攀升随着占用的带宽越来越多，视频的流畅度大受影响，大部分情况下只能看一路视频，受网络的局限非常大。

针对上述问题，目前有技术是通过话音数据与视频数据分离的方法来减少网络带宽的影响，利用公共交换电话网传输声音信号，利用互联网传输视频信号；另有技术是通过对各路待传送的图像信号的传送特征信息的限定，使经过编码处理后的各路待传送的图像信号具有不同的带宽，以实现对带宽的控制。这都需要用户增加不同的终端设备，当要传送多路视频信号的时候，也不能明显减少传输过程中占用的带宽，对于目前市大部分都是使用简单视频会议用户的终端，无法实现在现有终端以及网络条件下都能查看到彼此的视频。

发明内容

本发明提供一种视频合成方法及视频合成系统，实现了利用现有的用户终端设备，在有限的带宽资源的情况下能够使用户看到彼此的视频，减少在广域网内进行多方视频会议时带宽限制的影响。

本发明提供一种视频合成方法，包括步骤：用户终端与服务端的管理服务器建立通信，所述管理服务器根据负载均衡原则选择视频服务器并指定合成服务器，所述视频服务器接收用户视频，将所述用户视频汇总到所述合成服务器，根据用户设置的参数合成所述用户视频，将回传到视频服务器，将所述转发给用户终端；

所述负载均衡原则包括：

以负载最少的视频服务器作为合成服务器；

若一个视频服务器能满足视频会议资源要求，则使用一个视频服务器来提供服务，该视频服务器同时作为合成服务器；

若有多个所述能满足视频会议资源要求的视频服务器时，则由可用资源最大的视频服务器来提供服务；

若需要多个视频服务器才能满足视频会议资源要求，则以使用最少数量原则建立视频服务器群组来提供服务，且以其中负载最少的视频服务器作为合成服务器；

若有多个符合所述使用最少数量原则的视频服务器群组时，由可用资源最大的群组来提供会议服务，且以其中负载最少的视频服务器作为合成服务器。

本发明还提供一种视频合成系统，包括：管理服务器，视频服务器，合成服务器，通信模块；

所述管理服务器，用于接收用户终端信息，计算会议资源，根据负载均衡原则选择视频服务器并指定合成服务器，管理服务端的服务器之间的通信；

所述视频合成服务器，用于合成汇总的用户视频；

所述视频服务器，用于接收用户视频以及转发合成后的视频；

所述负载均衡原则包括：

以负载最少的视频服务器作为合成服务器；

所述通信模块，包括：广域网单元，用于用户终端与服务端之间的通信；局域网单元，用于服务端的各服务器之间的通信。

本发明通过将用户视频在服务端进行合成，再将合成视频转发给用户，合成的视频为一路可以包括所有用户视频的组合视频，传输时只占一路视频的带宽，另外，由于合成过程是在服务端进行，不会增加用户终端设备，使得用户利用现有终端以及有限的网络带宽，即可实现在广域网内多个用户进行视频会议时能够同时查看彼此的视频，解决了广域网内进行视频会议时的带宽瓶颈问题。

附图说明

图1为本发明视频合成方法的流程图；

图2是本发明视频合成系统的结构示意图。

具体实施方式

以下将通过具体的实施例来详解本发明视频合成方法的实施过程。

图1为本发明视频合成方法的流程图。

如图1所示，该方法包括步骤：

S101，用户终端与服务端的管理服务器建立通信；

具体地，要进行视频会议前，由用户终端与服务端的管理服务器建立连接，管理服务器接受用户的服务请求、接收关于视频会议各种准备信息，同时计算视频会议的资源。

S102，根据负载均衡原则选择视频服务器并指定合成服务器；

负载均衡原则是指服务端的管理服务器根据服务端的各视频服务器的状态将用户的请求依据一定的原则分配到视频服务器中；

在本发明方法中，管理服务器根据当前的视频服务器资源情况以及视频会议的资源量，以下面负载均衡原则，选择视频服务器来分配视频会议资源并指定合成服务器；

作为一个实施例，可以是以下具体原则的一条或者多条，根据实施本专利的使用者的具体情况而定，具体原则为：

1.合成服务器由管理服务器根据各视频服务器的负载情况决定，以负载最少的视频服务器作为合成服务器；

2.若一个视频服务器能满足视频会议的资源要求，则使用一个视频服务器来提供会议服务，该视频服务器同时作为合成服务器；

3.若有多个能满足视频会议的资源要求的视频服务器时，则由可用资源最大的视频服务器来提供服务；

4.若需要多个视频服务器才能满足视频会议的资源要求，则以使用最少数量原则建立视频服务器群组来提供服务，且以其中负载最少的视频服务器作为合成服务器；

5.若有多个符合使用最少数量原则的视频服务器群组时，由可用资源最大的群组来提供服务，且以其中负载最少的视频服务器作为合成服务器。

为更加清晰上述原则，以下举一详例：

服务端有视频服务器A、B、C，每台视频服务器最多可以接30路用户召开视频会议；假设目前其可用资源分别为：12路、8路、5路；

若要接一个有10路用户的视频会议，根据原则1、2，则服务器A同时作为视频服务器与合成服务器；

若要接一个有6路用户的视频会议，根据原则1、3，则服务器A同时作为视频服务器与合成服务器；

若要接一个有15路用户的视频会议，根据原则1、4、5，则服务器A、B作为视频服务器群组，其中服务器B作为合成服务器。

S103，视频服务器接收用户视频；

具体地，用户终端与分配到资源的相应的视频服务器建立连接，视频服务器作为实际处理视频会议请求的服务器接收用户终端上传的用户视频。

S104，将用户视频汇总到合成服务器；

具体地，包括以下步骤：

管理服务器分配组播端口，然后管理服务器将分配的组播端口通知合成服务器与视频服务器，合成服务器与视频服务器通过组播端口建立组播，视频服务器将接收到的用户视频汇总到合成服务器，在视频会议结束后合成服务器通知管理服务器释放组播端口。

S105，根据用户设置参数合成视频；

合成是以改变视频质量来实现视频总数据量的压缩，根据接收合成视频的用户设置其他用户视频在屏幕中的窗口的大小和视频质量对用户视频进行压缩或拉伸，视频质量好于合成后的质量，则对视频进行压缩，降低视频分辨率与流量，视频质量差于合成后的质量，则对视频进行拉伸，提高分辨率，作为一个实施例，合成后的合成视频可以为一路720P的高清视频；

下面以四路视频合成一个720P高清视频为例；

有A、B、C、D四路视频，分辨率分别为720P、360P、180P、90P，汇总到合成服务器进行合成，假设4个视频合成后大小均占1/4屏幕，合成后每个用户视频的分辨率分别为337.5P、337.5P、337.5P、337.5P，所以视频A、B进行压缩，C、D进行拉伸。

通过设置，用户可以根据自身需要，选择任何数量的用户视频进行合成以及设定合成视频中的任何一个用户视频的窗口大小、质量，从而降低用户视频因为合成后整体质量变差而造成的观看效果上的影响。

S106，将合成后的合成视频回传到视频服务器；

具体地，通过上述S104步骤中所建立的组播端口，合成服务器将合成视频回传到视频服务器。

S107，视频服务器将合成视频转发给用户终端；

转发给用户的合成视频是根据其设置的参数进行合成的合成视频，作为一个实施例，视频中可以包括其他所有的用户视频的合成视频而没有自己的视频。

上述实施例中，根据本发明的方法，由服务端接收用户视频，并将各路用户视频汇总到合成服务器，然后根据用户设置的参数合成一路视频，再将合成视频转发给用户，使用户在传输一路的视频的带宽网络条件下都可以看到其他用户的视频，解决了在多方视频会议中带宽限制的问题。

针对上述的视频合成的方法，本发明提供相应的视频合成系统实施例。

如图2所示，该系统包括：管理服务器，视频服务器，合成服务器，通信模块。

管理服务器，用于与用户终端与建立通信，接收用户终端的各种视频会议准备信息、指令数据，计算会议资源，选择视频服务器分配资源并指定合成服务器，管理服务端的服务器之间的视频传输及其他数据传输。

视频服务器，用于接收用户视频，并将用户视频汇总到合成服务器，接收合成后的合成视频，再将合成视频转发给用户。

合成服务器，用于接收汇总的各路用户视频，并根据用户设置的参数合成视频，将合成视频回传给相应的视频服务器。

通信模块，包括：广域网单元，局域网单元；作为一个实施例，广域网单元包括IP、ISDN、E1/T1等宽带网络，用于用户终端与服务端之间的通信；局域网单元包括路由器、防火墙组成的局域网络，用于服务端的各服务器之间的通信。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims

1.一种视频合成方法，其特征在于，包括步骤：用户终端与服务端的管理服务器建立通信，所述管理服务器根据负载均衡原则选择视频服务器并指定合成服务器，所述视频服务器接收用户视频，将所述用户视频汇总到所述合成服务器，根据用户设置的参数合成所述用户视频，将合成后的合成视频回传到视频服务器，将所述合成视频转发给用户终端；

所述负载均衡原则包括：

以负载最少的视频服务器作为合成服务器；

2.根据权利要求1所述的方法，其特征在于，所述将所述视频汇总到所述合成服务器步骤具体包括步骤：管理服务器分配组播端口，将所述组播端口通知合成服务器与视频服务器，合成服务器与视频服务器以所述组播端口建立组播，将视频服务器接收到的用户视频汇总到合成服务器。

3.根据权利要求1所述的方法，其特征在于，所述根据用户设置的参数合成所述用户视频步骤中；

所述参数包括用户视频在屏幕中的窗口大小与用户视频的质量。

4.一种视频合成系统，包括：管理服务器，视频服务器，合成服务器，通信模块；

所述管理服务器，用于接收用户终端信息，计算并分配视频会议资源，根据负载均衡原则选择视频服务器并指定合成服务器，管理服务端的各服务器之间的通信；

所述视频合成服务器，用于合成用户视频；

所述视频服务器，用于接收用户视频以及转发合成后的合成视频；

所述负载均衡原则包括：

以负载最少的视频服务器作为合成服务器；

5.根据权利要求4所述的系统，其特征在于，所述通信模块，包括：广域网单元与局域网单元；

所述广域网单元，用于用户终端与服务端之间的通信；

所述局域网单元，用于服务端的各服务器之间的通信。