CN105451022A - 一种将多路视频流压缩成一路视频流的方法及系统 - Google Patents

Abstract

本发明公开了一种将多路视频流压缩成一路视频流的方法及系统，所述方法包括：S1、多个客户端分别上传相关信息和视频流给服务器；S2、所述服务器接收并缓存每一所述客户端上传的视频流，依据不同的客户端上传的相关信息，分别对所述多个客户端上传的视频流进行初始布局，并依所述初始布局将多个客户端上传的多路视频流压缩成一路视频流；S3、将压缩后的所述一路视频流发送给相应的客户端以进行显示。实施本发明的有益效果是，减轻了客户端的压力，减少了网络连接数量和视频流量，节省了系统带宽。

Description

一种将多路视频流压缩成一路视频流的方法及系统

技术领域

本发明涉及视频技术领域，更具体地说，涉及一种将多路视频流压缩成一路视频流的方法及系统。

背景技术

随着移动端的普及和移动网络的进一步加强，音视频会话进入移动终端已经成为一种趋势。两个客户端之间进行音视频会话的技术和产品已经相当成熟。但是多人音视频的会话对于客户端来说仍然效果不太理想，多路视频流的接收、处理、解码给予客户端的压力太大，3G/4G环境下耗费的流量太大以及客户端根据视频流的数量来布局显示都影响了多人音视频会话在客户端的发展。

由于客户端CPU、内存和显卡的处理功能有限，服务器如果只是做传统的从各个客户端接收视频流后然后转发给其他的客户端，每个客户端都需要建立n个连接(n为进行多人音视频的人数)，1个用来上传自己的视频流，n-1个用来接收其他客户端的视频流，如图1所示，客户端接收多路视频流之后再进行处理和解码，这对客户端的性能要求太高，就很可能导致处理数据不及时而引起网络阻塞和视频延时及不连续等异常情况的产生。

如图2所示，以单个客户端为例说明客户端和服务器的数据连接和交互过程，客户端上传视频流至服务器，服务器接收到该客户端的视频流及该客户端所在房间内其他客户端的视频流后转发给该客户端，如图所示总共为三路视频流，每一客户端对这三路视频流进行缓存并分别对每路视频流取出分辨率等参数进行布局处理，之后分别对每路视频流进行解码，依布局显示在该客户端的界面上。因此现有的方案虽然能实现多路视频连接，但占用带宽大，每一客户端需要接收并解码多路视频流，浪费流量且性能要求较高。总之，在现有的多人视频会话中，客户端的处理负担较大，占用CPU和内存过高。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述客户端的处理负担较大的缺陷，提供一种将多路视频流压缩成一路视频流的方法及系统。

本发明解决其技术问题所采用的技术方案是：构造一种将多路视频流压缩成一路视频流的方法，所述方法包括：

S1、多个客户端分别上传相关信息和视频流给服务器；

S2、所述服务器接收并缓存每一所述客户端上传的视频流，依据不同的客户端上传的相关信息，分别对所述多个客户端上传的视频流进行初始布局，并依所述初始布局将多个客户端上传的多路视频流压缩成一路视频流；

S3、将压缩后的所述一路视频流发送给相应的客户端以进行显示。

在上述将多路视频流压缩成一路视频的方法中，每一所述客户端上传给所述服务器的相关信息包括本客户端的基本用户信息、屏幕尺寸以及本客户端的视频窗口在自身屏幕上所占位置。

在上述将多路视频流压缩成一路视频的方法中，若所述多个客户端中有一个或多个退出连接，所述方法还包括：

所述服务器在进行初始布局时空余出退出的客户端的视频窗口，退出的客户端上传的视频流压缩后的数据为空，同时参与连接的其余客户端在相应的视频窗口显示黑屏。

在上述将多路视频流压缩成一路视频的方法中，若有一个或多个客户端请求加入连接，所述方法还包括：

检测所述服务器的初始布局上是否有空余的视频窗口，若有则优先占用空余的视频窗口，若没有则依照与服务器进行连接的先后顺序进行初始布局。

在上述将多路视频流压缩成一路视频的方法中，在将压缩后的一路视频流发送给相应的客户端之前还包括：

所述服务器检测每一所述客户端的网络状态，并根据每一所述客户端的网络状态确定发送给该客户端的视频分辨率。

在上述将多路视频流压缩成一路视频的方法中，若某一客户端指定查看所述多个客户端中的一个或多个上传的视频流，所述步骤S3包括：

所述服务器对从所述多个客户端中指定的一个或多个客户端上传的视频流进行初始布局，并依所述初始布局将从所述多个客户端中指定的一个或多个客户端上传的视频流压缩成一路视频流。

还提供一种将多路视频流压缩成一路视频流的系统，包括服务器及与所述服务器网络连接的多个客户端，所述服务器包括第一视频接收模块、布局模块、压缩模块以及视频转发模块，每一所述客户端包括视频传输模块、相关信息传输模块，其中：

所述视频传输模块，用于上传视频流给所述第一视频接收模块；

所述视频接收模块，用于接收并缓存第一客户端上传的视频流；

所述相关信息传输模块，用于上传相关信息给所述布局模块；

所述布局模块，用于依据不同的客户端上传的相关信息，分别对所述多个客户端上传的视频流进行初始布局；

所述压缩模块，用于依所述初始布局将多路视频流压缩成一路视频流；

所述视频转发模块，用于将压缩后的所述一路视频发送给相应的客户端。

在上述将多路视频流压缩成一路视频流的系统中，每一所述客户端还包括依次连接的第二视频接收模块、解码模块以及显示模块，所述第二视频接收模块用于从所述服务器接收相应的经压缩后的一路视频流并发送给所述解码模块进行解码，由所述解码模块解码后发送给所述显示模块进行显示。

在上述将多路视频流压缩成一路视频流的系统中，每一所述客户端上传给服务器的相关信息包括本客户端的基本用户信息、屏幕尺寸以及本客户端的视频窗口在自身屏幕上所占位置。

在上述将多路视频流压缩成一路视频流的系统中，若某一客户端指定查看所述多个客户端中的一个或多个上传的视频流，所述布局模块用于对从所述多个客户端中指定的一个或多个客户端上传的视频流进行初始布局；所述压缩模块用于依所述初始布局将从所述多个客户端中指定的一个或多个客户端上传的视频流压缩成一路视频流。

实施本发明的将多路视频流压缩成一路视频流的方法及系统，具有以下有益效果：服务器依据不同的客户端上传的相关信息，分别对多个客户端上传的视频流进行初始布局，并依该初始布局将多个客户端上传的多路视频流压缩成一路视频流后转发给相应的客户端以按照初始布局进行显示，从而使视频流传输的主要工作在服务器进行，减轻了客户端的压力，减少了网络连接数量和视频流量，节省了系统带宽；另外客户端还可指定查看某一路或几路视频，更加灵活，满足客户多样化的需求。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是现有技术中的n个客户端与服务器建立视频会话连接的示意图；

图2是现有技术中的客户端和服务器之间进行数据连接和交互过程的结构示意图；

图3是本发明一种将多路视频流压缩成一路视频流的方法的流程示意图；

图4是将多路视频流压缩成一路视频流后在某一客户端的布局显示图；

图5是会话过程中有客户端退出后在某一客户端的布局显示图；

图6是会话过程中有客户端加入后在某一客户端的布局显示图；

图7是本发明一种将多路视频流压缩成一路视频流的系统的结构示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

如图3所示，为本发明一种将多路视频流压缩成一路视频流的方法的流程示意图，该方法包括：

S1、多个客户端分别上传相关信息和视频流给服务器。在该步骤中，多个客户端先通过网络连接至服务器，每一客户端上传的相关信息包括该客户端的用户信息、屏幕尺寸以及本客户端的视频窗口在自身屏幕上所占位置，其默认为左上角，固定尺寸。而每一客户端上传的用户信息则指该客户端的IP地址、用户ID以及用户名等关于该客户端的基本信息。

S2、服务器接收并缓存视频流，并根据获得的每一客户端上传的相关信息分别对多个客户端上传的视频流进行初始布局，依初始布局将多路视频流压缩成一路视频流。在该步骤中，服务器具体依据每一客户端的视频窗口在自身屏幕上都默认为左上角，以及其他客户端按照与服务器连接的先后顺序来进行初始布局。

针对发送给不同的客户端有不同的初始布局，比如，发送给某一客户端时，服务器对发送给该客户端的视频流进行的初始布局为该客户端的视频窗口在自身屏幕上为左上角，多个客户端中除该客户端外的其他客户端的布局位置则按照连接到服务器的先后顺序来排列，之后依这一初始布局将这多个客户端上传的视频流压缩成一路视频流后发送给该客户端。

S3、将压缩后的一路视频流发送给相应的客户端以进行显示。如上一步骤所述，压缩后的一路视频发送给相应的客户端，该客户端会依据相应的初始布局在自身屏幕上进行显示，即所有客户端的视频窗口在该客户端的屏幕上的显示位置依相应的初始布局而定。

上述步骤S2中服务器还可以根据每一客户端上传的屏幕尺寸来决定当前最大展示连接数，如某一客户端的是320*480的屏幕(横屏)，则最大连接数为5，即该客户端的屏幕在当前页最多只能显示5个客户端(包括本客户端)的视频窗口，如果需要显示多于5个的客户端的视频窗口，则传送一个下一页字段，该客户端通过切换当前页至下一页可以查看其它连接的客户端的视频窗口。

如图4所示，为本发明将多路视频流压缩成一路视频流后在某一客户端的布局显示。在本实施例中，以四个客户端连接到服务器为例，每一客户端的屏幕上在当前页最多显示5个视频窗口，这四个客户端分别上传相关信息和视频流至服务器，对于某一客户端，服务器依据该客户端上传的自己的视频窗口所占位置(默认为左上角，固定尺寸)以及另外三个客户端即客户端1、客户端2和客户端3连接到服务器的先后顺序进行布局，之后服务器按照该初始布局将这四路视频流压缩成一路视频流发送该客户端，该客户端接收该压缩后的一路视频流后，对其进行解码并显示在该客户端的屏幕上。

再次参见图4，该客户端的左上角视频窗口显示的是自身客户端的视频，其余3个视频窗口显示的是依与服务器连接的先后顺序排列的视频，在本实施例中，客户端1、客户端2和客户端3先后与服务器连接，则该客户端的屏幕上依次显示的是本客户端的视频窗口、客户端1的视频窗口、客户端2的视频窗口和客户端3的视频窗口，在对应的视频窗口上显示相应的视频。可以理解的是，对于发送到不同的客户端，服务器的布局方式是把发送给该客户端的视频窗口放在最前面，默认为左上角，其余三个的视频窗口则按连接到服务器的先后顺序进行排列。

在上述视频连接过程中，若有客户端中途退出本次连接，则服务器在依据不同的客户端上传的相关信息分别进行初始布局时，空余出相应的视频窗口，这一路视频流压缩后的数据为空，最终发送给其余客户端时，在相应的客户端屏幕上，已退出的客户端的视频窗口显示为黑屏。如图5所示，客户端2中途退出本次连接，则本客户端的左上角视频窗口显示的是自身客户端的视频，客户端1和客户端3的视频窗口分别对应显示客户端1和客户端3的视频，而客户端2的视频窗口显示为黑屏。

此外，若在本次连接中有客户端加入，则服务器需先检测是否有空余位置，即中途是否有客户端退出过，如图6所示，在本次视频过程中，有客户端4和客户端5依次请求加入本次连接，而如上所述，客户端2有在中途退出本次连接，则在有客户端加入时，需优先占用该空余出的视频窗口。具体地，在客户端4和客户端5请求加入后，对于某一客户端，服务器依据该客户端上传的自身的视频窗口所占位置，以及按照客户端1、客户端4、客户端3和客户端5的顺序进行布局，之后服务器按照该布局将五路视频流压缩成一路视频流后发送给该客户端，该客户端接收到该压缩后的一路视频流后，对其进行解码并显示在该客户端的屏幕上，如图4所示，该客户端的左上角视频窗口显示的是自身客户端的视频，空余的视频窗口上显示的是后来加入的客户端4的视频，因此该客户端在相应的视频窗口上依次显示的是本客户端的视频、客户端1的视频、客户端4的视频、客户端3的视频和客户端5的视频。

特别地，客户端还可以指定查看某一路或几路视频，服务器接收到该客户端的请求后，对所指定的一个或多个客户端上传的视频流进行布局，并按照该布局将指定的一个或多个上传的视频流压缩成一路视频流后发送给该相应的客户端，该客户端接收服务器传过来经压缩后的一路视频流后，对其进行解码并按照由服务器布局后的尺寸在屏幕上显示。

综上所述，通过将多路视频流压缩成一路视频流后转发给相应的客户端，使视频流传输的主要工作在服务器进行，减轻了客户端的压力，并合理分配多路视频流所占位置，减少了网络连接数量和视频流量，节省了系统带宽；另外客户端还可指定查看某一路或几路视频，更加灵活，满足客户多样化的需求。

本发明还提供一种将多路视频流压缩成一路视频流的系统，包括服务器20及与服务器20网络连接的多个客户端10，每一客户端10包括视频传输模块101、相关信息传输模块102，服务器20包括第一视频接收模块201、布局模块202、压缩模块203以及视频转发模块204。现以单个客户端10为例，如图7所示，视频传输模块101用于上传视频流给第一视频接收模块201，相关信息传输模块102用于上传该客户端的相关信息给服务器20。这里需要特别说明的是，第一视频接收模块201是与多个客户端10的视频传输模块101和相关信息传输模块102连接，用于接收这多个客户端上传的视频流以及相关信息，该相关信息包括本客户端的基本用户信息、屏幕尺寸以及本客户端的视频窗口在自身显示屏幕上所占位置，而基本用户信息又包括该客户端的IP地址、用户ID及用户名等基本信息。

布局模块202接收由每一客户端发送的视频流及相关信息，根据不同的客户端发送的相关信息，分别对多个客户端上传的所有视频流进行初始布局。之后压缩模块203依照该初始布局将这多路视频流压缩成一路视频流后发送给相应客户端。

每一客户端10还包括第二视频接收模块103、解码模块104以及显示模块105。每一客户端10的第二视频接收模块103接收到由服务器20发送的经压缩后的一路视频流后，发送给解码模块104进行解码，解码后的视频流发送给显示模块105后，按照由服务器20进行布局后的尺寸显示在该客户端的屏幕上。

具体地，对于某一客户端10，服务器20的初始布局是依据该客户端上传的自已视频窗口所占位置以及除本客户端以外的其他客户端连接到服务器20的先后顺序进行的位置排列，之后服务器20按照该初始布局将所有连接到服务器的客户端的视频流压缩成一路视频流发送至该客户端，该客户端进行解码后按照服务器布局后的尺寸显示在该客户端屏幕上。需要说明的是，对于发送至不同的客户端，以某一客户端为例，服务器的布局方式是将该客户端的视频窗口所占位置默认为左上角，其余客户端的视频窗口所占位置按连接到服务器的先后顺序进行排列。

在上述视频连接过程中，若有客户端中途退出本次连接，则服务器20在进行初始布局时，空余出该客户端的视频窗口，同时该客户端上传的视频流压缩后的数据为空，相应的，在发送给其余客户端时，在相应的客户端屏幕上，退出的客户端的视频窗口显示为黑屏。若在本次连接中有客户端加入，则服务器20会先检测是否有空余的视频窗口，即中途是否有客户端退出过，若有客户端中途退出过，在有客户端加入时，则优先占用该空余的视频窗口，即在该空余的视频窗口上显示相应视频。

另外，若某一客户端指定查看连接至服务器20的多个客户端中的一个或多个上传的视频流，则布局模块202对指定的这一个或多个客户端上传的视频流进行初始布局，压缩模块203依该初始布局将指定的一个或多个客户端上传的视频流压缩成一路视频流并转发至相应的客户端，该客户端对其进行解码后在其屏幕上显示本客户端视频以及指定的一个或多个客户端的视频。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种将多路视频流压缩成一路视频流的方法，其特征在于，所述方法包括：

S1、多个客户端分别上传相关信息和视频流给服务器；

S2、所述服务器接收并缓存每一所述客户端上传的视频流，依据不同的客户端上传的相关信息，分别对所述多个客户端上传的视频流进行初始布局，并依所述初始布局将多个客户端上传的多路视频流压缩成一路视频流；

S3、将压缩后的所述一路视频流发送给相应的客户端以进行显示。

2.根据权利要求1所述的将多路视频流压缩成一路视频的方法，其特征在于，每一所述客户端上传给所述服务器的相关信息包括本客户端的基本用户信息、屏幕尺寸以及本客户端的视频窗口在自身屏幕上所占位置。

3.根据权利要求1所述的将多路视频流压缩成一路视频流的方法，其特征在于，若所述多个客户端中有一个或多个退出连接，所述方法还包括：

所述服务器在进行初始布局时空余出退出的客户端的视频窗口，退出的客户端上传的视频流压缩后的数据为空，同时参与连接的其余客户端在相应的视频窗口显示黑屏。

4.根据权利要求3所述的将多路视频流压缩成一路视频流的方法，其特征在于，若有一个或多个客户端请求加入连接，所述方法还包括：

检测所述服务器的初始布局上是否有空余的视频窗口，若有则优先占用空余的视频窗口，若没有则依照与服务器进行连接的先后顺序进行初始布局。

5.根据权利要求1所述的将多路视频流压缩成一路视频流的方法，其特征在于，在将压缩后的一路视频流发送给相应的客户端之前还包括：

所述服务器检测每一所述客户端的网络状态，并根据每一所述客户端的网络状态确定发送给该客户端的视频分辨率。

6.根据权利要求1所述的将多路视频流压缩成一路视频流的方法，其特征在于，若某一客户端指定查看所述多个客户端中的一个或多个上传的视频流，所述步骤S2包括：

所述服务器对从所述多个客户端中指定的一个或多个客户端上传的视频流进行初始布局，并依所述初始布局将从所述多个客户端中指定的一个或多个客户端上传的视频流压缩成一路视频流。

7.一种将多路视频流压缩成一路视频流的系统，包括服务器及与所述服务器网络连接的多个客户端，其特征在于，所述服务器包括第一视频接收模块、布局模块、压缩模块以及视频转发模块，每一所述客户端包括视频传输模块、相关信息传输模块，其中：

所述视频传输模块，用于上传视频流给所述第一视频接收模块；

所述视频接收模块，用于接收并缓存第一客户端上传的视频流；

所述相关信息传输模块，用于上传相关信息给所述布局模块；

所述布局模块，用于依据不同的客户端上传的相关信息，分别对所述多个客户端上传的视频流进行初始布局；

所述压缩模块，用于依所述初始布局将多路视频流压缩成一路视频流；

所述视频转发模块，用于将压缩后的所述一路视频发送给相应的客户端。

8.根据权利要求7所述的将多路视频流压缩成一路视频流的系统，其特征在于，每一所述客户端还包括依次连接的第二视频接收模块、解码模块以及显示模块，所述第二视频接收模块用于从所述服务器接收相应的经压缩后的一路视频流并发送给所述解码模块进行解码，由所述解码模块解码后发送给所述显示模块进行显示。

9.根据权利要求7所述的将多路视频流压缩成一路视频流的系统，其特征在于，每一所述客户端上传给服务器的相关信息包括本客户端的基本用户信息、屏幕尺寸以及本客户端的视频窗口在自身屏幕上所占位置。

10.根据权利要求7所述的将多路视频流压缩成一路视频流的系统，其特征在于，若某一客户端指定查看所述多个客户端中的一个或多个上传的视频流，所述布局模块用于对从所述多个客户端中指定的一个或多个客户端上传的视频流进行初始布局；所述压缩模块用于依所述初始布局将从所述多个客户端中指定的一个或多个客户端上传的视频流压缩成一路视频流。