CN105704424A - 多画面处理方法、多点控制单元及视频系统 - Google Patents

多画面处理方法、多点控制单元及视频系统 Download PDF

Info

Publication number
CN105704424A
CN105704424A CN201410707407.8A CN201410707407A CN105704424A CN 105704424 A CN105704424 A CN 105704424A CN 201410707407 A CN201410707407 A CN 201410707407A CN 105704424 A CN105704424 A CN 105704424A
Authority
CN
China
Prior art keywords
mcu
terminal
video image
synthesis
many picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410707407.8A
Other languages
English (en)
Inventor
陈军
范旭彤
黄强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201410707407.8A priority Critical patent/CN105704424A/zh
Priority to PCT/CN2015/086162 priority patent/WO2016082578A1/zh
Priority to US15/531,580 priority patent/US20170332043A1/en
Priority to EP15863177.0A priority patent/EP3226552A4/en
Publication of CN105704424A publication Critical patent/CN105704424A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了多画面处理方法、多点控制单元及视频系统，该方法包括：一个或多个MCU中的每个MCU将多画面布局中的本MCU下的终端的视频图像按照该多画面布局进行缩放合成；该每个MCU将合成后的视频图像进行编码并发送；终点MCU将接收到该每个MCU发送的合成后的视频图像解码并提取每个终端的视频图像；该终点MCU使用提取到的视频图像以及该终点MCU下的终端的视频图像按照该多画面布局进行合成并发送合成后的视频图像。通过本发明解决相关技术中使用简单的多通道级联来实现多画面功能所导致的问题，节约了带宽资源。

Description

多画面处理方法、多点控制单元及视频系统
技术领域
本发明涉及通信领域，具体而言，涉及多画面处理方法、多点控制单元及视频系统。
背景技术
多点视频通讯需求越来越大，每台局端设备容量有限，需要多台局端设备级联来解决容量问题，局端设备也可以称为多点控制单元(MultiControlUnit，简称为MCU)。
目前，在多点视频通讯中通常会使用多画面功能，在相关技术中，多画面功能的实现是基于每台局端设备(MCU)内部多点实现的，级联时由于局端设备(MCU)间的带宽有限，一般只有一路图像的带宽，很难实现多个子画面在不同局端设备的多画面功能。针对这个问题有多种解决方案，例如，最简单的解决方案就是多通道级联，这种方案牺牲了的局端间的带宽。
针对相关技术中使用简单的多通道级联来实现多画面功能所导致的问题，目前尚未提出有效的解决方案。
发明内容
本发明提供了多画面处理方法、多点控制单元及视频系统，以至少解决相关技术中使用简单的多通道级联来实现多画面功能所导致的问题。
根据本发明的一个方面，提供了一种多画面处理方法，包括：一个或多个多点控制单元MCU中的每个MCU将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成；所述每个MCU将合成后的视频图像进行编码并发送；终点MCU将接收到所述每个MCU发送的合成后的视频图像解码并提取每个终端的视频图像；所述终点MCU使用提取到的视频图像以及所述终点MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
进一步地，所述方法还包括：根据预定规则从多个MCU中协商并确定一个MCU作为所述终点MCU。
进一步地，所述预定规则包括以下至少之一：选择特定终端所在MCU为终点MCU、带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
进一步地，所述方法还包括：所述终点MCU获取所述每个MCU所能够使用的带宽资源；所述每个MCU将合成后的视频图像进行编码并发送包括：所述每个MCU按照其所能使用的带宽将合成后的视频图像进行编码并发送。
进一步地，所述终点MCU使用提取到的视频图像以及所述终点MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像包括：所述终点MCU获取另一MCU发送多画面的信息，所述信息用于表示所述另一MCU所需要的终端的视频图像；所述终点MCU根据所述信息将所述另一MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。
根据本发明的另一个方面，提供了一种多画面处理方法，包括：多点控制单元MCU将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成，将合成后的视频图像进行编码并发送；或者，所述MCU接收其他MCU发送的按照所述多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像，使用提取到的视频图像以及该MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
进一步地，所述方法还包括：所述MCU与所述其他MCU根据预定规则进行协商并确定作为所述终点MCU的MCU；在所述MCU未作为终点MCU的情况下，所述MCU将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成，将合成后的视频图像进行编码并发送；在所述MCU作为终点MCU的情况下，所述MCU接收所述其他MCU发送的按照所述多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像，使用提取到的视频图像以及所述MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
进一步地，所述预定规则包括以下至少之一：选择特定终端所在MCU为终点MCU、选择带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
进一步地，所述MCU将合成后的视频图像进行编码并发送包括：所述MCU按照其所能使用的带宽将合成后的视频图像进行编码并发送，其中，所能使用的带宽为所述终点MCU确定的。
进一步地，所述终点MCU使用提取到的视频图像以及所述终点MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像包括：所述MCU获取另一MCU的多画面的信息，其中，所述信息用于表示所述另一MCU所需要的终端的视频图像；所述MCU根据所述信息将所述另一MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。
根据本发明的另一方面，提供了一种多点控制单元，所述多点控制单元MCU包括：第一处理模块，用于将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成，将合成后的视频图像进行编码并发送；和/或，第二处理模块，用于接收其他MCU发送的按照所述多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像，使用提取到的视频图像以及所述MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
进一步地，所述多点控制单元还包括：协商模块，用于与所述其他MCU根据预定规则进行协商并确定作为所述终点MCU的MCU；在所述MCU未作为终点MCU的情况下，所述第一处理模块使能；在所述MCU作为终点MCU的情况下，所述第二处理模块使能。
进一步地，所述预定规则包括以下至少之一：选择特定终端所在MCU为终点MCU、选择带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
进一步地，所述第一处理模块用于按照所述第一处理模块所在的MCU所能使用的带宽将合成后的视频图像进行编码并发送，其中，所能使用的带宽为所述终点MCU确定的。
进一步地，所述第二处理模块用于获取另一MCU发送的多画面的信息，其中，所述信息用于表示所述另一MCU所需要的终端的视频图像；并根据所述信息将所述另一MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。
根据本发明的另一方面，提供了一种视频系统，包括：至少两个多点控制器，其中，所述至少两个多点控制器中有一个具有上述的第二处理模块，其余多点控制器具有上述的第一处理模块。
通过本发明，采用一个或多个MCU中的每个MCU将多画面布局中的本MCU下的终端的视频图像按照该多画面布局进行缩放合成；该每个MCU将合成后的视频图像进行编码并发送；终点MCU将接收到该每个MCU发送的合成后的视频图像解码并提取每个终端的视频图像；该终点MCU使用提取到的视频图像以及该终点MCU下的终端的视频图像按照该多画面布局进行合成并发送合成后的视频图像。解决相关技术中使用简单的多通道级联来实现多画面功能所导致的问题，节约了带宽资源。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的多画面处理方法的流程图；
图2是根据本发明实施例的多点控制单元的结构框图；
图3是根据本发明实施例的多点控制单元的可选结构框图；
图4是根据本发明实施例的可选的组网示意图；
图5是根据本发明实施例的可选的多画面布局的示意图；
图6是根据本发明实施例的可选的各MCU将本MCU下终端解码后按照布局缩放合成的示意图；
图7是根据本发明实施例的另一可选的组网示意图一；
图8是根据本发明实施例的另一可选的多画面布局的示意图；
图9是根据本发明实施例的另一可选的按照布局缩放合成的示意图一；
图10是根据本发明实施例的另一可选的组网示意图二；以及，
图11是根据本发明实施例的另一可选的按照布局缩放合成的示意图二。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。以下实施例中的“第一”“第二”仅用于区分，并不对顺序进行限定。
在本实施例中提供了一种多画面处理方法，图1是根据本发明实施例的多画面处理方法的流程图，如图1所示，该流程包括如下步骤：
步骤S102，一个或多个MCU中的每个MCU将多画面布局中的本MCU下的终端的视频图像按照多画面布局进行缩放合成；
步骤S104，每个MCU将合成后的视频图像进行编码并发送；
步骤S106，终点MCU将接收到每个MCU发送的合成后的视频图像解码并提取每个终端的视频图像；
步骤S108，终点MCU使用提取到的视频图像以及该终点MCU下的终端的视频图像按照多画面布局进行合成并发送合成后的视频图像。
在相关技术中采用的是简单的多通道级联的方式进行处理的，这样每个MCU都会将自己下的每个终端的视频图像不经过处理直接发送给终点MCU，这将浪费终点MCU的带宽。通过上述步骤，利用了MCU的视频处理能力按照多画面布局进行缩放合成，然后再发送给终点MCU，这相对于相关技术中的处理方式降低了对带宽资源的消耗。
在第一个可选的实施例中，每个MCU都可以具有终点MCU的功能以及从MCU的功能(在本实施例中为了便于说明，将除终点MCU之外的其他MCU称为从MCU)，这可就可以根据预定规则从多个MCU中协商并确定一个MCU作为终点MCU。
例如，选择特定终端所在MCU为终点MCU、可以选择带宽最大的MCU作为终点MCU；又例如，还可以选择运算处理能力最强的MCU作为终点MCU；在某种情况下带宽大计算能力强的MCU其承担的处理任务也比较多，其空闲资源可能并不多，因此，作为一种可选的方式，也可以选择空闲资源最多的MCU作为终点MCU。当然为了更加简单的实现，也可以根据管理员的设置确定终点MCU。这几种规则可以结合使用也可以单独使用，在实际应用中可以根据网络中各个MCU的状况或者网络架构从这些规则中选择至少之一。当然，这些规则仅仅是一种举例说明，并不限于此。
由于终点MCU需要接收很多MCU发送的视频图像，这可能会使终点MCU的带宽资源有比较大的消耗。作为一个可选的实施方式，终点MCU为了可以更好的控制自己的带宽资源，终点MCU可以确定每个MCU所能够使用的带宽资源；然后，每个MCU按照其所能使用的带宽将合成后的视频图像进行编码并发送。通过该可选的实施方式，可以再一定程度上使得终点MCU的带宽资源可控。
节约带宽资源的方式不仅仅限于上述可选的实施方式，还可以根据实际的需要来灵活处理。例如，虽然多画面布局中有九个终端的视频图像，但是，在某个MCU下的终端均只希望看到其中6个终端的视频图像，在这种情况下，终点MCU可以接收该MCU发送的信息，其中，该信息用于表示该从MCU所需要的终端的视频图像；终点MCU根据该信息将该从MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。这种处理方式可以进一步节约带宽，并且，可以使从MCU得到自己想要的终端图像。
在上述实施例中，MCU可以仅具有从MCU的功能，也可仅仅具有终点MCU的功能，当然也可以同时具有终点MCU和从MCU的功能。在本实施例还提供了另一种多画面处理方法，该方法与图1示出的方法原理相同，不同的是，该方法从一个MCU的角度上描述了多画面处理方法。该方法包括：
MCU将多画面布局中的本MCU下的终端的视频图像按照该多画面布局进行缩放合成，将合成后的视频图像进行编码并发送；或者，该MCU接收其他MCU发送的按照多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像，使用提取到的视频图像以及该MCU下的终端的视频图像按照该多画面布局进行合成并发送合成后的视频图像。
在一个可选实施例中，该MCU与该其他MCU根据预定规则进行协商并确定作为该终点MCU的MCU；在该MCU未作为终点MCU的情况下，该MCU将多画面布局中的本MCU下的终端的视频图像按照该多画面布局进行缩放合成，将合成后的视频图像进行编码并发送；在该MCU作为终点MCU的情况下，该MCU接收该其他MCU发送的按照该多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像，使用提取到的视频图像以及该终点MCU下的终端的视频图像按照该多画面布局进行合成并发送合成后的视频图像。
在一个可选实施例中，该预定规则包括以下至少之一：选择特定终端所在MCU为终点MCU、选择带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
可选地，作为从MCU，该MCU可以按照其所能使用的带宽将合成后的视频图像进行编码并发送，其中，所能使用的带宽为终点MCU确定的。
可选地，作为终点MCU，该MCU接收另一MCU的多画面的信息，其中，该信息用于表示该另一MCU所需要的终端的视频图像；该MCU根据该信息将该另一MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。
在本实施例中还提供了一种多点控制单元，图2是根据本发明实施例的多点控制单元的结构框图，如图2所示，该多点控制单元MCU包括：第一处理模块22和/或第二处理模块24；其中，第一处理模块22，用于将多画面布局中的本MCU下的终端的视频图像按照该多画面布局进行缩放合成，将合成后的视频图像进行编码并发送；第二处理模块24，用于接收其他MCU发送的按照该多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像，使用提取到的视频图像以及该终点MCU下的终端的视频图像按照该多画面布局进行合成并发送合成后的视频图像。
图3是根据本发明实施例的多点控制单元的可选结构框图，如图3所示，该多点控制单元还可以包括：协商模块32，用于与该其他MCU根据预定规则进行协商并确定作为该终点MCU的MCU；在该MCU未作为终点MCU的情况下，第一处理模块22使能；在该MCU作为终点MCU的情况下，第二处理模块24使能。
可选地，该预定规则包括以下至少之一：选择带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
在一个可选的实施方式中，第一处理模块22用于按照该第一处理模块所在的MCU所能使用的带宽将合成后的视频图像进行编码并发送，其中，所能使用的带宽为终点MCU确定的。
在另一个可选的实施方式中，第二处理模块24用于接收另一MCU的多画面的信息，其中，该信息用于表示该另一MCU所需要的终端的视频图像；并根据该信息将该另一MCU所需要的终端的视频图像按照上述多画面布局进行合成并向该另一MCU发送合成后的视频图像。
在本实施例中还提供给了一种视频系统，包括：至少两个多点控制器，其中，该至少两个多点控制器中有一个具有上述的第二处理模块24，其余多点控制器具有上述的第一处理模块22。
上述的可选实施方式是可以结合的，也可以单独使用。
图4是根据本发明实施例的可选的组网示意图，图4所示出的方法简单易行的方法，即不增加带宽，也不比单级多画面消耗更多的编解码资源。下面结合图4进行说明。在图4中，终点MCU可以称为主MCU(该MCU称为终点MCU或主MCU并不构成限定，只有该MCU能够实现相应的功能即可)，还有多个子MCU(也可以称为从MCU，从MCU1至MCUn)，每个MCU下均有一个或几个终端，例如，终端A至终端P。
用户选择多画面布局；各MCU将在多画面布局中的本MCU下终端解码；各MCU将在多画面布局中的本MCU下终端解码后按照布局缩放合成；各子MCU将合成后的子画面图像编码后送级联口；终点MCU收到各子MCU的码流；终点MCU将各子MCU码流解码后，提取各子画面图像，与本级合成画面拼接合成成完整多画面；终点MCU将完整多画面编码后发给终点MCU下各终端及各子MCU；各子MCU将多画面码流转发给本MCU下各个终端。
图5是根据本发明实施例的可选的多画面布局的示意图；用户可以选择图5所示出的多画面布局，然后各MCU将在多画面布局中的本MCU下终端解码；各MCU将在多画面布局中的本MCU下终端解码后按照布局缩放合成，如图6所示；各子MCU将合成后的子画面图像编码后送级联口；终点MCU收到各子MCU的码流；终点MCU将各子MCU码流解码后，提取各子画面图像，与本级合成画面拼接合成成完整多画面，完整画面如图5所示；终点MCU将完整多画面编码后发给终点MCU下各终端及各子MCU；各子MCU将多画面码流转发给本MCU下各个终端。
图7是根据本发明实施例的另一可选的组网示意图一，如图7所示，各MCU之间不再组成树状级联，而是采用交叉连接，每个MCU都可以直接获取其他MCU图像；
针对特定终端，比如终端A，想要看到如图8所示多画面布局，需要获取其他终端的画面合成图像，则选择终端A所在MCU即MCU1为终点MCU，各MCU将在多画面布局中的本MCU下终端解码；各MCU将在多画面布局中的本MCU下终端解码后按照布局缩放合成；各子MCU将合成后的子画面图像编码后送级联口；终点MCU收到各子MCU的码流；终点MCU将各子MCU码流解码后，提取各子画面图像，与本级合成画面拼接合成成完整多画面；终点MCU将完整多画面编码后发给终点MCU下的终端A。
图9是根据本发明实施例的另一可选的按照布局缩放合成的示意图一，如图9所示，MCU2-MCUn将合成后的子画面图像编码后通过级联口送给MCU1，然后MCU1将各MCU2-MCUn码流解码后，提取各子画面图像，与本级合成画面拼接合成成完整多画面，完整画面如图8所示。MCU1将完整多画面编码后发终端A。
针对终端BC同样选择MCU1为终点MCU，多画面合成时而以终端A的数据替代自己，可实现每个终端看到的多画面里都没有自己，而终端DEF则选择MCU2为终点MCU重复上面的操作，最终实现每个终端都看多画面，每个终端看到的多画面里都没有自己。
图10是根据本发明实施例的另一可选的组网示意图二，如图10所示，各MCU之间以环状相连，MCUn发送给MCU4，MCU4发送给MCU3，MCU3发送给MCU2，MCU2发送给MCU1，从而形成环路。每个MCU都可以从环路里获取其他MCU图像；
图11是根据本发明实施例的另一可选的按照布局缩放合成的示意图二，每个MCU在自己收到的多画面上叠加本地终端图像，将叠加好的图像发送给下一个MCU，针对特定终端，比如终端A，想要看到如图8所示多画面布局，需要获取其他终端的画面合成图像，MCUn将本地终端XYZ图像解码多画面合成后发送给了MCU4，MCU4将本地终端JKL图像解码合成后将多画面发送给MCU3，MCU3将本地终端GHI图像解码合成后送给MCU2，MCU2将本地终端DEF图像解码后合成多画面发送给MCU1，MCU1将合成后的图像叠加上本地终端BC图像后，发送给了终端A。这种方案比较适用于多画面布局各子画面大小相同，则每个终端都可以拿到环路里的所有子画面图像，最终实现每个终端都能看到多画面，切多画面里没有自己。
通过上述实施例，利用了MCU的视频处理能力按照多画面布局进行缩放合成，然后再发送给终点MCU，降低了对带宽资源的消耗。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种多画面处理方法，其特征在于，包括：
一个或多个多点控制单元MCU中的每个MCU将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成；
所述每个MCU将合成后的视频图像进行编码并发送；
终点MCU将接收到所述每个MCU发送的合成后的视频图像解码并提取每个终端的视频图像；
所述终点MCU使用提取到的视频图像以及所述终点MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
2.根据权利要求1中所述的方法，其特征在于，所述方法还包括：
根据预定规则从多个MCU中协商并确定一个MCU作为所述终点MCU。
3.根据权利要求2中所述的方法，其特征在于，所述预定规则包括以下至少之一：选择特定终端所在MCU为终点MCU、带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
4.根据权利要求1至3中任一项中所述的方法，其特征在于，
所述方法还包括：所述终点MCU获取所述每个MCU所能够使用的带宽资源；
所述每个MCU将合成后的视频图像进行编码并发送包括：所述每个MCU按照其所能使用的带宽将合成后的视频图像进行编码并发送。
5.根据权利要求1至3中任一项所述的方法，其特征在于，所述终点MCU使用提取到的视频图像以及所述终点MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像包括：
所述终点MCU获取另一MCU的多画面的信息，所述信息用于表示所述另一MCU所需要的终端的视频图像；
所述终点MCU根据所述信息将所述另一MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。
6.一种多画面处理方法，其特征在于，包括：
多点控制单元MCU将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成，将合成后的视频图像进行编码并发送；或者，
所述MCU接收其他MCU发送的按照所述多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像，使用提取到的视频图像以及该MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
7.根据权利要求1中所述的方法，其特征在于，
所述方法还包括：所述MCU与所述其他MCU根据预定规则进行协商并确定作为终点MCU的MCU；
在所述MCU未作为终点MCU的情况下，所述MCU将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成，将合成后的视频图像进行编码并发送；
在所述MCU作为终点MCU的情况下，所述MCU接收所述其他MCU发送的按照所述多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像，使用提取到的视频图像以及所述MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
8.根据权利要求7中所述的方法，其特征在于，所述预定规则包括以下至少之一：选择特定终端所在MCU为终点MCU、选择带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
9.根据权利要求6至8中任一项中所述的方法，其特征在于，所述MCU将合成后的视频图像进行编码并发送包括：
所述MCU按照其所能使用的带宽将合成后的视频图像进行编码并发送，其中，所能使用的带宽为所述终点MCU确定的。
10.根据权利要求6至8中任一项中所述的方法，其特征在于，所述终点MCU使用提取到的视频图像以及所述终点MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像包括：
所述MCU获取另一MCU的多画面的信息，其中，所述信息用于表示所述另一MCU所需要的终端的视频图像；
所述MCU根据所述信息将所述另一MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。
11.一种多点控制单元，其特征在于，所述多点控制单元MCU包括：
第一处理模块，用于将多画面布局中的本MCU下的终端的视频图像按照所述多画面布局进行缩放合成，将合成后的视频图像进行编码并发送；和/或，
第二处理模块，用于接收其他MCU发送的按照所述多画面布局合成后的视频图像并进行解码以及提取每个终端的视频图像，使用提取到的视频图像以及所述MCU下的终端的视频图像按照所述多画面布局进行合成并发送合成后的视频图像。
12.根据权利要求11中所述的多点控制单元，其特征在于，所述多点控制单元还包括：
协商模块，用于与所述其他MCU根据预定规则进行协商并确定作为所述终点MCU的MCU；
在所述MCU未作为终点MCU的情况下，所述第一处理模块使能；
在所述MCU作为终点MCU的情况下，所述第二处理模块使能。
13.根据权利要求11中所述的多点控制单元，其特征在于，所述预定规则包括以下至少之一：选择特定终端所在MCU为终点MCU、选择带宽最大的MCU作为终点MCU、选择运算处理能力最强的MCU作为终点MCU、选择空闲资源最多的MCU作为终点MCU、根据管理员的设置确定终点MCU。
14.根据权利要求11至13中任一项所述的多点控制单元，其特征在于，所述第一处理模块用于按照所述第一处理模块所在的MCU所能使用的带宽将合成后的视频图像进行编码并发送，其中，所能使用的带宽为所述终点MCU确定的。
15.根据权利要求11至13中任一项所述的多点控制单元，其特征在于，所述第二处理模块用于获取另一MCU的多画面的信息，其中，所述信息用于表示所述另一MCU所需要的终端的视频图像；并根据所述信息将所述另一MCU所需要的终端的视频图像按照上述多画面布局进行合成并向终端和/或需要此合成图像的MCU发送合成后的视频图像。
16.一种视频系统，其特征在于，包括：至少两个多点控制器，其中，所述至少两个多点控制器中有一个具有权利要求11至15任一项所述的第二处理模块，其余多点控制器具有权利要求11至15中任一项所述的第一处理模块。
CN201410707407.8A 2014-11-27 2014-11-27 多画面处理方法、多点控制单元及视频系统 Pending CN105704424A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201410707407.8A CN105704424A (zh) 2014-11-27 2014-11-27 多画面处理方法、多点控制单元及视频系统
PCT/CN2015/086162 WO2016082578A1 (zh) 2014-11-27 2015-08-05 多画面处理方法、多点控制单元及视频系统
US15/531,580 US20170332043A1 (en) 2014-11-27 2015-08-05 Multi-picture processing method, multi control unit (mcu) and video system
EP15863177.0A EP3226552A4 (en) 2014-11-27 2015-08-05 Multi-screen processing method, multi control unit and video system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410707407.8A CN105704424A (zh) 2014-11-27 2014-11-27 多画面处理方法、多点控制单元及视频系统

Publications (1)

Publication Number Publication Date
CN105704424A true CN105704424A (zh) 2016-06-22

Family

ID=56073542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410707407.8A Pending CN105704424A (zh) 2014-11-27 2014-11-27 多画面处理方法、多点控制单元及视频系统

Country Status (4)

Country Link
US (1) US20170332043A1 (zh)
EP (1) EP3226552A4 (zh)
CN (1) CN105704424A (zh)
WO (1) WO2016082578A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108462854A (zh) * 2017-02-17 2018-08-28 陈延祚 视频图像处理方法及其相关系统
CN109120867A (zh) * 2018-09-27 2019-01-01 乐蜜有限公司 视频合成方法及装置
CN112887635A (zh) * 2021-01-11 2021-06-01 深圳市捷视飞通科技股份有限公司 多画面拼接方法、装置、计算机设备和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068166B (zh) * 2018-08-17 2020-02-14 北京达佳互联信息技术有限公司 一种视频合成方法、装置、设备及存储介质
CN113497963B (zh) * 2020-03-18 2023-04-18 阿里巴巴集团控股有限公司 视频处理方法、装置及设备
KR20220114326A (ko) * 2021-02-08 2022-08-17 삼성전자주식회사 미디어 스트림을 송수신하는 전자 장치 및 그 동작 방법
CN113923379B (zh) * 2021-09-30 2022-07-05 广州市保伦电子有限公司 一种自适应视窗的多画面合成方法及处理终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060087553A1 (en) * 2004-10-15 2006-04-27 Kenoyer Michael L Video conferencing system transcoder
CN101262587A (zh) * 2008-03-31 2008-09-10 杭州华三通信技术有限公司 一种实现多画面视频会议的方法及多点控制单元
CN101895718A (zh) * 2010-07-21 2010-11-24 杭州华三通信技术有限公司 视频会议系统多画面广播方法及其装置和系统
CN102204244A (zh) * 2008-06-23 2011-09-28 锐迪讯有限公司 提供级联的多点视频会议单元的系统、方法和介质
US20130106988A1 (en) * 2011-10-28 2013-05-02 Joseph Davis Compositing of videoconferencing streams

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7800642B2 (en) * 2006-03-01 2010-09-21 Polycom, Inc. Method and system for providing continuous presence video in a cascading conference
CN100583985C (zh) * 2007-04-27 2010-01-20 华为技术有限公司 一种在视频业务中实现画面切换的方法、装置及系统
CN100562094C (zh) * 2007-06-21 2009-11-18 中兴通讯股份有限公司 一种会议电视系统中的多画面远端摄像机遥控方法
CN102006451A (zh) * 2010-11-18 2011-04-06 中兴通讯股份有限公司 在级联会议中实现多画面的方法、系统及mcu

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060087553A1 (en) * 2004-10-15 2006-04-27 Kenoyer Michael L Video conferencing system transcoder
CN101262587A (zh) * 2008-03-31 2008-09-10 杭州华三通信技术有限公司 一种实现多画面视频会议的方法及多点控制单元
CN102204244A (zh) * 2008-06-23 2011-09-28 锐迪讯有限公司 提供级联的多点视频会议单元的系统、方法和介质
CN101895718A (zh) * 2010-07-21 2010-11-24 杭州华三通信技术有限公司 视频会议系统多画面广播方法及其装置和系统
US20130106988A1 (en) * 2011-10-28 2013-05-02 Joseph Davis Compositing of videoconferencing streams

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108462854A (zh) * 2017-02-17 2018-08-28 陈延祚 视频图像处理方法及其相关系统
CN109120867A (zh) * 2018-09-27 2019-01-01 乐蜜有限公司 视频合成方法及装置
CN112887635A (zh) * 2021-01-11 2021-06-01 深圳市捷视飞通科技股份有限公司 多画面拼接方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US20170332043A1 (en) 2017-11-16
WO2016082578A1 (zh) 2016-06-02
EP3226552A4 (en) 2017-11-15
EP3226552A1 (en) 2017-10-04

Similar Documents

Publication Publication Date Title
CN105704424A (zh) 多画面处理方法、多点控制单元及视频系统
CN101262587B (zh) 一种实现多画面视频会议的方法及多点控制单元
KR100972369B1 (ko) 비디오 전화기를 위한 관심 영역 처리
KR100946813B1 (ko) 비디오 전화기를 위한 관심 영역 추출
US9154737B2 (en) User-defined content magnification and multi-point video conference system, method and logic
EP2288152A1 (en) Controlling method and device of multi-point meeting
RU2662731C2 (ru) Устройство серверного узла и способ
CN101640784A (zh) 一种在视频会议系统中控制多画面复合的控制装置及方法
CN100473149C (zh) 一种视频会议图像处理系统
KR20170007419A (ko) 비디오 회의를 제시하기 위한 방법, 디바이스 및 시스템
EP2965508B1 (en) Video conference virtual endpoints
EP3253066B1 (en) Information processing device
US20150172558A1 (en) Video processing method, apparatus, and system
CN102158693A (zh) 自适应解码嵌入式视频比特流的方法及接收系统
CN101098244A (zh) 一种多点会议中媒体处理的方法和系统
CN112911383A (zh) 一种局域网下多路投屏方法、设备及系统
WO2021093882A1 (zh) 一种视频会议方法、会议终端、服务器及存储介质
US20200329083A1 (en) Video conference transmission method and apparatus, and mcu
CN112752058B (zh) 调整视频流的属性的方法和装置
CN101998104B (zh) 一种视频电话及其替代视频的生成方法
US20220311814A1 (en) Techniques for signaling multiple audio mixing gains for teleconferencing and telepresence for remote terminals
CN108540866A (zh) 一种视频拼接显示下的视频多路输出系统及方法
US10218992B2 (en) Encoding, transmission and decoding of combined high motion and high fidelity content
ROSENBAUM. et al. Mobile image communication using JPEG2000
JP2016143954A (ja) 無線通信装置及び無線通信方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160622