CN105340264B - 生成视频窗格布局 - Google Patents

Abstract

第一视频会议设备确定要在第二视频会议设备处显示的多个视频内容的窗格尺寸，其中该窗格尺寸是基于第二视频会议设备的最小视频窗格尺寸来确定的。第一视频会议设备然后向第二视频会议设备发送视频流，该视频流包括具有所确定的窗格尺寸的多个视频内容的至少一个子集。所确定的窗格尺寸等于或大于最小视频窗格尺寸。

Description

生成视频窗格布局

相关申请的交叉引用

本申请基于2013年6月27日提交的美国临时申请No.61/840,294的优先权权益并要求该申请的优先权利益，该申请的全部内容通过引用结合于此。

技术领域

本申请一般地涉及在视频电话会议的接收端生成视频窗格布局。

相关领域的讨论

在此所提供的“背景”描述是为了一般地提供本公开的情景的目的。在该背景部分所描述的程度，本文所描述的工作以及该描述中不另外被认为是提交申请时的现有技术的方面不被明确或隐含地承认为现有技术。

视频会议系统用于不位于同一位置的两方或多方、或者两个或多个参与者之间传输视频和音频二者。图8为典型的视频会议系统的框图。在图8中，端点82、84和86经由网络80连接至多点控制单元(MCU)88。该网络可以为私有网络或公共网络，比如互联网，并且可以具有无线和有线组件。每个端点82、84和86向MCU 88发送相应参与者的图像和声音数据，MCU 88然后处理该声音和视频数据并将结果发送给端点82、84和86。由MCU 88执行的处理可以包括将视频和音频数据合并在某一布局中用于在端点82、84和86中的每一个端点处呈现。

在由端点82、84和86所接收的布局中，用户可以观看视频的多个窗格，其中视频的多个窗格通常相对应于会议中的其它参与者且可能对应于内容视频流。由于端点可以包括被安装在视频会议室中的大屏幕、个人计算机的屏幕、或者甚至包括电话或平板电脑的屏幕，因此用户可以在各种尺寸的屏幕上观看视频的多个窗格。此外，各种屏幕分辨率也是可能的，并且并不总是与屏幕尺寸相联系——一些4英寸的电话屏幕比60英寸的监视器具有更高的分辨率。

附图说明

通过参考附图，可以获得对本公开更为完全的理解，其中：

图1A-1C示出了示例性的视频会议端点场景；

图2为由接收设备执行的示例性方法的流程图；

图3为由接收设备执行的方法的另一示例性实现方式的流程图；

图4为由发生终端执行的示例性方法的流程图；

图5为由发送终端执行方法的另一示例性实现方式的流程图；

图6示出了基于参与者的数目和屏幕尺寸的变化，视频窗格尺寸的示例性变化；

图7为示出了示例性接收设备和示例性发送设备的硬件组件的框图；以及

图8为视频会议系统的框图。

示例实施例描述

概述

由第一视频会议设备执行的示例性方法包括：在第一视频会议设备处确定将在第二视频会议设备处显示的多个视频内容的窗格尺寸，其中窗格尺寸是基于第二视频会议设备的最小视频窗格尺寸来确定的。该示例性方法还包括从第一视频会议设备向第二视频会议设备发送视频流，所述视频流包括具有所确定的窗格尺寸的多个视频内容的至少一个子集，其中所确定的窗格尺寸等于或大于最小视频窗格尺寸。

具体实施方式

在本文的附图和描述中，相同的参考数字在若干视图中指定相同或相应部分/步骤。流程图或者功能性框图中的任何过程、描述或块应当被理解为表示模块、段、代码部分，所述模块、段、代码部分包括一个或多个可执行指令以用于实施本文所描述的过程/算法中的具体逻辑功能或步骤，以及改变实施被包括于本公开的示例性实施方式的范围之内，其中，功能可以不按照所示出或所讨论的顺序执行，包括大体上同时或相反的顺序，这取决于所涉及的功能。

在以下的公开中，根据示例性实施方式，术语“发送设备”指向另一视频会议设备发送信息(比如，视听流)的视频会议设备。接收视听流的视频会议设备被称为“接收设备”。然而，这些术语仅用于帮助对本公开的某些示例性方面的理解，不应当被视为限定。视频会议设备可以假设在视频会议期间，同时具有发送设备和接收设备的功能。视频会议设备还可以包括MCU。

取决于被用户观看的屏幕的尺寸，具有某一视频窗格尺寸，低于该视频窗格尺寸的视频窗格为次优小。例如，尽管1080p的视频流可能适合于会议室内的60英寸屏幕，在该1080p的视频流中，各个参与者被显示在192x108像素的子窗格内，并且60英寸屏幕将显现为近似12x9cm，但对于在桌面电话的6英寸显示屏上呈现的同一视频流，窗格尺寸仅为1.2x0.9cm，太小而不实用，用户体验可能显著较差。

图1A-1C图示了各种示例性屏幕尺寸，这些屏幕尺寸可以被视频会议系统的参与者使用。图1A示出了视频会议室，在该视频会议室中，参与者(102)观看大屏幕(100)，该大屏幕(100)显示远程参与者的视频窗格(110)和内容视频流的视频窗格(108)。图1B示出了视频会议场景，在该视频会议场景中，参与者(102)在计算机监视器上观看视频窗格(108和110)。最后，图1C示出了在移动设备(104)上观看视频窗格(108和110)的参与者(102)。

示例性实施方式以有效和响应式的方式来处理各种示例性的屏幕尺寸。如果接收设备传递它们将显示的各个窗格的最小尺寸限制，则将避免某些问题，这些问题包括需要高权重协议和信令开销以及对会议改变的延迟响应。在这种情况下，即使当输入流和会议属性改变时，发送设备可以保证它决不会向接收设备提供不适当小的视频窗格。如果输入流或会议属性改变，则发送设备可以立即改变向接收设备提供的布局，而无需与接收设备进行任何通信，这使改变到新布局的延迟最小化，并且降低了发送设备和接收设备之间的信令开销。此外，根据示例性实施方式，发送设备未被不灵活的窗格尺寸策略阻碍，或者当会议的组成动态变化时，发送设备未被与每一个接收设备通信的需求阻碍。

图2根据示例性实施方式，通过算法流程图描述了由接收设备执行的示例性方法。在步骤202，接收设备确定可以在其上最优显示的最小视频窗格尺寸。针对所有视频类型，该最小视频窗格尺寸可以为最小值，或者它可以对不同类型的视频施加不同的限制。例如，与显示具有文字的幻灯片相比，在较小的窗格中显示参与者的全动态视频可能是可接受的。此外，针对会议中的不同参与者可能还存在不同限制。例如，不同的最小视频窗格尺寸被分配给对于会议具有不同重要度的参与者。这里，术语“最小视频窗格尺寸”包括被分配给不同类型的视频或被分配给不同会议参与者的不同的最小视频窗格尺寸。

对最小视频窗格尺寸的确定可以由接收设备或者由发送设备进行。例如，接收设备可以表达其屏幕的物理尺寸。在这种情形下，发送设备可以在其端使用硬编码逻辑或用户可配置逻辑，以确定用于在这一尺寸的窗格上显示的被编码的视频窗格的相应可接受尺寸。该通信可以被包括于呼叫信令协议中或任何其它信令信道中，比如新媒体层会议控制协议。在会话初始协议(SIP)的情形下，屏幕尺寸可以用针对每视频m行(m-line)的新媒体属性来表达，比如“a＝屏幕尺寸：x＝180，y＝120”以毫米表示规格。在这一示例中，发送设备基于接收设备的屏幕的物理尺寸，做出关于最小窗格尺寸的决定。

替代地，接收设备可以发送该最小视频窗格尺寸作为整体的流尺寸的比例。在SIP中，这可以用针对每视频m行的声明式会话描述协议(SDP)属性来完成，比如“a＝最小组合窗格0.1，幻灯片0.4”表示，除了幻灯片的窗格(该幻灯片的窗格不应小于整体视频尺寸的4/10)以外，没有内部窗格应当小于每一侧的整体视频尺寸的1/10。在这一示例中，接收设备做出关于最小视频窗格尺寸的决定。

一旦确定了最小视频窗格尺寸，则在步骤204中，接收设备将所确定的最小视频窗格尺寸发送至发送设备。发送最小视频窗格尺寸的上述方法是由接收设备声明的，不需发送设备和接收设备之间协商。最后，在最小视频窗格尺寸被发送之后，在步骤206中，接收设备从发送设备接收视频流。由接收设备定义最小视频窗格尺寸的这一特征可以是可选的，以使得如果发送设备不支持这一功能，那么发送设备将向接收设备提供不限定最小视频窗格尺寸的组合视频流。替代地，接收设备将不能接收除具有过于小的窗格的视频之外的视频。在该情形中，发送设备可以在SIP中包括确认发送设备支持由接收设备定义最小视频窗格尺寸的特征的属性。在另一方面，接收设备可以使用信令中的机制(比如SIP中的需求字段)以确保如果发送设备不支持由接收设备定义最小视频窗格尺寸的特征，则呼叫将失败。

在另一实施方式中，可以包括最小视频窗格尺寸以作为预存在协议的一部分，以控制由接收设备接收的布局。例如，由于内部限制(比如被配置的策略、内部编码器结构、或向多个接收设备发送同一视频流的需求)，发送设备可能不能基于接收设备的所定义的最小视频窗格尺寸，来生成针对每个接收设备的具体布局，但是替代地，可以提供布局范围，每个接收设备可以从该布局范围进行选择。

图3示出了这一示例性实施方式的算法流程图。在步骤302中，接收设备接收由发送设备提供的布局。在该步骤中，接收设备还可以接收与每一个布局相关联的最小视频窗格尺寸，该最小视频窗格尺寸被表述为整体屏幕尺寸的比例或被表述为像素值。如果布局选择是动态地依赖于会议参与者的人数，那么发送设备还可以提供指示当会议改变时，每一个布局的最小视频窗格尺寸将如何改变的信息。

在步骤304中，基于所接收的信息，接收设备挑选所接收的视频窗格布局之一。如果由于会议的改变，被挑选的布局经受改变，则接收设备可以在这一步骤中指定最小视频窗格尺寸或布局上的一些其它限制。例如，在全屏中显示活跃发言者的布局选项，小区域显示其他会议参与者，沿着屏幕底部的次级窗格可以定义：当存在多达4个次级参与者时，可以在次级窗格中显示他们，其中次级窗格具有流的总高度的20％。然而，当存在5到9个次级参与者时，次级窗格将缩小至流的总高度的10％。给定这一信息，接收设备可以直接将窗格尺寸限制为总高度的20％或者将次级窗格的最大数目限定为4。

图4描述了发送设备的操作的算法流程图。在步骤402中，发送设备从接收设备接收最小视频窗格尺寸。如以上所描述的，所接收的最小视频窗格尺寸可以包括与不同类型的视频或不同的参与者相对应的不同的最小视频窗格尺寸。另外，所接收的最小视频窗格尺寸可以以窗格的物理尺寸或者窗格尺寸与总的流尺寸的比例的方式来表达。

如以上关于图2所讨论的，如果发送设备不支持由接收设备对最小视频窗格尺寸的定义，则发送设备可以将视频流与任意尺寸的视频窗格组合，这有效地忽略了由接收设备定义的最小视频窗格尺寸。替代地，基于发送设备和接收设备之间的信令，接收设备可以传输如下内容，即，对最小视频窗格尺寸的遵守是强制性的，如果发送设备不能适应由接收设备对最小视频窗格尺寸的定义，则该呼叫被中止。

假定发送设备支持由接收设备对最小视频窗格尺寸的定义，则发送设备在步骤404生成符合最小视频窗格尺寸的视频流，并且在步骤406中将所生成的视频流发送给接收设备。

图5示出了对应于图3，发送设备的操作的另一实施发送，其中图3示出了接收设备相应的算法操作。在步骤502，发送设备将被预定义的布局选择发送给接收设备。如以上关于图3所讨论的，发送设备可以连同布局选择一起发送针对每个布局的最小视频窗格尺寸。在步骤504，发送设备从接收设备接收布局选择中所挑选的一个布局选择。发送设备还可以接收对所挑选的布局选择的另外限制，比如最小视频窗格尺寸或参与者的最大人数。最后，在步骤506，发送设备可以采用所挑选的布局向接收设备中发送视频流。

图6描绘了示出基于会议参与者人数和接收设备的屏幕尺寸的改变，对视频窗格尺寸改变的示例性实施。顶部屏幕示出4个参与者，而顶部屏幕下面的屏幕示出当参与者的人数增长到10时，显示每个参与者的视频窗格的尺寸变得更小。图6的底部两个屏幕描述了当具有10个参与者的会议被显示于较小的屏幕上时的示例性实施方式。底部左侧屏幕显示了如下场景，其中每个参与者的视频窗格难以接受地小。底部右侧屏幕显示了如下示例性实施方式，其中底部左侧屏幕的难以接受的小的视频窗格尺寸低于接收设备的最小视频窗格尺寸，并且接收设备接收具有较少窗格的布局，这些窗格以较大的窗格尺寸显示。

图7图示了示例性处理系统或处理器。根据本文所提供的描述，这种处理系统中的一个或多个可以用于或用来执行一个或多个算法(或其中的一部分)、或一个或多个结构块(或其中的一部分)。这些处理系统中的一个或多个可以被包括于例如本文所描述的发送设备和接收设备的视频会议设备中。

示例性处理系统可以使用一个或多个微处理器或其等价物(比如中央处理单元(CPU)和/或至少一个专用处理器ASP)来实现。处理器为利用计算机可读存储介质的电路，该计算机可读存储介质例如可以是存储器电路(例如ROM、EPROM、EEPROM、闪速存储器、静态存储器、DRAM、SDRAM以及它们的等价物)，该存储器电路被配置为控制处理器来执行本公开的过程和系统和/或控制本公开的过程和系统。其它存储介质可以经由控制器来进行控制，所述控制器比如可以是能够控制硬盘驱动器或光盘驱动器的盘控制器。

在替代的实施方式中，处理器或其各方面可以包括或排他地包括用于加强或完全实施本公开的逻辑设备。这种逻辑设备包括但不限定于，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、通用逻辑阵列(GAL)和它们的等价物。处理器可以为单独的设备或单处理机制。此外，本公开可受益于多核CPU的并行处理能力。多核处理布置中的一个或多个处理器还可以被利用以执行包含于存储器内的指令序列。替代地，硬连线电路可以替代软件指令或与软件指令组合使用。因此，本文所讨论的示例性实施方式不限于硬件电路和软件的任何具体组合。

在另一方面，根据本公开的处理结果可以经由显示控制器在监视器上显示。显示控制器优选地包括至少一个图形处理单元，该至少一个图形处理单元可以由多个图形处理核心提供用于改进计算效率。另外，I/O(输入/输出)接口被提供用于从麦克风、扬声器、摄像头、鼠标、键盘、基于触摸的显示屏或平板接口等输入信号和/或数据，其中麦克风、扬声器、摄像头、鼠标、键盘、基于触摸的显示屏或平板接口等可以作为外围设备连接至I/O接口。例如，用于控制本公开的各种过程或算法的参数的键盘或定点设备可以被连接至I/O接口，以提供另外的功能和配置选项、或控制显示特性。此外，可以向监视器提供触敏界面，以用于提供命令/指令界面。

以上提到的组件可以经由用于发送或接收数据的网络接口(包括可控制参数)耦接至网络(比如互联网或本地内联网)。提供中央总线(BUS)以将以上的硬件组件连接在一起并提供用于它们之间的数字通信的至少一条路径。

适合的软件(比如操作系统或应用)可以被明确地存储于处理系统的计算机可读介质上，包括存储器和存储设备。计算机可读介质的其它示例为压缩盘、硬盘、软性盘、带、磁光盘、PROM(EPROM、EEPROM、闪速EPROM)、DRAM、SRAM、SDRAM、或任何其它磁性媒介、压缩盘(例如CD-ROM)、或计算机可以从其读取的任何其它介质。软件可以包括但不限于，设备驱动、操作系统、开发工具、应用软件、和/或图形用户界面。

以上提及的媒介上的计算机代码要素可以为任何可解释或可执行代码机制，包括但不限于脚本、可解释程序、动态链接库(DLL)、Java类和完全可执行程序。此外，为了更好的性能、可靠性和/或开销，本公开方面的处理部分可以为分布式。

本文所讨论的过程或例程可以被实现为系统、方法或计算机程序产品，并且可以经由一个或多个指定电路或程序化处理器执行。相应地，本文所提供的描述可以采用专属硬件、硬件上执行专属软件(包括固件、驻留软件、微代码等)的形式，或者通过被具体算法和过程代码配置的通用处理器和指定硬件组件的组合来实现。硬件组件被称为“电路”、“模块”、“单元”、“设备”或“系统”。被硬件执行的可执行代码被实现在实体的存储器设备上，比如计算机程序产品。示例包括CD、DVD、闪速驱动器、硬盘单元、ROM、RAM和其它存储器设备。

根据本公开的实施，对方法、系统和计算机程序产品的流程图和框图进行了参考。其中的方面被计算机程序指令实施。可以向通用计算机的处理器、专用计算机、或其它可编程数据处理装置提供这些计算机程序指令，以产生机器，从而使得经由计算机的处理器或其它可编程数据处理装置执行的指令创建用于实施流程图和/或一个或多个框图块所指定的功能/动作的装置。

这些计算机程序指令还可以被存储在计算机可读介质上，该计算机可读介质可以指引计算机或其它可编程数据处理装置以特定方式运行，从而使得存储于计算机可读介质上的指令生成包括指令装置的制品，其中指令装置实施流程图和/或一个或多个框图块所指定的功能/动作。

计算机程序指令还可以被载入到计算机或其它可编程数据处理装置，以使一系列可操作步骤在该计算机或其它可编程装置上被执行，从而生成计算机实施的过程，使得在该计算机或其它可编程装置上执行的指令提供用于实施流程图和/或一个或多个框图块所指定的功能/动作的过程。

已描述多个实施方式。然而，应当理解，可以进行各种修改，而不脱离本公开的主旨和范围。例如，如果以另一序列执行所公开的技术的步骤，如果以另一方式组合所公开的系统中的组件，或者如果组件被其它组件替换或补充，则可以获得优选的结果。本文所描述的功能、处理和算法可以在硬件或由硬件执行的软件中执行，该硬件包括被配置为执行程序代码和/或计算机指令以执行本文所描述的功能、过程和算法的计算机处理器和/或可编程电路。另外，一些实施方式可以在与所公开的模块或硬件不同的硬件或模块上执行。相应地，其它实施方式处于可以请求保护的范围之内。

Claims (17)

1.一种用于视频会议的方法，包括：

在第一视频会议设备处，确定要在第二视频会议设备处显示的多个视频内容的窗格尺寸，所述窗格尺寸是基于与所述第二视频会议设备相对应的最小视频窗格尺寸来确定的，其中，所述最小视频窗格尺寸定义了窗格尺寸与所述第二视频会议设备的屏幕的尺寸的最小比例；以及

从所述第一视频会议设备向所述第二视频会议设备发送视频流，该视频流包括具有所确定的窗格尺寸的所述多个视频内容的至少一个子集，所确定的窗格尺寸等于或大于所述最小视频窗格尺寸。

2.根据权利要求1所述的方法，其中所述最小视频窗格尺寸包括针对所述多个视频内容中的每个视频内容的不同的最小视频窗格尺寸。

3.根据权利要求2所述的方法，其中所述不同的最小视频窗格尺寸包括针对全动态视频的第一尺寸和针对包括文本的幻灯片的较大的第二尺寸。

4.根据权利要求1所述的方法，其中所述第一视频会议设备根据相应视频会议的变化，来动态地改变所述多个视频内容的窗格尺寸，所述窗格尺寸在所述改变后维持在所述最小视频窗格尺寸或大于所述最小视频窗格尺寸。

5.根据权利要求4所述的方法，其中相应视频会议的所述变化包括添加或移除参与者。

6.根据权利要求1所述的方法，其中当超过对应于所述第二视频会议设备的视频窗格的预定最大数目时，所述第一视频会议设备从所述视频流移除所述多个视频内容的子集。

7.根据权利要求1所述的方法，还包括：

在所述第一视频会议设备处，接收来自所述第二视频会议设备的所述最小视频窗格尺寸。

8.根据权利要求1所述的方法，还包括：

在所述第一视频会议设备处，接收所述第二视频会议设备的屏幕尺寸；以及

基于所接收的屏幕尺寸，在所述第一视频会议设备处确定所述第二视频会议设备的最小视频窗格尺寸。

9.根据权利要求1所述的方法，其中所述第一视频会议设备基于不同的最小视频窗格尺寸，来确定针对所述多个视频内容的窗格尺寸集合，并且对于每个窗格尺寸集合，向多个第二视频会议设备发送视频流，所述视频流至少包括具有相应窗格尺寸的视频内容的子集。

10.根据权利要求9所述的方法，其中所述第一视频会议设备发送与每个视频流相对应的最小视频窗格尺寸。

11.根据权利要求9所述的方法，其中所述窗格尺寸集合对应于视频布局。

12.根据权利要求11所述的方法，还包括：

基于相应视频会议的变化，从所述第一视频会议设备向所述多个第二视频会议设备发送视频布局正在改变的通知。

13.根据权利要求6所述的方法，其中所述第一视频会议设备经由呼叫信令协议接收所述最小视频窗格尺寸。

14.根据权利要求13所述的方法，其中所述呼叫信令协议为会话发起协议(SIP)。

15.根据权利要求1所述的方法，其中所述最小视频窗格尺寸被包括在布局控制协议中。

16.一种视频会议设备，包括：

处理电路，其被配置为确定要在另一视频会议设备处显示的多个视频内容的窗格尺寸，所述窗格尺寸是基于对应于所述另一视频会议设备的最小视频窗格尺寸来确定的，其中，所述最小视频窗格尺寸定义了窗格尺寸与所述另一视频会议设备的屏幕的尺寸的最小比例；

通信电路，其被配置为向所述另一视频会议设备发送视频流，所述视频流包括具有所确定的窗格尺寸的所述多个视频内容的至少一个子集，所确定的窗格尺寸等于或大于所述最小视频窗格尺寸。

17.一种非暂态计算机可读介质，其上编码有计算机可读指令，当所述计算机可读指令被视频会议设备执行时，使所述视频会议设备执行方法，所述方法包括：

确定要在另一视频会议设备处显示的多个视频内容的窗格尺寸，所述窗格尺寸是基于对应于所述另一视频会议设备的最小视频窗格尺寸来确定的，其中，所述最小视频窗格尺寸定义了窗格尺寸与所述另一视频会议设备的屏幕的尺寸的最小比例；

向所述另一视频会议设备发送视频流，所述视频流包括具有所确定的窗格尺寸的所述多个视频内容的至少一个子集，所确定的窗格尺寸等于或大于所述最小视频窗格尺寸。