CN103718545A

CN103718545A - 用于修改由视频合成单元用来生成合成视频信号的布局的方法、计算机可读存储介质及装置

Info

Publication number: CN103718545A
Application number: CN201280037878.1A
Authority: CN
Inventors: 哈根·思科拉姆斯塔德
Original assignee: Cisco Technology Inc
Current assignee: Cisco Technology Inc
Priority date: 2011-07-29
Filing date: 2012-07-27
Publication date: 2014-04-09
Anticipated expiration: 2032-07-27
Also published as: US20130027502A1; CN103718545B; US8941708B2; US9497415B2; US20150109405A1; EP2749021B1; WO2013019638A1; EP2749021A1

Abstract

在一个实施例中，一种方法包括：在显示器上提供被配置来由用户沿轴移动的对象，将多个预定义的布局与沿轴的各间隔相关联，检测针对对象的、指示轴上的位置的用户动作，以及响应于对用户动作的检测，使用多个预定义的布局中的、与所述位置在多个间隔中所位于的间隔相关联的布局合成合成视频信号。

Description

用于修改由视频合成单元用来生成合成视频信号的布局的方法、计算机可读存储介质及装置

对相关申请的交叉引用

本申请要求于2011年7月29日提交的美国临时专利申请No.61/513,190的权益，其全部内容通过引用并入本文。

技术领域

本公开总体涉及修改由视频合成单元用来生成合成视频信号的布局的方法、计算机可读存储介质及装置。

背景技术

视频会议系统包括多个通过各种网络以及在各种网络之间传送实时视频、音频、和/或数据（通常被称为双重视频（Duo Video））流的端点，该各种网络例如是：广域网（WAN）、局域网（LAN）、和电路交换网络。。

今天，技术安装的用户都习惯于并且要求系统要易于使用并且能提供图形化环境的定制和设备间的协作的方式的灵活性。传统的视频会议系统不是很灵活。例如，无论用户在发起连续的呈现和/或双重视频呼叫时选择何种布局，不同视频和/或数据流的位置和大小都会超出用户的控制。此外，传统的视频会议系统是使用由红外（IR）远程控制设备上的键板控制的屏幕上的菜单系统操作的，允许的灵活性有限并且用户体验笨拙。

附图说明

通过阅读下面的说明和查看附图，本公开将被更好地理解。这些附图仅被提供用作实施例的非限制性示例。在附图中：

图1是示出了用于生成合成视频信号的本公开的方法的流程图；

图2示出了用于显示合成视频信号的显示区域或显示器的区域；

图3是示出了本公开的一个实施例的示意框图；

图4是示出了本公开的一个实施例的示意框图；

图5是示出了本公开的一个实施例的示意框图；

图6根据本公开的一个实施例示出了（一个或多个）显示区域；

图7根据本公开的一个实施例示出了（一个或多个）显示区域；

图8根据本公开的一个实施例示出了（一个或多个）显示区域；

图9根据本公开的一个实施例示出了显示器；

图10根据本公开的一个实施例示出了显示器；

图11示出了可以在其上实现本公开的实施例的计算机系统。

具体实施方式

概览

在一个实施例中，一种方法包括：在显示器上提供被配置为由用户沿轴移动的对象，将多个预定义的布局与沿轴的各间隔的相关联。该方法还包括：检测针对对象的、指示轴上的位置的用户动作，以及响应于对用户动作的检测，使用多个预定义的布局中与所述位置在多个间隔中所位于的间隔相关联布局来合成合成视频信号。

示例实施例

视频会议系统包括多个通过各种网络以及在各种网络之间传送实时视频、音频、和/或数据（通常被称为双重视频（Duo Video））流的端点。存在于不同站点的多个视频会议系统通常可以通过（一个或多个）多点控制单元（MCU）参与同一会议，该（一个或多个）多点控制单元例如执行交换和混合功能以允许视听终端正常地相互通信。

MCU可以是作为中央网络资源操作的独立设备，或者能够被集成在视频会议系统的编码解码器（codec）中。MCU通过从（视频会议系统所位于的）各站点接收会议信号的帧、处理所接收的信号、并且将经处理的信号重新发送回适当的站点将各站点链接在一起。

在连续呈现会议中，来自两个或多个站点的视频信号和/或数据信号在空间上进行混合以形成由会议参与者观看的合成视频信号。该合成视频信号是组合的视频信号，可以包括来自会议中的参与者的实况视频流、静态图像、菜单或其它可视图像。不同的视频和/或数据信号如何在空间上进行混合存在无限多的可能性，例如不同视频和数据帧在合成图像中的大小和位置。编码解码器和/或MCU具有一组存储在MCU或视频会议编码解码器上的预配置的合成视频信号模板，为由MCU或编码解码器接收的一个或多个视频和/或数据流在合成视频信号内分配一个或多个区域（帧）。这些模板也可以被称为布局。

本公开与支持重要场景的一组布局（或图像合成类型）相关联，并且通过操纵统一体（continuum）内的对象使用户能够在布局（或图像合成类型）之间无缝地移动。这有助于控制当前处于焦点的媒体对象（例如，活动发言者或演示）和剩余的媒体对象之间的相对大小。

术语“站点”用于统指具有视听端点和会议参与者或用户的位置，或者简单地指端点。

术语“合成视频信号”用于统指是一个或多个视频会议流的空间混合的视频信号。

术语“视频合成单元”用于统指在处理设备上运行的设备或软件，该处理设备被配置来接收P个视频会议流并且将流（stream）一起混合到一个或多个合成视频流中，以及将一个或多个合成视频流输出到一个或多个端点。合成视频信号中的视频会议流的位置和大小取决于视频合成单元所使用的布局。视频合成单元的非限制性示例是多点控制单元（MCU）。

术语“端点”用于统指视频会议端点或终端（比如，个人端点、会议室端点、礼堂端点等）、或在协助与其它端点的视听通信的个人计算机上运行的软件应用。

术语“视频会议流”用于统指源于端点的多媒体流，例如，视频流、音频流、图像、来自连接到该端点的第二设备（比如，计算机或数字化通用磁盘（DVD）播放器）的多媒体。

术语“布局”用于统指用于定义合成视频信号的合成的模板、或者确定或用作模型（pattern）的任何东西。根据本公开的一个实施例，布局是定义所有视频会议流在合成视频信号中的位置和大小的配置文件，例如，XML文档。根据本公开的一个实施例的示例性布局或配置文件可以被表示如下：

来自两个或多个站点的视频会议流在空间上进行混合以形成合成视频信号。由视频会议流占据的区域被称为框。当视频合成单元混合视频会议信号时，视频合成单元需要知道每个框的确切位置和大小。因此，布局或配置文件至少定义每个框的位置、大小以及识别视频会议流来源的ID。

参考上面的布局或配置文件，不同框在合成视频信号中的<Position>以左上角的坐标来给出。<Width>和<Height>以像素值定义框的大小。<VideoSourceId>与应该显示在框中的视频会议流来源相关。

本公开涉及用于修改由视频合成单元用来生成合成视频信号（例如，双重视频或连续呈现视频会议）的布局的方法和端点。根据本公开，方法和端点在显示器上向用户提供对象，其中该对象被配置为由用户沿轴或连续线（continuous line）来进行移动。方法和端点与支持重要场景到沿连续线的间隔的布局（或合成）相关联，并且使得用户能够通过跨连续线地操纵对象在布局（或合成）间无缝地移动。连续线仅是示例。轴既不必是线也不必是连续的。轴可以是弧线、圆，和/或不连续的。

连续线的一端与所选择的布局（例如，全屏只示出声音最大的发言者）相关联。连续线的另一端与另一布局（例如，所有视频会议流以近似相等的大小跨一个或多个屏幕分布）相关联。可以存在与中间的间隔相关联的其它布局。可移动的对象可以与合成视频信号一起显示在端点的主显示器上，或者该对象可以与当前视频合成（布局）的副本一起显示在单独的控制设备上（比如，触摸屏远程控制）。

由于示例性实施例涉及操纵控制的单个轴，示例性实施例可能适合于各种用户输入机制，比如，传统的远程控制（将需要用户可选择的模式来控制布局合成）、鼠标、和触摸屏。此外，其它实施例可以包含控制的多个轴。

图1示出了用于生成合成视频信号以显示在端点显示器上的示例性方法的示意流程图。该方法开始于起始步骤100。在提供步骤110中，可由用户沿轴或连续线进行移动的对象被提供到显示器上。

图2是用于示出本公开的特征的示意图，并且示出了用于显示合成视频信号210的显示区域或显示器的区域。示例性对象220被显示，如图2中的箭头所指示的，其中对象220可沿轴230移动。在一个实施例中，轴230对用户是不可见的。

在一个实施例中，对象200被设在与端点相关联的主显示器上，其中显示器用于向本地用户显示视频会议流（比如，合成视频信号）。对象220可以与合成视频信号一起被显示。在一个实施例中，对象220可以被显示为叠加在合成视频信号之上。在另一个示例中，对象220可以被显示在与合成视频信号分开的区域中。在另一个实施例中，对象220可以被设在与端点相关联的控制设备的显示器上。

控制设备是至少包括显示器、输入设备、存储器、和处理器的设备。显示设备可以是专用的远程控制设备、移动单元（比如，移动电话、平板设备等）、或个人计算机（PC）。显示设备和输入设备可以是相同的设备，比如，触摸屏。显示设备通过有线（例如，到端点的电缆或LAN）或无线（例如，Wi-Fi、蓝牙等）通信网络连接到端点。

在显示设备上运行的客户端应用被配置为与端点进行通信，以向端点发送控制信号和从端点接收控制信号。根据本公开的一个实施例，客户端应用从端点接收布局信息形式的控制信号，并且控制单元基于该布局信息渲染和显示在与端点相关联的主显示器上显示的当前合成视频信号的副本。此外，合成视频信号和/或副本可以随对象220被用户移动被实时更新。

布局信息例如可以是当前正在使用的布局、参与者和/或端点的名称、以及他们的视频会议流被显示在哪个框中等。对象220可以与该副本一起被显示。在一个实施例中，对象220可以被显示为叠加在该副本之上。在另一个实施例中，对象220可以被显示在与该副本分开的区域中。

对象220可以是纯色（solid）图形对象，或者对象220可以是部分或完全透明的。对象220可以具有任何形状、大小、或形式。在一个实施例中，对象220可以是延伸部分或完全地穿过显示区域或所显示的合成视频信号的线或条（bar）。对象220可以响应于用户动作（例如，通过菜单系统激活布局控制功能、或按下远程控制（设备）上的按钮、或用户触摸到触摸屏显示器）而显现。

术语“轴”被统一用于描述具有开始值和结束值以及多个中间值的连续的或非连续线。在一个实施例中，线优选是线性的。然而，线可以具有任何形状，或者是弧线或圆。在一个实施例中，轴或连续线优选地与显示器或所显示的合成视频信号的垂直部分和水平部分对齐地放置。然而，应该理解轴或连续线可以以许多方式定位。

在本公开的一个实施例中，如图2所示，轴230具有在显示器或所显示的合成视频信号的一边的开始位置Y₀和在显示器或所显示的合成视频信号的对边的结束位置Y_E。在另一个实施例中，轴230具有与显示器或所显示的合成视频信号的边不同的开始位置和结束位置。

在一个实施例中，对象220和轴230由轨迹条或滑块表示。轨迹条或滑块是用于沿连续线滑动小条或指针（还称为拇指（thumb））的控制。用户能够使用输入设备在两个方向的一个方向上拖拽拇指来使用轨迹条。这就改变了拇指的位置。用户也能够沿控制线点击位置来将拇指放置在想要的位置上。可选地，当轨迹条具有焦点时，用户能够使用箭头键来移动拇指。轨迹条被配置有一组从最小到最大的值。因此，用户能够做出包括在该范围内的选择。

下一步，转到图1，在相关联的步骤120中，多个（N个）预定义的布局类型与沿轴或连续线230的（N个）相应间隔Z_N相关联。例如，“全屏只示出一个参与者（焦点）”布局可以与第一间隔Z₁相关联，“全屏示出一个参与者并且在小框中示出多个其它参与者（焦点+呈现）”布局可以与第二间隔Z₂相关联，以及“以相等的大小示出所有视频会议流（概览）”布局类型可以与第三间隔Z₃相关联.

在一个实施例中，轴或连续线230（如图2中所示，具有开始位置Y₀和结束位置Y_E）具有多个（N个）间隔Z_n。预定义的布局与相应的间隔Z_n相关联。在一个实施例中，间隔Z_n可以由轴或连续线230上的一组阈值位置Y_n隔开，其中n=N-1且0<n<N且Y₀<Y_n<Y_E。阈值位置提供N个间隔Z₀=[Y₀,Y_i]、Z_n=[Y_n,Y_n+1]、……Z_N=[Y_N-1,Y_E]。每个间隔与N个预定义的布局中的相应的一个相关联。在一个实施例中，阈值位置Y_n可由用户通过图形用户界面或设置菜单进行配置。

根据本公开的一个实施例，针对一个或多个间隔Z_N，提供了间隔Z_N中的位置Y和与间隔Z_N相关联的布局中的各个框的大小的关系。换句话说，布局类型中的一个或多个框的大小和位置是用户所选择的位置Y_u的函数。根据本实施例，响应于检测到指示布局位置的用户动作，基于该关系和布局位置Y_u计算布局类型的每个框的大小和位置。例如，如果用户所选择的位置Y_u在与焦点+呈现布局（图7B-7D中示出了该布局的示例）相关联的间隔中，包括来自不是焦点的站点的视频会议流的框的大小和/或位置取决于位置Y_u。

根据另一个实施例，相关联步骤120还包括将布局的多种（M种）变化（variation）与M个子间隔（X_M）相关联。布局类型的多种变化可以与一个或多个间隔Z_N相关联。布局类型的变化是与间隔Z_N相关联的布局类型的变化。“以相等的大小示出所有视频会议流（概览）”布局类型例如可以与间隔Z₃相关联。概览布局的2×2框变化（在图7E中示出）例如可以与间隔Z₃的第一子间隔X₁相关联。概览布局的3×3框变化（在图7F中示出）例如可以与间隔Z₃的第二子间隔X₂相关联，以及概览布局的4×4框变化例如可以与间隔Z₃的第三子间隔X₃相关联。

下一步，转到图1，在检测用户动作的步骤130中，检测到对于对象220的、指示位置Y_u的用户动作。在一个实施例中，用户动作是用户沿着轴230移动对象220。用户可以使用输入设备（比如，鼠标、键盘、远程控制（设备）上的按钮、触摸屏等）来移动对象220。

在另一个实施例中，用户动作是用户选择沿轴230的位置。用户可以使用输入设备（比如，鼠标、键盘、远程控制（设备）上的按钮、触摸屏等）选择沿轴230的位置。对象将移动到选择的位置。

下一步，在合成步骤140中，合成视频信号是使用与Y_u在多个间隔中所位于的间隔Z_U相关联的布局合成的。在步骤150中，处理结束。

在本公开的一个实施例中，合成步骤140还包括以下步骤：响应于检测到用户动作，识别多个间隔中Y_u所位于的间隔Z_U，并且选择与间隔Z_U相关联的布局类型。合成视频信号是使用所选择的布局类型合成的。

在一个实施例中，合成步骤140包括选择预定义的布局来表示所选择的布局，并且将默认布局发送到视频合成单元。

在另一个实施例中，合成步骤140包括生成或计算布局，其中定义布局中的每个框的大小和位置的布局参数是所选择的位置Y_u的函数。

布局可以包括在任何时间都显示声音最大的参与者的一个或多个框（也被称为语音交换）。当框是语音交换时，来自所有站点的音频流被监测和分析。源自具有最高电平的音频的站点的视频会议流被选择以显示在语音交换框中。其它参数可以影响选择，例如，音频来自某一站点的音频是否在比预定时间段长的时间段内具有最高电平。

在一个实施例中，方法还包括以下步骤：确定声音最大的发言者，以及如果所选择的布局类型包括语音交换框，在每次新站点成为具有声音最大的发言者时生成布局，其中所识别的视频会议流被定位在语音交换框中。该步骤例如可以包括接收来自适当的电路（比如，包括在视频会议端点中的音频分析单元）的输入。该输入识别被识别为声音最大的发言者的视频会议流。该布局被发送到视频合成单元。

在本公开的另一个实施例中，如果所选择的布局包括语音交换框，该方法还包括以下步骤：生成指定哪个框是语音交换框的布局。在这个实施例中，视频合成单元或诸如包括在主持视频合成单元的单元中的音频分析单元之类的适当的电路对来自所有站点的音频进行分析并且确定要显示在语音交换框中的视频会议流。

本公开中所述的方法可以由包括在端点中的处理设备（或处理单元）执行。更具体而言，该方法可以被实现为可以有形地存储在存储器中或介质上的一组处理指令或计算机程序指令。该组处理指令被配置为：当这些指令由包括在端点（或视频会议设备）中的处理设备执行时，使得适当的设备（具体而言，端点（或视频会议设备））执行所述方法。

图3是示出了端点300的示意框图，该端点300具体是视频会议端点，其被配置来依据上述方法进行操作。视频会议端点（或视频会议设备）包括通过内部总线350互连的处理设备（或处理单元）320、存储器330、和显示适配器340。视频会议端点300（或视频会议设备）还可以包括显示设备360，显示设备360可以包括一组显示屏幕，比如，两个或三个相邻的显示器。

端点300通过通信链路380连接到视频合成单元370。视频合成单元370从视频会议中所连接的多个端点中的每个接收一个或多个视频会议流，以及图像合成单元370基于所选择的布局合成合成视频信号。

根据本公开的一个实施例，如图4中所示，视频合成单元370是诸如集中式多点控制单元（MCU）385之类的网络设备的一部分。视频合成单元370还可以是嵌入在端点300（未示出）中的MCU的一部分。根据该实施例，MCU385通过通信链路420a-c从连接到会议中的三个或多个端点300a-c接收视频会议流。来自端点300a-c的视频会议流被发送到视频处理单元（VPU）（未示出），其中视频会议流被解压缩，并且经解压缩的视频会议流对视频合成单元370是可用的，例如，通过内部总线或存储器。

视频合成单元370在空间上将一个或多个经解压缩的视频会议流混合为一个合成视频信号，并且该合成视频信号（例如，通过内部总线或存储器）对VPU可用。VPU压缩该合成视频会议流，并且通过各自的通信链路420a-c将单个合成视频会议流发送回一个或多个端点300a-c，其中合成视频会议流被解码并显示在显示器360上。由视频合成单元370使用布局来合成该合成视频信号。

根据本公开的另一个实施例，如图5中所示，视频合成单元370是端点300a的一部分，其中端点300a通过各自的通信链路520a-c从视频会议中的两个或多个远程站点300b-c接收视频会议流。视频会议流可以通过一个或多个网络设备或单元395（比如，视频会议交换机）被发送到端点300a-c或从端点300a-c被发送，或者端点300a-c可以在彼此之间建立分离的点对点会话。根据本实施例，端点300a从会议中所连接的两个或多个端点300b-c中的每个接收视频会议流。

来自端点300b-c的视频会议流被发送到处理设备320，其中该视频会议流被解压缩，并且经解压缩的视频会议流（例如，通过内部总线或存储器）对视频合成单元370可用。视频合成单元370在空间上将一个或多个经压缩的视频会议流混合为一个合成视频会议流，并且该合成视频会议流被显示在与该端点相关联的显示器上。布局被视频合成单元370用以合成该合成视频会议流。在该实施例中，处理设备320可以通过内部总线350将所选择的或计算的布局发送到视频合成单元370。

所示的视频会议设备300的元件是为了解释本公开的实施例的原理示出的。因此，将理解的是可以在视频会议设备的实际实现方式中包括其他元件。

存储器330包括使得视频会议设备能够执行适当的、常规的视频会议功能和操作的处理指令。另外，如上面关于1中所示的方法描述的，存储器330包括一组处理指令，结果为：当这些处理指令由处理设备320执行时，处理设备320使得视频会议设备300执行当前公开的方法以显示图像。

图6根据本公开示出了一个或多个显示区域的示例。包括在端点中、或连接到端点的、或在连接到端点的显示控制设备390上的显示屏360被布置在本地会议参与者（或用户）前面。本地参与者正在引导与多个远程站点的视频会议呼叫（比如，多站点呼叫）。为说明的目的，仅示出了六个会议参与者。然而，要理解的是可以有任意数目的会议参与者。为简化说明，仅示出了一个显示器360。然而，要理解的是端点可以具有两个或多个显示器。

在图6A中，本地用户正在接收合成视频信号。对象220在第一间隔Z₁内的位置Y_u中，在该示例中，第一间隔Z₁是与焦点布局相关联的，因此合成视频信号是基于焦点布局进行合成的，意味着只有正在发言的参与者在整个显示区域上被示出。当用户想要改变合成图像的布局时，用户能够沿轴230移动对象220。如上面所指出的，这控制了当前在焦点中的媒体对象（例如，活动发言者或演示）和剩余的媒体对象之间的相对大小。轴230本身是不可见的，但是对象220的形状可以被形成以使得用户清楚能够向哪个方向移动对象220。

为说明的目的，如图6A-6C所示，显示器360是触摸显示器，从而用户可以直接用手指移动对象220。其它输入设备也可以用于移动对象220。

如图6B中所示，随着对象被移动到第二间隔Z₂内的位置Y_u，在该示例中，第二间隔Z₂是与焦点+呈现的布局相关联的，合成视频信号变为基于焦点+呈现布局合成的合成视频信号。如图6C中所示，随着对象被移动到第三间隔Z₃中的位置Y_u，在该示例中，第三间隔Z₃是与概览布局相关联的，合成视频信号变为基于概览布局合成的合成视频信号。如上面所指出的和图6C中所示出的，概览布局以相等的大小示出了所有视频会议流。

根据图7A中所示的本公开的另一个实施例，本地用户在与多个（在该示例中是8个）远程站点的会议呼叫中，并且正在接收合成视频信号。如上面所讨论的，对象220在第一间隔Z₁中的位置Y_u，第一间隔Z₁是与焦点布局相关联的。如图7B中所示，随着对象被移动到第二间隔Z₂中的位置Y_u，第二间隔Z₂例如是与焦点+呈现布局相关联的，合成视频信号变为基于焦点+呈现布局合成的合成视频信号。

如图7C中所示，随着对象被进一步沿轴在第二间隔Z₂内移动，框730的大小相应地改变。框730的大小和位置是间隔Z_n内的位置Y_u的方程。随着框730的大小的增加，越来越少的框可以被装配在屏幕的底部。因此，参与者740A和740F不再显示在合成视频信号中。参与者740A-740F中的哪些将被显示在框730中例如可以由语音交换确定（五个最近发言的参与者被显示）。如图7D中所示，随着对象220被进一步沿轴在第二间隔Z₂中移动，框730的大小相应地改变。如图7E中所示，随着对象220被移动到第三间隔Z₃中的位置Y_u，第三间隔Z₃是与2×2概览布局相关联的，合成视频信号变为基于2×2概览布局的合成视频信号。最后，如图7F中所示，随着对象220被移动到第四间隔Z₄中的位置Y_u，第四间隔Z₄是与3×3概览布局相关联的，合成视频信号相应地改变。由于第三间隔和第四间隔中的布局是布局的一种变化，第三间隔和第四间隔也可以被称为子间隔X_M或间隔Z_N。

在一个实施例中，可以在轴230上提供阈值P_th。当对象220被移动跨过阈值P_th时，布局从画中画（PIP）模式变为画外画（POP）模式，或反之亦然。可选地，如图8所示，用户动作在PIP模式和POP模式之间切换布局。用户动作可以是用输入设备双敲/击，或者在图形用户界面（GUI）中或在远程控制（设备）上的按钮被按下。如图7B-7D所示，PIP是框730中的视频会议流被显示在另一视频会议流的顶层的情形，而POP是一个或多个视频会议流叠加在另一个之上的情形。

上面讨论的实施例已经针对具有一个主显示器360的端点进行了描述。然而，应该注意的是上面讨论的实施例能够应用于具有多个显示器的端点。图9和图10示出了端点具有两个显示器359和361的示例，其中两个屏幕上的布局可以使用本公开的方法彼此相关地（图9）或独立的（图10）进行控制。

而且，如在图9中的显示器359上能够看到的，参与者“B”在全屏中被示为“b”，因此，在显示器359的底部上的参与者“A”和参与者“C”之间的区域中没有示出参与者“B”。因此，该区域可以仍然是空白的和/或部分或全部透明的。类似地，在图9的显示器361上，参与者“G”在全屏中被示为“g”。这一允许用户看到哪个参与者在全屏中被示出概念例如也适用于关于本公开的图6到10所讨论的概念。

上述视频会议端点或视频会议设备300的各种组件能够使用计算机系统或可编程逻辑实现。图11示出了计算机系统1201，在其上可以实现本公开的实施例。计算机系统1201可以包括上面参照图3-5讨论的、执行上面所述的处理的各种组件。

计算机系统1201包括耦合到总线1202的盘控制器1206以控制一个或多个用于存储信息和指令的存储设备，比如，磁性硬盘1207和可移除介质驱动器1208（例如，软盘驱动器、只读光盘驱动器、读/写光盘驱动器、光盘唱机、磁带驱动器、和可移除磁光驱动器）。可以使用适当的设备接口（例如，小型计算机系统接口（SCSI）、集成电路设备（IDE）、增强型IDE（E-IDE）、直接存储器存取（DMA）、或超DMA）将存储设备添加到计算机系统1201。

计算机系统1201还可以包括专用逻辑设备（例如，专用集成电路（ASIC））或可配置逻辑设备（例如，简单可编程逻辑设备（SPLD）、复杂可编程逻辑设备（CPLD）、和现场可编程门阵列（FPGA））。

计算机系统1201还可以包括耦合到总线1202的显示控制器1209（或显示适配器340）以控制诸如液晶显示器（LCD）之类的用于向计算机用户显示信息的显示器1210（或显示器360），比如用于向计算机用户显示信息的。计算机系统包括诸如键盘1211和指点设备1212之类的输入设备，用于与计算机用户进行交互以及向处理器1203（或处理设备/单元320）提供信息。指点设备1212例如可以是鼠标、轨迹球、对于触摸屏传感器的手指、或定点杆，用于将方向信息和命令选择传送至处理器1203和用于控制显示器1210上的光标移动。

响应于处理器1203执行包含在存储器（比如，主存储器1204（或存储器330））中的一个或多个指令的一个或多个序列，计算机系统1201执行本公开部分或全部的处理步骤。这样的指令可以从另一计算机可读介质（比如，硬盘1207或可移除介质驱动器1208）中读入到主存储器1204中。多处理布置中的一个或多个处理器也可以用来执行包含在主存储器1204中的指令序列。在可选的实施例中，硬连线电路可以替代软件指令使用或结合软件指令使用。因此，实施例不限于硬件电路和软件的任何具体组合。

如上所述，计算机系统1201包括至少一个计算机可读介质或存储器，用于保留根据本公开的教导编程的指令和用于包含数据结构、表格、记录、或本文所描述的其它数据。计算机可读介质的示例是光盘、硬盘、软盘、磁带，磁光盘、PROM（EPROM、EEPROM、闪速EPROM）、DRAM、SRAM、SDRAM、或任何其它磁性介质、光盘（例如，CD-ROM）、或者任何其它光学介质、穿孔卡片、纸带、或具有孔状图案的其它物理介质。

本公开包括存储在任一计算机可读介质或其组合上的软件，用于控制计算机系统1201、用于驱动一个或多个设备来实现本发明、和用于使计算机系统1201能够与人类用户进行交互。这样的软件可以包括但不限于：设备驱动程序、操作系统、和应用软件。这样的计算机可读介质还包括本公开的、用于执行用于实现本发明的处理的全部或部分（如果处理是分布式的）的计算机程序产品。

本实施例的计算机代码设备可以是任何可解释的或可执行的代码机构，包括但不限于：脚本、可解释程序、动态链接库（DLL）、Java类、和完全可执行程序。而且，本实施例的处理的各部分可以针对更好的性能、可靠性、和/或成本进行分布。

本文所使用的术语“计算机可读介质”指的是参与向处理器1203提供指令以执行的任何非暂态介质。计算机可读介质可以采用多种形式，包括但不限于：非易失性介质或易失性介质。非易失性介质例如包括光盘、磁盘、和磁光盘，比如，硬盘1207或可移除介质驱动器1208。易失性介质包括动态存储器，比如，主存储器1204。与此相反，传输介质包括同轴电缆、铜线、和光纤，包括组成总线1202的线。传输介质还可以采用（比如，在无线电波和红外数据通信过程中产生的那些）声波或光波的形式。

各种形式的计算机可读介质都可以参与到将一个或多个指令的一个或多个序列运送到处理器1203以供执行。例如，指令最初可能被装载在远程计算机的磁盘中。远程计算机能够将用于远程实现本公开的全部或部分的指令加载到动态存储器中，并且使用调制解调器通过电话线发送指令。计算机系统1201的本地调制解调器可以接收电话线上的数据并且将数据放置到总线1202上。总线1202将数据运送到主存储器1204，处理器1203从主存储器1204中检索并且执行指令。由主存储器1204接收的指令可以可选地在由处理器1203执行之前或之后被存储在存储设备1207或1208上。

计算机系统1201还包括耦合到总线1202的通信接口1213。通信接口1203提供耦合到网络链路1214的双向数据通信，网络链路1214例如连接到局域网（LAN）1215或诸如互联网之类的另一通信网络1216。例如，通信接口1213可以是附属于任何分组交换LAN的网络接口卡。如另一示例，通信接口1213可以是集成服务数字网络（ISDN）卡。无线链路也可以被实现。在任何这样的实现方式中，通信接口1213发送和接收承载着表示各种类型的信息的电子数据流的电信号、电磁信号、或光信号。

网络链路1214通常通过一个或多个到其它数据设备的网络提供数据通信。例如，网络链路1214可以通过本地网络1215（例如，LAN）或通过由服务提供商操作的装置提供到另一计算机的连接，服务提供商通过通信网络1216提供通信服务。本地网络1215和通信网络1216例如使用承载电子数据流的电信号、电磁信号、或光信号，以及相关联的物理层（例如，CAT5电缆、同轴电缆、光纤等）。通过各种网络的信号以及在网络链路1214上的和通过通信接口1213的信号可以被实现为基带信号或基于载波的信号，这些信号运送数字数据到计算机系统1201和从计算机系统1201中运出数字数据。基带信号以描述数字数据比特流的未调制的电脉冲的方式传递数字数据，其中术语“比特”被广泛地解释为符号，每个符号传达至少一个或多个信息比特。数字数据也可以用于调制载波，比如，使用在传导介质上传播的或作为电磁波通过传播介质传输的幅移、相移、和/或频移键控信号。因此，数字数据可以作为未调制的基带数据通过“有线”通信信道发送，和/或通过调制的载波在预定的不同于基带的频带中发送。计算机系统1201能够通过网络1215和1216、网络链路1214、以及通信接口1213发送和接收包括程序代码的数据。而且，网络链路1214可以通过LAN1215提供到移动设备1217（比如，个人数字助理（PDA）、膝上型计算机、或蜂窝电话）的连接。

尽管已经描述了某些实施例，但是这些实施例仅是通过示例的方式呈现的，并且不意在限制发明的范围。实际上，本文所描述的新颖的方法和系统可以以各种其它形式体现；而且，在不背离本发明到的精神的情况下，可以对本文所描述的方法和系统的形式做出各种省略、替代、和变化。所附权利要求和它们的等同物意在覆盖将落在本发明的精神和范围内的形式和修改。

Claims

1.一种方法，包括：

在显示器上提供被配置来由用户沿轴移动的对象；

将多个预定义的布局与沿所述轴的各间隔相关联；

检测针对所述对象的、指示所述轴上的位置的用户动作；以及

响应于对所述用户动作的检测，使用所述多个预定义的布局中的与所述位置在多个间隔中所位于的间隔相关联的布局来合成合成视频信号。

2.如权利要求1所述的方法，其中所述合成步骤还包括：

识别所述位置在所述多个间隔中所位于的间隔；以及

选择与所述间隔相关联的所述布局。

3.如权利要求2所述的方法，还包括：

将所选择的布局提供至视频合成单元，所述视频合成单元合成合成图像，并且被配置来接收多个视频会议流以及基于布局输出包括所接收的视频会议流中的一个或多个流的合成视频信号。

4.如权利要求1所述的方法，其中

所述合成视频信号包括一个或多个视频会议流的空间混合，以及

所述布局定义用于包含所述视频会议流的一个或多个框，

所述方法还包括：

为所述多个间隔中的至少一个间隔提供所述多个间隔中的所述至少一个间隔内的位置与关联于所述间隔的相应布局的一个或多个框的大小和位置之间的关系，以及

响应于对所述用户动作的检测，计算布局，其中所述布局的每个框的大小和位置是基于所述关系和所述位置的。

5.如权利要求1所述的方法，还包括：

在所述显示器上显示所述合成视频信号，所述显示器是视频会议终端的显示器。

6.如权利要求5所述的方法，还包括：

在控制设备的显示器上显示所述对象连同当前显示在所述视频会议终端的显示器上的所述合成视频信号的副本，所述控制设备连接到所述视频会议终端。

7.如权利要求1所述的方法，还包括：

在所述显示器上显示所述对象，所述显示器是视频会议终端的显示器。

8.如权利要求6所述的方法，还包括：

随着所述对象被所述用户移动，实时更新所述合成视频信号和所述副本中的一个。

9.如权利要求1所述的方法，还包括：

将所述多个预定义的布局中的一个布局的M种变化与一个或多个间隔内的M个子间隔相关联；

响应于对所述用户动作的检测，识别所述位置在多个子间隔中所位于的子间隔；

选择所述多个预定义的布局中与所述子间隔相关联的布局；以及

使用所选择的布局合成所述合成视频信号。

10.一种非暂态计算机可读存储介质，包括计算机可执行指令，其中当所述指令被计算机执行时，使得所述计算机执行一种方法，所述方法包括：

在显示器上提供被配置来由用户沿轴移动的对象；

将多个预定义的布局与沿所述轴的各间隔相关联；

11.一种装置，包括：

处理单元，被配置来：

在显示器上提供被配置来由用户沿轴移动的对象；

将多个预定义的布局与沿所述轴的各间隔相关联；

视频合成单元，被配置来：响应于由所述处理单元检测到的所述用户动作，使用所述多个预定义的布局中的与所述位置在多个间隔中所位于的间隔相关联的布局来合成合成视频信号。

12.如权利要求11所述的装置，其中所述处理单元还被配置来：

识别所述位置在所述多个间隔中所位于的间隔，

选择与所述间隔相关联的所述布局，以及

将所选择的布局提供给所述视频合成单元。

13.如权利要求11所述的装置，其中

所述合成视频信号包括一个或多个视频会议流的空间混合，

所述布局定义用于包含所述视频会议流的一个或多个框，并且

所述处理单元还被配置来：

为所述多个间隔中的至少一个间隔提供所述多个间隔中的所述至少一个间隔内的位置与关联于所述间隔的相应布局的一个或多个框的大小和位置，以及

响应于所述用户动作被检测到，计算布局，其中所述布局的每个框的所述大小和位置是基于所述关系和所述位置的。

14.如权利要求11所述的方法，其中

所述处理单元还被配置来：

响应于所述用户动作被检测到，识别所述位置在多个子间隔中所位于的子间隔；

选择所述多个预定义的布局中与所述子间隔相关联的布局；并且

所述视频合成单元被配置来：使用所选择的布局合成所述合成视频信号。