CN102209228A - 根据参会人员之间的交互作用调整cp布局的方法和系统 - Google Patents

Abstract

本发明涉及用于根据参会人员之间的交互作用调整连续呈现视频会议布局的系统和方法。通过使用在视频图像中发现的关注区域，参会人员的图像的布置可被动态布置为由端点显示。布置可响应各种度量，包括参会人员在房间中的位置和视频会议中的主导参会人员。可以作为布置的一部分操作视频图像，包括修剪视频图像和形成视频图像的镜像。随着参会人员之间的交互作用的改变，可以响应改变的交互作用自动布置布局。

Description

根据参会人员之间的交互作用调整CP布局的方法和系统

相关申请的交叉引用 

本申请是作为在2007年5月21日提交的美国专利申请序列号No.11/751,558的部分继续申请并且要求在2009年11月25日提交的美国临时专利申请序列号No.61/264,310作为优先权的在2010年1月7日提交的美国专利申请序列号No.12/683,806的部分继续申请，在此出于所有目的引入它们的全部内容作为参考。 

技术领域

本发明涉及通信领域，特别是涉及用于视频会议的方法和系统。

背景技术

视频会议使得相互远离的个人能够通过使用音频和视频电信在简短通知(short notice)上进行面对面会议。视频会议可包含至少两个地点(点到点)或几个地点(多点)。单个的参与者可位于会议地点，或者可在诸如会议室内的某个地点上存在几个参与者。视频会议也可被用于共享文件和信息等。

视频会议中的参与者通过视频会议端点与其它地点的参与者交互作用。端点是能够提供与其它终端或与多点控制单元(MCU，后面详细讨论)的实时、双向音频/视频/数据通信的网络上的终端。端点可仅提供语音、提供语音和视频或提供语音、数据和视频通信等。视频会议端点一般包含可显示来自一个或多个远程地点的视频图像的显示单元。示例性的端点包含可分别从Polycom，Inc.(POLYCOM，VSX和HDX是Polycom，Inc.的注册商标)得到的 

和 系列。视频会议端点从本地地点向一个或多个远程地点发送音 频、视频和/或数据，并且在屏幕上显示从一个或多个远程地点接收的视频和/或数据。

可以在布局中布置在视频会议端点上的屏幕上显示的视频图像。布局可包含用于显示视频图像的一个或多个分段(segment)。分段是被分配给从参与对话的地点中的一个接收的视频图像的接收端点的屏幕的一部分。例如，在两个参与者之间的视频会议中，分段可覆盖本地端点的屏幕的整个显示区域。另一例子是在切换模式中进行视频会议的本地地点和多个其它的远程地点之间的视频会议，使得根据会议的动态变化，可以在单一时间在本地地点上仅显示来自一个其它的远程地点的视频，并且可以切换所显示的远程地点。相反，在连续呈现(Continuous Presence，CP)会议中，终端上的参会人员可同时观看会议中的几个其它参与者的地点。可以在布局的不同分段中显示各地点，其中各分段可以具有相同的尺寸或不同的尺寸。被显示并与布局的分段相关的地点的选择可在参与同一对话的不同的参会人员之间改变。在连续呈现(CP)布局中，为了配合分段尺寸，从地点接收的视频图像可缩小或被修剪。

可以使用MCU管理视频会议。MCU是可位于网络的节点、终端或任何其它位置中的会议控制实体。MCU可根据一定的准则从访问端口接收和处理几个媒体通道，并且通过其它的端口向所连接的通道分配它们。MCU的例子包括可从Polycom，Inc.得到的MGC-100和 

(RMX 2000是Polycom，Inc.的注册商标)。一些MCU由两个逻辑单元构成：媒体控制器(MC)和媒体处理器(MP)。在诸如但不限于H.320、H.324和H.323标准的国际电信联盟(“ITU”)标准中，可以找到端点和MCU的更详尽的定义。在ITU网站www.itu.int可以找到关于ITU标准的附加信息。

为了在接收端点(地点)的屏幕布局的分段内呈现视频图像，可以操作、缩小和显示整个接收的视频图像，或者可通过MCU修剪并显示视频图像的一部分。MCU可从接收的参会人员视频图像的一个或多个边缘修剪行或列，以使其与视频会议图像的布局中的分段的区 域配合。如在美国专利申请11/751,558公开的那样，另一修剪技术可根据图像的关注区域修剪接收到的图像的边缘，在此加入其全部内容作为参考。

在视频会议对话中，可根据对于对话选择的布局限定布局中的分段的尺寸。例如，如图1所示，在2×2布局中，各分段可基本上为显示的四分之一。布局100包含分段112、114、116和118。在2×2布局中，如果五个地点参与对话，那么各地点的参会人员一般可看到其它的四个地点。

在CP视频会议对话中，可根据参与会议的活跃性动态改变地点和分段之间的相关性。在一些布局中，分段中的一个可被分配给当前的发言者，并且其它的分段可被分配给其它的地点、作为出席的参会人员选择的地点。一般根据一定的准则、诸如一定百分比的监视周期中的最响亮的发言者，来选择当前的发言者。其它的地点(在其它的分段中)可包含先前的发言者、具有高于其它的音频能量的地点、管理决定要求可见的某些参会人员等。

在图1所示的例子中，只使用显示区域的四分之三-分段112、114和116-并且，第四个四分之一118被背景颜色占据。当只有四个地点是活动的并且各地点观看其它的三个时，会出现这种情况。并且，分段116显示空的房间，而在分段112和114中呈现的地点分别包含单个参会人员(参会人员120和130)。因此，在该对话周期中，只有屏幕区域的一半被有效使用，并且另一半没有被有效使用。分段116和分段118的区域对于参会人员的体验没有贡献，因此没有以智能和有效的方式被开发。

此外，在两个分段112和114中可以看到，图像的主要区域是冗余的。视频图像捕获房间的大的部分，而参会人员的图像120和130较小并且位于小的区域中。因此，显示区域的重要部分被浪费在不受关注的区域中。因此，被参会人员的图像捕获的区域受到影响，并且观看视频会议的布局的参会人员的体验不是最佳的。

并且，在一些会议对话中，一个或多个地点具有单个参与者，而 在其它的地点存在两个或更多个参与者。在当前可用的布局中，各地点接收类似的分段尺寸，并且作为结果，与具有较少参与者的地点的参会人员相比，具有多个参会人员的地点的各参与者在较小的区域上被显示，从而使观看者的体验劣化。

在一些视频会议对话中，可存在具有多个参会人员的地点，其中他们之中只有一个是活动的并且与其它地点进行通话。通常，该房间中的视频照相机捕获具有多个参会人员的整个房间，从而对于包含活动参会人员的参会人员中的每一个分配小的屏幕区域。在其它的对话中，可作为布局的一部分、一般与在其它的分段中呈现的视频图像无关地在分段中的一个中呈现内容(数据)。

如果在电话会议中参会人员中的一个远离照相机，那么该参会人员的图像将看起来较小，并且观看视频会议的布局的参会人员的体验也劣化。类似地，如果在所显示的地点的参会人员离开房间一定时间并然后返回，那么在参会人员缺席的期间，在布局上显示空的房间。

在一些已知的技术中，在其它地点上的观察参会人员可手动改变在它们的端点上观看到的布局以适应会议的动态变化，但是这要求参会人员停止当前的活动并且处理布局菜单以进行这种调整。

发明内容

用于在CP视频会议的布局中布置分段的当前方法忽略位于不同地点的参会人员和观察布局的参会人员之间的交互作用。观看图1的示例性现有技术CP布局100的参会人员看到会议的不自然的示图，其中两个参会人员120和130背靠背坐着。当两个参会人员是对话中的主导参会人员并且大多数的谈话在他们之间完成时，效果会更差。这种布局不反映对等的会议。

根据在不同地点呈现的参会人员之间的交互作用调整和布置布局可提高基于布局的CP视频图像的观察者的体验。根据不同地点的不同参会人员之间的交互作用调整和布置布局可提供与参会人员相互观看的真实会议类似的体验。此外，使布局适于同一地点的参会人员之 间的交互作用可基于这种布局改善其它地点的观看CP视频图像的参会人员的体验。例如，可以在两个分段中呈现具有多个参会人员但只有一个参会人员活动的地点，一个分段呈现整个组的参会人员，而另一个以较大的尺寸呈现活动的参会人员。

图2示出与图1相同的视频会议对话的示例性布局200，其中来自地点B和A的视频图像的位置在布局200中已经被交换，以给出会议的更真实的感觉。作为在分段114中呈现的替代，在分段112中呈现具有参会人员130的地点B，并且作为在分段112中呈现的替代，在分段114中呈现来自地点A的图像120。新位置更好地反映坐在房间中的两个参会人员120和130之间的交互作用。与背靠背坐着的参会人员相比，新的布置传输舒服的感觉。此外，由于在布局中的新位置中呈现的参会人员使得他们面向布局的中心如同面向观察者一样，因此布局的布置将树立观察者的也作为参会人员中的一员的体验。在一些实施例中，具有来自地点C的视频图像的分段116可也移动到中心。

呈现的地点之间的交互作用可包含：在会议中主导的两个或更多个地点；地点中的一个或多个人的位置/相对位置；一个或多个人面对的方向；等等。不同的技术可帮助发现参会人员相对于房间的中心的位置。技术的一个实施例可使用关于参会人员的眼睛的方向的信息。从观察多个视频会议对话，我们发现，位于图像的左面部分中的参会人员一般向右看，而位于右面部分中的参会人员向左看，使得两者向房间的中心看。(左和右方向来自观察图像的人的视线。)为了确定坐在不同地点的参会人员之间的交互作用，实施例可处理从参与对话的不同地点接收的解码视频图像。

周期性地(在各决定周期上)，可以找到各视频图像中的关注区域(ROI)，并且关于各接收的视频图像中的ROI的相对位置做出决定。基于结果，一个实施例中的MCU可向参会人员坐在房间的左部中的地点分配布局中的左分段，并且向参会人员坐在房间的右部中的地点分配布局中的右分段。如图2所示，分段112被分配给具有参会 人员130的地点B，而分段114被分配给地点A。

在不同地点的参会人员坐在相同的相对位置(房间中心的左或右)的一些实施例中，可形成图像中的一个或多个的镜像。例如，通过从各行的右边缘向左边缘读取视频数据并且在CP布局中的相关分段中从适当的行的左边缘从左向右写入视频数据，可在一些实施例中在构建CP布局的同时形成图像的镜像。诸如当另一地点替代先前的主导地点中的一个变为主导时，布局中的位置可动态改变。例如，主导地点可以是在会议的一定周期内作为对话进行谈话的任意两个地点，而其余的呈现的参会人员是安静的。

可对于确定各地点的视频图像中的ROI使用不同的算法。不时地，实施例可根据从不同的地点接收的视频图像中的每一个存储单个帧。为了限定ROI，可以分析各存储的帧。算法的实施例可分析视频图像的区域的色调、寻找限定显示参会人员的区域的皮肤色调颜色。这种实施例可包含用于检测参会人员的皮肤色调颜色的空白。

其它的实施例可使用用于确定ROI位置的运动检测。在一个实施例中，运动检测器可基于与压缩的视频文件相关的运动矢量。运动检测器的其它实施例可搜索连续解码帧之间的改变区域的区域。

其它的实施例可使用用于确定参会人员的面部的位置的面部检测软件。面部检测软件的一个例子是来自Fraunhofer IIS的SHORE软件。SHORE是用于面部和对象检测以及精细分析的高度优化的软件库。(SHORE是Fraunhofer IIS的注册商标)。另一这种软件是来自Neurotechnology的VeiLook SDK。又一面部检测软件是最初由Inter Corp开发的OpenCV。

读者可在www.consortium.ri.cmu.edu/projOmega.php和www.consortium.ri.cmu.edu/projFace.php中找到关于面部检测软件的其它信息。基于检测到的面部的尺寸和位置，实施例可估计ROI相对于视频图像的中心的位置。

另一实施例使用两个或更多个麦克风以允许通过处理从多个麦克风接收的音频能量来确定房间中的发言者的位置和这些图像的ROI， 以确定发言者在房间中的相对位置。

在地点具有多个麦克风的一些实施例中，可使用从各麦克风接收到的音频信号的能量差异，确定参会人员中的一个是否是活动的参会人员而房间中的其它参会人员是否是被动或安静的。活动的参会人员可被限定为在某时间周期(例如几秒到几分钟)内做出多于房间内的谈话的一定百分比(例如，70％～90％)的参会人员。如果活动参会人员被限定，那么可以分配呈现在活动参会人员周围修剪的来自该地点的视频图像的一部分的附加的视频分段。除了呈现整个地点的分段以外，该分段可被添加到布局。

在一些实施例中，可通过与分析从多个麦克风接收的音频能量相关地使用面部检测器，执行关于活动参会人员周围的修剪区域的边界的决定。在其它的实施例中，作为向这种地点分配两个分段的替代，一个用于整个组的参会人员的视频图像，一个用于在活动参会人员周围修剪的区域，可以向活动参会人员分配单个分段。此外，其单独的分段中的活动参会人员可被处理并被设置在面向布局的中心的布局中。

在一些实施例中，ROI检测器可驻留于端点中，并且可以在专用的消息或标题中与视频图像一起传送ROI的相对位置。

在又一例子中，为了限定订户在房间中的位置，可以使用RF跟踪器。可通过位于与端点相关的房间中的两个或更多个天线接收信号。可通过端点处理接收的RF信号，并且可以在专用的消息或标题中用视频图像传送位置。

在一些实施例中，可对于限定不同地点之间的交互作用使用其它的技术。例如，可以处理从各地点接收的音频能量指示。处理可在一定的时间周期内跟随发言者之间的交互作用。如果交互作用处于两个地点之间，那么可以如布局200图像112和114那样在相互面对的上面的行上设置来自两个地点的图像。这些地点可被称为主导地点或主导参会人员。在一些实施例中，可以在较大的分段中呈现主导地点。

在一些实施例中，例如，在除了向来自不同地点的视频图像分配 的分段以外，在分段中的一个中呈现内容的视频会议对话中，可为了限定不同地点之间的交互作用使用其它的技术。可以在布局的中心中的分段中呈现内容，同时可以在内容的分段周围呈现来自不同地点的视频图像。其分配的分段中的各视频图像可被操作，使得其参会人员朝向内容观看。此外，可以在内容的一侧呈现产生内容的端点，而在内容的另一侧可呈现其它地点。

在其它的实施例中，可以手动限定ROI的相对位置。在这种实施例中，为了指向各地点的视频图像中的ROI，可以使用点击并观看功能。请希望了解更多有关点击并观看功能的读者阅读美国专利No.7,542,068，在此出于所有的目的加入其全部内容作为参考。作为替代方案，在一些实施例中，可通过使用点击并观看功能通过参会人员中的一个手动限定地点之间的交互作用。

鉴于附图和详细的描述，本发明的这些和其它的方面将十分明显。以上的发明内容不是要概括本发明的各可能的实施例或每个方面，并且在参照附图阅读实施例的以下详细描述并阅读所附权利要求时，本发明的其它的特征和优点将变得十分明显。此外，上述的常规视频会议中的不足不是要以任何方式限制本发明的原理的范围，而仅出于解释的目的被给出。

此外，虽然详细描述了特定的实施例以向本领域技术人员解释本发明的原理，但是，可对于这些实施例提出各种变更方式和替代性形式。因此，附图和书面描述不是要以任何的方式限制本发明原理的范围。

附图说明

被包含于本说明书中并构成其一部分的附图示出与本发明相关的装置和方法的实现，并与详细的说明一起用于解释与本发明相关的优点和原则。在附图中，

图1示出显示的示例性现有技术2×2布局；

图2示出根据一个实施例的根据不同地点的参与者的交互作用调 整后的布局；

图3示出根据一个实施例的多媒体多点会议系统的框图及相关元件；

图4示出根据一个实施例的能够根据不同地点的参与者的交互作用动态和自动调整CP布局的MCU的相关元件；

图5示出根据一个实施例的交互作用检测器部件(Interaction Detector Component，IDC)的框图和相关元件；

图6示出根据一个实施例的限定视频会议系统中的不同地点中的地点之间的交互作用的技术的流程图；

图7A和图7B示出根据一个实施例的自动和动态调整一个或多个CP布局的技术的流程图。

具体实施方式

在以下的描述中，出于解释的目的，为了能够提供对本发明的彻底理解，阐述大量的特定细节。但是，应该理解，对于本领域技术人员，可以在没有这些特定细节的情况下实施本发明。在其它的情况下，为了避免混淆本发明，以框图形式表示结构和器件。没有下标的附图标记被理解为参照与附图标记对应的下标的所有实例。并且，在本公开中使用的语言的选择主要是出于可读性和指导性的目的，并且不能被选择为界定或限定本发明的主题、诉诸于确定这些发明的主题所必需的权利要求。在说明书中提到“一个实施例”或“实施例”意味着在本发明的至少一个实施例中包括与实施例相关联地描述的特定特征、结构或特性，并且多次提到“一个实施例”或“实施例”不应被理解为必须均指对同一实施例的引用。

虽然以与软件或固件相关的形式书写以下描述中的一些，但是实施例可如希望的那样以软件、固件和硬件实现这里描述的特征和功能。提到端口监控程序(daemons)、驱动器、引擎、模块或例程不应被视为建议将实施例限于任何类型的实现。

现在转到附图描述公开的系统和方法的方面和特征，在这些附图 中，类似的附图标记始终表示类似的元件。为了方便，只有同一组的一些元件可标有附图标记。附图的目的是描述实施例而不是进行限制。

图1和图2在上面被描述并且不被进一步描述。图3示出根据一个实施例的多媒体多点会议系统300的一部分的框图及相关元件。系统300可包含连接一个或多个MCU 320的网络310以及多个端点(地点)330A-N。在网络310包含多个MCU 320的一些实施例中，虚拟MCU可被用于控制多个MCU。在美国专利No.7,174,365中可以找到关于虚拟MCU的更多的信息，在此出于所有目的加入该专利的全部内容作为参考。端点330(可被称为终端)是能够提供与其它端点330或与MCU 320的实时、双向音频和/或视频通信的网络上的实体。端点330可被实现为计算机、PDA(个人数字助理)；蜂窝式电话、具有麦克风的电视机和照相机等。

MCU可被用于管理视频会议。MCU是可位于网络的节点、终端或任何其它位置中的会议控制实体。MCU可根据一定的准则接收和处理来自接入端口的若干媒体通道，并且通过其它端口将他们分布给所连接的通道。MCU的例子包括可从Polycom，Inc.得到的MGC-100和 

(RMX 2000是Polycom，Inc.的注册商标)。一些MCU由两个逻辑单元构成：媒体控制器(MC)和媒体处理器(MP)。在诸如但不限于H.320、H.324和H.323标准的国际电信联盟(“ITU”)标准中，可以找到端点和MCU的更全面的定义。在ITU网站www.itu.int可以找到关于ITU标准的附加信息。

网络310可代表单个网络或两个或更个网络的组合。网络310可以是任意类型的网络，包括分组交换网络、电路交换网络和综合业务数字网(ISDN)网络、公共开关电话网(PSTN)、异步传输模式(ATM)网络、因特网或内联网。网络上的多媒体通信可基于包含H.320、H.324、H.323、SIP等的任何通信协议。

在端点(EP)330A-N和MCU 320之间通信的信息可包含信令和控制、音频信息、视频信息和/或数据。端点330A-N的不同组合可参与会议。端点330A-N可提供语音、数据、视频、信令、控制或它们 的组合。

端点330A-N可包含可用作EP 330中的用户和MCU 320之间的接口的远程控件(图中未示出)。远程控件可包含可使用DTMF(双音多频传)信号的拨号键盘(例如，电话的键盘)、远端照相机控件、控制分组等。

端点330A-N还可包含：允许端点上的用户在会议内谈话或对于被其它用户听到的声音和噪声有贡献的一个或多个麦克风(图中未示出)；允许端点330A-N向会议输入现场视频数据的照相机；一个或多个扬声器和显示器(屏幕)。

系统300的所描述的一部分仅包含和描述大多数的相关元件。系统300的其它部分没有被描述。本领域技术人员可以理解，根据其布置和系统的需要，每个系统300可具有其它数量的端点330、网络310和MCU 320。但是，出于清楚起见，示出具有多个MCU 320的一个网络310。

MCU 320和端点330A-N可被调整为根据本公开的各种实施例操作，以改善观看多点视频会议的CP视频图像的参会人员的体验。在实现集中式架构的实施例中，MCU 320可被调整以执行这里描述的自动显示调整技术。作为替代方案，在分布式架构中，端点330A-N以及MCU 320可被调整以执行自动显示调整技术。以下公开关于根据不同实施例的MCU 320和端点330A-N的操作的更多信息。

图4示出根据一个实施例的MCU 400。MCU 400可包含网络接口模块(NI)420、音频模块430、控制模块440和视频模块450。MCU400的替代性实施例可具有其它的部件，并且/或者可以不包含图4所示的所有部件。网络接口模块420可通过网络310接收来自多个端点330A-N的通信。NI 420可根据包含H.320、H.321、H.323、H.324、会话初始协议(SIP)等的一个或多个通信标准处理通信。网络接口420也可根据包含H.261、H.263、H.264、G.711、G.722、MPEG等的一个或多个压缩标准处理通信。网络接口420可从其它的MCU和端点接收控制和数据信息和向其它的MCU和端点传送控制和数据信 息。可以在国际电信联盟(“ITU”)标准H.320、H.321、H.323、H.261、H.263、H.264、G.711、G.722和MPEG等或者从IETF互联网工作组网站(关于SIP的信息)找到关于端点和网络310上的MCU之间的通信的更多信息和描述信令、控制、压缩和设定视频呼叫的信息。

MCU 400根据所呈现的地点之间的检测到的交互作用动态和自动调整CP布局。所呈现的地点之间的交互作用可包含在会议中主导的两个或更多个地点；一个或多个人在地点中的位置；一个或多个人面对的方向等。

网络接口模块420可多路复用或解多路复用在端点330A-N和MCU 320之间传送的不同信号、媒体和/或“信令和控制”。可向和从音频模块430传送压缩的音频信号。可以向和从视频模块450传送压缩的视频信号。可以向和从控制模块440传送“控制和信令”信号。此外，如果使用分布式架构，那么网络接口模块420能够处理在控制模块440和端点330A-N之间传送的自动和动态CP布局调整相关信息。

在发送作为RTP(实时传输协议)分组的预定标题的一部分的动态CP布局调整信息的实施例中，NI 420可被调整为：处理预定的标题以向RTP分组添加自动和动态CP布局调整信息并向端点330A-N发送RTP分组。在实施例中，动态CP布局调整信息中的一些可包含来自端点的关于在端点显示器上显示的布局的请求。在替代性实施例中，可通过远端照相机控制(Far End Camera Control，FECC)通道(图4中未示出)发送动态CP布局调整信息，或者可作为符合专有协议的专用分组的有效载荷发送该动态CP布局调整信息。在又一实施例中，可通过MCU内部模块检测和发送动态CP布局调整信息。动态CP布局调整信息可包含ROI(关注区域)、ROI面对的方向、ROI相比于视频图像的中心的相对位置、和/或地点之间的交互作用等。

音频模块430可经由NI 420并通过音频线422从多个端点330A-N 接收压缩的音频流。音频模块430可处理接收的压缩的音频流。音频模块430可解压缩、解码和混合来自接收的音频流的相关音频流。音频模块430可编码、压缩并通过音频线422和NI 420向一个或多个端点330A-N传送压缩的编码混合信号。

音频模块430可通过网络接口420从多个端点330A-N接收压缩的音频流。音频模块430可解码压缩的音频流、分析解码的流、选择某些流并且混合选择的流。混合的流可被压缩并且压缩的音频流可被发送到网络接口420，该网络接口420将压缩的音频流发送到不同的端点330A-N。被发送到不同端点的音频流可以是不同的。例如，音频流可根据不同的通信标准并且根据单个端点的需要被格式化。音频流可能不包含与发送音频流的端点相关的参会人员的声音。但是，可在所有其它的音频流中包含该参会人员的声音。

在实施例中，音频模块430可包含至少一个DTMF模块435。DTMF模块435可检测和/或掌握来自接收的音频流的DTMF(双音多频)信号。DTMF模块435可将DTMF信号转换成DTMF控制数据。DTMF模块435可通过控制线444向控制模块440传送DTMF控制数据。DTMF控制数据可被用于通过使用诸如但不限于交互式语音应答(Interactive Voice Response，IVR)的交互式界面控制会议。在其它的实施例中，可通过点击并观看功能使用DTMF控制数据。除了DTMF模块435以外或者作为其替代，本发明的其它实施例可使用语音识别模块(未示出)。在这些实施例中，语音识别模块可使用参会人员的用于控制视频会议的参数的声音命令。

音频模块430可进一步被调整以分析从端点接收的音频信号，并确定各音频信号的能量。关于信号能量的信息可通过控制线444被传送到控制模块440。在一些实施例中，可以在某个地点中使用两个或更多个麦克风。在这种实施例中，音频模块430可包含音频交互作用检测器部件(Audio Interaction Detector Component，AIDC)437。来自各麦克风的能量可被传送到AIDC 437并且被用于确定关注区域(ROI)位置和/或ROI在某个地点中的相对位置。在一些实施例中， 可以使用能量水平作为用于选择一个或多个适当端点作为要在视频会议中混合的音频源的选择参数。端点可被称为选择的端点或呈现的端点。在分布式架构的其它的实施例中，端点330A-N可具有音频模块430的功能中的一些。

除了典型的MCU的共同操作以外，作为具有控制模块(CM)440的结果，MCU 400能够实现附加的操作。控制模块440可控制MCU400的操作及其内部模块的操作。诸如但不限于音频模块、视频模块450等的模块。控制模块440可包含可处理从MCU 400的不同内部模块接收的指令的逻辑模块。控制模块440的实施例可处理通过控制线444从DTMF模块435接收的指令。可通过控制线444、446和/或448发送和接收控制信号。控制信号诸如但不限于通过点击并观看功能从参与者接收的命令、来自视频模块450的检测到的状态信息等。

控制模块440可以是控制MCU 400的操作的逻辑单元。除了典型的MCU的共同操作以外，作为具有控制模块440的结果，MCU 400能够实现附加的功能。控制模块440可包含调整将在各地点中显示的布局的交互作用布局控制器(Interaction Layout Controller，ILC)442。ILC 442可从NI 420接收并更新包含将参与电话会议的地点的数量、哪些地点已离开、哪些地点已离开会议、哪些地点已加入会议等的信息。其它类型的信息可包含关于一个或多个参与者请求的布局等的命令等。

在一个实施例中，ILC 442可确定和/或控制要在端点330A-N中的一个或多个中显示的布局。ILC 442可通过NI 420和/或DTMF模块435接收来自端点330A-N的信息。ILC 442还可接收来自包括音频模块430、视频模块450的MCU 400内部单元的检测到的信息、ROI在不同视频图像中的相对位置。根据不同的信息和控制信息，ILC 442可确定如何布置各布局并且通过控制线448向视频模块450的内部单元发送控制命令。示例性命令可包含要显示哪些视频图像、布局中的各视频图像的位置、形成图像的镜像、缩放来自某些地点的图像、构建或更新具有某些数量的分段的布局的要求等。结合图7公开关于 ILC 442的更多信息。

视频模块450可接收通过网络310向MCU 400发送并通过NI 420处理的来自多个端点330A-N的压缩的视频流。视频模块450可根据与当前通过MCU 400进行的一个或多个会议相关的一个或多个布局产生一个或多个压缩的CP视频图像。

视频模块450的实施例可包含一个或多个输入模块451A-X、一个或多个输出模块455A-X和视频共用接口454。输入模块451A-X可处理来自一个或多个参与端点330A-N的压缩的输入视频流。输出模块455A-X可对于端点330A-N中的一个或多个产生CP视频图像的视频流的所构成的压缩输出。

压缩的输出视频流可由几个输入流构成以形成用于呈现指定端点的会议的视频流。输入流可被修改。未压缩的视频数据可在共用接口454上被输入模块451A-X和输出模块455A-X共享，该共用接口454可包括任意适当类型的接口，包含时分多路复用(TDM)接口、异步传输模式(ATM)接口、基于分组的接口和/或共享存储器。共用接口454上的数据可被完全解压缩或部分解压缩。在美国专利No.6,300,973中描述了示例性的视频模块450的操作。

各输入模块451A-X可包含用于解码压缩的输入视频流的解码器452。在一个实施例中，各输入模块451A-X还可包含交互作用检测器部件(IDC)453。在替代性实施例中，对于所有的输入模块451可存在一个IDC 453。IDC 453的实施例可检测ROI和/或ROI在视频图像中的相对位置。IDC 453可检测不同的地点330A-N之间的交互作用。IDC 453可通知ILC 442有关来自不同的输入视频流的检测信息。信息可通过控制线448被发送。

不时地、周期性地和/或在从ILC 442接收命令时，IDC 453的实施例可捕获、采样和分析由解码器452输出的数据。IDC 453的实施例可被调整为分析从相关的端点330接收的解码的视频图像并限定一个或多个ROI的坐标和/或它们在视频图像中的相对位置。可进一步使用IDC 453的分析，用于确定不同端点之间的交互作用。

可根据一种或多种不同的检测技术、运动检测、皮肤色调检测器、从位于同一房间内的多个麦克风接收的音频信号的音频能量指示、面部检测器或不同检测器的不同组合完成检测。可从音频模块430接收音频信号的指示。IDC 453可通过控制线448向ILC 442输出检测到的信息。结合图5公开了关于IDC 453操作的更多信息。

在一个实施例中，对于端点330A-N中的每一个存在一个视频输入模块451。类似地，视频模块450可包含用于端点330A-N中的每一个的一个视频输出模块。各输出模块455可包含编辑器模块456。编码器模块456可从ILC 442接收信息和/或控制命令。各视频输出模块455可产生对于多个端点330A-N的特定端点个别化的屏幕布局。各视频输出模块455还可包含可对输出视频流编码的编码器458。在另一实施例中，一个输出视频455模块可服务于多个端点330A-N或者甚至服务于参与会议的所有端点330A-N。

可根据从ILC 442接收的命令，从共用接口454通过适当的输出模块455A-X接收来自输入模块451A-X的视频数据。

根据与CP图像的构成视频相关的布局中的图像的位置和大小，编辑器456可修改、缩放、修剪各选择的参会人员的视频数据并将其放置于编辑器帧存储器中。可根据从ILC 442接收的指令完成修改。指令可考虑端点和图像中识别的ROI位置之间的识别的交互作用。屏幕布局上的各矩形(分段、窗口)可包含来自不同端点330的修改的图像。

当编辑器帧存储器准备好所有选择的并经过修改的参会人员的图像时，帧存储器中的数据准备好通过编码器458被编码。编码数据视频流可向其相关的端点330被发送。构成的编码和压缩的CP输出视频流可通过视频线424被发送到NI 420。NI 420可向相关的一个或多个端点330A-N传送一个或多个CP压缩视频流。

在替代性实施例中，实现中继MCU 320，并且端点330能够构建要在其上显示的CP视频图像。在这种实施例中，ILC 442能够向端点330A-N自身提供命令。在美国专利申请No.12/542,450中公开了中 继MCU的一个实施例，在此出于所有目的加入该专利申请的全部内容作为参考。在这种实施例中，各图像的例如ROI的像素中的尺寸和布局中分段之间的交互作用，通过对于端点330的呈现布局的请求被发送到端点330，使得显示具有一定分段尺寸的一定数量的分段、各分段的位置、对于图像的任何修改等。例如，这种与端点的通信可以处于带外、因特网协议(IP)连接上。在其它的实施例中，例如作为RTP分组或FECC的有效负载的预定标题的一部分，通信可处于带内。

在中继MCU 400的又一实施例中，IDC 453和/或AIDC 437可在端点330的编码器前面被嵌入端点330内。相对位置信息可作为检测到的分组的有效载荷通过网络310和NI 420被发送到MCU 400上的ILC 442。在这种实施例中，ILC 442可向端点330中的编辑器发送布局指令。端点330中的编辑器可构成CP布局并在端点显示单元上呈现该CP布局。

在中继MCU 400的另一实施例中，各端点330A-N可具有其解码器之后的IDC 453和端点控制单元中的ILC 442。端点的IDC 453可向端点中的ILC模块442发送关于ROI在各解码图像中的相对位置的信息。ILC 442可确定布局并因此指示端点编辑器构成该布局。在这种中继MCU 400中，各端点330A-N可作为独立单元控制其布局。IDC 453、AIDC 437和ILC 442的位置可从一个实施例到另一个不同。

这里不详细描述在现有技术中已知的视频模块450的各元件的普通功能。在美国专利申请No.10/144,561、No.11/684,271、No.11/751,558和No.12/683,806、美国专利No.6,300,973和国际专利申请序列号No.PCT/IL01/00757中描述了不同的视频模块，在此出于所有的目的加入这些专利的全部内容作为参考。控制总线444、448、446、压缩视频总线424和压缩音频总线422可以是任何希望类型的接口，包括时分多路复用(TDM)接口、异步传输模式(ATM)接口、基于分组的接口和/或共享存储器。

图5示出根据一个实施例的交互作用检测器部件(IDC)453的框图和一些元件。IDC 453可被用于检测所呈现的地点之间的交互作 用，包含在会议中占主导的两个或更多个地点之间的交互作用、视频图像中的一个或多个人的位置/相对位置、一个或多个人面对的方向等。IDC 453可包含标度器和一个或多个帧存储器(SCFM)模块510、面部检测器处理器(FDP)520和ROI相对位置限定器(RRLD)530。可以在适于执行诸如由SHORE、VeriLook SDK或OpenCV提供的已知的面部检测器技术的DSP上实现面部检测器处理器(FDP)520。在替代性实施例中，可在包含来自Texas Instruments的DM365的具有面部检测能力的硬件中实现FDP 520。在利用集中式架构的一个实施例中，IDC 453可被嵌入MCU 400中。在这种实施例中，如上所述，IDC 453可以是视频单元450的一部分，并且可从相关输入模块451A-X得到解码的视频数据。在替代性的实施例中，IDC 453可以是输入模块451A-X中的每一个的一部分，并且从其相关的解码器452收集解码的视频。

在又一实施例中，IDC 453可被嵌入端点330A-N中。在这种端点中，IDC 453可被用于确定ROI和ROI在由端点330产生的视频图像中的相对位置。IDC 453可与端点330的编码器(图中未示出)的输入相关联。IDC 453可对于来自在端点的编码器的输入上使用的帧存储器的视频图像的帧采样。关于ROI的指示和/或关于ROI的相对位置的指示可通过NI 420被传送到ILC 442。可在符合专用协议的专用分组中或者通过向标准标题添加信息发送该指示。在替代性实施例中，可通过使用预定的密钥串等作为DTMF信号发送信息。ILC 442可使用关于ROI(关注区域)的信息以确定如何适应于下一CP布局。

在图5的实施例中，ROI相对位置限定器(RRLD)530可从ILC442接收命令。示例性命令可检测并限定ROI，检测并限定ROI在地点中的相对位置等。ILC 442可根据包含音频信号强度、改变布局的手动命令、关于加入的新地点的信息等的不同参数决定在哪些地点搜索ROI和/或ROI的相对位置。RRLD 530可向面部检测器处理器(FDP)520发送命令以基于ROI的位置找到和确定ROI。RRLD 530可计算ROI在从某个地点接收的视频图像帧中的相以位置(图像的 左、右或中心)。

FDP 520可命令SCFM 510对来自相关地点的解码的视频图像的帧采样。可由SCFM 510从共用接口454或从与地点相关的输入模块451A-X的解码器452取回解码的视频图像。SCFM 510然后可根据FDP 520的要求缩小视频图像，并在帧存储器中保存结果。

在一个实施例中，可出现FDP 520和SCFM 510之间的环路。FDP520可请求SCFM 510：重新缩小图像、放大图像和/或取回另一采样等。该环路可限于预定数量的循环。在循环结束时，FDP 520可向RRLD 530传送关于ROI的信息。在没有发现ROI的情况下，可以向RRLD 530发送消息(例如，诸如没有ROI)。RRLD 530可通过控制线448向ILC 442输出有关相对位置的检测信息。在又一实施例中，IDC 453可例如向ILC 442传送来自像素中左上方的ROI坐标的位置，并且ILC 442可计算相对位置(左、右或中心)。

IDC 453的另一实施例可包含用于通过使用包含运动检测器、皮肤色调检测器和/或不同检测器的不同组合的技术，确定ROI在视频图像中的位置的其它模块。基于运动检测器的一些实施例(图中未示出)可包含诸如带通滤波器、低通滤波器或陷波滤波器的一个或多个滤波器以去除诸如时钟、风扇、监视器等的干扰运动。其它的实施例可处理从多个麦克风接收的音频能量指示。希望了解更多关于不同ROI检测器的人可阅读美国专利申请No.11/751,558、美国专利申请No.12/683,806或访问www.consortium.ri.cmu.edu/projOmega.php或www.consortium.ri.cmu.edu/projFace.php。

在一些实施例中，运动检测器可被用于确定ROI。在一个实施例中，为了限定具有变化的区域，运动检测器可减去两个连续的帧。在视频会议中，变化一般是由于头、手等的移动。ROI可被限定为包围两个连续帧之间不同的区域的较大的矩形。连续帧可被存储于一个或多个SCFM 510中。

在IDC 453的一些实施例中，对于限定不同地点之间的交互作用，可以使用其它的技术。例如，可通过音频模块430和发送到IDC 453 的信息处理从各地点接收的音频能量指示。该过程可长时间跟随发言者之间的交互作用。如果交互作用是主导地点之间的声音交互作用，那么这两个地点可被视为是主导地点。来自两个主导地点的图像可以如布局200图像120和130那样被放置于相互面对的上面的行上。在本实施例中，IDC 453可从音频模块430和/或从控制模块440接收关于音频能量的信息。

在地点具有多个麦克风的一个实施例中，可通过处理从多个麦克风接收的音频能量确定房间中的发言者的位置和这些图像的ROI，以确定发言者在房间中的相对位置。在一些实施例中，ROI和/或ROI相对位置检测器可驻留于端点330中，并且可以和私有消息或标题中的视频图像一起传送ROI的相对位置。

RRLD 530和控制模块440之间的通信可依赖于所使用的架构。例如，如果IDC 453被嵌入MCU 400的视频单元450中，那么可以在连接控制模块440与视频模块450的控制线448上实现RRLD 530和控制模块440之间的通信。

作为替代方案，在IDC 453位于端点330A-N上而控制模块440位于MCU 400上的实施例中，可以在带外或带内实现通信。可在因特网协议(IP)网络上通过端点330A-N和MCU 400之间的连接处理带外通信。如果与端点330的多媒体通信在分组交换网络上，那么可通过使用实时传输协议(RTP)视频分组的有效载荷的预定标题实现IDC 453(在端点330上)和控制模块440之间的通信。在这种实施例中，ROI的坐标和/或ROI的相对位置以及采样命令可被嵌入RTP视频分组的有效载荷的预定标题中。其它的实施例可使用DTMF和/或FECC通道。

如果端点330黑体字(boldface)上的IDC 453和控制模块440之间的通信如上面描述的那样通过多媒体通信，那么网络接口(NI)310可适于解析接收的信息并检索从IDC 453接收的ROI的坐标和/或ROI的相对位置。NI 310可在连接控制模块440和NI 420的控制总线446上向控制模块440传输信息。NI 420可适于接收采样命令， 根据所使用的通信技术处理它们，并且通过网络310将它们发送到IDC 453。

基于结果，根据一个实施例的ILC 442可考虑检测到的ROI和/或它的相对交互作用和相对位置设计更新的布局。如何构建更新的布局的指令可被传送到相关的编辑器456。根据更新的布局，如图2所示，编辑器456可在左面的分段中放置参会人员坐在房间的左部的地点，反之亦然，其中，分段112被分配给具有参会人员130的地点B。而分段114被分配给参会人员120坐在图像的右部的地点C。

在不同地点的参会人员坐在相同的相对位置(房间中间的左面或右面)的一些情况下，ILC 442可向相关编辑器456发送命令以形成图像中的一个或多个的镜像。在一个实施例中，可通过从各行的右边向左边读取视频数据并在CP布局的相关分段中从适当的行的左边从左到右写入视频数据，在构建CP布局的同时执行对图像的镜像。当另一地点代替先前的主导地点中的一个变为主导时，可以动态地改变布局中的位置。

在又一实施例中，一个RF跟踪器可被RRLD 530用来限定订户在房间中的相对位置。可通过位于与端点330相关的房间中的两个或更多个天线接收信号。可通过端点330处理接收的RF信号，并且可与私有消息或标题中的视频图像一起传送信息。

图6示出可通过IDC 453执行的根据一个实施例的技术600的流程图。技术600可被用于限定关注区域(ROI)及其在视频图像中的相对位置。在开始会议时，技术600可在块602中被启动。在开始之后，技术600可在块604中复位帧计数器(Fcnt)和改变布局标记(CLF)。在一个实施例中，帧计数器(Fcnt)可对输入模块451A-X的输出上的帧计数。改变布局标记(CLF)值可以为0或1。如果从ILC 442接收布局指示变化，那么CLF值等于1。变化指示可包含关于新布局的信息、关于出席的参会人员的信息和它们的相关输入和输出模块(分别为451A-X和455A-X)。ILC 442可请求RRLD 530搜索ROI及其在地点的图像中的相对位置。作为音频信号强度、管理请 求、新的参会人员等的变化的结果，会出现布局的变化。如果没有指示布局变化，那么CFL值等于0。在一些实施例中，可通过使用点击并观看功能从CM 440或从参会人员中的一个任意地设定CLF。

然后，技术600可在块610中等待接收新的帧。如果在块610中在等待周期中没有接收到新的帧，那么技术600返回块610。如果在块610中接收到新的帧，那么技术600可前进到块612并将Fcnt加1。然后，块620确定Fcnt值是否大于预定值N1或者CLF值是否等于1。在一个实施例中，N1可以是范围1～1000中的配置数。如果在块620中Fcnt值不大于N1并且CLF值等于0，那么技术600返回块610。如果在块620中Fcnt值大于N1并且/或者CLF值等于1，那么技术600可前进到块622。在一个实施例中，作为Fcnt的替代或者除了Fcnt以外，可以使用定时器。定时器可被设定为任何希望的时间周期，例如，被设为几秒或几分钟。

在块622中，技术600可指示FDP 520搜索并限定ROI。技术600在块624中等待，直到FDP 520限定ROI或通知IDC 453没有发现ROI。一旦FDP输出ROI消息，技术600就前进到块626以收集并处理来自FDP 520的分析数据。块626可确定ROI的存在、其尺寸、位置(例如，在像素左上方)及其在图像中的相对位置(例如，右、左或中心)。在替代性实施例中，如果没有发现ROI，那么为了加速随后的ROI搜索，可以减小N1的值。

技术600可用作FDP 520和ILC 442之间的应用程序接口(API)。结果可在块626中被传送到ILC 442，并且技术600可返回块604。在一些实施例中，技术600可重复块622～626，从而检查结果是类似的，并且如果它们是类似的，那么将平均的ROI和ROI相对位置传送到ILC 442。

图7A示出用于自动和动态调整在视频会议中使用的布局中的一个的技术700的一个实施例的流程图。在一个实施例中，如果包含多于一个的布局，那么可对于CP图像的每个布局一个地开始并行的任务。在另一实施例中，对于可对于在对话中使用的每个布局一个周期 地重复运行技术700可。可通过ILC 442和/或通过RRLD 530在块702中启动技术700(图5)。在启动中，技术700可在块704中将先前的相对位置存储器(Previous-Relative-Location memory)(PRLM)复位。PRLM可被用于存储关于先前发现的ROI的相对位置的信息以确定与ROI的当前相对位置的不同。然后，技术700可在块706中复位定时器(T)并在块710中等待定时器T值等于T1。在一个实施例中，T1可以处于几百毫秒到几秒的范围。在另一实施例中，作为时间的替代，可以计数和使用所构成的CP图像的帧。一旦定时器T值等于1和/或出现布局的变化，技术700就可前进到块712。当另外的参会人员已加入会议时，会出现布局的变化，并且由于不同的参会人员的音频能量的变化等，所呈现的地点需要被替换。

在块712上，技术700可收集关于相关参会人员的视频图像中的ROI相对位置(ROIRL)信息的信息。相关参会人员的视频图像是对于布局中的呈现选择的视频图像。然后，可对于每个呈现的地点在块714中获得音频能量信息。通过使用音频信息，可以检测两个主导的地点，并且/或者可以检测关于不同端点之间的交互作用的更多信息，等等。可以在块715中获得管理和控制信息。管理和控制信息可包含接收参会人员(观看所构成的CP图像的参会人员)的偏好和诸如强制的参会人员(不管其音频能量如何，都必须在CP图像中呈现的参会人员)的信息。对于每个呈现的参会人员图像，技术700可在块716中计算当前接收的ROIRL和先前ROIRL(保存于PRLM存储器中)之间的差异。技术700也可在块716中确定是否在主导地点中存在差异。

在块720中决定在当前ROIRL对先前ROIRL中是否存在明显变化以及/或者在主导地点中是否存在明显变化。明显变化可以是像素、百分比、音频强度等的预定的变量。在一个实施例中，明显变化可以处于5～10％的范围中。如果在块720中存在明显变化，那么技术700可在块722中存储当前ROIRL和PRLM中的主导地点。技术700然后可前进到图7B中的块750。如果在块720中不存在明显变化，那么 技术700可返回块706。

现在参照图7B，在块750中，对于执行由技术700设计的相同布局的各输出模块455A-X，环路可在块760～790中开始。在块760中开始，对于各输出模块455A-X，技术700可在块760中取回关于与关联于当前输出模块的CP布局有关的参数的信息。在一个实施例中，参数可包含像素宽度和高度(W×H)的数字形式的布局尺寸、布局格式(2×2、3×3，等)、哪些地点基于管理决定和/或音频能量被选择为要被呈现等。技术700还可在块762中将对试验的数量计算的计数器(Cnt)复位。

接下来，技术700可在块764中得到ROIRL(ROI相对位置)信息和被选择为要在相关输出模块455A-X的适应的布局中呈现的地点中的每一个的参数。在一个实施例中，从PRLM取回信息。在一个实施例中，参数可包含ROI的像素的数量(ROI的高度和宽度)、ROI的相对位置、主导地点、地点之间的交互作用等。通过使用取回的信息，技术700可在块770中确定是否存在一对主导地点。如果不存在一对主导地点，那么技术700可前进到块774。如果存在一对主导地点，那么技术700可前进到块772。

在块772中，主导地点可位于将在一个实施例中呈现的布局中的分段的上面的行中。在替代性实施例中，它们可位于下面的行中，或者如希望的那样位于别处。在左侧具有ROIRL的主导视频图像可在块772中被放置于布局的左面的分段中。在视频图像的右侧具有ROIRL的主导视频图像可在块772中被放置于布局的右面的分段中。如果两个主导地点具有相同的ROIRL(均在左侧或者均在右侧)，那么可以在块772中形成主导地点中的一个的镜像。如果两个主导地点在中心具有图像，那么它们可被并排放置。

已被选择为要被呈现的其它地点可在块774中被定位，使得：在右侧具有ROIRL的视频图像可位于右侧，在左侧具有ROIRL的视频图像可位于左侧，并且在中心具有ROIRL的视频图像可位于中心或处于剩余的位置上，等等。如果存在不能放在剩余的分段中的一个或 多个选择的地点，那么技术700可在块774中形成它们的镜像并因此放置它们。然后，计数器(Cnt)可在块776中加1。

在块780中，决定Cnt值是否等于2，或者是否成功完成了块774的过程，使得可以在布局的适当相对位置中呈现所有选择的参会人员。如果不满足这些条件，那么技术700可在块782中忽略在块772中确定的主导地点放置要求，并且可重新尝试在块774中放置所有选择的地点。如果在块780中Cnt值等于2或者如果已经成功完成了块774的过程，那么技术700可前进到块784。

在块784中，决定是否已经成功完成了块774的过程。在一个实施例中，“成功”可意味着对于观看选择的所有地点被放置，使得它们均面向布局的中心。如果不满足块784的条件，那么技术700可在块786中忽略识别的交互作用，选择适合要显示的地点的数量的共同布局，并且布置忽略ROIRL的布局。如果块784确定已经成功完成了块774的过程，那么技术700可在块788中产生关于布局布置的指令，使得所呈现的地点观看布局的中心。布局指令可在块788中被发送到适当的输出模块455A-X中的编辑器456。在另一实施例中，在块786中，技术700可选择可呈现参会人员之间的一些交互作用的已计算的布局中的一个。

然后，技术700可在块790中检查是否存在需要在它们的布局布置上指示的附加的视频输出模块455A-X。如果存在，那么技术700可返回块760。如果不存在，那么技术700可返回图7A中的块706。

在本公开中，措词“单元”、“器件”、“部件”、“模块”和“逻辑模块”可被互换使用。指示为单元或模块的任何东西可以是独立的模块或专用的或集成的模块。模块可以是模块化的或具有允许其很容易地被去除并被另一类似的单元或模块更换的模块化方面。各模块可以是软件、硬件和/或固件中的任一个或任意组合。可以在诸如读/写硬盘、CDROM、闪速存储器、ROM等的计算机可读介质上体现逻辑模块的软件。为了执行一定的任务，可以根据需要将软件程序加载到适当的处理器上。

在本公开的描述和权利要求中，使用“包括”、“包含”、“具有”以及它们的变形形式以表示动词的宾语未必全部列出动词的主题的构件、部件、元件或部分。

可以理解，可以以许多的方式，包括改变步骤的次序和使用的确切的实现，改变上述的装置、系统和方法。描述的实施例包含不同的特征，不是在本公开的所有的实施例中需要所有的这些特征。并且，本公开的一些实施例仅使用特征中的一些或特征的可能组合。本领域技术人员很容易想到在所描述的实施例中指出的特征的不同的组合。此外，可通过连同公开与不同的实施例相关联地描述的特征和元件的组合实现本公开的一些实施例。本发明的范围仅由以下的权利要求及其等同物限定。

虽然已在附图中详细描述和示出了某些实施例，但应理解，这些实施例仅是解释性的，并且不是在背离由以下的权利要求确定的其基本范围的条件下被设计的。

Claims (42)

1.一种方法，包括：

响应第一参会人员和第二参会人员之间的交互作用，自动设计用于连续呈现视频会议的第一端点的连续呈现视频图像；和

显示连续呈现视频会议的第一端点上的所述连续呈现视频图像。

2.根据权利要求1所述的方法，其中，设计连续呈现视频图像的步骤包括：

自动确定第一参会人员和第二参会人员之间的交互作用；

在连续呈现视频图像中定位与第一参会人员对应的第一视频图像；和

响应第一参会人员和第二参会人员之间的交互作用，在连续呈现视频图像中相对于第一视频图像定位与第二参会人员对应的第二视频图像。

3.根据权利要求2所述的方法，其中，设计连续呈现视频图像的步骤还包含：

从与第一参会人员对应的端点接收内容；和

在连续呈现视频图像中呈现所述内容；

其中，定位第一视频图像的步骤包含：

在所述内容的第一侧定位第一视频图像，以及

其中，定位第二视频图像的步骤包含：

在所述内容的第二侧定位第二视频图像。

4.根据权利要求3所述的方法，还包括：

处理第一视频图像和第二视频图像，使得第一参会人员和第二参会人员被呈现为朝所述内容方向看。

5.根据权利要求1所述的方法，其中，设计连续呈现视频图像的步骤包含：

自动确定第一参会人员和第二参会人员之间的交互作用；

响应第一参会人员和第二参会人员之间的交互作用，对于连续呈现视频会议的第一端点，产生用于创建第一端点上的连续呈现视频图像的指令；

向连续呈现视频会议的第一端点发送所述指令；和

响应所述指令创建第一端点上的连续呈现视频图像。

6.根据权利要求1所述的方法，其中，设计连续呈现视频图像的步骤包含：

自动确定第一参会人员和第二参会人员之间的交互作用；

响应第一参会人员和第二参会人员之间的交互作用，创建用于第一端点的连续呈现视频图像；和

向第一端点发送连续呈现视频图像。

7.根据权利要求1所述的方法，还包括：

响应多个参会人员之间的交互作用，自动设计用于连续呈现视频会议的第二端点的连续呈现视频图像，用于第二端点的连续呈现视频图像与用于第一端点的连续呈现视频图像不同；和

显示连续呈现视频会议的第二端点上的连续呈现视频图像。

8.根据权利要求1所述的方法，其中，设计连续呈现视频图像的步骤包含：

分析与第一参会人员对应的第一视频图像；

分析与第二参会人员对应的第二视频图像；

响应分析第一视频图像的步骤和分析第二视频图像的步骤，自动确定第一参会人员和第二参会人员之间的交互作用；和

响应第一参会人员和第二参会人员之间的交互作用，在用于第一端点的连续呈现视频图像中定位第一视频图像和相对于第一视频图像的第二视频图像。

9.根据权利要求8所述的方法，还包括：

向第一端点发送用于第一端点的连续呈现视频图像。

10.根据权利要求8所述的方法，还包括：

生成用于创建第一端点的连续呈现视频图像的指令；和

向第一端点发送用于创建第一端点的连续呈现视频图像的指令。

11.根据权利要求8所述的方法，其中，设计连续呈现视频图像的步骤还包含：

响应第一参会人员和第二参会人员之间的交互作用修改第一视频图像。

12.根据权利要求11所述的方法，其中，修改第一视频图像的步骤包含：

形成第一视频图像的镜像。

13.根据权利要求1所述的方法，其中，设计连续呈现视频图像的步骤包含：

确定多个参会人员中的主导参会人员；

确定所述多个参会人员中的非主导参会人员；和

在连续呈现视频图像中自动定位与主导参会人员对应的第一视频图像并在连续呈现视频图像中相对于第一视频图像自动定位与非主导参会人员对应的第二视频图像。

14.根据权利要求1所述的方法，

其中，设计连续呈现视频图像的步骤包含：

响应第一参会人员和第二参会人员之间的第一交互作用，自动设计第一连续呈现视频图像；和

响应第一交互作用之后的第三参会人员和第四参会人员之间的第二交互作用，自动设计第二连续呈现视频图像，以及

其中，显示连续呈现视频图像的步骤包含：

显示第一连续呈现视频图像；和

在第一连续呈现视频图像之后显示第二连续呈现视频图像。

15.根据权利要求1所述的方法，其中，设计连续呈现视频图像的步骤包含：

分析与第一参会人员对应的第一音频能量；

分析与第二参会人员对应的第二音频能量；

响应分析第一音频能量的步骤和分析第二音频能量的步骤，自动确定第一参会人员和第二参会人员之间的交互作用；和

响应第一参会人员和第二参会人员之间的交互作用，在用于第一端点的连续呈现视频图像中定位与第一参会人员对应的第一视频图像和相对于第一视频图像的与第二参会人员对应的第二视频图像。

16.根据权利要求1所述的方法，其中，设计连续呈现视频图像的步骤包含：

识别与第一参会人员对应的第一视频图像内的第一关注区域的第一相对位置；

识别与第二参会人员对应的第二视频图像内的第二关注区域的第二相对位置；

响应第一视频图像内的第一关注区域的第一相对位置和第二视频图像内的第二关注区域的第二相对位置，确定第一参会人员和第二参会人员之间的交互作用；和

响应第一参会人员和第二参会人员之间的交互作用，在连续呈现视频图像中定位第一视频图像并在连续呈现视频图像中相对于第一视频图像定位第二视频图像。

17.根据权利要求1所述的方法，其中，设计连续呈现视频图像的步骤包含：

相对于与第二参会人员对应的第二视频图像定位与第一参会人员对应的第一视频图像，使得第一参会人员和第二参会人员表现为相互面对。

18.根据权利要求17所述的方法，其中，设计连续呈现视频图像的步骤还包含：

形成第一视频图像的镜像。

19.根据权利要求17所述的方法，还包括：

将第一地点上的多个参会人员中的一个参会人员指定为活动参会人员；

根据从第一地点接收的视频图像复制所述活动参会人员的图像；和

在连续呈现视频图像中呈现活动参会人员的图像和从第一地点接收的视频图像。

20.根据权利要求17所述的方法，还包括：

将第一地点上的多个参会人员中的一个参会人员指定为活动参会人员；

根据从第一地点接收的视频图像复制所述活动参会人员的图像；和

在连续呈现视频图像中呈现所述活动参会人员的图像，而不是呈现从第一地点接收的视频图像。

21.一种视频会议系统，包括：

多个端点，所述多个端点包含：

与第一参会人员对应的第一端点；和

与第二参会人员对应的第二端点；和

适于响应第一参会人员和第二参会人员之间的交互作用设计连续呈现视频图像的布局控制器。

22.根据权利要求21所述的视频会议系统，其中，布局控制器是多点控制单元(MCU)的模块。

23.根据权利要求21所述的视频会议系统，还包括：

适于响应布局控制器操作第二视频图像和从第一端点接收的第一视频图像的编辑器模块。

24.根据权利要求21所述的视频会议系统，其中，布局控制器进一步适于向多个端点发送用于显示由布局控制器设计的连续呈现视频图像的指令。

25.根据权利要求21所述的视频会议系统，还包括：

适于响应布局控制器将连续呈现视频图像编码的视频模块。

26.根据权利要求21所述的视频会议系统，还包括：

适于响应布局控制器在连续呈现视频图像中定位与第一参会人员对应的第一视频图像和相对于第一视频图像的与第二参会人员对应的第二视频图像的视频布局编辑器模块。

27.根据权利要求26所述的视频会议系统，其中，视频布局编辑器模块进一步适于操作第一视频图像。

28.根据权利要求26所述的视频会议系统，其中，视频布局编辑器模块进一步适于形成第一视频图像的镜像。

29.根据权利要求21所述的视频会议系统，还包括：

适于检测第一参会人员和第二参会人员之间的交互作用并将交互作用通知给布局控制器的交互作用解码器。

30.根据权利要求29所述的视频会议系统，其中，交互作用解码器包含适于识别与第一参会人员对应的第一视频图像中的关注区域的相对位置的视频交互作用解码器。

31.根据权利要求29所述的视频会议系统，其中，交互作用解码器适于检测第一参会人员是主导参会人员。

32.根据权利要求29所述的视频会议系统，其中，交互作用解码器包含适于分析音频能量并响应音频能量将交互作用通知给布局控制器的音频交互作用解码器。

33.根据权利要求21所述的视频会议系统，其中，布局控制器适于设计连续呈现视频图像，使得第一参会人员和第二参会人员表现为相互面对。

34.一种用于处理来自与连续呈现视频会议中的第一参会人员对应的第一端点的第一视频图像和来自与连续呈现视频会议中的第二参会人员对应的第二端点的第二视频图像的装置，包括：

适于响应第一参会人员和第二参会人员之间的交互作用设计连续呈现视频会议视频图像的控制模块；和

适于创建由控制模块设计的连续呈现视频会议视频图像的第一视频模块。

35.根据权利要求34所述的装置，还包括：

适于检测第一参会人员和第二参会人员之间的交互作用并将交互作用通知给控制模块的交互作用解码器。

36.根据权利要求34所述的装置，其中，交互作用解码器是适于识别第一视频图像中的关注区域的相对位置的视频交互作用解码器。

37.根据权利要求34所述的装置，其中，交互作用解码器是适于分析与第一参会人员对应的第一音频能量和与第二参会人员对应的第二音频能量的音频交互作用解码器。

38.根据权利要求34所述的装置，其中，交互作用解码器适于检测第一参会人员是主导参会人员。

39.根据权利要求34所述的装置，其中，所述装置是多点控制单元。

40.根据权利要求34所述的装置，其中，第一视频模块与第一端点相关联。

41.根据权利要求34所述的装置，还包括：

适于响应控制模块操作第一视频图像的编辑器模块。

42.根据权利要求41所述的装置，其中，编辑器模块适于响应控制模块形成第一视频图像的镜像。

Images