CN104038725B - 多屏视频会议中对与会者图像显示进行调整的方法及装置 - Google Patents

Abstract

本发明实施例提供一种多屏视频会议中对与会者图像显示进行调整的方法及装置，其中对与会者图像显示进行调整的方法包括按照当前会议中与会者音量从大到小的顺序，从音量最大的与会者开始，依次确定预定个数的待显示的与会者；确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕；控制所述需要切换图像的屏幕所显示的图像切换为所述预定个数的待显示与会者的图像。采用本发明提供的技术方案，能够使第一会场中的与会者看到参与讨论的与会者图像。

Description

多屏视频会议中对与会者图像显示进行调整的方法及装置

技术领域

本发明涉及通信技术领域，特别涉及一种多屏视频会议中对与会者图像显示进行调整的方法及装置。

背景技术

视讯会议业务是一种多媒体通信业务，其利用视讯终端和通信网络召开会议，可以同时实现两地或多个地点之间的图像、语音、数据的交互。会场中的终端将本地摄像机拍摄的图像信号、与会者区域中的麦克风拾取的与会者的声音信号进行压缩编码，经过传输网络传至远方会场。同时，通过传输网络接收远方会场传来的数字信号，对数字信号进行解码得到远方会场与会者的图像和信号。随着视频会议的发展，会场已经由以前的一个摄像机、一个显示器、一个与会者区域发展到多个摄像机、多个显示器、多个与会者区域，这些在同一会场的多个摄像机、多个显示器、多个与会者区域通过物理的或者逻辑的关系进行关联。

现有技术提供一种按会场的声控切换方法，通信网络中的多点控制服务器(以MCU，Multipoint Control Unit，即多点控制单元为例)识别当前声音最大的发言者，将当前声音最大的发言者所在会场的各与会者的图像都切换到目标会场中，其中目标会场是会议中除最大发言者所在会场以外的各会场。

现有技术具有如下缺点：

现有技术中目标会场只能显示同一会场的各与会者图像，即只能显示声音最大的与会者所在会场的各与会者图像，这样，如果当前参与讨论的与会者是不同会场的与会者时，目标会场中的与会者就不能看到当前参与讨论的与会者图像。

发明内容

本发明实施例提供一种多屏视频会议中对与会者图像显示进行调整的方法及装置，能够灵活的进行按屏幕声控切换，提高与会者的体验。

有鉴于此，本发明实施例提供：

一种多屏视频会议中对与会者图像显示进行调整的方法，包括：

按照当前会议中与会者音量从大到小的顺序，从音量最大的与会者开始，依次确定预定个数的待显示的与会者；

确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕；

控制所述需要切换图像的屏幕所显示的图像切换为所述预定个数的待显示与会者的图像。

一种网络侧媒体处理设备，包括：

与会者选择单元，用于按照当前会议中与会者音量从大到小的顺序，从音量最大的与会者开始，依次确定预定个数的待显示的与会者；

屏幕选择单元，用于确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕；

第一控制切换单元，用于控制所述需要切换图像的屏幕所显示的图像切换为所述预定个数的待显示与会者的图像。

本发明实施例确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕，然后将需要切换图像的屏幕中的图像切换为根据会议中各与会者音量从大到小的顺序而确定的待显示与会者的图像。由于所选择的待显示的与会者是按照当前会议中与会者音量从大到小的顺序而确定的，所以可以显示当前参与讨论、且位于不同会场的与会者，能够使第一会场中的与会者看到参与讨论的与会者图像，提高与会者的体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是多屏会场的结构示意图；

图2A是本发明一实施例提供的多屏视频会议中对与会者图像显示进行调整的方法流程图；

图2B是本发明另一实施例提供的多屏视频会议中对与会者图像显示进行调整的方法流程图；

图2C是本发明又一实施例提供的多屏视频会议中对与会者图像显示进行调整的方法流程图；

图2D是本发明又一实施例提供的多屏视频会议中对与会者图像显示进行调整的方法流程图；

图3是本发明实施例提供的一种基于最近发言者列表对与会者图像显示进行调整的方法流程图；

图4是本发明实施例提供的另一种基于最近发言者列表对与会者图像显示进行调整的方法流程图；

图5是本发明实施例提供的又一种基于最近发言者列表对与会者图像显示进行调整的方法流程图；

图6A是本发明实施例提供的采用图3、4或者5的方法切换三屏会场屏幕的图像的示意图；

图6B是本发明实施例提供的采用图3、4或者5的方法切换两屏会场屏幕的图像的示意图；

图6C是本发明实施例提供的采用指定显示最大发言者图像的屏幕的方法切换三屏会场屏幕的图像的示意图；

图6D是本发明实施例提供的采用指定显示最大发言者图像的屏幕的方法切换两屏会场屏幕的图像的示意图；

图7是本发明实施例提供的一种考虑会场中屏幕的位置对与会者图像显示进行调整的方法流程图；

图8是本发明实施例提供的会场将多画面图像叠加显示在声音最大的发言者图像上的示意图；

图9是本发明实施例提供的会场中的放音设备播放混音(远端会场的多个与会者声音)的示意图；

图10是本发明实施例提供的显示声音最大的与会者图像的同时显示多画面的示意图；

图11是本发明实施例提供的一种网络侧媒体处理设备结构图；

图12、图13分别为屏幕选择单元结构图；

图14为视频源控制单元结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图2A，本发明实施例提供一种多屏视频会议中对与会者图像显示进行调整的方法，该方法具体包括：

201A、按照当前会议中与会者音量从大到小的顺序，从音量最大的与会者开始，依次确定预定个数的待显示的与会者。

其中，与会者的音量从大到小的顺序，在需要对与会者的图像显示进行调整时，对与会者的一段时间讲话的音量能量值进行统计，所述的一段时间可以为需要对与会者的图像进行调整的时刻之前的一段时间，该一段时间的时长可以由用户设定；其中，预定个数可以是一个，此时所确定的与会者为声音最大的与会者；或者，预定个数为多个，具体可以由网络侧媒体处理设备设置的，也可以是网络侧业务管理平台或者网络侧设备管理平台设置的，还可以是由终端设置并发送给网络侧媒体处理设备，比如，主席会场的终端设置后发送给网络侧媒体处理设备。

202A、确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕。

具体的，可以根据用户的自定义选择，也可以根据会议过程中管理员的指定，还可以根据第一会场的屏幕当前显示的与会者的排序结果，来确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕。其中，第一会场的屏幕当前显示的与会者的排序结果是按照如下排序条件进行的，所述排序条件包括如下条件之一：当前显示的与会者的声音大小、当前显示的与会者的发言时间点远近、当前显示的与会者的发言时长、第一会场的屏幕当前显示的与会者的发言次数和第一会场的屏幕当前显示的与会者所对应的屏幕是否为主屏。其中，排序结果可以是按照如下方式之一进行排序：当前显示的与会者按照声音从大到小的顺序；当前显示的与会者的发言时间点按照从近到远的顺序；当前显示的与会者的发言时长按照从长到短的顺序；第一会场的屏幕当前显示的与会者的发言次数按照从多到少的顺序；此外，第一会场的屏幕当前显示的与会者所对应的屏幕是否为主屏可以作为附加的排序条件，屏幕为主屏的第一会场的当前显示的与会者的排序顺序位于屏幕为非主屏的第一会场的当前显示的与会者的排序顺序之前。

在视讯会议中，一般声音最小的与会者是没有参与讨论的与会者，声音较大的与会者是参与讨论的与会者，所以为了能选择到没有参与讨论的与会者所在屏幕作为待切换的屏幕，所以将当前显示的与会者的声音大小作为排序条件之一；在视讯会议中，一般发言时间点较近的与会者再次发言的概率比较大，发言时间点较远的与会者再次发言的概率比较小，所以将当前显示的与会者的发言时间点远近作为排序条件之一；在视讯会议中，一般发言时间长的与会者再次发言的概率比较大，发言时长短的与会者再次发言的概率比较小，所以将当前显示的与会者的发言时长作为排序条件之一；在视讯会议中，一般经常发言的人其再次发言的概率就会更高，为了更好的统计与会者发言的概率，所以可以将与会者的发言次数作为排序条件之一；另外，在视讯会议中，对于奇数个显示屏幕的会场，中间的屏幕对应的主屏；对于偶数个显示屏幕的会场，中轴线相邻的两个屏幕对应的是主屏，而主屏一般呈现会议主席等会议主要参与者的图像，因此，为了更好的统计主屏呈现的与会者，所以可以将第一会场的屏幕当前显示的与会者所对应的屏幕是否为主屏主屏作为排序条件。

对于不同的排序条件可以按照相应的重要性设定对应的权重(作为举例：所有的排序条件分配的权重之和归一化为1，当然，也可以设计权重之和不为1的情况)，并对各个排序条件的因素按照其特征定义取值范围，然后通过计算这些因素的加权和作为排序参考值；

如下举例说明：假定与会者声音大小的权重为0.1、发言时间点远近的权重为0.4、发言时长的权重为0.2、发言次数多少的权重为0.2、与会者所在屏幕是否为主屏的权重为0.1，所有这些因素的权重之和为1。而且，所有这些因素都有自己的值，比如，与会者声音大小的取值范围为1～10，其中，声音越大，取值越大，声音越小，取值越小，其中，各与会者声音的大小为最近发言时间点的各与会者声音的大小；发言时间点的取值范围为1～1000，各与会者发言时间点为各与会者最近一次发言的时间点，其中，可以假定会议开始时记为1，然后过1分钟，就加1；发言时长取值范围1～500，以分钟为单位，其可以是与会者最近一次发言的时长，也可以是与会者特定时间段内发言时长的累加值，比如与会者在1小时之内发言的总时长；发言次数取值范围为1～100，其可以为特定时间段内的发言次数，比如1小时之内的发言次数，也可以是从会议开始算起得到的总发言次数；与会者所在屏幕取值为0或者1，即与会者所在屏幕为主屏时，则取值为1，否则取值为0，对于三屏或者五屏会场，中间的屏幕为主屏，对于四屏会场，可以认为中间的两个为主屏。然后按照以下公式计算各与会者的排序参考值：

与会者的排序参考值＝与会者的声音×与会者声音大小权重+与会者的发言时间点×发言时间点权重+与会者的发言时长×发言时长权重+与会者的发言次数×发言次数权重+与会者的与会者所在屏幕×与会者所在屏幕权重。

然后，按照排序参考值从大到小的顺序对各与会者进行排序，选择排序结果靠后的预定个数的与会者所对应的屏幕作为需要切换图像的屏幕。

其中，需要说明的是，在对第一会场的屏幕当前显示的与会者进行排序时，可以仅考虑各与会者声音的大小，此时按照与会者的声音从大到小的顺序进行排序；也可以仅考虑各与会者发言时间点的远近，此时按照与会者的发言时间点从近到远的顺序进行排序；也可以仅考虑各与会者的发言时长，此时按照与会者的发言时长从长到短的顺序进行排序；也可以仅考虑各与会者声音的大小和各与会者发言时间点的远近，而不考虑其他条件，假定与会者声音的权重为0.4、发言时间点的权重为0.6，可以假定与会者声音大小的取值范围为1～10，其中，声音越大，取值越大，声音越小，取值越小，其中，各与会者声音的大小为最近发言时间点的各与会者声音的大小，发言时间点的取值范围为1～1000，各与会者发言时间点为各与会者最近一次发言的时间点，此时，按照以下公式计算各与会者的排序参考值：与会者的排序参考值＝与会者的声音×与会者声音大小权重+与会者的发言时间点×发言时间点权重，然后，按照排序参考值从大到小的顺序对各与会者进行排序；或者，也可以仅考虑各与会者的发言时长和各与会者发言时间点的远近，而不考虑其他条件，不影响本发明的实现。

203A、控制所述需要切换图像的屏幕所显示的图像切换为所述预定个数的待显示与会者的图像。

假定预定个数为两个，而排序条件为按照声音从大到小的方式进行排序，则该步骤是选择声音最大的与会者和声音次大的与会者，确定声音最大的与会者和声音次大的与会者对应的屏幕作为需要切换图像的屏幕。

需要说明的，上述步骤201A、与步骤202A没有执行上的先后顺序，可以先执行步骤201A再执行步骤202A，也可以先执行步骤202A再执行步骤201A，也可以同时执行。其中，所述预定个数可以为第一会场的与会者提前指定，可以为会议管理台的管理员提前指定，还可以为会议的主席终端的与会者提前指定，还可以由多媒体控制服务器预先设定。

需要说明的是，上述预定个数可以为一个，也可以为多个，当预定个数为一个时，步骤201A中就选择了当前声音最大的与会者，此时，步骤203A可以采用如下方式实现：根据第一会场的屏幕当前显示的与会者的排序结果，选择排在最后的当前显示的与会者，判断所述排在最后的当前显示的与会者所在的屏幕是否是第一特定屏幕，如果否，确定需要切换图像的屏幕为所述排在最后的当前显示的与会者所在的屏幕；如果是，选择所述排在最后的当前显示的与会者的前一个当前显示的与会者，确定需要切换图像的屏幕为所述排在最后的当前显示的与会者的前一个当前显示的与会者所在的屏幕；其中，所述第一特定屏幕与第二特定屏幕关于屏幕中心线对称，所述第二特定屏幕是能和声音最大的发言者图像达到眼对眼效果的第一会场的屏幕，屏幕中心线为所述第一会场中各屏幕依次连接所形成的屏幕组的几何中心线。

其中，由于第二特定屏幕是能和声音最大的发言者图像达到眼对眼效果的第一会场的屏幕，而第一特定屏幕与第二特定屏幕关于屏幕中心线对称的屏幕，这样，如果声音最大的发言者图像在第一特定屏幕上显示，则该声音最大的发言者与第一会场中的与会者达不到较好的眼对眼效果，因此，当排在最后的与会者所在的屏幕是第一特定屏幕时，就选择所述排在最后的与会者的前一个与会者所在的屏幕作为需要切换图像的屏幕。

为了使上述描述更加清楚，如下以三屏会场为例进行详细说明，假定有两个三屏会场，一个会场中摄像机1拍摄的区域1的与会者图像缺省在另一会场中的屏幕1或者3呈现(如果对图像未采用镜像处理技术，则一会场区域1的与会者图像缺省在另一会场的屏幕3呈现；如果对拍摄图像采用镜像处理技术，则区域1的与会者图像缺省在另一会场的屏幕1呈现)；一个会场中的摄像机2拍摄的区域2的与会者图像缺省在另一会场的屏幕2呈现，一个会场中的摄像机3拍摄的区域3的与会者图像缺省在另一会场的屏幕1或者3呈现(同一会场的区域1的与会者图像在另一会场的呈现方式类似)。上述一个会场的与会者图像缺省在另一会场的屏幕上呈现时，能够使该与会者图像在另一会场中显示时，该与会者与另一会场中的与会者达到眼对眼的效果。图1示出了未采用镜像处理技术时，会场1中的与会者在会场2中的缺省呈现的方式，假定两个会场中区域1中的与会者为与会者1，区域2中的与会者为与会者2，区域3中的与会者为与会者3。利用本发明实施例提供的技术方案，假定会场1中的与会者1是当前声音最大的与会者，则第二特定屏幕为会场2中的屏幕3，会场2中的屏幕3关于屏幕中心线对称的屏幕为会场2中的屏幕1，此时会场2中的屏幕1为第一特定屏幕，即会场1中的与会者1的图像不能在会场2中的屏幕1显示。当采用镜像处理技术时，假定会场1中的与会者1是当前声音最大的与会者，则第二特定屏幕为会场2中的屏幕1，会场2中的屏幕1关于屏幕中心线对称的屏幕为会场2中的屏幕3，此时会场2中的屏幕3为第一特定屏幕，即会场1中的与会者1的图像不能在会场2中的屏幕3显示。其中，需要说明的是，屏幕数目为奇数的会场，如果声音最大的发言者图像所对应的屏幕为中间屏幕时，则不会存在第一特定屏幕了，可以直接确定需要切换图像的屏幕为排在最后的与会者所在的屏幕。

需要说明的是，当预定个数为1个时，则步骤201A确定的与会者为声音最大的与会者，当该声音最大的与会者已经在第一会场的屏幕上显示时，则不再执行步骤202A和步骤203A。

其中，上述方法实施例中的第一会场的屏幕为第一会场中能进行图像切换的屏幕，第一会场中能切换图像的屏幕为第一会场中所有的屏幕或者除预定屏幕以外的屏幕。所述预定屏幕为预定的不能切换图像的屏幕，比如显示会议数据资料的屏幕(即：辅流屏幕)，或者指定显示会议主席的屏幕，或者指定显示多画面的屏幕。

需要说明的，上述各步骤可以由网络侧媒体处理设备执行，网络侧媒体处理设备可以是多点控制服务器(以MCU为例)，也可以是具有上述媒体控制功能的终端设备(譬如：集成媒体控制功能的视讯会议终端)，还可以是其他网络设备；或者，步骤201A由网络侧媒体处理设备执行，而步骤202A由第一会场的终端执行，具体的：第一会场的终端根据第一会场的屏幕当前显示的与会者的排序结果，选择预定个数的与会者，确定所选择的与会者所对应的屏幕作为需要切换图像的屏幕，然后将所选择的预定个数的屏幕的编号通知网络侧媒体处理设备，此时，预定个数可以为第一会场的与会者提前指定。

需要说明的是，该实施例是以假定预定个数小于或者等于第一会场能切换图像的屏幕个数，如果预定个数大于第一会场能切换图像的屏幕个数，则按照当前会议中与会者音量从大到小的顺序，从音量最大的与会者开始，选择与第一会场能切换图像的屏幕数目相同的待显示的与会者，控制第一会场能切换图像的屏幕所显示的图像切换为所选择的待显示与会者的图像。

另外，如果会议中规定某一会场的一个特定与会者在第一会场的某一特定屏幕上显示时，则步骤201A需要对除所述特定与会者以外的与会者按照音量从大到小的顺序，从音量最大的与会者开始，依次确定预定个数的待显示的与会者，且在步骤202A中需要在除上述特定屏幕以外的第一会场能切换图像的的屏幕中确定需要切换图像的屏幕。

本发明实施例确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕，然后将需要切换图像的屏幕切换为根据会议中各与会者音量从大到小的顺序而确定的待显示与会者的图像，由于所选择的待显示的与会者是按照当前会议中与会者音量从大到小的顺序而确定的，所以可以显示当前参与讨论、且位于不同会场的与会者，能够使第一会场中的与会者看到参与讨论的与会者图像，提高与会者的体验。

参阅图2B，本发明实施例提供一种多屏视频会议中对与会者图像显示进行调整的方法，该方法中网络侧媒体处理设备具体为MCU，MCU先选择当前会议中声音较大的与会者，再选择第一会场中需要切换图像的屏幕，然后控制需要切换图像的屏幕所显示的图像切换为声音较大的待显示的与会者的图像，该方法具体包括：

201B、各个会场将采集到的与会者的声音和拍摄得到的与会者的图像都发给MCU。

202B、MCU启动声控切换。

其中，该步骤中MCU启动声控切换是指MCU可以进行声控切换了。

203B、MCU按照当前会议中与会者音量从大到小的顺序，从音量最大的与会者开始，依次选择预定个数的待显示的与会者。

该步骤中MCU选择预定个数的待显示的与会者表示MCU要开始声控切换了。

其中，预定个数可以为1个或者为多个，当预定个数为多个，具体可以是由MCU设置的，也可以是网络侧业务管理平台或者网络侧设备管理平台设置的，还可以是由终端设置并发送给MCU的，比如，主席会场的终端设置后发送给网络侧媒体处理设备。

204B、MCU按照排序条件对第一会场的屏幕当前显示的与会者进行排序，得到第一会场的屏幕当前显示的与会者的排序结果。

具体的，可以是在周期时间到达时进行排序，或者随机进行排序，或者按需进行排序，其中，按需进行排序可以是在MCU要开始进行声控切换的时候进行排序。

其中，具体的排序方式与步骤202A中的相应描述相同，在此不再赘述。

205B、MCU根据第一会场的屏幕当前显示的与会者的排序结果，选择预定个数的当前显示的与会者，确定所选择的当前显示的与会者所对应的屏幕作为需要切换图像的屏幕。

206B、MCU控制所述需要切换图像的屏幕所显示的图像切换为所述预定个数的待显示与会者的图像。

其中，当所述预定个数的待显示的与会者的图像中存在至少两个待显示的与会者的图像来自于同一会场(假定为第二会场)时，控制所述需要切换图像的屏幕中至少两个屏幕所显示的图像切换为所述至少两个待显示的与会者的图像，使得在所述第一会场中显示的所述至少两个待显示的与会者的图像的方向顺序与所述至少两个待显示的与会者在所述第二会场中的物理位置的顺序相同。其中，第一会场中显示第二会场的区域1对应的与会者的图像、区域2对应的与会者的图像的方向顺序为该会场中显示第二会场的区域1与会者图像的屏幕、区域2与会者图像的屏幕的方向顺序。

采用这种图像切换方式，使得切换后的至少两个待显示的与会者的图像，能够保持该至少两个待显示的与会者在原会场的物理位置的顺序相同，使得在第一会场显示的至少两个待显示的与会者能够更好的保持在原会场的物理位置不变。

如下举实例说明：假定2个五屏会场(会场A、会场B)，会场A中区域1的与会者缺省对应的屏幕为屏幕1，区域2/3/4/5的与会者缺省对应的屏幕分别为屏幕2/3/4/5，如果A会场的区域1、区域2的与会者图像都在B会场中显示，则MCU可以调整第一会场中屏幕显示的图像，使第一会场中的屏幕的显示包括但不限于如下几种方式：

1)、显示A会场的区域1的与会者图像、区域2的与会者图像的屏幕分别为B会场的屏幕1、屏幕2。

2)、显示A会场的区域1的与会者图像、区域2的与会者图像的屏幕分别为B会场的屏幕2、屏幕3。

3)、显示A会场的区域1的与会者图像、区域2的与会者图像的屏幕分别为B会场的屏幕1、屏幕3。

也就是说显示A会场区域1、2的与会者图像的屏幕的方向顺序是按照1/2/3/4/5这个方向排序的(即如果以上面描述的缺省对应的方式，那么显示区域1与会者图像的屏幕编号一定比显示区域2与会者图像的屏幕编号小)。

本发明实施例中MCU根据第一会场中屏幕显示的与会者的排序结果，选择需要切换图像的屏幕，然后将需要切换图像的屏幕切换为根据会议中各与会者音量从大到小的顺序而选择的与会者的图像，由于排序结果是根据第一会场中屏幕显示的与会者声音大小、发言时间点远近、发言时长中至少一个条件进行排序的排序结果，所以能够保证当前不断讲话的与会者的图像都可能在第一会场的屏幕中显示，能够使第一会场中的与会者看到当前参与讨论的与会者图像，提高与会者的体验。

参阅图2C，本发明实施例提供一种多屏视频会议中对与会者图像显示进行调整的方法，该方法中网络侧媒体处理设备为MCU，MCU先选择第一会场中需要切换图像的屏幕，再选择当前会议中声音较大的待显示的与会者，然后控制需要切换图像的屏幕所显示的图像切换为声音较大的待显示的与会者的图像，该方法具体包括：

201C、各个会场将采集到的与会者的声音和拍摄得到的与会者的图像都发给MCU。

202C、MCU启动声控切换。

其中，该步骤中MCU启动声控切换是指MCU可以进行声控切换了。

203C、MCU按照排序条件对第一会场的屏幕当前显示的与会者进行排序，得到第一会场的屏幕当前显示的与会者的排序结果。

其中，具体的排序方式和排序时间可以参考步骤204B的相应描述，在此不再赘述。

204C、MCU根据第一会场的屏幕当前显示的与会者的排序结果，选择预定个数的当前显示的与会者，确定所选择的预定个数的当前显示的与会者所对应的屏幕作为需要切换图像的屏幕。

205C、MCU按照当前会议中与会者音量从大到小的顺序，从音量最大的与会者开始，依次选择预定个数的待显示的与会者。

该步骤中MCU选择预定个数的待显示的与会者表示MCU要开始进行声控切换了。其中，预定个数可以为1个或者为多个，当预定个数为多个，具体可以是有由MCU设置的，也可以是网络侧业务管理平台或者网络侧设备管理平台设置的，还可以是由终端设置并发送给MCU的，比如，主席会场的终端设置后发送给网络侧媒体处理设备。

206C、MCU控制所述需要切换图像的屏幕所显示的图像切换为所述预定个数的待显示的与会者的图像。

本发明实施例中MCU根据第一会场中屏幕当前显示的与会者的排序结果，选择需要切换图像的屏幕，然后将需要切换图像的屏幕切换为根据会议中各与会者音量从大到小的顺序而选择的当前显示的与会者的图像，由于排序结果是根据第一会场中屏幕显示的与会者声音大小、发言时间点远近、发言时长中至少一个条件进行排序的排序结果，所以能够保证当前不断讲话的与会者的图像都可能在第一会场的屏幕中显示，能够使第一会场中的与会者看到当前参与讨论的与会者图像，提高与会者的体验。

参阅图2D，本发明实施例提供一种多屏视频会议中对与会者图像显示进行调整的方法，该方法与上述两个实施例的区别在于：第一会场的终端根据第一会场的屏幕当前显示的与会者的排序结果，选择需要切换图像的屏幕然后通知MCU，由MCU控制第一会场中屏幕显示图像的切换，该方法具体包括：

201D、各个会场将采集到的与会者的声音和拍摄得到的与会者的图像都发给MCU。

202D、MCU启动声控切换。

203D、第一会场的终端按照排序条件对第一会场的屏幕当前显示的与会者进行排序，得到第一会场的屏幕当前显示的与会者的排序结果。

其中，具体的排序方式和排序时间可以参考步骤204B的相应描述，在此不再赘述。

204D、第一会场的终端根据第一会场的屏幕当前显示的与会者的排序结果，选择预定个数的当前显示的与会者，确定所选择的与会者所对应的屏幕作为需要切换图像的屏幕。

205D、第一会场的终端向MCU发送第一会场中需要切换图像的屏幕的编号。

206D、MCU按照当前会议中与会者音量从大到小的顺序，从音量最大的与会者开始，依次确定预定个数的待显示的与会者。

其中，预定个数可以为1个或者为多个，当预定个数为多个，具体可以是由终端设置并发送给MCU。

207D、MCU控制所述需要切换图像的屏幕所显示的图像切换为预定个数的待显示的与会者的图像。

本发明实施例中第一会场的终端根据第一会场中屏幕显示的与会者的排序结果，选择需要切换图像的屏幕，然后由MCU控制需要切换图像的屏幕切换为根据会议中各与会者音量从大到小的顺序而选择出的与会者图像，由于排序结果是根据第一会场中屏幕显示的与会者声音大小、发言时间点远近、发言时长中至少一个条件进行排序的排序结果，所以能够保证当前不断讲话的与会者的图像都可能在第一会场的屏幕中显示，能够使第一会场中的与会者看到参与讨论的与会者图像，提高与会者的体验。

参阅图3，本发明实施例提供一种多屏视频会议中对与会者图像显示进行调整的方法，该方法中网络侧媒体处理设备为MCU，MCU先选择当前声音最大的与会者对应的图像作为待显示的图像，然后根据第一会场中屏幕显示的与会者的声音大小，选择需要切换图像的屏幕，该方法具体包括：

301、各个会场将采集到的与会者的声音和拍摄得到的与会者的图像都发给MCU。

302、MCU启动声控切换。

303、MCU确定当前声音最大的与会者，该声音最大的与会者为待显示的与会者。

304、MCU判断是否满足切换条件，如果是，执行305，如果否，结束本流程。

具体的，可以是判断当前声音最大的与会者的声音是否持续一个预设时间段，如果是，则满足切换条件，否则不具备切换条件。

305、MCU判断第一会场中能切换图像的屏幕当前显示的与会者是否有最近发言者列表中的与会者，如果否，则执行306，如果是，则执行307。

306、MCU根据第一会场的能切换图像的屏幕当前显示的与会者的声音大小，确定声音最小的与会者的图像所在的屏幕为需要切换图像的屏幕，控制该屏幕显示的图像从声音最小的与会者图像切换为当前声音最大的与会者的图像，结束本流程。

其中，第一会场中能切换图像的屏幕为第一会场中所有的屏幕或者除预定屏幕以外的屏幕，所述预定屏幕为预置的不能进行图像切换的屏幕。所述预定屏幕为预定的不能切换图像的屏幕，比如显示会议数据资料的屏幕，或者指定显示会议主席的屏幕，或者指定显示多画面的屏幕。

需要说明的是，本实施例及后续各实施例中，可以将多画面图像作为声音最小的与会者图像，这样在声控切换启动后，第一次进行图像切换时就可以将该多画面图像切换为当前声音最大的与会者图像。

307、MCU判断第一会场能切换图像的屏幕当前显示的与会者是否都属于最近发言者列表，如果是，执行308，如果否，则执行309。

308、MCU按照最近发言者列表中与会者的排序结果，选择排序结果靠后的与会者所在的屏幕为需要切换图像的屏幕，则控制该屏幕显示的图像切换为声音最大的与会者的图像，结束本流程。

其中，最近发言者列表中与会者的排序方式和排序时间与上述实施例中所描述的第一会场的屏幕当前显示的与会者的排序方式相同，在此不再赘述。其中，最近发言者列表也可以是图像列表，即近期发言的与会者的图像的列表。

309、MCU从不属于最近发言者列表的当前显示的与会者中选择声音最小的与会者，将所选择的与会者所在的屏幕作为需要切换图像的屏幕，MCU控制将该屏幕显示的图像切换为声音最大的与会者的图像。

具体的，可以从不属于最近发言者列表的当前显示的与会者中选择声音最小的与会者，则该声音最小的与会者所在的屏幕为需要切换图像的屏幕，控制该屏幕显示的图像切换为声音最大的与会者的图像。

本发明实施例在考虑最近发言列表时，从不属于最近发言者列表的与会者中选择待切换的与会者，或者，根据最近发言者列表中与会者的排序结果，选择排序结果靠后的与会者作为待切换图像，这种声控切换方法，能够避免最近经常发言的与会者被切换掉，使会场中的用户能够看到参与讨论的与会者图像，提高与会者的体验；进一步，只要声音最大的发言者的声音满足切换条件，则可以将声音最大的发言者的图像切换到会场中，使会场中的用户即时看到声音最大的与会者的图像，提高与会者的体验。

参阅图4，本发明实施例提供一种多屏视频会议中对与会者图像显示进行调整的方法，该方法中与图3所示实施例的区别在于：MCU先根据第一会场中屏幕显示的与会者的声音大小，选择需要切换图像的屏幕，然后再选择当前声音最大的与会者，该方法具体包括：

401、各个会场将采集得到的与会者的声音和获取得到的与会者的图像都发给MCU。

402、MCU启动声控切换。

403、周期时间到达时，MCU判断第一会场中能切换图像的屏幕当前显示的与会者是否有最近发言者列表中的与会者，如果否，则执行404，如果是，则执行405。

具体的，可以预先设定周期时间，比如一个周期为2s，这样每隔两秒就会执行步骤403。

404、MCU根据第一会场的能切换图像的屏幕当前显示的与会者的声音大小，选择声音最小的与会者的图像所在的屏幕作为需要切换图像的屏幕。

其中，第一会场中能切换图像的屏幕的定义与图3所示实施例相应部分的描述相同，在此不再赘述。

405、MCU判断第一会场能切换图像的屏幕当前显示的与会者是否都属于最近发言者列表，如果是，执行406，如果否，则执行407。

406、MCU按照最近发言者列表中与会者的排序结果，选择排序结果靠后的与会者所在的屏幕为需要切换图像的屏幕。

其中，最近发言者列表中与会者的排序方式和排序时间与上述实施例中所描述的第一会场的屏幕当前显示的与会者的排序方式相同，在此不再赘述。其中，最近发言者列表也可以是图像列表，即近期发言的与会者的图像的列表。

407、MCU从不属于最近发言者列表的当前显示的与会者中选择声音最小的与会者，将所选择的与会者所在的屏幕作为需要切换图像的屏幕。

408、MCU确定当前声音最大的发言者，该声音最大的与会者为待显示的与会者。

409、MCU判断是否具备切换条件，如果是，执行410，如果否，不进行处理，返回执行步骤403。

410、MCU控制需要切换图像的屏幕显示的图像切换为声音最大的与会者的图像。

本发明实施例在考虑最近发言列表时，在不属于最近发言者列表的当前显示的与会者中选择待切换的与会者，或者，根据最近发言者列表中与会者的排序结果，选择排序结果靠后的与会者作为待切换的与会者，这种声控切换方法，能够避免最近经常发言的与会者图像被切换掉，使会场中的用户能够看到参与讨论的与会者图像，提高与会者的体验。

参阅图5，本发明实施例提供一种多屏视频会议中对与会者图像显示进行调整的方法，该方法中与图3、图4所示实施例的区别在于：第一会场的终端根据第一会场中屏幕显示的与会者的声音大小，选择需要切换图像的屏幕然后通知MCU，该方法具体包括：

501、各个会场将与会者的声音和与会者的图像都发给MCU。

502、MCU启动声控切换。

503、周期时间到达时，第一会场的终端判断第一会场中能切换图像的屏幕当前显示的与会者是否有最近发言者列表中的与会者，如果否，则执行504，如果是，则执行505。

具体的，可以预先设定周期时间，比如一个周期为2s，这样每隔两秒就会执行步骤503。

504、第一会场的终端根据第一会场能切换图像的屏幕当前显示的与会者的声音大小，选择声音最小的与会者的图像所在的屏幕作为需要切换图像的屏幕。

其中，第一会场中能切换图像的屏幕的定义与图3所示实施例相应部分的描述相同，在此不再赘述。

505、第一会场的终端判断第一会场能切换图像的屏幕当前显示的与会者是否都属于最近发言者列表，如果是，执行506，如果否，则执行507。

506、第一会场的终端按照最近发言者列表中与会者的排序结果，选择排序结果靠后的与会者所在的屏幕为需要切换图像的屏幕。

其中，最近发言者列表中与会者的排序方式和排序时间与上述实施例中所描述的第一会场的屏幕当前显示的与会者的排序方式相同，在此不再赘述。其中，最近发言者列表也可以是图像列表，即近期发言的与会者的图像的列表。

507、第一会场的终端从不属于最近发言者列表的当前显示的与会者中选择声音最小的与会者，将所选择的与会者所在的屏幕作为需要切换图像的屏幕。

508、第一会场的终端向MCU发送需要切换图像的屏幕的编号。

509、MCU确定当前声音最大的发言者，该声音最大的发言者为待显示的与会者。

510、MCU判断是否具备切换条件，如果是，执行511，如果否，不进行处理，结束本流程。

511、MCU控制需要切换图像的屏幕显示的图像切换为声音最大的与会者的图像。

本发明实施例在考虑最近发言列表时，在不属于最近发言者列表的与会者中选择待切换的与会者，或者，根据最近发言者列表中与会者的排序结果，选择排序结果靠后的与会者作为待切换的与会者，这种声控切换方法，能够避免最近经常发言的与会者图像被切换掉，使会场中的用户能够看到参与讨论的与会者图像，提高与会者的体验。进一步，由第一会场的终端选择需要切换图像的屏幕，减少了MCU的工作，降低了对MCU的要求。

如下对最近发言者列表进行详细介绍：

1、关于与会者的排序方式参见步骤202A的详细描述，在此不再赘述。

2、当最近发言者列表为图像列表时，可以控制会议主席图像一直位于发言者图像列表中，多画面图像一直位于发言者图像列表中。其中，会议主席图像可以在会议一开始就进入最近发言者列表，也可以在会议主席讲话后切入最近发言者列表中，具体的，若当前声音最大的发言者为会议主席时，将该会议主席图像放入最近发言者列表中。

3、关于最近发言者列表的更新，有如下几种更新方式：

1)、可以将当前声音最大的发言者放入最近发言者列表中，具体的，可以在将当前声音最大的发言者图像切换到屏幕上显示之后，将当前声音最大的发言者放入最近发言者列表，也可以在切换之前，将当前声音最大的发言者放入最近发言者列表。

2)、在启动声控切换时，将会场中当前各屏幕显示的与会者放入最近发言者列表中。

3)、当最近发言者列表中与会者的个数大于会场中屏幕的个数时，根据最近发言者列表的排序结果，将在最近发言者列表中的排序位数超过会场中屏幕的个数的与会者删除；或者，当最近发言者列表中与会者的个数大于会场中屏幕的个数时，清空最近发言者列表。

4)、当最近发言者列表中有预定时间段内没有发言的与会者时，将所述预定时间段内没有发言的与会者从最近发言者列表中删除。

5)、最近发言者列表中与会者的个数大于会场中除特定屏幕以外的屏幕个数时，将在最近发言者列表中的排序位数超过除特定屏幕以外的屏幕个数的与会者删除，或者，将最近发言者列表清空，其中特定屏幕是不能进行图像切换的屏幕，比如专用于显示会议辅助资料的屏幕等。

4、当已确定最近发言者列表中的与会者所在的屏幕需要进行图像切换时，也可以采用下面这几种特殊策略：

第一、选择能和当前声音最大的与会者达到眼对眼效果的屏幕显示该当前声音最大的与会者的图像，或者，选择与能和当前声音最大的与会者达到眼对眼效果的屏幕相邻的屏幕来显示该声音最大的与会者的图像。例如，当前声音最大与会者为A会场左侧的与会者，假定能和当前声音最大的与会者达到眼对眼效果的屏幕为B会场左侧的屏幕，则选择B会场左侧的屏幕作为需要切换图像的屏幕，或者，选择B会场的中间屏幕作为需要切换图像的屏幕。

第二、如果当前声音最大与会者与最近发言者列表中的某个与会者为同一会场中的发言者时，选择在同一会场的与会者图像所在屏幕的附近屏幕显示该当前声音最大的与会者图像。

第三、优先切换主屏幕的图像。

第四、不切换本会场中的第一特定屏幕或者第一特定屏幕外侧的屏幕的图像，其中，对第一特定屏幕的描述请参见第一个实施例步骤202A中的相关描述，在此不再赘述。第一特定屏幕外侧的屏幕为第一特定屏幕背向几何中心线一侧的屏幕，比如一个五屏会场，如果第一特定屏幕为屏幕4，则第一特定屏幕外侧的屏幕为屏幕5，如果第一特定屏幕为屏幕2，则第一特定屏幕外侧的屏幕为屏幕3。

第五、将最近发言者列表中声音最小的与会者的图像切换掉。

5、对于多屏会场，每个摄像机拍摄一组与会者，这组与会者共享一个或者多个MIC(麦克风，简称麦克)，这组MIC的声音代表该会场声音的一个方位(比如左、中、右中的左方位)，各会场把不同方位的MIC的声音发送给MCU，MCU在声控切换时，会把声音最大的那组MIC(这组MIC对应了一个会场中的一个方位)的对应的图像进行显示切换；或者多个摄像机拍摄一组与会者甚至整个会场的图像，这组与会者共享一组MIC，这组MIC的声音代表一个声音方位或者整个会场的声音(比如单声音道语音协议的情况下，就是代表整个会场)，各会场把不同方位的MIC的声音发送给MCU，MCU在声控切换时，会把声音最大的那组MIC(这组MIC对应了一个会场中的一个方位或者一个会场)对应的图像(多个摄像机所拍摄的一组与会者的图像或者整个会场的图像)进行显示切换；对于上述两种情况，还可以有另外一种处理方式，即各会场从本会场各组MIC对应的方位声音中选出前几大声音，即选出几组MIC的声音，把选出的声音发送MCU，MCU再从整个会议中选出声音最大那组MIC，把其对应的图像进行显示切换。

为了使本发明上述实施例更加清楚明白，参阅图6A，如下以三屏会场为例，详细说明本发明实施例提供的多屏视频会议中对与会者图像显示进行调整的方法，图中，A会场、B会场、C会场、D会场都为3屏会场，E会场、F会场、G会场都为2屏会场，J会场、K会场都为单屏会场，具体的,在启动声控切换之前，A会场的屏幕1、2、3分别显示E会场中摄像机E1拍摄的图像，J会场中摄像机J1拍摄的图像，G会场中摄像机G2拍摄的图像；启动声控切换之后，当前与会者声音不断变化，则会场A的图像切换过程包括：

1)当前摄像机E1拍摄的图像中的与会者声音最小，摄像机F2拍摄的图像中的与会者声音最大，则控制A会场的屏幕1显示的图像从摄像机E1拍摄的图像切换为摄像机F2拍摄的图像，将摄像机F2拍摄的与会者放入最近发言者列表中；

2)、然后，摄像机F2拍摄的图像中的与会者声音最小，摄像机J1拍摄的图像中的与会者声音次小，摄像机C2拍摄的图像的与会者声音最大，由于摄像机F2拍摄的与会者已经在最近发言者列表中，所以选择声音次小的与会者的图像进行切换，此时，控制A会场的屏幕2显示的图像从摄像机J1拍摄的图像切换成摄像机C2拍摄的图像，将摄像机C2拍摄的与会者放入最近发言者列表；

3)、然后，摄像机G2拍摄的图像中与会者声音最小，摄像机K1拍摄的图像中与会者声音最大，控制A会场的屏幕3显示的图像从摄像机G2拍摄的图像切换成摄像机K1拍摄的图像，将摄像机K1拍摄的与会者放入最近发言者列表中；

4)、然后，摄像机F2拍摄的图像中与会者声音最小，摄像机K1拍摄的图像中与会者声音最大，由于摄像机K1拍摄的图像已经在屏幕3上显示，所以不做处理；

5)、然后，当前摄像机K1拍摄的图像的与会者声音最小，摄像机F2拍摄的图像的与会者声音次小，摄像机C3拍摄的图像的与会者声音最大，由于按照发言时间点从近到远的顺序，摄像机F2拍摄的与会者在最近发言者列表的最后位置，因此，控制屏幕1显示的图像从摄像机F2拍摄的图像切换为摄像机C3拍摄的图像，由于摄像机C2和C3都属于同一会场，调换摄像机C2和C3显示的屏幕，控制屏幕1显示摄像机C2拍摄的图像，控制屏幕2显示摄像机C3拍摄的图像。

参阅图6B，如下以两屏会场为例，详细说明本发明实施例提供的多屏视频会议中对与会者图像显示进行调整的方法，图中，A会场、B会场、C会场、D会场都为3屏会场，E会场、F会场、G会场都为2屏会场，J会场、K会场都为单屏会场，具体的，在启动声控切换之前，E会场的屏幕1、2分别显示E会场中摄像机E2拍摄的图像，J会场中摄像机J1拍摄的图像，启动声控切换之后，当前与会者声音不断变化，则会场E的图像切换过程包括：1)、当前摄像机J1拍摄的图像的与会者声音最小，摄像机F2拍摄的图像的与会者声音最大，控制屏幕2显示的图像从摄像机J1拍摄的图像切换成摄像机F2拍摄的图像，将摄像机F2拍摄的与会者放入最近发言者列表；

2)然后，摄像机E2拍摄的图像与会者声音最小，摄像机C2拍摄的图像与会者声音最大，控制屏幕1显示的图像从摄像机E2拍摄的图像切换成摄像机C2拍摄的图像，将摄像机C2拍摄的与会者放入最近发言者列表；

3)然后，摄像机C2拍摄的图像与会者声音最小，摄像机K1拍摄的图像与会者声音最大，按照最近发言者列表中与会者声音从大到小的顺序，则摄像机C2拍摄的与会者位于最近发言者列表的最后位置，因此，控制屏幕1显示的图像从摄像机C2拍摄的图像切换成摄像机K1拍摄的图像，将摄像机K1拍摄的与会者放入最近发言者列表，同时从最近发言者列表中删除摄像机C2拍摄的与会者；

4)然后，摄像机F2拍摄的图像中与会者声音最小，摄像机K1拍摄的图像中与会者声音最大，由于摄像机K1拍摄的图像已在屏幕中显示，所以不做处理。

5)、摄像机K1拍摄的图像中与会者声音最小，摄像机C3拍摄的图像中与会者声音最大，控制屏幕1显示的图像从摄像机K1拍摄的图像切换成摄像机C3拍摄的图像.

对于一屏会场，则控制该一屏会场中的屏幕显示的图像从原来的图像切换为当前声音最大的图像。

参阅图7，本发明实施例提供一种多屏视频会议中对与会者图像显示进行调整的方法，该方法与上述图3、4、5所示实施例的区别在于：MCU在考虑第一会场中能切换图像的屏幕当前显示的与会者的排序的同时，考虑了第一会场中屏幕的物理位置，该方法具体包括：

701、各个会场将与会者的声音和与会者的图像都发给MCU。

702、MCU启动声控切换。

703、MCU确定当前声音最大的与会者，该声音最大的与会者为待显示的与会者。

704、MCU判断是否满足切换条件，如果是，执行705，如果否，结束本流程。

具体的，可以是判断当前声音最大的与会者的声音是否持续一个预设时间段，如果是，则满足切换条件，否则不具备切换条件。

705、MCU根据第一会场的屏幕当前显示的与会者的排序结果，选择排在最后的与会者。

在该步骤之前，MCU会按照排序条件对第一会场的屏幕当前显示的与会者进行排序，得到第一会场的屏幕当前显示的与会者的排序结果。其中，具体的排序方式和排序时间参见步骤204B和步骤202A的相应描述，在此不再赘述。

706、MCU判断所述排在最后的与会者所在的屏幕是否是第一特定屏幕，如果否，执行707；如果是，执行708。

其中，关于第一特定屏幕的描述请参见步骤202A中的相关描述，在此不再赘述。

707、MCU确定需要切换图像的屏幕为所述排在最后的与会者所在的屏幕。

708、MCU选择所述排在最后的与会者的前一个与会者，确定需要切换图像的屏幕为所述排在最后的与会者的前一个与会者所在的屏幕。

709、MCU控制需要切换图像的屏幕切换为当前声音最大的与会者图像。

当第一会场中有三个以下屏幕(包括三个屏幕)时，则步骤706中是判断排在最后的与会者所在的屏幕是否是第一特定屏幕，当第一会场中有四个屏幕、五个屏幕、或者更多个数的屏幕时，该步骤中是判断所述排在最后的与会者所在的屏幕是否是第一特定屏幕或者第一特定屏幕外侧的屏幕，第一特定屏幕外侧的屏幕为第一特定屏幕背向屏幕中心线一侧的屏幕。比如，一个五屏会场，第一特定屏幕为屏幕4，则第一特定屏幕外侧的屏幕为屏幕5；再如一个四屏幕，第一特定屏幕为屏幕3，则第一特定屏幕外侧的屏幕为屏幕4。且，当第一会场中有五个屏幕时，在步骤708中查找到所述排在最后的与会者的前一个与会者之后，会继续判断所述排在最后的与会者的前一个与会者所在的屏幕是否是第一特定屏幕或者第一特定屏幕外侧的屏幕，如果否，则确定需要切换图像的屏幕为所述排在最后的与会者的前一个与会者所在的屏幕，如果是，根据排序结果，查找位于倒数第三位的与会者，确定需要切换图像的屏幕为该与会者所在的屏幕。比如，对于一个五屏会场，假定第一特定屏幕为屏幕4，当所述排在最后的与会者位于屏幕4时，则查找所述排在最后的与会者的前一个与会者，如果位于屏幕5，则查找位于倒数第三位的与会者，确定需要切换图像的屏幕为该与会者图像所在的屏幕。

本发明实施例MCU在考虑第一会场中能切换图像的屏幕显示的与会者的排序的同时，考虑了第一会场中屏幕的物理位置，避免声音最大的与会者图像切换到达不到眼对眼效果的屏幕上显示，提高与会者的体验。

需要说明的是，该方案也适用于MCU先选择需要切换屏幕的场景，再选择声音最大的与会者的场景，同样适用于由第一会场的终端选择需要切换屏幕的场景。

需要说明的是，MCU可以按照上述实施例提供的方案将各会场中需要切换图像的屏幕进行图像切换；或者，如果会议存在主席，则先按照主席会场中各屏幕当前显示的与会者的排序结果，在主席会场中选择需要切换图像的屏幕，控制所述需要切换图像的屏幕所显示的图像切换为待显示与会者的图像，然后，根据所选屏幕在主席会场中的位置及其他会场中的屏幕在相应会场中的位置，控制待显示的与会者图像切换到其他会场中的相应屏幕显示；其中，所述其他会场中的相应屏幕与所选屏幕具有相同的编号。当会议中不存在主席时，则可以先按照一个会场中各屏幕当前显示的与会者的排序，选择需要切换图像的屏幕，控制所选屏幕的图像切换为待显示的与会者的图像，然后，按照与上面相同的方式，控制待显示的与会者图像切换到其他会场中的相应屏幕显示。

可选的，也可以指定当前声音最大的与会者始终在远端会场特定的屏幕上显示，比如一个三屏会场，可以指定屏幕3显示当前声音最大的与会者。如图6C所示，指定屏幕3显示当前声音最大的与会者的图像；如图6D所示，指定屏幕2显示当前声音最大的与会者的图像。

具体的，可以根据策略需要可以对指定显示声音最大的与会者的屏幕进行改变。对于单屏会场可以看当前声音最大的与会者的图像，也可以看多画面图像(通过多个子画面可以显示多个与会者的图像)，其中当前声音最大的与会者的图像作为其中一个子画面的图像。为了达到当前声音最大的与会者与本地会场与会者更好的眼对眼，可把当前声音最大与会者的图像始终在主屏上显示。再进一步，会场调整摄像机对照本会场的与会者的正面，把该图像发送给远端；对于一个三屏会场，也可以指定左屏显示多画面图像、中屏显示会议主席，右屏显示当前声音最大的与会者。

为了能在该声音最大的与会者图像上叠加显示声音最大的与会者所在会场的全景图像，所以该方法还可以包括：MCU控制当前声音最大的与会者的会场全景图像经过图像处理后，叠加到当前声音最大的与会者的图像的部分区域上显示。具体的，MCU将当前声音最大的与会者的会场全景图像缩小，并将缩小后的会场全景图像叠加到当前声音最大的与会者的图像的部分区域上显示。如下举实例进行说明，假定F会场是具有3个摄像机、3个屏幕、3个区域的会场，这三个摄像机分别拍摄对应区域的与会者图像，F会场中的终端将各区域与会者图像传给MCU，假定当前摄像机F1拍摄的与会者的声音最大，采用前面介绍的技术方案，MCU控制A会场(假定为三屏会场)的屏幕1显示摄像机F1拍摄的与会者图像(假定该与会者为声音最大的与会者)，此时假定A会场中的三个屏幕分别显示摄像机F1拍摄的与会者图像，摄像机C2拍摄的与会者图像,摄像机G2拍摄的与会者图像(参阅图8)。则，该MCU将F会场中三个摄像机(F1、F2、F3)拍摄的与会者图像(3个与会者图像)进行拼接成一个全景图像，将该全景图像缩小后，控制A会场中的屏幕1将缩小后的全景图像叠加到摄像机F1拍摄的与会者图像上显示，也可以将会场名叠加到该全景图像上显示，或者，将会场名叠加到摄像机F1拍摄的与会者图像的其他区域上显示。

在上述本发明实施例提供的技术方案中，可以通过如下方式保证声音和图像的良好同步：

1)、多声道技术，即语音声道数和摄像机一样，即可以实现每路摄像机的活动视频都有自己的对应方位的声道语音数据；

2)、带方位信息的语音数据，即会场把发给MCU的语音数据中携带该语音数据与摄像机视频数据的对应关系；MCU在处理这些数据时，根据目的会场的屏幕数量、音箱个数等，把目的会场观看的图像和音频对应起来，使声音在其图像所显示的屏幕附近的音箱播放。

当某个多屏会场只有一个或者几个摄像机所拍摄的与会者图像被远端会场某个或者某几个屏幕显示出来，而该会场其他摄像机所拍摄区域中的与会者也在讲话时(比如已关闭声控切换或者该与会者的声音不足以产生图像切换)，控制该与会者的声音在显示相邻与会者图像的屏幕所对应的放音设备中播出。其中，相邻与会者是同该与会者相邻的与会者。具体的，MCU可以将该与会者的声音混音到相邻与会者对应的声道中，这样，就可以将该与会者和相邻与会者的声音同时在显示相邻与会者图像的屏幕所对应的放音设备中播出如图9所示。

在四屏的B会场的四个屏幕上分别显示摄像机F2拍摄的与会者图像、摄像机F3拍摄的与会者图像、摄像机G2拍摄的与会者图像、摄像机C2拍摄的与会者图像。假定四屏的F会场的摄像机排序为F1、F2、F3和F4，如果摄像机F1拍摄的与会者在讲话，则MCU控制F1拍摄的与会者和F2拍摄的与会者(即与F1拍摄的与会者相邻的与会者)的声音进行混音，并从显示摄像机F2拍摄的与会者图像的屏幕所对应的放音设备中播出，这样，B会场的与会者通过该放音设备听到了这两个与会者的声音，就能确定这两个与会者相邻；如果摄像机F4拍摄的与会者在讲话，则MCU控制F3拍摄的与会者和F4拍摄的与会者(即与F4拍摄的与会者相邻的与会者)的声音进行混音，并从显示摄像机F3拍摄的与会者图像的屏幕所对应的放音设备中播出，B会场的与会者通过该放音设备听到了这两个与会者的声音，就能确定这两个与会者相邻。这样，B会场的与会者通过放音设备放出的声音就能确定声源的物理位置关系。

进一步，如果摄像机F1拍摄的与会者的声音变大，则需要将该摄像机F1拍摄的与会者图像显示出来，其声音也跟随显示该图像的屏幕所对应的放音设备中播放，比如摄像机F1拍摄的与会者图像被切换到屏幕4显示，该图像的声音应该从屏幕4所对应的放音设备中播出。

进一步，比如摄像机F1拍摄的与会者图像被切换到屏幕4显示，为了不使该图像的声音突然从屏幕1所对应的放音设备跳跃到屏幕4所对应的放音设备，可以采用声音过渡的方法，比如先使该图像的声音在屏幕1所对应的放音设备播放时衰减3db，在屏幕4所对应的放音设备播放时也衰减3db，这样与会者听到的该图像的声音大小和实际声音大小相同，再逐步把屏幕1所对应的放音设备的声音衰减下去，屏幕4所对应的放音设备的声音逐步增大，声音就过渡的到了屏幕4所对应的放音设备中。其中，过渡过程中用于调节的衰减值可根据两个屏幕之间的位置相对关系决定。

为了保证当前声音最大的与会者在各会场中具有相同屏幕编号的屏幕中显示，则MCU需要控制具有相同屏幕个数的各会场同一编号的屏幕具有相同的视频源，具体的，可以有如下几种方式：

第一种方式：在启动声控切换开始时，在会场中某一与会者图像所对应的各会场中的屏幕上配置相同的视频源。比如，三个三屏会场，会场1、会场2和会场3，会场1中区域1的与会者图像在各会场3号屏幕上显示时能达到眼对眼的效果，所以各会场3号屏幕配置相同的视频源。同理，各会场的2号屏幕也配置相同的视频源，各会场的1号屏幕也配置相同的视频源，这样后续在声控切换时，MCU针对各会场选择的待切换的图像都是相同的，所以每次声控切换时都保证了声音最大的与会者的图像能够切换到各个会场中同一编号的屏幕上显示。即在各会场具有相同屏幕数目时，则为各会场中相同屏幕号的屏幕配置相同的视频源。

第二种方式：获取当前声音最大的与会者的图像，判断会场中第二特定屏幕是否能显示所述声音最大的与会者的图像，如果是，控制所述第二特定屏幕显示所述声音最大的与会者的图像；如果否，按照所述会场中其他屏幕到所述第二特定屏幕的物理距离由近到远的顺序，依次判断其他屏幕是否能显示所述声音最大的与会者的图像，直到找到能显示所述声音最大的与会者的图像的屏幕为止，控制找到的屏幕显示所述当前声音最大的与会者的图像，其中，所述第二特定屏幕是能和声音最大的与会者达到眼对眼效果的屏幕。其中，对第二特定屏幕的举例说明请参见第一个实施例的相应描述，在此不再赘述。

其中，该方式中的会场是指视频会议中的任意一个会场，对任意一个会场都采用上述方式进行处理，就能保证各会场同一编号的屏幕具有相同的视频源。如果采用这种方式，则可以是在启动声控切换开始时，先按照上述第二种方式，将声音最大的与会者图像切换到相应的屏幕上显示，保证具有相同屏幕个数的各会场的同一编号的屏幕具有相同的视频源之后，再按照图2B、图2C、图2D、图3、图4、图5、图7所示实施例所述的方案进行切换。

其中，判断会场中第二特定屏幕是否能显示所述声音最大的与会者的图像具体可以是：判断会场中第二特定屏幕当前是否正在显示会议主席图像，如果是，则表示第二特定屏幕不能显示当前声音最大的与会者的图像；判断会场中第二特定屏幕当前是否正在显示多画面图像，如果是，则表示第二特定屏幕不能显示当前声音最大的与会者的图像；判断会场中第二特定屏幕当前是否正在显示最近发言者列表中的与会者，如果是，则表示第二特定屏幕不能显示当前声音最大的与会者的图像；当会场中第二特定屏幕当前显示的图像既不是多画面图像，也不是会议主席图像，也不是最近发言者列表中的与会者图像时，则可以在该第二特定屏幕上显示该声音最大的与会者的图像。

其中，按照所述会场中其他屏幕到所述第二特定屏幕的物理距离由近到远的顺序，依次判断其他屏幕是否能显示所述声音最大的与会者的图像具体可以是：按照所述会场中其他屏幕到所述第二特定屏幕的物理距离由近到远的顺序，依次判断其他屏幕当前是否正在显示会议主席图像，如果是，则表示该屏幕不能显示当前声音最大的与会者的图像；或者，依次判断其他屏幕当前是否正在显示多画面图像，如果是，则表示该屏幕不能显示当前声音最大的与会者的图像；或者，依次判断其他屏幕当前是否正在显示最近发言者列表中的图像，如果是，则表示该屏幕不能显示当前声音最大的与会者的图像；只有所判断的屏幕当前显示的图像既不是多画面图像，也不是会议主席图像，也不是最近发言者列表中的图像时，则可以在该屏幕上显示该声音最大的与会者的图像。

第三种方式：如果会议存在主席，则先按照主席会场中各屏幕显示的与会者图像中与会者声音的大小，采用图3、4、5、7所示实施例中选择需要切换图像的屏幕的方案，选择一个屏幕，将主席会场中该屏幕的图像切换为该声音最大的与会者图像；然后，根据所选屏幕在主席会场中的位置及其他会场中的屏幕在相应会场中的位置，控制声音最大的与会者图像切换到其他会场中的相应屏幕显示；其中，所述其他会场中的相应屏幕在其他会场中屏幕组中的物理位置与所选屏幕在主席会场中屏幕组的物理位置相同；或者，所述其他会场中的相应屏幕与所选屏幕具有相同的编号。当会议中不存在主席时，则可以先按照一个会场中各屏幕显示的与会者图像中与会者声音的大小，采用图3、4、5、7所示实施例中选择需要切换图像的屏幕的方案，选择一个屏幕，控制该屏幕的图像切换为该声音最大的与会者图像，然后，按照与上面相同的方式，控制声音最大的与会者图像切换到其他会场中的相应屏幕上显示，这样可以保证具有相同屏幕个数的各会场的同一编号的屏幕具有相同的视频源。

第四种方式：按照各屏幕在会场中的排序，将当前声音最大的与会者切换到相应的屏幕上，比如有三个三屏会场，在启动声控切换后，当声音最大的与会者的声音满足切换条件时，将该声音最大的与会者图像切换到这三个会场中的左屏幕上显示；各与会者的声音在不断变化，此时又有声音最大的与会者的声音满足切换条件，则将该声音最大的与会者的图像切换到这三个会场中的中屏上显示；再有声音最大的与会者的声音满足切换条件时，则将该声音最大的与会者的图像切换到这三个会场中的右屏上显示，这样可以满足三个三屏会场中具有同一编号的屏幕具有相同的视频源。

可选的，为了实现声音最大的与会者图像在一个屏幕上全屏显示的同时该声音最大的与会者图像也在多画面中显示，还可以包括：MCU可以控制用声音最大的与会者的图像替换多画面图像中的某一个画面，使该声音最大的与会者的图像在多画面图像中显示出来。这样，就可以在同一会场中一个屏幕全屏显示声音最大的与会者图像时，该声音最大的与会者图像同时在多画面中显示。具体的，假定第一会场是3屏会场，屏幕1显示摄像机F1拍摄的与会者图像，屏幕2显示摄像机C2拍摄的与会者图像，屏幕3显示多画面图像，当前摄像机C2拍摄的与会者为声音最大的与会者，MCU将该声音最大的与会者的图像与其他多个图像拼接成多画面图像，控制屏幕3显示拼接后的多画面图像，如图10所示。

参阅图11，本发明实施例提供一种网络侧媒体处理设备，其包括：

与会者选择单元100，用于按照当前会议中与会者音量从大到小的顺序，从音量最大的与会者开始，依次确定预定个数的待显示的与会者；

屏幕选择单元300，用于确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕。

第一控制切换单元400，用于控制所述需要切换图像的屏幕所显示的图像切换为所述预定个数的待显示与会者的图像。

该设备还包括：

排序单元200，用于按照排序条件对第一会场的屏幕当前显示的与会者进行排序，得到所述第一会场的屏幕当前显示的与会者的排序结果，所述排序条件为如下条件之一：当前显示的与会者的声音大小、发言时间点远近、发言时长、第一会场的屏幕当前显示的与会者的发言次数和第一会场的屏幕当前显示的与会者所对应的屏幕是否为主屏。其中，第一会场的屏幕当前显示的与会者的具体排序方式请参见方法实施例的相应描述，在此不再赘述。

屏幕选择单元300具体用于根据第一会场的屏幕当前显示的与会者的排序结果，确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕。

其中，预定个数可以为一个；参阅图12，屏幕选择单元300包括：判断子单元3001，用于判断所述第一会场中能切换图像的屏幕所显示的与会者是否属于最近发言者列表；屏幕选择第一子单元3002，用于当所述第一会场中能切换图像的屏幕所显示的各与会者中有属于最近发言者列表的与会者时，从不属于最近发言者列表中的与会者中选择当前显示的声音最小的与会者的图像，将所选择的图像所在的屏幕作为需要切换图像的屏幕；屏幕选择第二子单元3003，用于当所述第一会场中能切换图像的屏幕所显示的与会者均为最近发言者列表中的与会者时，按照最近发言者列表中与会者的排序结果，选择排序结果靠后的当前显示的与会者所在的屏幕为需要切换图像的屏幕，其中，最近发言者列表中与会者的排序方式请参考方法实施例中的相应描述，在此不再赘述。

或者，预定个数为一个；参阅图13，屏幕选择单元300包括：第一选择子单元3004，用于根据第一会场的屏幕当前显示的与会者的排序结果，选择排在最后的当前显示的与会者所在的屏幕；特定屏幕判断子单元3005，用于判断所述排在最后的当前显示的与会者所在的屏幕是否是第一特定屏幕；第二选择子单元3006，用于当特定屏幕判断子单元3005的判断结果为是时，选择所述排在最后的当前显示的与会者的前一个当前显示的与会者所在的屏幕；确定子单元3007，用于当特定屏幕判断子单元3005的判断结果为否时，确定需要切换图像的屏幕为所述第一选择子单元3004所选择的屏幕；当特定屏幕判断子单元3005的判断结果为是时，确定需要切换图像的屏幕为所述第二选择子单元3006所选择的屏幕。其中，关于第一特定屏幕、第二特定屏幕的定义和举例描述请参考方法实施例的相应描述，在此不再赘述。

当所述预定个数为多个时，第一控制切换单元400具体用于当所述预定个数的待显示的与会者的图像中存在至少两个待显示的与会者的图像来自于第二会场时，控制所述需要切换图像的屏幕中至少两个屏幕所显示的图像切换为所述至少两个待显示与会者的图像，使得在所述第一会场中显示的所述至少两个待显示的与会者的图像的方向顺序与所述至少两个待显示的与会者在所述第二会场中的物理位置的顺序相同。

为了在显示声音最大的与会者图像的同时显示该与会者的全景图像，该装置还包括：控制叠加单元500，用于控制当前声音最大的待显示的与会者所在会场的全景图像经过图像处理后，叠加到当前声音最大的待显示的与会者的图像的部分区域上显示，具体的，可以是控制当前声音最大的待显示的与会者所在会场的全景图像经过缩小处理后，叠加到当前声音最大的待显示的与会者的图像的部分区域上显示。

为了保证将声音最大的与会者图像切换到各会场相同屏幕标号的屏幕上，该装置还包括：视频源控制单元600，用于控制具有相同屏幕个数的各会场同一编号的屏幕具有相同的视频源。参阅图14，该视频源控制单元600可以具体包括：第一确定子单元6001，用于判断第一会场中第二特定屏幕是否能显示当前声音最大的待显示的与会者的图像；第二确定子单元6002，用于在所述第一确定子单元6001的判断结果为否时，则确定所述第一会场中离所述第二特定屏幕的物理距离最近，且能显示所述声音最大的待显示的与会者的图像的屏幕；控制显示子单元6003，用于在所述第一确定子单元的判断结果为是时，控制所述第二特定屏幕显示所述声音最大的与会者的图像；在所述第一确定子单元的判断结果为否时，控制所述第二判断子单元找到的屏幕显示所述声音最大的待显示的与会者的图像。其中，关于第二特定屏幕的定义和举例描述请参考方法实施例的相应描述，在此不再赘述。

为了保证将声音最大的与会者图像切换到各会场相同屏幕标号的屏幕上，也可以先将声音最大的与会者图像切换到一个会场的相应屏幕上显示，然后对其他会场采用相同的切换方式进行切换，比如，先将声音最大的待显示的与会者图像切换到第一会场的相应屏幕上显示，此时，该装置还包括：第二控制切换单元700，还用于控制除第一会场以外的其他会场的相应屏幕显示的图像切换为预定个数的待显示的与会者的图像；其中，所述其他会场的相应屏幕与所选择的第一会场中需要切换图像的屏幕具有相同的编号。

为了在显示声音最大的与会者图像的同时在多画面中显示该声音最大的与会者，该装置还包括：多画面图像控制显示单元800，用于将声音最大的待显示的与会者的图像与其他多个图像拼接成多画面图像，控制所述第一会场的其他屏幕显示所述多画面图像，所述其他屏幕为所述第一会场中除所选择的需要切换图像的屏幕以外的一个或者多个屏幕。

本发明实施例根据第一会场中屏幕显示的与会者的声音大小，从第一会场的屏幕中选择预定个数的屏幕作为需要切换图像的屏幕，然后将需要切换图像的屏幕切换为预定个数的与会者图像，避免了像现有技术那样某一摄像机拍摄的图像只能在远方会场的特定屏幕(即该图像所缺省对应的屏幕)上显示，这种按屏幕声控切换，能够使会场中的用户看到参与讨论的与会者图像，提高与会者的体验。

以上对本发明所提供的一种多屏视频会议中对与会者图像显示进行调整的方法及装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (29)

1.一种多屏视频会议中对与会者图像显示进行调整的方法，其特征在于，包括：

获取当前声音最大的待显示的与会者的图像，判断第一会场中第二特定屏幕是否能显示所述声音最大的待显示的与会者的图像，如果是，控制所述第二特定屏幕显示所述声音最大的待显示的与会者的图像；如果否，则确定所述第一会场中离所述第二特定屏幕的物理距离最近，且能显示所述声音最大的待显示的与会者的图像的屏幕，控制所述确定的屏幕显示所述当前声音最大的待显示的与会者的图像，其中，所述第二特定屏幕是能和声音最大的发言者图像达到眼对眼效果的第一会场的屏幕；

按照当前会议中与会者音量从大到小的顺序，从音量最大的与会者开始，依次确定预定个数的待显示的与会者；

确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕；

当所述预定个数的待显示的与会者的图像中存在至少两个待显示的与会者的图像来自于第二会场时，控制所述需要切换图像的屏幕中至少两个屏幕所显示的图像切换为所述至少两个待显示的与会者的图像，使得在所述第一会场中显示的所述至少两个待显示的与会者的图像的方向顺序与所述至少两个待显示的与会者在所述第二会场中的物理位置的顺序相同。

2.根据权利要求1所述的方法，其特征在于，所述确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕，具体为：

根据第一会场的屏幕当前显示的与会者的排序结果，确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕。

3.根据权利要求2所述的方法，其特征在于，所述第一会场的屏幕当前显示的与会者的排序结果是按照如下排序条件进行的，所述排序条件包括如下条件中的至少一个：当前显示的与会者的声音大小、当前显示的与会者最近一次发言的时间点的远近、当前显示的与会者的发言时长、第一会场的屏幕当前显示的与会者的发言次数和第一会场的屏幕当前显示的与会者所对应的屏幕是否为主屏。

4.根据权利要求3所述方法，其特征在于，其中，所述排序结果是按照如下方式之一进行排序的：当前显示的与会者按照声音从大到小的顺序、当前显示的与会者最近一次发言的时间点按照从近到远的顺序、当前显示的与会者的发言时长按照从长到短的顺序、第一会场的屏幕当前显示的与会者的发言次数按照从多到少的顺序、屏幕为主屏的第一会场的当前显示的与会者的排序顺序位于屏幕为非主屏的第一会场的当前显示的与会者的排序顺序之前。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：对不同的排序条件按照相应的重要性设定对应的权重；

所述排序结果是按照如下方式进行排序的：计算各与会者的各个排序条件的加权和作为排序参考值，按照所述排序参考值从大到小的顺序对各与会者进行排序；

确定的预定个数的与会者具体为排序结果靠后的预定个数的与会者。

6.根据权利要求1-5任一权利要求所述的方法，其特征在于，该方法还包括：

控制当前声音最大的待显示的与会者所在会场的全景图像经过图像处理后，叠加到当前声音最大的待显示的与会者的图像的部分区域上显示。

7.根据权利要求1所述的方法，其特征在于，

在控制所述需要切换图像的屏幕所显示的图像切换为所述预定个数的待显示与会者的图像之后，该方法还包括：

控制除所述第一会场以外的其他会场的相应屏幕显示的图像切换为预定个数的待显示的与会者的图像；其中，所述其他会场的相应屏幕与所选择的第一会场中需要切换图像的屏幕具有相同的编号。

8.一种多屏视频会议中对与会者图像显示进行调整的方法，其特征在于，包括：

控制具有相同屏幕个数的各会场同一编号的屏幕具有相同的视频源；

按照当前会议中与会者音量从大到小的顺序，从音量最大的与会者开始，依次确定预定个数的待显示的与会者；

控制需要切换图像的屏幕所显示的图像切换为所述预定个数的待显示与会者的图像；

其中，所述控制具有相同屏幕个数的各会场同一编号的屏幕具有相同的视频源包括：获取当前声音最大的待显示的与会者的图像，判断第一会场中第二特定屏幕是否能显示所述声音最大的待显示的与会者的图像，如果是，控制所述第二特定屏幕显示所述声音最大的待显示的与会者的图像；如果否，则确定所述第一会场中离所述第二特定屏幕的物理距离最近，且能显示所述声音最大的待显示的与会者的图像的屏幕，控制所述确定的屏幕显示所述当前声音最大的待显示的与会者的图像，其中，所述第二特定屏幕是能和声音最大的发言者图像达到眼对眼效果的第一会场的屏幕。

9.根据权利要求8所述的方法，其特征在于，在所述控制所述需要切换图像的屏幕所显示的图像切换为所述预定个数的待显示与会者的图像之前，所述方法还包括：

确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕；

所述确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕，具体为：

根据第一会场的屏幕当前显示的与会者的排序结果，确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕。

10.根据权利要求9所述的方法，其特征在于，所述第一会场的屏幕当前显示的与会者的排序结果是按照如下排序条件进行的，所述排序条件包括如下条件中的至少一个：当前显示的与会者的声音大小、当前显示的与会者最近一次发言的时间点的远近、当前显示的与会者的发言时长、第一会场的屏幕当前显示的与会者的发言次数和第一会场的屏幕当前显示的与会者所对应的屏幕是否为主屏。

11.根据权利要求10所述方法，其特征在于，其中，所述排序结果是按照如下方式之一进行排序：当前显示的与会者按照声音从大到小的顺序、当前显示的与会者最近一次发言的时间点按照从近到远的顺序、当前显示的与会者的发言时长按照从长到短的顺序、第一会场的屏幕当前显示的与会者的发言次数按照从多到少的顺序、屏幕为主屏的第一会场的当前显示的与会者的排序顺序位于屏幕为非主屏的第一会场的当前显示的与会者的排序顺序之前。

12.根据权利要求9所述的方法，其特征在于，

所述预定个数为1个；

根据第一会场的屏幕当前显示的与会者的排序结果，确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕包括：

根据所述第一会场的屏幕当前显示的与会者的排序结果，判断排在最后的当前显示的与会者所在的屏幕是否是第一特定屏幕，如果否，确定需要切换图像的屏幕为所述排在最后的当前显示的与会者所在的屏幕；如果是，确定需要切换图像的屏幕为所述排在最后的当前显示的与会者的前一个当前显示的与会者所在的屏幕；其中，所述第一特定屏幕与第二特定屏幕关于屏幕中心线对称，所述第二特定屏幕是能和声音最大的发言者图像达到眼对眼效果的第一会场的屏幕，屏幕中心线为所述第一会场中各屏幕依次连接所形成的屏幕组的几何中心线。

13.根据权利要求8-12任一权利要求所述的方法，其特征在于，该方法还包括：

控制当前声音最大的待显示的与会者所在会场的全景图像经过图像处理后，叠加到当前声音最大的待显示的与会者的图像的部分区域上显示。

14.根据权利要求8-12任一权利要求所述的方法，其特征在于，

在控制所述需要切换图像的屏幕所显示的图像切换为所述预定个数的待显示与会者的图像之后，该方法还包括：

控制除所述第一会场以外的其他会场的相应屏幕显示的图像切换为预定个数的待显示的与会者的图像；其中，所述其他会场的相应屏幕与所选择的第一会场中需要切换图像的屏幕具有相同的编号。

15.一种网络侧媒体处理设备，其特征在于，包括：

第一确定子单元，用于判断第一会场中第二特定屏幕是否能显示当前声音最大的待显示的与会者的图像，所述第二特定屏幕是能和声音最大的待显示的发言者图像达到眼对眼效果的第一会场的屏幕；

第二确定子单元，用于在所述第一确定子单元的判断结果为否时，则确定所述第一会场中离所述第二特定屏幕的物理距离最近，且能显示所述声音最大的待显示的与会者的图像的屏幕；

控制显示子单元，用于在所述第一确定子单元的判断结果为是时，控制所述第二特定屏幕显示所述声音最大的待显示的与会者的图像；在所述第一确定子单元的判断结果为否时，控制所述第二确定子单元所确定的屏幕显示所述声音最大的待显示的与会者的图像；

与会者选择单元，用于按照当前会议中与会者音量从大到小的顺序，从音量最大的与会者开始，依次确定预定个数的待显示的与会者；

屏幕选择单元，用于确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕；

第一控制切换单元，用于当所述预定个数的待显示的与会者的图像中存在至少两个待显示的与会者的图像来自于第二会场时，控制所述需要切换图像的屏幕中至少两个屏幕所显示的图像切换为所述至少两个待显示与会者的图像，使得在所述第一会场中显示的所述至少两个待显示的与会者的图像的方向顺序与所述至少两个待显示的与会者在所述第二会场中的物理位置的顺序相同。

16.根据权利要求15所述的设备，其特征在于，所述屏幕选择单元具体用于：根据第一会场的屏幕当前显示的与会者的排序结果，确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕。

17.根据权利要求16所述的设备，其特征在于，所述设备还包括：

排序单元，用于按照排序条件对第一会场的屏幕当前显示的与会者进行排序，得到所述第一会场的屏幕当前显示的与会者的排序结果，所述排序条件为如下条件之一：当前显示的与会者的声音大小、发言时间点远近、发言时长、第一会场的屏幕当前显示的与会者的发言次数和第一会场的屏幕当前显示的与会者所对应的屏幕是否为主屏。

18.根据权利要求17所述的设备，其特征在于，所述排序结果是按照如下方式之一进行排序：当前显示的与会者按照声音从大到小的顺序、当前显示的与会者的发言时间点按照从近到远的顺序、当前显示的与会者的发言时长按照从长到短的顺序、第一会场的屏幕当前显示的与会者的发言次数按照从多到少的顺序、屏幕为主屏的第一会场的当前显示的与会者的排序顺序位于屏幕为非主屏的第一会场的当前显示的与会者的排序顺序之前。

19.根据权利要求15所述的设备，其特征在于，还包括：

控制叠加单元，用于控制当前声音最大的待显示的与会者所在会场的全景图像经过图像处理后，叠加到当前声音最大的待显示的与会者的图像的部分区域上显示。

20.根据权利要求15所述的设备，其特征在于，还包括：

第二控制切换单元，用于控制除所述第一会场以外的其他会场的相应屏幕显示的图像切换为预定个数的待显示的与会者的图像；其中，所述其他会场的相应屏幕与所选择的第一会场中需要切换图像的屏幕具有相同的编号。

21.根据权利要求15-20任一权利要求所述的设备，其特征在于，所述网络侧媒体处理设备为：多点控制单元。

22.一种网络侧媒体处理设备，其特征在于，包括：

与会者选择单元，用于按照当前会议中与会者音量从大到小的顺序，从音量最大的与会者开始，依次确定预定个数的待显示的与会者；

屏幕选择单元，用于确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕；

第一控制切换单元，用于控制所述需要切换图像的屏幕所显示的图像切换为所述预定个数的待显示与会者的图像；

视频源控制单元，用于控制具有相同屏幕个数的各会场同一编号的屏幕具有相同的视频源，其中，所述视频源控制单元具体包括：

第一确定子单元，用于判断第一会场中第二特定屏幕是否能显示当前声₊音最大的待显示的与会者的图像，所述第二特定屏幕是能和声音最大的待显示的发言者图像达到眼对眼效果的第一会场的屏幕；

第二确定子单元，用于在所述第一确定子单元的判断结果为否时，则确定所述第一会场中离所述第二特定屏幕的物理距离最近，且能显示所述声音最大的待显示的与会者的图像的屏幕；

控制显示子单元，用于在所述第一确定子单元的判断结果为是时，控制所述第二特定屏幕显示所述声音最大的待显示的与会者的图像；在所述第一确定子单元的判断结果为否时，控制所述第二确定子单元所确定的屏幕显示所述声音最大的待显示的与会者的图像。

23.根据权利要求22所述的设备，其特征在于，所述屏幕选择单元具体用于：根据第一会场的屏幕当前显示的与会者的排序结果，确定第一会场中预定个数的当前显示的与会者对应的屏幕作为需要切换图像的屏幕。

24.根据权利要求23所述的设备，其特征在于，所述设备还包括：

排序单元，用于按照排序条件对第一会场的屏幕当前显示的与会者进行排序，得到所述第一会场的屏幕当前显示的与会者的排序结果，所述排序条件为如下条件之一：当前显示的与会者的声音大小、发言时间点远近、发言时长、第一会场的屏幕当前显示的与会者的发言次数和第一会场的屏幕当前显示的与会者所对应的屏幕是否为主屏。

25.根据权利要求24所述的设备，其特征在于，所述排序结果是按照如下方式之一进行排序：当前显示的与会者按照声音从大到小的顺序、当前显示的与会者的发言时间点按照从近到远的顺序、当前显示的与会者的发言时长按照从长到短的顺序、第一会场的屏幕当前显示的与会者的发言次数按照从多到少的顺序、屏幕为主屏的第一会场的当前显示的与会者的排序顺序位于屏幕为非主屏的第一会场的当前显示的与会者的排序顺序之前。

26.根据权利要求22所述的设备，其特征在于，

所述预定个数为1个；

所述屏幕选择单元包括：

第一选择子单元，用于根据第一会场的屏幕当前显示的与会者的排序结果，选择排在最后的当前显示的与会者所在的屏幕；

特定屏幕判断子单元，用于判断所述排在最后的当前显示的与会者所在的屏幕是否是第一特定屏幕，其中，所述第一特定屏幕与第二特定屏幕关于屏幕中心线对称，所述第二特定屏幕是能和声音最大的发言者图像达到眼对眼效果的第一会场的屏幕，屏幕中心线为所述第一会场中各屏幕依次连接所形成的屏幕组的几何中心线；

第二选择子单元，用于当所述特定屏幕判断子单元的判断结果为是时，选择所述排在最后的当前显示的与会者的前一个当前显示的与会者所在的屏幕；

确定子单元，用于当特定屏幕判断子单元的判断结果为否时，确定需要切换图像的屏幕为所述第一选择子单元所选择的屏幕；当特定屏幕判断子单元的判断结果为是时，确定需要切换图像的屏幕为所述第二选择子单元所选择的屏幕。

27.根据权利要求22任一权利要求所述的设备，其特征在于，还包括：

控制叠加单元，用于控制当前声音最大的待显示的与会者所在会场的全景图像经过图像处理后，叠加到当前声音最大的待显示的与会者的图像的部分区域上显示。

28.根据权利要求22任一权利要求所述的设备，其特征在于，还包括：

第二控制切换单元，用于控制除所述第一会场以外的其他会场的相应屏幕显示的图像切换为预定个数的待显示的与会者的图像；其中，所述其他会场的相应屏幕与所选择的第一会场中需要切换图像的屏幕具有相同的编号。

29.根据权利要求22-28任一权利要求所述的设备，其特征在于，所述网络侧媒体处理设备为：多点控制单元。