CN107396036A - 视频会议中视频处理方法及终端 - Google Patents

Abstract

本公开是关于一种视频会议中视频处理方法及终端，所述方法包括：确定终端接收到的音频数据的声音特征信息；判断所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息是否不同，若是，则根据预设的声音特征与会议终端映射关系表，将与所述音频数据的声音特征信息对应的会议终端的视频画面作为所述终端的当前主显示画面。该方法在发言人发生变化时可以实时将主画面切换到最新发言人对应的视频画面，而不需要用户手动进行切换，从而极大提升了用户的使用感受。

Description

视频会议中视频处理方法及终端

技术领域

本公开涉及通信领域，特别涉及一种视频会议中视频处理方法及终端。

背景技术

视频会议系统使得参与者能够跨地理上分散的地点实时地相互共享视频和音频内容。视频会议系统中包括会议服务器和多个会议终端，多个会议终端分别采集各自的视频和音频数据并发送给会议服务器，会议服务器对多个会议终端的音频数据和视频数据进行处理后发送给各会议终端，由各会议终端进行播放。

相关技术中，会议终端上可以显示参会的所有会议终端对应的视频画面，在这些视频画面中，默认其中一个会议终端(例如会议主席所在的会议终端)对应的视频所占据的屏幕最大，其余会议终端对应的视频画面被缩小显示。如果参会者希望切换占据屏幕最大的视频画面，则需要手动进行切换。

发明内容

本公开实施例提供了一种视频会议中视频处理方法及终端，所述技术方案如下。

根据本公开实施例的第一方面，提供一种视频会议中视频处理方法，包括：

确定终端接收到的音频数据的声音特征信息；

判断所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息是否不同，若是，则根据预设的声音特征与会议终端映射关系表，将与所述音频数据的声音特征信息对应的会议终端的视频画面作为所述终端的当前主显示画面。

本公开实施例提供的技术方案可以包括以下有益效果：

当终端判断出接收到的声音特征信息相比当前主画面对应的声音特征信息发生变化时，终端根据预设的声音特征与会议终端映射关系表，将所接收到的声音特征信息对应的会议终端的视频画面作为主显示画面，即在发言人发生变化时可以实时将主画面切换到最新发言人对应的视频画面，而不需要用户手动进行切换，从而极大提升了用户的使用感受。

进一步地，所述确定终端接收到的音频数据的声音特征信息之前，还包括：

在建立视频会议时，获取参与所述视频会议的会议终端发出的音频数据，确定所述参与所述视频会议的会议终端发出的音频数据的声音特征信息，并在所述声音特征与会议终端映射关系表中增加映射关系；

其中，所述映射关系为所述参与所述视频会议的会议终端与所述参与所述视频会议的会议终端发出的音频数据的声音特征信息的映射关系。

本公开实施例提供的技术方案可以包括以下有益效果：

在建立视频会议时获取各会议终端的声音特征信息，并将声音特征信息与会议终端的对应关系加入声音特征与会议终端映射关系表中，从而保证后续发言人发生变化时，可以基于声音特征与会议终端映射关系表进行主显示画面的切换。

进一步地，所述确定终端接收到的音频数据的声音特征信息之前，还包括：

判断是否有新的会议终端接入视频会议，若是，则获取所述新的会议终端发出的音频数据，确定所述新的会议终端发出的音频数据的声音特征信息，并在所述声音特征与会议终端映射关系表中增加所述新的会议终端与所述新的会议终端发出的音频数据的声音特征信息的对应关系。

本公开实施例提供的技术方案可以包括以下有益效果：

当有新的会议终端接入视频会议时，获取新的会议终端的声音特征信息，并将声音特征信息与新的会议终端的对应关系加入声音特征与会议终端映射关系表中，从而保证后续发言人发生变化时，可以基于声音特征与会议终端映射关系表进行主显示画面的切换。

进一步地，所述声音特征与会议终端映射关系表中的声音特征与会议终端为一对一的对应关系，或者，所述声音特征与会议终端映射关系表中的声音特征与会议终端为多对一的对应关系。

进一步地，所述确定终端接收到的音频数据的声音特征信息，包括：

使用预设的声音特征提取算法提取所述终端接收到的音频数据的至少一个声音特征参数；

将所述至少一个声音特征参数进行组合，形成所述终端接收到的音频数据的声音特征信息。

进一步地，所述声音特征参数包括：幅度、过零率、线性预测系数、线性预测倒谱系数、梅尔频率倒谱系数。

进一步地，所述判断所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息是否不同，包括：

判断所述音频数据的声音特征参数中，参数值与所述终端当前主显示画面对应的会议终端所对应的特征参数的参数值一致的参数个数是否小于预设值，若是，则确定所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息不同。

本公开实施例提供的技术方案可以包括以下有益效果：

通过对声音特征信息的中的声音特征参数进行比较来确定发言人是发生变化，由于声音特征参数或声音特征参数的组合能够准确反应声音的特征，因此，通过比较声音特征参数能够保证判断的准确性。

进一步地，还包括：

接收用户的输入的滑动操作指示；

根据所述滑动操作指示，将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的相邻会议终端的视频画面。

进一步地，所述根据所述滑动操作指示，将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的相邻会议终端的视频画面，包括：

若所述滑动操作指示为向上滑动操作或向左滑动操作，则将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的后一会议终端的视频画面。

进一步地，所述根据所述滑动操作指示，将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的相邻会议终端的视频画面，包括：

若所述滑动操作指示为向下滑动操作或向右滑动操作，则将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的前一会议终端的视频画面。

根据本公开实施例的第二方面，提供一种终端，包括：

确定模块，被配置为确定终端接收到的音频数据的声音特征信息；

第一切换模块，被配置为在判断出所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息不同时，根据预设的声音特征与会议终端映射关系表，将与所述音频数据的声音特征信息对应的会议终端的视频画面作为所述终端的当前主显示画面。

进一步地，还包括：

第一增加模块，被配置为在建立视频会议时，获取参与所述视频会议的会议终端发出的音频数据，确定所述参与所述视频会议的会议终端发出的音频数据的声音特征信息，并在所述声音特征与会议终端映射关系表中增加映射关系；

其中，所述映射关系为所述参与所述视频会议的会议终端与所述参与所述视频会议的会议终端发出的音频数据的声音特征信息的映射关系。

进一步地，还包括：

第二增加模块，被配置为在有新的会议终端接入视频会议时，获取所述新的会议终端发出的音频数据，确定所述新的会议终端发出的音频数据的声音特征信息，并在所述声音特征与会议终端映射关系表中增加所述新的会议终端与所述新的会议终端发出的音频数据的声音特征信息的对应关系。

进一步地，所述声音特征与会议终端映射关系表中的声音特征与会议终端为一对一的对应关系，或者，所述声音特征与会议终端映射关系表中的声音特征与会议终端为多对一的对应关系。

进一步地，所述确定模块包括：

提取子模块，被配置为使用预设的声音特征提取算法提取所述终端接收到的音频数据的至少一个声音特征参数；

生成子模块，被配置为将所述至少一个声音特征参数进行组合，形成所述终端接收到的音频数据的声音特征信息。

进一步地，所述声音特征参数包括：幅度、过零率、线性预测系数、线性预测倒谱系数、梅尔频率倒谱系数。

进一步地，所述第一切换模块包括：

确定子模块，被配置为在判断出所述音频数据的声音特征参数中，参数值与所述终端当前主显示画面对应的会议终端所对应的特征参数的参数值一致的参数个数小于预设值时，确定所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息不同。

近一步地，还包括：

接收模块，被配置为接收用户的输入的滑动操作指示；

第二切换模块，被配置为根据所述滑动操作指示，将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的相邻会议终端的视频画面。

进一步地，所述第二切换模块包括：

第一切换子模块，被配置为在所述滑动操作指示为向上滑动操作或向左滑动操作时，将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的后一会议终端的视频画面。

进一步地，所述第二切换模块还包括：

第二切换子模块，被配置为在所述滑动操作指示为向下滑动操作或向右滑动操作时，将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的前一会议终端的视频画面。

根据本公开实施例的第三方面，提供一种终端，包括：

存储器、处理器以及计算机程序，所述处理器运行所述计算机程序执行以下方法；

确定终端接收到的音频数据的声音特征信息；

判断所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息是否不同，若是，则根据预设的声音特征与会议终端映射关系表，将与所述音频数据的声音特征信息对应的会议终端的视频画面作为所述终端的当前主显示画面。

根据本公开的第四方面，提供一种计算机可读存储介质，所述介质上存储有计算机程序，所述程序被处理器执行时实现以下步骤：

确定终端接收到的音频数据的声音特征信息；

判断所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息是否不同，若是，则根据预设的声音特征与会议终端映射关系表，将与所述音频数据的声音特征信息对应的会议终端的视频画面作为所述终端的当前主显示画面

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1为公开所提供的视频会议中视频处理方法的系统架构图；

图2是根据一示例性实施例示出的一种视频会议中视频处理方法的流程图；

图3是根据一示例性实施例示出的一种视频会议中视频处理方法的流程图；

图4是根据一示例性实施例示出的一种视频会议中视频处理方法的流程图；

图5是根据一示例性实施例示出的一种视频会议中视频处理方法的流程图；

图6是根据一示例性实施例示出的一种视频会议中视频处理方法的流程图；

图7是根据一示例性实施例示出的一种视频会议中视频处理方法的流程图；

图8是根据一示例性实施例示出的一种终端的模块结构图；

图9是根据一示例性实施例示出的一种终端的模块结构图；

图10是根据一示例性实施例示出的一种终端的模块结构图；

图11是根据一示例性实施例示出的一种终端的模块结构图；

图12是根据一示例性实施例示出的一种终端的模块结构图；

图13是根据一示例性实施例示出的一种终端的模块结构图；

图14是根据一示例性实施例示出的一种终端的模块结构图；

图15是根据一示例性实施例示出的一种终端的模块结构图；

图16是根据一示例性实施例示出的一种终端的实体的框图；

图17是根据一示例性实施例示出的一种终端1300的框图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

相关技术中，如果参会者希望切换占据屏幕最大的视频画面，即会议终端的主显示画面，则需要手动进行切换，如果视频会议中发言人不断变化，则参会者需要多次手动切换主显示画面，导致用户操作复杂，用户体验差。

本公开基于上述问题，提出一种视频会议中视频处理方法，可通过发言人的声音特征自动切换主显示画面，不再需要用户手段切换，从而极大提升用户感受。

图1为公开所提供的视频会议中视频处理方法的系统架构图，如图1所示，在视频会议系统设计会议服务器以及多个会议终端，每个会议终端都与会议服务器建立通信连接。每个会议终端采集所在位置的声音和图像信息，转换为音频数据以及视频数据后发送给会议服务器，会议服务器接收各会议终端发送的数据，并完成一系列的音频混合、视频混合后，再将各会议终端所需要的各种信息组合起来发送给各会议终端，从而在各会议终端上显示所有会议终端所在位置的画面以及声音信息。

需要说明的是，本公开实施例下述的“终端”，即本公开实施例的执行主体为视频会议中的任意一个会议终端。该终端具体可以是移动终端，例如手机、平板电脑等。

图2是根据一示例性实施例示出的一种视频会议中视频处理方法的流程图，如图2所示，该方法包括：

在步骤S201中，终端确定终端接收到的音频数据的声音特征信息。

如前所述，会议服务器对从各会议终端接收的音频和视频数据进行一系列的音频混合、视频混合后，将各会议终端所需要的各种信息组合起来发送给各会议终端。在视频会议中，在同一时刻一般仅有个参与者发言，即，终端所接收到的音频数据为当前发言者的声音。

本步骤中，终端在接收到会议服务器发送的音频数据后，首先确定音频数据的声音特征信息，通过该声音特征信息可以识别出其对应的发言者。

在步骤S202中，判断上述音频数据的声音特征信息与终端当前主显示画面对应的会议终端所对应的声音特征信息是否不同，若是，则执行步骤S203，若否，则保持当前显示画面不变。

终端当前主显示画面为参与视频会议的其中一个会议终端所拍摄的视频画面，假设称该会议终端为会议终端A，会议终端A侧具有固定的一个或多个发言人，该一个或多个发言人的声音特征信息即为会议终端A的声音特征信息。其中，当会议终端A侧的发言人有多个时，则会议终端A有多个声音特征信息。

可选地，可以通过读取下述的声音特征与会议终端映射关系表，来获取会议终端A对应的声音特征信息。

在步骤S203中，根据预设的声音特征与会议终端映射关系表，将与上述音频数据的声音特征信息对应的会议终端的视频画面作为终端的当前主显示画面。

其中，上述声音特征与会议终端映射关系表中记录了声音特征与会议终端的对应关系。表1为声音特征与会议终端映射关系表的一个示例。如图1所示，会议终端1对应的有声音特征1和声音特征2，即，会议终端1侧有2个发言人，这2个发言人的声音特征分别为声音特征1和声音特征2，会议终端2对应的有声音特征3，即说明会议终端2侧有1个发言人，这1个发言人的声音特征为声音特征3。

表1

会议终端	声音特征
		会议终端1	声音特征1
会议终端1	声音特征2
		会议终端2	声音特征3

进而，当终端判断出上述音频数据的声音特征信息与终端当前主显示画面对应的会议终端所对应的声音特征信息不同时，说明发言人发生了变化，则终端将上述音频数据的声音特征信息对应的会议终端的视频画面作为终端的当前主显示画面。一种情况下，变化后的发言人和当前主画面对应的发言人都属于同一会议终端，则终端不进行画面切换。另一种情况下，变化后的发言人和当前主画面对应的发言人不属于同一会议终端，则终端将变化后的发言人对应的画面，即上述音频数据的声音特征信息对应的会议终端的视频画面作为当前主画面，即终端进行主画面的切换，从而使得主画面可以实时根据最新的发言人进行切换。

上述步骤S201-S203可以按照预设的周期执行，例如，终端可以每隔200ms执行一次上述步骤S201-S203，即每隔200ms判断当前发言人是否有变化，如果有变化，则将终端的主显示画面切换到当前最新发言人对应的画面。

本实施例中，当终端判断出接收到的声音特征信息相比当前主画面对应的声音特征信息发生变化时，终端根据预设的声音特征与会议终端映射关系表，将所接收到的声音特征信息对应的会议终端的视频画面作为主显示画面，即在发言人发生变化时可以实时将主画面切换到最新发言人对应的视频画面，而不需要用户手动进行切换，从而极大提升了用户的使用感受。

在上述实施例的基础上，本实施例涉及建立声音特征与会议终端映射关系表的一种具体方法，即，图3是根据一示例性实施例示出的一种视频会议中视频处理方法的流程图，如图3所示，在上述步骤S201之前，还包括：

在步骤S301中，在建立视频会议时，获取参与视频会议的会议终端发出的音频数据。

在步骤S302中，确定所述参与所述视频会议的会议终端发出的音频数据的声音特征信息。

可选地，在建立视频会议时，可以由每个会议终端中的发言人轮流进行介绍，会议终端采集发言人的发言并形成音频数据发送给会议服务器，会议服务器收集每个会议终端的音频数据，并将音频数据以及发出该音频数据的会议终端标识发送给各会议终端，各会议终端接收到之后，通过特定的声音特征提取算法确定音频数据的声音特征信息。

在步骤S303中，在上述声音特征与会议终端映射关系表中增加映射关系。

其中，上述映射关系为上述参与视频会议的会议终端与参与视频会议的会议终端发出的音频数据的声音特征信息的映射关系。

声音特征与会议终端映射关系表的一种示例如上述表1所示，本步骤中，举例来说，假设会议服务器向各会议终端发送了一个音频数据A以及发出该音频数据的会议终端标识B，则当终端接收到之后，获取到音频数据A的声音特征A1，进而，终端可以在声音特征与会议终端映射关系表中增加A1与B的对应关系。

本实施例中，在建立视频会议时获取各会议终端的声音特征信息，并将声音特征信息与会议终端的对应关系加入声音特征与会议终端映射关系表中，从而保证后续发言人发生变化时，可以基于声音特征与会议终端映射关系表进行主显示画面的切换。

在上述实施例的基础上，本实施例涉及建立声音特征与会议终端映射关系表的另一种具体方法，即，图4是根据一示例性实施例示出的一种视频会议中视频处理方法的流程图，如图4所示，在上述步骤S201之前，还包括：

在步骤S401中，判断是否有新的会议终端接入视频会议，若是，则执行步骤S402-S403，否则，不执行下述步骤。

可选地，当有新的会议终端接入视频会议后，会议服务器在向各会议终端发送的音频数据时，可以通过特定的标记通知各会议终端，当各会议终端接收到会议服务器发送的特定的标记后，则可以确定有新的会议终端接入视频会议。

在步骤S402中，获取新的会议终端发出的音频数据。

可选地，当新的会议终端接入视频会议时，也可以首先发言，并将发言的音频数据发送给会议服务器，会议服务器将新的会议终端的音频数据以及新的会议终端标识发送给各会议终端。

在步骤S403中，确定新的会议终端发出的音频数据的声音特征信息，并在声音特征与会议终端映射关系表中增加新的会议终端与新的会议终端发出的音频数据的声音特征信息的对应关系。

声音特征与会议终端映射关系表的一种示例如上述表1所示，本步骤中，举例来说，假设会议服务器向各会议终端发送了一个音频数据M以及发出该音频数据的新的会议终端标识N，则当终端接收到之后，获取到音频数据M的声音特征M1，进而，终端可以在声音特征与会议终端映射关系表中增加M1与N的对应关系。

本实施例中，当有新的会议终端接入视频会议时，获取新的会议终端的声音特征信息，并将声音特征信息与新的会议终端的对应关系加入声音特征与会议终端映射关系表中，从而保证后续发言人发生变化时，可以基于声音特征与会议终端映射关系表进行主显示画面的切换。

另一实施例中，当某个会议终端侧出现新的发言人时，也可以将新的发言人的新的音频数据发送给会议服务器，由会议服务器将音频数据及会议终端标识一同发送给各会议终端，由各会议终端建立新的音频数据的声音特征信息与会议终端的对应关系。

在上述各实施例中，声音特征与会议终端映射关系表中的声音特征与会议终端为一对一的对应关系，或者，声音特征与会议终端映射关系表中的声音特征与会议终端为多对一的对应关系。即，会议终端侧可以有一个发言人，也可以有多个发言人，当有多个发言人时，可以在声音特征与会议终端映射关系表中建立多对一关系。

在上述实施例的基础上，本实施例涉及确定音频数据的声音特征的具体方法，即，图5是根据一示例性实施例示出的一种视频会议中视频处理方法的流程图，如图5所示，上述步骤S201具体包括：

在步骤S501中，使用预设的声音特征提取算法提取终端接收到的音频数据的至少一个声音特征参数。

在步骤S502中，将上述至少一个声音特征参数进行组合，形成终端接收到的音频数据的声音特征信息。

可选地，终端可以使用特定的声音特征提取算法提取音频数据的声音特征参数，其中，音频数据的声音特征参数包括但不限于：幅度、过零率、线性预测系数、线性预测倒谱系数、梅尔频率倒谱系数。

进而，通过使用声音特征参数中的一个或者多个参数形成音频数据的声音特征信息，例如，可以仅使用线性预测倒谱系数作为声音特征信息，即表1中的“声音特征”一列中的具体内容为线性预测倒谱系数。或者，也可以使用多个声音特征参数的组合作为声音特征信息，以进一步提升声音特征信息的准确率。例如，使用线性预测倒谱系数和梅尔频率倒谱系数的组合作为声音特征信息，即表1中的“声音特征”一列中的具体内容为线性预测倒谱系数和梅尔频率倒谱系数的组合。

进一步地，本实施例涉及在上述实施例所确定出的声音特征信息的基础上，终端判断发言人是否变化的具体方法，即，图6是根据一示例性实施例示出的一种视频会议中视频处理方法的流程图，如图6所示，上述步骤S202具体包括：

在步骤S601中，判断上述音频数据的声音特征参数中，参数值与终端当前主显示画面对应的会议终端所对应的特征参数的参数值一致的参数个数是否小于预设值，若是，则执行S602。

在步骤S602中，确定上述音频数据的声音特征信息与终端当前主显示画面对应的会议终端所对应的声音特征信息不同。

示例性地，假设声音特征由线性预测倒谱系数和梅尔频率倒谱系数组合而成，终端接收到的音频数据的线性预测倒谱系数的值为A1，梅尔频率倒谱系数值为A2，当前主显示画面对应会议终端所对应的线性预测倒谱系数的值为B1，梅尔频率倒谱系数值为B2，如果A1与B1一致，或者A2与B2一致，即两个特征参数中有一个特征参数的值一致，则可以确定上述音频数据的声音特征信息与终端当前主显示画面对应的会议终端所对应的声音特征信息不同，即发言人发生了变化，进而可以进行主显示画面的切换。

需要说明的是，上述“一致”是指两个参数的值相同，或者两个参数之间的差别在预设的范围内。

本实施例中，通过对声音特征信息的中的声音特征参数进行比较来确定发言人是发生变化，由于声音特征参数或声音特征参数的组合能够准确反应声音的特征，因此，通过比较声音特征参数能够保证判断的准确性。

在上述实施例的基础上，本实施例涉及在用户手动切换主显示画面时的具体方法，即，图7是根据一示例性实施例示出的一种视频会议中视频处理方法的流程图，如图7所示，该方法还包括：

在步骤S701中，接收用户的输入的滑动操作指示。

在步骤S702中，根据上述滑动操作指示，将终端的当前主显示画面切换到终端的当前主显示画面对应的会议终端的相邻会议终端的视频画面。

前述实施例具体介绍了终端自动根据当前发言人切换主显示画面的方法，在此基础上，在发言人未发生变化时，用户也可以主动进行主画面切换。

具体地，用户可以在屏幕上执行滑动操作，终端识别出用户的滑动操作后，根据滑动的方向进行主画面切换。如果滑动操作指示为向上滑动操作或向左滑动操作，则将终端的当前主显示画面切换到终端的当前主显示画面对应的会议终端的后一会议终端的视频画面。如果滑动操作指示为向下滑动操作或向右滑动操作，则将终端的当前主显示画面切换到终端的当前主显示画面对应的会议终端的前一会议终端的视频画面。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图8是根据一示例性实施例示出的一种终端的模块结构图，如图8所示，该终端包括：

确定模块801，被配置为确定终端接收到的音频数据的声音特征信息。

第一切换模块802，被配置为在判断出所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息不同时，根据预设的声音特征与会议终端映射关系表，将与所述音频数据的声音特征信息对应的会议终端的视频画面作为所述终端的当前主显示画面。

图9是根据一示例性实施例示出的一种终端的模块结构图，如图9所示，还包括：

第一增加模块803，被配置为在建立视频会议时，获取参与所述视频会议的会议终端发出的音频数据，确定所述参与所述视频会议的会议终端发出的音频数据的声音特征信息，并在所述声音特征与会议终端映射关系表中增加映射关系。

其中，所述映射关系为所述参与所述视频会议的会议终端与所述参与所述视频会议的会议终端发出的音频数据的声音特征信息的映射关系。

图10是根据一示例性实施例示出的一种终端的模块结构图，如图10所示，还包括：

第二增加模块804，被配置为在有新的会议终端接入视频会议时，获取所述新的会议终端发出的音频数据，确定所述新的会议终端发出的音频数据的声音特征信息，并在所述声音特征与会议终端映射关系表中增加所述新的会议终端与所述新的会议终端发出的音频数据的声音特征信息的对应关系。

另一实施例中，所述声音特征与会议终端映射关系表中的声音特征与会议终端为一对一的对应关系，或者，所述声音特征与会议终端映射关系表中的声音特征与会议终端为多对一的对应关系。

图11是根据一示例性实施例示出的一种终端的模块结构图，如图11所示，确定模块801包括：

提取子模块8011，被配置为使用预设的声音特征提取算法提取所述终端接收到的音频数据的至少一个声音特征参数。

生成子模块8012，被配置为将所述至少一个声音特征参数进行组合，形成所述终端接收到的音频数据的声音特征信息。

另一实施例中，所述声音特征参数包括：幅度、过零率、线性预测系数、线性预测倒谱系数、梅尔频率倒谱系数。

图12是根据一示例性实施例示出的一种终端的模块结构图，如图12所示，第一切换模块802包括：

确定子模块8021，被配置为在判断出所述音频数据的声音特征参数中，参数值与所述终端当前主显示画面对应的会议终端所对应的特征参数的参数值一致的参数个数小于预设值时，确定所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息不同。

图13是根据一示例性实施例示出的一种终端的模块结构图，如图13所示，还包括：

接收模块805，被配置为接收用户的输入的滑动操作指示。

第二切换模块806，被配置为根据所述滑动操作指示，将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的相邻会议终端的视频画面。

图14是根据一示例性实施例示出的一种终端的模块结构图，如图14所示，第二切换模块806包括：

第一切换子模块8061，被配置为在所述滑动操作指示为向上滑动操作或向左滑动操作时，将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的后一会议终端的视频画面。

图15是根据一示例性实施例示出的一种终端的模块结构图，如图15所示，第二切换模块806还包括：

第二切换子模块8062，被配置为在所述滑动操作指示为向下滑动操作或向右滑动操作时，将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的前一会议终端的视频画面。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图16是根据一示例性实施例示出的一种终端的实体的框图，如图16所示，该终端包括：

存储器91和处理器92以及计算机程序。

处理器92运行所述计算机程序执行以下方法；

确定终端接收到的音频数据的声音特征信息；

判断所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息是否不同，若是，则根据预设的声音特征与会议终端映射关系表，将与所述音频数据的声音特征信息对应的会议终端的视频画面作为所述终端的当前主显示画面。

在上述终端的实施例中，应理解，处理器92可以是中央处理子模块(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，而前述的存储器可以是只读存储器(英文：read-only memory，缩写：ROM)、随机存取存储器(英文：random access memory，简称：RAM)、快闪存储器、硬盘或者固态硬盘。SIM卡也称为用户身份识别卡、智能卡，数字移动电话机必须装上此卡方能使用。即在电脑芯片上存储了数字移动电话客户的信息，加密的密钥以及用户的电话簿等内容。结合本公开实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

图17是根据一示例性实施例示出的一种终端1300的框图。其中，终端1300可以是移动电话，计算机，平板设备，个人数字助理等。

参照图17，终端1300可以包括以下一个或多个组件：处理组件1302，存储器1304，电源组件1306，多媒体组件1308，音频组件1310，输入/输出(I/O)的接口1312，传感器组件1314，以及通信组件1316。

处理组件1302通常控制终端1300的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1302可以包括一个或多个处理器1320来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1302可以包括一个或多个模块，便于处理组件1302和其他组件之间的交互。例如，处理组件1302可以包括多媒体模块，以方便多媒体组件1308和处理组件1302之间的交互。

存储器1304被配置为存储各种类型的数据以支持在终端1300的操作。这些数据的示例包括用于在终端1300上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1306为终端1300的各种组件提供电力。电源组件1306可以包括电源管理系统，一个或多个电源，及其他与为终端1300生成、管理和分配电力相关联的组件。

多媒体组件1308包括在所述终端1300和用户之间的提供一个输出接口的触控显示屏。在一些实施例中，触控显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1308包括一个前置摄像头和/或后置摄像头。当终端1300处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1310被配置为输出和/或输入音频信号。例如，音频组件1310包括一个麦克风(MIC)，当终端1300处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1304或经由通信组件1316发送。在一些实施例中，音频组件1310还包括一个扬声器，用于输出音频信号。

I/O接口1312为处理组件1302和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1314包括一个或多个传感器，用于为终端1300提供各个方面的状态评估。例如，传感器组件1314可以检测到终端1300的打开/关闭状态，组件的相对定位，例如所述组件为终端1300的显示器和小键盘，传感器组件1314还可以检测终端1300或终端1300一个组件的位置改变，用户与终端1300接触的存在或不存在，终端1300方位或加速/减速和终端1300的温度变化。传感器组件1314可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1314还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1314还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1316被配置为便于终端1300和其他设备之间有线或无线方式的通信。终端1300可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1316还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，终端1300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述基视频会议中视频处理方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1304，上述指令可由终端1300的处理器1320执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端1300的处理器执行时，使得终端1300能够执行一种视频会议中视频处理方法。所述方法包括：

确定终端接收到的音频数据的声音特征信息；

判断所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息是否不同，若是，则根据预设的声音特征与会议终端映射关系表，将与所述音频数据的声音特征信息对应的会议终端的视频画面作为所述终端的当前主显示画面。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (22)

1.一种视频会议中视频处理方法，其特征在于，包括：

确定终端接收到的音频数据的声音特征信息；

判断所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息是否不同，若是，则根据预设的声音特征与会议终端映射关系表，将与所述音频数据的声音特征信息对应的会议终端的视频画面作为所述终端的当前主显示画面。

2.根据权利要求1所述的方法，其特征在于，所述确定终端接收到的音频数据的声音特征信息之前，还包括：

在建立视频会议时，获取参与所述视频会议的会议终端发出的音频数据，确定所述参与所述视频会议的会议终端发出的音频数据的声音特征信息，并在所述声音特征与会议终端映射关系表中增加映射关系；

其中，所述映射关系为所述参与所述视频会议的会议终端与所述参与所述视频会议的会议终端发出的音频数据的声音特征信息的映射关系。

3.根据权利要求1所述的方法，其特征在于，所述确定终端接收到的音频数据的声音特征信息之前，还包括：

判断是否有新的会议终端接入视频会议，若是，则获取所述新的会议终端发出的音频数据，确定所述新的会议终端发出的音频数据的声音特征信息，并在所述声音特征与会议终端映射关系表中增加所述新的会议终端与所述新的会议终端发出的音频数据的声音特征信息的对应关系。

4.根据权利要求1所述的方法，其特征在于，所述声音特征与会议终端映射关系表中的声音特征与会议终端为一对一的对应关系，或者，所述声音特征与会议终端映射关系表中的声音特征与会议终端为多对一的对应关系。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述确定终端接收到的音频数据的声音特征信息，包括：

使用预设的声音特征提取算法提取所述终端接收到的音频数据的至少一个声音特征参数；

将所述至少一个声音特征参数进行组合，形成所述终端接收到的音频数据的声音特征信息。

6.根据权利要求5所述的方法，其特征在于，所述声音特征参数包括：幅度、过零率、线性预测系数、线性预测倒谱系数、梅尔频率倒谱系数。

7.根据权利要求6所述的方法，其特征在于，所述判断所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息是否不同，包括：

判断所述音频数据的声音特征参数中，参数值与所述终端当前主显示画面对应的会议终端所对应的特征参数的参数值一致的参数个数是否小于预设值，若是，则确定所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息不同。

8.根据权利要求1-4任一项所述的方法，其特征在于，还包括：

接收用户的输入的滑动操作指示；

根据所述滑动操作指示，将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的相邻会议终端的视频画面。

9.根据权利要求8所述的方法，其特征在于，所述根据所述滑动操作指示，将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的相邻会议终端的视频画面，包括：

若所述滑动操作指示为向上滑动操作或向左滑动操作，则将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的后一会议终端的视频画面。

10.根据权利要求8所述的方法，其特征在于，所述根据所述滑动操作指示，将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的相邻会议终端的视频画面，包括：

若所述滑动操作指示为向下滑动操作或向右滑动操作，则将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的前一会议终端的视频画面。

11.一种终端，其特征在于，包括：

确定模块，被配置为确定终端接收到的音频数据的声音特征信息；

第一切换模块，被配置为在判断出所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息不同时，根据预设的声音特征与会议终端映射关系表，将与所述音频数据的声音特征信息对应的会议终端的视频画面作为所述终端的当前主显示画面。

12.根据权利要求11所述的终端，其特征在于，还包括：

第一增加模块，被配置为在建立视频会议时，获取参与所述视频会议的会议终端发出的音频数据，确定所述参与所述视频会议的会议终端发出的音频数据的声音特征信息，并在所述声音特征与会议终端映射关系表中增加映射关系；

其中，所述映射关系为所述参与所述视频会议的会议终端与所述参与所述视频会议的会议终端发出的音频数据的声音特征信息的映射关系。

13.根据权利要求11所述的终端，其特征在于，还包括：

第二增加模块，被配置为在有新的会议终端接入视频会议时，获取所述新的会议终端发出的音频数据，确定所述新的会议终端发出的音频数据的声音特征信息，并在所述声音特征与会议终端映射关系表中增加所述新的会议终端与所述新的会议终端发出的音频数据的声音特征信息的对应关系。

14.根据权利要求11所述的终端，其特征在于，所述声音特征与会议终端映射关系表中的声音特征与会议终端为一对一的对应关系，或者，所述声音特征与会议终端映射关系表中的声音特征与会议终端为多对一的对应关系。

15.根据权利要求11-14任一项所述的终端，其特征在于，所述确定模块包括：

提取子模块，被配置为使用预设的声音特征提取算法提取所述终端接收到的音频数据的至少一个声音特征参数；

生成子模块，被配置为将所述至少一个声音特征参数进行组合，形成所述终端接收到的音频数据的声音特征信息。

16.根据权利要求15所述的终端，其特征在于，所述声音特征参数包括：幅度、过零率、线性预测系数、线性预测倒谱系数、梅尔频率倒谱系数。

17.根据权利要求16所述的终端，其特征在于，所述第一切换模块包括：

确定子模块，被配置为在判断出所述音频数据的声音特征参数中，参数值与所述终端当前主显示画面对应的会议终端所对应的特征参数的参数值一致的参数个数小于预设值时，确定所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息不同。

18.根据权利要求11-14任一项所述的终端，其特征在于，还包括：

接收模块，被配置为接收用户的输入的滑动操作指示；

第二切换模块，被配置为根据所述滑动操作指示，将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的相邻会议终端的视频画面。

19.根据权利要求18所述的终端，其特征在于，所述第二切换模块包括：

第一切换子模块，被配置为在所述滑动操作指示为向上滑动操作或向左滑动操作时，将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的后一会议终端的视频画面。

20.根据权利要求18所述的终端，其特征在于，所述第二切换模块还包括：

第二切换子模块，被配置为在所述滑动操作指示为向下滑动操作或向右滑动操作时，将所述终端的当前主显示画面切换到所述终端的当前主显示画面对应的会议终端的前一会议终端的视频画面。

21.一种终端，其特征在于，所述终端包括：

存储器、处理器以及计算机程序，所述处理器运行所述计算机程序执行以下方法；

确定终端接收到的音频数据的声音特征信息；

判断所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息是否不同，若是，则根据预设的声音特征与会议终端映射关系表，将与所述音频数据的声音特征信息对应的会议终端的视频画面作为所述终端的当前主显示画面。

22.一种计算机可读存储介质，所述介质上存储有计算机程序，其特征在于，所述程序被处理器执行时实现以下步骤：

确定终端接收到的音频数据的声音特征信息；

判断所述音频数据的声音特征信息与所述终端当前主显示画面对应的会议终端所对应的声音特征信息是否不同，若是，则根据预设的声音特征与会议终端映射关系表，将与所述音频数据的声音特征信息对应的会议终端的视频画面作为所述终端的当前主显示画面。