CN105141882B - 一种显示控制方法及装置 - Google Patents

Abstract

本申请提供了一种显示控制方法及装置，在获取当前播放时间与当前所有显示界面一一对应的第一音频信号后，基于该第一音频信号以及预存的语音活性检测算法，选定当前所有显示界面中的目标显示界面即为当前主显示界面，之后，按照预设调整规则，将预设显示位置的当前显示界面调整为该目标显示界面，这样，参会人员只需要关注预设显示位置的显示界面即可，无需再判断当前讲话者，也无需再手动完成主显示界面的切换，大大提高了用户体验。

Description

一种显示控制方法及装置

技术领域

本发明主要涉及通信技术领域，更具体说是涉及一种显示控制方法及装置。

背景技术

如今，随着网络技术的快速发展，在工作、生活等方面，很多用户已经开始采用网络视频的方式进行沟通，无需再到固定地方进行面对面沟通，非常方便。

基于此，目前企业内通常都会采用网络视频会议系统，由于其能够支持多方视频通话，并在每一个参与视频会议成员的客户端上以N宫格的方式显示所有参与视频会议成员，从而方便了位于不同地方的企业人员之间、或者企业人员与客户之间等的沟通，提高了工作效率。

其中，在实际应用中，参会人员中讲话者所在的显示界面的尺寸通常都会大于其他参会人员的显示界面的尺寸，且该讲话者所在显示界面通常会被放置在中间位置，成为主显示界面，从而使讲话者更加突出。然而，现有技术中，该界面切换过程通常是由每一个其他参会人员手动选择完成，非常麻烦，而且，若参会人员之间并不熟悉，就很难快速判断出当前讲话者，也就无法快速实现主显示界面的切换，大大降低了用户体验。

发明内容

有鉴于此，本发明提供了一种显示控制方法及装置，实现了预设显示位置的主显示界面的自动切换，无需参会人员判断当前讲话者并手动切换主显示界面，提高了用户体验。

为了实现上述目的，本申请提供了以下技术方案：

一种显示控制方法，包括：

获取与当前所有显示界面一一对应的当前播放时间的第一音频流；

基于获取的所有的第一音频流以及预存的语音活性检测算法，选定所述当前所有显示界面中的目标显示界面；

按照预设调整规则，将预设主显示位置的当前显示界面调整为所述目标显示界面。

优选的，所述基于获取的所有的第一音频流以及预存的语音活性检测算法，选定所述当前所有显示界面中的目标显示界面包括：

对获取的每一路第一音频流进行降采样处理后，截取第一预设时间段内的音频数据；

利用预存的语音活性检测算法对所述音频数据进行处理，得到N位特征字符串，N为不小于1的正整数；

基于所述特征字符串，选定所述当前所有显示界面中的目标显示界面。

优选的，所述利用预存的语音活性检测算法对所述音频数据进行处理，得到N位特征字符串包括：

将所述音频数据划分成为N个同等时间的音频片段，N为不小于1的正整数；

对每一个音频片段进行语音活性检测；

基于检测结果，将所述音频片段判断为语音的标记为1，所述音频片段判断为静音的标记为0；

利用所述音频片段的标记结果形成所述音频数据的N位特征字符串。

优选的，所述基于所述特征字符串，选定所述当前所有显示界面中的目标显示界面包括：

统计每一路音频数据的特征字符串包含1的个数，并选择所有特征字符串包含1的个数中的最大数值；

判断所述确定的最大数值是否大于第一阈值；

若是，将所述最大数值对应的当前显示界面选定为目标显示界面；

若否，返回所述获取当前播放时间与当前所有显示界面一一对应的第一音频流步骤。

优选的，所述获取与当前所有显示界面一一对应的当前播放时间的第一音频流包括：

获取与当前第一显示界面一一对应的音视频流，以及与本地显示界面对应的本地录音流，其中，所述当前第一显示界面是当前所有显示界面中除所述本地显示界面之外的显示界面；

利用RTP数据协议对获取的所有音视频流进行处理，得到与所述当前第一显示界面对应的远端音频流；

按照播放时间对所述本地录音流以及解码后的远端音频流进行同步处理，得到与当前所有显示界面一一对应的当前播放时间的第一音频流。

优选的，还包括：

当选定的所述目标显示界面为本地显示界面时，返回所述获取与当前所有显示界面一一对应的当前播放时间的第一音频流步骤。

一种显示控制装置，包括：

第一获取模块，用于获取与当前所有显示界面一一对应的当前播放时间的第一音频流；

第一选择模块，用于基于获取的所有的第一音频流以及预存的语音活性检测算法，选定所述当前所有显示界面中的目标显示界面；

第一调整模块，用于按照预设调整规则，将预设主显示位置的当前显示界面调整为所述目标显示界面。

优选的，所述第一选择模块包括：

第一处理单元，用于对获取的每一路第一音频流进行降采样处理后，截取第一预设时间段内的音频数据；

第二处理单元，用于利用预存的语音活性检测算法对所述音频数据进行处理，得到N位特征字符串，N为不小于1的正整数；

第一选择单元，用于基于所述特征字符串，选定所述当前所有显示界面中的目标显示界面。

优选的，所述第二处理单元包括：

划分单元，用于将所述音频数据划分成为N个同等时间的音频片段，N为不小于1的正整数；

检测单元，用于对每一个音频片段进行语音活性检测；

标记构建单元，用于基于检测结果，将所述音频片段判断为语音的标记为1，所述音频片段判断为静音的标记为0，并利用所述音频片段的标记结果形成所述音频数据的N位特征字符串。

优选的，所述第一选择单元包括：

统计单元，用于统计每一路音频数据的特征字符串包含1的个数，并选择所有特征字符串包含1的个数中的最大数值；

判断单元，用于判断所述确定的最大数值是否大于第一阈值，若是，将所述最大数值对应的当前显示界面选定为目标显示界面。

由此可见，与现有技术相比，本申请提供了一种显示控制方法及装置，在获取当前播放时间与当前所有显示界面一一对应的第一音频信号后，基于该第一音频信号以及预存的语音活性检测算法，选定当前所有显示界面中的目标显示界面即为当前主显示界面，之后，按照预设调整规则，将预设显示位置的当前显示界面调整为该目标显示界面，这样，参会人员只需要关注预设显示位置的显示界面即可，无需再判断当前讲话者，也无需再手动完成主显示界面的切换，大大提高了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明一种显示控制方法实施例的流程示意图；

图2为本发明另一种显示控制方法实施例的部分流程示意图；

图3为本发明又一种显示控制方法实施例的部分流程示意图；

图4为本发明提供的一种音频数据特征字符串提取方法示意图；

图5为本发明一种显示控制装置实施例的结构示意图；

图6为本发明另一种显示控制装置实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供了一种显示控制方法及装置，在获取当前播放时间与当前所有显示界面一一对应的第一音频信号后，基于该第一音频信号以及预存的语音活性检测算法，选定当前所有显示界面中的目标显示界面即为当前主显示界面，之后，按照预设调整规则，将预设显示位置的当前显示界面调整为该目标显示界面，这样，参会人员只需要关注预设显示位置的显示界面即可，无需再判断当前讲话者，也无需再手动完成主显示界面的切换，大大提高了用户体验。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1所示的本发明提出的一种显示控制方法实施例的流程示意图，该方法具体可以包括以下步骤：

步骤S110：获取与当前所有显示界面一一对应的当前播放时间的第一音频流。

以多方视频会议为例，在实际应用中，每个参会人员客户端的显示屏幕上通常都会分为多个显示界面，来分别显示参会人员，例如现有的facebook等社交工具，在交流过程中，每一个参会人员讲话时，其客户端采集到讲话者的音频流后，将会通过无线网络将该音频流传输至远端的其他参会人员的客户端并播放，以使其他参会人员能够知道讲话者的讲话内容。

基于此，对于每一个参会人员来说，其客户端将实时或周期性获取当前所有显示界面一一对应的当前播放时间的第一音频流，即获取本地参会人员的音频流以及远端参会人员的音频流，需要说明的是，所获取的各参会人员的音频流是同步的，也就是说，所获取的音频流是同一时间采集或播放的。

可选的，如图2所示，在实际应用中，上述步骤S110具体可以包括：

步骤S111：获取与当前第一显示界面一一对应的音视频流，以及与本地显示界面对应的本地录音流。

其中，所述当前第一显示界面是当前所有显示界面中除所述本地显示界面之外的显示界面，也就是说，用于显示远端参会人员的视频显示界面。

步骤S112：利用RTP数据协议对获取的所有音视频流进行处理，得到与所述当前第一显示界面对应的远端音频流。

在实际应用中，本地客户端通常会通过无线网路获取远端客户端(即其他参数人员所用客户端)采集的其他参会人员(非本地参会人员)的音视频流，之后，可通过本地客户端中的RTP(Real-time Transport Protocol，实时传输协议)组帧模块对该音视频流进行分析和处理，从而得到相应的远端音频流和远端视频流，并将所有远端音频流发送给音频解码器进行解码处理，将所有远端视频流发送给视频解码器进行解码处理，之后，在将解码后的音频流和视频流发送至相应的播放模版进行同步播放，具体实现方法可参照现有技术，本发明在此不再详述。

步骤S113：按照播放时间对所述本地录音流以及解码后的远端音频流进行同步处理，得到与当前所有显示界面一一对应的当前播放时间的第一音频流。

基于上述分析，本实施例仅解码后的远端的音频流以及本地采集的音频流进行同步处理，之后，才能据此分析出每一时间的讲话者。

步骤S120：基于获取的所有的第一音频流以及预存的语音活性检测算法，选定所述当前所有显示界面中的目标显示界面。

在本实施例中，在得到同一播放时间远端的音频流以及本次采集的音频流之后，可通过周期性对比三路音频流的特征，来据此判定参会人员的讲话状态，从而选定当前主显示界面。

具体的，作为本发明另一个实施例，如图3所示，步骤S120具体可以包括：

步骤S121：对获取的每一路第一音频流进行降采样处理后，截取第一预设时间段内的音频数据。

步骤S122：将所述音频数据划分成为N个同等时间的音频片段，N为不小于1的正整数。

参照图4所示的音频数据特征字符串提取方法示意图，对于得到每一路音频流(即对应于每一个参会人员的音频流)，可降采样到相同采样率，再截取相同时间段(假设为1秒)的音频数据，之后，可将这1秒音频数据按照相同时间片分成N个等长的音频片段，如图4中的fragment1～fragmentN。

其中，所划分的音频片段的数量取决于第一预设时间段的具体数值，而该第一预设时间段可根据实际经验预先设定，本发明对此不做啊具体限定。

步骤S123：对每一个音频片段进行语音活性检测。

其中，语音活性检测技术(Voiceactivitydetection，VAD)是一项用于语音处理的技术，主要用于检测语音信号是否存在，因此，本实施例利用预存的语音活性检测算法对得到的每一个音频片段进行检测，来判定该音频片段是语音还是静音，具体检测方法属于现有技术，本发明在此不再详述。

步骤S124：基于检测结果，将所述音频片段判断为语音的标记为1，所述音频片段判断为静音的标记为0。

需要说明的是，本实施例将判断为语音的音频片段标记为1，为静音的语音片段标记为0，仅仅是一种区分音频片段检测结果的一种方式，本发明并不局限于这一种方式，只要能够区分哪些音频片段为语音，哪些音频片段为静音的方式均可，本发明在此不再一一列举。

步骤S125：利用所述音频片段的标记结果形成所述音频数据的N位特征字符串。

如图4所示，本实施例基于上述标记结果，将形成由0和/或1组成的字符串，作为该1秒内音频数据的特征字符串。

步骤S126：基于所述特征字符串，选定所述当前所有显示界面中的目标显示界面。

可选的，本实施例可通过统计每一路音频数据的特征字符串包含1的个数(可记为SUM1、SUM2、…、SUMZ，Z为参会人员的总数量)，并选择所有特征字符串包含1的个数中的最大数值，判断确定的最大数值是否大于第一阈值，若是，将所述最大数值对应的当前显示界面选定为目标显示界面；若否，返回步骤S110。

需要说明的是，对于从当前所有显示界面中选定目标显示界面，即讲话者所在的显示界面，本发明并不局限于上述描述的选择方法，只要不是本领域技术人员付出创造性劳动确定的，均属于本发明保护范围。

步骤S130：按照预设调整规则，将预设主显示位置的当前显示界面调整为所述目标显示界面。

其中，预设主显示位置可以是客户端整个显示界面上预设显示主显示界面的位置，可以是整个显示界面的中央，也可以是其他位置，本发明对此不作具体限定。

结合上述分析，若预设主显示位置的当前显示界面显示的是第X路视频流，经上述判断得知，包含1的个数最多的特征字符串对应的音频流是第X路音频流，即与第X路视频流对应的同步的音频流，也就是说，当前主显示界面显示的参会人员即为当前讲话者，此时无需调整主显示界面；而当包含1的个数最多的特征字符串对应的音频流是第Y路音频流，且Y≠X时，将第Y路音频流对应的当前显示界面调整到预设主显示位置，成为主显示界面，而将第X路视频流对应的显示界面调整为从显示界面。

另外，作为本发明又一实施例，按照上述方法，当选定的所述目标显示界面为本地显示界面时，此时，对于本地客户端侧来说，可以不将本地显示界面调整到预设主显示位置，直接返回上述步骤S110。当然，也可以是将本地显示界面调整到预设主显示位置，本发明对此不作具体限定。

其中，关于将选定的目标显示界面调整到预设主显示位置的具体实现方法属于本领域公知常识，本发明对其调整规则不作具体限定，其可以将预设主显示位置的当前显示界面与选定的目标显示界面直接调换，也可以将预设主显示位置的当前显示界面插入到当前任意两个从显示界面直接，再将选定的目标显示界面调至预设主显示位置等等，本发明在此不再一一列举。

另外，在实际应用中，在将选定的目标显示界面调整至预设主显示位置后，为了使当前主显示界面更加突出，还可以调整当前主显示界面的尺寸，如增大当前主显示界面的尺寸，使其从尺寸就能够明显区别与从显示界面(即没有位于预设主显示位置的显示界面)。

当然，除此之外，还可以调整当前主显示界面的显示亮度，或控制当前主显示界面显示提醒图标，或这对各显示界面进行编号，当确定目标显示界面后，通过语音播报等方式告知本地参会人员几号显示界面为目标显示界面等等，本发明对此不作具体限定，只要不是本领域技术人员付出创造性劳动确定的，均属于本发明保护范围。

综上所述，本实施在获取当前播放时间与当前所有显示界面一一对应的第一音频信号后，基于该第一音频信号以及预存的语音活性检测算法，选定当前所有显示界面中的目标显示界面即为当前主显示界面，之后，按照预设调整规则，将预设显示位置的当前显示界面自动调整为该目标显示界面，这样，参会人员只需要关注预设显示位置的显示界面即可，无需再判断当前讲话者，也无需再手动完成主显示界面的切换，大大提高了用户体验。

参照图5所示的本发明一种显示控制装置实施例的结构示意图，该装置具体可以包括：

第一获取模块510，用于获取与当前所有显示界面一一对应的当前播放时间的第一音频流。

可选的，在本发明实际应用中，该第一获取模块510具体可以包括：

获取单元，用于获取与当前第一显示界面一一对应的音视频流，以及与本地显示界面对应的本地录音流。

其中，所述当前第一显示界面是当前所有显示界面中除所述本地显示界面之外的显示界面；

第三处理单元，用于利用RTP数据协议对获取的所有音视频流进行处理，得到与所述当前第一显示界面对应的远端音频流。

第四处理单元，用于按照播放时间对所述本地录音流以及解码后的远端音频流进行同步处理，得到与当前所有显示界面一一对应的当前播放时间的第一音频流。

第一选择模块520，用于基于获取的所有的第一音频流以及预存的语音活性检测算法，选定所述当前所有显示界面中的目标显示界面。

可选的，如图6所示，该第一选择模块520可以包括：

第一处理单元521，用于对获取的每一路第一音频流进行降采样处理后，截取第一预设时间段内的音频数据。

其中，该第一预设时间段可以根据实际需要或经验或试验结果设定，如1秒，本发明对此不作具体限定。

第二处理单元522，用于利用预存的语音活性检测算法对所述音频数据进行处理，得到N位特征字符串，N为不小于1的正整数。

在本发明中，该第二处理单元具体可以包括：

划分单元，用于将所述音频数据划分成为N个同等时间的音频片段，N为不小于1的正整数；

检测单元，用于对每一个音频片段进行语音活性检测；

标记构建单元，用于基于检测结果，将所述音频片段判断为语音的标记为1，所述音频片段判断为静音的标记为0，并利用所述音频片段的标记结果形成所述音频数据的N位特征字符串。

第一选择单元523，用于基于所述特征字符串，选定所述当前所有显示界面中的目标显示界面。

可选的，在实际应用中，该第一选择单元523可以包括：

统计单元，用于统计每一路音频数据的特征字符串包含1的个数，并选择所有特征字符串包含1的个数中的最大数值；

判断单元，用于判断所述确定的最大数值是否大于第一阈值，若是，将所述最大数值对应的当前显示界面选定为目标显示界面。

其中，当该判断单元的判断结果为否时，说明此时没有人讲话，将触发第一获取模块510获取与当前所有显示界面一一对应的下一播放时间的第一音频流。

第一调整模块530，用于按照预设调整规则，将预设主显示位置的当前显示界面调整为所述目标显示界面。

需要说明的是，对于上述实施例公开的装置而言，由于其与上述实施例公开的方法相对应，因此，描述的比较简单，相关之处可参照上述方法实施例对应部分的描述。

由此可见，本发明实施例在获取当前播放时间与当前所有显示界面一一对应的第一音频信号后，基于该第一音频信号以及预存的语音活性检测算法，选定当前所有显示界面中的目标显示界面即为当前主显示界面，之后，按照预设调整规则，将预设显示位置的当前显示界面调整为该目标显示界面，这样，参会人员只需要关注预设显示位置的显示界面即可，无需再判断当前讲话者，也无需再手动完成主显示界面的切换，大大提高了用户体验。

另外，需要说明的是，关于上述各实施例中，诸如第一、第二等之类的关系术语仅仅用来将一个操作或单元与另一个操作或单元区分开来，而不一定要求或者暗示这些单元或操作之间存在任何这种实际的关系或者顺序。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种显示控制方法，其特征在于，包括：

获取与当前所有显示界面一一对应的当前播放时间的第一音频流；

基于获取的所有的第一音频流以及预存的语音活性检测算法，选定所述当前所有显示界面中的目标显示界面；

按照预设调整规则，将预设主显示位置的当前显示界面调整为所述目标显示界面；

其中，所述基于获取的所有的第一音频流以及预存的语音活性检测算法，选定所述当前所有显示界面中的目标显示界面包括：

对获取的每一路第一音频流进行降采样处理后，截取第一预设时间段内的音频数据；

将所述音频数据划分成为N个同等时间的音频片段，N为不小于1的正整数；

对每一个音频片段进行语音活性检测；

基于检测结果，将所述音频片段判断为语音的标记为1，所述音频片段判断为静音的标记为0；

利用所述音频片段的标记结果形成所述音频数据的N位特征字符串；

基于所述特征字符串，选定所述当前所有显示界面中的目标显示界面；

所述基于所述特征字符串，选定所述当前所有显示界面中的目标显示界面包括：

统计每一路音频数据的特征字符串包含1的个数，并选择所有特征字符串包含1的个数中的最大数值；

判断所述确定的最大数值是否大于第一阈值；

若是，将所述最大数值对应的当前显示界面选定为目标显示界面；

若否，返回所述获取当前播放时间与当前所有显示界面一一对应的第一音频流步骤。

2.根据权利要求1所述的方法，其特征在于，所述获取与当前所有显示界面一一对应的当前播放时间的第一音频流包括：

获取与当前第一显示界面一一对应的音视频流，以及与本地显示界面对应的本地录音流，其中，所述当前第一显示界面是当前所有显示界面中除所述本地显示界面之外的显示界面；

利用RTP数据协议对获取的所有音视频流进行处理，得到与所述当前第一显示界面对应的远端音频流；

按照播放时间对所述本地录音流以及解码后的远端音频流进行同步处理，得到与当前所有显示界面一一对应的当前播放时间的第一音频流。

3.根据权利要求2所述的方法，其特征在于，还包括：

当选定的所述目标显示界面为本地显示界面时，返回所述获取与当前所有显示界面一一对应的当前播放时间的第一音频流步骤。

4.一种显示控制装置，其特征在于，包括：

第一获取模块，用于获取与当前所有显示界面一一对应的当前播放时间的第一音频流；

第一选择模块，用于基于获取的所有的第一音频流以及预存的语音活性检测算法，选定所述当前所有显示界面中的目标显示界面；

第一调整模块，用于按照预设调整规则，将预设主显示位置的当前显示界面调整为所述目标显示界面；

其中，所述第一选择模块包括：

第一处理单元，用于对获取的每一路第一音频流进行降采样处理后，截取第一预设时间段内的音频数据；

划分单元，用于将所述音频数据划分成为N个同等时间的音频片段，N为不小于1的正整数；

检测单元，用于对每一个音频片段进行语音活性检测；

标记构建单元，用于基于检测结果，将所述音频片段判断为语音的标记为1，所述音频片段判断为静音的标记为0，并利用所述音频片段的标记结果形成所述音频数据的N位特征字符串；

第一选择单元，用于基于所述特征字符串，选定所述当前所有显示界面中的目标显示界面；

所述第一选择单元包括：

统计单元，用于统计每一路音频数据的特征字符串包含1的个数，并选择所有特征字符串包含1的个数中的最大数值；

判断单元，用于判断所述确定的最大数值是否大于第一阈值，若是，将所述最大数值对应的当前显示界面选定为目标显示界面。