CN114125367A - 用于处理视频会议画面的显示的方法、装置和相关产品 - Google Patents

Abstract

本发明涉及一种用于处理视频会议画面的显示的方法、装置和计算机可读存储介质，所述方法包括响应于接收到当前发言者的语音激励，设置所述发言者在当前画面布局中的绑定窗口；将所述当前发言者的视频流的分辨率调整为不低于预定阈值；接收所述当前发言者的视频流；以及根据所述绑定窗口的状况，在当前画面布局中的指定显示窗口中显示所述当前发言者的视频流。通过本发明的技术方案，可以在收到语音激励时就进行选流，使得指定显示窗口能够较为清晰地显示当前发言者的画面，从而提升了视频会议画面的显示效果。

Description

用于处理视频会议画面的显示的方法、装置和相关产品

技术领域

本发明一般地涉及多媒体通信技术领域。更具体地，本发明涉及一种用于处理视频会议画面的显示的方法、装置和计算机可读存储介质。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。

随着摄像技术、网络宽带技术、视频解压缩技术和存储技术的不断发展，视频会议系统被广泛应用于各种场合下的本地或远程的会议中。目前的视频会议系统的工作原理是：利用摄像技术采集参会人员的语音信号和视频信号，并利用视频会议主机对采集到的音频和视频信号压缩后存储于本地计算机或通过网络设备传送至远端，参会的另一端的会议主机输出控制信号选择本地的或远端的经过压缩的视频信号和音频信号，并通过解码技术将视频信号在相应的显示设备上进行显示。

在利用显示设备对视频会议画面进行显示时，通常会在会议画面中设置多个显示窗口，每个显示窗口中可以显示不同参会人员的现场画面。视频会议画面可以通过语音激励的方式执行发言者视频流切换，从而对当前发言者在指定显示窗口进行特写显示。语音激励一般是指在一个视频会议中，当前发言者的视频会被放大达到特写的效果，在会议过程中，通过对现场不同位置发言者的语音识别，自动识别当前发言者并为当前发言者提供特写画面。

然而，在视频会议画面中通过语音激励对当前发言者进行显示窗口切换和视频流的切换时，由于网络或其他因素将会导致前几帧的视频画面模糊、不连续的问题，严重影响画面质量。

发明内容

为了至少解决上述背景技术部分所描述的技术问题，本发明提出了一种处理视频会议画面的显示的方案。利用本发明的方案，在收到语音激励时就立即对视频进行选流，从而使得指定显示窗口中能够以较高的分辨率对当前发言者的特写画面进行显示。本方案中视频会议的画面能够保持较高的清晰度，有效提升了视频会议效果和用户体验。

本发明的第一方面提供了一种用于处理视频会议画面的显示的方法，包括：响应于接收到当前发言者的语音激励，设置所述发言者在当前画面布局中的绑定窗口；将所述当前发言者的视频流的分辨率调整为不低于预定阈值；接收所述当前发言者的视频流；以及根据所述绑定窗口的状况，在当前画面布局中的指定显示窗口中显示所述当前发言者的视频流。

在一个实施例中，设置所述发言者在当前画面布局中的绑定窗口包括：若所述发言者在当前画面布局中已有绑定窗口，则保持原绑定；或者若所述发言者在当前画面布局中无绑定窗口，则在所述当前画面布局中创建一隐藏窗口，并将所述隐藏窗口设置为所述发言者的绑定窗口。

在一个实施例中，根据绑定窗口的状况，在指定显示窗口中显示所述当前发言者的视频流包括：将所述绑定窗口调整为所述当前画面布局中的指定显示窗口；在所述指定显示窗口中显示所述当前发言者的视频流。

在一个实施例中，将所述绑定窗口调整为所述当前画面布局中的指定显示窗口包括：当所述绑定窗口为所述指定显示窗口时，保持原绑定；或者当所述绑定窗口为所述当前画面布局中的非指定显示窗口时，将所述绑定窗口更新为所述指定显示窗口。

在一个实施例中，将所述绑定窗口更新为所述指定显示窗口包括：若所述绑定窗口为所述当前画面布局中的隐藏窗口，则将所述绑定窗口更新为所述指定显示窗口，并删除所述隐藏窗口；或者若所述绑定窗口为所述当前画面布局中的非隐藏窗口，则交换所述绑定窗口与所述指定显示窗口的绑定关系。

在一个实施例中，还包括：响应于所述当前发言者的视频流的分辨率低于所述预定阈值，但获取到所述当前发言者的视频流的时间超过设定时长，在所述指定显示窗口中显示所述当前发言者的视频流。

在一个实施例中，还包括：在显示所述当前发言者的视频流后，删除未绑定与会人的布局窗口及关联的视频流。

在一个实施例中，将所述当前发言者的视频流的分辨率调整为不低于预定阈值包括：若所述当前发言者的视频流的分辨率小于所述预定阈值，将所述当前发言者的视频流的分辨率设置为所述预定阈值；否则，保持原视频流分辨率设置。

在第二方面中，本发明还提供了一种用于处理视频会议画面的显示的装置，包括：处理器；以及存储器，其存储有用于对视频会议画面的显示进行处理的计算机指令，当所述计算机指令由所述处理器运行时，使得所述装置执行根据前述第一方面中一个或多个实施例所述的显示方法。

在第三方面中，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有用于对视频会议画面的显示进行处理的计算机可读指令，该计算机可读指令被一个或多个处理器执行时实现如前述第一方面中一个或多个实施例所述的显示方法。

利用本发明所提供的方案，可以在接收到当前发言者的语音激励时，就进行视频选流，从而将当前发言者的视频流的分辨率调整为不低于预定阈值，使得指定显示窗口能够较为清晰地显示当前发言者的特写画面。可以看出，本发明对视频会议画面的处理，有效提升了指定显示窗口对当前发言者的显示效果，使得视频会议过程中画面显示更加稳定、流畅。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是示出其中应用本发明的用于处理视频会议画面的显示的方案的示例性场景的示意图；

图2是示出根据本发明实施例的处理视频会议画面的显示的方法的流程图；

图3是示出根据本发明实施例的处理视频会议画面的显示的方法的流程图；

图4是示出根据本发明实施例的根据语音激励处理当前画面布局中的窗口的流程图；

图5是示出其中应用本发明的实施例的方法进行视频会议画面显示的场景的示意图；

图6是示出根据本发明实施例的用于处理视频会议画面的显示的装置的示意框图。

具体实施方式

下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

应当理解，本发明的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本发明的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施方式的目的，而并不意在限定本发明。如在本发明说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本发明说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

下面结合附图来详细描述本发明的具体实施方式。

图1是示出其中可以应用本发明实施例的用于处理视频会议画面的显示的方案的示例性场景100的示意图。在本发明的上下文中，前述的场景可以是两个或两个以上不同地方的个人或群体，通过网络将声音、影像及文件资料互传以实现会议沟通的场景。可以理解的是，本发明的方案可以支持对会议过程中不同内容进行显示。例如在视频会议画面中，指定显示窗口可以根据当前发言者的语音激励对当前发言者的画面进行显示，也可以对当前发言者操作的文件资料进行显示。基于此，可以理解的是图1仅为了示例性的目的而将该场景示出为对当前发言者的特写画面在指定显示窗口进行显示。

如图1所示，在初始时，可以在视频会议画面中对参会人员与对应的显示窗口绑定。在一个应用场景中，参会人员入会成功后，可以对所有参会者进行排序。作为举例，例如根据入会的先后顺序进行排序，排序后参会人员列表是：T0(该位置处默认指定显示窗口)，T1，T2，T3，T4，T5，T6，T7，T8，…Tn。也可以根据参会人员的优先级进行排序，例如可以根据发言者代表优先级高，其他人员优先级低的顺序进行排序。接下来按照参会人员排序后的顺序依次在当前的布局窗口上绑定参会人员画面。本示例中按照参会人员入会顺序进行绑定，可以看出示例中默认是视频会议画面采用8分屏，即8个布局窗口。在进行绑定后视频会议画面的效果是，第零个窗口绑定T0，第一个窗口绑定T1，第二个窗口绑定T2，…，第7个窗口绑定的是T7，而其余的参会人员并未与该视频会议画面中的窗口进行绑定。

当在会议中接收到当前发言者的语音激励，例如当前发言者为T7，需要将T7与指定显示窗口绑定，即需要将T7对应的窗口位置切换至T0位置，从而将视频流在指定显示窗口中进行显示。此时，在视频会议画面中，分屏显示的窗口中绑定参会人员的顺序将变成T7，T1，T2，T3，T4，T5，T6，T0，T8，…Tn，绑定后的效果为第零个窗口绑定T7，第一个窗口绑定T1，第二个窗口绑定T2，…，第7个窗口绑定的是T0。由于当前发言者T7与当前布局中的第7个窗口绑定，只需将第零个窗口和第七个窗口中显示的画面进行交换即可。

如背景中所提到的，在传统的视频会议中，通过语音识别技术，识别到当前发言者后会立即切换发言者的画面，可能会因为网络或其他因素导致前几帧的视频画面比较模糊，清晰度不够，达不到特写画面的效果。为此，本发明实施例针对发言者切换过程中，前几帧视频画面显示不清晰的情况，提供了解决方案。具体地，在本发明实施方式中，可以例如在根据前述方式设置发言者在当前画面布局中的绑定窗口后，将当前发言者的视频流的分辨率调整为不低于预定阈值，并接收当前发言者的视频流，从而根据绑定窗口的状况在指定显示窗口中显示当前发言者的视频流。

需要说明的是，前述在当前画面布局以及对参会人员进行绑定的方式仅仅是示例性的而非限制性的，本领域技术人员可以根据实际情况进行调整。例如当前画面布局中可以设置两个指定显示窗口进行当前发言者的画面的显示。

图2是示出根据本发明实施例的处理视频会议画面的显示的方法200的流程图。可以理解的是，这里的视频会议画面可以是图1中所描述的视频会议画面，因此前文结合图1中的细节描述同样也适用于下文。如前所述，视频会议画面中可以包括指定显示窗口和其他窗口，其中指定显示窗口用于显示当前发言者的特写画面，其他窗口与部分参会人员绑定，从而实现对部分参会人员的简单显示。

如图2所示，在步骤S201处，响应于接收到当前发言者的语音激励，设置所述发言者在当前画面布局中的绑定窗口。在一个应用场景中，当前发言者进行发言时会产生语音激励，在接收到当前发言者的语音激励后，需要在当前画面布局中设置当前发言者对应的绑定窗口。作为举例，前述内容中已经说明，在参会人员的人数较多的情况下，当前画面布局中可能仅绑定了部分参会人员，而其余部分的参会人员并未与当前画面布局中绑定窗口。

基于此，本发明的方案中需要对发言者在当前画面布局中的绑定窗口进行设置。前述发言者可能恰好与当前画面布局中的指定显示窗口(例如面积最大的窗口)绑定，也可能与其他的窗口进行绑定，还有可能未与当前画面布局中的窗口绑定。此时，对于当前发言者在当前画面布局中已有绑定窗口的情况，该绑定关系不变。而对于未与当前画面布局中的窗口进行绑定的情况，则需要设置绑定关系。

接着，在步骤S202处，将前述当前发言者的视频流的分辨率调整为不低于预定阈值。在一些实施例中，为了保证指定显示窗口能够清晰地显示当前发言者的特写画面，需要保证在当前发言者的视频流切换至指定显示窗口时具有较高的分辨率。因此本方案中需要将当前发言者的视频流的分辨率调整至不低于预定阈值。作为举例，该预定阈值可以采用720P或1080P。

再接着，在步骤S203处，接收前述当前发言者的视频流。在一些实施例中，当对发言者的视频流的分辨率进行设置后，可以接收对应分辨率的视频流，以便于在当前画面布局中显示。

最后，在步骤S204处，根据前述绑定窗口的状况，在当前画面布局中的指定显示窗口中显示前述当前发言者的视频流。在一些实施例中，前述发言者绑定的窗口是指定显示窗口时，则可以在调整前述视频流分辨率后直接进行显示。当前述发言者绑定的窗口不是指定显示窗口时，则需要将绑定关系调整为指定显示窗口，从而使得指定显示窗口中变换发言者时能够较为清晰地显示当前发言者的特写画面。

以下结合图3对本发明中用于处理视频会议画面的显示的方法进一步详细说明。

图3是示出根据本发明实施例的处理视频会议画面的显示的方法300的流程图。可以理解的是，这里的视频会议画面可以是图1中所描述的视频会议画面，因此前文结合图1中的细节描述同样也适用于下文。如前所述，视频会议画面中可以包括指定显示窗口和其他窗口，其中指定显示窗口用于显示当前发言者的特写画面，其他窗口与部分参会人员绑定，从而实现对部分参会人员的简单显示。

如图3所示，本发明的方案中，参会人员在当前画面布局中绑定窗口的方式可以划分为两种，第一种是发言者在当前画面布局中已有绑定窗口，第二种是发言者在当前画面布局中未绑定窗口。其中已有绑定窗口中包括发言者所绑定的窗口是指定显示窗口，或者当前发言者所绑定的窗口是当前画面布局中的非指定显示窗口(或当前画面布局中的非隐藏窗口)。基于此，针对前述两种不同的绑定窗口情况，对应有不同的处理方式。具体地，

在步骤S301处，当接收到当前发言者的语音激励时，首先需要对当前发言者绑定窗口的情况进行判断，该判断过程包括判断在当前画面布局中是否存在绑定窗口。

若前述发言者在当前画面布局中已有绑定窗口，则暂时不改变绑定关系，待获取视频流后再将绑定窗口调整为指定显示窗口，以在指定显示窗口中显示当前发言者的视频流。

若前述发言者在当前画面布局中无绑定窗口，在步骤S302处，在前述当前画面布局中创建一隐藏窗口，并将前述隐藏窗口设置为发言者的绑定窗口。

在完成前述关于绑定窗口的设置之后，在步骤S303处，将当前发言者的视频流的分辨率调整为不低于预定阈值，并根据该分辨率设置接收当前发言者的视频流。在一些实施例中，将前述当前发言者的视频流的分辨率调整为不低于预定阈值可以采用以下方式实现。若前述当前发言者的视频流的分辨率小于前述预定阈值，将前述当前发言者的视频流的分辨率设置为前述预定阈值，否则，保持原视频流分辨率设置。在利用前述分辨率设置方式进行调整后，就可以立即根据该分辨率获取对应当前发言者的视频流，以便于得到清晰的视频内容。

接着，在步骤S304处，将前述绑定窗口调整为指定显示窗口，并在指定显示窗口中显示前述当前发言者的视频流。在一些实施例中，若前述绑定窗口为指定显示窗口，则直接在指定显示窗口中显示前述获取的分辨率不低于预定阈值的当前发言者的视频流。相反地，若前述绑定窗口为非指定显示窗口，则将前述绑定窗口更新为前述指定显示窗口，并在前述指定显示窗口中显示前述当前发言者的视频流。在一个应用场景中，若前述绑定窗口为当前画面布局中的隐藏窗口，则将前述绑定窗口更新为前述指定显示窗口，并删除隐藏窗口。当前述绑定窗口为当前画面布局中的非隐藏窗口(当前画面布局中的非指定显示窗口)时，则交换绑定窗口与指定显示窗口的绑定关系。作为举例，可以通过窗口坐标交换的方式交换绑定关系。

图4是示出根据本发明实施例的根据语音激励处理当前画面布局中的窗口的流程图。

前述内容中说明了对发言者在当前画面布局中的绑定窗口的设置，在完成前述关于绑定窗口的设置后，需要根据绑定窗口的情况对画面布局中的窗口以及一些干扰情况进行处理。

如图4中示出了该处理流程400中的各步骤，在步骤S401处，接收当前语音激励对应的发言者的视频流，标记接收到视频流的第一帧所对应的时间。在步骤S402处，判断当前发言者是否有绑定窗口。若无绑定窗口，则在步骤S403处，判断是否存在选流。当存在选流时，在步骤S403-1处，删除选流操作，否则，在步骤S403-2处，丢弃当前的视频流，从而有效节省内存。

若当前发言者存在绑定窗口，在操作时，基于绑定窗口的形式有隐藏窗口和非隐藏窗口，因此将绑定窗口更新(或调整)为指定显示窗口的方式可以通过隐藏窗口和指定显示窗口的绑定关系的交换，以及绑定窗口与当前画面布局中非隐藏窗口的绑定关系的交换。基于此，在步骤S404处，判断当前绑定的窗口是否为隐藏窗口。若前述绑定窗口为当前画面布局中的隐藏窗口，在步骤S405处，判断接收到的视频流的分辨率是否大于或等于1080P。当视频流的分辨率大于或等于1080P时，在步骤S406处，将前述绑定窗口更新为前述指定显示窗口，并删除所述隐藏窗口。

进一步地，为了实现指定显示窗口能够顺利对当前发言者的画面进行显示。在步骤S407处，若当前发言者的视频流的分辨率低于前述预定阈值，但获取到前述当前发言者的视频流的时间超过设定时长，在前述指定显示窗口中显示当前发言者的视频流。在一个应用场景中，虽然对当前发言者的视频流进行了分辨率设置，但是可能由于传输时延等原因，获取的视频流的分辨率尚未更新，则可以设置一时间阈值以避免切换过程中太长的时延。例如设置时间阈值为2s，则在2s后如果还没有获取到分辨率不低于预定阈值的视频流，则直接根据当前发言者的视频流在指定显示窗口中进行显示。

在步骤S408处，若绑定窗口为非隐藏窗口，则将接收到的视频流解码显示到指定显示窗口中。在一个应用场景中，若前述绑定窗口为当前画面布局中的非隐藏窗口，则交换绑定窗口与非隐藏窗口的绑定关系。作为举例，当前发言者为当面画面布局中的指定显示窗口之外的其他窗口，则可以将指定显示窗口的绑定关系与当前发言者的绑定窗口交换，从而通过交换绑定关系的方式更新为指定显示窗口。

进一步地，为了减少对内存和带宽的占用，在显示当前发言者的视频流后，在步骤S409处，删除未绑定参会人员的布局窗口及关联的视频流。

图5是示出其中应用本发明的实施例的方法进行视频会议画面显示的场景500的示意图。

如图5所示，前述参会人员入会成功后，会获取到当前参与会议的所有参会人员T0-Tn，并对参会人员根据入会的先后顺序进行排序。作为举例，如排序后的参会人员列表是：T0，T1，T2，T3，T4，T5，T6，T7，T8，…，Tn，按照参会人排序后的顺序依次绑定到当前的布局窗口上。图4的示例中默认是8分屏，即7个布局小窗口和1个指定显示窗口。此时，对参会人员绑定后的效果是，第0个窗口绑定T0，第一个窗口绑定T1,第二个窗口绑定T2,…第7个窗口绑定的是T7。

在收到发言者T7的语音激励后，发现发言者T7已有绑定窗口，则将当前发言者T7的视频流的分辨率调整至不低于预定阈值。在接收到发言者T7的视频流进行显示时，需要将绑定窗口更新为指定显示窗口。首先根据规则(例如发言者排首位)，重新排序，排序后的参会人列表为：T7，T1，T2，T3，T4，T5，T6，T0，T8，…Tn，由于当前发言者T7在当前布局第7个窗口上已经绑定，只需要将第0个窗口和第7个窗口的坐标对换即可。通过交换绑定关系后，此时的绑定效果为：第0个窗口绑定T7，第一个窗口绑定T1，第二个窗口绑定T2，…，第7个窗口绑定的是T0。此时可以在第0个窗口对当前发言者T7的特写画面进行显示。

接下来，若发言者变更，接收到当前发言者的语音激励，例如当前发言者为T8。由于此时T8并未绑定到当前画面布局的窗口中，为了实现本发明的效果，需要新增一个布局窗口(即隐藏窗口)，该隐藏窗口的坐标例如可以为(x＝0.01，y＝0.01，w＝0.01，h＝0.01),并将T8绑定到当前新增的隐藏窗口中。同时，设置该隐藏窗口的选流大小不低于预定阈值。

接着，在接收到发言者T8的视频流进行显示时，需要将绑定窗口更新为指定显示窗口。由于T8绑定的是隐藏窗口，根据前述对视频流分辨率的设定规则(分辨率不低于预定阈值)，在收到T8的视频流后，判断T8的视频码流是否≥1080P。如果视频流≥1080P，则可以更新T8的绑定窗口。根据语音激励发言者排首位的规则，排序后的参会人列表为：T8，T1，T2，T3，T4，T5，T6，T0，T7，…Tn。将T8的隐藏窗口的坐标更新为第0个窗口的坐标，实现将T8的绑定窗口更新到第0个窗口，从而将T8的特写画面在指定显示中进行显示。为了提升处理性能，在完成T8的绑定后，可以将未绑定的窗口删除，以节约内存。

图6是示出根据本发明实施例的用于处理视频会议画面的显示的装置600的示意框图。该用于处理视频会议画面的显示的装置600可以包括根据本发明实施例的装置601以及其外围设备和外部网络。如前所述，该装置601实现设置发言者在当前画面布局中的绑定窗口、将当前发言者的视频流的分辨率调整为不低于预定阈值、接收当前发言者的视频流以及根据绑定窗口的状况，在当前画面布局中的指定显示窗口中显示当前发言者的视频流等操作，以实现前述结合图2、图3或图4所述的本发明的方案。

如图6中所示，装置601可以包括CPU6011，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，装置601还可以包括大容量存储器6012和只读存储器ROM 6013，其中大容量存储器6012可以配置用于存储各类数据以及所需的各种程序，ROM 6013可以配置成存储对于装置601的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据。

进一步，装置601还包括其他的硬件平台或组件，例如示出的TPU(TensorProcessing Unit，张量处理单元)6014、GPU(Graphic Processing Unit，图形处理器)6015、FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)6016和MLU(MemoryLogic Unit)，存储器逻辑单元)6017。可以理解的是，尽管在设备601中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备601可以仅包括CPU作为公知硬件平台和另一硬件平台作为本发明的测试硬件平台。

本发明的装置601还包括通信接口6018，从而可以通过该通信接口6018连接到局域网/无线局域网(LAN/WLAN)605，进而可以通过LAN/WLAN连接到本地服务器606或连接到因特网(“Internet”)607。替代地或附加地，本发明的装置601还可以通过通信接口6018基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第三代(“3G”)、第四代(“4G”)或第5代(“5G”)的无线通信技术。在一些应用场景中，本发明的装置601还可以根据需要访问外部网络的服务器608以及可能的数据库609。

装置601的外围设备可以包括显示装置602、输入装置603以及数据传输接口604。在一个实施例中，显示装置602可以例如包括一个或多个扬声器和/或一个或多个视觉显示器。输入装置603可以包括例如键盘、鼠标、麦克风、姿势捕捉相机，或其他输入按钮或控件，其配置用于接收数据的输入或用户指令。数据传输接口604可以包括例如串行接口、并行接口或通用串行总线接口(“USB”)、小型计算机系统接口(“SCSI”)、串行ATA、火线(“FireWire”)、PCI Express和高清多媒体接口(“HDMI”)等，其配置用于与其他设备或系统的数据传输和交互。

本发明的装置601的上述CPU 6011、大容量存储器6012、只读存储器ROM 6013、TPU6014、GPU 6015、FPGA 6016、MLU 6017和通信接口6018可以通过总线6019相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线6019，CPU 6011可以控制设备601中的其他硬件组件及其外围设备。

在工作中，本发明的装置601的处理器CPU 6011可以通过输入装置603或数据传输接口604获取媒体数据包，并调取存储于存储器6012中的计算机程序指令或代码对获取到的信息进行处理，以完成媒体数据包中检测信息的填充或确定网络状况。

在本发明的另一个方面，本发明中还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有用于对视频会议画面的显示进行处理的计算机可读指令，该计算机可读指令被前述一个或多个处理器执行时实现如上述一个或多个实施例中所述的方法。

从上面关于本发明模块化设计的描述可以看出，本发明的系统可以根据应用场景或需求进行灵活地布置而不限于附图所示出的架构。进一步，还应当理解，本发明示例的执行操作的任何模块、单元、组件、服务器、计算机或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备(可移除的)和/或不可移动的)例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。基于此，本发明也公开了一种计算机可读存储介质，其上存储有用于对多媒体网络状况进行检测或用于传输多媒体网络中媒体数据包的方法的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现在前结合附图所描述的方法和操作。

虽然本说明书已经示出和描述了本发明的多个实施方式，但对于本领域技术人员显而易见的是，这样的实施方式是仅以示例的方式提供的。本领域技术人员在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解在实践本发明的过程中，可以采用本文所描述的本发明实施方式的各种替代方案。所附权利要求书旨在限定本发明的保护范围，并因此覆盖这些权利要求范围内的模块组成、等同或替代方案。

Claims (10)

1.一种用于处理视频会议画面的显示的方法，其特征在于，包括：

响应于接收到当前发言者的语音激励，设置所述发言者在当前画面布局中的绑定窗口；

将所述当前发言者的视频流的分辨率调整为不低于预定阈值；

接收所述当前发言者的视频流；以及

根据所述绑定窗口的状况，在当前画面布局中的指定显示窗口中显示所述当前发言者的视频流。

2.根据权利要求1所述的方法，其特征在于，设置所述发言者在当前画面布局中的绑定窗口包括：

若所述发言者在当前画面布局中已有绑定窗口，则保持原绑定；或者

若所述发言者在当前画面布局中无绑定窗口，则在所述当前画面布局中创建一隐藏窗口，并将所述隐藏窗口设置为所述发言者的绑定窗口。

3.根据权利要求2所述的方法，其特征在于，根据所述绑定窗口的状况，在指定显示窗口中显示所述当前发言者的视频流包括：

将所述绑定窗口调整为所述当前画面布局中的指定显示窗口；

在所述指定显示窗口中显示所述当前发言者的视频流。

4.根据权利要求3所述的方法，其特征在于，将所述绑定窗口调整为所述当前画面布局中的指定显示窗口包括：

当所述绑定窗口为所述指定显示窗口时，保持原绑定；或者

当所述绑定窗口为所述当前画面布局中的非指定显示窗口时，将所述绑定窗口更新为所述指定显示窗口。

5.根据权利要求4所述的方法，其特征在于，将所述绑定窗口更新为所述指定显示窗口包括：

若所述绑定窗口为所述当前画面布局中的隐藏窗口，则将所述绑定窗口更新为所述指定显示窗口，并删除所述隐藏窗口；或者

若所述绑定窗口为所述当前画面布局中的非隐藏窗口，则交换所述绑定窗口与所述指定显示窗口的绑定关系。

6.根据权利要求5所述的方法，其特征在于，还包括：

响应于所述当前发言者的视频流的分辨率低于所述预定阈值，但获取到所述当前发言者的视频流的时间超过设定时长，在所述指定显示窗口中显示所述当前发言者的视频流。

7.根据权利要求1-6任一所述的方法，其特征在于，还包括：

在显示所述当前发言者的视频流后，删除未绑定与会人的布局窗口及关联的视频流。

8.根据权利要求1-7任一所述的方法，其特征在于，将所述当前发言者的视频流的分辨率调整为不低于预定阈值包括：若所述当前发言者的视频流的分辨率小于所述预定阈值，将所述当前发言者的视频流的分辨率设置为所述预定阈值；否则，保持原视频流分辨率设置。

9.一种用于处理视频会议画面的显示的装置，其特征在于，包括：

处理器；以及

存储器，其存储有用于对视频会议画面的显示进行处理的计算机指令，当所述计算机指令由所述处理器运行时，使得所述装置执行根据权利要求1-8的任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有用于对视频会议画面的显示进行处理的计算机可读指令，该计算机可读指令被一个或多个处理器执行时实现如权利要求1-8任意一项所述的方法。

Images