CN113596384A - 一种多媒体会议自动布局方法、装置及设备 - Google Patents

Abstract

本申请公开了一种多媒体会议自动布局方法、装置及设备，该方法包括：首先获取当前时刻多媒体会议中参会用户的参会信息；其中，参会信息用于表征参会用户在多媒体会议中的参与度，然后基于参会信息确定参会用户的显示权重，接着，根据该显示权重和预设的显示规则，将多媒体会议中参会用户所对应的多媒体信息流画面在多媒体会议界面上进行自动布局。可见，由于本申请充分考虑了所有参会用户的所有参会信息，丰富了布局依据，使得视频画面的变化更为平滑，并且在多用户轮流发言、对话的场景，界面上也会持续呈现出参与对话的多个用户的多媒体信息流，提高了参会用户的交互性，进而提高了用户的参会体验。

Description

一种多媒体会议自动布局方法、装置及设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种多媒体会议自动布局方法、装置及设备。

背景技术

随着人工智能(ArtificialIntelligence，简称AI)技术的不断突破和各种终端设备的日益普及。用户越来越多的使用终端设备的各种功能，使得工作和生活更加便利。例如，用户可以通过终端设备在线与其他用户开启网络多媒体会议。具体来讲，网络多媒体会议指的是位于两个或多个地点的用户，通过终端设备和网络，实时传送活动图像、语音及应用数据(电子白板、图像)的会议。在现有的多媒体会议控制系统中通常包括多个终端设备，以及对这多个终端设备进行管理和控制的服务器，在建立多媒体会议后，多个终端设备会连接到服务器，并发送各自的媒体数据(如音频、视频等)到服务器，再由服务器根据实际情况进行音频、视频数据的处理，之后将这些数据以流媒体的形式发送到各个终端设备，以便在各个终端设备进行显示。

目前为了使得多媒体会议中的各个用户能够充分接收到参会人员提供的信息，通常会在多媒体会议的主屏幕上对发言用户所对应的多媒体信息流画面进行自动布局，例如，对于发言用户所在的视频图像画面来说，每个发言用户所在的视频图像画面所占的屏幕宽度是根据发言用户的说话音量和用户的脸部面积来决定的，但是这两个布局因素只涉及当前时刻，呈现出的效果会较为片面，比如，若当前时刻某一发言用户的说话音量突然增大，则其所在视频图像画面在主屏幕中占据的屏幕宽度会瞬间增大，或者，当某一发言用户突然靠近摄像头，使得其脸部面积突然增大，也会导致其所在视频图像画面在主屏幕中占据的屏幕宽度瞬间增大等。这些情况均会造成多媒体会议主屏幕上显示的多媒体信息流画面变化过于频繁，导致所有用户的参会体验较差。

发明内容

本申请实施例的主要目的在于提供一种多媒体会议自动布局方法、装置及设备，采用智能化布局的方式，将参会用户所对应的多媒体信息流画面按照用户的显示权重和预设的显示规则自动在主屏幕上进行上下屏显示，从而使得多媒体会议主屏幕上显示的多媒体信息流画面变化更为平滑，也便于所有参会用户能够更好的接收到多媒体会议的重要信息，如非当前发言用户的面部表情等，并且在多用户轮流发言、对话的场景，界面上也会持续呈现出参与对话的多个用户的多媒体信息流，提高了参会用户的交互性，进而提高了用户的参会体验。

本申请实施例提供了一种多媒体会议自动布局方法，包括：

获取当前时刻多媒体会议中参会用户的参会信息；所述参会信息用于表征所述参会用户在所述多媒体会议中的参与度；

基于所述参会信息确定所述参会用户的显示权重；

根据所述参会用户的显示权重以及预设的显示规则，将所述多媒体会议中参会用户所对应的多媒体信息流画面在所述多媒体会议界面上进行自动布局。

一种可能的实现方式中，所述基于所述参会信息确定所述参会用户的显示权重，包括：

按照预设周期，基于所述参会信息，确定所述参会用户的显示权重；

或者，当检测出有参会用户发言时，基于所述参会信息确定所述参会用户的显示权重。

一种可能的实现方式中，所述根据所述参会用户的显示权重以及预设的显示规则，将所述多媒体会议中参会用户所对应的多媒体信息流画面在所述多媒体会议界面上进行自动布局，包括：

若当前在多媒体会议界面上显示的参会用户所对应的多媒体信息流画面的数量小于预设阈值，则将当前时刻的发言用户所对应的多媒体信息流画面在所述多媒体会议界面上进行上屏显示；

或者，若当前在多媒体会议界面上显示的参会用户所对应的多媒体信息流画面的数量达到预设阈值，则利用当前时刻的发言用户所对应的多媒体信息流画面替换当前在多媒体会议界面上显示权重最低的参会用户所对应的多媒体信息流画面。

一种可能的实现方式中，所述根据所述参会用户的显示权重以及预设的显示规则，将所述多媒体会议中参会用户所对应的多媒体信息流画面在所述多媒体会议界面上进行自动布局，包括：

根据当前时刻所述参会用户的权重，计算多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度；

根据多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度和实际宽度，计算所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量；

根据预设的最小宽度变化量，调整所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量，得到调整结果；

根据所述调整结果，确定所述多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的最终宽度，并利用所述最终宽度对所述参会用户所对应的多媒体信息流画面在所述多媒体会议界面上进行自动布局。

一种可能的实现方式中，所述根据多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度和实际宽度，计算所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量，包括：

确定多媒体会议界面上当前时刻发言用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度、预设的变化到的最大宽度、以及所述当前时刻发言用户所对应的多媒体信息流的默认宽度这三者中的最小值；

确定所述最小值与所述当前时刻发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度之间的最大值；

计算最大值与所述当前时刻发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度之间的差值，作为所述当前时刻发言用户所对应的多媒体信息流画面的理论宽度变化量。

一种可能的实现方式中，所述根据多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度和实际宽度，计算所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量，包括：

确定多媒体会议界面上当前时刻非发言用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度、预设的变化到的最大宽度、以及所述当前时刻非发言用户所对应的多媒体信息流的默认宽度中的最小值；

计算所述最小值与所述当前时刻非发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度之间的差值，作为所述当前时刻非发言用户所对应的多媒体信息流画面的理论宽度变化量。

一种可能的实现方式中，所述根据预设的最小宽度变化量，调整所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量，得到调整结果，包括：

当所述多媒体会议界面上理论宽度变化量小于所述预设的最小宽度变化量的多媒体信息流画面的数量不小于预设数量时，调整所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量为零，作为调整结果；

或者，当所述多媒体会议界面上理论宽度变化量小于所述预设的最小宽度变化量的多媒体信息流画面的数量小于预设数量且不为零时，调整所述理论宽度变化量小于所述预设的最小宽度变化量的多媒体信息流画面的理论宽度变化量为零，并对多媒体会议界面上的其他多媒体信息流画面对应理论宽度变化量进行按比例分配。

或者，当所述多媒体会议界面上理论宽度变化量小于所述预设的最小宽度变化量的多媒体信息流画面的数量为零时，将所述多媒体会议界面上所有参会用户所对应的多媒体信息流画面的理论宽度变化量求和，并根据求和结果，对所述多媒体会议界面上所有多媒体信息流画面的理论宽度变化量进行按比例分配。

一种可能的实现方式中，所述利用所述最终宽度对所述参会用户所对应的多媒体信息流画面在所述多媒体会议界面上进行自动布局，包括：

根据预设宽度变化时间以及所述最终宽度，确定所述多媒体会议界面上参会用户所对应的多媒体信息流画面在主屏幕上的宽度变化速度；

按照所述宽度变化速度，将所述多媒体会议界面上参会用户所对应的多媒体信息流画面在主屏幕上进行宽度调整。

一种可能的实现方式中，所述多媒体信息流画面包括视频信息流画面；所述多媒体会议界面上参会用户所对应的多媒体信息流画面的获取方式如下：

以所述多媒体会议界面上参会用户的人脸位置作为目标截取区域，对所述参会用户的初始视频信息流进行截取生成；或者，以所述参会用户的人脸位置靠近的初始视频信息流的边界作为所述参会用户所对应的视频信息流画面所占据的主屏幕的最终宽度的边界，再对所述参会用户的初始视频信息流进行截取生成；其中，所述初始视频信息流是基于视频采集设备采集得到的。

一种可能的实现方式中，所述根据所述参会用户的显示权重以及预设的显示规则，将所述多媒体会议中参会用户所对应的多媒体信息流画面在所述多媒体会议界面上进行自动布局，包括：

若当前在多媒体会议界面上显示了第一预设数目的参会用户所对应的多媒体信息流画面，则判断所述第一预设数目的多媒体信息流画面中是否存在显示权重低于第一预设权重的参会用户，若是，则将所述参会用户的多媒体信息流进行下屏显示，若否，则保持所述参会用户的多媒体信息流画面继续在多媒体会议界面上进行显示；

若当前在多媒体会议界面上显示了第二预设数目的参会用户所对应的多媒体信息流画面，则判断所述第二预设数目的多媒体信息流画面中是否存在显示权重低于第二预设权重的参会用户，若是，则将所述显示权重低于第二预设权重的参会用户所对应的多媒体信息流画面进行下屏显示，若否，则保持所述多媒体信息流画面继续在多媒体会议界面上进行显示；所述第二预设权重小于所述第一预设权重；

若当前在多媒体会议界面上显示了第三预设数目的参会用户所对应的多媒体信息流画面，则判断所述第三预设数目的多媒体信息流画面中是否存在显示权重低于第三预设权重的参会用户，若是，则将所述显示权重低于第三预设权重的参会用户所对应的多媒体信息流画面进行下屏显示，若否，则保持所述多媒体信息流画面继续在多媒体会议界面上进行显示；所述第三预设权重小于所述第二预设权重。

一种可能的实现方式中，所述方法还包括：

当所述多媒体会议界面上所有参会用户所对应的多媒体信息流画面所占据的主屏幕的总宽度小于主屏幕的实际总宽度时，将所述主屏幕上所有参会用户所对应的多媒体信息流画面进行居中显示，并将所述主屏幕两侧的剩余宽度位置填充黑边。

一种可能的实现方式中，所述多媒体信息流画面包括音频数据流画面和/或视频信息流画面。

本申请实施例还提供了一种多媒体会议自动布局装置，所述装置包括：

获取单元，用于获取当前时刻多媒体会议中参会用户的参会信息；所述参会信息用于表征所述参会用户在所述多媒体会议中的参与度；

确定单元，用于基于所述参会信息确定所述参会用户的显示权重；

布局单元，用于根据所述参会用户的显示权重以及预设的显示规则，将所述多媒体会议中参会用户所对应的多媒体信息流画面在所述多媒体会议界面上进行自动布局。

一种可能的实现方式中，所述确定单元具体用于：

按照预设周期，基于所述参会信息，确定所述参会用户的显示权重；

或者，当检测出有参会用户发言时，基于所述参会信息确定所述参会用户的显示权重。

一种可能的实现方式中，所述布局单元具体用于：

若当前在多媒体会议界面上显示的参会用户所对应的多媒体信息流画面的数量小于预设阈值，则将当前时刻的发言用户所对应的多媒体信息流画面在所述多媒体会议界面上进行上屏显示；

或者，若当前在多媒体会议界面上显示的参会用户所对应的多媒体信息流画面的数量达到预设阈值，则利用当前时刻的发言用户所对应的多媒体信息流画面替换当前在多媒体会议界面上显示权重最低的参会用户所对应的多媒体信息流画面。

一种可能的实现方式中，所述布局单元包括：

第一计算子单元，用于根据当前时刻所述参会用户的权重，计算多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度；

第二计算子单元，用于根据多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度和实际宽度，计算所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量；

第一调整子单元，用于根据预设的最小宽度变化量，调整所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量，得到调整结果；

布局子单元，用于根据所述调整结果，确定所述多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的最终宽度，并利用所述最终宽度对所述参会用户所对应的多媒体信息流画面在所述多媒体会议界面上进行自动布局。

一种可能的实现方式中，所述第二计算子单元包括：

第一确定子单元，用于确定多媒体会议界面上当前时刻发言用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度、预设的变化到的最大宽度、以及所述当前时刻发言用户所对应的多媒体信息流的默认宽度这三者中的最小值；

第二确定子单元，用于确定所述最小值与所述当前时刻发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度之间的最大值；

第一作为子单元，用于计算最大值与所述当前时刻发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度之间的差值，作为所述当前时刻发言用户所对应的多媒体信息流画面的理论宽度变化量。

一种可能的实现方式中，所述第二计算子单元包括：

第三确定子单元，用于确定多媒体会议界面上当前时刻非发言用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度、预设的变化到的最大宽度、以及所述当前时刻非发言用户所对应的多媒体信息流的默认宽度中的最小值；

第二作为子单元，用于计算所述最小值与所述当前时刻非发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度之间的差值，作为所述当前时刻非发言用户所对应的多媒体信息流画面的理论宽度变化量。

一种可能的实现方式中，所述第一调整子单元具体用于：

当所述多媒体会议界面上理论宽度变化量小于所述预设的最小宽度变化量的多媒体信息流画面的数量不小于预设数量时，调整所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量为零，作为调整结果；

或者，当所述多媒体会议界面上理论宽度变化量小于所述预设的最小宽度变化量的多媒体信息流画面的数量小于预设数量且不为零时，调整所述理论宽度变化量小于所述预设的最小宽度变化量的多媒体信息流画面的理论宽度变化量为零，并对多媒体会议界面上的其他多媒体信息流画面对应理论宽度变化量进行按比例分配。

或者，当所述多媒体会议界面上理论宽度变化量小于所述预设的最小宽度变化量的多媒体信息流画面的数量为零时，将所述多媒体会议界面上所有参会用户所对应的多媒体信息流画面的理论宽度变化量求和，并根据求和结果，对所述多媒体会议界面上所有多媒体信息流画面的理论宽度变化量进行按比例分配。

一种可能的实现方式中，所述布局子单元包括：

第四确定子单元，用于根据预设宽度变化时间以及所述最终宽度，确定所述多媒体会议界面上参会用户所对应的多媒体信息流画面在主屏幕上的宽度变化速度；

第二调整子单元，用于按照所述宽度变化速度，将所述多媒体会议界面上参会用户所对应的多媒体信息流画面在主屏幕上进行宽度调整。

一种可能的实现方式中，所述多媒体信息流画面包括视频信息流画面；所述装置还包括：

截取单元，用于以所述多媒体会议界面上参会用户的人脸位置作为目标截取区域，对所述参会用户的初始视频信息流进行截取生成所述参会用户所对应的多媒体信息流画面；或者，以所述参会用户的人脸位置靠近的初始视频信息流的边界作为所述参会用户所对应的视频信息流画面所占据的主屏幕的最终宽度的边界，再对所述参会用户的初始视频信息流进行截取生成所述参会用户所对应的多媒体信息流画面；其中，所述初始视频信息流是基于视频采集设备采集得到的。

一种可能的实现方式中，所述布局单元具体用于：

若当前在多媒体会议界面上显示了第一预设数目的参会用户所对应的多媒体信息流画面，则判断所述第一预设数目的多媒体信息流画面中是否存在显示权重低于第一预设权重的参会用户，若是，则将所述参会用户的多媒体信息流进行下屏显示，若否，则保持所述参会用户的多媒体信息流画面继续在多媒体会议界面上进行显示；

或者，若当前在多媒体会议界面上显示了第二预设数目的参会用户所对应的多媒体信息流画面，则判断所述第二预设数目的多媒体信息流画面中是否存在显示权重低于第二预设权重的参会用户，若是，则将所述显示权重低于第二预设权重的参会用户所对应的多媒体信息流画面进行下屏显示，若否，则保持所述多媒体信息流画面继续在多媒体会议界面上进行显示；所述第二预设权重小于所述第一预设权重；

或者，若当前在多媒体会议界面上显示了第三预设数目的参会用户所对应的多媒体信息流画面，则判断所述第三预设数目的多媒体信息流画面中是否存在显示权重低于第三预设权重的参会用户，若是，则将所述显示权重低于第三预设权重的参会用户所对应的多媒体信息流画面进行下屏显示，若否，则保持所述多媒体信息流画面继续在多媒体会议界面上进行显示；所述第三预设权重小于所述第二预设权重。

一种可能的实现方式中，所述装置还包括：

填充单元，用于当所述多媒体会议界面上所有参会用户所对应的多媒体信息流画面所占据的主屏幕的总宽度小于主屏幕的实际总宽度时，将所述主屏幕上所有参会用户所对应的多媒体信息流画面进行居中显示，并将所述主屏幕两侧的剩余宽度位置填充黑边。

一种可能的实现方式中，所述多媒体信息流画面包括音频数据流画面和/或视频信息流画面。

本申请实施例还提供了一种多媒体会议自动布局设备，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述多媒体会议自动布局方法中的任意一种实现方式。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述多媒体会议自动布局方法中的任意一种实现方式。

本申请实施例提供的多媒体会议自动布局方法、装置及设备，首先获取当前时刻多媒体会议中参会用户的参会信息；其中，参会信息用于表征参会用户在多媒体会议中的参与度，然后基于参会信息确定参会用户的显示权重，接着，根据参会用户的显示权重以及预设的显示规则，将多媒体会议中参会用户所对应的多媒体信息流画面在多媒体会议界面上进行自动布局。可见，由于本申请实施例是先根据参会用户的参会信息确定出参会用户的显示权重，再根据显示权重以及预设的显示规则，对多媒体会议界面上参会用户所对应的多媒体信息流画面进行智能布局，相比于仅根据发言用户的说话音量和用户的脸部面积进行布局的方式，充分考虑了所有参会用户的历史时刻和当前时刻的参会信息，使得多媒体会议界面上显示的多媒体信息流画面的布局依据更充分，画面变化也更为平滑，并且在多用户轮流发言、对话的场景，界面上也会持续呈现出参与对话的多个用户的多媒体信息流，提高了参会用户的交互性，进而能够提高用户的参会体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种多媒体会议自动布局方法的流程示意图；

图2为本申请实施例提供的多媒体会议界面上同时显示三幅不同参会用户所对应的多媒体信息流画面的示意图之一；

图3为本申请实施例提供的多媒体会议界面上同时显示三幅不同参会用户所对应的多媒体信息流画面的示意图之二；

图4为本申请实施例提供的获取参会用户所对应的多媒体信息流画面的示意图之一；

图5为本申请实施例提供的获取参会用户所对应的多媒体信息流画面的示意图之二；

图6为本申请实施例提供的将主屏幕两侧剩余宽度位置填充黑边的示意图；

图7为本申请实施例提供的一种多媒体会议自动布局装置的组成示意图。

具体实施方式

随着互联网的发展，用户越来越多的使用终端设备的功能，使得工作和生活更加便利。例如，用户可以通过终端设备(如手机或平板电脑等)在线与其他用户开启视频会议。用户之间通过线上多媒体会议，可以实现远距离交互，也可以实现用户不必集合在一处也可以开启会议。例如，视频会议很大程度上避免了传统面对面会议关于地点和场地的限制。

目前为了使得多媒体会议中的各个用户能够充分接收到参会人员提供的信息，通常会在多媒体会议的主屏幕上对发言用户所对应的多媒体信息流画面进行自动布局，例如，在视频会议的主屏幕上通常会对发言用户所在的视频图像画面进行自动布局，但往往会给所有用户带来较差的参会体验。这是因为目前对于每个发言用户所在的视频图像画面所占的视频屏幕宽度仅是根据发言用户的说话音量和用户的脸部面积来决定，但是这两个布局因素只涉及当前时刻，呈现出的效果会较为片面，且会造成主屏幕上显示视频画面的变化过于频繁，导致所有用户的参会体验较差。

为解决上述缺陷，本申请提供了一种多媒体会议自动布局方法、装置及设备，首先获取当前时刻多媒体会议中参会用户的参会信息；其中，参会信息包用于表征参会用户在多媒体会议中的参与度，然后基于参会信息确定参会用户的显示权重，接着，根据参会用户的显示权重以及预设的显示规则，将多媒体会议中参会用户所对应的多媒体信息流画面在多媒体会议界面上进行自动布局。可见，由于本申请实施例是先根据参会用户的参会信息确定出参会用户的显示权重，再根据显示权重以及预设的显示规则，对多媒体会议界面上的多媒体信息流画面进行智能布局，相比于仅根据发言用户的说话音量和用户的脸部面积进行布局的方式，充分考虑了所有参会用户的历史时刻和当前时刻的参会信息，使得多媒体会议界面上显示的画面的布局依据更充分，画面变化也更为平滑，并且在多用户轮流发言、对话的场景，界面上也会持续呈现出参与对话的多个用户的多媒体信息流，提高了参会用户的交互性，进而能够提高用户的参会体验。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

第一实施例

参见图1，为本实施例提供的一种多媒体会议自动布局方法的流程示意图，该方法包括以下步骤：

S101：获取当前时刻多媒体会议中参会用户的参会信息；其中，参会信息用于表征参会用户在所述多媒体会议中的参与度。

在本实施例中，为了实现对多媒体会议主屏幕上的参会用户所对应的多媒体信息流画面进行智能布局，以提高参会用户的参会体验，首先需要获取当前时刻多媒体会议中参会用户的参会信息，用以执行后续步骤S102。

其中，当前时刻多媒体会议中参会用户的参会信息用于表征参会用户在多媒体会议中的参与度，包括但不限于参会用户是否为当前时刻的发言用户、参会用户是否开启摄像头以及参会用户的历史发言时长等信息。例如，当参会用户利用手机或电脑进行多媒体会议时，可以确定出其是否开启摄像头(即摄像头的状态)，以及参会用户在此前的120秒内在多媒体会议中发言的总时长为45秒等，均可作为参会用户的参会信息。

需要说明的是，本实施例不限制多媒体会议中多媒体信息流画面的类型，一种可选的实现方式是，多媒体会议中多媒体信息流画面可以包括音频数据流画面和/或视频信息流画面等。比如，这些多媒体信息流画面可以是由红(G)、绿(G)、蓝(B)三原色组成的彩色图像画面、也可以是灰度图像画面等。同时，每一幅多媒体信息流图像画面中均可以包含参会用户的实时面部表情等信息。

还需要说明的是，本申请对当前时刻多媒体会议中参会用户所对应的多媒体信息流画面的获取方式不做限定，比如可以通过用户的参会工具(如手机或电脑)拍摄得到，或者从其他音视频采集设备采集得到等。

S102：基于参会信息确定参会用户的显示权重。

在本实施例中，通过步骤S101获取到当前时刻多媒体会议中参会用户的参会信息后，进一步可以根据其中包括的参会用户是否为当前时刻的发言用户、参会用户是否开启摄像头、参会用户的历史发言时长等内容，计算出参会用户的显示权重，用以执行后续步骤S103。其中，参会用户的显示权重的具体计算公式如下：

Score＝t_as×f_as+(n-i_as)×f_indaex+camera×f_camera (1)

其中，Score表示参会用户的显示权重；t_as表示此前若干秒(即当前时刻前的预设时间段)内参会用户的发言总时长(即参会用户的历史发言时长对应的显示权重)，具体取值可根据实际情况确定，比如可以取为此前120秒内参会用户的发言总时长等；camera表示参会用户是否开启摄像头的显示权重，具体取值可以为0或1，其中，0表示参会用户未开启摄像头，1表示参会用户已开启摄像头；n为一预设值，具体取值可以根据实际情况和/或经验值确定，例如，可以根据当前的多媒体会议中，发言用户(也即，当前的多媒体会议中，曾经有过至少一次发言的参会用户)的数量来确定；i_as表示参会用户作为发言用户的序号，且i_as≤n-1，在本实施例中，将当前时刻发言用户对应的i_as取值为0，并将之前时刻发言用户的对应的i_as取值按时间倒序依次递增，具体取值可根据实际情况和n的取值而定，如当n取值为5时，i_as的取值可以为0、1、2、3或4。

举例说明：假设n取值为5，且多媒体会议中的A用户、B用户、C用户、D用户、E用户的发言顺序以及每次发言时这5个用户的i_as取值如下表1所示：

	A参会用户	B参会用户	C参会用户	D参会用户	E参会用户
						A参会用户	0	-	-	-	-
B参会用户	1	0	-	-	-
						C参会用户	2	1	0	-	-
B参会用户	2	0	1	-	-
						A参会用户	0	1	2	-	-
C参会用户	1	2	0	-	-
						D参会用户	2	3	1	0	-
E参会用户	3	4	2	1	0

表1

其中，表1的第一列从上向下依次表示多媒体会议中各个用户的先后发言顺序，后续第二列至第六列均表示每个用户发言时，A、B、C、D、E这5个用户对应的i_as取值。

具体的，按发言的先后顺序来讲，依次为：当A参会用户发言时，A参会用户对应的i_as取值为0，其他4个用户对应的i_as没有取值，需要说明的是，i_as没有取值，可以理解为在利用公式(1)计算显示权重Score时，上述公式(1)中等号右侧的第二项“(n-i_as)×f_indaex”的取值置为零；接着，当B参会用户发言时，A参会用户对应的i_as取值变为1，B参会用户对应的i_as取值为0，其他3个用户对应的i_as没有取值；接着，当C参会用户发言时，A参会用户对应的i_as取值变为2，B参会用户对应的i_as取值变为1，C参会用户对应的i_as取值为0，其他两个用户对应的i_as没有取值；接着，当B参会用户发言时，A参会用户对应的i_as取值仍为2，B参会用户对应的i_as取值变为0，C参会用户对应的i_as取值变为1，其他两个用户对应的i_as仍没有取值；接着，当A参会用户发言时，A参会用户对应的i_as取值变为0，B参会用户对应的i_as取值变为1，C参会用户对应的i_as取值变为2，其他两个用户对应的i_as仍没有取值；接着，当C参会用户发言时，A参会用户对应的i_as取值变为1，B参会用户对应的i_as取值变为2，C参会用户对应的i_as取值变为0，其他两个用户对应的i_as仍没有取值；接着，当D参会用户发言时，A参会用户对应的i_as取值变为2，B参会用户对应的i_as取值变为3，C参会用户对应的i_as取值变为1，D参会用户对应的i_as取值变为0，E参会用户对应的i_as仍没有取值；接着，当E参会用户发言时，A参会用户对应的i_as取值变为3，B参会用户对应的i_as取值变为4，C参会用户对应的i_as取值变为2，D参会用户对应的i_as取值变为1，E参会用户对应的i_as取值变为0。

此外，在上述公式(1)中，f_as、f_indaex、f_camera均为可配置的权重系数，具体取值可根据实际情况和经验值进行设定，本实施例对此不进行限定，比如可以将f_as、f_indaex、f_camera分别取值为1、40、1等。

这样，在通过步骤S101获取到当前时刻多媒体会议中所有用户的参会信息后，即可利用上述公式(1)计算出所有用户的显示权重，用以执行后续步骤S103，以实现对多媒体会议主屏幕上的多媒体信息流画面的智能布局。

需要说明的是，在本实施例中，对于参会用户的显示权重的计算具体可以包括一下两种实现方式：

一种方式是按照预设周期，基于获取到的参会信息，确定出参会用户的显示权重。例如，可以每隔30秒钟，周期性的根据获取到的所有参会信息，确定出所有参会用户的显示权重，并利用得到的显示权重执行后续步骤S103。

另一种方式是当检测出有参会用户发言时，基于参会信息确定所述参会用户的显示权重。比如，当多媒体会议进行到第5分钟时，检测到参会用户C成为新发言用户时，立即基于获取到的参会信息，确定出参会用户C的显示权重，并利用该显示权重执行后续步骤S103。

S103：根据参会用户的显示权重以及预设的显示规则，将多媒体会议中参会用户所对应的多媒体信息流画面在多媒体会议界面上进行自动布局。

在本实施例中，通过步骤S102基于参会用户的参会信息确定出参会用户的显示权重后，进一步可以根据参会用户的显示权重以及预先设定的在多媒体会议主屏幕上进行上下屏显示的规则，将多媒体会议中参会用户所对应的多媒体信息流(如视频信息流)画面在多媒体会议界面上进行自动布局，即自动更换主屏幕上显示的不同参会用户所对应的多媒体信息流画面。

在本申请实施例的一种可能的实现方式中，多媒体会议主屏幕上同时可以显示一幅参会用户所对应的多媒体信息流画面、两幅不同参会用户所对应的多媒体信息流画面或三幅不同参会用户所对应的多媒体信息流画面。需要说明的是，本申请实施例对多媒体会议主屏幕上同时可以显示的多媒体信息流画面的数量不做限定，但为便于对本申请提供的多媒体会议自动布局方法(尤其是本步骤S103的实现过程)进行详细介绍，本实施例后续将以多媒体会议主屏幕上最多可以同时显示三幅不同参会用户所对应的多媒体信息流画面(如图2所示)为例进行介绍，其他实现方式与此类似，具体步骤可参考下述实现过程即可。

具体来讲，一种可选的实现方式是，本步骤S103的具体实现过程可以包括下述步骤A1或者步骤A2：

步骤A1：若当前在多媒体会议界面上显示的参会用户所对应的多媒体信息流画面的数量小于预设阈值，则将当前时刻的发言用户所对应的多媒体信息流画面在多媒体会议界面上进行上屏显示。

在本实现方式中，通常预先会对多媒体会议主屏幕上同时可以显示的多媒体信息流画面的数量进行设定，比如，可能会设定多媒体会议主屏幕上同时可以显示的多媒体信息流画面的数量为三幅等。并且，也要预先设定一个数量阈值，用于区分是否将当前时刻的发言用户进行上屏显示，即，若当前在多媒体会议界面上显示的参会用户所对应的多媒体信息流画面的数量小于该预设的数量阈值，则将当前时刻的发言用户所对应的多媒体信息流画面在多媒体会议界面上进行上屏显示。其中，该阈值的具体取值可根据实际情况和经验值进行确定，本申请实施例对此不进行限定，比如，可以将该阈值设定为3等。

举例说明：假设多媒体信息流画面为视频信息流画面，多媒体会议界面上最多可以同时显示三幅不同参会用户所对应的视频信息流画面，且预设阈值为3，如图2所示，假设主屏幕上可以同时显示A、B、C三个参会用户所对应的视频信息流画面。则若当前在多媒体会议主屏幕上显示的视频信息流画面小于三幅，即若当前在多媒体会议主屏幕上显示了一幅参会用户所对应的视频信息流画面或两幅不同参会用户所对应的视频信息流画面，则可以将当前时刻的发言用户所对应的视频信息流画面以默认宽度(此处将其定义为W_default)在多媒体会议主屏幕上进行上屏显示。

其中，默认宽度W_default的具体取值可根据实际情况和经验值进行设定，比如，在将主屏幕的实际总宽度定义为W_total后，可将默认宽度W_default的具体取值设定为主屏幕总宽度W_total的

即，

用以保证新上屏的参会用户所对应的多媒体信息流画面占据的主屏幕宽度较为适宜，不会过宽或过窄，也便于所有参会用户能够更清晰和准确地接收到主屏幕上各个多媒体信息流画面中上屏的参会用户的面部表情等重要信息。

步骤A2：若当前在多媒体会议界面上显示的参会用户所对应的多媒体信息流画面的数量达到预设阈值，则利用当前时刻的发言用户所对应的多媒体信息流画面替换当前在多媒体会议界面上显示权重最低的参会用户所对应的多媒体细信息流画面。

在本实现方式中，与步骤A1相比的是，若当前在多媒体会议界面上显示的参会用户所对应的多媒体信息流画面的数量达到预设的数量阈值，则将当前时刻的发言用户所对应的多媒体信息流画面替换当前在多媒体会议界面上显示的权重最低的参会用户所对应的多媒体信息流画面。

举例说明：仍假设多媒体信息流画面为视频信息流画面，多媒体会议界面上最多可以同时显示三幅不同参会用户所对应的视频信息流画面，且预设阈值为3。若当前在多媒体会议主屏幕上已经显示了三幅参会用户所对应的视频信息流画面，例如，如图2所示，主屏幕上已经同时显示A、B、C三个参会用户所对应的视频信息流画面。则此时可以利用当前时刻的发言用户所对应的视频信息流画面替换当前在多媒体会议主屏幕上的显示权重最低的参会用户所对应的视频信息流画面，进行上屏显示，这是因为当前时刻发言用户往往是此时多媒体会议中重点关注的对象，其有可能会表达出较为重要的观点等信息，为了便于其他参会用户能够充分接收其发言内容或面部表情等重要信息，以提高参会用户的交互性，需要将其所对应的视频信息流画面进行上屏显示。例如，如图3所示，基于图2中的示例，主屏幕上已经同时显示A、B、C三个参会用户所对应的视频信息流画面，且C参会用户的显示权重最低，其对应的视频信息流画面占据的主屏幕宽度最窄，此时，即可将当前时刻的新发言用户D所对应的视频信息流画面替换C参会用户所对应的视频信息流画面，进行上屏显示。

其中，一种可选的实现方式是，可先将当前在多媒体会议界面上显示的权重最低的参会用户所对应的多媒体信息流画面所占据的主屏幕宽度作为目标宽度，例如，如图2所示，可先将C参会用户所对应的视频信息流画面所占据的主屏幕宽度作为目标宽度，则本步骤A2的具体实现过程可以包括下属步骤A21-A22：

步骤A21：调整当前时刻的发言用户所对应的多媒体信息流画面的宽度至目标宽度，得到调整后的发言用户所对应的多媒体信息流画面。

在本实现方式中，为了实现将当前时刻的发言用户所对应的多媒体信息流画面替换当前在多媒体会议主屏幕上的显示权重最低的参会用户所对应的多媒体信息流画面，首先需要将当前时刻的发言用户所对应的多媒体信息流画面调整到目标宽度，以保证调整后的发言用户所对应的多媒体信息流画面的宽度与当前在多媒体会议主屏幕上的显示权重最低的参会用户所对应的多媒体信息流画面所占据的主屏幕宽度是一致的，用以执行后续步骤A22。

举例说明：仍假设多媒体信息流画面为视频信息流画面，如图3所示，在将当前时刻的发言用户D所对应的视频信息流画面替换C参会用户所对应的视频信息流画面之前，发言用户D所对应的视频信息流画面的宽度可能大于或小于C参会用户所对应的视频信息流画面所占据的主屏幕宽度，此时，首先需要调整发言用户D所对应的视频信息流画面的宽度到与C参会用户所对应的视频信息流画面所占据的主屏幕宽度一致，才能够继续执行后续步骤A22。

步骤A22：利用调整后的发言用户所对应的多媒体信息流画面替换当前在多媒体会议界面上显示得分最低的参会用户所对应的多媒体信息流画面。

在本实现方式中，通过步骤A21将当前时刻的发言用户所对应的多媒体信息流画面的宽度调整至目标宽度后，进一步可以利用调整后的发言用户所对应的多媒体信息流画面替换当前在多媒体会议界面上显示权重最低的参会用户所对应的多媒体信息流画面，即，实现了当前时刻发言用户所对应的多媒体信息流画面继承了当前在多媒体会议界面上显示权重最低的参会用户所对应的多媒体限流画面所占据的主屏幕宽度。

举例说明：基于上述举例，如图3所示，在将发言用户D所对应的视频信息流画面的宽度调整到与C参会用户所对应的视频信息流画面所占据的主屏幕宽度一致后，即可利用调整后的发言用户D所对应的视频信息流画面替换C参会用户所对应的视频信息流画面，以继承C参会用户所对应的视频信息流画面之前所占据的主屏幕宽度。

此外，一种可选的实现方式是，上述步骤S103的具体实现过程不仅可以包括上述步骤A1或者步骤A2所述的多媒体会议界面上的上屏布局过程，还可以包括多媒体会议界面上的下屏布局过程，具体下屏布局过程可以包括下述步骤B1、步骤B2或步骤B3：

步骤B1：若当前在多媒体会议界面上显示了第一预设数目的参会用户所对应的多媒体信息流画面，则判断该第一预设数目的多媒体信息流画面中是否存在显示权重低于第一预设权重的参会用户，若是，则将该参会用户的多媒体信息流画面进行下屏显示，若否，则保持该参会用户的多媒体信息流画面继续在多媒体会议界面上进行显示。

在本实现方式中，对于下屏多媒体信息流画面的判断，与这些画面中参会用户的历史发言时长无关，则在利用上述公式(1)计算这些画面中参会用户的显示权重时，可将t_as取值为零，进而在计算出这些画面中参会用户的显示权重后，可判判断出是否将其所对应的多媒体信息流画面进行下屏处理。

具体的，若当前在多媒体会议界面上显示了第一预设数目的参会用户所对应的多媒体信息流画面，则需要判断这第一预设数目的多媒体信息流画面中参会用户的显示权重是否低于第一预设权重，若是，则将对应的多媒体信息流画面进行下屏显示，若否，则保持对应的多媒体信息流画面继续在主屏幕上进行显示。

其中，第一预设数目的取值与多媒体会议主屏幕上同时可以显示的多媒体信息流画面的总数量有关，可根据实际情况和经验值进行设定，本申请实施例对此不进行限定。而第一预设权重的具体取值与公式(1)中n的取值有关，用以作为判断是否将多媒体会议界面上多媒体信息流画面进行下屏显示的临界值。比如：假设多媒体会议主屏幕上最多可以同时显示三幅不同参会用户所对应的多媒体信息流画面，例如，如图2所示，假设主屏幕上可以同时显示A、B、C三个参会用户所对应的视频信息流画面。则当第一预设数目的取值为1，即，在多媒体会议主屏幕上仅显示一幅参会用户所对应的多媒体信息流画面时，判断其是否进行下屏处理的第一预设权重的具体取值为：Score 1＝(n-0)×f_indaex+camera×f_camera。

举例说明：当n的取值为5，开启摄像头，且f_indaex和f_camera分别取值为40和1时，第一预设权重Score 1的具体取值为：Score 1＝(5-0)×40+1×1＝201，此时，若当前在多媒体会议主屏幕上仅显示一幅参会用户所对应的视频信息流画面，且判断出该视频信息流画面中参会用户的显示权重低于201，则将该视频信息流画面进行下屏显示，若不低于201，则保持该视频信息流画面继续在主屏幕上进行显示。

步骤B2：若当前在多媒体会议界面上显示了第二预设数目的参会用户所对应的多媒体信息流画面，则判断这第二预设数目的多媒体信息流画面中是否存在显示权重低于第二预设权重的参会用户，若是，则将显示权重低于第二预设权重的参会用户所对应的多媒体信息流画面进行下屏显示，若否，则保持这第二预设数目的多媒体信息流画面继续在多媒体会议界面上进行显示；其中，第二预设权重小于第一预设权重。

在本实现方式中，与第一预设数目类似，第二预设数目的取值与多媒体会议主屏幕上同时可以显示的多媒体信息流画面的总数量有关，可根据实际情况和经验值进行设定，本申请实施例对此不进行限定。并且与第一预设权重类似，第二预设权重的具体取值也与公式(1)中n的取值有关，用以作为判断是否将多媒体会议界面上多媒体信息流画面进行下屏显示的临界值。比如：假设多媒体会议主屏幕上最多可以同时显示三幅不同参会用户所对应的多媒体信息流画面。则当第二预设数目的取值为2，即，在多媒体会议主屏幕上显示了两幅参会用户所对应的多媒体信息流画面时，判断其是否进行下屏处理的第二预设权重的具体取值为：Score 2＝(n-1)×f_indaex+camera×f_camera。

举例说明：当n的取值为5，开启摄像头，且f_indaex和f_camera分别取值为40和1时，第二预设权重Score 2的具体取值为：Score 2＝(5-1)×40+1×1＝161，此时，若当前在多媒体会议主屏幕上显示的两幅参会用户所对应的视频信息流画面中存在显示权重低于161的参会用户，则将显示权重低于161的参会用户所对应的视频信息流画面进行下屏显示，若不存在显示权重低于161的参会用户，则保持其所对应的视频信息流画面继续在主屏幕上进行显示。

步骤B3：若当前在多媒体会议界面上显示了第三预设数目的参会用户所对应的媒体信息流画面，则判断这第三预设数目的多媒体信息流画面中是否存在显示权重低于第三预设权重的参会用户，若是，则将显示权重低于第三预设权重的参会用户所对应的多媒体信息流画面进行下屏显示，若否，则保持这第三预设数目的多媒体信息流画面继续在多媒体会议界面上进行显示；其中，第三预设权重小于第二预设权重。

在本实现方式中，与第一预设数目和第二预设数目类似，第三预设数目的取值与多媒体会议主屏幕上同时可以显示的多媒体信息流画面的总数量有关，可根据实际情况和经验值进行设定，本申请实施例对此不进行限定。并且与第一预设权重和第二预设权重类似，第三预设权重的具体取值也与公式(1)中n的取值有关，用以作为判断是否将多媒体会议界面上多媒体信息流画面进行下屏显示的临界值。比如：假设多媒体会议主屏幕上最多可以同时显示三幅不同参会用户所对应的多媒体信息流画面。则当第三预设数目的取值为3，即，在多媒体会议主屏幕上显示了三幅参会用户所对应的多媒体信息流画面时，判断其是否进行下屏处理的第三预设权重的具体取值为：Score 3＝(n-2)×f_indaex+camera×f_camera。

举例说明：当n的取值为5，开启摄像头，且f_indaex和f_camera分别取值为40和1时，第三预设权重Score 3的具体取值为：Score 3＝(5-2)×40+1×1＝121，此时，若当前在多媒体会议主屏幕上显示的三幅参会用户所对应的视频信息流画面中存在显示权重低于121的参会用户，则将显示权重低于121的参会用户所对应的视频信息流画面进行下屏显示，若不存在显示权重低于121的参会用户，则保持其所对应的视频信息流画面继续在主屏幕上进行显示。

需要说明的是，在通过上述步骤A1-A2和步骤B1-B3，确定出需要进行上下屏显示的多媒体信息流画面的同时，为了进一步提升多媒体会议界面上显示的多媒体信息流画面变化的感官效果，便于参会用户能够更好的接收到多媒体会议的重要信息，以提高参会体验，一种可选的实现方式是，本实施例将根据参会用户的显示权重以及预设的显示规则，对多媒体界面上的各个多媒体信息流画面所占据的主屏幕宽度进行精确修正和调整，由此，步骤S103“根据参会用户的显示权重以及预设的显示规则，将多媒体会议中参会用户所对应的多媒体信息流画面在多媒体会议界面上进行自动布局”的具体实现过程可以包括下述步骤C1-C4：

步骤C1：根据当前时刻参会用户的权重，计算多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度。

在本实现方式中，为了准确确定出多媒体会议界面上的各个多媒体信息流画面所占据的主屏幕宽度，首先需要根据当前时刻参会用户的权重，计算多媒体会议界面上所有参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度(此处将其定义为W)，用以执行后续步骤C2。

具体来讲，在利用上述公式(1)计算出当前时刻主屏幕上参会用户的权重后，进一步可以按比例计算出参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度。例如，假设多媒体会议界面上需要同时显示A、B、C三个参会用户所对应的视频信息流画面，则可以通过下述公式(2)、(3)、(4)分别计算出这三个参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度：

其中，W_A、W_B、W_C分别表示A、B、C三个参会用户所对应的多媒体信息流画面分别所占据的主屏幕的理论宽度；ScoreA、ScoreB、ScoreC分别表示利用上述公式(1)计算出的A、B、C三个参会用户的权重；W_total表示多媒体会议界面上主屏幕的实际总宽度，例如主屏幕的实际总宽度可以为640像素(px)等。

步骤C2：根据多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度和实际宽度，计算多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量。

需要说明的是，在对多媒体会议界面主屏幕上的各个多媒体信息流画面所占据的主屏幕宽度进行精确修正和调整之前，主屏幕上的各个多媒体信息流画面可能已经实际占据了主屏幕的一定宽度，此处将其定义为多媒体会议的主屏幕上所有参会用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度(此处将其定义为W')，在此基础上，在获取到该实际宽度值W'，并通过步骤C1计算出多媒体会议的主屏幕上所有参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度W后，进一步可以根据该实际宽度值W'和W的取值，计算出多媒体会议的主屏幕上所有参会用户所对应的多媒体信息流画面的理论宽度变化量，并将其定义为ΔW，用以执行后续步骤C3。

具体来讲，一种可选的实现方式是，当多媒体会议界面上的参会用户为当前时刻的发言用户时，本步骤C2的具体实现过程可以包括下属步骤(1)-(3)：

步骤(1)：确定多媒体会议界面上当前时刻发言用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度、预设的变化到的最大宽度、以及该当前时刻发言用户所对应的多媒体信息流的默认宽度这三者中的最小值。

需要说明的是，为了提高用户的感官体验，使得多媒体会议界面的主屏幕上显示的多媒体信息流画面变化更为平滑，本申请实施例预先设定了主屏幕上多媒体信息流画面的最大变化速度，并将其定义为v_max，以防止多媒体信息流画面宽度变化过快，影响用户体验。同时，本申请实施例还预先设定了主屏幕上多媒体信息流画面的宽度变化时间，并将其定义为t，用以表示多媒体信息流画面移动宽度变化量ΔW所需的时间，并且，v_max和t的具体取值可根据实际情况和经验值进行设定，本实施例对此不进行限定，比如可以将v_max和t分别取值为20px/s和10s等。

在此基础上，可以计算出预设的主屏幕上显示的多媒体信息流画面的能够变化到的最大宽度，此处将其定义为W_V，用以表示t时间内，多媒体信息流画面从原来的实际宽度W'，根据v_max可以变化到的最大宽度，即，W_V＝W'+v_maxt。

此外，由于不同参会用户会采用不同的终端设备(如手机、电脑等)加入多媒体会议，因此，可能导致不同参会用户所对应的多媒体信息流本身的宽度(此处将其定义为W_frame)是不同的，比如，通过电脑摄像头拍摄的视频信息流的宽度默认是640px，但通过手机摄像头拍摄的视频信息流的宽度默认是202px。

因此，在计算多媒体会议主屏幕上参会用户所对应的多媒体信息流画面的理论宽度变化量时，首先需要保证参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度不能超过根据最大变化速度v_max能达到的最大宽度W_V，以防止变化太过剧烈，影响用户体验，并且移动端受限于多媒体信息流(如视频信息流)的宽度W_frame本身较小，也需要考虑W_frame的取值，所以，需要确定出参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度W、预设的变化到的最大宽度W_V、以及该当前时刻的发言用户所对应的多媒体信息流的默认宽度W_frame这三者中的最小值，即，确定出min(W,W_v,W_frame)后，用以执行后续步骤(2)。

步骤(2)：确定最小值与该当前时刻发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度之间的最大值。

在本实现方式中，由于当前时刻需要在多媒体会议的主屏幕上显示的参会用户为当前时刻的发言用户，所以，其可能是通过执行步骤A2(具体为步骤A21-A22)替换了之前在主屏幕上显示的权重最低的参会用户所对应的多媒体信息流画面，即，继承了之前在多媒体会议主屏幕上显示的权重最低的参会用户所对应的多媒体信息流画面所占据的主屏幕宽度。由此，为了避免当前时刻的发言用户所对应的多媒体信息流画面在其说话时变小，在通过步骤(1)确定出参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度W、预设的变化到的最大宽度W_V、以及当前时刻的发言用户所对应的多媒体信息流的默认宽度W_frame这三者中的最小值，即，确定出min(W,W_v,W_frame)后，进一步还需要确定出该最小值与参会用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度W'之间的最大值，即，确定出max[W',min(W,W_v,W_frame)]，用以执行后续步骤(3)。

步骤(3)：计算最大值与当前时刻发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度之间的差值，作为当前时刻发言用户所对应的多媒体信息流画面的理论宽度变化量。

在本实现方式中，通过步骤(2)确定出_max[W',min(W,W_v,W_frame)]后，进一步可以计算出该最大值与当前时刻发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度W'之间的差值，作为当前时刻发言用户所对应的多媒体信息流画面的理论宽度变化量ΔW，即，ΔW＝max[W',min(W,W_v,W_frame)]-W'，用以执行后续步骤C3。

或者，另一种可选的实现方式是，当多媒体会议的界面上的参会用户不是当前时刻的发言用户时，本步骤C2的具体实现过程可以包括下属步骤1)-2)：

步骤1)：确定多媒体会议界面上当前时刻非发言用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度、预设的变化到的最大宽度、以及该当前时刻非发言用户所对应的多媒体信息流的默认宽度中的最小值。

需要说明的是，本步骤1)与上文步骤(1)一致，仅是将当前时刻发言用户替换为当前时刻非发言用户即可，相关之处请参见上文步骤(1)的介绍，在此不再赘述。

步骤2)：计算最小值与该当前时刻非发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度之间的差值，作为当前时刻非发言用户所对应的多媒体信息流画面的理论宽度变化量。

在本实现方式中，由于当前时刻需要会议的主屏幕上显示的参会用户为当前时刻的非发言用户，所以，在计算该非发言用户所对应的多媒体信息流画面的理论宽度变化量时，首先需要保证该非发言用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度不能超过根据最大变化速度v_max能达到的最大宽度W_V，以防止变化太过剧烈，影响用户体验，并且移动端受限于多媒体信息流信息流的宽度W_frame本身较小，也需要考虑W_frame的取值，限制该非发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度W'不能大于多媒体信息流本身的默认宽度W_frame，即W'≤W_frame。所以，需要确定出该非发言用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度W、预设的变化到的最大宽度W_V、以及该当前时刻非发言参会用户所对应的多媒体信息流的默认宽度W_frame这三者中的最小值，即，确定出min(W,W_v,W_frame)，并计算该最小值与该当前时刻非发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度W'之间的差值，作为该当前时刻非发言用户所对应的多媒体信息流画面的理论宽度变化量ΔW，即，ΔW＝min(W,W_v,W_frame)-W'，用以执行后续步骤C3。

步骤C3：根据预设的最小宽度变化量，调整多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量，得到调整结果。

需要说明的是，为了提高用户的感官体验，避免多媒体会议界面主屏幕上显示的多媒体信息流画面变化过于频繁，出现屏幕“抖动”的情况，本申请实施例预先设定了主屏幕上多媒体信息流画面的最小宽度变化量，并将其定义为ΔW_min，用于判定主屏幕上多媒体信息流画面实际是否发生宽度变化的临界值，若计算出主屏幕上多媒体会议界面画面的理论宽度变化量ΔW小于该最小宽度变化量ΔW_min，则将其理论宽度变化量ΔW调整为零，得到调整结果；若计算出主屏幕上多媒体会议界面画面的理论宽度变化量ΔW不小于该最小宽度变化量ΔW_min，则通过后续步骤C31-C33，对其理论宽度变化量ΔW进行调整，得到调整结果，用以执行后续步骤C4。

其中，最小宽度变化量ΔW_min的取值可根据多媒体会议界面主屏幕的实际总宽度以及经验值来确定，本申请实施例对此不进行限定，比如可以将ΔW_min取值为60px等。

具体来讲，一种可选的实现方式是，本步骤C3的具体实现过程可以包括下属步骤C31、步骤C32或步骤C33：

步骤C31：当多媒体会议界面上理论宽度变化量小于预设的最小宽度变化量的多媒体信息流画面的数量不小于预设数量时，调整多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量为零，作为调整结果。

在本实现方式中，预设数量的取值与多媒体会议主屏幕上同时可以显示的多媒体信息流画面的总数量有关，可根据实际情况和经验值进行设定，本申请实施例对此不进行限定。例如，假设多媒体会议主屏幕上最多可以同时显示三幅不同参会用户所对应的多媒体信息流画面。且将预设数量取值为2，则当多媒体会议界面上理论宽度变化量小于预设的最小宽度变化量的多媒体信息流画面的数量不小于两幅时，即，当主屏幕上|ΔW|＜|ΔW_min|的多媒体信息流画面为两幅或三幅时，可以将主屏幕上所有三幅多媒体信息流画面对应的理论宽度变化量ΔW均调整为零，即，ΔW＝0，作为调整结果。

步骤C32：当多媒体会议界面上理论宽度变化量小于预设的最小宽度变化量的多媒体信息流画面的数量小于预设数量且不为零时，调整理论宽度变化量小于预设的最小宽度变化量的多媒体信息流画面的理论宽度变化量为零，并对多媒体会议界面上的其他多媒体信息流画面对应理论宽度变化量进行按比例分配。

在本实现方式中，仍假设需要在多媒体会议主屏幕上最多可以同时显示三幅不同参会用户所对应的多媒体信息流画面。且将预设数量取值为2，则当多媒体会议界面上理论宽度变化量小于预设的最小宽度变化量的多媒体信息流画面的数量小于2且不为0时，即，当主屏幕上|ΔW|＜|ΔW_min|的多媒体信息流画面为一幅时，可将该幅多媒体信息流画面对应的理论宽度变化量ΔW调整为零，并将主屏幕上的其他两幅多媒体信息流画面对应的理论宽度变化量ΔW进行按比例分配。

举例说明：假设需要在多媒体会议界面主屏幕上同时显示的三幅不同参会用户所对应的多媒体信息流画面分别为A、B、C，三幅不同参会用户所对应的多媒体信息流画面，且对应的理论宽度变化量分别为ΔW_A＝10、ΔW_B＝30、ΔW_C＝-50，且ΔW_min＝20，其中，若ΔW为正值，则表示对应的多媒体信息流画面需要拓宽相应数值的宽度，反之，若ΔW为负值，则表示对应的多媒体信息流画面需要缩小相应数值的宽度。

在此基础上，由于ΔW_A≤ΔW_min，即，10<20，所以可以将ΔW_A调整为零，即ΔW_A＝0。又因为|ΔW_B+ΔW_C|＝|30-50|＝20，所以可以将这调整后的理论宽度变化量20重新再按比例分配给B、C两幅多媒体信息流画面，以保证主屏幕上所有多媒体信息流画面的宽度变化量的总和为零，具体的分配公式如下所示：

其中，ΔW_B'、ΔW_C'分别表示按比例分配后B、C两幅多媒体信息流画面分别对应的调整后的理论宽度变化量(即调整结果)。

步骤C33：当多媒体会议界面上理论宽度变化量小于预设的最小宽度变化量的多媒体信息流画面的数量为零时，将多媒体会议界面上所有参会用户所对应的多媒体信息流画面的理论宽度变化量求和，并根据求和结果，对多媒体会议界面上所有多媒体信息流画面的理论宽度变化量进行按比例分配。

在本实现方式中，当多媒体会议界面上不存在理论宽度变化量小于预设的最小宽度变化量的多媒体信息流画面时，即，当主屏幕上不存在|ΔW|＜|ΔW_min|的多媒体信息流画面时，可将主屏幕上所有参会用户所对应的多媒体信息流画面的理论宽度变化量ΔW求和，并根据求和结果，对主屏幕上的所有多媒体信息流画面的理论宽度变化量ΔW进行按比例分配。

举例说明：仍假设需要在多媒体会议界面主屏幕上同时显示的三幅不同参会用户所对应的多媒体信息流画面分别为A、B、C，三幅不同参会用户所对应的多媒体信息流画面，且对应的理论宽度变化量分别为ΔW_A＝40、ΔW_B＝30、ΔW_C＝-50，且ΔW_min＝20，在此基础上，由于不存在宽度变化量小于ΔW_min的多媒体信息流画面，所以可以将ΔW_A、ΔW_B、ΔW_C求和，得到求和结果的绝对值，即，|ΔW_A+ΔW_B+ΔW_C|＝|40+30-50|＝20。进而可以将这调整后的理论宽度变化量20重新再按比例分配给A、B、C三幅多媒体信息流画面，以保证主屏幕上所有多媒体信息流画面的宽度变化量的总和为零，具体的分配公式如下所示：

其中，ΔW_A'、ΔW_B'、ΔW_C'分别表示按比例分配后A、B、C三幅多媒体信息流画面分别对应的调整后的理论宽度变化量(即调整结果)。

步骤C4：根据调整结果，确定多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的最终宽度。

在本实现方式中，通过步骤C3确定出多媒体会议界面主屏幕上所有参会用户所对应的多媒体信息流画面的对应的调整后的宽度变化量(即调整结果，此处可将其定义为ΔW')后，进一步可以将该调整后的宽度变化量ΔW'与原来参会用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度W'进行求和，并将得到的求和结果，作为参会用户所对应的多媒体信息流画面所占据的主屏幕的最终宽度，并利用所述最终宽度完成对多媒体会议主屏幕上的各个多媒体视频流画面的智能布局。

一种可选的实现方式是，为了使得多媒体会议界面的主屏幕上显示的多媒体信息流画面变化更为平滑，在得到参会用户所对应的多媒体信息流画面所占据的主屏幕的最终宽度后，可以根据得到参会用户所对应的多媒体信息流画面所占据的主屏幕的最终宽度(此处将其定义为s)，以及预设宽度变化时间t，确定出多媒体会议界面上参会用户所对应的多媒体信息流画面在主屏幕上的宽度变化速度(此处将其定义为v)，即，

且该宽度变化速度v必然是小于预先设定的主屏幕上多媒体信息流画面的最大变化速度v_max，进一步可以按照该宽度变化速度v，将多媒体会议界面上参会用户所对应的多媒体信息流画面在主屏幕上进行宽度的“渐变式”调整，从而能够防止多媒体信息流画面宽度变化过快，影响用户体验，进而完成了对多媒体会议界面上的各个多媒体信息流画面的智能布局。

此外，在本申请实施例的一种可能的实现方式中，多媒体信息流画面包括视频信息流画面；则对于多媒体会议界面上参会用户所对应的多媒体信息流画面的获取方式可以包括：以多媒体会议界面上参会用户的人脸位置作为目标截取区域(如以人脸位置作为中线)，对参会用户的初始视频信息流进行截取生成；或者，以参会用户的人脸位置靠近的初始视频信息流的边界作为参会用户所对应的视频信息流画面所占据的主屏幕的最终宽度的边界，再对参会用户的初始视频信息流进行截取生成；其中，初始视频信息流是基于视频采集设备(如手机摄像头、电脑摄像头等)采集得到的。

举例说明：如图4所示，假设参会用户的初始视频信息流为如图4整体灰色部分的宽度640px，且计算出的参会用户所对应的视频信息流画面所占据的主屏幕的最终宽度为188px，则为了更好将视频信息流画面中的参会用户信息展示给其他参会用户，可以将画面中参会用户的人脸位置作为中线，同时向左、右均匀扩展，直至截取出宽度为188px的视频信息流画面，如图4中黑色框图内所示，作为参会用户所对应的最终的视频信息流画面。

或者，如图5所示，仍假设参会用户的初始视频信息流为如图5整体灰色部分的宽度640px，且计算出的参会用户所对应的视频信息流画面所占据的主屏幕的最终宽度为188px，但初始视频流画面中参会用户的人脸位置比较靠近一侧边界，则为了更好将视频信息流画面中的参会用户信息展示给其他参会用户，可以将画面中参会用户的人脸位置靠近的一侧边界作为参会用户所对应的视频信息流画面所占据的主屏幕的最终宽度的一侧边界，并以此为边界向另一侧扩展(如图5是向右侧扩展)，直至截取出宽度为188px的视频信息流画面，如图5中黑色框图内所示，作为参会用户所对应的最终的视频信息流画面。

另外，在本申请实施例的另一种可能的实现方式中，当多媒体会议界面上所有参会用户所对应的多媒体信息流画面所占据的主屏幕的总宽度小于主屏幕的实际总宽度时，将多媒体会议界面的主屏幕上所有参会用户所对应的多媒体信息流画面进行居中显示，并将主屏幕两侧的剩余宽度位置填充黑边。

举例说明：如图6所示，假设多媒体会议界面上所有A、B、C三个参会用户所对应的多媒体信息流画面所占据的主屏幕的总宽度为606px，小于主屏幕的实际总宽度640px，此时，为了提高屏幕显示的美观性和完整性，可以将主屏幕上所有A、B、C三个参会用户所对应的多媒体信息流画面居中显示，再对主屏幕两侧的剩余宽度位置填充黑边，如图6所示的在主屏幕两侧的剩余宽度位置填充黑边。

需要说明的是，本申请实施例对主屏幕中剩余宽度位置填充的具体内容不做限定，比如可以填充如图6所示的黑边，也可以填充其他内容，如其他颜色的花边或图案等等。

综上，本实施例提供的多媒体会议自动布局方法，首先获取当前时刻多媒体会议中参会用户的参会信息；其中，参会信息用于表征参会用户在多媒体会议中的参与度，然后基于参会信息确定参会用户的显示权重，接着，根据参会用户的显示权重以及预设的显示规则，将多媒体会议中参会用户所对应的多媒体信息流画面在多媒体会议界面上进行自动布局。可见，由于本申请实施例是先根据参会用户的参会信息确定出参会用户的显示权重，再根据显示权重以及预设的显示规则，对多媒体会议界面上的多媒体信息流画面进行智能布局，相比于仅根据发言用户的说话音量和用户的脸部面积进行布局的方式，充分考虑了所有参会用户的历史时刻和当前时刻的参会信息，使得多媒体会议界面上显示的多媒体信息流画面的布局依据更充分，画面变化也更为平滑，并且在多用户轮流发言、对话的场景，界面上也会持续呈现出参与对话的多个用户的多媒体信息流，提高了参会用户的交互性，进而能够提高用户的参会体验。

第二实施例

本实施例将对一种多媒体会议自动布局装置进行介绍，相关内容请参见上述方法实施例。

参见图7，为本实施例提供的一种多媒体会议自动布局装置的组成示意图，该装置700包括：

获取单元701，用于获取当前时刻多媒体会议中参会用户的参会信息；所述参会信息用于表征所述参会用户在所述多媒体会议中的参与度；

确定单元702，用于基于所述参会信息确定所述参会用户的显示权重；

布局单元703，用于根据所述参会用户的显示权重以及预设的显示规则，将所述多媒体会议中参会用户所对应的多媒体信息流画面在所述多媒体会议界面上进行自动布局。

在本实施例的一种实现方式中，所述确定单元702具体用于：

按照预设周期，基于所述参会信息，确定所述参会用户的显示权重；

或者，当检测出有参会用户发言时，基于所述参会信息确定所述参会用户的显示权重。

在本实施例的一种实现方式中，所述布局单元703具体用于：

若当前在多媒体会议界面上显示的参会用户所对应的多媒体信息流画面的数量小于预设阈值，则将当前时刻的发言用户所对应的多媒体信息流画面在所述多媒体会议界面上进行上屏显示；

或者，若当前在多媒体会议界面上显示的参会用户所对应的多媒体信息流画面的数量达到预设阈值，则利用当前时刻的发言用户所对应的多媒体信息流画面替换当前在多媒体会议界面上显示权重最低的参会用户所对应的多媒体信息流画面。

在本实施例的一种实现方式中，所述布局单元703包括：

第一计算子单元，用于根据当前时刻所述参会用户的权重，计算多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度；

第二计算子单元，用于根据多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度和实际宽度，计算所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量；

第一调整子单元，用于根据预设的最小宽度变化量，调整所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量，得到调整结果；

布局子单元，用于根据所述调整结果，确定所述多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的最终宽度，并利用所述最终宽度对所述参会用户所对应的多媒体信息流画面在所述多媒体会议界面上进行自动布局。

在本实施例的一种实现方式中，所述第二计算子单元包括：

第一确定子单元，用于确定多媒体会议界面上当前时刻发言用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度、预设的变化到的最大宽度、以及所述当前时刻发言用户所对应的多媒体信息流的默认宽度这三者中的最小值；

第二确定子单元，用于确定所述最小值与所述当前时刻发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度之间的最大值；

第一作为子单元，用于计算最大值与所述当前时刻发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度之间的差值，作为所述当前时刻发言用户所对应的多媒体信息流画面的理论宽度变化量。

在本实施例的一种实现方式中，所述第二计算子单元包括：

第三确定子单元，用于确定多媒体会议界面上当前时刻非发言用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度、预设的变化到的最大宽度、以及所述当前时刻非发言用户所对应的多媒体信息流的默认宽度中的最小值；

第二作为子单元，用于计算所述最小值与所述当前时刻非发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度之间的差值，作为所述当前时刻非发言用户所对应的多媒体信息流画面的理论宽度变化量。

在本实施例的一种实现方式中，所述第一调整子单元具体用于：

当所述多媒体会议界面上理论宽度变化量小于所述预设的最小宽度变化量的多媒体信息流画面的数量不小于预设数量时，调整所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量为零，作为调整结果；

或者，当所述多媒体会议界面上理论宽度变化量小于所述预设的最小宽度变化量的多媒体信息流画面的数量小于预设数量且不为零时，调整所述理论宽度变化量小于所述预设的最小宽度变化量的多媒体信息流画面的理论宽度变化量为零，并对多媒体会议界面上的其他多媒体信息流画面对应理论宽度变化量进行按比例分配。

或者，当所述多媒体会议界面上理论宽度变化量小于所述预设的最小宽度变化量的多媒体信息流画面的数量为零时，将所述多媒体会议界面上所有参会用户所对应的多媒体信息流画面的理论宽度变化量求和，并根据求和结果，对所述多媒体会议界面上所有多媒体信息流画面的理论宽度变化量进行按比例分配。

在本实施例的一种实现方式中，所述布局子单元包括：

第四确定子单元，用于根据预设宽度变化时间以及所述最终宽度，确定所述多媒体会议界面上参会用户所对应的多媒体信息流画面在主屏幕上的宽度变化速度；

第二调整子单元，用于按照所述宽度变化速度，将所述多媒体会议界面上参会用户所对应的多媒体信息流画面在主屏幕上进行宽度调整。

在本实施例的一种实现方式中，所述多媒体信息流画面包括视频信息流画面；所述装置还包括：

截取单元，用于以所述多媒体会议界面上参会用户的人脸位置作为目标截取区域，对所述参会用户的初始视频信息流进行截取生成所述参会用户所对应的多媒体信息流画面；或者，以所述参会用户的人脸位置靠近的初始视频信息流的边界作为所述参会用户所对应的视频信息流画面所占据的主屏幕的最终宽度的边界，再对所述参会用户的初始视频信息流进行截取生成所述参会用户所对应的多媒体信息流画面；其中，所述初始视频信息流是基于视频采集设备采集得到的。

在本实施例的一种实现方式中，所述布局单元703具体用于：

若当前在多媒体会议界面上显示了第一预设数目的参会用户所对应的多媒体信息流画面，则判断所述第一预设数目的多媒体信息流画面中是否存在显示权重低于第一预设权重的参会用户，若是，则将所述参会用户的多媒体信息流进行下屏显示，若否，则保持所述参会用户的多媒体信息流画面继续在多媒体会议界面上进行显示；

或者，若当前在多媒体会议界面上显示了第二预设数目的参会用户所对应的多媒体信息流画面，则判断所述第二预设数目的多媒体信息流画面中是否存在显示权重低于第二预设权重的参会用户，若是，则将所述显示权重低于第二预设权重的参会用户所对应的多媒体信息流画面进行下屏显示，若否，则保持所述多媒体信息流画面继续在多媒体会议界面上进行显示；所述第二预设权重小于所述第一预设权重；

或者，若当前在多媒体会议界面上显示了第三预设数目的参会用户所对应的多媒体信息流画面，则判断所述第三预设数目的多媒体信息流画面中是否存在显示权重低于第三预设权重的参会用户，若是，则将所述显示权重低于第三预设权重的参会用户所对应的多媒体信息流画面进行下屏显示，若否，则保持所述多媒体信息流画面继续在多媒体会议界面上进行显示；所述第三预设权重小于所述第二预设权重。

在本实施例的一种实现方式中，所述装置还包括：

填充单元，用于当所述多媒体会议界面上所有参会用户所对应的多媒体信息流画面所占据的主屏幕的总宽度小于主屏幕的实际总宽度时，将所述主屏幕上所有参会用户所对应的多媒体信息流画面进行居中显示，并将所述主屏幕两侧的剩余宽度位置填充黑边。

在本实施例的一种实现方式中，所述多媒体信息流画面包括音频数据流画面和/或视频信息流画面。

进一步地，本申请实施例还提供了一种多媒体会议自动布局设备，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述多媒体会议自动布局方法的任一种实现方法。

进一步地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述多媒体会议自动布局方法的任一种实现方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本申请各个实施例或者实施例的某些部分所述的方法。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种多媒体会议自动布局方法，其特征在于，所述方法包括：

获取当前时刻多媒体会议中参会用户的参会信息；所述参会信息用于表征所述参会用户在所述多媒体会议中的参与度；

基于所述参会信息确定所述参会用户的显示权重；

根据所述参会用户的显示权重以及预设的显示规则，将所述多媒体会议中参会用户所对应的多媒体信息流画面在所述多媒体会议界面上进行自动布局。

2.根据权利要求1所述的方法，其特征在于，所述基于所述参会信息确定所述参会用户的显示权重，包括：

按照预设周期，基于所述参会信息，确定所述参会用户的显示权重；

或者，当检测出有参会用户发言时，基于所述参会信息确定所述参会用户的显示权重。

3.根据权利要求1所述的方法，其特征在于，所述根据所述参会用户的显示权重以及预设的显示规则，将所述多媒体会议中参会用户所对应的多媒体信息流画面在所述多媒体会议界面上进行自动布局，包括：

若当前在多媒体会议界面上显示的参会用户所对应的多媒体信息流画面的数量小于预设阈值，则将当前时刻的发言用户所对应的多媒体信息流画面在所述多媒体会议界面上进行上屏显示；

或者，若当前在多媒体会议界面上显示的参会用户所对应的多媒体信息流画面的数量达到预设阈值，则利用当前时刻的发言用户所对应的多媒体信息流画面替换当前在多媒体会议界面上显示权重最低的参会用户所对应的多媒体信息流画面。

4.根据权利要求1所述的方法，其特征在于，所述根据所述参会用户的显示权重以及预设的显示规则，将所述多媒体会议中参会用户所对应的多媒体信息流画面在所述多媒体会议界面上进行自动布局，包括：

根据当前时刻所述参会用户的权重，计算多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度；

根据多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度和实际宽度，计算所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量；

根据预设的最小宽度变化量，调整所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量，得到调整结果；

根据所述调整结果，确定所述多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的最终宽度，并利用所述最终宽度对所述参会用户所对应的多媒体信息流画面在所述多媒体会议界面上进行自动布局。

5.根据权利要求4所述的方法，其特征在于，所述根据多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度和实际宽度，计算所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量，包括：

确定多媒体会议界面上当前时刻发言用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度、预设的变化到的最大宽度、以及所述当前时刻发言用户所对应的多媒体信息流的默认宽度这三者中的最小值；

确定所述最小值与所述当前时刻发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度之间的最大值；

计算最大值与所述当前时刻发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度之间的差值，作为所述当前时刻发言用户所对应的多媒体信息流画面的理论宽度变化量。

6.根据权利要求4所述的方法，其特征在于，所述根据多媒体会议界面上参会用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度和实际宽度，计算所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量，包括：

确定多媒体会议界面上当前时刻非发言用户所对应的多媒体信息流画面所占据的主屏幕的理论宽度、预设的变化到的最大宽度、以及所述当前时刻非发言用户所对应的多媒体信息流的默认宽度中的最小值；

计算所述最小值与所述当前时刻非发言用户所对应的多媒体信息流画面所占据的主屏幕的实际宽度之间的差值，作为所述当前时刻非发言用户所对应的多媒体信息流画面的理论宽度变化量。

7.根据权利要求4所述的方法，其特征在于，所述根据预设的最小宽度变化量，调整所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量，得到调整结果，包括：

当所述多媒体会议界面上理论宽度变化量小于所述预设的最小宽度变化量的多媒体信息流画面的数量不小于预设数量时，调整所述多媒体会议界面上参会用户所对应的多媒体信息流画面的理论宽度变化量为零，作为调整结果；

或者，当所述多媒体会议界面上理论宽度变化量小于所述预设的最小宽度变化量的多媒体信息流画面的数量小于预设数量且不为零时，调整所述理论宽度变化量小于所述预设的最小宽度变化量的多媒体信息流画面的理论宽度变化量为零，并对多媒体会议界面上的其他多媒体信息流画面对应理论宽度变化量进行按比例分配。

或者，当所述多媒体会议界面上理论宽度变化量小于所述预设的最小宽度变化量的多媒体信息流画面的数量为零时，将所述多媒体会议界面上所有参会用户所对应的多媒体信息流画面的理论宽度变化量求和，并根据求和结果，对所述多媒体会议界面上所有多媒体信息流画面的理论宽度变化量进行按比例分配。

8.根据权利要求4所述的方法，其特征在于，所述利用所述最终宽度对所述参会用户所对应的多媒体信息流画面在所述多媒体会议界面上进行自动布局，包括：

根据预设宽度变化时间以及所述最终宽度，确定所述多媒体会议界面上参会用户所对应的多媒体信息流画面在主屏幕上的宽度变化速度；

按照所述宽度变化速度，将所述多媒体会议界面上参会用户所对应的多媒体信息流画面在主屏幕上进行宽度调整。

9.根据权利要求1所述的方法，其特征在于，所述多媒体信息流画面包括视频信息流画面；所述多媒体会议界面上参会用户所对应的多媒体信息流画面的获取方式如下：

以所述多媒体会议界面上参会用户的人脸位置作为目标截取区域，对所述参会用户的初始视频信息流进行截取生成；或者，以所述参会用户的人脸位置靠近的初始视频信息流的边界作为所述参会用户所对应的视频信息流画面所占据的主屏幕的最终宽度的边界，再对所述参会用户的初始视频信息流进行截取生成；其中，所述初始视频信息流是基于视频采集设备采集得到的。

10.根据权利要求1所述的方法，其特征在于，所述根据所述参会用户的显示权重以及预设的显示规则，将所述多媒体会议中参会用户所对应的多媒体信息流画面在所述多媒体会议界面上进行自动布局，包括：

若当前在多媒体会议界面上显示了第一预设数目的参会用户所对应的多媒体信息流画面，则判断所述第一预设数目的多媒体信息流画面中是否存在显示权重低于第一预设权重的参会用户，若是，则将所述参会用户的多媒体信息流进行下屏显示，若否，则保持所述参会用户的多媒体信息流画面继续在多媒体会议界面上进行显示；

若当前在多媒体会议界面上显示了第二预设数目的参会用户所对应的多媒体信息流画面，则判断所述第二预设数目的多媒体信息流画面中是否存在显示权重低于第二预设权重的参会用户，若是，则将所述显示权重低于第二预设权重的参会用户所对应的多媒体信息流画面进行下屏显示，若否，则保持所述多媒体信息流画面继续在多媒体会议界面上进行显示；所述第二预设权重小于所述第一预设权重；

若当前在多媒体会议界面上显示了第三预设数目的参会用户所对应的多媒体信息流画面，则判断所述第三预设数目的多媒体信息流画面中是否存在显示权重低于第三预设权重的参会用户，若是，则将所述显示权重低于第三预设权重的参会用户所对应的多媒体信息流画面进行下屏显示，若否，则保持所述多媒体信息流画面继续在多媒体会议界面上进行显示；所述第三预设权重小于所述第二预设权重。

11.根据权利要求1-10任一项所述的方法，其特征在于，所述方法还包括：

当所述多媒体会议界面上所有参会用户所对应的多媒体信息流画面所占据的主屏幕的总宽度小于主屏幕的实际总宽度时，将所述主屏幕上所有参会用户所对应的多媒体信息流画面进行居中显示，并将所述主屏幕两侧的剩余宽度位置填充黑边。

12.根据权利要求1所述的方法，其特征在于，所述多媒体信息流画面包括音频数据流画面和/或视频信息流画面。

13.一种多媒体会议自动布局装置，其特征在于，所述装置包括：

获取单元，用于获取当前时刻多媒体会议中参会用户的参会信息；所述参会信息用于表征所述参会用户在所述多媒体会议中的参与度；

第一确定单元，用于基于所述参会信息确定所述参会用户的显示权重；

布局单元，用于根据所述参会用户的显示权重以及预设的显示规则，将所述多媒体会议中参会用户所对应的多媒体信息流画面在所述多媒体会议界面上进行自动布局。

14.一种多媒体会议自动布局设备，其特征在于，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行权利要求1-12任一项所述的方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行权利要求1-12任一项所述的方法。

Images