CN112422879A - 媒体能力动态调整方法及装置 - Google Patents

Abstract

本申请提供一种媒体能力动态调整方法及装置。该方法包括：媒体增强装置根据来自终端的码流确定媒体信息，媒体信息包括会议场景、与会人员等级和网络信息，网络信息包括带宽和时延，媒体增强装置将媒体信息发送给媒体能力控制器，媒体增强装置接收媒体能力控制器发送的终端的媒体能力调整策略，并根据媒体能力调整策略调整终端对应的会场的媒体能力，媒体能力调整策略为媒体能力控制器根据媒体信息或网络侧设备的业务负载确定。从而，可根据不同终端会场的实际需求调整终端对应的会场的媒体能力，提高用户音视频体验，降低网络负载。

Description

媒体能力动态调整方法及装置

技术领域

本申请涉及通信技术领域，尤其涉及一种媒体能力动态调整方法及装置。

背景技术

在视频会议系统中，每接入一个新的终端，新接入的终端便和多点控制单元(Multipoint Control Unit，MCU)进行最大能力协商，然后以最大媒体能力，向MCU发送码流，其中，媒体能力是指对媒体码流的处理能力，该处理包括：转发、协议转换、编解码能力调整和编码分辨率调整，以及同一编码分辨率下编码参数的调整等。因此，随着接入会场的终端数增加，MCU接收终端所发送的媒体码流量也成比例上升，很容易出现MCU单机的系统负载瓶颈，同时传输网络中的带宽被大量占用，网络延迟增加，进而导致网络拥塞，影响整个会议的媒体质量和体验。因此需要对终端媒体能力进行动态调整。

相关技术中的调整过程为：MCU探测终端到MCU的网络信息(包括带宽和时延)，根据终端到MCU的网络信息进行编码分辨率的提升或下降。如初始网络带宽为4M时，且双方具备1080p的编码分辨率时，则会以最大编码分辨率1080p接入会场，而随着接入会场的终端数增加，整体网络带宽和延迟增加，如MCU探测到终端到MCU的带宽低于2M时，则将编码分辨率降低到720p，如果网络带宽进一步降低，则会导致更进一步的调低编码分辨率。当网络带宽恢复后，再根据阈值提升回原始编码分辨率。

上述方法是根据网络信息对编码分辨率进行调整，在全网整体网络负载高时，会造成各个会场的视频效果同时降低，且在网络带宽恢复后，会继续恢复到原始编码分辨率，占用网络带宽，使得MCU始终保持在高负载的情况。

发明内容

本申请提供一种媒体能力动态调整方法及装置，可根据不同终端会场的实际需求调整终端对应的会场的媒体能力，提高用户音视频体验，降低网络负载。

第一方面，本申请提供一种媒体能力动态调整方法，包括：

媒体增强装置根据来自终端的码流确定媒体信息，所述媒体信息包括会议场景、与会人员等级和网络信息，所述网络信息包括带宽和时延；

所述媒体增强装置将所述媒体信息发送给媒体能力控制器；

所述媒体增强装置接收所述媒体能力控制器发送的所述终端的媒体能力调整策略，并根据所述媒体能力调整策略调整所述终端对应的会场的媒体能力，所述媒体能力调整策略为所述媒体能力控制器根据所述媒体信息或网络侧设备的业务负载确定。

通过第一方面提供的媒体能力动态调整方法，通过媒体增强装置根据来自终端的码流确定媒体信息并上报给媒体能力控制器，媒体信息包括会议场景、与会人员等级和网络信息，媒体能力控制器据媒体信息或网络侧设备的业务负载确定终端的媒体能力调整策略，然后将终端的媒体能力调整策略下发给终端的媒体增强装置，媒体增强装置根据接收到的媒体能力调整策略调整终端对应的会场的媒体能力。从而可实现根据不同终端的实际需求调整终端对应的会场的媒体能力，得到全局的最优调整，提高了用户音视频体验，全网网络负载更低，对于视频会议系统本身，由于动态调整了大量不需要以最大媒体能力收发的终端对应的会场，降低了整个视频会议系统的业务负载和网络拥塞的负担，使得视频会议系统可以在服务器侧硬件不变的情况下，提供更高的系统容量。

在一种可能的设计中，所述媒体增强装置根据来自终端的码流确定终端的媒体信息，包括：

所述媒体增强装置对所述来自终端的码流进行音频解码和视频解码；

所述媒体增强装置对音频解码结果和视频解码结果分别进行声纹检测和视频检测，识别出会议场景；

所述媒体增强装置根据所述视频解码结果和人员等级信息库进行人脸匹配，识别出与会人员等级；

所述媒体增强装置根据所述来自终端的码流探测出网络信息。

在一种可能的设计中，所述媒体增强装置根据来自终端的码流确定终端的媒体信息之前，所述方法还包括：

所述媒体增强装置接收应用服务器发送的与会人员等级列表并保存；

所述媒体增强装置接收人工智能网关发送的和所述与会人员等级列表对应的用户人脸数据；

所述媒体增强装置将所述与会人员等级列表和所述用户人脸数据关联，得到所述人员等级信息库。

在一种可能的设计中，所述会议场景包括发言场景、收听场景、茶歇场景、分组讨论场景或共享数据场景中的一种。

在一种可能的设计中，所述媒体能力调整策略包括：媒体能力的提高或降低，所述媒体能力包括分辨率、编码协议和编码参数中的至少一项，所述编码参数包括量化参数QP、带宽、帧率和抗丢包冗余度中的至少一项。

在一种可能的设计中，当所述媒体信息指示所述终端对应的会场具有高优先级时，所述媒体能力调整策略为提高所述终端对应的会场的媒体能力；

当所述媒体信息指示所述终端对应的会场具有低优先级时，所述媒体能力调整策略为降低所述终端对应的会场的媒体能力。

通过该实施方式提供的媒体能力动态调整方法，终端对应的会场具有高优先级时，媒体能力调整策略为提高所终端对应的会场的媒体能力，终端对应的会场具有低优先级时，媒体能力调整策略为降低终端对应的会场的媒体能力，从而可实现根据不同终端的实际需求调整终端对应的会场的媒体能力，得到全局的最优调整，提高了用户音视频体验，全网网络负载更低。

在一种可能的设计中，所述提高所述终端对应的会场的媒体能力包括提高所述媒体增强装置的媒体能力，或提高所述终端的媒体能力；

所述降低所述终端对应的会场的媒体能力包括降低所述媒体增强装置的媒体能力，或降低所述终端的媒体能力。

在一种可能的设计中，若确定出的会议场景为发言场景，所述终端对应的会场的与会人员等级最高，且带宽大于带宽阈值、时延小于时延阈值时，所述终端对应的会场具有高优先级，则所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、降低QP和进行协议转换中的至少一项；

若确定出的会议场景为发言场景，所述终端对应的会场的与会人员等级最高，且带宽小于带宽阈值、时延大于时延阈值时，所述终端对应的会场具有高优先级，则所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、提高抗丢包冗余度和进行协议转换中的至少一项；

若所述终端的会议场景为茶歇场景或收听场景，所述终端对应的会场具有低优先级，则所述媒体能力调整策略为：降低所述终端对应的会场向所述网络侧设备发送码流的分辨率和降低编码带宽；

当所述业务负载大于预设阈值时，若所述终端对应的会场的与会人员等级为付费用户，所述终端对应的会场具有高优先级，则所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率和所述网络侧设备向所述终端对应的会场发送码流的分辨率；

当所述业务负载大于预设阈值时，若所述终端的与会人员等级为免费用户，所述终端对应的会场具有高优先级，则所述媒体能力调整策略为：降低所述终端对应的会场向所述网络侧设备发送码流的分辨率和所述网络侧设备向所述终端对应的会场发送码流的分辨率。

在一种可能的设计中，所述业务负载包括中央处理器CPU占用率、终端数量、会场数量和会议类型。

第二方面，本申请提供一种媒体能力动态调整方法，包括：

媒体能力控制器接收媒体增强装置发送的媒体信息，所述媒体信息包括：会议场景、与会人员等级和网络信息，所述网络信息包括带宽和时延；

所述媒体能力控制器根据所述媒体信息或网络侧设备的业务负载确定所述终端的媒体增强装置的媒体能力调整策略；

所述媒体能力控制器向所述媒体增强装置发送所述终端的媒体能力调整策略，所述媒体能力调整策略用于指示所述媒体增强装置调整所述终端对应的会场的媒体能力。

通过第二方面提供的媒体能力动态调整方法，通过媒体增强装置根据来自终端的码流确定媒体信息并上报给媒体能力控制器，媒体信息包括会议场景、与会人员等级和网络信息，媒体能力控制器据媒体信息或网络侧设备的业务负载确定终端的媒体能力调整策略，然后将终端的媒体能力调整策略下发给终端的媒体增强装置，媒体增强装置根据接收到的媒体能力调整策略调整终端对应的会场的媒体能力。从而可实现根据不同终端的实际需求调整终端对应的会场的媒体能力，得到全局的最优调整，提高了用户音视频体验，全网网络负载更低，对于视频会议系统本身，由于动态调整了大量不需要以最大媒体能力收发的终端对应的会场，降低了整个视频会议系统的业务负载和网络拥塞的负担，使得视频会议系统可以在服务器侧硬件不变的情况下，提供更高的系统容量。

在一种可能的设计中，所述会议场景包括发言场景、收听场景、茶歇场景、分组讨论场景或共享数据场景中的一种。

在一种可能的设计中，所述媒体能力调整策略包括：

媒体能力的提高或降低，所述媒体能力包括分辨率、编码协议和编码参数中的至少一项，所述编码参数包括量化参数QP、带宽、帧率和抗丢包冗余度中的至少一项。

在一种可能的设计中，所述媒体能力控制器根据所述媒体信息或网络侧设备的业务负载确定所述终端的媒体能力调整策略，包括：

当所述媒体信息指示所述终端对应的会场具有高优先级时，所述媒体能力控制器确定所述媒体能力调整策略为提高所述终端对应的会场的媒体能力；

当所述媒体信息指示所述终端对应的会场具有低优先级时，所述媒体能力控制器确定所述媒体能力调整策略为降低所述终端对应的会场的媒体能力。

通过该实施方式提供的媒体能力动态调整方法，终端对应的会场具有高优先级时，媒体能力调整策略为提高所终端对应的会场的媒体能力，终端对应的会场具有低优先级时，媒体能力调整策略为降低终端对应的会场的媒体能力，从而可实现根据不同终端的实际需求调整终端对应的会场的媒体能力，得到全局的最优调整，提高了用户音视频体验，全网网络负载更低。

在一种可能的设计中，所述提高所述终端对应的会场的媒体能力包括提高所述媒体增强装置的媒体能力，或提高所述终端的媒体能力；

所述降低所述终端对应的会场的媒体能力包括降低所述媒体增强装置的媒体能力，或降低所述终端的媒体能力。

在一种可能的设计中，所述媒体能力控制器根据所述媒体信息或网络侧设备的业务负载确定所述终端的媒体能力调整策略，包括：

若会议场景为发言场景，所述终端对应的会场的与会人员等级最高，且带宽大于带宽阈值、时延小于时延阈值时，所述终端对应的会场具有高优先级，则所述媒体能力控制器确定所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、降低QP和进行协议转换中的至少一项；

若会议场景为发言场景，所述终端对应的会场的与会人员等级最高，且带宽小于带宽阈值、时延大于时延阈值时，所述终端对应的会场具有高优先级，则所述媒体能力控制器确定所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、提高抗丢包冗余度和进行协议转换中的至少一项；

若所述终端的会议场景为茶歇场景或收听场景，所述终端对应的会场具有低优先级，则所述媒体能力控制器确定所述媒体能力调整策略为：降低所述终端对应的会场向所述网络侧设备发送码流的分辨率和降低编码带宽；

当所述业务负载大于预设阈值时，若所述终端对应的会场的与会人员等级为付费用户，所述终端对应的会场具有高优先级，则所述媒体能力控制器确定所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率和所述网络侧设备向所述终端对应的会场发送码流的分辨率；

当所述业务负载大于预设阈值时，若所述终端的与会人员等级为免费用户，所述终端对应的会场具有高优先级，则所述媒体能力控制器确定所述媒体能力调整策略为：降低所述终端对应的会场向所述网络侧设备发送码流的分辨率和所述网络侧设备向所述终端对应的会场发送码流的分辨率。

在一种可能的设计中，所述业务负载包括中央处理器CPU占用率、终端数量、会场数量和会议类型。

第三方面，本申请提供一种媒体增强装置，包括：

确定模块，用于根据来自终端的码流确定媒体信息，所述媒体信息包括会议场景、与会人员等级和网络信息，所述网络信息包括带宽和时延；

发送模块，用于将所述媒体信息发送给媒体能力控制器；

接收模块，用于接收所述媒体能力控制器发送的所述终端的媒体能力调整策略；

处理模块，用于根据所述媒体能力调整策略调整所述终端对应的会场的媒体能力，所述媒体能力调整策略为所述媒体能力控制器根据所述媒体信息或网络侧设备的业务负载确定。

在一种可能的设计中，所述确定模块用于：

对所述来自终端的码流进行音频解码和视频解码；

对音频解码结果和视频解码结果分别进行声纹检测和视频检测，识别出会议场景；

根据所述视频解码结果和人员等级信息库进行人脸匹配，识别出与会人员等级；

根据所述来自终端的码流探测出网络信息。

在一种可能的设计中，所述接收模块还用于：

在所述确定模块根据来自终端的码流确定终端的媒体信息之前，接收应用服务器发送的与会人员等级列表并保存；

接收人工智能网关发送的和所述与会人员等级列表对应的用户人脸数据；

所述处理模块还用于：将所述与会人员等级列表和所述用户人脸数据关联，得到所述人员等级信息库。

在一种可能的设计中，所述会议场景包括发言场景、收听场景、茶歇场景、分组讨论场景或共享数据场景中的一种。

在一种可能的设计中，所述媒体能力调整策略包括：媒体能力的提高或降低，所述媒体能力包括分辨率、编码协议和编码参数中的至少一项，所述编码参数包括量化参数QP、带宽、帧率和抗丢包冗余度中的至少一项。

在一种可能的设计中，当所述媒体信息指示所述终端对应的会场具有高优先级时，所述媒体能力调整策略为提高所述终端对应的会场的媒体能力；

当所述媒体信息指示所述终端对应的会场具有低优先级时，所述媒体能力调整策略为降低所述终端对应的会场的媒体能力。

在一种可能的设计中，所述提高所述终端对应的会场的媒体能力包括提高所述媒体增强装置的媒体能力，或提高所述终端的媒体能力；

所述降低所述终端对应的会场的媒体能力包括降低所述媒体增强装置的媒体能力，或降低所述终端的媒体能力。

在一种可能的设计中，若确定出的会议场景为发言场景，所述终端对应的会场的与会人员等级最高，且带宽大于带宽阈值、时延小于时延阈值时，所述终端对应的会场具有高优先级，则所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、降低QP和进行协议转换中的至少一项；

若确定出的会议场景为发言场景，所述终端对应的会场的与会人员等级最高，且带宽小于带宽阈值、时延大于时延阈值时，所述终端对应的会场具有高优先级，则所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、提高抗丢包冗余度和进行协议转换中的至少一项；

若所述终端的会议场景为茶歇场景或收听场景，所述终端对应的会场具有低优先级，则所述媒体能力调整策略为：降低所述终端对应的会场向所述网络侧设备发送码流的分辨率和降低编码带宽；

当所述业务负载大于预设阈值时，若所述终端对应的会场的与会人员等级为付费用户，所述终端对应的会场具有高优先级，则所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率和所述网络侧设备向所述终端对应的会场发送码流的分辨率；

当所述业务负载大于预设阈值时，若所述终端的与会人员等级为免费用户，所述终端对应的会场具有高优先级，则所述媒体能力调整策略为：降低所述终端对应的会场向所述网络侧设备发送码流的分辨率和所述网络侧设备向所述终端对应的会场发送码流的分辨率。

在一种可能的设计中，所述业务负载包括中央处理器CPU占用率、终端数量、会场数量和会议类型。

上述第三方面以及上述第三方面的各可能的设计中所提供的媒体增强装置，其有益效果可以参见上述第一方面和第一方面的各可能的实施方式所带来的有益效果，在此不再赘述。

第四方面，本申请提供一种媒体能力控制器，包括：

接收模块，用于接收媒体增强装置发送的媒体信息，所述媒体信息包括：会议场景、与会人员等级和网络信息，所述网络信息包括带宽和时延；

确定模块，用于根据所述媒体信息或网络侧设备的业务负载确定所述媒体增强装置的媒体能力调整策略；

发送模块，用于向所述媒体增强装置发送所述媒体能力调整策略，所述媒体能力调整策略用于指示所述媒体增强装置调整终端对应的会场的媒体能力。

在一种可能的设计中，所述会议场景包括发言场景、收听场景、茶歇场景、分组讨论场景或共享数据场景中的一种。

在一种可能的设计中，所述媒体能力调整策略包括：

媒体能力的提高或降低，所述媒体能力包括分辨率、编码协议和编码参数中的至少一项，所述编码参数包括量化参数QP、带宽、帧率和抗丢包冗余度中的至少一项。

在一种可能的设计中，所述确定模块用于：

当所述媒体信息指示所述终端对应的会场具有高优先级时，确定所述媒体能力调整策略为提高所述终端对应的会场的媒体能力；

当所述媒体信息指示所述终端对应的会场具有低优先级时，确定所述媒体能力调整策略为降低所述终端对应的会场的媒体能力。

在一种可能的设计中，所述提高所述终端对应的会场的媒体能力包括提高所述媒体增强装置的媒体能力，或提高所述终端的媒体能力；

所述降低所述终端对应的会场的媒体能力包括降低所述媒体增强装置的媒体能力，或降低所述终端的媒体能力。

在一种可能的设计中，所述确定模块用于：

若会议场景为发言场景，所述终端对应的会场的与会人员等级最高，且带宽大于带宽阈值、时延小于时延阈值时，所述终端对应的会场具有高优先级，则确定所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、降低QP和进行协议转换中的至少一项；

若会议场景为发言场景，所述终端对应的会场的与会人员等级最高，且带宽小于带宽阈值、时延大于时延阈值时，所述终端对应的会场具有高优先级，则确定所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、提高抗丢包冗余度和进行协议转换中的至少一项；

若所述终端的会议场景为茶歇场景或收听场景，所述终端对应的会场具有低优先级，则确定所述媒体能力调整策略为：降低所述终端对应的会场向所述网络侧设备发送码流的分辨率和降低编码带宽；

当所述业务负载大于预设阈值时，若所述终端对应的会场的与会人员等级为付费用户，所述终端对应的会场具有高优先级，则确定所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率和所述网络侧设备向所述终端对应的会场发送码流的分辨率；

当所述业务负载大于预设阈值时，若所述终端的与会人员等级为免费用户，所述终端对应的会场具有高优先级，则确定所述媒体能力调整策略为：降低所述终端对应的会场向所述网络侧设备发送码流的分辨率和所述网络侧设备向所述终端对应的会场发送码流的分辨率。

在一种可能的设计中，所述业务负载包括中央处理器CPU占用率、终端数量、会场数量和会议类型。

上述第四方面以及上述第四方面的各可能的设计中所提供的媒体能力控制器，其有益效果可以参见上述第二方面和第二方面的各可能的实施方式所带来的有益效果，在此不再赘述。

第五方面，本申请提供一种媒体能力动态调整装置，包括：存储器和处理器；

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行第一方面及第一方面任一种可能的设计或第二方面及第二方面任一种可能的设计中的媒体能力动态调整方法。

第六方面，本申请提供一种可读存储介质，可读存储介质中存储有执行指令，当媒体能力动态调整装置的至少一个处理器执行该执行指令时，媒体能力动态调整装置执行第一方面及第一方面任一种可能的设计或第二方面及第二方面任一种可能的设计中的媒体能力动态调整方法。

第七方面，本申请提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。媒体能力动态调整装置的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得媒体能力动态调整装置实施第一方面及第一方面任一种可能的设计或第二方面及第二方面任一种可能的设计中的媒体能力动态调整方法。

第八方面，本申请提供一种芯片，所述芯片与存储器相连，或者所述芯片上集成有存储器，当所述存储器中存储的软件程序被执行时，实现第一方面及第一方面任一种可能的设计或第二方面及第二方面任一种可能的设计中的媒体能力动态调整方法。

附图说明

图1为本申请应用的系统架构示意图；

图2为本申请提供的一种媒体能力动态调整方法实施例的信令交互流程图；

图3为本申请提供的一种媒体能力动态调整方法实施例的信令交互流程图；

图4为本申请的一种初始入会状态示意图；

图5为一种会议进行中状态示意图；

图6为另一种会议进行中状态示意图；

图7为本申请提供的一种媒体增强装置实施例的结构示意图；

图8为本申请提供的一种媒体能力控制器实施例的结构示意图；

图9为本申请提供的一种媒体能力动态调整装置结构示意图。

具体实施方式

本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明，本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或方案不应被解释为比其它实施例或方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。

相关技术中，通过MCU探测终端到MCU的网络信息，根据该网络信息对编码分辨率进行调整，来实现终端媒体能力的动态调整，但是在全网整体网络负载高时，会造成各个会场的视频效果同时降低，且在网络带宽恢复后，会继续恢复到原始编码分辨率，占用网络带宽，使得MCU始终保持在高负载的情况。为解决这一问题，本申请提供一种媒体能力动态调整方法及装置，通过接入会场的终端的媒体增强装置根据来自终端的码流确定媒体信息并上报给媒体能力控制器，媒体信息包括会议场景、与会人员等级和网络信息，媒体能力控制器根据接收到媒体信息或网络侧设备的业务负载确定终端的媒体能力调整策略，然后将终端的媒体能力调整策略下发给媒体增强装置，媒体增强装置根据接收到的媒体能力调整策略调整终端对应的会场媒体能力。从而可实现根据不同终端的实际需求调整终端对应的会场的媒体能力，得到全局的最优调整，提高了用户音视频体验，全网网络负载更低，对于视频会议系统本身，由于动态调整了大量不需要以最大媒体能力收发的对应的会场，降低了整个视频会议系统的业务负载和网络拥塞的负担，使得视频会议系统可以在服务器侧硬件不变的情况下，提供更高的系统容量。

本申请可用于视频会议系统中，图1为本申请应用的系统架构示意图，如图1所示，本申请中通过在终端侧增加媒体增强装置，媒体增强装置可以是终端的外置模块，也可以是终端的内置模块。在网络侧增加媒体能力控制器，媒体能力控制器部署在MCU所在服务器，可以是MCU的外置模块，也可以是MCU的内置模块，形成媒体网络。通过接入会场的终端的媒体增强装置根据来自终端的码流确定媒体信息(包括会议场景、与会人员等级和网络信息)并上报给媒体能力控制器，媒体能力控制器根据接收到媒体信息或网络侧设备的业务负载确定终端的媒体能力调整策略，然后将终端的媒体能力调整策略下发给终端的媒体增强装置，媒体增强装置根据接收到的媒体能力调整策略调整终端对应的会场的媒体能力。下面结合附图详细说明本申请提供的媒体能力动态调整方法的具体过程。

图2为本申请提供的一种媒体能力动态调整方法实施例的信令交互流程图，如图2所示，本实施例的方法可以包括：

S101、媒体增强装置根据来自终端的码流确定媒体信息，媒体信息包括会议场景、与会人员等级和网络信息，网络信息包括带宽和时延。

具体地，媒体增强装置根据来自终端的码流确定媒体信息，可以为：

S1011、首先对自终端的码流进行音频解码和视频解码。

S1012、接着对音频解码结果和视频解码结果分别进行声纹检测和视频检测，识别出会议场景，其中的会议场景包括发言场景、收听场景、茶歇场景、分组讨论场景或共享数据场景中的一种，例如识别出当前会议场景为发言场景。

S1013、然后根据视频解码结果和人员等级信息库进行人脸匹配，识别出与会人员等级。

其中的人员等级信息库预先存储在终端内，人员等级信息库存储与会人员等级列表和用户人脸数据的关联关系。与会人员等级例如可以是免费用户和付费用户，还可以是高级别领导、中级别主管和普通员工等，还可以是金牌用户、银牌用户、铜牌用户等。

作为一种可实施的方式，在S101之前，本实施例的方法还可以包括：

终端接收应用服务器发送的与会人员等级列表并保存。

其中，与会人员等级列表包括与会人员和与会人员等级。

终端接收人工智能网关发送的和与会人员等级列表对应的用户人脸数据。

终端将与会人员等级列表和用户人脸数据关联，得到人员等级信息库。

S1014、最后根根据来自终端的码流探测出网络信息。

S102、媒体增强装置将媒体信息发送给媒体能力控制器。

S103、媒体能力控制器根据媒体信息或网络侧设备的业务负载确定终端的媒体能力调整策略。

其中，可选的，业务负载包括中央处理器(Central Processing Unit，CPU)占用率、终端数量、会场数量和会议类型。其中，网络侧设备如为MCU。

具体地，媒体能力调整策略包括：媒体能力的提高或降低，媒体能力包括分辨率、编码协议和编码参数中的至少一项，编码参数包括量化参数(QP)、带宽、帧率和抗丢包冗余度中的至少一项。即就是说，终端的媒体能力调整策略可以是进行分辨率提高或降低，也可以是进行编码协议转换(如H.264/H.265的转换，将H.264转换为H.265，则提高了媒体能力，将H.265转换为H.264，则降低了媒体能力，或者AVC/SVC的转换，将AVC转换为SVC，则对媒体能力做了扩充，相当于是提高了媒体能力，反之将SVC转换为AVC，相当于是降低了媒体能力)，还可以是进行编码参数的提高或降低(包括QP、带宽、帧率和抗丢包冗余度中的至少一项)，还可以进行分辨率提高或降低、编码协议转换和编码参数提高或降低这三项的任意组合。

作为一种可实施的方式，当媒体信息指示终端对应的会场具有高优先级时，媒体能力控制器确定媒体能力调整策略为提高终端对应的会场的媒体能力，提高终端对应的会场的媒体能力包括提高媒体增强装置的媒体能力，或提高终端的媒体能力。

当媒体信息指示终端对应的会场具有低优先级时，媒体能力控制器确定媒体能力调整策略为降低终端对应的会场的媒体能力，降低终端对应的会场的媒体能力包括降低媒体增强装置的媒体能力，或降低终端的媒体能力。

进一步地，媒体能力控制器根据媒体信息或网络侧设备的业务负载确定终端的媒体能力调整策略，可以是媒体能力控制器根据媒体信息确定终端的媒体能力调整策略，可以是根据媒体信息和网络侧设备的业务负载确定终端的媒体能力调整策略，还可以是根据网络侧设备的业务负载确定终端的媒体能力调整策略。可选的，在实际应用中有很多种情况，作为示例，有如下几种场景：

一、若会议场景为发言场景，终端对应的会场的与会人员等级最高，且带宽大于带宽阈值、时延小于时延阈值时，终端对应的会场具有高优先级，则媒体能力控制器确定媒体能力调整策略为：提高终端对应的会场向网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、降低QP和进行协议转换中的至少一项。

二、若会议场景为发言场景，终端对应的会场的与会人员等级最高，且带宽小于带宽阈值、时延大于时延阈值时，终端对应的会场具有高优先级，则媒体能力控制器确定媒体能力调整策略为：提高终端对应的会场向网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、提高抗丢包冗余度和进行协议转换中的至少一项。

三、若终端的会议场景为茶歇场景或收听场景，终端对应的会场具有低优先级，则媒体能力控制器确定媒体能力调整策略为：降低终端对应的会场向网络侧设备发送码流的分辨率和降低编码带宽。

四、当业务负载大于预设阈值时，若终端对应的会场的与会人员等级为付费用户，终端对应的会场具有高优先级，则媒体能力控制器确定媒体能力调整策略为：提高终端对应的会场向网络侧设备发送码流的分辨率和网络侧设备向终端对应的会场发送码流的分辨率。

五、当业务负载大于预设阈值时，若终端的与会人员等级为免费用户，终端对应的会场具有高优先级，则媒体能力控制器确定媒体能力调整策略为：降低终端对应的会场向网络侧设备发送码流的分辨率和网络侧设备向终端对应的会场发送码流的分辨率。

例如，在发言场景下，示例性地，如在业务策略全员宣讲大会场景下(超过300人的会议，可能是8个地域会场)，如领导讲话环节(会议场景为发言场景)，同一时刻只有一个会场进行发言，没有频繁的双向互动，除领导所在的会场外，其他7个会场绝大部分会议时间仅仅是收听。其实此时，其他7个会场(会议场景为收听场景)，需要的仅仅是能够清晰的看到领导所在会场的音视频。对于其他会场可能根本不选看，或即使选看其他会场，对其他会场的画面的质量要求也是非常低的，因为当前的主要注意力均在领导讲话会场。此时，完全可以增强领导所在会场的发送码流的质量(如提高领导所在会场向网络侧设备发送码流的分辨率、降低QP和提高编码带宽等)，大幅降低其他7个会场的发送码流质量(如降低其他7个会场向网络侧设备发送码流的分辨率和降低编码带宽等)，并适当提升7个会场的接收码流质量(如提高会场接收码流的分辨率、提高编码带宽、提高帧率和提高抗丢包冗余度等)，整体综合下来，对网络的负载可能只有原来的一半甚至更低。

例如，在互动问答等环节中，各个会场都会将注意力放在提问会场和回答会场上，提问会场和回答会场的会议场景均为发言场景，对于其他未提问会场的关注度就相对降低，未提问会场终端的会议场景为收听场景，此时则更应该提升提问会场和回答会场的双向收发码流质量(即提升终端对应的会场向网络侧设备发送码流的分辨率以及网络侧设备向终端对应的会场发送码流的分辨率、降低QP和提高编码带宽等)，降低其他会场的发送码流质量(即降低终端对应的会场向网络侧设备发送码流的分辨率和降低编码带宽等)。

例如，在茶歇场景下，通常各个会场的视频会议系统都不会关闭，会一直运行等到茶歇结束后继续使用，而此时的会场中没有任何有价值信息，完全可以降低各个会场的收发码流质量，降低整个网络的负载，给其他的正在进行的会议留出更多的处理能力。

又例如，还有在大型的视频会议系统中与会人员的身份不一致的，即与会人员等级不同，有高级别领导，有中级别主管，也有普通员工，一般在会议系统中，对于级别较高的领导所在的会场是需要更好的媒体码流质量，确保高级别领导所在的会场的音视频质量最优，同时也要保证，在高级别领导在发言时，其他会场都能够看得清，听得见，甚至是在低级别员工在汇报场景时，依然要求对高级别领导所在会场能够看的清，能够准确了解到高级别领导的面部表情。还有，在视频会议云服务场景中，有大量免费试用用户，和付费用户，在网络负载过重时，也需要优先保证付费用户的体验和质量。

S104、媒体能力控制器向媒体增强装置发送媒体能力调整策略。

S105、媒体增强装置根据媒体能力调整策略调整终端对应的会场的媒体能力。

本实施例提供的媒体能力动态调整方法，通过媒体增强装置根据来自终端的码流确定媒体信息并上报给媒体能力控制器，媒体信息包括会议场景、与会人员等级和网络信息，媒体能力控制器据媒体信息或网络侧设备的业务负载确定终端的媒体能力调整策略，然后将终端的媒体能力调整策略下发给终端的媒体增强装置，媒体增强装置根据接收到的媒体能力调整策略调整终端对应的会场的媒体能力。从而可实现根据不同终端的实际需求调整终端对应的会场的媒体能力，得到全局的最优调整，提高了用户音视频体验，全网网络负载更低，对于视频会议系统本身，由于动态调整了大量不需要以最大媒体能力收发的终端对应的会场，降低了整个视频会议系统的业务负载和网络拥塞的负担，使得视频会议系统可以在服务器侧硬件不变的情况下，提供更高的系统容量。

图3为本申请提供的一种媒体能力动态调整方法实施例的信令交互流程图，本实施例中从交互流程上描述了与会人员等级信息库的建立、以及如何进行会议场景识别和与会人员等级识别过程，本实施例中在传统会议终端侧增加媒体增强装置，在网络侧增加媒体能力控制器，如图3所示，本实施例的方法可以包括：

S201、终端正常入会及呼叫流程。

S202、应用服务器向媒体增强装置发送与会人员等级列表。

例如，与会人员等级列表为如表一所示：

表一

金牌	王总
		银牌	老张
铜牌	小刘

S203、媒体增强装置接收并保存与会人员等级列表。

S204、应用服务器向人工智能网关发送与会人员列表。

S205、人工智能网关根据与会人员列表，向媒体增强装置发送和与会人员等级列表对应的用户人脸数据。

S206、媒体增强装置将用户人脸数据保存，并将与会人员等级列表和用户人脸数据关联，得到人员等级信息库。

S207、终端向媒体增强装置发送码流。

S208、媒体增强装置根据来自终端的码流确定媒体信息，媒体信息包括会议场景、与会人员等级和网络信息，具体为：对来自终端的码流进行音频解码和视频解码，对音频解码结果和视频解码结果分别进行声纹检测和视频检测，识别出会议场景，根据视频解码结果和人员等级信息库进行人脸匹配，识别出与会人员等级，并根据来自终端的码流探测出网络信息。

S209、媒体增强装置将媒体信息发送给媒体能力控制器。

S210、媒体能力控制器根据媒体信息或网络侧设备的业务负载确定终端的媒体能力调整策略。

S211、媒体能力控制器向接入会场的每个终端分别发送各自的媒体能力调整策略。

S212、媒体增强装置根据接收到的媒体能力调整策略调整终端对应的会场的媒体能力。

S213、媒体增强装置将调整媒体能力后的码流发送给MCU。

下面采用几个具体的实施例，针对不用的会议场景、与会人员等级和网络信息，对图1所示方法实施例的技术方案进行详细说明。

图4为本申请的一种初始入会状态示意图，如图4所示，会场1有VIP在会场，会场2和会场3无VIP在会场，初始入会时，未进行媒体能力的动态调整，经媒体增强装置发送的码流，均为普通码流，收发的分辨率均为4M。会议进行中，各个会场的媒体增强装置，实时解析每个会场的实时媒体内容，执行如下步骤：

S301、媒体增强装置根据来自终端的码流确定媒体信息，媒体信息包括会议场景、与会人员等级和网络信息。

具体地，对来自终端的码流进行音频解码和视频解码，对音频解码结果和视频解码结果分别进行声纹检测和视频检测，识别出会议场景，根据视频解码结果和人员等级信息库进行人脸匹配，识别出与会人员等级，例如，识别出会场1有VIP1在会场(即与会人员等级为VIP)，且识别出会议场景为“发言”场景；识别出会场2的会议场景为“收听”场景，且无VIP在会场；识别出会场3的会议场景为“茶歇”场景，且无VIP在会场。根根据来自终端的码流探测出网络信息。

S302、媒体增强装置将媒体信息发送给媒体能力控制器。

S303、媒体能力控制器根据接收到的终端的媒体信息和网络侧设备的业务负载确定该终端的媒体能力调整策略。

S304、媒体能力控制器向终端的媒体增强装置发送媒体能力调整策略。

S305、媒体增强装置根据接收到的媒体能力调整策略调整终端对应的会场的媒体能力。

例如，VIP所在会场或发言场景的会场，媒体能力调整策略为增强码流发送质量，茶歇场景的会场，媒体能力调整策略为降低会场侧网络收发质量。图5为一种会议进行中状态示意图，如图5所示，会场1有VIP在会场，会议场景为“发言”场景，媒体能力调整策略为：发送码流的分辨率为6M，QP值为30，抗丢包冗余度为20％，接收码流的分辨率为4M。会场2无VIP在会场，会议场景为“收听”场景，媒体能力调整策略为：发送码流的分辨率为3M，QP值为45，抗丢包冗余度为5％，接收码流的分辨率为4M。会场3无VIP在会场，会议场景为“茶歇”场景，媒体能力调整策略为：发送码流的分辨率为2M，QP值为50，抗丢包冗余度为0％，接收码流的分辨率为2M。

又例如，全网整体资源不足时，优先保证付费用户(即VIP用户)的收发质量，在同等带宽下，在媒体增强装置进行H.264/H.265的转换(或者AVC/SVC转换，兼容新老终端同时入会)，使得效果提升一倍，同时，降低免费用户(非VIP用户)的收发质量，以提供差异化服务。图6为另一种会议进行中状态示意图，会场1、会场2和会场3的与会人员等级为VIP，媒体能力调整策略为：发送码流的分辨率为6M，接收码流的分辨率为6M；会场4、会场5和会场6的与会人员等级为非VIP，媒体能力调整策略为：发送码流的分辨率为2M，接收码流的分辨率为2M。即优先保证付费用户(即VIP用户)的收发质量。

图7为本申请提供的一种媒体增强装置实施例的结构示意图，如图7所示，本实施例的装置可以包括：确定模块11、发送模块12、接收模块13和处理模块14，其中，确定模块11用于根据来自终端的码流确定媒体信息，媒体信息包括会议场景、与会人员等级和网络信息，网络信息包括带宽和时延；发送模块12用于将媒体信息发送给媒体能力控制器；接收模块13用于接收媒体能力控制器发送的终端的媒体能力调整策略；处理模块14用于根据媒体能力调整策略调整终端对应的会场的媒体能力，媒体能力调整策略为媒体能力控制器根据媒体信息或网络侧设备的业务负载确定。

进一步地，确定模块11用于：

对来自终端的码流进行音频解码和视频解码；

对音频解码结果和视频解码结果分别进行声纹检测和视频检测，识别出会议场景；

根据视频解码结果和人员等级信息库进行人脸匹配，识别出与会人员等级；

根据来自终端的码流探测出网络信息。

进一步地，接收模块13还用于：

在确定模块根据来自终端的码流确定终端的媒体信息之前，接收应用服务器发送的与会人员等级列表并保存；

接收人工智能网关发送的和与会人员等级列表对应的用户人脸数据；

处理模块还用于：将与会人员等级列表和用户人脸数据关联，得到人员等级信息库。

可选的，会议场景包括发言场景、收听场景、茶歇场景、分组讨论场景或共享数据场景中的一种。

可选的，媒体能力调整策略包括：媒体能力的提高或降低，媒体能力包括分辨率、编码协议和编码参数中的至少一项，编码参数包括量化参数QP、带宽、帧率和抗丢包冗余度中的至少一项。

可选的，当媒体信息指示终端对应的会场具有高优先级时，媒体能力调整策略为提高终端对应的会场的媒体能力；

当媒体信息指示终端对应的会场具有低优先级时，媒体能力调整策略为降低终端对应的会场的媒体能力。

可选的，提高终端对应的会场的媒体能力包括提高媒体增强装置的媒体能力，或提高终端的媒体能力；

降低终端对应的会场的媒体能力包括降低媒体增强装置的媒体能力，或降低终端的媒体能力。

可选的，若确定出的会议场景为发言场景，终端对应的会场的与会人员等级最高，且带宽大于带宽阈值、时延小于时延阈值时，终端对应的会场具有高优先级，则媒体能力调整策略为：提高终端对应的会场向网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、降低QP和进行协议转换中的至少一项；

若确定出的会议场景为发言场景，终端对应的会场的与会人员等级最高，且带宽小于带宽阈值、时延大于时延阈值时，终端对应的会场具有高优先级，则媒体能力调整策略为：提高终端对应的会场向网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、提高抗丢包冗余度和进行协议转换中的至少一项；

若终端的会议场景为茶歇场景或收听场景，终端对应的会场具有低优先级，则媒体能力调整策略为：降低终端对应的会场向网络侧设备发送码流的分辨率和降低编码带宽；

当业务负载大于预设阈值时，若终端对应的会场的与会人员等级为付费用户，终端对应的会场具有高优先级，则媒体能力调整策略为：提高终端对应的会场向网络侧设备发送码流的分辨率和网络侧设备向终端对应的会场发送码流的分辨率；

当业务负载大于预设阈值时，若终端的与会人员等级为免费用户，终端对应的会场具有高优先级，则媒体能力调整策略为：降低终端对应的会场向网络侧设备发送码流的分辨率和网络侧设备向终端对应的会场发送码流的分辨率。

可选的，业务负载包括中央处理器CPU占用率、终端数量、会场数量和会议类型。

本实施例的媒体增强装置，可以用于执行图2所示方法实施例的技术方案，其实现原理类似，此处不再赘述。

本实施例提供的媒体增强装置，通过确定模块根据来自终端的码流确定媒体信息，媒体信息包括会议场景、与会人员等级和网络信息，网络信息包括带宽和时延，发送模块将媒体信息发送给媒体能力控制器，接收模块接收媒体能力控制器发送的终端的媒体能力调整策略，处理模块根据媒体能力调整策略调整终端对应的会场的媒体能力，媒体能力调整策略为媒体能力控制器根据媒体信息或网络侧设备的业务负载确定。从而可实现根据不同终端的实际需求调整终端对应的会场的媒体能力，得到全局的最优调整，提高了用户音视频体验，全网网络负载更低，对于视频会议系统本身，由于动态调整了大量不需要以最大媒体能力收发的终端对应的会场，降低了整个视频会议系统的业务负载和网络拥塞的负担，使得视频会议系统可以在服务器侧硬件不变的情况下，提供更高的系统容量。

图8为本申请提供的一种媒体能力控制器实施例的结构示意图，如图8所示，本实施例的媒体能力控制器可以包括：接收模块21、确定模块22和发送模块23，其中，接收模块21用于接收媒体增强装置发送的媒体信息，媒体信息包括：会议场景、与会人员等级和网络信息，网络信息包括带宽和时延，媒体信息为媒体增强装置根据来自终端的码流确定，确定模块22用于根据所述媒体信息或网络侧设备的业务负载确定所述终端的媒体能力调整策略，发送模块23用于向所述媒体增强装置发送所述媒体能力调整策略，所述媒体能力调整策略用于指示所述媒体增强装置调整终端对应的会场的媒体能力。

可选的，会议场景包括发言场景、收听场景、茶歇场景、分组讨论场景或共享数据场景中的一种。

可选的，媒体能力调整策略包括：

媒体能力的提高或降低，媒体能力包括分辨率、编码协议和编码参数中的至少一项，编码参数包括量化参数QP、带宽、帧率和抗丢包冗余度中的至少一项。

可选的，确定模块22用于：

当媒体信息指示终端对应的会场具有高优先级时，确定媒体能力调整策略为提高终端对应的会场的媒体能力；

当媒体信息指示终端对应的会场具有低优先级时，确定媒体能力调整策略为降低终端对应的会场的媒体能力。

可选的，提高终端对应的会场的媒体能力包括提高媒体增强装置的媒体能力，或提高终端的媒体能力；

降低终端对应的会场的媒体能力包括降低媒体增强装置的媒体能力，或降低终端的媒体能力。

可选的，确定模块22用于：

若会议场景为发言场景，终端对应的会场的与会人员等级最高，且带宽大于带宽阈值、时延小于时延阈值时，终端对应的会场具有高优先级，则确定媒体能力调整策略为：提高终端对应的会场向网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、降低QP和进行协议转换中的至少一项；

若会议场景为发言场景，终端对应的会场的与会人员等级最高，且带宽小于带宽阈值、时延大于时延阈值时，终端对应的会场具有高优先级，则确定媒体能力调整策略为：提高终端对应的会场向网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、提高抗丢包冗余度和进行协议转换中的至少一项；

若终端的会议场景为茶歇场景或收听场景，终端对应的会场具有低优先级，则确定媒体能力调整策略为：降低终端对应的会场向网络侧设备发送码流的分辨率和降低编码带宽；

当业务负载大于预设阈值时，若终端对应的会场的与会人员等级为付费用户，终端对应的会场具有高优先级，则确定媒体能力调整策略为：提高终端对应的会场向网络侧设备发送码流的分辨率和网络侧设备向终端对应的会场发送码流的分辨率；

当业务负载大于预设阈值时，若终端的与会人员等级为免费用户，终端对应的会场具有高优先级，则确定媒体能力调整策略为：降低终端对应的会场向网络侧设备发送码流的分辨率和网络侧设备向终端对应的会场发送码流的分辨率。

可选的，业务负载包括中央处理器CPU占用率、终端数量、会场数量和会议类型。

本实施例的媒体能力控制器，可以用于执行图2所示方法实施例的技术方案，其实现原理类似，此处不再赘述。

本实施例提供的媒体能力控制器，通过接收模块接收媒体增强装置发送的媒体信息，媒体信息包括：会议场景、与会人员等级和网络信息，网络信息包括带宽和时延，确定模块根据媒体信息或网络侧设备的业务负载确定终端的媒体能力调整策略，发送模块向终端对应的媒体增强装置发送媒体能力调整策略，媒体能力调整策略用于指示终端对应的媒体增强装置调整终端对应的会场的媒体能力。从而可实现根据不同终端的实际需求调整终端对应的会场的媒体能力，得到全局的最优调整，提高了用户音视频体验，全网网络负载更低，对于视频会议系统本身，由于动态调整了大量不需要以最大媒体能力收发的终端对应的会场，降低了整个视频会议系统的业务负载和网络拥塞的负担，使得视频会议系统可以在服务器侧硬件不变的情况下，提供更高的系统容量。

本申请可以根据上述方法示例对媒体能力动态调整装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请各实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图9为本申请提供的一种媒体能力动态调整装置结构示意图，如图9所示，该媒体能力动态调整装置300包括：存储器301和处理器302；

存储器301，用于存储计算机程序；

处理器302，用于执行存储器存储的计算机程序，以实现上述实施例中的打印方法。具体可以参见前述方法实施例中的相关描述。

可选地，存储器301既可以是独立的，也可以跟处理器302集成在一起。

当存储器301是独立于处理器302之外的器件时，媒体能力动态调整装置300还可以包括：

总线303，用于连接存储器301和处理器302。

可选地，本实施例还包括：通信接口304，该通信接口304可以通过总线303与处理器302连接。处理器302可以控制通信接口303来实现媒体能力动态调整装置300的上述的接收和发送的功能。

该媒体能力动态调整装置可以用于执行上述方法实施例中媒体增强装置或媒体能力控制器对应的各个步骤或流程。

本申请还提供一种可读存储介质，可读存储介质中存储有执行指令，当媒体能力动态调整装置的至少一个处理器执行该执行指令时，媒体能力动态调整装置执行上述方法实施例中的媒体能力动态调整方法。

本申请还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。媒体能力动态调整装置的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得媒体能力动态调整装置实施上述方法实施例中的媒体能力动态调整方法。

本申请还提供一种芯片，芯片与存储器相连，或者芯片上集成有存储器，当存储器中存储的软件程序被执行时，实现上述方法实施例中的媒体能力动态调整方法。

本领域普通技术人员可以理解：在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

Claims (34)

1.一种媒体能力动态调整方法，其特征在于，包括：

媒体增强装置根据来自终端的码流确定媒体信息，所述媒体信息包括会议场景、与会人员等级和网络信息，所述网络信息包括带宽和时延；

所述媒体增强装置将所述媒体信息发送给媒体能力控制器；

所述媒体增强装置接收所述媒体能力控制器发送的所述终端的媒体能力调整策略，并根据所述媒体能力调整策略调整所述终端对应的会场的媒体能力，所述媒体能力调整策略为所述媒体能力控制器根据所述媒体信息或网络侧设备的业务负载确定。

2.根据权利要求1所述的方法，其特征在于，所述媒体增强装置根据来自终端的码流确定终端的媒体信息，包括：

所述媒体增强装置对所述来自终端的码流进行音频解码和视频解码；

所述媒体增强装置对音频解码结果和视频解码结果分别进行声纹检测和视频检测，识别出会议场景；

所述媒体增强装置根据所述视频解码结果和人员等级信息库进行人脸匹配，识别出与会人员等级；

所述媒体增强装置根据所述来自终端的码流探测出网络信息。

3.根据权利要求2所述的方法，其特征在于，所述媒体增强装置根据来自终端的码流确定终端的媒体信息之前，所述方法还包括：

所述媒体增强装置接收应用服务器发送的与会人员等级列表并保存；

所述媒体增强装置接收人工智能网关发送的和所述与会人员等级列表对应的用户人脸数据；

所述媒体增强装置将所述与会人员等级列表和所述用户人脸数据关联，得到所述人员等级信息库。

4.根据权利要求1所述的方法，其特征在于，所述会议场景包括发言场景、收听场景、茶歇场景、分组讨论场景或共享数据场景中的一种。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述媒体能力调整策略包括：媒体能力的提高或降低，所述媒体能力包括分辨率、编码协议和编码参数中的至少一项，所述编码参数包括量化参数QP、带宽、帧率和抗丢包冗余度中的至少一项。

6.根据权利要求5所述的方法，其特征在于，当所述媒体信息指示所述终端对应的会场具有高优先级时，所述媒体能力调整策略为提高所述终端对应的会场的媒体能力；

当所述媒体信息指示所述终端对应的会场具有低优先级时，所述媒体能力调整策略为降低所述终端对应的会场的媒体能力。

7.根据权利要求6所述的方法，其特征在于，所述提高所述终端对应的会场的媒体能力包括提高所述媒体增强装置的媒体能力，或提高所述终端的媒体能力；

所述降低所述终端对应的会场的媒体能力包括降低所述媒体增强装置的媒体能力，或降低所述终端的媒体能力。

8.根据权利要求6或7所述的方法，其特征在于，

若确定出的会议场景为发言场景，所述终端对应的会场的与会人员等级最高，且带宽大于带宽阈值、时延小于时延阈值时，所述终端对应的会场具有高优先级，则所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、降低QP和进行协议转换中的至少一项；

若确定出的会议场景为发言场景，所述终端对应的会场的与会人员等级最高，且带宽小于带宽阈值、时延大于时延阈值时，所述终端对应的会场具有高优先级，则所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、提高抗丢包冗余度和进行协议转换中的至少一项；

若所述终端的会议场景为茶歇场景或收听场景，所述终端对应的会场具有低优先级，则所述媒体能力调整策略为：降低所述终端对应的会场向所述网络侧设备发送码流的分辨率和降低编码带宽；

当所述业务负载大于预设阈值时，若所述终端对应的会场的与会人员等级为付费用户，所述终端对应的会场具有高优先级，则所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率和所述网络侧设备向所述终端对应的会场发送码流的分辨率；

当所述业务负载大于预设阈值时，若所述终端的与会人员等级为免费用户，所述终端对应的会场具有高优先级，则所述媒体能力调整策略为：降低所述终端对应的会场向所述网络侧设备发送码流的分辨率和所述网络侧设备向所述终端对应的会场发送码流的分辨率。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述业务负载包括中央处理器CPU占用率、终端数量、会场数量和会议类型。

10.一种媒体能力动态调整方法，其特征在于，包括：

媒体能力控制器接收媒体增强装置发送的媒体信息，所述媒体信息包括：会议场景、与会人员等级和网络信息，所述网络信息包括带宽和时延；

所述媒体能力控制器根据所述媒体信息或网络侧设备的业务负载确定所述终端的媒体能力调整策略；

所述媒体能力控制器向所述媒体增强装置发送所述终端的媒体能力调整策略，所述媒体能力调整策略用于指示所述媒体增强装置调整所述终端对应的会场的媒体能力。

11.根据权利要求10所述的方法，其特征在于，所述会议场景包括发言场景、收听场景、茶歇场景、分组讨论场景或共享数据场景中的一种。

12.据权利要求10或11所述的方法，其特征在于，所述媒体能力调整策略包括：

媒体能力的提高或降低，所述媒体能力包括分辨率、编码协议和编码参数中的至少一项，所述编码参数包括量化参数QP、带宽、帧率和抗丢包冗余度中的至少一项。

13.根据权利要求12所述的方法，其特征在于，所述媒体能力控制器根据所述媒体信息或网络侧设备的业务负载确定所述媒体增强装置的媒体能力调整策略，包括：

当所述媒体信息指示所述终端对应的会场具有高优先级时，所述媒体能力控制器确定所述媒体能力调整策略为提高所述终端对应的会场的媒体能力；

当所述媒体信息指示所述终端对应的会场具有低优先级时，所述媒体能力控制器确定所述媒体能力调整策略为降低所述终端对应的会场的媒体能力。

14.根据权利要求13所述的方法，其特征在于，所述提高所述终端对应的会场的媒体能力包括提高所述媒体增强装置的媒体能力，或提高所述终端的媒体能力；

所述降低所述终端对应的会场的媒体能力包括降低所述媒体增强装置的媒体能力，或降低所述终端的媒体能力。

15.根据权利要求14所述的方法，其特征在于，所述媒体能力控制器根据所述媒体信息或网络侧设备的业务负载确定所述终端的媒体能力调整策略，包括：

若会议场景为发言场景，所述终端对应的会场的与会人员等级最高，且带宽大于带宽阈值、时延小于时延阈值时，所述终端对应的会场具有高优先级，则所述媒体能力控制器确定所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、降低QP和进行协议转换中的至少一项；

若会议场景为发言场景，所述终端对应的会场的与会人员等级最高，且带宽小于带宽阈值、时延大于时延阈值时，所述终端对应的会场具有高优先级，则所述媒体能力控制器确定所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、提高抗丢包冗余度和进行协议转换中的至少一项；

若所述终端的会议场景为茶歇场景或收听场景，所述终端对应的会场具有低优先级，则所述媒体能力控制器确定所述媒体能力调整策略为：降低所述终端对应的会场向所述网络侧设备发送码流的分辨率和降低编码带宽；

当所述业务负载大于预设阈值时，若所述终端对应的会场的与会人员等级为付费用户，所述终端对应的会场具有高优先级，则所述媒体能力控制器确定所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率和所述网络侧设备向所述终端对应的会场发送码流的分辨率；

当所述业务负载大于预设阈值时，若所述终端的与会人员等级为免费用户，所述终端对应的会场具有高优先级，则所述媒体能力控制器确定所述媒体能力调整策略为：降低所述终端对应的会场向所述网络侧设备发送码流的分辨率和所述网络侧设备向所述终端对应的会场发送码流的分辨率。

16.根据权利要求10-15任一项所述的方法，其特征在于，所述业务负载包括中央处理器CPU占用率、终端数量、会场数量和会议类型。

17.一种媒体增强装置，其特征在于，包括：

确定模块，用于根据来自终端的码流确定媒体信息，所述媒体信息包括会议场景、与会人员等级和网络信息，所述网络信息包括带宽和时延；

发送模块，用于将所述媒体信息发送给媒体能力控制器；

接收模块，用于接收所述媒体能力控制器发送的所述终端的媒体能力调整策略；

处理模块，用于根据所述媒体能力调整策略调整所述终端对应的会场的媒体能力，所述媒体能力调整策略为所述媒体能力控制器根据所述媒体信息或网络侧设备的业务负载确定。

18.根据权利要求17所述的装置，其特征在于，所述确定模块用于：

对所述来自终端的码流进行音频解码和视频解码；

对音频解码结果和视频解码结果分别进行声纹检测和视频检测，识别出会议场景；

根据所述视频解码结果和人员等级信息库进行人脸匹配，识别出与会人员等级；

根据所述来自终端的码流探测出网络信息。

19.根据权利要求18所述的装置，其特征在于，所述接收模块还用于：

在所述确定模块根据来自终端的码流确定终端的媒体信息之前，接收应用服务器发送的与会人员等级列表并保存；

接收人工智能网关发送的和所述与会人员等级列表对应的用户人脸数据；

所述处理模块还用于：将所述与会人员等级列表和所述用户人脸数据关联，得到所述人员等级信息库。

20.根据权利要求17所述的装置，其特征在于，所述会议场景包括发言场景、收听场景、茶歇场景、分组讨论场景或共享数据场景中的一种。

21.根据权利要求17-20任一项所述的装置，其特征在于，所述媒体能力调整策略包括：媒体能力的提高或降低，所述媒体能力包括分辨率、编码协议和编码参数中的至少一项，所述编码参数包括量化参数QP、带宽、帧率和抗丢包冗余度中的至少一项。

22.根据权利要求21所述的装置，其特征在于，当所述媒体信息指示所述终端对应的会场具有高优先级时，所述媒体能力调整策略为提高所述终端对应的会场的媒体能力；

当所述媒体信息指示所述终端对应的会场具有低优先级时，所述媒体能力调整策略为降低所述终端对应的会场的媒体能力。

23.根据权利要求22所述的装置，其特征在于，所述提高所述终端对应的会场的媒体能力包括提高所述媒体增强装置的媒体能力，或提高所述终端的媒体能力；

所述降低所述终端对应的会场的媒体能力包括降低所述媒体增强装置的媒体能力，或降低所述终端的媒体能力。

24.根据权利要求23所述的装置，其特征在于，

若确定出的会议场景为发言场景，所述终端对应的会场的与会人员等级最高，且带宽大于带宽阈值、时延小于时延阈值时，所述终端对应的会场具有高优先级，则所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、降低QP和进行协议转换中的至少一项；

若确定出的会议场景为发言场景，所述终端对应的会场的与会人员等级最高，且带宽小于带宽阈值、时延大于时延阈值时，所述终端对应的会场具有高优先级，则所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、提高抗丢包冗余度和进行协议转换中的至少一项；

若所述终端的会议场景为茶歇场景或收听场景，所述终端对应的会场具有低优先级，则所述媒体能力调整策略为：降低所述终端对应的会场向所述网络侧设备发送码流的分辨率和降低编码带宽；

当所述业务负载大于预设阈值时，若所述终端对应的会场的与会人员等级为付费用户，所述终端对应的会场具有高优先级，则所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率和所述网络侧设备向所述终端对应的会场发送码流的分辨率；

当所述业务负载大于预设阈值时，若所述终端的与会人员等级为免费用户，所述终端对应的会场具有高优先级，则所述媒体能力调整策略为：降低所述终端对应的会场向所述网络侧设备发送码流的分辨率和所述网络侧设备向所述终端对应的会场发送码流的分辨率。

25.根据权利要求17-24任一项所述的装置，其特征在于，所述业务负载包括中央处理器CPU占用率、终端数量、会场数量和会议类型。

26.一种媒体能力控制器，其特征在于，包括：

接收模块，用于接收媒体增强装置发送的媒体信息，所述媒体信息包括：会议场景、与会人员等级和网络信息，所述网络信息包括带宽和时延；

确定模块，用于根据所述媒体信息或网络侧设备的业务负载确定所述终端的的媒体能力调整策略；

发送模块，用于向所述媒体增强装置发送所述终端的媒体能力调整策略，所述媒体能力调整策略用于指示所述媒体增强装置调整所述终端对应的会场的媒体能力。

27.根据权利要求26所述的媒体能力控制器，其特征在于，所述会议场景包括发言场景、收听场景、茶歇场景、分组讨论场景或共享数据场景中的一种。

28.据权利要求26或27所述的媒体能力控制器，其特征在于，所述媒体能力调整策略包括：

媒体能力的提高或降低，所述媒体能力包括分辨率、编码协议和编码参数中的至少一项，所述编码参数包括量化参数QP、带宽、帧率和抗丢包冗余度中的至少一项。

29.根据权利要求28所述的媒体能力控制器，其特征在于，所述确定模块用于：

当所述媒体信息指示所述终端对应的会场具有高优先级时，确定所述媒体能力调整策略为提高所述终端对应的会场的媒体能力；

当所述媒体信息指示所述终端对应的会场具有低优先级时，确定所述媒体能力调整策略为降低所述终端对应的会场的媒体能力。

30.根据权利要求29所述的媒体能力控制器，其特征在于，所述提高所述终端对应的会场的媒体能力包括提高所述媒体增强装置的媒体能力，或提高所述终端的媒体能力；

所述降低所述终端对应的会场的媒体能力包括降低所述媒体增强装置的媒体能力，或降低所述终端的媒体能力。

31.根据权利要求30所述的媒体能力控制器，其特征在于，所述确定模块用于：

若会议场景为发言场景，所述终端对应的会场的与会人员等级最高，且带宽大于带宽阈值、时延小于时延阈值时，所述终端对应的会场具有高优先级，则确定所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、降低QP和进行协议转换中的至少一项；

若会议场景为发言场景，所述终端对应的会场的与会人员等级最高，且带宽小于带宽阈值、时延大于时延阈值时，所述终端对应的会场具有高优先级，则确定所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率、提高编码带宽、提高帧率、提高抗丢包冗余度和进行协议转换中的至少一项；

若所述终端的会议场景为茶歇场景或收听场景，所述终端对应的会场具有低优先级，则确定所述媒体能力调整策略为：降低所述终端对应的会场向所述网络侧设备发送码流的分辨率和降低编码带宽；

当所述业务负载大于预设阈值时，若所述终端对应的会场的与会人员等级为付费用户，所述终端对应的会场具有高优先级，则确定所述媒体能力调整策略为：提高所述终端对应的会场向所述网络侧设备发送码流的分辨率和所述网络侧设备向所述终端对应的会场发送码流的分辨率；

当所述业务负载大于预设阈值时，若所述终端的与会人员等级为免费用户，所述终端对应的会场具有高优先级，则确定所述媒体能力调整策略为：降低所述终端对应的会场向所述网络侧设备发送码流的分辨率和所述网络侧设备向所述终端对应的会场发送码流的分辨率。

32.根据权利要求26-31任一项所述的媒体能力控制器，其特征在于，所述业务负载包括中央处理器CPU占用率、终端数量、会场数量和会议类型。

33.一种媒体能力动态调整装置，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-9或10-16任一项所述的媒体能力动态调整方法。

34.一种可读存储介质，所述可读存储介质中存储有执行指令，其特征在于，当媒体能力动态调整装置的至少一个处理器执行所述执行指令时，所述媒体能力动态调整装置执行权利要求1-9或10-16任一项所述的媒体能力动态调整方法。

Images