CN114363553A - 视频会议中动态码流处理方法及装置 - Google Patents

Abstract

本发明公开了一种视频会议中动态码流处理方法和装置。视频会议中动态码流处理方法，包括：同步采集多个参会方的会议音频信息和会议视频信息；检测所述会议音频信息和所述会议视频信息，以确定参会方的发言人；对所述发言人的音频和视频采集端进行优化操作，所述优化操作包括：提升以下参数的一种或几种：采样分辨率、采用率、采样精度和采样格式；在所述发言人的音频和视频编转码端提高以下参数的一种或几种：网络缓存、提高网络QOS、提高编转码资源分配。本发明通过对参会方的音频、视频进行采样，根据分辨率、帧率、网络缓存、网络资源及Qos等的调整，可以在保证发言者会议质量的情况，节省资源，提升音频和视频的质量，改善用户体验。

Description

视频会议中动态码流处理方法及装置

技术领域

本发明涉及网络监控技术领域，尤其涉及视频会议中动态码流处理方法和及装置。

背景技术

视频会议涉及到多个视频流，当前视频会议系统中各方视频流采样率、分辨率等都为恒定不变，而通常视频会议中关注重点为发言人，因此若是会议各方视频流保持恒定不变，则很大程度上会造成了带宽浪费、网络卡顿以及后续编转码及解码等计算资源的浪费等情况，如何在保证发言者会议质量的情况，节省资源，提升音频和视频的质量，是亟需解决的技术问题。

发明内容

本发明提供视频会议中动态码流处理方法、装置及存储介质，以现有的在保证发言者会议质量的情况，节省资源，提升音频和视频的质量的问题。

第一方面，本发明实施例提供了视频会议中动态码流处理方法，包括：

同步采集多个参会方的会议音频信息和会议视频信息；

检测所述会议音频信息和所述会议视频信息，以确定参会方的发言人；

对所述发言人的音频和视频采集端进行优化操作，所述优化操作包括：提升以下参数的一种或几种：采样分辨率、采用率、采样精度和采样格式；

在所述发言人的音频和视频编转码端提高以下参数的一种或几种：网络缓存、提高网络QOS、提高编转码资源分配。

优选的，所述确定参会方的发言人，之后，还包括：在多方视频混流模式下：

提升所述发言人的在播放器端下行网络服务和资源预留情况和/或减少除所述发言人外的所述参会方的下行网络服务和资源预留情况；

播放器根据预设规则，提高播放器接收所述发言人的缓冲内存容量，和/或减少播放器接收除所述发言人外的所述参会方的缓冲内存容量。

优选的，对所述发言人的音频和视频采集端进行优化操作，具体包括：收集所述发言人的系统和网络情况信息，根据所述发言人的系统和网络情况信息，对所述发言人的音频和视频采集端进行进行优化操作。

优选的，还包括：收集除所述发言人外的所述参会方的系统和网络情况信息，根据除所述发言人外的所述参会方的系统和网络情况信息，对除所述发言人外的所述参会方的音频和视频采集端进行调整操作，所述调整操作包括：降低以下参数的一种或几种：采样分辨率、采用率、采样精度和采样格式；

在除所述发言人外的所述参会方的音频和视频编转码端降低以下参数的一种或几种：网络缓存、网络QOS、编转码资源分配。

优选的，所述检测所述会议音频信息和所述会议视频信息，以确定参会方的发言人，具体包括：

对视频信息进行人脸识别得到人脸区域；

对所述人脸区域进行唇动识别，得到唇动特征，根据唇动特征计算说话可能性P2；

通过音频信息进行人声识别，得到人声可能性P1；

根据说话可能性P2和人声可能性P1以确定参会方中的发言人。

优选的，利用预设或者动态调整的人声权重a1和唇动权重a2，确定参会方是发言人的可能性P，其中，P＝a1*P1+a2*P2，a1+a2＝1，a1≥0,a2≥0；

确定参会方是发言人的可能性大于预设阈值，则所述参会方为发言人。

优选的，所述人声识别使用梅尔倒频谱算法和/或高斯混合模型。

优选的，确定a1，a2和P阀值方法是：统计所有视频会议中有人声的情况个数为c，统计视频会议中有唇动的情况个数为d，统计视频会议中既有人声又有唇动情况个数为e；

则b1＝e/c,b2＝e/d，a1＝b1/(b1+b2),a2＝b2/(b1+b2)，阀值P＝e/(c+d)。

第二方面，本发明实施例还提供了一种视频会议中动态码流处理装置，

信息采集模块，用于同步采集会议音频信息和会议视频信息；

发言人识别模块，用于检测所述会议音频信息和所述会议视频信息，以确定参会方的发言人；

采集端优化模块，用于对所述发言人的音频和视频采集端进行优化操作，所述优化操作包括：提升以下参数的一种或几种：采样分辨率、采用率、采样精度和采样格式；

转码段性能提升模块，用于在所述发言人的音频和视频编转码端提高以下参数的一种或几种：网络缓存、提高网络QOS、提高编转码资源分配。

第三方面，本发明实施例还提供了一种计算机存储介质，存储介质中存储有指令，所述指令运行时执行第一方面的视频会议中动态码流处理方法。

本发明具有以下有益效果：

1本发明对参会方的音频、视频进行采样，根据分辨率、帧率、网络缓存、网络资源及Qos等的调整，可以在保证发言者会议质量的情况，节省资源，提升音频和视频的质量，改善用户体验。

2本发明视频会议中使用动态码流传输和处理方式，根据策略判断当前参会方是否为发言人，动态的调整分辨率、采样率(或帧率)从而减少传输的视频码流，在后续编转码以及网络资源、播放缓存等方面也采用动态处理的方法，以达到节省带宽和后续编转码及解码等的计算资源。

3、在网络带宽受限和编解码资源受限情况下，提升用户视频会议的体验，节省网络和计算资源，从而提高视频会议的用户数和资源消耗，进而转化为可见的效益。

附图说明

图1为本发明实施例一中视频会议中动态码流处理方法的流程图；

图2为本发明实施例一中视频会议中动态码流处理方法的实例流程图一；

图3为本发明实施例一中视频会议中动态码流处理方法的发言人检测流程图二；

图4为本发明实施例一中视频会议中动态码流处理方法的实例流程图三；

图5是本发明实施例二中视频会议中动态码流处理方法的码流处理流程图。

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明实施例一提供的视频会议中动态码流处理方法和的流程图，本实施例可适用于视频会议中使用动态码流传输和处理方式，根据策略判断当前参会方是否为发言人，动态的调整分辨率、采样率(或帧率)从而减少传输的视频码流，在后续编转码以及网络资源、播放缓存等方面也采用动态处理的方法，以达到节省带宽和后续编转码及解码等的计算资源。该方法可以由服务器集群、云计算平台、计算机、局域网、广域网等组成的视频会议系统来执行，视频会议中动态码流处理方法，具体包括如下步骤：

步骤110、同步采集多个参会方的会议音频信息和会议视频信息。

步骤120、检测所述会议音频信息和所述会议视频信息，以确定参会方的发言人。

较佳地，具体包括：

S21对视频信息进行人脸识别得到人脸区域。

S22对所述人脸区域进行唇动识别，得到唇动特征，根据唇动特征计算说话可能性P2。

S23通过音频信息进行人声识别，得到人声可能性P1。

其中，人声识别使用梅尔倒频谱算法和/或高斯混合模型。

S24根据说话可能性P2和人声可能性P1以确定参会方中的发言人。

如图3所示，利用预设或者动态调整的人声权重a1和唇动权重a2，确定参会方是发言人的可能性P，其中，P＝a1*P1+a2*P2，a1+a2＝1，a1≥0,a2≥0。

确定参会方是发言人的可能性大于预设阈值，则所述参会方为发言人。

步骤130、对所述发言人的音频和视频采集端进行优化操作，所述优化操作包括：提升以下参数的一种或几种：采样分辨率、采用率、采样精度和采样格式。

本实施例中，具体还包括：收集所述发言人的系统和网络情况信息，根据所述发言人的系统和网络情况信息，对所述发言人的音频和视频采集端进行进行优化操作。

步骤140、在所述发言人的音频和视频编转码端提高以下参数的一种或几种：网络缓存、提高网络QOS、提高编转码资源分配。

作为一种实施方式，在步骤S120之后，还包括：

S150:在多方视频混流模式下：

提升所述发言人的在播放器端下行网络服务和资源预留情况和/或减少除所述发言人外的所述参会方的下行网络服务和资源预留情况；

S160播放器根据预设规则，提高播放器接收所述发言人的缓冲内存容量，和/或减少播放器接收除所述发言人外的所述参会方的缓冲内存容量。

作为一种实施方式，在步骤S120之后，还包括：

S170收集除所述发言人外的所述参会方的系统和网络情况信息，根据除所述发言人外的所述参会方的系统和网络情况信息，对除所述发言人外的所述参会方的音频和视频采集端进行调整操作，所述调整操作包括：降低以下参数的一种或几种：采样分辨率、采用率、采样精度和采样格式；

S180在除所述发言人外的所述参会方的音频和视频编转码端降低以下参数的一种或几种：网络缓存、网络QOS、编转码资源分配。

如图2-4所示，在一具体实施例中：一种参数调整的具体方法为，发言人转为非发言人其编转码后分辨率降为原先的f倍，帧率降为原先的g倍，其所预留的网络带宽资源可以降为原先的f*g，其计算资源也可以降为原先的h*f*g(h为计算资源系数，h>0)，为播放器其分配缓存也可降为i*f*g(i为缓存资源系数，i>0)，反之则增加。

综上所述，本发明通过设置是否启用人声和唇动判断策略，并根据麦克风和视频输入利用综合处理人声和唇动方法，即通过音视频流中音频的人声判断，同时结合视频的唇动判断，根据预设或者动态调整的人声和唇动权重，避免了通常通过麦克声音进行单一判断而受环境噪音或人声的误判影响，综合判断当前参会方是否为发言人，对非发言人的视频流进行处理：对于智能设备，直接降低分辨率、采样率或采样精度和格式等等，对于非智能设备，在编转码处理模块中对即将输出的视频流进行分辨率和帧率等的降低；若是当前参会方由非发言人转为发言人，则提高分辨率和采样率(帧率)。

同时结合参会方当前的网络和系统状况，调整发言人和非发言人的码流上传和处理的缓存大小，计算资源大小及网络资源Qos保证策略等等，在保证视频会议效果前提下，节省网络带宽和计算资源。当参会方由发言人转为非发言人时，在编转码侧，降低其输出分辨率和帧率，同时在多流情况下(Mesh或SFU)，分配或预留较少的网络资源，在播放器端则减少缓存分配；由非发言人转为发言人时，则相反。

如图5为本发明的实施例二还提供一种多模网络健康度评估装置的结构框图，包括信息采集模块310、发言人识别模块320、采集端优化模块330和转码段性能提升模块340。

信息采集模块310，用于同步采集会议音频信息和会议视频信息；

发言人识别模块320，用于检测所述会议音频信息和所述会议视频信息，以确定参会方的发言人。

较佳地，具体包括：对视频信息进行人脸识别得到人脸区域。对所述人脸区域进行唇动识别，得到唇动特征，根据唇动特征计算说话可能性P2。通过音频信息进行人声识别，得到人声可能性P1。其中，人声识别使用梅尔倒频谱算法和/或高斯混合模型。根据说话可能性P2和人声可能性P1以确定参会方中的发言人。

如图3所示，利用预设或者动态调整的人声权重a1和唇动权重a2，确定参会方是发言人的可能性P，其中，P＝a1*P1+a2*P2，a1+a2＝1，a1≥0,a2≥0。

确定参会方是发言人的可能性大于预设阈值，则所述参会方为发言人。

在发言人判断方面利用人声和视频中唇动综合智能判断，可以简单有效的减少嘈杂背景特别是会场多人情况下发言人误判情况。

采集端优化模块330，用于对所述发言人的音频和视频采集端进行优化操作，所述优化操作包括：提升以下参数的一种或几种：采样分辨率、采用率、采样精度和采样格式。

本实施例中，具体还包括：收集所述发言人的系统和网络情况信息，根据所述发言人的系统和网络情况信息，对所述发言人的音频和视频采集端进行进行优化操作。

转码段性能提升模块340，用于在所述发言人的音频和视频编转码端提高以下参数的一种或几种：网络缓存、提高网络QOS、提高编转码资源分配。

作为一种实施方式，在确认参会方的发言人之后，还包括：

在多方视频混流模式下：

提升所述发言人的在播放器端下行网络服务和资源预留情况和/或减少除所述发言人外的所述参会方的下行网络服务和资源预留情况；

播放器根据预设规则，提高播放器接收所述发言人的缓冲内存容量，和/或减少播放器接收除所述发言人外的所述参会方的缓冲内存容量。

作为一种实施方式，在确认参会方的发言人之后，还包括：

收集除所述发言人外的所述参会方的系统和网络情况信息，根据除所述发言人外的所述参会方的系统和网络情况信息，对除所述发言人外的所述参会方的音频和视频采集端进行调整操作，所述调整操作包括：降低以下参数的一种或几种：采样分辨率、采用率、采样精度和采样格式；

在除所述发言人外的所述参会方的音频和视频编转码端降低以下参数的一种或几种：网络缓存、网络QOS、编转码资源分配。

在一具体实施例中：一种参数调整的具体方法为，发言人转为非发言人其编转码后分辨率降为原先的f倍，帧率降为原先的g倍，其所预留的网络带宽资源可以降为原先的f*g，其计算资源也可以降为原先的h*f*g(h为计算资源系数，h>0)，为播放器其分配缓存也可降为i*f*g(i为缓存资源系数，i>0)，反之则增加。

因此一种视频会议中动态码流处理装置也能实现视频会议中动态码流处理方法和相应的技术效果，前文已经进行了详细说明，此处不再赘述。

相应的，本发明的实施例还提供一种计算机可读存储介质，所述存储介质中存储有指令，所述指令运行时执行前述实施例提供的任一视频会议中动态码流处理方法，因此也能实现相应的技术效果，前文已经进行了详细说明，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.视频会议中动态码流处理方法，其特征在于，包括：

同步采集多个参会方的会议音频信息和会议视频信息；

检测所述会议音频信息和所述会议视频信息，以确定参会方的发言人；

对所述发言人的音频和视频采集端进行优化操作，所述优化操作包括：提升以下参数的一种或几种：采样分辨率、采用率、采样精度和采样格式；

在所述发言人的音频和视频编转码端提高以下参数的一种或几种：网络缓存、提高网络QOS、提高编转码资源分配。

2.根据权利要求1所述的方法，其特征在于，所述确定参会方的发言人，之后，还包括：在多方视频混流模式下：

提升所述发言人的在播放器端下行网络服务和资源预留情况和/或减少除所述发言人外的所述参会方的下行网络服务和资源预留情况；

播放器根据预设规则，提高播放器接收所述发言人的缓冲内存容量，和/或减少播放器接收除所述发言人外的所述参会方的缓冲内存容量。

3.根据权利要求1所述的方法，其特征在于，对所述发言人的音频和视频采集端进行优化操作，具体包括：收集所述发言人的系统和网络情况信息，根据所述发言人的系统和网络情况信息，对所述发言人的音频和视频采集端进行进行优化操作。

4.根据权利要求1所述的方法，其特征在于，所述确定参会方的发言人，之后，还包括：收集除所述发言人外的所述参会方的系统和网络情况信息，根据除所述发言人外的所述参会方的系统和网络情况信息，对除所述发言人外的所述参会方的音频和视频采集端进行调整操作，所述调整操作包括：降低以下参数的一种或几种：采样分辨率、采用率、采样精度和采样格式；

在除所述发言人外的所述参会方的音频和视频编转码端降低以下参数的一种或几种：网络缓存、网络QOS、编转码资源分配。

5.根据权利要求1所述的方法，其特征在于，所述检测所述会议音频信息和所述会议视频信息，以确定参会方的发言人，具体包括：

对视频信息进行人脸识别得到人脸区域；

对所述人脸区域进行唇动识别，得到唇动特征，根据唇动特征计算说话可能性P2；

通过音频信息进行人声识别，得到人声可能性P1；

根据说话可能性P2和人声可能性P1以确定参会方中的发言人。

6.根据权利要求5所述的方法，其特征在于，利用预设或者动态调整的人声权重a1和唇动权重a2，确定参会方是发言人的可能性P，其中，P＝a1*P1+a2*P2，a1+a2＝1，a1≥0,a2≥0；

确定参会方是发言人的可能性大于预设阈值，则所述参会方为发言人。

7.根据权利要求5所述的方法，其特征在于，所述人声识别使用梅尔倒频谱算法和/或高斯混合模型。

8.根据权利要求6所述的方法，其特征在于，确定a1，a2和P阀值方法是：统计所有视频会议中有人声的情况个数为c，统计视频会议中有唇动的情况个数为d，统计视频会议中既有人声又有唇动情况个数为e；

则b1＝e/c,b2＝e/d，a1＝b1/(b1+b2),a2＝b2/(b1+b2)，阀值P＝e/(c+d)。

9.一种视频会议中动态码流处理装置，其特征在于，包括：

信息采集模块，用于同步采集会议音频信息和会议视频信息；

发言人识别模块，用于检测所述会议音频信息和所述会议视频信息，以确定参会方的发言人；

采集端优化模块，用于对所述发言人的音频和视频采集端进行优化操作，所述优化操作包括：提升以下参数的一种或几种：采样分辨率、采用率、采样精度和采样格式；

转码段性能提升模块，用于在所述发言人的音频和视频编转码端提高以下参数的一种或几种：网络缓存、提高网络QOS、提高编转码资源分配。

10.一种计算机存储介质，其特征在于，存储介质中存储有指令，所述指令运行时执行如权利要求1-8中任一项所述的视频会议中动态码流处理方法。

Images