CN109391844A - 基于视频会议场景的视频质量诊断方法和系统 - Google Patents

Abstract

本发明公开了一种基于视频会议场景的视频质量诊断方法和系统，其方法包括以下步骤：获取视频会议中各个会场的视频原始数据；将所述视频原始数据接入电视墙服务器并外接编码器输出，获得会场视频流，并以RTMP/RTSP的方式进行推送；将所述通过RTMP/RTSP推送的视频流进行解码处理并转换成YUV格式的图片数据；对所述YUV格式的图片数据的各项指标进行诊断，根据图像诊断结果判断视频质量，并输出视频质量诊断结果；对图片数据各项指标的诊断结果进行分析处理并及时向运维中心告警，通知运维人员进行相关维护；循环上述S1‑S5步骤以不断优化视频质量。本技术方案可在视频会议开展期间对视频质量进行自动化、高效化、精准化的诊断和维护，确保视频会议的正常运行。

Description

基于视频会议场景的视频质量诊断方法和系统

技术领域

本发明涉及视频分析技术领域，具体为一种基于视频会议场景的视频质量诊断方法和系统。

背景技术

随着网络通信技术和多媒体技术的迅速发展，视频会议以逼真的现场还原，便捷的会议模式，给予用户最直观的会议体验，得到了众多企业的认可，已然成为当前会议召开的主流形式之一。但在现实应用环境中，还存在各种故障影响视频会议的体验效果，从视频质量方面主要包括：图像偏色、图像过亮、图像过暗、雪花噪声检测、视频模糊等，导致视频会议无法正常进行，同时通过人工诊断的方式已无法满足当前各项视频质量检测项的需求。针对此种情况，本文针对视频会议场景下给出一种视频质量诊断的方法和系统，在视频会议开展期间对视频质量自动化、高效化、精准化的质量诊断，确保视频会议的正常运行。

现有技术如公开号为CN105430384B的发明公开了一种视频质量诊断方法和系统，其方法为：获取视频数据；对获取的视频数据进行抽帧，抽取多幅图像，将抽取的多幅图像转换成YUV格式；分别对多幅YUV格式的图像的各项指标进行检测，根据图像检测结果判定当前视频质量，并输出视频质量诊断结果；其中，各项指标包括图像信号丢失、图像模糊、图像灰度异常、图像过亮过暗、图像遮挡、图像偏色、增益紊乱、画面冻结中的一种或几种。该发明视频质量诊断方法将对视频的分析转化成对有限图像的综合评定，能够在短时间内对一段较长时间的视频流进行分析，诊断有无视频质量异常。其异常视频检测正确率较高，漏报率较低，检测效率有一定程度提高。但是其在对视频质量进行诊断后，不能及时反馈诊断结果以及监控运维中心的维护工作开展效果。

发明内容

本发明的目的在于提供一种基于视频会议场景的视频质量诊断方法和系统，以解决上述背景技术中提出的现有的视频质量诊断技术存在在对视频质量进行诊断后，不能及时反馈诊断结果以及监控运维中心的维护工作开展效果的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于视频会议场景的视频质量诊断方法，其方法包括以下步骤：

S1、获取视频会议中各个会场的视频原始数据；

S2、将所述视频原始数据接入电视墙服务器并外接编码器输出，获得会场视频流，并以RTMP/RTSP的方式进行推送；

S3、将所述通过RTMP/RTSP推送的视频流进行解码处理并转换成YUV格式的图片数据；

S4、对所述YUV格式的图片数据的各项指标进行诊断，根据图像诊断结果判断视频质量，并输出视频质量诊断结果；

S5、对图片数据各项指标的诊断结果进行分析处理并及时向运维中心告警，通知运维人员进行相关维护；

S6、循环上述S1-S5步骤以不断优化视频质量。

优选的，所述S1中通过对连接MCU的交换机进行端口镜像操作来获取视频原始数据。

优选的，所述S2中将电视墙服务器的管理控制系统设置为会议会场轮询模式以持续不断的获得会场视频流。

优选的，所述S3中利用FFMPEG将推送的视频流进行解码处理。

优选的，所述S4中需要进行诊断的图片数据的各项指标至少包括图像偏色检测、图像过亮和过暗检测、雪花噪声检测以及视频模糊检测。

一种基于视频会议场景的视频质量诊断系统，其包括：

原始视频数据获取模块，用于获取视频会议中所有会场的视频原始数据；视频流获取及推送模块，用于将所述视频原始数据转换成视频流并进行推送，其包括视频流获取单元和视频流推送单元；视频图像诊断模块，用于对视频流进行格式转换以及对视频图像的各项指标进行诊断，其包括视频格式转换单元和视频图像诊断单元；诊断结果输出模块，用于输出视频各项指标的诊断结果；以及运维效果监控模块，用于对视频质量诊断结果进行分析处理并及时向运维中心告警以及对运维中心运维工作的效果进行适时监控，其包括数据处理单元、告警控制单元、数据传输单元以及数据库；

其中，原始视频数据获取模块、视频流获取单元、视频流推送单元、视频格式转换单元、视频图像诊断单元以及诊断结果输出模块顺次连接，诊断结果输出模块分别连接数据处理单元和数据传输单元，数据处理单元连接告警控制单元和数据库。

优选的，所述原始视频数据获取模块连接MCU的交换机，通过端口镜像操作来获取视频原始数据。

优选的，所述视频流获取单元包括电视墙服务器和编码器，且所述电视墙服务器的管理控制系统中设置会议会场为轮询模式，所述视频格式转换单元集成有视频流FFMPEG解码工具和图片YUV格式转换工具，，所述视频图像诊断单元至少集成有图像偏色检测模块、图像过亮和过暗检测模块、雪花噪声检测模块和视频模糊检测模块。

优选的，所述数据处理单元包括中央处理器，所述数据库中存储有视频质量达标的标准数据或存储有视频质量不达标的标准数据，所述数据传输单元为无线通讯模块，连接运维中心，用于将视频质量诊断结果传输至运维中心进行备份存储。

优选的，所述告警控制单元连接运维中心的报警装置，用于在诊断视频质量不达标时进行告警提醒。

与现有技术相比，本发明的有益效果是：本发明的一种基于视频会议场景的视频质量诊断方法和系统，通过对多个会场的视频原始数据进行获取、处理以及对视频图像各项指标进行诊断，然后将诊断结果通过运维效果监控模块及时反馈至运维中心进行告警提醒，当运维中心工作人员对各会场视频设备故障进行处理之后，再次对新的视频原始数据进行获取、处理以及对视频图像各项指标进行诊断，如果依旧存在问题则再次将诊断结果反馈至运维中心进行告警提醒，并且循环以上过程以不断优化视频质量。本技术方案整体形成一个闭环系统，不仅可以对视频质量进行诊断，还能及时反馈并监控运维中心运维工作的效果，可在视频会议开展期间对视频质量进行自动化、高效化、精准化的诊断和维护，确保视频会议的正常运行。

附图说明

图1为本发明一种基于视频会议场景的视频质量诊断方法流程示意图；

图2为本发明一种基于视频会议场景的视频质量诊断系统结构示意图；

图3为本发明中一种基于视频会议场景的视频质量诊断方法的实施结构示意图；

图4为本发明一种基于视频会议场景的视频质量诊断系统中的雪花噪声算法流程图；

图5为本发明一种基于视频会议场景的视频质量诊断系统中的图像偏色算法流程图；

图6为本发明一种基于视频会议场景的视频质量诊断系统中的图像过亮过暗算法流程图；

图7为本发明一种基于视频会议场景的视频质量诊断系统中的视频模糊算法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为一种基于视频会议场景的视频质量诊断方法，其方法包括以下步骤：

S1、获取视频会议中各个会场的视频原始数据。

对连接MCU的交换机进行端口镜像操作，获取视频会议中所有会场的视频原始数据。

S2、将所述视频原始数据接入电视墙服务器并外接编码器输出，获得会场视频流，并以RTMP/RTSP的方式进行推送。

将视频原始数据接入电视墙服务器，在管理控制系统中设置会议会场为轮询模式并外接编码器输出，获得会场视频流，并以RTMP/RTSP的方式进行推送。

S3、将所述通过RTMP/RTSP推送的视频流进行解码处理并转换成YUV格式的图片数据。

通过利用FFMPEG将S2中RTMP/RTSP推送的视频流进行解码处理并转换成YUV格式的图片数据。

S4、对所述YUV格式的图片数据的各项指标进行诊断，根据图像诊断结果判断视频质量，并输出视频质量诊断结果。

对S3中YUV格式的图像的各项指标进行诊断，根据图像诊断结果判断视频质量，并输出视频质量诊断结果。其中，待诊断的图片数据的各项指标至少包括图像偏色检测、图像过亮和过暗检测、雪花噪声检测以及视频模糊检测，其具体方法为：

(1)图像偏色检测，采用基于图像色度的平均值和色度分布特性的图像色偏检测算法进行偏色诊断，首先，根据步骤3获取一帧视频图像，并将视频帧由RGB颜色空间转换到CIELab空间，其次，分别计算a，b通道的平均色度D和色度中心距M，最后，根据D/M计算出图像偏色因子K，并根据阀值Kh判断图像是否偏色，若K<Kh，该视频图像不偏色，若K≥Kh，则视频图像偏色，并且K值越大，偏色越严重，反之偏色越轻；

(2)图像过亮、过暗检测，通过采用图像的平均灰度值的方式进行亮度诊断，首先，根据步骤3获取一帧视频图像，将视频帧进行灰度化转换并对图像进行分块处理，分为n块图像，计算每块图像灰度均值a(i),i＝1,2,…n，其次计算全局图像灰度总值sum＝a(1)+a(2)+…a(i),i＝1,2,…n，再次计算图像灰度均值ave＝sum/n，最后将灰度均值ave与阀值Th1、Th2比对判断图像亮度是否异常，若ave>Th1且a(i)>Th1，i＝1,2...n，则为图像过亮，若ave<Th2且a(i)<Th2，i＝1,2...n，则为图像过暗。依次连续处理多帧图像，若多帧图像过亮，判定该路视频图像过亮，若多帧图像过暗，判定该路视频图像过暗；

(3)雪花噪声检测，将步骤3中截取的视频帧图像作灰度化处理，形成灰度图像并进行灰度级进行压缩，为减少计算量，量化成16级，从视频图像左上角开始位置将它分成3x3子块窗口并计算该区域内9个像素点灰度值的方差，遍历大小为M*N的图像，得到(M-1)*(N-1)个方差值Q，取方差值Q的均值T，将T与阈值Th比较，若T>Th,则该视频图像为雪花噪声异常，反之，则为正常图像；

(4)视频模糊检测，将步骤3中截取的视频帧图像由RGB空间转换到灰度空间，遍历图像中每个像素点，将每个像素点的灰度值f(x,y)累加求均值，得到视频图像的初始背景图像，根据方向模板s(j),j-1,2,3,4，对背景图像中每个像素点进行领域卷积计算，提取像素点4个方向的边缘成分，为f1，f2，f3，f4，计算每个像素点的梯度值F，将F与Fh判断，若F>Fh，该像素点为边缘像素点，反之，为非边缘像素点，将边缘像素点的梯度值累加，记为sum＝F(1)+F(2)+…F(k),k＝1,2,…n，将sum与阀值Th(α1,α2)比较，若sum∈Th(α1,α2)，则实时视频图像是清晰的；反之，则视频图像是模糊。

S5、对图片数据各项指标的诊断结果进行分析处理并及时向运维中心告警，通知运维人员进行相关维护。

将图片数据各项指标的诊断结果进行分析处理，如果诊断结果显示视频质量存在问题则及时向运维中心告警，通知运维人员进行相关维护。

S6、循环上述S1-S5步骤以不断优化视频质量。

当运维中心工作人员对各会场视频会议设备进行检修维护之后，再次重复S1-S5的步骤，通过不断循环采集视频数据、对视频质量进行诊断和反馈结果至运维中心等步骤，以达到优化视频质量的目的。

如图2所示，本发明还公开了一种基于视频会议场景的视频质量诊断系统，其包括：

原始视频数据获取模块，用于获取视频会议中所有会场的视频原始数据；视频流获取及推送模块，用于将所述视频原始数据转换成视频流并进行推送，其包括视频流获取单元和视频流推送单元；视频图像诊断模块，用于对视频流进行格式转换以及对视频图像的各项指标进行诊断，其包括视频格式转换单元和视频图像诊断单元；诊断结果输出模块，用于输出视频各项指标的诊断结果；以及运维效果监控模块，用于对视频质量诊断结果进行分析处理并及时向运维中心告警以及对运维中心运维工作的效果进行适时监控，其包括数据处理单元、告警控制单元、数据传输单元以及数据库；

其中，原始视频数据获取模块、视频流获取单元、视频流推送单元、视频格式转换单元、视频图像诊断单元以及诊断结果输出模块顺次连接，诊断结果输出模块分别连接数据处理单元和数据传输单元，数据处理单元连接告警控制单元和数据库。

原始视频数据获取模块，用于获取视频会议中所有会场的视频原始数据，其连接MCU的交换机，通过端口镜像操作来获取视频原始数据，如图3所示。

视频流获取及推送模块，用于将所述视频原始数据转换成视频流并进行推送，其包括视频流获取单元和视频流推送单元。其中，视频流获取单元包括电视墙服务器和编码器。具体操作时，将视频原始数据接入电视墙服务器，在管理控制系统中设置会议会场为轮询模式并外接编码器输出，获得会场视频流，并以RTMP/RTSP的方式进行推送。

视频图像诊断模块，用于对视频流进行格式转换以及对视频图像的各项指标进行诊断，其包括视频格式转换单元和视频图像诊断单元。其中，视频格式转换单元集成有视频流FFMPEG解码工具和图片YUV格式转换工具。利用FFMPEG将通过RTMP/RTSP推送的视频流进行解码处理并转换成YUV格式的图片数据，然后对YUV格式的图像的各项指标进行诊断，根据图像诊断结果判断视频质量，并输出视频质量诊断结果。其中，视频图像诊断单元至少集成有图像偏色检测模块、图像过亮和过暗检测模块、雪花噪声检测模块和视频模糊检测模块，其具体操作如下：

如图4所示，雪花噪声检测，将步骤3中截取的视频帧图像作灰度化处理，形成灰度图像并进行灰度级进行压缩，为减少计算量，量化成16级，从视频图像左上角开始位置将它分成3x3子块窗口并计算该区域内9个像素点灰度值的方差，遍历大小为M*N的图像，得到(M-1)*(N-1)个方差值Q，取方差值Q的均值T，将T与阈值Th比较，若T>Th,则该视频图像为雪花噪声异常，反之，则为正常图像；

如图5所示，图像偏色检测，采用基于图像色度的平均值和色度分布特性的图像色偏检测算法进行偏色诊断，首先，根据步骤3获取一帧视频图像，并将视频帧由RGB颜色空间转换到CIELab空间，其次，分别计算a，b通道的平均色度D和色度中心距M，最后，根据D/M计算出图像偏色因子K，并根据阀值Kh判断图像是否偏色，若K<Kh，该视频图像不偏色，若K≥Kh，则视频图像偏色，并且K值越大，偏色越严重，反之偏色越轻；

如图6所示，图像过亮、过暗检测，通过采用图像的平均灰度值的方式进行亮度诊断，首先，根据步骤3获取一帧视频图像，将视频帧进行灰度化转换并对图像进行分块处理，分为n块图像，计算每块图像灰度均值a(i),i＝1,2,…n，其次计算全局图像灰度总值sum＝a(1)+a(2)+…a(i),i＝1,2,…n，再次计算图像灰度均值ave＝sum/n，最后将灰度均值ave与阀值Th1、Th2比对判断图像亮度是否异常，若ave>Th1且a(i)>Th1，i＝1,2...n，则为图像过亮，若ave<Th2且a(i)<Th2，i＝1,2...n，则为图像过暗。依次连续处理多帧图像，若多帧图像过亮，判定该路视频图像过亮，若多帧图像过暗，判定该路视频图像过暗；

如图7所示，视频模糊检测，将步骤3中截取的视频帧图像由RGB空间转换到灰度空间，遍历图像中每个像素点，将每个像素点的灰度值f(x,y)累加求均值，得到视频图像的初始背景图像，根据方向模板s(j),j-1,2,3,4，对背景图像中每个像素点进行领域卷积计算，提取像素点4个方向的边缘成分，为f1，f2，f3，f4，计算每个像素点的梯度值F，将F与Fh判断，若F>Fh，该像素点为边缘像素点，反之，为非边缘像素点，将边缘像素点的梯度值累加，记为sum＝F(1)+F(2)+…F(k),k＝1,2,…n，将sum与阀值Th(α1,α2)比较，若sum∈Th(α1,α2)，则实时视频图像是清晰的；反之，则视频图像是模糊。

诊断结果输出模块，用于输出视频各项指标的诊断结果。

运维效果监控模块，用于对视频质量诊断结果进行分析处理并及时向运维中心告警以及对运维中心运维工作的效果进行适时监控，其包括数据处理单元、告警控制单元、数据传输单元以及数据库。其中，数据处理单元包括中央处理器，用于将输出的视频各项指标的诊断结果与数据库进行比对分析，进而判断该视频质量是否达标，数据库中根据实际需要可存储有视频质量达标的标准数据，或存储视频质量不达标的标准数据；告警控制单元连接运维中心的报警装置，用于在诊断视频质量不达标时进行告警提醒；数据传输单元为无线通讯模块，连接运维中心，用于将视频质量诊断结果传输至运维中心进行备份存储。

实施过程如图3所示，本技术方案中的视频质量诊断系统采集各个会议分会场的视频原始数据，再通过对视频原始数据进行处理以及对视频图像各项指标进行诊断，然后将诊断结果及时反馈至运维中心进行告警提醒，当运维中心工作人员对各会场视频设备故障进行处理之后，再次对新的视频原始数据进行获取、处理以及对视频图像的各项指标进行诊断，如果依旧存在问题则再次将诊断结果反馈至运维中心进行告警提醒，并且循环以上过程以不断优化视频质量。本技术方案整体由于形成一个闭环系统，不仅可以对视频质量进行诊断，还能及时反馈并监控运维中心运维工作的效果，可在视频会议开展期间对视频质量进行自动化、高效化、精准化的诊断和维护，确保视频会议的正常运行。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于视频会议场景的视频质量诊断方法，其特征在于，该方法包括以下步骤：

S1、获取视频会议中各个会场的视频原始数据；

S2、将所述视频原始数据接入电视墙服务器并外接编码器输出，获得会场视频流，并以RTMP/RTSP的方式进行推送；

S3、将所述通过RTMP/RTSP推送的视频流进行解码处理并转换成YUV格式的图片数据；

S4、对所述YUV格式的图片数据的各项指标进行诊断，根据图像诊断结果判断视频质量，并输出视频质量诊断结果；

S5、对图片数据各项指标的诊断结果进行分析处理并及时向运维中心告警，通知运维人员进行相关维护；

S6、循环上述S1-S5步骤以不断优化视频质量。

2.根据权利要求1所述的一种基于视频会议场景的视频质量诊断方法，其特征在于，所述S1中通过对连接MCU的交换机进行端口镜像操作来获取视频原始数据。

3.根据权利要求1所述的一种基于视频会议场景的视频质量诊断方法，其特征在于，所述S2中将电视墙服务器的管理控制系统设置为会议会场轮询模式以持续不断的获得会场视频流。

4.根据权利要求1所述的一种基于视频会议场景的视频质量诊断方法，其特征在于，所述S3中利用FFMPEG将推送的视频流进行解码处理。

5.根据权利要求1所述的一种基于视频会议场景的视频质量诊断方法，其特征在于，所述S4中需要进行诊断的图片数据的各项指标至少包括图像偏色检测、图像过亮和过暗检测、雪花噪声检测以及视频模糊检测。

6.一种基于视频会议场景的视频质量诊断系统，其特征在于，包括：

原始视频数据获取模块，用于获取视频会议中所有会场的视频原始数据；

视频流获取及推送模块，用于将所述视频原始数据转换成视频流并进行推送，其包括视频流获取单元和视频流推送单元；

视频图像诊断模块，用于对视频流进行格式转换以及对视频图像的各项指标进行诊断，其包括视频格式转换单元和视频图像诊断单元；

诊断结果输出模块，用于输出视频各项指标的诊断结果；以及

运维效果监控模块，用于对视频质量诊断结果进行分析处理并及时向运维中心告警以及对运维中心运维工作的效果进行适时监控，其包括数据处理单元、告警控制单元、数据传输单元以及数据库；

其中，所述原始视频数据获取模块、视频流获取单元、视频流推送单元、视频格式转换单元、视频图像诊断单元以及诊断结果输出模块顺次连接，所述诊断结果输出模块分别连接数据处理单元和数据传输单元，所述数据处理单元连接告警控制单元和数据库。

7.根据权利要求6所述的一种基于视频会议场景的视频质量诊断系统，其特征在于，所述原始视频数据获取模块连接MCU的交换机，通过端口镜像操作来获取视频原始数据。

8.根据权利要求6所述的一种基于视频会议场景的视频质量诊断系统，其特征在于，所述视频流获取单元包括电视墙服务器和编码器，且所述电视墙服务器的管理控制系统中设置会议会场为轮询模式，所述视频格式转换单元集成有视频流FFMPEG解码工具和图片YUV格式转换工具，，所述视频图像诊断单元至少集成有图像偏色检测模块、图像过亮和过暗检测模块、雪花噪声检测模块和视频模糊检测模块。

9.根据权利要求6所述的一种基于视频会议场景的视频质量诊断系统，其特征在于，所述数据处理单元包括中央处理器，所述数据库中存储有视频质量达标的标准数据或存储有视频质量不达标的标准数据，所述数据传输单元为无线通讯模块，连接运维中心，用于将视频质量诊断结果传输至运维中心进行备份存储。

10.根据权利要求6所述的一种基于视频会议场景的视频质量诊断系统，其特征在于，所述告警控制单元连接运维中心的报警装置，用于在诊断视频质量不达标时进行告警提醒。