CN103873852A - 多模态并行的视频质量故障检测方法及装置 - Google Patents

Abstract

本发明揭示了一种多模态并行的视频质量故障检测装置及对应的方法，本发明的装置包括视频分拆模块、黑场检测模块、静帧检测模块、马赛克检测模块、静音检测模块、检测结果合并模块。相对应的，本发明的方法同样包括六个步骤，分别是视频分拆步骤、黑场检测步骤、静帧检测步骤、马赛克检测步骤、静音检测步骤、检测结果合并步骤。采用了本发明的技术方案，通过并行化分析的框架，将视频质量的分析工作同时拆解到多个CPU上进行，并实现了相应的系统，大大提升了视频质量审查的速度。

Description

多模态并行的视频质量故障检测方法及装置

技术领域

本发明涉及一种视频质量检测方法及装置，更具体地说，涉及一种多模态并行的视频质量故障检测方法及装置。

背景技术

视频质量代表了内容服务提供商的品牌形象，因此视频在上传至服务器前必须通过质量审核。海量的视频审核会带来巨大的人工成本，通过机器来辅助人工审核视频质量也成为了一种发展趋势。但随着视频解析度的不断上升，计算复杂度随之提高，传统单核计算的模式受到了很大的限制。

序列化的读取与计算使得机器审核的速度受到了单个CPU计算能力的限制，在多核CPU、多计算节点集群普及的今天，传统的序列化质量检查算法已经受到了发展制约。

发明内容

本发明的目的旨在提供一种多模态并行的视频质量故障检测方法及装置，来解决现有技术中存在的各种不足。

根据本发明，提供一种多模态并行的视频质量故障检测方法，包括：步骤一，视频分拆步骤，将输入视频根据系统配置，拆分成N段图像序列和M段声音序列；步骤二，黑场检测步骤，将画面划分为x*y的小块，计算每小块中所有像素的Y分量的均值，只要存在某一块中所有像素的Y分量均值超过设定的阈值，即认为该帧不为黑场，否则判定为黑场；步骤三，静帧检测步骤，判断相同或者非常相似的图像帧是否连续累及到一定时间；步骤四，马赛克检测步骤，通过提取边缘特征，判定是否有马赛克图像；步骤五，静音检测步骤，计算音频解码后数据在滑动窗口时间内的所有电平值的最大值，判断在连续一段时间内是否低于预先配置的报警阈值；步骤六，检测结果合并步骤，将上述步骤二至步骤五的检测结果合并。

根据本发明的一实施例，黑场检测步骤、静帧检测步骤和马赛克检测步骤分别同时进行。

根据本发明的一实施例，视频分拆步骤将声音序列和图像序列在时间轴上进行时间打点，其中声音序列的分段数M小于图像序列的分段数N。

根据本发明的一实施例，静帧检测步骤将整个画面分成x*y小块，以每一个小块为检测对象，比较每一个小块的数据之间的差值，根据所述差值来判断图像的前后两帧是否一样。

根据本发明的一实施例，马赛克检测步骤对输入的图像帧首先进行X方向和Y方向的Sobel边缘检测，在这两个方向上进行自适应阈值的边缘增强，再对两个方向上的边缘信息进行融合，采用马赛克模板与边缘信息进行比对，最后对该区域的边缘的宽度进行判断，如果超过设定的阈值，即判定为马赛克。

根据本发明的一实施例，音频解码后的数据为PCM数据，所述滑动窗口时间为100ms。

根据本发明的另一方面，还提供一种多模态并行的视频质量故障检测装置，包括视频分拆模块、黑场检测模块、静帧检测模块、马赛克检测模块、静音检测模块、检测结果合并模块。视频分拆模块将输入视频根据系统配置，拆分成N段图像序列和M段声音序列。黑场检测模块将画面划分为x*y的小块，计算每小块中所有像素的Y分量的均值，只要存在某一块中所有像素的Y分量均值超过设定的阈值，即认为该帧不为黑场，否则判定为黑场。静帧检测模块判断相同或者非常相似的图像帧是否连续累及到一定时间。马赛克检测模块通过提取边缘特征，判定是否有马赛克图像。静音检测模块计算音频解码后数据在滑动窗口时间内的所有电平值的最大值，判断在连续一段时间内是否低于预先配置的报警阈值。检测结果合并模块将黑场检测模块、静帧检测模块、马赛克检测模块、静音检测模块的检测结果合并。

根据本发明的一实施例，黑场检测模块、静帧检测模块和马赛克检测模块分别同时运行。

根据本发明的一实施例，视频分拆模块将声音序列和图像序列在时间轴上进行时间打点，其中声音序列的分段数M小于图像序列的分段数N。

根据本发明的一实施例，静帧检测模块将整个画面分成x*y小块，以每一个小块为检测对象，比较每一个小块的数据之间的差值，根据所述差值来判断图像的前后两帧是否一样。

根据本发明的一实施例，马赛克检测模块对输入的图像帧首先进行X方向和Y方向的Sobel边缘检测，在这两个方向上进行自适应阈值的边缘增强，再对两个方向上的边缘信息进行融合，采用马赛克模板与边缘信息进行比对，最后对该区域的边缘的宽度进行判断，如果超过设定的阈值，即判定为马赛克。

根据本发明的一实施例，音频解码后的数据为PCM数据，所述滑动窗口时间为100ms。

采用了本发明的技术方案，通过并行化分析的框架，将视频质量的分析工作同时拆解到多个CPU上进行，并实现了相应的系统，大大提升了视频质量审查的速度。

附图说明

在本发明中，相同的附图标记始终表示相同的特征，其中：

图1是本发明多模态并行的视频质量故障检测装置的系统结构示意图；

图2是马赛克检测算法的流程图。

具体实施方式

下面结合附图和实施例进一步说明本发明的技术方案。

视频服务目前已经成为当前网络最主要的应用之一，在用户的视频服务体验中，画面和声音的质量是最大的两个影响因素。视频在生产制作的过程中，有时候会因为一些设备或系统的技术故障，产生诸如黑场、静帧、静音和马赛克等问题，这些问题会直接损害用户的视频体验，影响视频服务提供商的品牌形象。因此，在视频上传至服务器播出前，都需要通过质量审核。完全的人工审核会带来巨大的人力开销，而且审核速度也容易成为视频上线过程中的瓶颈，因此，以机器辅助人工的方式逐步成为了发展趋势。

按照传统的质量分析系统的设计思路，一般是逐帧读取输入视频的图像和声音信息，然后顺序通过不同的故障检测模块，如通过统计I帧直流系数进行黑场判定，通过相邻帧的图像差分进行静帧判定，通过频域特征值进行静音判定，通过边缘特征进行马赛克的判定等。序列化的读取与计算使得机器审核的速度受到了单个CPU计算能力的限制，在多核CPU、多计算节点集群普及的今天，传统的序列化质量检查算法已经受到了发展制约。

本发明提出了一个并行化质量分析框架，该框架可以连续读取视频图像信息和音频信息，并利用多线程技术，在多核计算机服务器上同时将各不同时段的信息分别交由不同的检测模块并行处理，最后将不同时段、不同类型的检测结果进行合并，形成统一的检测报告，在下一节中我们将给出该系统的架构图并进一步说明。在此框架基础上实现的视频质量分析系统，充分发挥了多核CPU服务器的计算能力，大幅度提升了质量审核的速度。

本发明提出的视频质量并行化分析系统由以下几部分组成：视频分拆、黑场检测、静帧检测、马赛克检测、静音检测、检测结果合并，系统架构如图1所示。

视频分拆是将输入视频根据系统配置，拆分成N段图像序列和M段声音序列。因为视频的图像和声音在编码时是分开的，而且前者是二维信号，后者是一维信号，在处理方法上有较大的区别，所以将图像和声音的处理分开进行。另外，由于声音信号的处理复杂度一般比图像信号更低，处理速度更快，因此声音序列的拆分可以和图像拆分不同步，即声音序列的分段数一般小于图像序列的分段数（M<N）。根据输入视频的时间长度和系统配置好的M、N值首先进行时间轴上的拆分，拆分的单位精确到毫秒。另外，这里的拆分在形式上表现为时间打点，不需要进行复杂的视频文件的解析和抽取、形成文件片断，提高系统速度。

由于图像质量的检测存在多个模块，因此进一步将不同的图像质量检测模块也实行并行化操作，即对于同一个图像序列，黑场检测、静帧检测、马赛克检测这三个模块分别同时进行。各模块的实现算法将在下一节中介绍。

各检测模块输出的片断检测结果报告汇总到合并模块，合并模块将各检测报告首先依照检测类型进行合并，形成黑场、静帧、静音、马赛克这几种故障类型的合并报告。在合并过程中，需要注意的是，视频故障可能跨越分割点，所以在合并时如果发现这种情况的出现，需要将多个故障报告合并为一个。最后，再将各种类型的报告合并，形成最终的视频质量检测报告。

黑场检测的算法将画面划分为x*y的小块，计算每小块中所有像素的Y分量的均值，只要存在某一块中所有像素的Y分量均值超过设定的阈值，即认为该帧不为黑场，否则判定为黑场。当然，在很多正常的视频画面中，也会存在短时间的黑屏现象，比如场景镜头的切换，或者节目的开始或者结束，但一般不会持续较长时间，所以还需设定一个时间阈值，当连续检测到黑场的时长超过了该时间阈值时，黑场报警才会出现，否则认为是正常的黑屏现象。以下是判定黑场的核心函数isBlack代码：

静帧的画面表现出来的特征是前后两帧图像是相同的，或者是非常相似的，当相同或者非常相似的图像帧连续累及到一定时间后，就可以认为图像上出现了静帧。我们将整个画面分成x*y小块，以每一个小块为检测对象，比较每一个小块的数据之间的差值，然后根据这个差值来判断图像的前后两帧是不是一样的。

差值的计算方法是：计算x*y小块中的每一个小的图像区域，将两帧图像中对应的小块中的像素点的值相减，得到某一个值，然后将该值取绝对值，最后累加起来，最后得到一个值，如果该值的大小超过前一个图像小块中所有像素点的累加和的t％（这个百分比外部可以设置，命名为静帧敏感度），那么比较的两帧小的部分就是不同的，否则就是相同的，如所有的小的分割区块都相同，那么两帧图像就是一样的。相同的图像帧数累加到一定程度（根据帧数判断时间），就发出静帧的报警。以下判定两帧图像是否相同的核心函数isSame代码：

图像的马赛克检测一般通过提取边缘特征来实现，我们采用的检测算法流程图如图2所示。检测模块对输入的图像帧首先进行X方向和Y方向的Sobel边缘检测，在得到图像的边缘的基本信息后，在这两个方向上进行自适应阈值的边缘增强，避免色块之间可能因为颜色接近生成的边缘信息较弱而被后续步骤当做噪声给处理掉。接下来的边缘腐蚀、膨胀、再腐蚀是图像处理中一种常见的用于消除边缘噪声、增强边缘连续性的常见方法。再对两个方向上的边缘信息进行融合，去掉视频黑边，最后采用马赛克模板与边缘信息进行比对，通过模板匹配是疑似马赛克区域，最后对该区域的边缘的宽度进行判断，如果超过设定的阈值，即判定为马赛克，进行报警。

以下是利用模板匹配和边缘宽度判定是否存在马赛克的核心函数isMosaic的代码：

静音故障可以认为是在声音上出现了“黑场”，所以检测静音的思路和检测黑场比较类似，我们将音频解码后的PCM数据，以100ms作为滑动窗口，计算滑动窗口内的所有电平值的最大值，如果在连续一段时间内（该时间长度可配置）低于预先配置的报警阈值，就认为可能存在静音，并报警。以下是判定滑动窗口内信号是否属于静音的核心函数isNoSound代码：

作为本发明的一个实施例，可以用C/C++语言实现上述系统，系统运行在Linux环境下，通过定时扫描数据库表，获取待检测的视频文件的路径信息和文件名，处理结束后将报告存放在数据库中，并通过一个简单的Web界面供用户观看结果。通过约二十小时的高标清视频测试，黑场、静帧、静音的查全率和精确度均为100％，马赛克的查全率为100％、精确度达到约89％。

总之，在视频服务日趋丰富的今天，用户对视频质量要求越来越高，视频服务提供商对必须保证视频质量以提升品牌形象。本发明提出的并行化视频质量分析系统充分发挥了计算机多核计算能力，可以显著提升视频审核的速度，为可靠视频的发布提供更高效的路径。

本技术领域中的普通技术人员应当认识到，以上的说明书仅是本发明众多实施例中的一种或几种实施方式，而并非用对本发明的限定。任何对于以上所述实施例的均等变化、变型以及等同替代等技术方案，只要符合本发明的实质精神范围，都将落在本发明的权利要求书所保护的范围内。

Claims (12)

1.一种多模态并行的视频质量故障检测方法，其特征在于，包括：

步骤一，视频分拆步骤，将输入视频根据系统配置，拆分成N段图像序列和M段声音序列；

步骤二，黑场检测步骤，将画面划分为x*y的小块，计算每小块中所有像素的Y分量的均值，只要存在某一块中所有像素的Y分量均值超过设定的阈值，即认为该帧不为黑场，否则判定为黑场；

步骤三，静帧检测步骤，判断相同或者非常相似的图像帧是否连续累及到一定时间；

步骤四，马赛克检测步骤，通过提取边缘特征，判定是否有马赛克图像；

步骤五，静音检测步骤，计算音频解码后数据在滑动窗口时间内的所有电平值的最大值，判断在连续一段时间内是否低于预先配置的报警阈值；

步骤六，检测结果合并步骤，将上述步骤二至步骤五的检测结果合并。

2.如权利要求1所述的多模态并行的视频质量故障检测方法，其特征在于：

所述黑场检测步骤、静帧检测步骤和马赛克检测步骤分别同时进行。

3.如权利要求1所述的多模态并行的视频质量故障检测方法，其特征在于：

所述视频分拆步骤将声音序列和图像序列在时间轴上进行时间打点，其中声音序列的分段数M小于图像序列的分段数N。

4.如权利要求1所述的多模态并行的视频质量故障检测方法，其特征在于：

所述静帧检测步骤将整个画面分成x*y小块，以每一个小块为检测对象，比较每一个小块的数据之间的差值，根据所述差值来判断图像的前后两帧是否一样。

5.如权利要求1所述的多模态并行的视频质量故障检测方法，其特征在于：

所述马赛克检测步骤对输入的图像帧首先进行X方向和Y方向的Sobel边缘检测，在这两个方向上进行自适应阈值的边缘增强，再对两个方向上的边缘信息进行融合，采用马赛克模板与边缘信息进行比对，最后对该区域的边缘的宽度进行判断，如果超过设定的阈值，即判定为马赛克。

6.如权利要求1所述的多模态并行的视频质量故障检测方法，其特征在于：

所述音频解码后的数据为PCM数据，所述滑动窗口时间为100ms。

7.一种多模态并行的视频质量故障检测装置，其特征在于，包括：

视频分拆模块、黑场检测模块、静帧检测模块、马赛克检测模块、静音检测模块、检测结果合并模块；

所述视频分拆模块将输入视频根据系统配置，拆分成N段图像序列和M段声音序列；

所述黑场检测模块将画面划分为x*y的小块，计算每小块中所有像素的Y分量的均值，只要存在某一块中所有像素的Y分量均值超过设定的阈值，即认为该帧不为黑场，否则判定为黑场；

所述静帧检测模块判断相同或者非常相似的图像帧是否连续累及到一定时间；

所述马赛克检测模块通过提取边缘特征，判定是否有马赛克图像；

所述静音检测模块计算音频解码后数据在滑动窗口时间内的所有电平值的最大值，判断在连续一段时间内是否低于预先配置的报警阈值；

所述检测结果合并模块将所述黑场检测模块、所述静帧检测模块、所述马赛克检测模块、所述静音检测模块的检测结果合并。

8.如权利要求7所述的多模态并行的视频质量故障检测装置，其特征在于：

所述黑场检测模块、静帧检测模块和马赛克检测模块分别同时运行。

9.如权利要求7所述的多模态并行的视频质量故障检测装置，其特征在于：

所述视频分拆模块将声音序列和图像序列在时间轴上进行时间打点，其中声音序列的分段数M小于图像序列的分段数N。

10.如权利要求7所述的多模态并行的视频质量故障检测装置，其特征在于：

所述静帧检测模块将整个画面分成x*y小块，以每一个小块为检测对象，比较每一个小块的数据之间的差值，根据所述差值来判断图像的前后两帧是否一样。

11.如权利要求7所述的多模态并行的视频质量故障检测装置，其特征在于：

所述马赛克检测模块对输入的图像帧首先进行X方向和Y方向的Sobel边缘检测，在这两个方向上进行自适应阈值的边缘增强，再对两个方向上的边缘信息进行融合，采用马赛克模板与边缘信息进行比对，最后对该区域的边缘的宽度进行判断，如果超过设定的阈值，即判定为马赛克。

12.如权利要求7所述的多模态并行的视频质量故障检测装置，其特征在于：

所述音频解码后的数据为PCM数据，所述滑动窗口时间为100ms。

Images