CN107483916A - 音视频档案质量检测系统的控制方法 - Google Patents

Abstract

本发明涉及一种音视频档案质量检测系统的控制方法，包括：1)黑场检测算法；2)静帧检测算法；3)跳帧检测算法：对相邻帧视频的对应像素进行相减后，获得的差值再求比值，将比值与对应阈值相比较来判断是否为跳帧；4)马赛克检测算法；5)模糊检测算法；6)伴音缺失检测算法。本发明一方面实现庭审光盘质量检测的智能化，解决了法院盘多人少的燃眉之急；另一方面，通过调研和攻关构建起法院音视频的科学管理规范，实现各环节标准化，提高信息化水平；通过技术攻关实现了黑场、静帧、跳帧、马赛克、模糊、伴音丢失等损伤状况的检测，检测时长控制在视频时长的10％之内。

Description

音视频档案质量检测系统的控制方法

技术领域

本发明涉及一种音视频档案质量检测装置，特别涉及一种音视频档案质量检测系统的控制方法。

背景技术

一、背景情况

(一)研究背景

随着诉讼案件的增多，音视频档案数量增长迅速，面对庞大数量的待审核庭审光盘，法院工作人员采用一一播放核对的查看方式与审核工作科学严谨的要求产生矛盾。课题组提出开发音视频档案质量检测系统来实现对光盘内容质量的评测，通过对光盘进行筛选复刻，及时进行档案数据迁移，使光盘档案数据经得起历史考验，以充分发挥庭审录像客观、全面、真实的特性。该课题将成为北京市一中院在践行司法公开、提升司法水平和公信度的创新举措。

(二)研究目的和内容

研发音视频档案质量检测系统的主要目的在于一方面运用当前先进的数字视频处理技术并充分考虑人类视觉感知特性，实现庭审光盘内容检测的智能化，解决了北京市一中院档多人少的工作困难；另一方面，通过调研庭审活动录音录像规定和档案数字化规范，构建庭审音视频的管理规范，实现了各环节标准化，同时将法院各种类型和不同存储介质的音视频资料纳入视频检测系统，与北京市一中院智能档案管理系统结合，以形成科学、精确、高效、先进的音视频管理模式，探索出音视频资料管理促进审判管理，保障并推动审判工作主战场向科学规范高效迈进的有效途径。

二、视频质量检测技术的概述

(一)视频质量检测技术的相关理论

1、视频及视频质量的基本概念

视频是图像、声音等的综合体，具有直观性、生动性，随着数字视频技术的不断发展，视频图像在各行业均得到广泛有效的应用，为人们的生活、工作带来众多便利。要实现这些前景诱人的多媒体通信业务，就必须解决多媒体信息的压缩难题。

ISO、IEC、ITU等国际组织，陆续制定了多种压缩编码标准，以解决海量数据有效存储和传输的问题。经压缩处理后的视频质量高低是决定多媒体服务质量的关键因素。

2、视频质量损伤的常见类型

视频的压缩过程中导致重建视频质量下降的原因主要是量化，带来的损伤类型是由视频的内容、复杂度、运动快慢程度决定的。

考虑到在本课题研究中，基于实际应用环境，我们重点分析压缩及信号丢失所引起的“黑场、静帧、跳帧、马赛克、模糊、以及伴音丢失”等损伤类型。

对于这些损伤类型的具体定义如下：

黑场：同“黑屏”，因信号中断等原因产生的视频信号黑屏现象；

静帧：同“帧跳跃”中的第一帧和第二帧。视频信号静止不动，表现为画面静止，是视频损伤中的常见类型之一；

跳帧：同“帧跳跃”中的最后一帧。因前后帧图像内容差别较大，导致用户在观看视频时产生不连续的跳跃感；

马赛克：“块效应”和“丢包与网络抖动”，是由于视频图像压缩和传输损伤而产生的不正常的像素块或拉丝现象；

模糊：表现为视频整体清晰度不高的现象；

伴音缺失：视频文件中缺少与之对应的音频数据。

3、损伤的度量方法

各类视频图像质量失真现象或称为损伤类型是人眼在观看视频图像时的主观感受。人眼对视频图像质量的直观感受在主观评价中常分为“优、良、中、差、劣”五个等级。

而在算法研究中，一般是以数字视频图像的像素为基本处理单位。 质量正常的视频图像，相关像素之间都存在极强的相关性，破坏时，就会出现失真。因此，在对图像的各种失真进行度量时，算法通过对像素值的分析对比而得。

(二)视频质量检测技术的调研与课题应用

1、主观评价与客观评价

图像质量评价方法包括主观评价和客观评价两大类。前者是在规定的实验环境中，组织一定数量的测试者观看测试序列，并根据主观印象对其质量进行评分；后者则是根据一定的人类视觉模型(HVS,Human Visual System)，建立合适的视频度量方法来计算视频质量的好坏。

主观评价方法虽然可以获取图像质量的可靠评价结果，但它流程复杂、耗时耗力，难以实时操作。

客观评价方法具有速度快、可重复性，易操作等优点。当对视频图像质量进行客观评价时，关键点是需要找出最合适的图像质量量度(VQM：Video Quality Metric)来衡量图像质量的好坏。我们一般把图像质量量度分成三大类：全参考、半参考、无参考。

三种方法适应于不同的应用场合。其中，全参考算法适用于科研环境或实验室内的算法分析，无参考和半参考算法适合于现实应用。在本课题中，因为我们是对庭审现场录制的视频图像质量进行分析，因此，采用无参考的客观评价算法。

2、无参考客观评价算法

在客观评价算法研究中，无参考客观评价方法只通过对失真图像进行特征提取。按照所提取特征参数的来源，可分为三类：

基于压缩域的无参考算法、基于图像域的无参考算法、混合的无参考算法。

不同应用领域所适用的无参考评价算法是不同的，在本课题中，待评测的是存档的音视频文件，测试重点在于视频录制过程中可能出现的错误，因此，基于图像域的无参考算法更为合适。

3、视觉感知特性的考虑

主观评价和客观算法有着各自的优缺点，主观评价体现了人眼的主观感受，更具有可靠性；而客观评价算法具有较好的稳定性，在某种程度上避免了人在评价过程中的主观性和不稳定性。

在本发明课题研究中，我们对于视觉感知特性也做了一些调研，但考虑到庭审录像存档质量的检测要求，在算法中暂时没有加入此功能。我们将在下一步地升级研发中，把客观和主观评价方法有机结合起来，取长补短，建立符合人眼感知的模型，探索结合人眼视觉系统的图像质量客观评价方法。

三、音视频档案管理现状及主要问题

一中院从2006年开始就建立了庭审录像刻录系统，但是，随着录像光盘归档数量的攀升，档多人少，对庭审盘片质量审核难、统计工作量大等问题的解决已经迫在眉睫。

(一)庭审视频管理现状

2006年至2014年，北京市一中院已归档案件总数是237,104卷，其中，庭审录像共29,514张，占各类档案数量的12％。平均每年增幅40％以上，其中2013年归档光盘为8962张，2014年归档光盘为7102张。如果以人工浏览的方式检查每张光盘，一年的归档光盘需要1个人工作1125天才能检测完。目前北京市一中院档案科仅有3名工作人员，还肩负着实体卷宗归档，当事人阅卷等多项工作，根本无法完成以上任务。因此只能通过抽样检查的方式对归档光盘进行检测，不能达到对庭审视频全面、完整、精确的检测。

为了提高工作效率，北京市一中院这几年在不断加大视频档案管理的自动化进程，切实推进视频档案工作为审判工作服务。

(二)庭审录像档案的质量要求

最高人民法院在2010年8月16日发布了《关于庭审活动录音录像的若干规定》(以下简称《规定》)，这是最高人民法院第一次针对庭审录音录像出台的规范性文件。法庭记录是对人民法庭活动的记载，是对案件做出裁判的重要基础。北京市2012年12月颁布了《档案数字化规范》(DB11/T 765)，第6部分规定了录像档案数字化加工的基本环节和基本要求，该标准明确提出，在数据质检中的“视频数据质量检查”是保证存档资料完整性和正确性的主要措施。应逐件检查数字视频文件；检查数字视频文件是否齐全完整，能否顺畅播放。根据规范的要求提炼出检测工作的关注点，设计出系统的框架和工作流程。

(三)庭审视频质量评测中的主要问题

1、工作人员严重缺编

目前的庭审视频档案的数量已占存档档案数量的12％，且近年来由于法院案件量的攀升，为了完成对归档庭审视频质量的审核，并确保审核工作的规范性，法院需要安排七十个人每天八小时坐在电脑前播放庭审视频，才能完成检测任务，目前我院档案科仅有3名工作人员，根本无法完成以上任务。

2、视频质量评价过程缺少规范和标准

庭审档案在入库前需要对其进行质量审核，以确保入库光盘内容的质量满足存档需求。而对于光盘质量没有严格要求，只是由工作人员通过一张张浏览播放光盘人眼观看进行主观评判，也没有运用任何国际国内标准的图像质量主观评价方法，质量评价结果完全取决于评价人员的主观感受。

3、音视频质量评价结果缺少统一的规范记录

庭审录像是庭审记录中不可缺少的重要部分，也是重要的存档材料之一。对于庭审视频光盘信息、内容、检查要素、存在问题等，均需要在评价结束后给出书面记录以方便后续查询，这也是录像存档必需的步骤。这些工作全部由工作人员手工完成，则难以保证规范性。

庭审过程是整个诉讼过程的中心环节，对庭审过程进行全程录像并归档保存，能够随时随地还原庭审现场原貌，为案件裁判提供重要资料。北京市一中院从2006年开始就建立了庭审录像刻录系统，为完善法庭记录方式、规范司法行为、保护当事人利益、加强审判管理作出了先锋性的尝试和探索。

由于，如果在录制过程中某个环节出现错误，如摄像头故障、连线松动、光盘写入出错等问题，那么所得到的庭审录音录像材料将会因为无法完整、真实记录庭审现场而失去了作为证据的资格。因此，必须安排工作人员在这些光盘存入对应卷宗之前仔细核对光盘所录制的音视频文件是否正确无误，其录制的质量是否满足存档需求。

然而随着诉讼案件的增多、庭审录像光盘数量增长迅速，而相对于庞大数量的待审核光盘，法院工作人员采用一一播放核对的查看方式与录像质量检测管理工作科学严谨的要求产生矛盾。课题组提出开发音视频档案质量检测系统，实现对录像内容质量的快速评测，对光盘进行筛选复刻，使庭审光盘经得起历史考验，充分发挥庭审录像客观、全面、真实的特性，同时拓展到各种文件格式和存储介质的音视频档案资料的检测和管理，成为北京市一中院在践行司法公开、全面深化司法改革、提升司法水平和公信度的创新举措。

发明内容

本发明的目的是提供一种音视频档案质量检测系统的控制方法，一方面实现庭审光盘质量检测的智能化，解决了法院盘多人少的燃眉之急；另一方面，通过调研和攻关构建起法院音视频的科学管理规范，实现各环节标准化，提高信息化水平；音视频档案质量检测系统运用当前先进的数字图像处理技术和计算机技术，结合庭审活动录音录像规定和档案数字化规范，选取了目前法院系统生成的五种压缩格式多窗口的庭审音视频，通过技术攻关实现了黑场、静帧、跳帧、马赛克、模糊、伴音丢失等损伤状况的检测，检测时长控制在视频时长的10％之内；系统检测范围可拓展到各种文件格式和不同存储介质的音视频档案资料，通过与智能档案管理系统结合形成检测、记录、刻盘、归档、利用一体化，建立科学、精确、高效、先进的音视频管理模式，探索出音视频资料管理促进审判管理，保障并推动审判工作主战场向科学规范高效迈进的有效途径。

为了达到上述目的，本发明有如下技术方案：

本发明的一种音视频档案质量检测系统的控制方法，包括：对于庭审 监控录像所录制的视频而言，1秒的视频由25帧独立的图像组成，1帧图像又由主窗口和子窗口组成，选取YUV颜色模型分析图像损伤，需要先将图像的格式先转码为YUV颜色空间，其中Y代表亮度信号，UV分别代表色差信号，由于人眼对亮度变化的敏感度远远大于色度的敏感度，实际获取的监控录像，色度信息较差，为了兼顾快速检测和高准确度，本发明结合庭审录像的应用背景和数据特点，确定了如下算法，以实现准确快速的损伤检测：

1)黑场检测算法：将视频图像各像素亮度值与相应黑场阈值做比较，若某帧图像全部像素均在阈值以下，则判定此帧为黑场；

2)静帧检测算法：对相邻帧视频的对应像素进行相减，并将其获得的平均差值与提前设定的阈值进行比较来判断是否为静帧；

3)跳帧检测算法：对相邻帧视频的对应像素进行相减后，获得的差值再求比值，将比值与对应阈值相比较来判断是否为跳帧；

4)马赛克检测算法：通过对图像进行索贝尔边缘提取，再对提取到的边缘，检测垂直和水平边缘，最后判断是否符合马赛克的特征，得出结果；

5)模糊检测算法：沿着边缘的法线方向的两边分别找极大值和极小值，然后计算极值所在像素点的位置间的距离，能用于代表该边缘的模糊程度；

6)伴音缺失检测算法：获取视频文件音轨长度，长度为0则为伴音缺失。

其中，所述黑场检测算法还包括：对于解码后的视频图像序列，首先提取一帧视频数据，将其转换为YUV格式的图像数据，之后对画面进行分割，取出指定检测窗口的Y数据，将Y数据中每个象素的取值与设定的黑象素阈值相比，当大于此黑像素时，判断此点非黑象素，小于此阈值时，判断此点为黑象素；选取的黑象素的阈值为20，主要考虑到人眼感觉到的黑色，当亮度值在0-50的范围内，人眼都会感觉是黑色，通过黑象素阈值判断是否为黑场；

之后对该帧图像的黑象素点进行统计，当此黑象素个数大于阈值时，判断为黑场，小于阈值时，为非黑场，其中，此处的阈值设定，是根据每个窗口的宽度乘以高度再减去1000个像素点。

其中，所述静帧检测算法还包括：先将视频图像进行解码，然后提取相邻2帧的Y数据，Y数据的范围为0至255，相邻两帧图像以象素为单位进行差值计算，对于差值小于差值阈值的象素，把此象素记为无变化象素，再对窗口中的象素点做差统计完成后，计算无变化象素的总数，最后对无变化象素的总数进行判断，若总数大于阈值，则表示当前图像为静帧。

其中，所述跳帧检测算法还包括，提取相邻三帧的亮度Y数据，Y值的取值范围为0-255，当前输入图像为第N+1帧，N>＝2；将第N-1帧图像亮度与N帧图像亮度，逐像素做差求和以后得到差值1，第N+1帧图像亮度与N帧图像亮度，逐像素做差求和以后得到数值为差值2；因为相邻图像画面内容相差不大，所以亮度差值也不会相差很大的原理，能够根据两个差值的相差程度，来判断图像是否跳帧，这个相差程度，就由差值1与差值2的比值来体现。

其中，所述马赛克检测算法还包括：首先对图像亮度Y进行边缘提取，提取出边缘后，对边缘进行判断，存在马赛克的图像做边缘处理以后，马赛克的边缘形状是一个边为白色，中间为黑色的矩形框。

其中，所述模糊检测算法还包括：首先判断图像的复杂度，复杂度的计算是按16X16的像素点为单位进行计算；如果该16X16区域的复杂度符合要求，即求得的复杂度在[2,30]范围内，那么就进行模糊度的计算；对16x16宏块区域边缘像素的中间像素，在其垂直方向上的32个象素范围内，找出象素亮度的极大值和极小值，然后计算两个象素之间的距离，代表该点的模糊度，计算完一处模糊度后，继续计算视频图像其他点的模糊度，然后对该图像所有的垂直模糊度求平均值，代表该图像的垂直模糊度。

由于采取了以上技术方案，本发明的优点在于：

一方面实现庭审光盘质量检测的智能化，解决了法院盘多人少的燃眉之急；另一方面，通过调研和攻关构建起法院音视频的科学管理规范， 实现各环节标准化，提高信息化水平；音视频档案质量检测系统运用当前先进的数字图像处理技术和计算机技术，结合庭审活动录音录像规定和档案数字化规范，选取了目前法院系统生成的五种压缩格式多窗口的庭审音视频，通过技术攻关实现了黑场、静帧、跳帧、马赛克、模糊、伴音丢失等损伤状况的检测，检测时长控制在视频时长的10％之内；系统检测范围可拓展到各种文件格式和不同存储介质的音视频档案资料，通过与智能档案管理系统结合形成检测、记录、刻盘、归档、利用一体化，建立科学、精确、高效、先进的音视频管理模式，探索出音视频资料管理促进审判管理，保障并推动审判工作主战场向科学规范高效迈进的有效途径。

附图说明

图1为本发明音视频档案质量检测系统的工作流程示意图；

图2为本发明音视频档案质量检测系统的功能示意图；

图3为本发明机黑场检测流程示意图；

图4为本发明静帧检测流程示意图；

图5为本发明跳帧检测示意图；

图6为本发明马赛克检测示意图；

图7为本发明模糊检测示意图。

具体实施方式

以下实施例用于说明本发明及其用途，但不用来限制本发明的保护范围。

参见图1—图7，本发明的一种音视频档案质量检测系统的控制方法，包括：对于庭审监控录像所录制的视频而言，1秒的视频由25帧独立的图像组成，1帧图像又由主窗口和子窗口组成，选取YUV颜色模型分析图像损伤，需要先将图像的格式先转码为YUV颜色空间，其中Y代表亮度信号，UV分别代表色差信号，由于人眼对亮度变化的敏感度远远大于色度的敏感度，实际获取的监控录像，色度信息较差，为了兼顾快速检测和高准确度，本发明结合庭审录像的应用背景和数据特点，确定了如下算法，以实现准 确快速的损伤检测：

1)黑场检测算法：将视频图像各像素亮度值与相应黑场阈值做比较，若某帧图像全部像素均在阈值以下，则判定此帧为黑场；

2)静帧检测算法：对相邻帧视频的对应像素进行相减，并将其获得的平均差值与提前设定的阈值进行比较来判断是否为静帧；

3)跳帧检测算法：对相邻帧视频的对应像素进行相减后，获得的差值再求比值，将比值与对应阈值相比较来判断是否为跳帧；

4)马赛克检测算法：通过对图像进行索贝尔边缘提取，再对提取到的边缘，检测垂直和水平边缘，最后判断是否符合马赛克的特征，得出结果；

5)模糊检测算法：沿着边缘的法线方向的两边分别找极大值和极小值，然后计算极值所在像素点的位置间的距离，能用于代表该边缘的模糊程度；

6)伴音缺失检测算法：获取视频文件音轨长度，长度为0则为伴音缺失。

所述黑场检测算法还包括：对于解码后的视频图像序列，首先提取一帧视频数据，将其转换为YUV格式的图像数据，之后对画面进行分割，取出指定检测窗口的Y数据，将Y数据中每个象素的取值与设定的黑象素阈值相比，当大于此黑像素时，判断此点非黑象素，小于此阈值时，判断此点为黑象素；选取的黑象素的阈值为20，主要考虑到人眼感觉到的黑色，当亮度值在0-50的范围内，人眼都会感觉是黑色，通过黑象素阈值判断是否为黑场；

之后对该帧图像的黑象素点进行统计，当此黑象素个数大于阈值时，判断为黑场，小于阈值时，为非黑场，其中，此处的阈值设定，是根据每个窗口的宽度乘以高度再减去1000个像素点。这是因为人眼感觉到图像为黑色，但可能并不是所有像素都是黑，需要排除图像中存在少许亮度值高于20的可能。这里的参数取值是根据测试样本所得，在后期系统运行时可以根据实际测试效果进行参数调整。

所述静帧检测算法还包括：先将视频图像进行解码，然后提取相邻2帧的Y数据，Y数据的范围为0至255，相邻两帧图像以象素为单位进行差值计算，对于差值小于差值阈值的象素，把此象素记为无变化象素，再对窗口中的象素点做差统计完成后，计算无变化象素的总数，最后对无变化象素的总数进行判断，若总数大于阈值(如设阈值为1000)，则表示当前图像为静帧。其中，对于无变化象素的阈值设置和无变化象素总数的阈值设置，均根据实际视频内容进行测试所得。

此外，表现为蓝屏的子屏幕，在肉眼分辨无太大变化时，仍受周期性的脉冲影响产生快速亮度突变，影响静帧部分的检测。因此，在实际测试时，我们建议避免勾选含有固定蓝屏的子屏幕。

所述跳帧检测算法还包括，提取相邻三帧的亮度Y数据，Y值的取值范围为0-255，当前输入图像为第N+1帧，N>＝2；将第N-1帧图像亮度与N帧图像亮度，逐像素做差求和以后得到差值1，第N+1帧图像亮度与N帧图像亮度，逐像素做差求和以后得到数值为差值2；因为相邻图像画面内容相差不大，所以亮度差值也不会相差很大的原理，能够根据两个差值的相差程度，来判断图像是否跳帧，这个相差程度，就由差值1与差值2的比值来体现。

所述马赛克检测算法还包括：首先对图像亮度Y进行边缘提取，提取出边缘后，对边缘进行判断，存在马赛克的图像做边缘处理以后，马赛克的边缘形状是一个边为白色，中间为黑色的矩形框。这个特点可以作为与其他正常画面的区分点。所以利用此特点进行马赛克的判断。

所述模糊检测算法还包括：首先判断图像的复杂度，复杂度的计算是按16X16的像素点为单位进行计算；如果该16X16区域的复杂度符合要求，即求得的复杂度在[2,30]范围内，那么就进行模糊度的计算；对16x16宏块区域边缘像素的中间像素，在其垂直方向上的32个象素范围内，找出象素亮度的极大值和极小值，然后计算两个象素之间的距离，代表该点的模糊 度，计算完一处模糊度后，继续计算视频图像其他点的模糊度，然后对该图像所有的垂直模糊度求平均值，代表该图像的垂直模糊度。在实际检测中，因为庭审录像质量不同于常见的视频文件(如电视节目)，因为是监控画面，所以画面整理而言较为模糊。当检测中会碰到，测试重度模糊图像时有可能会检测为某些帧为静帧，二者同时出现时，应以模糊损伤为主。

通过对若干具有一定模糊度的视频图像进行模糊度测量，对应不同模糊所得的模糊度测量结果与人眼主观感受一致。但在针对庭审录像视频模糊度测量时，不仅要测量出模糊程度，更重要是需要判断是否为模糊损伤(大于给定的模糊度阈值)。而在实际情况中，这个阈值是最难判断的。多大的模糊度阈值会让人眼感觉出画面有明显模糊，如果这个阈值设置过高或过低，可能会导致出现漏检或误检。我们通过收集确定具有模糊损伤的庭审录像进行检测，根据测试结果来调整阈值。一般来说，模糊度阈值在9以下属于较为清晰图像，而我们的系统目前设置为15。

下面对本发明作进一步地描述。

(一)功能需求分析

根据对法院庭审录像系统的分析，以及结合《档案数字化规范》中对录像档案的视频数字质量要求，课题所研发系统需要满足以下主要功能：(1)检测录制光盘质量；(2)对录制内容的质量要求要根据人眼视觉感受质量而判定；(3)检测过程规范，检测结果要按要求生成可存档文档；(4)检测过程的高效性和结果的准确性。我们首先对目前庭审录像系统所录制的视频文件的格式和内容进行分析，具体如下。

庭审视频的光盘数据包括如下五种主要格式：MP4、VOB、MPEG2、DAV、ASF，每一种格式都对应不同的解码库，对视频的检测需要先经过解码再进行图像检测。我们每种视频格式选择一份素材来分析，表5-1给出这五种视频格式的特征。其中，因为MP4有多种格式，所以用“MP4-高清”来表示录制为高清格式的庭审录像。

表5-1五种视频的主要参数

所有视频图像的检测内容主要有黑场、静帧、跳帧、马赛克、模糊和伴音丢失。检测总时间包含物理测试时间、解码时间和检测时间。总时间控制在视频时长的10％之内。现有的软件能够实现对画面主窗口和各子窗口进行分别检测,对于主窗口，可以实现上述指定损伤类型的检测；而对于子窗口，重点监测黑场。我们将在检测结束后给出各类损伤的统计报告。

通过对目前庭审录像系统及可能存在损伤的分析，以及对存档录像视频质量的要求，同时考虑操作规范性和存档的完整性，对该应用系统的具体需求分析可以概括如下：

1、可对目前已有的五种主要庭审录像格式的光盘进行解析，并能扩展不同存储介质文件和未来出现的其他录像格式。目前软件系统对视频数据读取和质量检测分析是分开处理的，所以，如果后续有其他格式，则只需要解码取出相应的图像数据，输入质量检测分析模块，即可实现对其它庭审录像的质量分析；

2、对解析后的录像文件进行质量评价。包括黑场、静帧、跳帧、马赛克、模糊和伴音丢失等失真现象进行定量测量；

3、对于录像中的监控主窗口和子窗口可以分别进行质量评价。对于 主窗口可以实现上述多种类型的质量损伤测量，而对于子窗口，按照需求分析，重点监测是否出现黑场现象；

4、对于每张光盘的检测时间，包括判断光盘是否出错、光盘数据读取、录像视频解码、质量分析测量等，要控制在录像视频时长的10％之内；

5、用户界面友好。可以通过触摸屏确定选项并执行操作；

6、检测完成后需要提供测试报告一份，测试报告满足指定要求。

(二)系统整体架构

1、系统结构

视频损伤检测器是本系统的服务器，是最核心部分，其流程如图1所示。

视频损伤检测器主要模块的功能如下：

1)图像的导入：可以根据用户的需要导入压缩文件或者YUV文件。

2)图像的分割：监控视频的画面是L型画面，其中一共分为六个小画面，为监控摄像头的实拍内容。最重要的是左上方的主画面，需要对六个画面分别进行处理，因此首先需要对图像进行窗口的分割。

3)图像的检测：对主画面进行静帧、黑场、跳帧、马赛克、模糊的判断。对其他五个子画面只进行静帧、黑场、跳帧的判断。

4)结果融合：将检测到得各种损失情况予以汇总，并生成CSV表格，输出存档。

2、接口设计

内部接口

本系统采用的是面向对象的模块化设计，用类进行对各算法功能模块的封装，类之间的关系见“系统单元划分”部分。而各类之间，是在类中通过用其它类的对象或是指向对象的指针来进行调用的。

(三)交互界面设计

用户可以通过全触摸点击的方式完成对视频资料质量的自动检测。显示器界面左边区域显示检测过程中的实况信息及显示检测结果；而右边 区域为操作中的功能选择区域，分别是：测试窗口选择、测试内容选择、文件操作、打印预览检测结果等内容，清晰明了。用户可根据需求选择要检测的窗口和损伤类型。

检测功能使用流程为：

关闭光驱并读取文件：对载入光盘进行监测，若光盘读取不正常，退出；若光盘读取正常，则循环读取光盘文件，进行质量检测；

可以自动对光盘中的每个视频文件进行质量检测，也可以选择其中的单个文件进行质量检测；

对单个文件进行检测时，选择“载入选定文件”；

对光盘上所有文件进行逐个检测时，选择“检测本光盘”。系统首先会对光盘上所有视频文件进行统计并记录其存放路径，稍后几秒后在屏幕提示本光盘内视频文件信息，之后将自动监测所有视频文件的质量；

对于不同介质的音视频文件，选择“载入硬盘文件”；

对于每个文件，清除全局变量。根据文件后缀名，调用不同的解码模块对压缩视频进行解码，获取解码后的数据文件；

不同的视频文件，录像画面对应的监控窗口布局是不同的。可根据用户选择对指定窗口和指定指标进行质量检测；

预览并输出打印报告。

交互界面设计进一步优化：

(1)检测者能自由选择想检测的某个视频窗口或组合，同时能自由选择某种损伤或组合。

(2)对不同格式文件采用抽查的方式来检测，MPEG、VOB、ASF格式每秒选1帧检测；ASF格式的文件分了三部分：前中后各取30秒来进行检测，从而提高质量检测的总体速度。

检测的流程和采用的算法都与上述的描述一样。

(四)视频解码模块设计

视频解码是本发明中的重要功能模块，对于各类视频文件，系统首先需要调用相应的解码库实现解码，并存入YUV文件，之后才能进行质量测 量。

本发明对“海康威视”公司提供的“海康威视播放库SDK(简称播放库SDK)”进行了深入剖析。该播放库SDK是海康威视嵌入式网络硬盘录像机、视频服务器、IP设备配套产品与播放相关的二次开发包，适合对该公司编码产品数据流的解码与播放。对MP4视频文件的解码采用了该播放库SDK提供的相关函数实现。

对于VOB和MPEG2以及ASF高清视频文件，均采用FFmpeg解码库来实现视频解码。

对于DAV视频文件，采用DAV解码库来实现视频解码。

(五)运行环境要求

1、硬件设备要求:

INTEL 5520SC服务器主板1块：ATX结构，Intel Xeon双通道，DDR3内存，硬盘接口标准：SATA2；显卡接口标准：PCI-Express X16；处理器插槽：LGA 1366；

INTEL E5570CPU 1个：频率：2.93GHz；CPU核心：四核心；接口类型：Socket 1366；工艺：45；二级缓存容量：2MB；核心类型：Gainestown(四核心)；工作功率：95W；支持64位运算；

内存：2*4G，1033MHz，ECC校验；

硬盘：1T，64M缓存；

触屏：分辨率1024*768，感应式；

光驱：DVD 20X；

外观结构：全钢；尺寸：高1420mm；宽500mm；厚300mm；误差不超过10mm

2、软件配置要求:

运行平台：MS.-XP专业版；

开发工具：VS2008.(C++)；

运行库：运行公用库(系统自带)及必要的视频解码器(解码库)。

本发明的音视频档案质量检测系统的运行及效果

北京市一中院在工作中不断探索，遵循向科技要效率，向科技要生产力的指导思想，结合当今数字图像处理技术，融合诉讼档案管理理念，使用图像质量评价技术，对庭审录像及法院各类音视频档案资料的音画进行快速检测及管理，构建了音视频档案质量管理标准，确保了法院音视频资料的质量经得起考验。本发明在法院系统应用尚属首例。

(一)音视频档案检测快捷高效，实现了管理工作智能化

北京市一中院从2006年起将庭审录音录像作为案件材料以光盘的方式存入卷宗，作为其庭审案件资料中的重要组成部分。2006年刻录庭审光盘106张，随后几年，每年均为一千多张。2010年突破两千张，进入高速增长期，平均每年增幅40％以上。其中2013年归档光盘为8962张，2014年归档光盘为7102张。如果以人工浏览的方式检查每张光盘，法院需要安排七十个人每天八小时坐在电脑前播放庭审视频，才能完成检测任务。

本项目通过对视频质量检测技术的研究，对数字图像处理技术的研究进行损伤检测的攻关，结合最高法出台的《庭审活动录音录像的若干规定》和北京市质量技术监督局颁布的《档案数字化规定》设计系统整体架构，通过试运行及六次升级版本，目前系统已正常运行，实现了庭审录像检测的智能化，完成了2014年归档的全部光盘档案的检查工作，共计7107张，检测时长控制在视频时长的10％之内，共节省6000余人工时的人力物力投入。通过对不同压缩格式文件和不同录像窗口的检测，设计加速检测策略算法和在操作界面上设置优先选项及灵活的参数控制选项，还为用户提供多样化功能选择。

(二)构建音视频档案管理规范，实现了各环节标准化

1、归档音视频质量规范标准化

音视频档案在归档前需要对其进行质量审核，以确保入库的质量满足存档需求。但由于归档庭审光盘缺乏质量规范，只能通过工作人员一张张浏览光盘进行主观评判，结果完全取决于检测人员的主观感受，波动性较大。

本发明参考2010年最高人民法院出台的《庭审活动录音录像的若干规 定》和北京市质量技术监督局在2012年12月颁布的《档案数字化规范》(DB11/T 765)，提炼出检测工作的关注点，设计音视频档案质量检测系统的框架和主要功能，深入研究视频图像技术，基于实际应用环境，采用无参考的客观评价算法重点分析压缩所引起的“黑场、静帧、跳帧、马赛克、模糊、以及伴音丢失”等损伤类型，实现了快速检测功能，打印出质量检测报告。对不合格的音视频，书记员拿着我们设计的“庭审纪实音视频检查表”经领导签字后进行重新刻录，最后归档。从而，摒弃了纯人工管理模式，构建起法院音视频管理规范，使各环节更加科学、精确、标准化。

2、质量评价结果记录规范化

庭审录像是法庭审判工作中产生的重要资料，必须及时完整地归档。对于庭审视频的案件信息、文件内容、检查要素、存在问题等，均需要在评价结束后给出书面记录以便后续查询。这也是录像归档的必要步骤。档案日常管理工作琐碎繁杂，这些任务全部由人工完成，容易出现记录不规范的问题。音视频档案质量检测系统对检测结果提供质量检测报告，内容包括案件信息、文件参数、检测时间、是否合格及原因，规范设计、清晰明了，一键打印报告，归档方便。

(三)推动了法院各类音视频资料的信息化管理和利用

1、随着档案资料的多样性发展，各类纸质、电子、光盘、USB介质的档案资料相继出现，课题组充分考虑实际工作的应用，开发了不同介质的音视频文件的接口和界面控件，拓展了系统检测的范围。

2、庭审是法院工作的重点，在法院各项工作中还包括各类临时谈话、司法执行、司法督察、案件检查、周界监控、媒资系统的音视频，以及网上借阅光盘，一中院在项目运行中，将上述七类音视频资料全部纳入了检测范畴，能够提供快捷、高效、准确的检测，提高存档的音画质量。对法院历年来各类音视频资料进行筛选、统计、利用，通过与北京市一中院智能化档案系统深度融合，盘活了各类音视频信息资源；与北京市一中院三位一体智能管理系统结合，在审判业务统一数据平台上为领导、法官、当事人提供各类音视频资料的点播、直播和录播。

(四)即将实现的功能

1、扩展各类格式的音视频文件的检测

目前软件系统对视频数据读取和质量检测分析是分开处理的，如果后续有其他格式，则只需要解码取出相应的图像数据，输入质量检测分析模块，即可实现对其它庭审录像的质量分析。

基于此扩展性，我们将适应开发各类视频格式不同版本的录制视频实现质量检测。

2、与北京市一中院智能档案管理系统深度融合

将该系统与智能档案管理系统深度融合，从而实现音视频档案的调取、自动检测、刻录、归档、借阅一体化的综合性电子档案管理，实现批量化、统一化作业，为各类音视频资料的管理和利用带来极大便利，并提高档案管理工作的效率。

本发明视频质量评价中的相关术语

视频图像的常用参数：分辨率、位率、帧率、码率、压缩格式等；

MP4：全称MPEG-4Part 14，是一种使用MPEG-4或与之相关标准的多媒体电脑档案格式，副档名为.mp4，以储存数码音讯及数码视讯为主。

YUV：是视频编码的一种原始存储格式，其中Y表示亮度，UV表示色差信号。一般用于存储未压缩或解压缩之后的视频文件。

VOB：VOB是DVD Video OBject的缩写，意思是DVD视频对象。这是DVD影碟上的关键文件，内含的是电影的实际数据。实际上VOB文件是一种基本的MPEG-2数据流，就是说它包含了多路复合的MPEG-2视频数据流、音频数据流(通常以AC3格式编码)、以及字幕数据流。可以播放VOB文件的播放器也不在少数，可以使用KMplayer、暴风影音、QQ影音等。可采用MPEG2解码库进行解码处理。

MPEG2：MPEG是活动图像专家组(Moving Picture Experts Group)的缩写，于1988年成立。目前MPEG已颁布了三个活动图像及声音编码的正式国际标准，分别称为MPEG-1、MPEG-2和MPEG-4，其中MPEG2制定于1994年，为提供高级工业标准的图象质量以及更高的传输率。是目前应用极广 泛的视频压缩格式之一。解码使用MPEG2解码库。

DAV：是一种常用的监控录像视频格式。需要借助专门的解码库DAV解码库才能实现对此类压缩文件进行解码。

ASF：ASF是(Advanced Streaming Format高级串流格式)

的缩写，是Microsoft为Windows 98所开发的串流多媒体文件格式。ASF是微软公司Windows Media的核心。这是一种包含音频、视频、图像以及控制命令脚本的数据格式。这个词汇当前可和WMA及WMV互换使用。解码调用ffmepg解码库实现。

FFmpeg：FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多codec都是从头开发的。该软件是一个开源免费跨平台的视频和音频流方案，属于自由软件，采用LGPL或GPL许可证(依据你选择的组件)。

黑场：因信号中断等原因产生的视频信号黑屏现象。

静帧：视频信号静止不动，为视频损伤的一种常见类型。

跳帧：视频有不连续地跳动感，前后帧图像差别过大。

马赛克：由于视频损伤而产生的不正常的块及拉丝现象。俗称为“块效应”。在本报告中，对两者的使用没有加以区分。

模糊：视频整体清晰度不高的现象。

伴音缺失：视频文件中不带有与视频相对应的音频数据。

本发明实验测试：

一、平台配置说明

二、测试实验说明

MP4监控视频真实性能模拟实验

测试内容：速度时间、报告格式、各模块的速度

测试素材：光盘300余M的长度40分钟的MP4序列一个，硬盘上相同序列一个

测试手段：不同平台，不同文件来源(光盘、硬盘)

检测算法准确性评定实验

测试内容：黑场、静帧、跳帧、马赛克和模糊

测试安排：共三组

(1)主屏幕马赛克+某个子屏幕黑场4分钟YUV视频序列一个；

(2)主屏幕模糊+某个子屏幕静帧4分钟YUV视频序列一个；

(3)主屏幕极轻模糊4分钟YUV序列一个+主屏幕极重模糊4分钟YUV视频序列一个均用“中等”的模糊等级的测试。

三、测试数据

1、MP4监控视频真实性能模拟实验。

表1光盘MP4检测数据

平台编号	无压栈检测时间	有压栈检测时间	纯解码时间	报告是否有误
					1	7m	7m28s	3m6s	否
2	4m27s	4m50s	2m49s	否

表2硬盘MP4检测数据

平台编号	无压栈检测时间	有压栈检测时间	纯解码时间	报告是否有误
					1	5m46s	7m23s	3m7s	否
2	3m56s	4m14s	1m53s	否

2、检测算法准确性评定实验

表3主屏幕马赛克+某个子屏幕黑场4分钟YUV检测数据

表4主屏幕模糊+某个子屏幕静帧4分钟YUV检测数据

表5极轻模糊4分钟YUV序列检测数据

平台编号	损伤产生时间	检测结果	漏检比例	错检比例
					1	34s-210s	0	100％(正确现象)	0.1％
2	10s-120s	0	100％(正确现象)	0.3％
					3	4s--77s	0	100％(正确现象)	0.1％

表6极重模糊4分钟YUV序列检测数据

平台编号	损伤产生时间	检测结果	漏检比例	错检比例
					1	34s-210s	34s-210s	0％	0.1％
2	100s-200s	100s-200s	0％	0.4％
					3	4s--77s	4s--77s	0％	0.1％

四、结果分析及建议

1、表现为蓝屏的子屏幕，在肉眼分辨无太大变化时，仍受周期性的脉冲影响产生快速亮度突变，影响静帧部分的检测。建议测试时，尽量不要勾选含有固定蓝屏的子屏幕；

2、模糊与静帧部分帧相冲突的问题：测试重度模糊图像时也会检测到某些帧为静帧，二者同时出现时，应以模糊损伤为主；

3、验证检测准确性时，对YUV输入长度有一定限制，因为4G硬盘YUV文件对应约4min20s左右的MP4文件，支持超过4G的大文件输入需要产生一些在检测MP4时没有的不必要的开销；

4、YUV编码成MP4时涉及到海康威视视频编码版权，建议测试准确性时使用YUV文件输入；

5、系统采用以空间换时间的思想，不建议过多次重复使用，适宜常关软件。

Claims (6)

1.一种音视频档案质量检测系统的控制方法，其特征在于包括：对于庭审监控录像所录制的视频而言，1秒的视频由25帧独立的图像组成，1帧图像又由主窗口和子窗口组成，选取YUV颜色模型分析图像损伤，需要先将图像的格式先转码为YUV颜色空间，其中Y代表亮度信号，UV分别代表色差信号，由于人眼对亮度变化的敏感度远远大于色度的敏感度，实际获取的监控录像，色度信息较差，为了兼顾快速检测和高准确度，结合庭审录像的应用背景和数据特点，确定了如下算法，以实现准确快速的损伤检测：

1)黑场检测算法：将视频图像各像素亮度值与相应黑场阈值做比较，若某帧图像全部像素均在阈值以下，则判定此帧为黑场；

2)静帧检测算法：对相邻帧视频的对应像素进行相减，并将其获得的平均差值与提前设定的阈值进行比较来判断是否为静帧；

3)跳帧检测算法：对相邻帧视频的对应像素进行相减后，获得的差值再求比值，将比值与对应阈值相比较来判断是否为跳帧；

4)马赛克检测算法：通过对图像进行索贝尔边缘提取，再对提取到的边缘，检测垂直和水平边缘，最后判断是否符合马赛克的特征，得出结果；

5)模糊检测算法：沿着边缘的法线方向的两边分别找极大值和极小值，然后计算极值所在像素点的位置间的距离，能用于代表该边缘的模糊程度；

6)伴音缺失检测算法：获取视频文件音轨长度，长度为0则为伴音缺失。

2.如权利要求1所述的一种音视频档案质量检测系统的控制方法，其特征在于所述黑场检测算法还包括：对于解码后的视频图像序列，首先提取一帧视频数据，将其转换为YUV格式的图像数据，之后对画面进行分割，取出指定检测窗口的Y数据，将Y数据中每个象素的取值与设定的黑象素阈值相比，当大于此黑像素时，判断此点非黑象素，小于此阈值时，判断此点为黑象素；选取的黑象素的阈值为20，主要考虑到人眼感觉到的黑色，当亮度值在0-50的范围内，人眼都会感觉是黑色，通过黑象素阈值判断是否为黑场；

之后对该帧图像的黑象素点进行统计，当此黑象素个数大于阈值时，判断为黑场，小于阈值时，为非黑场，其中，此处的阈值设定，是根据每个窗口的宽度乘以高度再减去1000个像素点。

3.如权利要求1所述的一种音视频档案质量检测系统的控制方法，其特征在于所述静帧检测算法还包括：先将视频图像进行解码，然后提取相邻2帧的Y数据，Y数据的范围为0至255，相邻两帧图像以象素为单位进行差值计算，对于差值小于差值阈值的象素，把此象素记为无变化象素，再对窗口中的象素点做差统计完成后，计算无变化象素的总数，最后对无变化象素的总数进行判断，若总数大于阈值，则表示当前图像为静帧。

4.如权利要求1所述的一种音视频档案质量检测系统的控制方法，其特征在于所述跳帧检测算法还包括，提取相邻三帧的亮度Y数据，Y值的取值范围为0-255，当前输入图像为第N+1帧，N>＝2；将第N-1帧图像亮度与N帧图像亮度，逐像素做差求和以后得到差值1，第N+1帧图像亮度与N帧图像亮度，逐像素做差求和以后得到数值为差值2；因为相邻图像画面内容相差不大，所以亮度差值也不会相差很大的原理，能够根据两个差值的相差程度，来判断图像是否跳帧，这个相差程度，就由差值1与差值2的比值来体现。

5.如权利要求1所述的一种音视频档案质量检测系统的控制方法，其特征在于所述马赛克检测算法还包括：首先对图像亮度Y进行边缘提取，提取出边缘后，对边缘进行判断，存在马赛克的图像做边缘处理以后，马赛克的边缘形状是一个边为白色，中间为黑色的矩形框。

6.如权利要求1所述的一种音视频档案质量检测系统的控制方法，其特征在于所述模糊检测算法还包括：首先判断图像的复杂度，复杂度的计算是按16X16的像素点为单位进行计算；如果该16X16区域的复杂度符合要求，即求得的复杂度在[2,30]范围内，那么就进行模糊度的计算；对16x16宏块区域边缘像素的中间像素，在其垂直方向上的32个象素范围内，找出象素亮度的极大值和极小值，然后计算两个象素之间的距离，代表该点的模糊度，计算完一处模糊度后，继续计算视频图像其他点的模糊度，然后对该图像所有的垂直模糊度求平均值，代表该图像的垂直模糊度。