CN107454389A - 待测系统的视频质量评价方法及系统 - Google Patents

Abstract

本发明提供一种待测系统的视频质量评价方法及系统，包括：从待测系统获取待测视频信号；获取待测视频信号对应的参考信号，参考信号为依据源视频信号生成的具有时间标记的时间标记视频信号，时间标记为由时间关联信息编码而成的几何标记；从待测视频信号中识读时间标记，获得时间关联信息和几何标记信息；按时间关联信息和几何标记信息把待测视频信号向参考信号进行对准，使得具有相同的时间关联信息的待测视频信号的图像及参考信号的图像逐点对准；以及依据对准后的待测视频信号计算待测视频信号的视频质量。本发明提供的待测系统的视频质量评价方法及系统能够对待测系统的待测视频信号的视频质量进行实时评价。

Description

待测系统的视频质量评价方法及系统

技术领域

本发明涉及视频质量评价，尤其涉及一种待测系统的视频质量评价方法及系统。

背景技术

随着信息技术基础设施的不断完善和芯片的图像处理能力的不断提高，人们对视频业务的需求也在不断增长，对更好的视频质量的期待也在逐步提高。视频信号是在视频所述时段内持续变化的二维图像在时间、空间和亮度、色度等维度离散并量化后以特定数据结构组织表达后的数字信号。无损的视频信号需要占用大量的存储空间和传输带宽，但按符合人类视觉感受特性设计的视频信号的有损压缩可以达到很高的数据压缩比，使得视频信号的存储和网络传输成为可能。所以在各类视频处理与传输系统中一般以有损压缩的视频格式作为视频信号的中间形式来存储和传输视频数据。视频信号的有损压缩处理使得视频信号在处理和传输过程中不可避免地在视频接收端表现出相对于视频输入端的视频质量下降。

主观视频质量评价是由一组评价人员主观地对视频质量进行评价的，可以在有参考或无参考视频的情况下进行。在有参考视频的主观评价中，评价人员同时看到并对比参考(源)和处理后两个视频，通过对比对处理后视频进行主观评分。主观评价直接反映了人的感受，常被认为是最准确的，但其局限明显。首先主观评价需要一组评价人员参与，成本高时间长；其次主观评价无法做实时评价。再次主观评价不够精细，并且分值不够稳定(参见ITU-T建议书BT.500、BT.1788)。而客观视频质量评价则能克服主观视频质量评价的这些不足。

与主观评价方法不同，客观评价是基于预想的评价模型通过数据采集和计算得出结果的。部分参考评价方法中送入评价模块参与计算的是从源信号中抽取出与评价相关的部分信息而非完整的源信号，适合传输码率受限情况下的视频应用端或者应用节点处的视频质量监测(参见ITU-T规范J.249)。全参考评价方法要求在评价点可以获得无损的参考视频信号，可以用来评价单个系统或者串在一起的媒体链路。在全参考评价模型中比较输入的参考信号和输出的质量下降的信号要求对输入和输出信号进行时间对准和空间对准操作，然后再按人类视觉感受模型(例如，边缘检测模型EPSNR)来计算出目标图像的质量评分(参见:ITU-T建议书J.144、J.244、J.247、J.341)。

ITU-T的J.144、J.247、J.341等建议书中都有描述客观全参考视频质量评价的方法和相关技术。J.144描述了数字有线电视在全参考客观感知视频质量评价中的技术，J.247描述了全参考的客观感知多媒体视频质量评价，J.341描述了数字有线电视HDTV的全参考的客观感知多媒体视频质量评价中的时间对准方法和空间对准方法。在这些ITU-T的建议书中所述以及当前业界常见应用的视频质量评价技术中在视频的对准策略上全都采用依赖视频配准算法的方法来实现对准，即从图像中按某种独特的算法提取特征数据，针对参考图像和待测图像分别在空间、时间的一个小范围内对特征数据的差异进行最小化计算来实现空间和时间配准。

在不同的应用场景中，视频处理系统可能会从时间、空间角度对原始的输入视频信号进行相应的编辑。在全参考评价方法中对输入信号和输入信号进行空间对准相对来说是比较容易的。一般情况下，输出信号与输入信号在空间上的差异是相对固定的，常常相差恒定位移或者伴随纵横比变化不大的图像拉伸或图像缩小，有可能在边缘存在少量的裁剪或补缀等。一旦在空间上对准了输入和输出的一张图像，多半可以把这种对准结果直接应用到随后的信号中的图像序列。

视频信号的帧间编辑操作给视频的时间上的对准带来困难。当视频处理系统从时间角度对输入视频进行编辑时，有可能会做出插入帧、删除帧等帧间编辑操作。多数系统在帧间插入新帧时，常常直接以复制方式做出新帧，插入的是前一帧重复帧。帧删除操作必然损失输入信号中携带的信息，而且这种损失无法通过帧插入操作来弥补。视频处理系统可以通过视频信号的帧间编辑来调节输出信号的帧率。

目前存在许多视频处理系统在处理输入信号的过程中通过帧间编辑操作来调节了输出信号的帧率，使之适应某种应用场景。视频信号中在单位时间内表达的图像幅(帧)数即为此视频信号的帧率。视频处理系统的有效输出帧率，是此系统单位时间内实际有效地输出原信号中不同图像的幅(帧)数。当系统在处理过程中未进行过帧间编辑时，其有效输出帧率，等于输入帧率，也等于输出帧率。当系统在处理过程中做过删除帧操作时，虽然系统仍然可以通过插入帧操作来补齐输出帧率使之不小于输入帧率，但是其有效输出帧率必然小于输入帧率。视频处理系统可以通过删除帧来降低输出帧率，其有效输出帧率也随着降低。视频处理系统可以通过插入帧来提高输出帧率，但其有效输出帧率依然保持不变。所以即使视频处理系统可以通过视频信号的帧间编辑来调节输出信号的帧率，其有效输出帧率只能降低。

在低码率条件下传输足够大尺寸视频信号的视频处理系统，可以通过降低输出信号中图像的质量来适应低码率要求，也可以通过降低有效输出帧率来适应低码率要求。实时的视频处理系统在处理视频信号时常常需要消耗大量的存储资源和计算资源来保障输出信号的实时性。当资源受限时，实时视频处理系统也可以通过降低输出信号的图像质量或者降低有效输出帧率来适应低资源消耗要求。降低有效输出帧率的策略以损失视频信号的流畅程度为代价，在一定程度上维护了图像的质量。在进行客观视频质量评价时因没有好的办法来衡量有效输出帧率，所以常常仅考虑了图像的质量和名义输出帧率，而忽略了有效输出帧率上的损失。

不同的视频应用场景会间接地影响视频处理系统的输出视频的图像质量。具体地，视频中内容的复杂程度会影响输出视频的图像质量。同样地，视频中运动变化的剧烈程度也会影响输出视频的图像质量。当视频图像的内容越简单，对应原始视频的位像图像的冗余信息就越多。当视频中的运动越是平缓，原始视频对应运动变化时间段内的前后位像图像的重复部分也就是图像间的冗余信息也就越多。不论从空间还是从时间角度，凡原始视频的冗余信息越多时，对视频编码的压缩计算也就越简单，越容易输出高压缩比的视频，同时还能获得好的图像质量。所以当评价视频处理系统的视频图像质量时不能仅使用一种场景的视频来作评价，而应尽量以该系统的目标场景相符的视频来评价，或综合多种场景来评价。

目前在视频质量评价的视频对准过程中应用的各类视频配准算法着重关注两个视频在内容上的差异的最小化计算，这些算法大多数都有如下特征：计算量大、耗时长，只适应空间、时间发生了小范围变化的对准，只适合运动内容较多、图像高频信息较多等内容变化大的视频场景。不适合静态内容的场景和变化缓慢的场景，不适合输出视频的帧率与参考视频不一致或帧率在动态调节的应用场合，较难做到直接使用实时采集视频进行实时评价，难以实现多系统的实时对比评价等。目前的大多数视频质量评价系统无法给出视频处理系统的有效输出帧率数据以及相关的帧间编辑数据。

发明内容

本发明为了克服上述现有技术存在的缺陷，提供一种待测系统的视频质量评价方法及系统，其能够对待测系统的待测视频信号的视频质量进行实时评价。

根据本发明的一个方面，提供一种待测系统的视频质量评价方法，包括：从待测系统获取待测视频信号；获取所述待测视频信号对应的参考信号，所述参考信号为依据源视频信号生成的具有时间标记的时间标记视频信号，所述时间标记为由时间关联信息编码而成的几何标记；从所述待测视频信号中识读时间标记，获得所述时间关联信息和几何标记信息；按所述时间关联信息和所述几何标记信息把所述待测视频信号向所述参考信号进行对准，使得具有相同的时间关联信息的待测视频信号的图像及所述参考信号的图像逐点对准；以及依据对准后的待测视频信号计算所述待测视频信号的视频质量。

可选地，所述按所述时间关联信息和所述几何标记信息把所述待测视频信号向所述参考信号进行对准包括：依据所述待测视频信号中识读出的所述时间关联信息生成所述待测视频信号的有效输出帧序列；依据所述有效输出帧序列进行所述待测视频信号向所述参考信号的时间对准操作、空间对准操作。

可选地，所述生成所述待测视频信号的有效输出帧序列的步骤还包括：从所述待测视频信号中，删除无所述时间关联信息的帧图像；在具有相继重复的时间关联信息的Z个帧图像中，删除Z-1个帧图像，Z为大于1的整数。

可选地，所述生成所述待测视频信号的有效输出帧序列的步骤还包括：获取生成过程中进行的重复帧插入操作、非重复帧插入操作的帧间编辑操作数据。

可选地，所述生成所述待测视频信号的有效输出帧序列的步骤还包括：获取生成过程中进行的删除帧操作的操作数据。

可选地，所述待测视频信号的所述有效输出帧序列对应的时间关联信息的序列为所述参考信号的时间关联信息的序列的子序列。

可选地，所述待测视频信号的有效输出帧序列的帧率不大于所述参考信号的帧率。

可选地，所述依据所述有效输出帧序列进行所述待测视频信号向所述参考信号的时间对准操作的步骤包括：将所述待测视频信号的帧序列或者帧的子序列中，根据每帧图像的识读出的所述时间关联信息，向所述参考信号的时间关联信息序列对准；经时间对准后，将所述待测视频信号中的每帧图像均映射到所述参考信号中相同时间关联信息的图像上。

可选地，所述依据所述有效输出帧序列进行所述待测视频信号向所述参考信号的空间对准操作的步骤包括：获取所述待测视频信号的几何标记和所述参考信号的几何标记之间的几何形状的空间仿射矩阵；依据所述空间仿射矩阵将所述待测视频信号向所述参考信号进行空间对准。

可选地，所述依据所述有效输出帧序列进行所述待测视频信号向所述参考信号的时间对准操作、空间对准操作的步骤之后还包括：依据所述参考信号同步输出所述待测视频信号。

可选地，所述依据所述参考信号同步输出所述待测视频信号的步骤包括：在输出所述参考信号的帧序列的同时，对于所述参考信号中的每一帧图像的时间标记的时间关联信息：若所述待测视频信号的有效输出帧序列中存在相同的时间关联信息，则同步输出经由时间对准操作和空间对准操作的所述待测视频信号的帧图像；若所述待测视频信号的有效输出帧序列中不存在相同的时间关联信息，则输出图像占位符或者空白图像。

可选地，当所述参考信号转换为多个所述待测视频信号时，分别依据该多个所述待测视频信号中识读出的所述时间关联信息生成该多个所述待测视频信号的有效输出帧序列；分别依据该多个所述待测视频信号的所述有效输出帧序列进行该多个所述待测视频信号向所述参考信号的时间对准操作、空间对准操作；按同一所述参考信号进行同步输出。

可选地，所述时间标记视频信号的每一帧图像中均具有时间标记。

可选地，所述几何标记为由一组几何参数描述的几何图像。

可选地，所述时间关联信息包括所述源视频信号中每幅图像的帧编号、时间戳、随时间而变的相关信息中的一项或多项。

可选地，所述依据对准后的待测视频信号计算所述待测视频信号的视频质量的步骤包括：依据如下算法中的一种或多种计算对准后的待测视频信号计算所述待测视频信号的视频质量：PSNR、EPSNR、SSIM及MS-SSIM。

可选地，所述依据对准后的待测视频信号计算所述待测视频信号的视频质量的步骤还包括：展示如下一项或多项：参考信号的帧率、参考信号的图像尺寸、参考信号的视频图像、一个或多个待测视频信号的评分信息、一个或多个待测视频信号插入帧或者删除帧的帧间编辑操作数据、一个或多个待测视频信号的输出帧率、一个或多个待测视频信号的有效输出帧率、一个或多个对准后待测视频信号的视频图像。

根据本发明的又一方面，还提供一种待测系统的视频质量评价系统，包括：视频信号对准装置，包括：时间标记器，用以依据源视频信号生成具有时间标记的时间标记视频信号，并将所述时间标记视频信号作为参考信号，所述时间标记为由时间关联信息编码而成的几何标记，并将所述参考信号发送至待测系统；时间标记识读器，用以接收所述待测系统发送的经由所述参考信号变化的待测视频信号，从所述待测视频信号中识读时间标记，获得所述时间关联信息和几何标记信息；视频信号对准器，用以按所述时间关联信息和所述几何标记信息把所述待测视频信号向所述参考信号进行时间和空间对准操作，使得具有相同的时间关联信息的待测视频信号的图像及所述参考信号的图像逐点对准；视频质量评价装置，用以依据对准后的待测视频信号计算所述待测系统的视频质量并展示。

可选地，所述视频质量评价装置，包括：质量指标评价器，用以依据对准后的待测视频信号计算所述待测系统的视频质量；评价数据展示器，用以展示参考信号、待测视频信号的图像的同时，同步展示同一时间关联信息对应的时刻的视频质量指标评分、历史的评分曲线，同步展示同一时间关联信息对应的时刻的待测视频信号中发生的帧间编辑操作数据。

本发明提供的视频质量评价方法及系统通过以从源视频信号做成的时间标记视频信号作为参考信号送入若干待测系统进行客观全参考质量评价，充分利用时间标记视频信号具有准确实时的跟踪时间关联信息和时间标记几何信息的能力，彻底解决上述全参考视频质量评价中的对准相关难题并能获得各待测系统的有效输出帧率以及相关的帧间编辑数据。

附图说明

通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。

图1示出了根据本发明实施例的视频质量评价方法的流程图。

图2示出了根据本发明实施例的对准视频信号的数据结构。

图3示出了根据本发明实施例的视频质量评价系统的结构示意图。

图4示出了根据本发明实施例的视频质量评价系统的具体结构示意。

图5示出了根据本发明实施例的视频质量评价系统的工作状态数据流动示意图。

图6示出了本发明第一实施例的矩形二维码时间标记几何形状示意图。

图7示出了本发明第二实施例的四周条码窄带时间标记几何形状示意图。

图8示出了本发明第二实施例的四周条码窄带时间标记效果示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。

为了克服上述现有技术存在的缺陷，本发明提供一种待测系统的视频质量评价方法及系统。首先参见图1，图1示出了根据本发明实施例的视频质量评价方法的流程图。尽管图1示出了5个步骤，但本发明并非以该5个步骤的数量和顺序为限。在不违背本发明构思的前提下，步骤的省略、合并及顺序调换都在本发明的保护范围之内。图1供示出5个步骤：

步骤S101：从待测系统获取待测视频信号。

具体而言，待测系统可以是视频会议系统、数字电视、视频编码系统、视频直播系统等。

步骤S102：获取所述待测视频信号对应的参考信号，所述参考信号为依据源视频信号生成的具有时间标记的时间标记视频信号，所述时间标记为由时间关联信息编码而成的几何标记。

具体而言，参考信号输入待测系统获得待测视频信号。本发明实施例中，参考信号的每一帧都具有对应的时间标记，经过待测系统进行转化后的待测视频信号的对应帧上依然保留有上述时间标记，也即是上述时间标记在进行转化的过程中不丢失。时间标记视频信号的每一帧图像中均具有时间标记。时间标记为由时间关联信息编码而成的几何标记。换言之，识读几何标记可以获知几何标记中所蕴含的时间关联信息。该几何标记可以为由一组几何参数描述的几何图像。例如，几何标记可以是二维码、条形码等可被扫描读取数据的标记。蕴含在几何标记中的时间关联信息可以包括源视频信号中每幅图像的帧编号、时间戳、随时间而变的相关信息。

步骤S103.从待测视频信号中识读时间标记，获得所述时间关联信息和几何标记信息。

具体而言，步骤S103识读待测视频信号的每帧图像的以几何标记为表现形式的时间标记，进而获得蕴含在几何标记中时间关联信息。同时还可识读几何标记的几何标记信息，几何标记信息可以包括几何标记的形状、大小、于图像中的坐标等描述几何标记的参数。

步骤S104.按所述时间关联信息和所述几何标记信息把所述待测视频信号向所述参考信号进行对准，使得具有相同的时间关联信息的待测视频信号的图像及所述参考信号的图像逐点对准。

本发明实施例中，对准处理可以包括时间对准和/或空间对准，其中，对于待测系统如果不总是改变空间变换的模式的情况下，只需要进行一次空间对准，后续直接沿用第一次对准的结果即可，例如一些数字处理系统；对于一些模拟处理系统，由于存在抖动，导致空间变换一直发生改变，则需要每次进行对准。

具体而言，步骤S104中，首先，依据待测视频信号中识读出的时间关联信息生成待测视频信号的有效输出帧序列。

有效输出帧序列按如下方式计算和生成：从待测视频信号中，删除无时间关联信息的帧图像；并且在待测视频信号的具有相继重复的时间关联信息的Z个帧图像中，删除Z-1个帧图像，Z为大于1的整数。可选地，仅保留该Z个帧图像中的第一个帧图像，并删除后续帧图像。通过这样的方式，得到有时间关联信息但无相继重复的帧图像的序列。没有识读出时间关联信息的帧图像在本发明的方法中无法实现时间对准，被认为是无意义的帧图像。拥有相继重复的时间关联信息的一组帧图像，在本发明的方法中被认为是源自所述步骤101的所述源视频信号的同一帧图像的相继重复，其中的第一帧图像即可代表后续相继重复的帧图像。参考信号规定了所有的事件(帧图像的内容/空间信息)和任何事件发生的时间(帧的序次/时间信息)。待测视频信号是把参考信号送给待测系统，经待测系统处理后得到的新的信号。高质量的视频处理系统在进行视频处理的过程中，应该尽量忠于输入的视频信号尽可能多地保留输入信号中的事件和事件发生的时间。质量下降的现象表现在对事件进行了篡改(编辑)和对事件发生的时间进行了篡改(编辑)。质量评价系统就是要准确地把篡改的内容和篡改的程度找出来。

待测视频信号中出现了时间关联信息重复的帧，说明待测系统在加工参考信号并输出待测视频信号的过程中在时间上进行了复制编辑，重复部分是新插入的帧，与参考信号不符，应予以删除。待测视频信号中出现了没有时间关联信息的帧，在排除时间关联信息识读失败的情况下，这些没有时间关联信息的帧是待测系统从参考信号之外杜撰出来的新帧，与参考信号不符，应予以删除。这样操作以实现精准的“时间对准”、“空间对准”。

在生成待测视频信号的有效输出帧序列的过程中，获取并记录重复帧插入操作、非重复帧插入操作的帧间编辑操作数据。具体而言，重复帧插入操作是待测系统在处理参考信号的过程中，对参考信号的时间序列进行篡改(编辑)的一种操作，即把参考信号的某个时间对应的帧进行复制而生造出多份新的时间来。一般在进行帧率调节时可能存在这种操作，当编码器能力不够时，也有类似操作。非重复帧插入操作是待测系统在处理参考信号的过程中，在某个时间点从参考信号之外杜撰出新的帧安插进来的一种篡改(编辑)操作。例如在处理过程中的某段时间发生了信号丢失或者信号传输不稳定，待测系统为了维持输出的待测视频信号的友好性，可能会刻意插入一些具有提示信息的画面等。又或者待测系统没有刻意插入特殊画面，而是使用了错误的输入信号进行强制处理，得到画面被破坏的帧等。这些都无法与参考信号的某个时间的帧对应起来。

在生成待测视频信号的有效输出帧序列的过程中，还可以获取并记录删除帧操作的操作数据。

进一步地，所生成待测视频信号的有效输出帧序列的时间关联信息的序列可以是参考信号的时间关联信息的序列的子序列。待测视频信号的有效输出帧序列的帧率也可以不大于参考信号的帧率。

生成待测视频信号的有效输出帧序列后，依据该有效输出帧序列进行待测视频信号向参考信号的时间对准操作及空间对准操作。

上述的待测视频信号向参考信号的时间对准操作的步骤可包括：将所述待测视频信号的帧序列或者帧的子序列中，根据每帧图像的识读出的所述时间关联信息，向所述参考信号的时间关联信息序列对准；经时间对准后，将所述待测视频信号中的每帧图像均映射到所述参考信号中相同时间关联信息的图像上以生成时间对准组。

进一步地，时间对准操作在一具体实施例中，可按如下方式进行：

a.从所述待测视频信号的帧序列或帧的子序列中依时间顺序取一幅图像，从参考信号中依时间顺序取一幅图像；

b.判断所取的待测视频信号的图像的时间关联信息与所取的参考信号的图像的时间关联信息的关系；

c.若所取的待测视频信号的图像的时间关联信息等于所取的参考信号的图像的时间关联信息，则所取的待测视频信号的图像和所取的参考信号的图像配对成一时间对准组，并从所述待测视频信号的帧序列或帧的子序列中依时间顺序取下一幅图像，并继续执行步骤b；

d.若所取的待测视频信号的图像的时间关联信息晚于所取的参考信号的图像的时间关联信息，那么从所述参考信号中依时间顺序取下一幅图像，并继续执行步骤b；

e.若所取的待测视频信号的图像的时间关联信息早于所取的参考信号的图像的时间关联信息，那么从所述待测视频信号的帧序列或帧的子序列中依时间顺序取下一幅图像，并继续执行步骤b；

f.若所述待测视频信号的帧序列或帧的子序列的图像选取结束，或者所述参考信号的图像选取结束，则结束对准。

进一步地，在一些实施例中，若在步骤d中被判断为时间关联信息早于所取的待测视频信号的图像的时间关联信的参考信号的图像，未在步骤c的所述时间对准组成功配对过，则记录发生了一次所述参考信号的帧删除操作。在另一些实施例中，若在步骤d中被判断为时间关联信息早于所取的待测视频信号的图像的时间关联信的参考信号的图像，步骤c的所述时间对准组未成功配对过，则使用占位图像或者空白图像作为待测视频信号的图像与所取的参考信号的图像配对成一个缺位的时间对准组。

具体而言，例如，在一实施例中，首先取待测视频信号的帧序列及参考信号的帧序列的第一帧图像，判断所取的两个图像的时间关联信息的关系：判断结果为两个图像的时间关联信息相等，将所取的待测视频信号的图像和所取的参考信号的图像配对成一时间对准组，并取待测视频信号的帧序列的第二帧图像，继续判断该图像的时间关联信息与参考信号的帧序列的第一帧图像的时间关联信息的关系。此次判断结果该图像的时间关联信息晚于参考信号的帧序列的第一帧图像的时间关联信息，取参考信号的帧序列的第二帧图像，继续判断该图像的时间关联信息与待测视频信号的帧序列的第二帧图像的时间关联信息的关系。此次判断结果为待测视频信号的帧序列的第二帧图像的时间关联信息早于参考信号的帧序列的第二帧图像的时间关联信号，取待测视频信号的帧序列的第三帧图像，继续判断该图像的时间关联信息与参考信号的帧序列的第二帧图像的时间关联信息的关系。

以此类推，重复上述各个步骤直到待测视频信号的帧序列的图像被选完或者参考信号的图像被选完。

进一步地，下面以一符号化的具体实现描述上述步骤。在实现中，用R表示实数集。用N表示自然数集。用Ф表示空集。用ф表示空元素。我们不妨在实数域上来定义时间：

设两个时间t₁∈R，t₂∈R，

1.如果t₁<t₂，我们称时间t₁比时间t₂早；

2.如果t₁＝t₂，我们称时间t₁和时间t₂相同；

3.如果t₁>t₂，我们称时间t₁比时间t₂晚；

4.规定时间t≤0没有意义。

定义:对于任意一个帧图像的集合X，它的一个帧序列是一个从数集{n|n∈N}到集合X的函数：(x_n)＝x_n∈X，n∈N。x_n是帧序列(x_n)的项。

定义:对于任意一个帧序列(x_n)，删除掉其中的任意若干项得到的新序列(x’_m)被称为原帧序列(x_n)的子序列。

定义:视频信号是定义了严格增长的实数值的时间函数的视频帧序列(x_n)，设有严格增长的实数值的时间函数t＝t(x),x∈X,t∈R，对于任意的i∈N,j∈N，且x_i、x_j都是(x_n)的项：如果i<j，则t(x_i)<t(x_j)；如果i＝j，则t(x_i)＝t(x_j)；如果i>j，则t(x_i)>t(x_j)。

定义:视频帧x的时间标记的时间关联信息是定义在{x|x∈X}上的实数值函数:t＝tagtime(x),x∈X,t∈R。在本具体实现中，用t＝0来表示时间关联信息没有实际意义。时间标记具有抵抗视频处理的能力，即至少存在一种视频处理函数P(x)，使得如下关系成立:

1.tagtime(P(x))＝tagtime(x),x∈X；

参考信号(b_n)是在参考帧b_n上按帧序列的时间函数t(b_n)调节了时间关联信息tagtime(b_n)的视频帧序列：t(b_n)～tagtime(b_n)。

待测视频信号(a_m)是通过待测系统对参考信号(b_n)进行处理后得到的视频信号。需要注意的是待测视频信号帧集合A和参考信号帧集合B是两个完全不同的集合，它们之间部分地通过待测系统的信号处理函数关联了起来。设待测系统的信号处理函数为P(b)，则有a＝P(b),a∈A,但是有可能b∈B，也有可能如果b∈B，则时间关联信息必定保持不变:tagtime(P(b))＝tagtime(b)；如果则必定没有有意义的时间关联信息:tagtime(P(b))＝0。

定义:待测视频信号(a_m)的有效输出信号(a’_k)是待测视频信号(a_m)的一种帧子序列，并且具有如下属性:

1.tagtime(a’)≠0；

2.如果i<j,则tagtime(a’_i)<tagtime(a’_j)；

3.如果i＝j,则tagtime(a’_i)＝tagtime(a’_j)；

4.如果i>j,则tagtime(a’_i)>tagtime(a’_j)；

5.如果则tagtime(a)＝0或者tagtime(a)<min(tagtime(a’))或者tagtime(a)>max(tagtime(a’))。

现在再来说明上述时间对准操作的算法。已知参考信号的一个帧序列或帧子序列(b_n)和一个待测视频信号的一个帧序列或帧子序列(a_m)，它们的帧集合分别为B＝{b_n}和A＝{a_m}：

a.从所述待测视频信号的帧序列或帧子序列(a_m)中依时间顺序取一幅图像a_i,i≥1，从所述参考信号的帧序列或帧子序列(b_n)中依时间顺序取一幅图像b_j,j≥1；

b.判断所取的待测视频信号的图像的时间关联信息tagtime(a_i)与所取的参考信号的图像的时间关联信息tagtime(b_j)的关系；

c.若所取的待测视频信号的图像的时间关联信息tagtime(a_i)等于所取的参考信号的图像的时间关联信息tagtime(b_j)，则所取的待测视频信号的图像a_i和所取的参考信号的图像b_j配对成一时间对准组(b_j,a_i)，并从所述待测视频信号的帧序列或帧的子序列中依时间顺序取下一幅图像，并继续执行步骤b，即if tagtime(a_i)＝tagtime(b_j)then output(b_j,a_i),a_i<-a_i+1,i<-i+1，继续执行步骤b；

d.若所取的待测视频信号的图像的时间关联信息tagtime(a_i)晚于所取的参考信号的图像的时间关联信息tagtime(b_j)，那么从所述参考信号中依时间顺序取下一幅图像，并继续执行步骤b，即if tagtime(a_i)>tagtime(b_j)then b_j<-b_j+1,j<-j+1,继续执行步骤b；

e.若所取的待测视频信号的图像的时间关联信息tagtime(a_i)早于所取的参考信号的图像的时间关联信息tagtime(b_j)，那么从所述待测视频信号的帧序列或帧的子序列中依时间顺序取下一幅图像，并继续执行步骤b，即if tagtime(a_i)<tagtime(b_j)then a_i<-a_i+1,i<-i+1,继续执行步骤b；

f.若所述待测视频信号的帧序列或帧的子序列的图像未选取结束，并且所述参考信号的图像未选取结束，则继续执行步骤b，否则停止，即if a_i+1＝ф或者b_j+1＝ф则停止。

进一步地，在一些实施例中，若在步骤d中被判断为时间关联信息早于所取的待测视频信号的图像的时间关联信的参考信号的图像，未在步骤c的所述时间对准组成功配对过，则记录发生了一次所述参考信号的帧删除操作，即if tagtime(a_i)>tagtime(b_j)thenoutput(b_j,ф),b_j<-b_j+1,j<-j+1,goto b。在另一些实施例中，若在步骤d中被判断为时间关联信息早于所取的待测视频信号的图像的时间关联信的参考信号的图像，步骤c的所述时间对准组未成功配对过，则使用占位图像或者空白图像作为待测视频信号的图像与所取的参考信号的图像配对成一个缺位的时间对准组，即if tagtime(a_i)<tagtime(b_j)thenoutput(ф,a_i),a_i<-a_i+1,i<-i+1,goto b。

以上算法中凡输出的时间对准组(b_j,a_i)，只要b_j≠ф并且a_i≠ф，那么就进行了一次时间对准操作，即步骤c的操作。所有步骤c操作输出的时间对准组中的a_i组成的新的帧序列(a’_k)就是待测视频信号的有效输出帧序列，即(a’_k)_{a’∈(b_j,a_i),a_i∈A,b_i∈B,b_j≠ф,a_i≠ф,tagtime(a_i)＝tagtime(b_j)}是待测视频信号(b_n)的有效输出帧序列。

通过以上的方式生成多个时间对准组以完成待测视频信号向参考信号的时间对准。对准后可生成视频图像对准序列，如图2所示，视频图像对准序列200包括多个图像对准组(时间对准组)201。每个图像对准组201包括一个参考信号的参考对准图像202及至少一个待测系统输出的待测视频信号的对准图像203(及对准图像204)。每个对准图像(以参考对准图像202为例)包括位图图像205、时间关联信息206及时间标记几何信息(几何标记信息)207。

接下来，执行依据所述有效输出帧序列进行所述待测视频信号向所述参考信号的空间对准操作的步骤。首先，获取所述待测视频信号的几何标记和所述参考信号的几何标记之间的几何形状的空间仿射矩阵，获取所述空间仿射矩阵的缩放因子、平移量、裁剪或补缀区域。然后，将所述待测视频信号中识读出的时间标记的几何标记信息，向所述参考信号的时间标记的几何标记信息在空间对准。

具体而言，上述空间对准操作的步骤可通过如下方式实现：

a’.从所述参考信号的图像的时间标记的几何标记信息中导出k个特征标记点，k为大于等于3的整数，所述参考信号的图像的宽为W，高为H，W和H为大于0的常数，所述k个特征标记点中第n+1个特征点的坐标为(x_n，y_n)，n为大于等于0且小于k的整数。该步骤中，导出的特征标记点越多、越分散，越好。优选的，可导出四个矩形角点。

b’.从所述待测视频信号的图像的时间标记的几何信息中导出步骤a’中的所述k个特征标记点的对应标记点，所述待测视频信号的图像的宽为M，高为N，M和N为大于0的常数，所述k个对应标记点中第n+1个特征点的坐标为(i_n，j_n)，n为大于等于0且小于k的整数。

为方便表述可参考如下表格:

c’.根据所述参考信号的k个特征标记点获得参考空间标记点矩阵A，根据所述待测视频信号k个对应标记点获得待测空间标记点矩阵B，

d’.通过求解矩阵方程AX＝B的最优拟合解来求得从所述参考信号变换到所述待测视频信号的空间仿射矩阵F：

在一个具体实施例中，可使用奇异值分解法来求所述矩阵方程的最小二乘解，对所述参考空间标记点矩阵A进行奇异值分解SVD，得到所述参考空间标记点矩阵A的左奇异特征矩阵U、右奇异特征矩阵V及奇异对角阵D：

(U，D，V)＝SVD(A)

依下式求得从所述参考信号变换到所述待测视频信号的空间仿射矩阵F：

在另一个具体实施例中，可使用QR分解法来求所述矩阵方程的最小二乘解：

所述QR分解法包括：把矩阵A分解成一个正交矩阵和一个上三角矩阵的积的形式，矩阵A表达为一个正交阵Q₁和一个3行×3列的上三角阵S的乘积形式：

A＝Q₁S

所述矩阵方程的最小二乘解根据如下公式求解：

上述两种实施方法中第二种算法比第一种算法计算更快，而第一种算法比第二种算法收敛性更好。

e’.依据所述参考信号变换到所述待测视频信号的空间仿射矩阵F求得从所述待测视频信号变换到所述参考信号的空间逆仿射矩阵G：

G＝F^-1

f’.验证所述空间仿射矩阵F中f₀₁，f₁₀，f₂₀，f₂₁约等于0，f₂₂约等于1。

若该步骤验证失败，则表示待测视频信号不是经过参考信号的空间简单的平移、缩放而得到的，需要报告可能发生了设备异常，也有可能是特殊的视频应用导致的这种异常的仿射矩阵。

g’.根据所述空间仿射矩阵F获取所述平移量及缩放因子，所述平移量为(f₀₂,f₁₂)，所述缩放因子为(f₀₀,f₁₁)；

h’.按如下公式计算一矩阵R，并从所述矩阵R中获取所述空间仿射矩阵F的裁剪或补缀区域：

i’.验证所述矩阵R中r₀₂,，r₁₂，r₂₂，r₃₂约等于0，依据所述矩阵R获取四个坐标点位(r₀₀，r₀₁)，(r₁₀，r₁₁)，(r₂₀，r₂₁)，(r₃₀，r₃₁)描述了裁剪或补缀发生在从左上角开始按顺时钟旋转的图像四个角点处的矩形区域。

具体而言，r₀₁、r₁₁如果为负数则说明是在参考图像的顶边做了相应数量对应高度的裁剪，如果为正数则说明是在参考图像的顶边做了相应数量对应高度的补缀。例如如果(r₀₀,r₀₁)＝(0,-10)，(r₁₀,r₁₁)＝(0,-10)，表示在生成待测图像过程中首先对参考图像的顶边附近区域{(0,0),(W,0),(W,10),(0,10)}进行了裁剪。如果(r₀₀,r₀₁)＝(0,10)，(r₁₀,r₁₁)＝(0,10)，表示生成待测图像过程中首先对参考图像的顶边附近区域补充了一块不属于原来参考图像的新图像区域{(0,0),(W,0),(W,10),(0,10)}。

r₁₀、r₂₀如果为正数则说明是在参考图像的右边做了相应数量对应宽度的裁剪，如果为负数则说明是在参考图像的右边做了相应数量对应宽度的补缀。

r₂₁、r₃₁如果为正数则说明是在参考图像的底边做了相应数量对应高度的裁剪，如果为负数则说明是在参考图像的底边做了相应数量对应高度的补缀。

r₀₀、r₃₀如果为负数则说明是在参考图像的左边做了相应数量对应宽度的裁剪，如果为正数则说明是在参考图像的左边做了相应数量对应宽度的补缀。

j’.根据所述空间逆仿射矩阵G把所述待测视频信号中的每幅图像向所述参考信号做平移和缩放，并对所述待测视频信号中的每幅图像进行逆向裁剪或补缀，以使所述待测视频信号和参考信号同宽高。换言之，若参考信号在待测系统中经过了裁剪形成了待测视频信号则以时间对准后的参考信号中的被裁区域补齐，若参考信号在待测系统中经过了补缀形成了待测视频信号则把多余的补缀裁剪掉，最终得到和参考信号同宽高的视频信号。

通过如上步骤使得待测视频信号与参考信号进行空间对准操作。具体而言，空间对准的目的是从几何的角度把待测图像还原成与参考图像一致的图像。如果在待测系统把参考图像变换成待测图像的过程中发生了裁剪，仅从待测图像上是无法获得被裁剪掉的部分的，所以只好从参考图像上补出来。如果待测系统把参考图像变换成待测图像的过程中发生了补缀，则只需要把多余的补缀直接了当地裁掉就行了。待测系统在把参考图像变换成待测图像的过程中，常常会伴随着图像的裁剪、补缀、拉伸、缩小、错切等几何变换，同时还会损失图像的画质、引入噪声等。空间对准只能从几何变换的角度来完成图像的还原，而不用对图像的画质、噪声等进行还原。对图像的画质的损失的量化和引入噪声的量化正好就是图像质量评价需要给出的答案。

当待测视频信号与参考信号经由时间对准操作和空间对准操作后，还依据参考信号同步输出待测视频信号。具体而言，在输出参考信号的帧序列的同时，对于参考信号中的每一帧图像的时间标记的时间关联信息：若待测视频信号的有效输出帧序列中存在相同的时间关联信息，则同步输出经由时间对准操作和空间对准操作的所述待测视频信号的帧图像；若待测视频信号的有效输出帧序列中不存在相同的时间关联信息，则输出图像占位符或者空白图像。

进一步地，本发明还支持多个待测系统的视频质量评价。换言之，当所述参考信号在步骤S102中由多个待测系统转换为多个所述待测视频信号时，于步骤S104中分别依据该多个所述待测视频信号中识读出的所述时间关联信息与所述参考信号的所述时间关联信息分别计算该多个所述待测视频信号的有效输出帧序列；分别依据该多个所述待测视频信号的所述有效输出帧序列进行该多个所述待测视频信号向所述参考信号的时间对准操作、空间对准操作；按同一所述参考信号进行同步输出。

步骤S105.依据对准后的待测视频信号计算所述待测视频信号的视频质量。

具体而言，步骤105中可展示如下内容中的一项或多项：参考信号的帧率、参考信号的图像尺寸、参考信号的视频图像、一个或多个待测视频信号的评分信息、一个或多个待测视频信号插入帧或者删除帧的帧间编辑操作数据、一个或多个待测视频信号的输出帧率、一个或多个待测视频信号的有效输出帧率、一个或多个对准后待测视频信号的视频图像。

下面参考图3和图4，图3示出了根据本发明实施例的视频质量评价系统的结构示意图；图4示出了根据本发明实施例的视频质量评价系统的具体结构示意。

本发明提供的待测系统的视频质量评价系统300包括视频信号对准装置301及视频质量评价装置302。视频信号对准装置301包括时间标记器410、时间标记识读器408及视频信号对准器411。时间标记器410用以依据源视频信号生成具有时间标记的时间标记视频信号，并将所述时间标记视频信号作为参考信号，所述时间标记为由时间关联信息编码而成的几何标记，并将所述参考信号发送至待测系统403。时间标记识读器408用以接收所述待测系统403发送的经由所述参考信号变化的待测视频信号，从所述待测视频信号中识读时间标记，获得所述时间关联信息和几何标记信息。视频信号对准器411用以按所述时间关联信息和所述几何标记信息把所述待测视频信号向所述参考信号对准。视频质量评价装置302用以依据对准后的待测视频信号计算所述待测系统的视频质量并展示。视频质量评价装置302包括质量指标评价器412及评价数据展示器413。质量指标评价器412，用以依据对准后的待测视频信号计算所述待测系统的视频质量。评价数据展示器413用以展示参考信号、待测视频信号的图像的同时，同步展示同一时间关联信息对应的时刻的视频质量指标评分、历史的评分曲线，同步展示同一时间关联信息对应的时刻的待测视频信号中发生的帧间编辑操作数据。

第一实施例

下面结合图3至图6描述本发明的第一实施例。

在第一实施例的待测系统的视频质量评价系统中，可采用自动方式工作。如图3所示的系统结构，视频质量评价系统300由视频信号对准装置301和视频质量评价装置302构成。视频信号对准装置301实现图1所示的步骤S101、步骤S102、步骤S103、步骤S104的功能。视频质量评价装置302实现图1所示的步骤S105的功能。

参考图4及图5，在第一实施例的待测系统的视频质量评价系统中，视频信号对准装置301的输入适配器409负责把视频采集系统401的输入信号501适配转换成YUV420P图像序列的输入信号509。

在第一实施例的待测系统的视频质量评价系统工作开始时，预先配置好视频采集系统401的采集图像宽、高、帧率，尽量与将要评价的各路接入系统的待测系统403的工作图像的宽、高、帧率相当。以一次具体的评价为例，需要实时对比评价两个待测系统403的1080px30fps(分辨率为1080P，帧率为每秒30帧)的工作状态下的视频质量，这时尽量将视频采集系统401的工作状态也配置为1080px30fps的工作状态，即宽为1920、高为1080、输出帧率为30fps。如果无法满足，则配置输入适配器409将视频采集系统实际采集到的输入信号501适配到输出信号509为1080px30fps的工作状态。

在第一实施例的待测系统的视频质量评价系统中，时间标记器410用以给输入信号509(源视频信号)中的每幅YUV420P图像指定一个自然数(帧编号)作为时间关联信息206，选用矩形二维码时间标记方式把时间关联信息做成时间标记叠加到输入信号的YUV420P图像的Y分量(YUV颜色编码方法中的Y分量)中，做成经过矩形二维码时间标记过的视频信号505、510、511。本实施例中生成的时间标记视频信号为YUV420P图像序列，宽为1920、高为1080、帧率为30fps。

在第一实施例的待测系统的视频质量评价系统中，时间标记器410输出的参考信号505、510、511是经过矩形二维码时间标记过的视频信号，其时间标记的几何形状如图6所示，标号604为YUV420P图像的Y分量，标号601为图像的坐标原点，标号602为时间标记的偏移角点，标号603为1个点的边框宽度，标号605为21点的QR-1Level-Q二维码，控制参数s用来控制1个点表示的像素个数。

在第一实施例的待测系统的视频质量评价系统中，时间标记器410按图6所示将QR二维码图像编码增加1个点的边框后使用预设的控制参数(默认为3)进行放大，按固定角点偏移量P(20，20)平移后，做成二值化的时间标记，然后直接叠加到图像的Y分量中，保持图像的UV分量数据不变，做成时间标记视频信号505、510、511。同时，时间标记器410仍然把QR二维码的四个角点作为时间标记几何信息告知视频信号对准器411。

在第一实施例的待测系统的视频质量评价系统中，时间标记器410产生的时间标记视频信号中，每个YUV图像中的Y分量上都在固定位置叠加了一个边长为s×(21+2)的正方形区域，其中含有一个编码了以帧编号充当时间关联信息的QR-1二维码。

在第一实施例的待测系统的视频质量评价系统中，输出适配器402、405是为了把参考信号成功送给待测系统403、406等而设的，负责把参考信号转换成可以被待测系统接收的视频信号502、506，必要的情况下需要对图像宽高、帧率、格式进行适配。

在第一实施例的待测系统的视频质量评价系统中，输入适配器404、407是为了把待测系统输出的视频转换成和参考信号511同格式的YUV420P图像序列视频信号503、508而设的，必要的情况下需要对图像宽高、帧率、格式进行适配。

在第一实施例的待测系统的视频质量评价系统中，时间标记识读器408提取出待测视频信号中的时间标记的几何信息，本实施例即Y分量中的QR二维码的四个角点的坐标位置，同时识读出时间关联信息，本实施例即从QR二维码中识读出充当时间关联信息的帧编号。本实施例的时间标记识读器拥有四个通道，每个通道可以接收一路待测视频信号，并同步输出一路待测视频信号及时间标记几何信息、时间关联信息，输出的这些信息被送入视频信号对准器411。

一般情况下，在一个待测视频信号中时间标记的几何信息变化很小，不用每次都在整帧图像的范围内搜索时间标记的位置。在本发明的第一实施例的视频质量评价系统中，时间标记识读器408在提取时间标记的几何信息时，会参考上一次时间标记的几何信息以加快提取速度。

在本发明的第一实施例的视频质量评价系统中，时间标记识读器408在识读时间标记连续失败累计达5次以上时，将向时间标记器410发出增加时间标记几何形状面积的参数控制信号516。时间标记器在特定时段接收到控制信号516时，把控制时间标记几何形状面积的控制参数s加1，直接导致生成的时间标记信号中的矩形二维码图像区域面积变大，其中的二维码抵抗图像模糊和噪音的能力更强。当矩形二维码图像区域面积超过视频图像面积的5％时，增加s不再能调节使二维码图像变得更大。

在本发明的第一实施例的视频质量评价系统中，视频信号对准器411实接收参考信号511以及已经识读了时间标记的多路待测视频信号512、513，按步上述图1中的步骤S104把参考信号、待测视频信号进行时间对准、空间对准，并组成视频图像对准组序列，输出对准信号514，送给视频质量评价装置。对准信号包括：视频图像对准组序列、视频帧间编辑操作信息。对准信号的频率和参考信号相同，每个对准图像203、204的宽、高和参考对准图像202相同。在对准情况下，对准信号中的每个对准图像的时间关联信息(帧编号)都和参考对准图像的相同。

在本发明的第一实施例的视频质量评价系统中，视频质量评价装置302由质量指标评价器412和评价数据展示器413构成。质量指标评价器412接收视频图像对准组序列信号514，把每份图像对准组的设备对准图像的Y分量都计算一次质量指标，质量指标可以包括：PSNR(Peak Signal to Noise Ratio，即峰值信噪比)、EPSNR(边缘检测模型)、SSIM(structural similarity index，结构相似性)、MS-SSIM质量指标中的一项或多项，并随同对准组一起作为实时质量数据送给评价数据展示器413进行实时展示。

具体而言，Peak signal to noise ratio(PSNR，峰值信噪比)指标，描述一种信号经传输或者处理，信号峰值强度相比于引入噪声强度的分贝值。在本发明的实施例中用来作为衡量待测视频的客观质量指标之一。在对待测信号经过相对于参考信号的时间对准、空间对准之后，可以逐点比较待测信号和参考信号中结成图像对准组的帧图像。对于每一个图像对准组中的待测图像，可以对比参考图像计算出一个PSNR评分，其数值越大则表示与参考图像越接近，被认为是质量越好。现以计算某一个图像对准组的待测图像的亮度分量的PSNR值为例来说明计算方法，设图像对准组中图像的宽都是W像素、高都是H像素，参考图像上像素坐标(i,j)点的亮度值为I_B(i,j)，待测图像上像素坐标(i,j)点的亮度值为I_A(i,j)，亮度值的最大值(峰值)为I_max，则可以通过下式来计算这个对准组中的待测图像的亮度分量的PSNR：

当图像的亮度位深度为8位时，I_max为255。当待测图像和参考图像完全相同时，PSNR为无穷大。

Edge peak signal to noise ratio(EPSNR，边缘峰值信噪比)指标，是在对视频进行客观质量评价时，基于PSNR指标的一种改进，考虑到人眼对物体的光影边缘比较敏感的视觉特性，只在物体的光影边缘对图像求PSNR得到的指标就更符合人眼的视觉感受。可以按下方方法来求一个图像对准组的待测图像的EPSNR：

(a)使用一种边缘过滤器对参考图像的亮度分量进行过滤以获得参考图像的边缘图像E_A。

(b)使用同一种边缘过滤器对待测图像的亮度分量进行过滤以获得待测图像的边缘图像E_B。

(c)把两幅边缘图像叠加，并做成二值化的边缘取点图像模板：E＝binary(E_A+E_B)。设边缘图像模板E上像素p点处的亮度值为I_E(p)，因为是二值化图像，所以它的亮度值只有1和0。例如对于8位深度的亮度分量图像，以128为阈值对E_A+E_B进行逐点检测，当p点的亮度和I_A(p)+I_B(p)大于128时设置E模板在p点处的亮度1，即I_E(p)＝1，否则设置为0。所有像素点都检测了一遍之后就可以得到边缘图像模板E了：

(d)按边缘图像模板E对待测图像的亮度分量来计算PSNR，就得到了EPSNR：

Structural Similarity(SSIM，结构相似度)指标，着重从图像的相似程度上来描述信号经传输或者处理的质量。在本发明的有些实施例中计算一个视频图像的对准组中的待测信号的SSIM指标时，通过把参考图像和待测图像都按N×N的网格来划分成(W/N)×(H/N)个方格区域，然后依次对比待测图像和参考图像的对应方格区域的图像并计算这对方格的SSIM值，取所有方格的SSIM值的平均值作为一帧待测图像的SSIM指标。方格的宽度N不宜取得过大，可以取N＝8比较合适。设参考图像的方格K的图像为x，其上的像素坐标为(i,j)的点的亮度值为x_ij；对应的待测图像的方格K的图像为y，其上的像素坐标为(i,j)的点的亮度值为y_ij；亮度值的最大值(峰值)为I_max，则可以按下式来计算这对方格的SSIM值：

式中C₁、C₂为常数，缺省情况下可以设为：

式中用μ表示方格图像的平均亮度，如x图像的平均亮度计算如下：

式中用σ_xy表示两个方格图像的亮度协方差的平方根，计算如下：

式中用σ_x表示x图像的亮度标准差，用σ_y表示y图像的亮度标准差，如σ_x计算如下：

对网格划分出来的所有方格求SSIM(x,y)，最后求它们的平均值，就得到了一个图像对准组中的待测图像的SSIM。

更加精致地，上面的SSIM(x,y)是通过下面的算式简化出来的：

SSIM(x，y)＝l(x，y)^α·c(x，y)^β·s(s，y)^γ

其中的三个因子分别为：

l(x,y)是由经C₁调节过的两个方格图像的亮度的调和平均值，用来描述两个图像的亮度相似程度。c(x,y)是由经C₂调节过的两个图像的对比度的调和平均值，用来描述两个图像的对比度相似程度。s(x,y)是由经C₃调节过的两个图像的线性相关系数，用来描述两个图像的形状相似程度。一般情况下，取α＝β＝γ＝1，取C₃＝C₂/2，代入式子经化简后得到前面的分式形式的SSIM(x,y)。

在另一些实施例中，也可以使用N×N的窗口从图像的第一个像素滑到最后一个像素来裁取方格图像的方法，这种方法的计算量是上述方法的N×N倍，计算结果也更精细。

Multi-scale structural similarity(MS-SSIM，多尺度结构相似度)指标，是在对视频进行客观质量评价时，基于SSIM指标的一种改进，考虑到人眼对视场中的结构特征具有高度的自适应能力，综合考虑多个不同尺度下的结构相似度相比于单尺度的SSIM指标被认为更能反映人眼的视觉感受。一般情形，多尺度结构相似度是把参考图像和待测图像都逐级缩小出多个不同的缩小尺度图像，例如从原图像以1为尺度索引开始，宽和高均缩小到原来的一半得到以2为尺度索引的图像，相继操作并得到m个不同尺度的图像，然后再按N×N窗口在不同尺度的图像中分别裁出参考图像和待测图像的方形子图像，计算出从1到m的不同尺度下的SSIM的三个相似度因子l_j(x,y)、c_j(x,y)、s_j(x,y)，MS-SSIM是这一系列因子的函数。

可以使用多种方法来构造多尺度结构相似度的方法。例如在有些实施例中可以把m设为4，即只评价4个不同尺度，仍然把N设为8，即以8×8像素的方形窗口来从不同尺度图像中取子图像，仍然取C₁＝(0.01×I_max)²、C₂＝(0.03×I_max)²、C₃＝C₂/2，对每个尺度求SSIM的三个相似度因子的平均值得到相应尺度下的l_j(x,y)、c_j(x,y)、s_j(x,y)。比较简单的一种是在不同的尺度下求得各自的SSIM，然后再平均。在公式中为了区别于SSIM(x,y)，使用SSIM_j(x,y)表示第j尺度下的结构结构相似度指标，使用SSIM^m(x,y)来表示多尺度的结构相似度指标。即：

另一种构造多尺度结构相似度的方法使用的是多尺度下的一种加权几何平均值，构造如下式：

使用这种方法构造MS-SSIM指标时应附加约束条件：α_j＝β_j＝γ_j且即只取最后一个亮度相似因子l_j(x,y)，与其它各尺度的对比度相似因子c_j(x,y)和形状相似因子s_j(x,y)之积的一个加权几何平均值相乘，作为综合指标。当取m＝5时，可以取加权几何平均的指数权重β₁＝γ₁＝0.0448、β₂＝γ₂＝0.2856、β₃＝γ₃＝0.3001、β₄＝γ₄＝0.2363、α₅＝β₅＝γ₅＝0.1333时能得到较有代表性的MS-SSIM指标。在本发明的第一实施例的视频质量评价系统中，评价数据展示器413展示的内容可以包括：参考信号的宽、高、帧率，每个待测视频信号的5秒平均指标(Y分量的如下指标中的一项或多项：PSNR、EPSNR、SSIM、MS-SSIM)及历史曲线，每个待测视频信号的输出帧率、有效输出帧率，每个待测视频信号的帧间编辑历史曲线。

第二实施例

下面结合图3至图5、图7及图8描述本发明的第二实施例。在本发明的第二实施例的视频质量评价系统中，也可采用自动方式工作，整体工作结构和方式与第一实施例相同，不同之处在于：第二实施例中时间标记器410采用了不同的时间标记几何形状及内部编码图像的构成方式，相应的，时间标记识读器408的时间标记识读方式也不相同。

在本发明的第二实施例的视频质量评价系统中，时间标记器410采用的时间标记的几何形状和结构如图7所示的，分布在图像四周的带状边框区域内，分别被四个定位块704、708、710、706、四个编码图像区域702、709、707、705覆盖，而内部矩形区域703则是透明部分。

在本发明的第二实施例的视频质量评价系统中，时间标记中的条码编码图像701示意了放置在四个编码图像区域中的图像内容，是按条码code-128对时间关联信息进行编码得到的二值图像，经对称变换后分别放置到四边的四个编码图像区域。

在本发明的第二实施例的视频质量评价系统中，时间标记中的四个定位块是实心黑正方形，其边长由时间标记的几何形状控制参数s来调节控制。s越大，时间标记的四周覆盖原图像区域面积越大，抵抗图像模糊和噪音的能力越强。

在本发明的第二实施例的视频质量评价系统中，时间标记的几何形状信息由整体矩形的四个角点组成包括：定位块704的左上角、定位块708的右上角、定位块710的右下角、定位块706的左下角，在生成的参考信号中这四个角点正好就是整张图像的四角。

在本发明的第二实施例的视频质量评价系统中，时间标记的几何形状被叠加在YUV420P图像的Y分量上，中央区域703透过参考图像中的Y分量上的内容。参考信号中的帧图像的Y分量时间标记效果如图8所示意。

在本发明的第二实施例的视频质量评价系统中，时间标记识读器408通过搜索定位块来快速定位时间标记的几何形状，并裁出四个编码图像区域，识读出其中的任何一个code-128条码，如果一个失败可识读另一个。如果四个都失败算作时间标记识读失败。时间标记识读失败逻辑与本发明第一实施例的处理相同。

第三实施例

在本发明的第三实施例的视频质量评价系统中，可采用手动执行各个步骤的方式工作。在本实施例的工作方式下，对本发明的步骤按三组操作进行了分配，包括：

“标记”操作，包括：如图1所示的步骤S101。

“对准”操作，包括：如图1所示的步骤S102、步骤S103、步骤S104。

“评价”操作，包括：如图1所示的步骤S105。

当需要评价一个待测系统时，操作的步骤为：“标记”，“对准”，“评价”。

当需要评价两个待测系统时，可以组合操作的步骤为：“标记”，“对准”待测系统A，“对准”待测系统B，“评价”待测系统A和B；也可以换一种操作的组合：“标记”，“对准”待测系统A，“评价”A，“对准”待测系统B，“评价”B。

无法使用本实施例实现与视频采集相同步的评价，只能先制作出一段有限时长的参考视频文件，然后再重复使用这个参考视频文件来进行评价。

在本发明的第三实施例的视频质量评价系统中，“标记”操作，需要使用视频信号对准装置301，使之工作在“标记”模式下，并保存成参考视频文件。可以选择保存参考视频文件的视频格式。如图5、图6所示，在这种工作模式中，视频信号对准装置中的数据流动路径为：视频采集系统或者加载视频文件(以箭头501表示)，输入适配器409(以箭头509表示)，时间标记器410(以箭头510表示)，输出适配器402，保存成视频文件(以箭头502表示)。

在本发明的第三实施例的视频质量评价系统中，“标记”操作，视频信号对准装置默认会保存出无损YUV位像的y4m格式视频文件。使用这种格式的优点是可以使评价更加准确，缺点是这种格式的视频文件将占用超大的存储空间。可以选择保存成有损的mp4视频文件，缺点是有视频编码器介入视频处理当中，会对随后的质量评价带来负面影响，操作者可以尝试在保存mp4时通过选择固定质量、高质量的附加参数来尽量降低这种负面影响。

在本发明的第三实施例的视频质量评价系统中，“标记”操作，视频信号对准装置中无法动态调节时间标记的形状参数控制信号(如箭头516表示)，而应该根据经验值来预先设置，形状参数控制量s的默认配置为3。

在本发明的第三实施例的视频质量评价系统中，“对准”操作，需要使用视频信号对准装置301，使之工作在“对准”模式下，使用先前保存的参考视频文件，一次连接一个待测系统，保存一个对准视频文件以及一个帧编辑日志文件。当需要评价多个待测系统时，可以多次重复本图1所示的步骤S102，每个待测系统的每次“对准”均得到一个对准视频文件和一个帧编辑日志文件，在对准视频文件中只包含了时间对准和空间对准后的待测视频信号的中视频图像或者空白占位图像，尺寸和“标记”操作保存的参考视频文件的宽高和帧率都相同。默认保存的对准视频文件的格式为无损的y4m，但可以选择保存为有损的mp4。

在本发明的第三实施例的视频质量评价系统中，“对准”操作，如图5、图6所示，在“对准”工作模式中，视频信号对准装置中的数据流动路径有两条，一条为参考流，另一条为待测流。参考流为：从输出适配置402加载参考视频文件(如箭头502所示)，不处理占位403(403表示使用一个“不对信号做加工处理”的“占位”系统来代替“待测系统”)(如箭头504所示)，输入适配器404(如箭头503所示)，时间标记识读器408(如箭头512所示)到达视频信号对准器411。待测流为：从输出适配置405(可复用输出适配置402的输出，如箭头506所示)，待测系统406(如箭头507所示)，输入适配器407(如箭头508所示)，时间标记识读器408(如箭头513所示)到达视频信号对准器411。在这种模式下也需要对参考视频充当的参考信号进行一次时间标记的识读。

在本发明的第三实施例的视频质量评价系统中，“评价”操作，需要使用视频质量评价装置302加载参考视频文件、一个或多个待测对准视频文件，以“播放”的方式同时播放参考视频文件及待测对准视频文件，并计算视频质量指标(PSNR、EPSNR、SSIM、MS-SSIM)评价。可以“暂停”播放，停下来仔细了解各视频信号在指定时刻的详细信息如图像内容、视频质量指标评分等。

在本发明的第三实施例的视频质量评价系统中，“评价”操作，可选的，可以在评价待测对准视频文件时一并加载相应的对准日志文件，可以展示待测系统的帧编辑操作以及有效输出帧率信息。

目前在视频质量评价的视频对准过程中应用的各类视频配准算法着重关注两个视频在内容上的差异的最小化计算，这些算法大多数都有如下特征：计算量大、耗时长，只适应空间、时间发生了小范围变化的对准，只适合运动内容较多、图像高频信息较多等内容变化大的视频场景。不适合静态内容的场景和变化缓慢的场景，不适合输出视频的帧率与参考视频不一致或帧率在动态调节的应用场合，较难做到直接使用实时采集视频进行实时评价，难以实现多系统的实时对比评价等。目前的大多数视频质量评价系统无法给出视频处理系统的有效输出帧率数据以及相关的帧间编辑数据。

本发明打破了客观全参考视频质量评价方法中使用最小化特征量的时间、空间图像配准算法进行时间对准和空间对准的传统思维，创新地采用时间标记视频信号作为参考信号来进行客观全参考视频质量评价，可以直接而准确地从待测视频信号中识读出时间标记的几何形状信息和时间关联信息。通过识读出的时间关联信息的比较快速地实现了准确的时间对准，并且能够准确监测待测视频信号中发生的帧间编辑操作。通过识读出的时间标记的几何形状信息快速实现了准确的空间对准。本发明可以实时、准确地对多个待测系统的输出信号的视频质量进行对比，并且还能给出待测系统的帧间编辑操作信息和待测系统的有效输出帧率等传统视频质量评价中所难以给出的信息。本发明中采用的时间标记视频信号具有抗干扰能力，并且具有识读错误反馈调节时间标记几何形状更进一步提高抗干扰能力，使得本发明能够适应客观全参考视频质量评价的各种大量的应用场景。

以上具体地示出和描述了本发明的示例性实施方式。应该理解，本发明不限于所公开的实施方式，相反，本发明意图涵盖包含在所附权利要求范围内的各种修改和等效置换。

Claims (11)

1.一种待测系统的视频质量评价方法，其特征在于，包括：

从待测系统获取待测视频信号；

获取所述待测视频信号对应的参考信号，所述参考信号为依据源视频信号生成的具有时间标记的时间标记视频信号，所述时间标记为由时间关联信息编码而成的几何标记；

从所述待测视频信号中识读时间标记，获得所述时间关联信息和几何标记信息；

按所述时间关联信息和所述几何标记信息把所述待测视频信号向所述参考信号进行对准，使得具有相同的时间关联信息的待测视频信号的图像及所述参考信号的图像逐点对准；以及

依据对准后的待测视频信号计算所述待测视频信号的视频质量。

2.根据权利要求1所述的视频质量评价方法，其特征在于，所述按所述时间关联信息和所述几何标记信息把所述待测视频信号向所述参考信号进行对准包括：

依据所述待测视频信号中识读出的所述时间关联信息生成所述待测视频信号的有效输出帧序列；

依据所述有效输出帧序列进行所述待测视频信号向所述参考信号的时间对准操作、空间对准操作。

3.根据权利要求2所述的视频质量评价方法，其特征在于，所述依据所述有效输出帧序列进行所述待测视频信号向所述参考信号的时间对准操作的步骤包括：

将所述待测视频信号的帧序列或者帧的子序列中，根据每帧图像的识读出的所述时间关联信息，向所述参考信号的时间关联信息序列对准；

经时间对准后，将所述待测视频信号中的每帧图像均映射到所述参考信号中相同时间关联信息的图像上。

4.根据权利要求2所述的视频质量评价方法，其特征在于，所述依据所述有效输出帧序列进行所述待测视频信号向所述参考信号的空间对准操作的步骤包括：

获取所述待测视频信号的几何标记和所述参考信号的几何标记之间的几何形状的空间仿射矩阵；

依据所述空间仿射矩阵，将所述待测视频信号向所述参考信号进行空间对准。

5.根据权利要求2所述的视频质量评价方法，其特征在于，所述依据所述有效输出帧序列进行所述待测视频信号向所述参考信号的时间对准操作、空间对准操作的步骤之后还包括：

在输出所述参考信号的帧序列的同时，对于所述参考信号中的每一帧图像的时间标记的时间关联信息：

若所述待测视频信号的有效输出帧序列中存在相同的时间关联信息，则同步输出经由时间对准操作和空间对准操作的所述待测视频信号的帧图像；

若所述待测视频信号的有效输出帧序列中不存在相同的时间关联信息，则输出图像占位符或者空白图像。

6.根据权利要求1至5任一项所述的视频质量评价方法，其特征在于，当所述参考信号经由多个待测系统转换为多个所述待测视频信号时，

分别依据该多个所述待测视频信号中识读出的所述时间关联信息生成该多个所述待测视频信号的有效输出帧序列；

分别依据该多个所述待测视频信号的所述有效输出帧序列进行该多个所述待测视频信号向所述参考信号的时间对准操作、空间对准操作；

按同一所述参考信号进行同步输出。

7.根据权利要求1至5任一项所述的视频质量评价方法，其特征在于，

所述时间关联信息包括所述源视频信号中每幅图像的帧编号、时间戳、随时间而变的相关信息中的一项或多项。

8.根据权利要求1至5任一项所述的视频质量评价方法，其特征在于，所述依据对准后的待测视频信号计算所述待测视频信号的视频质量的步骤包括：

依据如下算法中的一种或多种计算对准后的待测视频信号计算所述待测视频信号的视频质量：PSNR、EPSNR、SSIM及MS-SSIM。

9.根据权利要求1至5任一项所述的视频质量评价方法，其特征在于，所述依据对准后的待测视频信号计算所述待测视频信号的视频质量的步骤还包括：

展示如下一项或多项：参考信号的帧率、参考信号的图像尺寸、参考信号的视频图像、一个或多个待测视频信号的评分信息、一个或多个待测视频信号插入帧或者删除帧的帧间编辑操作数据、一个或多个待测视频信号的输出帧率、一个或多个待测视频信号的有效输出帧率、一个或多个对准后待测视频信号的视频图像。

10.一种待测系统的视频质量评价系统，其特征在于，包括：

视频信号对准装置，包括：

时间标记器，用以依据源视频信号生成具有时间标记的时间标记视频信号，并将所述时间标记视频信号作为参考信号，所述时间标记为由时间关联信息编码而成的几何标记，并将所述参考信号发送至待测系统；

时间标记识读器，用以接收所述待测系统发送的经由所述参考信号变化的待测视频信号，从所述待测视频信号中识读时间标记，获得所述时间关联信息和几何标记信息；

视频信号对准器，用以按所述时间关联信息和所述几何标记信息把所述待测视频信号向所述参考信号进行时间和空间对准操作，使得具有相同的时间关联信息的待测视频信号的图像及所述参考信号的图像逐点对准；

视频质量评价装置，用以依据对准后的待测视频信号计算所述待测系统的视频质量。

11.根据权利要求10所述的视频质量评价系统，其特征在于，所述视频质量评价装置，包括：

质量指标评价器，用以依据对准后的待测视频信号计算所述待测系统的视频质量；

评价数据展示器，用以展示参考信号、待测视频信号的图像的同时，同步展示同一时间关联信息对应的时刻的视频质量指标评分、历史的评分曲线，同步展示同一时间关联信息对应的时刻的待测视频信号中发生的帧间编辑操作数据。