CN110493638B - 视频帧对齐方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请提供一种视频帧对齐方法、装置、电子设备及可读存储介质，涉及图像质量评估技术领域。首先，从采集的受损视频中确定一选定视频帧，并根据该选定视频帧在源视频中定位与之对应的目标视频帧；接着，分别以选定视频帧及目标视频帧为起点，将受损视频中的视频帧与源视频中的视频帧分别存入不同的缓存区；最后，将不同缓存区之间相似度匹配的视频帧分别存入到对应的文件中。两个文件中存储的视频帧即为对齐后的视频帧。上述方法无需考虑受损视频的帧率与源视频的帧率是否一致，受损视频是否存在丢帧等情况，可以适用所有场景下图像质量评估前的视频帧对齐。

Description

视频帧对齐方法、装置、电子设备及可读存储介质

技术领域

本申请涉及图像质量评估技术领域，具体而言，涉及一种视频帧对齐方法、装置、电子设备及可读存储介质。

背景技术

图像质量主要包括图像的逼真度和图像的可懂度，图像质量受成像设备的光学性能、图像对比度、设备噪声等多种因素的影响，通过图像质量评估可以对图像的获取、传输、处理等各个环节提供监控手段。图像质量评估技术已经成为图像信息工程的基础技术之一。

目前，图像质量评估技术包括主观评价技术和客观评价技术。针对主观评价技术，在现有技术中已有成熟技术和国际标准，例如ITU-T Rec.P.910规定了多媒体应用的主观评价方法；ITU-R BT.500-11规定了电视图像的主观评价方法，就视频质量主观评价过程中的测试序列、人员、距离以及环境做了详细规定。主观质量评分法(Mean Opinion Score，MOS)是图像质量评估中最具代表性的主观评价方法，它通过对观察者的评归-判断图像质量。主观质量评分法又可以分为绝对评价和相对评价两种类型。

针对客观评价技术，在现有技术中是根据人眼的主观视觉系统建立数学模型，并通过具体的公式计算图像的质量。传统的图像质量客观评价方法主要包括均方差(MeanSquared Error，MSE)法和峰值信噪比(Peak Signal to Noise Rate，PSNR)法。

在进行图像质量评估时，不管采用主观评价技术还是客观评价技术都必须满足一个前提，那就是将受损视频中的视频帧与源视频中对应的视频帧进行对齐。如何将受损视频中的视频帧与源视频中对应的视频帧对齐，是本领域技术人员需要解决的技术问题。

发明内容

为了实现受损视频中的视频帧与源视频中对应的视频帧对齐，本申请提供一种视频帧对齐方法、装置、电子设备及可读存储介质。

第一方面，本申请实施例提供一种视频帧对齐方法，所述方法包括：

将受损视频中的选定视频帧与源视频中的各视频帧进行相似度匹配，得到所述源视频中与所述选定视频帧相似度匹配的目标视频帧；

将所述受损视频中的选定视频帧及该选定视频帧之后的至少部分视频帧作为第一视频帧存入第一缓存区中；

将所述源视频中的目标视频帧以及该目标视频帧之后的至少部分视频帧作为第二视频帧存入第二缓存区中；

将所述第一缓存区中的第一视频帧与所述第二缓存区中的第二视频帧分别进行相似度匹配，将相似度匹配成功的第一视频帧与第二视频帧分别写入第一文件及第二文件中。

第二方面，本申请实施例还提供一种视频帧对齐装置，所述装置包括：

匹配模块，用于将受损视频中的选定视频帧与源视频中的各视频帧进行相似度匹配，得到所述源视频中与所述选定视频帧相似度匹配的目标视频帧；

存入模块，用于将所述受损视频中的选定视频帧及该选定视频帧之后的至少部分视频帧作为第一视频帧存入第一缓存区中，并将所述源视频中的所述目标视频帧以及该目标视频帧之后的至少部分视频帧作为第二视频帧存入第二缓存区中；

写入模块，用于将所述第一缓存区中的第一视频帧与所述第二缓存区中的第二视频帧分别进行相似度匹配，将相似度匹配成功的第一视频帧与第二视频帧分别写入到第一文件及第二文件中。

第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面所述的视频帧对齐方法的步骤。

第四方面，本申请实施例还提供一种可读存储介质，该可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第一方面所述的视频帧对齐方法的步骤。

在本申请中，首先从受损视频中确定一选定视频帧，根据该选定视频帧在源视频中定位与之对应的目标视频帧；接着，以选定视频帧为起点将受损视频中的至少部分视频帧存储到一缓存区，同时以目标视频帧为起点将源视频中的至少部分视频帧存储到另一缓存区；最后，将不同缓存区之间相似度匹配的视频帧分别存入到对应的文件中。两个文件中存储的视频帧即为对齐后的视频帧。上述方法无需考虑受损视频的帧率与源视频的帧率是否一致，受损视频是否存在丢帧等情况，可以适用所有场景下图像质量评估前的视频帧对齐。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的技术方案所适用的一种可能应用场景；

图2为本申请实施例提供的视频帧对齐方法的流程示意图；

图3A-图3C为图2中步骤S220中进行第一视频帧存储的示意图；

图4A-图4C为图2中步骤S230中进行第二视频帧存储的示意图；

图5A-图5D为图2中步骤S240中将第一视频帧和第二视频帧分别存入不同文件的示意图；

图6为本申请实施例提供的电子设备的方框结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

受损视频是源视频经过传输或转码等操作后得到的相对于该源视频存在失真的视频，受损视频和源视频的内容相同，但由于采集受损视频的开始时间不确定、受损视频和源视频的帧率不一致、或在传输过程中存在丢帧等情形，导致受损视频与源视频无法直接进行对齐或对齐效果不好，影响后续的图像质量评估结果，不便于用户对图像的获取、传输、处理等各个环节进行监控。

具体地，下面结合一具体应用场景对受损视频与源视频的图像质量评估过程进行介绍，当然应当理解的是，上述应用场景仅仅是本申请技术方案所适用的众多应用场景之一。请参照图1，图1示出了一种视频直播系统10，该视频直播系统10可以包括直播服务提供端11、直播服务接收端12及直播服务器13，其中，直播服务器13分别与直播服务提供端11及直播服务接收端12通信连接，用于为直播服务提供端11及直播服务接收端12提供直播服务，例如，在本申请实施例中，直播服务器13可用于将直播服务提供端11 上传到该直播服务器13中的直播视频在经过转码后发送给直播服务接收端 12，直播视频为直播服务提供端11采集的视频画面。在上述过程中，直播服务提供端11采集的视频画面为源视频，直播服务提供端11将采集的视频画面进行编码得到的编码视频、直播服务器13对该编码视频进行转码之后的转码视频、及直播服务接收端12对转码视频进行渲染显示的显示视频均是受损视频。当然可以理解的是，源视频与受损视频是相对的，以上面过程为例，在编码视频为源视频时，转码视频和显示视频可以是该编码视频的受损视频；在转码视频为源视频时，显示视频是该转码视频的受损视频。

接下来具体以源视频为直播服务提供端11采集的视频画面，受损视频为直播服务器13转码后的转码视频为例进行说明。

在对源视频和受损视频进行图像质量评估时，若发现受损视频相对于源视频的画质存在较大失真，用户可以通过调整直播服务器13的转码参数(比如码率)使得转码后的转码视频相较于采集的视频画面具有较小的失真。

然而上述图像质量评估的前提是必须将受损视频的视频帧与对应源视频的视频帧进行对齐，但若受损视频与源视频无法直接进行对齐或对齐效果不好，会影响后续的图像质量评估结果，即便根据图像评估结果进行过程监控 (比如，调整转码参数)也无法达到减小受损视频相对于源视频失真的要求。由此可见，对受损视频及源视频进行帧对齐对整个图像评估及基于图像评估的过程监控至关重要。

为了解决上述技术问题，发明人经研究，提供以下解决方案。

请参照图2，本申请实施例提供的一种视频帧对齐方法的流程示意图。应当理解的是，本申请实施例提供的步骤顺序只是一种可能的实施方式，在本申请的其他实施例中，本申请实施例所描述的视频帧对齐方法中的部分步骤的顺序可以根据实际需求进行交换，或者其中的部分步骤也可以省略或删除。下面对该视频帧对齐方法的详尽步骤介绍如下。

步骤S210，将受损视频中的选定视频与源视频中的各视频帧进行相似度匹配，得到源视频中与选定视频帧相似度匹配的目标视频帧。

在本申请实施例中，首先将采集的受损视频进行解码，从解码后的受损视频中选择一选定视频帧(记为A帧)，选定视频帧可以是受损视频的首帧，也可以是受损视频中的其他帧，具体根据受损视频的内容可以进行调整，比如，在采集的受损视频内容中不包括视频帧内容突变(场景切换)的情况下，可以选择受损视频的首帧作为选定视频帧；在采集的受损视频内容及视频帧内容突变的情况下，可选择内容突变前的视频帧作为选定视频帧。

在确定源视频中与选定视频帧相似度匹配的目标视频帧的过程中，将采集的源视频进行解码，然后依次计算选定视频帧与源视频中的视频帧之间的结构相似度(Structural Similarity Index，SSIM)值，其中，SSIM值是用于衡量两幅图像相似度的指标，SSIM值的取值范围为0～1，SSIM值越接近1，表明两幅图像越相似，SSIM值越接近0，表明两幅图像差别越大。

在计算的选定视频帧与源视频中的某一帧(比如Bn帧)之间的结构相似度值SSIM(A，Bn)大于第一阈值(比如，0.9)时，再计算该Bn帧之后预设数量(比如50帧)的视频帧与选定视频帧A之间的结构相似度值SSIM(A， Bm)(n<m<n+50)。将max{SSIM(A，Bn)，SSIM(A，Bm)}所对应的视频帧作为目标视频帧。由于视频内容的变化一般是连续的，相邻视频帧之间的变化是很小的，在找到与选定视频帧A之间的SSIM值大于第一阈值的视频帧Bn后，可以确定与选定视频帧A匹配的视频帧就在视频帧Bn附近，如此可减小相似度匹配的视频帧范围，节省结构相似度值计算的次数。

当然可以理解的是，在本申请的其他实施例中，也可以通过计算选定视频帧A与源视频中所有视频帧之间的SSIM值，将源视频中与选定视频帧A 的SSIM值最大的视频帧作为目标视频帧。

步骤S220，将受损视频中的选定视频帧及该选定视频帧之后的至少部分视频帧作为第一视频帧存入第一缓存区中。

在本申请实施例中，将受损视频中选定视频帧A及A帧之后的视频帧存储到第一缓存区中，由于视频内容的变化具有连续性，为减少图像画面评估的数据量，可以在第一缓存区中只存储图像内容差别较大的视频帧。在对视频帧进行存储时可以采用先进先出的存储结构进行存储，具体地，下面以第一缓存区为缓存队列为例进行说明。

将选定视频帧A及选定视频帧A之后的至少部分视频帧作为第一视频帧存储到缓存队列中。具体地过程如下：

首先，将选定视频帧A作为第一视频帧进行入队操作，存入缓存队列中；

接着，依次计算选定视频帧A之后的各视频帧与缓存队列中最新入队的视频帧之间的SSIM值；

最后，将与第一缓存队列中最新入队的视频帧的SSIM值超过第二阈值的视频帧舍弃，将与第一缓存队列中最新入队的视频帧的SSIM值未超过第二阈值的视频帧作为第一视频帧进行入队操作，重复上述步骤，直到缓存队列存储满，或者受损视频中选定视频帧A之后的视频帧均经过上述处理。

请参照图3A-图3C，第一缓存区为第一缓存队列QD，下面结合图3A- 图3C对上述过程进行具体说明。

请参照图3A，将受损视频中选定视频帧A作为第一视频帧存入第一缓存队列QD中，具体地从第一缓存队列QD的队尾(rear)插入，将选定视频帧 A作为缓存队列QD的第一个元素D1进行存储，D1作为第一缓存队列QD 的队头(front)，得到图3A右侧的第一缓存队列QD。

接着，将选定视频帧A之后的视频帧A1与最新入队的视频帧(选定视频帧A)进行相似度比对，若SSIM(A1，A)大于第二阈值(比如，0.99) 则将视频帧A1舍弃。

继续将下一视频帧A2与最新入队的视频帧(选定视频帧A)进行相似度比对，若SSIM(A2，A)小于第二阈值，则将选定视频帧A存储的位置向前移动一位，将视频帧A2作为第一视频帧从第一缓存队列QD的队尾(rear) 插入，将视频帧A2作为第一缓存队列QD的第二个元素D2进行存储，最新入队的视频帧更新为视频帧D2(A2)，得到图3B右侧的第一缓存队列QD。

请参照图3C，继续将下一视频帧A3与最新入队的视频帧(视频帧A2) 进行相似度比对，若SSIM(A3,A2)小于第二阈值，则将已存储的元素D1 (A)及D2(A2)向前移动一位，将视频帧A3作为第一视频帧从第一缓存队列 QD的队尾(rear)插入，将视频帧A3作为第一缓存队列QD的第三个元素D3进行存储，最新入队的视频帧更新为视频帧D3(A3)，得到图3C右侧的第一缓存队列QD。

重复上述过程，直到第一缓存队列QD存储满或者受损视频中最后一个视频帧经过上述过程。

在本申请实施例中，在将第一视频帧进行入队操作之前，还可以对第一视频帧进行预处理。

对第一视频帧进行预处理的步骤包括：

检测第一视频帧是否存在黑边和/或水印信息，在存在黑边和/或水印信息时，除去第一视频帧中的黑边和/或水印信息。

由于受损视频在进行显示时的显示尺寸(15：9)可能不是源视频的显示尺寸(比如，16:9)，如此在采集的受损视频中就会存在黑边，同时由于受损视频的视频帧中可以包括用于显示视频来源的水印信息。为了防止该部分信息对后续图像质量评估的影响，在本申请实施例中，可以将第一视频帧中的黑边和水印信息进行处理。具体地，去除黑边和水印信息的过程可以由人来完成，也可由电子设备自动完成，在采用电子设备自动完成时，可以通过机器对黑边和水印信息进行学习，通过模式识别(比如神经网络模型识别)的方式自动识别出黑边或水印信息，再对识别出的黑边和水印信息进行去除处理。

在去除黑边和/或水印信息的同时，电子设备还比较第一视频帧的分辨率与源视频的分辨率是否一致，在不一致时将第一视频帧的分辨率调整为与源视频相同的分辨率。

在上述预处理过程中，仅对需要对入队存储的第一视频帧进行预处理，无需对受损视频中选定视频帧之后所有的视频帧进行处理，可以减少数据处理的工作量。

步骤S230，将源视频中的目标视频帧以及该目标视频帧之后的至少部分视频帧作为第二视频帧存入第二缓存区中。

在本申请实施例中，在将源视频中目标视频帧Bn及Bn帧之后的部分视频帧存储到第二缓存区中，由于视频内容的变化具有连续性，为减少图像画面评估的数据量，可以在第二缓存区中只存储区别较大的视频帧。在对视频帧进行存储时可以采用先进先出的存储规则进行存储，具体地，下面以第二缓存区为缓存队列为例进行说明。

将目标视频帧Bn及目标视频帧Bn之后的至少部分视频帧作为第二视频帧存储到缓存队列中。具体地过程如下：

首先，将目标视频帧Bn作为第二视频帧进行入队操作，存入缓存队列中；

接着，依次计算目标视频帧Bn之后的各视频帧与缓存队列中最新入队的视频帧之间的SSIM值；

最后，将与缓存队列中最新入队的视频帧的SSIM值超过第三阈值的视频帧舍弃，将与缓存队列中最新入队的视频帧SSIM值未超过第三阈值的视频帧作为第二视频帧进行入队操作，重复上述步骤，直到缓存队列存储满，或者源视频中目标视频帧Bn之后的视频帧均经过上述处理。

请参照图4A-4C，第二缓存区为第二缓存队列QS，下面结合图4A-4C对上述过程进行具体说明。

将目标视频帧Bn作为第二视频帧存入第二缓存队列QS中，具体地从缓存队列QD的队尾(rear)插入，将目标视频帧Bn作为第二缓存队列QS的第一个元素S1进行存储，S1作为第二缓存队列QS的队头(front)，得到图 4A右侧的第二缓存队列QS。

接着，将目标视频帧Bn之后的视频帧Bn+1与最新入队的视频帧(目标视频帧Bn)进行相似度比对，若SSIM(Bn+1，Bn)大于第三阈值(比如，0.99)，则将视频帧Bn+1舍弃。

再接着，继续将下一视频帧Bn+2与最新入队的视频帧(目标视频帧Bn) 进行相似度比对，若SSIM(Bn+2，Bn)大于第三阈值，则将视频帧Bn+2舍弃。

再接着，继续将下一视频帧Bn+3与最新入队的视频帧(目标视频帧Bn) 进行相似度比对，若SSIM(Bn+3，Bn)小于第三阈值，则将目标视频帧Bn 存储的位置向前移动一位，将视频帧Bn+3作为第二视频帧从第二缓存队列 QS的队尾(rear)插入，将视频帧Bn+3作为缓存队列QS的第二个元素S2 进行存储，最新入队的视频帧更新为视频帧S2(Bn+3)，得到图4B右侧的缓存队列QS。

再接着，继续将下一视频帧Bn+4与最新入队的视频帧S2(Bn+3)进行相似度比对，若SSIM(Bn+4，Bn+3)大于第三阈值，则将视频帧Bn+4舍弃。

再接着，继续将下一视频帧Bn+5与最新入队的视频帧S2(Bn+3)进行相似度比对，若SSIM(Bn+5，Bn+3)小于第三阈值，将目标视频帧S1(Bn) 及视频帧S2(Bn+3)存储的位置向前移动一位，将视频帧Bn+5作为第二视频帧从第二缓存队列QS的队尾(rear)插入，将视频帧Bn+5作为第二视频帧 QS的第三个元素S3进行存储，最新入队的视频帧更新为视频帧S3(Bn+5)，得到图4C右侧的缓存队列QS。

重复上述过程，直到缓存队列QS存储满或者源视频中最后一个视频帧经过上述过程。

在本申请实例中，第二缓存区中存储的第二视频帧的数量可以大于第一缓存区中存储的第一视频帧的数量。为了满足上述要求，第二缓存区对应的缓存队列QS的长度大于第一缓存区对应的缓存队列QD的长度。源视频经过处理得到受损视频的过程中，可能因丢帧导致受损视频的视频帧数小于源视频的视频帧数，上述对第二视频帧及第一视频帧的数量的设置，可以确保，第一视频帧都能找到与之相似度匹配的第二视频帧。当然可以理解的是，第二缓存区中存储的第二视频帧的数量也可以小于第一缓存区中存储的第一视频帧的数量，在此种情况下，只需部分第一视频帧能找到与之相似度匹配的第二视频帧即可。

在本申请实施例中，在将第二视频帧进行入队操作之前，还可以对第二视频帧进行预处理。

对第二视频帧进行预处理的步骤包括：

检测第二视频中是否存在水印信息；在检测到存在水印信息时，将第二视频帧中的水印信息去除。

具体地，去除第二视频中水印信息的过程可以参照对第一视频进行水印信息去除的过程，在此就不再赘述。

步骤S240，将第一缓存区中的第一视频帧与第二缓存区中的第二视频帧分别进行相似度匹配，将相似度匹配成功的第一视频帧与第二视频帧分别写入第一文件及第二文件中。

在本申请实施例中，步骤S240可以通过以下方式实现：

首先，依次将第一视频帧作为待匹配视频帧，并依次计算第二视频帧与所述待匹配视频帧之间的结构相似度值；

接着，当一目标第二视频帧与待匹配视频帧之间的结构相似度值大于该目标第二视频帧之后设定帧数的各第二视频帧与待匹配视频帧之间的结构相似度值时，则判定目标第二视频帧与待匹配视频帧相似度匹配；

最后，将待匹配视频帧写入第一文件，将目标第二视频帧写入第二文件。

下面结合图5A-图5D，还是以第一缓存区为缓存队列QD，第二缓存区为缓存队列QS为例进行说明。

请参照图5A，计算第一缓存队列QD中队头存储的第一视频帧与第二缓存队列QS中存储的第二视频帧之间的SSIM值。具体地，在计算时，将第二缓存队列QS中存储的第二视频帧依次与第一缓存队列QD中队头存储的第一视频帧计算SSIM值。若缓存队列QD中队头存储的第一视频帧D1与缓存队列QS中队头存储的第二视频帧S1的SSIM值，大于第一视频帧D1与缓存队列QS中第二视频帧S1之后设定多帧(比如10帧)的SSIM值，即SSIM(D1， S1)>max(SSIM(D1，Si)，i＝2、3、4......11，则判定第一视频帧D1与第二视频帧S1相似度匹配。请参照图5B，将视频帧D1从第一缓存队列QD中出队列操作，并存储到文件1中，第一缓存队列QD的队头更新为D2；将视频帧S1从第二缓存队列QS中出队列操作，并存储到文件2中,第二缓存队列 QS的队头更新为S2。

接着，将第一缓存队列QD队头存储的第一视频帧D2与第二缓存队列 QS中存储的第二视频帧之间的SSIM值。若SSIM(D2，S2)<max(SSIM(D2， Si)，i＝3、4......12，其中，SSIM(D2，S4)＝max(SSIM(D2，Si)，i＝3、4......12；再计算第二缓存队列QS中视频帧S4之后设定多帧与第一视频帧D2之间的 SSIM值是否小于SSIM(D2，S4)，若SSIM(D2，S4)>max(SSIM(D2，Si)， i＝5、6......14；则判定第一视频帧D2与第二视频帧S4相似度匹配。请参照图 5C，将视频帧D2从第一缓存队列QD中出队列操作，并存储到文件1中，第一缓存队列QD的队头更新为D3；将视频帧S2、S3、S4从第二缓存队列QS 中出队列操作，将视频帧S2和S3丢弃，将视频帧S4存储到文件2中，第二缓存队列QS的队头更新为S5。

请参照图5D，重复上述过程，直到缓存队列QD中最后一个第一视频帧出队，缓存队列QD为空(rear＝front)。第一文件和第二文件中写入顺序相同的第一视频帧与第二视频帧为对齐的视频帧。在后续进行图像质量评估时，按照顺序从第一文件和第二文件中取出视频帧，即可采用图像质量评估算法直接进行质量评估。

在本申请实施例的其他实施方式中，步骤S240也还可以采用以下方式实现：

依次将第一视频帧作为待匹配视频帧，并依次计算第二缓存区中的各第二视频帧与待匹配视频帧之间的SSIM值；

将第二缓存区中与待匹配视频帧之间的结构相似度值最大的第二视频帧作为与该待匹配视频帧相似度匹配的目标第二视频帧写入第二文件，将该待匹配视频帧写入第一文件。具体写入第一文件和第二文件的过程可以参照上述实施过程的描述。

上述方法，先从受损视频中确定出一选定视频帧，并根据选定视频帧在源视频中定位与之对应的目标视频帧；接着，以选定视频帧为起点将受损视频中的至少部分视频帧存储到一缓存区，以目标视频帧为起点将源视频中的至少部分视频帧存储到另一缓存区；最后，将不同缓存区之间相似度匹配的视频帧分别存入到对应的两个文件中。两个文件中存储的对应视频帧即为对齐后的视频帧。上述方法无需考虑受损视频的帧率与源视频的帧率是否一致，受损视频是否存在丢帧等情况，可以适用所有场景下图像质量评估前的视频帧对齐。同时在将受损视频和源视频分别存储到缓存区的过程中，仅存储前后区别相差较大的视频帧，并对存储的视频帧进行预处理，可以统一视频帧的规格，减少后续进行图像画面评估的计算量。

请参照图6，图6示出了本申请实施例提供的电子设备的方框结构示意图，电子设备可以包括存储介质110、处理器120以及视频帧对齐装置130。本申请实施例中，存储介质110与处理器120均位于电子设备中且二者分离设置。然而，应当理解的是，存储介质110也可以是独立于电子设备之外，且可以由处理器120通过总线接口来访问。可替换地，存储介质110也可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器，存储介质110可以用于存储本申请实施例中的受损视频及源视频。

视频帧对齐装置130可以理解为集成于该电子设备并在该电子设备或所述处理器120的控制下实现上述视频帧对齐方法的软件功能模块。如图6所示，该视频帧对齐装置130可以包括匹配模块1301、存入模块1302、写入模块1303，下面分别对该视频帧对齐装置130的各个功能模块的功能进行详细阐述。

匹配模块1301用于将受损视频中的选定视频帧与源视频中的各视频帧进行相似度匹配，得到源视频中与所述选定视频帧相似度匹配的目标视频帧。可以理解的是，该匹配模块1301用于执行上述步骤S210，关于匹配模块1301 的详细实施方式可以参照上述对步骤S210有关的内容。

存入模块1302用于将受损视频中的选定视频帧及该选定视频帧之后的至少部分视频帧作为第一视频帧存入第一缓存区中，并将源视频中的目标视频帧以及该目标视频帧之后的至少部分视频帧作为第二视频帧存入第二缓存区中。可以理解的是，该存入模块1302用于执行上述步骤S220及步骤S230，关于存入模块1302的详细实施方式可以参照上述对步骤S220及步骤S230有关的内容。

写入模块1303，用于将第一缓存区中的第一视频帧与第二缓存区中的第二视频帧分别进行相似度匹配，将相似度匹配成功的第一视频帧与第二视频帧分别写入到第一文件及第二文件中。可以理解的是，该匹配与写入模块用于执行上述步骤S240，关于写入模块1303的详细实施方式可以参照上述对步骤S240有关的内容。

本申请实施例还提供了一种可读存储介质，所述可读存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的视频帧对齐方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种视频帧对齐方法，其特征在于，所述方法包括：

将受损视频中的选定视频帧与源视频中的各视频帧进行相似度匹配，得到所述源视频中与所述选定视频帧相似度匹配的目标视频帧，其中，所述目标视频帧与所述选定视频帧之间的结构相似度值最大；

将所述受损视频中的选定视频帧及该选定视频帧之后的至少部分视频帧作为第一视频帧存入第一缓存区中，其中，相邻的所述第一视频帧之间的结构相似度值小于第二阈值；

将所述源视频中的目标视频帧以及该目标视频帧之后的至少部分视频帧作为第二视频帧存入第二缓存区中，其中，相邻的所述第二视频帧之间的结构相似度值小于第三阈值；

将所述第一缓存区中的第一视频帧与所述第二缓存区中的第二视频帧分别进行相似度匹配，将相似度匹配成功的第一视频帧与第二视频帧分别写入第一文件及第二文件中。

2.如权利要求1所述的视频帧对齐方法，其特征在于，将受损视频中的选定视频帧与源视频中的各视频帧进行相似度匹配，得到所述源视频中与所述选定视频帧相似度匹配的目标视频帧，包括：

依次计算所述选定视频帧分别与所述源视频中各视频帧之间的结构相似度值；

在所述选定视频帧与所述源视频中某一视频帧之间的结构相似度值大于第一阈值时，计算所述选定视频帧与所述源视频中位于所述某一视频帧之后预设数量的各视频帧之间的结构相似度值；

将所述某一视频帧及所述某一视频帧之后预设数量的各视频帧中与所述选定视频帧之间的结构相似度值最大的视频帧，作为与所述选定视频帧相似度匹配的目标视频帧。

3.如权利要求1所述的视频帧对齐方法，其特征在于，将受损视频中的选定视频帧与源视频中的各视频帧进行相似度匹配，得到所述源视频中与所述选定视频帧相似度匹配的目标视频帧，包括：

计算所述选定视频帧分别与所述源视频中所有视频帧之间的结构相似度值；

将与所述选定视频帧的结构相似度值最大的视频帧，作为与所述选定视频帧相似度匹配的目标视频帧。

4.如权利要求1所述的视频帧对齐方法，其特征在于，所述第一缓存区为第一缓存队列，将所述受损视频中的选定视频帧及该选定视频帧之后的至少部分视频帧作为第一视频帧存入第一缓存区中，包括：

将所述选定视频帧作为第一视频帧进行入队操作；

依次计算所述选定视频帧之后的每个视频帧与第一缓存队列中最新入队的视频帧之间的结构相似度值；

将与第一缓存队列中最新入队的视频帧的结构相似度值超过所述第二阈值的视频帧舍弃，将与第一缓存队列中最新入队的视频帧的结构相似度值未超过所述第二阈值的视频帧作为第一视频帧进行入队操作。

5.如权利要求4所述的视频帧对齐方法，其特征在于，将第一视频帧进行入队操作之前，所述方法还包括：

检测所述第一视频帧是否存在黑边和/或水印信息；

在存在黑边和/或水印信息时，除去所述第一视频帧中的黑边和/或水印信息；

比较所述第一视频帧的分辨率是否与所述源视频的分辨率一致；

若不一致，将所述第一视频帧的分辨率调整为与所述源视频相同的分辨率。

6.如权利要求1所述的视频帧对齐方法，其特征在于，所述第二缓存区为第二缓存队列，将所述源视频中的所述目标视频帧以及该目标视频帧之后的至少部分视频帧作为第二视频帧存入第二缓存区中，包括：

将所述目标视频帧作为第二视频帧进行入队操作；

依次计算所述源视频中所述目标视频帧之后的每个视频帧与第二缓存队列中最新入队的视频帧之间的结构相似度值；

将与第二缓存队列中最新入队的视频帧之间的结构相似度值超过所述第三阈值的视频帧舍弃，将与第二缓存队列中最新入队的视频帧之间的结构相似度值未超过所述第三阈值的视频帧作为第二视频帧进行入队操作。

7.如权利要求6所述的视频帧对齐方法，其特征在于，将第二视频帧进行入队操作之前，所述方法还包括：

检测所述第二视频帧中是否存在水印信息；

在检测到存在水印信息时，将所述第二视频帧中的水印信息去除。

8.如权利要求1-7中任意一项所述的视频帧对齐方法，其特征在于，将所述第一缓存区中的第一视频帧与所述第二缓存区中的第二视频帧分别进行相似度匹配，将相似度匹配成功的第一视频帧与第二视频帧分别写入第一文件及第二文件中，包括：

依次将所述第一视频帧作为待匹配视频帧，并依次计算所述第二视频帧与所述待匹配视频帧之间的结构相似度值；

当一目标第二视频帧与所述待匹配视频帧之间的结构相似度值大于该目标第二视频帧之后设定帧数的各第二视频帧与所述待匹配视频帧之间的结构相似度值时，则判定所述目标第二视频帧与所述待匹配视频帧相似度匹配；

将所述待匹配视频帧写入第一文件，将所述目标第二视频帧写入第二文件。

9.一种视频帧对齐装置，其特征在于，所述装置包括：

匹配模块，用于将受损视频中的选定视频帧与源视频中的各视频帧进行相似度匹配，得到所述源视频中与所述选定视频帧相似度匹配的目标视频帧，其中，所述目标视频帧与所述选定视频帧之间的结构相似度值最大；

存入模块，用于将所述受损视频中的选定视频帧及该选定视频帧之后的至少部分视频帧作为第一视频帧存入第一缓存区中，并将所述源视频中的所述目标视频帧以及该目标视频帧之后的至少部分视频帧作为第二视频帧存入第二缓存区中，其中，相邻的所述第一视频帧之间的结构相似度值小于第二阈值；

写入模块，用于将所述第一缓存区中的第一视频帧与所述第二缓存区中的第二视频帧分别进行相似度匹配，将相似度匹配成功的第一视频帧与第二视频帧分别写入到第一文件及第二文件中，其中，相邻的所述第二视频帧之间的结构相似度值小于第三阈值。

10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-8中任意一项所述的视频帧对齐方法的步骤。

11.一种可读存储介质，其特征在于，该可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-8中任意一项所述的视频帧对齐方法的步骤。

Images