CN114640852A - 视频帧对齐方法及装置 - Google Patents

Abstract

本发明公开视频帧对齐方法及装置，可以通过将两个视频拆分成两个场景片段组；从两个场景片段组中确定第一对满足场景对齐条件的场景片段A1和场景片段B1；从A1和B1开始，将两个场景片段组中的各场景片段依次进行两两配对；确定各对场景片段的相似度；若相似度大于预设相似度的场景片段的数量大于预设数量阈值，则确定A1的前N帧图像与B1的前M帧图像之间连续重叠的第一帧数，并确定B1的前N帧图像与A1的前M帧图像之间连续重叠的第二帧数；若第一帧数大于第二帧数，则将A1的第一帧图像与B1中相应帧的图像对齐；若小于，则将B1的第一帧图像与A1中相应帧的图像对齐。本发明进行帧对齐的计算量较少，效率较高。

Description

视频帧对齐方法及装置

技术领域

本发明涉及视频领域，特别涉及一种视频帧对齐方法及装置。

背景技术

随着互联网技术的飞速发展，人们对视频内容的需求越来越大，为了给用户提供更高画质的视频内容，对视频质量有一定的要求。影响视频质量的因素有很多，而保证视频帧对齐，在同一时间点位置开始播放，是提高视频质量的重要方法。

通常情况下，视频可能存在开始时间点不一致甚至偏差较大的情况，常用的视频帧对齐方法，会从待对齐的两组视频中，从视频开始位置逐帧去一一匹配每一帧的图像像素内容，从而判断是否为同一帧画面，进而实现帧对齐操作，这种方式计算量非常大且速度很慢，效率低下。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的视频帧对齐方法及装置。

第一方面，一种视频帧对齐方法，包括：

将第一视频和第二视频按照不同场景分别拆分成第一场景片段组和第二场景片段组，其中，所述第一场景片段组包括所述第一视频的多个不同场景的场景片段，所述第二场景片段组包括所述第二视频的多个不同场景的场景片段，一个所述场景片段对应一个所述场景，不同场景片段按照在相应视频中的先后顺序依次排列；

从所述第一场景片段组和所述第二场景片段组中确定第一对满足场景对齐条件的场景片段A1和场景片段B1，其中，所述场景对齐条件为：两个场景片段的播放时长作差得到的时间差小于预设时间阈值，所述A1来源于所述第一场景片段组，所述B1来源于所述第二场景片段组；

从所述A1和所述B1开始，将所述第一场景片段组中的各场景片段与所述第二场景片段组中的各场景片段依次进行两两配对；

对于任一对所述场景片段均执行：确定相应的两个场景片段的相似度；

若所述相似度大于预设相似度的场景片段的数量大于预设数量阈值，则确定所述A1的前N帧图像与所述B1的前M帧图像之间连续重叠的第一帧数，并确定所述B1的前N帧图像与所述A1的前M帧图像之间连续重叠的第二帧数，其中，所述N和所述M均为大于0的整数；

若所述第一帧数大于所述第二帧数，则将所述A1的第一帧图像与所述B1中相应帧的图像对齐；

若所述第二帧数大于所述第一帧数，则将所述B1的第一帧图像与所述A1中相应帧的图像对齐。

结合第一方面，在某些可选的实施方式中，所述将第一视频和第二视频按照不同场景分别拆分成第一场景片段组和第二场景片段组，包括：

对所述第一视频和所述第二视频分别进行场景识别，并根据场景识别的相应结果，将所述第一视频和所述第二视频分别拆分成所述第一场景片段组和所述第二场景片段组。

结合第一方面，在某些可选的实施方式中，从所述第一场景片段组和所述第二场景片段组中确定第一对满足场景对齐条件的场景片段A1和场景片段B1，包括：

计算得到所述第二场景片段组的各场景片段的播放时长分别与所述第一场景片段组的第一个场景片段的播放时长的差的绝对值；

判断是否存在小于所述预设时间阈值的绝对值，若存在，则确定所述第一场景片段组的第一个场景片段为所述A1和确定所述第二场景片段组中相应的场景片段为所述B1；

若不存在小于所述预设时间阈值的绝对值，则计算得到所述第二场景片段组的各场景片段的播放时长分别与所述第一场景片段组的第二个场景片段的播放时长的差的绝对值，并判断是否存在小于所述预设时间阈值的绝对值，如此反复循环，直到确定第一对所述A1和所述B1为止。

结合上一个实施方式，在某些可选的实施方式中，在所述如此反复循环，直到确定第一对所述A1和所述B1为止之后，所述方法还包括：

若所述第二场景片段组的各场景片段的播放时长分别与所述第一场景片段组的各场景片段的播放时长的差的绝对值均不小于所述预设时间阈值，则终止本次针对所述第一视频和所述第二视频的帧对齐。

结合第一方面，在某些可选的实施方式中，所述从所述A1和所述B1开始，将所述第一场景片段组中的各场景片段与所述第二场景片段组中的各场景片段依次进行两两配对，包括：

从所述A1和所述B1开始，将所述A1和所述B1进行配对，将排列在所述A1后的场景片段A2与排列在所述B1后的场景片段B2进行配对，将排列在所述A2后的场景片段A3与排列在所述B2后的场景片段B3进行配对，如此依次配对，直到所述第一场景片段组的各场景片段均配对完成为止或者直到所述第二场景片段组的各场景片段均配对完成为止。

结合第一方面，在某些可选的实施方式中，所述对于任一对所述场景片段均执行：确定相应的两个场景片段的相似度，包括：

对于任一对所述场景片段均执行：分别获取所述两个场景片段的中间帧图像；

通过预先设置的算法，计算得到所述相似度。

结合第一方面，在某些可选的实施方式中，在所述对于任一对所述场景片段均执行：确定相应的两个场景片段的相似度之后，所述方法还包括：

若所述相似度大于预设相似度的场景片段的数量不大于预设数量阈值，则将所述A1和排列在所述A1之前的场景片段删除，从而得到新的第一场景片段组；

以所述新的第一场景片段组作为第一个实施方式所述的第一场景片段组，并执行第一个实施方式所述的方法。

结合第一方面，在某些可选的实施方式中，所述确定所述A1的前N帧图像与所述B1的前M帧图像之间连续重叠的第一帧数，并确定所述B1的前N帧图像与所述A1的前M帧图像之间连续重叠的第二帧数，包括：

将所述A1的前N帧图像分别解码为N条YUV格式的A1原始数据，并将所述B1的前M帧图像分别解码为M条YUV格式的B1原始数据；

将所述N条YUV格式的A1原始数据与所述M条YUV格式的B1原始数据一一进行比对，从而确定所述第一帧数；

将所述B1的前N帧图像分别解码为N条YUV格式的B1原始数据，并将所述A1的前M帧图像分别解码为M条YUV格式的A1原始数据；

将所述N条YUV格式的B1原始数据与所述M条YUV格式的A1原始数据一一进行比对，从而确定所述第二帧数。

结合第一方面，在某些可选的实施方式中，所述方法还包括：

若所述第一帧数和所述第二帧数相等且均小于预设帧数阈值，则增大所述M，并执行第一个实施方式所述的确定所述A1的前N帧图像与所述B1的前M帧图像之间连续重叠的第一帧数，并确定所述B1的前N帧图像与所述A1的前M帧图像之间连续重叠的第二帧数，以及后续步骤。

第二方面，一种视频帧对齐装置，包括：拆分单元、场景对齐单元、场景配对单元、相似度确定单元、重叠帧数确定单元、第一帧对齐单元和第二帧对齐单元；

所述拆分单元，用于将第一视频和第二视频按照不同场景分别拆分成第一场景片段组和第二场景片段组，其中，所述第一场景片段组包括所述第一视频的多个不同场景的场景片段，所述第二场景片段组包括所述第二视频的多个不同场景的场景片段，一个所述场景片段对应一个所述场景，不同场景片段按照在相应视频中的先后顺序依次排列；

所述场景对齐单元，用于从所述第一场景片段组和所述第二场景片段组中确定第一对满足场景对齐条件的场景片段A1和场景片段B1，其中，所述场景对齐条件为：两个场景片段的播放时长作差得到的时间差小于预设时间阈值，所述A1来源于所述第一场景片段组，所述B1来源于所述第二场景片段组；

所述场景配对单元，用于从所述A1和所述B1开始，将所述第一场景片段组中的各场景片段与所述第二场景片段组中的各场景片段依次进行两两配对；

所述相似度确定单元，用于对于任一对所述场景片段均执行：确定相应的两个场景片段的相似度；

所述重叠帧数确定单元，用于若所述相似度大于预设相似度的场景片段的数量大于预设数量阈值，则确定所述A1的前N帧图像与所述B1的前M帧图像之间连续重叠的第一帧数，并确定所述B1的前N帧图像与所述A1的前M帧图像之间连续重叠的第二帧数，其中，所述N和所述M均为大于0的整数；

所述第一帧对齐单元，用于若所述第一帧数大于所述第二帧数，则将所述A1的第一帧图像与所述B1中相应帧的图像对齐；

所述第二帧对齐单元，用于若所述第二帧数大于所述第一帧数，则将所述B1的第一帧图像与所述A1中相应帧的图像对齐。

第三方面，一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一项所述的视频帧对齐方法。

第四方面，一种电子设备，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述任一项所述的视频帧对齐方法。

借由上述技术方案，本发明提供的视频帧对齐方法及装置，可以通过将第一视频和第二视频按照不同场景分别拆分成第一场景片段组和第二场景片段组，其中，所述第一场景片段组包括所述第一视频的多个不同场景的场景片段，所述第二场景片段组包括所述第二视频的多个不同场景的场景片段，一个所述场景片段对应一个所述场景，不同场景片段按照在相应视频中的先后顺序依次排列；从所述第一场景片段组和所述第二场景片段组中确定第一对满足场景对齐条件的场景片段A1和场景片段B1，其中，所述场景对齐条件为：两个场景片段的播放时长作差得到的时间差小于预设时间阈值，所述A1来源于所述第一场景片段组，所述B1来源于所述第二场景片段组；从所述A1和所述B1开始，将所述第一场景片段组中的各场景片段与所述第二场景片段组中的各场景片段依次进行两两配对；对于任一对所述场景片段均执行：确定相应的两个场景片段的相似度；若所述相似度大于预设相似度的场景片段的数量大于预设数量阈值，则确定所述A1的前N帧图像与所述B1的前M帧图像之间连续重叠的第一帧数，并确定所述B1的前N帧图像与所述A1的前M帧图像之间连续重叠的第二帧数，其中，所述N和所述M均为大于0的整数；若所述第一帧数大于所述第二帧数，则将所述A1的第一帧图像与所述B1中相应帧的图像对齐；若所述第二帧数大于所述第一帧数，则将所述B1的第一帧图像与所述A1中相应帧的图像对齐。由此可以看出，本发明可以先进行场景对齐后再进行帧对齐，且帧对齐仅计算中间帧图像的相似度，不用计算每帧图像的相似度，计算量较少，效率较高。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明提供的一种视频帧对齐方法的流程图；

图2示出了本发明提供的另一种视频帧对齐方法的流程图；

图3示出了本发明提供的一种视频帧对齐装置的结构示意图；

图4示出了本发明提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，本发明提供了一种视频帧对齐方法，包括：S100、S200、S300、S400、S500、S600和S700；

S100、将第一视频和第二视频按照不同场景分别拆分成第一场景片段组和第二场景片段组；

其中，所述第一场景片段组包括所述第一视频的多个不同场景的场景片段，所述第二场景片段组包括所述第二视频的多个不同场景的场景片段，一个所述场景片段对应一个所述场景，不同场景片段按照在相应视频中的先后顺序依次排列；

可选的，本发明所说的第一视频和第二视频可以理解为待对齐的两段视频。即，本发明可以将第一视频和第二视频进行帧对齐，即确定第一视频和第二视频的相同起始帧图像，本发明对此不做限制。

可选的，一般而言，一段视频里面可能会涉及不同的场景，例如可以会涉及山川、湖泊、大海、家里、店里和马路上等各种场景。甚至还可以进行更细致的划分，例如家里又可以进一步细分为客厅、厨房、主卧、次卧、阳台和卫生间等不同的场景。本发明可以根据实际需要，将第一视频和第二视频，按照相同的划分标准，拆分成多个不同场景的场景片段，本发明对此不做限制。

例如，按照山川、湖泊、大海、家里、店里和马路上等划分标准，将第一视频拆分为第一场景片段组。同样，按照山川、湖泊、大海、家里、店里和马路上等划分标准将第二视频拆分成第二场景片段组，以便于后续进行场景对齐，本发明对此不做限制。

当然，场景片段也可以指的是一组镜头画面，或者是多个相连连续的镜头画面。比如视频里的每个转场，都可以对应为一个场景片段。

可选的，对于任何一个视频而言，各个场景片段在该视频中的播放顺序和播放时长是固定的。所以，在拆分成相应的场景片段组时，各场景片段也需要按照播放顺序依次排列，以便于后续进行场景对齐和帧对齐，避免出现混乱，本发明对此不做限制。

可选的，本发明对于识别不同场景片段以及拆分成不同场景片段的过程不做限制，任何可行的方式均属于本发明的保护范围。例如，结合图1所示的实施方式，在某些可选的实施方式中，所述S100包括：

对所述第一视频和所述第二视频分别进行场景识别，并根据场景识别的相应结果，将所述第一视频和所述第二视频分别拆分成所述第一场景片段组和所述第二场景片段组。

可选的，场景识别可以是基于镜头的场景识别和分割，主要是基于图像算法层面的分割，本发明对此不做限制。

S200、从所述第一场景片段组和所述第二场景片段组中确定第一对满足场景对齐条件的场景片段A1和场景片段B1；

其中，所述场景对齐条件为：两个场景片段的播放时长作差得到的时间差小于预设时间阈值，所述A1来源于所述第一场景片段组，所述B1来源于所述第二场景片段组；

可选的，如前所述，第一场景片段组和第二场景片段组的各场景片段均是按照相应的播放顺序进行排序。若第一视频和第二视频是几乎一样的两个视频，仅是开始播放的起始帧不一致。那么第一场景片段组和第二场景片段组的各场景片段的排序也应该是一致的，这种情况下，只需要找到第一对满足场景对齐条件的场景片段，后续的场景片段依次一对一对齐即可。又例如，若第一视频包括第二视频，即第二视频是第一视频中的一段。即便是这种情况，第一场景片段组和第二场景片段组之间也是有重叠的，即第一场景片段组重叠第一场景片段组的一部分场景片段，但重叠的各场景片段之间的先后关系还是一致的。这种情况下仍然也是只需要找到第一对满足场景对齐条件的场景片段，后续的场景片段依次一对一对齐即可。所以，本发明可以从所述第一场景片段组和所述第二场景片段组中确定第一对满足场景对齐条件的场景片段A1和场景片段B1，本发明对此不做限制。

可选的，如前所述，若是同一个视频，相同的场景片段的播放时长应该也是一致的，差别不会很大。所以，通过将两个视频中同一个场景的场景片段的播放时长作差，从而确定两个视频中同一个场景的场景片段的播放时长的差距，若差距较大，则说明这两个场景片段可能不是同一个场景的，若差距较小，则说明这两个场景片段可能是同一个场景的，本发明对此不做限制。

可选的，本发明对于从所述第一场景片段组和所述第二场景片段组中确定第一对满足场景对齐条件的场景片段A1和场景片段B1的方式不做限制，任何可行的方式均属于本发明的保护范围。例如，结合图1所示的实施方式，在某些可选的实施方式中，所述S200包括：步骤1.1、步骤1.2、步骤1.3和步骤1.4；

步骤1.1、计算得到所述第二场景片段组的各场景片段的播放时长分别与所述第一场景片段组的第一个场景片段的播放时长的差的绝对值；

可选的，本发明可以以第一场景片段组为基准，确定第二场景片段组中是否存在满足场景对齐条件的场景片段。即本发明可以先判断第二场景片段组中是否存在与第一场景片段组的第一个场景片段共同满足场景对齐条件的场景片段。以第一场景片段组包括：A1、A2和A3，第二场景片段组包括：B1、B2和B3为例，本发明可以先计算A1与B1的播放时长的差的第一绝对值，若第一绝对值小于预设时间阈值，则确定A1和B1为第一对满足场景对齐条件的场景片段；若第一绝对值不小于预设时间阈值，则接着计算A1与B2的播放时长的差的第二绝对值，若第二绝对值小于预设时间阈值，则确定A1和B2为第一对满足场景对齐条件的场景片段；若第二绝对值不小于预设时间阈值，则接着计算A1与B3的播放时长的差的第三绝对值，以此类推，直到找到第一对满足场景对齐条件的场景片段为止，若直到计算完第一场景片段组的全部场景片段与第二场景片段组的全部场景片段的差的绝对值，仍没找到第一对满足场景对齐条件的场景片段，则说明第一视频与第二视频没有重复的视频片段，终止本次视频帧对齐。

步骤1.2、判断是否存在小于所述预设时间阈值的绝对值，若存在，则执行步骤1.3，否则执行步骤1.4；

步骤1.3、确定所述第一场景片段组的第一个场景片段为所述A1和确定所述第二场景片段组中相应的场景片段为所述B1；

如前所述，例如，若第一绝对值小于预设时间阈值，则确定A1和B1为第一对满足场景对齐条件的场景片段。可选的，为清楚描述本发明的方案，本发明以A1和B1描述第一对满足场景对齐条件的场景片段，但并不限制与此。

步骤1.4、计算得到所述第二场景片段组的各场景片段的播放时长分别与所述第一场景片段组的第二个场景片段的播放时长的差的绝对值，并判断是否存在小于所述预设时间阈值的绝对值，如此反复循环，直到确定第一对所述A1和所述B1为止。

可选的，如前所述的例子，本发明可以依次计算|A1-B1|、|A1-B2|、|A1-B3|、|A2-B1|、|A2-B2|、|A2-B3|、|A3-B1|、|A3-B2|和|A3-B3|，并且在每次计算得到相应绝对值时，先判断当前计算得到的绝对值是否小于预设时间阈值，若不小于，按照上述顺序，计算下一个绝对值，本发明对此不做限制。

结合上一个实施方式，在某些可选的实施方式中，在所述如此反复循环，直到确定第一对所述A1和所述B1为止之后，所述方法还包括：

若所述第二场景片段组的各场景片段的播放时长分别与所述第一场景片段组的各场景片段的播放时长的差的绝对值均不小于所述预设时间阈值，则终止本次针对所述第一视频和所述第二视频的帧对齐。

S300、从所述A1和所述B1开始，将所述第一场景片段组中的各场景片段与所述第二场景片段组中的各场景片段依次进行两两配对；

可选的，如前所述，当确定第一对满足场景对齐条件的场景片段后，后续的场景片段依次两两配对对齐。即，A1与B1作为第一对满足场景对齐条件的场景片段，A2与B2作为第二对，A3与B3作为第三对，依次类推，若两个场景片段组后续的场景片段的数量不一样，则舍去多余，例如若第二场景片段组还包括B4和B5，而第一场景片段组到A3已结束，没有相应的A4和A5，则本次舍去B4和B5，不进行配对，本发明对此不做限制。

即，结合图1所示的实施方式，在某些可选的实施方式中，所述S300包括：

从所述A1和所述B1开始，将所述A1和所述B1进行配对，将排列在所述A1后的场景片段A2与排列在所述B1后的场景片段B2进行配对，将排列在所述A2后的场景片段A3与排列在所述B2后的场景片段B3进行配对，如此依次配对，直到所述第一场景片段组的各场景片段均配对完成为止或者直到所述第二场景片段组的各场景片段均配对完成为止。

S400、对于任一对所述场景片段均执行：确定相应的两个场景片段的相似度；

可选的，进行场景对齐，需确定本次匹配的结果是正确的，即需确定在S300中互相匹配的两个场景片段是相同视频的。所以，需要针对每一对场景片段计算相应的相似度。

可选的，本发明对于计算相似度的过程不做具体限制，任何可行的方式均属于本发明的保护范围。例如，结合图1所示的实施方式，在某些可选的实施方式中，所述400包括：步骤2.1和步骤2.2；

步骤2.1、对于任一对所述场景片段均执行：分别获取所述两个场景片段的中间帧图像；

步骤2.2、通过预先设置的算法，计算得到所述相似度。

可选的，本发明所说的中间帧图像指的是每个场景片段的中间帧的图像。若该场景片段的总帧数是偶数，则获得最中间的两个帧的图像，若该场景片段的总帧数是奇数，则获得最中间的一个帧的图像。

可选的，计算两个图像之间的相似度的算法，属于本领域的公知技术，本发明对此不做过多描述，具体请参见本领域的相关说明。

S500、若所述相似度大于预设相似度的场景片段的数量大于预设数量阈值，则确定所述A1的前N帧图像与所述B1的前M帧图像之间连续重叠的第一帧数，并确定所述B1的前N帧图像与所述A1的前M帧图像之间连续重叠的第二帧数；

其中，所述N和所述M均为大于0的整数；

可选的，若互相匹配的场景片段中，大部分的相似度均大于预设相似度，则说明本次场景对齐比较准确，可以往下进行相应的帧对齐。

可选的，除了判断数量是否大于预设数量阈值，还可以通过判断百分比的方式。即，判断相似度大于预设相似度的场景片段的数量占互相匹配的场景片段的百分比是否超过预设百分比，本发明对此不做限制。

可选的，若所述相似度不大于预设相似度的场景片段的数量大于预设数量阈值，则说明本次场景对齐不是很准确，需要重新对齐。即，结合图1所示的实施方式，在某些可选的实施方式中，在所述S400之后，所述方法还包括：步骤3.1和步骤3.2；

步骤3.1、若所述相似度大于预设相似度的场景片段的数量不大于预设数量阈值，则将所述A1和排列在所述A1之前的场景片段删除，从而得到新的第一场景片段组；

步骤3.2、以所述新的第一场景片段组作为第一个实施方式所述的第一场景片段组，并执行图1所述的方法。

可选的，如前所述，在查找得到第一满足场景对齐条件的场景片段后，排在后面的各场景片段按照顺序依次匹配，所以本发明可以稍微错开顺序，即，所述A1和排列在所述A1之前的场景片段删除，并重新执行本发明。通过删除个别场景片段，调整匹配顺序，从而实现准确的场景对齐，本发明对此不做限制。

可选的，如前所述，帧对齐是为了确定两个场景片段共同的播放起始位置，即确定共同的起始帧图像。例如，场景片段A1的在第一视频中起始时间为第8分钟的第1秒，而场景片段B1在第二视频中的起始时间为第8分钟的第5秒，很明显场景片段B1的起始时间要晚于场景片段A1的起始时间，所以可以确定出场景片段A1和场景片段B1在第8分钟第5秒的起始帧图像，本发明对此不限制。

具体而言，本发明通过比较前N帧的图像的方式，确定哪一个场景片段的起始时间较晚。所以本发明可以确定第一帧数和第二帧数，其中，N和M可以根据实际需要进行设定和变更，本发明对此不做限制。

例如，结合图1所示的实施方式，在某些可选的实施方式中，所述S500中的确定所述A1的前N帧图像与所述B1的前M帧图像之间连续重叠的第一帧数，并确定所述B1的前N帧图像与所述A1的前M帧图像之间连续重叠的第二帧数，包括：步骤4.1、步骤4.2、步骤4.3和步骤4.4；

步骤4.1、将所述A1的前N帧图像分别解码为N条YUV格式的A1原始数据，并将所述B1的前M帧图像分别解码为M条YUV格式的B1原始数据；

步骤4.2、将所述N条YUV格式的A1原始数据与所述M条YUV格式的B1原始数据一一进行比对，从而确定所述第一帧数；

步骤4.3、将所述B1的前N帧图像分别解码为N条YUV格式的B1原始数据，并将所述A1的前M帧图像分别解码为M条YUV格式的A1原始数据；

步骤4.4、将所述N条YUV格式的B1原始数据与所述M条YUV格式的A1原始数据一一进行比对，从而确定所述第二帧数。

可选的，本发明所说的步骤4.1和步骤4.3之间没有必然的先后顺序，可以并行执行，也可以先执行步骤4.1或者先执行步骤4.3，本发明对此不做限制。

可选的，YUV格式的原始数据是本领域的公知概念，本发明对于解码为YUV格式的原始数据的过程不做限制，具体请参见本领域的相关说明。需要说明的是：YUV格式的原始数据是指单帧画面解码后的无损伤的原始数据，因为在进行帧对齐的时候，可以通过计算比较各个像素的YUV分量去判断帧是否对齐，更加准确。

S600、若所述第一帧数大于所述第二帧数，则将所述A1的第一帧图像与所述B1中相应帧的图像对齐；

可选的，如果第一帧数大于第二帧数，那么A1的开始位置，存在B1中，A1的第一帧就是帧对齐的第一帧，在B1中找到与A1的第一帧对齐的帧，就是B1的帧对齐的起点，本发明对此不做限制。

S700、若所述第二帧数大于所述第一帧数，则将所述B1的第一帧图像与所述A1中相应帧的图像对齐。

可选的，如果第二帧数大于第一帧数，那么B1的开始位置，存在A1中，B1的第一帧就是帧对齐的第一帧，在A1中找到与B1的第一帧对齐的帧，就是A1的帧对齐的起点，本发明对此不做限制。

若第一帧数和第二帧数相等，则无法确定帧对齐的第一帧，这时候可以通过调整N和/或M，从而使得第一帧数和/或第二帧数发生变化，进而确定帧对齐的第一帧，本发明对此不做限制。例如，结合图1所示的实施方式，在某些可选的实施方式中，所述方法还包括：

若所述第一帧数和所述第二帧数相等且均小于预设帧数阈值，则增大所述M，并执行图1所述的确定所述A1的前N帧图像与所述B1的前M帧图像之间连续重叠的第一帧数，并确定所述B1的前N帧图像与所述A1的前M帧图像之间连续重叠的第二帧数，以及后续步骤。

可选的，本发明对于预设帧数阈值不做限制，可以根据实际需要进行设定。需要说明的是，若所述第一帧数和所述第二帧数相等且均不小于预设帧数阈值，说明A1和B1完全重叠视频长度已经大于一定长度，可以直接进行视频帧对齐。

可选的，为了进一步清楚描述本发明的方案，请参见如图2所示的例子，以视频A和视频B为例，其中包括了拆分成场景片段、场景对齐和帧对齐的过程。

如图3所示，本发明提供了一种视频帧对齐装置，包括：拆分单元100、场景对齐单元200、场景配对单元300、相似度确定单元400、重叠帧数确定单元500、第一帧对齐单元600和第二帧对齐单元700；

所述拆分单元100，用于将第一视频和第二视频按照不同场景分别拆分成第一场景片段组和第二场景片段组；

其中，所述第一场景片段组包括所述第一视频的多个不同场景的场景片段，所述第二场景片段组包括所述第二视频的多个不同场景的场景片段，一个所述场景片段对应一个所述场景，不同场景片段按照在相应视频中的先后顺序依次排列；

所述场景对齐单元200，用于从所述第一场景片段组和所述第二场景片段组中确定第一对满足场景对齐条件的场景片段A1和场景片段B1；

其中，所述场景对齐条件为：两个场景片段的播放时长作差得到的时间差小于预设时间阈值，所述A1来源于所述第一场景片段组，所述B1来源于所述第二场景片段组；

所述场景配对单元300，用于从所述A1和所述B1开始，将所述第一场景片段组中的各场景片段与所述第二场景片段组中的各场景片段依次进行两两配对；

所述相似度确定单元400，用于对于任一对所述场景片段均执行：确定相应的两个场景片段的相似度；

所述重叠帧数确定单元500，用于若所述相似度大于预设相似度的场景片段的数量大于预设数量阈值，则确定所述A1的前N帧图像与所述B1的前M帧图像之间连续重叠的第一帧数，并确定所述B1的前N帧图像与所述A1的前M帧图像之间连续重叠的第二帧数；

其中，所述N和所述M均为大于0的整数；

所述第一帧对齐单元600，用于若所述第一帧数大于所述第二帧数，则将所述A1的第一帧图像与所述B1中相应帧的图像对齐；

所述第二帧对齐单元700，用于若所述第二帧数大于所述第一帧数，则将所述B1的第一帧图像与所述A1中相应帧的图像对齐。

结合图3所示的实施方式，在某些可选的实施方式中，所述拆分单元100，包括：拆分子单元；

拆分子单元，用于对所述第一视频和所述第二视频分别进行场景识别，并根据场景识别的相应结果，将所述第一视频和所述第二视频分别拆分成所述第一场景片段组和所述第二场景片段组。

结合图3所示的实施方式，在某些可选的实施方式中，所述场景对齐单元200，包括：绝对值计算子单元、绝对值判断子单元、第一确定子单元和循环子单元；

绝对值计算子单元，用于计算得到所述第二场景片段组的各场景片段的播放时长分别与所述第一场景片段组的第一个场景片段的播放时长的差的绝对值；

绝对值判断子单元，用于判断是否存在小于所述预设时间阈值的绝对值，若存在，则触发所述第一确定子单元，否则触发所述循环子单元；

第一确定子单元，用于确定所述第一场景片段组的第一个场景片段为所述A1和确定所述第二场景片段组中相应的场景片段为所述B1；

循环子单元，用于计算得到所述第二场景片段组的各场景片段的播放时长分别与所述第一场景片段组的第二个场景片段的播放时长的差的绝对值，并判断是否存在小于所述预设时间阈值的绝对值，如此反复循环，直到确定第一对所述A1和所述B1为止。

结合上一个实施方式，在某些可选的实施方式中，所述装置还包括：终止单元；

终止单元，用于在所述如此反复循环，直到确定第一对所述A1和所述B1为止之后，若所述第二场景片段组的各场景片段的播放时长分别与所述第一场景片段组的各场景片段的播放时长的差的绝对值均不小于所述预设时间阈值，则终止本次针对所述第一视频和所述第二视频的帧对齐。

结合图3所示的实施方式，在某些可选的实施方式中，所述场景配对单元300，包括：场景配对子单元；

场景配对子单元，用于从所述A1和所述B1开始，将所述A1和所述B1进行配对，将排列在所述A1后的场景片段A2与排列在所述B1后的场景片段B2进行配对，将排列在所述A2后的场景片段A3与排列在所述B2后的场景片段B3进行配对，如此依次配对，直到所述第一场景片段组的各场景片段均配对完成为止或者直到所述第二场景片段组的各场景片段均配对完成为止。

结合图3所示的实施方式，在某些可选的实施方式中，所述相似度确定单元400，包括：中间帧子单元和相似度计算子单元；

中间帧子单元，用于对于任一对所述场景片段均执行：分别获取所述两个场景片段的中间帧图像；

相似度计算子单元，用于通过预先设置的算法，计算得到所述相似度。

结合图3所示的实施方式，在某些可选的实施方式中，所述装置还包括：删除子单元和重复子单元；

删除子单元，用于在所述对于任一对所述场景片段均执行：确定相应的两个场景片段的相似度之后，若所述相似度大于预设相似度的场景片段的数量不大于预设数量阈值，则将所述A1和排列在所述A1之前的场景片段删除，从而得到新的第一场景片段组；

重复子单元，用于以所述新的第一场景片段组作为图3所述的第一场景片段组，并执行图3所述的方法。

结合图3所示的实施方式，在某些可选的实施方式中，所述叠帧数确定单元500，包括：第一解码子单元、第一帧数子单元、第二解码子单元和第二帧数子单元；

第一解码子单元，用于将所述A1的前N帧图像分别解码为N条YUV格式的A1原始数据，并将所述B1的前M帧图像分别解码为M条YUV格式的B1原始数据；

第一帧数子单元，用于将所述N条YUV格式的A1原始数据与所述M条YUV格式的B1原始数据一一进行比对，从而确定所述第一帧数；

第二解码子单元，用于将所述B1的前N帧图像分别解码为N条YUV格式的B1原始数据，并将所述A1的前M帧图像分别解码为M条YUV格式的A1原始数据；

第二帧数子单元，用于将所述N条YUV格式的B1原始数据与所述M条YUV格式的A1原始数据一一进行比对，从而确定所述第二帧数。

结合图3所示的实施方式，在某些可选的实施方式中，所述装置还包括：帧对齐重复单元；

帧对齐重复单元，用于若所述第一帧数和所述第二帧数相等且均小于预设帧数阈值，则增大所述M，并执行图3所述的确定所述A1的前N帧图像与所述B1的前M帧图像之间连续重叠的第一帧数，并确定所述B1的前N帧图像与所述A1的前M帧图像之间连续重叠的第二帧数，以及后续步骤。

本发明提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一项所述的视频帧对齐方法。

如图4所示，本发明提供了一种电子设备70，所述电子设备70包括至少一个处理器701、以及与所述处理器701连接的至少一个存储器702、总线703；其中，所述处理器701、所述存储器702通过所述总线703完成相互间的通信；所述处理器701用于调用所述存储器702中的程序指令，以执行上述任一项所述的视频帧对齐方法。

在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种视频帧对齐方法，其特征在于，包括：

将第一视频和第二视频按照不同场景分别拆分成第一场景片段组和第二场景片段组，其中，所述第一场景片段组包括所述第一视频的多个不同场景的场景片段，所述第二场景片段组包括所述第二视频的多个不同场景的场景片段，一个所述场景片段对应一个所述场景，不同场景片段按照在相应视频中的先后顺序依次排列；

从所述第一场景片段组和所述第二场景片段组中确定第一对满足场景对齐条件的场景片段A1和场景片段B1，其中，所述场景对齐条件为：两个场景片段的播放时长作差得到的时间差小于预设时间阈值，所述A1来源于所述第一场景片段组，所述B1来源于所述第二场景片段组；

从所述A1和所述B1开始，将所述第一场景片段组中的各场景片段与所述第二场景片段组中的各场景片段依次进行两两配对；

对于任一对所述场景片段均执行：确定相应的两个场景片段的相似度；

若所述相似度大于预设相似度的场景片段的数量大于预设数量阈值，则确定所述A1的前N帧图像与所述B1的前M帧图像之间连续重叠的第一帧数，并确定所述B1的前N帧图像与所述A1的前M帧图像之间连续重叠的第二帧数，其中，所述N和所述M均为大于0的整数；

若所述第一帧数大于所述第二帧数，则将所述A1的第一帧图像与所述B1中相应帧的图像对齐；

若所述第二帧数大于所述第一帧数，则将所述B1的第一帧图像与所述A1中相应帧的图像对齐。

2.根据权利要求1所述的方法，其特征在于，所述将第一视频和第二视频按照不同场景分别拆分成第一场景片段组和第二场景片段组，包括：

对所述第一视频和所述第二视频分别进行场景识别，并根据场景识别的相应结果，将所述第一视频和所述第二视频分别拆分成所述第一场景片段组和所述第二场景片段组。

3.根据权利要求1所述的方法，其特征在于，所述从所述第一场景片段组和所述第二场景片段组中确定第一对满足场景对齐条件的场景片段A1和场景片段B1，包括：

计算得到所述第二场景片段组的各场景片段的播放时长分别与所述第一场景片段组的第一个场景片段的播放时长的差的绝对值；

判断是否存在小于所述预设时间阈值的绝对值，若存在，则确定所述第一场景片段组的第一个场景片段为所述A1和确定所述第二场景片段组中相应的场景片段为所述B1；

若不存在小于所述预设时间阈值的绝对值，则计算得到所述第二场景片段组的各场景片段的播放时长分别与所述第一场景片段组的第二个场景片段的播放时长的差的绝对值，并判断是否存在小于所述预设时间阈值的绝对值，如此反复循环，直到确定第一对所述A1和所述B1为止。

4.根据权利要求3所述的方法，其特征在于，在所述如此反复循环，直到确定第一对所述A1和所述B1为止之后，所述方法还包括：

若所述第二场景片段组的各场景片段的播放时长分别与所述第一场景片段组的各场景片段的播放时长的差的绝对值均不小于所述预设时间阈值，则终止本次针对所述第一视频和所述第二视频的帧对齐。

5.根据权利要求1所述的方法，其特征在于，所述从所述A1和所述B1开始，将所述第一场景片段组中的各场景片段与所述第二场景片段组中的各场景片段依次进行两两配对，包括：

从所述A1和所述B1开始，将所述A1和所述B1进行配对，将排列在所述A1后的场景片段A2与排列在所述B1后的场景片段B2进行配对，将排列在所述A2后的场景片段A3与排列在所述B2后的场景片段B3进行配对，如此依次配对，直到所述第一场景片段组的各场景片段均配对完成为止或者直到所述第二场景片段组的各场景片段均配对完成为止。

6.根据权利要求1所述的方法，其特征在于，所述对于任一对所述场景片段均执行：确定相应的两个场景片段的相似度，包括：

对于任一对所述场景片段均执行：分别获取所述两个场景片段的中间帧图像；

通过预先设置的算法，计算得到所述相似度。

7.根据权利要求1所述的方法，其特征在于，在所述对于任一对所述场景片段均执行：确定相应的两个场景片段的相似度之后，所述方法还包括：

若所述相似度大于预设相似度的场景片段的数量不大于预设数量阈值，则将所述A1和排列在所述A1之前的场景片段删除，从而得到新的第一场景片段组；

以所述新的第一场景片段组作为权利要求1所述的第一场景片段组，并执行权利要求1所述的方法。

8.根据权利要求1所述的方法，其特征在于，所述确定所述A1的前N帧图像与所述B1的前M帧图像之间连续重叠的第一帧数，并确定所述B1的前N帧图像与所述A1的前M帧图像之间连续重叠的第二帧数，包括：

将所述A1的前N帧图像分别解码为N条YUV格式的A1原始数据，并将所述B1的前M帧图像分别解码为M条YUV格式的B1原始数据；

将所述N条YUV格式的A1原始数据与所述M条YUV格式的B1原始数据一一进行比对，从而确定所述第一帧数；

将所述B1的前N帧图像分别解码为N条YUV格式的B1原始数据，并将所述A1的前M帧图像分别解码为M条YUV格式的A1原始数据；

将所述N条YUV格式的B1原始数据与所述M条YUV格式的A1原始数据一一进行比对，从而确定所述第二帧数。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述第一帧数和所述第二帧数相等且均小于预设帧数阈值，则增大所述M，并权利要求1所述的确定所述A1的前N帧图像与所述B1的前M帧图像之间连续重叠的第一帧数，并确定所述B1的前N帧图像与所述A1的前M帧图像之间连续重叠的第二帧数，以及后续步骤。

10.一种视频帧对齐装置，其特征在于，包括：拆分单元、场景对齐单元、场景配对单元、相似度确定单元、重叠帧数确定单元、第一帧对齐单元和第二帧对齐单元；

所述拆分单元，用于将第一视频和第二视频按照不同场景分别拆分成第一场景片段组和第二场景片段组，其中，所述第一场景片段组包括所述第一视频的多个不同场景的场景片段，所述第二场景片段组包括所述第二视频的多个不同场景的场景片段，一个所述场景片段对应一个所述场景，不同场景片段按照在相应视频中的先后顺序依次排列；

所述场景对齐单元，用于从所述第一场景片段组和所述第二场景片段组中确定第一对满足场景对齐条件的场景片段A1和场景片段B1，其中，所述场景对齐条件为：两个场景片段的播放时长作差得到的时间差小于预设时间阈值，所述A1来源于所述第一场景片段组，所述B1来源于所述第二场景片段组；

所述场景配对单元，用于从所述A1和所述B1开始，将所述第一场景片段组中的各场景片段与所述第二场景片段组中的各场景片段依次进行两两配对；

所述相似度确定单元，用于对于任一对所述场景片段均执行：确定相应的两个场景片段的相似度；

所述重叠帧数确定单元，用于若所述相似度大于预设相似度的场景片段的数量大于预设数量阈值，则确定所述A1的前N帧图像与所述B1的前M帧图像之间连续重叠的第一帧数，并确定所述B1的前N帧图像与所述A1的前M帧图像之间连续重叠的第二帧数，其中，所述N和所述M均为大于0的整数；

所述第一帧对齐单元，用于若所述第一帧数大于所述第二帧数，则将所述A1的第一帧图像与所述B1中相应帧的图像对齐；

所述第二帧对齐单元，用于若所述第二帧数大于所述第一帧数，则将所述B1的第一帧图像与所述A1中相应帧的图像对齐。

Images