CN114650435B - 视频内重复片段查找方法、装置及相关设备 - Google Patents

Abstract

本公开提供一种视频内重复片段查找方法、装置及相关设备，该方法包括：抽取待测视频的多个关键帧，依据每一所述关键帧所对应的时间信息对所述多个关键帧进行排序，生成关键帧序列；依次对所述关键帧序列中的所述关键帧进行相似度计算，确定重复关键帧对；将所述重复关键帧对映射回所述待测视频；依据映射结果，在所述待测视频中，确认视频内重复片段。该方法可以判断一个视频内部是否存在重复片段，且可以判断重复片段的位置。

Description

视频内重复片段查找方法、装置及相关设备

技术领域

本公开涉及视频处理技术领域，尤其涉及一种视频内重复片段查找方法、装置及相关设备。

背景技术

在如今的多媒体信息社会中，用户每天向视频平台上传海量的视频，这些视频中存在着问题视频，如和平台视频数据库中的已有视频重复的视频、与版权数据库中的视频重复的视频，视频处理技术领域可以利用现有技术找到问题视频。

然而，一些用户上传的视频中包含着多个重复片段，会被现有技术判定为正常视频，但这些视频的质量极低，影响用户体验。如何判断一个视频内是否有重复片段亟待解决。

发明内容

针对现有技术存在的问题，本公开实施例提供一种视频内重复片段查找方法、装置及相关设备。

第一方面，本公开提供一种视频内重复片段查找方法，包括：抽取待测视频的多个关键帧，依据每一所述关键帧所对应的时间信息对所述多个关键帧进行排序，生成关键帧序列；依次对所述关键帧序列中的所述关键帧进行相似度计算，确定重复关键帧对；将所述重复关键帧对映射回所述待测视频；依据映射结果，在所述待测视频中，确认视频内重复片段。

根据本公开提供的一种视频内重复片段查找方法，所述依次对所述关键帧序列中的相邻关键帧进行相似度计算，确定重复关键帧对进一步包括：基于所述关键帧序列，计算第i+1个关键帧A_i+1相对于第i个关键帧A_i的相似度S_(i+1，i)；其中，i为大于1的整数；在所述S_(i+1，i)>T时，计算第i+2个关键帧A_i+2相对于第i+1个关键帧A_i+1的相似度S_(i+2，i+1)；其中，T为预先设定的相似度阈值；依次类推，直至第i+n个关键帧A_i+n相对于第i+n-1个关键帧A_i+n-1的相似度S_{(i+n，i+n-1)}≤T，则：将(A_i,A_i+1,…,A_i+n-2)与(A_i+1,A_i+2,…,A_i+n-1)确定为重复关键帧对；其中，所述(A_i,A_i+1,…,A_i+n-2)为第一重复关键帧集合，所述(A_i+1,A_i+2,…,A_i+n-1)为第二重复关键帧集合。

根据本公开提供的一种视频内重复片段查找方法，所述依次对所述关键帧序列中的相邻关键帧进行相似度计算，确定重复关键帧对进一步包括：判断第i+n个关键帧A_i+n是否为所述关键帧序列中的尾关键帧；若否，则基于所述关键帧序列，计算第i+n个关键帧A_i+n相对于第i个关键帧A_i的相似度S_(i+n，i)；其中，i为大于1的整数；在所述S_(i+n，i)>T时，计算第i+n+1个关键帧A_i+n+1相对于第i+1个关键帧A_i+1的相似度S_{(i+n+1，i+1)}；其中，T为预先设定的相似度阈值；依次类推，直至第i+n+m个关键帧A_i+n+m相对于第i+m个关键帧A_i+m的相似度S_{(i+n+m，i+m)}≤T，则：将(A_i,A_i+1,…,A_i+m-1)与(A_i+n,A_i+n+1,…,A_i+n+m-1)确定为重复关键帧对；所述(A_i,A_i+1,…,A_i+m-1)为第一重复关键帧集合，所述(A_i+n,A_i+n+1,…,A_i+n+m-1)为第二重复关键帧集合。

根据本公开提供的一种视频内重复片段查找方法，若所述重复关键帧对满足如下两个条件之一，则所述重复关键帧对不成立：(i)第一重复关键帧集合中的尾关键帧为已成立的另一重复关键帧对中的第一重复关键帧集合的尾关键帧；(ii)第二重复关键帧集合中的尾关键帧为已成立的另一重复关键帧对中的第二重复关键帧集合的尾关键帧。

根据本公开提供的一种视频内重复片段查找方法，若所述重复关键帧对中第一重复关键帧集合满足，所述第一重复关键帧集合为已成立的另一重复关键帧对中第二重复关键帧集合，则所述重复关键帧对不成立。

根据本公开提供的一种视频内重复片段查找方法，所述依据映射结果，在所述待测视频中，确认视频内重复片段进一步包括：依据映射结果，在所述待测视频中，获取视频内预重复片段；过滤视频内预重复片段，确认视频内重复片段；其中，视频内预重复片段包括第一预重复片段和第二预重复片段；所述视频内重复片段包括第一重复片段和第二重复片段。

根据本公开提供的一种视频内重复片段查找方法，所述过滤视频内预重复片段进一步包括：比较所述视频内预重复片段中第一预重复片段与第二预重复片段的时长；若所述第一预重复片段时长较短，则判断交集时长与所述第一预重复片段时长比值是否小于预设的交集比值阈值，若是，则所述视频内预重复片段不为视频内重复片段；若所述第二预重复片段时长较短，则判断所述交集时长与所述第二预重复片段时长比值是否小于预设的交集比值阈值，若是，则所述视频内预重复片段不为视频内重复片段；其中，所述交集时长为，所述第一预重复片段与所述第二预重复片段交集的时长。

根据本公开提供的一种视频内重复片段查找方法，当重复预片段满足，第一预重复片段与其他重复预片段对应的第一预重复片段存在交集时，还满足：第二预重复片段与其他重复预片段对应的第二重复片段间隔小于预设间隔阈值，则将两个视频内预重复片段合并，获取视频内重复片段；其中，所述视频内重复片段的起始帧位置为，两个重复预片段之间起始帧对应位置的最小值；所述视频内重复片段的结束帧位置为，两个重复预片段之间结束帧对应位置的最大值。

根据本公开提供的一种视频内重复片段查找方法，所述过滤视频内预重复片段进一步包括：比较所述视频内预重复片段中第一预重复片段与第二预重复片段的时长；若第一预重复片段时长较短，则判断第一预重复片段是否时长小于预设的时长阈值，若是，则所述视频内预重复片段不为视频内重复片段；若第二预重复片段时长较短，若是，则判断第二预重复片段是否时长小于预设的时长阈值，若是，则所述视频内预重复片段不为视频内重复片段。

根据本公开提供的一种视频内重复片段查找方法，所述过滤视频内预重复片段进一步包括：比较所述视频内预重复片段中第一预重复片段与第二预重复片段的时长；若第一预重复片段时长较短，则判断第一预重复片段与第二预重复片段的比值是否小于预设的比值阈值，若是，则所述视频内预重复片段不为视频内重复片段；若第二预重复片段时长较短，则判断第二预重复片段与第一预重复片段的比值是否小于预设的比值阈值，若是，则所述视频内预重复片段不为视频内重复片段。

第二方面，本公开还提供一种视频内重复片段查找装置，包括：抽取生成模块、计算模块、映射模块和确认模块。其中，抽取生成模块，用于抽取待测视频的多个关键帧，依据每一所述关键帧所对应的时间信息对所述多个关键帧进行排序，生成关键帧序列；计算模块，用于依次对所述关键帧序列中的所述关键帧进行相似度计算，确定重复关键帧对；映射模块，用于将所述重复关键帧对映射回所述待测视频；确认模块，用于依据映射结果，在所述待测视频中，确认视频内重复片段。

第三方面，本公开还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述视频内重复片段查找方法的步骤。

第四方面，本公开还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述视频内重复片段查找方法的步骤。

第五方面，本公开还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述视频内重复片段查找方法的步骤。

本公开提供的视频内重复片段查找方法、装置及相关设备，通过抽取待测视频的多个关键帧，依据每一所述关键帧所对应的时间信息对所述多个关键帧进行排序，生成关键帧序列；依次对所述关键帧序列中的所述关键帧进行相似度计算，通过对关键帧相似度的比较，可以确定待测视频抽取的多个关键帧中是否存在相似的关键帧，从而确定重复关键帧对；依据重复关键帧对中关键帧所对应的时间信息将所述重复关键帧对映射回所述待测视频，可以确定重复关键帧对对应的时间信息，获取映射结果；依据映射结果，在所述待测视频中，确认视频内重复片段，该方法可以确定待测视频中是否存在视频内重复片段，并确定视频内重复片段在待测视频中的具体位置，从而可以甄别视频的质量，提高用户体验。

附图说明

为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开提供的视频内重复片段查找方法的流程示意图之一；

图2是本公开提供的视频内重复片段查找方法中的过滤视频内预重复片段步骤示意图之一；

图3是本公开提供的视频内重复片段查找方法中的过滤视频内预重复片段步骤示意图之二；

图4是本公开提供的视频内重复片段查找方法中的过滤视频内预重复片段步骤示意图之三；

图5是本公开提供的视频内重复片段查找装置的结构示意图；

图6是本公开提供的视频内重复片段查找方法中的依次对关键帧序列中的关键帧进行相似度计算，确定重复关键帧对具体实施示意图；

图7是本公开提供的电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开实施例一部分实施例，而不是全部的实施例。基于本公开实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开实施例保护的范围。

下面结合图1描述本公开实施例的视频内重复片段查找方法，包括：

步骤S101、抽取待测视频的多个关键帧，依据每一关键帧所对应的时间信息对多个关键帧进行排序，生成关键帧序列；

步骤S103、依次对关键帧序列中的关键帧进行相似度计算，确定重复关键帧对；

步骤S105、将重复关键帧对映射回待测视频；

步骤S107、依据映射结果，在待测视频中，确认视频内重复片段。

本公开实施例提供的视频内重复片段查找方法，通过抽取待测视频的多个关键帧，依据每一关键帧所对应的时间信息对多个关键帧进行排序，生成关键帧序列；依次对关键帧序列中的关键帧进行相似度计算，通过对关键帧相似度的比较，可以确定待测视频抽取的多个关键帧中是否存在相似的关键帧，从而确定重复关键帧对；依据重复关键帧对中关键帧所对应的时间信息将所述重复关键帧对映射回所述待测视频，可以确定重复关键帧对对应的时间信息，获取映射结果；依据映射结果，在待测视频中，确认视频内重复片段，该方法可以确定待测视频中是否存在视频内重复片段，并确定视频内重复片段在待测视频中的具体位置，从而可以甄别视频的质量，提高用户体验。

下面结合图1对来具体描述各个步骤。

步骤S101、抽取待测视频的多个关键帧，依据每一关键帧所对应的时间信息对多个关键帧进行排序，生成关键帧序列；

具体来说，抽取待测视频的多个关键帧可以通过每隔固定帧选取关键帧，如每隔0帧、1帧、10帧抽取一帧并作为关键帧，记录关键帧对应原始视频的位置，或通过计算帧差，并设定一定的阈值，获得关键帧，并记录关键帧对应原始视频的位置。

通过计算帧差，并设定一定的阈值，获得关键帧，并记录关键帧对应原始视频的位置可以通过下述三种方式实现：

第一种，使用CNN对每一帧提取特征然后计算帧间的特征的相似度。过滤相似度高于阈值的帧。比如共5帧，第二帧与第一帧的相似度高于阈值，舍弃第二帧；第三帧与第一帧相似度低于阈值，保留第三帧；依次进行，第四帧与第三帧的相似度大于阈值，丢弃第四帧，第五帧与第三针的相似度小于阈值，保留第五帧。所以最后的关键帧为第一帧、第三帧、第五帧。

第二种，使用哈希编码(比如ahash、phash、dhash等)对每一帧提取哈希值，然后计算帧间的相似度，过滤相似度高于阈值的帧，获得对应的关键帧。

第三种，使用mpeg编码进行抽取关键帧。

步骤S103、依次对关键帧序列中的关键帧进行相似度计算，确定重复关键帧对；

需要说明的是，这里关键帧进行相似度计算的阈值可以根据需要与获取关键帧的阈值差异较大或差异较小。

步骤S105、将重复关键帧对映射回待测视频；

具体来说，重复关键帧对由两个集合组成，映射方式为分别根据两个集合的首、尾关键帧所对应的位置映射回待测视频。对于首关键帧，则直接映射到待测视频的位置，对于两个集合的尾关键帧需要先判断是否为关键帧序列的尾关键帧，若是，则映射到待测视频的最后一帧，若不是，则映射到关键帧序列中该尾关键帧的下一个关键帧对应的原视频帧的上一帧。

步骤S107、依据映射结果，在待测视频中，确认视频内重复片段。

具体来说，视频内重复片段为步骤S105中的重复关键帧对的两两个集合的首、尾关键帧按映射规则分别映射到待测视频位置后，分别包含的片段。

在一种可选实施例中，步骤S103进一步包括：

基于关键帧序列，计算第i+1个关键帧A_i+1相对于第i个关键帧A_i的相似度S_(i+1，i)；其中，i为大于1的整数；

在S_(i+1，i)>T时，计算第i+2个关键帧A_i+2相对于第i+1个关键帧A_i+1的相似度S_(i+2，i+1)；其中，T为预先设定的相似度阈值；

依次类推，直至第i+n个关键帧A_i+n相对于第i+n-1个关键帧A_i+n-1的相似度S_{(i+n，i+n-1)}≤T，则将(A_i,A_i+1,…,A_i+n-2)与(A_i+1,A_i+2,…,A_i+n-1)确定为重复关键帧对；

其中，(A_i,A_i+1,…,A_i+n-2)为第一重复关键帧集合，(A_i+1,A_i+2,…,A_i+n-1)为第二重复关键帧集合。

在一种可选实施例中，步骤S103进一步包括：

判断第i+n个关键帧A_i+n是否为关键帧序列中的尾关键帧；

若否，则基于关键帧序列，计算第i+n个关键帧A_i+n相对于第i个关键帧A_i的相似度S_(i+n，i)；其中，i为大于1的整数；

在所述S_(i+n，i)>T时，计算第i+n+1个关键帧A_i+n+1相对于第i+1个关键帧A_i+1的相似度S_{(i+n+1，i+1)}；其中，T为预先设定的相似度阈值；

依次类推，直至第i+n+m个关键帧A_i+n+m相对于第i+m个关键帧A_i+m的相似度S_{(i+n+m，i+m)}≤T，则将(A_i,A_i+1,…,A_i+m-1)与(A_i+n,A_i+n+1,…,A_i+n+m-1)确定为重复关键帧对；

(A_i,A_i+1,…,A_i+m-1)为第一重复关键帧集合，(A_i+n,A_i+n+1,…,A_i+n+m-1)为第二重复关键帧集合。

需要说明的是，在具体实施中，可根据具体的情况通过上述两种方式共同确认重复关键帧对，可以有多对重复关键帧对，亦可以仅有一对，甚至没有重复关键帧对。以一个具体实施为例，参照图6，anchor和repeat分别代表一对待判断的重复片段对的起始位置。其中anchor需要从关键帧1遍历到关键帧7，对应的repeat需要从对应的anchor位置遍历到关键帧8(举例：anchor遍历到1时，repeat从2开始遍历到8)。对于任何一对anchor与repeat起点(如图中的anchor为1、repeat为2的情况)，作如下操作判断来确定当前位置是否有重复关键帧序列：先判断关键帧1是否和2相似，如果相似，判断关键帧2和3是否相似，依次进行，假如关键帧4和5不相似，则认为关键帧序列1-2-3和2-3-4相似。其中，anchor所经过的关键帧组成的关键帧序列1-2-3为第一重复关键帧集合，repeat所经过的关键帧组成的关键帧序列2-3-4为第二重复关键帧集合。此时，anchor回到关键帧1，repeat以关键帧5为起点位置，判断关键帧1是否和5相似，如果相似，判断关键帧2和6是否相似，依次进行。

在一种可选实施例中，若重复关键帧对满足如下两个条件之一，则重复关键帧对不成立：

(i)第一重复关键帧集合中的尾关键帧为已成立的另一重复关键帧对中的第一重复关键帧集合的尾关键帧；

(ii)第二重复关键帧集合中的尾关键帧为已成立的另一重复关键帧对中的第二重复关键帧集合的尾关键帧。

在一种可选实施例中，若重复关键帧对中第一重复关键帧集合满足，第一重复关键帧集合为已成立的另一重复关键帧对中第二重复关键帧集合，则重复关键帧对不成立。

需要说明的是，在具体实施中，可以将两种情况均设定为重复关键帧对不成立的情况，以用于筛选重复关键帧对，避免重复关键帧对中的重复关系，已由其他已成立的另一重复关键帧对体现。

在一种可选实施例中，步骤S107进一步包括：

步骤S1071、依据映射结果，在所述待测视频中，获取视频内预重复片段；

具体来说，视频内预重复片段包括第一预重复片段和第二预重复片段，视频内预重复片段为重复关键帧对映射而来。第一预重复片段由第一重复关键帧集合映射而来，第二预重复片段由第二重复关键帧集合映射而来。

步骤S1073、过滤视频内预重复片段，确认视频内重复片段；

具体来说，视频内重复片段包括第一重复片段和第二重复片段。第一重复片段和第二重复片段分别对应重复关键帧对的两个集合映射结果。

在一种可选实施例中，参照图2，步骤S1073过滤视频内预重复片段进一步包括：

步骤S201、比较视频内预重复片段中第一预重复片段与第二预重复片段的时长；

具体来说，若第一预重复片段时长较短，执行步骤S203，若第二预重复片段时长较短，执行步骤S205。

步骤S203、判断交集时长与第一预重复片段时长比值是否小于预设的交集比值阈值，若是，则视频内预重复片段不为视频内重复片段；

步骤S205、判断交集时长与第二预重复片段时长比值是否小于预设的交集比值阈值，若是，则视频内预重复片段不为视频内重复片段。

具体来说，交集时长为，第一预重复片段与第二预重复片段交集的时长。该方法是用于筛除由于交集时长过多被误判为是重复预片段这种情况。

在一种可选实施例中，当重复预片段满足，第一预重复片段与其他重复预片段对应的第一预重复片段存在交集时，还满足：第二预重复片段与其他重复预片段对应的第二重复片段间隔小于预设间隔阈值，则将两个视频内预重复片段合并，获取视频内重复片段。

具体来说，合并获取到的视频内重复片段的起始帧位置为，两个重复预片段之间起始帧对应位置的最小值；合并获取到的视频内重复片段的结束帧位置为，两个重复预片段之间结束帧对应位置的最大值。

这种用于合并较为相似的重复片段，以获取最大长度的重复片段。

在一种可选实施例中，参照图3，过滤视频内预重复片段进一步包括：

步骤301、比较视频内预重复片段中第一预重复片段与第二预重复片段的时长；

具体来说，若第一预重复片段时长较短，执行步骤303；若第二预重复片段时长较短，执行步骤305。

步骤303、判断第一预重复片段是否时长小于预设的时长阈值，若是，则视频内预重复片段不为视频内重复片段；

步骤305、判断第二预重复片段是否时长小于预设的时长阈值，若是，则视频内预重复片段不为视频内重复片段。

该方法用于筛除时长过短，基本不影响用户体验的重复预片段。

在一种可选实施例中，参照图4，所述过滤视频内预重复片段进一步包括：

步骤401、比较视频内预重复片段中第一预重复片段与第二预重复片段的时长；

具体来说，若第一预重复片段时长较短，执行步骤403；若第二预重复片段时长较短，执行步骤405。

步骤403、判断第一预重复片段与第二预重复片段的比值是否小于预设的比值阈值，若是，则视频内预重复片段不为视频内重复片段；

步骤405、判断第二预重复片段与第一预重复片段的比值是否小于预设的比值阈值，若是，则视频内预重复片段不为视频内重复片段。

这种用于筛除第一预重复片段与第二预重复片段时长差异过大的情况。

下面对本公开实施例提供的视频内重复片段装置进行描述，下文描述的视频内重复片段装置与上文描述的视频内重复片段方法可相互对应参照。

参照图5，本公开实施例还提供一种视频内重复片段查找装置，包括：抽取生成模块52、计算模块54、映射模块56和确认模块58。其中，抽取生成模块52，用于抽取待测视频的多个关键帧，依据每一关键帧所对应的时间信息对多个关键帧进行排序，生成关键帧序列；计算模块54，用于依次对关键帧序列中的关键帧进行相似度计算，确定重复关键帧对；映射模块56，用于将重复关键帧对映射回待测视频；确认模块58，用于依据映射结果，在待测视频中，确认视频内重复片段。

本公开实施例提供的视频内重复片段查找装置，通过抽取生成模块52抽取待测视频的多个关键帧，依据每一关键帧所对应的时间信息对多个关键帧进行排序，生成关键帧序列；计算模块54依次对关键帧序列中的关键帧进行相似度计算，通过对关键帧相似度的比较，可以确定待测视频抽取的多个关键帧中是否存在相似的关键帧，从而确定重复关键帧对；映射模块56依据重复关键帧对中关键帧所对应的时间信息将所述重复关键帧对映射回所述待测视频，可以确定重复关键帧对对应的时间信息，获取映射结果；确认模块58依据映射结果，在待测视频中，确认视频内重复片段，该装置可以确定待测视频中是否存在视频内重复片段，并确定视频内重复片段在待测视频中的具体位置，从而可以甄别视频的质量，提高用户体验。

下面结合图5对来具体描述各个模块。

具体来说，抽取生成模块52用于抽取待测视频的多个关键帧，可以通过每隔固定帧选取关键帧，如每隔0帧、1帧、10帧抽取一帧并作为关键帧，记录关键帧对应原始视频的位置，或通过计算帧差，并设定一定的阈值，获得关键帧，并记录关键帧对应原始视频的位置实现。

通过计算帧差，并设定一定的阈值，获得关键帧，并记录关键帧对应原始视频的位置可以通过下述三种方式实现：

第一种，使用CNN对每一帧提取特征然后计算帧间的特征的相似度。过滤相似度高于阈值的帧。比如共5帧，第二帧与第一帧的相似度高于阈值，舍弃第二帧；第三帧与第一帧相似度低于阈值，保留第三帧；依次进行，第四帧与第三帧的相似度大于阈值，丢弃第四帧，第五帧与第三针的相似度小于阈值，保留第五帧。所以最后的关键帧为第一帧、第三帧、第五帧。

第二种，使用哈希编码(比如ahash、phash、dhash等)对每一帧提取哈希值，然后计算帧间的相似度，过滤相似度高于阈值的帧，获得对应的关键帧。

第三种，使用mpeg编码进行抽取关键帧。

需要说明的是，计算模块54这里关键帧进行相似度计算的阈值可以根据需要与获取关键帧的阈值差异较大或差异较小。

具体来说，映射模块56中的重复关键帧对由两个集合组成，映射方式为分别根据两个集合的首、尾关键帧所对应的位置映射回待测视频。对于首关键帧，则直接映射到待测视频的位置，对于两个集合的尾关键帧需要先判断是否为关键帧序列的尾关键帧，若是，则映射到待测视频的最后一帧，若不是，则映射到关键帧序列中该尾关键帧的下一个关键帧对应的原视频帧的上一帧。

具体来说，确认模块58得到的视频内重复片段为映射模块56中的重复关键帧对的两两个集合的首、尾关键帧按映射规则分别映射到待测视频位置后，分别包含的片段。

在一种可选实施例中，计算模块54进一步用于：

基于关键帧序列，计算第i+1个关键帧A_i+1相对于第i个关键帧A_i的相似度S_(i+1，i)；其中，i为大于1的整数；

在所述S_(i+1，i)>T时，计算第i+2个关键帧A_i+2相对于第i+1个关键帧A_i+1的相似度S_(i+2，i+1)；其中，T为预先设定的相似度阈值；

依次类推，直至第i+n个关键帧A_i+n相对于第i+n-1个关键帧A_i+n-1的相似度S_{(i+n，i+n-1)}≤T，则：将(A_i,A_i+1,…,A_i+n-2)与(A_i+1,A_i+2,…,A_i+n-1)确定为重复关键帧对；其中，(A_i,A_i+1,…,A_i+n-2)为第一重复关键帧集合，(A_i+1,A_i+2,…,A_i+n-1)为第二重复关键帧集合。

在一种可选实施例中，计算模块54进一步用于：

判断第i+n个关键帧A_i+m是否为关键帧序列中的尾关键帧；

若否，则基于关键帧序列，计算第i+n个关键帧A_i+m相对于第i个关键帧A_i的相似度S_(i+n，i)；其中，i为大于1的整数；

在S_(i+n，i)>T时，计算第i+n+1个关键帧A_i+n+1相对于第i+1个关键帧A_i+1的相似度S_{(i+n+1，i+1)}；其中，T为预先设定的相似度阈值；

依次类推，直至第i+n+m个关键帧A_i+n+m相对于第i+m个关键帧A_i+m的相似度S_{(i+n+m，i+m)}≤T，则：将(A_i,A_i+1,…,A_i+m-1)与(A_i+n,A_i+n+1,…,A_i+n+m-1)确定为重复关键帧对；(A_i,A_i+1,…,A_i+m-1)为第一重复关键帧集合，(A_i+n,A_i+n+1,…,A_i+n+m-1)为第二重复关键帧集合。

需要说明的是，在具体实施中，可根据具体的情况通过上述两种方式共同确认重复关键帧对，可以有多对重复关键帧对，亦可以仅有一对，甚至没有重复关键帧对。以一个具体实施为例，参照图6，anchor和repeat分别代表一对待判断的重复片段对的起始位置。其中anchor需要从关键帧1遍历到关键帧7，对应的repeat需要从对应的anchor位置遍历到关键帧8(举例：anchor遍历到1时，repeat从2开始遍历到8)。对于任何一对anchor与repeat起点(如图中的anchor为1、repeat为2的情况)，作如下操作判断来确定当前位置是否有重复关键帧序列：先判断关键帧1是否和2相似，如果相似，判断关键帧2和3是否相似，依次进行，假如关键帧4和5不相似，则认为关键帧序列1-2-3和2-3-4相似。其中，anchor所经过的关键帧组成的关键帧序列1-2-3为第一重复关键帧集合，repeat所经过的关键帧组成的关键帧序列2-3-4为第二重复关键帧集合。此时，anchor回到关键帧1，repeat以关键帧5为起点位置，判断关键帧1是否和5相似，如果相似，判断关键帧2和6是否相似，依次进行。

在一种可选实施例中，计算模块54在重复关键帧对满足如下两个条件之一，重复关键帧对不成立：

(i)第一重复关键帧集合中的尾关键帧为已成立的另一重复关键帧对中的第一重复关键帧集合的尾关键帧；

(ii)第二重复关键帧集合中的尾关键帧为已成立的另一重复关键帧对中的第二重复关键帧集合的尾关键帧。

在一种可选实施例中，计算模块54在若重复关键帧对中第一重复关键帧集合满足，第一重复关键帧集合为已成立的另一重复关键帧对中第二重复关键帧集合，则重复关键帧对不成立。

需要说明的是，在具体实施中，可以将两种情况均设定为重复关键帧对不成立的情况，以用于计算模块54筛选重复关键帧对，避免重复关键帧对中的重复关系，已由其他已成立的另一重复关键帧对体现。

在一种可选实施例中，确认模块58进一步包括：

获取单元，用于依据映射结果，在所述待测视频中，获取视频内预重复片段；

过滤单元，用于过滤视频内预重复片段，确认视频内重复片段；

其中，视频内预重复片段包括第一预重复片段和第二预重复片段；所述视频内重复片段包括第一重复片段和第二重复片段。

在一种可选实施例中，过滤单元中的过滤视频内预重复片段可以通过以下方式实现：

比较视频内预重复片段中第一预重复片段与第二预重复片段的时长；

若第一预重复片段时长较短，则判断交集时长与第一预重复片段时长比值是否小于预设的交集比值阈值，若是，则视频内预重复片段不为视频内重复片段；

若第二预重复片段时长较短，则判断交集时长与第二预重复片段时长比值是否小于预设的交集比值阈值，若是，则视频内预重复片段不为视频内重复片段；

其中，所述交集时长为，所述第一预重复片段与所述第二预重复片段交集的时长。

在一种可选实施例中，当重复预片段满足，第一预重复片段与其他重复预片段对应的第一预重复片段存在交集的同时，还满足第二预重复片段与其他重复预片段对应的第二重复片段间隔小于预设间隔阈值，过滤单元中的过滤视频内预重复片段可以通过以下方式实现：

将两个视频内预重复片段合并，获取视频内重复片段。

具体来说，视频内重复片段的起始帧位置为，两个重复预片段之间起始帧对应位置的最小值；视频内重复片段的结束帧位置为，两个重复预片段之间结束帧对应位置的最大值。

在一种可选实施例中，过滤单元中的过滤视频内预重复片段可以通过以下方式实现：

比较所述视频内预重复片段中第一预重复片段与第二预重复片段的时长；

若第一预重复片段时长较短，则判断第一预重复片段是否时长小于预设的时长阈值，若是，则视频内预重复片段不为视频内重复片段；

若第二预重复片段时长较短，若是，则判断第二预重复片段是否时长小于预设的时长阈值，若是，则视频内预重复片段不为视频内重复片段。

在一种可选实施例中，过滤单元中的过滤视频内预重复片段可以通过以下方式实现：

比较视频内预重复片段中第一预重复片段与第二预重复片段的时长；

若第一预重复片段时长较短，则判断第一预重复片段与第二预重复片段的比值是否小于预设的比值阈值，若是，则视频内预重复片段不为视频内重复片段；

若第二预重复片段时长较短，则判断第二预重复片段与第一预重复片段的比值是否小于预设的比值阈值，若是，则视频内预重复片段不为视频内重复片段。

在一种可选实施例中，过滤单元可以通过上述各方式共同实现过滤视频内预重复片段。

图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行视频内重复片段查找方法。

此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本公开还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的视频内重复片段查找方法。

又一方面，本公开还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的视频内重复片段查找方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

Claims (11)

1.一种视频内重复片段查找方法，其特征在于，包括：

抽取待测视频的多个关键帧，依据每一所述关键帧所对应的时间信息对所述多个关键帧进行排序，生成关键帧序列；

依次对所述关键帧序列中的所述关键帧进行相似度计算，确定重复关键帧对；

将所述重复关键帧对映射回所述待测视频；

依据映射结果，在所述待测视频中，确认视频内重复片段；

其中，所述依据映射结果，在所述待测视频中，确认视频内重复片段进一步包括：

依据映射结果，在所述待测视频中，获取视频内预重复片段；

过滤视频内预重复片段，确认视频内重复片段；

其中，视频内预重复片段包括第一预重复片段和第二预重复片段；所述视频内重复片段包括第一重复片段和第二重复片段；

所述过滤视频内预重复片段进一步包括：

比较所述视频内预重复片段中第一预重复片段与第二预重复片段的时长；

若所述第一预重复片段时长较短，则判断交集时长与所述第一预重复片段时长比值是否小于预设的交集比值阈值，若是，则所述视频内预重复片段不为视频内重复片段；

若所述第二预重复片段时长较短，则判断所述交集时长与所述第二预重复片段时长比值是否小于预设的交集比值阈值，若是，则所述视频内预重复片段不为视频内重复片段；

其中，所述交集时长为，所述第一预重复片段与所述第二预重复片段交集的时长。

2.根据权利要求1所述的视频内重复片段查找方法，其特征在于，所述依次对所述关键帧序列中的所述关键帧进行相似度计算，确定重复关键帧对进一步包括：

基于所述关键帧序列，计算第i+1个关键帧相对于第i个关键帧/>的相似度；其中，i为大于1的整数；

在所述时，计算第i+2个关键帧/>相对于第i+1个关键帧/>的相似度；其中，T为预先设定的相似度阈值；

依次类推，直至第i+n个关键帧相对于第i+n-1个关键帧/>的相似度，则：

将与/>确定为重复关键帧对；其中，所述为第一重复关键帧集合，所述/>为第二重复关键帧集合。

3.根据权利要求1所述的视频内重复片段查找方法，其特征在于，所述依次对所述关键帧序列中的所述关键帧进行相似度计算，确定重复关键帧对进一步包括：

判断第i+n个关键帧是否为所述关键帧序列中的尾关键帧；

若否，则基于所述关键帧序列，计算第i+n个关键帧相对于第i个关键帧/>的相似度/>；其中，i为大于1的整数；

在所述时，计算第i+n +1个关键帧/>相对于第i+1个关键帧/>的相似度/>；其中，T为预先设定的相似度阈值；

依次类推，直至第i+n +m个关键帧相对于第i +m个关键帧/>的相似度，则：

将与/>确定为重复关键帧对；所述为第一重复关键帧集合，所述/>为第二重复关键帧集合。

4.根据权利要求2或3任一项所述的视频内重复片段查找方法，其特征在于，若所述重复关键帧对满足如下两个条件之一，则所述重复关键帧对不成立：

（i）第一重复关键帧集合中的尾关键帧为已成立的另一重复关键帧对中的第一重复关键帧集合的尾关键帧；

（ii）第二重复关键帧集合中的尾关键帧为已成立的另一重复关键帧对中的第二重复关键帧集合的尾关键帧。

5.根据权利要求2或3任一项所述的视频内重复片段查找方法，其特征在于，若所述重复关键帧对中第一重复关键帧集合满足，

所述第一重复关键帧集合为已成立的另一重复关键帧对中第二重复关键帧集合，则所述重复关键帧对不成立。

6.根据权利要求1所述的视频内重复片段查找方法，其特征在于，当重复预片段满足，第一预重复片段与其他重复预片段对应的第一预重复片段存在交集时，还满足：

第二预重复片段与其他重复预片段对应的第二重复片段间隔小于预设间隔阈值，

则将两个视频内预重复片段合并，获取视频内重复片段；

其中，所述视频内重复片段的起始帧位置为，两个重复预片段之间起始帧对应位置的最小值；

所述视频内重复片段的结束帧位置为，两个重复预片段之间结束帧对应位置的最大值。

7.根据权利要求1所述的视频内重复片段查找方法，其特征在于，所述过滤视频内预重复片段进一步包括：

比较所述视频内预重复片段中第一预重复片段与第二预重复片段的时长；

若第一预重复片段时长较短，则判断第一预重复片段是否时长小于预设的时长阈值，若是，则所述视频内预重复片段不为视频内重复片段；

若第二预重复片段时长较短，若是，则判断第二预重复片段是否时长小于预设的时长阈值，若是，则所述视频内预重复片段不为视频内重复片段。

8.根据权利要求1所述的视频内重复片段查找方法，其特征在于，所述过滤视频内预重复片段进一步包括：

比较所述视频内预重复片段中第一预重复片段与第二预重复片段的时长；

若第一预重复片段时长较短，则判断第一预重复片段与第二预重复片段的比值是否小于预设的比值阈值，若是，则所述视频内预重复片段不为视频内重复片段；

若第二预重复片段时长较短，则判断第二预重复片段与第一预重复片段的比值是否小于预设的比值阈值，若是，则所述视频内预重复片段不为视频内重复片段。

9.一种视频内重复片段查找装置，其特征在于，包括：

抽取生成模块，用于抽取待测视频的多个关键帧，依据每一所述关键帧所对应的时间信息对所述多个关键帧进行排序，生成关键帧序列；

计算模块，用于依次对所述关键帧序列中的所述关键帧进行相似度计算，确定重复关键帧对；

映射模块，用于将所述重复关键帧对映射回所述待测视频；

确认模块，用于依据映射结果，在所述待测视频中，确认视频内重复片段；

确认模块进一步包括：

获取单元，用于依据映射结果，在所述待测视频中，获取视频内预重复片段；

过滤单元，用于过滤视频内预重复片段，确认视频内重复片段；

其中，视频内预重复片段包括第一预重复片段和第二预重复片段；所述视频内重复片段包括第一重复片段和第二重复片段；

过滤单元中的过滤视频内预重复片段可以通过以下方式实现：

比较视频内预重复片段中第一预重复片段与第二预重复片段的时长；

若第一预重复片段时长较短，则判断交集时长与第一预重复片段时长比值是否小于预设的交集比值阈值，若是，则视频内预重复片段不为视频内重复片段；

若第二预重复片段时长较短，则判断交集时长与第二预重复片段时长比值是否小于预设的交集比值阈值，若是，则视频内预重复片段不为视频内重复片段；

其中，所述交集时长为，所述第一预重复片段与所述第二预重复片段交集的时长。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述视频内重复片段查找方法的步骤。

11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8任一项所述视频内重复片段查找方法的步骤。