CN114140737A - 视频重复片段的检测方法、设备及存储介质 - Google Patents

Abstract

本申请提供了一种视频重复片段的检测方法、设备及存储介质，该方法包括：获取第一视频帧序列和第二视频帧序列；分别对第一视频帧序列和第二视频帧序列进行特征提取，得到第一特征矩阵和第二特征矩阵；根据第一特征矩阵和第二特征矩阵得到第三特征矩阵，第三特征矩阵中的每个元素表示每个元素所属行对应的视频帧与所属列对应的视频帧之间的相似度；将第三特征矩阵转化为二值化图像；对二值化图像进行直线检测，以确定第一视频帧序列与第二视频帧序列之间的重复片段。从而可以提高对重复片段的检测效率。

Description

视频重复片段的检测方法、设备及存储介质

技术领域

本申请实施例涉及视频处理技术领域，尤其涉及一种视频重复片段的检测方法、设备及存储介质。

背景技术

目前为了防止视频中的某些片段被盗用或者为了降低用户对视频的某些片段的重复观看，对视频进行重复片段的检测至关重要。

现有检测视频重复片段的方法是：电子设备可以遍历两个视频帧序列的所有视频帧，并计算任意两个视频帧之间的相似度，对于相似度大于预设阈值的一组视频帧，则可以将该组视频帧确定为重复的视频帧，这些重复的视频帧构成上述两个视频帧序列的重复片段。然而，这种方法需要电子设备计算所有视频帧之间的相似度，造成电子设备计算量过大的问题，从而降低了对重复片段的检测效率。

发明内容

本申请提供一种视频重复片段的检测方法、设备及存储介质，从而可以提高对重复片段的检测效率。

第一方面，提供一种视频重复片段的检测方法，包括：获取第一视频帧序列和第二视频帧序列；分别对第一视频帧序列和第二视频帧序列进行特征提取，得到第一特征矩阵和第二特征矩阵；根据第一特征矩阵和第二特征矩阵得到第三特征矩阵，第三特征矩阵中的每个元素表示每个元素所属行对应的视频帧与所属列对应的视频帧之间的相似度；将第三特征矩阵转化为二值化图像；对二值化图像进行直线检测，以确定第一视频帧序列与第二视频帧序列之间的重复片段。

第二方面，提供一种视频重复片段的检测装置，包括：第一获取模块、特征提取模块、第一处理模块、转化模块和直线检测模块，其中，第一获取模块用于获取第一视频帧序列和第二视频帧序列；特征提取模块用于分别对第一视频帧序列和第二视频帧序列进行特征提取，得到第一特征矩阵和第二特征矩阵；第一处理模块用于根据第一特征矩阵和第二特征矩阵得到第三特征矩阵，第三特征矩阵中的每个元素表示每个元素所属行对应的视频帧与所属列对应的视频帧之间的相似度；转化模块用于将第三特征矩阵转化为二值化图像；直线检测模块用于对二值化图像进行直线检测，以确定第一视频帧序列与第二视频帧序列之间的重复片段。

第三方面，提供一种电子设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，执行如第一方面或其各实现方式中的方法。

第四方面，提供一种计算机可读存储介质，用于存储计算机程序，计算机程序使得计算机执行如第一方面或其各实现方式中的方法。

第五方面，提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行如第一方面或其各实现方式中的方法。

第六方面，提供一种计算机程序，计算机程序使得计算机执行如第一方面或其各实现方式中的方法。

通过本申请提供的技术方案，电子设备只需要对两个视频帧序列进行特征提取，得到两个特征矩阵，基于这两个特征矩阵可以得到一个表征视频帧相似度的特征矩阵，进一步地，结合该特征矩阵和直线检测方案即可确定重复片段，从而可以提高对重复片段的检测效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为霍夫直线检测的直线表示方法示意图；

图2为本申请实施例提供的一种视频重复片段的检测方法的流程图；

图3为本申请实施例提供的一种目标模型的示意图；

图4为本申请实施例提供的一种二值化图像的示意图；

图5为本申请实施例提供的另一种视频重复片段的检测方法的流程图；

图6为本申请实施例提供的另一种二值化图像的示意图；

图7为本申请实施例提供的再一种视频重复片段的检测方法的流程图；

图8为本申请实施例提供的一种视频重复片段的检测装置的示意图；

图9是本申请实施例提供的电子设备900的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在介绍本申请技术方案之前，下面先对本申请技术方案的相关知识进行说明：

一、霍夫变换：指的是在图像处理中，从图像中识别几何形状的基本方法之一，主要用来从图像中分离出具有某种相同特征的几何形状，如直线，圆等。最基本的霍夫变换是从黑白图像中检测直线或者线段。

二、霍夫直线检测：指的是通过霍夫变换来进行直线检测。其中，对于平面中的一条直线，在笛卡尔坐标系中，常见的有点斜式，两点式两种表示方法。然而在霍夫变换中，考虑的是另外一种表示方式：如图1所示，使用（r，theta）来表示一条直线，其中r为该直线到原点的距离，theta 为该直线的垂线与x轴的夹角。由于一个点可以发射出无数条直线，根据霍夫变换的直线表达形式，假设这个点为（xi，yi），则通过这个点的直线可以用（ri，theta i）表示，假设一个点为（xj，yj），则通过这个点的一系列直线可以用（rj，theta j）表示，由于两点决定一条直线，所以这两个点的直线必定有ri=rj，theta i= theta j的情况。假设有N个点，要检测这些点所在的直线，也就是要找到具体的r和theta ，对于上面所说的每个点可以通过无数条直线，这里假设为n条，则需要找到N*n个（r，theta ），对这N*n个（r，theta ），以利用统计学，统计到在theta =某个值theta _i时，多个点的r近似相等于r_i，也就是说，这N个点都在直线（r_i, theta _i）上，基于此，这条直线即为最终检测得到的直线。

三、三元组损失（Triplet loss）函数：目的是区分正输入和负输入，从基线输入到正输入的距离被最小化，而从基线输入到负输入的距离被最大化。

下面将对本申请技术方案的技术问题和发明构思进行阐述：

如上所述，现有视频重复片段的检测方法需要电子设备计算所有视频帧之间的相似度，造成电子设备计算量过大的问题，从而降低了对重复片段的检测效率。

为了解决该技术问题，本申请只需要对两个视频帧序列进行特征提取，得到两个特征矩阵，基于这两个特征矩阵可以得到一个表征视频帧之间相似度的特征矩阵，进一步地，结合该特征矩阵和直线检测方案即可确定两个视频帧序列的重复片段。

下面将对本申请技术方案进行详细阐述：

图2为本申请实施例提供的一种视频重复片段的检测方法的流程图，该方法可以由台式电脑、笔记本电脑、平板等电子设备执行，本申请对此不做限制，如图2所示，该方法包括：

S210：获取第一视频帧序列和第二视频帧序列；

S220：分别对第一视频帧序列和第二视频帧序列进行特征提取，得到第一特征矩阵和第二特征矩阵；

S230：根据第一特征矩阵和第二特征矩阵得到第三特征矩阵，第三特征矩阵中的每个元素表示每个元素所属行对应的视频帧与所属列对应的视频帧之间的相似度；

S240：将第三特征矩阵转化为二值化图像；

S250：对二值化图像进行直线检测，以确定第一视频帧序列与第二视频帧序列之间的重复片段。

在一些可实现方式中，电子设备可以获取到两个原始视频，分别对这两个原始视频进行抽帧，以得到第一视频帧序列和第二视频帧序列。其中，电子设备可以采用相同的抽帧率。

需要说明的是，上述两个原始视频的播放速率可以相同，也可以不同，例如，视频A和视频B均采用的正常播放速率，或者，视频A采用的是正常播放速率，视频B采用的是1.5倍速播放速率。基于此，如果两个原始视频的播放速率相同，并且电子设备对它们的抽帧率也相同，这时第一视频帧序列和第二视频帧序列就会包括相同数量的视频帧。如果两个原始视频的播放速率不同，并且电子设备对它们的抽帧率也相同，这时第一视频帧序列和第二视频帧序列就会包括不同数量的视频帧，例如，第一视频帧序列包括N个视频帧，第二视频帧序列包括M个视频帧，M和N均为正整数，且M不等于N。

在另一些可实现方式中，电子设备也可以直接将两个原始视频作为第一视频帧序列和第二视频帧序列，总之，本申请对第一视频帧序列和第二视频帧序列不做限制。

在一些可实现方式中，上述两个原始视频中的一个视频可以是某视频库中的视频，但不限于此。

在一些可实现方式中，电子设备可以训练一个目标模型，通过该目标模型可以对第一视频帧序列和第二视频帧序列进行特征提取，得到第一特征矩阵和第二特征矩阵。

图3为本申请实施例提供的一种目标模型的示意图，如图3所示，该目标模型包括：卷积网络层和归一化全连接层，其中，电子设备可以通过目标模型的卷积网络层分别对第一视频帧序列和第二视频帧序列进行特征提取，得到第三特征矩阵和第四特征矩阵；通过目标模型的归一化全连接层分别对第三特征矩阵和第四特征矩阵进行归一化处理，得到第一特征矩阵和第二特征矩阵。

在一些可实现方式中，该卷积网络层可以是视觉几何组（Visual GeometryGroup，VGG）、深度残差网络（ResNet）等，但不限于此。

需要说明的是，为了使得经过目标模型输出的两个特征矩阵经过处理可以得到一个表征视频帧之间的相似度，本申请可以对该目标模型采用三元组损失（Triplet loss）函数。

具体地，在本申请中，三元组损失函数的基线输入可以是一张原始图像，三元组损失函数的正输入可以是该原始图像的变换图像，该变换操作可以是旋转、加字幕、加边框等操作，但不限于此，三元组损失函数的负输入可以是与该原始图像无关的任意图像，而在本申请中，三元组损失函数中涉及的基线输入到正输入的距离可以是基线输入与正输入对应的相似度，基线输入到负输入的距离可以是基线输入与负输入对应的相似度。假设将原始图像称为第一图像，将原始图像的变换图像称为第二图像，将与原始图像无关的图像称为第三图像，下面对通过三元组损失函数计算损失的过程进行说明：

本申请实施例提供了通过三元组损失函数计算损失的过程，该过程包括：

S310：获取第一图像、第二图像和第三图像；

S320：分别将第一图像、第二图像和第三图像输入目标模型，得到第一图像、第二图像和第三图像对应的第一特征向量、第二特征向量和第三特征向量；

S330：根据第一特征向量和第二特征向量计算第一图像与第二图像的相似度，并根据第一特征向量和第三特征向量计算第一图像与第三图像的相似度；

S340：根据第一图像与第二图像的相似度，和，第一图像与第三图像的相似度，得到目标模型的损失。

应理解的是，按照上文对目标模型的定义可知，目标模型的输入可以是一张图像，输出是该图像对应的特征向量，该特征向量可以是D维特征向量，D为正整数。

在一些可实现方式中，电子设备在获取到第一图像、第二图像和第三图像分别对应的第一特征向量、第二特征向量和第三特征向量之后，可以对第二特征向量进行转置，并计算第一特征向量与转置后的第二特征向量的乘积，得到第一图像与第二图像的相似度，或者，可以对第一特征向量进行转置，并计算第二特征向量与转置后的第一特征向量的乘积，得到第一图像与第二图像的相似度。类似的，电子设备可以对第三特征向量进行转置，并计算第一特征向量与转置后的第三特征向量的乘积，得到第一图像与第三图像的相似度，或者，可以对第一特征向量进行转置，并计算第三特征向量与转置后的第一特征向量的乘积，得到第一图像与第三图像的相似度。

在一些可实现方式中，三元组损失函数可以是如下形式，但不限于此：

Triplet loss=L1+（1-L2）（1）

其中，Triplet loss表示目标模型的损失，L1表示第一图像与第二图像的相似度，L2表示第一图像与第三图像的相似度，最终得到的Triplet loss越大越好。

在一些可实现方式中，当电子设备当前得到的目标模型的损失未达到预设损失时，电子设备可以调整目标模型，并继续获取三元组图像，以训练目标模型，直到目标模型的损失可以达到预设损失，则结束。

进一步地，由上述损失函数可知，当电子设备得到训练后的目标模型后，电子设备将第一视频帧序列和第二视频帧序列输入至目标模型，所得到的第一特征矩阵和第二特征矩阵，通过对二者的处理可以得到表征视频帧之间的相似度的特征矩阵，即上述第三特征矩阵。

在一些可实现方式中，电子设备可以对第二特征矩阵进行转置，计算第一特征矩阵和转置后的第二特征矩阵的乘积，得到第三特征矩阵；或者，对第一特征矩阵进行转置，计算第二特征矩阵和转置后的第一特征矩阵的乘积，得到第三特征矩阵。

应理解的是，第一特征矩阵中每一行可以表示第一视频帧序列中的一个视频帧对应的特征向量，第二特征矩阵中每一行可以表示第二视频帧序列中的一个视频帧对应的特征向量；或者，第一特征矩阵中每一列可以表示第一视频帧序列中的一个视频帧对应的特征向量，第二特征矩阵中每一列可以表示第二视频帧序列中的一个视频帧对应的特征向量。

示例性地，假设第一视频帧序列包括N个视频帧，第二视频帧序列包括M个视频帧，假设特征向量是D维向量，若第一特征矩阵中每一行可以表示第一视频帧序列中的一个视频帧对应的特征向量，第二特征矩阵中每一行可以表示第二视频帧序列中的一个视频帧对应的特征向量，那么第一特征矩阵就是一个N*D的矩阵，第二特征矩阵就是一个M*D的矩阵。若第一特征矩阵中每一列可以表示第一视频帧序列中的一个视频帧对应的特征向量，第二特征矩阵中每一列可以表示第二视频帧序列中的一个视频帧对应的特征向量，那么第一特征矩阵就是一个D*N的矩阵，第二特征矩阵就是一个D*M的矩阵。进一步地，从第三特征矩阵的计算方式可知，第三特征矩阵应该是一个M*N或者N*M的矩阵，由此可知，对于第三特征矩阵中的第i行第j列的元素而言，其表示第i行对应的视频帧与第j行对应的视频帧之间的相似度，其中，第i行对应的视频帧与第j行对应的视频帧分别来自于第一视频帧序列和第二视频帧序列。

应理解的是，第三特征矩阵中各个元素可以是0至1之间的浮点数，因此，电子设备在对第三特征矩阵进行二值化处理时，可以将第三特征矩阵中小于预设阈值的元素转换为第一类点；将第三特征矩阵中大于或等于预设阈值的元素转换为第二类点；其中，第一类点和第二类点构成二值化图像。

在一些可实现方式中，该预设阈值可以根据实际情况设置，例如：可以取值为0.5，0.6，0.7或0.8等，本申请对此不做限制。

需要说明的是，第三特征矩阵中的各个元素与二值化图像中的各个点之间是一一对应关系，且排布方式完全相同。

示例性地，图4为本申请实施例提供的一种二值化图像的示意图，如图4所示，假设第三特征矩阵是10*10的矩阵，因此，二值化图像中应该包括100个点，示意性地，图4中黑点所表示的是第二类点，白点所表示的是第一类点。

在一些可实现方式中，电子设备在得到二值化图像之后，其可以采用霍夫直线检测方法对第二类点进行直线检测，当然，电子设备也可以采用其他直线检测方法来对第二类点进行直线检测，本申请对此不做限制。

应理解的是，电子设备对第二类点进行直线检测时，可能未检测到由多个第二类点确定的直线，也可能检测到了一条或者多条由多个第二类点确定的直线，其中，通常情况下，如果第一视频序列与第二视频序列存在一个或者多个重复片段时，这些重复片段在二值化图像中对应的应该是一条直线，这是因为第一视频序列与第二视频序列对应的视频抽帧率和播放速率一定，基于此，该直线与预设坐标轴，如X轴的正方向的夹角是一定的，例如：假设第一视频序列与第二视频序列对应的视频抽帧率相同，播放速率也相同，那么该直线与X轴的正方向的夹角应该是45度，但是当存在异常重复频段时，比如：第一视频帧序列中的第3帧是黑屏画面，而第二视频帧中连续出现了多帧黑屏画面，如果按照本申请提供的技术方案第3帧黑屏画面与这些连续出现的多帧黑屏画面之间的相似度都很高，基于此，二值化图像中存在一些第二类点，它们构成的直线可能与X轴的正方向的夹角是90度或者0度。

在一些可实现方式中，当电子设备未检测到由多个第二类点确定的直线时，说明第一视频帧序列与第二视频帧序列之间不存在重复片段。当电子设备检测到经过多个第二类点的直线时，电子设备可以进一步地根据相邻两个第二类点的距离来确定第一视频帧序列与第二视频帧序列之间的重复片段。

综上，在本申请中，电子设备只需要对两个视频帧序列进行特征提取，得到两个特征矩阵，基于这两个特征矩阵可以得到一个表征视频帧相似度的特征矩阵，进一步地，结合该特征矩阵和直线检测方案即可确定重复片段，从而可以提高检测效率。

图5为本申请实施例提供的另一种视频重复片段的检测方法的流程图，该方法可以由台式电脑、笔记本电脑、平板等电子设备执行，本申请对此不做限制，如图5所示，该方法包括：

S510：获取第一视频帧序列和第二视频帧序列；

S520：分别对第一视频帧序列和第二视频帧序列进行特征提取，得到第一特征矩阵和第二特征矩阵；

S530：根据第一特征矩阵和第二特征矩阵得到第三特征矩阵，第三特征矩阵中的每个元素表示每个元素所属行对应的视频帧与所属列对应的视频帧之间的相似度；

S540：将第三特征矩阵转化为二值化图像；

S550：对二值化图像中的第二类点进行直线检测；

S560：若检测到经过至少两个第二类点的直线，则确定直线上的相邻两个第二类点的距离；

S570：根据直线上的相邻两个第二类点的距离，确定第一视频帧序列与第二视频帧序列之间的重复片段。

应理解的是，S510至S540与S210至S240相同，其解释说明可参考关于S210至S240的解释说明，本申请对此不再赘述。

下面对S550至S570进行说明：

如上所述，电子设备在得到二值化图像之后，其可以采用霍夫直线检测方法对第二类点进行直线检测，当然，电子设备也可以采用其他直线检测方法来对第二类点进行直线检测，本申请对此不做限制。

应理解的是，假设存在两个视频帧对，这两个视频帧对中的每个视频帧对包括的两个视频帧都相似，而这两个视频帧对之间不存在其他相似的视频帧对，那么从上述二值化图像的意义可知，这两个视频帧对在二值化图像中对应的是相邻两个第二类点，该相邻两个第二类点的距离表征的则是这两个视频帧对之间的距离。

示例性地，图6为本申请实施例提供的另一种二值化图像的示意图，图6中黑点所表示的是第二类点，白点所表示的是第一类点，从图6可知，第一视频序列中的视频帧1与第二视频序列中的视频帧1相似，第一视频序列中的视频帧2与第二视频序列中的视频帧2相似，第一视频序列中的视频帧3与第二视频序列中的视频帧3相似，第一视频序列中的视频帧5与第二视频序列中的视频帧5相似，第一视频序列中的视频帧6与第二视频序列中的视频帧6相似，第一视频序列中的视频帧9与第二视频序列中的视频帧9相似，第一视频序列中的视频帧10与第二视频序列中的视频帧10相似，那么第二类点i与第二类点j之间的距离表征的则是由第一视频序列中的视频帧i与第二视频序列中的视频帧i构成的视频帧对与由第一视频序列中的视频帧j与第二视频序列中的视频帧j构成的视频帧对之间的距离。

应理解的是，通过本申请技术方案进行重复片段检测时，可能会出现如下的误判情况，例如：如图6所示，第一视频序列中的视频帧1与第二视频序列中的视频帧1相似，第一视频序列中的视频帧2与第二视频序列中的视频帧2相似，第一视频序列中的视频帧3与第二视频序列中的视频帧3相似，第一视频序列中的视频帧5与第二视频序列中的视频帧5相似，第一视频序列中的视频帧6与第二视频序列中的视频帧6相似，但是第一视频序列中的视频帧4与第二视频序列中的视频帧4不相似，这种情况可能是因为误判导致的，使得二值化图像出现了【第二类点1，第二类点3】以及【第二类点5，第二类点6】的残断区间，为了，在本申请中，电子设备可以对经过至少两个第二类点的直线上的一些线段进行合并，具体可通过如下可实现方式实现，但不限于此。

可实现方式一，电子设备可以将直线上距离小于预设距离的相邻两个第二类点划分为一组，其中，位于同一组中最右端的第二类点与最左端的第二类点构成第一线段；进一步地，电子设备可以将每条第一线段对应的第一视频帧序列中的视频片段和第一视频帧序列中的视频片段确定为重复片段。

示例性地，如图6所示，假设图6所示的直线上第二类点1与第二类点2的距离、第二类点2与第二类点3的距离、第二类点3与第二类点5的距离、第二类点5与第二类点6的距离均小于预设距离，而第二类点6与第二类点9的距离大于预设距离，第二类点9与第二类点10的距离小于预设距离，因此，电子设备可以将第二类点1与第二类点2划分为一组、第二类点2与第二类点3划分为一组、第二类点3与第二类点5划分为一组、第二类点5与第二类点6划分为一组、第二类点9与第二类点10划分为一组，也就是说，第二类点1、第二类点2、第二类点3、第二类点5、第二类点6被划分为一组，第二类点9与第二类点10被划分为一组，对应第二类点1、第二类点2、第二类点3、第二类点5、第二类点6构成的组，其左端点是第二类点1，右端点是第二类点6，因此，以第二类点1和第二类点6分别为左右两个端点，构成一条第一线段，基于此，电子设备可以将该第一线段对应的第一视频帧序列中的视频片段（即第一视频帧中视频帧1-6）和第二视频帧序列中的视频片段（即第二视频帧中视频帧1-6）确定为重复片段。类似的，以第二类点9和第二类点10分别为左右两个端点，构成另一条第一线段，基于此，电子设备可以将该第一线段对应的第一视频帧序列中的视频片段（即第一视频帧中视频帧9-10）和第二视频帧序列中的视频片段（即第二视频帧中视频帧9-10）确定为重复片段。

可实现方式二，电子设备可以将直线上距离小于预设距离的相邻两个第二类点划分为一组，其中，位于同一组中最右端的第二类点与最左端的第二类点构成第一线段；进一步地，电子设备可以在至少一个第一线段中选择长度大于预设长度的至少一个第二线段；将每条第二线段对应的第一视频帧序列中的视频片段和第一视频帧序列中的视频片段确定为重复片段。

示例性地，如图4所示，假设图4所示的直线上第二类点1与第二类点2的距离、第二类点2与第二类点3的距离、第二类点3与第二类点5的距离、第二类点5与第二类点6的距离均小于预设距离，而第二类点6与第二类点9的距离大于预设距离，第二类点9与第二类点10的距离小于预设距离，因此，电子设备可以将第二类点1与第二类点2划分为一组、第二类点2与第二类点3划分为一组、第二类点3与第二类点5划分为一组、第二类点5与第二类点6划分为一组、第二类点9与第二类点10划分为一组，也就是说，第二类点1、第二类点2、第二类点3、第二类点5、第二类点6被划分为一组，第二类点9与第二类点10被划分为一组，对应第二类点1、第二类点2、第二类点3、第二类点5、第二类点6构成的组，其左端点是第二类点1，右端点是第二类点6，因此，以第二类点1和第二类点6分别为左右两个端点，构成一条第一线段，假设该第一线段的长度大于预设长度，基于此，电子设备可以将该第一线段对应的第一视频帧序列中的视频片段（即第一视频帧中视频帧1-6）和第二视频帧序列中的视频片段（即第二视频帧中视频帧1-6）确定为重复片段。类似的，以第二类点9和第二类点10分别为左右两个端点，构成另一条第一线段，假设该第一线段的长度小于预设长度，基于此，电子设备不会将该第一线段对应的第一视频帧序列中的视频片段（即第一视频帧中视频帧9-10）和第二视频帧序列中的视频片段（即第二视频帧中视频帧9-10）确定为重复片段。

应理解的是，通过本申请技术方案进行重复片段检测时，可能会出现如下的误判情况，例如：如图4所示，第一视频序列中的视频帧7与第二视频序列中的视频帧7不相似，第一视频序列中的视频帧8与第二视频序列中的视频帧8不相似，但是第一视频序列中的视频帧9与第二视频序列中的视频帧9相似，第一视频序列中的视频帧10与第二视频序列中的视频帧10相似，甚至第一视频序列中的视频帧10之后的视频帧与第二视频序列中的视频帧10之后的视频帧也不相似，这种情况可能是因为误判导致的，使得二值化图像出现了【第二类点9，第二类点10】的离散区间，为了降低这种离散区间出现的概率，在本申请中，电子设备可以对这类区间进行丢弃，即采用上述可实现方式二进行实现。

在本申请中，电子设备可以通过设置相邻两个第二类点之间的预设距离，来对直线上的一些线段进行合并，从而可以降低直线上的残断区间的出现，而残断区间一般是由于误判造成的，因此通过本申请提供的技术方案可以提高对重复片段检测的准确度。进一步地，电子设备还可以设置第一线段对应的预设长度，来对小于预设长度的第一线段进行丢弃，而小于预设长度的第一线段，也就是这些离散区间一般也是由于误判造成的，因此通过本申请提供的技术方案可以提高对重复片段检测的准确度。

图7为本申请实施例提供的再一种视频重复片段的检测方法的流程图，该方法可以由台式电脑、笔记本电脑、平板等电子设备执行，本申请对此不做限制，如图7所示，该方法包括：

S710：获取第一视频帧序列和第二视频帧序列；

S720：分别对第一视频帧序列和第二视频帧序列进行特征提取，得到第一特征矩阵和第二特征矩阵；

S730：根据第一特征矩阵和第二特征矩阵得到第三特征矩阵，第三特征矩阵中的每个元素表示每个元素所属行对应的视频帧与所属列对应的视频帧之间的相似度；

S740：将第三特征矩阵转化为二值化图像；

S750：对二值化图像中的第二类点进行直线检测；

S760：若检测到经过至少两个第二类点的直线，则判断直线与预设坐标轴之间的夹角是否在预设夹角范围内；

S770：若直线与预设坐标轴之间的夹角在预设夹角范围内，则确定直线上的相邻两个第二类点的距离；

S780：根据直线上的相邻两个第二类点的距离，确定第一视频帧序列与第二视频帧序列之间的重复片段。

应理解的是，S710至S740与S210至S240相同，其解释说明可参考关于S210至S240的解释说明，S780与S570相同，其解释说明可参考关于S570的解释说明，本申请对此不再赘述。

下面对S760至S770进行说明：

应理解的是，通常情况下，如果第一视频序列与第二视频序列存在一个或者多个重复片段时，这些重复片段在二值化图像中对应的应该是一条直线，这是因为第一视频序列与第二视频序列对应的视频抽帧率和播放速率一定，基于此，该直线与预设坐标轴，如X轴的正方向的夹角是一定的，例如：假设第一视频序列与第二视频序列对应的视频抽帧率相同，播放速率也相同，那么该直线与X轴的正方向的夹角应该是45度，或者，第一视频序列对应的视频A采用的是正常播放速率，第二视频序列对应的视频B采用的是1.5倍速播放速率，那么该直线与X轴的正方向的夹角可能大于45度，但是当存在异常重复频段时，比如：第一视频帧序列中的第3帧是黑屏画面，而第二视频帧中连续出现了多帧黑屏画面，如果按照本申请提供的技术方案第3帧黑屏画面与这些连续出现的多帧黑屏画面之间的相似度都很高，基于此，二值化图像中存在一些第二类点，它们构成的直线可能与X轴的正方向的夹角是90度或者0度，基于该直线可能确定除了重复片段，但是该重复片段并不是通常意义上的重复片段。基于此，为了降低对重复片段的误判情况，本申请可以限制直线角度，若直线与预设坐标轴之间的夹角在预设夹角范围内，则确定直线上的相邻两个第二类点的距离，并根据直线上的相邻两个第二类点的距离，确定第一视频帧序列与第二视频帧序列之间的重复片段，否则，则不会基于该直线确定重复片段。

在一些可实现方式中，该预设坐标轴可以是X轴正方向，该预设夹角范围可以是【30度，60度】或者是（0度，90度）等，本申请对此不做限制。

在本申请中，电子设备可以设置第二类点所在直线与预设坐标轴之间的夹角对应的预设夹角，若直线与预设坐标轴之间的夹角在预设夹角范围内，电子设备才会进一步地确定重复片段，否则，则不会基于该直线确定重复片段，从而可以对一些异常重复片段进行摒弃，进而提高对重复片段检测的准确度。

图8为本申请实施例提供的一种视频重复片段的检测装置的示意图，如图8所示，该装置包括：

第一获取模块801，用于获取第一视频帧序列和第二视频帧序列；

特征提取模块802，用于分别对第一视频帧序列和第二视频帧序列进行特征提取，得到第一特征矩阵和第二特征矩阵；

第一处理模块803，用于根据第一特征矩阵和第二特征矩阵得到第三特征矩阵，第三特征矩阵中的每个元素表示每个元素所属行对应的视频帧与所属列对应的视频帧之间的相似度；

转化模块804，用于将第三特征矩阵转化为二值化图像；

直线检测模块805，用于对二值化图像进行直线检测，以确定第一视频帧序列与第二视频帧序列之间的重复片段。

在一些可实现方式中，转化模块804具体用于：将第三特征矩阵中小于预设阈值的元素转换为第一类点；将第三特征矩阵中大于或等于预设阈值的元素转换为第二类点；其中，第一类点和第二类点构成二值化图像。

在一些可实现方式中，直线检测模块805具体用于：对二值化图像中的第二类点进行直线检测，以确定第一视频帧序列与第二视频帧序列之间的重复片段。

在一些可实现方式中，直线检测模块805具体用于：对二值化图像中的第二类点进行直线检测；若检测到经过至少两个第二类点的直线，则确定直线上的相邻两个第二类点的距离；根据直线上的相邻两个第二类点的距离，确定第一视频帧序列与第二视频帧序列之间的重复片段。

在一些可实现方式中，直线检测模块805具体用于：对二值化图像中的第二类点进行直线检测；若检测到经过至少两个第二类点的直线，则判断直线与预设坐标轴之间的夹角是否在预设夹角范围内；若直线与预设坐标轴之间的夹角在预设夹角范围内，则确定直线上的相邻两个第二类点的距离；根据直线上的相邻两个第二类点的距离，确定第一视频帧序列与第二视频帧序列之间的重复片段。

在一些可实现方式中，直线检测模块805具体用于：将直线上距离小于预设距离的相邻两个第二类点划分为一组，其中，位于同一组中最右端的第二类点与最左端的第二类点构成第一线段；根据至少一个第一线段，确定第一视频帧序列与第二视频帧序列之间的重复片段。

在一些可实现方式中，直线检测模块805具体用于：在至少一个第一线段中选择长度大于预设长度的至少一个第二线段；将每条第二线段对应的第一视频帧序列中的视频片段和第一视频帧序列中的视频片段确定为重复片段。

在一些可实现方式中，特征提取模块802具体用于：通过目标模型的卷积网络层分别对第一视频帧序列和第二视频帧序列进行特征提取，得到第三特征矩阵和第四特征矩阵；通过目标模型的归一化全连接层分别对第三特征矩阵和第四特征矩阵进行归一化处理，得到第一特征矩阵和第二特征矩阵。

在一些可实现方式中，装置还包括：

第二获取模块806，用于获取第一图像、第一图像变换后的第二图像和与第一图像无关的第三图像；

第二处理模块807，用于分别将第一图像、第二图像和第三图像输入目标模型，得到第一图像、第二图像和第三图像对应的第一特征向量、第二特征向量和第三特征向量；

计算模块808，用于根据第一特征向量和第二特征向量计算第一图像与第二图像的相似度，并根据第一特征向量和第三特征向量计算第一图像与第三图像的相似度；

第三处理模块809，用于根据第一图像与第二图像的相似度，和，第一图像与第三图像的相似度，得到目标模型的损失。

在一些可实现方式中，第一处理模块803具体用于：对第二特征矩阵进行转置，计算第一特征矩阵和转置后的第二特征矩阵的乘积，得到第三特征矩阵；或者，对第一特征矩阵进行转置，计算第二特征矩阵和转置后的第一特征矩阵的乘积，得到第三特征矩阵。

应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图8所示的装置可以执行上述方法实施例，并且装置中的各个模块的前述和其它操作和/或功能分别为了实现上述各个方法中的相应流程，为了简洁，在此不再赘述。

上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

图9是本申请实施例提供的电子设备900的示意性框图。

如图9所示，该电子设备900可包括：

存储器910和处理器920，该存储器910用于存储计算机程序，并将该程序代码传输给该处理器920。换言之，该处理器920可以从存储器910中调用并运行计算机程序，以实现本申请实施例中的方法。

例如，该处理器920可用于根据该计算机程序中的指令执行上述方法实施例。

在本申请的一些实施例中，该处理器920可以包括但不限于：

通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

在本申请的一些实施例中，该存储器910包括但不限于：

易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器（Read-Only Memory，ROM）、可编程只读存储器（Programmable ROM，PROM）、可擦除可编程只读存储器（Erasable PROM，EPROM）、电可擦除可编程只读存储器（Electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（Random Access Memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，SRAM）、动态随机存取存储器（Dynamic RAM，DRAM）、同步动态随机存取存储器（Synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（Double DataRate SDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（Enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synch link DRAM，SLDRAM）和直接内存总线随机存取存储器（Direct Rambus RAM，DR RAM）。

在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器910中，并由该处理器920执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备中的执行过程。

如图9所示，该电子设备还可包括：

收发器930，该收发器930可连接至该处理器920或存储器910。

其中，处理器920可以控制该收发器930与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器930可以包括发射机和接收机。收发器930还可以进一步包括天线，天线的数量可以为一个或多个。

应当理解，该电子设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。

当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（digital subscriber line，DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如数字视频光盘（digital video disc，DVD））、或者半导体介质（例如固态硬盘（solid state disk，SSD））等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

以上该，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (13)

1.一种视频重复片段的检测方法，其特征在于，包括：

获取第一视频帧序列和第二视频帧序列；

分别对所述第一视频帧序列和所述第二视频帧序列进行特征提取，得到第一特征矩阵和第二特征矩阵；

根据所述第一特征矩阵和所述第二特征矩阵得到第三特征矩阵，所述第三特征矩阵中的每个元素表示所述每个元素所属行对应的视频帧与所属列对应的视频帧之间的相似度；

将所述第三特征矩阵转化为二值化图像；

对所述二值化图像进行直线检测，以确定所述第一视频帧序列与所述第二视频帧序列之间的重复片段。

2.根据权利要求1所述的方法，其特征在于，所述将所述第三特征矩阵转化为二值化图像，包括：

将所述第三特征矩阵中小于预设阈值的元素转换为第一类点；

将所述第三特征矩阵中大于或等于所述预设阈值的元素转换为第二类点；

其中，所述第一类点和所述第二类点构成所述二值化图像。

3.根据权利要求2所述的方法，其特征在于，所述对所述二值化图像进行直线检测，以确定所述第一视频帧序列与所述第二视频帧序列之间的重复片段，包括：

对所述二值化图像中的所述第二类点进行直线检测，以确定所述第一视频帧序列与所述第二视频帧序列之间的重复片段。

4.根据权利要求3所述的方法，其特征在于，所述对所述二值化图像中的所述第二类点进行直线检测，以确定所述第一视频帧序列与所述第二视频帧序列之间的重复片段，包括：

对所述二值化图像中的所述第二类点进行直线检测；

若检测到经过至少两个所述第二类点的直线，则确定所述直线上的相邻两个第二类点的距离；

根据所述直线上的相邻两个第二类点的距离，确定所述第一视频帧序列与所述第二视频帧序列之间的重复片段。

5.根据权利要求3所述的方法，其特征在于，所述对所述二值化图像中的所述第二类点进行直线检测，以确定所述第一视频帧序列与所述第二视频帧序列之间的重复片段，包括：

对所述二值化图像中的所述第二类点进行直线检测；

若检测到经过至少两个所述第二类点的直线，则判断所述直线与预设坐标轴之间的夹角是否在预设夹角范围内；

若所述直线与预设坐标轴之间的夹角在所述预设夹角范围内，则确定所述直线上的相邻两个第二类点的距离；

根据所述直线上的相邻两个第二类点的距离，确定所述第一视频帧序列与所述第二视频帧序列之间的重复片段。

6.根据权利要求4或5所述的方法，其特征在于，所述根据所述直线上的相邻两个所述第二类点的距离，确定所述第一视频帧序列与所述第二视频帧序列之间的重复片段，包括：

将所述直线上距离小于预设距离的相邻两个第二类点划分为一组，其中，位于同一组中最右端的第二类点与最左端的第二类点构成第一线段；

根据至少一个所述第一线段，确定所述第一视频帧序列与所述第二视频帧序列之间的重复片段。

7.根据权利要求6所述的方法，其特征在于，所述根据至少一个所述第一线段，确定所述第一视频帧序列与所述第二视频帧序列之间的重复片段，包括：

在至少一个所述第一线段中选择长度大于预设长度的至少一个第二线段；

将每条所述第二线段对应的所述第一视频帧序列中的视频片段和所述第一视频帧序列中的视频片段确定为重复片段。

8.根据权利要求1-5任一项所述的方法，其特征在于，所述分别对所述第一视频帧序列和所述第二视频帧序列进行特征提取，得到第一特征矩阵和第二特征矩阵，包括：

通过目标模型的卷积网络层分别对所述第一视频帧序列和所述第二视频帧序列进行特征提取，得到第三特征矩阵和第四特征矩阵；

通过所述目标模型的归一化全连接层分别对所述第三特征矩阵和所述第四特征矩阵进行归一化处理，得到所述第一特征矩阵和所述第二特征矩阵。

9.根据权利要求8所述的方法，其特征在于，还包括：

获取第一图像、所述第一图像变换后的第二图像和与所述第一图像无关的第三图像；

分别将所述第一图像、所述第二图像和所述第三图像输入所述目标模型，得到所述第一图像、所述第二图像和所述第三图像对应的第一特征向量、第二特征向量和第三特征向量；

根据所述第一特征向量和所述第二特征向量计算所述第一图像与所述第二图像的相似度，并根据所述第一特征向量和所述第三特征向量计算所述第一图像与所述第三图像的相似度；

根据第一图像与所述第二图像的相似度，和，所述第一图像与所述第三图像的相似度，得到所述目标模型的损失。

10.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述第一特征矩阵和所述第二特征矩阵得到第三特征矩阵，包括：

对所述第二特征矩阵进行转置，计算所述第一特征矩阵和转置后的所述第二特征矩阵的乘积，得到所述第三特征矩阵；或者，

对所述第一特征矩阵进行转置，计算所述第二特征矩阵和转置后的所述第一特征矩阵的乘积，得到所述第三特征矩阵。

11.一种视频重复片段的检测装置，其特征在于，包括：

第一获取模块，用于获取第一视频帧序列和第二视频帧序列；

特征提取模块，用于分别对所述第一视频帧序列和所述第二视频帧序列进行特征提取，得到第一特征矩阵和第二特征矩阵；

第一处理模块，用于根据所述第一特征矩阵和所述第二特征矩阵得到第三特征矩阵，所述第三特征矩阵中的每个元素表示所述每个元素所属行对应的视频帧与所属列对应的视频帧之间的相似度；

转化模块，用于将所述第三特征矩阵转化为二值化图像；

直线检测模块，用于对所述二值化图像进行直线检测，以确定所述第一视频帧序列与所述第二视频帧序列之间的重复片段。

12.一种电子设备，其特征在于，包括：

处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至10中任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至10中任一项所述的方法。

Images