CN112437344A - 一种视频匹配方法及终端 - Google Patents

Abstract

本发明公开一种视频匹配方法及终端，从第一视频提取第一图像帧序列；从第二视频提取与所述第一图像帧序列对应的第二图像帧序列，所述第二图像帧序列中的每一张第二图像帧与其对应的第一图像帧序列中的每一张第一图像帧的时间点相同；将每一张第一图像帧与其对应的第二图像帧进行比较，得到所述第一视频与所述第二视频的第一相似度，不仅降低了人工匹配视频内容的成本，提高了匹配视频内容的速度，保证了视频时间轴对齐同步的精度和播放速度的一致性，在为不同权限的用户切换不同清晰度的视频时，能够轻易地从从海量视频中高效准确地匹配出内容相同的视频，使其版本一致、时间轴同步、播放速度一致。

Description

一种视频匹配方法及终端

技术领域

本发明涉及视频处理领域，尤其涉及一种视频匹配方法及终端。

背景技术

用户在点播歌曲时，同一个歌曲视频会有不同类型的清晰度，比如普通、高清和超清。但目前海量的歌曲视频中，存在三个问题：1.有部分歌曲尽管歌手与歌名相同，视频版本却不同，有些为MV版本，有些为演唱会版本，因此即使歌名是同一首歌，但视频内容却大相径庭；2.还有部分歌曲版本一致，但同一时间点内容不同，前后存在时间差，这就需要不同清晰度适配不同字幕文件；3.由于歌曲文件来源不同，不同来源的视频文件在压制剪辑过程中，可能会导致同一首歌播放速度有了细微的差距，也就是歌曲一开始是对齐的，越到后面时间差越多。

传统视频匹配方案需要人工浏览视频文件，判断版本是否一致、时间点是否同步，匹配时间较长，且时间点同步判断上具有一定的人为误差。而播放速度有细微区别，人工很难发现。但是，字幕与评分文件又对播放速度的一致性有极高的精度要求。

发明内容

本发明所要解决的技术问题是：提供一种视频匹配方法及终端，能从海量视频中高效准确地匹配出内容相同的视频。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种视频匹配方法，包括步骤：

从第一视频提取第一图像帧序列；

从第二视频提取与所述第一图像帧序列对应的第二图像帧序列，所述第二图像帧序列中的每一张第二图像帧与其对应的第一图像帧序列中的每一张第一图像帧的时间点相同；

将每一张第一图像帧与其对应的第二图像帧进行比较，得到所述第一视频与所述第二视频的第一相似度。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种视频匹配终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种视频匹配方法中的各个步骤。

本发明的有益效果在于：分别从第一视频和第二视频提取时间点一一对应的第一图像帧序列和第二图像帧序列，将每一张第一图像帧与其对应的第二图像帧进行比较，得到所述第一视频与所述第二视频的相似度，通过一段时间范围内的不同时间点对应的多张图像帧的比较来确定两个视频的相似度，不仅降低了人工匹配视频内容的成本，提高了匹配视频内容的速度，而且提高了视频时间轴匹配和播放速度匹配的精度，进行比对的是多个时间点对应的第一图像帧与第二图像帧，即使两个视频时间上相差很小，通过多个时间点的图像帧的比对，也能够敏锐地确定出两个视频播放速度上的些许差别，保证了视频时间轴对齐同步的精度和播放速度的一致性。在为不同权限的用户切换不同清晰度的视频时，能够轻易地从海量视频中高效准确地匹配出内容相同的视频，使其版本一致、时间轴同步、播放速度一致。

附图说明

图1为本发明实施例的一种视频匹配方法的步骤流程图；

图2为本发明实施例的一种视频匹配终端的结构示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，一种视频匹配方法，包括步骤：

从第一视频提取第一图像帧序列；

从第二视频提取与所述第一图像帧序列对应的第二图像帧序列，所述第二图像帧序列中的每一张第二图像帧与其对应的第一图像帧序列中的每一张第一图像帧的时间点相同；

将每一张第一图像帧与其对应的第二图像帧进行比较，得到所述第一视频与所述第二视频的第一相似度。

由上述描述可知，本发明的有益效果在于：分别从第一视频和第二视频提取时间点一一对应的第一图像帧序列和第二图像帧序列，将每一张第一图像帧与其对应的第二图像帧进行比较，得到所述第一视频与所述第二视频的相似度，通过一段时间范围内的不同时间点对应的多张图像帧的比较来确定两个视频的相似度，不仅降低了人工匹配视频内容的成本，提高了匹配视频内容的速度，而且提高了视频时间轴匹配和播放速度匹配的精度，进行比对的是多个时间点对应的第一图像帧与第二图像帧，即使两个视频时间上相差很小，通过多个时间点图像帧的比对，也能够敏锐地确定出两个视频播放速度上的些许差别，保证了视频时间轴对齐同步的精度和播放速度的一致性。在为不同权限的用户切换不同清晰度的视频时，能够轻易地从海量视频中高效准确地匹配出内容相同的视频，使其版本一致、时间轴同步、播放速度一致。

进一步的，在对所述第一视频和所述第二视频进行图像帧提取之前，分别在所述第一视频和所述第二视频的开头排除前预设时间段的视频片段以及在所述第一视频和所述第二视频的结尾排除后预设时间段的视频片段。

由上述描述可知，由于大部分视频前后会出现全黑屏的画面，对于视频相似度的比对没有帮助，反而会引入误差，所以在进行比对前，先将第一视频和第二视频的前后出现全黑屏的画面进行排除，不仅避免做无谓的比对，而且也能够提高视频匹配的准确度。

进一步的，还包括步骤：

对提取的每一图像帧进行去黑边处理：

将所述图像帧进行二值化处理；

从上至下逐行扫描所述二值化处理后的图像帧直至扫描到出现不为零的像素点的行，裁剪所述出现不为零的像素点的行以上的部分；

从下至上逐行扫描所述二值化处理后的图像帧直至扫描到出现不为零的像素点的行，裁剪所述出现不为零的像素点的行以下的部分；

将去黑边处理后的每一图像帧的图像尺寸变换为预设图像尺寸；

所述图像帧包括第一图像帧和第二图像帧。

由上述描述可知，通常播放的视频的每一图像帧的上下均具有黑边，不仅增加进行比对的工作量，而且通过对黑边的计算也会对视频相似度的精度造成影响，因此，在进行相似度比对之前先进行去黑边处理，不仅降低了工作量，而且进一步提高了视频匹配的精度，在进行去黑边处理时，先对图像帧进行二值化处理，再对二值化后的图像帧进行自上而下和自下而上的逐行扫描，能够快速准确的确定出上下黑边的范围；由于裁剪掉上下黑边后图像帧的尺寸会发生变化，这可能造成不同图像帧的尺寸不一致，通过对裁剪掉黑边后的图像帧进行图像尺寸的变换，保证了进行比对的两张图像帧尺寸的一致性，方便比对，提高比对速度。

进一步的，所述将每一张第一图像帧与其对应的第二图像帧进行比较，得到所述第一视频与所述第二视频的第一相似度包括：

将每一张第一图像帧与其对应的第二图像帧进行比较，得到一一对应的第一图像帧和第二图像帧之间的图像结构相似度；

将所有一一对应的第一图像帧和第二图像帧之间的图像结构相似度求和取平均，得到所述第一视频与所述第二视频的第一相似度。

由上述描述可知，通过对第一图像帧序列中的每一张第一图像帧和与其对应的第二图像帧序列中的每一张第二图像帧图像结构相似度的计算，然后将所有相似度取平均作为第一视频和第二视频的相似度，通过多张视频帧的相似度计算并统计获取平均值，保证了所计算出的相似度的准确性，从而提高了视频匹配的精确度。

进一步的，所述将每一张第一图像帧与其对应的第二图像帧进行比较，得到一一对应的第一图像帧和第二图像帧之间的图像结构相似度包括：

分别将每一张图像帧根据RGB通道分离成三张通道图像，所述图像帧包括第一图像帧和第二图像帧；

对于一一对应的每一张第一图像帧和第二图像帧各自对应的每一张通道图像，计算预设滑动窗口内的两张对应的通道图像之间的局部结构相似度，以像素为单位进行窗口的滑动直至每一张通道图像的每个像素处的局部结构相似度均计算完毕，将两张对应的通道图像之间的所有局部结构相似度求和取平均，得到一一对应的每一张第一图像帧和第二图像帧各自对应的每一张通道图像之间的结构相似度；

将一一对应的每一张第一图像帧和第二图像帧各自对应的每一张通道图像之间的结构相似度求和取平均，得到一一对应的第一图像帧和第二图像帧之间的图像结构相似度。

由上述描述可知，先通过对提取的每一张图像帧基于RGB信道进行分解，得到各个通道图像，接着通过滑动窗计算一一对应的通道图像之间的所有局部结构相似度，然后将所有局部结构相似度求和取平均作为一一对应的通道图像之间的结构相似度，最后对所有一一对应的通道图像之间的结构相似度求和取平均，作为一一对应的第一图像帧和第二图像帧之间的图像结构相似度，保证了所计算出来的图像结构相似度的准确性，进一步提高了图像匹配的精确度。

进一步的，所述将两张对应的通道图像之间的所有局部结构相似度求和取平均，得到一一对应的每一张第一图像帧和第二图像帧各自对应的每一张通道图像之间的结构相似度包括：

排除两张对应的通道图像之间的所有局部结构相似度中的异常值，将其余局部结构相似度求和取平均，得到一一对应的每一张第一图像帧和第二图像帧各自对应的每一张通道图像之间的结构相似度。

由上述描述可知，由于不同视频的来源可能不同，制作方会在视频上打上公司标识，当标识超过一定大小后，会影响视频相似度的判别，因此，在计算一一对应的通道图像之间的结构相似度时，先排除一一对应的通道图像之间结构相似度中由于上述原因造成的异常值，避免异常值的存在对视频相似度计算造成干扰，影响视频匹配结果，进一步提高了视频匹配的精确度。

进一步的，所述排除两张对应的通道图像之间的所有局部结构相似度中的异常值包括：

计算两张对应的通道图像之间的所有局部结构相似度对应的均值和标准差；

将两张对应的通道图像之间的每一个局部结构相似度与所述均值做比较，若存在与所述均值的差值大于所述标准差的三倍的第一局部结构相似度，并且超过预设数量的其它一一对应的第一图像帧和第二图像帧之间与所述第一局部结构相似度对应的相同位置处，其局部结构相似度与其对应的均值的差值大于其对应的标准差的三倍，则删除所述第一局部结构相似度。

由上述描述可知，根据公司标识的存在具有位置固定的特点，符合正态分布，因此，基于正态分布的一元离群值检测方法能够快速准确地确定出异常值。

进一步的，还包括步骤：

判断所述第一相似度是否大于第一预设值，若是，所述第一视频和第二视频相似。

由上述描述可知，通过设定一预设值，如果所计算出第一视频和第二视频的相似度大于第一预设值，则确定两个视频相似，通过阈值的设定能够简便、快速的对视频间的相似度进行判断。

进一步的，还包括：

若所述第一相似度小于或等于所述第一预设值，判断所述第一相似度是否属于第一预设区间，若是，分别从所述第一视频提取与所述第一图像帧序列具有不同时间点的第三图像帧序列和从所述第二视频提取与所述第三图像帧序列对应的第四图像帧序列；

根据所述第三图像帧序列和所述第四图像帧序列计算所述第一视频和第二视频的第二相似度；

所述第二相似度的计算方式与所述第一相似度的计算方式相同；

判断所述第二相似度是否大于所述第一预设值，若是，所述第一视频和所述第二视频相似，否则，所述第一视频和第二视频不相似。

由上述描述可知，当计算出的两个视频间的相似度不满足判断为相似的条件时，同时第一相似度的值有满足一定范围时，进一步从要比较的两个视频中提取出与第一次比较不同时间点的图像帧序列进行重新计算两个视频的相似度，若重新计算后的相似度大于第一预设值，则确定两个视频相似，当首次计算不满足两个视频相似的条件时，重新提取图像帧，再次进行相似度计算和判断，通过连续两次的提取、计算和判断，进一步保证了视频匹配的精确性。

请参照图2，一种视频匹配终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种视频匹配方法中的各个步骤。

从上述描述可知，本发明的有益效果在于：分别从第一视频和第二视频提取时间点一一对应的第一图像帧序列和第二图像帧序列，将每一张第一图像帧与其对应的第二图像帧进行比较，得到所述第一视频与所述第二视频的相似度，通过一段时间范围内的不同时间点对应的多张图像帧的比较来确定两个视频的相似度，不仅降低了人工匹配视频内容的成本，提高了匹配视频内容的速度，而且提高了视频时间轴匹配和播放速度匹配的精度，进行比对的是多个时间点对应的第一图像帧与第二图像帧，即使两个视频时间上相差很小，通过多个时间点图像帧的比对，也能够敏锐地确定出两个视频播放速度上的些许差别，保证了视频时间轴对齐同步的精度和播放速度的一致性。在为不同权限的用户切换不同清晰度的视频时，能够轻易地从海量视频中高效准确地匹配出内容相同的视频，使其版本一致、时间轴同步、播放速度一致。

本发明上述视频匹配方法及终端可以应用于任何需要进行视频匹配的场景，比如：用户在KTV点歌过程中，识别到用户为高级会员，需要将当前播放的标清歌曲视频切换到高清的歌曲视频，可以通过上述匹配方法从海量歌曲视频中匹配出与当前播放的歌曲视频内容相同、清晰度不同的视频或者要确认接收到的视频与原始视频的视频内容是否一致等，下面通过具体的实施方式进行说明：

实施例一

请参照图1，预先匹配同一版本的高清视频与标清视频的对应关系。本实施例的应用场景是用户在KTV唱歌时，要切换当前选取的歌曲视频的清晰度。比如当前歌曲视频为标清视频，要替换成高清的歌曲视频，则获取当前歌曲视频，即第一视频A，找到对应的高清视频B，完成清晰度的切换。

预先匹配的方法如下，从待搜索的歌曲视频库中检索到与第一视频A歌曲名和歌手相同的视频集合，从视频集合中选取一歌曲视频，作为第二视频B，则对第一视频A和第二视频B进行匹配，具体步骤如下：

从第一视频A提取第一图像帧序列，第一图像帧序列中的不同第一图像帧对应的时间点不同；

在进行图像帧提取时，可以按照视频的时间长度均匀地从第一视频A中抽取出预设张数的第一图像帧，构成第一图像帧序列，比如第一视频A的时长为3分钟，要提取的第一图像帧帧数为10，则可以每隔20秒提取一张图像帧，最终得到第一图像帧序列{a1，a2，……，a10}；也可以随机的提取10张第一图像帧，即间隔随机时间进行图像帧的提取；

从第二视频B提取与所述第一图像帧序列对应的第二图像帧序列{b1，b2，……，b10}，所述第二图像帧序列中的每一张第二图像帧与其对应的第一图像帧序列中的每一张第一图像帧的时间点相同，即根据第一图像帧序列中的每一张第一图像帧的时间点从第二视频B中的相同时间点提取第二视频帧；

将每一张第一图像帧与其对应的第二图像帧进行比较，得到所述第一视频与所述第二视频的第一相似度；

具体的：

将每一张第一图像帧与其对应的第二图像帧进行比较，得到一一对应的第一图像帧和第二图像帧之间的图像结构相似度；

将所有一一对应的第一图像帧和第二图像帧之间的图像结构相似度求和取平均，得到所述第一视频与所述第二视频的第一相似度；

判断所述第一相似度是否大于第一预设值，若是，所述第一视频和第二视频相似；

比如，对于第一图像帧序列{a1，a2，……，a10}和第二图像帧序列{b1，b2，……，b10}，分布计算图像a1与b1，a2与b2直至a10与b10的图像结构相似度{s1，s2，……，s10}，将{s1，s2，……，s10}求和取平均得到S，S是一个0-1的数值；

可以根据实际的计算情况以及应用场景动态设置第一预设值，比如设置为0.7，则当S大于0.7时，判断第一视频A与第二视频B内容一致；当S小于或等于0.7时，则判断第一视频A与第二视频B内容不一致或时间轴不同步。

实施例二

本实施例与实施例一的不同在于，在对所述第一视频和所述第二视频进行图像帧提取之前，分别在所述第一视频和所述第二视频的开头排除前预设时间段的视频片段以及在所述第一视频和所述第二视频的结尾排除后预设时间段的视频片段；

预设时间段可以根据实际的应用场景以及视频类型进行设定，比如如果设定为30秒，则是将第一视频A和第二视频B的前后30秒排除；

在排除了前后30秒的视频片段后，再从排除后的第一视频A和第二视频B中提取图像帧序列；

在采样出图像帧序列后，对图像帧序列中的每一图像帧进行预处理，具体的，包括步骤：

对提取的每一图像帧进行去黑边处理和统一图片尺寸处理；

所述图像帧包括第一图像帧和第二图像帧；

其中，所述去黑边处理包括：

将所述图像帧进行二值化处理，即将每个像素点的值设置为0或255，将图像变为黑白图片；

从上至下逐行扫描所述二值化处理后的图像帧直至扫描到出现不为零的像素点的行，裁剪所述出现不为零的像素点的行以上的部分，比如当扫描到第n行时，出现不为0的像素点，则将第1行至第n－1行删除，裁剪掉上黑边；

从下至上逐行扫描所述二值化处理后的图像帧直至扫描到出现不为零的像素点的行，裁剪所述出现不为零的像素点的行以下的部分，比如当扫描到第m行时，出现不为0的像素点，则将最后一行至第m－1行删除，裁剪掉下黑边；

由于图像裁剪后尺寸会发生变化，所以在裁剪后还包括步骤：

将去黑边处理后的每一图像帧的图像尺寸变换为预设图像尺寸；

在进行具体变换时，可以采用双线性插值的方法，将图像尺寸变换为统一长宽尺寸；

其中，图像尺寸变化过程中差值方法有许多，包括最近相邻插值、双线性插值、4x4像素邻域的双三次插值等，经过试验，不同的插值方法对最终相似度的影响很小，因此选择计算速度较快的最近相邻插值方法。

实施例三

本实施例与实施例一或实施例二的不同在于，所述将每一张第一图像帧与其对应的第二图像帧进行比较，得到一一对应的第一图像帧和第二图像帧之间的图像结构相似度包括：

分别将每一张图像帧根据RGB通道分离成三张通道图像，所述图像帧包括第一图像帧和第二图像帧；

对于一一对应的每一张第一图像帧和第二图像帧各自对应的每一张通道图像，计算预设滑动窗口内的两张对应的通道图像之间的局部结构相似度，以像素为单位进行窗口的滑动直至每一张通道图像的每个像素处的局部结构相似度均计算完毕，将两张对应的通道图像之间的所有局部结构相似度求和取平均，得到一一对应的每一张第一图像帧和第二图像帧各自对应的每一张通道图像之间的结构相似度；

将一一对应的每一张第一图像帧和第二图像帧各自对应的每一张通道图像之间的结构相似度求和取平均，得到一一对应的第一图像帧和第二图像帧之间的图像结构相似度；

也就是说，在计算图像结构相似度时，有两个维度的处理：

首先，图片有RGB 3个通道，将每张图像的通道分离成3张通道图片，分布对应R通道、G通道和B通道；

然后，对于每个通道的图片会采用局部滑窗处理方式计算局部结构相似度，比如对于第一图像帧序列中的其中一张第一图像帧，分离后有第一R通道图片、第一G通道图片和第一B通道图片，与其对应的第二图像帧序列中的第二图像帧，分离后有对应的第二R通道图片、第二G通道图片和第二B通道图片；

当要计算第一R通道图片和第二R通道图片之间的图像结构相似度时，通过预设的滑动窗确定进行局部结构相似度计算的小区块，比如5x5的小区块，计算该滑动窗内5x5的小区块的结构相似度，作为局部结构相似度，每次以像素为单位滑动滑动窗，直到第一R通道图片每个位置的局部结构相似度都计算完毕，然后将计算出来的所有局部结构相似度求和取平均，作为第一R通道图片和第二R通道图片的图像结构相似度，按照同样的方法计算第一G通道图片和第二G通道图片的图像结构相似度以及第一B通道图片和第二B通道图片的图像结构相似度；

当得到RGB每个通道的图像结构相似度后，将两张图片3个通道的结构相似度求和取平均即为整张图片的图像结构相似度；

其中，所述将两张对应的通道图像之间的所有局部结构相似度求和取平均，得到一一对应的每一张第一图像帧和第二图像帧各自对应的每一张通道图像之间的结构相似度包括：

排除两张对应的通道图像之间的所有局部结构相似度中的异常值，将其余局部结构相似度求和取平均，得到一一对应的每一张第一图像帧和第二图像帧各自对应的每一张通道图像之间的结构相似度；

所述排除两张对应的通道图像之间的所有局部结构相似度中的异常值包括：

计算两张对应的通道图像之间的所有局部结构相似度对应的均值和标准差；

将两张对应的通道图像之间的每一个局部结构相似度与所述均值做比较，若存在与所述均值的差值大于所述标准差的三倍的第一局部结构相似度，并且超过预设数量的其它一一对应的第一图像帧和第二图像帧之间与所述第一局部结构相似度对应的相同位置处，其局部结构相似度与其对应的均值的差值大于其对应的标准差的三倍，则删除所述第一局部结构相似度；

其中局部图像在计算局部相似度时候，之所以需要排除掉异常值，是因为由于视频来源不同，制作方会在视频上打上公司标识，当标识超过一定大小后，会影响视频相似度的判别；但标识的存在无伤大雅，不作为判别相似度的关键因素，需要排除掉这一干扰；而标识的存在有一个特点，位置固定。因此，在判断差异值的时候使用了基于正态分布的一元离群值检测方法，具体步骤如下：

一张图不同局部位置会产生n个相似度{c1,c2,c3,...,cn}，可以计算出这n个点的均值μ和标准差σ；

当μ大于0.6的时候，我们认为该视频仍然有可能是一致的，因此我们将{c1,c2,c3,...,cn}与均值μ逐个比较，当某个cx距离估计的均值μ超过3σ，则认为，当前帧在x这个局部位置的相似度为离群值，存在标识的细微差别，可能需要被排除；

而一段视频，本实施例采样出10个关键帧图像，当10个关键帧图像，如果超出既定数量张关键帧(目前既定数量设定为5)在同一位置都是离群值，则认为这个部位的相似度异常，在计算视频相似度的时候，将其排除在外；

离群值检测除了本实施例中使用的统计方法(基于正态分布的一元离群值检测)，还可以使用基于邻近性的方法、基于聚类的方法，由于本实施例中数据样本不大，考虑到算法复杂度与实用性，本实施例采用基于正态分布的一元离群值检测方法，速度与精度都能得到保证。

实施例四

本实施例与实施例一或实施例二或实施例三的不同在于，还包括：

若所述第一相似度小于或等于所述第一预设值，判断所述第一相似度是否属于第一预设区间，若是，分别从所述第一视频提取与所述第一图像帧序列具有不同时间点的第三图像帧序列和从所述第二视频提取与所述第三图像帧序列对应的第四图像帧序列；

根据所述第三图像帧序列和所述第四图像帧序列计算所述第一视频和第二视频的第二相似度；

第二相似度的计算方式与第一相似度的计算方式相同；

判断所述第二相似度是否大于所述第一预设值，若是，所述第一视频和所述第二视频相似，否则，所述第一视频和第二视频不相似；

比如设定第一预设值X为0.7，第一预设区间为[0.5，0.7]，则当判断第一相似度落入[0.5，0.7]时，即0.5≤X≤0.7时，再从第一视频A和第二视频B中对应提取出与第一图像帧序列时间点都不同的第三图像帧序列和第四图像帧序列，重新执行上述实施例一至实施例三中任一个中的视频匹配方法，得到第一视频A和第二视频B的第二相似度，其中，第二相似度的计算方式与第一相似度的计算方式相同，如果第二相似度大于0.7，则确定第一视频A和第二视频B相似，二者内容相同，否则，确定第一视频A和第二视频B不相似，内容不同。

实施例五

请参照图2，一种视频匹配终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例一至实施例四中任意一个所述的一种视频匹配方法中的各个步骤。

综上所述，本发明提供的一种视频匹配方法及终端，分别从第一视频和第二视频提取时间点一一对应的第一图像帧序列和第二图像帧序列，将每一张第一图像帧与其对应的第二图像帧进行比较，得到所述第一视频与所述第二视频的相似度，通过对一段时间范围内的不同时间点对应的多张图像帧的图像结构相似度求和取平均来确定两个视频的相似度，不仅降低了人工匹配视频内容的成本，提高了匹配视频内容的速度，而且提高了视频时间轴匹配和播放速度匹配的精度，进行比对的是多个时间点对应的第一图像帧与第二图像帧，即使两个视频时间上相差很小，通过多个时间点图像帧的比对，也能够敏锐地确定出两个视频播放速度上的些许差别，保证了视频时间轴对齐同步的精度和播放速度的一致性。在为不同权限的用户切换不同清晰度的视频时，能够轻易地从海量视频中高效准确地匹配出内容相同的视频，使其版本一致、时间轴同步、播放速度一致；同时在图像提取之前先进行前后无作用的视频片段的裁剪，图像提取之后进行去黑边以及图像尺寸统一化变换，在进行图像结构相似度的计算时，则从通道和局部两个纬度进行计算，同时在计算过程中，对出现的异常值进行排除，由此又高效又精确的实现两个视频的匹配，能够快速准确地获知两个视频的内容是否相同。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视频匹配方法，其特征在于，包括步骤：

从第一视频提取第一图像帧序列；

从第二视频提取与所述第一图像帧序列对应的第二图像帧序列，所述第二图像帧序列中的每一张第二图像帧与其对应的第一图像帧序列中的每一张第一图像帧的时间点相同；

将每一张第一图像帧与其对应的第二图像帧进行比较，得到所述第一视频与所述第二视频的第一相似度。

2.根据权利要求1所述的一种视频匹配方法，其特征在于，在对所述第一视频和所述第二视频进行图像帧提取之前，分别在所述第一视频和所述第二视频的开头排除前预设时间段的视频片段以及在所述第一视频和所述第二视频的结尾排除后预设时间段的视频片段。

3.根据权利要求1所述的一种视频匹配方法，其特征在于，还包括步骤：

对提取的每一图像帧进行去黑边处理：

将所述图像帧进行二值化处理；

从上至下逐行扫描所述二值化处理后的图像帧直至扫描到出现不为零的像素点的行，裁剪所述出现不为零的像素点的行以上的部分；

从下至上逐行扫描所述二值化处理后的图像帧直至扫描到出现不为零的像素点的行，裁剪所述出现不为零的像素点的行以下的部分；

将去黑边处理后的每一图像帧的图像尺寸变换为预设图像尺寸；

所述图像帧包括第一图像帧和第二图像帧。

4.根据权利要求1至3中任一项所述的一种视频匹配方法，其特征在于，所述将每一张第一图像帧与其对应的第二图像帧进行比较，得到所述第一视频与所述第二视频的第一相似度包括：

将每一张第一图像帧与其对应的第二图像帧进行比较，得到一一对应的第一图像帧和第二图像帧之间的图像结构相似度；

将所有一一对应的第一图像帧和第二图像帧之间的图像结构相似度求和取平均，得到所述第一视频与所述第二视频的第一相似度。

5.根据权利要求4所述的一种视频匹配方法，其特征在于，所述将每一张第一图像帧与其对应的第二图像帧进行比较，得到一一对应的第一图像帧和第二图像帧之间的图像结构相似度包括：

分别将每一张图像帧根据RGB通道分离成三张通道图像，所述图像帧包括第一图像帧和第二图像帧；

对于一一对应的每一张第一图像帧和第二图像帧各自对应的每一张通道图像，计算预设滑动窗口内的两张对应的通道图像之间的局部结构相似度，以像素为单位进行窗口的滑动直至每一张通道图像的每个像素处的局部结构相似度均计算完毕，将两张对应的通道图像之间的所有局部结构相似度求和取平均，得到一一对应的每一张第一图像帧和第二图像帧各自对应的每一张通道图像之间的结构相似度；

将一一对应的每一张第一图像帧和第二图像帧各自对应的每一张通道图像之间的结构相似度求和取平均，得到一一对应的第一图像帧和第二图像帧之间的图像结构相似度。

6.根据权利要求5所述的一种视频匹配方法，其特征在于，所述将两张对应的通道图像之间的所有局部结构相似度求和取平均，得到一一对应的每一张第一图像帧和第二图像帧各自对应的每一张通道图像之间的结构相似度包括：

排除两张对应的通道图像之间的所有局部结构相似度中的异常值，将其余局部结构相似度求和取平均，得到一一对应的每一张第一图像帧和第二图像帧各自对应的每一张通道图像之间的结构相似度。

7.根据权利要求6所述的一种视频匹配方法，其特征在于，所述排除两张对应的通道图像之间的所有局部结构相似度中的异常值包括：

计算两张对应的通道图像之间的所有局部结构相似度对应的均值和标准差；

将两张对应的通道图像之间的每一个局部结构相似度与所述均值做比较，若存在与所述均值的差值大于所述标准差的三倍的第一局部结构相似度，并且超过预设数量的其它一一对应的第一图像帧和第二图像帧之间与所述第一局部结构相似度对应的相同位置处，其局部结构相似度与其对应的均值的差值大于其对应的标准差的三倍，则删除所述第一局部结构相似度。

8.根据权利要求5至7中任一项所述的一种视频匹配方法，其特征在于，还包括步骤：

判断所述第一相似度是否大于第一预设值，若是，所述第一视频和第二视频相似。

9.根据权利要求8所述的一种视频匹配方法，其特征在于，还包括：

若所述第一相似度小于或等于所述第一预设值，判断所述第一相似度是否属于第一预设区间，若是，分别从所述第一视频提取与所述第一图像帧序列具有不同时间点的第三图像帧序列和从所述第二视频提取与所述第三图像帧序列对应的第四图像帧序列；

根据所述第三图像帧序列和所述第四图像帧序列计算所述第一视频和第二视频的第二相似度；

所述第二相似度的计算方式与所述第一相似度的计算方式相同；

判断所述第二相似度是否大于所述第一预设值，若是，所述第一视频和所述第二视频相似，否则，所述第一视频和第二视频不相似。

10.一种视频匹配终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9任意一项所述的一种视频匹配方法中的各个步骤。

Images