CN103430175A - 用于对视频进行比较的方法和装置 - Google Patents

Abstract

本发明涉及一种用于把查询视频与目标视频进行比较的方法，其包括：把查询视频的帧和目标视频的帧划分成块，并且计算对于每一个块的平均强度值。对于查询视频产生多个查询时间系列，每一个查询时间系列表示对于来自查询视频的不同帧中的相同位置的块的平均强度值的时间变化。对于目标视频产生多个目标时间系列，每一个目标时间系列表示对于来自目标视频的不同帧中的相同位置的块的平均强度值的时间变化，所述查询时间系列和目标时间系列被用来确定在查询视频与目标视频之间是否存在对准。

Description

用于对视频进行比较的方法和装置

技术领域

本发明涉及一种用于对视频进行比较的方法和装置。

背景技术

在例如YouTube、Google Video和Yahoo!Video之类的视频寄存网站（video hosting website）中，可以由用户将视频内容上传到网站上，并且可以通过搜索引擎使得视频内容对于其他人可用。人们相信，当前的网络视频搜索引擎基于由用户输入的特定文字查询而提供根据其相关性分数排列的搜索结果列表。用户于是必须考虑所述结果以便找到感兴趣的一个或多个视频。

由于对于用户来说很容易把视频上传到寄存网站、获得视频并且在做出一些修改之后再次分发视频，因此在视频搜索结果中潜在地会有大量复制或接近复制的内容。基于其总体内容和主观印象，这样的复制品将被用户视为“实质上相同”。举例来说，复制视频内容可以包括具有完全相同或近似完全相同的内容的视频序列，但是该视频序列具有不同的文件格式、具有不同的编码参数并且/或者具有不同的长度。其他差异可以是光度变化，比如颜色和/或照明改变，以及/或者空间域和/或时间域内的微小编辑操作（比如添加或改动字幕、徽标和/或边框）。这些实例的意图不是穷举性列表，并且在复制视频中还可以出现其他差异类型。

复制视频的激增可能使得用户找到他或她实际想要的内容变得困难或者不方便。作为一个实例，基于来自YouTube、Google Video和Yahoo!Video的采样查询，发现在搜索结果中平均会列出超过27%的接近复制视频，其中受欢迎的视频是在结果中被复制最多的那些视频。由于搜索结果中的复制视频的高百分比，用户必须花费大量时间对其进行筛选以找到其需要的视频，并且必须反复观看其已经看过的视频的相似拷贝。复制结果会降低用户在视频搜索、获取和浏览方面的体验。此外，由于会在网络上存储及传送复制视频数据，因此这样的复制视频内容会增加网络开销。

一种视频拷贝检测技术是序列匹配。在序列匹配中，一个具有多帧的时间区间提供用于比较查询视频与目标视频的相似度的基础。这方面通常涉及从查询视频帧和目标视频帧中提取出一个特征序列，其例如可以是基于序数、运动、颜色和形心的特征。随后对所提取出的特征序列进行比较，以便确定视频之间的相似度距离。举例来说，在使用序数签名的情况下，首先把每一个视频帧划分成N1xN2个块，并且计算每一个块的平均强度。随后对于每一帧，根据其平均强度对各个块进行排列。所述排列顺序被视为该帧的序数度量。把对于一个视频的序数度量序列与另一个视频的序数度量序列进行比较，以便评估其相似度。

序列匹配使得能够确定复制视频之间的重叠位置的起始处。序列匹配方法适合于识别具有格式修改（比如编码和帧分辨率改变）以及在空间域和时间域内经过微小编辑的几乎完全相同的视频和视频拷贝。具体来说，通过使用空间和时间序数签名允许检测由于视频数字化/编码处理（例如颜色、亮度和直方图均衡化、编码参数的改变）和显示格式转换（例如转换到信箱或邮箱格式）以及部分内容的修改（例如裁边和放大）而引入的视频失真。

特别在使用序数度量时，序列匹配技术涉及相对简单的计算并且提供对于一帧的精简表示。序列匹配往往在计算上高效，并且可以实施实时计算以用于处理直播视频。举例来说，对于一帧的2x2划分的序数度量仅仅需要4个维度来表示每一帧，从而在两帧之间所需的比较点更少。

但是在帧序列发生改变的情况下，比如插入、删除或替换帧，基于序列匹配的现有技术无法检测复制视频剪辑。帧序列的改变由用户编辑引入，或者由视频寄存网站引入，以便例如在视频中插入广告。由于不可能事先假设用户修改的类型，因此缺乏检测帧序列改变的能力会限制序列匹配技术对于真实生活问题的适用性。

用于检测具有帧序列改动（比如插入、删除或替换帧）的复制视频的现有解决方案是基于关键帧匹配技术。

关键帧匹配技术通常把视频分割成用以表示视频的一系列关键帧。每一个关键帧随后被划分成各个区段，并且从显著的局部区段中提取出特征。所述特征例如可以是对应于每一个区段的颜色、纹理、角落或形状特征。关键帧匹配能够检测出经过了很大程度的编辑（比如帧的时间顺序改变或者插入/删除）的近似拷贝。但是由于在关键帧中仅存在太多局部特征，因此识别出关键帧、从每一个关键帧中提取出局部特征并且在其间实施量度距离比较以便把一个视频剪辑与数据库中的大量视频相匹配的做法的计算成本昂贵。

近来的研究针对提高关键帧匹配速度的方法，这是通过对特征矢量进行快速索引或者通过使用统计信息来减少特征矢量的维度。但是对于在线分析来说，把视频分割成关键帧的成本以及从查询视频中提取出局部特征的成本仍然都不可避免。在Web2.0视频寄存环境中提供在线实时视频复制检测成为一项严峻挑战。关键帧匹配方法更加适合于离线视频冗余检测，其中进行细粒度分析以对数据库视频进行聚集和分类。

发明内容

根据本发明的第一方面，一种用于把查询视频与目标视频进行比较的方法包括：把查询视频的帧和目标视频的帧划分成块，并且计算对于每一个块的平均强度值。对于查询视频产生多个查询时间系列，每一个查询时间系列表示对应于来自查询视频的不同帧中的相同位置的块的平均强度值的时间变化。对于目标视频产生多个目标时间系列，每一个目标时间系列表示对于来自目标视频的不同帧中的相同位置的块的平均强度值的时间变化。查询时间系列和目标时间系列被用来确定在查询视频与目标视频之间是否存在对准。通过使用本发明，可以产生能够比较其相似度的时间系列。复制视频在其对应的时间系列中表现出相似度，这可以被用来识别出它们是有关联的。根据本发明的一种方法通过减小两个视频之间的比较空间而给出了高效的视频复制检测。

一个实施例包括把查询时间系列和目标时间系列分割成对应的离散线性分段集合，并且对这些线性分段施行局部序列对准。线性分割允许把平均视频强度压缩成线性上升/下降（incline/decline）的离散列表，其随后可以被比较对准。

在复制视频中，重叠的视频区段通常不会跨越视频序列的整个长度，并且可以隔离出相似的区段。因此需要线性分段的局部对准。在生物信息学中，Smith-Waterman算法是用于确定两个核苷酸或蛋白质序列之间的相似区段的众所周知的算法。Smith-Waterman算法对所有可能长度的串分段进行比较，并且优化相似度度量。本发明的发明人认识到，可以扩展Smith-Waterman算法以便对视频强度分段施行局部对准。取代对串进行比较，对强度线性分段进行比较以便找到视频之间的局部最优对准。

Smith-Waterman算法是用以提供优化搜索的动态编程算法。其对时间和存储器资源的要求相当高：计算复杂度是O(MN)，存储是O(min(M,N))，其中M和N是所比较的序列的长度。

为了加速搜索过程，取代对准所有强度分段，在一个实施例中，将一个主要上升/下降序列选择为所比较的视频的关键签名的表示。在施行更加耗时的Smith-Waterman算法之前，应用试探法来提供这些主要上升/主要下降的快速对准，这是通过去除不太可能得到成功对准的对准而实现的。这样就降低了计算成本。通过滤除非常不同的视频并且通过收窄对于相似视频的潜在匹配区段，所述试探法加速了匹配算法的执行。

在应用视频复制检测技术之前不可能事先知道用户修改的类型的情况下，根据本发明的一个实施例可能是有利的，从而允许使用序列匹配技术。此外，其保留了使用序列匹配方法的优点，即提供高效的检测。

利用根据本发明的一个实施例来检测具有帧改变的复制视频的做法可以被视频寄存网站用作一项用户特征；或者被视频内容提供商使用来跟踪版税付费以及检测可能的版权侵犯；或者被通信“管道”（例如因特网服务提供商（ISP）、对等（P2P）系统提供商、内容分发网络（CDN））使用来减少网络通信量并且管理视频内容的存储。其可以帮助视频寄存网站移除或聚集接近复制的视频，以便为用户提供搜索、获取和浏览服务。其还可以通过找到例如具有高质量（HD）或3D的相似视频来促进基于视频内容的搜索。

可以把已有的视频复制系统修改成包括根据本发明的一个实施例，以便增强应对例如帧插入、删除或替换之类的用户修改的能力。

根据本发明的第二方面，一种设备被编程或配置成施行根据第一方面的方法。

根据本发明的第三方面，提供一种数据存储介质来存储用于施行根据第一方面的方法的机器可执行程序。

附图说明

下面将参照附图仅仅以举例的方式描述本发明的一些实施例，其中：

图1示意性地示出了将被比较的视频以及比较处理中的一个阶段；

图2示意性地示出了根据本发明的一种方法；

图3示意性地示出了对于一个块的随时间的强度改变；

图4示意性地示出了线性分割；

图5示意性地示出了对于所比较的视频的强度改变；

图6示意性地示出了用在图2的方法中的矩阵；

图7示意性地示出了用在图2的方法中的匹配的步骤；

图8示意性地示出了用在图2的方法中的匹配的步骤；以及

图9示意性地示出了根据本发明的一种装置。

具体实施方式

参照图1，将把包括多帧的查询视频1与一个或更多目标视频进行比较，以便确定其是否是复制品。

参照图2，在2处把查询视频1中的每一帧划分成N1xN2个块。在3处计算对于每一个块的平均强度值。通过对每一帧进行划分，划分后的各个子区域中的强度改变的变化得以保留。对于每一个块，在4处关于帧号绘制所计算的平均强度值的曲线图，从而产生查询时间系列。在该实施例中，所有块都被处理，从而提供与视频1相关联的N1xN2个时间系列。在另一个实施例中，仅仅涉及所选块，从而导致产生少于N1xN2个时间系列。

为了进行比较，图1中示出的目标视频5是基于查询视频1，但是已经通过直方图均衡化、增加亮度和边框以及帧删除而被修改。当按照与前面描述的相同方式处理目标视频5时，获得在6处示出的目标时间系列。可以看到，对于来自目标视频5的块的强度改变的形式总体上与视频1相似。举例来说，在对于4处的查询时间系列的帧号806处，对于一个块的平均强度增大并且同时另一个块的平均强度减小，从而二者交叉。在对应于6处的目标时间系列的帧739处可以看到相似的交叉。

图2中的7处的下一个步骤是通过使用逐段线性分割技术来捕获由查询和目标时间系列中的时间改变提供的信息。通过对时间系列进行分割，视频被压缩并且视频强度的时间改变中的大部分实质信息被捕获。由于用户修改、视频失真和格式转换，人们将不会预期在视频复制检测中找到精确的匹配，并且忽略时间强度的微小改变会使得视频复制检测处理对于噪声相对较不敏感。

图3a示出了对于例如在图1中的4或6处示出的一个时间系列的一部分的平均强度变化。图3b示出了在应用了线性分割之后的图1a中所示的时间系列的该部分。

使用自底向上算法来对时间系列进行分割。自底向上方法是时间系列中的一种众所周知的近似算法。其从最精细的可能近似开始迭代地合并分段，直到满足停止标准为止。在这种情况下，使用线性内插而不是线性回归来找到近似线，这是因为能够以低计算复杂度在恒定时间内获得线性内插。利用残差来评估对于一个潜在分段的拟合质量。通过取得最佳拟合线与实际数据点之间的所有垂直差、求其平方并且随后将其相加在一起来计算残差。

在另一个实施例中，通过把提取出的主要最大值和主要最小值点用作极值点的内插方法实现对于时间系列的快速线性分割。图4a示出了利用最大值和最小值点的线性近似。但是本发明的发明人认识到，仅仅依赖于这些点会排除例如在8处示出的跳跃点。跳跃点对应于很短时间距离内的迅速数值改变（例如向上或向下跳跃）。对于视频块系列的强度曲线来说，这些跳跃通常表明由于硬切或者渐入/渐出而导致的镜头边界。因此在该实施例中，线性分割技术被扩展成也包括跳跃点，从而使得用在线性分割方法中的极值点有最大值点、最小值点和跳跃点，正如图4b中所示出的那样。

在对时间系列进行线性分割之后，时间系列中的主要上升/下降在9处被选择为提供重要视频签名。这样允许减小用于对准线性分段的搜索空间。

具有更长距离和更深高度的线性分段通常表示场景中的显著改变。因此其被选择为主要上升。匹配的连续主要上升表明视频拷贝利用相同的主要场景改变序列，遵循相似的行为。与此相对，具有较深高度但是长度非常短的线性分段通常与镜头边界相关联，比如硬切或渐变。这样的线性分段所包含的信息常常少于表示场景内的改变的那些线性分段。如果来自所有已划分块的线性分段在相同的镜头距离内具有同时发生的较深高度（即相同的起始帧ID），则可以确定镜头边界。在选择主要上升的处理中忽略表示镜头边界的那些线性分段。

在12处，如图5中所示的那样对查询视频和目标视频的主要上升/下降进行比较，以便找到具有可能导致成功对准的连续匹配的上升/下降的近似对准。参照图6，生成一个M1乘M2矩阵，其中M1和M2是所比较的主要上升/下降序列的长度。如果i和j处的两个主要上升/下降匹配，则把“1”值放置在矩阵(i,j)中。为了检查线性分段S₁[i₁,...,j₁]与分段S₂[i₂,...,j₂]之间的相似度，我们不仅考虑分段的高度和长度，而且还考虑包含在两个分段中的视频帧的相似度。更精确地说，如果满足以下条件，则两个分段是相似的：

●

也就是说两个分段具有相似的长度。在这种实现方式中，ratio_L=0.9。

●

也就是说两个分段具有相似的长度。在这种实现方式中，ratio_H=0.75。

●min_pD(p)≤dist。换句话说，当沿着较长序列“滑动”较短序列时，两个相应的帧序列之间的最小距离至多是阈值常数dist，其中p的范围包含在较长视频中滑动帧位置的开头。在该实施例中，由于视频相似度距离的效率和精确度，我们选择空间和时间序数签名算法来计算视频相似度距离。

在给定两个帧序列F₁和F₂的情况下，序数签名测量计算两个帧序列F₁与F₂之间的距离：

$D\left(p\right)=\frac{1}{L}\underset{i=1}{\overset{L}{\mathrm{\Σ}}}|{\mathrm{ordinal}}^{F_1}\left(i\right)-{\mathrm{ordinal}}^{F_2}(p+i)|$

其中，L=j₁-i₁是较短序列的长度。

由于用户修改和视频处理技术可能导致视频强度值的差异，比如直方图均衡化、帧尺寸调整或裁边，因此亮度/颜色/色调的改变、其他添加的噪声、强度相似的线性分段的长度可以是不同的。由于线性分段近似误差或其他用户引入的噪声，相似线性分段的距离也可能是不同的。通过使用参数ratio_H和ratio_L允许在一定程度上容许这样的噪声。尽管在这里使用了基于序数签名的测量D(p)来计算两个帧序列的距离，但是视频帧的匹配也可以利用序列匹配或者基于关键帧的匹配算法为基于其他全局描述符或者甚至局部描述符。

在对准主要上升之后，潜在的主要上升对准被扩展邻近的非主要上升以便找到更多对准的线性分段，正如图7中所示出的那样。该步骤滤除不必要的对准以便减少在下一阶段中应用Smith-Waterman算法所需的比较次数。

在下一步骤中，为了找到关键近似对准，本发明的发明人认识到，可以利用类似于由FASTA提供的方法来实施对准，由FASTA提供的方法为用于找到相似的DNA和蛋白质序列的快速搜索算法。如图8（a）中所示，识别出矩阵中的接连的“1”值的所有对角线。接下来，保留其长度大于预定义阈值的那些对角线并且忽略单一匹配和较短对准分段，正如图8（b）中所示出的那样。随后如图8（c）中所示，选择最长的K条对角线。为了扩展对准的总体长度，尝试把这最长的K条对角线当中的彼此接近的那些分段联合起来从而形成更长的分段。在所述联合的更长分段中允许有间隙，以便考虑到帧插入、删除和替换。

在连接相邻的对角线时，为匹配的对角线指派奖励分数并且为间隙（即失配）指派惩罚分数。通过把每一条相连对角线的奖励分数相加并且减去间隙惩罚而获得一个分数。如果已链接近似对准的分数超出给定阈值，则进行检查以便确定是否可以把已链接分段周围的先前忽略的初始较短的对准分段联合起来从而形成带有间隙的近似对准，正如图8（d）中所示出的那样。最后，选择具有超出阈值的最终分数的局部近似对准以供进一步检查。

15处的下一个阶段是通过应用Smith-Waterman算法对所比较视频的所有强度线性分段实施细粒度对准。基于先前找到的主要上升/下降的近似对准，可以确定可能导致成功对准的线性强度分段列表。Smith-Waterman算法只需要检查有限范围的线性分段。

Smith-Waterman算法使用编辑距离来找到最优对准。其如下构造评分矩阵H：

H(i,0)=0,0≤i≤M

H(0,j)=0,0≤j≤N

其中，x和y是潜在地对准的线性分段列表，M和N是x和y序列的长度，ω(x_i,y_j)是评分方案。如果x_i与y_j匹配，则ω(x_i,y_j)为正，如果其不匹配则ω(x_i,y_j)为负。对于插入和删除，ω(x_i,-)和ω(-,y_j)为负。

Smith-Waterman算法通过搜索矩阵H中的最大分数并且随后根据被用来构造矩阵的移动方向回跟踪最优路径来找到局部对准。其保持这一过程直到达到分数0为止。一旦获得局部最优对准，就在16处通过对于匹配的线性分段应用现有的序列匹配技术来计算视频相似度距离。在该实施例中，使用具有2x2划分的序数测量来确定视频相似度距离。在17处如果发现所述距离小于阈值，则把所比较的两个视频视为复制品。

接下来，在18处取代对于线性分段检查线性分段层级的对准，检查视频帧层级的对准。由于最优局部对准是基于强度线性分段，因此如果在一个分段内部发生帧改变，则利用Smith-Waterman算法会把整个分段视为不匹配，正如前面所讨论的那样。为了找到不匹配分段内部的潜在匹配位置，实施逐帧比较来计算帧层级相似度距离。如果帧相似度距离小于利用Smith-Waterman算法获得的视频相似度距离，则把这些帧视为匹配。这样就确保了这些不匹配分段内部的匹配帧的相似度距离不会超出从其余的匹配分段获得的平均视频相似度距离。帧比较从不匹配分段的开头和末尾同时发起，并且朝向所述分段的中部进行。继续进行匹配，直到帧相似度距离大于视频相似度距离为止。随后更新视频重叠位置。

因此，在该实施例中，首先把已划分块的强度值改变作为时间系列来考虑。随后，把所述时间系列分割成一个离散线性表示列表。对这些线性分段施行局部序列对准，以便找到最优匹配位置。随后基于潜在的对准位置计算视频相似度距离。如果最佳匹配相似度距离小于给定阈值，则把两个视频视为复制品。为了应对帧改变，在比较线性序列分段时允许存在作为帧插入、删除和替换的结果的间隙。

参照图9，视频管理装置包括保存有视频文件的数据库或存储库19。数据库19可以是通常可由用户通过因特网访问的数据库，或者例如可以是访问受限的文库或其他贮存库。作为针对这些可能性的替代或补充，可以使用其他类型的存储库或数据库。

用户通过用户接口20提交视频Q，从而传送他或她想要添加到数据库19中的视频Q。视频Q被发送到视频数据库19并且也被发送到划分器21。在操作的阶段1处，划分器21把视频Q的每一帧划分成N1xN2个块。计算器22计算对于每一个块的平均强度值。

在阶段2处，由分段器23从计算器22接收平均强度值数据。分段器23对每一个块的平均强度改变进行分割。排序器24随后基于分段起始帧ID把来自所有各块的线性分段排序到一个已排序列表中。选择器25接收所述已排序列表，并且从该已排序列表中选择主要上升/主要下降。

在下一阶段（阶段3）中，对准器26尝试找到查询视频的所选主要上升和主要下降与经历了类似处理的一个或更多目标视频的所选主要上升和主要下降之间的近似匹配。其结果有第一比较器27测试。如果针对给定阈值参数判断不存在相似度，则认为查询视频和一个或多个目标视频不是复制品，并且复制检测过程在28处停止。

如果比较器27检测出近似对准，则在阶段4处，由处理器29应用带状Smith-Waterman算法，并且把结果施加到相似度距离计算器30。由第二比较器31针对给定阈值来检查相似度距离计算器30的输出。如果相似度不足够，则认为所比较的视频不是复制品，并且过程在32处停止。

如果相似度足够，则在阶段5处，帧匹配器33检查对于视频插入、删除或替换的不匹配帧位置。

复制检测过程的结果被发送到视频数据库19以便用于管理所存储的视频。如果发现查询视频不是复制品，则视频数据库19接受存储该查询视频。如果发现查询视频是复制品，则在一个实施例中，视频数据库19拒绝该查询视频，并且向用户发送消息以作通知（或者不发送消息）。

在一个替换实施例或模式中，如果发现查询视频是复制品，则将其接受到视频数据库19中，但是优选地参照其所匹配的目标视频将其表示为复制品。可以把复制视频一起收集在一组中。当对于数据库施行的搜索调集其中该组中的一个时，可以从搜索结果中消除其他组成员或者在搜索结果中为其他组成员给出低于其本应获得的排列，从而使得任何复制品往往在其他非复制品之后被给出。

可以对图9的视频管理装置进行修改，从而使得在提交查询视频之前，在21和22处对保存在视频数据库19中的视频进行划分和处理。举例来说，在一个实施例中，在提交视频以检查复制品时获得的数据可以被保留并发送以存储在视频数据库19处。如果该视频后来没有被接受到数据库19中，则删除所述数据。当视频被接受到数据库中时，与其相关联的数据被保留并且可用在对准器26中。在另一个实施例中，视频数据库19中的视频可以在阶段1和阶段2中被划分和处理，而不一定被用于测试复制品。举例来说，可以在开放数据库以接收新视频之前作为准备阶段的一部分实施所述数据处理。

可以通过使用专用硬件以及与适当的软件相关联的能够执行软件的硬件来提供在附图中示出的各个元件的功能（其中包括被标记为“处理器”的任何功能方框）。当由处理器提供时，所述功能可以由单个专用处理器提供、由单个共享处理器提供或者多个单独的处理器（其中一些可以被共享）提供。此外，对于术语“处理器”的明确使用不应当被解释为排他性地指代能够执行软件的硬件，而是可以隐含地包括（而不限于）数字信号处理器（DSP）硬件、网络处理器、专用集成电路（ASIC）。现场可编程门阵列（FPGA）、用于存储软件的只读存储器（ROM）、随机存取存储器（RAM）以及非易失性存储装置。还可以包括其他传统的和/或定制的硬件。

在不背离其精神或实质特性的情况下，可以通过其他具体形式来具体实现本发明。所描述的实施例在所有方面都应当仅仅被视为说明性而非限制性的。因此，本发明的范围由所附权利要求书表明而不是由前面的描述表明。落在权利要求书的含义和等效范围内的所有改变都应当被涵盖在其范围内。

Claims (29)

1.一种用于把查询视频与目标视频进行比较的方法，其包括：

把查询视频的帧和目标视频的帧划分成块；

计算对于每一个块的平均强度值；

对于查询视频产生多个查询时间系列，每一个查询时间系列表示对于来自查询视频的不同帧中的相同位置的块的平均强度值的时间变化；

对于目标视频产生多个目标时间系列，每一个目标时间系列表示对于来自目标视频的不同帧中的相同位置的块的平均强度值的时间变化；以及

利用查询时间系列和目标时间系列来确定在查询视频与目标视频之间是否存在对准。

2.如权利要求1所述的方法，其包括：把查询时间系列和目标时间系列分割成对应的离散线性分段集合；以及对这些线性分段施行局部序列对准。

3.如权利要求2所述的方法，其包括：从已分割时间系列中选择主要上升和主要下降，并且使用主要上升和主要下降来施行对准。

4.如权利要求3所述的方法，其中，所选择的主要上升和主要下降排除跳跃上升和跳跃下降。

5.如权利要求2所述的方法，其中，把查询视频的主要上升和下降与目标视频的主要上升和主要下降进行比较，以便获得具有连续匹配的上升和下降的近似对准。

6.如权利要求5所述的方法，其包括：把主要上升/主要下降的查询视频序列与主要上升/主要下降的目标视频序列相匹配。

7.如权利要求6所述的方法，其中，创建一个利用相对于主要上升/主要下降的目标视频序列绘制主要上升/主要下降的查询视频序列的具有单元的矩阵，以实施所述匹配；以及当存在匹配时，在所述矩阵的适当单元中添加标记。

8.如权利要求7所述的方法，其中，在对准主要上升/主要下降之后，把所述主要上升/主要下降扩展到邻近的非主要上升/非主要下降。

9.如权利要求8所述的方法，其包括：识别出具有标记的连续单元的对角线，并且保留其长度大于给定阈值的那些对角线以进行附加的对准处理。

10.如权利要求9所述的方法，其包括：选择K条最长的对角线，并且尝试把包括在所述K条最长的对角线中的位置接近的分段联合起来从而形成更长的分段。

11.如权利要求10所述的方法，其包括：为匹配的对角线授予奖励分数并且为更长线中的间隙授予惩罚分数，当已链接近似对准的组合分数超出给定分数阈值时，检查是否可以把已链接分段周围的先前忽略的初始较短的对准分段联合起来从而形成近似对准，并且选择具有超出最终分数阈值的最终分数的局部近似对准以供进一步检查。

12.如权利要求3所述的方法，其包括：获得分段的近似对准以便选择可能的成功对准集合，并且随后对所选集合应用Smith-Waterman算法。

13.如权利要求12所述的方法，其包括：对于未被包括在所选集合中的近似对准分段施行帧层级的对准。

14.如权利要求1所述的方法，其包括：当确定查询视频不是目标视频的复制品时，把查询视频存储在保存目标视频的视频数据库中。

15.一种设备，其被编程或配置成施行包括以下步骤的方法：

把查询视频的帧和目标视频的帧划分成块；

计算对于每一个块的平均强度值；

对于查询视频产生多个查询时间系列，每一个查询时间系列表示对于来自查询视频的不同帧中的相同位置的块的平均强度值的时间变化；

对于目标视频产生多个目标时间系列，每一个目标时间系列表示对于来自目标视频的不同帧中的相同位置的块的平均强度值的时间变化；以及

利用查询时间系列和目标时间系列来确定在查询视频与目标视频之间是否存在对准。

16.如权利要求15所述的设备，其被编程或配置成施行包括以下步骤的方法：把查询时间系列和目标时间系列分割成对应的离散线性分段集合；以及对这些线性分段施行局部序列对准。

17.如权利要求16所述的设备，其被编程或配置成从已分割时间系列中选择主要上升和主要下降，并且使用主要上升和主要下降来施行对准。

18.如权利要求17所述的设备，其中，所选择的主要上升和主要下降排除跳跃分段。

19.如权利要求15所述的设备，其被编程或配置成把查询视频的主要上升和下降与目标视频的主要上升和主要下降进行比较，以便获得具有连续匹配的上升和下降的近似对准。

20.如权利要求19所述的设备，其被编程或配置成把主要上升/主要下降的查询视频序列与主要上升/主要下降的目标视频序列相匹配。

21.如权利要求20所述的设备，其被编程或配置成通过以下步骤施行匹配：创建利用相对于主要上升/主要下降的目标视频序列绘制主要上升/主要下降的查询视频序列的具有单元的矩阵；以及当存在匹配时，在所述矩阵的适当单元中添加标记。

22.如权利要求21所述的设备，其被编程或配置成在对准主要上升/主要下降之后把所述主要上升/主要下降扩展到邻近的非主要上升/非主要下降。

23.如权利要求22所述的设备，其被编程或配置成识别出具有标记的连续单元的对角线，并且保留其长度大于给定阈值的那些对角线以进行附加的对准处理。

24.如权利要求23所述的设备，其被编程或配置成选择K条最长的对角线，并且尝试把包括在所述K条最长的对角线中的位置接近的分段联合起来从而形成更长的分段。

25.如权利要求24所述的设备，其被编程或配置成为匹配的对角线授予奖励分数并且为更长线中的间隙授予惩罚分数，并且当已链接近似对准的组合分数超出给定分数阈值时，检查是否可以把已链接分段周围的先前忽略的初始较短的对准分段联合起来从而形成近似对准，并且选择具有超出最终分数阈值的最终分数的局部近似对准以供进一步检查。

26.如权利要求16所述的设备，其被编程或配置成获得分段的近似对准以便选择可能的成功对准集合，并且随后对所选集合应用Smith-Waterman算法。

27.如权利要求26所述的设备，其被编程或配置成对于未被包括在所选集合中的近似对准分段施行帧层级的对准。

28.如权利要求16所述的设备，其被编程或配置成在确定查询视频不是目标视频的复制品时把查询视频存储在保存目标视频的视频数据库中。

29.一种存储机器可执行程序的数据存储介质，所述机器可执行程序用于施行包括以下步骤的视频内容管理方法：

把查询视频的帧和目标视频的帧划分成块；

计算对于每一个块的平均强度值；

对于查询视频产生多个查询时间系列，每一个查询时间系列表示对于来自查询视频的不同帧中的相同位置的块的平均强度值的时间变化；

对于目标视频产生多个目标时间系列，每一个目标时间系列表示对于来自目标视频的不同帧中的相同位置的块的平均强度值的时间变化；以及

利用查询时间系列和目标时间系列来确定在查询视频与目标视频之间是否存在对准。

Images