CN101635851A - 视频指纹提取方法 - Google Patents

Abstract

本发明公开了一种视频指纹提取方法，包括以下步骤：提取视频的关键帧以及每个关键帧的所有兴趣点；根据每个关键帧对应的边界和提取的兴趣点，将每个关键帧划分成多个具有相等面积的同心圆环；将每个同心圆环划分成多个具有相等面积的扇环；以及根据每个同心圆环中扇环的灰度平均值计算对应同心圆环的序数度量矢量，以获得每个关键帧的环形特征及其对应视频的环形指纹。本发明可以提高视频指纹提取的精度。

Description

视频指纹提取方法

技术领域

本发明属于计算机多媒体技术领域，尤其涉及视频指纹提取技术。

背景技术

随着信息技术的飞速发展，尤其是网络通信技术和多媒体技术的应用，视频点播、网络播客、流媒体、P2P系统等大量网络多媒体资源急剧增加。方便快捷的共享和传播使得网络多媒体盗版事件日益增多，为了有效防止网络多媒体盗版事件的发生，出现了多种版权保护技术，主要有数字版权管理(Digital Rights Management，DRM)技术，数字水印(DigitalWatermarking，DWM)技术和数字指纹(Digital Fingerprinting，DF)技术等。

其中DF技术可以利用多媒体内容本身的信息，提取出其特有的内容身份信息，称为“内容指纹”或“数字DNA”，利用其特有的内容身份信息来检测网络多媒体内容是否被复制，该方法又被称为基于内容的复制检测(Content-based Copy Detection，CBCD)技术。在CBCD技术中，目前研究相对成熟的指纹技术是序数度量(Ordinal Measurement)，具体技术例如可参考文献“Dinkar N.Bhat and Shree K.Nayar，“Ordinal Measures forVisual Correspondence”.in Proc.1996 IEEE Computer Society Conference.June 1996.pp：351-357”等。

在视频复制盗版事件中，复制视频通常会对原始视频进行一定的变换处理，例如剪切、模糊、宽屏、插入、缩放、拉伸以及混合使用以上变换处理。经过变换处理后的复制视频在视觉上可能变的和原始视频不太相似，但要求提取的内容指纹仍然能够检测出他们之间的盗版关系，即内容指纹具有鲁棒性。同时对于非复制视频即使在视觉上和原始视频非常相似，提取的内容指纹要能够检测出他们之间的非盗版关系，即内容指纹具有唯一性。鲁棒性和唯一性是视频复制检测技术中的两个技术难点。

然而，传统的序数度量并不能很好的解决内容指纹的鲁棒性和唯一性问题。序数度量是一种典型的全局描述子，对于视频的全局变换具有一定的鲁棒性而唯一性比较差，对于视频的局部变换具有一定的唯一性而鲁棒性比较差。序数度量方法的基础是对视频帧进行分块，块数的多少对鲁棒性和唯一性影响较大。例如视频变换处理中最常见的宽屏幕情形，如果序数度量把视频帧划分为2×2的4块，由于宽屏幕对于4块灰度值的影响相同，所以对应的序数度量矢量不变；如果把视频帧划分为3×3的9块，则对应的序数度量矢量会发生变化。所以序数度量中块数取值越小，指纹的鲁棒性越高，而唯一性越低；块数取值越大，指纹的唯一性越高，而鲁棒性越低。对于复制视频检测，序数度量的块数取值并不能很好的平衡鲁棒性和唯一性之间的关系。因此，现有视频复制检测技术的指纹提取存在指纹检查全面性和准确性矛盾，从而提取精度不高的问题。

发明内容

本发明的目的旨在至少解决现有技术中的上述问题之一。

为此，本发明的实施例提出一种高精度的视频指纹提取方法。

根据本发明的一个方面，本发明实施例提出了一种视频指纹提取方法，所述检测方法包括以下步骤：a)提取视频的关键帧以及每个关键帧的所有兴趣点；b)根据每个关键帧对应的边界和提取的兴趣点，将每个关键帧划分成多个具有相等面积的同心圆环；c)将每个同心圆环划分成多个具有相等面积的扇环；d)根据每个同心圆环中扇环的灰度平均值t计算对应同心圆环的序数度量矢量，以获得每个关键帧的环形特征及其对应视频的环形指纹。

根据本发明进一步的实施例，所述步骤b包括：根据所述兴趣点计算所述同心圆环的中心点；选择所述中心点到所述边界和最远兴趣点的最小值为所述同心圆环的半径；以及利用所述中心点和所述半径划分得到所述多个同心圆环。

根据本发明进一步的实施例，所述步骤d包括：根据模板圆环和每个同心圆环中每个扇环的灰度平均值t计算对应同心圆环的圆形值，其中所述模板圆环包括与同心圆环对应的多个划分扇环；根据所述圆形值确定对应同心圆环中扇环的起始位置；对每个同心圆环中对应所述起始位置排列的每个扇环的灰度平均值t’进行大小排序；以及利用每个扇环的灰度平均值t’及其对应的排序灰度平均值t计算对应同心圆环的序数度量矢量。

根据本发明再一步的实施例，所述确定对应同心圆环中扇环的起始位置包括：依次旋转所述模板圆环转过一个扇环的角度；利用旋转后模板圆环分别计算所述同心圆环的圆形值；以及选择最小的圆形值对应的扇环作为所述起始位置。

根据本发明进一步的实施例，根据每个关键帧所有同心圆环对应的序数度量矢量确定每个关键帧的环形特征，以及根据所有关键帧的环形特征确定所述视频的环形指纹。

本发明基于兴趣点，将视频帧划分为若干个面积相等的同心圆环，并把同心圆划分成若干个面积相等的扇环。因此提高了内容指纹的唯一性，很好地平衡了视频复制检测中提取指纹的唯一性和鲁棒性，从而兼顾视频指纹提取的全面性和准确性，提高指纹提取的精度。

此外，本发明以一种相对比较度量作为内容指纹。因此，在视频的扇环均发生变化时，这种方式可以使得它们之间的相对值关系保持不变化，从而可以提高视频指纹提取的精度。

再者，本发明通过旋转模板圆环而对每一个圆环内不同扇环的内容指纹进行了循环处理，所以对旋转变换具有鲁棒性。因此，在视频发生旋转的情况下，仍可以保证较高的指纹提取精度。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的视频指纹提取方法步骤流程图；

图2为本发明一个实施例的视频指纹提取方法的原理图；

图3为本发明实施例的划分扇环示意图；

图4为本发明另一个实施例的视频指纹提取方法的原理图；

图5为本发明实施例的圆环的环形值计算原理图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

参考图1，该图显示了本发明实施例的视频指纹提取方法步骤流程。如图所示，首先提取给定视频的关键帧，针对每个关键帧并提取其所有兴趣点(步骤102)。

然后，根据每个关键帧对应的边界和提取的兴趣点，将每个关键帧划分成多个具有相等面积的同心圆环(步骤104)。在划分同心圆环时，可以先根据提取的所有兴趣点计算对应每个同心圆环的中心点。然后，选择所得中心点到对应关键帧边界和其上最远兴趣点的最小值为上述划分同心圆环的半径。因此，以中心点为圆心，以上述最小值为半径，将关键帧对应划分成若干个面积相等的同心圆环。

接着，将每个同心圆环划分成多个具有相等面积的扇环(步骤106)。根据每个同心圆环中每个划分扇环的灰度平均值，计算对应同心圆环的序数度量矢量。根据所有同心圆环的序数度量矢量进而获得每个关键帧的环形特征，由所有关键帧的环形特征即可组成得到整个视频的环形指纹。

下面，结合图2的实施例对本发明的视频指纹提取方法的工作原理给出详细说明。

对于给定视频V，例如以等距离(1秒)从其对应视频内容中提取一帧作为关键帧，得到视频V的关键帧序列12(P₁，P₂，...，P_n)，其中n为从视频V中提取的关键帧的数量。

对于每个关键帧P_i，提取其对应的兴趣点。在一个实施例中，可以提取关键帧的surf(Speeded-Up Robust Features，加速鲁棒性特征)特征点作为兴趣点，或者也可以提取sift(Scale Invariant Feature Transform，尺度不变特征转换)特征点、stip(Space Time Interest Points，时空兴趣点)特征点等其他特征点作为兴趣点。从而得到关键帧P_i的n个兴趣点14，表示为：

p₁(x₁，y₁)，p₂(x₂，y₂)，...，p_n(x_n，y_n)，

其中x_i为兴趣点p_i的横坐标，y_i为兴趣点p_i纵坐标。

根据兴趣点14的坐标，可以确定中心点为p₀(x₀，y₀)，其中中心点横坐标x₀和纵坐标y₀的计算公式如下：

$x_0=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i$ $y_0=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i$

若关键帧P_i的宽为w，高位h，则圆半径R为：

R＝min(x₀，y₀，|w-x₀|，|h-y₀|，d_p)

其中x₀，y₀，|w-x₀|，|h-y₀|为圆心p₀(x₀，y₀)到关键帧边界的距离，d_p为圆心p₀(x₀，y₀)到所有兴趣点的最长距离，即：

$d_p=\max \left(\sqrt{{(x_0-x_i)}^2+{(y_0-y_i)}^2}\right)$ (i＝1，2，...，n)。

也就是说，通过比较中心点到关键帧边界和最远兴趣点的距离大小，确定最小距离为划分关键帧P_i的同心圆半径。

然后，以p₀(x₀，y₀)为圆心，以R为半径的圆，将关键帧P_i划分为m个面积相同的同心圆环16。则每个同心圆环16的半径之比为：

第i个圆环的半径为：

$r_i=\sqrt{i\·R}$ (i＝1，2，...，m)

接着，将每个同心圆环16进一步划分为多个具有相同面积的扇环18。

基于视频指纹的鲁棒性考虑，通常划分的扇环数量取值不易过大。

例如图3的实施例所示，一个关键帧被划分为3个具有相同面积的同心圆环，分别对应编号32、34和36。并且利用水平、垂直、45度和135度四条直线可以将每一个同心圆环划分为面积相等的八个扇环或扇形。如图3所示，同心圆环34对应的划分扇环有8个，并按逆时针依次被标记为n0，n1，...n7。

当然，本发明不局限于该实施例数量的扇环划分，其他合适的数量仍落在本发明的保护范围内。

假如同心圆环34每个扇环对应的灰度平均值t＝(13，34，75，21，50，86，49，67)，则按照灰度平均值大小对每个扇环进行排序，从而得到同心圆环34的序数度量矢量p＝(1，3，7，2，5，8，4，6)(以1开始计算)或者p＝(0，2，6，1，4，7，3，5)(以0开始计算)。

同样地，根据每个同心圆环中扇环的灰度平均值t，可计算得到对应同心圆环的序数度量矢量24，从而得到整个视频的环形指纹。

本实施例以视频帧的兴趣点为基础进行视频指纹提取，兴趣点是一种典型的局部描述子，在视频的变换处理中兴趣点遭受攻击的可能性最小。因此，本发明可以在兼顾视频指纹提取鲁棒性的前提下。很好的提高指纹的唯一性。并且，通过在提取兴趣点基础上对视频帧进行划分得到对应的序数度量，序数度量是一种典型的全局描述子，对于视频的全局变换具有一定的鲁棒性。因此本发明可以很好地平衡提取指纹的唯一性和鲁棒性之间的关系，兼顾视频指纹提取的全面性和准确性。

图4给出了本发明另一个实施例的视频指纹提取方法的原理图，与图2实施例的不同之处在于，该实施例利用模板圆环20进一步对每个圆环16划分的扇环18进行循环处理，以实现视频存在旋转变换的情况下具有较好的鲁棒性。

下面结合图4的实施例进行详细说明，其中与实施例2相同的步骤将不再赘述。

在该实施例中，在划分得到多个具有相等面积的扇环18之后，根据模板圆环20和每个同心圆环中每个扇环的灰度平均值t计算对应同心圆环16的圆形值，其中模板圆环20包括与同心圆环16对应的多个划分扇环。

根据圆形值确定对应同心圆环16中扇环的起始位置，同心圆环的圆形值v_k计算公式如下：

$v_k=\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}g\left(t_i\right)*h\left(k\right),$ 其中 $g\left(t_i\right)=\left\{\begin{array}{cc}1& t_i>t_{i-1}\\ 0& t_i\≤t_{i-1}\end{array}\right.,$ i＝0～n-1，n为每个同心圆环包括的划分扇环的数量，t_i和t_i-1表示相邻扇环分别对应的灰度平均值，h(k)为模板圆环20对应的函数。

在一个实施例中，h(k)＝2^k，k＝i。对于8个扇环的实施例，该函数计算得到的圆形值通常位于0～255(8比特)的范围内，因此具有运算方便的优点。当然模板圆环20还可以是其他合适函数，而不局限于该具体实施例。

因此，通过在0～n-1之间依次确定k，从而将模板圆环20依次旋转一个扇环的角度。利用旋转后模板圆环分别计算对应同心圆环的圆形值，并从中选择最小的圆形值对应的扇环作为该同心圆环的起始位置。

例如对于图3的实施例，如果同心圆环34的每一个扇环块的灰度平均值分别为t0，t1，...t7，则第k个圆环的圆形值v_k计算公式如下：

$v_k=\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}g\left(t_i\right)*h\left(k\right)$

其中 $g\left(t_i\right)=\left\{\begin{array}{cc}1& t_i>t_{i-1}\\ 0& t_i\≤t_{i-1}\end{array}\right.,$ i＝0，1，2，...，7，当i＝0时，i-1取7。

h(k)＝2^k  k＝i。

环形值计算原理如图5的实施例所示：

在计算同心圆环34的圆形值v_k时，将计算时使用的模板圆环20按照顺/逆时针旋转。每次旋转一个扇环的角度，即45度，也就是在h(k)＝2^k中，k依次取i，i+1，i+2，...，i+7，并分别计算此时的圆形值v_k ^l，将v_k ^l取最小值时作为起始位置，即：

$v_k=\min (v_k^0,v_k^1,...,v_k^7)=v_k^l$

则第l个扇环作为该该同心圆环34的起始位置。

以l作为起始位置，每个扇环的灰度平均值为t′＝(t′₀，t′₁，...，t′₇)，对t′进行排序后得到t＝(t₀，t₁，...，t₇)。

如上文所述，假如同心圆环34每个扇环对应的灰度平均值t＝(13，34，75，21，50，86，49，67)，并且结合模板圆环20依次旋转后确定起始位置扇环为t2，即对应平均灰度值为70的扇环，则t’＝：(t′₀，t′₁，...，t′₇)＝(75，21，50，86，49，67，13，34)，t＝(t₀，t₁，...，t₇)＝(13，21，34，49，50，67，75，86)。

由t′＝(t′₀，t′₁，...，t′₇)和t＝(t₀，t₁，...，t₇)计算得到圆环34的环形序数度量矢量p_k，其中 $p_k=(p_k^0,p_k^1,...,p_k^7)$ 的公式如下：

如果t′_i＝t_k，则p_i＝k。对于上述具体例子，则p_k＝(7，2，5，8，4，6，1，3)。

由关键帧P_i中的所有同心圆环的环形序数度量矢量，可得关键帧P_i的圆形特征：

P_i＝(p₀，p₁，...，p_m)。

由所有关键帧P_i的圆形特征可组成整个视频V的圆形指纹P，即：

P＝(P₀，P₁，...，P_n)

当然，关于灰度平均值t’的排序算法也不局限于上述具体公式，本领域技术人员根据t’＝：(t′₀，t′₁，...，t′₇)对应的灰度平均值可以将其直接进行序号排序，得到相应的序数度量矢量。

本发明基于兴趣点，将视频帧划分为若干个面积相等的同心圆环，并把同心圆划分成若干个面积相等的扇环。因此提高了内容指纹的唯一性。

此外，本发明实施例通过对相邻扇环的灰度平均值进行相对排序，以一种相对比较度量作为内容指纹。因此，相比传统序数度量对块的灰度平均值进行绝对排序，本发明在视频的扇环均发生变化时，这种方式可以使得它们之间的相对值关系保持不变化，从而可以提高视频指纹提取的精度。

再者，本发明实施例采用了圆环的划分方法，并对每一个圆环内不同扇环的内容指纹进行了循环处理，所以对旋转变换具有鲁棒性。因此，在视频发生旋转的情况下，仍可以保证较高的指纹提取精度。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (9)

1.一种视频指纹提取方法，其特征在于，所述检测方法包括以下步骤：

a)提取视频的关键帧以及每个关键帧的所有兴趣点；

b)根据每个关键帧对应的边界和提取的兴趣点，将每个关键帧划分成多个具有相等面积的同心圆环；

c)将每个同心圆环划分成多个具有相等面积的扇环；以及

d)根据每个同心圆环中扇环的灰度平均值t计算对应同心圆环的序数度量矢量，以获得每个关键帧的环形特征及其对应视频的环形指纹。

2.如权利要求1所述的提取方法，其特征在于，所述兴趣点为所述关键帧的加速鲁棒性特征surf兴趣点、尺度不变特征转换sift兴趣点或者时空兴趣点stip。

3.如权利要求1所述的提取方法，其特征在于，所述步骤b包括：

根据所述兴趣点计算所述同心圆环的中心点；

选择所述中心点到所述边界和最远兴趣点的最小值为所述同心圆环的半径；以及

利用所述中心点和所述半径划分得到所述多个同心圆环。

4.如权利要求1所述的提取方法，其特征在于，所述步骤d包括：

根据模板圆环和每个同心圆环中每个扇环的灰度平均值t计算对应同心圆环的圆形值，其中所述模板圆环包括与同心圆环对应的多个划分扇环；

根据所述圆形值确定对应同心圆环中扇环的起始位置；

对每个同心圆环中对应所述起始位置排列的每个扇环的灰度平均值t’进行大小排序；以及

利用每个扇环的灰度平均值t’及其对应的排序灰度平均值t计算对应同心圆环的序数度量矢量。

5.如权利要求1或4所述的提取方法，其特征在于，根据每个关键帧所有同心圆环对应的序数度量矢量确定每个关键帧的环形特征，以及根据所有关键帧的环形特征确定所述视频的环形指纹。

6.如权利要求4所述的提取方法，其特征在于，所述确定对应同心圆环中扇环的起始位置包括：

依次旋转所述模板圆环转过一个扇环的角度；

利用旋转后模板圆环分别计算所述同心圆环的圆形值；以及

选择最小的圆形值对应的扇环作为所述起始位置。

7.如权利要求4或6所述的提取方法，其特征在于，所述同心圆环的圆形值v_k计算公式如下：

$v_k=\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}g\left(t_i\right)*h\left(k\right),$ 其中 $g\left(t_i\right)=\left\{\begin{array}{cc}1& t_i>t_{i-1}\\ 0& t_i\≤t_{i-1}\end{array}\right.,$ i＝0～n-1，n为每个同心圆环包括的扇环的数量，t_i和t_i-1表示相邻扇环分别对应的灰度平均值，h(k)为所述模板圆环。

8.如权利要求6所述的提取方法，其特征在于，h(k)＝2^k，k＝i。

9.如权利要求4所述的提取方法，其特征在于，所述序数度量矢量计算公式表示如下：

如果t′_i＝t_k，则p_i＝k。

Images