CN101980542B - 基于时序振动和纠错码的视频数字指纹嵌入及其检测方法 - Google Patents

Abstract

一种视频处理技术领域的基于时序振动和纠错码的视频数字指纹嵌入及其检测方法，通过生成用户指纹曲线并将用户指纹曲线通过帧移位法嵌入视频中，然后生成追踪指纹并进一步嵌入视频中，得到含追踪指纹的视频，另一方面通过非盲检测提取待检测视频中的数字指纹，然后采用基于纠错码的追踪指纹编码对提取出的指纹序列进行相关性参数计算，最终确定该指纹对应的用户。本发明基于时序振动设计曲线指纹，使合谋生成的视频拷贝不再具备商业价值，从而实现保护版权的功能；基于纠错码设计追踪指纹，实现对非法散布者的追踪，加强该数字指纹系统的抗合谋性能。

Description

基于时序振动和纠错码的视频数字指纹嵌入及其检测方法

技术领域

本发明涉及的是一种视频处理技术领域的方法，具体是一种基于时序振动和纠错码的视频数字指纹嵌入及其检测方法。

背景技术

近年来，随着计算机网络技术的迅猛发展，多媒体信息的交换达到了一个空前的高度，数字化产品通过网络传播的数量越来越多，范围越来越广，因此在确保多媒体信息拷贝被合法用户正常使用的同时，还要防止拷贝被合法用户非法复制及散布。

数字指纹技术是近些年来抵御侵权散布的新兴技术。生产商在其分发的每一份数字产品的拷贝中嵌入一些特别的信息，即指纹信息。这些指纹信息确定该拷贝的合法拥有者；通过一些方法提取并检测非法拷贝中的指纹信息，追踪到非法散布该拷贝的用户，从而维护产品的版权。为逃避追踪，非法散布者会对多媒体信息发动合谋攻击，即利用多份拷贝联合生成一份指纹信息被篡改、削弱、伪造甚至完全移除的更新后的拷贝，在散布非法拷贝获取利益的同时逃避法律责任。因此如何设计指纹使之能够抵抗如今层出不穷的攻击方式，准确追踪到叛逆者是数字指纹技术研究的重点。目前大多数抗合谋多媒体指纹的研究均考虑追踪编码的设计。

经对现有技术的文献检索发现，Yu Tzu Lin等人在“Collusion-resistant VideoFingerprinting Based on Temporal Oscillation”(基于时序振动的抗合谋视频指纹)提出了一个基于时序振动的指纹，同时在此基础上再使用追踪指纹以提高整个数字指纹系统的整体抗合谋性能。该技术中数字指纹系统包含两种类型的数字指纹，即曲线指纹(时序振动指纹)和追踪指纹。曲线指纹的设计思想是给每个合法用户分配一条光滑的周期曲线函数，并嵌入到其视频中去；当发生合谋攻击时，合谋生成的视频将由于视频中所含有的曲线不再光滑而产生剧烈的振荡，从而失去应有的商业价值，以此达到防御合谋攻击的目的。曲线指纹不需要进行检测，只需要保证嵌入之后对视频的实际播放效果不超出允许接受的范围即可。追踪指纹采用分层的追踪指纹编码方案，该编码是基于多级用户组生成的，并将完整的指纹嵌入到视频的一个镜头中。无论是否发生合谋攻击，都采用基于镜头的追踪指纹编码来实现追踪功能，以此加强指纹系统的抗合谋性能。曲线指纹和追踪指纹一定程度上起到了互补的作用，对于合谋攻击的抵抗性能有了较大的提高。但是该文中所提出的分层追踪指纹编码实现较为复杂，且并没有对曲线指纹的函数参数进行分析。

进一步检索发现，R.Safavi-Nani和Y.Wang在“Collusion secure q-ary fingerprintingfor perceptual content”(合谋安全的q进制感知媒体指纹)文献中分析并证明了q进制纠错码用于设计感知媒体指纹时的参数选取要求。在此基础上M.Fernandez在文献“Soft-decisiontracing in fingerprinted multimedia content”(含有指纹的多媒体内容的软判决追踪方法)中采用q进制的里德所罗门(Reed-Solomon，RS)码设计感知媒体的数字指纹。S.He在R.Safavi-Nani和Y.Wang以及M.Fernandez三人的理论工作的基础上将q进制里德所罗门码引入感知媒体的指纹中，在文献“Joint coding and embedding techniques for multimediafingerprinting”(编码与嵌入结合的多媒体指纹技术)中，S.He提出的指纹设计方法为：令里德所罗门码所在的伽罗华域中的一个码元对应一个扩频序列，不同码元的序列相互正交，一个用户的指纹是一个码字对应的扩频序列。He指出基于纠错码指纹在合谋检测时仅为根号复杂度。S.He在“Collusion resistant video fingerprinting for large user group”(针对大规模用户组的抗合谋视频指纹)文献中将基于里德所罗门码的扩频指纹系统的用户数量扩大至10⁶以上，合谋容忍上限为100个用户，该文献中不仅有算法的理论分析和仿真实验，还将算法应用于视频系统中进行实验。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于时序振动和纠错码的视频数字指纹嵌入及其检测方法，基于时序振动设计曲线指纹，使合谋生成的视频拷贝不再具备商业价值，从而实现保护版权的功能；基于纠错码设计追踪指纹，实现对非法散布者的追踪，加强该数字指纹系统的抗合谋性能。

本发明是通过以下技术方案实现的：

本发明涉及一种基于时序振动和纠错码的视频数字指纹嵌入方法，通过生成用户指纹曲线并将用户指纹曲线通过帧移位法嵌入视频中，然后生成追踪指纹并进一步嵌入视频中，得到含追踪指纹的视频。

所述的用户指纹曲线是指：为用户u定义曲线函数x_u(t)，

其中：A表示振幅，T表示周期，θ表示初始相位，a₀表示初始幅值，θ和a₀均取常数值。

所述的生成用户指纹曲线是指：

1.1)对所选视频V进行镜头检测，采用基于HSV颜色空间的镜头检测算法，将视频的帧序列分割成N个的镜头S_i，其中i＝1，2，...，N，N表示视频V所含有的镜头数目，同时引入有效分割检验过程，提高视频镜头分割的效率；

1.2)对由1.1)中得到的视频镜头S_i进行运动分析，获取镜头中每一帧f_i，j的全局运动矢量

即当前视频帧f_i，j与上一视频帧f_i，j-1之间的运动位移关系，其中i＝1，2，...，N，j＝1，2，...，M，M为镜头S_i所包含的帧的数目。

1.3)设置秘密数α(u)、β(u)和γ(u)，其中：

$A(u,S_i)=\mathrm{\α}\left(u\right)\·E\left(\right|\stackrel{\‾}{{\mathrm{mv}}_g\left(f_{i,j}\right)}\left|\right);$ $T(u,S_i)=\frac{\mathrm{\β}\left(u\right)}{E\left(\right|\stackrel{\‾}{{\mathrm{mv}}_g\left(f_{i,j}\right)}\left|\right)+\mathrm{\γ}\left(u\right)};$

得到镜头S_i的曲线函数的振幅A(u，S_i)以及周期T(u，S_i)。其中：

是用户u视频镜头S_i中帧f_i，j的全局运动矢量，A(u，S_i)和T(u，S_i)是用户u的视频镜头S_i的振幅和周期；为用户u的视频镜头S_i定义的曲线函数

为：

假设用户u的视频V有N个镜头，因此为其定义的曲线函数x_u(t)包含N条光滑的余弦曲线函数

所述的运动分析包含如下步骤：首先获取相邻两个视频帧f_i，j和f_i，j-1的灰度矩阵G_i，j和G_i，j-1；对当前的视频帧f_i，j的灰度矩阵G_i，j在X方向与Y方向上分别进行m单位和n单位的平移，记该运动矢量为

其中m、n取整数，且限制在一定范围内，以减少计算耗费的时间；每做好一次平移，计算G_i，j和G_i，j-1两个矩阵重叠部分的差值，并得到每次平移之后的相关系数r_k，k表示对平移矢量(m，n)的不同取值情况的标记，取值范围为[1，m*n]；比较对应不同的平移矢量(m，n)的相关系数r_k，取最小的相关系数min{r_k}对应的平移矢量作为视频两帧之间的全局运动矢量，即

所述的帧移位法是指：

2.1)获取视频V的镜头S_i，再获取镜头S_i的一个帧f_i，j，将图片帧分解成对应的灰度矩阵G_i，j以及两个色度矩阵U_i，j，V_i，j；

2.2)根据定义的曲线函数

对灰度矩阵G_i，j以及两个色度矩阵U_i，j，V_i，j进行对应单位数量的移位，灰度矩阵G_i，j的移位单位数量为：

其中t＝j。色度矩阵U_i，j，V_i，j的移位单位数量为：Du＝Dv＝fix(Dy/2)。

2.3)移位后得到的视频即为嵌入了曲线指纹的镜头S′_i，对视频V的所有镜头实施曲线指纹嵌入过程，即得到嵌入了曲线指纹的视频V′。

所述的追踪指纹是指：用户u生成追踪指纹编码序列M，采用基于里德所罗门码，即RS码的纠错码进行编码。

所述的生成追踪指纹是指：

3.1)获取嵌入用户指纹曲线的视频V′的镜头S′_i，对其中的每一帧f_i，j′，的灰度矩阵G_i，j′进行全局DCT变换，得到全局DCT变换系数DCTcoef_i，j，同时计算其对比度掩蔽值contrastmask_i，j，比较帧f_i，j′各个像素点的DCT变换系数与对比度掩蔽值的大小得到帧f_i，j′的可嵌入像素点的个数embedtemp_i，j以及嵌入状态矩阵embedstate_i，j，嵌入状态矩阵embedstate_i，j表示可嵌入像素点在帧f_i，j′上的位置，同时表示该位置的可嵌入像素点在整体的可嵌入像素点总数中的位置，可将其与灰度矩阵G_i，j′对应，在(l，h)位置上，若DCTcoef_i，j＞contrastmask_i，j，则embedstate_i，j＝count，其中count初始值为1，每当得到一个可嵌入像素点时，count＝count+1；反之取embedstate_i，j＝0。计算镜头S_i的每一帧的可嵌入像素点个数embedtemp_i，j，取其中最小值作为镜头S_i的可嵌入像素点个数embedtemp_i；

3.2)确定纠错码码字长度l_ecc以及码字中码元的取值空间GF(q)，其中GF(q)表示有q个元素的伽罗华域，码字长度l_ecc根据用户的规模N_user定义，满足

为每个用户u分配一个纠错码码字其中码元e_u的取值为GF(q)中的元素；

3.3)随机生成大小为q×(floor(embedtemp_i/l_ecc))的码元转换矩阵pattern，使得矩阵pattern的行向量近似满足正交性质，即可将行向量看作是一高斯序列；

3.4)将码字中的每一个码元e_u通过码元转换矩阵pattern映射成与之对应的高斯序列，并将映射所得的序列按照码字中码元的顺序依次连接起来，得到追踪指纹序列M。

所述的含追踪指纹的视频，通过以下方式获得：

4.1)对视频V′的帧f_i，j′根据嵌入状态矩阵embedstate_i，j，将由所述第三步中所得到的追踪指纹序列M的各个值与可嵌入的像素点处的DCT变换系数DCTcoef_i，j进行计算，得到更新后的DCT变换系数DCTcoef′_i，j：DCTcoef＇_i，j＝DCTcoef_i，j+contrastmask_i，j·M_k，其中：M_k表示第k个可嵌入像素点对应的指纹序列中的值，同时第k个可嵌入像素点在帧中的位置为(l，h)，(l，h)表示嵌入状态矩阵embedstate_i，j中count＝k的位置；

4.2)用新生成的DCT变换系数DCTcoef′_i，j替换对应的原有位置上的DCT变换系数DCTcoef_i，j；

4.3)对替换后的DCT变换系数DCTcoef′_i，j进行DCT反变换，得到含追踪指纹的图片帧f′_i，j。对视频V′的每一帧都进行追踪指纹序列M的嵌入，最终得到含追踪指纹的视频V″。

本发明涉及上述视频的数字指纹的检测方法，通过非盲检测提取待检测视频中的数字指纹，然后采用基于纠错码的追踪指纹编码对提取出的指纹序列进行相关性参数计算，最终确定该指纹对应的用户。

所述的非盲检测是指：获取待检测视频V_illegal的一帧f_illegal，对其进行全局DCT变换获得DCT变换系数DCTcoef^illegal，将与其对应的只包含曲线指纹的视频帧f进行全局DCT变换获得DCT变换系数DCTcoef，再根据该帧f的嵌入状态矩阵embedstate以及对比度掩蔽值contrastmask，得到待检测视频V_illegal的帧f_illegal中所包含的指纹信息M′_k，M′_k＝(DCTcoef^illegal-DCTcoef)/contrastmask，M′_k表示在第k个可嵌入像素点对应的指纹序列中的值，第k个可嵌入像素点在帧中的位置为(l，h)，(l，h)表示嵌入状态矩阵embedstate中count＝k的位置，则待检测视频V_illegal的帧f_illegal含有的指纹序列为M′.

所述的相关性参数计算是指：将获得的指纹序列M′与已有的为每个用户所分配的指纹序列M_u进行相关性系数corr_u的计算，计算公式如下：

得到的相关性系数corr_u最大的对应的用户u即认为是叛逆者。

本发明中曲线指纹有效抵抗平均攻击、基于帧的复制-粘贴攻击等合谋攻击，它通过使合谋生成的非法拷贝无效化，使其不具备商业价值，使得非法散播没有意义来抵抗合谋攻击，从而在源头上遏制侵权散布的非法行为，提高了效率。在上述攻击情形下，无需对合谋者进行追踪，节约了成本。对于基于镜头或者场景的复制-粘贴攻击，本发明通过引入基于ECC的追踪指纹，与曲线指纹形成互补，进一步提高了数字指纹系统的性能，在曲线指纹的作用不明显时，通过追踪指纹追踪叛逆者来实现对多媒体信息的保护。

附图说明

图1为本发明流程图。

图2为实施例中测试视频的第一帧图像的灰度图。

图3为实施例中嵌入追踪指纹的测试视频帧序列的PSNR值。

图4为实施例中合谋者规模为6的平均攻击后生成的视频第一帧图像的灰度图。

图5MPEG4编解码后视频第一帧提取的指纹信息相关系数corr值图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例采用busforman_cif.yuv作为测试视频，该视频由bus_cif.yuv和forman_cif.yuv两个.yuv原始视频序列各自的前一百帧组成，视频帧的结构大小为288*352，为方便说明，取测试视频的第一帧的黑白图作为参考，如附图2所示。

首先，生成指纹并将其嵌入到测试视频中。所述指纹包括曲线指纹和追踪指纹。具体的包括以下步骤：

1)生成曲线指纹

曲线指纹的重点在于确定所嵌入指纹的曲线函数，要求该曲线足够光滑，嵌入之后视频的实时振荡是接受的。不失一般性，选取余弦函数作为嵌入的曲线。为用户u定义曲线函数x_u(t)，其表达式如下：

$x_u\left(t\right)=A\·\cos (\frac{2\mathrm{\π}}{T}t+\mathrm{\θ})+a_0,$

其中A表示振幅，T表示周期，θ表示初始相位，a₀表示初始幅值，θ和a₀均取常数值。

在不影响实验结果的前提下简化实验，取a₀＝1，θ＝0。由于测试视频V中包含了两个镜头，取其第一个镜头S₁作为参考。

1.1)运动分析

对视频镜头S₁进行运动分析，获取镜头中每一帧f_1，j的全局运动矢量

即当前视频帧f_1，j与上一视频帧f_1，j-1之间的运动位移关系，其中j＝1，2，...，M，M为镜头S₁所包含的帧的数目，这里M＝100。

所述的运动分析包含如下步骤：首先获取相邻两个视频帧f_1，j和f_1，j-1的灰度矩阵G_1，j和G_1，j-1；对当前的视频帧f_1，j的灰度矩阵G_1，j在X方向与Y方向上分别进行m单位和n单位的平移，记该运动矢量为

其中m、n取整数，实施例中取m＝n∈[-5，5]；每做好一次平移，计算G_1，j和G_1，j-1两个矩阵重叠部分的差值，并得到每次平移之后的相关系数r_k，k表示对平移矢量(m，n)的不同取值情况的标记，取值范围为[1，m*n]；比较对应不同的平移矢量(m，n)的相关系数r_k，取最小的相关系数min{r_k}对应的平移矢量作为视频两帧之间的全局运动矢量，即

通过对参数A(u，S₁)和T进行定性以及定量的分析，得到较为高效的曲线指纹函数

在振幅A(u，S₁)固定的情况下，当周期T(u，S₁)较小时，PSNR变化的周期频率较快，这将导致视频播放的时候振荡较为明显，影响正常观看；周期T(u，S₁)较大时，PSNR变化的趋势比较缓慢，这样可能导致多份拷贝中相应位置的指纹能量相似，降低了抗合谋性能。因此，周期T(u，S₁)的取值需适中，同时也要考虑到使用的视频的镜头S₁帧序列长度M，两者相结合，就得到一个性能较高的周期T的取值。实验中视频帧序列一个镜头帧长度M＝100，因此周期T的取值范围在[100，200]之间较为合适。实施例中取T(u，S₁)＝100。

在周期T(u，S₁)固定的情况下，随着振幅A(u，S₁)的增大，PSNR的取值大小也随着减小，说明振幅A(u，S₁)越大，帧的保真度就越小，因此振幅A(u，S₁)不能太大，否则将破坏原始视频的播放效果；振幅A(u，S₁)很小的时候，在视频的帧序列中的较大范围内，PSNR的值波动稳定几乎不变，这将影响指纹抗合谋的性能；同时还要考虑到视频帧的结构大小。因此，振幅A(u，S₁)的取值要适中。本实施例中振幅A(u，S₁)的取值范围为[3，10]，取A(u，S₁)＝5。

得到测试视频V镜头S₁的曲线函数的振幅A(u，S₁)以及周期T(u，S₁)，根据三个秘密数α(u)，β(u)，γ(u)与振幅周期之间的关系：

$A(u,S_1)=\mathrm{\α}\left(u\right)\·E\left(\right|\stackrel{\‾}{{\mathrm{mv}}_g\left(f_{1,j}\right)}\left|\right);$ $T(u,S_1)=\frac{\mathrm{\β}\left(u\right)}{E\left(\right|\stackrel{\‾}{{\mathrm{mv}}_g\left(f_{1,j}\right)}\left|\right)+\mathrm{\γ}\left(u\right)}$

可推得三个秘密数的关系式，从而可确定为用户u的视频镜头S₁定义的曲线函数

同样，可按上述步骤得到为测试视频V的镜头S₂设计的曲线函数

2)嵌入曲线指纹

根据第一步定义的曲线函数实时地对视频镜头S₁的帧序列进行上下移位，移位过程即为曲线指纹的嵌入过程。所述的曲线指纹嵌入步骤如下：

2.1)获取测试视频V的镜头S₁，再获取镜头S₁的一个帧f_1，j，将图片帧分解成对应的灰度矩阵G_1，j以及两个色度矩阵U_1，j，V_1，j；

2.2)根据定义的曲线函数

对灰度矩阵G_1，j以及两个色度矩阵U_1，j，V_1，j进行对应单位数量的移位。移位的单位数量如下：

灰度矩阵G_1，j的移位单位数量为：

$\mathrm{Dy}=\mathrm{round}\left(d_{u,S_1}\left(t\right)\right)=\mathrm{round}(A(u,S_1)\·\cos (\frac{2\mathrm{\π}}{T(u,S_1)}t+\mathrm{\θ})+a_0);$ 其中t＝j。

色度矩阵U_1，j，V_1，j的移位单位数量为：

Du＝Dv＝fix(Dy/2)。

2.3)移位后得到嵌入了曲线指纹的镜头S′₁。

同样，可按上述步骤根据曲线函数

实时地对视频镜头S₂的帧序列进行上下移位，即将曲线指纹

嵌入到镜头S₂中，得到嵌入了曲线指纹的镜头S′₂。

由步骤2)得到嵌入了曲线指纹的视频V′。

3)生成追踪指纹

为用户u生成追踪指纹编码序列M，采用基于里德所罗门码，即RS码的纠错码进行编码。所述的追踪指纹编码序列M生成方法包括以下步骤：

3.1)获取用户u嵌入了曲线指纹的的镜头S′₁，对镜头S′₁的每一帧f_1，j′的灰度矩阵G_1，j′进行全局DCT变换，得到全局DCT变换系数DCTcoef_1，j，同时计算对比度掩蔽值contrastmask_1，j，比较帧f_1，j′各个像素点的DCT变换系数与对比度掩蔽值的大小得到帧f_1，j′的可嵌入像素点的个数embedtemp_1，j以及嵌入状态矩阵embedstate_1，j，嵌入状态矩阵embedstate_1，j表示可嵌入像素点在帧f_1，j′上的位置同时表示该位置的可嵌入像素点在整体的可嵌入像素点总数中的位置，可将其与灰度矩阵G_1，j′对应，在(l，h)位置上，若DCTcoef_1， j＞contrastmask_1，j，则embedstate_1，j＝count，其中count初始值为1，每当得到一个可嵌入像素点时，count＝count+1；反之取embedstate_1，j＝0。计算镜头S′₁的每一帧可嵌入像素点个数embedtemp_1，j，取其中最小值作为镜头S′₁可嵌入像素点个数embedtemp₁。

同样，得到镜头S′₂可嵌入像素点个数embedtemp₂。

3.2)确定纠错码码字长度l_ecc以及码字中码元的取值空间GF(q)，其中GF(q)表示有q个元素的伽罗华域，码字长度l_ecc根据用户的规模N_user定义，二者之间关系式为

实验中用户总数量为N_user＝1024，为每个用户预先分配追踪指纹的纠错码码字

长度为l_ecc＝30，0＜i≤l_ecc＝30，码字中的每个码元的取值为伽罗华域GF(q)，其中q＝32。

3.3)生成码元转换矩阵pattern，码元转换矩阵pattern大小为32×(floor(embedtemp₁/30))，方差σ²＝1/9的随机生成的矩阵，不同的行向量之间近似满足正交性质，即可将行向量看作是一高斯序列。

3.4)将码字

中的每一个码元e_u通过码元转换矩阵pattern映射成与之对应的高斯序列，并将映射所得的序列按照码字中码元的顺序依次连接起来，得到追踪指纹序列M。

4)嵌入追踪指纹，所述的追踪指纹嵌入方法包括以下步骤：

4.1)对视频V′的帧f_1，j′根据嵌入状态矩阵embedstate_1，j，将所述步骤3)得到的追踪指纹序列M的各个值与可嵌入的像素点处的DCT变换系数DCTcoef_1，j进行计算，得到更新后的DCT变换系数DCTcoef′_1，j，关系式为：

DCTcoef′_1，j＝DCTcoef_1，j+contrastmask_1，j·M_k；

其中M_k表示第k个可嵌入像素点对应的指纹序列中的值，同时第k个可嵌入像素点在帧中的位置为(l，h)，(l，h)表示嵌入状态矩阵embedstate_1，j中元素count＝k的位置。

4.2)用新生成的DCT变换系数DCTcoef′_1，j替换对应的原有位置上的DCT变换系数DCTcoef_1，j；

4.3)对替换后的DCT变换系数DCTcoef′_1，j进行DCT反变换，得到含追踪指纹的图片帧f_1，j″。

对视频V′的每一帧都进行追踪指纹序列M的嵌入，最终得到含追踪指纹的视频V″。

本实施例中，嵌入追踪指纹序列M之后，视频V″每一帧的PSNR值均在40以上，如附图3所示。因此，嵌入追踪指纹后，视频的保真度是很高的，不影响视频的正常性能。

实际应用中，一旦发现可疑拷贝，则进行指纹提取与合谋者检测。本实施例分别对平均合谋攻击和复制-粘贴攻击进行了分析、检测。

所述平均合谋攻击是指合谋生成的新拷贝的每一个信号值都是合谋者相应位置信号的均值。曲线指纹是基于使合谋攻击生成的视频不具备商业价值来达到实现抵抗攻击的能力，由于曲线指纹的嵌入使得不同用户视频的相同位置的视频帧进行了不同单位量的位移操作，因此平均攻击之后产生的视频将剧烈模糊化从而不具备商业价值，因此不需要进行检测，如附图4所示，这仅仅是合谋者规模为6情况下所产生的结果，如果合谋者的规模继续变大，则将对视频产生更大的影响，因此看出，曲线指纹对于平均攻击具有较强的抵抗性能。

所述复制粘贴攻击是指通过剪切每个合谋者的数字产品拷贝的不同部分，并将它们粘贴在一起，从而生成了更新后的拷贝，更新后的拷贝中每个非法用户的指纹能量衰减。曲线指纹对于基于帧的复制-粘贴攻击具有较强的抵抗性能，因为该攻击从不同视频中抽取视频帧的随机性将破坏攻击后生成的视频中的曲线指纹函数的光滑性，从而使得视频播放流畅性下降，产生视频振荡，影响商业价值，可从视频帧序列的PSNR值的振荡变化看出。若是基于镜头或者场景的复制-粘贴攻击，在曲线指纹无法取得较好效果的情况下，在此情形下，必须通过追踪指纹来追踪合谋者。

采用非盲检测的方法，所述的叛逆者追踪步骤如下：

1)获取待检测视频V_illegal的一帧f_illegal，对其进行全局DCT变换获得DCT变换系数DCTcoef^illegal，将与其对应的只包含曲线指纹的视频帧f进行全局DCT变换获得DCT变换系数DCTcoef，再根据该帧f的嵌入状态矩阵embedstate以及对比度掩蔽值contrastmask，得到待检测视频V_illegal的帧f_illegal中所包含的指纹信息M′_k，M′_k＝(DCTcoef^illegal-DCTcoef)/contrastmask，M′_k表示在第k个可嵌入像素点对应的指纹序列中的值，第k个可嵌入像素点在帧中的位置为(l，h)，(l，h)表示嵌入状态矩阵embedstate中count＝k的位置。则待检测视频V_illegal的帧f_illegal含有的指纹序列为M′。

2)通过相关度计算，判定叛逆者。将获得的指纹序列M′与已有的为每个用户所分配的指纹序列M_u进行相关性系数corr_u的计算，计算公式如下：

${\mathrm{corr}}_u=M^{\′}\·M_u^T$

得到的相关性系数corr_u最大的对应的用户u即认为是叛逆者。

上述实施过程是针对原始视频帧实施的，在实际应用中，视频都是经过编码压缩存储、播放及传播的。本实施例采用开源MPEG4编解码器——Xvid，对本发明方法进行了MPEG4编解码测试。步骤如下：

(1)用Xvid对所述含有指纹的视频序列V″进行压缩编码，得到mp4格式的压缩视频V_mp4，观测其播放效果，实验中得到的视频V_mp4播放效果良好；

(2)再对所述mp4格式的压缩视频V_mp4进行解码，得到pgm格式的图片序列P，该序列对应于视频V″的帧序列。由于曲线指纹是通过对测试视频帧在结构上的移位实现的，因此重点在于检测MPEG4编解码对追踪指纹的影响。

(3)按照所述追踪指纹的提取方法，提取图片序列P的第一张图片P₁中的指纹信息。

(4)指纹检测。将提取出的指纹信息与分配给所有用户的指纹进行相关系数corr的计算：

$\mathrm{corr}=\sqrt{({\mathrm{embedtemp}}_1/{\mathrm{\σ}}^2)}$

根据相关系数最大值对应的用户从而确定所提取的追踪指纹所分配的用户。

本实施例中选取用户u＝100的追踪指纹作为参考，得到的相关系数corr的值图如附图5所示，易知MPEG4编解码对于本方法中的指纹没有较大影响，即该指纹方法适用于MPEG4格式的视频。

在该实施例中，对于视频嵌入了两种不同类型的指纹，一种是曲线指纹，一种是追踪指纹，曲线指纹作用在视频的结果仅仅是视频中的每一帧都根据对应位置曲线函数的值进行了上下移位，并没有嵌入多余的指纹信息，因此曲线指纹不需要检测机制，但是其意义在于通过使合谋攻击生成的视频拷贝不具备观看价值，从而有效地抵御合谋攻击。对于曲线指纹无法高效抵抗的合谋攻击如基于场景的复制-粘贴攻击下，该实例中采用了基于纠错码的追踪指纹编码，有效的追踪到合谋者，达到保护版权的目的。同时通过MPEG4编解码测试可知，该数字指纹系统对于MPEG4格式的视频具有较好的应用前景。

Claims (7)

1.一种基于时序振动和纠错码的视频数字指纹嵌入方法，其特征在于，通过生成用户指纹曲线并将用户指纹曲线通过帧移位法嵌入视频中，然后生成追踪指纹并进一步嵌入视频中，得到含追踪指纹的视频；

所述的用户指纹曲线是指：为用户u定义曲线函数x_u(t)， 

其中：A表示振幅，T表示周期，θ表示初始相位，a₀表示初始幅值，θ和a₀均取常数值；

所述的生成用户指纹曲线是指：

1.1)对所选视频V进行镜头检测，采用基于HSV颜色空间的镜头检测算法，将视频的帧序列分割成N个的镜头S_i，其中i＝1，2，...，N，N表示视频V所含有的镜头数目，同时引入有效分割检验过程，提高视频镜头分割的效率；

1.2)对由1.1)中得到的视频镜头S_i进行运动分析，获取镜头中每一帧f_i，j的全局运动矢量 

即当前视频帧f_i，j与上一视频帧f_i，j-1之间的运动位移关系，其中i＝1，2，...，N，j＝1，2，...，M，M为镜头S_i所包含的帧的数目，

1.3)设置秘密数α(u)、β(u)和γ(u)，其中：

得到镜头S_i的曲线函数的振幅A(u，S_i)以及周期T(u，S_i)，其中： 

是用户u视频镜头S_i中帧f_i，j的全局运动矢量，A(u，S_i)和T(u，S_i)是用户u的视频镜头S_i的振幅和周期；为用户u的视频镜头S_i定义的曲线函数 

为： 

假设用户u的视频V有N个镜头，因此为其定义的曲线函数x_u(t)包含N条光滑的余弦曲线函数

所述的追踪指纹是指：用户u生成追踪指纹编码序列M，采用基于里德所罗门码，即RS码的纠错码进行编码；所述的生成追踪指纹是指：

3.1)获取嵌入用户指纹曲线的视频V′的镜头S′_i，对其中的每一帧f_i，j′，的灰度矩 阵G_i，j′进行全局DCT变换，得到全局DCT变换系数DCTcoef_i，j，同时计算其对比度掩蔽值contrastmask_i，j，比较帧f_i，j′各个像素点的DCT变换系数与对比度掩蔽值的大小得到帧f_i，j′的可嵌入像素点的个数embedtemp_i，j以及嵌入状态矩阵embedstate_i，j，嵌入状态矩阵embedstate_i，j表示可嵌入像素点在帧f_i，j′上的位置，同时表示该位置的可嵌入像素点在整体的可嵌入像素点总数中的位置，可将其与灰度矩阵G_i，j′对应，在(l，h)位置上，若DCTcoef_i，j＞contrastmask_i，j，则embedstate_i，j＝count，其中count初始值为1，每当得到一个可嵌入像素点时，count＝count+1；反之取embedstate_i，j＝0，计算镜头S_i的每一帧的可嵌入像素点个数embedtemp_i，j，取其中最小值作为镜头S_i的可嵌入像素点个数embedtemp_i；

3.2)确定纠错码码字长度l_ecc以及码字中码元的取值空间GF(q)，其中GF(q)表示有q个元素的伽罗华域，码字长度l_ecc根据用户的规模N_user定义，满足 为每个用户u分配一个纠错码码字 

其中码元e_u的取值为GF(q)中的元素；

3.3)随机生成大小为q×(floor(embedtemp_i/l_ecc))的码元转换矩阵pattern，使得矩阵pattern的行向量近似满足正交性质，即可将行向量看作是一高斯序列；

3.4)将码字 

中的每一个码元e_u通过码元转换矩阵pattern映射成与之对应的高斯序列，并将映射所得的序列按照码字中码元的顺序依次连接起来，得到追踪指纹序列M。

2.根据权利要求1所述的基于时序振动和纠错码的视频数字指纹嵌入方法，其特征是，所述的运动分析包含如下步骤：首先获取相邻两个视频帧f_i，j和f_i，j-1的灰度矩阵G_i，j和G_i，j-1；对当前的视频帧f_i，j的灰度矩阵G_i，j在X方向与Y方向上分别进行m单位和n单位的平移，记该运动矢量为 

其中m、n取整数，且限制在一定范围内，以减少计算耗费的时间；每做好一次平移，计算G_i，j和G_i，j-1两个矩阵重叠部分的差值，并得到每次平移之后的相关系数r_k，k表示对平移矢量(m，n)的不同取值情况的标记，取值范围为[1，m*n]；比较对应不同的平移矢量(m，n)的相关系数r_k，取最小的相关系数min{r_k}对应的平移矢量作为视频两帧之间的全局运动矢量，即 

3.根据权利要求1所述的基于时序振动和纠错码的视频数字指纹嵌入方法，其特征是，所述的帧移位法是指：

2.1)获取视频V的镜头S_i，再获取镜头S_i的一个帧f_i，j，将图片帧分解成对应的灰度矩阵G_i，j以及两个色度矩阵U_i，j，V_i，j；

2.2)根据定义的曲线函数 

对灰度矩阵G_i，j以及两个色度矩阵U_i，j，V_i，j进行对应单位数量的移位，灰度矩阵G_i，j的移位单位数量为：

其中t＝j，色度矩阵U_i，j，V_i，j的移位单位数量为：Du＝Dv＝fix(Dy/2)，

2.3)移位后得到的视频即为嵌入了曲线指纹的镜头S′_i，对视频V的所有镜头实施曲线指纹嵌入过程，即得到嵌入了曲线指纹的视频V′。

4.根据权利要求1所述的基于时序振动和纠错码的视频数字指纹嵌入方法，其特征是，所述的含追踪指纹的视频，通过以下方式获得：

4.1)对视频V′的帧f_i，j′根据嵌入状态矩阵embedstate_i，j，将由所述第三步中所得到的追踪指纹序列M的各个值与可嵌入的像素点处的DCT变换系数DCTcoef_i，j进行计算，得到更新后的DCT变换系数DCTcoef′_i，j：DCTcoef′_i，j＝DCTcoef_i，j+contrastmask_i，j·M_k，其中：M_k表示第k个可嵌入像素点对应的指纹序列中的值，同时第k个可嵌入像素点在帧中的位置为(l，h)，(l，h)表示嵌入状态矩阵embedstate_i，j中count＝k的位置；

4.2)用新生成的DCT变换系数DCTcoef′_i，j替换对应的原有位置上的DCT变换系数DCTcoef_i，j；

4.3)对替换后的DCT变换系数DCTcoef′_i，j进行DCT反变换，得到含追踪指纹的图片帧f′_i，j，对视频V′的每一帧都进行追踪指纹序列M的嵌入，最终得到含追踪指纹的视频V″。 

5.一种根据上述任一权利要求所述视频的数字指纹的检测方法，其特征在于，通过非盲检测提取待检测视频中的数字指纹，然后采用基于纠错码的追踪指纹编码对提取出的指纹序列进行相关性参数计算，最终确定该指纹对应的用户。

6.根据权利要求5所述的视频的数字指纹的检测方法，其特征是，所述的非盲检测是指：获取待检测视频V_illegal的一帧f_illegal，对其进行全局DCT变换获得DCT变换系数DCTcoef^illegal，将与其对应的只包含曲线指纹的视频帧f进行全局DCT变换获得DCT变换系数DCTcoef，再根据该帧f的嵌入状态矩阵embedstate以及对比度掩蔽值contrastmask，得到待检测视频V_illegal的帧f_illegal中所包含的指纹信息M′_k，M′_k＝(DCTcoef^illegal-DCTcoef)/contrastmask，M′_k表示在第k个可嵌入像素点对应的指纹序列中的值，第k个可嵌入像素点在帧中的位置为(l，h)，(l，h)表示嵌入状态矩阵embedstate中count＝k的位置，则待检测视频V_illegal的帧f_illegal含有的指纹序列为M′。

7.根据权利要求5所述的视频的数字指纹的检测方法，其特征是，所述的相关性参数计算是指：将获得的指纹序列M′与已有的为每个用户所分配的指纹序列M_u进行相关性系数corr_u的计算，计算公式如下： 

得到的相关性系数corr_u最大的对应的用户u即认为是叛逆者。 

Images