CN1717048A

CN1717048A - 一种带补偿的保护mpeg－2视频数据的方法

Info

Publication number: CN1717048A
Application number: CN 200510035514
Authority: CN
Inventors: 刘红梅; 邵凤莲; 黄继武
Original assignee: National Sun Yat Sen University
Current assignee: Sun Yat Sen University; National Sun Yat Sen University
Priority date: 2005-07-01
Filing date: 2005-07-01
Publication date: 2006-01-04
Anticipated expiration: 2025-07-01
Also published as: CN100387062C

Abstract

一种带补偿的保护MPEG－2视频数据的方法是基于MPEG－2压缩域的水印技术，属于多媒体信号处理领域。本发明利用MPEG－2的压缩编码方法和句法结构，在MPEG－2压缩码流中嵌入水印，不改变原码流的码率，同时利用MPEG－2的编码特点，对嵌入水印后的视频码流进行补偿，使嵌入水印的视频码流解码后和原始视频码流解码后的视频序列在播放时，人眼无法区别两者的差别。而数字水印则为这个问题提供了一种区别的手段。本发明可使通过网络或广播电视系统传播的压缩视频数据或文件获得保护，同时为防范电视信号源中被“法轮功”等非法组织进行非法信息的插播提供有效的监控手段。

Description

一种带补偿的保护MPEG-2视频数据的方法

技术领域

本发明是一种基于压缩域的视频水印方法，根据MPEG-2编码算法的特点和MPEG-2压缩码流的结构，实现水印的快速嵌入，并保持码流不变，同时根据MPEG-2的编码特点对水印的嵌入进行逆向补偿，保证了良好的视频解码质量，属于多媒体信号处理领域。

背景技术

视频水印技术由于在许多应用领域体现了它的重要性，得到了广泛的重视。视频水印方法根据嵌入水印的数据域分为两种：压缩域方法和非压缩域方法。由于视频数据量庞大，在传输、存储时对其进行压缩编码是必须的。数字视频常常是以压缩的形式存在的，因此压缩域视频水印方法具有很强的实用性。

我国广播电视的数字化是业界公认的发展方向，国家计委、科委等机构已把其列入重点发展项目。按照我国的计划，将用10-15年的时间来全面实现广播电视数字化。目前，广播电视业内从电视节目的制作到节目存储、信号传送、信号接收等，都在向数字化方向高速发展。当今的视频压缩国际标准有MPEG-1、MPEG-2、MPEG-4、H.261和H.263等，但在广播电视行业内，使用最为广泛的是MPEG-2标准。我国已制定的部分数字电视广播标准包括数字电视卫星传输标准和有线数字电视传输标准等，都是以MPEG-2为信源压缩编码标准。目前，基于MPEG-2标准的产品如卫星和有线电视的解码器(机顶盒)已经占领了广播电视领域大部分的份额，形成了一定的市场定势。基于MPEG-2标准的HDTV项目也开始启动。由此可见，MPEG-2是广播电视领域的主流格式，并将在相当长一段时期内存续。对数字电视的版权进行保护具有重要的实用价值。

广播电视安全是当前广电工作中最重要、最迫切的政治任务和技术任务。自从2002年以来，“法轮功”分子制造了数十起非法侵入和破坏广播电视传播网络并利用广播电视设施传播反动信息的事件，造成了极大的恶劣影响。因此广播电视的内容在传输过程中的安全问题变得异常重要。如何有效检测恶意插播仍需要人为的操作，报警机制反应不够迅速，迫切需要一种切实可行的技术监测手段。建立基于MPEG-2压缩域视频水印技术的主动广播视频数据保护方法具有重要的现实意义和实用价值。

发明内容

本发明的目的是提出一种基于压缩域的视频水印方法，可以通过检测MPEG-2视频数据中是否存在期待的水印，确定MPEG-2视频数据的归属或是否遭到插播攻击，从而保护视频数据。

本发明的方法分为视频水印嵌入和水印检测两个过程。具体步骤是：水印嵌入过程步骤如下：1)对原始水印序列进行纠错编码。2)部分解码MPEG-2视频流，获取I帧图象DCT(离散余弦变换)系数块的DC(直流系数)系数值，3)从I帧图像的左上角开始每隔L个DCT系数块在DC系数中嵌入1比特水印信息，并根据需要在当前块相邻的后续块中，找寻最近的可补偿块作逆向补偿，直至嵌入完毕，4)将修改后的DC系数值写入码流相应位置得到嵌入水印后的视频码流；水印检测过程如下：1)部分解码MPEG-2视频流，获取I帧图象DCT系数块的DC系数值，2)从I帧图象的左上角开始，每隔L个DCT系数块从其DC系数中提取1比特水印信息，直至提取完毕。3)进行纠错解码，得到水印信息。

本发明方法的更详细描述为：

1：水印嵌入流程：

1)假设长度是k的原始水印序列为M＝{m_i}，m_i∈{0，1}，i＝0，1…k-1。纠错编码后的长度为N，得到待嵌入的编码水印序列W＝{w_i}，i＝0，1，…，N-1。

2)在MPEG-2视频码流中找到I帧，对其进行部分解码，得到该I帧内每个8×8DCT系数块的DC系数的差分码字。I帧是MPEG-2的内部编码帧，帧内每一宏块均为内部宏块。内部宏块中的块的DC系数采用的是差分编码，按标准中所定义的变长码(VLC)进行编码，该变长码包含两个部分dct_dc_size和dc_dct_differential，其中dct_dc_size指明了差分码dc_dct_differential的位数，如果dct_dc_size不等于零，则它后面要跟着一个以dct_dc_size为位数的dc_dct_differential，dc_dct_differential的最高位表示差分值的符号位。当dct_dc_size＝0时，则差分值为0，码流中不出现dc_dct_differential。

3)从帧图像的左上角开始，每隔L个DCT系数块嵌入1比特水印信息w_i，直至嵌入完毕。每1水印比特w_i的嵌入方法是：

A)若dct_dc_size＝0，则放弃嵌入，

B)否则检查dc_dct_differential的最低位与w_i是否相等。若相等则不作修改；若不相等，将dc_dct_differential的最低位替换为w_i，并在当前块相邻的后续块中，找寻最近的可补偿块作逆向补偿，

C)重复上述步骤直至嵌入完毕，

4)将修改后的DC系数值写入码流相应位置得到嵌入水印后的视频码流；

2：嵌入水印位后的逆向补偿方法：

按照MPEG-2解码时的顺序给DCT系数块在I帧图像中的位置编号，如说明书附图1所示，设图中的帧大小为704×576，只给出亮度分量的DCT系数块。假设当前嵌入块编号为n，那么下一个嵌入位置是n+L。对n来说，与其相邻的后续块是指n到n+L之间的且与n处在同一条带的块。附图1中给出了编号为n的后续块编号。

嵌入水印比特可能使第n块DC系数的dc_dct_differential最低位被改变：

1)若改变是从0变为1，可补偿块为满足如下条件的块：块DC系数的dc_dct_differential减1后最高位保持不变。逆向补偿时将其dc_dct_differential减1。

2)若改变是从1变为0，这时可补偿块是指满足如下条件的块：块DC系数的dc_dct_differential加1后最高位保持不变。逆向补偿时将其dc_dct_differential加1。

3)无改变，不进行补偿

进行逆向补偿后，差分误差被限制在当前块和其最接近的可补偿块之间。由于预测器在每个条带开始时重新初始化，所以如果嵌入水印的DCT系数块位于帧的右边界，则不需要补偿。

3：水印检测流程

1)部分解码MPEG-2视频流，获取I帧图象DCT系数块的DC系数的差分码字：

dct_dc_size+dc_dct_differential。

2)从图像的左上角开始，每隔L个DCT系数块从DC系数中提取1比特水印信息。

每1水印比特w’_i的提取方法是：

A)若dct_dc_size＝0时，则放弃提取；

B)否则提取其DC系数差分码字的dc_dct_differential的最低位，记为w’_i。

3)进行纠错解码，得到水印信息。

本发明与现有MPEG-2码流中的视频水印方法比较有以下优点：

1)复杂度更低。将水印嵌入在DC系数中的计算复杂度比基于AC系数的要低。因为通过修改DC或AC系数嵌入水印后，会存在不同程度的再编码的可能，而DC系数的编码方式比AC系数的编码方式相对简单，特别是对于内部编码块来说，DC系数编码时所使用的变字长码表的长度远远小于AC系数编码用的码表，从而其计算的复杂度相对较低。

2)可以有效地控制码率不变。对于水印嵌入在I帧的情况下，由于DC系数采用的是差分编码方式，其编码码字结构为dct_dc_size+dc_dct_differential，要保持嵌入水印后码率不变，只需限定叠加操作不致令dc_dct_differential码字最高位改变即可(最高位表示符号位)。而对于AC系数的情况，由于它是以游程、级别变字长编码的，量化级别改变1，也会令编码码字长度发生较大的变化，不利于码率的控制。

3)根据MPEG-2编码的特点进行逆向补偿，有效地改善了水印的不可见性。

附图说明

图1是按照MPEG-2解码时的顺序取得的DCT系数块在I帧图像中的位置编号示意图。

图2是视频标准测试序列“Flower Garden”压缩码流中嵌入水印的实验结果图。

图3是视频标准测试序列“Table Tennis”压缩码流中嵌入水印的实验结果图。

图4是视频标准测试序列“Table Tennis”压缩码流中嵌入水印时补偿效果的示意图。

图5是图4中的局部放大图。

图1中，视频帧大小为704×576，DCT系数块是I帧中的亮度块，按照MPEG-2解码时的顺序在帧图像中的位置编号。

图2、3中，视频帧大小为704×576，以8Mbits/s码率进行MPEG-2编码，编码长度是80帧，色度格式为4:2:0。GOP长度为12，其中包含1个I帧。每个序列有7个I帧。水印嵌入在I帧的亮度块的DCT的DC系数中，L＝10。每个I帧中嵌入相同的串水印“1011”。纠错编码采用重复127次的重复码，解码时采用大数判决确定水印位。

图2(a)显示了视频序列“Flower Garden”的压缩码流中未嵌入水印时的解码图，图2(b)显示了用本发明提出的视频水印方法嵌入数字水印后的解码图。

图3(a)显示了视频序列“Mobile&Calendar”的压缩码流中未嵌入水印时的解码图，图3(b)显示了用本发明提出的视频水印方法嵌入数字水印后的解码图。

各序列嵌入水印前后亮度分量的PSNR值如下表：

		Flower Garden	Table Tennis
		Flower Garden	Table Tennis	MPEG-2编码码率(bits/s)		8M	8M
PSNR(dB)	不含水印	39.03	35.37	MPEG-2编码码率(bits/s)		8M	8M
	不含水印	39.03	35.37	含水印	38.50	35.22
	PSNR(dB)变化		-0.53	含水印	38.50	35.22	-0.15

图4是视频标准测试序列“Table Tennis”中嵌入水印的补偿效果示意图，分别显示了带补偿与不带补偿的含水印视频帧，其椭圆圈内部分分别放大显示在图5中，各序列分别进行补偿嵌入和不补偿嵌入后的平均PSNR如下表：

		Flower Garden	Table Tennis
		Flower Garden	Table Tennis	PSNR(dB)	补偿	38.50	35.22
不补偿	37.26	34.71			补偿	38.50	35.22

具体实施方式

目前多媒体信息的交流达到了前所未有的深度和广度。然而，多媒体信息在传输过程中会遭受各类无意或有意的攻击，这使得人们对数字媒体(数字图像、数字音频、数字视频)的完整性和内容的真实性产生质疑。如果攻击涉及到国家安全、法庭举证、历史文献等重要内容时，可能会造成不良的社会影响或重大政治经济损失。如自从2002年以来，“法轮功”分子制造了数十起非法侵入和破坏广播电视传播网络并利用广播电视设施传播反动信息的事件，造成了极大的恶劣影响。因此广播电视的内容在传输过程中的安全问题变得异常重要。迫切需要一种切实可行的技术监测手段。传统认证真实性的手段是基于密码学的传统加密技术，已成熟地应用于加密状态下数字媒体内容的保护上。但随着计算机软硬件技术的发展，密码被破译的可能性越来越大，即使非法拦截者在截获密文后无法破译，但可以将其破坏后再发送，使得接收的消息无法译成明文。另外，密码学中的认证方法不仅需另外保存信息认证码，而且认证不容许有一比特的改变，基于水印的认证技术则克服了传统加密方法的缺点。本发明将水印信息嵌入MPEG-2的压缩码流中保护视频数据。当视频数据接收端无法检测到嵌入水印时，即可发出警报信息，提示视频数据遭受到恶意插播攻击，或通过水印的提取证实版权的归属。

下面介绍带补偿的保护MPEG-2视频数据的方法的使用方法。

现表述用本发明的方法完成水印嵌入和检测的过程。这里给出了视频标准测试序列“Flower Garden”、“Table Tennis”压缩码流中嵌入水印的实验结果。共有三个方面：不可见性、补偿效果、对正常视频处理如再编码压缩和加噪的稳健性。

视频帧大小为704×576，以8Mbits/s码率进行MPEG-2编码，编码长度是80帧，色度格式为4:2:0。GOP长度为12，其中包含1个I帧。每个序列有7个I帧。水印嵌入在I帧的量度块的DCT的DC系数中，L＝10。各序列的每个I帧中嵌入相同的水印“1011”。其中L的值可以根据实际需要调整，L越大嵌入容量越小，可补偿的空间越大，补偿效果越好。

图2分别显示了视频序列“Flower Garden”的压缩码流中未嵌入水印时的解码图(图2(a))和用本发明提出的视频水印方法嵌入数字水印后的解码图(图2(b))。

图3分别显示了视频序列“Table tennis”的压缩码流中未嵌入水印时的解码图(图3(a))和用本发明提出的视频水印方法嵌入数字水印后的解码图(图3(b))。其中各序列嵌入水印前后亮度分量的PSNR值如下表1。

表1各序列在水印嵌入前后的PSNR值

由图可知嵌入了水印的MPEG-2码流解码后的视频帧在视觉上与未嵌入水印的码流解码后的视频帧无明显差异，而且PSNR的变化也比较小，满足不可见性的要求。

图4和图5是视频标准测试序列“Table Tennis”中嵌入水印的补偿效果示意图。为了检验误差补偿的有效性，对比地进行了不带补偿的水印嵌入实验，4(a)和4(b)分别是带补偿与不带补偿的两帧含水印视频帧，其椭圆圈内部分分别放大显示在图5中，从图可见，当不进行补偿时，在图像变化较少的区域可看到一些较明显的明暗条纹，而在有补偿的视频帧图中，这种明暗条纹很少且不易被觉察到。两者比较，不补偿嵌入造成的视觉失真较为明显。各序列分别进行补偿嵌入和不补偿嵌入后的平均PSNR如表2，从表中可以看到补偿的方法使嵌入水印的视频帧的客观质量也得到了提高。

表2各序列在水印嵌入时补偿和不补偿的PSNR值比较

表3是补偿效果的数值示意图。分别显示了带补偿和不带补偿嵌入信息后的视频码流在解码时的DC系数的值和未嵌入水印时的DC系数的值的比较。从表中可以看出由于DC系数采用差分编码的方式，改变一个DC系数将累积影响后续的DC系数的解码值，如表中第5行所示，通过搜索可补偿块，如表中第6行所示的n+3位置处的块，进行逆向补偿，可以有效地阻止误差的扩散，如表中第7行所示，从而改善嵌入水印后视频解码的主客观质量。

表3补偿效果的数值示意图

	预测器	n	n+1	n+2	n+3	n+4	n+5	n+6	n+7	n+8	n+9
	预测器	n	n+1	n+2	n+3	n+4	n+5	n+6	n+7	n+8	n+9	差分值原数据	3	2	-1	2	3	-2	-1	2	4	3	-2
解码值	3	5	4	6	9	7	6	8	12	15	13	差分值原数据	3	2	-1	2	3	-2	-1	2	4	3	-2
解码值	3	5	4	6	9	7	6	8	12	15	13	嵌入后	3	(3)	-1	2	3	-2	-1	2	4	3	-2
解码值	3	(6)	(5)	(7)	(10)	(8)	(7)	(9)	(13)	(16)	(14)	嵌入后	3	(3)	-1	2	3	-2	-1	2	4	3	-2
解码值	3	(6)	(5)	(7)	(10)	(8)	(7)	(9)	(13)	(16)	(14)	补偿后	3	(3)	-1	2	(2)	-2	-1	2	4	3	-2
解码值	3	(6)	(5)	(7)	9	7	6	8	12	15	13	补偿后	3	(3)	-1	2	(2)	-2	-1	2	4	3	-2

考虑到某些应用下MPEG-2视频有可能要经受再次的解、编码及码率转换等操作，因此需要验证水印对这些操作处理的稳健性。先在“Flower Garden”和“Table Tennis”的MPEG-2视频压缩码流中嵌入水印“1011”，分别解码后再以不同的码率进行MPEG-2编码，然后进行水印提取。水印对再编码的稳健性见表4。

表4水印对再编码的稳健性

测试序列名称	编码码率bits/s	水印提取情况
测试序列名称	编码码率bits/s	水印提取情况	Flower Garden	8M	7个I帧都提取到“1011”
6M	7个I帧都提取到“1011”			8M	7个I帧都提取到“1011”
6M	7个I帧都提取到“1011”	4M		7个I帧都提取到“1011”
2M	7个I帧都提取到“1011”	4M		7个I帧都提取到“1011”
2M	7个I帧都提取到“1011”	Table Tennis		8M	7个I帧都提取到“1011”
6M	7个I帧都提取到“1011”			8M	7个I帧都提取到“1011”
6M	7个I帧都提取到“1011”		4M	7个I帧都提取到“1011”
2M	7个I帧都提取到“1011”		4M	7个I帧都提取到“1011”

从实验结果可见，经过码率转换后仍可从含水印序列中正确提取出水印信息，说明本发明提出的方法对码率转换和再编码的稳健性很高。

另一项实验验证本发明提出的方法对加噪的稳健性。具体方法是：把含水印视频压缩码流解码为YUV数据后，对亮度分量Y加以噪声，再重新进行MPEG-2编码，之后提取水印。实验结果见表5，其中s为调节噪声强度的因子。

表5水印对加噪的稳健性

测试序列	S	PSNR(dB)	水印提取情况
			水印提取情况							I帧1	I帧2	I帧3	I帧4	I帧5	I帧6	I帧7
			Flower Garden	1	38.01	1011	1011	1011	1011	I帧1	I帧2	I帧3	I帧4	I帧5	I帧6	I帧7	1011	1011	1011
2	36.91	1011		1	38.01	1011	1011	1011	1011	1011	1011	1011	1011	1011	1011		1011	1011	1011
2	36.91	1011		3	35.54	1011	1011	1011	1011	1011	1011	1011	1011	1011	1011	1011	1011	1011
4	34.17	1011		3	35.54	1011	1011	1011	1011	1001	1001	1011	1011	1011	1011	1011	1011	1011
4	34.17	1011		Table Tennis	3	33.56	1011	1011	1011	1001	1001	1011	1011	1011	1011	1011	1011	1011	1011
4	32.61	1011	1011		3	33.56	1011	1011	1011	1011	1011	0011	1011	0011		1011	1011	1011	1011

实验结果显示，引入噪声后对水印提取的正确性有一定的影响。当噪声强度因子从1开始逐渐增大到3时，水印信息均能正确提取。当强度因子为4时，个别帧提取到错误的水印比特。表明本发明提出的方法对噪声的稳健性较好。

Claims

1.一种带补偿的保护MPEG-2视频数据的方法，其特征在于该方法包括水印嵌入和提取两个过程，水印嵌入过程步骤如下：1)对原始水印序列进行纠错编码，2)部分解码MPEG-2视频流，获取I帧图象DCT系数块的DC系数值，3)从I帧图像的左上角开始每隔L个DCT系数块在DC系数中嵌入1比特水印信息，并根据需要在当前块相邻的后续块中，找寻最近的可补偿块作逆向补偿，直至嵌入完毕，4)将修改后的DC系数值写入码流相应位置得到嵌入水印后的视频码流；水印检测过程如下：1)部分解码MPEG-2视频流，获取I帧图象DCT系数块的DC系数值，2)从I帧图象的左上角开始，每隔L个DCT系数块从其DC系数中提取1比特水印信息，直至提取完毕，3)进行纠错解码，得到水印信息。

2.根据权利要求1所述的一种带补偿的保护MPEG-2视频数据的方法，其特征是水印嵌入的详细步骤为：1)假设长度是k的原始水印序列为M＝{m_i}，m_i∈{0，1}，i＝0，1…k-1，纠错编码后的长度为N，得到待嵌入的编码水印序列W＝{w_i}，，i＝0，1，…N-1，2)在MPEG-2视频码流中找到I帧，对其进行部分解码，得到该I帧内每个8×8块DCT的DC系数的编码码字：dct_dc_size和dc_dct_differential，其中dct_dc_size表示差分码字的位数，dc_dct_differential表示位数为dct_dc_size的差分码字，当dct_dc_size＝0时，则差分值为0，码流中不出现dc_dct_differential，3)从帧图像的左上角开始，每隔L个DCT系数块嵌入1比特水印信息w_i，直至嵌入完毕，每1水印比特w_i的嵌入方法是：若dct_dc_size＝0，则放弃嵌入，否则检查dc_dct_differential的最低位与w_i是否相等，若相等则不作修改；若不相等，将dc_dct_differential的最低位替换为w_i，并在当前块相邻的后续块中，找寻最近的可补偿块作逆向补偿，直至嵌入完毕，4)将修改后的DC系数值写入码流相应位置得到嵌入水印后的视频码流；水印检测的详细步骤为：1)部分解码MPEG-2视频流，获取I帧图象DCT系数块的DC系数的差分码字：dct_dc_size和dc_dct_differential，2)从图像的左上角开始，每隔L个DCT系数块从DC系数中提取水印信息，每1水印比特w’_i的提取方法是：若dct_dc_size＝0时，则放弃提取；否则提取其DC系数差分码字的dc_dct_differential的最低位，记为w’_i’，3)进行纠错解码，得到水印信息。

3.根据权利要求1或2所述的一种带补偿的保护MPEG-2视频数据的方法，其特征是嵌入水印位后的逆向补偿方法是：按照MPEG-2解码时的顺序给DCT系数块在帧图像中的位置编号，启始为0，假设当前嵌入水印的块编号为n，那么下一个嵌入位置是n+L，对n来说，与其相邻的后续块是指n到n+L之间的且与n处在同一条带中的块，由于嵌入水印比特可能使第n块DC系数的dc_dct_differential最低位被改变，若改变是从0变为1，可补偿块为满足如下条件的块：块DC系数的dc_dct_differential减1后最高位保持不变，逆向补偿时将其dc_dct_differential减1；若改变是从1变为0，这时可补偿块为满足如下条件的块：块DC系数的dc_dct_differential加1后最高位保持不变，逆向补偿时将其dc_dct_differential加1，进行逆向补偿后，差分误差被限制在当前块和其最接近的可补偿块之间。