CN102186080A

CN102186080A - 一种基于预测模式选择的h.264数字水印嵌入方法

Info

Publication number: CN102186080A
Application number: CN2011101215346A
Authority: CN
Inventors: 毛峡; 闫晗
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2011-05-11
Filing date: 2011-05-11
Publication date: 2011-09-14

Abstract

本发明提供一种基于预测模式选择的H.264数字水印嵌入方法，包括下列步骤：1)对待插入的水印数据进行转义处理，并插入结束字符；2)针对待插入数据量和目标视频格式帧数计算出每帧宏块组数和宏块组包含宏块数；3)连续插入两个I帧，表示水印数据嵌入开始；4)I帧之后编码第一个非I帧开始进行数据嵌入。本发明在编码质量和码率大小影响较小的情况下实时插入数字水印信息，并能在解码过程中实现无损实时提取。

Description

一种基于预测模式选择的H.264数字水印嵌入方法

(一)技术领域

本发明涉及多媒体视频编码领域，具体涉及一种针对H.264标准的数字水印嵌入算法。它可以保证在编码输出信噪比和码流比特率大小基本不变的情况下在视频码流中嵌入数字水印，并能够在解码时无损提取。

(二)背景技术

随着网络技术的迅速发展和视频编码标准的不断进步，数字水印技术已经成为数字产品知识产权保护的有效方法，常见的视频数字水印技术可分为：在原始视频中嵌入水印、在编码过程中嵌入水印，后者又分为在变换域中嵌入水印、在运动向量中嵌入水印等方法。

H.264是ITU-T的VCEG(视频编码专家组)和ISO/IEC的MPEG(活动图像专家组)的联合视频组(JVT/Joint Video Team)开发的视频编码标准。它等同于ISO的MPEG-4的第十部分，于2003年5月正式批准。和传统的视频编码方式相比，H.264标准有着更高的编码效率和算法复杂度。

H.264标准采用采用YUV420模式编码，16×16亮度宏块和8×8色度宏块作为编码的基本单元，根据不同的编码算法，每个16×16宏块可以进一步划分为4×4亮度子块，进一步提升编码效率。

H.264标准把编码帧主要分为I帧、B帧、P帧，其中I帧中所有宏块只能采用帧内预测模式，B帧和P帧中的宏块可以采用帧间预测模式和帧内预测模式，通常情况下，B帧和P帧中只有少数宏块采用帧内预测模式，其数量和模式选择算法有关。

在H.264标准中，帧内预测模式包含了9种4×4亮度预测模式：

模式	描述
		模式0(垂直)	由宏块上方像素垂直向下预测像素值
模式1(水平)	由宏块左侧像素水平推出预测像素值
		模式2(DC)	由宏块上方和左侧像素平局值推出所有像素值
模式3(下左对角线)	由135°方向像素内插得出相应像素值
		模式4(下右对角线)	由325°方向像素内插得出相应像素值
模式5(右垂直)	由296.6°方向像素内插得出相应像素值
		模式6(下水平)	由333.4°方向像素内插得出相应像素值

模式7(左垂直)	由243.4°方向像素内插得出相应像素值
		模式8(上水平)	由26.6°方向像素内插得出相应像素值

4种16×16亮度预测模式：

模式	描述
		模式0(垂直)	由上边像素推出相应像素值
模式1(水平)	由左边像素推出相应像素值
		模式2(DC)	由上边和左边像素平均值推出相应像素值
模式3(平面)	利用线形“plane”函数及左、上像素推出相应像素值

4种8×8色度预测模式：

模式	描述
		模式0(DC)	由上边和左边像素平均值推出相应像素值
模式1(水平)	由左边像素推出相应像素值
		模式2(垂直)	由上边像素推出相应像素值
模式3(平面)	利用线形“plane”函数及左、上像素推出相应像素值

H.264标准规定采用率失真优化(Rate-Distortion Optimization/RDO)算法对上述13种预测模式依次遍历寻找最优预测模式。本发明通过人为选择不同的帧内预测模式，达到在视频流中嵌入信息的目的。

(三)发明内容

本发明要解决的问题是提供一种能在H.264视频流中无损的嵌入隐藏信息的方法，这种算法能够较小的影响视频质量和码率大小，并且能够弹性应对不同大小的嵌入数据量。

H.264标准采用I、B、P三种帧类型进行编码，其中I帧所有宏块只能采用帧内预测模式，B、P帧宏块可以根据率失真优化算法选择帧内预测模式或帧间预测模式。一股情况下，P帧、B帧中采用帧内预测模式的宏块数量是很少的，本发明通过改变模式选择算法，在P帧、B帧中人为增加帧内预测的宏块数量，并且对其预测模式编码，达到嵌入数字水印的目的。

一个16×16亮度宏块可以划分为16个4×4亮度子块，每种子块又可以采用9种不同的预测方式进行预测编码，本发明只采用0、1、3、4、5、6、7、8模式记录信息，模式2即DC模式不作为记录模式。这样，一个子块可以记录3bit数据，一个亮度宏块可以记录48bit数据，同时，一个16×16宏块对应了两个8×8色度宏块，每个色度宏块有4种预测模式供选择，即两个色度宏块共可以记录4bit信息。这样，每个宏块可以记录48+4共52bit信息，并且这些信息在后期的变化、量化等步骤中是不会损失的。下表为具体预测模式对应的比特序列：

4×4亮度模式(Y)	对应比特流	8×8色度模式(U)	对应比特流
				模式0(垂直)	0000	模式0(DC)	00
模式1(水平)	0001	模式1(水平)	01
				模式2(DC)	N/A	模式2(垂直)	10
模式3(下左对角线)	0010	模式3(平面)	11
				模式4(下右对角线)	0011	8×8色度模式(V)	对应比特流
模式5(右垂直)	0100	模式0(DC)	00
				模式6(下水平)	0101	模式1(水平)	01
模式7(左垂直)	0110	模式2(垂直)	10
				模式8(上水平)	0111	模式3(平面)	11

取极端情况为例，在所有宏块都参与水印嵌入的情况下，一帧352×288的CIF格式图像可无损存储20592bit隐藏信息，如果按照每秒25帧的视频流计算，附加信息的码率可以达到514kbps。在这种极端的情况下，由于所有宏块都没有采用最优化预测模式进行编码，会对输出码率和图像质量造成较大影响。考虑到实际视频数字水印应用，几乎不会出现在CIF这种低分辨率视频序列上附加如此大量隐藏信息的情况，当需要附加的信息相对较少时，本方法只对B帧和P帧的少量宏块进行预测模式调整，对码率和视频质量造成的影响多数情况下可以忽略不计。

本发明可以在整个视频序列中插入隐藏信息，也可以在其中一段序列中插入信息，具体方法是，采用连续两个连续的I帧作为插入信息的开始新号，从之后紧接着的P帧或B帧开始插入数据。采用关键字0x55作为插入数据结束的标志，当解码器读到0x55则表示数据插入结束，之后的宏块都是未插入信息的，直到遇到下一个连续两个I帧。为了防止待插入数据本身含有0x55产生意外结束，再插入数据前需要先对数据进行转义处理，原始数据中的每个0x55用0x5555代替，再进行数据插入。

本发明以帧为单元，为了保证在各帧中均匀插入水印信息，本发明引入“宏块组”概念，即根据原始视频数据量和待插入信息数据量计算出至少多少个宏块中需要有一个宏块嵌入水印数据，则连续此数量宏块构成一个宏块组。如需要在10帧中插入1000bit数据，则平均每帧应插入100bit数据。鉴于每个宏块可以插入52bit，则每帧至少需要2个宏块采取帧内预测模式。即把当前帧宏块分成两组。如果每帧包含100个宏块，则第1至50号宏块构成一个宏块组，51至100号宏块构成第二个宏块组。如果一宏块组所有宏块根据RDO算法都不为帧内编码，则强制本组的最后一个宏块采用帧内预测模式进行信息插入，如该组宏块根据RDO算法判定为帧内编码的宏块数多于一个，则把继续插入待编码水印数据，当全部数据插入结束时，插入0x55结束符号。

本发明只在B帧P帧中插入水印数据，不对I帧进行任何处理，为了保证能够在编码流中实时插入数据，本发明的数据插入顺序是按照编码顺序进行数据嵌入，而不是按照视频的播放顺序嵌入的。

具体步骤如下：

1、首先对待插入水印数据进行转义处理，把0x55用0x5555代替，并在末尾插入0x55，以上全部比特量为TotalBits。

2、计算每帧数据插入量，待插入视频流的P、B帧总和为FrameNum，则每帧至少需要插入的比特数为

每帧至少采取帧内预测携带水印信息的宏块数为

3、进行宏块分组，每个宏块组的宏块数BLKGroup等于每帧宏块的数量BLKPerFrame 除以每帧最少水印宏块数WMBLKPerFrame：

BLKGroup = round (\frac{BLKPerFrame}{WMBLKPerFrame}) .

4、建立宏块组变量BLKGroupCount，初始化为1；建立已插入水印比特数BitCount，初始化为0，在以后的操作中，每完成一个宏块的数据嵌入，BitCount＝BitCount+52，每编码完成一个宏块组，BLKGroupCount＝BLKGroupCount+1。

5、连续编码两个I帧，表示开始进行水印插入，I帧本身不插入水印。

6、I帧之后编码第一个非I帧开始进行数据嵌入，具体嵌入方式如下：

a)对第一个宏块组进行编码时，编码器会根据RDO算法自动得出最优预测模式，如果最优预测模式属于帧内预测模式，则对该宏块进行水印数据嵌入，根据不同的比特流采用不同的4×4亮度预测模式和8×8色度预测模式。具体顺序是先对亮度进行数据嵌入，再对U色度进行数据嵌入，最后对V色度分量进行数据嵌入。

b)如果到宏块组末尾时已嵌入数据量小于计划应嵌入的数据量，即BitCount＜BLKGroupCount×52，则强制当前宏块组最后一个宏块采用帧内预测模式，并对其进行水印数据嵌入。

c)继续采用上述方式对下一宏块组进行编码，直到所有数据全部嵌入完毕。

上述方法中，所述的帧内选择模式编号均为H.264标准中所规定的模式编号，即16×16模式的0-3和4×4模式的0-8。上述所有嵌入数据操作均对B帧、P帧进行的，如遇到I帧则跳过不进行数据嵌入。

由采用本发明嵌入数字水印的视频流完全符合H.264标准，可以被所有支持H.264协议的解码器正常解码。解码器通过如下步骤即可获得隐藏在视频流里的水印信息：

1、开始对已编码数据进行正常解码；

2、如果遇到连续两个I帧，则从下一非I编码帧开始进行水印数据提取操作；

3、检测宏块预测模式，如采用帧间预测模式，则不进行数据提取，如采用帧内预测模式，则根据不同模式提取出不同水印码流，提取顺序是先按照由左至右由上至下的顺序进行4×4亮度提取，再提取U色度信息，最后提取V色度信息；

4、如在提取过程中遇到0x5555则转义成0x55；

5、如果遇到单独0x55，则表示水印数据提取结束，直到再检测到连续两个I帧后再重启数据提取进程。

采用上述水印数据嵌入和提取过程，可以实时无损的地在视频流里嵌入和提取水印数据，并且完全符合H.264标准视频格式，不影响普通解码器对视频流的播放。

(四)附图说明

图1水印数据流001 101 011 010 011 010 011 101 110 001 011 100 110 000 111 011 000 1编码成不同的帧内预测模式嵌入宏块示意图。

图2本发明采用的算法流程简图。

(五)具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，结合具体应用对算法流程进一步进行阐述。

本发明提供了一种针对H.264标准的数字水印嵌入算法，该算法对H.264标准制定的不同预测模式进行编码达到嵌入水印数据的作用，能实现对不同容量的水印数据灵活的嵌入和提取。

具体步骤如下，假设1000bit待嵌入水印数据，嵌入一段12帧的CIF格式(352×288)视频：

1、首先对待插入水印数据进行转义处理，把0x55用0x5555代替，并在末尾插入0x55，以上全部比特量为TotalBits，假设TotalBits＝1024bit。

2、计算每帧数据插入量，除去开始两个连续的I帧，待插入视频流的P、B帧总和为10帧，则每帧至少需要插入的比特数为

每帧至少采取帧内预测携带水印信息的宏块数为

3、进行宏块分组，每个宏块组的宏块数BLKGroup等于每帧宏块的数量BLKPerFrame除以每帧最少水印宏块数WMBLKPerFrame：

BLKGroup = round (\frac{BLKPerFrame}{WMBLKPerFrame}) = round (\frac{396}{2}) = 198 .

a)对第一个宏块组进行编码时，编码器会根据RDO算法自动得出最优预测模式，如果最优预测模式属于帧内预测模式，则对该宏块进行水印数据嵌入，根据不同的比特流采用不同的4×4亮度预测模式和8×8色度预测模式。具体顺序是先对亮度进行数据嵌入，再对U色度进行数据嵌入，最后对V色度分量进行数据嵌入。假设嵌入一宏块的52位二进制数据流为001 101 011 010 011 010 011101 110 001 011 100 110 000 111 011 000 1编码后的宏块如附图1所示。

继续采用上述方式对下一宏块组进行编码，直到所有数据全部嵌入完毕，经过嵌入水印的码流完全符合H.264标准格式。

从以嵌入水印的H.264码流中提取帧中的水印信息采取以下步骤：

1、开始对已编码数据进行正常解码；

4、如在提取过程中遇到0x5555则转义成0x55；

Claims

1.一种基于预测模式选择的H.264数字水印嵌入方法的水印数据插入视频流过程包括下列步骤：

1)对待插入的水印数据进行转义处理，并插入结束字符；

2)针对待插入数据量和目标视频格式帧数计算出每帧宏块组数和宏块组包含宏块数；

3)连续插入两个I帧，表示水印数据嵌入开始；

4)I帧之后编码第一个非I帧开始进行数据嵌入；

2.一种基于预测模式选择的H.264数字水印嵌入方法的水印数据从H.264视频流中提取过程包括下列步骤：

1)开始对已编码数据进行正常解码；

2)如果遇到连续两个I帧，则从下一非I编码帧开始进行水印数据提取操作；

3)检测宏块预测模式，如采用帧间预测模式，则不进行数据提取，如采用帧内预测模式，则根据不同模式提取出不同水印码流，提取顺序是先按照由左至右由上至下的顺序进行4×4亮度提取，再提取U色度信息，最后提取V色度信息；

4)如在提取过程中遇到0x5555则转义成0x55；

5)如果遇到单独0x55，则表示水印数据提取结束，直到再检测到连续两个I帧后再重启数据提取进程。

3.根据权利要求1所述的方法，其特征在于，所述步骤1)中对数据进行转义处理即把所有0x55转义成0x5555。

4.根据权利要求1所述的方法，其特征在于，所述步骤1)中描述的结束字符指0x55。

5.根据权利要求1所述的方法，其特征在于，所述步骤2)中描述的计算出每帧宏块组数方法为：

WMBLKPerFrame = round (\frac{round (\frac{TotalBits}{FrameNum})}{52})

其中：

1)TotalBits为经过转义后需嵌入的总比特数；

2)FrameNum为目标视频需嵌入水印数据的总帧数；

3)WMBLKPerFrame为每帧至少采取帧内预测携带水印信息的宏块数，即每帧宏块组数；

4)round为向上取整函数。

6.根据权利要求1所述的方法，其特征在于，所述步骤2)中描述的宏块组包含宏块数方法为：

BLKGroup = round (\frac{BLKPerFrame}{WMBLKPerFrame})

1)BLKPerFrame为每帧包含宏块总数；

2)WMBLKPerFrame为目标视频每帧宏块组数；

3)BLKGroup为宏块组包含宏块数；

4)round为向上取整函数。

7.根据权利要求1所述的方法，其特征在于，所述步骤4)中描述的数据嵌入操作只针对B帧和P帧，不对I帧进行操作，如嵌入过程中遇到I帧，则跳过该帧。

8.根据权利要求1所述的方法，其特征在于，所述步骤4)中描述的数据嵌入操作具体包括以下步骤：

1)在开始嵌入数据之前建立宏块组变量BLKGroupCount，初始化为1；建立已插入水印比特数BitCount，初始化为0，在以后的操作中，每完成一个宏块的数据嵌入，BitCount＝BitCount+52，每编码完成一个宏块组，BLKGroupCount＝BLKGroupCount+1

2)对第一个宏块组进行编码时，编码器会根据RDO算法自动得出最优预测模式，如果最优预测模式属于帧内预测模式，则对该宏块进行水印数据嵌入，根据不同的比特流采用不同的4×4亮度预测模式和8×8色度预测模式。具体顺序是先对亮度进行数据嵌入，再对U色度进行数据嵌入，最后对V色度分量进行数据嵌入。

3)如果到宏块组末尾时已嵌入数据量小于计划应嵌入的数据量，即BitCount＜BLKGroupCount×52，则强制当前宏块组最后一个宏块采用帧内预测模式，并对其进行水印数据嵌入。

9.根据权利要求7所述的方法，其特征在于，所述步骤2)中描述的数据嵌入指根据需要嵌入的比特流采取不同的帧内预测模式，具体预测模式与码流对照表如下：

4×4亮度模式(Y) 对应比特流 8×8色度模式(U) 对应比特流模式0(垂直) 0000 模式0(DC) 00 模式1(水平) 0001 模式1(水平) 01 模式2(DC) N/A 模式2(垂直) 10 模式3(下左对角线) 0010 模式3(平面) 11 模式4(下右对角线) 0011 8×8色度模式(V) 对应比特流模式5(右垂直) 0100 模式0(DC) 00 模式6(下水平) 0101 模式1(水平) 01 模式7(左垂直) 0110 模式2(垂直) 10 模式8(上水平) 0111 模式3(平面) 11