CN1882081A

CN1882081A - 针对网络视频的可靠数据嵌入算法

Info

Publication number: CN1882081A
Application number: CN 200610078854
Authority: CN
Inventors: 尹浩; 邱锋
Original assignee: BEIJING LIVESKY TECHNOLOGIES Co Ltd
Current assignee: Lanxun Network Science-Technology Co., Ltd., Beijing
Priority date: 2006-05-11
Filing date: 2006-05-11
Publication date: 2006-12-20

Abstract

本发明属于多媒体技术领域。其特征在于：基于视频数字水印技术和MPEG－4编码技术，在视频关键帧码流经过部分解码得到DCT(离散余弦变换)系数的情况下，通过将图像分为若干区域(如图1所示)，对各区域的图像平均色度值进行调制，达到嵌入数据的目的(如图2、图3所示)，每个关键帧可以嵌入64个比特的数据。基于视频内容进行嵌入，更具有隐藏性和安全性；具有更好的可靠性和准确性，能够抵抗常见的自适应机制可能带来的误差；对视频质量影响很小；具有实时处理的能力。利用本发明的算法，可以实现可靠、准确、安全地将特定数据嵌入在视频内容中进行发送的功能，尤其适合于媒体相关的密钥分发方案中的密钥嵌入机制。

Description

针对网络视频的可靠数据嵌入算法

技术领域

本发明属于多媒体技术领域。

背景技术

流媒体传输在Internet上已经成为了IP组播最重要的应用之一。同时它也成为当前众多网络服务中的关键部分，比如视频点播，视频会议和远程教学等。因为网络环境是动态变化的，而且当前“尽力转发”网络无法提供服务质量的保证，因此带宽自适应成为了Internet上流媒体传输的一个最重要的要求。最近几年人们提出了很多自适应的视频组播方案，并解决了很多问题和挑战。其中，转码技术和分层视频组播技术是最典型的两个例子。转码技术可以将已有的视频流转换成具有不同格式或者码率的视频流，该技术广泛应用于主动服务体系结构中。分层视频组播能根据客户端的网络带宽和系统资源，通过采用先进的视频编码技术和可扩展的组播算法，来给其提供合适的视频流。这些技术能够很大程度上的提供视频组播的服务质量。但是，在这些面自适应视频组播算法得以成功应用之前，非常有必要开发出一种高效的访问控制机制，来确保只有通过认证的用户才能访问相关的内容。

访问控制通常通过利用会话密钥(Session Key，SK)来对内容进行加密而实现，会话密钥由合法的组播组成员所共有。由于成员可以是动态加入或退出的，因此有必要更新会话密钥来防止退出的用户访问后续的通信内容，避免新加入的用户访问先前已传送的通信数据，同时还要避免用户之间合作来进行密码的同谋破解。更新会话密钥由专门的服务器来负责，称之为组播管理中心(Group Center，GC)。GC通过将新的密钥信息用加密密钥的密钥(Key-Encrypting Key，KEK)加密后，发送给授权的用户。组播中的访问控制问题已经越来越受到人们的关注，目前已有很多方案，它们大致可以分为两类：媒体无关方案和媒体相关方案。

在媒体无关的方案中，密钥的更新信息通过独立于媒体内容的信道传输给组播组成员。但是，采用媒体无关的方案进行密钥分发时，一个很重要的弱点是容易受到攻击，在网上的非法监听人员可以从该通道获取很多重要信息来攻击该系统，如根据流量可以估计出组播成员的数量等。同时，由于该方式没有考虑到视频通信的特性，也无法有效的支持现有的服务质量控制策略，因而大大降低了视频通信中的服务质量。

在媒体相关的方案中，密钥被嵌入到多媒体信息中，与多媒体信息中的内容一起通过一个信道发送给组播成员。密钥嵌入技术与数字水印技术有很多相似的地方，都是利用视频编码中的一些特点，如运动估计的精度等，来隐藏密钥。当然两者也有所不同，如密钥信息比水印信息要少，而对传输的可靠性要求很高。总的来说，媒体相关的密钥分发方案相对媒体无关的密钥分发方案来说有很多的优点，具体来说可以归纳为如下六点：

1)将要密钥更新信息嵌入到多媒体数据中来分发，可以有效的降低密钥更新对网络带宽等资源的消耗；

2)密钥嵌入到多媒体信息中并且随多媒体信息一起发送，网上的非法监听人员无法监听到密钥更新的信息。而通过媒体无关通道传输密钥时，附加通道的存在为监听者提供了宝贵的信息，这些信息可以被利用来对多媒体信息进行破解。

3)密钥嵌入可以很容易的将密钥更新消息隐藏多媒体数据中，加密后再发送出去，具有很高的保密性。在保持传输率不变的情况下，加密的流媒体携带了嵌入的密钥，监听者要想检测到嵌入密钥的存在，必须要从截获的密文中推断出原文的信息，就一般的加密算法而言这一步是不可行的，所以监听者想知道密钥更新是否存在其中是很难的。

4)有效提高了安全性，因为监听者要破解密钥，不仅需要攻击会话密钥(SK)和会话密钥的加密密钥(KEK)，还必须知道密钥的嵌入规则，这增大了攻击的难度，因此增强了密钥的安全性。

5)使用媒体相关通道进行密钥传输，可以通过应用层重传机制和差错控制来保证传递密钥重新分发消息的可靠性；视频编码中诸多的差错控制算法也都可以被用来提高密钥分发的可靠性。

6)对于可伸缩的视频传输系统而言，一个视频源可能会提供多层不同精度的视频，现有的许多应用层分层组播系统属于这种情况，对这种情况而言使用媒体相关通道进行密钥传输是最适合的。

目前，国内外关于密钥在视频中的嵌入技术的研究还很少。密钥在视频中的嵌入技术与数字水印技术的原理类似，并且有许多相似的地方，这里将它们统称为数据嵌入技术。由于数字水印的发展相对而言比较成熟，因此，密钥在视频中的嵌入技术可以参考数字水印技术的原理与相关算法。以下以数字水印为代表，总结当前最具代表性的数据嵌入技术如表1所示。

总体来说，频域水印的不可见性要比空域水印好，且抗攻击能力很强，但是嵌入量较小，计算更为复杂。其中，压缩域水印具有频域水印的优点，而且更接近视频码流，因此更加适合于视频的实时数据嵌入算法。相比较于水印而言，密钥嵌入的数据量要小于水印的数据量，但密钥的重要程度比水印要高得多，因而密钥嵌入在安全性和容错性要求相当高。考虑视频传输中容易发生丢包和差错，密钥的嵌入算法应结合视频编码的容错技术和差错控制技术来提高传输的可靠性。

经典的压缩域视频水印首先将视频解码，然后通过一种基于空域或者变换域的水印技术来嵌入水印信息，最后重新压缩嵌入水印后的视频。Alattar等人指出了采用这种方法的三种最主要的缺点，并且提出了一种更快而且更加可行的水印算法，称为压缩域水印。利用这种算法，原始的压缩视频被部分解码得到一些语法元素，这些语法元素可以用来嵌入水印，最后再进行部分编码从而将视频恢复为原始的格式。

分类		算法名称	不可见性	抗攻击能力	嵌入量	复杂程度
分类		算法名称	不可见性	抗攻击能力	嵌入量	复杂程度	空域水印	基于最低有效位	Schyndel算法	插入到最低有效位中，不可见性较好。	对滤波、图像量化、几何变形等操作抵抗能力很弱。	很大	很低
基于亮度	Patchwork算法	修改亮度差值分布，不可见性好。	对有损压缩编码、剪裁攻击和灰阶校正非常有效。但对仿射变换、多拷贝联合攻击比较脆弱。	N对点的亮度差分布仅代表一个bit，水印嵌入最很低。	低			基于最低有效位	Schyndel算法	插入到最低有效位中，不可见性较好。	对滤波、图像量化、几何变形等操作抵抗能力很弱。	很大	很低
基于亮度	Patchwork算法	修改亮度差值分布，不可见性好。	对有损压缩编码、剪裁攻击和灰阶校正非常有效。但对仿射变换、多拷贝联合攻击比较脆弱。	N对点的亮度差分布仅代表一个bit，水印嵌入最很低。	低	频域水印		基于DCT	扩频通信	不可见性好。但各频段水印强度相同。	对几何变形和信号处理操作很鲁棒。	嵌入到DCT系数上，嵌入量较大。	高
NEC算法	不可见性好。但各频段水印强度相同。	对几何变形和信号处理操作很鲁棒，并对IBM攻击鲁棒。	嵌入到DCT系数上，嵌入量较大。	比扩频通信更高					扩频通信	不可见性好。但各频段水印强度相同。	对几何变形和信号处理操作很鲁棒。	嵌入到DCT系数上，嵌入量较大。	高
NEC算法	不可见性好。但各频段水印强度相同。	对几何变形和信号处理操作很鲁棒，并对IBM攻击鲁棒。	嵌入到DCT系数上，嵌入量较大。	比扩频通信更高	生理模型算法		不可见性好。各频段水印强度不同。		对几何变形和信号处理操作很鲁棒。	嵌入到DCT系数上，嵌入量较大。	高
压缩域算法	不可见性好。	对视频压缩、剪辑处理鲁棒性好。一些具体实现的算法对QoS控制机制透明性较差。	嵌入到DCT系数上，嵌入量较大。	较低避免了DCT/IDCT	生理模型算法		不可见性好。各频段水印强度不同。		对几何变形和信号处理操作很鲁棒。	嵌入到DCT系数上，嵌入量较大。	高
压缩域算法	不可见性好。	对视频压缩、剪辑处理鲁棒性好。一些具体实现的算法对QoS控制机制透明性较差。	嵌入到DCT系数上，嵌入量较大。	较低避免了DCT/IDCT	基于DWT		多分辨率分解算法		不可见性好。	对压缩和图像处理鲁棒性好。	嵌入到子波段上，嵌入量较大。	对于图像分块，高于DCT变换。
基于DFT	Ruanaidh提出的算法	不可见性好。	对压缩和图像处理鲁棒性好。	嵌入到每块的相位信息上，嵌入量不会太大。	基于DWT		多分辨率分解算法	较高	不可见性好。	对压缩和图像处理鲁棒性好。	嵌入到子波段上，嵌入量较大。	对于图像分块，高于DCT变换。

表1、数字水印主要算法比较

但是，该技术并不完全适合于媒体相关的安全组播协议，这是由于数字水印技术能够容忍一定程度的差错，而密钥更新则需要保证嵌入密钥信息的准确性。而现有的视频组播协议中常见的自适应机制将会把已有的视频流转换成另外一种格式或者码率的视频流，这将会损坏视频中嵌入的信息。在加之视频流在差错信道中传输时，常常会遇到丢包或者差错的情况。所有这些异常情况都要求数据嵌入方案有足够的可靠性，普通的数字水印技术很难满足此项要求。除此以外，很多数字水印算法无法提供实时处理的能力。尽管数字水印技术存在上述的不足之处，其思想是很有参考价值的。

发明内容

本发明的目的在于提供一种针对网络视频的可靠的数据嵌入算法，以实现可靠、准确、安全地将特定数据嵌入在视频内容中进行发送，尤其适合于媒体相关的密钥分发方案中的密钥嵌入机制。

本发明的特征在于：基于视频数字水印技术和MPEG-4编码技术，在视频关键帧码流经过部分解码得到DCT(Discrete Cosine Transformation，离散余弦变换)系数的情况下，通过将图像分为若干区域，并对各区域的图像平均色度值进行调制，来达到嵌入数据的目的。每个区域对应待嵌入数据的一个比特(bit)，本发明默认将图像划分为64个区域(划分方案如图1所示)，即每一个关键帧可以嵌入64个比特的数据。

本发明与现有的数据嵌入技术相比优势在于：

1)本发明基于视频内容进行嵌入，更具有隐藏性和安全性；

2)本发明通过对色度平均值进行调制来进行嵌入，由于色度块数量众多，嵌入的数据具有相当的冗余性，故具有更好的可靠性和准确性，能够抵抗常见的自适应机制(如转码等)可能带来的误差；

3)本发明对视频质量影响很小；

4)本发明中嵌入过程不需要进行大运算量的DCT和IDCT(Inverse-DCT，DCT逆变换)操作，并且只对视频关键帧进行处理，因此具有实时处理的能力。

本发明的处理过程可以分为两类：数据嵌入过程和数据检测过程。下面对这两类过程分别进行详细描述，流程图如图2和图3所示。数据嵌入过程包括视频部分解码、色度调制、部分编码三个主要步骤，依次如下所述：

步骤1、视频码流进行部分解码，具体步骤如下：

步骤1.1、读取码流的头信息，记录相应信息，并判断当前码流对应的视频帧是否为I帧，若为I帧，则执行步骤1.2，否则对该码流不作处理，直接返回；

步骤1.2、分配内存空间，用以存放部分解码后的DCT系数和各区域色度值的统计信息；

步骤1.3、以宏块为单位，进行部分解码，具体步骤如下：

步骤1.3.1、进行变长解码(Variable Length Decoding，VLD)，得到量化后的DCT系数；

步骤1.3.2、将量化后的DCT系数进行逆量化(Inverse Quantization，IQ)，重建DCT系数；

步骤1.3.3、将该宏块中的两个色度块的直流分量(Direct Current，DC系数)累加到该宏块对应的图像区域的色度值统计数据中；

步骤1.3.4、判断是否为最后一个宏块，如果不是则对下一个宏块执行步骤1.3.1，否则执行步骤2；

步骤2、色度调制，具体步骤如下：

步骤2.1、分别求出各区域内的平均色度值 (向下取整)，其中i表示第i个区域；

步骤2.2、对每一个

求出一个n值，

其中C为调制强度，本发明中C取值为32，这里n如果为奇数则表示嵌入的数据为比特‘1’，否则为比特‘0’；

步骤2.3、计算当前平均色度值表示的数据，并与待嵌入的数据比较，计算两者对应的平均色度值的误差Δ_i，其中如果n表示的数据与待嵌入的数据一致，则有

Δ_{i} = nC - \overset{&OverBar;}{C_{i}}

如果n表示的数据与待嵌入的数据不一致，则有

Δ_{i} = \{\begin{matrix} (n - 1) C - \overset{&OverBar;}{C_{i}}, nC > \overset{&OverBar;}{C_{i}} \\ (n + 1) C - \overset{&OverBar;}{C_{i}}, nC \leq \overset{&OverBar;}{C_{i}} \end{matrix};

步骤2.4、分配数组{S_i}，各元素初始值均为0，该数组用来累计色度调制过程中的误差；

步骤2.5、以宏块为单位，进行色度调制，具体步骤如下：

步骤2.5.1、计算出该宏块对应的区域，设为第i个区域；

步骤2.5.2、累计误差S_i←S_i+Δ_i；

步骤2.5.3、计算qc₁值，计算公式如下：

其中，DC₁为该宏块中第1个色度块的直流分量，Q为该宏块的量化系数；

步骤2.5.4、累计误差S_i←S_i-(qc₁·Q-DC₁)；

步骤2.5.5、修改色度块的直流分量DC₁←qc₁·Q；

步骤2.5.6、累计误差S_i←S_i+Δ_i；

步骤2.5.7、计算qc₂值，计算公式如下：

其中，DC₂为该宏块中第2个色度块的直流分量，Q为该宏块的量化系数；

步骤2.5.8、累计误差S_i←S_i-(qc₂·Q-DC₂)；

步骤2.5.9、修改色度块的直流分量DC₂←qc₂·Q；

步骤2.5.10、判断是否为最后一个宏块，如果不是则对下一个宏块继续执行步骤2.5.1，否则执行步骤3；

步骤3、对视频数据进行部分编码，重建压缩码流，具体步骤如下：

步骤3.1、将步骤1.1中保存的头信息写入新的码流中；

步骤3.2、以宏块为单位，进行编码，具体步骤如下：

步骤3.2.1、将宏块中所有DCT系数进行量化，量化系数与解码时相同；

步骤3.2.2、对量化后的DCT系数进行变长编码(Variable Length Encoding，VLE)；

步骤3.2.3、判断是否为最后一个宏块，如果不是则对下一个宏块继续执行步骤3.2.1，否则执行步骤4；

步骤4、完成数据嵌入过程，清理分配的内存空间，并且返回。

数据检测过程包括视频部分解码、数据检测两个主要步骤，依次如下所述：

步骤1、视频码流进行部分解码，具体步骤如下：

步骤1.3、以宏块为单位，进行部分解码，具体步骤如下：

步骤2、数据检测，具体步骤如下：

步骤2.2、对每一个求出一个n值，其中C为调制强度，本发明中C取值为32，这里n如果为奇数则表示嵌入的数据为比特‘1’，否则为比特‘0’；

步骤3、完成检测过程，清理分配的内存空间，并且返回嵌入的数据。

在数据嵌入和检测的处理过程，待嵌入的数据和检测出来的数据均以数组形式存放，数组中每一个元素都表示数据的一个比特位。在实际应用中，可以根据需要将比特形式的数据转换为字节形式，具体做法不属于本发明的内容范围。

至此，针对网络视频的可靠数据嵌入算法所有过程描述完毕。

附图说明

图1给出了视频图像区域的划分方案的示意图；

图2给出了数据嵌入过程的流程图；

图3给出了数据检测过程的流程图。

Claims

步骤1、视频码流进行部分解码，具体步骤如下：

步骤1.1、读取码流的头信息，记录相应信息，并判断当前码流对应的视频帧是否为I帧，若为I帧，则执行步骤1.2，否则对该码流不作处理，直接返回；

步骤1.2、分配内存空间，用以存放部分解码后的DCT系数和各区域色度值的统计信息；

步骤1.3、以宏块为单位，进行部分解码，具体步骤如下：

步骤1.3.1、进行变长解码(Variable Length Decoding，VLD)，得到量化后的DCT系数；

步骤1.3.2、将量化后的DCT系数进行逆量化(Inverse Quantization，IQ)，重建DCT系数；

步骤1.3.3、将该宏块中的两个色度块的直流分量(Direct Current，DC系数)累加到该宏块对应的图像区域的色度值统计数据中；

步骤11.3.4、判断是否为最后一个宏块，如果不是则对下一个宏块执行步骤1.3.1，否则执行步骤2；
步骤2、色度调制，具体步骤如下：

步骤2.1、分别求出各区域内的平均色度值 (向下取整)，其中i表示第i个区域；

步骤2.2、对每一个
，求出一个n值，其中C为调制强度，本发明中C取值为32，这里n如果为奇数则表示嵌入的数据为比特‘1’，否则为比特‘0’；

步骤2.3、计算当前平均色度值表示的数据，并与待嵌入的数据比较，计算两者对应的平均色度值的误差Δ_i，其中如果n表示的数据与待嵌入的数据一致，则有

$Δ_{i} = nC - \overset{&OverBar;}{C_{i}}$

如果n表示的数据与待嵌入的数据不一致，则有

$Δ_{i} = \{\begin{matrix} (n - 1) C - \overset{&OverBar;}{C_{i}}, nC > \overset{&OverBar;}{C_{i}} \\ (n + 1) C - \overset{&OverBar;}{C_{i}}, nC \leq \overset{&OverBar;}{C_{i}} \end{matrix};$

步骤2.4、分配数组{S_i}，各元素初始值均为0，该数组用来累计色度调制过程中的误差；

步骤2.5、以宏块为单位，进行色度调制，具体步骤如下：

步骤2.5.1、计算出该宏块对应的区域，设为第i个区域；

步骤2.5.2、累计误差S_i←S_i+Δ_i；

步骤2.5.3、计算qc₁值，计算公式如下：

其中，DC₁为该宏块中第1个色度块的直流分量，Q为该宏块的量化系数；

步骤2.5.4、累计误差S_i←S_i-(qc₁·Q-DC₁)；

步骤2.5.5、修改色度块的直流分量DC₁←qc₁·Q；

步骤2.5.6、累计误差S_i←S_i+Δ_i；

步骤2.5.7、计算qc₂值，计算公式如下：

其中，DC₂为该宏块中第2个色度块的直流分量，Q为该宏块的量化系数；

步骤2.5.8、累计误差S_i←S_i-(qc₂·Q-DC₂)；

步骤2.5.9、修改色度块的直流分量DC₂←qc₂·Q；

步骤2.5.10、判断是否为最后一个宏块，如果不是则对下一个宏块继续执行步骤2.5.1，否则执行步骤3；
步骤3、对视频数据进行部分编码，重建压缩码流，具体步骤如下：

步骤3.1、将步骤1.1中保存的头信息写入新的码流中；

步骤3.2、以宏块为单位，进行编码，具体步骤如下：

步骤3.2.1、将宏块中所有DCT系数进行量化，量化系数与解码时相同；

步骤3.2.2、对量化后的DCT系数进行变长编码(Variable Length Encoding，VLE)；

步骤3.2.3、判断是否为最后一个宏块，如果不是则对下一个宏块继续执行步骤3.2.1，否则执行步骤4；
步骤4、完成数据嵌入过程，清理分配的内存空间，并且返回。

数据检测过程包括视频部分解码、数据检测两个主要步骤，依次如下所述：

步骤1、视频码流进行部分解码，具体步骤如下：

步骤1.1、读取码流的头信息，记录相应信息，并判断当前码流对应的视频帧是否为I帧，若为I帧，则执行步骤1.2，否则对该码流不作处理，直接返回；

步骤1.2、分配内存空间，用以存放部分解码后的DCT系数和各区域色度值的统计信息；

步骤1.3、以宏块为单位，进行部分解码，具体步骤如下：

步骤1.3.1、进行变长解码(Variable Length Decoding，VLD)，得到量化后的DCT系数；

步骤1.3.2、将量化后的DCT系数进行逆量化(Inverse Quantization，IQ)，重建DCT系数；

步骤1.3.3、将该宏块中的两个色度块的直流分量(Direct Current，DC系数)累加到该宏块对应的图像区域的色度值统计数据中；

步骤1.3.4、判断是否为最后一个宏块，如果不是则对下一个宏块执行步骤1.3.1，否则执行

步骤2；

步骤2、数据检测，具体步骤如下：

步骤2.1、分别求出各区域内的平均色度值 (向下取整)，其中i表示第i个区域；

步骤2.2、对每一，求出一个n值，其中C为调制强度，本发明中C取值为32，这里n如果为奇数则表示嵌入的数据为比特‘1’，否则为比特‘0’；

步骤3、完成检测过程，清理分配的内存空间，并且返回嵌入的数据。