CN1893663A - 多媒体通信的传输保护方法 - Google Patents

Abstract

本发明涉及多媒体通信方法，公开了一种多媒体视频或者静止图像通信的传输保护方法，使得在不增加通信系统或网络负担的前提下，提高多媒体通信服务质量。本发明中，采用数字水印技术在压缩图像的非关键数据编码中隐藏关键数据信息；通过数字水印保护下的关键数据保护备份来检测正常传输的关键数据是否正确，由此来检测传输误码；用前后宏块组中相同位置的宏块进行循环相互备份；对运动向量进行编码，然后以数字水印的形式嵌入到相对不重要的DCT变换系数中，同时保证视频数据尽量不受影响；在误码发生时，如果关键数据备份正确，则直接替代原关键数据，否则用同一帧内相邻宏块的关键数据的平均值近似替代原关键数据。

Description

多媒体通信的传输保护方法

技术领域

本发明涉及多媒体通信方法，特别涉及多媒体通信的传输保护方法。

背景技术

多媒体通信尤其是数字视频技术广泛应用于通信、计算机、广播电视等领域，带来了会议电视、可视电话及数字电视、媒体存储等一系列应用，促使了许多视频编码标准的产生。国际电信联盟电信标准部(InternationalTelecommunication Union Telecommunication Standardization Sector，简称“ITU-T”)与国际标准化组织(International Standardization Organization，简称“ISO”)、国际电工委员会(International Electrotechnical Commission，简称“IEC”)的运动图像专家组(Moving Picture Expert Group，简称“MPEG”)是制定视频编码标准的两大组织。ITU-T的标准包括H.261、H.263、H.263+、H.263++、H.264等视频压缩编码标准，主要应用于实时视频通信领域，如会议电视；MPEG系列标准MPEG-3、MPEG-4，主要应用于视频存储、广播电视、因特网或无线网上的流媒体等。两个组织也共同制定了一些标准，H.262标准等同于MPEG-2的视频编码标准，而最新的H.264标准则被纳入MPEG-4的第10部分。

H.261是ITU-T为在综合业务数字网(Integrated Services DigitalNetwork，简称“ISDN”)上开展双向声像业务(可视电话、视频会议)而制定的，速率为64kb/s的整数倍。H.261的每帧图像分成图像帧层、宏块组(Group of Block，简称“GOB”)层、宏块(Macro Block，简称“MB”)层、块(Block)层来处理。H.261是最早的运动图像压缩标准，它详细制定了视频编码的各个部分，包括运动补偿的帧间预测、离散余弦变换(DigitalCosine Transform，简称“DCT”)变换、量化、熵编码，以及与固定速率的信道相适配的速率控制等部分。基于H.261发展的H.263是最早用于低码率视频编码的ITU-T标准，随后出现的第二版(H.263+)及H.263++增加了许多选项，使其具有更广泛的适用性。

H.263的运动向量模式允许运动向量指向图像以外的区域。当某一运动向量所指的参考宏块位于编码图像之外时，就用其边缘的图像象素值来代替，取得很大的编码增益。先进的预测模式允许一个宏块中4个8×8亮度块各对应一个运动向量，从而提高了预测精度；两个色度块的运动向量则取这4个亮度块运动向量的平均值。补偿时，使用重叠的块运动补偿，8×8亮度块的每个象素的补偿值由3个预测值加权平均得到。使用该模式可以产生显著的编码增益，特别是采用重叠的块运动补偿，会减少块效应，提高主观质量。

目前，H.261与H.263在视频通信中广泛应用，成熟的产品已经很多。H.263与H.261相比，增加了若干选项，提供了更灵活的编码方式，压缩效率大大提高，更适应网络传输。H.264标准的推出，是视频编码标准的一次重要进步，它与现有的MPEG-2、MPEG-4及H.263相比，具有明显的优越性，特别是在编码效率上的提高，使之能用于许多新的领域。尽管H.264的算法复杂度是现有编码压缩标准的4倍以上，随着集成电路技术的快速发展，H.264的应用将成为现实。

在视频通信中，关键数据保护和错误掩盖(Error Concealment)是非常重要的一种保证端到端服务质量(Quality of Service，简称“QoS”)的方法。因为网络，尤其是互联网或其它QoS不保证的IP或者分组交换网络，无线网络，会经常因为各种原因发生丢包或者叫做分组丢失，那么压缩视频数据的一部分将丢失，在接收端就不能正确解码，因为压缩视频码流各部分之间可能存在相关性，因此丢失的数据不但影响其所包含部分信息的正确解码，而且还影响依赖于它的其它信息的正确解码。因此必须进行必要的错误掩盖，才能保证正确解码。错误掩盖就是，对于丢失的信息用前面已经正确接收(或者也是通过错误掩盖)从而正确解码的信息来近似替代，或者外推(extrapolate)出丢失的信息。

数字媒体和互联网络为人们的生活带来了极大的方便，数字化的媒体便于访问、复制、传输和编辑，但同时也带来了对数字媒体版权的侵犯和对数字媒体内容的篡改等问题。网络的普及使数字媒体的交换和传输变成了一个相对简单的过程，信息的共享也达到了一个新的层次，但同时使信息被暴露的机会和受到攻击的可能性大大增加。这就催生了作为最早用于进行数字媒体版权保护的数字水印技术。

数字水印技术通过在原始媒体数据中嵌入一系列有意义或无意义的信息，使嵌入在原始媒体数据的水印信息始终与原始媒体数据共存，达到保护原始媒体数据版权和内容完整的目的。随着技术发展，除了版权保护外，数字水印技术在许多其他地方都有重要用途。

图1给出了数字水印原理框图。图中主媒体I₀一般是视频、音频等原始的或压缩后的多媒体数据，待隐藏的数据b₀相对于I₀只有较少的数据。嵌有水印的媒体I₁与I₀的差别是水印的嵌入产生的失真，一般要求这种失真是不易为人类感知的。I₁经过一定的处理得到媒体I₂，如数据压缩、噪声污染以及对水印有意的攻击等，这些处理可以统一看成噪声。因此从I₂提取出的水印b₁相对于原始水印b₀可能会有一些失真，如果I₂与I₁相同，从I₂提取出的水印b₁也应与原始水印b₀相同。

水印嵌入和提取的一般数学模型为：设I₀、I₁分别表示原始数据和嵌入水印后的数据，b₀为原始水印，则水印的嵌入过程可以表示为I₁＝I₀+f(I₀，b₀)，其中f(I₀，b₀)表示水印的嵌入算法。水印检测过程可以表示为：若假设H₀：b₁＝I₂-I₀＝N成立，则无水印；若假设H₁：b₁＝I₂-I₀＝b₀+N成立，则有水印，其中，N为噪声，例如由数据压缩、噪声污染以及对水印有意的攻击等引起。嵌有水印的数据经过处理后会产生一定的失真，因而从经过处理后的数据中检测到的水印可能会在一定程度上与原始水印有所差别。

水印的检测技术一般采用经典的信号检测(Signal Detection)技术实现，作为信号检测技术是研究如何判断噪声中是否存在目标信号，比如雷达回波信号中是否包含来自目标的反射信号等，如果存在，如何利用统计原理进行最优信号提取等。判断噪声中是否存在信号，采用统计假设检验的方法(Statistic Hypothesis Test/Validation)。在水印检测中，首先给出两个假设H₀和H₁，根据检验的结果知道哪个假设成立，从而知道是否存在水印。

从视频关键数据保护技术来说，目前存在多种方法，大致分为以下几类：

非等重保护(UnEqual Protection，简称“UEP”)措施是指对于码流中的关键数据，在采取多种主动抗丢包和抗误码措施，比如前向纠错编码(Forward Error Code，简称“FEC”)，纠删码(Erasure Codes)等，进行区别于普通数据的保护；

利用通信协议中的自定义区段，对于关键信息进行备份，这种方法因具体协议不同而不同，比如针对H.263/H.263+国际标准，就可以利用其中图像增强信息(Picture Enhancement Information，简称“PEI”)域进行关键数据备份；

数据分割(Data Partition)是指对于关键数据利用单独的码流进行传送。

而从错误掩盖技术来说，目前也有很多种，大致分为以下几类：

时间域掩盖方法就是采用时间轴上相邻的帧的信息来推算丢失数据。推算的方法可以是：简单采用相邻帧相同位置的数据代替丢失数据；考虑运动预测因素，根据相邻帧数据进行运动预测。除此还有更加复杂的掩盖策略，但是计算量非常大；

空间域掩盖方法就是利用丢失数据区域的空间相邻区域来进行错误掩盖。同样的方法还有：简单用邻域替代；基于数据融合的有多个空间相邻区域推算丢失数据，比如空间插值；代数反演法，把丢包过程用一个线性模型建模，其输入是丢包前数据，输出是正确接收到的数据，利用代数反演的方法，比如最小二乘法，从输出来反演输入，用反演结果来替代错误数据，这种方法计算量大；

时空联合掩盖方法则是联合使用空间域和时间域的误码掩盖。比如，根据丢失数据的特点和相邻时间数据和空间数据的情况，采用某种策略确定用空间域掩盖还是时间域掩盖更好，然后实施这种更好的掩盖策略，或者融合空间数据和时间数据，共同进行掩盖。

事实上，错误掩盖相关的前提是误码检测和定位，准确的误码检测及定位是误码被正确掩盖的前提。现有的误码检测方法是利用视频信号的特征，进行误码检测；或对视频码流进行语法检查，如出现非法可变长度编码(Variable Length Codes，简称“VLC”)码字，运动向量超出了图像范围或恢复的DCT系数超出范围等等，都认为是由误码引起的错误。根据视频信号特征进行误码检测的方法是基于“视频信号是平稳的”这一假设，但这种假设在实际系统中通常是不成立的，因而常常出现虚检错误；码流的语法检查方法则无法准确限定出错位置。因此使用这些方法进行误码定位的准确率比较低，一般为5-15％。因此，错误掩盖的前提是准确的误码检测，也就是说误码检测是(尤其是无线信道)错误掩盖的首要工作。

另外，目前还没有同时将关键数据保护和错误掩盖有效结合起来的方法。

在实际应用中，上述方案存在以下问题：在关键数据保护方面，采用UEP来保护关键数据，需要增加额外开销，增加码流量。一般来说，丢包发生往往是因为网络发生拥塞，带宽变窄引起的，如果为了保护关键数据，反而去增大流量，这是这种方法的一个逻辑矛盾，因此也使得使用效果不佳。另外，利用通信协议中的自定义区段方法虽然有其巧妙之处，但是依赖具体协议，缺乏一般性。而数据分割方法则太复杂，难以实用。直接从前帧的关键数据替换或者外推当前帧数据，只适合某些关键数据，缺乏通用性。

而其他的错误掩盖方法只能暂时掩盖误码导致的失真，而且简单的方法产生的效果不好，复杂的方法计算量大，对于终端的处理能力要求高，另外更严重的问题是现有的误码检测方法准确率太低，直接限制了错误掩盖的效果。

造成这种情况的主要原因在于，单独的关键数据保护方法要么需要额外的开销而无法解决根本的网络拥塞问题，要么太复杂难以实现或者没有通用性；单独的误码掩盖方法对视频质量提高效果不够好，耗费处理资源，同时也没有准确率高的误码检测机制作为前提。

发明内容

有鉴于此，本发明的主要目的在于提供一种多媒体通信的传输保护方法，使得在不增加通信系统或网络负担的前提下，提高多媒体通信服务质量。

为实现上述目的，本发明提供了一种多媒体通信的传输保护方法，包含以下步骤：

A在发端用数字水印对关键数据做备份保护；

B在收端提取数字水印得到关键数据备份，由其检测多媒体数据误码；

C对发生误码的多媒体数据进行错误掩盖。

其中，所述步骤A包含以下子步骤：

将多媒体数据分块处理，对当前块的所述关键数据进行备份编码；

用数字水印将所述当前块的关键数据的备份编码嵌入到所述当前块对应的保护块的非关键数据编码中；

其中，所述保护块不同于但对应于所述当前块。

此外在所述方法中，所述步骤B包含以下子步骤：

从所有所述保护块中提取数字水印得到其所对应的被保护块的关键数据备份；

首先，根据以下第一准则判断当前块是否正确：如果当前块的关键数据备份与本身所传输的关键数据一致，或者当前块所对应的被保护块的关键数据备份与该被保护块本身所传输的关键数据一致，则当前块正确；

其次，对于没有被所述第一准则判断为正确的数据块，根据以下第二准则判断当前块是否错误：如果当前块的关键数据备份与本身所传输的关键数据不一致并且当前块所对应的保护块正确，或者当前块所对应的被保护块的关键数据备份与该被保护块本身所传输的关键数据不一致且该被保护块正确，则当前块错误。

此外在所述方法中，所述多媒体通信用运动补偿编码方法传输，所述步骤B还包含以下子步骤：

对于没有被所述第一准则、第二准则判断为正确或错误的数据块，根据以下第三准则判断当前块是否错误：如果当前块的参考编码块错误，则当前块错误。

此外在所述方法中，所述步骤C包含子步骤，当前块错误时，如果其所对应的保护块正确，则用当前块的关键数据备份作为其关键数据进行解码。

此外在所述方法中，所述步骤C包含子步骤，当前块错误时，如果其所对应的保护块错误，则用与当前块邻近且正确的一个或多个数据块的关键数据的平均值作为当前块的关键数据进行解码。

此外在所述方法中，所述平均值以下之一：

算术平均值、加权平均值、几何平均值、调和平均值、或中值平均值，或者是上述任何一种平均值在去掉被平均数组的最大值和最小值后的平均结果，即去掉被平均数组的最大值和最小值后的算术平均值、加权平均值、几何平均值、调和平均值及中值平均值

此外在所述方法中，所述多媒体通信的传输方法为H.261、H.263、H.263+、H.263++、H.264、运动图像专家组标准1、运动图像专家组标准2、运动图像专家组标准4的部分2和部分10中的任意一种。

此外在所述方法中，所述关键数据为包含：

宏块的运动向量、视频序列结构参数、图象帧的结构参数、块组结构参数、图像增强信息、或补充增强信息。

此外在所述方法中，所述非关键数据为彩色图象亮度分量信号或者灰度图象的灰度信号的离散余弦变换交流系数中的序号为7到12的之间的任意两个系数，例如8和9两个系数。

此外在所述方法中，所述运动向量的备份编码方法包含以下步骤：

分别以4比特对所述运动向量的横向分量、纵向分量编码；

其中，所述4比特编码对应表示所述横向分量或纵向分量的任意16种互易的离散取值情况。

此外在所述方法中，所述步骤B的所述第一准则、第二准则中，根据以下第四准则判断所述关键数据备份与所述关键数据是否一致：

如果所述运动向量备份编码中其横向分量和纵向分量共8比特表示的取值情况与对应数据块本身传输的所述运动向量的取值情况符合，则所述运动向量备份与所述运动向量一致。

此外在所述方法中，所述多媒体数据为图像帧序列；

每个所述图像帧分为至少两个数据块组；

每个所述数据块组分为至少两个所述数据块；

每个所述数据块至少包含4个亮度分量信号块；

每个所述数据块所对应的保护块为其后一个所述数据块组中满足预设一一对应关系的数据块；

每个所述数据块所对应的被保护块为其前一个所述数据块组中满足所述预设一一对应关系的数据块；

每个所述数据块所对应的参考数据块为同一数据块组中前一个数据块。

此外在所述方法中，在所述预设一一对应关系中，每个所述数据块所对应的保护块为其后一个所述数据块组中相同位置的数据块；每个所述数据块所对应的被保护块为其前一个所述数据块组中相同位置的数据块。

此外在所述方法中，所述步骤A中进行所述关键数据备份的数字水印嵌入时，将所述运动向量的8比特备份编码分别插入到对应保护块的4个所述亮度分量或者灰度信号块的离散余弦变换交流系数中所述序号为7到12的任意两个系数的编码中，例如可以是8和9两个系数。

此外在所述方法中，将所述运动向量备份编码的比特插入到对应的所述离散余弦变换系数的编码中的规则如下：

按照所述运动向量备份编码的比特，将所述离散余弦变换的编码变为与其编码前的值最接近的值的偶数或奇数编码。

此外在所述方法中，所述步骤C中，当前块错误时，如果其所对应的保护块正确，则用当前块的运动向量备份反推当前块在前一图像帧中的参考块的位置，并用该参考块代替当前块。

此外在所述方法中，所述步骤C中，当前块错误时，如果其所对应的保护块错误，则用当前图像帧中与当前块邻近且正确的一个或多个数据块的运动向量的平均值来反推当前块在前一图像帧中的参考块的位置，并用该参考块代替当前块。

通过比较可以发现，本发明的技术方案与现有技术的主要区别在于，采用数字水印技术在压缩图像的非关键数据编码中隐藏关键数据信息，以在不增加通信负担的前提下有效地保护多媒体通信的关键数据，以提高多媒体通信服务质量；

通过数字水印保护下的关键数据保护备份来检测正常传输的关键数据是否正确，由此来检测传输误码；

用前后宏块组中相同位置的宏块进行循环相互备份；

对运动向量进行编码，然后嵌入到相对不重要的DCT变换系数中，以实现数字水印，同时保证视频数据尽量不受影响；

在误码发生时，如果关键数据备份正确，则直接替代原关键数据，否则用同一帧内相邻宏块的关键数据的平均值近似替代原关键数据。

这种技术方案上的区别，带来了较为明显的有益效果，即用经过巧妙设计的数字水印技术对关键数据做保护备份，可以在不增加通信系统或网络负担、且不影响传输质量的前提下，方便、高效地实现关键数据的保护，基于此实现误码检测和错误掩盖的结合，从而大大提高多媒体通信服务质量，由此提高视频通信类产品，如可视电话、第三代移动终端、视频会议、网络电视等的市场竞争力。

附图说明

图1是数字水印技术原理示意图；

图2是根据本发明的第一实施例的多媒体通信的传输系统示意图；

图3是根据本发明的第一和第二实施例的多媒体通信的传输保护方法流程图；

图4是根据本发明的第一实施例的H.263视频数据分块方案示意图；

图5是根据本发明的第三实施例的实验结果视频质量对比示意图；

图6是根据本发明的第三实施例的实验结果PSNR对比示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

发明的关键思路是利用数字水印在多媒体数据中嵌入一些水印数据，来保护多媒体通信的关键数据，比如诸多运动预测编码标准中的运动向量(Motion Vector)数据的保护。关键数据作为水印在发送端多媒体压缩编码过程中嵌入到多媒体数据中，成为了关键数据的保护冗余备份，除了在多媒体码流本身中传输外，关键数据还以水印数据的形式进行了备份，然后随码流同时发送，接收端收到后，可以通过提取水印数据，得到这些重要的媒体数据及其备份，从而达到关键数据保护的目的，在关键数据丢失时，可以利用备份来恢复。

通过对于数字水印的利用，在不增加通信负担也不降低多媒体通信质量的前提下，实现了对关键数据的保护。本发明基于数字水印对关键数据的保护，提出的有效的误码检测方法，即通过比较从水印提取的运动向量与视频解码得到的运动向量进行误码检测，大大提高了误码检测的准确性，并且利用从水印提取的运动向量对错误块进行错误掩盖，很好地改善了视频恢复质量。

利用关键数据备份进行误码检测，可以精确检测误码的发生，最后本发明通过错误掩盖来提高多媒体通信服务质量，错误掩盖可以通过用关键数据备份代替关键数据来实现，如果关键数据备份也出错，则通过空间域的简单替代实现。

由此可见，本发明基本上由三步实现：首先在发送端利用数字水印嵌入关键数据备份，并能在接收端提取数字水印，获取所保护关键数据；其次根据关键数据的备份和本身传输的关键数据对比，判断相关多媒体数据是否发生误码的方法，以高效检测误码情况的发生；最后对发生误码的数据实现错误掩盖。

下面以基于块-运动补偿的视频压缩算法系列标准为例，特别是H.263标准，来详细说明本发明的实施方案，同样对于其他已有标准，比如前述的H.261、H.263、H.263+、H.263++、H.264、MPEG-1、MPEG-2、MPEG-4的part2 & part10等，或者将来会有的采用同样机理的标准，则类似的可以扩展实现。

图2示出了本发明的第一实施例的通信系统框图。在编码器执行编码过程中，运动预测中获得的运动向量，分别送到VLC模块和水印嵌入模块。送到VLC模块的运动向量按正常的方法编码，并复合到输出码流(即正常的协议处理流程)；而送到水印嵌入模块的运动向量，经过处理后，叠加到量化后的DCT系数上，然后通过VLC编码，复合到输出码流。

本发明的实施例将关键数据即运动向量嵌入到压缩图像的DCT系数中，在解码端根据提取的数字水印来进行误码检测和掩盖。熟悉本领域的技术人员可以理解，其他非关键数据也可以作为载体来嵌入关键数据的水印备份，照样实现发明目的而不影响本发明的实质和范围。而本发明的第一实施例中将数字水印嵌入到变换域的DCT系数中，是由于DCT系数中的高频分量对人视觉的影响较少，因此这样的不重要的数据编码比较适合嵌入水印，从而能够保护原视频传输的质量。

事实上，按照水印信号嵌入的方式，可以将数字水印技术分为空间域的数字水印技术和变换域的数字水印技术。空间域的数字水印技术是直接在媒体的空间域嵌入水印信息，如直接在图像像素中嵌入信息。变换域的数字水印技术是先将媒体作种变换，如离散傅立叶变换、离散余弦变换或离散小波变换等，然后再在变换域中嵌入水印信息。变换域水印技术相对于空间域水印有很多好处，比如可以把水印加入引起的额外图像能量均匀分布到被嵌入图像的各个部分，使得水印加入后的可见影响降低到最低限度。因此本发明的实施例采用了在变换域嵌入水印的方法。

图3示出了本发明的第一实施例中视频通信的传输保护方法的总流程。

首先在步骤301中，将多媒体数据分块处理，对当前块的关键数据进行备份编码。

如上所述，首先要进行就是在发端用数字水印对关键数据做备份保护。结合现有的运动补偿或其他视频压缩编码标准，对于视频数据的处理是分块进行的。比如在H.263标准中，视频流分为图像帧序列，每个图像帧分为多个GOB，每个GOB对应一行MB，每个MB又包含4个8×8亮度分量信号B1...B4和2个色差分量信号。图4示出了这种分块方案。每个MB由两个数字指示其位置，第一个下标为行号也即所属GOB号，第二个下标为列号也即在GOB中的序号。

关键数据的备份编码就是专门用于嵌入水印之前的编码，该编码方式可以区别于正常的编码方式。本发明第一实施例中，对于运动向量(MV)的备份编码，用量化的方法实现。运动向量分为横向(X)分量和纵向(Y)分量，分别表示当前宏块相对于其前帧参考宏块在水平和垂直方面的位移量。备份编码时分别以4比特对两个分量编码，4比特编码可以代表16种码字，对应表示横向分量或纵向分量的以下16种取值情况：小于-3、-3、-2.5、-2、-1.5、-1、-0.5、0、0.5、1、1.5、2、2.5、3、3.5、大于3.5。

这里将两端超出一定量化范围的情况用一个码字表示，这样的量化方法具有良好的性能和编码效率。事实上，由于MV各个分量取值主要集中在零附近，对大量实际视频序列测试得到的运动向量各个分量主要集中在[-2，2]区间内。为了尽量减小运动向量的嵌入对图像带来的影响，把运动向量的分量的取值在[-3，3.5]的区间内进行均匀量化，而这个区间的两端以外各用一个码字表示。这样大大缩小了MV的编码量，减少了数据量，提高水印嵌入的可行性，同时也能保证关键数据编码损失较少。

事实上采用上述非均匀量化之后，对于每个分量，当|MV|≤3时，可以用嵌入正确的MV完全恢复上一行受损的MV，而|MV|＞3.5时，虽然不能恢复受损的MV，但通过取值范围的比较可以确定误码影响的范围，达到误码检测的目的。

这里对嵌入的MV采用定长(4bit)编码，是为了便于以后的误码检测，比如每个分量对应的编码结果为0000到1111，可以依次对应上面所述16种取值情况，码表举例如表一。该表对应于特殊情况，只是作为一个特例，具体应用中可以按情况取值。

表一

运动向量分量	＜-3	-3	-2.5	-2	-1.5	-1	-0.5	0
									备份编码码字	1111	1101	1110	1100	1010	0001	0010	0000
运动向量分量	0.5	1	1.5	2	2.5	3	3.5
									备份编码码字	1000	0100	1001	0110	0101	0011	1011

然后在步骤302中，用数字水印将当前块的关键数据的备份编码嵌入到当前块对应的保护块的非关键数据编码中。其中保护块不同于但对应于当前块，也就是说每个数据块都有其他一个数据块作为它的保护块，同时它本身也是另外一个数据块的保护块。

以图3所示的H.263等编码方案为例，码流中的每一层都有对应的起始码，GOB的起始码在传输中又起到同步的作用。通过检查GOB的起始码，可以将比特错误限制在所在的GOB中，不会影响到下一个GOB中去。因此可以选择将上一行MB例如GOB1的MB1，m的运动向量在其下一行GOB2的MB2，m中进行保护，即当前MB的下一行对应位置的MB是其保护块，同理当前MB就是上一行对应位置MB的保护块，也称上一行对应位置的MB为当前MB的被保护块，如果是最后一行则由第一行保护。经过这样行与行之间的循环保护，可以实现有效的备份，比如在GOB2没有误码时，即使GOB1中的数据出错，也可以恢复GOB1的关键数据，从而用于有效的错误掩盖。

前面已经提到数据水印的内容为关键数据即运动向量，而没有给出数字水印的载体是什么。当然，由于关键数据的编码本身是重要的，因此不能再将关键数据的备份水印嵌入到关键数据的编码中，这样的做法在逻辑上是矛盾的。本发明的第一实施例中，以H.263为例，采用相对不重要的数据编码作为水印的载体，以保证视频流本身传输质量不受损。前面已经提到，本发明第一实施例中选择高频的DCT系数作为水印的载体是有其原因的。

根据人的视觉特性，人眼对视频的直流和低频成分，即对应于DCT系数中的直流(Direct Current，简称“DC”)系数和低频交流(Alternating Current，简称“AC”)系数的变化较为敏感，而对高频AC成分中的噪声或失真不敏感，因此不宜在DC或低频AC系数中嵌入运动向量。但由于视频编码中采用的帧间编码模式使得帧差信号的DCT系数都比较小，特别是高频分量系数几乎为零。为了避免码率增加过多，本发明选择将运动向量信息嵌入在亮度信号序号为8和9的变换系数，即AC8和AC9上。实验证明选择这两个系数作为水印载体的视频质量提高效果最佳。

前面已经提及，经过备份编码的MV共有8个比特分别表示两个分量，如果将这8个比特的水印信息隐藏到或者嵌入到保护块的AC8、AC9编码中也是一个有待考虑的问题。本发明的第一实施例中，将8比特信息恰好嵌入到对应保护块的4个亮度信号的AC8、AC9系数，共8个系数中，即每个AC8或AC9量化系数上隐藏一个比特的水印信息。

具体的将MV备份编码的比特信息插入到对应的DCT系数的编码中的规则如下：按照MV备份编码的比特为0或者1，将DCT的编码变为与其编码前值最接近的偶数或奇数编码，如果它本身就是则不需要变化。

该水印嵌入方法的数学模型描述如下：

设b＝0，1为需嵌入的比特信息，LEVEL为未嵌入b时AC_i，i＝8，9系数量化后的值，MLEVEL则表示为嵌入b后的值，ΔLEVEL为嵌入b后产生的误差，则有MLEVEL＝LEVEL+ΔLEVEL。

按照上面所述的奇偶对应原则，要求嵌入信息b与MLEVEL的对应关系如下

$\left|\mathrm{MLEVEL}\right|\mathrm{mod}2=\left\{\begin{array}{cc}0& b=0\\ 1& b=1\end{array}\right.$

这里mod2即模2操作，也及表示该值为偶数或奇数。

按照尽量为了减小水印嵌入对DCT系数带来的影响，应使ΔLEVEL尽量小，即LEVEL和MLEVEL所对应的量化前的DCT系数应该尽量接近。因此本发明的第一实施中，具体的嵌入算法表述为：

当b＝0且LEVEL为偶数，则不需要变化，MLEVEL＝LEVEL，ΔLEVEL＝0；

当b＝0且LEVEL为奇数，则按下式对ΔLEVEL取值，并进一步确定MLEVEL：

$\mathrm{\ΔLEVEL}=\left\{\begin{array}{c}\mathrm{sign}\left(\mathrm{COF}\right),\left|\mathrm{COF}\right|>\frac{\mathrm{QP}\·(2\·(\mathrm{level}-1)+1)+\mathrm{QP}\·(2\·(\mathrm{level}+1)+1)}{2}\\ -\mathrm{sign}\left(\mathrm{COF}\right),\left|\mathrm{COF}\right|\≤\frac{\mathrm{QP}\·(2\·(\mathrm{level}-1)+1)+\mathrm{QP}\·(2\·(\mathrm{level}+1)+1)}{2}\end{array}(*)\right.$

其中level＝(|COF|-QP/2)/(2·QP)，sign(·)为符号函数，COF为AC_i，i＝8，9量化前的值，QP为量化因子，/表示整除操作；

当b＝1且LEVEL为奇数，则不需要变化，MLEVEL＝LEVEL，ΔLEVEL＝0；

当b＝1且LEVEL为偶数但不为0时，ΔLEVEL取值同(*)式，由此确定MLEVEL；

当b＝1且LEVEL＝0时，ΔLEVEL＝sign(COF)，由此确定MLEVEL。

可见该嵌入方法在近50％的情况下，嵌入前后的DCT编码值相同，因而它对码率的影响不大。经过嵌入后，在编码时用MLEVEL作为AC_i，i＝8，9的量化值进行VLC编码。

在完成发送端的水印嵌入保护后，在收端则要提取数字水印得到关键数据备份，并由其检测多媒体数据误码。

因此在步骤303中，从所有保护块中提取数字水印得到其所对应的被保护块的关键数据备份。以H.263为例，提取数字水印的方法很简单，只需要根据视频解码的AC8和AC9的量化值MLEVEL判断，按照其奇偶性判断对应水印比特的值，用公式表示如下：

$b=\left\{\begin{array}{cc}0& \left|\mathrm{MLEVEL}\right|\mathrm{mod}2=0\\ 1& \left|\mathrm{MLEVEL}\right|\mathrm{mod}2=1\end{array}\right.$

将4个亮度块中的8个比特提取出来后，按嵌入时的顺序排列，就得到了上一行对应位置被保护块的运动向量范围的码字，查表一获得相应的运动向量取值情况。

然后在步骤304中，进一步根据恢复的关键数据备份和本身正常通道传输的关键数据的对比来检测误码情况。

本发明第二实施例在第一实施例的基础上，由四条准则判断误码情况：

首先，根据以下第一准则判断当前块是否正确：如果当前块的关键数据备份与本身所传输的关键数据一致，或者当前块所对应的被保护块的关键数据备份与该被保护块本身所传输的关键数据一致，则当前块正确。

其次，对于没有被所述第一准则判断为正确的数据块，根据以下第二准则判断当前块是否错误：如果当前块的关键数据备份与本身所传输的关键数据不一致并且当前块所对应的保护块正确，或者当前块所对应的被保护块的关键数据备份与该被保护块本身所传输的关键数据不一致且该被保护块正确，则当前块错误。

对于用运动补偿编码方法传输的多媒体通信，对于没有被所述第一准则、第二准则判断为正确或错误的数据块，根据以下第三准则判断当前块是否错误：如果当前块的参考编码块错误，则当前块错误。这是因为对于每个数据块来说，其编码是基于其参考块进行的，因此参考块错误则当前块无法进行解码。

针对于上述运动向量作为被保护关键数据的情况，所述第一准则、第二准则中，根据以下第四准则判断关键数据备份与关键数据是否一致：如果运动向量备份编码中其横向分量和纵向分量共8比特表示的取值情况与对应数据块本身传输的运动向量的取值情况符合，则该运动向量备份与该运动向量一致。

下面以H.263为例详细说明这些准则的具体实现方案。

在视频解码时，逐一检查每个MB，比较从VLC解码中得到的运动向量与从嵌入的水印中提取到的运动向量，检测是否有误码。设VLC解码过程中获得的GOB_n中MB_n，m的运动向量为MV_n，m，由对应保护块GOB_n+1中MB_n+1，m经过解水印信息提取得到GOB_n中MB_n，m的运动向量备份记为MV_n，m′。因为运动向量有两个分量，因此可以表示成：MV_n，m＝[MV^x _n，m，MV^y _n，m]^T，MV′_n，m＝[MV^′x _n，m，MV^′y _n，m]^T，其中上标x，y分别表示横向和纵向分量。下面描述过程中，采用数学逻辑符号描述判断准则，逻辑运算“∩”和“∪”表示与和或。

对于MB_n，m，其保护块为MB_n+1，m，被保护块为MB_n-1，m，它本身传输的MV为MV_n，m，保护块MB_n+1，m为它保护的MV备份为MV_n，m′，它本身为被保护块MB_n-1，m所保护的MV备份为MV_n-1，m′，被保护块本身传输的MV为MV_n-1，m，而每个MB所对应的参考MB为同一GOB中前一个MB，即MB_n，m的参考MB为MB_n，m-1。则四条准则具体描述如下：

第一准则，如果满足(MV_n，m＝MV_n，m′)∪(MV_n-1，m＝MV_n-1，m′)，则判定MB_n，m＝True，即MB_n，m为正确，无误码；

第二准则，如果满足(MV_n，m≠MV_n，m′)∩(MB_n+1，m＝True)∪(MV_n-1，m≠MV_n-1，m′)∩(MB_n-1，m＝True)，则判定MB_n，m＝False，表示MB_n，m错误，发生误码；

第三准则，如果满足MB_n，m-1＝False，则判定MB_n，m＝False；

第四准则，如果满足 $({\mathrm{MV}}_{n,m}^x={\mathrm{MV}}_{n,m}^{\′x})\∩({\mathrm{MV}}_{n,m}^y={\mathrm{MV}}_{n,m}^{\′y}),$ 则判定MV_n，m＝MV_n，m′，否则判定MV_n，m≠MV_n，m′，而这里判断 ${\mathrm{MV}}_{n,m}^x={\mathrm{MV}}_{n,m}^{\′x}$ 或 ${\mathrm{MV}}_{n,m}^y={\mathrm{MV}}_{n,m}^{\′y}$ 的规则又是：如果MV_n，m ^x与MV_n，m ^′x或MV_n，m ^y与MV_n，m ^′y的备份编码值相等，即表1中的码字一样，则判断 ${\mathrm{MV}}_{n,m}^x={\mathrm{MV}}_{n,m}^{\′x}$ 或 ${\mathrm{MV}}_{n,m}^y={\mathrm{MV}}_{n,m}^{\′y}$ 成立，否则不成立。

这里需要说明的是，上述四个准则如果没有优先级顺序则存在相互冲突的情况，因此本发明的第一实施例中，设定优先级顺序从高到底依次为第一准则、第二准则、第三准则、第四准则。高优先级的准则判定之后的结论，低优先级准则不得推翻。比如第一准则中判定当前块为正确，则在第三准则中就不再对当前块进行判定。

另外，在第四准则中是根据备份编码的码字来判断MV分量是否相等的，这就等于是按照MV的取值范围是否一样来判断其是否相等。特别是对于量化范围的两端，当MV范围超出均匀量化范围[-3，3.5]时，这本身就是小概率事件，如果MV_n，m和MV_n，m′同样都超出了范围，则可以在很大概率上认为它们是相等的。

在步骤305中，判断当前块是否错误，如果是，就进入步骤306；否则，结束本流程。

在步骤306中，判断当前块的对应保护块是否正确，如果正确，就进入步骤307；否则，进入步骤308。

在步骤307中，也就是在当前块错误，其对应保护块正确的情况下，由于所带的关键数据备份为正确，因此可以用于恢复原关键数据。所以当当前块错误时，如果其所对应的保护块正确，则用当前块的关键数据备份作为其关键数据进行解码。

用当前块的运动向量备份反推当前块的在前一图像帧中的参考块的位置，并用该参考块代替当前块。以H.263为例，当检测到MB_n，m有误码时，如果其保护块MB_n+1，m正确，即MV_n，m′正确，则采用MV_n，m′对MB_n，m进行错误掩盖。即采用MV_n，m′作为MB_n，m的运动向量，然后从MV_n，m′来反推MB_n，m在前一帧中参考宏块的位置，设该参考宏块为MB^ref _n，m，上标ref表示参考帧，然后用MB^ref _n，m的数据来替代MB_n，m。

在步骤308中，也就是在当前块错误，其对应保护块也错误的情况下，用与当前块邻近且正确的一个或多个数据块的关键数据的平均值作为当前块的关键数据进行解码。

这里的平均值可以是由各种广义平均算法计算。比如算术平均((a+b)/2)，加权平均((w₁*a+w₂*b)，w₁+w₂＝1，w₁，w₂＞0)，几何平均(sqrt(ab))，调和平均(ab/(a+b))，以及中值平均(a₁，a₂，.............，a_n总共n个数，大小排序a₁≤a₂....a_n-1≤a_n，则中值平均＝a_(n+1)/2，一般要求n为奇数)等，还可以采用去掉被平均数组的最大最小值后的各种平均值形式。

如果所保护的运动向量备份也出错，则用当前图像帧中与当前块邻近且正确的一个或多个数据块的运动向量的平均值来反推当前块在前一图像帧中的参考块的位置，并用该参考块代替当前块。以H.263为例，MB_n，m周围相邻的8个宏块(上，下，左，右，左上，右上，左下，右下)中，对于数据正确的那些宏块(数量可能小于8个)，通过将这些相邻宏块的运动向量进行平均，得到一个新的运动向量 ${{\mathrm{MV}}^{\′\′}}_{n,m}=\underset{i,j}{\mathrm{\Σ}}{\mathrm{MV}}_{n+i,m+j}|{\mathrm{MB}}_{n+i,m+j}=\mathrm{True},i,j=-\mathrm{1,0,1},$ 把这个新的向量作为MB_n，m的运动向量，然后从MV″_n，m来反推MB_n，m在前一帧中参考宏块的位置，设该参考宏块为MB^ref _n，m，然后用MB^ref _n，m的数据来替代MB_n，m。

最后，本发明的第三实施例在第一实施例的基础上，将该视频传输保护方法应用在H.263视频传输中，并用国际标准图像序列“Foreman”和“Claire”进行实验，实验结果很好的验证了本发明的有效性。

使用标准图像序列，取400帧(重复10次)进行实验研究，图像格式是QCIF，Y:U:V是4:1:1。实验中目标帧频为15frames/s，H.263编码器使用的量化因子(QP)为5。

图5中给出的左右两副图分别是Foreman序列的第16帧图像在采用一般的错误掩盖方法和本发明的方法两种情况下得到的恢复图像的对比。可以看出，应用本发明的方法，恢复图像的主观质量有显著改善。

图6中给出的两副图分别是Foreman和Claire实验中在不同误码率下在采用一般的错误掩盖方法和本发明的方法两种情况下解码端恢复视频的平均峰值信噪比(Peak Signal Noise Rate，简称“PSNR”)。从图中可以看出，当误码率小于10^-3时，利用本发明方法进行错误掩盖，恢复图像PSNR比利用一般的错误掩盖方法平均提高2-3dB，从而有效地保证了恢复视频的质量。

另外，从视频码流量来说，如果不采用本发明的数字水印方法，而是采用单独重复传送运动向量的方法进行错误掩盖，则增加的码流量高达8.8％-35.2％。比较而言，本发明方法的性能优于一般的错误掩盖算法。

熟悉本领域的技术人员可以理解，在上述对本发明实施例的描述中以H.263为例进行，但该传输保护方法可以直接应用于其他标准，如，H.261、H.263、H.263+、H.263++、H.264、MPEG-1、MPEG-2、MPEG-4，以及其它基于块DCT(Block-based DCT，简称“B-DCT”)的标准或非标准多媒体传输技术，应用在任何这些可行的技术中均能够实现发明目的而不影响其实质和范围。

熟悉本领域的技术人员还可以理解，在上述对本发明实施例的描述中以运动向量作为关键数据来保护和错误掩盖，当该方法也适用于除运动向量之外的其它视频关键数据的保护，比如视频序列结构参数、图象帧的结构参数、块组(GOB)结构参数、PEI信息、补充增强信息(Supplemental EnhancementInformation，简称“SEI”)等，照样实现发明目的而不影响其实质和范围。

同样的，在上述对本发明实施例的描述中其他具体参数或方案，比如用DCT系数作为水印承载、用8比特对运动向量量化等，均可以用其他可行参数或方案代替，能实现发明目的而不影响其实质和范围。

虽然通过参照本发明的某些优选实施例，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (20)

1.一种多媒体通信的传输保护方法，其特征在于，包含以下步骤：

A在发端用数字水印对关键数据做备份保护；

B在收端提取数字水印得到关键数据备份，由其检测多媒体数据误码；

C对发生误码的多媒体数据进行错误掩盖。

2.根据权利要求1所述的多媒体通信的传输保护方法，其特征在于，所述步骤A包含以下子步骤：

将多媒体数据分块处理，对当前块的所述关键数据进行备份编码；

用数字水印将所述当前块的关键数据的备份编码嵌入到所述当前块对应的保护块的非关键数据编码中；

其中，所述保护块不同于但对应于所述当前块。

3.根据权利要求2所述的多媒体通信的传输保护方法，其特征在于，所述步骤B包含以下子步骤：

从所有所述保护块中提取数字水印得到其所对应的被保护块的关键数据备份；

首先，根据以下第一准则判断当前块是否正确：如果当前块的关键数据备份与本身所传输的关键数据一致，或者当前块所对应的被保护块的关键数据备份与该被保护块本身所传输的关键数据一致，则当前块正确；

其次，对于没有被所述第一准则判断为正确的数据块，根据以下第二准则判断当前块是否错误：如果当前块的关键数据备份与本身所传输的关键数据不一致并且当前块所对应的保护块正确，或者当前块所对应的被保护块的关键数据备份与该被保护块本身所传输的关键数据不一致且该被保护块正确，则当前块错误。

4.根据权利要求3所述的多媒体通信的传输保护方法，其特征在于，所述多媒体通信用运动补偿编码方法传输，所述步骤B还包含以下子步骤：

对于没有被所述第一准则、第二准则判断为正确或错误的数据块，根据以下第三准则判断当前块是否错误：如果当前块的参考编码块错误，则当前块错误。

5.根据权利要求3所述的多媒体通信的传输保护方法，其特征在于，所述步骤C包含子步骤，当前块错误时，如果其所对应的保护块正确，则用当前块的关键数据备份作为其关键数据进行解码。

6.根据权利要求3所述的多媒体通信的传输保护方法，其特征在于，所述步骤C包含子步骤，当前块错误时，如果其所对应的保护块错误，则用与当前块邻近且正确的一个或多个数据块的关键数据的平均值作为当前块的关键数据进行解码。

7.根据权利要求6所述的多媒体通信的传输保护方法，其特征在于，所述平均值可以是以下之一：

术平均值、加权平均值、几何平均值、调和平均值、中值平均值、

或者去掉被平均数组中最大值和最小值后的算术平均值、加权平均值、几何平均值、调和平均值、及中值平均值。

8.根据权利要求1-7中任意一条权利要求所述的多媒体通信的传输保护方法，其特征在于，所述多媒体通信的传输方法为H.261、H.263、H.263+、H.263++、H.264、运动图像专家组标准1、运动图像专家组标准2、运动图像专家组标准4的部分2和部分10中的任意一种。

9.根据权利要求8所述的多媒体通信的传输保护方法，其特征在于，所述关键数据包含：

宏块的运动向量、视频序列结构参数、图象帧的结构参数、块组结构参数、图像增强信息、或补充增强信息。

10.根据权利要求8所述的多媒体通信的传输保护方法，其特征在于，所述非关键数据为彩色图象亮度分量信号或者灰度图象的灰度信号的离散余弦变换交流系数中的序号为7到12的之间的任意两个系数。

11.根据权利要求10所述的多媒体通信的传输保护方法，其特征在于，所述非关键数据为彩色图象亮度分量信号或者灰度图象的灰度信号的离散余弦变换交流系数中的序号为8和9的两个系数。

12.根据权利要求9所述的多媒体通信的传输保护方法，其特征在于，所述运动向量的备份编码方法包含以下步骤，

分别以4比特对所述运动向量的横向分量、纵向分量编码；

其中，所述4比特编码对应表示所述横向分量或纵向分量的任意16种互易的离散取值情况。

13.根据权利要求12中所述的多媒体通信的传输保护方法，其特征在于，所述步骤B的所述第一准则、第二准则中，根据以下第四准则判断所述关键数据备份与所述关键数据是否一致：

如果所述运动向量备份编码中其横向分量和纵向分量共8比特表示的取值情况与对应数据块本身传输的所述运动向量的取值情况符合，则所述运动向量备份与所述运动向量一致。

14.根据权利要求8所述的多媒体通信的传输保护方法，其特征在于，所述多媒体数据为图像帧序列；

每个所述图像帧分为至少两个数据块组；

每个所述数据块组分为至少两个所述数据块；

每个所述数据块至少包含4个亮度分量或者灰度信号块；

每个所述数据块所对应的保护块为其后一个所述数据块组中满足预设一一对应关系的数据块；

每个所述数据块所对应的被保护块为其前一个所述数据块组中满足所述预设一一对应关系的数据块；

每个所述数据块所对应的参考数据块为同一数据块组中前一个数据块。

15.根据权利要求14所述的多媒体通信的传输保护方法，其特征在于，在所述预设一一对应关系中，

每个所述数据块所对应的保护块为其后一个所述数据块组中相同位置的数据块；

每个所述数据块所对应的被保护块为其前一个所述数据块组中相同位置的数据块。

16.根据权利要求14所述的多媒体通信的传输保护方法，其特征在于，所述步骤A中进行所述关键数据备份的数字水印嵌入时，将所述运动向量的8比特备份编码分别插入到对应保护块的4个所述亮度分量或者灰度信号块的离散余弦变换交流系数中所述序号为7到12的任意两个系数的编码中。

17.根据权利要求16所述的多媒体通信的传输保护方法，其特征在于，所述运动向量的8比特备份编码分别插入到对应保护块的4个所述亮度分量或者灰度信号块的离散余弦变换交流系数中所述序号为8和9的系数的编码中。

18.根据权利要求16所述的多媒体通信的传输保护方法，其特征在于，将所述运动向量备份编码的比特插入到对应的所述离散余弦变换系数的编码中的规则如下：

按照所述运动向量备份编码的比特，将所述离散余弦变换的编码变为与其编码前的值最接近的值的偶数或奇数编码。

19.根据权利要求14所述的多媒体通信的传输保护方法，其特征在于，所述步骤C中，当前块错误时，如果其所对应的保护块正确，则用当前块的运动向量备份反推当前块在前一图像帧中的参考块的位置，并用该参考块代替当前块。

20.根据权利要求14所述的多媒体通信的传输保护方法，其特征在于，所述步骤C中，当前块错误时，如果其所对应的保护块错误，则用当前图像帧中与当前块邻近且正确的一个或多个数据块的运动向量的平均值来反推当前块在前一图像帧中的参考块的位置，并用该参考块代替当前块。

Images