CN101160951B

CN101160951B - 一种多媒体视频通信的质量检测方法

Info

Publication number: CN101160951B
Application number: CN2006800122712A
Authority: CN
Inventors: 杨付正; 罗忠; 万帅; 常义林
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2005-06-25
Filing date: 2006-06-23
Publication date: 2010-07-21
Anticipated expiration: 2026-06-23
Also published as: JP2008527810A; WO2007000103A1; KR100934539B1; DE602006011119D1; KR20070088716A; JP2011182423A; EP1814307B9; CN100461864C; EP1814307B1; US20080273861A1; US8184164B2; JP5161334B2; EP1814307A1; CN1885947A; JP4763721B2; ATE452384T1; EP1814307A4; CN101160951A

Abstract

本发明公开了一种多媒体通信质量检测方法，使得在保证多媒体视频数据本身质量不受明显影响的前提下，通过数字水印的嵌入和提取，客观反映多媒体视频通信质量。本发明中，将多媒体视频数据每帧均匀分块然后逐块嵌入水印数据来实现完全均匀的水印分布；将多媒体视频数据多帧分组，并将水印均匀等间隔地嵌入到每组的部分帧中以进一步减少水印对数据的影响；将水印信息直接均匀嵌入到多媒体原始视频数据的空间域中；用恢复水印与原始水印对比的正确率来线性拟合多媒体视频数据的PSNR，作为多媒体视频通信质量的衡量标准；通过在水印提取后对视频图像进行平滑滤波等后处理，来消除水印对多媒体视频数据质量的影响。

Description

一种多媒体视频通信的质量检测方法

技术领域

本发明涉及多媒体通信技术领域，特别涉及多媒体视频通信质量检测方法。

背景技术

随着多媒体信息时代的到来，各类多媒体处理和通信，特别是视频处理和视频通信技术层出不穷，相应的数字视频质量评估显得日益重要。数字视频是目前最主要的多媒体视频通信媒体形式，网络流媒体(如网络电影、网络电视等)、视频会议、可视电话等都是基于视频的多媒体应用。用户对于多媒体应用业务满意度很大程度上取决于视频质量。数字视频信号要经过对模拟视频信号的采样、量化、压缩编码、网络传输解码以及还原等环节，其中某些环节特别是不保证服务质量(QoS，Qualityof Service)的网络传输(如分组传输网)，在每个环节上都会引入误差和信息失真，导致用户满意度下降。多媒体视频通信质量是衡量数字多媒体相对于原始信号失真的一种度量。视频质量评估在视频压缩、处理以及视频通信领域有非常重要的作用：实时或非实时的视频系统的性能和各种视频传输信道的服务质量QoS最终通过视频质量反应出来，并给出反馈以调节编解码器或信道的参数，保证视频质量在可接受的范围内；对各种不同编解码器的输出视频质量给出易于理解的量度，便于对编解码器的性能进行设计、评估和优化；设计、优化符合人的视觉模型的图形图像显示系统。

在无线和互联网协议(IP，Internet Protocol)传输视频系统中，存在两种影响视频质量的因素：一是视频压缩引起视频质量的下降；二是信道环境较差，引起的信道丢包或者随机误码对视频质量的影响，特别是各种头信息和运动向量出错，破坏了视频内容，这些被破坏的视频内容常常形成一些无法忍受的贴片式方块，严重影响了恢复视频的主观质量。因此视频质量的检测和基于此的反馈修正和测试开发是当前多媒体视频通信朝着无线和IP传输方向发展趋势所提出的迫切技术需求。

同时视频质量评估对于视频通信设备制造商和电信运营商有着非常重要的意义。如果设备商能够提供系统有说服力的视频质量评估结果，对于其产品的销售将会有很大推动作用；对于运营商，视频质量的评估数据可以用于其业务推广宣传。另外，如果能够开发出自动实时的视频质量评估方法，设备商和运营商都可以基于此实现对于视频设备进行实时监控，从而有助于问题的定位和故障诊断。

视频质量评估分为主观质量评估和客观质量评估两大类。其中主观质量评估结果可靠，但是因为视频主观质量的评估需要依赖人类测试者(Human Test Subject)的参与，对于人类测试者有严格的要求，过程复杂，难于普便应用，特别是对于评估有实时性要求的应用环境。客观质量从另外一个方面采用定量的方法来测量视频的质量，可以自动实现，效率高，无需人工参加。

客观质量评估又可以分为三类：

(1)需要完整原始视频序列的全参考模型(Full Reference Model)；

(2)只需要原始视频序列部分统计特征的部分参考模型(PartialReference Model)；

(3)不需要原始视频序列任何信息的无参考模型(ReferencelessModel)。

在实际应用中通常无法获得所需的参考视频序列，因此全参考和部分参考客观评估方法无法得到广泛的应用。因此，需要研究新的、不需要任何参考信息的客观的实时视频质量评估方法。目前视频质量专家组(VQEG，Video Quality Experts Group)也正致力于无参考视频质量评估方法研究和标准制定。

在众多客观质量评估指标中，峰值信噪比(PSNR，PeakSignal-to-Noise Ratio)是应用最为广泛的一种，因为它计算简单，定义的物理意义非常明显，确实能够很好地反映图像的失真程度。

数字化的媒体便于访问、复制、传输和编辑，同时也带来了对数字媒体版权的侵犯和对数字媒体内容的篡改等问题。这就催生了作为最早用于进行数字媒体版权保护的数字水印技术。

数字水印技术是近年来迅速兴起并且得到广泛应用。通过在原始媒体数据中嵌入一系列信息，使嵌入在原始媒体数据的水印信息始终与原始媒体数据共存，达到保护原始媒体数据版权和内容完整的目的。随着技术发展，除了版权保护外，数字水印技术在许多其他地方有重要用途。比如对于前面提到的视频多媒体视频通信质量的检测，就可以由数字水印的嵌入和提取实现，这是属于部分参考模型方法，不需要知道原始的视频图像，而是利用经过传输信道失真前后的水印图像作为一种参考，间接反映原始图像的情况，从而进行质量测算、评价。

数字水印可以嵌入在原始数据的任意部分，但是要尽量降低对原始数据的影响。按照水印信号嵌入的方式，可以将数字水印技术分为空间域的数字水印技术和变换域的数字水印技术。空间域的数字水印技术是直接在媒体的空间域嵌入水印信息，如直接在图像像素中嵌入信息。变换域的数字水印技术是先将媒体作种变换，如离散傅立叶变换(DFT，Discrete Fourier Transform)、离散余弦变换(DCT，Discrete CosineTransform)或离散小波换(DWT，Discrete Wavelet Transform)等，然后再在变换域中嵌入水印信息。

图1给出了数字水印原理框图。图中主媒体I₀一般是视频、音频等原始的或压缩后的多媒体视频数据，待隐藏的数据b₀相对于I₀只有较少的数据。嵌有水印的媒体I₁与I₀的差别是水印嵌入所产生的失真，一般要求这种失真是不易为人类感知的。I₁经过一定的处理得到媒体I₂，如数据压缩、噪声污染以及对水印有意的攻击等，这些处理可以统一看成噪声。因此从I₂提取出的水印b₁相对于原始水印b₀可能会有一些失真，如果I₂与I₁相同，从I₂提取出的水印b₁也应与原始水印b₀相同。

水印嵌入和提取的一般数学模型为：设I₀、I₁分别表示原始数据和嵌入水印后的数据，b₀为原始水印，则水印的嵌入过程可以表示为I₁＝I₀+f(I₀，b₀)，其中f(I₀，b₀)表示水印的嵌入算法。水印检测过程可以表示为：若假设H₀：b₁＝I₂-I₀＝N成立，则无水印；若假设H₁：b₁＝I₂-I₀＝b₀+N成立，则有水印，其中，N为噪声，例如由数据压缩、噪声污染以及对水印有意的攻击等引起。嵌有水印的数据经过处理后会产生一定的失真，因而从经过处理后的数据中检测到的水印可能会在一定程度上与原始水印有所差别。

水印的检测技术一般采用经典的信号检测(Signal Detection)技术实现，作为信号检测技术是研究如何判断噪声中是否存在目标信号，比如雷达回波信号中是否包含来自目标的反射信号等，如果存在，如何利用统计原理进行最优信号提取等。判断噪声中是否存在信号，采用统计假设检验的方法(Statistic Hypothesis Test/Validation)。在水印检测中，首先给出两个假设H₀和H₁，根据检验的结果知道哪个假设成立，从而知道是否存在水印。

目前基于数字水印对于多媒体(视频、图像)质量进行评估的方法都基于同一个原理。图2给出了基于数字水印的视频通信质量检测原理框图，其基本原理如下所述。

在原始图像中嵌入一个相对于原始图像很小的水印图像，这样加入的额外数据量相对于原始图像数据量微不足道，对多媒体质量影响很小。嵌入了水印后的原始图像经过传输信道失真后，再从中提取出水印图像，水印图像也随着发生了失真。水印是嵌入原始图像各处的，所以对于水印图像的质量检测就相当于是对于原始图像分布抽样后的检测。只要水印分布足够均匀，通过检测水印图像的质量就能够足以反映失真图像的质量。而原始水印图像在通信双方之间是共享的信息，接收端根据恢复的水印图像与已知的原始水印图像对比来衡量通信质量，那么对于水印的质量测评其实是一种有参考的测评。

图3给出了一个基于数字水印检测多媒体视频通信质量的例子。左侧为原始水印图像，是一幅黑白相间(便于确定错误位置)的二值图像，中间的是国际标准测试图像Lena图像在嵌入该水印并经过国际标准组织联合图像专家组(JPEG，Joint Photographic Experts Group)标准压缩和传输过程发生网络丢包导致失真后的图像，其中有三处明显的块状失真，右侧是从失真Lena图像中提取出的恢复水印，其中零散分布的黑点和白点是由于压缩本身造成的失真的，而大块的黑块和白块的位置对应于恢复Lena图像中三处明显的失真，则是由丢包等错误造成的。

在实际应用中，采用上述方案时，由于水印图像的嵌入必然导致多媒体视频数据真实性或视频质量的下降。理论上说，视频中嵌入的水印信息越多，水印信息越能更好地覆盖整幅图像，给出更多的样本，从而提取到的水印信息对原视频反映的完整性就越高，最终得出的视频质量测评也越准确。但另一方面，视频中嵌入水印信息越多也导致视频质量受到的影响越严重，这导致视频本身的质量反而降低。也就是说，对于基于数字水印进行视频质量评估方法中存在一对矛盾：嵌入水印信息越多，检测视频质量越准确，但嵌入水印对视频本身质量影响也越大。而现有技术中无法解决这对矛盾，因此无法在保证视频通信质量不受影响的前提下，准确地通过嵌入和提取水印来测算视频通信质量。

造成这种情况的主要原因在于，现有技术没有实现完全均匀地将水印信息嵌入到多媒体视频数据的各处，导致少量的水印信息无法完全反映多媒体视频通信质量，而水印信息量多了又无法保证多媒体视频数据不受影响。

发明内容

本发明的目的在于提供一种多媒体视频通信质量检测方法，属于客观质量测评，使得在保证多媒体视频数据本身质量不受明显影响的前提下，通过数字水印的嵌入和提取，客观反映多媒体视频通信质量。

根据本发明提供的一种多媒体视频通信质量检测方法，包括：

发送端将多媒体视频数据分组，每组包含的帧数相同，在同一组中等间隔地选取至少两帧作为嵌入帧；

将每个所述嵌入帧均匀划分成若干块，从中选取相同数量的块作为嵌入块；

在每个所述嵌入块中等量地嵌入所述原始水印数据，然后将嵌入原始水印数据的多媒体视频数据发送给接收端，以便接收端从接收到的多媒体视频数据中提取恢复水印，测算所述恢复水印相对于所述原始水印的失真程度。

更适宜地，所述发送端将所述原始水印均匀嵌入多媒体原始数据中，进行压缩编码、数据打包或者组帧，发送给所述接收端。

优选地，所述发送端将多媒体视频数据帧均匀分块，在部分块或所有块中等量地嵌入的所述原始水印的数据。

每一多媒体视频数据帧包含第0至M-1行共M行象素、第0至N-1列共N列象素，将多媒体视频数据帧均匀分块的方法包括步骤：

将每一多媒体视频数据帧先分为第0至m-1条共m条，第i(i＝0，1，..，m-2)条包含第i×k_v至(i+1)×k_v-1行象素，第m-1条包含第(m-1)×k_v至M-1行象素，其中m为大于或等于M/k_v的最小整数；如果m＝M/k_v，则第m-1条包含零行像素，所述k_v表示嵌入的垂直方向周期；

将第i(i＝0，1，..，m-1)条分为第i×n至(i+1)×n-1条共n块，第i×n+j(j＝0，1，..，n-2)块包含该条的第j×k_h至(j+1)×k_h-1列象素，第n-1块包含该条的第(n-1)×k_h至N-1列象素，其中n为大于或等于N/k_h的最小整数；如果n＝N/k_h，则第n-1条包含零列像素，所述k_h表示嵌入的水平方向周期；

在共得到的m×n块中，每块嵌入等量的所述原始水印的数据。

每帧多媒体视频数据均匀分为第0至L-1块共L块，所述嵌入原始水印的方法还包括步骤：

将帧序列分组，每组包含P×Q帧，依次为该组第0至P×Q-1帧；

选取每组第q×P(q＝0，..，Q-1)帧为所述嵌入帧；

在所述嵌入帧第q×P(q＝0，..，Q-1)帧中，选取该帧第q+r×Q(r＝0，..，R-1，且q+r×Q≤L)块作为所述嵌入块，其中R为小于或等于L/Q的最大整数；

在该组所有的嵌入块中嵌入等量的所述原始水印的数据。

更适宜地，根据所述数据块大小，确定在部分块或所有块中等量地嵌入的所述原始水印的数据比特位数。

在一所述多媒体视频数据块中嵌入1比特所述原始水印的数据的步骤包括：

设定嵌入强度为A＝2×Q_P-1，其中Q_P代表所述多媒体视频通信压缩编码的量化因子；

按象素计算该块多媒体视频数据的平均值μ；

按b′＝b+c修改该块多媒体视频数据中每个象素的值，其中b′为该象素修改后值，b为该象素修改前值，c为修改量；

所述修改量按下式计算：

当所述原始水印数据比特等于1时，

c = \{\begin{matrix} - A / 2 - γ & (0 \leq γ < A / 2) \\ 3 A / 2 - γ & (A / 2 \leq γ < 3 A / 2) \\ 3 A / 2 - γ & (3 A / 2 \leq γ < 2 A) \end{matrix}

当所述原始水印数据比特等于0时，

c = \{\begin{matrix} A / 2 - γ & (0 \leq γ < A / 2) \\ A / 2 - γ & (A / 2 \leq γ < 3 A / 2) \\ 5 A / 2 - γ & (3 A / 2 \leq γ < 2 A) \end{matrix}

其中γ是μ除以2A的余数。

在接收到的多媒体视频数据块中提取所述恢复水印的数据比特的步骤包括：

设定所述嵌入强度为A＝2×Q_P-1，其中Q_P代表所述多媒体通信压缩编码的量化因子；

按象素计算该块接收到的多媒体数据的平均值μ′；

按下式计算提取的所述恢复水印的数据w′：

w^{'} = \{\begin{matrix} 0 & (0 \leq γ^{'} < A) \\ 1 & (A \leq γ^{'} < 2 A) \end{matrix}

其中γ′是μ′除以2A的余数。

更适宜地，在提取所述恢复水印后，再对所述接收到的多媒体视频数据采用以下方式之一进行后处理，用于消除水印嵌入的影响：

平滑滤波、或中值滤波、神经网络滤波、数学形态学滤波或基于模糊数学方法的滤波。

该方法还包括：

所述发送端与所述接收端通过通信协商确定所述原始水印及嵌入所述原始水印和提取所述恢复水印的策略和相关参数。

由发送端确定所述原始水印及嵌入所述原始水印和提取所述恢复水印的策略和相关参数，并在通信开始前将其通知接收端。

对于彩色图像，所述原始水印可嵌入在所述多媒体原始数据的亮度分量中；

对于多通道图像，所述原始水印可嵌入在所述多通道图像原始数据的一个或者多个通道中。

所述原始水印为二值图像。

与现有技术相比较，本发明的技术方案将多媒体视频数据每帧均匀分块然后逐块嵌入水印数据来实现完全均匀的水印分布，从而提高水印反映多媒体视频通信质量的准确性；

而且，将多媒体视频数据多帧分组，并将水印均匀等间隔地嵌入到每组的部分帧中，来实现完全均匀的水印分布，同时能降低水印信息量，减少水印嵌入对多媒体视频数据的影响，保证多媒体视频通信质量且能准确检测多媒体视频通信；

另外，将水印信息直接均匀嵌入到多媒体原始数据或视频空间域中，使得水印能够完全等效于多媒体或视频直观质量反映，从而提高多媒体视频通信质量评估准确性；

通过在水印提取后对视频图像进行平滑滤波等后处理，来消除水印对多媒体视频数据质量的影响。

用恢复水印与原始水印对比的正确率来线性拟合多媒体视频数据的PSNR，作为多媒体视频通信质量的衡量标准，能够完全正确反映通信情况；

通过在水印提取后对视频图像进行平滑滤波、中值滤波、神经网络滤波、数学形态学滤波、或基于模糊数学方法的滤波等后处理来消除水印对多媒体视频数据或视频质量的影响。

本发明采用分块、分组均匀嵌入水印的方法，将水印完全均匀地嵌入到多媒体视频数据中，能尽量降低水印信息量，从而能够显著降低水印对多媒体视频数据本身质量的损伤，并且提高水印对多媒体视频通信质量反映的准确度；

本发明中，直接将水印嵌入在多媒体编码前原始数据或视频空间域中，能实现水印与多媒体直观质量的完全等效反映，提高多媒体视频通信质量检测精确度，同时还能够反映多媒体编码过程造成的质量损失程度；

本发明中，用拟合的PSNR作为质量检测指标，能尽量接近参考测评方法，提高多媒体视频通信客观质量测评的准确性；

本发明中，通过水印提取的平滑滤波后处理，能尽量降低水印对多媒体视频数据或视频本身质量的影响，保证视频通信质量；

采用上述本发明提供的措施能够保证视频通信质量不受损的前提下准确反映多媒体视频通信质量，在视频通信中可以提供快速实时的通信质量检测，帮助定位网络问题，定位其它系统问题；能帮助运营商实现实时显示业务质量，提高用户信赖度；能帮助制造商方便地实现自身视频通信类产品开发过程中的测试和验证，从而提高视频通信类产品的性能，促进视频通信业务的普及。

附图说明

图1是用于说明数字水印技术原理的示意图；

图2是基于数字水印的视频通信质量检测原理框图；

图3是嵌入水印的图像和水印恢复情况示意图；

图4是根据本发明的实施例的多媒体视频通信质量检测方法流程；

图5是根据本发明的实施例的帧均匀分块示意图；

图6(a)和(b)是根据本发明的第八实施例的实验结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如前所述，针对现有技术中的关于视频本身质量受损和精确反映视频通信质量的矛盾，本发明着眼解决的问题是提供一种基于数字水印的视频通信质量检测方法，能够很好平衡嵌入数字水印对视频质量的影响与反映视频质量的准确度，即能保证视频质量不受损，又能准确检测视频通信质量。

本发明的基本思路是：根据压缩视频的特点，采用基于分块和分组的水印嵌入算法实现完全均匀地嵌入到视频空间域中，并用水印恢复正确率来拟合PSNR，所谓拟合(fitting)是一种计算数学的数据处理方法，根据一系列离散的数据点，得出一条按照某种最优准则和这些离散数据点总的距离最小的曲线，来表示这些数据点。在本发明中，拟合是指用PRR数据来逼近PSNR曲线，目的是显示，两者非常接近，具有很高的相关性和一致性关系。从而提供适用于低码率压缩视频的质量评估指标。相对于现有技术，本发明能够显著减小嵌入数字水印对视频质量的影响。根据上面提到的质量测评分类，本发明方法属于部分参考模型方法。不需要知道原始的视频图像，而是利用经过传输信道失真前后的水印图像作为一种参考，间接反映原始图像的情况，从而衡量视频通信质量。

本发明基于数字水印的多媒体视频通信客观质量检测方法包含三个基本步骤：在发送端将原始水印均匀嵌入多媒体视频数据中，然后发送给接收端；在接收端从接收到的多媒体视频数据中通过嵌入水印流程的逆流程提取恢复水印；根据恢复水印相对于原始水印的失真程度衡量多媒体视频通信客观质量。

[本发明的第一实施例]

图4是根据本发明的的基于数字水印的多媒体视频通信客观质量检测方法流程图。下面详细描述每个步骤的原理、实现细节及实际效果。

在以下的描述中以视频通信质量评估为例，视频数据包含连续的帧序列，现有的视频一般都是采用基于块的DCT编码B-DCT(Block DCT)和运动补偿压缩算法，比如H.263，H.264，运动图像专家组MPEG(MovingPicture Expert Group)系列等。熟悉本领域的技术人员可以理解，本发明的方法可以适用于其它不同编码或压缩方案的视频通信及其它多媒体视频通信质量评估，完全可以同样地实现发明目的而不影响其实质和范围。

首先在步骤401中，确定用于视频质量评估的原始水印图像及相关算法或方案。基于数字水印的通信质量评估首先需要选取合适的水印。其实选取合适的数字水印，使其既能反映视频的质量，又尽量小地影响视频的质量，对视频通信质量评估影响很大。

[本发明的第二实施例]

本实施例中选用二值图像，这样可以尽量减少信息量，而且也比较适合于水印象素的隐藏。另外还采用黑白相间的图案就如图3所给出的水印图像，黑白相间即0、1相间，这样的图像所附带的信息量不大，但是其对误码检测的敏感性高、鲁棒性强。

[本发明的第三实施例]

水印图像对于通信双方来说是需要协商确定的，因此在本发明的第三实施例中，视频通信的发送端与接收端通过信令通信进行协商，以确定原始水印及嵌入水印和提取水印的具体方案。

在确定原始水印之后，根据发明原理就需要将水印均匀嵌入到视频图像中。对于B-DCT类的视频压缩编码标准，其量化编码过是运动预测实现的，即参考前面或者后面的帧进行预测并差值编码，而且编码都采用DCT变换，因此变换后的编码流数据不能完全等效与之前的直观视频图像。

[本发明的第四实施例]

本实施例中，将数字水印在DCT变换前嵌入到视频空间域的，即发送端将原始水印均匀嵌入多媒体原始数据中，再通过压缩编码，以及数据打包(对于分组交换网络)或者组帧(对于电路交换网络)，通过网络最后发送给接收端。

这样做一方面为了反映视频压缩对视频质量的影响；另一方面，压缩过的预测帧或反向预测帧中存在大量零宏块，若将水印嵌入在变换域中会显著降低编码效率，影响编码视频质量。因此，相对于在变换域嵌入水印，空间域的嵌入方法在上述两个方面有很大优点。

[优选的第五实施例]

另外根据视觉心理学原理，相对于色度值，人眼对图像亮度值的轻微改变不敏感，为了达到尽量减少水印嵌入对视频本身质量的损伤，本实施例中，对于彩色图像，将原始水印嵌入在多媒体原始数据的亮度分量中，即把水印信号嵌入到视频图像序列的亮度(Y分量)分量中。

此外，对于多通道图像(比如多通道遥感图像)，可以把原始水印嵌入在多通道图像原始数据的一个或者多个通道中。

在本发明第一实施例的步骤402中，发送端将每帧图像均匀分块，在部分块或所有块中嵌入等量的原始水印数据。

设每帧图像包含第0至M-1行共M行象素、第0至N-1列共N列象素，将每帧按如下方案均匀分块：

将每帧先分为第0至m-1条共m条，第i(i＝0，1，..，m-2)条包含第i×k_v至(i+1)×k_v-1行象素，第m-1条包含第(m-1)×k_v至M-1行象素，其中m为大于或等于M/k_v的最小整数；

将第i(i＝0，1，..，m-1)条分为第i×n至(i+1)×n-1条共n块，第i×n+j(j＝0，1，..，n-2)块包含该条的第j×k_h至(j+1)×k_h-1列象素，第n-1块包含该条的第(n-1)×k_h至N-1行象素，其中n为大于或等于N/k_h的最小整数；

在共得到的m×n块中，每块嵌入等量的所述原始水印的数据。

具体细节如图5所示，设待压缩视频中图像的大小为M×N，则水印图像大小为这里

表示向上取整，于是原始图像中每个大小为k_v×k_h像素的块中嵌入一个水印像素，以便进行错误定位并降低水印对图像质量的影响。k_v表示嵌入的垂直方向周期，k_h表示嵌入的水平方向周期。

一般情况下M或N不能被k_v或k_h整除，它们的余数分别为r_v、r_h。那么，在最复杂情况下两个都不能整除，那么在图像左上部分，右边沿、下边沿和右下角分别存在4类区域，在图5中分别标记为1，2，3，4。区域1中的块大小都是k_v×k_h像素，区域2中的块大小都是k_v×r_h像素，区域3中的块大小都是r_v×k_h像素，区域4中仅有的一块大小是r_v×r_h像素。

除了区域1一定存在外，其它区域可能存在也可能不存在，取决于整除情况。如果行数M可以被k_v整除，则区域3和4都将没有，同样如果列数N可以被k_h整除，则区域2和4都将没有。

这样的分块方法实现了在每帧内尽量均匀的处理分布嵌入水印的目的，但是对于不同的帧及如何处理多帧共同嵌入水印还需要进一步采取分组嵌入的方法。特别是在某些情况下，比如通信带宽非常低，或者选择的水印图像比较大，就需要进一步降低每帧图像嵌入水印数据的量，也就需要采取多帧共同分担一幅水印。

于是在步骤403中，发送端将视频帧序列分组，每组包含的帧数相同，在同一组中等间隔选取至少两帧作为嵌入帧，每个嵌入帧中再选取相同数量的块作为嵌入块，再每个嵌入块中嵌入等量的原始水印的数据。

为了避免由于在每一帧待压缩编码图像中嵌入一幅完整的水印图像，而对该帧图像的质量及其码流速率产生较大的影响，可以将一幅数字水印图像均匀的分配到不同帧中，在视频序列中每帧图像嵌入一部分水印，或者每隔一帧图像嵌入一个子块等等，并将这一组连续图像作为一个嵌入周期。将水印中的每个像素点均匀地分散嵌入到图像中的不同位置，并且同一嵌入周期内不同图像的水印嵌入位置也不同。为了便于在解码端提取嵌入的水印，每个嵌入周期内每幅图像嵌入水印的位置是固定的。

设每帧均匀分为第0至L-1块共L块，可以是把图像水平或者垂直均匀地分成L长条，与可以也可以按照其他方式均匀分，例如按步骤403的分块方案L＝M×N，嵌入所述原始水印的方法还包含以下步骤：

将帧序列分组，每组包含P×Q帧，依次为该组第0至P×Q-1帧；

选取每组第q×P(q＝0，..，Q-1)帧为所述嵌入帧；

在嵌入帧第q×P(q＝0，..，Q-1)帧中，选取该帧第q+r×Q(r＝0，..，R-1，且q+r×r×Q≤L)块作为嵌入块，其中R为小于或等于L/Q的最大整数；

在该组所有的嵌入块中嵌入等量的所述原始水印的数据。

以间隔嵌入为例，即P＝2，具体细节如下所描述。每组包含2Q帧，则

先将水印分成大小相等的Q块，每块对应一个嵌入帧。把该组图像第0，2，4，6，8，......，2Q-2帧分块，把块按照从上到下，从左到右的顺序依次编号成0，1，2，3，...，L-1。

该组第0帧图像，第0，Q，...，R×Q块作为嵌入块；

该组第2帧图像，在第1，Q+1，...，R×Q+1块作为嵌入；依此类推......

直到该组第2Q-2帧图像，在第Q-1，2Q-1，...，(R+1)×Q-1块作为嵌入块。

注意到上述块编号在后来有可能超过L，因此需要将这部分编号的嵌入块取消掉。对于周期中的第1，3，...，2Q-1帧图像不做任何处理。

然后在步骤404中，对每个嵌入块嵌入一个比特的水印信息。每块如何嵌入一个水印象素也是影响本发明算法性能的关键因素。

[本发明的第六实施例]

在本施例中，在一块所述多媒体视频数据中嵌入1比特所述原始水印的数据的方法包含以下步骤，

设定嵌入强度为A＝2×Q_P-1，其中Q_P代表视频通信压缩编码的量化因子；

按象素计算该块视频数据亮度的平均值μ；

按b′＝b+c修改该块数据中每个象素的亮度值，其中b′为该象素修改后值，b为该象素修改前值，c为修改量；

修改量按下式计算：

当所述1比特原始水印数据w＝1时，

c = \{\begin{matrix} - A / 2 - γ & (0 \leq γ < A / 2) \\ 3 A / 2 - γ & (A / 2 \leq γ < 3 A / 2) \\ 3 A / 2 - γ & (3 A / 2 \leq γ < 2 A) \end{matrix}

当所述1比特原始水印数据w＝0时，

c = \{\begin{matrix} A / 2 - γ & (0 \leq γ < A / 2) \\ A / 2 - γ & (A / 2 \leq γ < 3 A / 2) \\ 5 A / 2 - γ & (3 A / 2 \leq γ < 2 A) \end{matrix}

其中γ是μ除以2A的余数。

在步骤405中，在接收端按照水印嵌入流程的逆流程从接收到的视频数据中提取恢复水印。水印的提取与水印的嵌入是对应的，刚好是上面三个步骤的逆过程，提取的时候首先进行分组确定嵌入帧，然后每个嵌入帧中确定其嵌入块，然后在每个块中提取水印信息。关于如何确定嵌入帧并进一步确定嵌入块，本文不再赘述。下面给出从一个嵌入块中如何提取水印的方法。

[本发明的第七实施例]

本施例中，基于第六实施例的水印嵌入算法，在一块所述接收到的视频数据中提取1比特恢复水印的数据的方法如下，

按象素计算该块接收到的多媒体视频数据的平均值μ′；

按下式计算提取的所述恢复水印的数据w′：

w^{'} = \{\begin{matrix} 0 & (0 \leq γ^{'} < A) \\ 1 & (A \leq γ^{'} < 2 A) \end{matrix}

其中γ′是μ′除以2A的余数。

对于一个组里面所有嵌入帧中所有嵌入块，恢复水印比特信息即可恢复出一帧完整的水印图像。

最后步骤406中，在接收端用恢复水印相对于原始水印的象素恢复率来估计峰值信噪比PSNR，以衡量多媒体视频通信的客观质量。

为了利用水印评估视频质量，定义水印像素恢复率为PRR(PixelRecovery Rate)。PRR是把失真的水印与原始水印比较，得到在失真后仍然保持正确的水印像素数占水印总像素数的比例。即

PRR＝100*(失真水印中正确的像素数/水印图像像素总数)％

视频的压缩以及传输时产生的误码都会影响PRR值。实验表明，虽然恢复水印的PRR和所要评估的视频质量的PSNR不完全一致，但两者间有一种固定的，甚至是近似为线性的关系。这说明，本发明方法对于失真视频质量测评结果和PSNR之间存在很强的关联关系，因此通过建立PRR和PSNR的关系，在没有参考视频而无法得到PSNR的情况下，根据PRR来估计失真视频的PSNR，达到评估解码恢复视频质量的目的。

[本发明的第八实施例]

本实施例在第一实施例的基础上，根据多媒体视频通信实验的统计数据，按照均方误差准则MSE(Mean Square Error)，用PRR的线性函数来拟合得到PSNR的估计值，以衡量多媒体视频通信的客观质量。

根据上文提出的嵌入算法，在标准测试序列Claire(QCIF格式)中嵌入水印信息，然后按照视频压缩标准H.263对嵌入水印后的视频序列进行压缩，压缩视频流经过信道“传输”后进入解码器进行视频解码。最后，从解码视频中提取嵌入的数字水印，计算PRR。简单起见，我们采用二进制对称信道BSC(Binary Symmetric Channel)来模拟信道，噪声为均匀分布的随机噪声，信道平均误码率为10-5。图6中第一幅图给出了恢复视频相对于原始视频的峰值信噪比PSNR和水印的像素恢复率PRR。可以看到PSNR和PRR有较好的一致性。

为了衡量PSNR和PRR两曲线的相似程度，计算图中两者规一化后的相关系数ρ

ρ = Cov (X, Y) / \sqrt{D (X)} \sqrt{D (Y)}

式中，X、Y分别表示PSNR和PRR，Cov(X，Y)为X、Y的协方差，D(X)、D(Y)分别为X、Y的方差。

根据实验得到的数据，计算得出ρ为98.3％。可见，PRR曲线和PSNR曲线有着很强的相关性。因为PRR和PSNR间有着较强的相关性，所以可以利用PRR映射表示PSNR，即采用一阶函数

PSNR′＝a₀+a₁×PRR

来拟合实际的PSNR。根据均方误差(MSE)准则，利用图中数据，在均方误差

MSE = \frac{1}{N} \underset{n}{Σ} {({PSNR}_{n} - {PSNR}_{n}^{'})}^{2}

取最小值时，求得a₀和a₁分别为-16.9079和0.5632。将其戴入计算出PSNR的估计PSNR′，如图6(a)所示。比较PSNR′和PSNR，得到它们的均方误差MSE为0.735。可以看到，PSNR′很好的拟合了PSNR。

为了进一步验证PSNR′作为PSNR估计的准确性，改变信道误码率条件为1.5×10-5，获得的恢复视频的峰值信噪比PSNR和通过PRR映射得到的估计值PSNR′如图6(b)所示。计算得到两组数据的相关系数ρ为98.6％，均方误差MSE仅为0.696。可见，PSNR′很好的拟合了PSNR。

[本发明的第九实施例]

在本施例中，为了进一步消除水印嵌入对视频质量的损失，在提取恢复水印后，再对接收到的视频图像进行后处理，以消除水印嵌入的影响。后处理的方式可以是平滑滤波、或中值滤波、神经网络滤波、数学形态学滤波或基于模糊数学方法的滤波。

由于水印是基于块嵌入的，如果嵌入强度过大，就会产生人为的方块效应，造成图像质量下降；如果嵌入强度过小，就难以抵御视频压缩的影响，造成恢复水印的PRR过低。因而本发明选择了自适应的水印嵌入方法，并且解码端在水印恢复后，对嵌入水印的图像块进行平滑滤波。实验表明，这样可以有效地减弱水印对视频主观质量的影响。

[本发明的第十实施例]

本实施例中，通过实验对本发明的基于数字水印检测多媒体视频通信质量的方法进行了性能评定，结果如表1和表2所示。

表1和表2分别给出了不同的比特率和量化因子情况下，采用本发明方法加入水印后对编码视频质量和比特率带来的影响。可以发现本发明方法对于多媒体视频数据本身质量的影响非常小。

表1比特率相同条件下，加入水印对编码视频质量的影响(帧速率为30帧每秒)

比特率(bps)	20K	50K	80K
比特率(bps)	20K	50K	80K	嵌入前PSNR(dB)	37.60	41.51	43.87
嵌入后PSNR(dB)	37.44	41.42	43.80	嵌入前PSNR(dB)	37.60	41.51	43.87

表2量化因子相同条件下，加入水印对原始视频质量和比特率的影响

本领域的普通技术人员可以理解，本发明的技术方案也可以和有参考的质量检测方法结合使用，通过信息融合等方式，以达到更佳效果。

虽然通过参照本发明的某些优选实施例，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims

1.一种多媒体视频通信质量检测方法，其特征在于，包括：

2.根据权利要求1所述多媒体视频通信质量检测方法，其特征在于，进一步包括：

所述发送端将所述原始水印均匀嵌入多媒体原始数据中，进行压缩编码、数据打包或者组帧，发送给所述接收端。

3.根据权利要求1所述多媒体视频通信质量检测方法，其特征在于，进一步包括：所述发送端将多媒体视频数据帧均匀分块，在部分块或所有块中等量地嵌入的所述原始水印的数据。

4.根据权利要求3所述的多媒体视频通信质量检测方法，其特征在于，每一多媒体视频数据帧包含第0至M-1行共M行象素、第0至N-1列共N列象素，将多媒体视频数据帧均匀分块的方法包括步骤：

在共得到的m×n块中，每块嵌入等量的所述原始水印的数据。

5.根据权利要求1所述的多媒体视频通信质量检测方法，其特征在于，每帧多媒体视频数据均匀分为第0至L-1块共L块，所述嵌入原始水印的方法还包括步骤：

将帧序列分组，每组包含P×Q帧，依次为该组第0至P×Q-1帧；

选取每组第q×P(q＝0，..，Q-1)帧为所述嵌入帧；

在该组所有的嵌入块中嵌入等量的所述原始水印的数据。

6.根据权利要求3所述的多媒体视频通信质量检测方法，其特征在于，根据所述数据块大小，确定在部分块或所有块中等量地嵌入的所述原始水印的数据比特位数。

7.根据权利要求6所述的多媒体视频通信质量检测方法，其特征在于，在所述多媒体视频数据块中嵌入1比特所述原始水印的数据的步骤包括：

按象素计算该块多媒体视频数据的平均值μ；

所述修改量按下式计算：

当所述原始水印数据比特等于1时，

c = \begin{matrix}  \end{matrix} \{\begin{matrix} - A / 2 - γ & (0 \leq γ < A / 2) \\ 3 A / 2 - γ & (A / 2 \leq γ < 3 A / 2) \\ 3 A / 2 - γ & (3 A / 2 \leq γ < 2 A) \end{matrix}

当所述原始水印数据比特等于0时，

c = \begin{matrix}  \end{matrix} \{\begin{matrix} A / 2 - γ & (0 \leq γ < A / 2) \\ A / 2 - γ & (A / 2 \leq γ < 3 A / 2) \\ 5 A / 2 - γ & (3 A / 2 \leq γ < 2 A) \end{matrix}

其中γ是μ除以2A的余数。

8.根据权利要求6所述的多媒体视频通信质量检测方法，其特征在于，在接收到的多媒体视频数据块中提取所述恢复水印的数据比特的步骤包括：

按象素计算该块接收到的多媒体数据的平均值μ′；

按下式计算提取的所述恢复水印的数据w′：

w^{'} = \{\begin{matrix} 0 & (0 \leq γ^{'} < A) \\ 1 & (A \leq γ^{'} < 2 A) \end{matrix}

其中γ′是μ′除以2A的余数。

9.根据权利要求1所述多媒体视频通信质量检测方法，其特征在于，进一步包括：

在提取所述恢复水印后，再对所述接收到的多媒体视频数据采用以下方式之一进行后处理，用于消除水印嵌入的影响：

10.根据权利要求1所述多媒体视频通信质量检测方法，其特征在于，还包括：

11.根据权利要求1所述多媒体视频通信质量检测方法，其特征在于，由发送端确定所述原始水印及嵌入所述原始水印和提取所述恢复水印的策略和相关参数，并在通信开始前将其通知接收端。

12.根据权利要求2所述多媒体视频通信质量检测方法，其特征在于，对于彩色图像，所述原始水印可嵌入在所述多媒体原始数据的亮度分量中；

13.根据权利要求1、2、5、8-12中任一项所述多媒体视频通信质量检测方法，其特征在于，所述原始水印为二值图像。