CN106961607B

CN106961607B - 基于jnd的时间域重叠变换多描述编码、解码的方法及系统

Info

Publication number: CN106961607B
Application number: CN201710192949.XA
Authority: CN
Inventors: 孟丽丽; 宗京秀; 张佳; 万文博; 季辉; 王春静; 孙建德
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2017-03-28
Filing date: 2017-03-28
Publication date: 2019-05-28
Anticipated expiration: 2037-03-28
Also published as: CN106961607A

Abstract

本发明涉及一种基于JND的时间域重叠变换多描述编码和多描述解码的方法及系统，其中多描述编码方法包括获取图像信息，将图像信息分为两个子集，分别作为第一子集和第二子集，同时生成第一描述和第二描述，所述两个描述均同时包括第一子集和第二子集；对第一描述，基于多描述方法，采用第一子集预测第二子集，并根据第一子集与第二子集的预测值进行熵编码，输出第一多描述码流；对第二描述，基于多描述方法，采用第二子集预测第一子集，并根据第二子集与第一子集的预测值进行熵编码，输出第二多描述码流；所述多描述方法包括依次对所述两个子集进行基于时间域的重叠变换、DCT变换、基于JND的阈值滤波和量化处理。

Description

基于JND的时间域重叠变换多描述编码、解码的方法及系统

技术领域

本发明涉及通信技术领域，具体是一种基于JND的时间域重叠变换多描述编码、解码的方法及系统。

背景技术

互联网和无线通信网络均为不可靠传输信道：一方面是因为互联网具有很强的异构性，用户可以随时随地通过有线或者无线的方式连入网络，而不同的用户在CPU的运算能力以及外设性能上都存在很大差异，用户接入互联网通过的子网在物理介质，带宽资源和传输延时方面也都千差万别，甚至同一用户在不同时间段的网络传输状况也不尽相同。互联网的异构性以及多用户共享信道的特点，决定了它Best-effort的服务方式。因此，互联网的传输不能确保数据接收的可靠性，也就是说数据包会由于各种各样的信道问题而产生分组丢失以及传输延时等。而另一方面，无线信道具有的高误码率，多径干扰，衰落等性质决定了无线传输的环境比互联网更加恶劣，可能造成传输图像整图丢失或者视频整帧丢失，从而导致传输信道完全失效。因此，这也成为了实时图像和视频传输技术发展的一个瓶颈。因此，对图像视频设计高效的压缩以及具有鲁棒性能的编码方案，也就是图像视频的差错控制技术(ErrorControl)，是一项非常有意义和实用性的研究课题，即为信源编码端的差错控制技术中的多描述编码技术。

多描述编码的出现最初是为了解决实际问题的需要，而后研究者们对其进行了相应地理论分析和创新，最后又返回到实际应用。最早，20世纪70年代，为了在电话网上提供不间断的电话业务，将来自一个通话的信号进行奇偶采样点分离形成两路信号，并在两个分离的信道上传输，当时该问题被Bell实验室称为信道分离(ChalmelSPhtting)问题。1979年9月的Shannon理论研讨会上，Gersho、Ozarow、Witsenhausen、Wolf、Wyner和Ziv等人正式提出多描述问题。经过一段时期的理论研究后，VaishamPayan等提出了第一个实用的多描述编码方案(MDSQ，Multiple Deseription Scalar Quantization)。后来许多新颖的实用型多描述编码方法出现：如基于采样的多描述编码、基于量化的多描述编码、基于相关变换的多描述编码和基于非平等保护的多描述编码方案。国内的许多学者也对多描述编码方案进行了深入地研究。

多描述编码主要应用在信道条件比较恶劣的环境中。多描述编码作为一种能在易错信道上提高传输鲁棒性的技术，吸引了越来越多的学者研究。可以假设在信源和信宿之间存在着很多信道，不可能所有信道同时在一个视频帧出错，多描述编码是在这个假设的基础上提出来的。在编码端信源产生多个比特流(称之为描述)，每个比特流具有同样的优先级，在多个相互独立的信道上进行传输。在解码端，每一个描述都能被独立解码，重建用户可接受质量的视频序列；随着接收到描述数量的增加，重建视频序列质量也随之提高。如果有一部分描述在信道中丢失，这种情况下接收端无需等待丢失描述的重新传输，而可以根据接收到的描述与丢失描述之间的相关性，来估计出丢失的那部分描述，这样就避免了重传所造成的延时，保证了信息传输的实时性。此外，接受到的描述数量越多，重建图像质量越好，信息传输的可靠性越高。

然而以往的图像编码算法都是从客观的角度考虑如何提高编码效率和图像质量，并没有考虑过人眼视觉特性这种主观标准的影响，这是不可取的，毕竟大多数情况下人眼是图像的最终接收者，因此我们可以并且非常有必要利用人类视觉特性来优化编码算法。视觉系统是人类从7亿年前的水母身上继承而来，有了它，人类才能感知到光和五彩缤纷的色彩，才能更好的与外界交互。这个视觉系统被称为人类视觉系统。从古至今，人类从心理学和生理学的角度对人类视觉系统做了非常多的研究。人眼可以在很短的时间内分辨出图像中的关键信息，忽略其中的次要信息。

JND(Just noticeable difference)模型是通过探索各类视觉特征来建立感知误差的阈值，区分人们能够感知到的和不能感知到的信号，进而去除视觉感知冗余。当图像变化值低于阈值时，人眼将不会感知到这个变化。

发明内容

针对现有技术中存在的不足，本发明提出了一种基于JND的时间域重叠变换多描述编码和解码的方法，能对编码资源进行更好的分配，使编码图像更加符合人眼的主观视觉感受，从而在保证解决丢包问题的前提下提高编码效率。

本发明采用下面的技术方案：

一种基于JND的时间域重叠变换多描述编码方法，包括：

获取图像信息，将图像信息分为两个子集，分别作为第一子集和第二子集，同时生成第一描述和第二描述，所述两个描述均同时包括第一子集和第二子集；

对第一描述，基于多描述方法，采用第一子集预测第二子集，并根据第一子集与第二子集的预测值进行熵编码，输出第一多描述码流；

对第二描述，基于多描述方法，采用第二子集预测第一子集，并根据第二子集与第一子集的预测值进行熵编码，输出第二多描述码流；

所述多描述方法包括依次对所述两个子集进行基于时间域的重叠变换、DCT变换、基于JND的阈值滤波和量化处理。

进一步的，所述DCT变换为二维DCT：

其中

进一步的，所述基于JND的阈值滤波模型包括空间对比敏感度函数、亮度自适应函数和纹理掩盖效应模型三者的乘积：

T_JND＝T_Basic×F_lum×F_contrast

①空间CSF特性模型T_Basic的得出：

首先，计算DCT归一化系数φ_m：

其次，计算位置(i,j)处的DCT子带系数相应的空间频率w_i,j：

其中R取值在3-6之间，P为一幅图像的高(单位为像素)。

然后，计算DCT系数的方向角

最后，计算空间CSF特性模型：

空间CSF特性模型体现了索引号为(i,j)的DCT系数基本的JND阈值，其计算公式为：

其中，s表示集合效应，取值为0.25；代表人眼倾斜效应，r取经验值0.6；a,b,c分别取值1.33，0.11，0.18；i,j＝1:N。

②背景亮度自适应加权因子F_lum计算公式为：

其中为局部区域的平均亮度，其可以由计算而来，DC为DCT直流系数，N为块大小。

③纹理掩盖效应加权因子F_contrast

在计算该因子时，首先对图像分块并将块分类，将块分成三类：平滑区、边缘区和纹理区。对一个图像块，如果包含较少的边缘像素，则可认为是平滑块。另一方面，如果包含较多的边缘像素，意味着图像块中含有较高的能量，则被认为是纹理块，这里用Canny算子对图像块分类，其计算公式为：

其中∑_edgel代表由Canny算子计算而来的某块中所有边缘像素之和，N代表块大小，

其中对不同的区域进行加权，平滑区域边缘区的加权ψ＝1；由于人眼对纹理区域低频系数的敏感相对较小，因此加权系数ψ＝2.25，而高频系数的加权ψ＝1.25。

进一步的，输出第一多描述码流的方法包括：对第一描述，采用基于时间域的重叠变换对第一子集、第二子集分别进行前向滤波，对第一子集的前向滤波值依次进行DCT变换、基于JND的阈值滤波和量化处理，根据第一子集的DCT重建系数预测第二子集的前向滤波值，对第二子集的前向滤波预测冗余依次进行DCT变换和量化处理，对所述第一子集的量化值和第二子集前向滤波预测冗余的量化值进行熵编码，输出第一多描述码流。

所述第二子集的前向滤波预测冗余为根据于时间域的重叠变换得到的第二子集前向滤波值，与第二子集的预测前向滤波值之间的冗余。

进一步的，输出第二多描述码流的方法包括：对第二描述，采用基于时间域的重叠变换对第一子集、第二子集分别进行前向滤波，对第二子集的前向滤波值依次进行DCT变换、基于JND的阈值滤波和量化处理，根据第二子集的DCT重建系数预测第一子集的前向滤波值，对第一子集的前向滤波预测冗余依次进行DCT变换和量化处理，对所述第二子集的量化值和第一子集前向滤波预测冗余的量化值进行熵编码，输出第二多描述码流。

所述第一子集的前向滤波预测冗余为根据于时间域的重叠变换得到的第一子集前向滤波值，与第一子集的预测前向滤波值之间的冗余。

进一步的，所述前向滤波采用前向滤波器P：P＝W diag{I，V}W，其中I是的单位矩阵，V是的可逆矩阵，W是蝶形矩阵：

其中J是的反单位矩阵。

进一步的，在第一描述中的量化处理阶段，第一子集的量化步长小于第二子集前向滤波预测冗余的量化步长；在第二描述中的量化处理阶段，第二子集的量化步长大于第一子集前向滤波预测冗余的量化步长。

进一步的，根据空间对比敏感度函数、亮度自适应函数和纹理掩盖效应模型三者的乘积，进行所述基于JND的阈值滤波处理。

本发明还提供了一种基于JND的时间域重叠变换多描述解、编码方法，包括：

接收所述第一多描述码流并进行熵解码，基于多描述反变换方法，输出第一重构的图像信息；

接收所述第二多描述码流并进行熵解码，基于多描述反变换方法，输出第二重构的图像信息；

所述多描述反变换方法包括依次对所述两个子集进行反量化处理、IDCT变换和基于时间域的反重叠变换。

进一步的，所述IDCT变换计算如下：

其中

进一步的，所述输出第一重构的图像信息的方法包括：根据第一多描述码流的熵解码结果，分别对第一子集、第二子集的前向滤波预测冗余进行反量化、IDCT变换，根据第一子集的IDCT变换值预测第二子集的IDCT变换值，并将该预测值与所述第二子集的前向滤波预测冗余的IDCT变换结果相加，得到第二子集的DCT系数重建值；将所述第一子集的IDCT变换值和第二子集的DCT系数重建值进行基于时间域重叠变换的后向滤波处理，输出第一重构的图像信息。

进一步的，所述输出第二重构的图像信息的方法包括：根据第二多描述码流的熵解码结果，分别对第二子集、第一子集的前向滤波预测冗余进行反量化、IDCT变换，根据第二子集的IDCT变换值预测第一子集的IDCT变换值，并将该预测值与所述第一子集的前向滤波预测冗余的IDCT变换结果相加，得到第一子集的DCT系数重建值；将所述第二子集的IDCT变换值和第一子集的DCT系数重建值进行基于时间域重叠变换的后向滤波处理，输出第二重构的图像信息。

进一步的，所述后向滤波采用后向滤波器T：T＝P^-1＝W diag{I，V^-1}W。其中I是的单位矩阵，V是的可逆矩阵，W是蝶形矩阵：

其中J是的反单位矩阵。

进一步的，在第一描述中的反量化处理阶段，第一子集的反量化步长小于第二子集预测冗余的反量化步长；在第二描述中的反量化处理阶段，第二子集的反量化步长大于第一子集预测冗余的反量化步长。

本发明还提供了一种基于JND的时间域重叠变换多描述编、解码的系统，包括：

编码器，获取图像信息，将图像信息分为两个子集，分别作为第一子集和第二子集，同时生成第一描述和第二描述，所述两个描述均同时包括第一子集和第二子集；基于多描述方法，对第一描述采用第一子集预测第二子集，并根据第一子集与第二子集的预测值进行熵编码，输出第一多描述码流；对第二描述，采用第二子集预测第一子集，并根据第二子集与第一子集的预测值进行熵编码，输出第二多描述码流；

传输网络，用于对所述多描述码流进行传输；

解码器，接收所述第一多描述码流和第二描述码流并进行熵解码，基于多描述反变换方法，输出第一重构的图像信息和第二重构的图像信息；

本发明的有益效果：本发明能够在保证解决图像传输丢包问题的基础上提高编码效率，采用可基于时间域的重叠变换，能够根据不同的应用来优化前向滤波器和后向滤波器，去除了方块效应，基于JND的模型，增加了DCT系数的稀疏性，从而提高了编码效率。

附图说明

图1为本发明的方法原理图；

图2为本发明基于时间域的重叠变换基本框图；

图3为一实施例的DCT变换图像；

图4为本发明两描述的预测框图；

具体实施方式：

下面结合附图与实施例对本发明作进一步说明：

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明的一种典型实施例是一种基于JND的时间域重叠变换多描述编码方法，包括：

如图1所示，获取图像信息，将图像信息分为两个子集(S0、S1)，同时生成描述0和描述1，两个描述均同时包括子集S0和子集S1；

本实施例中首先对其中一个描述(假设描述0)的技术方案进行清楚、完整地介绍。

步骤一：读取图像并将图像划分为两个子集(S0、S1)

步骤二：对子集S0和子集S1进行基于时间域的重叠变换，即前向滤波(P)，去除方块效应；

步骤三：前向滤波之后进行DCT变换，从而使图像能量在空间域的分散分布转换为变换域的相对集中分布；

步骤四：对其中一个子集(S0)进行JND预处理。

步骤五：对该子集(S0)以较小的量化(q0)步长进行量化(Q)；

步骤六：以该子集(S0)的DCT系数重建值预测另一个子集(S1)的前向滤波值，并对预测冗余进行DCT变换、量化，对预测冗余进行的量化步长(q1)取较大值；

步骤七：熵编码，输出描述0的多描述码流。

对描述1的处理同上，不一样的地方在于，从步骤4开始，是对其中一个子集(S1)进行JND预处理；然后对该子集(S1)以较小的量化(q0)步长进行量化(Q)；以该子集(S1)的DCT系数重建值预测另一个子集(S0)的前向滤波值，并对预测冗余进行DCT变换、量化，对预测冗余进行的量化步长(q1)取较大值；最后再进行熵编码，输出描述1的多描述码流。

本发明的再一实施例是一种基于JND的时间域重叠变换多描述解码方法，在上述实施例的基础上，

步骤八：对描述0的多描述码流进行熵解码，

步骤九：根据描述0的熵解码结果，分别对子集S0、子集S1的前向滤波预测冗余进行反量化(IQ)；

步骤十：反DCT变换(IDCT)；

步骤十一：根据子集S0的IDCT变换值预测子集S1的IDCT变换值，并将该预测值与所述子集S1的前向滤波预测冗余的IDCT变换结果相加，得到子集S1的DCT系数重建值；将所述子集S0的IDCT变换值和子集S1的DCT系数重建值进行基于时间域重叠变换的后向滤波处理，输出描述1的图像信息。

对描述1的处理同上，不一样的地方在于，从步骤十一开始，根据子集S1的IDCT变换值预测子集S0的IDCT变换值，并将该预测值与所述子集S0的前向滤波预测冗余的IDCT变换结果相加，得到子集S0的DCT系数重建值；将所述子集S1的IDCT变换值和子集S0的DCT系数重建值进行基于时间域重叠变换的后向滤波处理，输出描述1的图像信息。

其中基于时间域的重叠变换如图2所示，其优点是能够根据不同的应用来优化前向滤波器(步骤二)和后向滤波器(步骤十一)。在编码端，DCT变换和前向滤波器应用在边界，边界处首先利用一个L×L的前向预滤波器P，然后每一块利用L点的DCT。TDLT的基本函数包含两块，并且相邻块的连接处重叠为一块。在解码端，DCT反变换和后向滤波器T被应用到块边界。P和T为：P＝W diag{I，V}W T＝P^-1＝W diag{I，V^-1}W。其中I是的单位矩阵，V是的可逆矩阵，W是蝶形矩阵：

其中J是的反单位矩阵。

DCT变换，也就是离散余弦变换具体是与傅里叶变换相关的一种变换，其可使图像能量在空间域的分散分布转换为变换域的相对集中分布，以达到去除空间冗余的目的。

图像、视频编码主要使用二维DCT：

其中

本实施例中将任意8×8像素块表示为图3所示的64个基图像的加权和，其权值即为对应位置的DCT系数。

IDCT逆变换(IDCT)计算如下：

本实施例中采用JND模型对测试图像(Lena Boat Peppers Couple GoldhillBaboon)的DCT系数进行滤波处理，对低于JND阈值的DCT系数置零处理；该JND模型是空间对比敏感度函数、亮度自适应函数和纹理掩盖效应模型三者的乘积：

T_JND＝T_Basic×F_lum×F_contrast (4)

①空间CSF特性模型T_Basic

首先，计算DCT归一化系数φ_m：

其次，计算位置(i,j)处的DCT子带系数相应的空间频率w_i,j：

其中R通常取值在3-6之间，P为一幅图像的高(单位为像素)，另外在计算完(8)时，要将弧度转换为角度。

然后，计算DCT系数的方向角

最后，计算空间CSF特性模型：

②背景亮度自适应加权因子F_lum

人类神经系统对信号的敏感程度和背景信号的强度成反比，背景信号的强度越大，人类的敏感度就越低，区分能力就越小，其计算公式为：

③纹理掩盖效应加权因子F_contrast

ρ_edgel＝∑_edgel/N² (11)

其中∑_edgel代表由Canny算子计算而来的某块中所有边缘像素之和，N代表块大小，根据(12)可将块分类方法写为(13)式：

训练大量图像，当α取0.1，β取0.2时，结果最好。

其次，在块分类结束后，计算纹理掩盖效应加权因子，其计算方法为：

表1是采用JND模型对6幅测试图像(Lena Boat Peppers Couple GoldhillBaboon)的DCT系数进行滤波处理的结果，如表1可以看出，经过JND处理后的系数出现很多的零，信号变得更稀疏了。这也表明在不影响主观质量的基础下，增加了DCT系数的稀疏性；

表1

本实施例中的预测部分如图4所示。在描述0中，子集S0以较小的量化步长量化，其反量化反DCT值用来预测子集S1，然后对子集S1的预测冗余进行DCT与量化处理，此时的量化步长取较大值。在描述1中，子集S1以较小的量化步长量化，其反量化反DCT值用来预测子集S0，然后对子集S0的预测冗余进行DCT与量化处理，此时的量化步长取较大值。预测部分用反DCT值进行预测，也就是说，此处的预测部分是在像素域进行的。

本发明的另一种实施例是一种基于JND的时间域重叠变换多描述编、解码的系统，在上述实施例的基础上包括：

编码器，获取图像信息，将图像信息分为两个子集，分别作为子集S0和子集S1，同时生成描述0和描述1，所述两个描述均同时包括子集S0和子集S1；基于多描述方法，对描述0采用子集S0预测子集S1，并根据子集S0与子集S1的预测值进行熵编码，输出描述0码流；对描述1，采用子集S1预测子集S0，并根据子集S1与子集S0的预测值进行熵编码，输出描述1码流；

传输网络，用于对所述多描述码流进行传输；

解码器，接收所述描述0码流和描述1码流并进行熵解码，基于多描述反变换方法，输出描述0的重构图像信息和描述1的重构图像信息；

其中的传输网络可以是有限网络或无线网络。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种基于JND的时间域重叠变换多描述编码方法，其特征在于，包括：

输出第一多描述码流的方法包括：对第一描述，采用基于时间域的重叠变换对第一子集、第二子集分别进行前向滤波，对第一子集的前向滤波值依次进行DCT变换、基于JND的阈值滤波和量化处理，根据第一子集的DCT重建系数预测第二子集的前向滤波值，对第二子集的前向滤波预测冗余依次进行DCT变换和量化处理，对所述第一子集的量化值和第二子集前向滤波预测冗余的量化值进行熵编码，输出第一多描述码流；

2.根据权利要求1所述的方法，其特征在于，输出第二多描述码流的方法包括：对第二描述，采用基于时间域的重叠变换对第一子集、第二子集分别进行前向滤波，对第二子集的前向滤波值依次进行DCT变换、基于JND的阈值滤波和量化处理，根据第二子集的DCT重建系数预测第一子集的前向滤波值，对第一子集的前向滤波预测冗余依次进行DCT变换和量化处理，对所述第二子集的量化值和第一子集前向滤波预测冗余的量化值进行熵编码，输出第二多描述码流。

3.根据权利要求2所述的方法，其特征在于，在第一描述中的量化处理阶段，第一子集的量化步长小于第二子集前向滤波预测冗余的量化步长；在第二描述中的量化处理阶段，第二子集的量化步长大于第一子集前向滤波预测冗余的量化步长。

4.根据权利要求1所述的方法，其特征在于，根据空间对比敏感度函数、亮度自适应函数和纹理掩盖效应模型三者的乘积，进行所述基于JND的阈值滤波处理。

5.一种基于权利要求1所述编码方法的多描述解码方法，其特征在于，包括：

6.根据权利要求5所述的方法，其特征在于，所述输出第一重构的图像信息的方法包括：根据第一多描述码流的熵解码结果，分别对第一子集、第二子集的前向滤波预测冗余进行反量化、IDCT变换，根据第一子集的IDCT变换值预测第二子集的IDCT变换值，并将该预测值与所述第二子集的前向滤波预测冗余的IDCT变换结果相加，得到第二子集的DCT系数重建值；将所述第一子集的IDCT变换值和第二子集的DCT系数重建值进行基于时间域重叠变换的后向滤波处理，输出第一重构的图像信息。

7.根据权利要求6所述的方法，其特征在于，所述输出第二重构的图像信息的方法包括：根据第二多描述码流的熵解码结果，分别对第二子集、第一子集的前向滤波预测冗余进行反量化、IDCT变换，根据第二子集的IDCT变换值预测第一子集的IDCT变换值，并将该预测值与所述第一子集的前向滤波预测冗余的IDCT变换结果相加，得到第一子集的DCT系数重建值；将所述第二子集的IDCT变换值和第一子集的DCT系数重建值进行基于时间域重叠变换的后向滤波处理，输出第二重构的图像信息。

8.根据权利要求7所述的方法，其特征在于，在第一描述中的反量化处理阶段，第一子集的反量化步长小于第二子集预测冗余的反量化步长；在第二描述中的反量化处理阶段，第二子集的反量化步长大于第一子集预测冗余的反量化步长。

9.一种基于JND的时间域重叠变换多描述编、解码的系统，其特征在于，包括：

传输网络，用于对所述多描述码流进行传输；

所述多描述方法包括依次对所述两个子集进行基于时间域的重叠变换、DCT变换、基于JND的阈值滤波和量化处理；