CN109889848A - 基于卷积自编码器的多描述编码、解码方法及系统 - Google Patents

Abstract

本公开提出了基于卷积自编码器的多描述编码、解码方法及系统，对于编码：接收图像信息，对图像信息用卷积自编码器进行卷积处理，获得卷积特征，其中，所述卷积自编码器将输入图像信息压缩成一个潜在空间表示，然后通过它的特性来重构输出，使得输出无限接近输入；将获得的卷积特征分成两个描述，每个描述包含两个子集，将两个描述分别进行编码获得两个多描述码流，将两个多描述码流分别经过不同的信道进行传送。能够在保证解决丢包问题的前提下提高编码效率，能够获得精确度更高的重建图像。

Description

基于卷积自编码器的多描述编码、解码方法及系统

技术领域

本公开涉及通信技术领域和计算机技术领域，特别是涉及基于卷积自编码器的多描述编码、解码方法及系统。

背景技术

图像是对客观事物的一种相似性的、生动的描述，是对客观对象的一种比较直观的表示方式。它包含了被描述对象的有关信息，是人们最主要的信息源。据统计，一个人获得的信息大约有75％来自视觉。进入信息化时代，人们将越来越依靠计算机获取和利用信息，而数字化后的多媒体信息具有数据海量性，与当前硬件技术所能提供的计算机存储资源和网络带宽之间有很大的差距。这样，就对信息的存储和传输造成了很大困难，成为阻碍人们有效获取和利用信息的一个瓶颈问题。图像信息作为计算机上最重要的资源，对其进行有效的压缩处理无疑将会给人们带来巨大的好处。静止图像压缩不但是各种动态图像压缩、传输的基础，而且还是影响其效果好坏的重要因素。图像压缩数据技术在数字图像上的应用，其目的是减少图像数据中冗余信息，从而更加高效的格式存储和传输数据。

随着通信和视频编码技术的不断发展，网络信道传输的速率也是越来越快，而在高速网络环境下，传统的基于包的数据传输通常会面临丢包或者误码等问题，因此在传输速率得到保障的前提下，准确率成为人们关注的焦点。而要保证误码环境下接收端的视频重构质量，就需要使用抗误码技术，因此视频通信中的抗误码技术已成为视频通信的研究热点。

发明内容

本说明书实施方式的目的是提供基于卷积自编码器的多描述编码、解码方法及系统，能够在保证解决丢包问题的前提下提高编码效率，能够获得精确度更高的重建图像。

本说明书实施方式的第一方面是提供基于卷积自编码器的多描述编码方法，包括：

接收图像信息，对图像信息用卷积自编码器进行卷积处理，获得卷积特征，其中，所述卷积自编码器将输入图像信息压缩成一个潜在空间表示，然后通过它的特性来重构输出，使得输出无限接近输入；

将获得的卷积特征分成两个描述，每个描述包含两个子集，将两个描述分别进行编码获得两个多描述码流，将两个多描述码流分别经过不同的信道进行传送。

进一步的技术方案，对图像信息用卷积自编码器进行卷积处理时，具有深度D的输入数据X＝X₁,…,X_D和n个卷积核之间进行卷积操作，生成n个卷积特征。

进一步的技术方案，对于每个卷积特征通过非线性函数来激活，并且生成的网络能够学习输入数据的一些非线性特征。

进一步的技术方案，所述卷积自编码器包括卷积层及反卷积层，卷积层通过编码函数y＝f(x)来表示，反卷积层通过解码函数来表示。

本说明书实施方式的第二方面是提供基于卷积自编码器的多描述解码方法，包括：

接收多描述码流，若接收一个多描述码流，则经过边解码器生成边重构信息；如果同时接收到两个描述码流，则通过中心解码器生成中心重构信息；

将边重构信息或中心重构信息分别经过卷积自编码器的反卷积操作，得到边重构图像或中心重构图像。

进一步的技术方案，边重构图像或中心重构图像与原始图像之间进行比较时，可用均方差来进行表示。

进一步的技术方案，卷积自编码器的输入及输出之间的差别用损失函数来表示。

本说明书实施方式的第三方面是提供基于卷积自编码器的多描述编码装置，包括：

卷积单元，被配置为：接收图像信息，对图像信息用卷积自编码器进行卷积处理，获得卷积特征，其中，所述卷积自编码器将输入图像信息压缩成一个潜在空间表示，然后通过它的特性来重构输出，使得输出无限接近输入；

编码单元，被配置为：将获得的卷积特征分成两个描述，每个描述包含两个子集，将两个描述分别进行编码获得两个多描述码流，将两个多描述码流分别经过不同的信道进行传送。

本说明书实施方式的第四方面是提供基于卷积自编码器的多描述解码装置，包括：

解码单元，被配置为：接收多描述码流，若接收一个多描述码流，则经过边解码器生成边重构信息；如果同时接收到两个描述码流，则通过中心解码器生成中心重构信息；

反卷积单元，被配置为：将边重构信息或中心重构信息分别经过卷积自编码器的反卷积操作，得到边重构图像或中心重构图像。

本说明书实施方式的第五方面是提供基于卷积自编码器的多描述系统，包括上述多描述编码装置、传输单元及多描述解码装置；

所述多描述编码装置将两个多描述码流利用传输单元传输至多描述解码装置，多描述解码装置解码得到边重构图像或中心重构图像。

与现有技术相比，本公开的有益效果是：

本公开中基于卷积自编码器实现图像信息的编码及解码，将卷积自编码器技术应用至图像的处理传输中，实现特征不变性提取的无监督特征提取，自动编码器能够从具有最小化损失函数的图像中提取更多压缩编码，能够在保证解决丢包问题的前提下提高编码效率，能够获得精确度更高的重建图像。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例子的方法原理图；

图2为本公开实施例子卷积自动编码器的结构图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

为了更好的理解本申请实施例子的技术方案，首先介绍本申请所涉及到的相关技术概念。

关于多描述编码(MDC)，因其在提供有效的错误恢复能力的同时，能够保证视频传输的实时性，而成为一种有效的抗误码技术。多描述编码将信源编码成多个独立的描述分别传输，任何一个独立的码流都能在编码端得到一个质量在接受范围之内的数据，并且，获得的描述越多，恢复数据的质量就越好，因此具有很强的鲁棒性。多描述编码方法也越来越广泛的运用于视频、图像以及各种多媒体信号的处理上，并取得了很理想的效果。

关于自动编码器，1986年Rumelhart提出自动编码器的概念，并将其用于高维复杂数据处理，促进了神经网络的发展。自动编码器神经网络是一种无监督机器学习算法，有三层的神经网络：输入层、隐藏层(编码层)和解码层。该网络的目的是重构其输入，使其隐藏层学习到该输入的良好表征。其应用了反向传播，可将目标值设置成与输入值相等。自动编码器属于无监督预训练网络(Unsupervised Pretained Networks)的一种。卷积神经网络由一个由卷积和池化组成的神经网络。卷积的作用相当于一个滤波器，而池化则是提取不变特征。卷积自编码器(CAE)创建的目的就在于，利用卷积神经网络的卷积和池化操作，实现特征不变性提取的无监督特征提取。其实现的过程与自动编码器的思想是一致的，都是使用的是先编码再解码，比较解码的数据与原始的数据的差异进行训练，最后得到比较稳定的参数，待这一层的参数都训练好时，再进行下一层的训练。

关于深度学习，比如卷积神经网络，在各种各样的计算机视觉任务上取得了广泛的应用，尤其是广泛用于图像压缩技术。自动编码器用于降维、图像的紧凑表示和生成模型学习。因此，自动编码器能够从具有最小化损失函数的图像中提取更多压缩编码，并且期望比包括JPEG和JPEG2000的现有图像压缩标准实现更好的压缩性能。深度学习的另一个优点是，虽然传统编解码器的开发和标准化历史上需要数年时间，但是基于深度学习的图像压缩方法可以更快地利用新媒体内容和新媒体格式，例如360度图像和虚拟现实(VR)。因此，预期基于深度学习的图像压缩更通用且更有效。

本公开的一种典型的实施方式中，参见附图1所示，提供了基于卷积自编码器的多描述编码方法，该基于卷积自编码器的多描述编码方法中包括：

首先，将图像信息经过卷积自编码器(CAE)的卷积操作，进而提取特征；

当CAE进行卷积操作时，具有深度D的输入数据X＝X₁,...,X_D和n个卷积核之间进行卷积操作，生成n个卷积特征。因为CAE进行一系列的卷积操作相当于对图像进行了压缩，本公开中的CAE设置了三层卷积层(包括卷积层和将步长设置为2的卷积层用来代替池化层，为了保留更多的图像信息)，CAE将图像经过三层卷积操作后得到的最终的卷积特征可以理解为压缩特征。

其次，将提取的压缩特征输入到多描述编码的编码器中，并且分成两个描述分别经过不同的信道传输到接收端。

本公开的另一种实施方式中，再参见附图1所示，提供了基于卷积自编码器的多描述解码方法，在接收端设置了不同的解码器，如果接收到一个描述，则经过边解码器生成边重构信息；如果同时接收到两个描述，则通过中心解码器生成中心重构信息。

最后，所得到的边重构信息或中心重构信息分别经过卷积自编码器的反卷积操作，得到边重构图像或中心重构图像。

本公开另一实施例子是提供基于卷积自编码器的多描述编码装置，包括：

卷积单元，被配置为：接收图像信息，对图像信息用卷积自编码器进行卷积处理，获得卷积特征，其中，所述卷积自编码器将输入图像信息压缩成一个潜在空间表示，然后通过它的特性来重构输出，使得输出无限接近输入；

编码单元，被配置为：将获得的卷积特征分成两个描述，每个描述包含两个子集，将两个描述分别进行编码获得两个多描述码流，将两个多描述码流分别经过不同的信道进行传送。

本公开又一实施例子是提供基于卷积自编码器的多描述解码装置，包括：

解码单元，被配置为：接收多描述码流，若接收一个多描述码流，则经过边解码器生成边重构信息；如果同时接收到两个描述码流，则通过中心解码器生成中心重构信息；

反卷积单元，被配置为：将边重构信息或中心重构信息分别经过卷积自编码器的反卷积操作，得到边重构图像或中心重构图像。

本公开另一实施例子是提供基于卷积自编码器的多描述系统，包括上述多描述编码装置、传输单元及多描述解码装置；

所述多描述编码装置将两个多描述码流利用传输单元传输至多描述解码装置，多描述解码装置解码得到边重构图像或中心重构图像。

在该实施例子中，该系统实现编码及解码，使用卷积和反卷积滤波器的对称CAE网络架构，为了获得输入图像的压缩值，CAE的编码/解码过程需要下采样/上采样操作。由于连续的下采样操作会降低重构图像的质量，所以本公开实施例子使用了卷积/反卷积对来进行下采样/上采样。

该系统中采用依次将图像经过CAE的卷积操作，MDC的编码，MDC的解码和CAE的反卷积操作，获得最终的重构图像。

本公开实施例子中用将步幅设置为2的卷积层来代替池化层，用来保留更多的图像信息。N_i表示卷积层和反卷积层滤波器的数量。CAE使用反向传播算法来使得输出值与输入值相等，首先，它将输入图像压缩成一个潜在空间表示，然后通过它的特性来重构输出。整个CAE可以用函数来表示，输出无限接近原始输入x。

为了改善网络的泛化能力，每个卷积层通过非线性函数f()来激活，并且生成的网络可以学习输入数据的一些非线性特征：

其中，表示第m个特征映射的偏置。

具体的，学习输入数据的一些非线性特征除了可以改善网络的泛化能力外，还使得生成的网络能够更多的学习输入数据的特征，使得最终的输出更接近输入。

具体的，重构图像是特征F和反卷积滤波器K⁽²⁾之间进行卷积的结果：

其中，b⁽²⁾表示偏置。

原始图像X和重构图像之间的均方差表示为：

上述均方差用于计算损失函数，评估预测模型效果。

CAE网络中重构图像是特征F和反卷积滤波器K⁽²⁾之间进行卷积的结果，也就是MDC处理后得到的边重构信息或中心重构信息分别与反卷积滤波器K⁽²⁾之间进行卷积得到边重构图像或中心重构图像。

关于卷积自编码器，参见附图2所示，CAE由两部分组成：①卷积层，通过编码函数y＝f(x)来表示，它可以用于把输入压缩到潜在空间表示；②去卷积层，通过解码函数来表示，它可以用于从潜在空间表示中重构输入。因此整个CAE可以用函数来表示，输出无限接近原始输入x。

CAE的损失函数可以表示为：

其中，λ控制速率失真权重。CAE的损失函数用于计算CAE的损失。

一般来说，对分类或者回归模型进行评估时，需要使得模型在训练数据上使得损失函数值最小，即使得经验风险函数最小化，但是如果只考虑经验风险，容易过拟合，因此还需要考虑模型的泛化能力，常用的方法便是在目标函数中加上正则项，由损失项加上正则项构成结构风险。本公开用到的是速率失真损失函数，是损失项(均方差)加上速率失真。

再次参见附图1中的MDC框架中，将从CAE中提取的特征信息输入到编码器处理，并且分成两个描述，描述1和描述2，分别通过不同的信道传输到解码器。

本公开实施例子对MDC框架进行解释：将输入的信源分成M个子集，并且得到M个描述。MDC的一般期望失真表达式可以表示为：

其中，期望失真表达式用于计算MDC的期望失真。p_k是接收到k个描述的概率，DE_k表示对应的期望失真。当k＝0时，DE_k是输入的方差。

对于描述1，第一个子集用较小的量化步长来进行量化，并且用第一个子集来对第二个子集进行预测，两个子集之间的预测冗余用一个较大的量化步长来进行量化编码。得到量化后的预测冗余，然后对它进行编码。

对于描述2，第二个子集用较小的量化步长来进行量化，并且用第二个子集来对第一个子集进行预测，两个子集之间的预测冗余用一个较大的量化步长来进行量化编码。

在第i个描述中，用于表示重构冗余，所以，在第i个描述中的重建值表述为：

其中y表示CAE卷积操作提取的特征，表示在第i个描述中y的预测值。重建值用于表示比较第i个描述中的重建数据与原始数据。

本实施例中首先对包含其中一个描述(假设描述1)的技术方案进行清楚、完整地介绍。

步骤一：将图像输入CAE中进行卷积操作，提取特征；

步骤二：将提取的特征输入MDC编码器中，并且分成两个描述，描述1和描述2，两个描述都同时包含两个子集；

步骤三：描述1中，子集1用较小的量化步长进行量化；

步骤四：子集1对子集2进行序列预测；

步骤五：子集1与子集2之间的预测冗余用一个较大的量化步长进行量化；

步骤六：两个描述分别经过不同的信道传输到解码器；

步骤七：解码器同时接收到两个描述则通过中心解码器生成中心重构信息；若只接收到一个描述，则通过编解码器生成边重构信息；

步骤八：中心重构信息或边重构信息分别经过CAE的反卷积操作，生成中心重构图像或边重构图像。

对于描述2的处理，从步骤三开始，子集2用较小的量化步长进行量化；子集2对子集1进行序列预测；子集2与子集1之间的预测冗余用一个较大的量化步长进行量化。

具体的，对于描述1，将特征划分成两个子集，同时生成两个描述，描述1同时包含这两个子集，子集1和子集2，子集1用较小的量化步长q₀来进行量化，并且用子集1来对子集2进行预测，子集1和子集2之间的预测冗余用一个较大的量化步长q₁来进行量化编码。

对于描述2，将特征划分成两个子集，同时生成两个描述，描述2同时包含这两个子集，子集1和子集2，子集2用较小的量化步长q₀来进行量化，并且用子集2来对子集1进行预测，子集2和子集1之间的预测冗余用一个较大的量化步长q₁来进行量化编码。

在描述1中用于量化子集1的量化步长q₀小于量化预测冗余用的量化步长q₁；在描述2中用于量化子集2的量化步长q₀小于量化预测冗余用的量化步长q₁。

可以理解的是，在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例～第N实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.基于卷积自编码器的多描述编码方法，其特征是，包括：

接收图像信息，对图像信息用卷积自编码器进行卷积处理，获得卷积特征，其中，所述卷积自编码器将输入图像信息压缩成一个潜在空间表示，然后通过它的特性来重构输出，使得输出无限接近输入；

将获得的卷积特征分成两个描述，每个描述包含两个子集，将两个描述分别进行编码获得两个多描述码流，将两个多描述码流分别经过不同的信道进行传送。

2.权利要求1所述的基于卷积自编码器的多描述编码方法，其特征是，对图像信息用卷积自编码器进行卷积处理时，具有深度D的输入数据X＝X₁,...,X_D和n个卷积核之间进行卷积操作，生成n个卷积特征。

3.权利要求1所述的基于卷积自编码器的多描述编码方法，其特征是，对于每个卷积特征通过非线性函数来激活，并且生成的网络能够学习输入数据的一些非线性特征。

4.权利要求1所述的基于卷积自编码器的多描述编码方法，其特征是，所述卷积自编码器包括卷积层及反卷积层，卷积层过编码函数y＝f(x)来表示，反卷积层通过解码函数来表示。

5.基于卷积自编码器的多描述解码方法，其特征是，包括：

接收权利要求1所述的多描述码流，若接收一个多描述码流，则经过边解码器生成边重构信息；如果同时接收到两个描述码流，则通过中心解码器生成中心重构信息；

将边重构信息或中心重构信息分别经过卷积自编码器的反卷积操作，得到边重构图像或中心重构图像。

6.权利要求5所述的基于卷积自编码器的多描述解码方法，其特征是，边重构图像或中心重构图像与原始图像之间进行比较时，可用均方差来进行表示。

7.权利要求5所述的基于卷积自编码器的多描述解码方法，其特征是，卷积自编码器的输入及输出之间的差别用损失函数来表示。

8.基于卷积自编码器的多描述编码装置，其特征是，包括：

卷积单元，被配置为：接收图像信息，对图像信息用卷积自编码器进行卷积处理，获得卷积特征，其中，所述卷积自编码器将输入图像信息压缩成一个潜在空间表示，然后通过它的特性来重构输出，使得输出无限接近输入；

编码单元，被配置为：将获得的卷积特征分成两个描述，每个描述包含两个子集，将两个描述分别进行编码获得两个多描述码流，将两个多描述码流分别经过不同的信道进行传送。

9.基于卷积自编码器的多描述解码装置，其特征是，包括：

解码单元，被配置为：接收权利要求8所述装置输出的多描述码流，若接收一个多描述码流，则通过边解码器生成边重构信息；如果同时接收到两个描述码流，则通过中心解码器生成中心重构信息；

反卷积单元，被配置为：将边重构信息或中心重构信息分别经过卷积自编码器的反卷积操作，得到边重构图像或中心重构图像。

10.基于卷积自编码器的多描述系统，其特征是，包括权利要求8所述的多描述编码装置、传输单元及权利要求9所述的多描述解码装置；

所述多描述编码装置将两个多描述码流利用传输单元传输至多描述解码装置，多描述解码装置解码得到边重构图像或中心重构图像。