CN110753241B - 基于多描述网络的图像编码、解码方法及系统 - Google Patents

基于多描述网络的图像编码、解码方法及系统 Download PDF

Info

Publication number
CN110753241B
CN110753241B CN201911001710.5A CN201911001710A CN110753241B CN 110753241 B CN110753241 B CN 110753241B CN 201911001710 A CN201911001710 A CN 201911001710A CN 110753241 B CN110753241 B CN 110753241B
Authority
CN
China
Prior art keywords
code stream
description code
image
convolution
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911001710.5A
Other languages
English (en)
Other versions
CN110753241A (zh
Inventor
孟丽丽
李红菲
张佳
谭艳艳
刘丽
张化祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN201911001710.5A priority Critical patent/CN110753241B/zh
Publication of CN110753241A publication Critical patent/CN110753241A/zh
Application granted granted Critical
Publication of CN110753241B publication Critical patent/CN110753241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Abstract

本公开公开了基于多描述网络的图像编码、解码方法及系统，对于编码：接收图像信息，对图像信息进行归一化处理，经过四层卷积操作，获得卷积特征。得到的卷积特征分成两个描述，分别经过不同的信道传输，经过两层卷积操作和量化操作，得到最终的两个多描述码流。对于解码：接收多描述码流，若只接收到一个多描述码流，分别经过两个边解码器网络对接收到的多描述码流进行反卷积操作，得到边重构信息。若接收到两个多描述码流，则中心解码器网络同时对所有接收到的多描述码流进行反卷积处理得到中心重构信息。进行去归一化操作，分别得到边重构图像和中心重构图像。能够在保证解决丢包问题的前提下提高编码效率，能够获得精确度更高的重建图像。

Description

基于多描述网络的图像编码、解码方法及系统
技术领域
本公开涉及通信技术领域和计算机技术领域，特别是涉及基于多描述网络的图像编码、解码方法及系统。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
随着多媒体技术和计算机网络的发展，网络中图像和视频信号的高质量传输变得越来越重要。多描述编码方法可以防止由噪声信道的图像通信中的分组丢失引起的图像和视频质量降低的问题，从而节省传输成本。多描述编码假设源和接收器之间存在多个通道，并且每个通道上同时出错的概率非常低。通过生成多个可独立解码的编码描述，确保当丢失一些描述时仍然获得可接受的图像质量，并且随着接收的描述增加，图像的质量增加。通过使用部分信息重建质量可接受的图像，因此，多描述编码方法在图像编码和视频编码的场中起着非常重要的作用。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
多描述编码于1979年9月在香农理论研究会议上提出，当时Gersho，Ozarow，Witsenhausen，Wolf，Wyner，和Ziv提出了以下问题：如果一个来源由两个单独的描述代表，那么当这些描述被分开或组合时，对来源质量的限制是什么。此问题称为多描述问题。参见附图1所示，源通过多描述编码器生成两个描述，它们分别在两个单独的通道S1和S2上发送到接收器。接收器使用不同的解码器。如果完全接收到所有描述，则信号通过中央解码器，并根据每个描述的重要信息获得高质量的重建效果。如果仅接收到描述的一部分，则信号通过侧解码器，并从接收的描述所携带的冗余信息中恢复丢失的信息部分，以便获得可接受的重建质量。因此，接收器接收的描述越多，重建源的质量越好。
现有技术中无法实现低比特率下的高质量图像压缩，无法解决丢包前提下编码效率的提高，无法获得高精确度的重构图像。
发明内容
为了解决现有技术的不足，本公开提供了基于多描述网络的图像编码、解码方法及系统；
第一方面，本公开提供了基于多描述网络的图像编码方法；
基于多描述网络的图像编码方法，包括：
接收原始图像，对原始图像进行归一化处理；
将归一化处理后的结果送入第一组若干个卷积层进行特征提取处理，最后得到卷积特征；
卷积特征分别送入两个不同的信道；
第一信道：将卷积特征送入第二组若干个卷积层进行特征提取，然后第二组若干个卷积层得到的处理结果经过第一量化处理，得到第一多描述码流；
第二信道：将卷积特征送入第三组若干个卷积层进行特征提取，然后第三组若干个卷积层得到的处理结果经过第二量化处理，得到第二多描述码流。
第二方面，本公开还提供了基于多描述网络的图像解码方法；
基于多描述网络的图像解码方法，包括：
S21：请求接收第一多描述码流和第二多描述码流；
如果只接收到第一多描述码流或者只接收到第二多描述码流，则将接收到的第一多描述码流或第二多描述码流，进行去量化处理，然后进入S22；
如果第一多描述码流和第二多描述码流均接收到；则将第一多描述码流和第二多描述码流分别进行去量化处理，分别得到第一去量化结果和第二去量化结果，然后进入S23；
S22：将去量化处理得到的结果，送入对应的第一或第二边解码器网络；第一或第二边解码器网络负责对接收到的第一多描述码流或第二多描述码流进行反卷积操作，得到对应的第一或第二边重构信息；
S23：将第一去量化结果送入第一边解码器网络进行反卷积操作，得到第一边重构信息；
将第二去量化结果送入第二边解码器网络进行反卷积操作，得到第二边重构信息；
将去量化处理后得到的第一量化值和第二量化值均送入中心解码器网络进行反卷积操作，得到中心重构信息；
S24：对第一边重构信息进行去归一化操作，得到第一边重构图像；
对第二边重构信息进行去归一化操作，得到第二边重构图像；
对中心重构信息进行去归一化操作，得到中心重构图像。
第三方面，本公开提供了基于多描述网络的图像编码装置，包括：
归一化处理模块，其被配置为：接收原始图像，对原始图像进行归一化处理；
特征提取模块，其被配置为：将归一化处理后的结果送入第一组若干个卷积层进行特征提取处理，最后得到卷积特征；
第一量化处理模块，其被配置为：将卷积特征送入第二组若干个卷积层进行特征提取，然后第二组若干个卷积层得到的处理结果经过第一量化处理，得到第一多描述码流；
第二量化处理模块，其被配置为：将卷积特征送入第三组若干个卷积层进行特征提取，然后第三组若干个卷积层得到的处理结果经过第二量化处理，得到第二多描述码流。
第四方面，本公开提供了基于多描述网络的图像解码装置，包括：
多描述码流请求接收模块，其被配置为：请求接收第一多描述码流和第二多描述码流；
如果只接收到第一多描述码流或者只接收到第二多描述码流，则将接收到的第一多描述码流或第二多描述码流，经过去量化处理，然后进入边重构信息获取模块；
如果第一多描述码流和第二多描述码流均接收到；则将第一多描述码流和第二多描述码流分别经过去量化处理，然后进入边重构和中心重构信息获取模块；
边重构信息获取模块，其被配置为：将去量化处理得到的结果，送入对应的第一或第二边解码器网络；第一或第二边解码器网络负责对接收到的第一多描述码流或第二多描述码流进行反卷积操作，得到对应的第一或第二边重构信息；
边重构和中心重构信息获取模块：将第一去量化结果送入第一边解码器网络进行反卷积操作，得到第一边重构信息；
将第二去量化结果送入第二边解码器网络进行反卷积操作，得到第二边重构信息；
将去量化处理后得到的第一量化值和第二量化值均送入中心解码器网络进行反卷积操作，得到中心重构信息；
去归一化模块，其被配置为：
对第一边重构信息进行去归一化操作，得到第一边重构图像；
对第二边重构信息进行去归一化操作，得到第二边重构图像；
对中心重构信息进行去归一化操作，得到中心重构图像。
第五方面提供了基于多描述网络系统，包括基于多描述网络的图像编码装置及基于多描述网络的图像解码装置。
与现有技术相比，本公开的有益效果是：
本公开中基于多描述网络实现图像信息的编码和解码操作，网络框架基于卷积自编码器技术，实现特征不变性提取的无监督特征提取，为了在低比特率下实现高质量图像压缩，编码网络和解码网络无缝集成到端到端压缩框架中。使用多描述编码技术能够在保证解决丢包前提下提高编码效率，获得精确度更高的重构图像。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为多描述编码的基本模型。
图2为本公开实施例的方法原理图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
专业术语介绍：
关于多描述编码(MDC)，主要用于解决图像通信中的数据包错误或丢失造成的解决图像和视频质量下降的问题。MDC假设在源和接收器之间存在多个信道，通过生成多个可独立解码的编码描述，确保在丢失一些描述时仍然获得可接受的图像质量。随着描述的增加，图像质量增加。因此，接收器获得的描述越多，恢复数据的质量越好。
关于深度学习，比如卷积神经网络，在各种各样的计算机视觉任务上取得了广泛的应用，尤其是广泛用于图像压缩技术。深度卷积神经网络已成为非常成功地解决高级计算机视觉任务的普遍工具。由于卷积神经网络具有结构简单、训练参数少、适应性强、效率高等特点,在模式识别、图像处理等领域得到了广泛的应用。并且卷积神经网络可以有效的降低反馈神经网络(传统神经网络)的复杂性。因此，预期基于深度学习的图像压缩更通用且更有效。
关于图像压缩技术，是指用较少的比特表示原始像素矩阵有损或无损的技术，也称为图像编码。图像压缩是数据压缩技术在数字图像上的应用。其目的是减少图像数据中的冗余信息，以便以更高效的格式存储和传输数据。图像压缩的主要目的是压缩数据量并提高其有效性。目前，在网络上传输和存储的图像数量是数亿。为了节省带宽资源，存储资源并降低服务器压力，高效的图像压缩算法是不可或缺的。
如图2所示，本说明书实施方式的第一方面是提供基于多描述网络的图像编码方法，包括：
S11：接收原始图像，对原始图像进行归一化处理；
S12：将归一化处理后的结果送入第一组若干个卷积层进行特征提取处理，最后得到卷积特征；
S13：卷积特征分别送入两个不同的信道；
第一信道：将卷积特征送入第二组若干个卷积层进行特征提取，然后第二组若干个卷积层得到的处理结果经过第一量化处理，得到第一多描述码流；
第二信道：将卷积特征送入第三组若干个卷积层进行特征提取，然后第三组若干个卷积层得到的处理结果经过第二量化处理，得到第二多描述码流。
作为一个或多个实施例，所述第一组若干个卷积层、第二组若干个卷积层和第三组若干个卷积层，每个卷积层均添加了ReLU激活函数和BN层，使得生成的网络能够学习输入数据的一些非线性特征。
所述第一组若干个卷积层的所有卷积层均是依次串联。所述第一组若干个卷积层的卷积层层数为四层。
所述第二组若干个卷积层的所有卷积层均是依次串联。所述第二组若干个卷积层的卷积层层数为两层。
所述第三组若干个卷积层的所有卷积层均是依次串联。所述第三组若干个卷积层的卷积层层数为两层。
作为一个或多个实施例，所述量化处理，采用加性噪声函数来实现。
本说明书实施方式的第二方面是提供基于多描述网络的图像解码方法，包括：
S21：请求接收第一多描述码流和第二多描述码流；
如果只接收到第一多描述码流或者只接收到第二多描述码流，则将接收到的第一多描述码流或第二多描述码流，进行去量化处理，然后进入S22；
如果第一多描述码流和第二多描述码流均接收到；则将第一多描述码流和第二多描述码流分别进行去量化处理，分别得到第一去量化结果和第二去量化结果，然后进入S23；
S22：将去量化处理得到的结果，送入对应的第一或第二边解码器网络；第一或第二边解码器网络负责对接收到的第一多描述码流或第二多描述码流进行反卷积操作，得到对应的第一或第二边重构信息；
S23：将第一去量化结果送入第一边解码器网络进行反卷积操作，得到第一边重构信息；
将第二去量化结果送入第二边解码器网络进行反卷积操作，得到第二边重构信息；
将去量化处理后得到的第一量化值和第二量化值均送入中心解码器网络进行反卷积操作，得到中心重构信息；
S24：对第一边重构信息进行去归一化操作，得到第一边重构图像；
对第二边重构信息进行去归一化操作，得到第二边重构图像；
对中心重构信息进行去归一化操作，得到中心重构图像。
作为一个或多个实施例，所述第一边解码器网络，包括：依次连接的去量化层、若干个反卷积层和去归一化处理；其中，除了最后一个反卷积层外，其他每个反卷积层均添加了ReLU激活函数和BN层(Batch Normalization，归一化层)，最后一个反卷积层只添加BN层。
第一边解码器网络、第二边解码器网络和中心解码器网络都设置了六层去卷积层，经过去归一化处理后，得到边重构图像或中心重构图像。
作为一个或多个实施例，所述第一边解码器网络的解码函数为：
Figure BDA0002241530570000091
其中，
Figure BDA0002241530570000092
是解码网络的参数，u是噪声，θ是编码网络的参数；
作为一个或多个实施例，所述第二边解码器网络的解码函数为：
Figure BDA0002241530570000093
作为一个或多个实施例，所述中心解码器网络的解码函数为：
Figure BDA0002241530570000094
边重构图像或中心重构图像与原始图像之间进行比较来判断图像压缩质量时，用平均绝对误差来表示。
本说明书实施方式的第三方面是提供基于多描述网络的图像编码装置，包括：
归一化处理模块，其被配置为：接收原始图像，对原始图像进行归一化处理；
特征提取模块，其被配置为：将归一化处理后的结果送入第一组若干个卷积层进行特征提取处理，最后得到卷积特征；
第一量化处理模块，其被配置为：将卷积特征送入第二组若干个卷积层进行特征提取，然后第二组若干个卷积层得到的处理结果经过第一量化处理，得到第一多描述码流；
第二量化处理模块，其被配置为：将卷积特征送入第三组若干个卷积层进行特征提取，然后第三组若干个卷积层得到的处理结果经过第二量化处理，得到第二多描述码流。
本说明书实施方式的第四方面是提供基于多描述网络的图像解码装置，包括：
多描述码流请求接收模块，其被配置为：请求接收第一多描述码流和第二多描述码流；
如果只接收到第一多描述码流或者只接收到第二多描述码流，则将接收到的第一多描述码流或第二多描述码流，经过去量化处理，然后进入边重构信息获取模块；
如果第一多描述码流和第二多描述码流均接收到；则将第一多描述码流和第二多描述码流分别经过去量化处理，然后进入边重构和中心重构信息获取模块；
边重构信息获取模块，其被配置为：将去量化处理得到的结果，送入对应的第一或第二边解码器网络；第一或第二边解码器网络负责对接收到的第一多描述码流或第二多描述码流进行反卷积操作，得到对应的第一或第二边重构信息；
边重构和中心重构信息获取模块：将第一去量化结果送入第一边解码器网络进行反卷积操作，得到第一边重构信息；
将第二去量化结果送入第二边解码器网络进行反卷积操作，得到第二边重构信息；
将去量化处理后得到的第一量化值和第二量化值均送入中心解码器网络进行反卷积操作，得到中心重构信息；
去归一化模块，其被配置为：
对第一边重构信息进行去归一化操作，得到第一边重构图像；
对第二边重构信息进行去归一化操作，得到第二边重构图像；
对中心重构信息进行去归一化操作，得到中心重构图像。
本说明书实施方式的第五方面是提供基于多描述网络系统，包括上述多描述网络的图像编码装置及多描述网络的图像解码装置；
应理解的，本公开中编码器网络的前半部分设置了四层卷积层，将图像经过四层卷积操作后得到的最终的卷积特征可以理解为压缩特征。
在该实施例中，该系统实现多描述网络的图像编码及多描述网络图像解码，网络框架是在卷积自编码器(CAE)的基础上搭建的，为了在低比特率下实现高质量图像压缩，多描述编码网络和多描述解码网络无缝集成到端到端压缩框架中。由于连续的下采样操作会降低重构图像的质量，所以本公开实施例使用了卷积/反卷积对来进行下采样/上采样。
该系统中采用依次将图像经过归一化处理，特征提取，量化，去量化，边解码器网络或中心解码器网络的反卷积操作，去归一化，得到最终的边重构图像和中心重构图像。
本公开实施例中用加性均匀噪声代替量化，将不连续问题放宽到可微问题。
Y＝Y+u
每个卷积层都添加了ReLU激活函数，通过ReLU激活函数实现稀疏后的模型能够更好地挖掘相关特征，拟合训练数据。
f(x)＝max(0,x)
如果使用激活函数的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。
关于多描述编码网络的卷积层通过编码函数Y1＝fθ(X)+u和Y2＝fθ(X)+u来表示。
关于多描述解码网络，包含中心解码器网络和两个边解码器网络，去卷积层分别通过解码函数
Figure BDA0002241530570000121
和
Figure BDA0002241530570000122
来表示。
因此整个网络框架可以用
Figure BDA0002241530570000123
Figure BDA0002241530570000124
和
Figure BDA0002241530570000125
来表示。
其中，θ和φ分别表示多描述解码网络和多描述编码网络的优化参数。
本公开的目标函数是：
Figure BDA0002241530570000126
其中，β是超参数。
因为与使用平均绝对误差(MAE)计算损失的模型相比，使用MSE的模型给予异常值更大的权重。因此，我们的框架使用MAE损失函数作为边重构图像和中心重构图像的多描述重构损失的第一部分，其可以写成如下：
Figure BDA0002241530570000127
为了弥补常见的L1/L2损失无法测量图像结构相似性的缺陷，提出了SSIM方法来使两个图像的结构相似。我们的框架使用SSIM损失和距离损失相结合来训练多个描述编码器网络，以确保它们即使划分为多个描述也可以共享结构信息，其可以写成如下：
LSSIM(X,Y1,Y2,θ)＝LSSIM(X,Y1)+LSSIM(X,Y2)+αLdis
其中，α是超参数。
Figure BDA0002241530570000131
其中，
Figure BDA0002241530570000132
分别表示图像X的第i个像素的均值和方差，
Figure BDA0002241530570000133
也是用这种方式表示的。
Figure BDA0002241530570000134
表示图像X和Y1的第i个像素的协方差。c1＝(k1,L)2和c1＝(k1,L)2是常数。
本公开实施例对MDC框架进行解释(参见附图1所示)：将输入的信源分成M个描述，每个描述包含M个子集，分别经过不同的信道进行传输。MDC的一般期望失真表达式可以表示为：
Figure BDA0002241530570000135
其中，期望失真表达式用于计算MDC的期望失真。pk是接收到k个描述的概率，Dk表示对应的期望失真。
对于描述1，子集1用较小的量化步长q0进行量化，用子集1对子集2进行预测，两个子集之间的预测冗余用一个较大的量化步长q1进行量化编码(得到量化后的预测冗余，然后对它进行编码)。
对于描述2，子集2用较小的量化步长q0进行量化，用子集2对子集1进行预测，两个子集之间的预测冗余用一个较大的量化步长q1进行量化编码。
本实施例中首先对包含其中一个描述(假设描述1)的技术方案进行清楚、完整地介绍。
步骤一：将图像输入多描述解码网络，进行归一化处理；
步骤二：将归一化处理后得到的信息经过四层卷积操作，得到卷积特征。
步骤三：将卷积特征分为两个描述(描述1和描述2)，分别经过不同的信道传输，并且分别经过两层卷积操作，对其进行量化处理。
步骤四：经过量化处理得到的量化值是最终的两个多描述码流。
步骤五：两个多描述码流进行去量化处理。
步骤六：若接收到一个描述，则经过边解码器网络的去卷积操作，得到边重构信息。
步骤七：若接收到两个描述，则经过中心解码器网络的去卷积操作，得到中心重构信息。
步骤八：中心重构信息或边重构信息分别经过去归一化处理，生成中心重构图像或边重构图像。
使用SSIM损失和距离损失相结合来训练多描述编码器网络，以确保它们即使划分为多个描述也可以共享结构信息。
边重构图像或中心重构图像与原始图像之间进行比较时，可用平均绝对误差(MAE)来进行表示。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.基于多描述网络的图像编码、解码方法，其特征是，
基于多描述网络的图像编码方法，包括：
接收原始图像，对原始图像进行归一化处理；
将归一化处理后的结果送入第一组若干个卷积层进行特征提取处理，最后得到卷积特征；所述第一组若干个卷积层的所有卷积层均是依次串联，所述第一组若干个卷积层的卷积层层数为四层；
卷积特征分别送入两个不同的信道；
第一信道：将卷积特征送入第二组若干个卷积层进行特征提取，然后第二组若干个卷积层得到的处理结果经过第一量化处理，得到第一多描述码流；所述第二组若干个卷积层的所有卷积层均是依次串联，所述第二组若干个卷积层的卷积层层数为两层；
第二信道：将卷积特征送入第三组若干个卷积层进行特征提取，然后第三组若干个卷积层得到的处理结果经过第二量化处理，得到第二多描述码流；所述第三组若干个卷积层的所有卷积层均是依次串联，所述第三组若干个卷积层的卷积层层数为两层；
基于多描述网络的图像解码方法，包括：
S21：请求接收第一多描述码流和第二多描述码流；
如果只接收到第一多描述码流或者只接收到第二多描述码流，则将接收到的第一多描述码流或第二多描述码流，进行去量化处理，然后进入S22；如果第一多描述码流和第二多描述码流均接收到；则将第一多描述码流和第二多描述码流分别进行去量化处理，分别得到第一去量化结果和第二去量化结果，然后进入S23；
S22：将去量化处理得到的结果，送入对应的第一或第二边解码器网络；第一或第二边解码器网络负责对接收到的第一多描述码流或第二多描述码流进行反卷积操作，得到对应的第一或第二边重构信息；
S23：将第一去量化结果送入第一边解码器网络进行反卷积操作，得到第一边重构信息；
将第二去量化结果送入第二边解码器网络进行反卷积操作，得到第二边重构信息；
将去量化处理后得到的第一量化值和第二量化值均送入中心解码器网络进行反卷积操作，得到中心重构信息；
S24：对第一边重构信息进行去归一化操作，得到第一边重构图像；
对第二边重构信息进行去归一化操作，得到第二边重构图像；
对中心重构信息进行去归一化操作，得到中心重构图像。
2.如权利要求1所述的方法，其特征是，所述第一组若干个卷积层、第二组若干个卷积层和第三组若干个卷积层，每个卷积层均添加了ReLU激活函数和BN层，使得生成的网络能够学习输入数据的非线性特征。
3.如权利要求1所述的方法，其特征是，所述量化处理，采用加性噪声函数来实现。
4.如权利要求1所述的方法，其特征是，所述第一边解码器网络，包括：依次连接的去量化层、若干个反卷积层和去归一化处理；其中，除了最后一个反卷积层外，其他每个反卷积层均添加了ReLU激活函数和BN层，最后一个反卷积层只添加BN层。
5.如权利要求1所述的方法，其特征是，边重构图像或中心重构图像与原始图像之间进行比较来判断图像压缩质量时，用平均绝对误差来表示。
6.基于多描述网络的图像编码、解码装置，其特征是，基于多描述网络的图像编码装置，包括：归一化处理模块，其被配置为：接收原始图像，对原始图像进行归一化处理；
特征提取模块，其被配置为：将归一化处理后的结果送入第一组若干个卷积层进行特征提取处理，最后得到卷积特征；所述第一组若干个卷积层的所有卷积层均是依次串联，所述第一组若干个卷积层的卷积层层数为四层；
第一量化处理模块，其被配置为：将卷积特征送入第二组若干个卷积层进行特征提取，然后第二组若干个卷积层得到的处理结果经过第一量化处理，得到第一多描述码流；所述第二组若干个卷积层的所有卷积层均是依次串联，所述第二组若干个卷积层的卷积层层数为两层；
第二量化处理模块，其被配置为：将卷积特征送入第三组若干个卷积层进行特征提取，然后第三组若干个卷积层得到的处理结果经过第二量化处理，得到第二多描述码流；所述第三组若干个卷积层的所有卷积层均是依次串联，所述第三组若干个卷积层的卷积层层数为两层；
基于多描述网络的图像解码装置，包括：
多描述码流请求接收模块，其被配置为：请求接收第一多描述码流和第二多描述码流；
如果只接收到第一多描述码流或者只接收到第二多描述码流，则将接收到的第一多描述码流或第二多描述码流，经过去量化处理，然后进入边重构信息获取模块；
如果第一多描述码流和第二多描述码流均接收到；则将第一多描述码流和第二多描述码流分别经过去量化处理，然后进入边重构和中心重构信息获取模块；
边重构信息获取模块，其被配置为：将去量化处理得到的结果，送入对应的第一或第二边解码器网络；第一或第二边解码器网络负责对接收到的第一多描述码流或第二多描述码流进行反卷积操作，得到对应的第一或第二边重构信息；
边重构和中心重构信息获取模块：将第一去量化结果送入第一边解码器网络进行反卷积操作，得到第一边重构信息；
将第二去量化结果送入第二边解码器网络进行反卷积操作，得到第二边重构信息；
将去量化处理后得到的第一量化值和第二量化值均送入中心解码器网络进行反卷积操作，得到中心重构信息；
去归一化模块，其被配置为：
对第一边重构信息进行去归一化操作，得到第一边重构图像；对第二边重构信息进行去归一化操作，得到第二边重构图像；对中心重构信息进行去归一化操作，得到中心重构图像。
7.基于多描述网络系统，其特征是，包括权利要求6所述的多描述网络的图像编码、解码装置。
CN201911001710.5A 2019-10-21 2019-10-21 基于多描述网络的图像编码、解码方法及系统 Active CN110753241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911001710.5A CN110753241B (zh) 2019-10-21 2019-10-21 基于多描述网络的图像编码、解码方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911001710.5A CN110753241B (zh) 2019-10-21 2019-10-21 基于多描述网络的图像编码、解码方法及系统

Publications (2)

Publication Number Publication Date
CN110753241A CN110753241A (zh) 2020-02-04
CN110753241B true CN110753241B (zh) 2021-10-19

Family

ID=69279161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911001710.5A Active CN110753241B (zh) 2019-10-21 2019-10-21 基于多描述网络的图像编码、解码方法及系统

Country Status (1)

Country Link
CN (1) CN110753241B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109889848A (zh) * 2019-02-22 2019-06-14 山东师范大学 基于卷积自编码器的多描述编码、解码方法及系统
CN109996073A (zh) * 2019-02-26 2019-07-09 山东师范大学 一种图像压缩方法、系统、可读存储介质及计算机设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8787183B2 (en) * 2009-01-06 2014-07-22 Qualcomm Incorporated Method and apparatus for channel estimation using multiple description codes
FR3049084B1 (fr) * 2016-03-15 2022-11-11 Fraunhofer Ges Forschung Dispositif de codage pour le traitement d'un signal d'entree et dispositif de decodage pour le traitement d'un signal code

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109889848A (zh) * 2019-02-22 2019-06-14 山东师范大学 基于卷积自编码器的多描述编码、解码方法及系统
CN109996073A (zh) * 2019-02-26 2019-07-09 山东师范大学 一种图像压缩方法、系统、可读存储介质及计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Multiple Description Coding Based on Convolutional Auto-Encoder;李红菲等;《IEEE》;20190221;第26014-26015页，附图1、2 *
Multiple Description Convolutional Neural Networks for Image Compression;赵利军等;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;20190831;第29卷(第8期);第2496-2498页，附1、2 *
赵利军等.Multiple Description Convolutional Neural Networks for Image Compression.《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》.2019,第29卷(第8期), *

Also Published As

Publication number Publication date
CN110753241A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
Shao et al. Communication-computation trade-off in resource-constrained edge inference
CN107481295B (zh) 基于动态字节长度分配的卷积神经网络的图像压缩系统
CN109903351B (zh) 基于卷积神经网络和传统编码相结合的图像压缩方法
US20230291909A1 (en) Coding video frame key points to enable reconstruction of video frame
CN103873877A (zh) 远程桌面的图像传输方法及装置
US10154288B2 (en) Apparatus and method to improve image or video quality or encoding performance by enhancing discrete cosine transform coefficients
CN113132735A (zh) 一种基于视频帧生成的视频编码方法
Li et al. Multiple description coding based on convolutional auto-encoder
WO2023279961A1 (zh) 视频图像的编解码方法及装置
CN111669588A (zh) 一种超低时延的超高清视频压缩编解码方法
CN107666472A (zh) 混合的数字‑模拟编解码
CN110753241B (zh) 基于多描述网络的图像编码、解码方法及系统
US9948928B2 (en) Method and apparatus for encoding an image
CN102055974B (zh) 数据压缩、解压缩方法、装置及系统
WO2023225808A1 (en) Learned image compress ion and decompression using long and short attention module
CN107205151B (zh) 基于混合失真度量准则的编解码装置及方法
CN115361556A (zh) 一种基于自适应的高效视频压缩算法及其系统
WO2022194137A1 (zh) 视频图像的编解码方法及相关设备
CN104113394B (zh) 通信调制信号的压缩及解压方法
CN106170089B (zh) 基于h.265的多路编码方法
CN116863949A (zh) 通信接收方法及其装置
Xu et al. Optimization-Based Pseudo-Analog Transmission Scheme for Wireless Feature Map Transmission
CN113179403B (zh) 一种基于深度学习重建的水下视频对象编码方法
Gulia et al. Comprehensive Analysis of Flow Incorporated Neural Network based Lightweight Video Compression Architecture
CN116437089B (zh) 一种基于关键目标的深度视频压缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant