CN107801026A - 图像压缩方法及装置、图像压缩及解压缩系统 - Google Patents

图像压缩方法及装置、图像压缩及解压缩系统 Download PDF

Info

Publication number
CN107801026A
CN107801026A CN201711100322.3A CN201711100322A CN107801026A CN 107801026 A CN107801026 A CN 107801026A CN 201711100322 A CN201711100322 A CN 201711100322A CN 107801026 A CN107801026 A CN 107801026A
Authority
CN
China
Prior art keywords
input
composition
coding
image
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711100322.3A
Other languages
English (en)
Other versions
CN107801026B (zh
Inventor
那彦波
刘瀚文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201711100322.3A priority Critical patent/CN107801026B/zh
Publication of CN107801026A publication Critical patent/CN107801026A/zh
Priority to US16/184,142 priority patent/US10834425B2/en
Application granted granted Critical
Publication of CN107801026B publication Critical patent/CN107801026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种图像压缩方法及装置、图像压缩及解压缩系统，所述图像压缩方法包括：接收输入图像；利用级联的n级编码单元对所述输入图像进行图像编码以产生输出图像，n为大于等于1的整数，对于1≤i＜n，第i级编码单元的输入为第i级编码输入图像并包括mi‑1个图像成分，第i级编码单元的输出为第i级编码输出图像并包括mi个图像成分，以及第i级编码单元的输出是第i+1级编码单元的输入，其中m是大于1的整数；输出所述输出图像，所述输出图像包括一个对应于所述输入图像的参考图像和mn‑1个对应于所述输入图像的图像成分。

Description

图像压缩方法及装置、图像压缩及解压缩系统
技术领域
本公开涉及图像处理领域，具体涉及一种压缩编码方法、压缩编码装置、解压缩方法、解压缩装置以及包括压缩编码装置和解压缩装置的图像处理系统。
背景技术
压缩编码器是一种从来源(如图像或视频)获取数据信息并压缩信息从而减少用于存储或传输的总尺寸的系统。压缩编码器一般由三个模块构成：变换编码、量化和熵编码。变换编码模块用于将输入图像转换为与输入图像等同(这个过程可以恢复)但更容易压缩的图像，通过减少图像中的冗余(典型地具有许多连续的零值)可以实现这样的效果。量化模块用于限制从变换模块获得的数据值的范围。熵编码模块将最常出现的数据用小的代码替换，将更长的代码用于更不频繁的数据。
解码器可以还原编码器的过程，并从压缩的数据中恢复数据源信息，无损压缩指的是在压缩和解压缩后可以恢复精确的数据源信息的编码器/解码器。有损压缩指的是不能恢复精确的数据源信息，并移除了人类视觉系统难以注意到的细节的编码器/解码器。有损的压缩器可以通过增加数据源的细节的损失增加压缩因子。
使用近年来的标准(如BT.2020)，数字图像和视频的质量正在快速增加。质量的增加绑定着数据尺寸的增加。像素深度已经从每像素8-10位增加到了12位，从而增加了颜色数据和亮度的动态范围。并且像素的数量已经从全高清(Full-HD)增加到了4K分辨率(4倍)和从全高清增加到8K分辨率(16倍)。以此同时，最受欢迎的媒体源来自互联网。即使带宽稳定地增加，也可以预见到数据通信的惊人增长。这样的增长将来自于更多的连接到互联网的设备(例如物联网)以及每个设备请求的更多媒体资源。根据2015年思科视觉网络指数(Visual Networking Index,VNI)的报道，全球移动数据通信在2014年增长了69％，并且视频通信首次超过了2012年总的移动数据通信的50％。最近视频压缩标准如高效视频编码(High Efficiency Video Coding,HEVC)最多可以在相同质量下将比特率减少到50％。对于接下来预期的互联网带宽和对高质量内容的需求来说，这样的压缩水平是非常不高效的。通过新的标准提供的具有高质量能力的显示设备的成功强烈地依赖于媒体压缩的更好的解决方案。
发明内容
针对以上问题，本公开提供一种新的用于图像压缩和解压缩的方法和装置。
根据本公开的一方面，提出了一种图像压缩方法，包括接收输入图像；利用级联的n级编码单元对所述输入图像进行图像编码以产生输出图像，n为大于等于1的整数，对于1≤i＜n，第i级编码单元的输入为第i级编码输入图像并包括mi-1个图像成分，第i级编码单元的输出为第i级编码输出图像并包括mi个图像成分，以及第i级编码单元的输出是第i+1级编码单元的输入，其中m是大于1的整数；输出所述输出图像，所述输出图像包括一个对应于所述输入图像的参考图像和mn-1个对应于所述输入图像的图像成分。
根据本公开的另一方面，提出了一种图像解压缩方法，包括接收压缩图像，所述压缩图像包括一个参考图像和mn-1个图像成分，其中m是大于1的整数，n是大于等于1的整数；利用级联的n级解码单元对所述压缩图像进行图像解码以产生还原图像，n为大于等于1的整数，对于1≤i＜n，第i级解码单元的输入为第i级解码输入图像并包括mi个图像成分，第i级解码单元的输出为第i级解码输出图像并包括mi-1个图像成分，以及第i级解码单元的输出是第i+1级解码单元的输入；输出对应于所述压缩图像的还原图像。
根据本公开的另一方面，提出了一种图像压缩装置，包括：输入端，配置成接收输入图像；级联的n级编码单元，配置成对所述输入图像进行图像编码以产生输出图像，n为大于等于1的整数，对于1≤i＜n，第i级编码单元的输入为第i级编码输入图像并包括mi-1个图像成分，第i级编码单元的输出为第i级编码输出图像并包括mi个图像成分，以及第i级编码单元的输出是第i+1级编码单元的输入，其中m是大于1的整数；输出端，配置成输出所述输出图像，所述输出图像包括一个对应于所述输入图像的参考图像和
mn-1个对应于所述输入图像的图像成分；去叠加单元，配置成对所述mn-1个对应于所述输入图像的图像成分和所述参考图像执行去叠加操作，获得所述mn-1个图像成分与参考图像的差别图像；量化单元；配置成对所述参考图像和所述mn-1个图像成分执行量化操作，获得对应于所述输入图像的压缩图像。
根据本公开的另一方面，提出了一种图像解压缩装置，包括：输入端，配置成接收压缩图像，所述压缩图像包括一个参考图像和mn-1个图像成分，其中m是大于1的整数，n是大于等于1的整数；叠加单元，配置成对所述mn-1个图像成分和所述参考图像执行叠加操作，获得mn-1个图像成分与参考图像的mn-1个叠加图像；级联的n级解码单元，配置成对所述压缩图像进行图像解码以产生还原图像，n为大于等于1的整数，对于1≤i＜n，第i级解码单元的输入为第i级解码输入图像并包括mi个图像成分，第i级解码单元的输出为第i级解码输出图像并包括mi-1个图像成分，以及第i级解码单元的输出是第i+1级解码单元的输入；输出端，配置成输出对应于所述压缩图像的还原图像。
根据本公开的另一方面，提出了一种图像处理系统，包括如上所述的图像压缩装置和如上所述的图像解压缩装置。
根据本公开的另一方面，提出了一种用于如上所述的图像处理系统的训练方法，包括：将训练图像输入所述图像处理系统，调整所述n级编码单元和所述n级解码单元中各卷积层中各卷积网络的权值，运行有限次迭代以使目标函数最优化。
根据本公开的另一方面，提出了一种图像编码方法，包括：接收第一编码输入成分、第二编码输入成分、第三编码输入成分和第四编码输入成分；基于所述第一编码输入成分和所述第二编码输入成分生成预测图像并获取所述第三编码输入成分和所述第四编码输入成分和所述预测图像的差别图像；基于所述差别图像、所述第一编码输入成分和所述第二编码输入成分生成关于所述第一编码输入成分和所述第二编码输入成分的更新图像；执行基于所述更新图像的小波变换，并基于小波变换的结果生成第一编码输出成分和第二编码输出成分；执行基于所述差别图像的小波变换，并基于小波变换的结果生成第三编码输出和第四编码输出。
根据本公开的另一方面，提出了一种图像解码方法，包括接收第一解码输入成分、第二解码输入成分、第三解码输入成分和第四解码输入成分；执行基于所述第一解码输入成分和所述第二解码输入成分的逆小波变换，并基于逆小波变换的结果获得第一差别特征和第一叠加特征；执行基于所述第三解码输入成分和所述第四解码输入成分的逆小波变换，并基于逆小波变换的结果获得第二差别特征和第二叠加特征；基于所述第二差别特征和所述第二叠加特征生成更新图像，并基于所述更新图像、所述第一差别特征和所述第一叠加特征生成第一解码输出成分和第二解码输出成分；基于所述第一解码输出成分和所述第二解码输出成分生成预测图像，并基于所述预测图像、所述第二差别特征和所述第二叠加特征生成所述第三解码输出成分和所述第四解码输出成分。
本公开介绍了使用卷积网络进行图像/视频压缩的图像压缩装置的几种配置。根据本公开的实施例的图像压缩装置可以利用最新的深度学习的发展和表现的优点增加压缩率。因此，本申请公开的方法能够解决对于更高的压缩率的需要，并引入机器学习作为减少内容类型的冗余的主要工具。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本公开的主旨。
图1是图示用于图像处理的卷积神经网络的示意图；
图2是图示用于多分辨率图像变换的小波变换的示意图；
图3是利用卷积神经网络实现小波变换的图像处理系统的结构示意图；
图4示出了根据本申请的实施例的一种图像压缩装置的示意图；
图5A示出了根据本申请的实施例的一种量化函数的特性曲线；
图5B示出了根据本申请的实施例的一种量化函数的特性曲线；
图6图示了根据本申请的实施例的一种拆分单元的示意图；
图7图示了根据本申请的实施例的一种变换单元的示意图；
图8示出了根据本申请实施例的一种去叠加单元的示意图；
图9示出了根据本申请实施例的一种解压缩装置的示意图；
图10示出了根据本申请的实施例的一种叠加单元的示意图；
图11示出了根据本申请的实施例的一种逆变换单元的示意图；
图12示出了根据本申请的实施例的一种复合单元的示意图；
图13示意性地示出了对图像进行变换编码和变换解码的过程；
图14示出了根据本申请的实施例的一种图像压缩方法的流程图；
图15示出了根据本申请的实施例的第i级变换编码单元的图像编码过程的流程图；
图16示出了根据本申请的实施例的第i级变换编码单元中的图像变换过程的流程图；
图17A示出了根据本申请的实施例的第i级变换编码单元中的图像变换过程的流程图；
图17B示出了根据本申请的实施例的第i级变换编码单元中的图像变换过程的流程图；
图18示出了根据本申请的实施例的基于更新图像的小波变换的流程图；
图19示出了根据本申请的实施例的基于差别图像的小波变换的流程图；
图20示出了根据本申请的实施例的一种图像压缩方法的流程图；
图21示出了根据本申请的实施例的第i级变换解码单元的图像解码方法的流程图；
图22示出了根据本申请的实施例的图像逆变换方法的流程图；
图23A示出了根据本申请的实施例的第i级变换解码单元的图像解码方法的流程图；
图23B示出了根据本申请的实施例的第i级变换解码单元的图像解码方法的流程图；
图24示出了基于第一解码输入成分和第二解码输入成分的逆小波变换方法的流程图；
图25中示出了基于第三解码输入成分和第四解码输入成分的逆小波变换方法的流程图；以及
图26示出了根据本申请的实施例的一种图像处理系统的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性连接或信号连接，不管是直接的还是间接的。
图1是图示用于图像处理的卷积神经网络的示意图。用于图像处理的卷积神经网络是使用图像作为输入和输出，并且通过滤波器(即，卷积)替代标量权重。图1中示出了具有3层的简单结构。如图1所示，在输入层101输入4个输入图像，在中间的隐藏层102存在3个单元以输出3个输出图像，而在输出层103存在2个单元以输出2个输出图像。输入层101中的具有权重wij k的每个盒子对应于滤波器，其中k是指示输入层号的标签，并且i和j分别是指示输入和输出单元的标签。偏置bi k是添加到卷积的输出的标量。若干卷积和偏置的相加结果然后通过激活盒，其通常对应于线性整流函数(ReLU)、S型函数或双曲正切函数。在利用卷积神经网络的图像处理系统中，各滤波器和偏置在系统的操作期间是固定的。各滤波器和偏置是预先通过使用一组输入/输出示例图像并且调整以满足依赖于应用的一些优化标准来获取的。典型的配置涉及每层中的十分之一或数百个过滤器。具有3层的网络被认为是浅的，而大于5或10的层的数目通常被认为是深的。
图2是图示用于多分辨率图像变换的小波变换的示意图。小波变换是一种用于图像编解码处理的多分辨率图像变换，其应用包括JPEG 2000标准中的变换编码。在图像编码(压缩)处理中，小波变换用于以更小的低分辨率图像(例如，原始图像的一部分图像)代表原始的高分辨率图像。在图像解码(解压)处理中，逆小波变换用于利用低分辨率图像以及恢复原始图像所需的差异特征，恢复得到原始图像。
图2示意性地示出了3级小波变换和逆变换。如图2所示，更小的低分辨率图像之一是原始图像的缩小版本A，而其他的低分辨率图像代表恢复原始图像所需的丢失的细节(Dh、Dv和Dd)。
图3是利用卷积神经网络实现小波变换的图像处理系统的结构示意图。提升方案(Lifting Scheme)是小波变换的一种有效实施方式，并且是构造小波时的一种灵活的工具。图3示意性地示出了用于1D数据的标准结构。图3的左侧为编码器31。编码器31中的拆分单元302将输入的原始图像301变换为低分辨率图像A和细节D。编码器31进一步使用预测滤波器p和更新滤波器u。对于压缩应用，希望D约为0，使得大部分的信息包含在A中。图3的右侧为解码器32。解码器32的参数是与来自编码器31的滤波器p和u完全相同，而仅仅是滤波器p和u相反地布置。由于编码器31和解码器32的严格对应，该配置确保了经由解码器32的拼接单元303拼接得到的解码图像304与原始图像301完全相同。此外，图3所示的结构也不是限制性的，可以替代地在解码器中先按照更新滤波器u和预测滤波器p的顺序进行配置。在本申请中，更新滤波器u和预测滤波器p可以使用如图1所示的卷积神经网络实现。
以下，将参照附图进一步详细描述根据本发明实施例的图像压缩装置、图像解压缩装置、包括该图像压缩、解压缩装置的图像处理系统、相应的图像压缩、解压缩方法以及用于配置图像处理系统的训练方法。
图4示出了根据本申请的实施例的一种图像压缩装置的示意图。图像压缩装置400包括变换编码单元410。
变换编码单元410可以包括用于接收输入图像的输入端，输入图像可以是仅包括单通道(如R、G、B或灰度)的图像，也可以是包括任意多个通道(如R、G、B和灰度)的图像。
变换编码单元410还可以包括级联的n级编码单元410-1、410-2、……410-n，n为大于等于1的整数，对于1≤i＜n，第i级编码单元的输入为第i级编码输入图像并包括mi-1个图像成分，第i级编码单元的输出为第i级编码输出图像并包括mi个图像成分，以及第i级编码单元的输出是第i+1级编码单元的输入，其中m是大于1的整数。
在一些实施例中，级联的n级编码单元中的每一个可以包括拆分单元412和变换单元414。也就是说，第i级编码单元410-i中包括拆分单元412-i、变换单元414-i。拆分单元412-i用于将第i级编码单元的接收的mi-1个图像成分中的每一个执行拆分操作，将第i级编码输入图像中的每个图像成分拆分为mi个图像成分。变换单元414-i用于对由第i级编码单元的输入拆分得到的mi个图像成分进行变换，使得图像数据变得更易于被压缩。
变换编码单元410还可以包括用于输出所述输出图像的输出端，其中所述输出图像包括一个对应于输入图像的参考图像和mn-1个对应于输入图像的图像成分。
上述变换编码单元能够对输入图像进行压缩前的变换编码，使得变换后的图像具有更少的内容冗余，更适于被压缩。
在一些实施例中，变换编码单元410可以进一步包括去叠加单元416。去叠加单元416用于对级联的n级编码单元编码后的参考图像和mn-1个图像成分执行去叠加操作以进一步减少图像中的冗余，即，使图像数据中具有更多的零。去叠加单元416是可选的。也就是说，变换编码单元410的输出可以直接输入到量化单元420中进行量化操作。
在一些实施例中，图像编码装置400可以进一步包括量化单元420。量化单元420用于对图像数据执行量化操作。量化单元420可以将变换编码模块410输出的图像数据由浮点数转换为比特流(例如，使用8位整数或4位整数等特定位整数的比特流)。
在一些实施例中，量化单元420可以采用以下量化函数SOFTQ(Fi)对变换编码单元410输出的所有图像成分执行量化操作：
aj和Lj是对于每个图像成分的每个通道的固定的参数。其中Lj是代表量化水平的数量，例如，对于8位的量化操作来说，Lj等于255。aj是硬度参数，aj越小意味着曲线越平滑。
图5A和图5B中示出了当aj和Lj取不同值时量化函数SOFTQ的性质。其中图5A中示出了a＝10，L＝16时上述量化函数SOFTQ的特性曲线。图5B中示出了a＝10，L＝4时上述量化函数SOFTQ的特性曲线。
上述量化操作将在一定程度上损失部分图像信息。在配置图像压缩装置的参数时，通过下文中介绍的训练方法可以通过减少量化后的还原图像的均方差减少量化操作带来的影响。
图6图示了根据本申请的实施例的一种拆分单元的示意图。拆分单元412可以在不损失图像像素信息的情况下将图像拆分为多个分辨率更低的小图像。
图6中示例性的示出了一种能够将一张图像拆分为4个分辨率更低的小图像的拆分单元412。如图6所示，拆分单元T-MUXOUT 2×2将原始图像以2×2的基本像素矩阵为单位进行划分，其中每个基本像素矩阵包括4个原始像素。拆分单元412进一步提取所有划分好的2×2的基本像素矩阵中的特定位置的像素，并根据每个基本像素矩阵中特定位置的像素确定拆分后的图像。例如，如图6中示出的，拆分单元412的输入图像包括16个原始像素，拆分单元412将输入图像划分为基本像素矩阵A11、A12、A21、A22，其中基本像素矩阵A11中包括像素a11、b11、c11、d11，基本像素矩阵A12中包括像素a12、b12、c12、d12，基本像素矩阵A21中包括像素a21、b21、c21、d21，基本像素矩阵A22中包括像素a22、b22、c22、d22。拆分单元412可以通过提取所有基本像素矩阵中左上角(即[1,1]位置处)的原始像素，并将提取的像素按照拆分前像素在图像中排列的顺序进行排列，以生成第一张拆分后的低分辨率图像。类似地，拆分单元可以生成其余3张拆分后的低分辨率小图像。
可以理解，如图6所示的拆分单元可以将任意大小的图像拆分为4个分辨率更低的小图像。在一些实施例中，拆分后的多个低分辨率图像尺寸相等。例如，如图6所示的拆分单元412可以将原始尺寸为128×128的图像拆分成4个尺寸均为64×64的低分辨率图像。
也可以理解，如图6所示的拆分单元只是根据本申请的原理的拆分单元的一个示例。事实上，可以通过调整划分的基本像素矩阵的大小和形状将图像拆分为多个分辨率更低的小图像。例如，当基本像素矩阵的大小为3×3时，拆分单元可以将输入图像拆分为3×3＝9个分辨率更低的小图像。又例如，当基本像素矩阵的大小是3×4时，拆分单元可以将输入图像拆分为3×4＝12个分辨率更低的小图像。也就是说，当基本像素矩阵的大小是a×b时，拆分单元可以将输入图像拆分为a×b＝c个分辨率更低的小图像。本领域技术人员可以了解，根据本申请的原理，拆分单元412可以将一张图像拆分为任意多个分辨率更低的小图像。
也可以理解，图6示出的是利用拆分单元对二维的图像数据进行拆分的示意图。根据本申请的原理，拆分单元412也可以对其他任意维度(如1维、3维等)的图像数据进行拆分。
为了描述方便，在下文中将以图6示出的拆分单元为例进行描述，并将拆分后的四个低分辨率的图像分别称为左上(UL)、右上(UR)、左下(BL)和右下(BR)。也就是说，对于第i级编码单元来说，输入图像包括4i-1个图像成分，经过第i级编码单元中的拆分单元412-i，第i级输入被拆分为4i个图像成分。
图7图示了根据本申请的实施例的一种变换单元414的示意图。如前所述，拆分单元可以将原始图像拆分为4个低分辨率图像UL、UR、BL和BR。变换单元414可以对上述四个低分辨率图像UL、UR、BL和BR进行图像变换，从而使得图像数据更适于被压缩。
变换单元414可以包括第一预测单元710，配置成基于UL图像和BR图像生成关于UR图像和BL图像的预测图像并获取UR图像和BL图像和预测图像之间的差别图像；第一更新单元720，配置成基于UR图像和BL图像和预测图像之间的差别图像生成关于UL图像和BR图像的更新图像；第一小波变换单元730，配置成执行基于关于UL图像和BR图像的更新图像的小波变换，并基于小波变换的结果生成第一编码输出成分和第二编码输出成分；第二小波变换单元740，配置成执行基于UR图像和BL图像和预测图像之间的差别图像的小波变换，并基于小波变换的结果生成第三编码输出成分和第四编码输出成分。
在一些实施例中，第一预测单元710可以进一步包括第一预测卷积网络P1和第一去叠加单元712。第一预测单元P1配置成接收UL图像和BR图像作为输入，并生成用于UR图像和BL图像的第一预测特征和第二预测特征。第一预测特征和第二预测特征可以是相同的，也可以是不同的。第一去叠加单元712配置成对UR图像和第一预测特征执行去叠加操作以获得第一差别特征，以及对BL图像和第二预测特征执行去叠加操作以获得第二差别特征。
在一些实施例中，第一更新单元720可以进一步包括第一更新卷积网络U1和第一叠加单元722。第一更新卷积网络U1配置成接收第一差别特征和第二差别特征作为输入，并生成关于第一差别特征和第二差别特征的第一更新特征和第二更新特征。第一更新特征和第二更新特征可以是相同的，也可以是不同的。第一叠加单元722配置成对UL图像与第一更新特征执行叠加操作以获得第一叠加特征，以及对BR图像与第二更新特征执行叠加操作以获得第二叠加特征。
在一些实施例中，第一小波变换单元730可以进一步包括第二预测卷积网络P21，配置成接收第一叠加特征作为输入，并生成关于第一叠加特征的第三预测特征；第二去叠加单元732，配置成对第二叠加特征与第三预测特征执行去叠加操作以获得第二编码输出成分；第二更新卷积网络U21，配置成接收第二编码输出成分作为输入，并生成关于第二编码输出成分的第三更新特征；第二叠加单元734，配置成对第一叠加特征与第三更新特征执行叠加操作以获得第一编码输出成分。
在一些实施例中，第二小波变换单元740可以进一步包括第三预测卷积网络P22，配置成接收第一差别特征作为输入，并生成关于第一差别特征的第四预测特征；第三去叠加单元742，配置成对第二差别特征与第四预测特征执行去叠加操作以获得第四编码输出成分；第三更新卷积网络U22，配置成接收第四编码输出成分作为输入，并生成关于第四编码输出成分的第四更新特征；第三叠加单元644，配置成对第一差别特征与第四更新特征执行叠加操作以获得第三编码输出成分。
图7中示出的结构不是限制性的。例如，可以在变换单元414中对换第一预测单元710和第一更新单元720的结构。
利用图7示出的图像处理装置可以对拆分后的低分辨率图像进行图像变换，使图像数据转换为更适于被压缩的形式。这里的图像变换中不损失图像信息，经过相应的逆变换可以无损的还原图像信息。
图8示出了根据本申请实施例的一种去叠加单元416的示意图。如图7所示，去叠加单元416包括多个去叠加子单元416-1、……416-n。去叠加单元416接收来自最后一级编码单元输出的一个参考图像REF和n个图像成分。对于第一个图像成分C1，去叠加子单元416-1执行关于参考图像REF和图像成分C1的去叠加操作，获得从图像成分C1中减去参考图像REF的图像成分D1。
利用图8中示出的去叠加单元416可以进一步减少图像信息中的冗余，使得进一步提高压缩率。
图9示出了根据本申请实施例的一种解压缩装置的示意图。解压缩装置900可以包括变换解码单元920。
图9示出的变换解码单元920对应于图4中示出的变换编码单元，能够将经过变换编码单元410变换的图像数据无损地还原为原始数据。
变换解码单元920可以包括用于接收压缩图像的输入端，压缩图像包括一个参考图像和mn-1个图像成分，其中m是大于1的整数，n是大于等于1的整数。其中参考图像和mn-1个图像成分中的每个图像成分可以包括多个通道(如RGB三个通道)。
变换解码单元910还可以包括级联的n级解码单元920-1、920-2……920-n，对于1≤i＜n，第i级解码单元的输入为第i级解码输入图像并包括mi个图像成分，第i级解码单元的输出为第i级解码输出图像并包括mi-1个图像成分，以及第i级解码单元的输出是第i+1级解码单元的输入。
在一些实施例中，级联的n级解码单元中的每一个可以包括逆变换单元922和复合单元924。也就是说，第i级解码单元920-i中包括逆变换单元922-i和复合单元924-i。逆变换单元用于对第i级解码单元的输入的mi个图像成分执行逆变换，从而无损地还原压缩图像。复合单元924用于对mi个经过逆变换的解码输出成分执行复合操作，从而将mi个图像成分复合为mi-1个图像成分。
变换解码单元920还可以包括输出端，配置成输出对应于压缩图像的还原图像。
在一些实施例中，如果相应的图像压缩装置中的变换编码单元410包括去叠加单元416，那么变换解码单元920中还可以包括叠加单元926。
图10示出了根据本申请的实施例的一种叠加单元926的示意图。叠加单元926执行对应于去叠加单元416的操作。如图10所示，叠加单元926包括多个叠加子单元926-1、……926-n。去叠加单元416接收压缩图像的一个参考图像REF和n个图像成分D1、……Dn。对于第一个图像成分D1，去叠加子单元416-1执行关于参考图像REF和图像成分D1的叠加操作，获得在图像成分D1中叠加参考图像REF的图像成分C1。
图11示出了根据本申请的实施例的一种逆变换单元922的示意图。当m＝4时，第i级解码输入图像包括第一解码输入成分、第二解码输入成分、第三解码输入成分和第四解码输入成分，其中每个解码输入成分包括4i-1个图像成分。
逆变换单元922可以包括第一逆小波变换单元1130，配置成执行基于第一解码输入成分和第二解码输入成分的逆小波变换，并基于逆小波变换的结果获得第一差别特征和第一叠加特征；第二逆小波变换单元1140，配置成执行基于第三解码输入成分和第四解码输入成分的逆小波变换，并基于逆小波变换的结果获得第二差别特征和第二叠加特征；第二更新单元1120，配置成基于第二差别特征和第二叠加特征生成更新图像，并基于更新图像、第一差别特征和第一叠加特征生成第一解码输出成分和第二解码输出成分；第二预测单元1110，配置成基于第一解码输出成分和第二解码输出成分生成预测图像，并基于预测图像、第二差别特征和第二叠加特征生成第三解码输出成分和第四解码输出成分。
在一些实施例中，第二更新单元1120进一步包括第一更新卷积网络U’1和第一去叠加单元1122。第一更新卷积网络U’1配置成接收第二差别特征和第二叠加特征作为输入，并生成关于第二差别特征和第二叠加特征的第一更新特征和第二更新特征。第一更新特征和第二更新特征可以是相同的，也可以是不同的。第一去叠加单元1122配置成对第一差别特征和第一更新特征执行去叠加操作以获得第一解码输出成分，以及对第一叠加特征和第二更新特征执行去叠加操作以获得第二解码输出成分。
在一些实施例中，第二预测单元1110进一步包括第一预测卷积网络P’1和第一叠加单元1112。第一预测卷积网络P’1配置成接收第一解码输出成分和第二解码输出成分作为输入，并生成关于第一解码输出成分和第二解码输出成分的第一预测特征和第二预测特征。第一预测特征和第二预测特征可以是相同的，也可以是不同的。第一叠加单元1112配置成对第二差别特征和第一预测特征执行叠加操作以获得第三解码输出成分，以及对第第二叠加特征和第二预测特征执行叠加操作以获得第四解码输出成分。
在一些实施例中，第一逆小波变换单元1130可以进一步包括第二更新卷积网络U’21，配置成接收第二解码输入成分作为输入，并生成关于第二解码输入成分的第三更新特征；第二去叠加单元1134，配置成对第一解码输入成分和第三更新特征执行去叠加操作以获得第一差别特征；第二预测卷积网络P’21，配置成接收第一差别特征作为输入，并生成关于第一差别特征的第三预测特征；第二叠加单元1132，配置成对第二解码输入成分和第三预测特征执行叠加操作以获得第一叠加特征。
在一些实施例中，第二逆小波变换1140可以进一步包括第三更新卷积网络U’22，配置成接收第四解码输入成分作为输入，并生成关于第四图像解码输入的第四更新特征；第三去叠加单元1142，配置成对第三解码输入成分和第四更新特征执行去叠加操作以获得第二差别特征；第三预测卷积网络P’22，配置成接收第二差别特征作为输入，并生成关于第二差别特征的第四预测特征；第三叠加单元1144，配置成对第四解码输入成分和第四预测特征执行叠加操作以获得第二叠加特征。
由于逆变换单元922用于恢复经过变换单元422的处理的图像，因此，在一些实施例中，逆变换单元922中的卷积网络与变换单元422中的卷积网络完全对应。也就是说，逆变换单元922中的第一预测卷积网络P’1、第一更新卷积网络U’1、第二更新卷积网络U’21、第二预测卷积网络P’21、第三更新卷积网络U’22、第三预测卷积网络P’22与变换单元422中的第一预测卷积网络P1、第一更新卷积网络U1、第二更新卷积网络U21、第二预测卷积网络P21、第三更新卷积网络U22、第三预测卷积网络P22具有相同的结构和配置参数。
图11中示出的结构是非限制性的。例如，可以在逆变换单元922中对换第二预测单元1110和第二更新单元1120的结构。
图12示出了根据本申请的实施例的一种复合单元的示意图。复合单元可以将多个低分辨率的小图像复合为分辨率更高的复合图像。复合单元配置成执行如前所述的拆分单元的逆变换，从而将拆分后的低分辨率的小图像还原为高分辨率的原始图像。
图13示意性地示出了对图像进行变换编码和变换解码的过程。在变换编码单元的输入端接收输入图像。如图13所示，输入图像可以包括任意多个通道，例如，RGB三通道。经过第1级变换解码单元的处理，输入图像经由拆分单元被拆分为四个分辨率更低的子图像。如上文所述，输入图像可以被拆分为任意多个子图像。通过变换单元对拆分后的子图像进行图像变换，使得图像数据变得更适于被压缩。可以看出，对于包括多个通道的输入图像，如图13所示的第1级变换编码单元的每个箭头可以处理多个通道的数据。例如，对于包括RGB 3个通道输入图像，第1级变换编码单元中的每个箭头可以处理3个通道的数据。经过第1级变换编码单元后，输入图像被变换为四个图像成分，其中第一图像成分是输入图像的参考图像，即包含输入图像的大部分图像信息，而第二、三、四图像成分包含输入图像的其他细节信息。与参考图像相比，其余图像成分的像素信息接近于零。
根据图像处理的实际需要，可以使用多级变换编码单元对图像进行处理。例如，如图13所示的输入图像经过n级变换编码单元后，可以得到4n个图像成分，其中第一图像成分是包含了输入图像大部分信息的参考图像，其余是包含了细节信息的图像成分。与参考图像相比，其余图像成分的像素信息接近于零。
此外，由于每一级变换编码单元都将输入图像拆分为更多的低分辨率的子图像，因此，每一级变换编码单元都可以比上一级变换编码单元具有更多的通道。例如，对于如图13中示出的输入图像，第1级变换编码单元中的每个箭头可以处理3个通道的数据，第2级变换编码单元中的每个箭头可以处理12个通道的数据，依次类推，第n级变换编码单元中的每个箭头可以处理3*4n-1个通道的数据。
如上所述的图像变换编码过程是可逆的，对应于n级变换编码单元，使用相同配置的n级变换解码单元可以在不丢失图像信息的情况下还原输入图像。每一级变换解码单元用于对输入的多个图像成分进行逆变换，并对变换后的图像成分执行复合操作，将图像成分还原为分辨率更高的图像成分。对应于编码过程，经过相同级数的解码过程的处理，可以将多个图像成分还原为原始的输入图像。在此不再赘述。
图14示出了根据本申请的实施例的一种图像压缩方法的流程图。可以利用如图4所示的图像压缩装置执行图像压缩方法1400。在步骤S1402中，接收输入图像。然后，在步骤S1404中，利用级联的n级编码单元对输入图像进行图像编码以产生输出图像，n为大于等于1的整数，对于1≤i＜n，第i级编码单元的输入为第i级编码输入图像并包括mi-1个图像成分，第i级编码单元的输出为第i级编码输出图像并包括mi个图像成分，以及第i级编码单元的输出是第i+1级编码单元的输入，其中m是大于1的整数。
图像压缩方法1400还可以包括：在步骤S1406中，对mn-1个对应于输入图像的图像成分和参考图像执行去叠加操作，获得mn-1个图像成分与参考图像的差别图像。
图像压缩方法1400还可以包括：在步骤S1408中，对参考图像和mn-1个图像成分执行量化操作。
在一些实施例中，图像压缩方法1400中可以省略步骤S1406。即在对输入图像完成编码后直接进行量化操作。
上述图像压缩方法能够改进输入图像进行压缩前的变换编码过程，使得变换后的图像具有更少的内容冗余，更适于被压缩。
图15示出了根据本申请的实施例的第i级变换编码单元的图像编码过程的流程图。可以利用如图4中示出的变换编码单元410-i执行图像编码过程1500。在步骤S1502中，接收第i级编码输入图像。在步骤S1504中，对于第i级编码输入图像中的每个图像成分，将该图像成分拆分为m个编码输入成分。在步骤S1506中，对于第i级编码输入图像中的每个图像成分，对从该图像成分拆分得到的m个编码输入成分进行图像变换，生成对应于该图像成分的m个编码输出成分。在步骤S1508中，输出对应于第i级编码输入的mi-1个图像成分的mi个编码输出成分作为第i级编码输出图像。
图16示出了当m＝4时，根据本申请的实施例的第i级变换编码单元中的图像变换过程的流程图。可以使用如图4或图7中示出的变换单元414执行图像变换过程1600。
当m＝4时，第i级编码输入图像中的每个图像成分被拆分为第一编码输入成分、第二编码输入成分、第三编码输入成分和第四编码输入成分。因此在步骤S1602中，变换单元414接收第一编码输入成分、第二编码输入成分、第三编码输入成分和第四编码输入成分。在步骤S1604中，基于第一编码输入成分和第二编码输入成分生成预测图像并获取第三编码输入成分和第四编码输入成分和预测图像的差别图像。
其中，如图17A中所示出的，步骤S1604可以进一步包括：在步骤S1702中，利用将第一编码输入成分和第二编码输入成分作为输入的第一预测卷积网络P1生成第一预测特征和第二预测特征。第一预测特征和第二预测特征可以是相同的，也可以是不同的。在步骤S1704中，对第三编码输入成分和第一预测特征执行去叠加操作以获得第一差别特征。在步骤S1706中，对第四编码输入成分和第二预测特征执行去叠加操作以获得第二差别特征。
在步骤S1606中，基于差别图像、第一编码输入成分和第二编码输入成分生成第一编码输入成分和第二编码输入成分的更新图像。
其中，如图17B中示出的，步骤S1604可以进一步包括：在步骤S1708中，利用将第一差别特征和第二差别特征作为输入的第一更新卷积网络U1生成第一更新特征和第二更新特征。第一更新特征和第二更新特征可以是相同的，也可以是不同的。在步骤S1710中，对第一编码输入成分与第一更新特征执行叠加操作以获得第一叠加特征。在步骤S1712中，对第二编码输入成分与第二更新特征执行叠加操作以获得第二叠加特征。
在步骤S1608中，执行基于更新图像的小波变换，并基于小波变换的结果生成第一编码输出成分和第二编码输出成分。
在步骤S1610中，执行基于差别图像的小波变换，并基于小波变换的结果生成第三编码输出成分和第四编码输出成分。
图18示出了根据本申请的实施例的基于更新图像的小波变换的流程图。可以利用图7中示出的第一小波变换单元730实施基于更新图像的小波变换1800。在步骤S1802中，利用将第一叠加特征作为输入的第二预测卷积网络P21生成关于第一叠加特征的第三预测特征。在步骤S1804中，对第二叠加特征与第三预测特征执行去叠加操作以获得第二编码输出成分。在步骤S1806中，利用将第二编码输出成分作为输入的第二更新卷积网络U21生成关于第二编码输出成分的第三更新特征。在步骤S1808中，对第一叠加特征与第三更新特征执行叠加操作以获得第一编码输出成分。
图19示出了根据本申请的实施例的基于差别图像的小波变换的流程图。可以利用图7中示出的第二小波变换单元740实施基于差别图像的小波变换1900。在步骤S1902中，利用将第一差别特征作为输入的第三预测卷积网络P22生成第四预测特征。在步骤S1904中，对第二差别特征与第四预测特征执行去叠加操作以获得第四编码输出成分。在步骤S1906中，利用将第四编码输出成分作为输入的第三更新卷积网络U22生成第四更新特征。在步骤S1908中，对第一差别特征与第四更新特征执行叠加操作以获得第三编码输出成分。
根据本申请的实施例提供的图像压缩方法，可以减少图像中的内容冗余，提高图像的压缩率。
图20示出了根据本申请的实施例的一种图像解压缩方法的流程图。可以利用如图9所示的图像解压缩装置执行图像解压缩方法2000。在步骤S2002中，接收压缩图像，压缩图像包括一个参考图像和mn-1个图像成分。在步骤S2004中，对mn-1个图像成分和参考图像执行叠加操作，获得mn-1个图像成分与参考图像的叠加图像。在步骤S2006中，利用级联的n级解码单元对压缩图像进行图像解码以产生还原图像，对于1≤i＜n，第i级解码单元的输入为第i级解码输入图像并包括mi个图像成分，第i级解码单元的输出为第i级解码输出图像并包括mi-1个图像成分，以及第i级解码单元的输出是第i+1级解码单元的输入。在步骤S2008中，输出对应于压缩图像的还原图像。
为了无损地还原压缩图像，图像解压缩方法2000是对应于图像压缩方法1400的。也就是说，例如，当图像压缩方法1400中省略执行去叠加操作的步骤S1408时，图像解压缩方法2000中也相应地省略执行叠加操作的步骤S2004。
图21示出了根据本申请的实施例的第i级变换解码单元的图像解码方法的流程图。可以利用如图9中示出的变换解码单元910执行图像解码方法2100。在步骤S2102中，接收第i级解码输入图像，其中第i级输入图像包括mi个输入子图像。在步骤S2104中，对mi个图像成分进行图像逆变换，生成对应于第i级解码输入图像的mi个解码输出成分。在步骤S2106中，将mi个解码输出成分复合为mi-1个解码输出子图像。在步骤S2108中，将对应于第i级解码输入图像的mi个图像成分的mi-1个解码输出子图像输出作为第i级解码输出图像。
图22示出了当m＝4时，根据本申请的实施例的图像逆变换方法的流程图。可以利用如图9或图11中示出的逆变换单元922执行图像逆变换方法2200。在步骤S2202中，逆变换单元922接收第一解码输入成分、第二解码输入成分、第三解码输入成分以及第四解码输入成分。在步骤S2204中，执行基于第一解码输入成分和第二解码输入成分的逆小波变换，并基于逆小波变换的结果获得第一差别特征和第一叠加特征。在步骤S2206中，执行基于第三解码输入成分和第四解码输入成分的逆小波变换，并基于逆小波变换的结果获得第二差别特征和第二叠加特征。
在步骤S2208中，基于第二差别特征和第二叠加特征生成更新图像，并基于更新图像、第一差别特征和第一叠加特征生成第一解码输出成分和第二解码输出成分。
如图23A中所示出的，步骤S2208可以进一步包括：在步骤S2302中，利用将第二差别特征和第二叠加作为输入的第一更新卷积网络U’1生成第一更新特征和第二更新特征。第一更新特征和第二更新特征可以是相同的，也可以是不同的。在步骤S2504中，对第一差别特征和第一更新特征执行去叠加操作以获得第一解码输出成分。在步骤S2506中，对第一叠加特征和第二更新特征执行去叠加操作以获得第二解码输出成分。
在步骤S2210中，基于第一解码输出成分和第二解码输出成分生成预测图像，并基于预测图像、第二差别特征和第二叠加特征生成第三解码输出成分和第四解码输出成分。
如图23B中所示出的，步骤S2210可以进一步包括：在步骤S2308中，利用将第一解码输出成分和第二解码输出成分作为输入的第一预测卷积网络P’1生成第一预测特征和第二预测特征。第一预测特征和第二预测特征可以是相同的，也可以是不同的。在步骤S2310中，对第二差别特征和第一预测特征执行叠加操作以获得第三解码输出成分。在步骤S2306中，对第二叠加特征和第二预测特征执行叠加操作以获得第四解码输出成分。
图24示出了基于第一解码输入成分和第二解码输入成分的逆小波变换方法的流程图。可以利用如图11中示出的逆小波变换单元1130执行逆小波变换方法2400。在步骤S2402中，利用将第二解码输入成分作为输入的第二更新卷积网络U’21生成第三更新特征。在步骤S2404中，对第一解码输入成分和第三更新特征执行去叠加操作以获得第一差别特征。在步骤S2406中，利用将第一差别特征作为输入的第二预测卷积网络P’21生成第三预测特征。在步骤S2408中，对第二解码输入成分和第三预测特征执行叠加操作以获得第一叠加特征。
图25中示出了基于第三解码输入成分和第四解码输入成分的逆小波变换方法的流程图。可以利用如图11中示出的逆小波变换单元1140执行逆小波变换方法2500。在步骤S2502中，利用将第四解码输入成分作为输入的第三更新卷积网络U’22生成第四更新特征。在步骤S2504中，对第三解码输入成分和第四更新特征执行去叠加操作以获得第二差别特征。在步骤S2506中，利用将第二差别特征作为输入的第三预测卷积网络P’22生成第四预测特征。步骤S2508中，对第四解码输入成分和第四预测特征执行叠加操作以获得第二叠加特征。
利用本申请的实施例提供的图像解压缩方法，可以在不丢失信息的情况下将压缩图像还原为原始图像。
图26示出了根据本申请的实施例的一种图像处理系统的示意图。如图13所示，图像处理系统2600的前半部分可以是如图4所示的图像压缩装置，用于压缩图像。图像处理系统2600的后半部分可以是如图9所示的图像解压缩装置，用于还原压缩图像。利用图像处理系统1400可以实现对图像的压缩及解压缩过程，图像压缩装置和解压缩装置的具体的结构已在上文中详细阐述，在此不再赘述。
利用深度学习方法可以实现对图像处理系统1400中各卷积网络的参数的配置。
根据本发明的实施例的训练方法包括以下步骤：
将训练图像输入图像处理系统，调整n级编码单元和n级解码单元中各卷积层中各卷积网络的权值，运行有限次迭代以使目标函数最优化。
在训练中，通过减少量化后的还原图像的均方差(MSE)可以减少量化操作带来的图像信息的损失。由于普通的量化函数的梯度大多数都是零，因此难以应用到训练过程中。使用如下定义的量化函数可以模拟或接近量化效果，同时梯度不为零，使得在训练过程中可以容易地使用量化操作：
对于如图26所示出的图像处理系统，针对每一级编码单元和解码单元输入训练图像。例如，在图像处理系统的输入端输入原始的高分辨率的图像HR。
在一些实施例中，目标函数可以包括图像处理系统中的编码损失、解码损失、风格损失、以及权重正则化系数中的一项或任意几项的和。下文中将介绍上述损失函数的计算方法。
在HR图像经过第1级编码单元的处理后，计算第1级编码单元输出的参考图像REF1和第1级编码单元的训练图像LR1之间的编码损失。上述编码损失可以通过编码损失函数进行计算：
在这里
其中REFk是第k级编码单元输出的第一图像成分，LRk是第k级编码单元的训练图像，其中LRk是图像处理系统的训练图像的下采样图像，并具有与REFk相同的尺寸；C0是训练图像的数量；Cki是第k级编码单元输出的图像成分，其中1≤i≤mk-1。
相应地，在解码过程中可以计算第k级解码单元输出的参考图像REFk和第k级解码单元的训练图像之间的解码损失。上述解码损失可以通过解码损失函数进行计算：
其中IQ函数评价REFk与LRk之间的差别。在一些实施例中，IQ函数可以是MSE函数：
MSE(X,Y)＝||X-Y||2其中X、Y分别代表REFk与LRk的图像数据。
在一些实施例中，IQ函数可以是SSIM函数：
其中X、Y分别代表REFk与LRk的图像数据。μX和μY分别代表X和Y的平均值，σX和σY分别代表X和Y的标准偏差，c1＝(0.01×D)2，c2＝(0.03×D)2，D表示图像的动态范围，例如，对于浮点数来说，D的值通常是1.0。
此外，根据第i级编码单元的输出以及对应一级的解码单元的输入可以计算这一级的风格损失函数。例如，可以根据第1级编码单元的输出以及第n级解码单元的输入计算第1级的风格损失函数。根据第2级编码单元的输出以及第n-1即解码单元的输入可以计算第2级的风格损失函数。风格损失函数可以通过下式定义：
其中对于具有m个通道的图像成分F，
其中GX、GY分别是X图像、Y图像的格拉姆矩阵的特征量，X是第k级编码单元的输出图像，Y是第i+1-k级编码单元的输出图像，其中1≤k≤n。
此外，系统的权重正则化系数定义为：
其中W是图像处理系统中所有卷积网络的权重参数，b是图像处理系统中所有卷积网络的偏置。
基于以上损失函数中的一项或多项可以计算图像处理系统的总损失函数。可以将图像处理系统的总损失函数应用于任何深度学习的优化策略，如随机梯度下降SGD或其变型(如动量SGD、Adam、RMSProp等)。
通过本申请的实施例提供的图像处理系统的训练方法，可以利用深度学习的策略对图像处理系统中的卷积神经网络进行参数配置。通过计算训练图像与图像处理系统中生成的图像之间的损失函数作为目标函数，调整图像处理系统中卷积神经网络的参数使得目标函数最优化，从而实现更好的压缩效果。
需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (31)

1.一种图像压缩方法，包括：
接收输入图像；
利用级联的n级编码单元对所述输入图像进行图像编码以产生输出图像，n为大于等于1的整数，
对于1≤i＜n，第i级编码单元的输入为第i级编码输入图像并包括mi-1个图像成分，第i级编码单元的输出为第i级编码输出图像并包括mi个图像成分，以及第i级编码单元的输出是第i+1级编码单元的输入，其中m是大于1的整数；
输出所述输出图像，所述输出图像包括一个对应于所述输入图像的参考图像和mn-1个对应于所述输入图像的图像成分。
2.如权利要求1所述的图像压缩方法，其中所述输入图像、所述参考图像和所述mn-1个图像成分中的每个图像成分包括R、G、B三个通道。
3.如权利要求1所述的图像压缩方法，进一步包括：
对所述参考图像和所述mn-1个图像成分执行量化操作，获得对应于所述输入图像的压缩图像。
4.如权利要求3所述的图像压缩方法，其中通过量化函数执行所述量化操作，所述量化函数是：
<mrow> <msub> <mi>SOFT</mi> <mrow> <mi>Q</mi> <mrow> <mo>(</mo> <msub> <mi>F</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>+</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <msub> <mi>L</mi> <mi>j</mi> </msub> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>L</mi> <mi>j</mi> </msub> </munderover> <mi>tanh</mi> <mrow> <mo>(</mo> <msub> <mi>a</mi> <mi>j</mi> </msub> <msub> <mi>L</mi> <mi>j</mi> </msub> <mo>(</mo> <mrow> <msub> <mi>F</mi> <mi>j</mi> </msub> <mo>+</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <msub> <mi>L</mi> <mi>j</mi> </msub> </mrow> </mfrac> <mo>-</mo> <mfrac> <mi>i</mi> <msub> <mi>L</mi> <mi>j</mi> </msub> </mfrac> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow>
其中Lj是第j个输出图像的量化水平，aj是第j个图像的硬度参数。
5.如权利要求1所述的图像压缩方法，进一步包括：
对所述mn-1个对应于所述输入图像的图像成分和所述参考图像执行去叠加操作，获得所述mn-1个图像成分与参考图像的差别图像，以及
对所述参考图像和所述mn-1个图像成分执行量化操作，获得对应于所述输入图像的压缩图像。
6.如权利要求1-5所述的图像压缩方法，其中利用第i级编码单元进行图像编码包括：
接收第i级编码输入图像；
对于所述第i级编码输入图像中的每个图像成分，将该图像成分拆分为m个编码输入成分，其中所述m个编码输入成分中的每一个的尺寸是第i级编码输入图像中的每个图像成分的尺寸的1/m倍；并且对所述m个编码输入成分进行图像变换，生成对应于该图像成分的m个编码输出成分，其中所述m个编码输出成分中的每一个的尺寸与所述m个编码输入成分中的每一个的尺寸相同；
输出对应于第i级编码输入的mi-1个图像成分的mi个编码输出成分作为第i级编码输出图像。
7.如权利要求6所述的图像压缩方法，其中m＝4，所述第i级编码输入图像中的每个图像成分被拆分为第一编码输入成分、第二编码输入成分、第三编码输入成分和第四编码输入成分，利用第i级编码单元对所述第一编码输入成分、所述第二编码输入成分、所述第三编码输入成分和所述第四编码输入成分进行图像变换包括：
接收所述第一编码输入成分、所述第二编码输入成分、所述第三编码输入成分和所述第四编码输入成分；
基于所述第一编码输入成分和所述第二编码输入成分生成预测图像并获取所述第三编码输入成分和所述第四编码输入成分和所述预测图像的差别图像；
基于所述差别图像、所述第一编码输入成分和所述第二编码输入成分生成关于所述第一编码输入成分和所述第二编码输入成分的更新图像；
执行基于所述更新图像的小波变换，并基于小波变换的结果生成第一编码输出成分和第二编码输出成分；
执行基于所述差别图像的小波变换，并基于小波变换的结果生成第三编码输出成分和第四编码输出成分。
8.如权利要求7所述的图像压缩方法，其中基于所述第一编码输入成分和所述第二编码输入成分生成预测图像并获取所述第三编码输入成分和所述第四编码输入成分和所述预测图像的差别图像包括：
利用将所述第一编码输入成分和所述第二编码输入成分作为输入的第一预测卷积网络生成第一预测特征和第二预测特征；
对所述第三编码输入成分和所述第一预测特征执行去叠加操作以获得第一差别特征；
对所述第四编码输入成分和所述第二预测特征执行去叠加操作以获得第二差别特征；
基于所述差别图像、所述第一编码输入成分和所述第二编码输入成分生成更新图像包括：
利用将所述第一差别特征和所述第二差别特征作为输入的第一更新卷积网络生成第一更新特征和第二更新特征；
对所述第一编码输入成分与所述第一更新特征执行叠加操作以获得第一叠加特征；
对所述第二编码输入成分与所述第二更新特征执行叠加操作以获得第二叠加特征。
9.如权利要求8所述的图像压缩方法，其中执行所述基于所述更新图像的小波变换，并基于小波变换的结果生成第一编码输出成分和第二编码输出成分包括：
利用将所述第一叠加特征作为输入的第二预测卷积网络生成第三预测特征；
对所述第二叠加特征与所述第三预测特征执行去叠加操作以获得所述第二编码输出成分；
利用将所述第二编码输出成分作为输入的第二更新卷积网络生成第三更新特征；
对所述第一叠加特征与所述第三更新特征执行叠加操作以获得所述第一编码输出成分。
10.如权利要求8所述的图像压缩方法，其中执行所述基于所述差别图像的小波变换，并基于小波变换的结果生成第三编码输出成分和第四编码输出成分包括：
利用将所述第一差别特征作为输入的第三预测卷积网络生成第四预测特征；
对所述第二差别特征与所述第四预测特征执行去叠加操作以获得所述第四编码输出成分；
利用将所述第四编码输出成分作为输入的第三更新卷积网络生成第四更新特征；
对所述第一差别特征与所述第四更新特征执行叠加操作以获得所述第三编码输出成分。
11.一种图像解压缩方法，包括：
接收压缩图像，所述压缩图像包括一个参考图像和mn-1个图像成分，其中m是大于1的整数，n是大于等于1的整数；
利用级联的n级解码单元对所述压缩图像进行图像解码以产生还原图像，n为大于等于1的整数，
对于1≤i＜n，第i级解码单元的输入为第i级解码输入图像并包括mi个图像成分，第i级解码单元的输出为第i级解码输出图像并包括mi-1个图像成分，以及第i级解码单元的输出是第i+1级解码单元的输入；
输出对应于所述压缩图像的还原图像。
12.如权利要求11所述的图像解压缩方法，其中所述参考图像、所述mn-1个图像成分中的每个图像成分和所述还原图像包括R、G、B三个通道。
13.如权利要求11所述的图像解压缩方法，进一步包括：
对所述mn-1个图像成分和所述参考图像执行叠加操作，获得mn-1个图像成分与参考图像的mn-1个叠加图像；
利用级联的n级解码单元对所述参考图像和所述mn-1个叠加图像进行图像解码。
14.如权利要求11-13所述的图像解压缩方法，其中利用第i级解码单元的进行图像解码包括：
接收第i级解码输入图像；
对所述mi个图像成分进行图像逆变换，生成对应于第i级解码输入图像的mi个解码输出成分，其中所述mi个编码输出成分中的每一个的尺寸与所述mi个图像成分中的每一个的尺寸相同；
将所述mi个解码输出成分复合为mi-1个解码输出子图像，其中所述mi-1个解码输出子图像中的每一个的尺寸是第i级解码输入图像的mi个图像成分中每一个的尺寸的m倍；
将对应于第i级解码输入图像的mi个图像成分的mi-1个解码输出子图像输出作为第i级解码输出图像。
15.如权利要求14所述的图像解压缩方法，其中m＝4，所述第i级解码输入图像包括第一解码输入成分、第二解码输入成分、第三解码输入成分和第四解码输入成分，其中每个解码输入成分包括4i-1个图像成分；
执行基于所述第一解码输入成分和所述第二解码输入成分的逆小波变换，并基于逆小波变换的结果获得第一差别特征和第一叠加特征；
执行基于所述第三解码输入成分和所述第四解码输入成分的逆小波变换，并基于逆小波变换的结果获得第二差别特征和第二叠加特征；
基于所述第二差别特征和所述第二叠加特征生成更新图像，并基于所述更新图像、所述第一差别特征和所述第一叠加特征生成第一解码输出成分和第二解码输出成分；
基于所述第一解码输出成分和所述第二解码输出成分生成预测图像，并基于所述预测图像、所述第二差别特征和所述第二叠加特征生成所述第三解码输出成分和所述第四解码输出成分。
16.如权利要求15所述的图像解压缩方法，其中基于所述第二差别特征和所述第二叠加特征生成更新图像，并基于所述更新图像、所述第一差别特征和所述第一叠加特征生成第一解码输出成分和第二解码输出成分包括：
利用将所述第二差别特征和第二叠加特征作为输入的第一更新卷积网络生成第一更新特征和第二更新特征；
对所述第一差别特征和所述第一更新特征执行去叠加操作以获得第一解码输出成分；
对所述第一叠加特征和所述第二更新特征执行去叠加操作以获得第二解码输出成分；
基于所述第一解码输出成分和所述第二解码输出成分生成预测图像，并基于所述预测图像、所述第二差别特征和所述第二叠加特征生成所述第三解码输出成分和所述第四解码输出成分包括：
利用将所述第一解码输出成分和所述第二解码输出成分作为输入的第一预测卷积网络生成第一预测特征和第二预测特征；
对所述第二差别特征和所述第一预测特征执行叠加操作以获得第三解码输出成分；
对所述第二叠加特征和所述第二预测特征执行叠加操作以获得第四解码输出成分。
17.如权利要求16所述的图像解压缩方法，其中执行基于所述第一解码输入成分和所述第二解码输入成分的逆小波变换，并基于逆小波变换的结果获得第一差别特征和第一叠加特征包括：
利用将所述第二解码输入成分作为输入的第二更新卷积网络生成第三更新特征；
对所述第一解码输入成分和所述第三更新特征执行去叠加操作以获得第一差别特征；
利用将所述第一差别特征作为输入的第二预测卷积网络生成第三预测特征；
对所述第二解码输入成分和所述第三预测特征执行叠加操作以获得第一叠加特征。
18.如权利要求16所述的图像解压缩方法，其中执行基于所述第三解码输入成分和所述第四解码输入成分的逆小波变换，并基于逆小波变换的结果获得第二差别特征和第二叠加特征包括：
利用将所述第四解码输入成分作为输入的第三更新卷积网络生成第四更新特征；
对所述第三解码输入成分和所述第四更新特征执行去叠加操作以获得第二差别特征；
利用将所述第二差别特征作为输入的第三预测卷积网络生成第四预测特征；
对所述第四解码输入成分和所述第四预测特征执行叠加操作以获得第二叠加特征。
19.一种图像压缩装置，包括：
输入端，配置成接收输入图像；
级联的n级编码单元，配置成对所述输入图像进行图像编码以产生输出图像，n为大于等于1的整数，对于1≤i＜n，第i级编码单元的输入为第i级编码输入图像并包括mi-1个图像成分，第i级编码单元的输出为第i级编码输出图像并包括mi个图像成分，以及第i级编码单元的输出是第i+1级编码单元的输入，其中m是大于1的整数；
输出端，配置成输出所述输出图像，所述输出图像包括一个对应于所述输入图像的参考图像和mn-1个对应于所述输入图像的图像成分；
去叠加单元，配置成对所述mn-1个对应于所述输入图像的图像成分和所述参考图像执行去叠加操作，获得所述mn-1个图像成分与参考图像的差别图像；
量化单元；配置成对所述参考图像和所述mn-1个图像成分执行量化操作，获得对应于所述输入图像的压缩图像。
20.一种图像解压缩装置，包括：
输入端，配置成接收压缩图像，所述压缩图像包括一个参考图像和mn-1个图像成分，其中m是大于1的整数，n是大于等于1的整数；
叠加单元，配置成对所述mn-1个图像成分和所述参考图像执行叠加操作，获得mn-1个图像成分与参考图像的mn-1个叠加图像；
级联的n级解码单元，配置成对所述压缩图像进行图像解码以产生还原图像，n为大于等于1的整数，对于1≤i＜n，第i级解码单元的输入为第i级解码输入图像并包括mi个图像成分，第i级解码单元的输出为第i级解码输出图像并包括mi-1个图像成分，以及第i级解码单元的输出是第i+1级解码单元的输入；
输出端，配置成输出对应于所述压缩图像的还原图像。
21.一种图像处理系统，包括如权利要求19所述的图像压缩装置和如权利要求20所述的图像解压缩装置。
22.一种用于如权利要求21所述的图像处理系统的训练方法，包括：
将训练图像输入所述图像处理系统，调整所述n级编码单元和所述n级解码单元中各卷积层中各卷积网络的权值，运行有限次迭代以使目标函数最优化。
23.如权利要求22所述的训练方法，其中所述目标函数是以下各项中的一项或多项的和:
编码损失函数
<mrow> <msub> <mi>L</mi> <mrow> <msub> <mi>ENC</mi> <mi>k</mi> </msub> </mrow> </msub> <mo>=</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>REF</mi> <mi>k</mi> </msub> <mo>-</mo> <msub> <mi>LR</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mo>|</mo> <mn>2</mn> </msub> <mo>+</mo> <munderover> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> </munder> <mrow> <mi>i</mi> <mo>&amp;NotEqual;</mo> <msub> <mi>C</mi> <mi>k</mi> </msub> </mrow> <mrow> <msub> <mi>C</mi> <mn>0</mn> </msub> <mo>&amp;CenterDot;</mo> <msup> <mi>m</mi> <mi>k</mi> </msup> </mrow> </munderover> <mo>|</mo> <mo>|</mo> <msub> <mi>C</mi> <mrow> <mi>k</mi> <mi>i</mi> </mrow> </msub> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> </mrow>
其中REFk是第k级编码单元输出的第一图像成分，LRk是第k级编码单元的训练图像，其中LRk是图像处理系统的训练图像的下采样图像，并具有与REFk相同的尺寸；C0是训练图像的数量；Cki是第k级编码单元输出的图像成分，其中1≤i≤mk-1；
解码损失函数
<mrow> <msub> <mi>L</mi> <mrow> <msub> <mi>DEC</mi> <mi>k</mi> </msub> </mrow> </msub> <mo>=</mo> <mi>I</mi> <mi>Q</mi> <mrow> <mo>(</mo> <msub> <mi>REF</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>LR</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> </mrow>
其中IQ函数评价REFk与LRk之间的差别；
风格损失函数
<mrow> <msub> <mi>L</mi> <mrow> <msub> <mi>STYLE</mi> <mi>k</mi> </msub> </mrow> </msub> <mrow> <mo>(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>G</mi> <mi>X</mi> </msub> <mo>-</mo> <msub> <mi>G</mi> <mi>Y</mi> </msub> <mo>|</mo> <msub> <mo>|</mo> <mn>2</mn> </msub> </mrow>
其中
其中GX、GY分别是X图像、Y的格拉姆矩阵的特征量，X是第k级编码单元的输出图像，Y是第i+1-k级编码单元的输出图像，其中1≤k≤n；
权重正则化系数
<mrow> <msub> <mi>L</mi> <mrow> <mi>R</mi> <mi>E</mi> <mi>G</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <mo>|</mo> <mo>|</mo> <mi>W</mi> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> </mrow> <mrow> <mo>|</mo> <mo>|</mo> <mi>b</mi> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> </mrow> </mfrac> </mrow>
其中W是所述图像处理系统中所有卷积网络的权重参数，b是所述图像处理系统中所有卷积网络的偏置。
24.一种图像编码方法，包括：
接收第一编码输入成分、第二编码输入成分、第三编码输入成分和第四编码输入成分；
基于所述第一编码输入成分和所述第二编码输入成分生成预测图像并获取所述第三编码输入成分和所述第四编码输入成分和所述预测图像的差别图像；
基于所述差别图像、所述第一编码输入成分和所述第二编码输入成分生成关于所述第一编码输入成分和所述第二编码输入成分的更新图像；
执行基于所述更新图像的小波变换，并基于小波变换的结果生成第一编码输出成分和第二编码输出成分；
执行基于所述差别图像的小波变换，并基于小波变换的结果生成第三编码输出和第四编码输出。
25.一种如权利要求24所述的图像编码方法，其中基于所述第一编码输入成分和所述第二编码输入成分生成预测图像并获取所述第三编码输入成分和所述第四编码输入成分和所述预测图像的差别图像包括：
利用将所述第一编码输入成分和所述第二编码输入成分作为输入的第一预测卷积网络生成第一预测特征和第二预测特征；
对所述第三编码输入成分和所述第一预测特征执行去叠加操作以获得第一差别特征；
对所述第四编码输入成分和所述第二预测特征执行去叠加操作以获得第二差别特征；
基于所述差别图像、所述第一编码输入成分和所述第二编码输入成分生成更新图像包括：
利用将所述第一差别特征和所述第二差别特征作为输入的第一更新卷积网络生成第一更新特征和第二更新特征；
对所述第一编码输入成分与所述第一更新特征执行叠加操作以获得第一叠加特征；
对所述第二编码输入成分与所述第二更新特征执行叠加操作以获得第二叠加特征。
26.一种如权利要求25所述的图像编码方法，其中执行所述基于所述更新图像的小波变换，并基于小波变换的结果生成第一编码输出成分和第二编码输出成分包括：
利用将所述第一叠加特征作为输入的第二预测卷积网络生成第三预测特征；
对所述第二叠加特征与所述第三预测特征执行去叠加操作以获得所述第二编码输出成分；
利用将所述第二编码输出成分作为输入的第二更新卷积网络生成第三更新特征；
对所述第一叠加特征与所述第三更新特征执行叠加操作以获得所述第一编码输出成分。
27.一种如权利要求25所述的图像编码方法，其中执行所述基于所述差别图像的小波变换，并基于小波变换的结果生成第三编码输出成分和第四编码输出成分包括：
利用将所述第一差别特征作为输入的第三预测卷积网络生成第四预测特征；
对所述第二差别特征与所述第四预测特征执行去叠加操作以获得所述第四编码输出成分；
利用将所述第四编码输出成分作为输入的第三更新卷积网络生成第四更新特征；
对所述第一差别特征与所述第四更新特征执行叠加操作以获得所述第三编码输出成分。
28.一种图像解码方法，包括：
接收第一解码输入成分、第二解码输入成分、第三解码输入成分和第四解码输入成分；
执行基于所述第一解码输入成分和所述第二解码输入成分的逆小波变换，并基于逆小波变换的结果获得第一差别特征和第一叠加特征；
执行基于所述第三解码输入成分和所述第四解码输入成分的逆小波变换，并基于逆小波变换的结果获得第二差别特征和第二叠加特征；
基于所述第二差别特征和所述第二叠加特征生成更新图像，并基于所述更新图像、所述第一差别特征和所述第一叠加特征生成第一解码输出成分和第二解码输出成分；
基于所述第一解码输出成分和所述第二解码输出成分生成预测图像，并基于所述预测图像、所述第二差别特征和所述第二叠加特征生成所述第三解码输出成分和所述第四解码输出成分。
29.一种如权利要求28所述的图像解码方法，其中基于所述第二差别特征和所述第二叠加特征生成更新图像，并基于所述更新图像、所述第一差别特征和所述第一叠加特征生成第一解码输出成分和第二解码输出成分包括：
利用将所述第二差别特征和第二叠加作为输入的第一更新卷积网络生成第一更新特征和第二更新特征；
对所述第一差别特征和所述第一更新特征执行去叠加操作以获得第一解码输出成分；
对所述第一叠加特征和所述第二更新特征执行去叠加操作以获得第二解码输出成分；
基于所述第一解码输出成分和所述第二解码输出成分生成预测图像，并基于所述预测图像、所述第二差别特征和所述第二叠加特征生成所述第三解码输出成分和所述第四解码输出成分包括：
利用将所述第一解码输出成分和所述第二解码输出成分作为输入的第一预测卷积网络生成第一预测特征和第二预测特征；
对所述第二差别特征和所述第一预测特征执行叠加操作以获得第三解码输出成分；
对所述第二叠加特征和所述第二预测特征执行叠加操作以获得第四解码输出成分。
30.一种如权利要求29所述的图像解码方法，中执行基于所述第一解码输入成分和所述第二解码输入成分的逆小波变换，并基于逆小波变换的结果获得第一差别特征和第一叠加特征包括：
利用将所述第二解码输入成分作为输入的第二更新卷积网络生成第三更新特征；
对所述第一解码输入成分和所述第三更新特征执行去叠加操作以获得第一差别特征；
利用将所述第一差别特征作为输入的第二预测卷积网络生成第三预测特征；
对所述第二解码输入成分和所述第三预测特征执行叠加操作以获得第一叠加特征。
31.一种如权利要求29所述的图像解码方法，其中执行基于所述第三解码输入成分和所述第四解码输入成分的逆小波变换，并基于逆小波变换的结果获得第二差别特征和第二叠加特征包括：
利用将所述第四解码输入成分作为输入的第三更新卷积网络生成第四更新特征；
对所述第三解码输入成分和所述第四更新特征执行去叠加操作以获得第二差别特征；
利用将所述第二差别特征作为输入的第三预测卷积网络生成第四预测特征；
对所述第四解码输入成分和所述第四预测特征执行叠加操作以获得第二叠加特征。
CN201711100322.3A 2017-11-09 2017-11-09 图像压缩方法及装置、图像压缩及解压缩系统 Active CN107801026B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711100322.3A CN107801026B (zh) 2017-11-09 2017-11-09 图像压缩方法及装置、图像压缩及解压缩系统
US16/184,142 US10834425B2 (en) 2017-11-09 2018-11-08 Image compression/decompression method and device, and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711100322.3A CN107801026B (zh) 2017-11-09 2017-11-09 图像压缩方法及装置、图像压缩及解压缩系统

Publications (2)

Publication Number Publication Date
CN107801026A true CN107801026A (zh) 2018-03-13
CN107801026B CN107801026B (zh) 2019-12-03

Family

ID=61534662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711100322.3A Active CN107801026B (zh) 2017-11-09 2017-11-09 图像压缩方法及装置、图像压缩及解压缩系统

Country Status (2)

Country Link
US (1) US10834425B2 (zh)
CN (1) CN107801026B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830385A (zh) * 2018-07-10 2018-11-16 北京京东金融科技控股有限公司 深度学习模型训练方法和装置及计算机可读存储介质
CN108898549A (zh) * 2018-05-29 2018-11-27 Oppo广东移动通信有限公司 图片处理方法、图片处理装置及终端设备
CN110010210A (zh) * 2019-03-29 2019-07-12 北京科技大学 基于机器学习并面向性能要求的多组元合金成分设计方法
CN110460844A (zh) * 2019-08-13 2019-11-15 杭州电子科技大学 基于dwt的3d-hevc快速cu分割预测方法
CN111131834A (zh) * 2019-12-30 2020-05-08 上海交通大学 可逆自编码器、编解码方法以及图像压缩方法、装置
CN111681293A (zh) * 2020-06-09 2020-09-18 西南交通大学 一种基于卷积神经网络的sar图像压缩方法
WO2022021695A1 (zh) * 2020-07-31 2022-02-03 地平线(上海)人工智能技术有限公司 图像处理方法、用于图像处理的指令的生成方法及装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895174B (zh) * 2017-11-09 2020-01-07 京东方科技集团股份有限公司 图像分类和转换方法、装置以及图像处理系统
US10915631B2 (en) * 2017-12-28 2021-02-09 Intel Corporation Deep learning on execution trace data for exploit detection
CN109191382B (zh) * 2018-10-18 2023-12-05 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
WO2020261314A1 (ja) * 2019-06-24 2020-12-30 日本電信電話株式会社 画像符号化方法、及び画像復号方法
CN112235583B (zh) * 2019-07-15 2021-12-24 华为技术有限公司 基于小波变换的图像编解码方法及装置
CN110517329B (zh) * 2019-08-12 2021-05-14 北京邮电大学 一种基于语义分析的深度学习图像压缩方法
CN112866041B (zh) * 2021-04-23 2022-04-19 南京蓝洋智能科技有限公司 一种自适应性的网络系统的训练方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002019722A2 (en) * 2000-08-31 2002-03-07 General Instrument Corporation Digital transcoder with logo insertion
CN102368821A (zh) * 2011-10-20 2012-03-07 浙江工商大学 一种噪声强度自适应的视频去噪方法和系统
CN105809182A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种图像分类的方法及装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60151789A (ja) * 1984-01-19 1985-08-09 Hitachi Ltd 多機能画像処理プロセツサ
US5333263A (en) * 1987-09-25 1994-07-26 Minolta Camera Kabushiki Kaisha Digital image processing apparatus
US5892518A (en) * 1995-07-28 1999-04-06 Matsushita Electric Industrial Co., Ltd. Image generating apparatus with pixel calculation circuit including texture mapping and motion compensation
JPH10191341A (ja) * 1996-12-24 1998-07-21 Toshiba Corp 画像伸張装置
US6330370B2 (en) * 1998-02-25 2001-12-11 Lucent Technologies Inc. Multiple description transform coding of images using optimal transforms of arbitrary dimension
JP3473750B2 (ja) * 1999-10-20 2003-12-08 日本電気株式会社 高速動き検索装置
US6678422B1 (en) * 2000-08-30 2004-01-13 National Semiconductor Corporation Method and apparatus for image data compression with low memory requirement
US7130337B2 (en) * 2001-07-02 2006-10-31 Phonex Broadband Corporation Method and system for sample and recreation synchronization for digital transmission of analog modem signal
US6788227B2 (en) * 2002-03-28 2004-09-07 International Business Machines Corporation Apparatus for integrated cascade encoding
JPWO2004068844A1 (ja) * 2003-01-30 2006-05-25 富士通株式会社 画像圧縮方法、画像復元方法、プログラム及び装置
WO2007066709A1 (ja) * 2005-12-07 2007-06-14 Sony Corporation 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
CN101138248A (zh) * 2005-12-07 2008-03-05 索尼株式会社 编码装置、编码方法、编码程序、解码装置、解码方法和解码程序
EP1997076B1 (en) * 2006-03-13 2010-11-10 Given Imaging Ltd. Cascade analysis for intestinal contraction detection
US8363720B2 (en) * 2009-01-26 2013-01-29 Panasonic Corporation Moving image processing device, moving image processing method and imaging apparatus
US8908984B2 (en) * 2009-10-05 2014-12-09 I.C.V.T. Ltd. Apparatus and methods for recompression of digital images
US8755438B2 (en) * 2010-11-29 2014-06-17 Ecole De Technologie Superieure Method and system for selectively performing multiple video transcoding operations
WO2012118424A1 (en) * 2011-03-01 2012-09-07 Applied Precision, Inc. Laser beam selectors
US8615138B2 (en) * 2011-11-03 2013-12-24 Google Inc. Image compression using sub-resolution images
JP5722761B2 (ja) * 2011-12-27 2015-05-27 株式会社ソニー・コンピュータエンタテインメント 動画圧縮装置、画像処理装置、動画圧縮方法、画像処理方法、および動画圧縮ファイルのデータ構造
US9449259B1 (en) * 2012-07-25 2016-09-20 Hrl Laboratories, Llc Opportunistic cascade and cascade training, evaluation, and execution for vision-based object detection
KR101367777B1 (ko) * 2012-08-22 2014-03-06 주식회사 핀그램 적응 이미지 압축시스템 및 그 방법
CA2958888C (en) * 2014-08-28 2023-02-28 Retailmenot, Inc. Reducing the search space for recognition of objects in an image based on wireless signals
US9294782B1 (en) * 2014-10-28 2016-03-22 Sony Corporation Image processing system with artifact reduction mechanism and method of operation thereof
US9979969B2 (en) * 2015-04-24 2018-05-22 Fingram Co., Ltd. Method and system for image compression using image block characteristics
JP6416060B2 (ja) * 2015-09-02 2018-10-31 株式会社東芝 画像圧縮装置、画像伸張装置および画像伝送システム
KR102465003B1 (ko) * 2016-01-04 2022-11-10 삼성디스플레이 주식회사 표시장치
CN105611303B (zh) 2016-03-07 2019-04-09 京东方科技集团股份有限公司 图像压缩系统、解压缩系统、训练方法和装置、显示装置
CN107920248B (zh) 2016-10-11 2020-10-30 京东方科技集团股份有限公司 图像编解码装置、图像处理系统、训练方法和显示装置
JP2018081614A (ja) * 2016-11-18 2018-05-24 コニカミノルタ株式会社 画像処理装置、画像処理方法、画像形成装置および画像表示装置
CN108133492B (zh) * 2016-12-01 2022-04-26 京东方科技集团股份有限公司 图像匹配方法、装置和系统
CN107124609A (zh) 2017-04-27 2017-09-01 京东方科技集团股份有限公司 一种视频图像的处理系统、其处理方法及显示装置
CN107122826B (zh) 2017-05-08 2019-04-23 京东方科技集团股份有限公司 用于卷积神经网络的处理方法和系统、和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002019722A2 (en) * 2000-08-31 2002-03-07 General Instrument Corporation Digital transcoder with logo insertion
CN102368821A (zh) * 2011-10-20 2012-03-07 浙江工商大学 一种噪声强度自适应的视频去噪方法和系统
CN105809182A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种图像分类的方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898549A (zh) * 2018-05-29 2018-11-27 Oppo广东移动通信有限公司 图片处理方法、图片处理装置及终端设备
CN108830385A (zh) * 2018-07-10 2018-11-16 北京京东金融科技控股有限公司 深度学习模型训练方法和装置及计算机可读存储介质
CN108830385B (zh) * 2018-07-10 2021-01-26 京东数字科技控股有限公司 深度学习模型训练方法和装置及计算机可读存储介质
CN110010210A (zh) * 2019-03-29 2019-07-12 北京科技大学 基于机器学习并面向性能要求的多组元合金成分设计方法
CN110460844A (zh) * 2019-08-13 2019-11-15 杭州电子科技大学 基于dwt的3d-hevc快速cu分割预测方法
CN110460844B (zh) * 2019-08-13 2021-07-09 杭州电子科技大学 基于dwt的3d-hevc快速cu分割预测方法
CN111131834A (zh) * 2019-12-30 2020-05-08 上海交通大学 可逆自编码器、编解码方法以及图像压缩方法、装置
CN111131834B (zh) * 2019-12-30 2021-07-06 上海交通大学 可逆自编码器、编解码方法以及图像压缩方法、装置
CN111681293A (zh) * 2020-06-09 2020-09-18 西南交通大学 一种基于卷积神经网络的sar图像压缩方法
WO2022021695A1 (zh) * 2020-07-31 2022-02-03 地平线(上海)人工智能技术有限公司 图像处理方法、用于图像处理的指令的生成方法及装置

Also Published As

Publication number Publication date
US20190141353A1 (en) 2019-05-09
US10834425B2 (en) 2020-11-10
CN107801026B (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN107801026A (zh) 图像压缩方法及装置、图像压缩及解压缩系统
CN110087092B (zh) 基于图像重构卷积神经网络的低码率视频编解码方法
DE19534943B4 (de) Vorrichtung zur Komprimierung unter Verwendung von eingebetteten Kleinwellen
CN101199121B (zh) 编码输入信号方法和编码器/译码器
CN107895174A (zh) 图像分类和转换方法、装置以及图像处理系统
CN107820096A (zh) 图像处理装置及方法、图像处理系统及训练方法
JP2000511363A (ja) 画像を圧縮するための方法及び装置
CN112149652A (zh) 用于高光谱图像有损压缩的空谱联合深度卷积网络方法
CN108495132B (zh) 基于轻量级深度卷积网络的遥感影像大倍率压缩方法
CN102036073B (zh) 基于视觉潜在注意力目标区域的jpeg2000图像编解码方法
CN103366753B (zh) 一种相同码率下的mp3音频双压缩检测方法
GB2284121A (en) Data compression using wavelet transformation; tree pruning
US20080292028A1 (en) Method and Apparatus for Signal Processing and Encoding and Decoding Method, and Apparatus Therefor
CN100409693C (zh) 用于图像和视频压缩的正交变换方法
CN106612438A (zh) 一种基于重叠分区高级小波变换技术的图像压缩方法
Kountchev et al. Inverse pyramidal decomposition with multiple DCT
CN102572426A (zh) 一种数据处理的方法和装置
DE69913976T2 (de) Sprachparameter-kompression
CN102037729B (zh) 前向和逆向离散余弦变换的高效定点近似法
Thepade et al. New clustering algorithm for Vector Quantization using Haar sequence
CN115376543B (zh) 一种基于unet架构的语音带宽扩展方法
CN102801427B (zh) 源信号变速率格矢量量化的编解码方法和系统
CN114998457B (zh) 图像压缩方法、图像解压方法及相关设备、可读存储介质
Abduljabbar et al. A Survey paper on Lossy Audio Compression Methods
AHMED et al. Lightweight Image Compression Using Polynomial and Transform Coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant