CN107920248B - 图像编解码装置、图像处理系统、训练方法和显示装置 - Google Patents

图像编解码装置、图像处理系统、训练方法和显示装置 Download PDF

Info

Publication number
CN107920248B
CN107920248B CN201610885633.4A CN201610885633A CN107920248B CN 107920248 B CN107920248 B CN 107920248B CN 201610885633 A CN201610885633 A CN 201610885633A CN 107920248 B CN107920248 B CN 107920248B
Authority
CN
China
Prior art keywords
image
images
neural network
quantization
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610885633.4A
Other languages
English (en)
Other versions
CN107920248A (zh
Inventor
那彦波
李晓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201610885633.4A priority Critical patent/CN107920248B/zh
Priority to PCT/CN2017/090260 priority patent/WO2018068532A1/zh
Priority to US15/745,091 priority patent/US10666944B2/en
Publication of CN107920248A publication Critical patent/CN107920248A/zh
Application granted granted Critical
Publication of CN107920248B publication Critical patent/CN107920248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details

Abstract

本发明涉及像编码装置、图像解码装置、包括该图像编解码装置的图像处理系统、用于该图像处理系统训练方法以及显示装置。所述图像编码装置包括：用于提供第一图像的第一图像输入端和用于提供多个第二图像的多个第二图像输入端；第一卷积神经网络模块，对多个第二图像更新，以得到相应的更新特征；图像叠加模块，将更新特征与第一图像按照叠加权重叠加以生成叠加图像，将叠加图像通过输出接口输出；第二卷积神经网络模块，根据叠加图像，生成多个预测图像；以及图像差异获取模块，确定多个第二图像的每个与相应的预测图像的差异特征，将差异特征通过输出接口输出。

Description

图像编解码装置、图像处理系统、训练方法和显示装置
技术领域
本发明涉及图像处理领域，更具体地，本发明涉及一种图像编码装置、图像解码装置、包括该图像编解码装置的图像处理系统、用于该图像处理系统训练方法以及显示装置。
背景技术
近年来，数字图像和视频的质量随着诸如BT.2020的标准被建立而迅速提升。图像质量的提升同时也导致数据量的显著增加。同时，因特网已经成为最流行的媒体来源。可以预见的是，即使正在稳定增长的带宽也难以满足急剧增加的媒体数据通信量。因此，需要寻求更好的媒体数据压缩解决方案以满足当前通信带宽下对于高质量媒体数据的需要。
当前，基于深度学习的人工智能技术已经在诸如图像分类、图像捕获和搜索、面部识别、年龄和语音识别等领域取得了巨大进展。深度学习的优势在于可以利用通用的结构以相对类似的系统解决非常不同的技术问题。因此，希望将深度学习引入图像数据压缩领域，以通过机器的深度学习进一步改进图像数据处理系统中的压缩性能，实现图像处理系统中各个参数的自动设置，实现更高的压缩率与更好的图像质量的均衡优化。
发明内容
鉴于上述问题，本发明提供一种图像编码装置、图像解码装置、包括该图像编解码装置的图像处理系统、用于该图像处理系统训练方法以及显示装置。
根据本发明的一个方面，提供了一种图像编码装置，包括：第一图像输入端，用于提供第一图像；多个第二图像输入端，用于提供多个第二图像；第一卷积神经网络模块，与所述多个第二图像输入端连接，用于对所述多个第二图像更新，以得到相应的更新特征；图像叠加模块，与所述第一图像输入端、所述第一卷积神经网络模块和输出接口连接，用于将所述更新特征与所述第一图像按照叠加权重叠加以生成叠加图像，将所述叠加图像通过所述输出接口输出；第二卷积神经网络模块，与所述图像叠加模块连接，用于根据所述叠加图像，生成多个预测图像；以及图像差异获取模块，与所述多个第二图像输入端、所述第二卷积神经网络模块和所述输出接口连接，确定所述多个第二图像的每个与相应的所述预测图像的差异特征，将所述差异特征通过所述输出接口输出。
此外，根据本发明的一个方面的图像编码装置，其中所述图像叠加模块将所述第一图像乘以第一权重参数以获得第一乘积，将所述更新特征乘以第二权重参数以获得第二乘积，叠加所述第一乘积和所述第二乘积以生成叠加图像；其中所述第一权重参数大于0，并且所述第一权重参数与所述第二权重参数的和为1。
此外，根据本发明的一个方面的图像编码装置，还包括：拆分单元，与所述第一图像输入端和所述多个第二图像输入端相连，用于将输入的原始图像进行拆分，以获得所述第一图像和所述多个第二图像。
此外，根据本发明的一个方面的图像编码装置，其中所述拆分单元将原始图像拆分为2n个图像，第一图像的数量为1，第二图像的数量为2n-1，n为大于0的整数。
根据本发明的另一个方面，提供了一种图像解码装置，包括：叠加图像输入端，用于接收叠加图像；差异特征输入端，用于接收差异特征；第三卷积神经网络模块，与所述叠加图像输入端连接，用于根据所述叠加图像，生成多个预测图像；去差异模块，与所述差异特征输入端、所述第三卷积神经网络模块以及输出端连接，用于根据所述多个预测图像和所述差异特征，生成多个第二图像，并且将所述多个第二图像通过所述输出端输出；第四卷积神经网络模块，与所述去差异模块连接，用于对所述多个第二图像更新，以得到相应的更新特征；以及图像去叠加模块，与所述叠加图像输入端、所述第四卷积神经网络模块和所述输出端连接，用于根据所述更新特征及其叠加权重对所述叠加图像执行去叠加，以得到第一图像，并且将所述第一图像通过所述输出端输出。
此外，根据本发明的另一个方面的图像解码装置，其中所述图像去叠加模块将所述更新特征乘以第二权重参数以获得第二乘积，从所述叠加图像去除所述第二乘积以获得第一乘积，将所述第一乘积除以第一权重参数以获得所述第一图像；其中所述第一权重参数大于0，并且所述第一权重参数与所述第二权重参数的和为1。
此外，根据本发明的另一个方面的图像解码装置，还包括：拼接单元，与所述输出端和输出接口相连，用于将所述第一图像和所述多个第二图像拼接以获得解码图像，并且通过所述输出接口输出所述解码图像。
根据本发明的又一个方面，提供了一种图像处理系统，包括：图像编码装置，其具有第一图像输入端，用于提供第一图像；多个第二图像输入端，用于提供多个第二图像；第一卷积神经网络模块，与所述多个第二图像输入端连接，用于对所述多个第二图像更新，以得到相应的更新特征；图像叠加模块，与所述第一图像输入端、所述第一卷积神经网络模块和输出接口连接，用于将所述更新特征与所述第一图像按照叠加权重叠加以生成叠加图像，将所述叠加图像通过所述输出接口输出；第二卷积神经网络模块，与所述图像叠加模块连接，用于根据所述叠加图像，生成多个预测图像；以及图像差异获取模块，与所述多个第二图像输入端、所述第二卷积神经网络模块和所述输出接口连接，确定所述多个第二图像的每个与相应的所述预测图像的差异特征，将所述差异特征通过所述输出接口输出；量化装置，与所述图像编码装置连接，用于接收从所述输出接口输出的所述叠加图像和所述差异特征，对所述叠加图像和所述差异特征执行量化处理和逆量化处理，以生成量化叠加图像和量化差异特征；图像解码装置，与所述量化装置连接，其具有叠加图像输入端，用于接收所述量化叠加图像；差异特征输入端，用于接收所述量化差异特征；第三卷积神经网络模块，与所述叠加图像输入端连接，用于根据所述量化叠加图像，生成多个预测图像；去差异模块，与所述差异特征输入端、所述第三卷积神经网络模块以及输出端连接，用于根据所述多个预测图像和所述量化差异特征，生成多个第四图像，并且将所述多个第四图像通过所述输出端输出；第四卷积神经网络模块，与所述去差异模块连接，用于对所述多个第二图像更新，以得到相应的更新特征；以及图像去叠加模块，与所述叠加图像输入端、所述第四卷积神经网络模块和所述输出端连接，用于根据所述更新特征及其叠加权重对所述量化叠加图像执行去叠加，以得到第三图像，并且将所述第三图像通过所述输出端输出。
此外，根据本发明的又一个方面的图像处理系统，其中所述量化装置利用均匀阶梯量化函数USQ对所述叠加图像和所述差异特征执行所述量化处理，
Figure BDA0001128399090000041
其中
Figure BDA0001128399090000042
Figure BDA0001128399090000043
是小于x的最小整数，并且δ是量化参数。
此外，根据本发明的又一个方面的图像处理系统，其中所述量化装置利用逆均匀阶梯量化函数InvUSQ对所述均匀阶梯量化函数USQ的输出q执行所述逆量化处理，以生成所述量化叠加图像和所述量化差异特征，
其中InvUSQ(q)＝sign(q)(|q|+0.5)δ。
此外，根据本发明的又一个方面的图像处理系统，其中所述图像叠加模块将所述第一图像乘以第一权重参数以获得第一乘积，将所述更新特征乘以第二权重参数以获得第二乘积，叠加所述第一乘积和所述第二乘积以生成叠加图像；所述图像去叠加模块将所述更新特征乘以所述第二权重参数以获得第二乘积，从所述量化叠加图像去除所述第二乘积以获得第一乘积，将所述第一乘积除以所述第一权重参数以获得所述第三图像；其中所述第一权重参数大于0，并且所述第一权重参数与所述第二权重参数的和为1。
此外，根据本发明的又一个方面的图像处理系统，还包括：拆分单元，与所述第一图像输入端和所述多个第二图像输入端相连，用于将输入的原始图像进行拆分，以获得所述第一图像和所述多个第二图像。
此外，根据本发明的又一个方面的图像处理系统，其中所述拆分单元将原始图像拆分为2n个图像，第一图像的数量为1，第二图像的数量为2n-1，n为大于0的整数。
此外，根据本发明的又一个方面的图像处理系统，还包括：拼接单元，与所述输出端和输出接口相连，用于将所述第三图像和所述多个第四图像拼接以获得解码图像，并且通过所述输出接口输出所述解码图像。
根据本发明的再一个方面，提供了一种用于图像处理系统的训练方法，包括：选择固定的所述量化参数；将训练图像输入所述图像处理系统，调整所述第一到第四卷积神经网络模块中各卷积层中各滤波单元的权值，运行有限次迭代以使目标函数最优化；以及将所述量化参数减小预定值，如果所述量化参数不小于预定阈值，则重复使目标函数最优化的训练步骤，否则结束所述训练方法。
此外，根据本发明的再一个方面的训练方法，其中所述目标函数为：
θ＝argθminXMSE(X,OUTθ(X,δ))
X代表输入的所述训练图像，OUT代表输出图像，MSE是输入的所述训练图像与所述输出图像之间的均方差函数。
根据本发明的另一个方面，提供了一种显示装置，包括前述图像编码装置、图像解码装置和/或图像处理系统。
本发明提供的图像编码装置、图像解码装置以及包括该图像编解码装置的图像处理系统引入了卷积神经网络模块，通过训练处理实现各卷积神经网络模块参数的优化设置，实现更高的压缩率与更好的图像质量的均衡优化。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是图示用于图像处理的卷积神经网络的示意图；
图2是图示用于多分辨率图像变换的小波变换的示意图；
图3是利用卷积神经网络实现小波变换的图像处理系统的结构示意图；
图4是图示根据本发明第一实施例的图像编码装置的结构示意图；
图5是图示根据本发明第一实施例的图像解码装置的结构示意图；
图6是图示根据本发明第二实施例的图像处理系统的结构示意图；以及
图7是图示根据本发明第三实施例的训练方法的流程图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
在详细描述根据本发明实施例的图像编码装置、图像解码装置和图像处理系统之前，先参照附图描述卷积神经网络用于图像编码、解码处理的基本概念。
图1是图示用于图像处理的卷积神经网络的示意图。用于图像处理的卷积神经网络是使用图像作为输入和输出，并且通过滤波器(即，卷积)替代标量权重。图1中示出了具有3层的简单结构。如图1所示，在输入层101输入4个输入图像，在中间的隐藏层102存在3个单元以输出3个输出图像，而在输出层103存在2个单元以输出2个输出图像。输入层101中的具有权重
Figure BDA0001128399090000061
的每个盒子对应于滤波器，其中k是指示输入层号的标签，并且i和j分别是指示输入和输出单元的标签。偏置
Figure BDA0001128399090000062
是添加到卷积的输出的标量。若干卷积和偏置的相加结果然后通过激活盒，其通常对应于整流线性单元(ReLU)、S型函数或双曲正切函数。在利用卷积神经网络的图像处理系统中，各滤波器和偏置在系统的操作期间是固定的。各滤波器和偏置是预先通过使用一组输入/输出示例图像并且调整以满足依赖于应用的一些优化标准来获取的。
图2是图示用于多分辨率图像变换的小波变换的示意图。小波变换是一种用于图像编解码处理的多分辨率图像变换，其应用包括JPEG 2000标准中的变换编码。在图像编码(压缩)处理中，小波变换用于以更小的低分辨率图像(例如，原始图像的一部分图像)代表原始的高分辨率图像。在图像解码(解压)处理中，逆小波变换用于利用低分辨率图像以及恢复原始图像所需的差异特征，恢复得到原始图像。
图2示意性地示出了3级小波变换和逆变换。如图2所示，更小的低分辨率图像之一是原始图像的缩小版本A，而其他的低分辨率图像代表恢复原始图像所需的丢失的细节(Dh、Dv和Dd)。
图3是利用卷积神经网络实现小波变换的图像处理系统的结构示意图。提升方案是小波变换的一种有效实施方式，并且是构造小波时的一种灵活的工具。图3示意性地示出了用于1D数据的标准结构。图3的左侧为编码器31。编码器31中的拆分单元302将输入的原始图像301变换为低分辨率图像A和细节D。编码器31进一步使用预测滤波器p和更新滤波器u。对于压缩应用，希望D约为0，使得大部分的信息包含在A中。图3的右侧为解码器32。解码器32的参数是与来自编码器31的滤波器p和u完全相同，而仅仅是滤波器p和u相反地布置。由于编码器31和解码器32的严格对应，该配置确保了经由解码器32的拼接单元303拼接得到的解码图像304与原始图像301完全相同。此外，图3所示的结构也不是限制性的，可以替代地在解码器中先按照更新滤波器u和预测滤波器p的顺序进行配置。
以下，将参照附图进一步详细描述根据本发明实施例的图像编码装置、图像解码装置以及包括该图像编解码装置的图像处理系统。
图4是图示根据本发明第一实施例的图像编码装置的结构示意图。
如图4所示，根据本发明第一实施例的图像编码装置40包括拆分单元402用于将输入的原始图像进行拆分，以获得第一图像UL和多个第二图像UR、BR、BL。
第一图像输入端403用于接收来自所述拆分单元402的第一图像UL。多个第二图像输入端404、405、406分别用于接收来自所述拆分单元402的多个第二图像UR、BR、BL。
第一卷积神经网络模块407与所述多个第二图像输入端404、405、406连接，用于对所述多个第二图像更新UR、BR、BL，以得到相应的更新特征。在本发明的第一实施例中，所述第一卷积神经网络模块407可以是参照图3描述的更新滤波器。
图像叠加模块408与所述第一图像输入端403、所述第一卷积神经网络模块407和输出接口411连接，用于将所述更新特征U与所述第一图像按照UL叠加权重叠加以生成叠加图像A，将所述叠加图像A通过所述输出接口411输出。
在本发明的一个实施例中，所述图像叠加模块408将所述第一图像UL乘以第一权重参数a以获得第一乘积，将所述更新特征U乘以第二权重参数b以获得第二乘积，叠加所述第一乘积和所述第二乘积以生成叠加图像A。所述第一权重参数a大于0，并且所述第一权重参数a与所述第二权重参数b的和为1。即，在所述图像叠加模块408中：
A＝aUL+bU 表达式1
a+b＝1且a>0 表达式2
第二卷积神经网络模块409与所述图像叠加模块408连接，用于根据所述叠加图像A，生成多个预测图像。
图像差异获取模块410与所述多个第二图像输入端404、405、406、所述第二卷积神经网络模块409和所述输出接口411连接，确定所述多个第二图像UR、BR、BL的每个与相应的所述预测图像的差异特征Dh、Dd和Dv，将所述差异特征Dh、Dd和Dv通过所述输出接口411输出。
在本发明的第一实施例中，所述第一卷积神经网络模块407、所述图像叠加模块408、所述第二卷积神经网络模块409和所述图像差异获取模块410构成了图像编码装置40的压缩单元，其对于从所述拆分单元402输入的第一图像UL和多个第二图像UR、BR、BL执行基于提升方案的小波变换的图像压缩。
图5是图示根据本发明第一实施例的图像解码装置的结构示意图。图5所示的图像解码装置可以用于对图4所示的图像编码装置的输出图像进行解码。
如图5所示，根据本发明第一实施例的图像解码装置50包括
叠加图像输入端507用于接收叠加图像A。差异特征输入端504、505和506，用于接收差异特征Dh、Dd和Dv。所述叠加图像A可以是从图4所示的图像编码装置40的所述输出接口411输出的来自所述图像叠加模块408的图像数据。所述差异特征Dh、Dd和Dv可以是从图4所示的图像编码装置40的所述输出接口411输出的来自所述图像差异获取模块410的图像数据。
第三卷积神经网络模块507与所述叠加图像输入端507连接，用于根据所述叠加图像A，生成多个预测图像。
去差异模块508与所述差异特征输入端504、505和506、所述第三卷积神经网络模块507以及输出端512、513和514连接，用于根据所述多个预测图像和所述差异特征Dh、Dd和Dv，生成多个第二图像UR、BR、BL，并且将所述多个第二图像通过所述输出端512、513和514输出。
第四卷积神经网络模块509，与所述去差异模块508连接，用于对所述多个第二图像更新，以得到相应的更新特征U。
图像去叠加模块510，与所述叠加图像输入端503、所述第四卷积神经网络模块509和所述输出端511连接，用于根据所述更新特征U及其叠加权重对所述叠加图像A执行去叠加，以得到第一图像UL，并且将所述第一图像UL通过所述输出端511输出。
在本发明的一个实施例中，所述图像去叠加模块510将所述更新特征乘U以第二权重参数b以获得第二乘积bU，从所述叠加图像A去除所述第二乘积以获得第一乘积(A-bU)，将所述第一乘积(A-bU)除以第一权重参数a以获得所述第一图像UL；其中所述第一权重参数大于0，并且所述第一权重参数与所述第二权重参数的和为1。即，在所述图像叠加模块510中：
UL＝(A-bU)/a 表达式3
a+b＝1且a>0 表达式4
也就是说，所述图像去叠加模块510与所述图像叠加模块408执行相反的处理，其中所述第一权重参数和所述第二权重参数满足相同的条件。由此，所述图像去叠加模块510输出的第一图像UL可以是与原始图像拆分所得的第一图像相同。
拼接单元502与各输出端511-514和输出接口515相连，用于将所述第一图像UL和所述多个第二图像UR、BR、BL拼接以获得解码图像501，并且通过所述输出接口515输出所述解码图像501。
如上所述，如果图5所示的图像解码装置50中的第三卷积神经网络模块507和第四卷积神经网络模块509与图4所示的图像编码装置40中的第二卷积神经网络模块409和第一卷积神经网络模块407的滤波参数相同，并且使图5所示的图像解码装置50中的图像去叠加模块510所执行的去叠加过程与图4所示的图像编码装置40中图像叠加模块408所执行的叠加过程完全相反，并且使图5所示的图像解码装置50中的去差异模块508所执行的去差异过程与图4所示的图像编码装置40中图像差异获取模块410所执行的差异获取过程完全相反，即可通过图5所示的图像解码装置50精确解码还原图4所示的图像编码装置40编码压缩的图像，而与各个卷积神经网络的滤波参数无关。
在本发明的第一实施例中，通过第一卷积神经网络模块407完成更新过程，并且通过第二卷积神经网络模块409完成预测过程，在具体应用时，通过对第一卷积神经网络模块407和第二卷积神经网络模块409进行相应的训练，使得第一卷积神经网络模块407和第二卷积神经网络模块409具有优化的滤波参数，从而使得该图像编码装置具有较高的压缩率，而无需人为设定相应的滤波参数，降低了滤波参数的设置复杂度。
进一步地，在本发明的第一实施例中，设置用于图像叠加的权重参数a，从而进一步提高了编码器的降尺度和解码器的升尺度的性能和自由度。
此外，在本发明的第一实施例中，通过合适的训练，使得输出的差异特征Dh、Dd和Dv大约为0，总体压缩率可以接近75％。在图4所示的拆分单元402执行的拆分处理中，以左侧上方的第一图像UL预测图像UR、BR和BL。本发明不限于此，在替代实施例中，也可以利用图像UR、BR和BL作为第一图像预测其他图像。此外，在本发明的第一实施例中，第一图像的数量为1。本发明不限于此，在替代实施例中，也可以利用两个图像预测两个图像，或者三个图像预测三个图像。由于得到的叠加图像的数量与第一图像的数量相同，因此在仅有一个图像压缩单元的情况下，采用两个图像预测两个图像的压缩率的理论最大值为50％，采用三个图像预测三个图像的压缩率的理论最大值为25％。更进一步地，在本发明的第一实施例中，采用由第一卷积神经网络模块407和第二卷积神经网络模块409组成的单级压缩系统。本发明不限于此，在替代实施例中，可以采用两级和更多级的压缩配置。
如上所述，图5所示的图像解码装置50精确解码还原图4所示的图像编码装置40编码压缩的图像，即图4所示的图像编码装置40和图5所示的图像解码装置50组成一个无损系统。在实际应用中，在诸如JPEG2000的标准中，需要对编码数据执行量化处理，然后对量化的编码数据接近解码，从而整体形成一个有损系统。
图6是图示根据本发明第二实施例的图像处理系统的结构示意图。如图6所示的根据本发明第二实施例的图像处理系统6包括图4所示的图像编码装置40和图5所示的图像解码装置50，根据本发明第二实施例的图像处理系统6还包括量化装置60。
如图6所示，量化装置60与图像编码装置40和图像解码装置50连接。图6中的图像编码装置40的结构和输入输出与参照图4的描述相同，在此将省略其重复描述。
量化装置60与所述图像编码装置40连接，用于接收从所述输出接口411输出的所述叠加图像A和所述差异特征Dh、Dd和Dv，对所述叠加图像A和所述差异特征Dh、Dd和Dv执行量化处理和逆量化处理，以生成量化叠加图像和量化差异特征。
具体地，所述量化装置利用均匀阶梯量化函数USQ对所述叠加图像和所述差异特征执行所述量化处理，
Figure BDA0001128399090000101
其中
Figure BDA0001128399090000111
Figure BDA0001128399090000112
是小于x的最小整数，并且δ是量化参数。
由表达式5表示的量化处理符合JPEG2000标准。
根据JPEG2000标准，所述量化装置利用逆均匀阶梯量化函数InvUSQ对所述均匀阶梯量化函数USQ的输出q执行所述逆量化处理，以生成所述量化叠加图像和所述量化差异特征，其中
InvUSQ(q)＝sign(q)(|q|+0.5)δ 表达式6
如上所述，通过编码装置和解码装置中的卷积神经网络模块进行相应的训练，可以为各卷积神经网络模块设定相应的滤波参数。对于如图6所示的根据本发明第二实施例的图像处理系统，由于引入了量化参数δ，需要提供一种同时训练编码装置和解码装置中的各卷积神经网络模块和量化模块的训练方法。
图7是图示根据本发明第三实施例的训练方法的流程图。如图7所示，根据本发明第三实施例的训练方法包括以下步骤。
在步骤S701中，选择固定的所述量化参数δ。在本发明第三实施例中，量化参数δ的初始值需要较大(例如，1000)，使得其输出类似于无损系统，其优化问题容易解决。此后，处理进到步骤S702。
在步骤S702，在所述量化参数δ固定的情况下，将训练图像输入所述图像处理系统，调整所述第一到第四卷积神经网络模块中各卷积层中各滤波单元的权值，运行有限次迭代以使目标函数最优化。
所述目标函数为：
θ＝argθminXMSE(X,OUTθ(X,δ)) 表达式7
X代表输入的所述训练图像，OUT代表输出图像，MSE是输入的所述训练图像与所述输出图像之间的均方差函数。此后，处理进到步骤S703。
在步骤S703中，将所述量化参数减小预定值。例如，可以将量化参数减小5％。此后，处理进到步骤S704。
在步骤S704中，判断所述量化参数是否不小于预定阈值。所述预定阈值是预先确定的，例如1。
如果在步骤S704获得肯定结果，即所述量化参数不小于预定阈值，则处理返回步骤702，以便重复步骤S702中的训练。
相反地，如果在步骤S704中获得否定结果，即所述量化参数已经足够小，则结束训练过程。
由图7所示的根据本发明第三实施例的训练方法可见，训练目标是减小MSE和量化参数δ两者。而如果MSE是0时，则量化参数δ非常大；而如果量化参数δ非常小，则MSE很大。因此，在训练过程中，需要根据可接受的量化压缩水平和图像质量，在MSE和量化参数δ两者之间进行适当的折中。
此外，如以上参照图4到图6描述的图像编码、解码装置以及图像处理系统还可以用于根据本发明实施例的显示装置。根据本发明实施例的显示装置可以是诸如手机、平板电脑、电视机、显示器等任何具有显示功能的产品或部件。
以上，参照附图描述了根据本发明的图像编码装置、图像解码装置、包括该图像编解码装置的图像处理系统、用于该图像处理系统训练方法以及显示装置。根据本发明的图像编码装置、图像解码装置、包括该图像编解码装置的图像处理系统通过新的权重参数，提高了编码器的降尺度和解码器的升尺度的性能和自由度，从而进一步改进了总体系统的性能。此外，根据本发明的用于该图像处理系统训练方法通过在不同量化参数的情况下优化整体系统的压缩效率，实现了更高的压缩性能。
需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种用于图像处理系统的训练方法，其中所述图像处理系统包括具有第一和第二卷积神经网络模块的图像编码装置，具有第三和第四卷积神经网络模块的图像解码装置，以及设置在所述图像编码装置和所述图像解码装置之间的量化装置，所述方法包括：
为所述量化装置选择固定的量化参数；
将训练图像输入所述图像处理系统，调整所述第一到第四卷积神经网络模块中各卷积层中各滤波单元的权值，运行有限次迭代以使目标函数最优化；以及
将所述量化参数减小预定值，如果所述量化参数不小于预定阈值，则重复使目标函数最优化的训练步骤，否则结束所述训练方法；
其中，所述第一卷积神经网络模块用于对接收的多个第二图像更新，以得到相应的更新特征；
所述第二卷积神经网络模块用于根据所述多个第二图像的更新特征和第一图像的叠加图像，生成多个预测图像；以及
所述量化装置用于对所述多个预测图像与所述多个第二图像的差异特征进行量化和逆量化处理，并且对所述叠加图像进行量化和逆量化处理，以生成量化叠加图像和量化差异特征；
所述第三卷积神经网络模块用于根据所述量化叠加图像，生成多个解码预测图像；
所述第四卷积神经网络模块用于对根据所述多个解码预测图像和所述量化差异特征生成的多个第四图像进行更新，以得到相应的解码更新特征，
其中，所述目标函数是基于训练图像和解码输出图像而确定的，所述训练图像被拆分为所述第一图像和所述多个第二图像，所述解码输出图像是基于所述解码更新特征和所述量化叠加图像生成的。
2.一种利用如权利要求1所述的训练方法训练的图像处理系统，包括：
所述图像编码装置，其具有
第一图像输入端，用于提供第一图像；
多个第二图像输入端，用于提供多个第二图像；
所述第一卷积神经网络模块，与所述多个第二图像输入端连接，用于对所述多个第二图像更新，以得到相应的更新特征；
图像叠加模块，与所述第一图像输入端、所述第一卷积神经网络模块和输出接口连接，用于将所述更新特征与所述第一图像按照叠加权重叠加以生成叠加图像，将所述叠加图像通过所述输出接口输出；
所述第二卷积神经网络模块，与所述图像叠加模块连接，用于根据所述叠加图像，生成多个预测图像；以及
图像差异获取模块，与所述多个第二图像输入端、所述第二卷积神经网络模块和所述输出接口连接，确定所述多个第二图像的每个与相应的所述预测图像的差异特征，将所述差异特征通过所述输出接口输出；
所述量化装置，与所述图像编码装置连接，用于接收从所述输出接口输出的所述叠加图像和所述差异特征，对所述叠加图像和所述差异特征执行量化处理和逆量化处理，以生成量化叠加图像和量化差异特征；
所述图像解码装置，与所述量化装置连接，其具有
叠加图像输入端，用于接收所述量化叠加图像；
差异特征输入端，用于接收所述量化差异特征；
所述第三卷积神经网络模块，与所述叠加图像输入端连接，用于根据所述量化叠加图像，生成多个解码预测图像；
去差异模块，与所述差异特征输入端、所述第三卷积神经网络模块以及输出端连接，用于根据所述多个解码预测图像和所述量化差异特征，生成多个第四图像，并且将所述多个第四图像通过所述输出端输出；
所述第四卷积神经网络模块，与所述去差异模块连接，用于对所述多个第四图像更新，以得到相应的解码更新特征；以及
图像去叠加模块，与所述叠加图像输入端、所述第四卷积神经网络模块和所述输出端连接，用于根据所述解码更新特征及其叠加权重对所述量化叠加图像执行去叠加，以得到第三图像，并且将所述第三图像通过所述输出端输出。
3.如权利要求2所述的图像处理系统，其中所述量化装置利用均匀阶梯量化函数USQ对所述叠加图像和所述差异特征执行所述量化处理，
Figure FDA0002545386910000031
其中
Figure FDA0002545386910000032
Figure FDA0002545386910000033
是小于
Figure FDA0002545386910000034
的最大整数，并且δ是所述量化参数。
4.如权利要求3所述的图像处理系统，其中所述量化装置利用逆均匀阶梯量化函数InvUSQ对所述均匀阶梯量化函数USQ的输出q执行所述逆量化处理，以生成所述量化叠加图像和所述量化差异特征，
其中InvUSQ(q)＝sign(q)(|q|+0.5)δ。
5.如权利要求2所述的图像处理系统，其中所述图像叠加模块将所述第一图像乘以第一权重参数以获得第一乘积，将所述更新特征乘以第二权重参数以获得第二乘积，叠加所述第一乘积和所述第二乘积以生成叠加图像；所述图像去叠加模块将所述更新特征乘以所述第二权重参数以获得第二乘积，从所述量化叠加图像去除所述第二乘积以获得第一乘积，将所述第一乘积除以所述第一权重参数以获得所述第三图像；其中所述第一权重参数大于0，并且所述第一权重参数与所述第二权重参数的和为1。
6.如权利要求5所述的图像处理系统，还包括：
拆分单元，与所述第一图像输入端和所述多个第二图像输入端相连，用于将输入的原始图像进行拆分，以获得所述第一图像和所述多个第二图像。
7.如权利要求6所述的图像处理系统，其中所述拆分单元将原始图像拆分为2n个图像，第一图像的数量为1，第二图像的数量为2n-1，n为大于0的整数。
8.如权利要求7所述的图像处理系统，还包括：
拼接单元，与所述输出端和解码图像输出接口相连，用于将所述第三图像和所述多个第四图像拼接以获得解码图像，并且通过所述解码图像输出接口输出所述解码图像。
9.一种显示装置，包括如权利要求2到8的任一项所述的图像处理系统。
CN201610885633.4A 2016-10-11 2016-10-11 图像编解码装置、图像处理系统、训练方法和显示装置 Active CN107920248B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610885633.4A CN107920248B (zh) 2016-10-11 2016-10-11 图像编解码装置、图像处理系统、训练方法和显示装置
PCT/CN2017/090260 WO2018068532A1 (zh) 2016-10-11 2017-06-27 图像编解码装置、图像处理系统、图像编解码方法和训练方法
US15/745,091 US10666944B2 (en) 2016-10-11 2017-06-27 Image encoding/decoding apparatus, image processing system, image encoding/decoding method and training method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610885633.4A CN107920248B (zh) 2016-10-11 2016-10-11 图像编解码装置、图像处理系统、训练方法和显示装置

Publications (2)

Publication Number Publication Date
CN107920248A CN107920248A (zh) 2018-04-17
CN107920248B true CN107920248B (zh) 2020-10-30

Family

ID=61892520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610885633.4A Active CN107920248B (zh) 2016-10-11 2016-10-11 图像编解码装置、图像处理系统、训练方法和显示装置

Country Status (3)

Country Link
US (1) US10666944B2 (zh)
CN (1) CN107920248B (zh)
WO (1) WO2018068532A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201607879D0 (en) * 2016-05-05 2016-06-22 Magic Pony Technology Ltd Video encoding using hierarchical algorithms
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN107895174B (zh) 2017-11-09 2020-01-07 京东方科技集团股份有限公司 图像分类和转换方法、装置以及图像处理系统
CN107801026B (zh) 2017-11-09 2019-12-03 京东方科技集团股份有限公司 图像压缩方法及装置、图像压缩及解压缩系统
US10706267B2 (en) * 2018-01-12 2020-07-07 Qualcomm Incorporated Compact models for object recognition
CN110971915B (zh) * 2018-09-28 2022-07-01 杭州海康威视数字技术股份有限公司 滤波方法和设备
CN111247797A (zh) * 2019-01-23 2020-06-05 深圳市大疆创新科技有限公司 用于图像编解码的方法和装置
EP3994616A1 (en) * 2019-07-01 2022-05-11 Optimum Semiconductor Technologies, Inc. Feedbackward decoder for parameter efficient semantic image segmentation
CN112235583B (zh) * 2019-07-15 2021-12-24 华为技术有限公司 基于小波变换的图像编解码方法及装置
CN112434702A (zh) * 2019-08-26 2021-03-02 阿里巴巴集团控股有限公司 图像处理方法、装置、计算机设备、存储介质
US11258854B2 (en) 2020-01-31 2022-02-22 Bank Of America Corporation Data sharding for transmission over a high generation cellular network
CN111612790B (zh) * 2020-04-29 2023-10-17 杭州电子科技大学 一种基于t型注意力结构的医学图像分割方法
US11330263B1 (en) * 2020-12-03 2022-05-10 Synamedia Limited Machine learning based coded size estimation in rate control of video encoding
US20220182618A1 (en) * 2020-12-08 2022-06-09 Electronics And Telecommunications Research Institute Method, apparatus and storage medium for image encoding/decoding using filtering
CN112734622B (zh) * 2021-03-30 2021-07-20 深圳大学 一种基于Tucker分解的图像隐写分析方法及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101039419A (zh) * 2006-03-16 2007-09-19 汤姆森许可贸易公司 用于对图像序列的视频数据进行编码的方法
CN102510489A (zh) * 2011-09-21 2012-06-20 北京航空航天大学 一种基于折叠流水线小波变换实现图像压缩的方法
CN105611303A (zh) * 2016-03-07 2016-05-25 京东方科技集团股份有限公司 图像压缩系统、解压缩系统、训练方法和装置、显示装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018753A (en) * 1997-07-29 2000-01-25 Lucent Technologies Inc. Interpolating filter banks in arbitrary dimensions
US6738523B1 (en) * 2000-09-14 2004-05-18 Eastman Kodak Company Parallel inverse discrete wavelet transform
US7817869B2 (en) * 2004-05-07 2010-10-19 Sony Corporation Variable support robust transform for multiple description coding
US7565020B2 (en) * 2004-07-03 2009-07-21 Microsoft Corp. System and method for image coding employing a hybrid directional prediction and wavelet lifting
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
US20060262860A1 (en) * 2005-02-23 2006-11-23 Chou Jim C Macroblock adaptive frame/field coding architecture for scalable coding
WO2007018682A1 (en) * 2005-07-22 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
KR20080114388A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
EP2191651A1 (en) * 2007-09-28 2010-06-02 Dolby Laboratories Licensing Corporation Video compression and tranmission techniques
WO2010011050A2 (ko) * 2008-07-23 2010-01-28 에스케이텔레콤 주식회사 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법, 이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록 매체
CN205408063U (zh) 2016-03-07 2016-07-27 京东方科技集团股份有限公司 图像压缩系统、解压缩系统、显示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101039419A (zh) * 2006-03-16 2007-09-19 汤姆森许可贸易公司 用于对图像序列的视频数据进行编码的方法
CN102510489A (zh) * 2011-09-21 2012-06-20 北京航空航天大学 一种基于折叠流水线小波变换实现图像压缩的方法
CN105611303A (zh) * 2016-03-07 2016-05-25 京东方科技集团股份有限公司 图像压缩系统、解压缩系统、训练方法和装置、显示装置

Also Published As

Publication number Publication date
CN107920248A (zh) 2018-04-17
WO2018068532A1 (zh) 2018-04-19
US10666944B2 (en) 2020-05-26
US20190014320A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
CN107920248B (zh) 图像编解码装置、图像处理系统、训练方法和显示装置
US10834425B2 (en) Image compression/decompression method and device, and image processing system
US10769757B2 (en) Image processing apparatuses and methods, image processing systems and training methods
CN107925762B (zh) 基于神经网络的视频编解码处理方法和装置
JP5957562B2 (ja) 大きいサイズの変換単位を用いた映像符号化、復号化方法及び装置
CN111226442B (zh) 配置用于视频压缩的变换的方法及计算机可读存储介质
CN109451308A (zh) 视频压缩处理方法及装置、电子设备及存储介质
KR20200095589A (ko) 개선된 영상 압축 시스템 및 방법
CN112261414A (zh) 一种以注意力机制融合单元划分的视频编码卷积滤波方法
CN113544705A (zh) 用于图片编码和解码的方法和设备
Ahanonu Lossless image compression using reversible integer wavelet transforms and convolutional neural networks
JP6065613B2 (ja) 動画像符号化装置
CN116636217A (zh) 使用神经网络编码图像和解码码流的方法和装置
Akbari et al. Learned multi-resolution variable-rate image compression with octave-based residual blocks
CN114449276B (zh) 一种基于学习的超先验边信息补偿图像压缩方法
Kabir et al. Edge-based transformation and entropy coding for lossless image compression
KR20220107028A (ko) 시간적 변형가능한 콘볼루션에 의한 딥 루프 필터
CN115546236B (zh) 基于小波变换的图像分割方法及装置
CN111080729A (zh) 基于Attention机制的训练图片压缩网络的构建方法及系统
CN114600459A (zh) 用于预测残差代码化的向量量化
Shah et al. Vector quantization with codebook and index compression
Shan et al. Light Field Images Compression Based on Graph Convolution Networks
Liu et al. Evaluation on the generalization of coded features across neural networks of different tasks
Maciol et al. Colour image coding with matching pursuit in the spatio-frequency domain
Wang et al. Lightweight image codec via multi-grid multi-block-size vector quantization (mgbvq)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant