CN113096019B - 图像重建方法、装置、图像处理设备及存储介质 - Google Patents

图像重建方法、装置、图像处理设备及存储介质 Download PDF

Info

Publication number
CN113096019B
CN113096019B CN202110470535.5A CN202110470535A CN113096019B CN 113096019 B CN113096019 B CN 113096019B CN 202110470535 A CN202110470535 A CN 202110470535A CN 113096019 B CN113096019 B CN 113096019B
Authority
CN
China
Prior art keywords
image
decompressed
residual
network
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110470535.5A
Other languages
English (en)
Other versions
CN113096019A (zh
Inventor
张达明
陈博
尹荣彬
季加阳
张伟伟
薛鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faw Nanjing Technology Development Co ltd
FAW Group Corp
Original Assignee
Faw Nanjing Technology Development Co ltd
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faw Nanjing Technology Development Co ltd, FAW Group Corp filed Critical Faw Nanjing Technology Development Co ltd
Priority to CN202110470535.5A priority Critical patent/CN113096019B/zh
Publication of CN113096019A publication Critical patent/CN113096019A/zh
Application granted granted Critical
Publication of CN113096019B publication Critical patent/CN113096019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明公开了一种图像重建方法、装置、图像处理设备及存储介质。该方法包括：基于预设的去压缩效应网络，分别从离散余弦变换域和像素域对输入图像进行处理，得到对应的第一去压缩图像和第二去压缩图像；基于预设的超分辨率重建网络，对所述第一去压缩图像和所述第二去压缩图像的融合图像进行处理，输出重建图像，所述重建图像的分辨率高于所述输入图像的分辨率。上述技术方案通过对低分辨率的输入图像进行双域的去压缩以及特征融合，抑制了压缩效应，充分提取和复用输入图像的特征，在此基础上对输入图像进行超分重建，提高了重建图像的质量。

Description

图像重建方法、装置、图像处理设备及存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像重建方法、装置、图像处理设备及存储介质。
背景技术
图像超分辨率重建技术又称超分重建，是一种从低分辨率图像中恢复降质过程丢失的高频信息，并逆向求解出高分辨率图像的技术，因其能在较低的成本下有效提升图像的清晰程度，而被广泛应用于实际生活中。现阶段，面向图像超分重建展开的研究很少涉及到压缩图像，但在实际应用中，受限于传输带宽和存储容量，绝大多数图像都是经过下采样和压缩等处理后的低分辨率压缩图像，数据量的减少以及图像压缩附带的压缩效应使得观测到的图像效果很差。
对于压缩图像的超分辨率重建，通常是基于统一的框架实现，比如将压缩失真建模为加性高斯噪声，将原始的输入图像建模为基于专家域框架的高阶马尔可夫随机场，在进行超分重建以提高图像分辨率的同时抑制其压缩效应。但由于压缩噪声与图像本身信息间存在着较强的相关性，其压缩噪声也将作为图像细节信息进行超分增强，因此利用该方法重建后的图像，质量提升并不明显。
发明内容
本发明提供了一种图像重建方法、装置、图像处理设备及存储介质，以抑制压缩效应，充分提取和复用输入图像的特征，提高重建图像的质量。
第一方面，本发明实施例提供了一种图像重建方法，包括：
基于预设的去压缩效应网络，分别从离散余弦变换(Discrete CosineTransform，DCT)域和像素域对输入图像进行处理，得到对应的第一去压缩图像和第二去压缩图像；
基于预设的超分辨率重建网络，对所述第一去压缩图像和所述第二去压缩图像的融合图像进行处理，输出重建图像，所述重建图像的分辨率高于所述输入图像的分辨率。
可选的，从DCT域对输入图像进行处理，得到对应的第一去压缩图像，包括：
在DCT域中，基于由局部宽激活残差块(Wide Residual Block，RWB)组成的残差组对所述输入图像进行处理，得到所述第一去压缩图像，其中，所述残差组根据训练样本在压缩前后的DCT系数训练得到。
可选的，从像素域对输入图像进行处理，得到对应的第二去压缩图像，包括：
在像素域中，通过两个卷积核为3×3的卷积层提取所述输入图像的特征；
将提取的特征输入至权值共享的空洞卷积残差块中，得到多尺度特征；
将所述多尺度特征输入至预设残差块中以进行特征融合；
重复上述得到多尺度特征以及特征融合的操作设定次数后，得到所述第二去压缩图像。
可选的，在得到对应的第一去压缩图像和第二去压缩图像之后，还包括：
将所述第一去压缩图像和所述第二去压缩图像堆叠，并将堆叠后的图像输入至舍弃偏置的1×1卷积层中，以进行DCT域和像素域的自适应加权处理，以得到所述融合图像。
可选的，所述超分辨率重建网络包括空洞卷积结构和残差通道注意力模块(Residual Channel Attention Block，RCAB)；
所述空洞卷积结构包括至少一组空洞卷积残差块和预设残差块。
可选的，基于空洞卷积结构，对所述第一去压缩图像和所述第二去压缩图像的融合图像进行处理，包括：
将所述融合图像输入至所述超分辨率重建网络中，通过一个卷积核为3×3的卷积层提取所述融合图像的特征；
将提取到特征将提取的特征输入至权值共享的空洞卷积残差块中，得到多尺度特征；
将所述多尺度特征输入至预设残差块中以进行特征融合；
重复上述得到多尺度特征以及特征融合的操作设定次数后，得到多个通道的特征。
可选的，基于残差通道注意力模块，对所述第一去压缩图像和所述第二去压缩图像的融合图像进行处理，包括：
通过所述残差通道注意力模块缩放每个通道的特征；
通过预设残差块提取缩放后的特征，并输入至反卷积层，以得到所述重建图像。
第二方面，本发明实施例提供了一种图像重建装置，包括：
去压缩模块，用于基于预设的去压缩效应网络，分别从DCT域和像素域对输入图像进行处理，得到对应的第一去压缩图像和第二去压缩图像；
重建模块，用于基于预设的超分辨率重建网络，对所述第一去压缩图像和所述第二去压缩图像的融合图像进行处理，输出重建图像，所述重建图像的分辨率高于所述输入图像的分辨率。
第三方面，本发明实施例提供了一种图像处理设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的图像重建方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的图像重建方法。
本发明实施例提供了一种图像重建方法、装置、图像处理设备及存储介质。该方法包括：基于预设的去压缩效应网络，分别从DCT域和像素域对输入图像进行处理，得到对应的第一去压缩图像和第二去压缩图像；基于预设的超分辨率重建网络，对所述第一去压缩图像和所述第二去压缩图像的融合图像进行处理，输出重建图像，所述重建图像的分辨率高于所述输入图像的分辨率。上述技术方案通过对低分辨率的输入图像进行双域的去压缩以及特征融合，抑制了压缩效应，充分提取和复用输入图像的特征，在此基础上对输入图像进行超分重建，提高了重建图像的质量。
附图说明
图1为本发明实施例一提供的一种图像重建方法的流程图；
图2为本发明实施例二提供的一种图像重建方法的流程图；
图3为本发明实施例二提供的一种去压缩效应网络和超分辨率重建网络连接的示意图；
图4为本发明实施例二提供的一种从DCT域抑制压缩效应的示意图；
图5为本发明实施例二提供的一种从像素域抑制压缩效应的示意图；
图6为本发明实施例二提供的一种去压缩效应网络的示意图；
图7为本发明实施例二提供的一种超分辨率重建网络的示意图；
图8为本发明实施例二提供的一种重建图像与原始高分辨率未压缩图像的效果比较的示意图；
图9为本发明实施例三提供的一种图像重建装置的结构示意图；
图10为本发明实施例四提供的一种图像处理设备的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
需要注意，本发明实施例中提及的“第一”、“第二”等概念仅用于对不同的装置、模块、单元或其他对象进行区分，并非用于限定这些装置、模块、单元或其他对象所执行的功能的顺序或者相互依存关系。
实施例一
图1为本发明实施例一提供的一种图像重建方法的流程图。本实施例可适用于对经过压缩的低分辨率图像进行超分辨率重建的情况。具体的，该图像重建方法可以由图像重建装置执行，该图像重建装置可以通过软件和/或硬件的方式实现，并集成在图像处理设备中。进一步的，图像处理设备包括但不限定于：台式计算机、笔记本电脑、智能手机以及服务器等电子设备。
如图1所示，该方法具体包括如下步骤：
S110、基于预设的去压缩效应网络，分别从离散余弦变换域和像素域对输入图像进行处理，得到对应的第一去压缩图像和第二去压缩图像。
本实施例中，输入图像主要指经过压缩的低分辨率的图像，为了降低图像文件存储和传输的大小，在压缩过程中图像的部分特征和细节信息被丢弃，与此同时会产生压缩效应，例如振铃效应、模糊或伪影等，导致图像的质量降低。本实施例将经过压缩的图像作为输入图像，利用去压缩效应网络抑制输入图像所受到的压缩效应的影响，从而为超分辨率重建提供良好的基础。去压缩效应网络是一种基于深度学习的网络模型，用于抑制输入图像的压缩效应。去压缩效应网络可以根据样本数据训练得到，在训练过程中学习到图像在压缩前后的特征变化关系，据此，利用去压缩效应网络可对经过压缩的输入图像进行一定程度的恢复，尽量补充被丢弃的特征和细节信息，提高图像质量。
进一步的，本实施例中的去压缩效应网络是一种对输入图像进行双域(DCT域和像素域)联合处理的网络，输入图像分别经过DCT域和像素域的处理以抑制压缩效应，然后分别输出DCT域和像素域的处理结果。其中，在像素域中，对空间域分布的图像像素进行处理，得到第二去压缩图像；对于DCT域，输入图像在空间域分布的图像像素经过快速傅里叶变换，变换至DCT域，DCT域的能量比空间域集中，在DCT域中可以隐藏一些能量很小的高频部分，从而有效抵抗图像的有损压缩，最终得到第一去压缩图像。
S120、基于预设的超分辨率重建网络，对第一去压缩图像和第二去压缩图像的融合图像进行处理，输出重建图像，重建图像的分辨率高于输入图像的分辨率。
具体的，第一去压缩图像和第二去压缩图像融合之后输入至超分辨率重建网络，以实现对经过去压缩的低分辨率图像的超分辨率重建。
本发明实施例一提供的一种图像重建方法，针对经过压缩的低分辨率的输入图像，首先通过双域联合的去压缩效应网络，分别从DCT域和像素域抑制输入图像的压缩效应，有效恢复在压缩过程中丢失的特征和细节信息；然后利用超分辨率重建网络对抑制压缩效应后的低分辨率图像的特征进行处理，在抑制压缩效应的基础上进一步完成超分辨率重建，改善图像质量并提高超分辨率重建的准确性。
实施例二
图2为本发明实施例二提供的一种图像重建方法的流程图，本实施例是在上述实施例的基础上进行优化，对去压缩效应网络和超分辨率重建网络的网络结构，以及去压缩和超分重建的原理进行具体描述。需要说明的是，未在本实施例中详尽描述的技术细节可参见上述任意实施例。
图3为本发明实施例二提供的一种去压缩效应网络和超分辨率重建网络连接的示意图。如图3所示，去压缩效应网络和超分辨率重建网络以级联的形式依次连接。去压缩效应网络分为两部分，第一部分对应于DCT域，在DCT域对输入图像进行处理后，得到第一去压缩图像；第二部分对应于像素域，在像素域对输入图像进行处理后，得到第二去压缩图像；经过去压缩的第一去压缩图像与第二去压缩图像融合后输入超分辨率重建网络，经过一系列处理后输出重建图像。其中，超分辨率重建网络的主干结构为基于空洞卷积和残差通道注意力机制的网络。
具体的，如图2所示，该方法具体包括如下步骤：
S210、在DCT域中，基于由局部宽激活残差块组成的残差组对输入图像进行处理，得到第一去压缩图像。
具体的，去压缩效应网络的第一部分中包含由局部宽激活残差块组成的残差组，该残差组根据训练样本在压缩前后的DCT系数训练得到，在训练过程中学习到图像在压缩前后的特征变化关系，将其应用于对输入图像的去压缩，可以在一定程度上恢复被压缩图像的特征和细节。
图4为本发明实施例二提供的一种从DCT域抑制压缩效应的示意图。如图4所示，在DCT域中，输入低分辨率的经过压缩的输入图像，利用由局部宽激活残差块组成的残差组(Residual Group，RG)对压缩前后的DCT系数进行残差学习，并通过量化系数范围约束先验和全局残差提高预测系数的准确性。图4中，去压缩效应网络的第一部分从左到右依次包括拉伸重组层、DCT层、三个残差组(RG1～RG3)、量化约束层、离散余弦逆变换(InverseDiscrete Cosine Transform，IDCT)层、拉伸重组层；其中，每个残差组包括三个宽激活残差块(RWB1～RWB3)，每个宽激活残差块由多个宽激活层和线性激活层(Rectified LinearUnit，ReLU)交替连接构成。
S220、从像素域对输入图像进行处理，得到对应的第二去压缩图像。
具体的，去压缩效应网络的第二部分中包含卷积层(Conv)、ReLU、空洞卷积残差块(ResA)以及预设残差块(ResB)，用于从像素域对输入图像的去压缩，以恢复被压缩图像的特征和细节。其中，ResB是指常规的残差块，即残差块的输出是残差块的输入与卷积结果相加得到的。
图5为本发明实施例二提供的一种从像素域抑制压缩效应的示意图。如图5所示，去压缩效应网络的第二部分中，首先两个卷积层和两个ReLU交替连接；然后两个ResA和两个预设残差块ResB交替连接；最后还有一个卷积层。每个ResA中还分为三部分，每个部分都利用三个空洞卷积层分别从d＝1、d＝4、d＝8三种尺度对输入图像的特征进行处理，然后利用卷积层进行融合；每个ResB中，一个卷积层、一个ReLU以及一个卷积层依次连接。
进一步的，S220，具体包括：
S221：在像素域中，通过两个卷积核为3×3的卷积层提取输入图像的特征；
S222：将提取的特征输入至权值共享的空洞卷积残差块中，得到多尺度特征；
S223：将多尺度特征输入至预设残差块中以进行特征融合；
S224：重复S222以及S223的操作设定次数后，得到第二去压缩图像。
具体的，在像素域中，输入图像首先在两个卷积核为3×3的卷积层中进行特征的初步提取；再将提取的特征输入到权值共享的空洞卷积残差块ResA中，得到多尺度的特征；然后将这些多尺度特征发送到常规的残差块ResB中进行特征融合，将“ResA+ResB”过程重复两次以对不同尺度的特征进行充分地提取和融合，得到语义信息层次更高的特征，最终输出第二去压缩图像。
S230、将所述第一去压缩图像和所述第二去压缩图像堆叠，并将堆叠后的图像输入至舍弃偏置的1×1卷积层中，以进行DCT域和像素域的自适应加权处理，以得到融合图像。
图6为本发明实施例二提供的一种去压缩效应网络的示意图。如图6所示，通过全连接层(Concat)对DCT域输出的第一去压缩图像和像素域输出的第二去压缩图像进行堆叠，并将堆叠后的结果输入到舍弃偏置的1×1卷积层中，进行双域特征的自适应加权处理，获得抑制压缩效应后的低分辨率的融合图像，然后输入至超分辨率重建网络中进行后续的处理。
S240、将所述融合图像输入至所述超分辨率重建网络中，通过一个卷积核为3×3的卷积层提取所述融合图像的特征。
S250、将提取到特征将提取的特征输入至权值共享的空洞卷积残差块(ResA)中，得到多尺度特征。
S260、将多尺度特征输入至预设残差块(ResB)中以进行特征融合。
S270、重复S250以及S260的操作达到设定次数？若是，则执行S270；若否，则返回执行S230。
S280、通过所述残差通道注意力模块缩放每个通道的特征。
S290、通过预设残差块(ResB)提取缩放后的特征，并输入至反卷积层，以得到所述重建图像。
图7为本发明实施例二提供的一种超分辨率重建网络的示意图。如图7所示，低分辨率的融合图像首先经过一个卷积核为3×3的卷积层进行特征的初步提取，然后提取到的特征输入到空洞卷积残差块和预设残差块交替连接的“ResA+ResB”结构中，重复该结构两次，以进行特征的多尺度特征提取和融合，以获得更高语义信息层次的特征表达。
此外，通过残差通道注意力模块结构自适应地重新缩放每个通道的特征，以增强网络的辨别学习能力。残差通道注意力模块提供了两组可供学习的权重向量，分别为来自Bottom-Up的显著性权重向量和来自Top-Down的注意力权重向量，通过对融合的多尺度特征进行显著性加权和注意力加权，然后经过基于Sigmoid函数的激活层和特征相乘(Product)层，增强网络的特征交叉能力，从而使网络具备拟合任意函数的能力，进而实现对每个通道特征的缩放。经过缩放的特征再经过两次预设残差块ResB提取后，再经过反卷积层得到最终的高分辨率重建图像。
图8为本发明实施例二提供的一种重建图像与原始高分辨率未压缩图像的效果比较的示意图。如图8所示，对两张图像文件格式为JPEG的压缩图像进行超分辨率重建，对于第一张，从左到右依次为原始高分辨率未压缩图像、利用双三次插值(Bicubic，压缩质量因子为10且重建因子为2)得到的重建图像以及利用本实施的方法得到的重建图像；对于第二张，从左到右依次为原始高分辨率未压缩图像、利用Bicubic(压缩质量因子为20且重建因子为2)得到的重建图像以及利用本实施的方法得到的重建图像。可以看出，利用本实施的方法得到的重建图像细节更丰富、质量更高、更接近于原始高分辨率未压缩图像，且峰值信噪比也更高。
发明实施例二提供基于深度学习和级联框架的压缩图像超分辨率重建方法，在上述实施例的基础上进行优化，将压缩图像的超分辨率重建问题转化为压缩效应抑制子问题和超分重建子问题，并分别构建相应的更具针对性的网络；此外，在去压缩效应网络和超分辨率重建网络中都应用了空洞卷积残差块，以充分提取和复用不同尺度的特征，进行更细致的处理；通过对低分辨率的输入图像进行双域的去压缩以及特征融合，抑制压缩效应，并且在超分辨率重建网络中应用残差通道注意力机制，以对一致压缩效应后的低分辨率图像进行超分辨率重建，显著提高压缩图像质量和分辨率。
实施例三
图9为本发明实施例三提供的一种图像重建装置的结构示意图。如图9所示，本实施例提供的图像重建装置包括：
去压缩模块310，用于基于预设的去压缩效应网络，分别从DCT域和像素域对输入图像进行处理，得到对应的第一去压缩图像和第二去压缩图像；
重建模块320，用于基于预设的超分辨率重建网络，对所述第一去压缩图像和所述第二去压缩图像的融合图像进行处理，输出重建图像，所述重建图像的分辨率高于所述输入图像的分辨率。
本发明实施例三提供的一种图像重建装置，通过对低分辨率的输入图像进行双域的去压缩以及特征融合，抑制了压缩效应，充分提取和复用输入图像的特征，在此基础上对输入图像进行超分重建，提高了重建图像的质量。
在上述实施例的基础上，去压缩模块310包括：
第一去压缩单元，用于在DCT域中，基于由局部宽激活残差块组成的残差组对所述输入图像进行处理，得到所述第一去压缩图像，其中，所述残差组根据训练样本在压缩前后的DCT系数训练得到。
在上述实施例的基础上，去压缩模块310包括：
第二去压缩单元，用于在像素域中，通过两个卷积核为3×3的卷积层提取所述输入图像的特征；
将提取的特征输入至权值共享的空洞卷积残差块中，得到多尺度特征；
将所述多尺度特征输入至预设残差块中以进行特征融合；
重复上述得到多尺度特征以及特征融合的操作设定次数后，得到所述第二去压缩图像。
在上述实施例的基础上，还包括：
融合模块，用于将所述第一去压缩图像和所述第二去压缩图像堆叠，并将堆叠后的图像输入至舍弃偏置的1×1卷积层中，以进行DCT域和像素域的自适应加权处理，以得到所述融合图像。
在上述实施例的基础上，所述超分辨率重建网络包括空洞卷积结构和残差通道注意力模块；
所述空洞卷积结构包括至少一组空洞卷积残差块和预设残差块。
在上述实施例的基础上，重建模块320，包括：
提取单元，用于将所述融合图像输入至所述超分辨率重建网络中，通过一个卷积核为3×3的卷积层提取所述融合图像的特征；
空洞卷积单元，用于将提取到特征将提取的特征输入至权值共享的空洞卷积残差块中，得到多尺度特征；
融合单元，用于将所述多尺度特征输入至预设残差块中以进行特征融合；
重复执行单元，用于重复上述得到多尺度特征以及特征融合的操作设定次数后，得到多个通道的特征。
在上述实施例的基础上，重建模块320，包括：
缩放单元，用于通过所述残差通道注意力模块缩放每个通道的特征；
反卷积单元，用于通过预设残差块提取缩放后的特征，并输入至反卷积层，以得到所述重建图像。
本发明实施例三提供的图像重建装置可以用于执行上述任意实施例提供的图像重建方法，具备相应的功能和有益效果。
实施例四
图10为本发明实施例四提供的一种图像处理设备的硬件结构示意图。图像处理设备包括但不限定于：台式计算机、笔记本电脑、智能手机以及服务器等电子设备。如图10所示，本申请提供的图像处理设备，包括存储器42、处理器41以及存储在存储器上并可在处理器上运行的计算机程序，处理器41执行所述程序时实现上述的图像重建方法。
图像处理设备还可以包括存储器42；该图像处理设备中的处理器41可以是一个或多个，图10中以一个处理器41为例；存储器42用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如本申请实施例中所述的图像重建方法。
图像处理设备还包括：输入装置44和输出装置45。
图像处理设备中的处理器41、存储器42、输入装置44和输出装置45可以通过总线或其他方式连接，图10中以通过总线连接为例。
输入装置44可用于接收输入的数字或字符信息，以及产生与图像处理设备的用户设置以及功能控制有关的按键信号输入。输出装置45可包括显示屏等显示设备。
存储器42作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序以及模块，如本申请实施例所述图像重建方法对应的程序指令/模块(例如，图像重建装置中的去压缩模块310以及重建模块320)。存储器42可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据图像处理设备的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至图像处理设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在上述实施例的基础上，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被图像重建装置执行时实现本发明上述任意实施例中的图像重建方法，该方法包括：基于预设的去压缩效应网络，分别从DCT域和像素域对输入图像进行处理，得到对应的第一去压缩图像和第二去压缩图像；基于预设的超分辨率重建网络，对所述第一去压缩图像和所述第二去压缩图像的融合图像进行处理，输出重建图像，其中，所述超分辨率重建网络包括空洞卷积结构和残差通道注意力模块，所述重建图像的分辨率高于所述输入图像的分辨率。
本发明实施例所提供的一种包含计算机可执行指令的存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括预设的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的图像重建方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种图像重建方法，其特征在于，包括：
基于预设的去压缩效应网络，分别从离散余弦变换DCT域和像素域对输入图像进行处理，得到对应的第一去压缩图像和第二去压缩图像；
基于预设的超分辨率重建网络，对所述第一去压缩图像和所述第二去压缩图像的融合图像进行处理，输出重建图像，所述重建图像的分辨率高于所述输入图像的分辨率；
其中，所述从DCT域对输入图像进行处理，得到对应的第一去压缩图像，包括：
在DCT域中，基于由局部宽激活残差块组成的残差组对所述输入图像进行处理，得到所述第一去压缩图像，其中，所述残差组根据训练样本在压缩前后的DCT系数训练得到；
所述去压缩效应网络是一种基于深度学习的网络模型，用于抑制输入图像的压缩效应；
所述超分辨率重建网络为基于空洞卷积和残差通道注意力机制的网络；
所述宽激活残差块由多个宽激活层和线性激活层交替连接构成。
2.根据权利要求1所述的方法，其特征在于，从像素域对输入图像进行处理，得到对应的第二去压缩图像，包括：
在像素域中，通过两个卷积核为3×3的卷积层提取所述输入图像的特征；
将提取的特征输入至权值共享的空洞卷积残差块中，得到多尺度特征；
将所述多尺度特征输入至预设残差块中以进行特征融合；
重复上述得到多尺度特征以及特征融合的操作设定次数后，得到所述第二去压缩图像。
3.根据权利要求1所述的方法，其特征在于，在得到对应的第一去压缩图像和第二去压缩图像之后，还包括：
将所述第一去压缩图像和所述第二去压缩图像堆叠，并将堆叠后的图像输入至舍弃偏置的1×1卷积层中，以进行DCT域和像素域的自适应加权处理，以得到所述融合图像。
4.根据权利要求1所述的方法，其特征在于，所述超分辨率重建网络包括空洞卷积结构和残差通道注意力模块；
所述空洞卷积结构包括至少一组空洞卷积残差块和预设残差块；
所述空洞卷积残差块由空洞卷积残差层组成，用于对所述输入图像的特征进行处理。
5.根据权利要求4所述的方法，其特征在于，基于空洞卷积结构，对所述第一去压缩图像和所述第二去压缩图像的融合图像进行处理，包括：
将所述融合图像输入至所述超分辨率重建网络中，通过一个卷积核为3×3的卷积层提取所述融合图像的特征；
将提取到特征将提取的特征输入至权值共享的空洞卷积残差块中，得到多尺度特征；
将所述多尺度特征输入至预设残差块中以进行特征融合；
重复上述得到多尺度特征以及特征融合的操作设定次数后，得到多个通道的特征。
6.根据权利要求4所述的方法，其特征在于，基于残差通道注意力模块，对所述第一去压缩图像和所述第二去压缩图像的融合图像进行处理，包括：
通过所述残差通道注意力模块缩放每个通道的特征；
通过预设残差块提取缩放后的特征，并输入至反卷积层，以得到所述重建图像。
7.一种图像重建装置，其特征在于，包括：
去压缩模块，用于基于预设的去压缩效应网络，分别从离散余弦变换域和像素域对输入图像进行处理，得到对应的第一去压缩图像和第二去压缩图像；
重建模块，用于基于预设的超分辨率重建网络，对所述第一去压缩图像和所述第二去压缩图像的融合图像进行处理，输出重建图像，所述重建图像的分辨率高于所述输入图像的分辨率；
所述去压缩模块包括：
第一压缩单元，用于在DCT域中，基于由局部宽激活残差块组成的残差组对所述输入图像进行处理，得到所述第一去压缩图像，其中，所述残差组根据训练样本在压缩前后的DCT系数训练得到；
所述去压缩效应网络是一种基于深度学习的网络模型，用于抑制输入图像的压缩效应；
所述超分辨率重建网络为基于空洞卷积和残差通道注意力机制的网络；
所述宽激活残差块由多个宽激活层和线性激活层交替连接构成。
8.一种图像处理设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的图像重建方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的图像重建方法。
CN202110470535.5A 2021-04-28 2021-04-28 图像重建方法、装置、图像处理设备及存储介质 Active CN113096019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110470535.5A CN113096019B (zh) 2021-04-28 2021-04-28 图像重建方法、装置、图像处理设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110470535.5A CN113096019B (zh) 2021-04-28 2021-04-28 图像重建方法、装置、图像处理设备及存储介质

Publications (2)

Publication Number Publication Date
CN113096019A CN113096019A (zh) 2021-07-09
CN113096019B true CN113096019B (zh) 2023-04-18

Family

ID=76681012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110470535.5A Active CN113096019B (zh) 2021-04-28 2021-04-28 图像重建方法、装置、图像处理设备及存储介质

Country Status (1)

Country Link
CN (1) CN113096019B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837946B (zh) * 2021-10-13 2022-12-06 中国电子技术标准化研究院 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013001013A1 (en) * 2011-06-30 2013-01-03 Canon Kabushiki Kaisha Method for decoding a scalable video bit-stream, and corresponding decoding device
CN111429347A (zh) * 2020-03-20 2020-07-17 长沙理工大学 图像超分辨率重建方法、装置及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949255B (zh) * 2017-12-20 2023-07-28 华为技术有限公司 图像重建方法及设备
CN109978772B (zh) * 2017-12-27 2023-04-11 四川大学 基于深度学习与双域互补的压缩图像复原方法
CN109636769B (zh) * 2018-12-18 2022-07-05 武汉大学 基于双路密集残差网络的高光谱和多光谱图像融合方法
CN112150356A (zh) * 2019-06-28 2020-12-29 四川大学 基于级联框架的单幅压缩图像超分辨率重建方法
CN112188217B (zh) * 2019-07-01 2022-03-04 四川大学 结合dct域和像素域学习的jpeg压缩图像去压缩效应方法
CN111445390B (zh) * 2020-02-28 2022-03-25 天津大学 基于宽残差注意力的三维医学图像超分辨率重建方法
CN111445392B (zh) * 2020-03-20 2023-09-15 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013001013A1 (en) * 2011-06-30 2013-01-03 Canon Kabushiki Kaisha Method for decoding a scalable video bit-stream, and corresponding decoding device
CN111429347A (zh) * 2020-03-20 2020-07-17 长沙理工大学 图像超分辨率重建方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN113096019A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN110222758B (zh) 一种图像处理方法、装置、设备及存储介质
CN111868753A (zh) 使用条件熵模型的数据压缩
US8170334B2 (en) Image processing systems employing image compression and accelerated image decompression
US8170333B2 (en) Image processing systems employing image compression
CN110753225A (zh) 一种视频压缩方法、装置及终端设备
CN115409716B (zh) 视频处理方法、装置、存储介质及设备
WO2020062074A1 (en) Reconstructing distorted images using convolutional neural network
CN113888410A (zh) 图像超分辨率方法、装置、设备、存储介质以及程序产品
CN113096019B (zh) 图像重建方法、装置、图像处理设备及存储介质
CN110913219A (zh) 一种视频帧预测方法、装置及终端设备
US8170335B2 (en) Image processing systems employing image compression and accelerated decompression
Zhou et al. Efficient image compression based on side match vector quantization and digital inpainting
CN113256744B (zh) 一种图像编码、解码方法及系统
Jeong et al. An overhead-free region-based JPEG framework for task-driven image compression
CN115118972A (zh) 视频图像的编解码方法及相关设备
CN115294222A (zh) 图像编码方法及图像处理方法、终端及介质
CN113949867B (zh) 一种图像处理的方法及装置
CN118020306A (zh) 视频编解码方法、编码器、解码器及存储介质
CN116260969B (zh) 一种自适应的通道渐进式编解码方法、装置、终端及介质
CN112637609A (zh) 图像实时传输方法、发送端及接收端
CN110830806A (zh) 一种视频帧预测方法、装置及终端设备
US8244071B2 (en) Non-dyadic spatial scalable wavelet transform
CN116916034B (zh) 基于safd的图像处理方法、装置、设备及存储介质
CN116916033B (zh) 一种基于随机自适应傅里叶分解的联合时空视频压缩方法
US20220383554A1 (en) Substitutional quality factor learning for quality-adaptive neural network-based loop filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant