CN113129212B - 图像超分辨率重建方法、装置、终端设备及存储介质 - Google Patents

图像超分辨率重建方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN113129212B
CN113129212B CN201911423965.0A CN201911423965A CN113129212B CN 113129212 B CN113129212 B CN 113129212B CN 201911423965 A CN201911423965 A CN 201911423965A CN 113129212 B CN113129212 B CN 113129212B
Authority
CN
China
Prior art keywords
feature map
frequency
image
characteristic diagram
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911423965.0A
Other languages
English (en)
Other versions
CN113129212A (zh
Inventor
王汝欣
邱亚军
陶大鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Union Vision Innovation Technology Co ltd
Original Assignee
Shenzhen Union Vision Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Union Vision Innovation Technology Co ltd filed Critical Shenzhen Union Vision Innovation Technology Co ltd
Priority to CN201911423965.0A priority Critical patent/CN113129212B/zh
Publication of CN113129212A publication Critical patent/CN113129212A/zh
Application granted granted Critical
Publication of CN113129212B publication Critical patent/CN113129212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks

Abstract

本申请提供一种图像超分辨率重建方法、装置、终端设备及存储介质，通过获取第一分辨率的待处理图像；对所述待处理图像进行图像特征提取，得到初始特征图；其中，所述初始特征图中包含所述待处理图像的高频图像信息和低频图像信息；采用残差网络对所述待处理图像进行重建学习，所述残差网络具有N个块残差模块；当满足预设条件时，获取所述残差网络输出的融合特征图；其中，所述融合特征图由N个块残差模块分别输出的第一频率特征图融合得到；对所述融合特征图进行重建得到超分辨率图像。通过上述技术方案，能够使得超分辨率图像重建过程能够根据图像中的高低频图像信息的特点，实现针对性地对图像中不同频率的画面信息进行准确地重建的技术效果。

Description

图像超分辨率重建方法、装置、终端设备及存储介质
技术领域
本发明属于数字图像处理技术领域，尤其涉及图像超分辨率重建方法、装置、终端设备及存储介质。
背景技术
目前，超分辨率图像重建是指将低质量、低分辨率图像(Low-resolution,LR)进行处理，恢复出高分辨率图像(High-resolution,HR)，从而使得图像的更多细节得以体现的一种技术，其在军事、医学、公共安全和计算机视觉等方面都具有重要的应用前景。
近年来，基于深度学习的超分辨率重建方法得到了广泛关注，这类方法通过卷积神经网络来端到端学习图像的层级特征，获得低分辨率图像与高分辨率图像之间的映射关系，最终实现改善低分辨率图像质量的效果。虽然基于卷积神经网络的图像超分辨重建方法可以有效地提高图像的超分辨重建性能。然而，自然场景下的图像往往由不同的频率信息组成，每个频带包含不同复杂度的图像结构和纹理信息。目前基于深度学习的超分辨率重建算法没有将这些频率不一的纹理与结构信息加以区分，而是统一使用一个复杂网络来恢复，导致重建后的图像细节恢复不够且图像的边缘和纹理细节不够清晰，因此难以满足实际应用需求。
发明内容
有鉴于此，本发明实施例提供了图像超分辨率重建方法、装置、终端设备及存储介质，以解决现有技术中超分辨率图像重建后图像细节恢复不够清晰的技术问题。
本发明实施例的第一方面提供了一种图像超分辨率重建方法，包括：
获取第一分辨率的待处理图像；
对所述待处理图像进行图像特征提取，得到初始特征图；其中，所述初始特征图中包含所述待处理图像的高频图像信息和低频图像信息；
采用残差网络对所述初始特征图进行分级重建学习；其中，所述残差网络具有N个级联的块残差模块；在第i个块残差模块中对输入特征图进行重建学习，包括：将输入特征图输入第i个块残差模块；当i＝1时，所述输入特征图为所述初始特征图，当1＜i≤N时，所述输入特征图为第i-1个块残差模块所输出的第二频率特征图；在每一级块残差模块中，对所述输入特征图进行放大操作，得到第二分辨率的放大特征图；对所述放大特征图进行特征预处理操作，得到第二分辨率的预处理特征图；将所述预处理特征图分别输入第一分支和第二分支；在所述第一分支中对所述预处理特征图进行卷积处理，得到第一频率特征图；在所述第二分支，利用所述预处理特征图从所述输入特征图中提取出高频图像信息进行重建，得到第二频率特征图；其中，所述第二频率大于所述第一频率；
当满足预设条件时，获取所述残差网络输出的融合特征图；其中，所述融合特征图由N个所述块残差模块分别输出的第一频率特征图融合得到；
对所述融合特征图进行重建得到待处理图像的超分辨率图像。
可选的，所述当满足预设条件时，获取所述残差网络输出的融合特征图，包括：
将N的值设置为预设值，当i＝N时，获取所述残差网络输出的融合特征图；
或者，将各个块残差模块输出的所述第一频率特征图进行图像融合，得到临时融合特征图；当所述临时融合特征图与目标图像之间的像素差异度小于预设阈值时，则获取所述残差网络输出的融合特征图。
可选的，在所述第二分支，利用所述预处理特征图从所述输入特征图中提取出高频图像信息进行重建，得到第二频率特征图，包括：
将所述预处理特征图进行下采样，得到具有第一分辨率的下采样特征图；
将所述输入特征图与所述下采样特征图进行做差提取出所述输入特征图的高频图像信息，得到高频特征图；
对所述高频特征图进行重建学习；
将重建学习后的高频特征图与重建学习前的所述高频特征图进行融合得到所述第二频率特征图。
可选的，所述对所述高频特征图进行重建学习，包括：
通过局部残差算法对所述高频特征图进行重建学习；
或者，通过信息蒸馏网络对所述高频特征图进行重建学习。
可选的，在所述第一分支中对所述预处理特征图进行卷积处理，得到第一频率特征图，包括：
对所述预处理特征图进行特征提取，得到低频特征图；
当所述块残差模块不为所述残差网络的最后一个块残差模块时，将第i个块残差模块的所述低频特征图与第i+1个块残差模块的第一频率特征图进行融合，得到当前第i个块残差模块的第一频率特征图；
当所述块残差模块为所述残差网络的最后一个块残差模块时，将所述最后一个块残差模块的所述低频特征图作为所述第一频率特征图进行输出。
可选的，所述对所述输入特征图进行放大操作，包括：
通过反卷积核运算、插值算法或者亚像素卷积算法对所述输入特征图进行放大操作。
可选的，获取第一分辨率的待处理图像，还包括：
获取具有第二分辨率的原始图像，对所述原始图像进行下采样，得到所述第一分辨率的待处理图像。
本发明实施例的第二方面提供了一种图像超分辨率重建装置，包括：
获取模块，用于获取第一分辨率的待处理图像；
特征提取模块，用于对所述待处理图像进行图像特征提取，得到初始特征图；其中，所述初始特征图中包含所述待处理图像的高频图像信息和低频图像信息；
图像重建模块，用于采用残差网络对所述初始特征图进行重建；其中，所述残差网络具有N个级联的块残差模块；在第i个块残差模块中对输入特征图进行重建，包括：将输入特征图输入第i个块残差模块；当i＝1时，所述输入特征图为所述初始特征图，当1＜i≤N时，所述输入特征图为第i-1个块残差模块所输出的第二频率特征图；对所述输入特征图进行放大操作，得到第二分辨率的放大特征图；对所述放大特征图进行特征预处理操作，得到第二分辨率的预处理特征图；将所述预处理特征图分别输入第一分支和第二分支；在所述第一分支中对所述预处理特征图进行卷积处理，得到第一频率特征图；在所述第二分支，利用所述预处理特征图从所述输入特征图中提取出高频图像信息进行重建，得到第二频率特征图；当满足预设条件时，获取所述残差网络输出的融合特征图；其中，所述融合特征图由N个所述块残差模块分别输出的第一频率特征图融合得到；其中，所述第二分辨率大于所述第一分辨率；
输出模块，用于对所述融合特征图进行重建得到所述待处理图像的超分辨率图像。
本发明实施例的第三方面提供了一种图像超分辨率重建终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面的图像超分辨率重建方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面的图像超分辨率重建方法的步骤。
本发明实施例与现有技术相比存在的有益效果是：通过获取第一分辨率的待处理图像；对所述待处理图像进行图像特征提取，得到初始特征图；其中，所述初始特征图中包含所述待处理图像的高频图像信息和低频图像信息；采用残差网络对所述待处理图像进行重建，所述残差网络具有N个块残差模块；当满足预设条件时，获取所述残差网络输出的融合特征图；其中，所述融合特征图由N个块残差模块分别输出的第一频率特征图融合得到；对所述融合特征图进行优化得到超分辨率图像。通过上述技术方案，使得在进行图像超分辨率重建的过程中，能够针对性地对图像中的高频图像信息和低频图像信息进行分离并分别进行重建，同时还能够尽可能将更多的高频图像信息传递到更深的块残差模块中进行超分辨率重建，而对于比较简单的低频图像信息则可以通过较浅层的重建网络实现对图像中的低频部分进行快速重建。在保证图像超分辨率重建效果的同时，还能够保证对图像进行超分辨率重建的效率，避免出现低频信息过拟合、高频信息欠拟合的现象。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像超分辨率重建方法的实现流程图；
图2是本发明实施例提供的一种图像超分辨率重建方法步骤S103的实现流程图；
图3是本发明实施例提供的一种图像超分辨率重建方法中局部残差算法的示意图；
图4是本发明实施例提供的一种图像超分辨率重建方法中信息蒸馏网络算法的示意图；
图5是本发明实施例提供的一种图像超分辨率重建方法中残差网络的具体示例示意图；
图6是本发明实施例提供的一种图像超分辨率重建方法的具体示例示意图；
图7是本发明实施例提供的图像超分辨率重建装置的示意图；
图8是本发明实施例提供的图像超分辨率重建终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
请参见图1，图1是图1是本发明实施例提供的一种图像超分辨率重建方法的实现流程图。如图1所示的图像超分辨率重建方法可包括：
S101：获取第一分辨率的待处理图像。
该第一分辨率的待处理图像可以通过图像数据库获得，也可以通过对原始图像进行处理取得。
在一种实施例中，通过图像数据库获得获取第一分辨率的待处理图像。在市面上存在着许多商业图像数据库，在该数据库中存储原始分辨率的高清图像和分辨率较低的低分辨率图像。获取其中的低分辨率图像作为具有第一分辨率的待处理图像，并且将所述高清图像的原始分辨率记为第二分辨率，将所述高清图像作为原始图像。
在另一种实施例中，可以获取图像分辨率较高的原始图像，并将原始图像的分辨率记为第二分辨率；通过对原始图像进行下采样，得到原始图像对应的待处理图像，该待处理图像的分辨率为第一分辨率。
其中，第二分辨率大于第一分辨率，且所述第二分辨率为图像超分辨率重建的目标分辨率。
S102：对所述待处理图像进行图像特征提取，得到初始特征图。
其中，所述初始特征图中包含待处理图像的高频图像信息和低频图像信息。在本申请的一种实施例中，在对待处理图像进行超分辨率重建之前，对待处理图像进行特征提取，以得到初始特征图。对第一分辨率的待处理图像进行图像特征提取，通常采用三个卷积运算实现。在上述三个卷积运算中，均采用3*3的卷积核，其步长为1、填充(padding)为1、卷积核个数分别为128，64，64。
S103：采用残差网络对所述初始特征图进行分级重建学习；其中，所述残差网络具有N个级联的块残差模块。
将初始特征图输入到残差网络中，在所述残差网络中包含了N个级联的块残差模块。在块残差模块中能够根据初始特征图所包含的高频图像信息和低频图像信息进行分别进行重建。对于频率越高的高频图像信息，则需要越多层级的块残差模块进行重建，对于频率较低的低频图像信息则通过较为浅层的块残差模块即可得到恢复。通过在级联的块残差模块中对初始特征图依据图像频率信息从低到高依次重建输出对应的第一频率特征图。
可选地，在另一个实施例中，请参见图2，图2是本发明实施例提供的一种图像超分辨率重建方法步骤S103的实现流程图。在第i个块残差模块中对输入特征图进行分级重建学习，包括：
S1031：将输入特征图输入第i个块残差模块；当i＝1时，所述输入特征图为所述初始特征图，当1＜i≤N时，所述输入特征图为第i-1个块残差模块所输出的第二频率特征图。
在残差网络中，通过级联的方式将若干个块残差模块进行连接。在恢复过程中，块残差模块会把图像中频率较低的部分通过第一分支进行处理，同时通过第二分支对输入特征图中的高频图像信息进行进一步的高频信息重建，重建出输入特征图中频率较低的一部分高频图像信息，对于未被恢复的高频图像信息，块残差模块会将该未被恢复的高频图像信息与恢复出的高频信息进行融合，并将融合后的第二频率特征图作为下一个块残差块模型的输入特征图。所以在残差网络中，不同级别的块残差模块的输入特征图存在着差别。将输入特征图输入第i个块残差模块；其中，当i＝1时，所述输入特征图为所述初始特征图；当1＜i≤N时，所述输入特征图为第i-1个块残差模块所输出的第二频率特征图。
S1032：对所述输入特征图进行放大操作，得到第二分辨率的放大特征图。
在接收到输入特征图之后，会对输入特征图进行放大操作。以使图像能够被映射到第二分辨率空间，得到第二分辨率的放大特征图。在一个实施例中，具体可以通过反卷积核运算、插值算法或者亚像素卷积算法等图像放大的方法对输入特征图进行放大。该第二分辨率可以是用户所需的目标分辨率。
在一个实施例中，当用户通过商业数据库获取具有第一分辨率的待处理图像，并且获得具有第二分辨率的原始图像时，放大特征图的分辨率为该原始图像所具有的第二分辨率。
在另一个实施例中，当用户通过获取具有第二分辨率的原始图像，并通过下采样取得具有第一分辨率的待处理图像时，放大特征图的分辨率为下采样操作之前该原始图像所具有的第二分辨率。
例如，用户希望把512*512的图像进行超分辨率重建放大至原始图像大小，且该原始图像具有1080*1080的分辨率，则在此处的第二分辨率即为原始图像所具有的分辨率。
S1033：对所述放大特征图进行特征预处理操作，得到第二分辨率的预处理特征图；
放大特征图是来自输入特征图经过高分辨率映射后得到的，其中的图像信息实际上还是来自输入特征图中已有的图像信息。此时的放大特征图还需要进一步进行超分辨率重建，通过预处理使得图像能够更加的清晰。具体可以通过2层3*3的卷积核、步长为1、填充为1以及卷积核数量为64的卷积运算，使得图像像素之间缺失或者不平滑的信息得到超分辨率重建，也可以通过其他常见的超分辨率重建算法对放大特征图进行超分辨率重建优化，以得到具有第二分辨率的图像。在该操作中，预处理特征图在进行预处理之后图像的分辨率大小仍然需要保持与放大特征图一致的大小，进而保证在进行超分辨率重建后输出的图像具有目标的第二分辨率大小。
S1034：将所述预处理特征图分别输入第一分支和第二分支；在所述第一分支中对所述预处理特征图进行卷积处理，得到第一频率特征图；在所述第二分支，利用所述预处理特征图从所述输入特征图中提取出高频图像信息进行重建，得到第二频率特征图。
其中，所述第二频率大于所述第一频率；即第一分支为低频图像信息重建分支，第二分支为高频图像信息重建分支，这里的低频为输入特征图中相对低频的部分、高频为输入特征图中相对高频的部分。在经过预处理操作后，放大特征图的画面细节得到恢复，但是在预处理特征图中会损失一部分高频图像信息。此时，需要对所损失的高频图像信息以及已经取得优化的低频图像信息进行针对性的优化，进而使得最终能够输出具有高频信息以及低频信息的融合特征图，在保证图像中高频图像信息和低频图像信息在重建过程中都能够被合理的进行重建，避免在超分辨率重建过程中出现高频信息欠拟合、低频信息过拟合的现象。具体的，针对图像中的高频信息部分，可以利用所述预处理特征图从所述输入特征图中提取出高频图像信息进行重建。通过第二分支对图像信息中频率相对较高的部分进行重建学习，对于图像中没有被重建的高频图像信息则会被继续传递到更深的块残差模块中继续进行重建，进而使得对于高频信息能够通过较深的残差网络进行超分辨率重建。针对图像中的低频部分，则通过第一分支进一步进行重建恢复并输出，能够减少对图像中低频部分的网络层级，通过较浅的残差网络实现对图像低频信息的恢复。
在另一种实施例中，步骤S1034中所述在所述第二分支，利用所述预处理特征图从所述输入特征图中提取出高频图像信息进行重建，得到第二频率特征图，包括：
将所述预处理特征图进行下采样，得到具有第一分辨率的下采样特征图；
将所述输入特征图与所述下采样特征图进行做差提取出所述输入特征图的高频特征信息，得到高频特征图；
对所述高频特征图进行重建学习；
将重建学习后的高频特征图与重建学习前的所述高频特征图进行融合得到所述第二频率特征图。
在该实施例中，预处理特征图的分辨率大小为第二分辨率，该第二分辨率大于初始特征图的第一分辨率。因此，在对预处理特征图进行高频特征提取之前，还需要对预处理特征图进行下采样，以方便通过具有第一分辨率大小的下采样特征图从输入特征图中提取出高频特征图。在块残差模块中，输入特征图可以为初始特征图，也可以是第i-1个块残差模块所输出的第二频率特征图。由于初始输入的输入特征图以及下采样特征图均具有第一分辨率，因此块残差模块输出的第二频率特征图也具有第一分辨率，进而输入特征图在任意的块残差模块中均为具有第一分辨率的图像。
将当前块残差模块的输入特征图与下采样取得的下采样特征图进行图像融合，提取出其中的高频特征信息，得到高频特征图。该图像融合手段是将输入特征图中下采样特征图所包含的图像信息进行剔除(如做差操作)，留下下采样特征图中不存在的对应的高频图像信息，进而得到输入特征图的高频特征图。
对所述高频特征图进行重建学习，具体可以通过局部残差算法对所述高频特征图进行重建学习；或者，通过信息蒸馏网络对所述高频特征图进行重建学习。
在其中一个实施例中，请参见图3，图3是本发明实施例提供的一种图像超分辨率重建方法中局部残差算法的示意图；其中的Conv为卷积核，可以对输入的图像进行对应的卷积运算，然后将图像输出至下一个执行模块中，对应的输入信号为Ix，对应于方法中的高频特征图，则经过局部残差算法处理后输出Ix+1，对应于第二频率特征图。通过局部残差算法对所述高频特征图进行重建学习，即通过局部残差算法，对高频特征图进行3-5个卷积运算，进而实现对高频特征图中频率较低的部分进行重建，再将经过卷积运算的高频特征图与未经过高频特征图进行融合，输出第二频率特征图。
在另一个实施例中，请参见图4，图4是本发明实施例提供的一种图像超分辨率重建方法中信息蒸馏网络算法的示意图，其中Ix为高频特征图，Conv为卷积核，Conv-1为1*1的卷积核，融合后输出Ix+1为第二频率特征图。而通过信息蒸馏算法则是通过3-5个卷积运算，将每个卷积运算后的高频特征图输入特征图融合器，同时将每个卷积运算后的高频特征图输入相邻的下一个卷积核进行进一步的卷积运算，进而实现对高频特征图的信息蒸馏，经过图像融合器融合处理后，经过1个1*1的卷积核对融合后的图像进行优化处理并输出，进一步的将重建学习后的高频特征图与重建学习之前的高频特征图进行融合得到第二频率特征图。
通过对高频特征图进行重建学习，并将重建学习后的高频特征图与未经处理并且包含所有频率特征信息的高频特征图进行融合，使得重建后的高频图像信息以及重建过程中丢失的高频图像信息均能够得到保留，并且传递到下一层级的块残差模块进行进一步的高频图像信息重建以及第一分支的第一频率特征图输出，进而实现了对图像中包含的高低频信息的区分处理，提高对超分辨率图像进行重建恢复时的准确性。
在另外一个实施例中，所述步骤S1034中所述在所述第一分支中对图像的低频信息进行重建，包括：
对所述预处理特征图进行特征重建，得到低频特征图；
将第i个块残差模块的所述低频特征图与第i+1个块残差模块的第一频率特征图进行融合，得到当前第i个块残差模块的第一频率特征图；其中，当所述块残差模块为所述残差网络的最后一个块残差模块时，将所述最后一个块残差模块的所述低频特征图作为所述第一频率特征图进行输出。
在本实施例中，通过对预处理特征图进行进一步的超分辨率重建即可获得低频特征图。例如，通过常用的卷积核对预处理特征图进行进一步的优化重建，进而直接获得低频特征图。再将该低频特征图与第i+1个残差模块的第一频率特征图进行融合即可获得当前块残差模块的第一频率特征图。当所述块残差模块为所述残差网络的最后一个块残差模块时，将所述最后一个块残差模块的所述低频特征图作为所述第一频率特征图进行输出。所述第一频率特征图可以通过如下公式进行表述：
O’n＝On+O’n+1；
其中，所述O’n为第n个块残差模块的第一频率特征图，On为第n个块残差模块得到的低频特征图，O’n+1为第n+1个块残差输出的第一频率特征图，n大于等于1。
特别的，当第n个块残差模块为最后一个块残差模块时，即不存在第n+1个块残差模块时，则直接将第n个块残差模块得到的低频特征图On作为第n个块残差模块的第一频率特征图，即
O’n＝On。
在本实施例中，块残差模块的层级越深，则产生的第一频率特征图频率越高，通过更深层级所处理产生的第一频率特征图与当前层级块残差模块所产生的第一频率特征图进行融合，使得浅层的块残差模块中图像频率较低的低频图像信息无需进行复杂的重建运算，减少低频图像信息重建过程的参数引入，避免了低频图像信息在重建过程中出现过拟合的现象。
S104：当满足预设条件时，获取所述残差网络输出的融合特征图。
在其中一个实施例中，所述当满足预设条件时，获取所述残差网络输出的融合特征图，包括：将N的值设置为预设值，当i＝N时，获取所述残差网络输出的融合特征图。即在对该超分辨率重建的残差网络在开始对图像重建之前，为该残差网络设置一个预设阈值N，该预设阈值N是通过人工实验统计得出的，在该预设阈值N下，经过N个块残差模块的重建，所输出的融合特征图能够达到预期要求。并且后续再继续通过更深层的块残差模块进行重建时，对图像的超分辨率重建所产生的恢复梯度较小，重建效果不明显，所述残差网络趋于收敛。同时，由于仅需要再i＝N时对图像进行输出，进而无需与原始图像进行比较，提高了残差网络的运行效率。
在另一个实施例中，所述当满足预设条件时，获取所述残差网络输出的融合特征图，包括：将各个块残差模块输出的所述第一频率特征图进行图像融合，得到临时融合特征图；当所述临时融合特征图与目标图像之间的像素差异度小于预设阈值时，则获取所述残差网络输出的融合特征图。在本实施例中，将当前已进行的块残差模块重建操作所产生的第一频率特征图进行融合，即通过对第一频率特征图的尝试性融合以获得临时融合特征图，将该图像与目标图像进行比较，该目标图像是所述待处理图像对应的原始图像，当所述临时融合特征图与所述目标图像像素差异小于预设阈值时，则获取所述残差网络输出的融合特征图。
所述融合重建图像由各个块残差模块输出的第一频率特征图融合而成，根据图像频率信息，对于残差网络中包含的N个块残差模块的N值越大，则处理的信息其图像频率也越高，进而在对各个块残差模块进行融合后，取得的融合特征图能够取得根据频率分布情况进行级联超分辨率重建的图像信息，进而实现根据图像频率分布情况分别进行超分辨率重建的技术效果，避免了在超分辨率重建过程中出现高频信息欠拟合、低频信息过拟合的现象发生。
在另一个实施例中，参照图5，图5是本发明实施例提供的一种图像超分辨率重建方法中残差网络的具体示例示意图。图5中，BRMx、BRMx+1为相邻的块残差模块(BlockResidual Module，BRM)，Conv为卷积运算，Ix、Ix+1分别为相邻两个块残差模块的输入。所述残差网络具有N个级联的块残差模块，在第x个块残差模块(BRMx)中，获取输入特征图Ix，当x＝1时，所述输入特征图为所述初始特征图；当1＜x≤N时，所述输入特征图为第x-1个块残差模块所输出的第二频率特征图。输入特征图Ix经过放大模块的放大处理后，得到放大特征图，放大特征图经过两个卷积运算处理之后，得到预处理特征图。此时，块残差模块分为第一分支和第二分支，在第一分支中继续对预处理特征图中的低频特征图像信息进行处理。具体地，可以继续进行一次卷积运算，然后与下一个块残差模块(BRMx+1)第一分支输出的第一频率特征图进行融合，进而得到当前块残差模块(BRMx)的第一频率特征图。而在第二分支中，对预处理图像进行下采样得到下采样特征图，再将输入特征图Ix与下采样特征图进行做差得到高频特征图，对所述高频特征图进行重建学习，将重建学习后的高频特征图与重建学习前的所述高频特征图进行融合得到所述第二频率特征图。该第二频率特征图将被作为下一个块残差模块的输入特征图使用，即第X+1个块残差模块(BRMX+1)的输入特征图(Ix+1)为第X个块残差模块(BRMx)的第二频率特征图。同时，对所述高频特征图进行重建学习，包括了：通过局部残差算法对所述高频特征图进行重建学习；或者，通过信息蒸馏网络对所述高频特征图进行重建学习。从而，实现了通过浅层残差网络对初始特征图中的低频部分进行重建学习，随着初始特征图中图像频率的提高，对应的通过更深的块残差模块对图像中的高频部分进行重建学习，进而避免了低频图像过拟合、高频图像欠拟合的现象出现，提高了图像重建学习的准确性。
S105：对所述融合特征图进行优化得到超分辨率图像。
对融合特征图进行优化处理，使得融合特征图能够更好的进行融合。如通过1*1的卷积核对融合特征图进行进一步的画面优化，提升画面整体融合度，在优化处理后输出超分辨率图像。除采用卷积核优化之外，也可以采用其他的图像融合优化算法对图像进行进一步的优化，本申请不做进一步的限定。
在本申请中，通过将待处理图像输入残差网络中进行处理，在残差网络中通过级联的块残差模块对不同频率的图像信息进行分别处理，频率越高的图像信息会被传递到越深的块残差模块中进行处理，实现了对于待处理图像的低频信息通过浅层残差网络进行超分辨率重建，高频信息通过复杂度较高的深层网络进行超分辨率重建，使得在重建中图像的低频信息和高频信息能够被正确重建，避免了低频信息过拟合、高频信息欠拟合的现象出现。
请参见图6，图6是本发明实施例提供的一种图像超分辨率重建方法的具体示例示意图；其中，Conv-3为3*3的卷积核，Conv-1为1*1的卷积核，In为块残差模块的输入特征图，On为第一分支输出的低频特征图，O’n为第一频率特征图，BRM(Block Residual Module)为块残差模块。
在图像超分辨率重建方法中，可分为三个流程阶段，分别是：特征提取阶段、非线性映射阶段、重建阶段。在特征提取阶段，首先对低分辨率图像进行特征提取，该特征提取过程可以通过三个卷积实现，均采用3*3、步长为1、填充(padding)为1的卷积核，三个卷积核的卷积核个数分别为128、64、64。低分辨率图像依次经过上述三个卷积核的卷积运算之后，由于卷积运算的特性，使得该低分辨率图像通过卷积运算对图像中的特征信息进行了提取，在该低分辨率图像中包含高频图像信息和低频图像信息。图像中的高频图像信息是指图象中像素变化较快的区域，如噪点、边缘、图像的材质信息等像素变化较快的区域，通过卷积运算之后图像中的高频图像信息丢失，而低频图像信息被进一步增强，进而图像中的低频信息被提取出来。
在非线性映射阶段，将特征提取后的低分辨率图像输入到块残差模块中，利用级联式的残差网络对低分辨率图像进行重建。在所述级联式的残差网络可以包括有若干个块残差模块，较低层级的块残差模块处理图像中频率较低的图像信息，当块残差模块的层级逐渐加深，图像中较高频的信息随着块残差模块层级的加深也逐渐被恢复和重建。同时，在每一个层级中的块残差模块均包括第一分支和第二分支，第一分支负责处理并输出当前级别的块残差模块所恢复的低频图像信息，而第二分支则负责处理并记录当前级别的块残差模块所恢复的高频图像信息，并将当前级别块残差模块所无法处理的部分高频信息进一步传递到更深一级的块残差网络进行处理。最后，在重建阶段中，将所有块残差模块所输出的融合特征图进行合并。将每个级别的块残差模块所产生的第一频率特征图进行融合，并将融合后的图像进行输出，经过一个1*1的卷积核对图像进行进一步汇总优化，得到最终的超分辨率图像。
本发明实施例提供的一种图像超分辨率重建方法，可用于对神经网络模型进行训练，对于第一分支，可以为神经网络提供端到端的训练参数，通过将该图像超分辨率重建方法输出的超分辨率图像与原始图像进行损失函数计算，并根据链式法则可以为神经网络提供端到端的训练参数。同时还能够根据第二分支进行正向传播差异计算。再根据正向传播的差异值，计算出逆向传播的梯度关系，利用对高频信息重建过程的正向传播和逆向传播进行计算，能够为神经网络模型提供更多关于高频信息重建所需的参数。进而使得在对神经网络模型进行训练时，能够根据图像的频谱特性对输入特征图的高频图像信息和低频图像信息分别进行超分辨率重建，对于图像中较为低频的部分，通过较为浅层的神经网络就可以实现对图像中的低频信息完成超分辨率重建，避免图像低频信息的过拟合。而对于输入特征图中较为高频的部分，通过较深层级的残差网络训练，能够使得神经网络模型具有较深层级的神经网络对高频信息进行重建恢复，进而提高了在超分辨率重建过程中对于高频信息的拟合度，避免图像中的高频信息欠拟合的现象发生。
与前述方法实施例相对应的，本申请的另一个实施例中提供了一种图像超分辨率重建装置，结合图7，该装置能够实现步骤S101-S105或步骤S1031-1034对应的所有操作，具体包括：
获取模块71，用于获取第一分辨率的待处理图像；
特征提取模块72，用于对所述待处理图像进行图像特征提取，得到初始特征图；其中，所述初始特征图中包含所述待处理图像的高频图像信息和低频图像信息；
图像重建模块73，用于采用残差网络对所述初始特征图进行分级重建学习；其中，所述残差网络具有N个级联的块残差模块；在第i个块残差模块中对输入特征图进行重建学习，包括：将输入特征图输入第i个块残差模块；当i＝1时，所述输入特征图为所述初始特征图，当1＜i≤N时，所述输入特征图为第i-1个块残差模块所输出的特征图；在每一级块残差模块中，对所述输入特征图进行放大操作，得到放大特征图；对所述放大特征图进行预处理操作，得到预处理特征图；将所述预处理特征图分别输入第一分支和第二分支；在所述第一分支中对所述预处理特征图进行卷积处理，得到第一频率特征图；在所述第二分支，根据所述预处理特征图和初始特征图提取高频图像信息，得到第二频率特征图；当满足预设条件时，获取所述残差网络输出的融合特征图；其中，所述融合特征图由N个所述块残差模块分别输出的第一频率特征图融合得到；其中，所述第二频率大于所述第一频率；
输出模块74，用于对所述融合特征图进行重建得到待处理图像的超分辨率图像。
由于本实施例的与前述方法实施例相对应的，对于各个步骤的具体实施例以及详细描述可参照前述方法实施例相对应的内容。
在本申请中，通过将待处理图像输入残差网络中进行处理，在残差网络中通过级联的块残差模块对不同频率的图像信息进行分别处理，频率越高的图像信息会被传递到越深的块残差模块中进行处理，实现了对于待处理图像的低频信息通过浅层残差网络进行超分辨率重建，高频信息通过复杂度较高的深层网络进行超分辨率重建，使得在重建中图像的低频信息和高频信息能够被正确重建，避免了低频信息过拟合、高频信息欠拟合的现象出现。
图8为本申请另一个实施例提供的图像超分辨率重建终端设备的示意图。如图8所示，该实施例的图像超分辨率重建终端设备8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82，例如图像超分辨率重建程序。所述处理器80执行所述计算机程序82时实现上述各个图像超分辨率重建方法实施例中对应的步骤。
示例性的，所述计算机程序82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器81中，并由所述处理器80执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序82在所述图像超分辨率重建终端设备8中的执行过程。
所述图像超分辨率重建终端设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述图像超分辨率重建终端设备可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是图像超分辨率重建终端设备8的示例，并不构成对图像超分辨率重建终端设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述图像超分辨率重建终端设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器80可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81可以是所述图像超分辨率重建终端设备8的内部存储单元，例如图像超分辨率重建终端设备8的硬盘或内存。所述存储器81也可以是所述图像超分辨率重建终端设备8的外部存储设备，例如所述图像超分辨率重建终端设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。进一步地，所述存储器81还可以既包括所述图像超分辨率重建终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述图像超分辨率重建终端设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述图像超分辨率重建方法的步骤。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种图像超分辨率重建方法，其特征在于，包括：
获取第一分辨率的待处理图像；
对所述待处理图像进行图像特征提取，得到初始特征图；其中，所述初始特征图中包含所述待处理图像的高频图像信息和低频图像信息；
采用残差网络对所述初始特征图进行分级重建学习；其中，所述残差网络具有N个级联的块残差模块；在第i个块残差模块中对输入特征图进行重建学习，包括：将输入特征图输入第i个块残差模块；当i＝1时，所述输入特征图为所述初始特征图，当1＜i≤N时，所述输入特征图为第i-1个块残差模块所输出的第二频率特征图；在每一级块残差模块中，对所述输入特征图进行放大操作，得到放大特征图；对所述放大特征图进行预处理操作，得到预处理特征图；将所述预处理特征图分别输入第一分支和第二分支；在所述第一分支中对所述预处理特征图进行卷积处理，得到第一频率特征图；在所述第二分支，根据所述预处理特征图和初始特征图提取高频图像信息，得到所述第二频率特征图；其中，所述第二频率大于所述第一频率；所述预处理操作用于使所述放大特征图的画面细节得到恢复并且使输出的所述预处理特征图中部分高频图像信息丢失；
当满足预设条件时，获取所述残差网络输出的融合特征图；其中，所述融合特征图由N个所述块残差模块分别输出的第一频率特征图融合得到；
对所述融合特征图进行重建得到待处理图像的超分辨率图像；
在所述第二分支，根据所述预处理特征图和初始特征图提取出高频图像信息，得到第二频率特征图，包括：
将所述预处理特征图进行下采样，得到下采样特征图；
将所述输入特征图与所述下采样特征图进行做差提取出所述输入特征图的高频特征信息，得到高频特征图；
对所述高频特征图进行重建学习；
将重建学习后的高频特征图与重建学习前的所述高频特征图进行融合得到所述第二频率特征图；
所述对所述高频特征图进行重建学习，包括：
通过信息蒸馏网络对所述高频特征图进行重建学习，具体的，通过3-5个卷积运算，将每个卷积运算后的高频特征图输入特征图融合器，同时将每个卷积运算后的高频特征图输入相邻的下一个卷积核进行卷积运算；
所述对所述初始特征图进行放大操作，包括：
通过反卷积核运算、插值算法或者亚像素卷积算法对所述初始特征图进行放大操作。
2.如权利要求1所述的图像超分辨率重建方法，其特征在于，所述当满足预设条件时，获取所述残差网络输出的融合特征图，包括：
将N的值设置为预设值，当i＝N时，获取所述残差网络输出的融合特征图；
或者，将各个块残差模块输出的所述第一频率特征图进行融合，得到临时融合特征图；当所述临时融合特征图与原始图像之间的差异度小于预设阈值时，则获取所述残差网络输出的融合特征图。
3.如权利要求1所述的图像超分辨率重建方法，其特征在于，在所述第一分支中对所述预处理特征图进行卷积处理，得到第一频率特征图，包括：
对所述预处理特征图进行特征提取，得到低频特征图；
当所述块残差模块不为所述残差网络的最后一个块残差模块时，将第i个块残差模块的所述第一频率特征图与第i+1个块残差模块的第一频率特征图进行融合，得到当前第i个块残差模块的第一频率特征图；
当所述块残差模块为所述残差网络的最后一个块残差模块时，将所述最后一个块残差模块的所述第一频率特征图进行输出。
4.如权利要求1-3任一项所述的图像超分辨率重建方法，其特征在于，获取第一分辨率的待处理图像，还包括：
获取具有第二分辨率的原始图像，对所述原始图像进行下采样，得到所述第一分辨率的待处理图像。
5.一种图像超分辨率重建装置，其特征在于，包括：
获取模块，用于获取第一分辨率的待处理图像；
特征提取模块，用于对所述待处理图像进行图像特征提取，得到初始特征图；其中，所述初始特征图中包含所述待处理图像的高频图像信息和低频图像信息；
图像重建模块，用于采用残差网络对所述初始特征图进行分级重建学习；其中，所述残差网络具有N个级联的块残差模块；在第i个块残差模块中对输入特征图进行重建学习，包括：将输入特征图输入第i个块残差模块；当i＝1时，所述输入特征图为所述初始特征图，当1＜i≤N时，所述输入特征图为第i-1个块残差模块所输出的第二频率特征图；在每一级块残差模块中，对所述输入特征图进行放大操作，得到放大特征图；对所述放大特征图进行预处理操作，得到预处理特征图；将所述预处理特征图分别输入第一分支和第二分支；在所述第一分支中对所述预处理特征图进行卷积处理，得到第一频率特征图；在所述第二分支，根据所述预处理特征图和初始特征图提取高频图像信息，得到所述第二频率特征图；当满足预设条件时，获取所述残差网络输出的融合特征图；其中，所述融合特征图由N个所述块残差模块分别输出的第一频率特征图融合得到；其中，所述第二频率大于所述第一频率；所述预处理操作使得所述放大特征图的画面细节得到恢复并且使输出的所述预处理特征图中部分高频图像信息丢失；
输出模块，用于对所述融合特征图进行重建得到待处理图像的超分辨率图像；
在所述第二分支，根据所述预处理特征图和初始特征图提取出高频图像信息，得到第二频率特征图，包括：
将所述预处理特征图进行下采样，得到下采样特征图；
将所述输入特征图与所述下采样特征图进行做差提取出所述输入特征图的高频特征信息，得到高频特征图；
对所述高频特征图进行重建学习；
将重建学习后的高频特征图与重建学习前的所述高频特征图进行融合得到所述第二频率特征图；
所述对所述高频特征图进行重建学习，包括：
通过信息蒸馏网络对所述高频特征图进行重建学习，具体的，通过3-5个卷积运算，将每个卷积运算后的高频特征图输入特征图融合器，同时将每个卷积运算后的高频特征图输入相邻的下一个卷积核进行卷积运算；
所述对所述初始特征图进行放大操作，包括：
通过反卷积核运算、插值算法或者亚像素卷积算法对所述初始特征图进行放大操作。
6.一种图像超分辨率重建终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。
CN201911423965.0A 2019-12-31 2019-12-31 图像超分辨率重建方法、装置、终端设备及存储介质 Active CN113129212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911423965.0A CN113129212B (zh) 2019-12-31 2019-12-31 图像超分辨率重建方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911423965.0A CN113129212B (zh) 2019-12-31 2019-12-31 图像超分辨率重建方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN113129212A CN113129212A (zh) 2021-07-16
CN113129212B true CN113129212B (zh) 2023-01-13

Family

ID=76770085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911423965.0A Active CN113129212B (zh) 2019-12-31 2019-12-31 图像超分辨率重建方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN113129212B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187181A (zh) * 2021-12-17 2022-03-15 福州大学 基于残差信息精炼的双路径肺部ct图像超分辨率方法
CN114363617A (zh) * 2022-03-18 2022-04-15 武汉大学 一种网络轻量级视频流传输方法、系统及设备
CN116523759B (zh) * 2023-07-04 2023-09-05 江西财经大学 基于频率分解与重启机制的图像超分辨率重建方法与系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111256A (zh) * 2019-04-28 2019-08-09 西安电子科技大学 基于残差蒸馏网络的图像超分辨重建方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8675999B1 (en) * 2012-09-28 2014-03-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Apparatus, system, and method for multi-patch based super-resolution from an image
CN105205782B (zh) * 2015-09-06 2019-08-16 京东方科技集团股份有限公司 超解像方法和系统、服务器、用户设备及其方法
CN109523470B (zh) * 2018-11-21 2023-07-25 四川长虹电器股份有限公司 一种深度图像超分辨率重建方法及系统
CN109978785B (zh) * 2019-03-22 2020-11-13 中南民族大学 多级递归特征融合的图像超分辨率重构系统及其方法
CN110033410B (zh) * 2019-03-28 2020-08-04 华中科技大学 图像重建模型训练方法、图像超分辨率重建方法及装置
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111256A (zh) * 2019-04-28 2019-08-09 西安电子科技大学 基于残差蒸馏网络的图像超分辨重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Fast and Accurate Single Image Super-Resolution via Information Distillation Network;Zheng Hui et al;《Proceedings of the IEEE conference on computer vision and pattern recognition》;20181231;第723-731页 *

Also Published As

Publication number Publication date
CN113129212A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN109389556B (zh) 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
Bulat et al. To learn image super-resolution, use a gan to learn how to do image degradation first
CN110782399B (zh) 一种基于多任务cnn的图像去模糊方法
Zhang et al. Learning deep CNN denoiser prior for image restoration
WO2020168844A1 (en) Image processing method, apparatus, equipment, and storage medium
CN113129212B (zh) 图像超分辨率重建方法、装置、终端设备及存储介质
CN107403415B (zh) 基于全卷积神经网络的压缩深度图质量增强方法及装置
US11301965B2 (en) Method and image processing device for image super resolution, image enhancement, and convolutional neural network model training
CN111951167B (zh) 超分辨率图像重建方法、装置、计算机设备和存储介质
CN113450290B (zh) 基于图像修补技术的低照度图像增强方法及系统
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
WO2021258959A1 (zh) 图像修复的方法、装置及电子设备
CN114821058A (zh) 一种图像语义分割方法、装置、电子设备及存储介质
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
CN114913094A (zh) 图像修复方法、装置、计算机设备、存储介质和程序产品
Salem et al. Semantic image inpainting using self-learning encoder-decoder and adversarial loss
Uddin et al. A perceptually inspired new blind image denoising method using $ L_ {1} $ and perceptual loss
Liu et al. Facial image inpainting using multi-level generative network
Niu et al. Deep robust image deblurring via blur distilling and information comparison in latent space
CN112633260B (zh) 视频动作分类方法、装置、可读存储介质及设备
CN114627035A (zh) 一种多聚焦图像融合方法、系统、装置及存储介质
Yu et al. MagConv: Mask-guided convolution for image inpainting
Xu et al. Depth map super-resolution via joint local gradient and nonlocal structural regularizations
WO2023155305A1 (zh) 图像重建方法、装置、电子设备及存储介质
CN111951171A (zh) Hdr图像生成方法、装置、可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant