CN113628115B - 图像重建的处理方法、装置、电子设备和存储介质 - Google Patents

图像重建的处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113628115B
CN113628115B CN202110982534.9A CN202110982534A CN113628115B CN 113628115 B CN113628115 B CN 113628115B CN 202110982534 A CN202110982534 A CN 202110982534A CN 113628115 B CN113628115 B CN 113628115B
Authority
CN
China
Prior art keywords
image
resolution
super
feature map
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110982534.9A
Other languages
English (en)
Other versions
CN113628115A (zh
Inventor
侯岷君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110982534.9A priority Critical patent/CN113628115B/zh
Publication of CN113628115A publication Critical patent/CN113628115A/zh
Application granted granted Critical
Publication of CN113628115B publication Critical patent/CN113628115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像重建的处理方法、装置、计算机设备和存储介质。包括：获取待处理图像对应的放大参数；基于放大参数对待处理图像进行放大处理，得到放大图像；提取放大图像的特征图；特征图包含层级级联关系；根据层级级联关系，逐层执行特征图提取操作，并基于放大参数获取与层级特征图对应的层级权重；层级权重用于表示各层级特征图在特征图中的贡献比例；根据各个层级特征图和层级权重，生成各层级残差特征图，并将各层级残差特征图融合至待处理图像中，得到与放大倍率对应的超分辨率重建图像。采用本方法能够在实现处理不同放大倍率图像重建任务的情况下又能够有效提高重建图像的清晰度。

Description

图像重建的处理方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像重建的处理方法、装置、电子设备和计算机可读存储介质。
背景技术
随着计算机技术以及深度学习技术的发展，越来越多的用户使用深度学习技术对图像进行处理。在图像处理领域中,可以通过深度学习来实现图像超分辨率重建的处理任务。其中，超分辨率是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。
然而，目前的图像重建的处理方式中，深度学习超分模型往往只针对单一倍率的超分辨率放大，如果想要实现不同放大倍率的图像处理任务，则需要为不同放大倍率的图像处理任务专门训练对应的超分辨率模型，会大大增加模型训练和数据集制作的时间和人力成本，若采用单一的超分辨率模型处理不同倍率的图像重建任务，则容易导致得到的重建图像的清晰度较低，因此，如何能够在实现灵活处理不同放大倍率图像重建任务的情况下又能够有效提高重建图像的清晰度成为亟需解决的问题。
发明内容
本申请实施例提供了一种图像重建的处理方法、装置、电子设备、计算机可读存储介质，能够在实现灵活处理不同放大倍率图像重建任务的情况下又能够有效提高重建图像的清晰度。
一种图像重建的处理方法，应用于电子设备，包括：
获取待处理图像对应的放大参数；
基于所述放大参数对所述待处理图像进行放大处理，得到放大图像；
提取所述放大图像的特征图；所述特征图包含层级级联关系；根据所述层级级联关系，逐层执行特征图提取操作，并基于所述放大参数获取与层级特征图对应的层级权重；所述层级权重用于表示各层级特征图在特征图中的贡献比例；
根据各个所述层级特征图和所述层级权重，生成各层级残差特征图，并将所述各层级残差特征图融合至所述待处理图像中，得到与所述放大倍率对应的超分辨率重建图像。
一种图像重建的处理装置，包括：
获取模块，用于获取待处理图像对应的放大参数；
处理模块，用于基于所述放大参数对所述待处理图像进行放大处理，得到放大图像；
提取模块，用于提取所述放大图像的特征图；所述特征图包含层级级联关系；根据所述层级级联关系，逐层执行特征图提取操作，并基于所述放大参数获取与层级特征图对应的层级权重；所述层级权重用于表示各层级特征图在特征图中的贡献比例；
生成模块，用于根据各个所述层级特征图和所述层级权重，生成各层级残差特征图；
融合模块，用于将所述各层级残差特征图融合至所述待处理图像中，得到与所述放大倍率对应的超分辨率重建图像。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的图像重建的处理方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。
上述图像重建的处理方法、装置、计算机设备和存储介质，通过获取待处理图像对应的放大参数，基于放大参数对待处理图像进行放大处理，得到放大图像；提取放大图像的特征图，特征图包含层级级联关系，根据层级级联关系，逐层执行特征图提取操作，并基于放大参数获取与层级特征图对应的层级权重，层级权重用于表示各层级特征图在特征图中的贡献比例。根据各个层级特征图和层级权重，生成各层级残差特征图，并将各层级残差特征图融合至待处理图像中，得到与放大倍率对应的超分辨率重建图像。由此使得，基于放大参数获取与各个层级特征图对应的层级权重，使得层级权重可以动态调整每个层级特征图在特征图中的贡献比例，从而能够灵活控制不同场景下的超分辨率性能，实现了灵活处理任意放大倍率图像重建任务的同时又能够有效提高超分辨率重建图像的清晰度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像重建的处理方法的应用环境图；
图2为一个实施例中图像重建的处理方法的流程图；
图3为一个实施例中将各层级残差特征融合至待处理图像中，得到与放大倍率对应的超分辨率重建图像步骤的流程图；
图4为一个实施例中重建模型的联合训练方式步骤的流程图；
图5为一个实施例中快速信息多蒸馏模块添加局部残差的结构示意图；
图6为一个实施例中参数控制的自由倍率超分辨网络模型框架示意图；
图7为一个实施例中快速信息多蒸馏模块结构示意图；
图8为一个实施例中自由倍率图像超分辨率网络得到的超分辨率重建图像的效果示例图；
图9为一个实施例中图像重建的处理装置的结构框图；
图10为一个实施例中电子设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
图1为一个实施例中图像重建的处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备102，应用环境可为用户与电子设备102交互的环境。用户可以通过触发操作触发电子设备利用内置的摄像头采集图像，电子设备102可以将摄像头采集的图像作为待处理图像，电子设备102也可以通过与服务器进行网络通信，从服务器获取待处理图像，进一步的，电子设备102获取待处理图像对应的放大参数，电子设备102基于放大参数对待处理图像进行放大处理，得到放大图像。电子设备102提取放大图像的特征图，特征图包含层级级联关系，电子设备102根据层级级联关系，逐层执行特征图提取操作，并基于放大参数获取与层级特征图对应的层级权重，层级权重用于表示各层级特征图在特征图中的贡献比例。电子设备102根据各个层级特征图和层级权重，生成各层级残差特征图，并将各层级残差特征图融合至待处理图像中，得到与放大倍率对应的超分辨率重建图像。其中，电子设备102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备；便携式可穿戴设备可以是智能手表、智能手环等。
图2为一个实施例中图像重建的处理方法的流程图。本实施例中的图像重建的处理方法，以运行于图1中的电子设备上为例进行描述。如图2所示，图像重建的处理方法包括步骤202至步骤206。
步骤202，获取待处理图像对应的放大参数。
图像超分辨率的英文名称是Image Super Resolution。图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建。本实施例中主要以超分辨率重建为例进行说明。
其中，待处理图像是指需要进行处理的图像。待处理图像可以包括电子设备拍摄的图像、摄像头采集的视频流图像或者电子设备从网络上爬取得到的图像等。本实施例中的待处理图像可以为低分辨率图像。放大参数是指对待处理图像进行放大的倍率，可以根据应用程序或者用户的需求设置不同的放大参数，例如放大参数可以为1倍、2倍等不同的放大倍率。
具体的，电子设备可以获取摄像头拍摄的待处理图像，以及待处理图像对应的放大参数。此外，电子设备也可以从服务器或者其他云平台中下载图像，将下载得到的图像作为待处理图像，这里对获取待处理图像的方式不做限定。
例如，用户通过触发操作启动电子设备中的某个具有图像识别功能的应用程序，该应用程序调用电子设备中内置的摄像头采集得到待处理图像以及待处理图像对应的放大倍率。可以理解的是，待处理图像的放大参数可以是预先设置好的参数，也可以是电子设备通过弹窗等方式，获取用户在弹窗界面中实时输入的与待处理图像对应的放大参数，这里对获取待处理图像对应的放大参数的方式不做限定。
步骤204，基于放大参数对待处理图像进行放大处理，得到放大图像。
其中，放大图像是指按照放大参数进行放大处理后的图像。例如，将待处理图像2倍放大后，得到的放大图像即为2倍放大后的图像。放大图像可通过上采样(upsampling)或图像插值(interpolating)法以提升分辨率，从而可以显示在更高分辨率的显示设备上。通常情况下对图像的放大操作并不能带来更多关于该图像的信息，因此放大后的图像的质量将不可避免地受到影响，因此本申请实施例中将会解决放大处理后图像的质量问题。
具体的，电子设备获取待处理图像对应的放大参数之后，电子设备可以基于放大参数对待处理图像进行上采样处理，得到上采样处理后的放大图像。其中，上采样的方式有很多种，比如最近邻插值、双线性插值、均值插值以及中值插值等方法。在深度学习框架中，上采样可以理解为任何可以让图像变成更高分辨率的技术。例如，深度学习框架中的上采样(upsampling)可以包括三种方式：插值法(Interpolation)、反卷积(Deconvolution)和反池化(unPooling)。本实施中的图像放大处理可以采用上述三种方式中的任意一种，对其不做限定。
步骤206，提取放大图像的特征图，特征图包含层级级联关系，根据层级级联关系，逐层执行特征图提取操作，并基于放大参数获取与层级特征图对应的层级权重，层级权重用于表示各层级特征图在特征图中的贡献比例。
其中，特征图是指提取的放大图像中的特征图，例如，特征图可以包括提取得到的残差特征图。层级级联关系是指提取特征的模块内部的结构具有层级关系，例如，快速信息多蒸馏模块(FastIMDB，Fast Information Multi-distillation Block)是一种渐进式模块，通过多个蒸馏步骤提取特征。在每个步骤中，采用通道分离操作将特征分成两部分：一部分特征提取，一部分特征融入到下一阶段的蒸馏步骤。层级特征图是指不同层级提取得到的特征图，例如，第一层卷积层对放大图像进行特征提取，得到的特征图可以作为第一层级特征图。层级权重是指不同层级对应的权重。例如，第一层级特征图对应的权重可以为第一权重，不同层级特征图对应的权重可以是不同的，层级权重作为调整参数，调整每个层级特征图在特征图中的贡献比例，即可通过调节每个层级权重来灵活控制不同场景下的超分辨率性能。
基础超分辨率网络(Basic Super-resolution Network，简称BSRnet)是用于进行图像超分辨率重建的网络。具体的，电子设备可以利用基础超分辨率网络中的多个快速信息多蒸馏模块提取放大图像的特征图，特征图包含层级级联关系，电子设备可以根据层级级联关系，逐层执行特征图提取操作，直至得到层级级联关系中各个层级特征图后，电子设备基于放大参数获取与各个层级特征图对应的层级权重。
例如，可以预先联合训练图像重建网络，重建网络是由超分辨率网络和条件网络进行联合训练得到的。其中，条件网络是指残差条件网络(Residual Condition Network，简称RCnet)，用于控制超分辨率重建倍率和性能级别。假设预先设置超分辨率网络中包含3个快速信息多蒸馏模块即3个子模块，3个子模块级联形成层级级联关系，每个子模块输出的特征代表每个层级对应的层级特征图，当电子设备得到超分辨率网络中每个子模块输出的层级特征图后，电子设备可以基于放大参数从条件网络中的全连接层得到各层级特征图对应的层级权重。
步骤208，根据各个层级特征图和层级权重，生成各层级残差特征图，并将各层级残差特征图融合至待处理图像中，得到与放大倍率对应的超分辨率重建图像。
其中，层级残差特征图是指根据层级特征图和层级权重进行计算，得到的不同层级对应的残差特征图。超分辨率重建图像是指由低分辨率图像或图像序列得到的高分辨率图像。
具体的，电子设备可以根据预设算法，根据各个层级特征图和层级权重，生成各层级残差特征图，并将各层级残差特征图融合至待处理图像中，得到与放大倍率对应的超分辨率重建图像。
例如，电子设备可以将各个层级特征图和层级权重进行点乘计算，生成对应的各层残差特征图后，电子设备可以利用图像重建网络中的连接层将各层级残差特征图进行拼接，得到拼接后的残差特征图，电子设备将拼接后的残差特征图与初始的待处理图像进行融合，即可得到与放大倍率对应的超分辨率重建图像。
本实施例中，通过获取待处理图像对应的放大参数，基于放大参数对待处理图像进行放大处理，得到放大图像；提取放大图像的特征图，特征图包含层级级联关系，根据层级级联关系，逐层执行特征图提取操作，并基于放大参数获取与层级特征图对应的层级权重，层级权重用于表示各层级特征图在特征图中的贡献比例。根据各个层级特征图和层级权重，生成各层级残差特征图，并将各层级残差特征图融合至待处理图像中，得到与放大倍率对应的超分辨率重建图像。由此，使得层级权重可以动态调整每个层级特征图在特征图中的贡献比例，从而能够灵活控制不同场景下的超分辨率性能，实现了灵活处理任意放大倍率图像重建任务的同时又能够有效提高超分辨率重建图像的清晰度。
在一个实施例中，预先训练好的重建模型包括超分辨网络和条件网络，超分辨网络包括特征维度变换层和特征蒸馏层，提取放大图像的特征图的步骤，包括：
利用特征维度变换层对放大图像进行处理，得到特征维度变换后的图像；
利用特征蒸馏层对特征维度变换后的图像进行特征提取，得到放大图像的层级特征图。
其中，特征维度变换层是指用于变换特征维度的网络层。特征蒸馏层是指用于提取特征的网络层。特征蒸馏层可以是FastIMDB(Fast Information Multi-distillationBlock)即快速信息多蒸馏模块。在本实施例中FastIMDB可以作为超分辨网络的子模块，其输出的特征图用于提供给concat(拼接)层作为输入。特征维度变换层可以是depth tospace或者space to depth，作为网络中的一层，作用是变换特征图的维度，例如，把64x128x128的特征图转换为1x1024x1024的特征图。其中，space_to_depth是把space数据(width和height维)移到depth(Channel)维上，与depth_to_space刚好是反向的操作。
具体的，电子设备可以利用预先训练好的重建模型提取放大图像的特征图。电子设备利用超分辨网络的Depth To Space层对放大图像进行处理，得到维度变换后的图像。进一步的，电子设备再利用超分辨网络的FastIMDB层对特征维度变换后的图像进行特征提取，得到放大图像的层级特征图。可以理解的是，本实例中的FastIMDB层可以为多个，即通过设置具有级联关系的多个FastIMDB层进行特征提取。由此使得，通过预先联合训练好的重建模型可以实现对输入图像进行去模糊、去噪、细节增强等超分辨率重建，每个FastIMDB输出的特征图后续处理步骤中可以由下一层网络级联起来，使得不同层级特征图的贡献比重由条件网络Rcnet输出的层级权重决定，从而实现灵活控制不同场景下的超分辨率性能。
在一个实施例中，条件网络包括多层全连接层，基于放大参数获取与层级特征图对应的层级权重的步骤，包括：
将放大倍率输入条件网络，经过多层全连接层的处理，输出与放大图像的各个层级特征图对应的层级权重。
其中，全连接层用于输出可调节的权重。条件网络包括多层全连接层，每层全连接层可以连接一个FastIMDB层，则条件网络中每个全连接层输出的权重为与该全连接层连接的FastIMDB层对应的层级权重。例如，条件网络中的第一全连接层与超分辨网络中的第一FastIMDB层连接，则条件网络中的第一全连接层输出的权重为第一FastIMDB层对应的层级权重。
具体的，电子设备可以利用预先训练好的重建模型获取与各个层级特征图对应的层级权重。即电子设备可以将放大倍率作为输入参数，输入重建模型中，在重建模型中将放大倍率作为条件网络输入参数，经过多层全连接层的处理，输出与放大图像的各个层级特征图对应的层级权重。其中，放大倍率z是权重αi的学习过程所需要的输入，全连接层中的映射函数关系为：
αi＝fci(z,Wci) (1)
其中，fci为全连接网络的映射函数，Wci为全连接网络的参数。αi是权重，z是放大倍率。
此外，条件网络RCnet用于参数控制，条件网络RCnet由可控残差网络和全连接网络组成。可控残差网络用于决策加权求和，全连接网络用于学习权重。其中，本实施例为标准的残差网络添加可调节的变量α来控制加权求和权重，以此得到可控参数的残差模块，公式如下：
Y＝αf(X,Wi)+X (2)
其中，X、Y分别代表输入图像与输出图像，f(·)表示残差模块的映射函数，Wi为网络参数，可调节权重α与特征图的数量具有相同的维度。其中，可调节权重α与特征图的数量具有相同的维度是指α与特征图在第三维上数量相同，即α为1x1x64,特征图为128x128x64，这是因为在concat层中级联的是权重αi与特征图相乘的结果。在实际操作过程中，该网络模型会将1x1x64的α转换为128x128x64(每个维度的128x128矩阵有相同的值)与特征图进行点乘计算。
由此，用可控残差模块连接基础超分辨率网络BSRnet的基本模块(即FastIMDB)后，即可通过调节权重α来灵活控制超分辨率放大倍率和不同场景下的超分辨率性能。
在一个实施例中，超分辨网络还包括拼接层，将各层级残差特征融合至待处理图像中，得到与放大倍率对应的超分辨率重建图像的步骤，包括：
步骤302，将各层级残差特征作为输入参数，输入超分辨网络的拼接层中，在拼接层中将各层级残差特征进行级联拼接，输出拼接后的目标残差特征图。
步骤304，将目标残差特征图与待处理图像进行拼接，得到与放大倍率对应的超分辨率重建图像。
其中，拼接层用于将每个FastIMDB层输出的层级特征图级联拼接起来，得到拼接后的特征图。
具体的，电子设备可以将各层级残差特征作为输入参数，输入超分辨网络的拼接层中，在拼接层中将各层级残差特征进行级联拼接，输出拼接后的目标残差特征图。进一步的，电子设备将目标残差特征图与待处理图像进行拼接，得到与放大倍率对应的超分辨率重建图像。
例如，电子设备将低分辨率图像LR以及对应的放大倍率z输入预先训练好的重建模型中，在重建模型中将放大倍率z作为条件网络的输入参数，低分辨率图像LR和放大倍率z作为超分辨网络的输入参数，经过超分辨网络对低分辨率图像LR进行维度变化以及上采样处理后，再经过超分辨网络的3个子模块(即FastIMDB层)处理，输出对应的3个层级特征图分别为A1、A2以及A3，同时获取条件网络中与各个层级特征图对应的层级权重分别为a1、a2以及a3，则在重建模型中，根据预设算法，例如逐点乘法运算，将各个层级特征图和层级权重进行逐点乘法运算，生成对应的各层级残差特征，即A1×a1得到第一层级残差特征B1，A2×a2得到第二层级残差特征B2，A3×a3得到第三层级残差特征B3。进一步的，电子设备将各层级残差特征作B1、B2以及B3为输入参数，输入超分辨网络的拼接层中，在拼接层中将各层级残差特征进行级联拼接，输出拼接后的目标残差特征图C1。电子设备可以将目标残差特征图C1与待处理图像LR进行拼接，得到与放大倍率对应的超分辨率重建图像HR1。其中，将目标残差特征图C1与待处理图像LR进行拼接可以采用矢量加法和逐点乘法运算等，这里对具体的算法不做限定。
本实施例中，在使用预先联合训练好的重建模型进行图像超分时，可以设置任意倍率的放大参数，即可进一步由重建模型来调整待处理图像的上采样倍率和条件向量参数，进而实现对待处理图像的自由倍率超分辨率放大。相较于传统方式中只考虑单一残差特征在最终超分辨率结果中的贡献，其性能鲁棒性有所欠缺，而本实施例中可以通过条件网络来调节基础超分辨率网络中每个子模块的输出对最终结果的贡献，相比之下本实施例中的网络结构可以保证算法更好的灵活性和鲁棒性，从而能够在实现了灵活处理任意放大倍率图像重建任务的同时得到的重建图像也更加清晰。
在其中一个实施例中，根据各个层级特征图和层级权重，生成各层级残差特征的步骤，包括：
将各个层级特征图和层级权重进行计算，生成对应的各层级残差特征。
在重建模型中，电子设备可以根据预设算法，例如逐点乘法运算，将各个层级特征图和层级权重进行逐点乘法运算，生成对应的各层级残差特征。可以理解的是，本实施例中将各个层级特征图和层级权重进行计算时，可以采用矢量加法和逐点乘法运算等，这里对具体的算法不做限定。由此使得，通过条件网络来调节基础超分辨率网络中每个子模块的输出对最终结果的贡献，使得重建网络模型可以保证算法具有更好的灵活性和鲁棒性，从而能够在实现了灵活处理任意放大倍率图像重建任务的同时得到的重建图像也更加清晰。
在一个实施例中，超分辨网络还包括卷积层，在拼接层中将各层级残差特征进行级联拼接，输出拼接后的目标残差特征图之后，该方法还包括利用卷积层对目标残差特征图进行卷积操作的步骤，具体包括：
利用卷积层对目标残差特征图进行卷积操作，得到对应的目标特征图；
将目标特征图与待处理图像进行拼接，得到与放大倍率对应的超分辨率重建图像。
其中，卷积层用于对拼接后的目标残差特征图进行特征提取，得到对应的特征图。可以理解的是，卷积层可以设置多个，即利用多个卷积层对目标残差特征图进行特征提取。
具体的，电子设备可以将目标残差特征图作为输入参数，输入超分辨网络的卷积层中，在卷积层中进行特征提取，输出对应的目标特征图。进一步的，电子设备将目标特征图与待处理图像进行拼接，得到与放大倍率对应的超分辨率重建图像。
例如，电子设备将低分辨率图像LR以及对应的放大倍率z输入预先训练好的重建模型中，在拼接层中将各层级残差特征进行级联拼接，输出拼接后的目标残差特征图C1。电子设备可以将目标残差特征图C1作为输入参数，输入超分辨网络的下一层网络即卷积层中，在卷积层中进行特征提取，输出对应的目标特征图D1，电子设备可以将输出的目标特征图D1与待处理图像LR进行拼接，得到与放大倍率对应的超分辨率重建图像HR2。其中，将目标特征图D1与待处理图像LR进行拼接可以采用矢量加法和逐点乘法运算等，这里对具体的算法不做限定。
本实施例中，重建模型的输入参数包括低分辨率图像LR以及对应的放大倍率z，即在使用本实施例中的重建模型进行图像超分辨时，可以人为调整z即可进一步由重建模型来调整LR的上采样倍率和条件向量参数，进而实现对低分辨率图像LR的自由倍率超分辨率放大。同时，通过条件网络来调节基础超分辨率网络中每个子模块的输出对最终结果的贡献，相比之下本实施例中的网络结构可以保证算法更好的灵活性和鲁棒性，从而能够在实现了灵活处理任意放大倍率图像重建任务的同时得到的重建图像也更加清晰。
在一个实施例中，超分辨网络的预训练方式的步骤，包括：
获取训练数据集，训练数据集中包括多个图像对，图像对由相同图像大小的高分辨率图像和低分辨率图像组成；
将训练数据集中低分辨率图像输入初始超分辨率网络中，得到对应的输出图像；
将高分辨率图像与输出图像之间的误差作为损失函数，根据损失函数调节初始超分辨率网络的参数进行迭代训练，直到满足训练停止条件，得到预训练完成的超分辨率网络。
电子设备可以预先对超分辨网络进行预训练。其中，BSRnet的训练数据集由成对的低分辨率图像LR和高分辨率图像HR组成，其中，HR和LR具有相同的图像大小，HR可以为DF2K数据集中真实的高清图像，LR为HR经模糊、加噪声后的合成降质图像。从DF2K数据集中采样是因为DF2K数据集为超分辨率重建领域常用的数据集，其由DIV2K数据集和Flickr2K数据集合并而成，一共包含3450张2K分辨率的高清图像，可以保证充足的训练数据量。
训练时的损失函数为HR与网络输出图像间的L1损失。L1损失是指MAE loss(L1)，即L1 Loss是一个衡量输入x(模型预测输出)和目标y之间差的绝对值的平均值，也叫MAELoss。MAE即均方误差(Mean Square Error，MSE)。均方误差指的就是模型预测值f(x)与样本真实值y之间距离平方的平均值。
具体的，电子设备可以获取训练数据集，训练数据集中包括多个图像对，图像对由相同图像大小的高分辨率图像和低分辨率图像组成。电子设备可以将训练数据集中低分辨率图像输入初始超分辨率网络中，得到对应的输出图像。电子设备将高分辨率图像与输出图像之间的均方误差作为损失函数，根据损失函数调节初始超分辨率网络的参数进行迭代训练，直到满足训练停止条件，得到预训练完成的超分辨率网络。由此，相比于不做预训练，预训练可以保证网络有更好的性能，使得超分辨率网络模型有较强的灵活性和鲁棒性，即使是放大倍率为1，本实施例中的超分辨网络模型仍可对降质输入的待处理图像进行去模糊、降噪、细节增强等画质增强处理，实现自由倍率的超分辨率放大。
在一个实施例中，重建模型的联合训练方式的步骤，包括：
步骤402，获取训练数据集，训练数据集中包括不同放大倍率的图像对，图像对由相同图像大小的高分辨率图像和低分辨率图像组成，训练数据集中不同放大倍率的图像对在训练数据集中的占比符合贝塔分布。
步骤404，将训练数据集中低分辨率图像以及低分辨率图像对应的放大倍率输入初始重建模型中，得到对应的输出图像；其中，放大倍率作为条件网络的输入参数，低分辨率图像和放大倍率作为超分辨网络的输入参数。
步骤406，将高分辨率图像与输出图像之间的误差作为联合训练的损失函数，根据损失函数调节初始重建模型的参数进行迭代训练，直到满足训练停止条件，得到训练完成的重建模型。
其中，电子设备可以根据Beta分布对每个超分辨放大倍率进行采样，即不同放大倍率的训练图像在训练数据集中的占比符合Beta分布。Beta分布是指贝塔分布(BetaDistribution)。相较于传统方式中采用均匀分布采样训练数据集，本实施例中之所以使用beta分布采样训练数据而不是使用均匀分布的原因是，与较大的放大倍率相比，较小的放大倍率相应的损失值会更小，因此会难以保证此时模型的性能。相比之下，依据beta分布的训练数据会更好地保证模型处理多种放大倍率的鲁棒性。举例来说，不同放大倍率的训练图像得到的训练损失值并不在同一个量级，而网络的迭代更新机制会让其学习方向向着loss更大的方向进行，所以当训练样本呈均匀分布时，训练的更新机制将侧重于损失较大的大倍率训练图像而更容易损失较小的小倍率训练图像。
具体的，电子设备可以对重建模型的联合训练。其中，重建模型包括两部分，分别为超分辨网络BSRnet和条件网络Mrnet。联合训练即联合训练BSRnet与MRnet，此训练阶段模型的输入参数为LR以及与LR对应的放大倍率z。训练数据集中的图像包含不同超分辨放大倍率的HR-LR图像对，其中HR来自DF2K真实高清图像数据集，LR为HR经不同倍率降采样后加模糊、噪声后的合成降质图像。本实施例中根据Beta分布进行采样，得到的训练数据集中不同放大倍率的图像对在训练数据集中的占比符合贝塔分布，即令放大倍率z～Beta(a，b)，则z的概率密度分布函数如下：
其中a、b为Beta分布的参数，a的值越大表明网络的性能更偏向于处理较低的放大倍率。本实施例中的a、b可以分别设置为0.5和1。
联合训练的训练损失函数为HR与输出图像间的L1损失。则电子设备可以获取训练数据集，训练数据集中不同放大倍率的图像对在训练数据集中的占比符合贝塔分布。电子设备将训练数据集中低分辨率图像以及低分辨率图像对应的放大倍率输入初始重建模型中，得到对应的输出图像。其中，将放大倍率作为条件网络的输入参数，将低分辨率图像和放大倍率作为超分辨网络的输入参数。进一步的，电子设备将高分辨率图像与输出图像之间的均方误差作为联合训练的损失函数，根据损失函数调节初始重建模型的参数进行迭代训练，直到满足训练停止条件，得到训练完成的重建模型。
相较于传统方式，本实施例中的训练数据仅需要生成图像对，采用基于Beta分布的新型数据采样策略，避免网络性能偏向于较高放大倍率，增强本实施例中的超分辨率网络在处理不同放大倍率时的鲁棒性，使得重建模型中的超分辨网络模型可对降质输入的待处理图像进行去模糊、降噪、细节增强等画质增强处理，同时通过参数控制的残差条件网络来调节超分辨率网络中不同模块特征图的贡献比重，来实现自由倍率的超分辨率放大，从而能够在实现了灵活处理任意放大倍率图像重建任务的同时得到的重建图像也更加清晰。
在一个实施例中，该方法还包括通过跳连接为超分辨网络的每个层级添加局部残差的步骤，包括：
通过跳连接为超分辨网络的每个层级添加局部残差，并将放大参数和降质参数作为条件网络的输入参数；其中，降质参数用于表示图像的降质程度。
为了增强模型性能，可以将本申请实施例中提出的上述参数控制的超分辨率模型视作一个生成器，为其添加判别器建立生成对抗网络，由此在生成器联合训练的损失函数中加入对抗损失与感知损失，增强超分辨率模型对细节的增强能力和降噪能力，从而能够有效提高任意放大倍率图像重建任务中得到的重建图像的清晰度。其中，生成对抗网络GAN(Generative Adversarial Networks，GAN)可以更好建模数据分布(图像更锐利、清晰)，为亮度一致性和纹理恢复提供更强的监控。
如图5所示，为基础超分网络的每个快速信息多蒸馏(FastIMDB)模块添加局部残差的结构示意图。图5中的符号所表示含义如下：fci为全连接网络的映射函数，αi是权重，z是放大倍率，d是降质程度，圆圈表示逐点运算，如矢量加法和逐点乘法运算。圆圈里有“+”表示矢量加法，圆圈里有“×”表示逐点乘法运算。方框表示神经网络层，方框里有“FastIMDB”表示FastIMDB网络层。通过跳连接为基础超分网络的每个FastIMDB子模块添加局部残差，且条件网络的输入参数为放大倍率z和降质程度d。为基础超分网络的每个FastIMDB子模块添加局部残差，则联合控制可以通过动态改变权重来实现，即用户可以根据自己的喜好通过控制滑动条来自主控制超分辨率重建的强度。联合控制指用户可自主更改z和d。而局部残差的加入则是为了提升多参数控制下(z和d联合控制)的网络性能。由此使得，可以保证算法更好的灵活性和鲁棒性，从而能够在实现了灵活处理任意放大倍率图像重建任务的同时得到的重建图像也更加清晰。
在一个实施例中，本申请实施例提供的方法，可以应用于基于手机相机多倍率拍照的场景中。以下以移动终端处理多倍率的图像超分辨率任务为例，对本申请实施例提供的图像重建的处理方法进行说明。
由于传统深度学习超分辨率模型往往只针对单一倍率的超分辨率放大。如果为不同放大倍率的图像处理任务专门训练不同的超分辨率模型，则会大大增加模型训练和数据集制作的时间和人力成本。与此同时，模型灵活性的缺失也会严重限制深度学习超分辨方法在实际应用中的发展，比如在手机移动端或者监控设备中的应用。因此，构建可以灵活处理不同超分放大倍率的网络模型是刻不容缓的，本申请实施例中的提出的方法旨在解决上述问题。
如图6所示，为参数控制的自由倍率超分辨网络模型框架示意图。图6中的符号所表示含义如下：fci为全连接网络的映射函数，αi是权重，z是放大倍率，LR是输入的低分辨率图像，HR是输出的高分辨率图像，每箭头都携带一个向量，从上一个节点的输出到其他节点的输入。圆圈表示逐点运算，如矢量加法和逐点乘法运算。圆圈里有“+”表示矢量加法，圆圈里有“×”表示逐点乘法运算。方框表示神经网络层，方框里有“Upsanmple”表示上采样处理，方框里有“Space to depth”表示变换维度，方框里有“conv-1”表示第一卷积层，方框里有“FastIMDB”表示FastIMDB网络层，方框里有“concat”表示拼接网络层，方框里有“conv-2”表示第二卷积层，方框里有“conv-3”表示第三卷积层，方框里有“Depth to space”表示变换维度。图6中左边的BSRnet代表基础超分辨率网络，右边的Rcnet代表残差条件网络。即本实施例的基于手机相机多倍率拍照的参数控制超分辨率网络模型由两部分组成：即由残差条件网络(简称RCnet)和基础超分辨率网络(简称BSRnet)组成。其中，残差条件网络用于控制超分辨率重建倍率和性能级别。基础超分辨率网络用于进行图像超分辨率重建。残差条件网络由残差网络和全连接网络组成。残差网络用于决策加权求和，全连接网络用于学习权重，以待处理图像的放大倍率作为输入，并为每个可控的残差连接生成对应的权重。残差条件网络的优势在于通过条件网络来调节基础超分辨率网络中每个子模块的输出对最终结果的贡献，保证算法的鲁棒性，从而使得网络可以处理多倍率的图像超分辨率任务。
本实施例中的自由倍率超分辨网络模型可以在多场景下实现对实拍图像的任意倍率超分辨率放大，即通过调整条件向量，为降质图像重建更多更清晰的细节信息。条件向量由网络在训练中学习得到。具体的，如图6所示，训练时条件网络RCnet和基础超分辨率网络BSRnet是联合进行的，而不是两个各自独立的训练过程。在BSRnet的concat层中，αi与各个FastIMDB子模块的输出特征图进行逐点乘法运算后级联，作为下一层的输入来继续网络的学习过程，由此通过条件网络来调节FastIMDB子模块的输出对最终结果的贡献。
如图6所示，用于参数控制的残差条件网络RCnet由用于决策加权求和的可控残差网络和用于学习权重的全连接网络组成。其中，超分辨率放大倍率z是权重α的学习过程所需要的输入，其映射函数关系如前述实施例中的公式(1)。本实施例中为标准的残差网络添加可调节的变量α来控制加权求和权重，由此得到可控参数的残差模块，具体的函数映射公式如前述实施例中的公式(2)。由此，用可控残差模块连接基础超分辨率网络BSRnet的基本模块(FastIMDB子模块)后，即可通过调节权重α来灵活控制超分辨率放大倍率和不同场景下的超分辨率性能。
如图6所示，网络的输入参数包括低分辨率图像LR和放大倍率z，即在使用本实施例中的网络模型进行图像超分辨时，通过人为调整放大倍率z即可进一步由网络模型来调整LR的上采样倍率和条件向量参数，进而实现对实拍图像的自由倍率超分辨率放大。
其中，基础超分辨率网络BSRnet是一个对输入图像进行1倍放大的超分辨网络，其作用是对输入图像进行去模糊、去噪、细节增强等超分辨率重建。如图7所示，为快速信息多蒸馏模块(FastIMDB)结构示意图。图7中的箭头携带向量，从上一个节点的输出到其他节点的输入。弧线表示级联关系，方框表示神经网络层，方框里有“Conv”表示卷积层，方框里有“LRelu”表示激活层，Lrelu代表激活函数。
BSRnet由9个基本模块FastIMDB级联而成，每个FastIMDB输出的特征图由concat层级联起来，不同特征图的贡献比重由条件网络RCnet决定，最后再经过DepthToSpace的维度重建后，得到最终的目标残差特征。在本实施例中每个FastIMDB作为基础超分网络的子模块，其输出特征图用于提供concat层的输入。DepthToSpace为网络中的一层，作用是变换特征图的维度，即把64x128x128转换为1x1024x1024。
其中，对基础超分辨率网络BSRnet进行预训练时，BSRnet的训练数据由成对的低分辨率图像LR和高分辨率图像HR组成，其中，HR和LR具有相同的图像大小，HR为DF2K数据集中真实的高清图像，LR为HR经模糊、加噪声后的合成降质图像。训练时的损失函数为HR与网络输出图像间的L1损失。相比于不做预训练，预训练可以保证网络有更好的性能。
联合训练：即联合训练基础网络BSRnet与条件网络MRnet，此训练阶段模型的输入为LR与对应的放大倍率。训练集图像包含不同超分辨放大倍率的HR-LR图像对，其中HR来自DF2K真实高清图像数据集，LR为HR经不同倍率降采样后加模糊、噪声后的合成降质图像。联合训练的训练损失函数为HR与网络输出图像间的L1损失。
此外，为使训练数据可以覆盖多种场景以及多种超分辨率放大倍率，本申请实施例提出一种基于beta分布(Beta Distribution，贝塔分布)的数据采样策略。本申请实施例中根据Beta分布对每个超分辨放大倍率进行采样，即令放大倍率z～Beta(a，b),则z的概率密度分布函数如前述实施例中的公式(3)。相比之下，依据beta分布的训练数据会更好地保证模型处理多种放大倍率的鲁棒性。举例来说，放大倍率为4的低质量图像LR4较放大倍率为2的低质量图像LR2有着更为严重的降质程度，因此它们对应的训练损失值并不在同一个量级，即存在这样的情况：而网络的迭代更新机制会让其学习方向向着loss更大的方向进行，所以当训练样本呈均匀分布时，训练的更新机制将侧重于损失较大的大倍率训练图像而忽略损失较小的小倍率训练图像。为解决上述缺点，本方案提出参数控制的自由倍率图像超分辨率网络，改进训练数据生成机制以及训练数据的采样方式，更好的保证了网络的性能。
如图8所示，为自由倍率图像超分辨率网络得到的超分辨率重建图像的效果示例图。图8中input表示输入的待处理图像，output表示输出的超分辨率重建图像。如图8所示，当输入放大倍率分别为2.2、4.8时，输出的超分辨率重建图像在实现了任意倍率放大的同时得到的重建图像也更加清晰。
本实施例中提供了一种自由放大倍率的参数控制超分辨率网络，该网络可对降质图像实现自由倍率的超分辨率放大，有良好的降噪、细节增强效果，效果示例如图8所示。此外，本实施例中的超分辨率网络的训练数据采用Beta分布而不是均匀分布，可以有效保障算法在所有倍率上进行超分辨率重建时的有效性。
相较于传统方式中的单一放大倍率的超分辨网络，本实施例中提供的超分辨率网络可以灵活处理任意倍率的图像超分辨率任务，更适于移动端的部署等实际应用。通过引入条件网络以及Beta分布的新型数据采样方式等策略能够更好保证算法的鲁棒性。
传统方式中只考虑单一残差特征在最终超分辨率结果中的贡献，其性能鲁棒性有所欠缺，且在超分倍率为1时输出原图像，不能对其进行细节增强和降噪，因此不能适应一些实际应用场景中的画质增强。此外，传统方式中模型的训练数据中不同放大倍率对应的训练样本呈均匀分布，而处于大范围内的不同放大倍率的训练损失可能具有不同的数量级，因此训练时的更新机制将侧重于损失较大的大倍率训练图像而忽略损失较小的小倍率训练图像，造成网络性能在处理不同放大倍率时存在偏差，同样不能保证其鲁棒性。
而本申请实施例中可以通过条件网络来调节基础超分辨率网络中每个子模块的输出对最终结果的贡献，相比之下本实施例中更复杂完善的网络结构可以保证算法更好的灵活性和鲁棒性。此外，本实施例中的网络模型即使当放大倍率为1倍时，也会对待处理图像进行放大倍率为1的超分辨率重建，仍有良好的去模糊和降噪的图像增强效果，使得得到的重建图像更加清晰。
本实施例中提供的自由放大倍率的参数控制超分辨率网络，能解决问题包括：1)该网络通过参数控制的残差条件网络来调节基础超分辨率网络中不同模块特征图的贡献比重，来实现自由倍率的超分辨率放大；2)由于多参数控制与基础超分网络的预训练，本实施例中的超分辨率模型有较强的灵活性和鲁棒性，即使是放大倍率为1，本实施例中的超分辨网络模型仍可对降质输入的待处理图像进行去模糊、降噪、细节增强等画质增强处理；3)采用基于Beta分布的新型数据采样策略，避免网络性能偏向于较高放大倍率，增强本实施例中的超分辨率网络在处理不同放大倍率时的鲁棒性。
应该理解的是，虽然图1-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图9为一个实施例的图像重建的处理装置的结构框图。如图9所示，提供了一种图像重建的处理装置，包括：获取模块902、处理模块904、提取模块906、生成模块908和融合模块910，其中：
获取模块902，用于获取待处理图像对应的放大参数。
处理模块904，用于基于放大参数对待处理图像进行放大处理，得到放大图像。
提取模块906，用于提取放大图像的特征图；特征图包含层级级联关系；根据层级级联关系，逐层执行特征图提取操作，并基于放大参数获取与层级特征图对应的层级权重；层级权重用于表示每个层级特征图在特征图中的贡献比例。
生成模块908，用于根据各个层级特征图和层级权重，生成各层级残差特征图。
融合模块910，用于将各层级残差特征图融合至待处理图像中，得到与放大倍率对应的超分辨率重建图像。
在一个实施例中，处理模块还用于利用特征维度变换层对放大图像进行处理，得到特征维度变换后的图像。提取模块还用于利用特征蒸馏层对特征维度变换后的图像进行特征提取，得到放大图像的层级特征图。
在一个实施例中，处理模块还用于将放大倍率输入条件网络，经过多层全连接层的处理，输出与放大图像的各个层级特征图对应的层级权重。
在一个实施例中，该装置还包括：输入模块和拼接模块。
输入模块用于将各层级残差特征作为输入参数，输入超分辨网络的拼接层中，在拼接层中将各层级残差特征进行级联拼接，输出拼接后的目标残差特征图。拼接模块用于将目标残差特征图与待处理图像进行拼接，得到与放大倍率对应的超分辨率重建图像。
在一个实施例中，该装置还包括：卷积操作模块。
卷积操作模块用于利用卷积层对目标残差特征图进行卷积操作，得到对应的目标特征图。拼接模块还用于将目标特征图与待处理图像进行拼接，得到与放大倍率对应的超分辨率重建图像。
在一个实施例中，该装置还包括：训练模块。
获取模块还用于获取训练数据集，训练数据集中包括多个图像对，图像对由相同图像大小的高分辨率图像和低分辨率图像组成。输入模块还用于将训练数据集中低分辨率图像输入初始超分辨率网络中，得到对应的输出图像。训练模块用于将高分辨率图像与输出图像之间的误差作为损失函数，根据损失函数调节初始超分辨率网络的参数进行迭代训练，直到满足训练停止条件，得到预训练完成的超分辨率网络。
在一个实施例中，获取模块还用于获取训练数据集，训练数据集中包括不同放大倍率的图像对，图像对由相同图像大小的高分辨率图像和低分辨率图像组成，训练数据集中不同放大倍率的图像对在训练数据集中的占比符合贝塔分布。输入模块还用于将训练数据集中低分辨率图像以及低分辨率图像对应的放大倍率输入初始重建模型中，得到对应的输出图像；其中，放大倍率作为条件网络的输入参数，低分辨率图像和放大倍率作为超分辨网络的输入参数。训练模块还用于将高分辨率图像与输出图像之间的误差作为联合训练的损失函数，根据损失函数调节初始重建模型的参数进行迭代训练，直到满足训练停止条件，得到训练完成的重建模型。
在一个实施例中，该装置还包括：添加模块。
添加模块用于通过跳连接为超分辨网络的每个层级添加局部残差，并将放大参数和降质参数作为条件网络的输入参数；其中，降质参数用于表示图像的降质程度。
在一个实施例中，该装置还包括：计算模块。
计算模块用于将各个层级特征图和层级权重进行计算，生成对应的各层级残差特征。
上述图像重建的处理装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像重建的处理装置按照需要划分为不同的模块，以完成上述图像重建的处理装置的全部或部分功能。
关于图像重建的处理装置的具体限定可以参见上文中对于图像重建的处理方法的限定，在此不再赘述。上述图像重建的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图10为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器可以包括一个或多个处理单元。处理器可为CPU(Central Processing Unit,中央处理单元)或DSP(Digital Signal Processing，数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像重建的处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
本申请实施例中提供的图像重建的处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像重建的处理方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像重建的处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括ROM(Read-Only Memory，只读存储器)、PROM(Programmable Read-only Memory，可编程只读存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-only Memory，电可擦除可编程只读存储器)或闪存。易失性存储器可包括RAM(Random Access Memory，随机存取存储器)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如SRAM(Static Random Access Memory，静态随机存取存储器)、DRAM(Dynamic Random Access Memory，动态随机存取存储器)、SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存取存储器)、双数据率DDRSDRAM(Double Data Rate Synchronous Dynamic Random Access memory，双数据率同步动态随机存取存储器)、ESDRAM(Enhanced Synchronous Dynamic Random Access memory，增强型同步动态随机存取存储器)、SLDRAM(Sync Link Dynamic Random Access Memory，同步链路动态随机存取存储器)、RDRAM(Rambus Dynamic Random Access Memory，总线式动态随机存储器)、DRDRAM(Direct Rambus Dynamic Random Access Memory，接口动态随机存储器)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像重建的处理方法，其特征在于，应用于电子设备，包括：
获取待处理图像对应的放大参数；
基于所述放大参数对所述待处理图像进行放大处理，得到放大图像；
提取所述放大图像的特征图；所述特征图包含层级级联关系；根据所述层级级联关系，逐层执行特征图提取操作，得到所述放大图像的层级特征图，并基于所述放大参数获取与所述层级特征图对应的层级权重；所述层级权重用于表示各层级特征图在特征图中的贡献比例；
根据各个所述层级特征图和所述层级权重，生成各层级残差特征图，并将所述各层级残差特征图融合至所述待处理图像中，得到与所述放大参数对应的超分辨率重建图像。
2.根据权利要求1所述的方法，其特征在于，预先训练好的重建模型包括超分辨网络和条件网络；所述超分辨网络包括特征维度变换层和特征蒸馏层；
所述提取所述放大图像的特征图；所述特征图包含层级级联关系；根据所述层级级联关系，逐层执行特征图提取操作，得到所述放大图像的层级特征图，包括：
利用所述特征维度变换层对所述放大图像进行处理，得到特征维度变换后的图像；
利用所述特征蒸馏层对所述特征维度变换后的图像进行特征提取，得到所述放大图像的层级特征图。
3.根据权利要求2所述的方法，其特征在于，所述条件网络包括多层全连接层；
所述基于所述放大参数获取与层级特征图对应的层级权重，包括：
将所述放大参数输入所述条件网络，经过多层所述全连接层的处理，输出与所述放大图像的各个层级特征图对应的层级权重。
4.根据权利要求2所述的方法，其特征在于，所述超分辨网络还包括拼接层；
所述将所述各层级残差特征图融合至所述待处理图像中，得到与所述放大参数对应的超分辨率重建图像，包括：
将所述各层级残差特征图作为输入参数，输入所述超分辨网络的所述拼接层中，在所述拼接层中将所述各层级残差特征图进行级联拼接，输出拼接后的目标残差特征图；
将所述目标残差特征图与所述待处理图像进行拼接，得到与所述放大参数对应的超分辨率重建图像。
5.根据权利要求4所述的方法，其特征在于，所述超分辨网络还包括卷积层；
所述将所述目标残差特征图与所述待处理图像进行拼接，得到与所述放大参数对应的超分辨率重建图像，包括：
利用所述卷积层对所述目标残差特征图进行卷积操作，得到对应的目标特征图；
将所述目标特征图与所述待处理图像进行拼接，得到与所述放大参数对应的超分辨率重建图像。
6.根据权利要求2所述的方法，其特征在于，所述超分辨网络的预训练方式，包括：
获取训练数据集；所述训练数据集中包括多个图像对；所述图像对由相同图像大小的高分辨率图像和低分辨率图像组成；
将所述训练数据集中低分辨率图像输入初始超分辨率网络中，得到对应的输出图像；
将高分辨率图像与所述输出图像之间的误差作为损失函数，根据所述损失函数调节所述初始超分辨率网络的参数进行迭代训练，直到满足训练停止条件，得到预训练完成的超分辨率网络。
7.根据权利要求2所述的方法，其特征在于，所述重建模型的联合训练方式，包括：
获取训练数据集；所述训练数据集中包括不同放大参数的图像对；所述图像对由相同图像大小的高分辨率图像和低分辨率图像组成；所述训练数据集中不同放大参数的图像对在所述训练数据集中的占比符合贝塔分布；
将所述训练数据集中低分辨率图像以及所述低分辨率图像对应的放大参数输入初始重建模型中，得到对应的输出图像；其中，所述放大参数作为条件网络的输入参数；所述低分辨率图像和所述放大参数作为超分辨网络的输入参数；
将高分辨率图像与所述输出图像之间的误差作为联合训练的损失函数，根据所述损失函数调节所述初始重建模型的参数进行迭代训练，直到满足训练停止条件，得到训练完成的重建模型。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
通过跳连接为所述超分辨网络的每个层级添加局部残差，并将所述放大参数和降质参数作为所述条件网络的输入参数；其中，所述降质参数用于表示图像的降质程度。
9.根据权利要求1所述的方法，其特征在于，所述根据各个所述层级特征图和所述层级权重，生成各层级残差特征图，包括：
将各个所述层级特征图和所述层级权重进行计算，生成对应的各层级残差特征图。
10.一种图像重建的处理装置，其特征在于，包括：
获取模块，用于获取待处理图像对应的放大参数；
处理模块，用于基于所述放大参数对所述待处理图像进行放大处理，得到放大图像；
提取模块，用于提取所述放大图像的特征图；所述特征图包含层级级联关系；根据所述层级级联关系，逐层执行特征图提取操作，得到所述放大图像的层级特征图，并基于所述放大参数获取与所述层级特征图对应的层级权重；所述层级权重用于表示各层级特征图在特征图中的贡献比例；
生成模块，用于根据各个所述层级特征图和所述层级权重，生成各层级残差特征图；
融合模块，用于将所述各层级残差特征图融合至所述待处理图像中，得到与所述放大参数对应的超分辨率重建图像。
11.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述的图像重建的处理方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法的步骤。
CN202110982534.9A 2021-08-25 2021-08-25 图像重建的处理方法、装置、电子设备和存储介质 Active CN113628115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110982534.9A CN113628115B (zh) 2021-08-25 2021-08-25 图像重建的处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110982534.9A CN113628115B (zh) 2021-08-25 2021-08-25 图像重建的处理方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113628115A CN113628115A (zh) 2021-11-09
CN113628115B true CN113628115B (zh) 2023-12-05

Family

ID=78387689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110982534.9A Active CN113628115B (zh) 2021-08-25 2021-08-25 图像重建的处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113628115B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837948B (zh) * 2021-11-29 2022-05-06 阿里巴巴达摩院(杭州)科技有限公司 图像生成方法、设备及存储介质
CN116939218A (zh) * 2022-04-08 2023-10-24 华为技术有限公司 区域增强层的编解码方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111256A (zh) * 2019-04-28 2019-08-09 西安电子科技大学 基于残差蒸馏网络的图像超分辨重建方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN112734645A (zh) * 2021-01-19 2021-04-30 青岛大学 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法
CN112767255A (zh) * 2021-03-04 2021-05-07 山东大学 基于特征分离融合网络的图像超分辨率重构方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322400B (zh) * 2018-03-30 2021-04-27 京东方科技集团股份有限公司 图像处理方法及装置、图像处理系统及其训练方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111256A (zh) * 2019-04-28 2019-08-09 西安电子科技大学 基于残差蒸馏网络的图像超分辨重建方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN112734645A (zh) * 2021-01-19 2021-04-30 青岛大学 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法
CN112767255A (zh) * 2021-03-04 2021-05-07 山东大学 基于特征分离融合网络的图像超分辨率重构方法及系统

Also Published As

Publication number Publication date
CN113628115A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
Sun et al. Learned image downscaling for upscaling using content adaptive resampler
US20200349680A1 (en) Image processing method and device, storage medium and electronic device
CN110163237B (zh) 模型训练及图像处理方法、装置、介质、电子设备
WO2022110638A1 (zh) 人像修复方法、装置、电子设备、存储介质和程序产品
CN113628115B (zh) 图像重建的处理方法、装置、电子设备和存储介质
CN110717851A (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
JP7112595B2 (ja) 画像処理方法及びその装置、コンピュータ機器並びにコンピュータプログラム
US20190005619A1 (en) Image upscaling system, training method thereof, and image upscaling method
CN111402139B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN112997479B (zh) 跨阶段跳跃连接处理图像的方法、系统和计算机可读介质
Dai et al. Image super-resolution via residual block attention networks
CN111951165A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN107578375B (zh) 图像处理方法及装置
KR102493492B1 (ko) 초해상도 모델의 메타 러닝을 통한 빠른 적응 방법 및 장치
CN115294055A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN114897711A (zh) 一种视频中图像处理方法、装置、设备及存储介质
CN112801876A (zh) 信息处理方法、装置及电子设备和存储介质
Hung et al. Image interpolation using convolutional neural networks with deep recursive residual learning
Liu et al. A densely connected face super-resolution network based on attention mechanism
CN116029932A (zh) 一种超高分辨率图像曝光错误矫正方法及系统
CN111401477B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
Haris et al. An efficient super resolution based on image dimensionality reduction using accumulative intensity gradient
CN113570531A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN111383171B (zh) 一种图片处理方法、系统及终端设备
CN113313742A (zh) 图像深度估计方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant