CN116503241A - 图像超分方法、装置、设备和可读存储介质 - Google Patents

图像超分方法、装置、设备和可读存储介质 Download PDF

Info

Publication number
CN116503241A
CN116503241A CN202210061413.5A CN202210061413A CN116503241A CN 116503241 A CN116503241 A CN 116503241A CN 202210061413 A CN202210061413 A CN 202210061413A CN 116503241 A CN116503241 A CN 116503241A
Authority
CN
China
Prior art keywords
image
superdivision
model
resolution
operation type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210061413.5A
Other languages
English (en)
Inventor
郭烈强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zeku Technology Shanghai Corp Ltd
Original Assignee
Zeku Technology Shanghai Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zeku Technology Shanghai Corp Ltd filed Critical Zeku Technology Shanghai Corp Ltd
Priority to CN202210061413.5A priority Critical patent/CN116503241A/zh
Publication of CN116503241A publication Critical patent/CN116503241A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Neurology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种图像超分方法、装置、设备和可读存储介质，电子设备获取待处理图像，然后将待处理图像输入训练好的图像超分模型，得到超分图像；其中，图像超分模型中各神经元内不同节点的操作类型包括混合操作类型，混合操作类型为基于预设搜索空间中的多个候选混合操作类型训练的到的；超分图像的分辨率大于待处理图像的分辨率。采用上述方法可以提升图像超分效果，降低图像超分模型的设计复杂度。

Description

图像超分方法、装置、设备和可读存储介质
技术领域
本申请涉及深度学习技术领域，特别是涉及一种图像超分方法、装置、设备和可读存储介质。
背景技术
当前随着深度学习技术的进步，神经网络模型在图像处理方面得到广泛应用。在神经网络模型的训练过程中，训练获得的参数可以包括训练参数以及定义模型结构的参数，其中，上述定义模型结构的参数可以包括神经网络模型的层数、每层采用的操作类型等。通过训练或的上述定义模型结构的参数可以成为网络架构搜索(Neural ArchitectureSearch，简称NAS)。
为了降低人工设计神经网络模型结构的复杂度，可以采用神经网络搜索算法。神经网络搜索算法可以通过训练确定模型结构中采用不同操作类型的权重，然后根据权重确定模型结构中各个节点之间采用的操作类型。
但是，采用上述方法获得的神经网络模型对图像进行超分处理时，获得的超分图像的质量差。
发明内容
本申请实施例提供了一种图像超分方法、装置、设备和可读存储介质，可以提高图像超分模型获得的超分图像的图像质量。
第一方面，一种图像超分方法，包括：
获取待处理图像；
将待处理图像输入训练好的图像超分模型，得到超分图像；其中，图像超分模型中各神经元内不同节点的操作类型包括混合操作类型，混合操作类型为基于预设搜索空间中的多个候选混合操作类型训练得到的；超分图像的分辨率大于待处理图像的分辨率。
第二方面，一种图像超分装置，包括：
获取模块，用于获取待处理图像；
输入模块，用于将待处理图像输入训练好的图像超分模型，得到超分图像；其中，图像超分模型中各神经元内不同节点的操作类型包括混合操作类型，混合操作类型为基于预设搜索空间中的多个候选混合操作类型训练得到的；超分图像的分辨率大于待处理图像的分辨率。
第三方面，一种电子设备，包括存储器及处理器，存储器中储存有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像超分方法的步骤。
第四方面，一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述图像超分方法的步骤。
第五方面，一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述图像超分方法的步骤。
上述图像超分方法、装置、设备和可读存储介质，电子设备获取待处理图像，然后将待处理图像输入训练好的图像超分模型，得到超分图像；其中，图像超分模型中各神经元内不同节点的操作类型包括混合操作类型，混合操作类型为基于预设搜索空间中的多个候选混合操作类型训练的到的；超分图像的分辨率大于待处理图像的分辨率。由于预设搜索空间中包括了多个候选混合操作类型，因此基于上述搜索空间进行训练获得的图像超分模型中，各神经元内不同节点的操作类型可以是混合操作类型；上述图像超分模型相比于神经元内各节点为单个操作类型的情况下，可以提升图像超分效果，使得获得的超分图像的图像质量更高；进一步地，上述图像超分模型为基于预设搜索空间进行架构搜索获得的，使得图像超分模型可以通过训练获得而不需要进行人工设计，降低了图像超分模型的设计复杂度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一个实施例中图像超分方法的应用环境图；
图2为本申请一个实施例中图像超分方法的流程图；
图3为本申请一个实施例中图像超分模型的示意图；
图4为本申请一个实施例中预设搜索空间的示意图；
图5为本申请一个实施例中图像超分方法的流程图；
图6为本申请一个实施例中图像超分方法的流程图；
图7为本申请一个实施例中神经元的示意图；
图8为本申请一个实施例中图像超分装置的结构框图；
图9为本申请一个实施例中图像超分装置的结构框图；
图10为一个实施例中电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图像超分方法可以应用于电子设备，如图1所示。上述电子设备100可以是服务器，也可以是终端设备。电子设备100可以根据低分辨率图像生成对应的高分辨率图像。上述服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。上述终端设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等；上述便携式可穿戴设备可为智能手表、智能手环、头戴设备等。本申请中的图像超分方法可以应用于监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等技术领域。
在一个实施例中，如图2所示，提供了一种图像超分方法，以该方法应用于图1中的电子设备为例进行说明，包括：
S101、获取待处理图像。
上述待处理图像可以是指待电子设备进行超分(Super Resolution，简称SR)处理的图像。上述超分处理可以是一种底层图像处理方式，可以将低分辨率的图像映射至高分辨率，以期达到增强图像细节的作用。上述待处理图像中分辨率低的原因可以是但不限于是包含图像噪声、有损压缩处理、降采样处理等，通过超分处理可以提高待处理图像的分辨率，重建出相应的高分辨率图像。
其中，上述待处理图像可以是人脸图像，也可以是环境图像，对于待处理图像的类型在此不做限定。对于待处理图像的图像格式、图像大小、分辨率大小等参数，本申请实施例并不做限定。
电子设备可以通过摄像头采集上述待处理图像，也可以通过与服务器或其他电子设备之间的通信连接，接收服务器或其他电子设备发送的待处理图像；或者，上述待处理图像也可以是电子设备中已存储的图像，对于待处理图像的获取方式在此不做限定。
S102、将待处理图像输入训练好的图像超分模型，得到超分图像；其中，图像超分模型中各神经元内不同节点的操作类型包括混合操作类型，混合操作类型为基于预设搜索空间中的多个候选混合操作类型训练得到的；超分图像的分辨率大于待处理图像的分辨率。
其中，上述图像超分模型可以是卷积神经网络(Convolutional Neural Network，简称CNN)模型，也可以是循环神经网络(Recursive Neural Network，简称RNN)模型，对于上述图像超分模型的类型在此不做限定。以CNN模型为例，电子设备可以将待处理图像进行上采样处理，然后将上采样后的图像输入至网络结构进行特征提取、非线性映射以及图像重建，通过端到端的方式学习低分辨率图像至高分辨率图像之间的映射关系。
上述图像超分模型中可以包括多个神经元cell，图像超分模型中各个神经元可以用于进行特征提取、非线性映射等操作。上述图像超分模型中各个神经元可以直接连接，也可以通过加法模块等计算模块进行连接，对于神经元之间的连接方式在此不做限定。上述图像超分模型中神经元的数量可以是4个、6个，也可以8个或其他数量，对于神经元的数量在此不做限定。图3为一种图像超分模型的架构示意图，如图3所示，图像超分模型中可以包括8个神经元，分别为cell_1至cell_8，其中cell_1和cell_2之间、cell_2和cell_3之间、cell_3和cell_4之间分别设置一个部分加法模块PADD；cell_1和cell_2之间的PADD1用于对cell_1的输入与cell_1的输出进行部分加法操作；cell_2和cell_3之间的PADD2用于对cell_2的输入与cell_2的输出进行部分加法操作；cell_3和cell_4之间的PADD3用于对cell_3的输入与cell_4的输出进行部分加法操作。cell_5和cell_6之间、cell_6和cell_7之间、cell_7和cell_8之间分别设置一个部分加法模块PADD；cell_5和cell_6之间的PADD4用于对cell_5的输出与PADD3的输出进行部分加法操作；cell_6和cell_7之间的PADD5用于对cell_6的输入出与PADD2的输出进行部分加法操作；cell_7和cell_8之间的PADD6用于对cell_7的输出与PADD1的输出进行部分加法操作。上述图像超分模型中，cell_4与cell_5直接连接，cell_8的输出连接Depth2Space，用于对cell_8输出的数据排列方式进行调整。
上述部分加法模块用于对两组数据进行部分加法操作，以矩阵S1和S2为例，矩阵S1的维度可以为[B，H，W，C1]，矩阵S2的维度可以为[B，H，W，C2]，其中上述B表示图像超分模型一次输入的图像个数，上述H可以表示矩阵的高度，W可以表示矩阵的宽度，C1和C2分别表示矩阵S1和S2的通道数。若C1≥C2，则PADD(S1，S2)的维度为[B，H，W，C2]，其中[B，H，W，C2]对应的元素为S1和S2的元素之和，其余为矩阵S1的元素。若C1小于C2，则PADD(S1，S2)的维度为[B，H，W，C2]，其中[B，H，W，C1]对应的元素为S1和S2的元素之和，其余为矩阵S2的元素。上述PADD操作可以将不同通道的特征进行融合，提升了图像超分模型的设计灵活度。
上述神经元可以包括输入节点、输出节点以及中间节点。不同神经元对应的中间节点的数量可以相同，也可以不同。在同一个神经元中，不同节点可以对应不同形状的特征，例如输入节点对应的特征的形状可以为256*256*4，中间节点1对应的特征的形状可以为256*256*32；为了实现输入节点至中间节点1之间的数据转换，可以采用不同的操作类型。
上述神经元内不同节点之间的操作类型可以包括混合操作类型。上述混合操作类型中可以包括至少两种单个操作方式。上述单个操作方式可以为卷积操作、池化操作、全连接操作、乘法操作以及加法操作等。需要说明的是，上述神经元内不同节点之间可以包括一种或多种混合操作类型，例如输入节点和中间节点1之间可以为卷积操作和全连接操作组成的第一种混合操作类型，中间节点1和中间节点2之间可以为乘法操作和卷积操作组成的第二种混合操作类型。另外，上述神经元中不同节点之间可以是混合操作类型，也可以存在部分节点之间为单个操作类型，例如中间节点2和输出节点之间为直连操作类型。另外，不同神经元之间的混合操作类型可以不同，不同神经元之间混合操作类型对应的节点位置也可以不同。
上述不同节点之间的混合操作类型可以为基于预设搜索空间中的多个候选混合操作类型训练得到的。上述预设搜索空间中可以包括多个候选混合操作类型，上述候选混合操作类型可以是不同单个操作类型的任意组合，也可以是基于先验神经网络模型确定的。上述先验神经网络模型可以是已验证的在特征提取方面具有良好表现的成熟模型，电子设备可以从先验神经网络模型的模型结构中提取出上述候选混合操作类型，使得训练获得的图像超分模型中，可以继承上述先验神经网络模型的成熟经验，提高图像超分模型的训练效率。
在一种实现方式中，上述预设搜索空间中的候选混合操作类型可以如图4所示。图4中涉及8种候选混合操作类型，其中候选混合操作类型Module1可以依次包括卷积操作Conv1x1、深度可分离卷积操作DepthwiseConv3x3、卷积操作Conv1x1以及加法操作ADD。其中，输入端连接的卷积操作Conv1x1可以实现维度[B，H，W，C]至[B，H，W，3C]的特征变换；与加法操作连接的卷积操作Conv1x1可以实现维度[B，H，W，3C]至[B，H，W，C]的特征变换。不同候选混合操作模型对应的单个操作类型的组合方式可以相同，其可以对应不同维度的特征变换。例如，候选混合操作类型Module2可以依次包括卷积操作Conv1x1、深度可分离卷积操作DepthwiseConv3x3、卷积操作Conv1x1以及加法操作ADD。其中，输入端连接的卷积操作Conv1x1可以实现维度[B，H，W，C]至[B，H，W，6C]的特征变换；与加法操作连接的卷积操作Conv1x1可以实现维度[B，H，W，6C]至[B，H，W，C]的特征变换。
另外，图4中候选混合操作类型Module3可以依次包括卷积操作Conv1x1、深度可分离卷积操作DepthwiseConv5x5、卷积操作Conv1x1以及加法操作ADD。其中，输入端连接的卷积操作Conv1x1可以实现维度[B，H，W，C]至[B，H，W，6C]的特征变换；与加法操作连接的卷积操作Conv1x1可以实现维度[B，H，W，6C]至[B，H，W，C]的特征变换。候选混合操作类型Module4的操作组合方式可以与Module3相同，不同的是输入端连接的卷积操作Conv1x1可以实现维度[B，H，W，C]至[B，H，W，3C]的特征变换；与加法操作连接的卷积操作Conv1x1可以实现维度[B，H，W，3C]至[B，H，W，C]的特征变换。候选混合操作类型Module5可以依次包括深度可分离卷积操作DepthwiseConv3x3和卷积操作Conv1x1。候选混合操作类型Module6可以依次包括池化操作GloblePool、全连接操作FC、全连接操作FC以及对输入数据以及全连接操作FC进行乘法操作的MUL。候选混合操作类型Module7可以包括多个串行、并行连接的卷积操作，以及对多个卷积操作的输出进行加发操作的ADD。候选混合操作类型Module8可以包括多个并行的卷积操作，以及对多个卷积操作的输出进行加发操作的ADD。
需要说明的是，上述预设搜索空间还可以包括其它候选混合操作类型，也可以包括单个操作类型，在此不做限定。
电子设备可以通过模型训练，在上述预设搜索空间中搜索神经元中不同节点之间的混合操作类型。
在上述图像超分模型训练完成的基础上，电子设备可以将待处理图像输入至图像超分模型，通过图像超分模型输出上述待处理图像对应的超分图像，使得获得的超分图像的分辨率大于待处理图像。
上述图像超分方法，电子设备获取待处理图像，然后将待处理图像输入训练好的图像超分模型，得到超分图像；其中，图像超分模型中各神经元内不同节点的操作类型包括混合操作类型，混合操作类型为基于预设搜索空间中的多个候选混合操作类型训练的到的；超分图像的分辨率大于待处理图像的分辨率。由于预设搜索空间中包括了多个候选混合操作类型，因此基于上述搜索空间进行训练获得的图像超分模型中，各神经元内不同节点的操作类型可以是混合操作类型；上述图像超分模型相比于神经元内各节点为单个操作类型的情况下，可以提升图像超分效果，使得获得的超分图像的图像质量更高；进一步地，上述图像超分模型为基于预设搜索空间进行架构搜索获得的，使得图像超分模型可以通过训练获得而不需要进行人工设计，降低了图像超分模型的设计复杂度。
图5为一个实施例中图像超分方法的流程示意图，本实施例涉及电子设备获取图像超分模型的一种实现方式，在上述实施例的基础上，如图5所示，上述方法还包括：
S201、获取第一训练样本；第一训练样本包括多个第一样本图像，以及各第一样本图像对应的第一超分图像；第一超分图像的分辨率大于第一样本图像的分辨率。
上述第一训练样本中可以包括多个第一样本图像，上述多个第一样本图像的类型可以相同，也可以不同。每个第一样本图像对应一个分辨率高的第一超分图像。
电子设备在获取上述第一训练样本时，可以获取不同分辨率参数对同一场景拍摄的第一样本图像和第一超分图像，例如采用低分辨率参数拍摄第一样本图像，采用高分辨率参数对同一场景拍摄第一超分图像。或者，电子设备可以获取分辨率大于预设阈值的图像，将其作为第一超分图像，然后对第一超分图像进行降采样、增加噪声等操作，获得第一超分图像对应的第一样本图像；对于第一训练样本的获取方式在此不做限定。
S202、将第一样本图像作为第一初始图像超分模型的参考输入，将第一超分图像作为第一初始图像超分模型的参考输出，对第一初始图像超分模型进行训练，确定第一初始图像超分模型中各个神经元内不同节点的混合操作类型。
上述第一初始图像超分模型为图像超分模型的初始模型，例如第一初始图像超分模型中确定了图像超分模型的神经元数量、神经元连接方式等，但是对于神经元中各个节点之间的操作类型，以及神经元中各个操作类型的参数并未确定。
进一步地，电子设备可以将第一样本图像作为第一初始图像超分模型的参考输入，将第一超分图像作为第一初始图像超分模型的参考输出，对第一初始图像超分模型进行训练。
在训练过程中，针对两个节点之间的混合操作类型，电子设备可以对上述预设搜索空间中的候选混合操作类型进行遍历，将其设置为上述两个节点之间的混合操作类型后依次获得对应的高分辨率图像，根据预设的损失函数获得上述高分辨率图像与第一超分图像对应的损失值，并基于上述损失值对该两个节点之间选择各候选混合操作类型的权重进行调整。以输入节点0和中间节点1之间的混合操作类型确定过程为例，假设预设搜索空间中包括N个候选混合操作类型；在每次训练中，电子设备可以将输入节点0与中间节点1之间的混合操作类型分别为上述N个候选混合操作类型，分别获得对应的高分辨率图像。
在另一种实现方式中，在训练过程中，针对两个节点之间的混合操作类型，电子设备可以在上述预设搜索空间中的随机选择一种候选混合操作类型，将其设置为上述两个节点之间的混合操作类型后获得对应的高分辨率图像，根据预设的损失函数获得上述高分辨率图像与第一超分图像对应的损失值，并基于上述损失值对该两个节点之间选择该候选混合操作类型的权重进行调整。通过多次训练，上述两个节点之间各个候选混合操作类型均可以获得相应的权重。继续以输入节点0和中间节点1之间的混合操作类型确定过程为例，假设预设搜索空间中包括N个候选混合操作类型；在每次训练中，电子设备可以将输入节点0与中间节点1之间的混合操作类型选择为上述N个候选混合操作类型中的其中一个候选混合操作类型，获得1个对应的高分辨率图像。需要说明的是，上述训练过程中，各神经元内不同节点之间的单个操作类型也可以被确定。
电子设备可以通过训练确定上述图像超分模型中多个神经元、以及每个神经元中不同的节点对应的混合操作类型。
S203、基于混合操作类型，获得图像超分模型。
在确定了各个神经元内不同节点之间的混合操作类型的基础上，上述图像超分模型的架构可以被确定。
在一种实现方式中，电子设备可以通过第一训练样本对第一初始图像超分模型进行训练时，除了确定各个神经元中不同节点之间的混合操作类型之外，还可以确定上述神经元中各个操作类型对应的训练参数，例如学习率learning rate，批量大小batch size以及权重衰减weight decay等。电子设备在获得各个神经元包括的不同节点之间的混合操作类型的基础上，可以直接获得图像超分模型。
在另一种实现方式中，电子设备可以基于混合操作类型，获得第二初始图像超分模型；然后，获取第二训练样本；将第二样本图像作为第二初始图像超分模型的参考输入，将第二样本图像对应的第二高分辨率图像作为第二初始图像超分模型的参考输出，对第二初始图像超分模型进行训练，获得图像超分模型。其中，上述第二训练样本包括多个第二样本图像，以及各第二样本图像对应的第二高分辨率图像；第二超分图像的分辨率大于第二样本图像的分辨率。
上述第二训练样本可以与第一训练样本相同，也可以不同。上述第二训练样本的获取方式可以参见上述第一训练样本的获取方式，在此不做限定。
上述第二初始图像超分模型可以是在第一初始图像超分模型的基础上，确定了各神经元内的不同节点之间的操作类型，但是图像超分模型的训练参数还未被确定；也就是说该实现方式中，将图像超分模型架构的确定过程和训练参数的确定过程，分两次训练完成。
在获得第二初始图像超分模型的基础上，电子设备可以将第二样本图像作为第二初始图像超分模型的参考输入，将第二样本图像对应的第二高分辨率图像作为第二初始图像超分模型的参考输出，对第二初始图像超分模型进行训练，获得图像超分模型。
本实施例中对模型训练使用的损失函数可以是L1 loss，也可以是L2 loss，还可以是MS-SSIM等，还可以是上述各损失函数的加权，对于损失函数的类型在此不做限定。
上述图像超分方法，电子设备通过训练确定各神经元内不同节点的混合操作类型，使得图像超分模型可以通过训练获得而不需要进行人工设计，降低了图像超分模型的设计复杂度。另外，上述训练可以通过神经网络搜索降低图像超分模型的设计时长，降低图像超分模型的成本。
图6为一个实施例中图像超分方法的流程示意图，本实施例涉及混合操作类型的一种确定方式，在上述实施例的基础上，在第一初始图像超分模型中，神经元中的初始混合操作类型为对搜索空间中的多个候选混合操作类型进行概率抽样获得的；每个候选混合操作类型对应一个初始权重；如图6所示，上述S202包括：
S301、将第一训练样本中的第一样本图像作为第一初始图像超分模型的参考输入，将第一超分图像作为第一初始图像超分模型的参考输出，对第一初始图像超分模型中每个神经元内的各节点之间的候选混合操作类型对应的权重进行调整。
在对第一初始图像超分模型进行训练时，针对两个节点之间的混合操作类型，电子设备可以在上述预设搜索空间中的选择一种候选混合操作类型，将其设置为上述两个节点之间的混合操作类型后获得对应的图像特征。上述候选混合操作类型的选择方式可以为概率抽样。
在第一初始图像超分模型中，各神经元中不同节点之间的混合操作类型可以表示为：
y＝Sample(α1*op1,α2*op2,α3*op3,…αN*opN)
其中，opi表示预设搜索空间中的第i个候选混合操作类型，αi表示opi对应的权重；Sample为概率抽样函数，可以根据概率从N个候选混合操作类型中选择一个候选混合操作类型，将该候选混合操作类型作用于输入的特征，获得相应的输出特征。
通过上述训练，可以对第一初始图像超分模型中每个神经元内的各节点之间的候选混合操作类型对应的权重进行调整。在概率抽样中，候选混合操作类型的权重越大，被抽中的概率越高。
S302、将调整后的最大权重对应的候选混合操作类型作为节点之间的混合操作类型。
针对节点之间的混合操作类型，在获得该抽样函数中各个候选混合操作类型的权重之后，电子设备可以将调整后的最大权重对应的候选混合操作类型作为节点之间的混合操作类型。
在通过训练调整各个候选混合操作类型的权重之后，其中一个节点之间的混合操作类型可以表示为：
y＝Sample(α′1*op1,α′2*op2,α′3*op3,…α′N*opN)
其中，αi′表示opi对应的调整后的权重。电子设备可以在每个混合操作类型中选择αi′最大的候选混合操作类型，确定为该节点之间的混合操作类型。在得到各神经元中不同节点之间的混合操作类型之后，得到最终搜索到的图像超分模型的网络架构。
上述图像超分方法，在模型训练过程中通过概率抽样选择一个候选混合操作类型，可以降低模型训练的复杂度，也可以避免在网络架构搜索过程中直连操作占主导的问题。另外，通过上述训练搜索获得的图像超分模型中，各神经元内的操作由预设搜索空间中的候选混合操作类型构成，使得图像超分模型更具结构化，利于进行后续的优化。
在一个实施例中，在上述实施例的基础上，如图7所示，上述神经元可以包括输入节点、中间节点和输出节点。其中神经元的操作类型包括输入节点与中间节点之间的第一操作类型、不同的中间节点之间的第二操作类型以及中间节点与输出节点之间的第三操作类型；其中，第一操作类型和/或第二操作类型为混合操作类型；第三操作类型为直连操作。
本申请实施例中对神经元中中间节点的数量并不作限制。
上述图像超分方法，图像超分模型中将神经元中中间节点与输出节点之间的操作类型直接确定为直连操作类型，不需要在训练中对其进行搜索，可以提升图像超分模型的训练效率。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像超分方法的图像超分装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像超分装置实施例中的具体限定可以参见上文中对于图像超分方法的限定，在此不再赘述。
在一个实施例中，如图8所示，提供了一种图像超分装置，包括：
获取模块10，用于获取待处理图像；
输入模块20，用于将待处理图像输入训练好的图像超分模型，得到超分图像；其中，图像超分模型中各神经元内不同节点的操作类型包括混合操作类型，混合操作类型为基于预设搜索空间中的多个候选混合操作类型训练得到的；超分图像的分辨率大于待处理图像的分辨率。
在一个实施例中，在上述实施例的基础上，如图9所示，上述装置还包括训练模块30，用于：获取第一训练样本；第一训练样本包括多个第一样本图像，以及各第一样本图像对应的第一超分图像；第一超分图像的分辨率大于第一样本图像的分辨率；将第一样本图像作为第一初始图像超分模型的参考输入，将第一超分图像作为第一初始图像超分模型的参考输出，对第一初始图像超分模型进行训练，确定第一初始图像超分模型中各个神经元内不同节点的混合操作类型；基于混合操作类型，获得图像超分模型。
在一个实施例中，在上述实施例的基础上，在第一初始图像超分模型中，神经元中的初始混合操作类型为对搜索空间中的多个候选混合操作类型进行概率抽样获得的；每个候选混合操作类型对应一个初始权重；上述训练模块30具体用于：将第一训练样本中的第一样本图像作为第一初始图像超分模型的参考输入，将第一超分图像作为第一初始图像超分模型的参考输出，对第一初始图像超分模型中每个神经元内的各节点之间的候选混合操作类型对应的权重进行调整；将调整后的最大权重对应的候选混合操作类型作为节点之间的混合操作类型。
在一个实施例中，在上述实施例的基础上，混合操作模块为基于先验神经网络模型确定的。
在一个实施例中，在上述实施例的基础上，混合操作模块中的操作类型包括如下至少两种：卷积操作、池化操作、全连接操作、乘法操作以及加法操作。
在一个实施例中，在上述实施例的基础上，神经元包括输入节点、中间节点和输出节点；神经元的操作类型包括输入节点与中间节点之间的第一操作类型、不同的中间节点之间的第二操作类型以及中间节点与输出节点之间的第三操作类型；其中，第一操作类型和/或第二操作类型为混合操作类型；第三操作类型为直连操作。
在一个实施例中，在上述实施例的基础上，训练模块30具体用于：基于混合操作类型，获得第二初始图像超分模型；获取第二训练样本；第二训练样本包括多个第二样本图像，以及各第二样本图像对应的第二高分辨率图像；第二超分图像的分辨率大于第二样本图像的分辨率；将第二样本图像作为第二初始图像超分模型的参考输入，将第二样本图像对应的第二高分辨率图像作为第二初始图像超分模型的参考输出，对第二初始图像超分模型进行训练，获得图像超分模型。
上述图像超分装置，其实现原理和技术效果参见上述方法实施例，在此不做限定。
上述图像超分装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种电子设备，该电子设备可以是服务器，也可以是终端设备，其内部结构图可以如图10所示。该电子设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储图像超分数据。该电子设备的输入/输出接口用于处理器与外部设备之间交换信息。该电子设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像超分方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行图像超分方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像超分方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (11)

1.一种图像超分方法，其特征在于，包括：
获取待处理图像；
将待处理图像输入训练好的图像超分模型，得到超分图像；其中，所述图像超分模型中各神经元内不同节点的操作类型包括混合操作类型，所述混合操作类型为基于预设搜索空间中的多个候选混合操作类型训练得到的；所述超分图像的分辨率大于所述待处理图像的分辨率。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取第一训练样本；所述第一训练样本包括多个第一样本图像，以及各所述第一样本图像对应的第一超分图像；所述第一超分图像的分辨率大于所述第一样本图像的分辨率；
将所述第一样本图像作为第一初始图像超分模型的参考输入，将所述第一超分图像作为所述第一初始图像超分模型的参考输出，对所述第一初始图像超分模型进行训练，确定所述第一初始图像超分模型中各个神经元内不同节点的混合操作类型；
基于所述混合操作类型，获得所述图像超分模型。
3.根据权利要求2所述的方法，其特征在于，在所述第一初始图像超分模型中，所述神经元中的初始混合操作类型为对所述搜索空间中的多个候选混合操作类型进行概率抽样获得的；每个候选混合操作类型对应一个初始权重；
所述将所述第一样本图像作为第一初始图像超分模型的参考输入，将所述第一超分图像作为所述第一初始图像超分模型的参考输出，对所述第一初始图像超分模型进行训练，确定所述第一初始图像超分模型中各个神经元内不同节点的混合操作类型，包括：
将所述第一训练样本中的第一样本图像作为第一初始图像超分模型的参考输入，将所述第一超分图像作为所述第一初始图像超分模型的参考输出，对所述第一初始图像超分模型中每个神经元内的各节点之间的候选混合操作类型对应的权重进行调整；
将调整后的最大权重对应的候选混合操作类型作为所述节点之间的混合操作类型。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述混合操作模块为基于先验神经网络模型确定的。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述混合操作模块中的操作类型包括如下至少两种：卷积操作、池化操作、全连接操作、乘法操作以及加法操作。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述神经元包括输入节点、中间节点和输出节点；所述神经元的操作类型包括所述输入节点与所述中间节点之间的第一操作类型、不同的所述中间节点之间的第二操作类型以及所述中间节点与所述输出节点之间的第三操作类型；其中，所述第一操作类型和/或所述第二操作类型为所述混合操作类型；所述第三操作类型为直连操作。
7.根据权利要求2或3所述的方法，其特征在于，所述基于所述混合操作类型，获得所述图像超分模型，包括：
基于所述混合操作类型，获得第二初始图像超分模型；
获取第二训练样本；所述第二训练样本包括多个第二样本图像，以及各所述第二样本图像对应的第二高分辨率图像；所述第二超分图像的分辨率大于所述第二样本图像的分辨率；
将所述第二样本图像作为所述第二初始图像超分模型的参考输入，将所述第二样本图像对应的第二高分辨率图像作为所述第二初始图像超分模型的参考输出，对所述第二初始图像超分模型进行训练，获得所述图像超分模型。
8.一种图像超分装置，其特征在于，包括：
获取模块，用于获取待处理图像；
输入模块，用于将待处理图像输入训练好的图像超分模型，得到超分图像；其中，所述图像超分模型中各神经元内不同节点的操作类型包括混合操作类型，所述混合操作类型为基于预设搜索空间中的多个候选混合操作类型训练得到的；所述超分图像的分辨率大于所述待处理图像的分辨率。
9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的图像超分方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
11.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210061413.5A 2022-01-19 2022-01-19 图像超分方法、装置、设备和可读存储介质 Pending CN116503241A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210061413.5A CN116503241A (zh) 2022-01-19 2022-01-19 图像超分方法、装置、设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210061413.5A CN116503241A (zh) 2022-01-19 2022-01-19 图像超分方法、装置、设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN116503241A true CN116503241A (zh) 2023-07-28

Family

ID=87327222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210061413.5A Pending CN116503241A (zh) 2022-01-19 2022-01-19 图像超分方法、装置、设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN116503241A (zh)

Similar Documents

Publication Publication Date Title
CN111951167B (zh) 超分辨率图像重建方法、装置、计算机设备和存储介质
CN112991472B (zh) 一种基于残差稠密阈值网络的图像压缩感知重建方法
Li et al. A lightweight multi-scale channel attention network for image super-resolution
CN112488923A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN113538281B (zh) 图像去噪方法、装置、计算机设备和存储介质
CN112633482B (zh) 一种高效宽度图卷积神经网络模型系统及训练方法
CN114418853B (zh) 基于相似图像检索的图像超分辨率优化方法、介质及设备
CN114913094A (zh) 图像修复方法、装置、计算机设备、存储介质和程序产品
CN115082306A (zh) 一种基于蓝图可分离残差网络的图像超分辨率方法
Hu et al. Multi-scale information distillation network for efficient image super-resolution
CN113989169A (zh) 一种膨胀卷积加速计算方法及装置
Wu et al. Pyramidal dense attention networks for single image super‐resolution
Liu et al. A fast and accurate super-resolution network using progressive residual learning
CN116503241A (zh) 图像超分方法、装置、设备和可读存储介质
WO2023115814A1 (zh) Fpga硬件架构及其数据处理方法、存储介质
CN116051345A (zh) 图像数据处理方法、装置、计算机设备及可读存储介质
CN113191947B (zh) 一种图像超分辨率的方法及系统
WO2021179117A1 (zh) 神经网络通道数搜索方法和装置
CN115272082A (zh) 模型训练、视频质量提升方法、装置和计算机设备
CN114638823A (zh) 基于注意力机制序列模型的全切片图像分类方法及装置
Yang et al. Relation-consistency graph convolutional network for image super-resolution
Jiang et al. Png: Micro-structured prune-and-grow networks for flexible image restoration
CN113111976A (zh) 一种基于低秩张量自表示的深度子空间聚类方法及系统
CN115456858B (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
CN114723997B (zh) 基于Tropical代数的复合型卷积运算方法、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination