CN111524072A - 超分辨重构网络训练方法和装置、电子设备及存储介质 - Google Patents

超分辨重构网络训练方法和装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111524072A
CN111524072A CN202010337828.1A CN202010337828A CN111524072A CN 111524072 A CN111524072 A CN 111524072A CN 202010337828 A CN202010337828 A CN 202010337828A CN 111524072 A CN111524072 A CN 111524072A
Authority
CN
China
Prior art keywords
network
image
model
feature extraction
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010337828.1A
Other languages
English (en)
Other versions
CN111524072B (zh
Inventor
刘畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202010337828.1A priority Critical patent/CN111524072B/zh
Publication of CN111524072A publication Critical patent/CN111524072A/zh
Application granted granted Critical
Publication of CN111524072B publication Critical patent/CN111524072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供的超分辨重构网络训练方法和装置、电子设备及存储介质，涉及图像处理技术领域。在本申请中，首先，获取针对第一神经网络模型预先配置的模型训练参数和多张用于进行图像超分辨重构训练的目标图像，其中，该第一神经网络模型包括特征提取子模型，且该特征提取子模型包括的多层网络层的卷积核数量，在图像数据传输方向上，基于预设的指数型函数衰减。其次，通过所述模型训练参数和所述目标图像对所述第一神经网络模型进行训练，得到第二神经网络模型。通过上述方法，可以改善现有的超分辨重构技术中存在的计算量较大的问题。

Description

超分辨重构网络训练方法和装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种超分辨重构网络训练方法和装置、电子设备及存储介质。
背景技术
图像超分辨重构技术是指，从一张或多张低分辨率图像中，重构出相应的高分辨率图像。具体的技术主要分为两类，一是从单张低分辨率图像中重建出高分辨率图像；二是从多张低分辨率图像中重建出高分辨率图像。
其中，基于深度学习的超分辨重构方法，主要是基于单张图像的重构方法。它以机器学习为理论基础，在大量的自然图像数据上，学习低分辨率和高分辨率图像之间的映射关系。
经发明人研究发现，在基于深度学习的超分辨重构方法中，由于主要考虑是否能得到较好的图像重构质量，因而，现有的重构网络模型大多属于既深又宽的深度网络结构，使得存在计算量较大的问题。
发明内容
有鉴于此，本申请的目的在于提供一种超分辨重构网络训练方法和装置、电子设备及存储介质，以改善现有的超分辨重构技术中存在的计算量较大的问题。
为实现上述目的，本申请实施例采用如下技术方案：
一种超分辨重构网络训练方法，包括：
获取针对第一神经网络模型预先配置的模型训练参数和多张用于进行图像超分辨重构训练的目标图像，其中，该第一神经网络模型包括特征提取子模型，且该特征提取子模型包括的多层网络层的卷积核数量，在图像数据传输方向上，基于预设的指数型函数衰减；
通过所述模型训练参数和所述目标图像对所述第一神经网络模型进行训练，得到第二神经网络模型，其中，该第二神经网络模型用于对待处理图像进行超分辨重构处理。
在本申请实施例较佳的选择中，在上述超分辨重构网络训练方法中，还包括构建所述第一神经网络模型的步骤，该步骤包括：
构建特征提取子模型，其中，该特征提取子模型用于对输入图像进行特征提取，得到目标特征图像；
构建重构网络子模型，得到包括该重构网络子模型和所述特征提取子模型的第一神经网络模型，其中，该重构网络子模型用于，基于所述目标特征图像和所述输入图像对应的上采样图像进行像素叠加，得到重构图像。
在本申请实施例较佳的选择中，在上述超分辨重构网络训练方法中，所述构建特征提取子模型的步骤，包括：
构建包括多层第一网络层的第一特征提取子模型，其中，每层第一网络层的卷积核尺寸不同，用于分别对输入图像进行特征提取，并进行拼接得到多尺度的特征图像；
构建包括多层第二网络层的第二特征提取子模型，其中，该第二特征提取子模型用于对所述特征图像进行卷积得到目标特征图像，该多层第二网络层的卷积核数量在图像数据传输方向上，基于预设的指数型函数衰减。
在本申请实施例较佳的选择中，在上述超分辨重构网络训练方法中，所述构建包括多层第二网络层的第二特征提取子模型的步骤，包括：
确定需要构建的多层第二网络层的总层数、第一个第二网络层的第一卷积核数量、最后一个第二网络层的第二卷积核数量、卷积核衰减率；
基于预设的指数型函数、所述总层数、所述第一卷积核数量、所述第二卷积核数量和所述卷积核衰减率，得到每一层第二网络层的卷积核数量；
基于每一层第二网络层的卷积核数量构建第二特征提取子模型。
在本申请实施例较佳的选择中，在上述超分辨重构网络训练方法中，所述指数型函数包括：
Figure BDA0002467215690000031
Noutput＝(Nfilter-Nmin-filter)*Ldecay+Nmin-filter；
其中，Noutput为当前层的卷积核数量，Nfilter为所述第一卷积核数量，Nmin_filter为所述第二卷积核数量，Llayer为所述总层数，Linput为所述总层数与当前层的层数之差，decay_rate为所述卷积核衰减率。
在本申请实施例较佳的选择中，在上述超分辨重构网络训练方法中，所述多层第二网络层构成多个网络组，且每个网络组包括数量相同的第二网络层；
其中，在相邻的两个所述网络组中，在前的一个网络组用于将输入至该网络组中的第一个第二网络层的特征图和该网络组中的最后一个第二网络层输出的特征图进行拼接，并将拼接得到的特征图输入至在后的一个网络组。
在本申请实施例较佳的选择中，在上述超分辨重构网络训练方法中，在所述多层第一网络层中，卷积核的数量基于卷积核的尺寸的增加而增加。
本申请实施例还提供了一种超分辨重构网络训练装置，包括：
数据获取模块，用于获取针对所述第一神经网络模型预先配置的模型训练参数和多张用于进行图像超分辨重构训练的目标图像，其中，该第一神经网络模型包括特征提取子模型，且该特征提取子模型包括的多层网络层的卷积核数量，在图像数据传输方向上，基于预设的指数型函数衰减；
模型训练模块，用于通过所述模型训练参数和所述目标图像对所述第一神经网络模型进行训练，得到第二神经网络模型，其中，该第二神经网络模型用于对待处理图像进行超分辨重构处理。
在上述基础上，本申请实施例还提供了一种电子设备，包括：
存储器，用于存储计算机程序；
与所述存储器连接的处理器，用于执行所述计算机程序，以实现上述的超分辨重构网络训练方法。
在上述基础上，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被执行时，实现上述的超分辨重构网络训练方法。
本申请提供的超分辨重构网络训练方法和装置、电子设备及存储介质，通过采用第一神经网络模型训练得到用于对待处理图像进行超分辨重构处理的第二神经网络模型，且该第一神经网络模型中的特征提取子模型包括的多层网络层的卷积核数量，在图像数据传输方向上基于预设的指数型函数衰减。如此，可以保证图像的重构质量不降低的基础上，有效地降低神经网络模型的参数量，从而使得基于该神经网络模型对图像进行超分辨重构时数据的计算量降低，进而改善现有的超分辨重构技术中存在的计算量较大的问题，尤其是在工业应用中具有较高的实用价值。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1为本申请实施例提供的电子设备的结构框图。
图2为本申请实施例提供的超分辨重构网络训练方法的流程示意图。
图3为本申请实施例提供的超分辨重构网络训练方法包括的其它步骤的流程示意图。
图4为本申请实施例提供的第一神经网络模型的结构框图。
图5为图3中步骤S130包括的各子步骤的流程示意图。
图6为图5中步骤S133包括的各子步骤的流程示意图。
图7为本申请实施例提供的超分辨重构网络训练装置包括的功能模块的方框示意图。
图标：10-电子设备；100-超分辨重构网络训练装置；110-数据获取模块；120-模型训练模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本申请的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，本申请实施例提供了一种电子设备10。其中，该电子设备10可以包括存储器、处理器和超分辨重构网络训练装置100。
详细地，所述存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述超分辨重构网络训练装置100可以包括，至少一个可以软件或固件(firmware)的形式存储于所述存储器中的软件功能模块。所述处理器用于执行所述存储器中存储的可执行的计算机程序，例如，所述超分辨重构网络训练装置100所包括的软件功能模块及计算机程序等，以实现本申请实施例提供的超分辨重构网络训练方法。
可选地，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
并且，所述处理器可以是一种通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)、片上系统(System on Chip，SoC)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解，图1所示的结构仅为示意，所述电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置，例如，还可以包括用于与其它设备进行信息交互的通信单元。
其中，所述电子设备10在实际应用中，可以是一种服务器。
结合图2，本申请实施例还提供一种超分辨重构网络训练方法，可应用于上述电子设备10。其中，所述超分辨重构网络训练方法有关的流程所定义的方法步骤可以由所述电子设备10实现。下面将对图2所示的具体流程，进行详细阐述。
步骤S110，获取针对第一神经网络模型预先配置的模型训练参数和多张用于进行图像超分辨重构训练的目标图像。
在本实施例中，所述电子设备10可以先获取预先配置的模型训练参数和目标图像，用于对第一神经网络模型进行训练。
其中，所述模型训练参数针对所述第一神经网络模型配置生成，所述目标图像为多张，所述第一神经网络模型可以包括特征提取子模型，且该特征提取子模型包括的多层网络层的卷积核数量，在图像数据传输方向上，基于预设的指数型函数衰减。
步骤S120，通过所述模型训练参数和所述目标图像对所述第一神经网络模型进行训练，得到第二神经网络模型。
在本实施例中，在基于步骤S110获取到所述模型训练参数和所述目标图像之后，可以基于该模型训练参数和该目标图像，对所述第一神经网络模型进行训练，以得到第二神经网络模型。
其中，所述第二神经网络模型可以作为一种超分辨图像重构网络模型，用于对待处理图像进行超分辨重构处理，使得可以基于低分辨率的图像得到高分辨率的图像。
基于上述方法，可以在保证图像的重构质量不降低的基础上，有效地降低神经网络模型的参数量，从而使得基于该神经网络模型对图像进行超分辨重构时数据的计算量降低，进而改善现有的超分辨重构技术中存在的计算量较大的问题，尤其是在工业应用中具有较高的实用价值。
对于步骤S110需要说明的是，获取所述模型训练参数和所述目标图像的具体方式不受限制，可以根据实际应用需求进行选择。
第一方面，所述模型训练参数既可以直接通过响应用户的配置操作生成，也可以从存储设备中获取预先生成并存储的参数。
其中，所述模型训练参数的具体内容不受限制，可以根据实际应用需求进行选择。例如，可以包括，但不限于，基础学习率、批大小参数(batchsize)、轮训次数(epoch)等。
详细地，在一种具体的应用示例中，所述基础学习率可以为0.002，且可以每循坏9次衰减一半，直到2*10-5。所述批大小参数可以为48，使得每次训练可以使用48张目标对象。所述轮训次数可以为60次，使得全部的目标图像可以被使用60次。
第二方面，获取所述目标图像的具体方式可以是，直接在现有的超分辨重构算法公共训练集中获取目标图像，也可以是在从该公共训练集获取之后，进行预处理以得到目标图像。
其中，所述公共训练集可以包括，但不限于BSD400、Set5、Set14、B100、Urban100等。所述预处理的方式可以包括，但不限于图像分割、图像旋转(如90°、180°、270°)等，以扩充训练集。
对于步骤S120需要说明的是，对所述第一神经网络模型进行训练的具体方式不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，可以使用Adam优化学习方法，对所述第一神经网络模型进行训练，以得到可以对待处理图像进行超分辨重构的第二神经网络模型。
进一步地，考虑到基于所述第一神经网络模型的具体构成不同，构建该第一神经网络模型的具体方式也可以不同，因而，所述超分辨重构网络训练方法还可以包括不同的步骤。
基于此，在本实施例中，在所述第一神经网络模型包括特征提取子模型的基础上，该第一神经网络模型还可以包括重构网络子模型。因此，结合图3和图4，构建所述第一神经网络模型的步骤，可以包括步骤S130和步骤S140，具体内容如下所述。
步骤S130，构建特征提取子模型。
在本实施例中，可以基于图像数据传输方向(在对图像数据处理时，图像数据从输入至输出的方向)，先构建特征提取子模型。
其中，所述特征提取子模型可以用于，对输入图像进行特征提取，得到目标特征图像。
步骤S140，构建重构网络子模型，得到包括该重构网络子模型和所述特征提取子模型的第一神经网络模型。
在本实施例中，在基于所述图像数据传输方向先构建所述特征提取子模型之后，还可以再构建重构网络子模型。
其中，所述重构网络子模型可以用于，基于所述目标特征图像和所述输入图像对应的上采样图像进行像素叠加，得到重构图像。
可以理解的是，上述的特征提取子模型和重构网络子模型的构建顺序，也可以是其它顺序，例如，可以是同时对该特征提取子模型和该重构网络子模型进行构建；也可以是先对该重构网络子模型进行构建，再对该特征提取子模型进行构建。
对于步骤S130需要说明的是，构建所述特征提取子模型的具体方式也不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，为了使得基于所述特征提取子模型可以得到多尺度属性的特征图，从而保证图像超分辨重构的质量，结合图5，步骤S130可以包括步骤S131和步骤S133，具体内容如下所述。
步骤S131，构建包括多层第一网络层的第一特征提取子模型。
在本实施例中，可以先(响应用户的操作)构建第一特征提取子模型。
其中，所述第一特征提起子模型可以包括多层第一网络层，且每层第一网络层的卷积核尺寸不同，用于分别对输入图像进行特征提取，并进行拼接得到多尺度的特征图像。
步骤S133，构建包括多层第二网络层的第二特征提取子模型。
在本实施例中，还可以(响应用户的操作)构建第二特征提取子模型。
其中，所述第二特征提取子模型可以包括多层第二网络层，且该第二特征提取子模型用于对所述特征图像进行卷积得到目标特征图像，该多层第二网络层的卷积核数量在图像数据传输方向上，基于预设的指数型函数衰减，使得该第二特征提取子模型的网络参数降低。
也就是说，在上述的示例中，在获取到目标图像之后，可以先输入至第一特征提取子模型进行处理，并输出多尺度的特征图像，然后，再将该多尺度的特征图像输入至所述第二特征提取子模型进行处理，并输出目标特征图像至所述重构网络子模型。
可选地，基于步骤S131得到的第一特征提取子模型的具体构成不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，在所述第一特征提取子模型宝库的多层第一网络层中，卷积核的数量可以基于卷积核的尺寸的增加而增加，或减少而减少。详细地，在一种具体的应用示例中，所述第一特征提取子模型可以包括3层第一网络层。
其中，第一个第一网络层包括的卷积核的寸尺可以为7*7、数量可以为32；第二个第一网络层包括的卷积核的寸尺可以为5*5、数量可以为20；第三个第一网络层包括的卷积核的寸尺可以为3*3、数量可以为12。
基于此，可以将同一目标图像分别输入至第一个第一网络层、第二个第一网络层和第三个第一网络层，从而得到三张图像。然后，将得到的三张图像进行拼接，可以得到一张多尺度的特征图像。
可选地，执行步骤S133以构建所述第二特征提取子模型的具体方式也不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，结合图6，步骤S133可以包括步骤S133a、步骤S133b和步骤S133d，具体内容如下所述。
步骤S133a，确定需要构建的多层第二网络层的总层数、第一个第二网络层的第一卷积核数量、最后一个第二网络层的第二卷积核数量、卷积核衰减率。
在本实施例中，可以先(响应用户的操作)确定需要构建的第二特征提取子模型包括的多层第二网络层的网络参数。
其中，所述网络参数可以包括，所述第二网络层的总层数、第一个第二网络层的卷积核数量、最后一个第二网络层的卷积核数量、从第一个第二网络层到最后一个第二网络层的卷积核衰减率。
步骤S133b，基于预设的指数型函数、所述总层数、所述第一卷积核数量、所述第二卷积核数量和所述卷积核衰减率，得到每一层第二网络层的卷积核数量。
在本实施例中，在基于步骤S133a得到所述总层数、所述第一卷积核数量、所述第二卷积核数量和所述卷积核衰减率之后，可以结合预设的指数型函数，分别计算每一层第二网络层(第一个第二网络层和最后一个第二网络层)的卷积核数量。
步骤S133c，基于每一层第二网络层的卷积核数量构建第二特征提取子模型。
在本实施例中，在基于步骤S133b得到每一层第二网络层的卷积核数量之后，可以基于该卷积核数量构建第二特征提取子模型，以得到多层第二网络层。
可选地，在步骤S133b中，所述指数型函数的具体内容也不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，所述指数型函数可以包括：
Figure BDA0002467215690000111
Noutput＝(Nfilter-Nmin-filter)*Ldecay+Nmin-filter；
其中，Noutput为当前层的卷积核数量，Nfilter为所述第一卷积核数量，Nmin_filter为所述第二卷积核数量，Llayer为所述总层数，Linput为所述总层数与当前层的层数之差，decay_rate为所述卷积核衰减率。
可选地，所述第二特征提起子模型在包括上述的多层第二网络层的基础上，还可以将基于该多层第二网络层形成多个网络组。
详细地，每个所述网络组可以包括数量相同的第二网络层。其中，在相邻的两个所述网络组中，在前的一个网络组用于将输入至该网络组中的第一个第二网络层的特征图和该网络组中的最后一个第二网络层输出的特征图进行拼接，并将拼接得到的特征图输入至在后的一个网络组。
也就是说，在所述多层第二网络层中，每间隔预设数量层第二网络层，可以设置一个连接函数(Concatenate函数)，用于对特征图进行拼接。
例如，在一种具体的应用示例中，所述第二网络层可以为9个，所述网络组可以为3个，每个网络组可以包括3个第二网络层和1个连接函数。
基于此，第一个网络组中的连接函数可以将所述第一特征提取子模块输出的多尺度的特征图像和该第一个网络组中的第三个第二网络层输出的特征图像进行拼接，得到第一特征图像，并将该第一特征图像输出至第二个网络组。
第二个网络组中的连接函数可以将所述第一特征图像和该第二个网络组中的第三个第二网络层输出的特征图像进行拼接，得到第二特征图像，并将该第二特征图像输出至第三个网络组。
第三个网络组中的连接函数可以将所述第二特征图像和该第三个网络组中的第三个第二网络层输出的特征图像进行拼接，得到目标特征图像，并将该目标特征图像输出至所述重构网络子模型。
可以理解的是，在所述多层第二网络层中，每层第二网络层包括的卷积核的尺寸不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，每层所述第二网络层包括的卷积核的尺寸可以不同。又例如，在另一种可以替代的示例中，每层所述第二网络层包括的卷积核的尺寸可以相同。
其中，在每层所述第二网络层包括的卷积核的尺寸相同的基础上，在一种具体的应用示例中，每层所述第二网络层包括的多个卷积核的尺寸可以为3*3。
并且，在所述第一特征提取子模型和所述第二特征提取子模型在包括用于进行卷积操作的卷积核的基础上，每一层网络层(第一网络层和第二网络层)包括的卷积核的类型不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，为了在保证具有较小计算量的基础上，可以增大卷积核的感受野，获取更多的信息，每一层网络层(第一网络层和第二网络层)包括的卷积核可以为扩张卷积。
其中，不同层的网络层包括的卷积核的扩张率也不受限制。
例如，在一种可以替代的示例中，所述第一特征提取子模型包括的3层第一网络层的卷积核的扩张率可以都为1。在所述第二特征提取子模型包括的9层第二网络层中，每个所述网络组的第一个第二网络层的卷积核的扩张率可以都为1，每个所述网络组的第二个第二网络层的卷积核的扩张率可以都为2，每个所述网络组的第三个第二网络层的卷积核的扩张率可以都为5。
在上述示例中，在所述第一特征提取子模型和所述第二特征提取子模型在包括用于进行卷积操作的卷积核的基础上，每一层网络层(第一网络层和第二网络层)还可以包括激活函数(PReLU)，用于进行激活操作。
对于步骤S140需要说明的是，所述重构网络子模型的具体构成不受限制，可以根据实际应用需求进行选择，只要能够进行像素叠加处理即可。
例如，在一种可以替代的示例中，所述重构网络子模型可以包括反卷积网络层和卷积网络层。该反卷积网络层用于对所述特征提取子模型输出的目标特征图像进行反卷积操作和激活操作之后，将得到的反卷积图像输出至该卷积网络层，该卷积网络层对该反卷积图像进行卷积操作之后，将得到的卷积图像输出至一图像融合函数，该图像融合函数可以将该卷积图像与输入至所述特征提取子模型的输入图像进行像素叠加处理，从而得到分辨率增强的重构图像。
其中，在一种具体的应用示例中，所述反卷积网络层可以包括48个卷积核，且每个卷积核的尺寸可以为3*3、扩张率可以为1。所述卷积网络层可以包括1个卷积核，且该卷积核的尺寸可以为3*3、扩张率可以为1。
基于上述的示例，可以使得所述第二神经网络模型的FLOPS(每秒浮点运算次数)为38.7G、参数量为168K，相较于现有的超分辨神经网络模型(如下表所示)，具有显著的计算量小的优势。
Figure BDA0002467215690000131
Figure BDA0002467215690000141
结合图7，本申请实施例还提供一种超分辨重构网络训练装置100，可应用于上述电子设备10。其中，所述超分辨重构网络训练装置100可以包括数据获取模块110和模型训练模块120。
所述数据获取模块110，用于获取针对所述第一神经网络模型预先配置的模型训练参数和多张用于进行图像超分辨重构训练的目标图像，其中，该第一神经网络模型包括特征提取子模型，且该特征提取子模型包括的多层网络层的卷积核数量，在图像数据传输方向上，基于预设的指数型函数衰减。在本实施例中，所述数据获取模块110可用于执行图2所示的步骤S110，关于所述数据获取模块110的相关内容可以参照前文对步骤S110的描述。
所述模型训练模块120，用于通过所述模型训练参数和所述目标图像对所述第一神经网络模型进行训练，得到第二神经网络模型，其中，该第二神经网络模型用于对待处理图像进行超分辨重构处理。在本实施例中，所述模型训练模块120可用于执行图2所示的步骤S120，关于所述模型训练模块120的相关内容可以参照前文对步骤S120的描述。
在本申请实施例中，对应于上述的超分辨重构网络训练方法，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序运行时执行上述超分辨重构网络训练方法的各个步骤。
其中，前述计算机程序运行时执行的各步骤，在此不再一一赘述，可参考前文对所述超分辨重构网络训练方法的解释说明。
需要说明的是，在上述示例的描述中，“多”是指二及其以上，例如，“多个”是指二个及其以上，“多张”是指二张及其以上，“多层”是指二层及其以上。
综上所述，本申请提供的超分辨重构网络训练方法和装置、电子设备及存储介质，通过采用第一神经网络模型训练得到用于对待处理图像进行超分辨重构处理的第二神经网络模型，且该第一神经网络模型中的特征提取子模型包括的多层网络层的卷积核数量，在图像数据传输方向上基于预设的指数型函数衰减。如此，可以在保证图像的重构质量不降低的基础上，有效地降低神经网络模型的参数量，从而使得基于该神经网络模型对图像进行超分辨重构时数据的计算量降低，进而改善现有的超分辨重构技术中存在的计算量较大的问题，尤其是在工业应用中具有较高的实用价值。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种超分辨重构网络训练方法，其特征在于，包括：
获取针对第一神经网络模型预先配置的模型训练参数和多张用于进行图像超分辨重构训练的目标图像，其中，该第一神经网络模型包括特征提取子模型，且该特征提取子模型包括的多层网络层的卷积核数量，在图像数据传输方向上，基于预设的指数型函数衰减；
通过所述模型训练参数和所述目标图像对所述第一神经网络模型进行训练，得到第二神经网络模型，其中，该第二神经网络模型用于对待处理图像进行超分辨重构处理。
2.根据权利要求1所述的超分辨重构网络训练方法，其特征在于，还包括构建所述第一神经网络模型的步骤，该步骤包括：
构建特征提取子模型，其中，该特征提取子模型用于对输入图像进行特征提取，得到目标特征图像；
构建重构网络子模型，得到包括该重构网络子模型和所述特征提取子模型的第一神经网络模型，其中，该重构网络子模型用于，基于所述目标特征图像和所述输入图像对应的上采样图像进行像素叠加，得到重构图像。
3.根据权利要求2所述的超分辨重构网络训练方法，其特征在于，所述构建特征提取子模型的步骤，包括：
构建包括多层第一网络层的第一特征提取子模型，其中，每层第一网络层的卷积核尺寸不同，用于分别对输入图像进行特征提取，并进行拼接得到多尺度的特征图像；
构建包括多层第二网络层的第二特征提取子模型，其中，该第二特征提取子模型用于对所述特征图像进行卷积得到目标特征图像，该多层第二网络层的卷积核数量在图像数据传输方向上，基于预设的指数型函数衰减。
4.根据权利要求3所述的超分辨重构网络训练方法，其特征在于，所述构建包括多层第二网络层的第二特征提取子模型的步骤，包括：
确定需要构建的多层第二网络层的总层数、第一个第二网络层的第一卷积核数量、最后一个第二网络层的第二卷积核数量、卷积核衰减率；
基于预设的指数型函数、所述总层数、所述第一卷积核数量、所述第二卷积核数量和所述卷积核衰减率，得到每一层第二网络层的卷积核数量；
基于每一层第二网络层的卷积核数量构建第二特征提取子模型。
5.根据权利要求4所述的超分辨重构网络训练方法，其特征在于，所述指数型函数包括：
Figure FDA0002467215680000021
Noutput＝(Nfilter-Nmin_filter)*Ldecay+Nmin_filter；
其中，Noutput为当前层的卷积核数量，Nfilter为所述第一卷积核数量，Nmin_filter为所述第二卷积核数量，Llayer为所述总层数，Linput为所述总层数与当前层的层数之差，decay_rate为所述卷积核衰减率。
6.根据权利要求3所述的超分辨重构网络训练方法，其特征在于，所述多层第二网络层构成多个网络组，且每个网络组包括数量相同的第二网络层；
其中，在相邻的两个所述网络组中，在前的一个网络组用于将输入至该网络组中的第一个第二网络层的特征图和该网络组中的最后一个第二网络层输出的特征图进行拼接，并将拼接得到的特征图输入至在后的一个网络组。
7.根据权利要求3-6任意一项所述的超分辨重构网络训练方法，其特征在于，在所述多层第一网络层中，卷积核的数量基于卷积核的尺寸的增加而增加。
8.一种超分辨重构网络训练装置，其特征在于，包括：
数据获取模块，用于获取针对所述第一神经网络模型预先配置的模型训练参数和多张用于进行图像超分辨重构训练的目标图像，其中，该第一神经网络模型包括特征提取子模型，且该特征提取子模型包括的多层网络层的卷积核数量，在图像数据传输方向上，基于预设的指数型函数衰减；
模型训练模块，用于通过所述模型训练参数和所述目标图像对所述第一神经网络模型进行训练，得到第二神经网络模型，其中，该第二神经网络模型用于对待处理图像进行超分辨重构处理。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
与所述存储器连接的处理器，用于执行所述计算机程序，以实现权利要求1-7任意一项所述的超分辨重构网络训练方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被执行时，实现权利要求1-7任意一项所述的超分辨重构网络训练方法。
CN202010337828.1A 2020-04-26 2020-04-26 超分辨重构网络训练方法和装置、电子设备及存储介质 Active CN111524072B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010337828.1A CN111524072B (zh) 2020-04-26 2020-04-26 超分辨重构网络训练方法和装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010337828.1A CN111524072B (zh) 2020-04-26 2020-04-26 超分辨重构网络训练方法和装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111524072A true CN111524072A (zh) 2020-08-11
CN111524072B CN111524072B (zh) 2022-08-26

Family

ID=71904613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010337828.1A Active CN111524072B (zh) 2020-04-26 2020-04-26 超分辨重构网络训练方法和装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111524072B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117408925A (zh) * 2023-11-02 2024-01-16 沐曦科技(成都)有限公司 一种基于神经网络模型的图像增强方法
CN117408925B (zh) * 2023-11-02 2024-05-31 沐曦科技(成都)有限公司 一种基于神经网络模型的图像增强方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537733A (zh) * 2018-04-11 2018-09-14 南京邮电大学 基于多路径深度卷积神经网络的超分辨率重建方法
CN108596833A (zh) * 2018-04-26 2018-09-28 广东工业大学 超分辨率图像重构方法、装置、设备及可读存储介质
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN109741256A (zh) * 2018-12-13 2019-05-10 西安电子科技大学 基于稀疏表示和深度学习的图像超分辨率重建方法
CN110569971A (zh) * 2019-09-09 2019-12-13 吉林大学 一种基于LeakyRelu激活函数的卷积神经网络单目标识别方法
CN110825900A (zh) * 2019-11-07 2020-02-21 重庆紫光华山智安科技有限公司 特征重构层的训练方法、图像特征的重构方法及相关装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537733A (zh) * 2018-04-11 2018-09-14 南京邮电大学 基于多路径深度卷积神经网络的超分辨率重建方法
CN108596833A (zh) * 2018-04-26 2018-09-28 广东工业大学 超分辨率图像重构方法、装置、设备及可读存储介质
CN109741256A (zh) * 2018-12-13 2019-05-10 西安电子科技大学 基于稀疏表示和深度学习的图像超分辨率重建方法
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN110569971A (zh) * 2019-09-09 2019-12-13 吉林大学 一种基于LeakyRelu激活函数的卷积神经网络单目标识别方法
CN110825900A (zh) * 2019-11-07 2020-02-21 重庆紫光华山智安科技有限公司 特征重构层的训练方法、图像特征的重构方法及相关装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANYONG QIN .ETC: "Spectral–Spatial Graph Convolutional Networks for Semisupervised Hyperspectral Image Classification", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *
ZHENYU YUAN .ETC: "An enhanced fault-detection method based on adaptive spectral decomposition and super-resolution deep learning", 《INTERPRETATION》 *
孙毅堂等: "基于极深卷积神经网络的人脸超分辨率重建算法", 《计算机应用》 *
葛程等: "基于卷积神经网络的图像分类研究", 《软件导刊》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117408925A (zh) * 2023-11-02 2024-01-16 沐曦科技(成都)有限公司 一种基于神经网络模型的图像增强方法
CN117408925B (zh) * 2023-11-02 2024-05-31 沐曦科技(成都)有限公司 一种基于神经网络模型的图像增强方法

Also Published As

Publication number Publication date
CN111524072B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN108475415B (zh) 用于图像处理的方法和系统
WO2016019484A1 (en) An apparatus and a method for providing super-resolution of a low-resolution image
Zhang et al. Gated fusion network for degraded image super resolution
CN111476719A (zh) 图像处理方法、装置、计算机设备及存储介质
TWI770432B (zh) 圖像復原方法、電子設備、儲存介質
Couturier et al. Image denoising using a deep encoder-decoder network with skip connections
CN110782397B (zh) 一种图像处理方法、生成式对抗网络、电子设备及存储介质
CN110782424B (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
CN112700460B (zh) 图像分割方法及系统
Gong et al. Combining sparse representation and local rank constraint for single image super resolution
CN114170167B (zh) 基于注意力引导上下文校正的息肉分割方法和计算机设备
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN114004760A (zh) 图像去雾方法、电子设备、存储介质和计算机程序产品
CN111091604B (zh) 快速成像模型的训练方法、装置及服务器
CN115761258A (zh) 一种基于多尺度融合与注意力机制的图像方向预测方法
CN110782398B (zh) 图像处理方法、生成式对抗网络系统和电子设备
CN113158970B (zh) 一种基于快慢双流图卷积神经网络的动作识别方法与系统
CN112053287B (zh) 图像超分辨率方法、装置及设备
CN111428809B (zh) 基于空间信息融合与卷积神经网络的人群计数方法
CN111967478B (zh) 一种基于权重翻转的特征图重构方法、系统、存储介质及终端
CN111524072B (zh) 超分辨重构网络训练方法和装置、电子设备及存储介质
CN113496472A (zh) 图像去雾模型构建、道路图像去雾方法、装置及车辆
CN114782300B (zh) 产品图像重构方法、产品重构模型训练方法、装置
Nie et al. A dual residual network with channel attention for image restoration
CN115423697A (zh) 图像修复方法、终端及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant