CN116402682B - 基于差分值密集残差超分辨率的图像重建方法、系统 - Google Patents

基于差分值密集残差超分辨率的图像重建方法、系统 Download PDF

Info

Publication number
CN116402682B
CN116402682B CN202310326660.8A CN202310326660A CN116402682B CN 116402682 B CN116402682 B CN 116402682B CN 202310326660 A CN202310326660 A CN 202310326660A CN 116402682 B CN116402682 B CN 116402682B
Authority
CN
China
Prior art keywords
differential value
residual
network structure
intensive residual
output result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310326660.8A
Other languages
English (en)
Other versions
CN116402682A (zh
Inventor
伊华伟
曲航
石艳兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning University of Technology
Original Assignee
Liaoning University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning University of Technology filed Critical Liaoning University of Technology
Priority to CN202310326660.8A priority Critical patent/CN116402682B/zh
Publication of CN116402682A publication Critical patent/CN116402682A/zh
Application granted granted Critical
Publication of CN116402682B publication Critical patent/CN116402682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于差分值密集残差超分辨率的图像重建方法，首先使预训练的DVDB生成网络中的浅层特征提取模块对输入的低分辨率图像进行特征提取以获取浅层特征，再将浅层特征输入至DVDB生成网络中的差分值密集残差块集合中，以使差分值密集残差块集合通过逐层抽样的方式提取低分辨率图像的差分值密集残差结果，再通过DVDB生成网络中的图像重建模块基于差分值密集残差结果进行图像重建以生成高分辨率图像，从而采用查分值密集残差的方式进行高分辨率重建，提高网络相邻层之间的利用率，提高图像重建质量。

Description

基于差分值密集残差超分辨率的图像重建方法、系统
技术领域
本发明涉及深度学习技术领域，更为具体地，涉及一种基于差分值密集残差超分辨率的图像重建方法、系统、电子设备。
背景技术
图像的超分辨率(super resolution,SR)重建是一种通过单张或多张低分辨率图像获得高分辨率图像的技术。在实际生活中，受到数字成像设备和硬件存储容量等因素的限制，获取到的图像分辨率也不能满足人们需求，特别是一些特定领域如：监测、遥感、军事、医学等方面。而采用图像超分辨率重建技术对低分辨率图像进行恢复和重建，可以有效改善图像的细节，提升图像的质量。
图像重建方法大致可以分为三类，分别是基于插值、基于重建和基于学习。随着时代的发展,基于插值和基于重建这两种技术存在重建图像模糊，算力不足和细节丢失严重等缺点。近年来深度学习的发展使基于学习的重建图像技术逐步成为研究热点，而基于插值和基于重建的技术通常被用来对图像进行预处理。
然而，现有的大多数网络忽略了相邻层的特征相关性，以及一些低频信息的利用率，导致不同层次的特征没有得到充分的利用。
因此，亟需一种增强相邻层的特征相关性，提高网络邻层之间的利用率，提高图像感知质量的基于差分值密集残差超分辨率的图像重建方法、系统、电子设备。
发明内容
鉴于上述问题，本发明的目的是提供一种基于差分值密集残差超分辨率的图像重建方法，以解决现有的大多数网络忽略了相邻层的特征相关性，以及一些低频信息的利用率，导致不同层次的特征没有得到充分的利用的问题。
本发明提供的一种基于差分值密集残差超分辨率的图像重建方法，其中，包括：
通过预训练的差分值密集残差生成网络中的浅层特征提取模块对输入的低分辨率图像进行特征提取以获取浅层特征；
将所述浅层特征输入至所述差分值密集残差生成网络中的差分值密集残差块集合中，以使所述差分值密集残差块集合通过逐层抽样的方式提取所述低分辨率图像的差分值密集残差结果；其中，所述差分值密集残差块集合包括预设数量个差分值密集残差块，提取所述低分辨率图像的差分值密集残差结果的过程，包括：获取第一个差分值密集残差块的输出结果，将前一个差分值密集残差块的输出结果作为下一个差分值密集残差块的输入数据，直至获取最后一个差分值密集残差块的输出结果，并将最后一个差分值密集残差块的输出结果作为差分值密集残差结果；
通过所述差分值密集残差生成网络中的图像重建模块，基于所述差分值密集残差结果进行图像重建以生成高分辨率图像。
优选地，每个差分值密集残差块包括三个差分值密集残差网络结构，获取所述差分值密集残差块的输出结果的过程，包括：
获取第一个差分值密集残差网络结构的网络结构输出结果，将第一个差分值密集残差网络结构的网络结构输出结果作为第二个差分值密集残差网络结构的输入数据，将第二个差分值密集残差网络结构的网络结构输出结果作为第三个差分值密集残差网络结构的输入数据，将第三个差分值密集残差网络结构的输出结果作为整个差分值密集残差块的差分值密集残差块输出结果。
优选地，每个差分值密集残差网络结构包括相互串联的差分值密集残差组、数据汇总单元、卷积层单元和激活函数单元，每个差分值密集残差组包括反卷积层、卷积层和激活函数。
优选地，获取所述网络结构输出结果的过程，包括：
通过所述差分值密集残差组中的反卷积层对所述反卷积输入数据进行放大以获取高频信息；其中，所述差分值密集残差网络结构中第一个差分值密集残差组的反卷积输入数据为初始dvdb输入数据；所述第一个差分值密集残差网络结构的dvdb初始输入数据为所述浅层特征与上一个差分值密集残差组的dvdb输出结果的和；所述第二个差分值密集残差网络结构的dvdb初始输入数据为所述第一个差分值密集残差网络结构的网络结构输出结果与上一个差分值密集残差组的dvdb输出结果的和；所述第三个差分值密集残差网络结构的dvdb初始输入数据为所述第二个差分值密集残差网络结构的网络结构输出结果与上一个差分值密集残差组的dvdb输出结果的和；各个差分值密集残差网络结构的第一个差分值密集残差组的上一个差分值密集残差组的dvdb输出结果为0；
将所述高频信息输入至所述卷积层中以获取卷积层输出数据，且所述卷积层输出数据的尺寸与所述反卷积输入数据的尺寸相同；
将所述输出数据输入至所述激活函数中以获取当下差分值密集残差组的dvdb输出结果；同时，通过所述数据汇总单元对所述初始dvdb输入数据和所有的dvdb输出结果进行融合以获取融合汇总数据；对各个差分值密集残差组的所述反卷积输入数据和所述卷积层输出数据进行做差处理以获取差值，通过所述卷积层单元汇总各个差分值密集残差组的差值以对所有差分值密集残差组的差值进行求和处理获取和值，并将所述和值输入至所述激活函数单元中以获取和值结果；
基于所述和值结果和预设的输入数据权重对所述融合汇总数据和所述初始dvdb输入数据进行加权处理以获取网络结构输出结果。
优选地，基于所述差分值密集残差结果进行图像重建以生成高分辨率图像的过程，包括：
汇总各个特征维度的差分值密集残差结果以形成差分值密集残差数据集合；
对所述差分值密集残差数据集合进行上采样以获取采样结果；
将所述采样结果进行卷积处理以生成所需尺寸的高分辨率图像。
优选地，训练差分值密集残差生成网络的过程，包括：
建立相对判别网络，将所述相对判别网络作为相对判别器，将预设的DVDB网络作为与所述相对判别器相关联的生成器；
基于二分类原则分别对判别器和所述生成器进行往复循环训练，直至基于所述判别器和所述生成器建立的联合损失函数达到预设编准，则停止训练，并将最后一次训练生成的生成器作为差分值密集残差生成网络。
优选地，在进行往复循环训练的过程中，单次训练的过程，包括：
固定所述生成器的参数不变，将预采集的样本数据输入至所述生成器中，以使所述生成器生成重建数据；将所述训练数据和所述重建数据输入至所述判别器中训练所述判别器以变更所述判别器的参数提高所述判别器的判别精度形成新的判别器；
固定所述新的判别器的参数不变，将采集的训练数据输入至所述生成器中以生成结果数据，通过判别器对所述结果数据和预先获取的假数据进行判别处理形成判别数据，并使所述生成器根据所述判别数据调整所述生成器的参数以提高所述生成器的重建精度。
本发明还提供一种基于差分值密集残差超分辨率的图像重建系统，实现如前所述的基于差分值密集残差超分辨率的图像重建方法，包括差分值密集残差生成网络；其中，所述差分值密集残差生成网络包括：
浅层特征提取模块，用于对输入的低分辨率图像进行特征提取以获取浅层特征；
差分值密集残差块集合，用于接收所述浅层特征，并通过逐层抽样的方式基于所述浅层特征提取所述低分辨率图像的差分值密集残差结果；其中，所述差分值密集残差块集合包括预设数量个差分值密集残差块，提取所述低分辨率图像的差分值密集残差结果的过程，包括：获取第一个差分值密集残差块的输出结果，将前一个差分值密集残差块的输出结果作为下一个差分值密集残差块的输入数据，直至获取最后一个差分值密集残差块的输出结果，并将最后一个差分值密集残差块的输出结果作为差分值密集残差结果；
图像重建模块，用于基于所述差分值密集残差结果进行图像重建以生成高分辨率图像。
优选地，每个差分值密集残差块包括三个差分值密集残差网络结构，所述差分值密集残差块集合获取所述差分值密集残差块的输出结果时：获取第一个差分值密集残差网络结构的网络结构输出结果，将第一个差分值密集残差网络结构的网络结构输出结果作为第二个差分值密集残差网络结构的输入数据，将第二个差分值密集残差网络结构的网络结构输出结果作为第三个差分值密集残差网络结构的输入数据，将第三个差分值密集残差网络结构的输出结果作为整个差分值密集残差块的差分值密集残差块输出结果；
每个差分值密集残差网络结构包括相互串联的差分值密集残差组、数据汇总单元、卷积层单元和激活函数单元，每个差分值密集残差组包括反卷积层、卷积层和激活函数；
获取所述网络结构输出结果的过程，包括：通过所述差分值密集残差组中的反卷积层对所述反卷积输入数据进行放大以获取高频信息；其中，所述差分值密集残差网络结构中第一个差分值密集残差组的反卷积输入数据为初始dvdb输入数据；所述第一个差分值密集残差网络结构的dvdb初始输入数据为所述浅层特征与上一个差分值密集残差组的dvdb输出结果的和；所述第二个差分值密集残差网络结构的dvdb初始输入数据为所述第一个差分值密集残差网络结构的网络结构输出结果与上一个差分值密集残差组的dvdb输出结果的和；所述第三个差分值密集残差网络结构的dvdb初始输入数据为所述第二个差分值密集残差网络结构的网络结构输出结果与上一个差分值密集残差组的dvdb输出结果的和；各个差分值密集残差网络结构的第一个差分值密集残差组的上一个差分值密集残差组的dvdb输出结果为0；
将所述高频信息输入至所述卷积层中以获取卷积层输出数据，且所述卷积层输出数据的尺寸与所述反卷积输入数据的尺寸相同；
将所述输出数据输入至所述激活函数中以获取当下差分值密集残差组的dvdb输出结果；同时，通过所述数据汇总单元对所述初始dvdb输入数据和所有的dvdb输出结果进行融合以获取融合汇总数据；对各个差分值密集残差组的所述反卷积输入数据和所述卷积层输出数据进行做差处理以获取差值，通过所述卷积层单元汇总各个差分值密集残差组的差值以对所有差分值密集残差组的差值进行求和处理获取和值，并将所述和值输入至所述激活函数单元中以获取和值结果；
基于所述和值结果和预设的输入数据权重对所述融合汇总数据和所述初始dvdb输入数据进行加权处理以获取网络结构输出结果。
本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的基于差分值密集残差超分辨率的图像重建方法中的步骤。
从上面的技术方案可知，本发明提供的基于差分值密集残差超分辨率的图像重建方法，首先通过预训练的差分值密集残差生成网络中的浅层特征提取模块对输入的低分辨率图像进行特征提取以获取浅层特征，再将浅层特征输入至差分值密集残差生成网络中的差分值密集残差块集合中，以使差分值密集残差块集合通过逐层抽样的方式提取低分辨率图像的差分值密集残差结果；其中，差分值密集残差块集合包括预设数量个差分值密集残差块，提取低分辨率图像的差分值密集残差结果的过程，包括：获取第一个差分值密集残差块的输出结果，将前一个差分值密集残差块的输出结果作为下一个差分值密集残差块的输入数据，直至获取最后一个差分值密集残差块的输出结果，并将最后一个差分值密集残差块的输出结果作为差分值密集残差结果，再通过差分值密集残差生成网络中的图像重建模块基于差分值密集残差结果进行图像重建以生成高分辨率图像，从而采用查分值密集残差的方式进行高分辨率重建，提高网络相邻层之间的利用率，提高图像重建质量。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的基于差分值密集残差超分辨率的图像重建方法的流程图；
图2为根据本发明实施例的基于差分值密集残差超分辨率的图像重建方法的差分值密集残差生成网络示意图；
图3为根据本发明实施例的基于差分值密集残差超分辨率的图像重建方法的差分值密集残差网络结构示意图；
图4为根据本发明实施例的基于差分值密集残差超分辨率的图像重建系统的示意图；
图5为根据本发明实施例的电子设备的示意图。
具体实施方式
现有的高分辨率重建网络大多数都忽略了相邻层的特征相关性，以及一些低频信息的利用率，导致不同层次的特征没有得到充分的利用。
针对上述问题，本发明提供一种基于差分值密集残差超分辨率的图像重建方法、系统、电子设备，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的基于差分值密集残差超分辨率的图像重建方法、系统、电子设备，图1、图2、图3、图4、图5对本发明实施例的进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。注：差分值密集残差(Differential Value DenseResidual Blocks，DVDB/dvdb)。在本发明实施例中dvdb、DVDB均可作为差分值密集残差的指代。
如图1所示，本发明提供的本发明实施例的基于差分值密集残差超分辨率的图像重建方法，包括：
S1：通过预训练的差分值密集残差生成网络(DVDB生成网络)中的浅层特征提取模块对输入的低分辨率图像进行特征提取以获取浅层特征；
S2：将所述浅层特征输入至所述差分值密集残差生成网络中的差分值密集残差块集合中，以使所述差分值密集残差块集合通过逐层抽样的方式提取所述低分辨率图像的差分值密集残差结果；其中，所述差分值密集残差块集合包括预设数量个差分值密集残差块，提取所述低分辨率图像的差分值密集残差结果的过程，包括：获取第一个差分值密集残差块的输出结果，将前一个差分值密集残差块的输出结果作为下一个差分值密集残差块的输入数据，直至获取最后一个差分值密集残差块的输出结果，并将最后一个差分值密集残差块的输出结果作为差分值密集残差结果
S3：通过所述差分值密集残差生成网络中的图像重建模块，基于所述差分值密集残差结果进行图像重建以生成高分辨率图像。
在图1所示的实施例中，步骤S1为通过预训练的差分值密集残差生成网络中的浅层特征提取模块对输入的低分辨率图像进行特征提取以获取浅层特征的过程，如图2所示，第一个Conv表示浅层特征提取模块，即该浅层特征提取模块由一个卷积层组成，Conv表示卷积层。首先将低分辨率图像ILR输入，然后通过浅层特征提取块获得ILR图像的浅层特征，具体如下面公式(1)所示：
Fin＝fT(ILR) (1)
其中fT(·)表示浅层特征提取模块进行浅层特征提取的操作，Fin表示ILR图像的浅层特征。
在图1、图2共同所示的实施例中，步骤S2为将所述浅层特征输入至所述差分值密集残差生成网络中的差分值密集残差块集合中，以使所述差分值密集残差块集合通过逐层抽样的方式提取所述低分辨率图像的差分值密集残差结果的过程；其中，所述差分值密集残差块集合包括预设数量个差分值密集残差块，提取所述低分辨率图像的差分值密集残差结果的过程，包括：获取第一个差分值密集残差块的输出结果，将前一个差分值密集残差块的输出结果作为下一个差分值密集残差块的输入数据，直至获取最后一个差分值密集残差块的输出结果，并将最后一个差分值密集残差块的输出结果作为差分值密集残差结果。
每个差分值密集残差块包括三个差分值密集残差网络结构，获取所述差分值密集残差块的输出结果的过程，包括：
获取第一个差分值密集残差网络结构的网络结构输出结果，将第一个差分值密集残差网络结构的网络结构输出结果作为第二个差分值密集残差网络结构的输入数据，将第二个差分值密集残差网络结构的网络结构输出结果作为第三个差分值密集残差网络结构的输入数据，将第三个差分值密集残差网络结构的输出结果作为整个差分值密集残差块的差分值密集残差块输出结果。
如图3所示，每个差分值密集残差网络结构包括相互串联的差分值密集残差组、数据汇总单元、卷积层单元和激活函数单元，每个差分值密集残差组包括反卷积层(图3中Deconv、Conv、LRelu组合中的Deconv)、卷积层(图3中Deconv、Conv、LRelu组合中的Conv)和激活函数(图3中Deconv、Conv、LRelu组合中的LRelu)。
获取所述网络结构输出结果的过程，包括：
通过所述差分值密集残差组中的反卷积层对所述反卷积输入数据进行放大以获取高频信息；其中，所述差分值密集残差网络结构中第一个差分值密集残差组的反卷积输入数据为初始dvdb输入数据；所述第一个差分值密集残差网络结构的dvdb初始输入数据为所述浅层特征与上一个差分值密集残差组的dvdb输出结果的和；所述第二个差分值密集残差网络结构的dvdb初始输入数据为所述第一个差分值密集残差网络结构的网络结构输出结果与上一个差分值密集残差组的dvdb输出结果的和；所述第三个差分值密集残差网络结构的dvdb初始输入数据为所述第二个差分值密集残差网络结构的网络结构输出结果与上一个差分值密集残差组的dvdb输出结果的和；各个差分值密集残差网络结构的第一个差分值密集残差组的上一个差分值密集残差组的dvdb输出结果为0；也就是说，第一个差分值密集残差网络结构的初始dvdb输入数据为浅层特征+0，即还为浅层特征，第二个差分值密集残差网络结构的初始dvdb输入数据为第一个网络结构的网络结构输出接果，第三个差分值密集残差网络结构的初始dcdb输入数据为第二个网络结构的网络结构输出结果；
将所述高频信息输入至所述卷积层中以获取卷积层输出数据，且所述卷积层输出数据的尺寸与所述反卷积输入数据的尺寸相同；
将所述输出数据输入至所述激活函数中以获取当下差分值密集残差组的dvdb输出结果；同时，通过所述数据汇总单元对所述初始dvdb输入数据和所有的dvdb输出结果进行融合以获取融合汇总数据；对各个差分值密集残差组的所述反卷积输入数据和所述卷积层输出数据进行做差处理以获取差值，通过所述卷积层单元汇总各个差分值密集残差组的差值以对所有差分值密集残差组的差值进行求和处理获取和值，并将所述和值输入至所述激活函数单元中以获取和值结果；
基于所述和值结果和预设的输入数据权重对所述融合汇总数据和所述初始dvdb输入数据进行加权处理以获取网络结构输出结果。
具体的，卷积神经网络通过逐层抽样的方式提取图像的特征，若卷积层输出特征上的像素点在输入上所映射的区域太小，也就是感受野太小，则只能关注于局部特征，若感受野太大，则包含过多无用信息。为更有效的利用每一层的特征，加强每一层之间的特征传递，在本实施例中在卷积网络中引入差分值密集残差技术，设计差分值密集残差块集合，即差分值密集残差生成网络包括多个差分值密集残差块组成，每个差分值密集残差块包含三个差分值密集残差网络结构。
如图3所示的差分值密集残差网络结构，在三个并列的组合中Deconv表示反卷积层，Conv表示卷积层，LRelu表示激活函数(修正线性单元激活函数)。首先，利用密集残差技术使每个反卷积层的输入是前一个反卷积层的输入和对应的卷积层的输出的拼接，这种结构的引入使得每一层都能直接利用损失函数的梯度信息和输入信息，从而在一定程度上缓解了梯度消失现象，有助于训练更深的网络。其次，为了防止在特征提取时只关注局部特征，引入差分值结构。根据差分值进行特征提取，并对提取的特征赋予相应的权重，从而增强了信息的提取能力，提高了网络性能和准确率。
以第一个网络结构的第一个差分值密集残差组为例，在差分值密集残差网络结构中，上一层的浅层特征提取块输出Fin首先被送到差分值密集残差组的Deconv(反卷积层)中，然后Deconv对输入特征进行放大，从而获得更多高频信息。接下来，反卷积层的输出被输入到卷积层中，并且保证卷积层的输出/>的尺寸大小和输入x相同，为了防止网络随着深度的增加而产生信息损耗、丢失以及网络无法训练等问题，在本实施例中采用密集残差技术，该技术通过融合Fin和卷积的输出/>来补偿丢失和损耗的信息，由于融合后的信息会更加体现原本的高频信息，从而忽略了一些关于图像纹理的低频信息。为了保留这些低频信息，我们将输入Fin与/>做差，获取他们之间的差值，这种差值可以使获取的图像信息更加完整。我们将dvdb中每组反卷积的输入和卷积的输出的差值进行求和以获取和值，再将和值相继经过一个conv和一个LRelu得到的结果与密集残差结果进行如公式4中所示加权求和，在本实施例中式中α可以取0.1，β作为和值可以取1。最后将Fdvdb与0.2倍的Fin进行相加，从而输出得到dvdb的最终结果，传输到下一个dvdb模块中作为输入。
Fdvdb＝αFd-value+βFdb (3)
Fout＝Fdvdb(Fin)+0.2Fin (4)
其中，Fd-value(·)代表和值，分别表示第i个反卷积层和卷积层输出的值。Fdb(·)表示密集残差结果的融合汇总数据，Fout(·)表示网络结构输出结果。
在本实施例中，步骤S3为通过所述差分值密集残差生成网络中的图像重建模块基于所述差分值密集残差结果进行图像重建以生成高分辨率图像的过程，其中，基于所述差分值密集残差结果进行图像重建以生成高分辨率图像的过程，包括：
汇总各个特征维度的差分值密集残差结果以形成差分值密集残差数据集合；
对所述差分值密集残差数据集合进行上采样以获取采样结果；
将所述采样结果进行卷积处理以生成所需尺寸的高分辨率图像。
具体的，在本实施例中，首先对差分值密集残差块集合的输出进行上采样，然后将上采样结果依次通过两个卷积层，最后输出所需要的尺寸的SR图像，这种重建方式降低了网络复杂度。
FG＝Fconv2(Fconv1(Fup(FDVDB-out))) (5)
其中FG(·)代表生成器输出SR图像(高分辨率图像)，Fconv1、Fconv2代表重建依次经过的两个卷积层，Fup代表上采样层，FDVDB-out代表差分值密集残差数据集合。如此完成一次完整的高分辨率图像重建。
此外，在本实施例中，差分值密集残差生成网络是提前训练而成的，在训练过程中，基于相对判别器和损失函数进行训练，具体的，在本实施例中，训练差分值密集残差生成网络的过程，包括：
建立相对判别网络，将所述相对判别网络作为相对判别器，将预设的DVDB网络作为与所述相对判别器相关联的生成器；
基于二分类原则分别对判别器和所述生成器进行往复循环训练，直至基于所述判别器和所述生成器建立的联合损失函数达到预设编准，则停止训练，并将最后一次训练生成的生成器作为差分值密集残差生成网络。
其中，在进行往复循环训练的过程中，单次训练的过程，包括：
固定所述生成器的参数不变，将预采集的样本数据输入至所述生成器中，以使所述生成器生成重建数据；将所述训练数据和所述重建数据输入至所述判别器中训练所述判别器以变更所述判别器的参数提高所述判别器的判别精度形成新的判别器；
固定所述新的判别器的参数不变，将采集的训练数据输入至所述生成器中以生成结果数据，通过判别器对所述结果数据和预先获取的假数据进行判别处理形成判别数据，并使所述生成器根据所述判别数据调整所述生成器的参数以提高所述生成器的重建精度。
更为具体的，即将生成器生成的数据与真实数据输入进判别器中，可以固定生成器参数不变，对判别器进行训练。训练过程为一个有监督的二分类问题，即给定一个样本，训练判别器能判断出其是真样本还是生成器生成的假样本。在完成判别器的训练后，要提升生成器的能力，则需要固定判别器的参数不变，对生成器进行训练，如此进行循环往复。给生成器一个随机输入，生成器输出一个结果，判别器的损失函数来判定该结果是否为真，并根据损失函数，对生成器的参数进行更新。完成生成器的训练后，再次固定生成器的参数不变，对判别器进行训练，即给生成器随机输入，得到新的假的数据，将最新得到数据与真实数据输入给判别器进行训练，从而完成对判别器的再一次优化训练。不断重复上述过程，直到满足一定的训练次数，此时生成器会生成更真的数据，判别器有更好的鉴别真假的能力。
普通的判别器只能判定真实自然的概率，故本实施例采用相对判别器，尝试预测真实图像相对假图像更真实的概率。在对抗训练中，这种判别器有助于学习更清晰的边缘和更细致的纹理。因此，本实施例采用了ESRGAN中的相对判别器RaD，包括Conv表示的常规卷积层，LRelu表示的Leaky ReLU激活函数，BN表示的批量归一化层，Dense表示的全连接层。
在相对判别器网络模型中，同时使用Leaky ReLU和BN层，并且避免使用池化操作。在本实施例中的相对判别器网络中共包含8个卷积层，所有卷积层均采用大小为3×3的卷积核，卷积核的数量成倍增加，从64逐步增长到512，该判别网络采用卷积步长分别为1和2的卷积层交替进行，每当特征数量增加一倍时，使用步长为2的卷积层降低图像的分辨率。在卷积层获得高级特征之后通过两个全连接层和Sigmiod激活函数最终获得概率。
相对判别器的损失函数和生成器的对抗损失函数如下述公式(5)和公式(6)所示：
DRa(xr,xf)＝σ(C(xr)-Exf[C(xf)]) (8)
其中xf代表输入的LR图像，Exf[·]代表对所有生成器产生的数据取均值，σ是sigmoid函数；代表判别器损失；/>代表生成器对抗损失，从而能够达到对差分值密集残差生成网络的精准训练。
如上所述，本发明提供的动态加权的跨模态融合网络检索方法，首先使预训练的差分值密集残差生成网络中的浅层特征提取模块对输入的低分辨率图像进行特征提取以获取浅层特征，再将浅层特征输入至差分值密集残差生成网络中的差分值密集残差块集合中，以使差分值密集残差块集合通过逐层抽样的方式提取低分辨率图像的差分值密集残差结果；其中，差分值密集残差块集合包括预设数量个差分值密集残差块，提取低分辨率图像的差分值密集残差结果的过程，包括：获取第一个差分值密集残差块的输出结果，将前一个差分值密集残差块的输出结果作为下一个差分值密集残差块的输入数据，直至获取最后一个差分值密集残差块的输出结果，并将最后一个差分值密集残差块的输出结果作为差分值密集残差结果，再通过差分值密集残差生成网络中的图像重建模块基于差分值密集残差结果进行图像重建以生成高分辨率图像，从而采用查分值密集残差的方式进行高分辨率重建，提高网络相邻层之间的利用率，提高图像重建质量。
如图4所示，本发明还提供一种基于差分值密集残差超分辨率的图像重建系统100，实现如前所述的基于差分值密集残差超分辨率的图像重建方法，包括差分值密集残差生成网络110；其中，所述差分值密集残差生成网络包括：
浅层特征提取模块111，用于对输入的低分辨率图像进行特征提取以获取浅层特征；
差分值密集残差块集合112，用于接收所述浅层特征，并通过逐层抽样的方式基于所述浅层特征提取所述低分辨率图像的差分值密集残差结果；其中，所述差分值密集残差块集合包括预设数量个差分值密集残差块，提取所述低分辨率图像的差分值密集残差结果的过程，包括：获取第一个差分值密集残差块的输出结果，将前一个差分值密集残差块的输出结果作为下一个差分值密集残差块的输入数据，直至获取最后一个差分值密集残差块的输出结果，并将最后一个差分值密集残差块的输出结果作为差分值密集残差结果；
图像重建模块113，用于基于所述差分值密集残差结果进行图像重建以生成高分辨率图像。
每个差分值密集残差块包括三个差分值密集残差网络结构，所述差分值密集残差块集合获取所述差分值密集残差块的输出结果时：获取第一个差分值密集残差网络结构的网络结构输出结果，将第一个差分值密集残差网络结构的网络结构输出结果作为第二个差分值密集残差网络结构的输入数据，将第二个差分值密集残差网络结构的网络结构输出结果作为第三个差分值密集残差网络结构的输入数据，将第三个差分值密集残差网络结构的输出结果作为整个差分值密集残差块的差分值密集残差块输出结果；
每个差分值密集残差网络结构包括相互串联的差分值密集残差组、数据汇总单元、卷积层单元和激活函数单元，每个差分值密集残差组包括反卷积层、卷积层和激活函数；
获取所述网络结构输出结果的过程，包括：通过所述差分值密集残差组中的反卷积层对所述反卷积输入数据进行放大以获取高频信息；其中，所述差分值密集残差网络结构中第一个差分值密集残差组的反卷积输入数据为初始dvdb输入数据；所述第一个差分值密集残差网络结构的dvdb初始输入数据为所述浅层特征与上一个差分值密集残差组的dvdb输出结果的和；所述第二个差分值密集残差网络结构的dvdb初始输入数据为所述第一个差分值密集残差网络结构的网络结构输出结果与上一个差分值密集残差组的dvdb输出结果的和；所述第三个差分值密集残差网络结构的dvdb初始输入数据为所述第二个差分值密集残差网络结构的网络结构输出结果与上一个差分值密集残差组的dvdb输出结果的和；各个差分值密集残差网络结构的第一个差分值密集残差组的上一个差分值密集残差组的dvdb输出结果为0；
将所述高频信息输入至所述卷积层中以获取卷积层输出数据，且所述卷积层输出数据的尺寸与所述反卷积输入数据的尺寸相同；
将所述输出数据输入至所述激活函数中以获取当下差分值密集残差组的dvdb输出结果；同时，通过所述数据汇总单元对所述初始dvdb输入数据和所有的dvdb输出结果进行融合以获取融合汇总数据；对各个差分值密集残差组的所述反卷积输入数据和所述卷积层输出数据进行做差处理以获取差值，通过所述卷积层单元汇总各个差分值密集残差组的差值以对所有差分值密集残差组的差值进行求和处理获取和值，并将所述和值输入至所述激活函数单元中以获取和值结果；
基于所述和值结果和预设的输入数据权重对所述融合汇总数据和所述初始dvdb输入数据进行加权处理以获取网络结构输出结果。
该所述基于差分值密集残差超分辨率的图像重建系统的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不作赘述。
本发明提供的基于差分值密集残差超分辨率的图像重建系统，首先通过浅层特征提取模块对输入的低分辨率图像进行特征提取以获取浅层特征，再通过差分值密集残差块集合基于逐层抽样的方式提取低分辨率图像的差分值密集残差结果；其中，差分值密集残差块集合包括预设数量个差分值密集残差块，提取低分辨率图像的差分值密集残差结果的过程，包括：获取第一个差分值密集残差块的输出结果，将前一个差分值密集残差块的输出结果作为下一个差分值密集残差块的输入数据，直至获取最后一个差分值密集残差块的输出结果，并将最后一个差分值密集残差块的输出结果作为差分值密集残差结果，再通过差分值密集残差生成网络中的图像重建模块基于差分值密集残差结果进行图像重建以生成高分辨率图像，从而采用查分值密集残差的方式进行高分辨率重建，提高网络相邻层之间的利用率，提高图像重建质量。
如图5所示，本发明还提供一种电子设备，该电子设备包括：
至少一个处理器；以及，
与至少一个处理器通信连接的存储器；其中，
该存储器存储有可被至少一个处理器执行的计算机程序，该计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述的基于差分值密集残差超分辨率的图像重建方法中的步骤。
本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的基于差分值密集残差超分辨率的图像重建程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
使预训练的差分值密集残差生成网络中的浅层特征提取模块对输入的低分辨率图像进行特征提取以获取浅层特征；
将所述浅层特征输入至所述差分值密集残差生成网络中的差分值密集残差块集合中，以使所述差分值密集残差块集合通过逐层抽样的方式提取所述低分辨率图像的差分值密集残差结果；其中，所述差分值密集残差块集合包括预设数量个差分值密集残差块，提取所述低分辨率图像的差分值密集残差结果的过程，包括：获取第一个差分值密集残差块的输出结果，将前一个差分值密集残差块的输出结果作为下一个差分值密集残差块的输入数据，直至获取最后一个差分值密集残差块的输出结果，并将最后一个差分值密集残差块的输出结果作为差分值密集残差结果；
通过所述差分值密集残差生成网络中的图像重建模块基于所述差分值密集残差结果进行图像重建以生成高分辨率图像。
具体地，所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
如上参照附图以示例的方式描述了根据本发明提出的基于差分值密集残差超分辨率的图像重建方法、系统、电子设备。但是，本领域技术人员应当理解，对于上述本发明所提出的基于差分值密集残差超分辨率的图像重建方法、系统、电子设备，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (8)

1.一种基于差分值密集残差超分辨率的图像重建方法，其特征在于，包括：
通过预训练的差分值密集残差生成网络中的浅层特征提取模块对输入的低分辨率图像进行特征提取以获取浅层特征；
将所述浅层特征输入至所述差分值密集残差生成网络中的差分值密集残差块集合中，以使所述差分值密集残差块集合通过逐层抽样的方式提取所述低分辨率图像的差分值密集残差结果；其中，所述差分值密集残差块集合包括预设数量个差分值密集残差块，提取所述低分辨率图像的差分值密集残差结果的过程，包括：获取第一个差分值密集残差块的输出结果，将前一个差分值密集残差块的输出结果作为下一个差分值密集残差块的输入数据，直至获取最后一个差分值密集残差块的输出结果，并将最后一个差分值密集残差块的输出结果作为差分值密集残差结果；其中，每个差分值密集残差块包括三个差分值密集残差网络结构，获取所述差分值密集残差块的输出结果的过程，包括：
获取第一个差分值密集残差网络结构的网络结构输出结果，将第一个差分值密集残差网络结构的网络结构输出结果作为第二个差分值密集残差网络结构的输入数据，将第二个差分值密集残差网络结构的网络结构输出结果作为第三个差分值密集残差网络结构的输入数据，将第三个差分值密集残差网络结构的输出结果作为整个差分值密集残差块的差分值密集残差块输出结果；每个差分值密集残差网络结构包括相互串联的差分值密集残差组、数据汇总单元、卷积层单元和激活函数单元，每个差分值密集残差组包括反卷积层、卷积层和激活函数；
通过所述差分值密集残差生成网络中的图像重建模块，基于所述差分值密集残差结果进行图像重建以生成高分辨率图像。
2.如权利要求1所述的基于差分值密集残差超分辨率的图像重建方法，其特征在于，获取所述网络结构输出结果的过程，包括：
通过所述差分值密集残差组中的反卷积层对反卷积输入数据进行放大以获取高频信息；其中，所述差分值密集残差网络结构中第一个差分值密集残差组的反卷积输入数据为初始dvdb输入数据；所述第一个差分值密集残差网络结构的dvdb初始输入数据为所述浅层特征与上一个差分值密集残差组的dvdb输出结果的和；所述第二个差分值密集残差网络结构的dvdb初始输入数据为所述第一个差分值密集残差网络结构的网络结构输出结果与上一个差分值密集残差组的dvdb输出结果的和；所述第三个差分值密集残差网络结构的dvdb初始输入数据为所述第二个差分值密集残差网络结构的网络结构输出结果与上一个差分值密集残差组的dvdb输出结果的和；各个差分值密集残差网络结构的第一个差分值密集残差组的上一个差分值密集残差组的dvdb输出结果为0；
将所述高频信息输入至所述卷积层中以获取卷积层输出数据，且所述卷积层输出数据的尺寸与所述反卷积输入数据的尺寸相同；
将所述输出数据输入至所述激活函数中以获取当下差分值密集残差组的dvdb输出结果；同时，通过所述数据汇总单元对所述初始dvdb输入数据和所有的dvdb输出结果进行融合以获取融合汇总数据；对各个差分值密集残差组的所述反卷积输入数据和所述卷积层输出数据进行做差处理以获取差值，通过所述卷积层单元汇总各个差分值密集残差组的差值以对所有差分值密集残差组的差值进行求和处理获取和值，并将所述和值输入至所述激活函数单元中以获取和值结果；
基于所述和值结果和预设的输入数据权重对所述融合汇总数据和所述初始dvdb输入数据进行加权处理以获取网络结构输出结果。
3.如权利要求2所述的基于差分值密集残差超分辨率的图像重建方法，其特征在于，基于所述差分值密集残差结果进行图像重建以生成高分辨率图像的过程，包括：
汇总各个特征维度的差分值密集残差结果以形成差分值密集残差数据集合；
对所述差分值密集残差数据集合进行上采样以获取采样结果；
将所述采样结果进行卷积处理以生成所需尺寸的高分辨率图像。
4.如权利要求3所述的基于差分值密集残差超分辨率的图像重建方法，其特征在于，训练差分值密集残差生成网络的过程，包括：
建立相对判别网络，将所述相对判别网络作为相对判别器，将预设的差分值密集残差网络作为与所述相对判别器相关联的生成器；
基于二分类原则分别对判别器和所述生成器进行往复循环训练，直至基于所述判别器和所述生成器建立的联合损失函数达到预设编准，则停止训练，并将最后一次训练生成的生成器作为差分值密集残差生成网络。
5.如权利要求4所述的基于差分值密集残差超分辨率的图像重建方法，其特征在于，在进行往复循环训练的过程中，单次训练的过程，包括：
固定所述生成器的参数不变，将预采集的样本数据输入至所述生成器中，以使所述生成器生成重建数据；将训练数据和所述重建数据输入至所述判别器中训练所述判别器以变更所述判别器的参数提高所述判别器的判别精度形成新的判别器；
固定所述新的判别器的参数不变，将采集的训练数据输入至所述生成器中以生成结果数据，通过判别器对所述结果数据和预先获取的假数据进行判别处理形成判别数据，并使所述生成器根据所述判别数据调整所述生成器的参数以提高所述生成器的重建精度。
6.一种基于差分值密集残差超分辨率的图像重建系统，实现如权利要求1-5任一所述的基于差分值密集残差超分辨率的图像重建方法，包括差分值密集残差生成网络；其中，所述差分值密集残差生成网络包括：
浅层特征提取模块，用于对输入的低分辨率图像进行特征提取以获取浅层特征；
差分值密集残差块集合，用于接收所述浅层特征，并通过逐层抽样的方式基于所述浅层特征提取所述低分辨率图像的差分值密集残差结果；其中，所述差分值密集残差块集合包括预设数量个差分值密集残差块，提取所述低分辨率图像的差分值密集残差结果的过程，包括：获取第一个差分值密集残差块的输出结果，将前一个差分值密集残差块的输出结果作为下一个差分值密集残差块的输入数据，直至获取最后一个差分值密集残差块的输出结果，并将最后一个差分值密集残差块的输出结果作为差分值密集残差结果；其中，每个差分值密集残差块包括三个差分值密集残差网络结构，所述差分值密集残差块集合获取所述差分值密集残差块的输出结果时：获取第一个差分值密集残差网络结构的网络结构输出结果，将第一个差分值密集残差网络结构的网络结构输出结果作为第二个差分值密集残差网络结构的输入数据，将第二个差分值密集残差网络结构的网络结构输出结果作为第三个差分值密集残差网络结构的输入数据，将第三个差分值密集残差网络结构的输出结果作为整个差分值密集残差块的差分值密集残差块输出结果；
每个差分值密集残差网络结构包括相互串联的差分值密集残差组、数据汇总单元、卷积层单元和激活函数单元，每个差分值密集残差组包括反卷积层、卷积层和激活函数；
图像重建模块，用于基于所述差分值密集残差结果进行图像重建以生成高分辨率图像。
7.如权利要求6所述的基于差分值密集残差超分辨率的图像重建系统，其特征在于，
获取所述网络结构输出结果的过程，包括：通过所述差分值密集残差组中的反卷积层对所述反卷积输入数据进行放大以获取高频信息；其中，所述差分值密集残差网络结构中第一个差分值密集残差组的反卷积输入数据为初始dvdb输入数据；所述第一个差分值密集残差网络结构的dvdb初始输入数据为所述浅层特征与上一个差分值密集残差组的dvdb输出结果的和；所述第二个差分值密集残差网络结构的dvdb初始输入数据为所述第一个差分值密集残差网络结构的网络结构输出结果与上一个差分值密集残差组的dvdb输出结果的和；所述第三个差分值密集残差网络结构的dvdb初始输入数据为所述第二个差分值密集残差网络结构的网络结构输出结果与上一个差分值密集残差组的dvdb输出结果的和；各个差分值密集残差网络结构的第一个差分值密集残差组的上一个差分值密集残差组的dvdb输出结果为0；
将所述高频信息输入至所述卷积层中以获取卷积层输出数据，且所述卷积层输出数据的尺寸与所述反卷积输入数据的尺寸相同；
将所述输出数据输入至所述激活函数中以获取当下差分值密集残差组的dvdb输出结果；同时，通过所述数据汇总单元对所述初始dvdb输入数据和所有的dvdb输出结果进行融合以获取融合汇总数据；对各个差分值密集残差组的所述反卷积输入数据和所述卷积层输出数据进行做差处理以获取差值，通过所述卷积层单元汇总各个差分值密集残差组的差值以对所有差分值密集残差组的差值进行求和处理获取和值，并将所述和值输入至所述激活函数单元中以获取和值结果；
基于所述和值结果和预设的输入数据权重对所述融合汇总数据和所述初始dvdb输入数据进行加权处理以获取网络结构输出结果。
8.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一所述的基于差分值密集残差超分辨率的图像重建方法中的步骤。
CN202310326660.8A 2023-03-29 2023-03-29 基于差分值密集残差超分辨率的图像重建方法、系统 Active CN116402682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310326660.8A CN116402682B (zh) 2023-03-29 2023-03-29 基于差分值密集残差超分辨率的图像重建方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310326660.8A CN116402682B (zh) 2023-03-29 2023-03-29 基于差分值密集残差超分辨率的图像重建方法、系统

Publications (2)

Publication Number Publication Date
CN116402682A CN116402682A (zh) 2023-07-07
CN116402682B true CN116402682B (zh) 2024-02-09

Family

ID=87015440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310326660.8A Active CN116402682B (zh) 2023-03-29 2023-03-29 基于差分值密集残差超分辨率的图像重建方法、系统

Country Status (1)

Country Link
CN (1) CN116402682B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法
CN111754403A (zh) * 2020-06-15 2020-10-09 南京邮电大学 一种基于残差学习的图像超分辨率重构方法
CN113627487A (zh) * 2021-07-13 2021-11-09 西安理工大学 一种基于深层注意力机制的超分辨率重建方法
CN114549302A (zh) * 2022-01-10 2022-05-27 山东师范大学 一种图像超分辨率重建方法及系统
KR20220102811A (ko) * 2021-01-14 2022-07-21 한국공학대학교산학협력단 단일 영상 초해상도 복원 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法
CN111754403A (zh) * 2020-06-15 2020-10-09 南京邮电大学 一种基于残差学习的图像超分辨率重构方法
KR20220102811A (ko) * 2021-01-14 2022-07-21 한국공학대학교산학협력단 단일 영상 초해상도 복원 장치 및 방법
CN113627487A (zh) * 2021-07-13 2021-11-09 西安理工大学 一种基于深层注意力机制的超分辨率重建方法
CN114549302A (zh) * 2022-01-10 2022-05-27 山东师范大学 一种图像超分辨率重建方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep Differential Convolutional Network for Single Image Super-Resolution;PENG LIU等;《IEEE Access》;第7卷;37555-37564 *
Deep residual networks with a fully connected reconstruction layer for single image super-resolution;Yongliang Tang等;《Neurocomputing》;第405卷;186-199 *
基于多尺度残差网络的图像/视频超分辨率重建算法研究;吴昊;《中国优秀硕士学位论文全文数据库》;I138-1676 *

Also Published As

Publication number Publication date
CN116402682A (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN111695430B (zh) 一种基于特征融合和视觉感受野网络的多尺度人脸检测方法
CN113657450A (zh) 基于注意机制的陆战场图像-文本跨模态检索方法及其系统
CN115546032B (zh) 一种基于特征融合与注意力机制的单帧图像超分辨率方法
CN112651940B (zh) 基于双编码器生成式对抗网络的协同视觉显著性检测方法
CN113191390A (zh) 一种图像分类模型的构建方法、图像分类方法及存储介质
CN116935188B (zh) 模型训练方法、图像识别方法、装置、设备及介质
CN112419326A (zh) 图像分割数据处理方法、装置、设备及存储介质
CN116758397A (zh) 基于深度学习的单模态诱导的多模态预训练方法及系统
Si et al. Hard exudate segmentation in retinal image with attention mechanism
CN114722937A (zh) 一种异常数据检测方法、装置、电子设备和存储介质
CN116452805A (zh) 一种基于Transformer的跨模态融合网络的RGB-D语义分割方法
Yao et al. Robust photon-efficient imaging using a pixel-wise residual shrinkage network
CN115131199A (zh) 图像生成模型的训练方法、图像生成方法、装置及设备
Gu et al. A transfer deep generative adversarial network model to synthetic brain CT generation from MR images
Esmaeili et al. Spotting micro‐movements in image sequence by introducing intelligent cubic‐LBP
CN116402682B (zh) 基于差分值密集残差超分辨率的图像重建方法、系统
CN114119356A (zh) 基于CycleGAN的热红外图像转类可见光彩色图像方法
CN116612339A (zh) 一种核性白内障图像分级模型的构建装置及分级装置
CN116431827A (zh) 信息处理方法、装置、存储介质及计算机设备
CN110768864A (zh) 一种网络流量批量生成图像的方法及装置
CN113255456B (zh) 非主动活体检测方法、装置、电子设备及存储介质
CN112992304B (zh) 高分辨率红眼病案例数据生成方法、设备及存储介质
Chen et al. Fusion sampling networks for skeleton-based human action recognition
Liu et al. On the effectiveness of dual discriminator weighted generative adversarial network
Li et al. Blind image quality evaluation method based on cyclic generative adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant