CN110310227A - 一种基于高低频信息分解的图像超分辨率重建方法 - Google Patents

一种基于高低频信息分解的图像超分辨率重建方法 Download PDF

Info

Publication number
CN110310227A
CN110310227A CN201910569333.9A CN201910569333A CN110310227A CN 110310227 A CN110310227 A CN 110310227A CN 201910569333 A CN201910569333 A CN 201910569333A CN 110310227 A CN110310227 A CN 110310227A
Authority
CN
China
Prior art keywords
image
frequency information
low
super
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910569333.9A
Other languages
English (en)
Other versions
CN110310227B (zh
Inventor
李帅
朱策
于嘉山
方嘉仪
高艳博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910569333.9A priority Critical patent/CN110310227B/zh
Publication of CN110310227A publication Critical patent/CN110310227A/zh
Application granted granted Critical
Publication of CN110310227B publication Critical patent/CN110310227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于高低频信息分解的图像超分辨率重建方法，包括以下步骤：对超分辨率数据集做数据预处理，得到训练神经网络所需的LR‑HR图像块对；将HR图像块G进行高低频信息分解；构建卷积神经网络模型；利用前述步骤生成的训练样本数据对构建的卷积神经网络模型进行训练，得到优化后的卷积神经网络模型；利用优化后的卷积神经网络模型，输入LR图像，生成对应的HR图像。本发明设计了优化的神经网络结构，有效生成HR图像的低频和高频信息，更好地重建高分辨率的图像。

Description

一种基于高低频信息分解的图像超分辨率重建方法
技术领域
本发明涉及图像处理技术领域，特别是一种基于高低频信息分解的图像超分辨率重建方法。
背景技术
图像的超分辨率问题(Super-Resolution)是计算机视觉中的一类重要问题，是指从一张或多张低分辨率(Low-Resolution，LR)图像中，重构出相应的高分辨率(High-Resolution，HR)图像。主要分为两类，一是从单张低分辨率图像中重建出高分辨率图像，二是从多张低分辨率图像中重建出高分辨率图像。超分辨率问题的核心是如何利用低分辨率图像的内部相关信息来生成图像的高频细节信息。
目前，深度学习在计算机领域中表现出巨大潜力，基于神经网络学习的方法可以自动的从大量数据中学习特征提取方法，而且由于深度模型极高的复杂度，使得它可以建立由低分辨率图像到复杂特征再到高分辨率图像的非线性变换，充分利用有限信息来直接进行从低分辨图像到高分辨图像的端到端学习，带来了更好的性能和表现，在图像超分辨问题中成为主流。
近些年的图像超分辨率网络主要分为两种：一种是只有局部的跳过连接(SkipConnection)，即只在上采样网络前进行跳过连接。EDSR、SRDenseNet、RCAN等图像超分辨率网络都采用这类结构；另一种是有全局的SkipConnection，即只通过神经网络来生成HR图像中的细节信息，而HR图像的结构信息则通过直接地双三次插值放大获得。IDN、WDSR等图像超分辨率网络都采用这类结构。因为人眼对图像质量的感知结果主要表现在细节信息上，而后者可以利用同等规模的网络来更好地学习细节信息表征，因此，后者在理论和直观上都具有更好的性能。
随着信息技术的发展，低分辨率图像已经难以满足人们对于高清影像的需求。高分辨率图像的像素密度高，细节清晰，信息丰富，因而能够满足图像分析，图像理解的实际应用需求。图像分辨率的提升有助于图像细节的观察和分析，从而为后续的图像处理如目标检测，图像分割等提供更多有用的信息，高分辨率图像的获取是后续图像处理取得良好效果的重要保障。
超分辨技术从出现以来，大致经历了插值、重建、学习三个阶段的发展过程。其中插值的方法出现的最早，其假设图像具有连续的灰度值，待插像素的灰度值可以根据邻域像素估计得到。在实际应用中获取的图像往往不符合这种假设，因而重建出的图像容易出现锯齿、模糊等现象。其更多的是作为一种上采样的策略，很多时候会作为后两种方法的一个预处理工作被使用。而基于重建的方法通常需要将同一场景的多幅图像进行信息融合，主要包括配准、插值、重构3个步骤。目前主要有正则化方法，凸集投影法(POCS)和迭代反投影法(IBP)等算法。这一类算法之间的区别主要在于重构部分，严重依赖高分辨率图像的先验知识，性能表现波动很大。当放大倍数较高时，图像重建质量会迅速下滑，导致图像细节严重丢失。基于学习的算法，即通过机器学习的算法对从低分辨率图像到高分辨率图像的转化过程进行建模，可以实现单幅图像的超分辨率重建。相较于其他两类方法，基于学习的方法可以更好地表达和利用图像的先验知识，具有更突出的性能，恢复出的图像具有更优秀的视觉效果，是目前的研究热点之一。
2014年，Chao Dong等人设计的深度卷积网路SRCNN是第一个基于深度学习的超分辨率重建算法，其网络架构非常简单，用三个卷积层分别代表特征提取，非线性变换，图像重构的步骤，实现了端到端的超分辨技术，并在当时取得了最好的效果，自SRCNN之后，基于深度学习的方法呈现出迅猛的发展势头，时隔一年Chao Dong团队2016年最先出手，在SRCNN上进行了改进，得到FSRCNN网络，增加了模型的深度并且增加了膨胀压缩的操作，使得网络结构更合理，运算速度精度都得到了提高，之后Shi W在ESPCN结构中创造性的提出亚像素卷积层的概念，依靠卷积而不是反卷积或插值来上采样，大大提高了速度，同年，KimJ等人提出两种网络架构DRCN和VDCN，分别将循环网络结构和VGG网络结构经过改进应用到超分辨领域，取得了更高的精度，二者是深度学习领域成熟思想应用到超分辨领域的典范。Wang Y等人提出一种EED网络，将深浅层网络相互结合，使得他们分工合作，以结合两个的优点，同时，EED还提出不同尺寸的卷积核提取到的不同感知野大小的特征在还原图像中的作用。
2017年，深度学习上先进的算法如残差网络和对抗生成网络结构被引入到了超分辨的领域，分别生成了EDSR网络和SRGAN网络，并分别取得了最好的信噪比指标和最好的视觉效果。同时，Huang H针对人脸识别，以小波变换算法为基础，提出一种Wavelet结构，这种基于算法设计网络的结构可以使得网络具有更优良的结构和更强的针对性。自2014年以来，深度学习引入到超分辨领域，从此便迅猛的发展起来，产生了一系列优秀的工作。但是，两者相互结合的潜力远远没有发掘完全，由两者相互结合产生何种更有针对性的网络架构，是后续需要努力的重要方向。
图像卡通-纹理分解基本理论：卡通-纹理分解又称为结构-纹理分解，一个灰度级图像f可以分解为f＝u+v，其中u表示图像的结构分量，包含图像的大部分低频和部分中高频信息，是图像的结构特征信息，是图像f的简化逼近，称为卡通；v表示图像的纹理特征信息，包含图像的大部分高频和部分中频信息，由纹理和噪声组成。卡通纹理分解理论由Meyer提出，其模型理论是根据能量极小化原理来把图像分解成卡通部分和纹理部分，由于其很高的计算复杂度，实际中实现极其困难。
一种简化的计算方法是利用非线性的低通滤波器来对原始图像进行快速有效的近似解法。该方法的主要步骤是首先计算图像像素点的周围像素共同的局部总变分(LTV)，通过局部总变分的值来判定该像素点是属于卡通点还是纹理点，然后再对图像通过一个低通滤波器。对于每个像素点来说，其局部总变分变化大的点作为纹理点，而变化小的像素点作为卡通点。分解结果中，卡通部分就是判断为卡通点的位置像素值不变，判断为纹理点的位置的像素值为经过低通滤波器后的像素值；而纹理部分是原始图像像素点与卡通部分图像像素点的插值，该方法虽然不能精确的代替变分问题来分解图像，但它方便处理并具有可行性。
2019年3月发表在浙江理工大学学报上的“基于生成对抗网络的图像超分辨率方法”一文。文中采用生成对抗网络来生成逼真的图片，输入的LR图片作为两个特征提取子网络的共同输入，用来提取不同尺度的特征信息，之后将两种特征信息进行线性叠加，再通过卷积层作低分辨率特征到高分辨率特征的非线性映射，最后用上采样层做特征域到像素域的映射，即图像重建，最终输出生成的HR图像。该文用两个尺度做特征域的信息分解，而本发明是在像素域做信息分解；该文中说到两个分支分别用来提取高频细节信息和低频结构信息，但没法用特征域中的Ground Truth进行约束，整个网络是端到端训练的。因此，这样的分解不一定就是高频细节信息和低频特征信息的分解，而是自适应的。而本发明通过良好的先验信息进行约束，使得两个网络(分支)可以有方向性的学习。
2018CVPR的Deep Video Super-Resolution Network Using DynamicUpsampling Filters Without Explicit Motion Compensation一文。其主要思想将LR图像双三次插值放大的部分换成动态上采样滤波器。具体方法为：首先将输入图像序列经过滤波器生成网络，动态生成上采样滤波器，然后将该上采样滤波器作用在当前帧的每个像素上，生成处理后的近似HR图像。再通过另一个网络学习该近似HR图像与真实值(GroundTruth)的残差。该方法可以较好的提高超分辨网络的性能，但缺点也很明显：(1)图像域的每个像素位置都有一组滤波器，因此滤波器数量巨大，给整个网络带来了很大的参数量和计算花销，测试时的时间也大大加长。(2)因为要通过滤波器生成网络学习上采样滤波器，且每个像素位置都有一组滤波器，因此训练和测试时必须接受相同尺寸的图片。
采用SR网络中没有区别结构信息和细节信息，而是糅合在一起，这样网络在使用L2损失做代价函数在生成HR图像时，不会过多考虑细节信息的生成，在确定规模的网络下不会生成较好的细节信息。
采用双三次插值近似生成HR图像的结构信息，使用残差来近似生成图像的细节信息，在相同规模的网络下，可以更好的学习残差信息。但该种图像分解和真实的高频低频信息分解仍存在差别。残差信息有时在图像中不具有很好的物理意义，相比而言高频低频信息具有更好的信息表征。
在SR问题中采用动态上采样滤波器的方法，旨在生成更好的结构信息，但会引入大量的参数量和计算量，测试时间也大大加长。该方法没有很好的权衡图像的细节信息和结构信息，花费大量成本在生成图像结构信息上，虽会一定程度上会提高超分辨网络的性能，但代价太高且不能有效地用在实际问题上。
发明内容
本发明所要解决的技术问题是提供一种基于高低频信息分解的图像超分辨率重建方法，设计优化的神经网络结构，以有效地生成高分辨率图像的低频和高频信息，从而更好地重建高分辨率的图像。
为解决上述技术问题，本发明采用的技术方案是：
一种基于高低频信息分解的图像超分辨率重建方法，包括以下步骤：
步骤1：对超分辨率数据集做数据预处理，得到训练神经网络所需的LR-HR图像块对，具体为：
1)先对超分辨率数据集中HR图像做双三次插值得到其对应的LR图像，构成LR-HR图像对；
2)再对LR-HR图像对做数据增强，以增强训练样本的数据量；
3)最后从数据增强后的每张HR图像中随机选取图像块，每个HR图像块与其对应的LR图像块构成LR-HR图像块对；
步骤2：将HR图像块G进行高低频信息分解，具体如下：
1)HR图像块G的每点像素值乘以(-1)x+y进行中心变换，得到图像块G'；其中x＝0,1,...,127，y＝0,1,...,127，(x,y)表示HR图像块G的每一像素点位置；
2)对图像块G'做二维离散傅里叶变换，即根据下式对离散变量u和v在规定范围内求值，得到频谱函数F(u,v)；
其中，M＝N＝128，即HR图像块G尺寸为128×128，u＝0,1,2,...,127，v＝0,1,2,...,127；u，v表示图像频域空间位置；
3)用滤波器函数H(u,v)乘以频谱函数F(u,v)进行滤波；滤波后的图像F'(u,v)为：
F'(u,v)＝H(u,v)×F(u,v)
其中，D0为高斯核的标准差；
4)对滤波后的图像F'(u,v)做二维离散傅里叶反变换，并取变换后结果的实部；变换公式如下：
其中，x＝0,1,2,...,M-1，y＝0,1,2,...,N-1；
5)用(-1)x+y乘以步骤4)中变换结果Re(f'(x,y))，再取消步骤1)中对HR图像块G的乘数(-1)x+y，即将频域中心平移回来，得到HR图像块G的低频信息图像G1，其包含原HR图像块G的低频信息和部分中频信息，高频信息图像G2为HR图像块G与低频信息图像G1的差，即G2＝G-G1，其包含G的高频信息和部分中频信息；
步骤3：构建卷积神经网络模型；
所述卷积神经网络模型具有两条分支，都采用同一LR图像作为输入；其中，一个分支依次通过卷积层、若干残差块、卷积层、上采样层和卷积层生成HR高频信息的图像，另一分支依次通过卷积层、若干残差块、卷积层、上采样层和卷积层生成HR低频信息的图像，且生成HR高频图像时采用的残差块数量多于生成HR低频图像时采用的残差块数量；再将HR高频信息的图像和HR低频信息的图像相加，输出最终的HR图像；
步骤4：利用步骤1和步骤2生成的训练样本数据对步骤3构建的卷积神经网络模型进行训练，得到优化后的卷积神经网络模型；
步骤5：利用优化后的卷积神经网络模型，输入LR图像，生成对应的HR图像。
进一步的，在步骤1中，对LR-HR图像对做数据增强具体是：对LR-HR图像对做水平和垂直翻转以及90°旋转，从而得到16倍的训练数据数量。
进一步的，所述步骤3还包括：使用L1范数损失函数作为代价函数，训练神经网络并更新权重；L1范数损失函数是把目标值(Yi)与估计值(f(xi))的绝对插值的总和(S)最小化，即
进一步的，在步骤2中，滤波器函数H(u,v)选用高斯低通滤波器核。
进一步的，所述步骤3中，卷积神经网络模型中残差块结构都相同，即采用卷积层-ReLU非线性激活层-卷积层加上一条跳过连接的结构。
进一步的，在步骤3中，所述卷积神经网络模型网络中的卷积层都采用3×3结构，通道数为256个。
与现有技术相比，本发明的有益效果是：从图像的结构组成出发，通过更好的方法来生成图像的细节和结构信息，最终重建出高分辨率图像。本发明将图像进行高低频信息分解，具有很好的物理意义。在生成低频信息时采用卷积神经网络来实现，相对于简单的双三次差值方法而言，有更大的感受野和较复杂的非线性变换，从而能生成很好的图像结构信息。相比于动态上采样滤波器的方法，大大简化了图像结构信息的生成过程，从而具有实际的可行性。
附图说明
图1是本发明中卷积神经网络模型结构示意图；
图2是本发明中残差块结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明以EDSR网络模型为基础，EDSR网络模型是NTIRE2017超分辨率挑战赛上获得冠军的方案。整个网络先经过1层卷积层，之后经过16个残差块(Residual Block)，每个残差块都采用卷积层-ReLU非线性激活层-卷积层(conv-ReLU-conv)结构，其在SRResNet网络的基础上移除BN层，上采样方法采用的是ESPCN中的Pixel Shuffling(Depth to Space，即通道深度到空间域的混洗)操作。
一、设计卷积神经网络模型
如图1所示，所述卷积神经网络模型分为两条分支，都采用同一LR图像作为输入。其中，一个分支通过一系列卷积层、若干残差块和上采样层，生成HR高频信息(细节信息)的图像，另一分支也通过一系列卷积层、若干残差块和上采样层，生成HR低频信息(结构信息)的图像，再将两幅图像相加，输出最终的HR图像。
卷积神经网络模型中都采用相同的残差块结构，即卷积层-ReLU非线性激活层-卷积层加上一条跳过连接的结构，如图2所示。考虑到高频信息相对于低频信息来说更为复杂，且是否具有较高质量的细节信息是衡量生成的高分辨率图像质量的关键，因此在生成HR高频图像时采用更多的残差块(16个)，生成HR低频图像时采用较少数量的残差块(8个)。网络中的卷积层都采用3×3结构，通道数为256个。
二、生成训练样本数据对上述卷积神经网络模型进行训练，得到优化的卷积神经网络模型，具体如下：
1、对超分辨率数据集(DIV2K)做数据预处理，得到训练神经网络所需的LR-HR图像块对，具体操作为：1)先对DIV2K数据集的图像(HR图像)做双三次插值得到其对应的LR图像，构成LR-HR图像对；2)再对这些LR-HR图像对做数据增强，以增强训练样本的数据量，具体操作为对图像对做水平和垂直翻转以及90°旋转，从而得到16倍的训练数据数量；3)最后从数据增强后的每张HR图像中随机选取1000个192×192的块，每个HR图像块与其对应的LR图像块构成LR-HR图像块对，共有900000个LR-HR图像块对，其中LR图像块尺寸为48×48，相应HR图像块尺寸为192×192，放大倍数为4倍。
2、将步骤1得到的LR-HR图像块对中的HR图像块G进行高低频信息分解，具体如下：
2.1、HR图像块G的每点像素值乘以(-1)x+y进行中心变换，得到图像块G'；其中x＝0,1,...,127，y＝0,1,...,127，(x,y)表示HR图像块G的每一像素点位置，该步骤的目的是为了在做二维离散傅里叶变换时，将原来的G频谱图中心平移到处，便于后续滤波操作的处理。
2.2、对图像G'做二维离散傅里叶变换(DCT)，即根据下式对离散变量u和v在规定范围内求值，得到频谱函数F(u,v)。
其中，M＝N＝128，即HR图像块G尺寸为128×128，u＝0,1,2,...,127，v＝0,1,2,...,127；u，v表示图像频域空间位置。
2.3、用滤波器函数H(u,v)乘以F(u,v)进行滤波，滤波器函数H(u,v)选用高斯低通滤波器核。滤波后的图像F'(u,v)为：
F'(u,v)＝H(u,v)×F(u,v)
其中，D0为高斯核的标准差，可取定值为8。
2.4、对滤波后的图像F'(u,v)做二维离散傅里叶反变换(IDFT)，并取变换后结果的实部。变换公式如下：
其中，x＝0,1,2,...,M-1，y＝0,1,2,...,N-1。
2.5、用(-1)x+y乘以步骤2.4中变换结果Re(f'(x,y))，取消步骤2.1中对HR图像块G的乘数(-1)x+y，把频域中心平移回来，得到HR图像块G的低频信息图像G1，其包含原HR图像块G的低频信息和部分中频信息，高频信息图像G2为HR图像块G与低频信息图像G1的差，即G2＝G-G1，其包含G的高频信息和部分中频信息。至此，对HR图像块G的分解完毕。
3、利用步骤1和步骤2生成的训练样本数据对卷积神经网络模型进行训练，得到优化后的卷积神经网络模型。
使用L1范数损失函数作为代价函数，训练神经网络并更新权重。L1范数损失函数是把目标值(Yi)与估计值(f(xi))的绝对插值的总和(S)最小化，即
三、根据优化后的卷积神经网络模型，输入LR图像，生成对应的HR图像。

Claims (6)

1.一种基于高低频信息分解的图像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1：对超分辨率数据集做数据预处理，得到训练神经网络所需的LR-HR图像块对，具体为：
1)先对超分辨率数据集中HR图像做双三次插值得到其对应的LR图像，构成LR-HR图像对；
2)再对LR-HR图像对做数据增强，以增强训练样本的数据量；
3)最后从数据增强后的每张HR图像中随机选取图像块，每个HR图像块与其对应的LR图像块构成LR-HR图像块对；
步骤2：将HR图像块G进行高低频信息分解，具体如下：
1)HR图像块G的每点像素值乘以(-1)x+y进行中心变换，得到图像块G'；其中x＝0,1,...,127，y＝0,1,...,127，(x,y)表示HR图像块G的每一像素点位置；
2)对图像块G'做二维离散傅里叶变换，即根据下式对离散变量u和v在规定范围内求值，得到频谱函数F(u,v)；
其中，M＝N＝128，即HR图像块G尺寸为128×128，u＝0,1,2,...,127，v＝0,1,2,...,127；u，v表示图像频域空间位置；
3)用滤波器函数H(u,v)乘以频谱函数F(u,v)进行滤波；滤波后的图像F'(u,v)为：
F'(u,v)＝H(u,v)×F(u,v)
其中，D0为高斯核的标准差；
4)对滤波后的图像F'(u,v)做二维离散傅里叶反变换，并取变换后结果的实部；变换公式如下：
其中，x＝0,1,2,...,M-1，y＝0,1,2,...,N-1；
5)用(-1)x+y乘以步骤4)中变换结果Re(f'(x,y))，再取消步骤1)中对HR图像块G的乘数(-1)x+y，即将频域中心平移回来，得到HR图像块G的低频信息图像G1，其包含原HR图像块G的低频信息和部分中频信息，高频信息图像G2为HR图像块G与低频信息图像G1的差，即G2＝G-G1，其包含G的高频信息和部分中频信息；
步骤3：构建卷积神经网络模型；
所述卷积神经网络模型具有两条分支，都采用同一LR图像作为输入；其中，一个分支依次通过卷积层、若干残差块、卷积层、上采样层和卷积层生成HR高频信息的图像，另一分支依次通过卷积层、若干残差块、卷积层、上采样层和卷积层生成HR低频信息的图像，且生成HR高频图像时采用的残差块数量多于生成HR低频图像时采用的残差块数量；再将HR高频信息的图像和HR低频信息的图像相加，输出最终的HR图像；
步骤4：利用步骤1和步骤2生成的训练样本数据对步骤3构建的卷积神经网络模型进行训练，得到优化后的卷积神经网络模型；
步骤5：利用优化后的卷积神经网络模型，输入LR图像，生成对应的HR图像。
2.如权利要求1所述的一种基于高低频信息分解的图像超分辨率重建方法，其特征在于，在步骤1中，对LR-HR图像对做数据增强具体是：对LR-HR图像对做水平和垂直翻转以及90°旋转，从而得到16倍的训练数据数量。
3.如权利要求1所述的一种基于高低频信息分解的图像超分辨率重建方法，其特征在于，所述步骤3还包括：使用L1范数损失函数作为代价函数，训练神经网络并更新权重；L1范数损失函数是把目标值(Yi)与估计值(f(xi))的绝对插值的总和(S)最小化，即
4.如权利要求1所述的一种基于高低频信息分解的图像超分辨率重建方法，其特征在于，在步骤2中，滤波器函数H(u,v)选用高斯低通滤波器核。
5.如权利要求1所述的一种基于高低频信息分解的图像超分辨率重建方法，其特征在于，所述步骤3中，卷积神经网络模型中残差块结构都相同，即采用卷积层-ReLU非线性激活层-卷积层加上一条跳过连接的结构。
6.如权利要求1所述的一种基于高低频信息分解的图像超分辨率重建方法，其特征在于，在步骤3中，所述卷积神经网络模型网络中的卷积层都采用3×3结构，通道数为256个。
CN201910569333.9A 2019-06-27 2019-06-27 一种基于高低频信息分解的图像超分辨率重建方法 Active CN110310227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910569333.9A CN110310227B (zh) 2019-06-27 2019-06-27 一种基于高低频信息分解的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910569333.9A CN110310227B (zh) 2019-06-27 2019-06-27 一种基于高低频信息分解的图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN110310227A true CN110310227A (zh) 2019-10-08
CN110310227B CN110310227B (zh) 2020-09-08

Family

ID=68076802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910569333.9A Active CN110310227B (zh) 2019-06-27 2019-06-27 一种基于高低频信息分解的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN110310227B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673207A (zh) * 2019-10-09 2020-01-10 中国地质科学院矿产资源研究所 一种高频重建方法、装置及计算机存储介质
CN110992265A (zh) * 2019-12-02 2020-04-10 北京数码视讯科技股份有限公司 图像处理方法及模型、模型的训练方法及电子设备
CN111127316A (zh) * 2019-10-29 2020-05-08 山东大学 一种基于sngan网络的单幅人脸图像超分辨方法及系统
CN111292240A (zh) * 2020-01-23 2020-06-16 上海交通大学 一种基于成像模型与机器学习的磁共振超分辨率成像方法
CN111311488A (zh) * 2020-01-15 2020-06-19 广西师范大学 一种基于深度学习的高效超分辨率重建方法
CN111429355A (zh) * 2020-03-30 2020-07-17 新疆大学 一种基于生成对抗网络的图像超分辨率重建方法
CN111429371A (zh) * 2020-03-23 2020-07-17 Oppo广东移动通信有限公司 图像处理方法、装置及终端设备
CN111597967A (zh) * 2020-05-12 2020-08-28 北京大学 一种红外图像多目标行人识别方法
CN111915492A (zh) * 2020-08-19 2020-11-10 四川省人工智能研究院(宜宾) 一种基于动态重建的多分支视频超分辨率方法及系统
CN111985409A (zh) * 2020-08-21 2020-11-24 四川省人工智能研究院(宜宾) 一种用于实时街道场景分割的方法
CN112580381A (zh) * 2020-12-23 2021-03-30 成都数之联科技有限公司 一种基于深度学习的二维码超辨率重构增强方法及系统
CN112669225A (zh) * 2020-12-01 2021-04-16 宁波大学科学技术学院 基于结构分解的水下图像增强方法、系统及存储介质
CN112949348A (zh) * 2019-11-26 2021-06-11 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112967357A (zh) * 2021-02-19 2021-06-15 中国人民解放军国防科技大学 一种基于卷积神经网络的频谱地图构建方法
CN113160046A (zh) * 2020-01-23 2021-07-23 百度在线网络技术（北京）有限公司 深度图像超分辨率方法、训练方法及装置、设备、介质
CN113256536A (zh) * 2021-06-18 2021-08-13 之江实验室 一种基于小波分析的超高维数据重建深度学习方法
CN113269691A (zh) * 2021-05-27 2021-08-17 北京卫星信息工程研究所 一种基于卷积稀疏进行噪声仿射拟合的sar图像去噪方法
CN113344779A (zh) * 2021-05-10 2021-09-03 山东师范大学 基于卡通纹理分解和深度学习的sar图像超分辨方法及系统
CN113469321A (zh) * 2020-03-30 2021-10-01 聚晶半导体股份有限公司 基于神经网络的物件检测装置和物件检测方法
CN113536971A (zh) * 2021-06-28 2021-10-22 中科苏州智能计算技术研究院 一种基于增量学习的目标检测方法
CN114049254A (zh) * 2021-10-29 2022-02-15 华南农业大学 低像素牛头图像重建识别方法、系统、设备及存储介质
CN114693547A (zh) * 2022-03-03 2022-07-01 大连海事大学 基于图像超分辨的射频图像增强方法及射频图像识别方法
US11495015B2 (en) 2020-03-30 2022-11-08 Altek Semiconductor Corp. Object detection device and object detection method based on neural network

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719266A (zh) * 2009-12-25 2010-06-02 西安交通大学 一种基于仿射变换的正面人脸图像超分辨率重建方法
CN106508045B (zh) * 2011-12-05 2014-08-27 中国科学院自动化研究所 一种基于图像边缘保持自适应分解的超分辨率重建方法
CN104463785A (zh) * 2014-11-20 2015-03-25 深圳市理邦精密仪器股份有限公司 一种超声图像的放大方法及装置
JP2015203952A (ja) * 2014-04-14 2015-11-16 日本放送協会 超解像装置及びプログラム
WO2016019484A1 (en) * 2014-08-08 2016-02-11 Xiaoou Tang An apparatus and a method for providing super-resolution of a low-resolution image
CN106991648A (zh) * 2017-04-10 2017-07-28 中国石油大学(华东) 一种基于小波变换和卷积神经网络的图像超分辨率重建方法
CN107341765A (zh) * 2017-05-05 2017-11-10 西安邮电大学 一种基于卡通纹理分解的图像超分辨率重建方法
WO2018053340A1 (en) * 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN109064396A (zh) * 2018-06-22 2018-12-21 东南大学 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN109472743A (zh) * 2018-10-25 2019-03-15 中国科学院电子学研究所 遥感图像的超分辨率重建方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719266A (zh) * 2009-12-25 2010-06-02 西安交通大学 一种基于仿射变换的正面人脸图像超分辨率重建方法
CN106508045B (zh) * 2011-12-05 2014-08-27 中国科学院自动化研究所 一种基于图像边缘保持自适应分解的超分辨率重建方法
JP2015203952A (ja) * 2014-04-14 2015-11-16 日本放送協会 超解像装置及びプログラム
WO2016019484A1 (en) * 2014-08-08 2016-02-11 Xiaoou Tang An apparatus and a method for providing super-resolution of a low-resolution image
CN104463785A (zh) * 2014-11-20 2015-03-25 深圳市理邦精密仪器股份有限公司 一种超声图像的放大方法及装置
WO2018053340A1 (en) * 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network
CN106991648A (zh) * 2017-04-10 2017-07-28 中国石油大学(华东) 一种基于小波变换和卷积神经网络的图像超分辨率重建方法
CN107341765A (zh) * 2017-05-05 2017-11-10 西安邮电大学 一种基于卡通纹理分解的图像超分辨率重建方法
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN109064396A (zh) * 2018-06-22 2018-12-21 东南大学 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN109472743A (zh) * 2018-10-25 2019-03-15 中国科学院电子学研究所 遥感图像的超分辨率重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QINGZHENG WANG 等: "Super-Resolution of Multi-Observed RGB-D Images Based on Nonlocal Regression and Total Variation", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
李伟 等: "基于卷积神经网络的深度图像超分辨率重建方法", 《电子测量与仪器学报》 *
李林伟: "基于图像分解的图像超分辨率算法的研究", 《万方数据库学位论文库》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673207A (zh) * 2019-10-09 2020-01-10 中国地质科学院矿产资源研究所 一种高频重建方法、装置及计算机存储介质
CN111127316A (zh) * 2019-10-29 2020-05-08 山东大学 一种基于sngan网络的单幅人脸图像超分辨方法及系统
CN112949348A (zh) * 2019-11-26 2021-06-11 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112949348B (zh) * 2019-11-26 2024-03-26 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110992265A (zh) * 2019-12-02 2020-04-10 北京数码视讯科技股份有限公司 图像处理方法及模型、模型的训练方法及电子设备
CN110992265B (zh) * 2019-12-02 2023-10-20 北京数码视讯科技股份有限公司 图像处理方法及模型、模型的训练方法及电子设备
CN111311488A (zh) * 2020-01-15 2020-06-19 广西师范大学 一种基于深度学习的高效超分辨率重建方法
CN113160046A (zh) * 2020-01-23 2021-07-23 百度在线网络技术（北京）有限公司 深度图像超分辨率方法、训练方法及装置、设备、介质
CN111292240B (zh) * 2020-01-23 2022-01-07 上海交通大学 一种基于成像模型与机器学习的磁共振超分辨率成像方法
CN111292240A (zh) * 2020-01-23 2020-06-16 上海交通大学 一种基于成像模型与机器学习的磁共振超分辨率成像方法
CN113160046B (zh) * 2020-01-23 2023-12-26 百度在线网络技术（北京）有限公司 深度图像超分辨率方法、训练方法及装置、设备、介质
CN111429371A (zh) * 2020-03-23 2020-07-17 Oppo广东移动通信有限公司 图像处理方法、装置及终端设备
CN111429371B (zh) * 2020-03-23 2023-09-29 Oppo广东移动通信有限公司 图像处理方法、装置及终端设备
CN113469321A (zh) * 2020-03-30 2021-10-01 聚晶半导体股份有限公司 基于神经网络的物件检测装置和物件检测方法
US11495015B2 (en) 2020-03-30 2022-11-08 Altek Semiconductor Corp. Object detection device and object detection method based on neural network
CN111429355A (zh) * 2020-03-30 2020-07-17 新疆大学 一种基于生成对抗网络的图像超分辨率重建方法
CN111597967A (zh) * 2020-05-12 2020-08-28 北京大学 一种红外图像多目标行人识别方法
CN111597967B (zh) * 2020-05-12 2023-04-07 北京大学 一种红外图像多目标行人识别方法
CN111915492A (zh) * 2020-08-19 2020-11-10 四川省人工智能研究院(宜宾) 一种基于动态重建的多分支视频超分辨率方法及系统
CN111985409A (zh) * 2020-08-21 2020-11-24 四川省人工智能研究院(宜宾) 一种用于实时街道场景分割的方法
CN112669225A (zh) * 2020-12-01 2021-04-16 宁波大学科学技术学院 基于结构分解的水下图像增强方法、系统及存储介质
CN112580381A (zh) * 2020-12-23 2021-03-30 成都数之联科技有限公司 一种基于深度学习的二维码超辨率重构增强方法及系统
CN112967357A (zh) * 2021-02-19 2021-06-15 中国人民解放军国防科技大学 一种基于卷积神经网络的频谱地图构建方法
CN113344779A (zh) * 2021-05-10 2021-09-03 山东师范大学 基于卡通纹理分解和深度学习的sar图像超分辨方法及系统
CN113344779B (zh) * 2021-05-10 2023-08-18 山东师范大学 基于卡通纹理分解和深度学习的sar图像超分辨方法及系统
CN113269691A (zh) * 2021-05-27 2021-08-17 北京卫星信息工程研究所 一种基于卷积稀疏进行噪声仿射拟合的sar图像去噪方法
CN113256536A (zh) * 2021-06-18 2021-08-13 之江实验室 一种基于小波分析的超高维数据重建深度学习方法
CN113536971A (zh) * 2021-06-28 2021-10-22 中科苏州智能计算技术研究院 一种基于增量学习的目标检测方法
CN114049254A (zh) * 2021-10-29 2022-02-15 华南农业大学 低像素牛头图像重建识别方法、系统、设备及存储介质
CN114693547A (zh) * 2022-03-03 2022-07-01 大连海事大学 基于图像超分辨的射频图像增强方法及射频图像识别方法

Also Published As

Publication number Publication date
CN110310227B (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN110310227A (zh) 一种基于高低频信息分解的图像超分辨率重建方法
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
Du et al. Super-resolution reconstruction of single anisotropic 3D MR images using residual convolutional neural network
CN109214989B (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN105046672B (zh) 一种图像超分辨率重建方法
Zheng et al. Multisource image fusion method using support value transform
CN110443768B (zh) 基于多重一致性约束的单帧图像超分辨率重建方法
Yuan et al. Adaptive multiple-frame image super-resolution based on U-curve
CN105046651B (zh) 一种图像的超分辨率重构方法和装置
CN104835130A (zh) 一种多曝光图像融合方法
CN109509160A (zh) 一种利用逐层迭代超分辨率的分层次遥感图像融合方法
Du et al. Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network
Xiao et al. A dual-UNet with multistage details injection for hyperspectral image fusion
CN109472743A (zh) 遥感图像的超分辨率重建方法
CN107784628A (zh) 一种基于重建优化和深度神经网络的超分辨率实现方法
He et al. Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks
Cao et al. Research for face image super-resolution reconstruction based on wavelet transform and SRGAN
CN102590773A (zh) 磁共振成像的方法和系统
Yan et al. SMIR: A Transformer-Based Model for MRI super-resolution reconstruction
CN113506222A (zh) 一种基于卷积神经网络的多模态图像超分辨方法
An et al. Image super-resolution reconstruction algorithm based on significant network connection-collaborative migration structure
Yang et al. An effective and comprehensive image super resolution algorithm combined with a novel convolutional neural network and wavelet transform
Wang et al. Group shuffle and spectral-spatial fusion for hyperspectral image super-resolution
CN109272450A (zh) 一种基于卷积神经网络的图像超分方法
CN116612009A (zh) 一种多尺度连接生成对抗网络医学图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant