CN112070668A - 一种基于深度学习和边缘增强的图像超分辨方法 - Google Patents

一种基于深度学习和边缘增强的图像超分辨方法 Download PDF

Info

Publication number
CN112070668A
CN112070668A CN202010829315.2A CN202010829315A CN112070668A CN 112070668 A CN112070668 A CN 112070668A CN 202010829315 A CN202010829315 A CN 202010829315A CN 112070668 A CN112070668 A CN 112070668A
Authority
CN
China
Prior art keywords
image
resolution
residual
low
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010829315.2A
Other languages
English (en)
Other versions
CN112070668B (zh
Inventor
刘晶
何帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Nanjing Artificial Intelligence Innovation Research Institute
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010829315.2A priority Critical patent/CN112070668B/zh
Publication of CN112070668A publication Critical patent/CN112070668A/zh
Application granted granted Critical
Publication of CN112070668B publication Critical patent/CN112070668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习和边缘增强的图像超分辨方法，具体为：制作原始图像数据集，并将原始图像处理得到低分辨率图像数据集，并划分训练集和测试集；将获得的训练集中的每一幅低分辨率图像进行处理得到对应的高频图像；将高频图像输入到残差网络中进行训练得到残差图像，将残差图像和原始图像输入逐像素损失和感知损失联合损失函数中，不断地迭代使损失函数最小化，经过训练最后生成超分辨网络模型；将测试集图像输入到超分辨率网络模型中，经过残差网络处理和联合损失函数最小化迭代，最后产生边缘信息增强的高分辨率图像。本发明解决了现有技术中存在的图像超分辨方法忽略了图像的边缘细节信息，降低了图像质量和视觉效果的问题。

Description

一种基于深度学习和边缘增强的图像超分辨方法
技术领域
本发明属于数字图像处理方法技术领域，涉及一种基于深度学习和边缘增强的图像超分辨方法。
背景技术
图像超分辨是计算机视觉和图像处理领域一个非常重要的研究问题，在医疗图像分析、生物特征识别、视频监控与安全等实际场景中有着广泛的应用。随着深度学习技术的发展，基于深度学习的图像超分方法在多个测试任务上，取得了目前最优的性能和效果。目前基于深度学习的主流超分辨方法有如下三类：基于前馈深度网络的方法、基于反馈深度网络的方法和基于双向深度网络的方法。
前馈深度网络能够较好地学习低分辨率图像到高分辨率图像之间的对应关系，前馈深度网络中各个神经元从输入层开始，接收前一级输入，并输入到下一级，直至输出层。整个网络中无反馈，可用一个有向无环图表示；反馈深度网络特点是通过解反卷积或学习数据集的基，对输入信号进行反解，与前馈网络不同，在反馈网络中，信息在前向传递的同时还要进行反向传递。其中，输入信号决定初始状态，所有神经元均具有信息处理功能，且每个神经元既可以从外界接收输入，同时又可以向外界输出，直到网络达到稳定状态；双向深度网络的方法将前馈网络和反馈网络相结合，既包含前馈网络反向传播的特点，又与反馈网络预训练方法类似。
图像的边缘信息对于图像的质量优劣起着至关重要的作用，目前存在的图像超分辨方法大多忽略了图像的边缘细节信息，使超分辨重建出的图像边缘和细节纹理模糊，降低了图像质量和视觉效果。
发明内容
本发明的目的是提供一种基于深度学习和边缘增强的图像超分辨方法，解决了现有技术中存在的图像超分辨方法忽略了图像的边缘细节信息，降低了图像质量和视觉效果的问题。
本发明所采用的技术方案是，一种基于深度学习和边缘增强的图像超分辨方法，具体按照如下步骤实施：
步骤1，制作原始图像数据集，然后采用双三次插值法将原始图像数据集中的原始图像进行退化得到低分辨率图像数据集，将低分辨率图像数据集划分为训练集和测试集；
步骤2，将步骤1获得的训练集中的每一幅低分辨率图像进行处理得到对应的高频图像；
步骤3，将步骤2中获得的高频图像输入到残差网络中进行训练得到残差图像，其中，残差网络包含特征嵌入模块、残差模块和重构模块三部分；
步骤4，将步骤3获得的残差图像和原始图像输入逐像素损失和感知损失联合损失函数中，不断地迭代使损失函数最小化，经过训练最后生成超分辨网络模型；
步骤5，设定超分辨网络模型的结构参数，将步骤1经过预处理好的测试集图像输入到超分辨率网络模型中，经过残差网络处理和联合损失函数最小化迭代，最后产生边缘信息增强的高分辨率图像。
本发明的特征还在于，
步骤2具体为：
对步骤1中的训练集中的低分辨率图像使用低通滤波器进行滤波，去除低频信息获得图像高频信息，得到高频图像。
根据空间域理论，训练集中的低分辨率图像x分解为低频层和高频层的和，如公式(1)所示：
x＝xlow+xhigh (1)
xlow表示图像低频层，xhigh表示图像高频层。
步骤3具体为：
步骤3.1，将步骤2中获得的高频图像输入到残差网络的特征嵌入模块，实现从图像空间映射到特征空间，生成特征映射；
步骤3.2，将步骤3.1中得到的特征映射输入到残差网络的残差模块，得到多通道特征映射的残差图像；
步骤3.3，将步骤3.2得到的多通道特征映射的残差图像输入到残差网络的重构模块，重构模块从多通道转换回原始图像空间，即就是1通道或3通道，得到残差图像。
步骤3.1中的特征嵌入模块使用3×3卷积层和ReLU激活函数作为嵌入部分，使用64个滤波器生成64个特征映射。
残差模块包括多个依次连接的残差单元，每个单元包括两个分支：残差分支和恒等映射，每个残差单元定义如公式(2)所示；
Ru＝F(Ru-1)+Ru-1 (2)
其中，R表示每个残差单元，u＝1，2，u，u为残差单元数，F为残差函数。
重构模块使用3×3卷积层作为重构部分。
步骤4具体为：
步骤4.1，定义联合损失函数，如公式(3)所示，
Ljoint＝Lmse+λLper (3)
其中，Lmse表示逐像素损失，Lper表示感知损失，λ为感知损失系数；
步骤4.2，将步骤3.3输出的残差图像与原始图像输入到逐像素损失函数中，经过逐像素损失函数处理生成峰值信噪比大于30的高分辨率图像，逐像素损失公式如公式(4)所示，
Figure BDA0002637348800000041
公式(4)中，Lmse表示逐像素损失，x为低分辨率图像，xhigh为x的高频层，y为低分辨率图像对应的原始图像，C、W、H分别为输入图像对{x，y}的通道、宽度和高度，F为残差公式；
步骤4.3，将步骤3.3输出的残差图像和原始图像同时输入到预先训练好的卷积神经网络中，使用固定权值的卷积神经网络作为损失网络，在卷积层中分别提取原始图像的特征映射和残差图像的特征映射，然后将两者的特征映射输入到感知损失函数中来学习特征的差异，从而恢复出图像的边缘和纹理细节信息，感知损失如公式(5)所示：
Figure BDA0002637348800000042
其中，Lper表示感知损失，
Figure BDA0002637348800000043
是卷积层的激活函数ReLU，
Figure BDA0002637348800000044
表示形状为Ci×Wi×Hi的特征映射，Ci、Wi、Hi分别为输入低分辨率图像对{x，y}的通道、宽度和高度，x-F(xhigh)表示前端残差网络生成的输出的残差图像，y表示输入低分辨率图像对应的原始图像；
步骤4.4，不断迭代步骤4.2和4.3，得到使联合损失函数Ljoint最小的一组权值参数作为训练好的模型参数，得到训练好的超分辨网络模型。
步骤5具体为：残差网络中每个卷积层使用64个3×3的滤波器，批处理大小为40，残差单元为14个，残差网络的深度设置为26、残差网络利用动量为0.9，最小批量大小为32的SGD，设置学习速率是10-3，每迭代1.2×105次减小一半；
将经过步骤1预处理好的测试集数据输入到步骤4.4产生的模型中，经过残差网络处理和联合损失函数最小化迭代，最后产生边缘信息增强的高分辨率图像。
训练集中低分辨率图像的数量为低分辨率图像数据集的70％，测试集中低分辨率图像的数量为低分辨率图像数据集的30％。
本发明的有益效果是：
(1)本发明方法相较于传统方法，深度学习方法可以学习特征的复杂层次结构，这使原始图像的特征信息不会丢失的过多，利用联合损失函数，使图像的边缘和细节信息更清楚，大大提高的超分辨图像的质量。
(2)本发明方法利用残差网络输出的残差图像，缩小了图像特征映射范围，简化了学习过程，提高了学习速率。
附图说明
图1是本发明一种基于深度学习和边缘增强的图像超分辨方法中使用的超分辨网络整体结构示意图；
图2是本发明一种基于深度学习和边缘增强的图像超分辨方法中使用的残差网络结构的示意图；
图3是本发明一种基于深度学习和边缘增强的图像超分辨方法中使用的联合损失函数结构示意图；
图4是本发明一种基于深度学习和边缘增强的图像超分辨方法中使用的预先训练好的感知损失网络SegNet的网络结构图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于深度学习和边缘增强的图像超分辨方法，具体按照如下步骤实施：
步骤1，制作原始图像数据集，然后采用双三次插值法将原始图像数据集中的原始图像进行退化得到的低分辨率图像数据集，将低分辨率图像数据集划分为训练集和测试集，训练集中低分辨率图像的数量为低分辨率图像数据集的70％，测试集中低分辨率图像的数量为低分辨率图像数据集的30％；
步骤2，将步骤1获得的训练集中的每一幅低分辨率图像进行处理得到对应的高频图像，具体为：对步骤1中的训练集中的低分辨率图像使用低通滤波器进行滤波，去除低频信息获得图像高频信息，得到高频图像，其中根据空间域理论，训练集中的低分辨率图像x分解为低频层和高频层的和，如公式(1)所示：
x＝xlow+xhigh (1)
xlow表示图像低频层，xhigh表示图像高频层；
步骤3，将步骤2中获得的高频图像输入到残差网络中进行训练得到残差图像，其中，残差网络包含特征嵌入模块、残差模块和重构模块三部分，如图2所示，具体为：
步骤3.1，将步骤2中获得的高频图像输入到残差网络的特征嵌入模块，实现从图像空间映射到特征空间，生成特征映射；特征嵌入模块使用3×3卷积层和ReLU激活函数作为嵌入部分，使用64个滤波器生成64个特征映射；
步骤3.2，将步骤3.1中得到的特征映射输入到残差网络的残差模块，得到多通道特征映射的残差图像；残差模块包括多个依次连接的残差单元，每个单元包括两个分支：残差分支和恒等映射，每个残差单元定义如公式(2)所示；
Ru＝F(Ru-1)+Ru-1 (2)
其中，R表示每个残差单元，u＝1，2，u，u为残差单元数，F为残差函数；
残差模块使用恒等映射让信号在训练的前向和后向传播阶段直接从一个单元传递到另一个单元，降低了梯度消失的可能性，残差分支包含两个卷积层，目的是学习卷积滤波器来提取特征；恒等映射允许梯度在传播中直接传输；
步骤3.3，将步骤3.2得到的多通道特征映射的残差图像输入到残差网络的重构模块，重构模块从多通道转换回原始图像空间，即就是1通道或3通道，得到残差图像，重构模块使用3×3卷积层作为重构部分，以输出精确的残差图像；
步骤4，将步骤3获得的残差图像和原始图像输入逐像素损失和感知损失联合损失函数中，如图3所示，不断地迭代使损失函数最小化，经过训练最后生成超分辨网络模型，如图1所示，具体为：
步骤4.1，结合逐像素损失(Mse Loss)和感知损失(Perceptual Loss)两种损失函数的优势，定义联合损失函数，如公式(3)所示，
Ljoint＝Lmse+λLper (3)
其中，Lmse表示逐像素损失，Lper表示感知损失，λ为感知损失系数；
步骤4.2，将步骤3.3输出的残差图像与原始图像输入到逐像素损失函数中，经过逐像素损失函数处理生成峰值信噪比大于30的高分辨率图像，逐像素损失公式如公式(4)所示，
Figure BDA0002637348800000081
公式(4)中，Lmse表示逐像素损失，x为低分辨率图像，xhigh为x的高频层，y为低分辨率图像对应的原始图像，C、W、H分别为输入图像对{x，y}的通道、宽度和高度，F为残差公式；由于仅仅依赖于低层次逐像素损失会造成细节丢失，并且逐像素损失不能衡量图像之间的感知和语义差异，可能会输出模糊的图像，所以我们又引入了感知损失(PerceptualLoss)；
步骤4.3，将步骤3输出的残差图像和原始图像同时输入到预先训练好的卷积神经网络中，使用固定权值的卷积神经网络作为损失网络，在卷积层中分别提取原始图像的特征映射和残差图像的特征映射，然后将两者的特征映射输入到感知损失函数中来学习特征的差异，从而恢复出图像的边缘和纹理细节信息，感知损失如公式(5)所示：
Figure BDA0002637348800000082
其中，Lper表示感知损失，
Figure BDA0002637348800000083
是卷积层的激活函数ReLU，
Figure BDA0002637348800000084
表示形状为Ci×Wi×Hi的特征映射，Ci、Wi、Hi分别为输入低分辨率图像对{x，y}的通道、宽度和高度，x-F(xhigh)表示前端残差网络生成的输出的残差图像，y表示输入低分辨率图像对应的原始图像；
对于预先训练好的卷积神经网络，如图4所示，使用用于图像语义分割的SegNet作为损失网络，将图像输入到该网络中，经过训练得到分割后的图像。语义分割的目的就在于不仅指出图像中某个东西是什么，而且指出在图像中的什么位置，SegNet是一个对称网络，由中间池化层(Pooling)与上采样层(Upsampling)作为分割，左边是卷积提取高维特征并通过池化层使图像变小，右边是反卷积与上采样层，通过反卷积使得图像分类后特征得以重现，上采样层使图像变大，最后通过分类函数(Softmax)，输出不同分类的最大值。
在SegNet中上采样层和解码层用于恢复因下采样而丢失的更多空间信息，我们在特征空间中定义感知损失函数，并在原始图像的特征表示和残差网络的输出之间度量它。
步骤4.4，不断迭代步骤4.2和4.3，得到使联合损失函数Ljoint最小的一组权值参数作为训练好的模型参数，得到训练好的超分辨网络模型。
步骤5，设定超分辨网络模型的结构参数，将步骤1经过预处理好的测试集图像输入到超分辨率网络模型中，经过残差网络处理和联合损失函数最小化迭代，最后产生边缘信息增强的高分辨率图像，具体为：残差网络中每个卷积层使用64个3×3的滤波器，批处理大小为40，残差单元为14个，残差网络的深度设置为26、残差网络利用动量为0.9，最小批量大小为32的SGD，设置学习速率是10-3，每迭代1.2×105次减小一半；
将经过步骤1预处理好的测试集数据输入到步骤4.4产生的模型中，经过残差网络处理和联合损失函数最小化迭代，最后产生边缘信息增强的高分辨率图像。

Claims (10)

1.一种基于深度学习和边缘增强的图像超分辨方法，其特征在于，具体按照如下步骤实施：
步骤1，制作原始图像数据集，然后采用双三次插值法将原始图像数据集中的原始图像进行退化得到低分辨率图像数据集，将低分辨率图像数据集划分为训练集和测试集；
步骤2，将步骤1获得的训练集中的每一幅低分辨率图像进行处理得到对应的高频图像；
步骤3，将步骤2中获得的高频图像输入到残差网络中进行训练得到残差图像，其中，残差网络包含特征嵌入模块、残差模块和重构模块三部分；
步骤4，将步骤3获得的残差图像和原始图像输入逐像素损失和感知损失联合损失函数中，不断地迭代使损失函数最小化，经过训练最后生成超分辨网络模型；
步骤5，设定超分辨网络模型的结构参数，将步骤1经过预处理好的测试集图像输入到超分辨率网络模型中，经过残差网络处理和联合损失函数最小化迭代，最后产生边缘信息增强的高分辨率图像。
2.根据权利要求1的一种基于深度学习和边缘增强的图像超分辨方法，其特征在于，步骤2具体为：
对步骤1中的训练集中的低分辨率图像使用低通滤波器进行滤波，去除低频信息获得图像高频信息，得到高频图像。
3.根据权利要求2的一种基于深度学习和边缘增强的图像超分辨方法，其特征在于，根据空间域理论，训练集中的低分辨率图像x分解为低频层和高频层的和，如公式(1)所示：
x＝xlow+xhigh (1)
xlow表示图像低频层，xhigh表示图像高频层。
4.根据权利要求2的一种基于深度学习和边缘增强的图像超分辨方法，其特征在于，步骤3具体为：
步骤3.1，将步骤2中获得的高频图像输入到残差网络的特征嵌入模块，实现从图像空间映射到特征空间，生成特征映射；
步骤3.2，将步骤3.1中得到的特征映射输入到残差网络的残差模块，得到多通道特征映射的残差图像；
步骤3.3，将步骤3.2得到的多通道特征映射的残差图像输入到残差网络的重构模块，重构模块从多通道转换回原始图像空间，即就是1通道或3通道，得到残差图像。
5.根据权利要求4的一种基于深度学习和边缘增强的图像超分辨方法，其特征在于，步骤3.1中的特征嵌入模块使用3×3卷积层和ReLU激活函数作为嵌入部分，使用64个滤波器生成64个特征映射。
6.根据权利要求4的一种基于深度学习和边缘增强的图像超分辨方法，其特征在于，残差模块包括多个依次连接的残差单元，每个单元包括两个分支：残差分支和恒等映射，每个残差单元定义如公式(2)所示；
Ru＝F(Ru-1)+Ru-1 (2)
其中，R表示每个残差单元，u＝1，2，u，u为残差单元数，F为残差函数。
7.根据权利要求4的一种基于深度学习和边缘增强的图像超分辨方法，其特征在于，重构模块使用3×3卷积层作为重构部分。
8.根据权利要求4的一种基于深度学习和边缘增强的图像超分辨方法，其特征在于，步骤4具体为：
步骤4.1，定义联合损失函数，如公式(3)所示，
Ljoint＝Lmse+λLper (3)
其中，Lmse表示逐像素损失，Lper表示感知损失，λ为感知损失系数；
步骤4.2，将步骤3.3输出的残差图像与原始图像输入到逐像素损失函数中，经过逐像素损失函数处理生成峰值信噪比大于30的高分辨率图像，逐像素损失公式如公式(4)所示，
Figure FDA0002637348790000031
公式(4)中，Lmse表示逐像素损失，x为低分辨率图像，xhigh为x的高频层，y为低分辨率图像对应的原始图像，C、W、H分别为输入图像对{x，y}的通道、宽度和高度，F为残差公式；
步骤4.3，将步骤3输出的残差图像和原始图像同时输入到预先训练好的卷积神经网络中，使用固定权值的卷积神经网络作为损失网络，在卷积层中分别提取原始图像的特征映射和残差图像的特征映射，然后将两者的特征映射输入到感知损失函数中来学习特征的差异，从而恢复出图像的边缘和纹理细节信息，感知损失如公式(5)所示：
Figure FDA0002637348790000032
其中，Lper表示感知损失，
Figure FDA0002637348790000033
是卷积层的激活函数ReLU，
Figure FDA0002637348790000034
表示形状为Ci×Wi×Hi的特征映射，Ci、Wi、Hi分别为输入低分辨率图像对{x，y}的通道、宽度和高度，x-F(xhigh)表示前端残差网络生成的输出的残差图像，y表示输入低分辨率图像对应的原始图像；
步骤4.4，不断迭代步骤4.2和4.3，得到使联合损失函数Ljoint最小的一组权值参数作为训练好的模型参数，得到训练好的超分辨网络模型。
9.根据权利要求8的一种基于深度学习和边缘增强的图像超分辨方法，其特征在于，步骤5具体为：残差网络中每个卷积层使用64个3×3的滤波器，批处理大小为40，残差单元为14个，残差网络的深度设置为26、残差网络利用动量为0.9，最小批量大小为32的SGD，设置学习速率是10-3，每迭代1.2×105次减小一半；
将经过步骤1预处理好的测试集数据输入到步骤4.4产生的模型中，经过残差网络处理和联合损失函数最小化迭代，最后产生边缘信息增强的高分辨率图像。
10.根据权利要求1的一种基于深度学习和边缘增强的图像超分辨方法，其特征在于，所述训练集中低分辨率图像的数量为低分辨率图像数据集的70％，测试集中低分辨率图像的数量为低分辨率图像数据集的30％。
CN202010829315.2A 2020-08-18 2020-08-18 一种基于深度学习和边缘增强的图像超分辨方法 Active CN112070668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010829315.2A CN112070668B (zh) 2020-08-18 2020-08-18 一种基于深度学习和边缘增强的图像超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010829315.2A CN112070668B (zh) 2020-08-18 2020-08-18 一种基于深度学习和边缘增强的图像超分辨方法

Publications (2)

Publication Number Publication Date
CN112070668A true CN112070668A (zh) 2020-12-11
CN112070668B CN112070668B (zh) 2024-07-12

Family

ID=73661893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010829315.2A Active CN112070668B (zh) 2020-08-18 2020-08-18 一种基于深度学习和边缘增强的图像超分辨方法

Country Status (1)

Country Link
CN (1) CN112070668B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967184A (zh) * 2021-02-04 2021-06-15 西安理工大学 一种基于双尺度卷积神经网络的超分辨放大方法
CN113658040A (zh) * 2021-07-14 2021-11-16 西安理工大学 一种基于先验信息和注意力融合机制的人脸超分辨方法
CN113971763A (zh) * 2020-12-21 2022-01-25 河南铮睿科达信息技术有限公司 一种基于目标检测和超分重建的小目标分割方法和装置
CN114936983A (zh) * 2022-06-16 2022-08-23 福州大学 基于深度级联残差网络的水下图像增强方法及系统
CN116469047A (zh) * 2023-03-20 2023-07-21 南通锡鼎智能科技有限公司 针对实验室教学的小目标检测方法及检测装置
CN116934618A (zh) * 2023-07-13 2023-10-24 江南大学 一种基于改进残差网络的图像半色调方法、系统及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN109308679A (zh) * 2018-08-13 2019-02-05 深圳市商汤科技有限公司 一种图像风格转换方及装置、设备、存储介质
KR20190040586A (ko) * 2017-10-11 2019-04-19 인하대학교 산학협력단 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110211035A (zh) * 2019-04-18 2019-09-06 天津中科智能识别产业技术研究院有限公司 融合互信息的深度神经网络的图像超分辨率方法
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN111353940A (zh) * 2020-03-31 2020-06-30 成都信息工程大学 一种基于深度学习迭代上下采样的图像超分辨率重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
KR20190040586A (ko) * 2017-10-11 2019-04-19 인하대학교 산학협력단 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템
CN109308679A (zh) * 2018-08-13 2019-02-05 深圳市商汤科技有限公司 一种图像风格转换方及装置、设备、存储介质
CN110211035A (zh) * 2019-04-18 2019-09-06 天津中科智能识别产业技术研究院有限公司 融合互信息的深度神经网络的图像超分辨率方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN111353940A (zh) * 2020-03-31 2020-06-30 成都信息工程大学 一种基于深度学习迭代上下采样的图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柏宇阳;朱福珍;: "改进的残差卷积神经网络遥感图像超分辨重建", 黑龙江大学自然科学学报, no. 03, 25 June 2020 (2020-06-25) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113971763A (zh) * 2020-12-21 2022-01-25 河南铮睿科达信息技术有限公司 一种基于目标检测和超分重建的小目标分割方法和装置
CN112967184A (zh) * 2021-02-04 2021-06-15 西安理工大学 一种基于双尺度卷积神经网络的超分辨放大方法
CN112967184B (zh) * 2021-02-04 2022-12-13 西安理工大学 一种基于双尺度卷积神经网络的超分辨放大方法
CN113658040A (zh) * 2021-07-14 2021-11-16 西安理工大学 一种基于先验信息和注意力融合机制的人脸超分辨方法
CN114936983A (zh) * 2022-06-16 2022-08-23 福州大学 基于深度级联残差网络的水下图像增强方法及系统
CN116469047A (zh) * 2023-03-20 2023-07-21 南通锡鼎智能科技有限公司 针对实验室教学的小目标检测方法及检测装置
CN116934618A (zh) * 2023-07-13 2023-10-24 江南大学 一种基于改进残差网络的图像半色调方法、系统及介质
CN116934618B (zh) * 2023-07-13 2024-06-11 江南大学 一种基于改进残差网络的图像半色调方法、系统及介质

Also Published As

Publication number Publication date
CN112070668B (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
CN112070668B (zh) 一种基于深度学习和边缘增强的图像超分辨方法
CN111402129B (zh) 一种基于联合上采样卷积神经网络的双目立体匹配方法
CN111047515B (zh) 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN111028163B (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN111833246B (zh) 基于注意力级联网络的单帧图像超分辨方法
CN110889895B (zh) 一种融合单帧重建网络的人脸视频超分辨率重建方法
CN112435191B (zh) 一种基于多个神经网络结构融合的低照度图像增强方法
CN113313644B (zh) 一种基于残差双注意力网络的水下图像增强方法
CN112767283A (zh) 一种基于多图像块划分的非均匀图像去雾方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN116152120A (zh) 一种融合高低频特征信息的低光图像增强方法及装置
CN115731138A (zh) 一种基于Transformer与卷积神经网络的图像修复方法
CN116029902A (zh) 一种基于知识蒸馏的无监督真实世界图像超分辨方法
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
CN114529482B (zh) 基于小波多通道深度网络的图像压缩感知重建方法
CN110288529B (zh) 一种基于递归局部合成网络的单幅图像超分辨率重建方法
CN117114984A (zh) 基于生成对抗网络的遥感图像超分辨率重建方法
CN117078539A (zh) 基于CNN-Transformer的局部全局交互式图像恢复方法
CN117611484B (zh) 一种基于去噪自解码网络的图像去噪方法及系统
CN117078516B (zh) 基于残差混合注意力的矿井图像超分辨率重建方法
CN114022356A (zh) 基于小波域的河道流量水位遥感图像超分辨率方法与系统
CN112634168A (zh) 一种结合边缘信息的图像修复方法
CN113837963B (zh) 基于深度网络在lab颜色空间下的水下图像增强方法
CN113362241B (zh) 一种结合高低频分解和两级融合策略的深度图去噪方法
CN115797181A (zh) 一种面向矿井模糊环境的图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240521

Address after: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Hongyue Information Technology Co.,Ltd.

Country or region after: China

Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 5

Applicant before: XI'AN University OF TECHNOLOGY

Country or region before: China

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240616

Address after: 211135 floor 3, building 3, Qilin artificial intelligence Industrial Park, 266 Chuangyan Road, Nanjing, Jiangsu

Applicant after: Zhongke Nanjing artificial intelligence Innovation Research Institute

Country or region after: China

Address before: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant before: Shenzhen Hongyue Information Technology Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant