CN109146777B - 利用预训练网络的感知相似性进行混合图像超分辨方法 - Google Patents

利用预训练网络的感知相似性进行混合图像超分辨方法 Download PDF

Info

Publication number
CN109146777B
CN109146777B CN201810621592.7A CN201810621592A CN109146777B CN 109146777 B CN109146777 B CN 109146777B CN 201810621592 A CN201810621592 A CN 201810621592A CN 109146777 B CN109146777 B CN 109146777B
Authority
CN
China
Prior art keywords
image
resolution
super
low
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810621592.7A
Other languages
English (en)
Other versions
CN109146777A (zh
Inventor
邱兰馨
姚一杨
江樱
曾仕途
王彦波
王剑
樊华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Zhejiang Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
State Grid Zhejiang Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Zhejiang Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd filed Critical State Grid Zhejiang Electric Power Co Ltd
Priority to CN201810621592.7A priority Critical patent/CN109146777B/zh
Publication of CN109146777A publication Critical patent/CN109146777A/zh
Application granted granted Critical
Publication of CN109146777B publication Critical patent/CN109146777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了利用预训练网络的感知相似性进行混合图像超分辨方法，包括：将已知图像进行分解得到低分辨率图像，基于低分辨率图像建立对比词典，基于对比词典得到与已知图像对应的高分辨率图像块；获取已知图像，基于卷积神经网络对已知图像进行差值运算，得到高分辨率图像；构建基于感知相似度的损失函数，基于损失函数的运算结果选取如步骤一所示的内部重构方法或是如步骤二所示的外部重构方法对待处理图像进行超分辨率重构处理。通过对预先训练的VGG网络的特征代表来计算感知相似度，重构每个补丁并最小化超分辨错误，最终达到重构基于最优质性能的HR图像的结果，避免了内部和外部SR算法的缺点，大大提升了有效性、实用性和稳定性。

Description

利用预训练网络的感知相似性进行混合图像超分辨方法
技术领域
本发明属于导航领域，特别涉及利用预训练网络的感知相似性进行混合图 像超分辨方法。
背景技术
超分辨率(SR)方法用于从一个或多个低分辨率(LR)图像中重建高分辨率 (HR)图像。最流行的SR算法使用基于外部数据集的样本基于词典重构HR图像。 外部SR算法通常专注于学习从LR到HR图像的映射。然后用这个映射来超解 析HR图像的高频细节。一些研究表明，相同尺度下的相似结构或在相同图像中 的不同尺度下的相似结构在自然图像中是很常见的。近年来，这一特点激发了 一些著名的自相似驱动算法。
根据训练数据的来源，大多数方法可以分为两个子类:外部的和内部的，W.T.Freeman等人根据马尔可夫随机场(MRF)模型，从LR到HR补丁，训练了一个 映射函数。然而，对于用于学习最优LR-HR映射的外部数据集的所需规模，还 没有确定的标准。D.Glasner提出了根据相似结构的特征可以在相同尺度或范围 内的自然图像中找到，进而从给定的LR图像中创建内部字典的这一核心思想。 C.Dong提出了利用基于l2距离加权的方向选择性子带能量寻找相似的补丁。内 部字典可以通过给定的LR图像生成更多相应的LR-HR补丁对，而不是外部字 典。但一般从给定的图像中获得的内部字典通常比外部字典的LR-HR补丁对要 少，这可能达不到预期的大小。现有的超分辨(SR)方法，还存在以下缺点：
1.在处理很少出现在给定数据集中的一些独特的特性时，外部的SR方法往 往会引入噪声或过于平滑的图像。
2.外部SR算法不能保证任意输入补丁可以很好地匹配或以有限大小的外部 数据集表示，因此受到训练集大小的限制。
3.内部自相似方法由于有限大小的内部字典，这些方法不能充分地找到次优 匹配来超解析LR图像。
发明内容
为了解决现有技术中存在的缺点和不足，本发明提供了利用预训练网络的 感知相似性进行混合图像超分辨方法，用于提高图像处理过程中的有效性、实 用性和稳定性。
为了达到上述技术目的，本发明提供了利用预训练网络的感知相似性进行 混合图像超分辨方法，所述超分辨方法，包括：
步骤一，将已知图像进行分解得到低分辨率图像，基于低分辨率图像建立 对比词典，基于对比词典得到与已知图像对应的高分辨率图像块；
步骤二，获取已知图像，基于卷积神经网络对已知图像进行差值运算，得 到高分辨率图像；
步骤三，构建基于感知相似度的损失函数，基于损失函数的运算结果选取 如步骤一所示的内部重构方法或是如步骤二所示的外部重构方法对待处理图像 进行超分辨率重构处理。
可选的，所述基于低分辨率图像建立对比词典，基于对比词典得到与已知 图像对应的高分辨率图像块，包括：
对所给的样本图像，由于其存在着一些结构自相似的图像块，因此可以利 用该图像的不同尺度相似图像块建立内部字典，从低分辨图像中选取相似的图 像块组成低分辨字典
Figure BDA0001698193740000031
从相对的高分辨率的图像中选取一些相似的图像块组 成一个高分辨字典
Figure BDA0001698193740000032
对于每一个图像块
Figure BDA0001698193740000033
目标是在超解析高分辨(HR)图像
Figure BDA0001698193740000034
通过内部 字典
Figure BDA0001698193740000035
找到相应的HR图像块
Figure BDA0001698193740000036
可选的，所述获取已知图像，基于卷积神经网络对已知图像进行差值运算， 得到高分辨率图像，包括：
使用双三次插值算法将的输入图像(低分辨率图像)提升到所需的大小，并将 插值图像表示为Yip；
使用CNN学习低分辨率转变成高分辨率的过程F的映射，将低分辨率的插 值图像Yip转换成高分辨率图像。
可选的，所述使用CNN学习低分辨率转变成高分辨率的过程F的映射，将 低分辨率的插值图像Yip转换成高分辨率图像，包括：
基于第一个卷基层提取一组特征映射；
基于第二层将所述特征映射与高分辨率的补丁表示成非线性映射；
基于第三层根据得到的非线性映射生成最终的高分辨率图像。
可选的，所述构建基于感知相似度的损失函数，基于损失函数的运算结果 选取如步骤一所示的内部重构方法或是如步骤二所示的外部重构方法对待处理 图像进行超分辨率重构处理，包括：
构建如公式3所示的损失函数
Figure BDA0001698193740000037
将基于外部超分辨率重构方法的损失函数定义成lossex，相似度是图像内部 超分辨率重构方法的损失函数lossin，得到如公式4所示的自适应权重表达式
Figure BDA0001698193740000041
sgn函数返回值只有3个结果：大于0取1，等于0取0，小于0取-1，故 自适应权重ω也有三个结果：1、0.5、0，当为1时选择如步骤一所示的内部超 分辨率重构的方法，0时选如步骤二所示的外部内部超分辨率重构方法，0.5时 两者都用。
本发明提供的技术方案带来的有益效果是：
通过对预先训练的VGG网络的特征代表来计算感知相似度，重构每个补丁 并最小化超分辨错误，最终达到重构基于最优质性能的HR图像的结果，避免了 内部和外部SR算法的缺点，大大提升了有效性、实用性和稳定性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用 的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实 施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
图1是本发明提供的利用预训练网络的感知相似性进行混合图像超分辨方 法的流程示意图。
具体实施方式
为使本发明的结构和优点更加清楚，下面将结合附图对本发明的结构作进 一步地描述。
实施例一
本发明提供了利用预训练网络的感知相似性进行混合图像超分辨方法，如 图1所示，所述超分辨方法，包括：
步骤一，将已知图像进行分解得到低分辨率图像，基于低分辨率图像建立 对比词典，基于对比词典得到与已知图像对应的高分辨率图像块；
步骤二，获取已知图像，基于卷积神经网络对已知图像进行差值运算，得 到高分辨率图像；
步骤三，构建基于感知相似度的损失函数，基于损失函数的运算结果选取 如步骤一所示的内部重构方法或是如步骤二所示的外部重构方法对待处理图像 进行超分辨率重构处理。
在实施中，SR:super-resolution(超分辨)、HR:high-resolution(高分辨)、LR:Low-resolution(低分辨)。
本实施例提供的混合图像超分辨方法，综合了外部和内部SR方法的优点， 通过对预先训练的VGG网络的特征代表来计算感知相似度，重构基于最优质 量性能的HR图像。避免了内部和外部SR算法的缺点，大大提升了有效性、实 用性和稳定性。
具体的，步骤一中，将已知图像进行分解得到低分辨率图像包括：
将已知数据集中的图像分解为图像块，通过缩小每个补丁尺度的方式获取 低分辨率LR图像。
Figure BDA0001698193740000051
中的fd是下采样算子，可看成是缩小的比例，用于缩小图 像，
Figure BDA0001698193740000052
是每个原始图像的图像块，
Figure BDA0001698193740000053
是缩小后的补丁，通过对图像进行 下采样可以获取该补丁的轮廓信息，得到图像的缩略图。
对所给的样本图像，由于其存在着一些结构自相似的图像块，因此可以利 用该图像的不同尺度相似图像块建立内部字典，从低分辨图像中选取相似的图 像块组成低分辨字典
Figure BDA0001698193740000061
从相对的高分辨率的图像中选取一些相似的图像块组 成一个高分辨字典
Figure BDA0001698193740000062
对于每一个图像块
Figure BDA0001698193740000063
目标是在超解析高分辨(HR)图像
Figure BDA0001698193740000064
通过内部 字典
Figure BDA0001698193740000065
找到相应的HR图像块
Figure BDA0001698193740000066
在实施中，自相似是指类似的结构是指可以在相同尺度内或跨尺度的所给 的图像中找到，指对原始图像进行下采样的图像集合，其本质是同一种图片不 同分辨率，故是有其自相似性。
创建过程：对所给的样本图像，由于其存在着一些结构自相似的图像块，因 此可以利用该图像的不同尺度相似图像块建立内部字典，从低分辨图像中选取 相似的图像块组成低分辨字典
Figure BDA0001698193740000067
从相对的高分辨率的图像中选取一些相似 的图像块组成一个高分辨字典
Figure BDA0001698193740000068
计算HR图像块，对于每一个图像块
Figure BDA0001698193740000069
目标是在超解析高分辨(HR)图 像
Figure BDA00016981937400000610
通过内部字典
Figure BDA00016981937400000611
找到相应的HR图像块
Figure BDA00016981937400000612
计算公式如下
Figure BDA00016981937400000613
其中
Figure BDA00016981937400000614
表示字典中每个相似的LR图像块与
Figure BDA00016981937400000615
对应的相 似度,σ表示一个全局平滑参数，
Figure BDA0001698193740000071
中的
Figure BDA0001698193740000072
表示每个LR图像块所占的相似度的权值， 因为对于原始图像块
Figure BDA0001698193740000073
可以由字典中的k个相似图像块组成，该公式表示对 于重建出的高分辨(HR)图像块
Figure BDA0001698193740000074
是可以由高分辨字典中的高分辨图像块进行 线性组合重建成的。字典也就是过完备基，这就意味着每个图像块都能由这些 基表示，表示后会得到一个稀疏系数，在假设稀疏系数相同的情况下，高分辨 率图像块能够由这些系数和其对应的高分辨率字典构成。
可选的，所述获取已知图像，基于卷积神经网络对已知图像进行差值运算， 得到高分辨率图像，包括：
使用双三次插值算法将的输入图像(低分辨率图像)提升到所需的大小，并将 插值图像表示为Yip；
使用CNN学习低分辨率转变成高分辨率的过程F的映射，将低分辨率的插 值图像Yip转换成高分辨率图像。
在实施中，使用双三次插值算法将的输入图像(低分辨率图像)提升到所需的 大小，并将插值图像表示为Yip。
插值图像指经过双三次差值放大后的图像，Yip指经过差值算法放大后的低 分辨率图像。使用CNN学习低分辨率转变成高分辨率的过程F的映射，将低分 辨率的插值图像Yip转换成高分辨率图像，包括：
基于第一个卷基层提取一组特征映射；
基于第二层将所述特征映射与高分辨率的补丁表示成非线性映射；
基于第三层根据得到的非线性映射生成最终的高分辨率图像。
在实施中，这里的F是指利用CNN将低分辨率转变成高分辨率的过程。包 括三个操作：图像块提取和表示、非线性映射和重构。通过网络中的三个卷积 层组成，第一个卷基层提取了一组特征映射，第二层将这些特征映射与高分辨 率的补丁表示成非线性映射，第三层用于生成最终的高分辨率图像。
此时外部SR方法的损失函数如下：
Figure BDA0001698193740000081
其中n是训练样本的数量,Θ代表了网络参数。
Figure BDA0001698193740000084
是外部训练数据集中第i 个高分辨率真实图像(外部训练集中是指可以与原图像无关的训练图像，学习 其对应的LR-HR的对应关系)，
Figure BDA0001698193740000085
代表相应的低分辨率插值图像。Θ是通过 将重构图像与真实图像之间的损失最小化来实现的。
可选的，所述构建基于感知相似度的损失函数，基于损失函数的运算结果 选取如步骤一所示的内部重构方法或是如步骤二所示的外部重构方法对待处理 图像进行超分辨率重构处理，包括：
构建如公式3所示的损失函数
Figure BDA0001698193740000082
将基于外部超分辨率重构方法的损失函数定义成lossex，相似度是图像内部 超分辨率重构方法的损失函数lossin，得到如公式4所示的自适应权重表达式
Figure BDA0001698193740000083
sgn函数返回值只有3个结果：大于0取1，等于0取0，小于0取-1，故 自适应权重ω也有三个结果：1、0.5、0，当为1时选择如步骤一所示的内部超 分辨率重构的方法，0时选如步骤二所示的外部内部超分辨率重构方法，0.5时 两者都用。
在实施中，VGG网络基于感知是因为该深度神经网络中的每个神经元的感 知区域来自于上一层的部分神经元。在本方法中通过对图像的特征进行映射， 使预测后的图像不断的与真实清晰图像相似)Wi,j和Hi,j表示网络中特征图的宽 度和高度，φi,j(IH)x,y描述了通过VGG-19网络中的第j个卷积层和第i个的 最大池化层得到的预测的高分辨特征图，φi,j(IL)x,y描述了通过第j个卷积层 和第i个的最大池化层得到的低分辨率图像的特征图。
公式3是基于感知相似度得出的损失函数，相似度是图像内部SR方法的衡 量度，因此看做是内部SR方法的损失函数lossin，注意在步骤一中是通过自相 似性得出重建的补丁，但基于相似度的损失函数通过公式3得出的，两者不矛 盾。
根据公式4得到自适应权重ω，选取权重大的方法重建补丁
Figure BDA0001698193740000091
对于该公式，由于sgn函数返回值只有3个结果：大于0取1，等于0取0， 小于0取-1，故自适应权重ω也有三个结果：1、0.5、0，当为1时选择内部SR 的方法，0.5时两者都用，0时选外部SR方法，以此类推。
自动选择最优方法重构图像
(1)根据公式5将外部数据进行有效的正则化，
Figure BDA0001698193740000101
公式5是指利用外部SR方法重建的HR图像SR，
Figure BDA0001698193740000102
表示用外部SR方法 重建的HR图像，其中xi是被估计的HR图像中的第i个图像块,表示离线训练 的投影矩阵。yi是原LR图像中的第i个图像块。(从公式中可看出是HR图像 是由图像块求和得出的。)离线训练是指先训练好的，投影矩阵是指利用CNN 进行特征映射时每个图像块对应的系数组成的矩阵。
(2)根据制定内部数据的自相似方法
Figure BDA0001698193740000103
内部数据是指内部SR方法，
Figure BDA0001698193740000104
是指利用内部SR方法重建的HR图像，xi是被估计的HR图像中的第i个图像块，当j属于类似于X的图像块的集合时， Wi代表稀疏系数εij，(i是指第i个图像块，j是指与第i个图像块相似的图像块， 一个图像块是由多个相似的图像块组合成的)，Ii属于与图像块相似的几个图像 块的集合。
(3)在上述基础上基于公式7进行图像SR重构。
Figure BDA0001698193740000105
Y表示原始LR图像，S是模糊因子，H是下采样算子，SH合起来代表 干扰因子示X表示HR图像，SHX整体表示下采样流程，ω是公式4中的自 适应权重，λ1和λ2是正则化系数，正则化是对要优化的函数进行约束，防止过 拟合。
对原始的LR图像进行SR重构，获取重构的HR图像，公式7中的就是表 示通过求解最优化的问题来获取变量值，从而使整个式子达到最优化，arg min 就是使后面的式子
Figure BDA0001698193740000111
达到最小值时的变量S H的取值。
本发明提供了利用预训练网络的感知相似性进行混合图像超分辨方法，包 括：将已知图像进行分解得到低分辨率图像，基于低分辨率图像建立对比词典， 基于对比词典得到与已知图像对应的高分辨率图像块；获取已知图像，基于卷 积神经网络对已知图像进行差值运算，得到高分辨率图像；构建基于感知相似 度的损失函数，基于损失函数的运算结果选取如步骤一所示的内部重构方法或 是如步骤二所示的外部重构方法对待处理图像进行超分辨率重构处理。通过对 预先训练的VGG网络的特征代表来计算感知相似度，重构每个补丁并最小化超 分辨错误，最终达到重构基于最优质性能的HR图像的结果，避免了内部和外部 SR算法的缺点，大大提升了有效性、实用性和稳定性。
上述实施例中的各个序号仅仅为了描述，不代表各部件的组装或使用过程 中的先后顺序。
以上所述仅为本发明的实施例，并不用以限制本发明，凡在本发明的精神 和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护 范围之内。

Claims (4)

1.利用预训练网络的感知相似性进行混合图像超分辨方法，其特征在于，所述超分辨方法，包括：
步骤一，将已知图像进行分解得到低分辨率图像，基于低分辨率图像建立对比词典，基于对比词典得到与已知图像对应的高分辨率图像块；
步骤二，获取已知图像，基于卷积神经网络对已知图像进行差值运算，得到高分辨率图像；
步骤三，构建基于感知相似度的损失函数，基于损失函数的运算结果选取如步骤一所示的内部重构方法或是如步骤二所示的外部重构方法对待处理图像进行超分辨率重构处理；
所述构建基于感知相似度的损失函数，基于损失函数的运算结果选取如步骤一所示的内部重构方法或是如步骤二所示的外部重构方法对待处理图像进行超分辨率重构处理，包括：
构建如公式3所示的损失函数
Figure FDA0002593023760000011
将基于外部超分辨率重构方法的损失函数定义成lossex，相似度是图像内部超分辨率重构方法的损失函数lossin，得到如公式4所示的自适应权重表达式
Figure FDA0002593023760000012
sgn函数返回值只有3个结果：大于0取1，等于0取0，小于0取-1，故自适应权重ω也有三个结果：1、0.5、0，当为1时选择如步骤一所示的内部超分辨率重构的方法，0时选如步骤二所示的外部超分辨率重构方法，0.5时两者都用。
2.根据权利要求1所述的利用预训练网络的感知相似性进行混合图像超分辨方法，其特征在于，所述基于低分辨率图像建立对比词典，基于对比词典得到与已知图像对应的高分辨率图像块，包括：
对所给的样本图像，利用该图像的不同尺度相似图像块建立内部字典，从低分辨图像中选取相似的图像块组成低分辨字典，从相对的高分辨率的图像中选取一些相似的图像块组成一个高分辨字典；
对于每一个图像块，目标是在超解析高分辨图像中通过内部字典找到相应的高分辨率图像块。
3.根据权利要求1所述的利用预训练网络的感知相似性进行混合图像超分辨方法，其特征在于，所述获取已知图像，基于卷积神经网络对已知图像进行差值运算，得到高分辨率图像，包括：
使用双三次插值算法将输入图像提升到所需的大小，并将插值图像表示为Yip；
使用CNN学习低分辨率转变成高分辨率的过程F的映射，将低分辨率的插值图像Yip转换成高分辨率图像。
4.根据权利要求3所述的利用预训练网络的感知相似性进行混合图像超分辨方法，其特征在于，所述使用CNN学习低分辨率转变成高分辨率的过程F的映射，将低分辨率的插值图像Yip转换成高分辨率图像，包括：
基于第一个卷基层提取一组特征映射；
基于第二层将所述特征映射与高分辨率的补丁表示成非线性映射；
基于第三层根据得到的非线性映射生成最终的高分辨率图像。
CN201810621592.7A 2018-06-15 2018-06-15 利用预训练网络的感知相似性进行混合图像超分辨方法 Active CN109146777B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810621592.7A CN109146777B (zh) 2018-06-15 2018-06-15 利用预训练网络的感知相似性进行混合图像超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810621592.7A CN109146777B (zh) 2018-06-15 2018-06-15 利用预训练网络的感知相似性进行混合图像超分辨方法

Publications (2)

Publication Number Publication Date
CN109146777A CN109146777A (zh) 2019-01-04
CN109146777B true CN109146777B (zh) 2020-10-27

Family

ID=64802113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810621592.7A Active CN109146777B (zh) 2018-06-15 2018-06-15 利用预训练网络的感知相似性进行混合图像超分辨方法

Country Status (1)

Country Link
CN (1) CN109146777B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016132152A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Interpolating visual data
CN106204449B (zh) * 2016-07-06 2019-09-10 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法
CN107492070B (zh) * 2017-07-10 2019-12-03 华北电力大学 一种双通道卷积神经网络的单图像超分辨率计算方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network;Christian Ledig等;《arXiv》;20160915;第1-14页 *
论文学习16"Photo-Realistic Single Im;侯冠群;《https://www.meiwen.com.cn/subject/pjndkftx.html》;20180415;第1-5页 *

Also Published As

Publication number Publication date
CN109146777A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN108734659B (zh) 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN109035142B (zh) 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN109389552B (zh) 一种基于上下文相关多任务深度学习的图像超分辨算法
Chen et al. Convolutional neural network based dem super resolution
CN112215755B (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
CN112150354B (zh) 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN108830792B (zh) 一种利用多类字典的图像超分辨率方法
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN109447897B (zh) 一种真实场景图像合成方法及系统
CN115564649B (zh) 一种图像超分辨率重建方法、装置及设备
CN113298716B (zh) 基于卷积神经网络的图像超分辨率重建方法
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN113421187B (zh) 一种超分辨率重建方法、系统、存储介质、设备
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和系统
CN112785539A (zh) 基于图像自适应分解及参数自适应的多聚焦图像融合方法
CN114565628B (zh) 一种基于边界感知注意的图像分割方法及系统
CN107424119B (zh) 一种单图像的超分辨率方法
CN116757930A (zh) 基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质
CN109558882B (zh) 基于鲁棒局部低秩稀疏cnn特征的图像分类方法及装置
CN117788295A (zh) 一种遥感图像的超分辨率重建方法、系统及介质
CN113837941A (zh) 图像超分模型的训练方法、装置及计算机可读存储介质
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN112686817A (zh) 一种基于不确定性估计的图像补全方法
CN109146777B (zh) 利用预训练网络的感知相似性进行混合图像超分辨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant