CN113793269B - 基于改进邻域嵌入与先验学习的超分辨率图像重建方法 - Google Patents

基于改进邻域嵌入与先验学习的超分辨率图像重建方法 Download PDF

Info

Publication number
CN113793269B
CN113793269B CN202111198281.2A CN202111198281A CN113793269B CN 113793269 B CN113793269 B CN 113793269B CN 202111198281 A CN202111198281 A CN 202111198281A CN 113793269 B CN113793269 B CN 113793269B
Authority
CN
China
Prior art keywords
resolution
image
low
neighborhood
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111198281.2A
Other languages
English (en)
Other versions
CN113793269A (zh
Inventor
许光宇
许家昌
鲍士水
胡龙龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN202111198281.2A priority Critical patent/CN113793269B/zh
Publication of CN113793269A publication Critical patent/CN113793269A/zh
Application granted granted Critical
Publication of CN113793269B publication Critical patent/CN113793269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明公开了一种基于改进邻域嵌入与先验学习的超分辨率图像重建方法，包括以下步骤，S1：训练集中的高分辨率图像降质；S2：高、低分辨率训练图像分块；S3：待重构的低分辨率输入图像放大2倍预处理，然后分块；S4：搜索与低分辨率输入图像块最相似的K个低分辨率图像块组成邻域集，计算邻域集中每个图像块的重构权值；S5：组合重构权值与对应的K个高分辨率训练图像块，重构高分辨率图像块及高分辨率图像；S6：构造非局部正则化项与局部正则化项对高分辨率图像重构结果进行最大后验概率估计，得到最终的超分辨率重建图像。本发明中的方法取得较好的图像重建效果，图像细节更丰富，纹理更清晰。

Description

基于改进邻域嵌入与先验学习的超分辨率图像重建方法
技术领域
本发明涉及图像处理技术领域，尤其涉及基于改进邻域嵌入与先验学习的图像超分辨率重建方法。
背景技术
图像超分辨率重建是计算机视觉领域中一个重要的研究方向，并且在许多实际的应用中(公共安全、视频监控、医学成像、高清视频等)起着至关重要的作用。目前，研究人员提出了不同的图像超分辨率重建算法，并在不同的应用场景下，取得了一定的成功。传统的邻域嵌入超分辨率重建方法在一定程度上提高了图像的重建效果，但搜索邻域需要非常大的计算量，算法的时间效率低。
发明内容
针对上述存在的问题，本发明旨在提供一种基于改进邻域嵌入与先验学习的超分辨率图像重建方法，将邻域嵌入算法进行改进，通过引入非局部正则化项与局部正则化项对改进邻域嵌入的重构结果进行最大后验概率(MAP)估计，使得最终的重建效果更佳，细节更丰富，纹理更清晰。
为了实现上述目的，本发明所采用的技术方案如下：
基于改进邻域嵌入与先验学习的超分辨率图像重建方法，其特征在于，包括以下步骤，
S1：对训练集中的高分辨率训练图像进行降质处理，得到训练集中的低分辨率训练图像；
S2：把高、低分辨率训练图像分块，分别得到高分辨率训练图像块和低分辨率训练图像块，高分辨率训练图像块与低分辨率训练图像块的数量相同，但大小不同；
S3：将待重建的低分辨率输入图像进行放大2倍预处理，然后进行分块，得到低分辨率输入图像块；所述低分辨率输入图像块与低分辨率训练图像块的大小相同；
S4：在全部低分辨率训练图像块中搜索与低分辨率输入图像块最相似的K个图像块组成邻域集，将邻域集中的图像块按权值线性组合，通过最小化邻域集中图像块与低分辨率输入图像块的误差，计算出邻域集中每个图像块的重建权值；
S5：根据邻域集中的K个低分辨率训练图像块，以及步骤S2中高分辨率训练图像块与低分辨率训练图像块之间的对应关系，得到与邻域集相对应的K个高分辨率训练图像块，将K个高分辨率训练图像块与步骤S4中得到的重建权值按权值对应线性组合，得到基于邻域嵌入重建的高分辨率图像块，将所有重建的高分辨率图像块进行组合，得到初步重建的高分辨率图像；
S6：对初步重建的高分辨率图像进行最大后验概率估计，利用非局部均值算法学习的非局部先验与自适应高斯核学习的局部先验构造正则化项，对重建过程进行约束，求解约束优化问题，得到最终重建的超分辨率图像。
进一步的，步骤S1的具体操作包括以下步骤，
S101：使用大小为7×7，方差为1.1的高斯滤波器对训练集中的高分辨率图像Ys进行模糊处理，然后使用双三次插值进行3倍下采样，得到临时低分辨率图像；
S102：对临时低分辨率图像进行放大2倍预处理，得到低分辨率训练图像Xs。
进一步的，步骤S102中对临时低分辨率图像进行放大2倍预处理，以及步骤S3中将待重建的低分辨率输入图像进行放大2倍预处理均采用双三次插值的方式进行。
进一步的，步骤S2中将高分辨率训练图像分成大小为9×9的图像块，将低分辨率训练图像分成大小为6×6的图像块，高分辨率训练图像块和低分辨率训练图像块数量相同，且图像块之间互相对应。
进一步的，步骤S4的具体操作包括以下步骤，
S401：令表示低分辨率训练图像Xs的图像块；Xt为待重建的低分辨率输入图像，表示图像Xt的图像块，p，q＝1，2，…为图像块索引；对图像块/>在低分辨率训练图像块中搜索与/>最相似的K个图像块/>组成邻域集/> 的搜索方式如下：
式中，分别为图像块/>内像素灰度值的均值，Std(·)表示计算标准差，μ1、σ1分别设定为0.85、0.7；K的值设定为100，如果/>中元素个数小于100，则适当调整μ1与σ1的大小，使/>中元素个数为100；
S402：将中K个图像块按权值线性组合，重建图像块/>重建误差代价函数定义为邻域集中图像块与低分辨率输入图像块的误差，也即/>该误差代价函数的约束条件为/>式中，ωqp表示邻域集中第p个近邻图像块的重建权值；
S403：求解最小化重建误差代价函数，计算出邻域集中每个图像块的重建权值。
进一步的，根据步骤S4中求得的重建权值ωqp，步骤S5中所述的基于邻域嵌入重建的高分辨率图像块可表示为：
式中，为高分辨率训练图像Ys的图像块，/>表示与/>中图像块相对应的高分辨率训练图像块组成的邻域集；
将所有基于邻域嵌入重建的高分辨率图像块进行组合，初步重建的高分辨率图像Y。
进一步的，步骤S6的具体操作包括以下步骤，
对初步重建的高分辨率图像Y进行最大后验概率估计，以实现超分辨率重建，最大后验概率估计问题可转化为最小能量泛函求解问题，也即
式中，为最终重建的超分辨率图像；/>为保真项，以确保最终重建的超分辨率图像/>与初步重建的高分辨率图像Y具有一致性，D和H分别表示下采样操作和模糊操作，X为待求的超分辨率图像；/>为非局部正则化项；Xi为待求图像X中的第i个像素；Pi为以像素i为中心的局部区域内像素按字典顺序排列而成的列向量，局部区域大小设定为21×21；
为非局部均值算法在局部区域内计算的权值/>排列成的行向量，/>先验反映了像素与其邻域像素的非局部相似性，其计算公式为/>其中，hn为非局部均值算法的滤波参数，设定为8，Ni与Nj分别表示以像素i和j为中心的图像块内像素灰度值向量，图像块大小设定为7×7；
Li为局部区域内的像素按字典顺序排列而成的列向量，局部区域大小设定为5×5；
为自适应高斯核计算的权值/>排列成的行向量，/>先验反映了像素与其邻域像素的相似程度，其计算公式为/>其中，hk为自适应高斯核的滤波参数，设定为2.5，zi为图像中像素i的坐标，Ci表示在像素i处的梯度域协方差矩阵，det(·)为计算行列式的值，T表示矩阵转置，λ1和λ2分别为正则化参数。
本发明的有益效果是：
本发明中基于改进邻域嵌入与先验学习的图像超分辨率重建方法，与现有技术相比，将图像块的均值与标准差特征引入到邻域嵌入的超分辨率重建中，在训练集中选择与待重构图像块的均值与标准差相似的图像块作为邻域进行重建，提高了时间效率与图像重建质量，然后再通过引入非局部均值算法学习的非局部先验与自适应高斯核学习的局部先验构造正则化项对改进邻域嵌入的重构结果进行最大后验概率(MAP)估计，利用梯度下降法求解这个优化问题，得到最终的超分辨率图像重建的结果，整体上提高了重建图像的峰值信噪比与结构相似度，提升了重建图像的视觉效果，细节更丰富，纹理更清晰。
附图说明
图1为本发明中超分辨率图像重建方法流程图；
图2为本发明改进邻域嵌入方法的流程图；
图3(a)为仿真实验一中原始图像；
图3(b)为仿真实验一中模糊下采样后得到的低分辨率图像；
图3(c)为仿真实验一中利用本发明方法得到的重建图像；
图3(d)为仿真实验一中利用双三次插值算法得到的重建图像；
图3(e)为仿真实验一中利用传统邻域算法得到的重建图像；
图3(f)为仿真实验一中利用稀疏编码算法得到的重建图像；
图3(g)为仿真实验一中利用卷积神经网络算法得到的重建图像；
图4(a)为仿真实验二中原始图像；
图4(b)为仿真实验二中模糊下采样后得到的低分辨率图像；
图4(c)为仿真实验二中利用本发明方法得到的重建图像；
图4(d)为仿真实验二中利用双三次插值算法得到的重建图像；
图4(e)为仿真实验二中利用传统邻域算法得到的重建图像；
图4(f)为仿真实验二中利用稀疏编码算法得到的重建图像；
图4(g)为仿真实验二中利用卷积神经网络算法得到的重建图像。
具体实施方式
为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。
参照附图1-2所示，基于改进邻域嵌入与先验学习的超分辨率图像重建方法，包括以下步骤，
S1：对训练集中的高分辨率训练图像进行降质处理，得到训练集中的低分辨率训练图像；
具体的，S101：使用大小为7×7，方差为1.1的高斯滤波器对训练集中的高分辨率图像Ys进行模糊处理，然后使用双三次插值进行3倍下采样，得到临时低分辨率图像；
S102：采用双三次插值的方式对临时低分辨率图像进行放大2倍预处理，得到低分辨率训练图像Xs，保证高、低分辨率训练图像之间的邻域关系得到较好的保持。
进一步的，S2：把高、低分辨率训练图像分块，分别得到高分辨率训练图像块和低分辨率训练图像块，高分辨率训练图像块与低分辨率训练图像块的数量相同，但大小不同；
具体的，将高分辨率训练图像分成大小为9×9的图像块，将低分辨率训练图像分成大小为6×6的图像块，高分辨率训练图像块和低分辨率训练图像块数量相同，且图像块之间互相对应。
进一步的，S3：采用双三次插值对待重构的低分辨率输入图像进行放大2倍预处理，然后进行分块，得到低分辨率输入图像块；所述低分辨率输入图像块与低分辨率训练图像块大小相同。
进一步的，S4：在全部低分辨率训练图像块中搜索与低分辨率输入图像块最相似的K个图像块组成邻域集，将邻域集中的图像块按权值线性组合，通过最小化邻域集中图像块与低分辨率输入图像块的误差，计算出邻域集中每个图像块的重建权值；
具体的，S401：令表示低分辨率训练图像Xs的图像块；Xt为待重建的低分辨率输入图像，/>表示图像Xt的图像块，p，q＝1，2，…为图像块索引；对图像块/>在低分辨率训练图像块中搜索与/>最相似的K个图像块/>组成邻域集/> 的搜索方式如下：
式中， 分别为图像块/> 内像素灰度值的均值，Std(·)表示计算标准差，μ1、σ1分别设定为0.85、0.7；K的值设定为100，如果/>中元素个数小于100，则适当调整μ1与σ1的大小，使/>中元素个数为100；
S402：将中K个图像块按权值线性组合，重建图像块/>重建误差代价函数定义为邻域集中图像块与低分辨率输入图像块的误差，也即/>该误差代价函数的约束条件为/>式中，ωqp表示邻域集中第p个近邻图像块的重建权值；
S403：求解最小化重建误差代价函数，计算出邻域集中每个图像块的重建权值。
进一步的，S5：根据邻域集中的K个低分辨率训练图像块，以及步骤S2中高分辨率训练图像块与低分辨率训练图像块之间的对应关系，得到与邻域集相对应的K个高分辨率训练图像块，将K个高分辨率训练图像块与步骤S4中得到的重建权值按权值对应线性组合，得到基于邻域嵌入重建的高分辨率图像块，将所有重建的高分辨率图像块进行组合，得到初步重建的高分辨率图像；
具体的，根据步骤S4中求得的重建权值ωqp，步骤S5中所述的基于邻域嵌入重建的高分辨率图像块可表示为：
式中，为高分辨率训练图像Ys的图像块，/>表示与/>中图像块相对应的高分辨率训练图像块组成的邻域集；
将所有基于邻域嵌入重建的高分辨率图像块进行组合，初步重建的高分辨率图像Y。
进一步的，S6：对初步重建的高分辨率图像进行最大后验概率(MAP)估计，利用非局部均值算法学习的非局部先验与自适应高斯核学习的局部先验构造正则化项，对重建过程进行约束，求解约束优化问题，得到最终重建的超分辨率图像。
具体的，对初步重建的高分辨率图像Y进行最大后验概率估计，以实现超分辨率重建，最大后验概率估计问题可转化为最小能量泛函求解问题，也即
式中，为最终重建的超分辨率图像；/>为保真项，以确保最终重建的超分辨率图像/>与初步重建的高分辨率图像Y具有一致性，D和H分别表示下采样操作和模糊操作，X为待求的超分辨率图像；/>为非局部正则化项；Xi为待求图像X中的第i个像素；Pi为以像素i为中心的局部区域内像素按字典顺序排列而成的列向量，局部区域大小设定为21×21；
为非局部均值算法在局部区域内计算的权伯/>排列成的行向量，/>先验反映了像素与其邻域像素的非局部相似性，其计算公式为/>其中，hn为非局部均值算法的滤波参数，设定为8，Ni与Nj分别表示以像素i和j为中心的图像块内像素灰度值向量，图像块大小设定为7×7；
Li为局部区域内的像素按字典顺序排列而成的列向量，局部区域大小设定为5×5；
为自适应高斯核计算的权值/>排列成的行向量，/>先验反映了像素与其邻域像素的相似程度，其计算公式为/>其中，hk为自适应高斯核的滤波参数，设定为2.5，zi为图像中像素i的坐标，Ci表示在像素i处的梯度域协方差矩阵，det(·)为计算行列式的值，T表示矩阵转置，λ1和λ2分别为正则化参数。
为了求解能量泛函，可将上述能量泛函问题表述成如下简明的形式：
式中，I是单位矩阵，
利用梯度下降法求解上式的优化问题：
式中，τ为迭代次数，ρ为梯度下降法的步长，设定为2.5，α与β为正则化参数(此处需要说明的是，此处的α与β，以及上述的λ1与λ2均为正则化参数，λ1与λ2是能量泛函中的“临时”正则化参数，α与β为推导出的数值求解迭代公式中的正则化参数，α＝ρ×λ1，β＝ρ×λ2)，分别设定0.06与0.7。Xτ表示第τ次迭代得到的重建图像，将改进邻域嵌入超分辨率重建结果Y作为迭代初始值X0。
仿真实验一：
在该仿真实验中，给出原始高分辨率输入图像如附图3(a)所示；对其进行大小为7×7，方差为1.1的高斯核模糊，并进行3倍下采样，得到待重建的低分辨率输入图像，如附图3(b)所示，然后采用本发明中的超分辨率图像重建方法对其进行重建，重建结果如附图3(c)所示，采用双三次插值算法、传统邻域算法、稀疏编码算法和卷积神经网络算法对其进行重建的结果分别如附图3(d)、3(e)、3(f)、3(g)所示；通过对比可以发现，利用本发明中的重建方法最终得到的重建效果最佳，细节最丰富，纹理最清晰。
仿真实验二：
在该仿真实验中，给出原始高分辨率输入图像如附图4(a)所示；对其进行大小为7×7，方差为1.1的高斯核模糊，并进行4倍下采样，得到待重建的低分辨率输入图像，如附图4(b)所示，然后采用本发明中的超分辨率图像重建方法对其进行重建，重建结果如附图4(c)所示，采用双三次插值算法、传统邻域算法、稀疏编码算法和卷积神经网络算法对其进行重建的结果分别如附图4(d)、4(e)、4(f)、4(g)所示；通过对比可以发现，利用本发明中的重建方法最终得到的重建效果最佳，细节最丰富，纹理最清晰。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.基于改进邻域嵌入与先验学习的超分辨率图像重建方法，其特征在于，包括以下步骤，
S1：对训练集中的高分辨率训练图像进行降质处理，得到训练集中的低分辨率训练图像；
S2：把高、低分辨率训练图像分块，分别得到高分辨率训练图像块和低分辨率训练图像块，高分辨率训练图像块与低分辨率训练图像块的数量相同，但大小不同；
S3：将待重建的低分辨率输入图像进行放大2倍预处理，然后进行分块，得到低分辨率输入图像块；所述低分辨率输入图像块与低分辨率训练图像块的大小相同；
S4：在全部低分辨率训练图像块中搜索与低分辨率输入图像块最相似的K个图像块组成邻域集，将邻域集中的图像块按权值线性组合，通过最小化邻域集中图像块与低分辨率输入图像块的误差，计算出邻域集中每个图像块的重建权值；
S5：根据邻域集中的K个低分辨率训练图像块，以及步骤S2中高分辨率训练图像块与低分辨率训练图像块之间的对应关系，得到与邻域集相对应的K个高分辨率训练图像块，将K个高分辨率训练图像块与步骤S4中得到的重建权值按权值对应线性组合，得到基于邻域嵌入重建的高分辨率图像块，将所有重建的高分辨率图像块进行组合，得到初步重建的高分辨率图像；
S6：对初步重建的高分辨率图像进行最大后验概率估计，利用非局部均值算法学习的非局部先验与自适应高斯核学习的局部先验构造正则化项，对重建过程进行约束，求解约束优化问题，得到最终重建的超分辨率图像；
步骤S1的具体操作包括以下步骤，
S101：使用大小为7×7，方差为1.1的高斯滤波器对训练集中的高分辨率图像Ys进行模糊处理，然后使用双三次插值进行3倍下采样，得到临时低分辨率图像；
S102：对临时低分辨率图像进行放大2倍预处理，得到低分辨率训练图像Xs；
步骤S4的具体操作包括以下步骤，
S401：令表示低分辨率训练图像Xs的图像块；Xt为待重建的低分辨率输入图像，/>表示图像Xt的图像块，p，q＝1，2，…为图像块索引；对图像块/>在低分辨率训练图像块中搜索与/>最相似的K个图像块/>组成邻域集/> 的搜索方式如下：
式中，分别为图像块/>内像素灰度值的均值，Std(·)表示计算标准差，μ1、σ1分别设定为0.85、0.7；K的值设定为100，如果/>中元素个数小于100，则适当调整μ1与σ1的大小，使/>中元素个数为100；
S402：将中K个图像块按权值线性组合，重建图像块/>重建误差代价函数定义为邻域集中图像块与低分辨率输入图像块的误差，也即/>该误差代价函数的约束条件为/>式中，ωqp表示邻域集中第p个近邻图像块的重建权值；
S403：求解最小化重建误差代价函数，计算出邻域集中每个图像块的重建权值；
根据步骤S4中求得的重建权值ωqp，步骤S5中所述的基于邻域嵌入重建的高分辨率图像块可表示为：
式中，为高分辨率训练图像Ys的图像块，/>表示与/>中图像块相对应的高分辨率训练图像块组成的邻域集；
将所有基于邻域嵌入重建的高分辨率图像块进行组合，初步重建的高分辨率图像Y；
步骤S6的具体操作包括以下步骤，
对初步重建的高分辨率图像Y进行最大后验概率估计，以实现超分辨率重建，最大后验概率估计问题可转化为最小能量泛函求解问题，也即
式中，为最终重建的超分辨率图像；/>为保真项，以确保最终重建的超分辨率图像/>与初步重建的高分辨率图像Y具有一致性，D和H分别表示下采样操作和模糊操作，X为待求的超分辨率图像；/>为非局部正则化项；Xi为待求图像X中的第i个像素；Pi为以像素i为中心的局部区域内像素按字典顺序排列而成的列向量，局部区域大小设定为21×21；
为非局部均值算法在局部区域内计算的权值/>排列成的行向量，/>先验反映了像素与其邻域像素的非局部相似性，其计算公式为/>其中，hn为非局部均值算法的滤波参数，设定为8，Ni与Nj分别表示以像素i和j为中心的图像块内像素灰度值向量，图像块大小设定为7×7；
Li为局部区域内的像素按字典顺序排列而成的列向量，局部区域大小设定为5×5；
为自适应高斯核计算的权值/>排列成的行向量，/>先验反映了像素与其邻域像素的相似程度，其计算公式为/>其中，hk为自适应高斯核的滤波参数，设定为2.5，Zi为图像中像素i的坐标，Ci表示在像素i处的梯度域协方差矩阵，det(·)为计算行列式的值，T表示矩阵转置，λ1和λ2分别为正则化参数。
2.根据权利要求1所述的基于改进邻域嵌入与先验学习的超分辨率图像重建方法，其特征在于，步骤S102中对临时低分辨率图像进行放大2倍预处理，以及步骤S3中将待重建的低分辨率输入图像进行放大2倍预处理均采用双三次插值的方式进行。
3.根据权利要求1所述的基于改进邻域嵌入与先验学习的超分辨率图像重建方法，其特征在于，步骤S2中将高分辨率训练图像分成大小为9×9的图像块，将低分辨率训练图像分成大小为6×6的图像块，高分辨率训练图像块和低分辨率训练图像块数量相同，且图像块之间互相对应。
CN202111198281.2A 2021-10-14 2021-10-14 基于改进邻域嵌入与先验学习的超分辨率图像重建方法 Active CN113793269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111198281.2A CN113793269B (zh) 2021-10-14 2021-10-14 基于改进邻域嵌入与先验学习的超分辨率图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111198281.2A CN113793269B (zh) 2021-10-14 2021-10-14 基于改进邻域嵌入与先验学习的超分辨率图像重建方法

Publications (2)

Publication Number Publication Date
CN113793269A CN113793269A (zh) 2021-12-14
CN113793269B true CN113793269B (zh) 2023-10-31

Family

ID=79185060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111198281.2A Active CN113793269B (zh) 2021-10-14 2021-10-14 基于改进邻域嵌入与先验学习的超分辨率图像重建方法

Country Status (1)

Country Link
CN (1) CN113793269B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014174087A1 (en) * 2013-04-25 2014-10-30 Thomson Licensing Method and device for performing super-resolution on an input image
CN105550988A (zh) * 2015-12-07 2016-05-04 天津大学 基于改进邻域嵌入和结构自相似性的超分辨率重建算法
CN111292346A (zh) * 2020-01-16 2020-06-16 安徽理工大学 一种噪声环境下浇铸箱体轮廓的检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014174087A1 (en) * 2013-04-25 2014-10-30 Thomson Licensing Method and device for performing super-resolution on an input image
CN105550988A (zh) * 2015-12-07 2016-05-04 天津大学 基于改进邻域嵌入和结构自相似性的超分辨率重建算法
CN111292346A (zh) * 2020-01-16 2020-06-16 安徽理工大学 一种噪声环境下浇铸箱体轮廓的检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于改进邻域嵌入与导向核回归的图像超分辨率重建;胡龙龙;;数字技术与应用(第08期);1-3节 *
基于改进邻域嵌入的图像超分辨率重建算法研究;胡龙龙;《中国优秀硕士学位论文全文数据库信息科技辑》(第7期);第2-3章 *
结合压缩感知与非局部信息的图像超分辨率重建;陈伟业;孙权森;;计算机应用(第09期);220-225 *

Also Published As

Publication number Publication date
CN113793269A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN112750082B (zh) 基于融合注意力机制的人脸超分辨率方法及系统
CN106683067B (zh) 一种基于残差子图像的深度学习超分辨率重建方法
Zhang et al. Image super-resolution based on structure-modulated sparse representation
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN113177882B (zh) 一种基于扩散模型的单帧图像超分辨处理方法
CN111242846B (zh) 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN110363068B (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN109949217B (zh) 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN113096017A (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN113837946B (zh) 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
Yang et al. Image super-resolution based on deep neural network of multiple attention mechanism
Li et al. Single image super-resolution reconstruction based on genetic algorithm and regularization prior model
CN116664397B (zh) TransSR-Net结构化图像超分辨重建方法
CN110689509A (zh) 基于循环多列3d卷积网络的视频超分辨率重建方法
Hui et al. Two-stage convolutional network for image super-resolution
CN114331830A (zh) 一种基于多尺度残差注意力的超分辨率重建方法
CN115578255A (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
Shi et al. Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-cnn structure for face super-resolution
Zhou et al. Deep fractal residual network for fast and accurate single image super resolution
CN113793269B (zh) 基于改进邻域嵌入与先验学习的超分辨率图像重建方法
CN116797456A (zh) 图像超分辨率重建方法、系统、设备和存储介质
CN116168197A (zh) 一种基于Transformer分割网络和正则化训练的图像分割方法
CN112598581B (zh) 一种rdn超分辨网络的训练方法及图像生成方法
Xie et al. Bidirectionally aligned sparse representation for single image super-resolution
CN114757826A (zh) 一种基于多特征的pocs图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant