CN110675318B - 一种基于主结构分离的稀疏表示图像超分辨率重建方法 - Google Patents

一种基于主结构分离的稀疏表示图像超分辨率重建方法 Download PDF

Info

Publication number
CN110675318B
CN110675318B CN201910855626.3A CN201910855626A CN110675318B CN 110675318 B CN110675318 B CN 110675318B CN 201910855626 A CN201910855626 A CN 201910855626A CN 110675318 B CN110675318 B CN 110675318B
Authority
CN
China
Prior art keywords
image
main structure
dictionary
texture
sparse representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910855626.3A
Other languages
English (en)
Other versions
CN110675318A (zh
Inventor
曾向荣
周典乐
刘衍
孙博良
龙鑫
钟志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201910855626.3A priority Critical patent/CN110675318B/zh
Publication of CN110675318A publication Critical patent/CN110675318A/zh
Application granted granted Critical
Publication of CN110675318B publication Critical patent/CN110675318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于主结构分离的稀疏表示图像超分辨率重建方法，包括下述步骤：输入一副低分辨率LR图像，用相关全变分RTV分解输入的低分辨率LR图像为主结构部分和纹理部分，将主结构部分重建得到HR主结构图像，纹理部分重建得到HR纹理图像，将得到的HR主结构图像与得到的HR纹理图像相加得到HR图像，对HR图像进行全局优化处理得到HR重建图像。通过对图像进行主结构分解，大幅减少图案的复杂性，并配合改进的字典学习方案，来提高超分辨率重建的效果。

Description

一种基于主结构分离的稀疏表示图像超分辨率重建方法
技术领域
本发明涉及计算机图像复原领域，具体涉及一种基于主结构分离的稀疏表示图像超分辨率重建方法以求重构出逼近原始纯净信号的图像信号。
背景技术
图像超分辨率重建是利用同一场景的多幅存在亚像素位移的低分辨率图像重建一副高分辨率图像的过程。图像超分辨率分析技术广泛应用于图像重构，医学图像诊断、遥感影像等原因往往不能获得足够分辨率的图像，提高硬件设备又会大幅度提高成本。另外有些场合获得的图像珍贵或者不宜重复采集，因此图像超分辨率重建在这些方面具有很高的应用价值。基于学习的算法构造低分辨率和高分辨率图像样本库，通过学习样本库得到低分辨率图像和高分辨率图像的内在联系，从而指导图像超分辨率重建。一般来说基于学习的算法首先对图像进行分块处理，分别构造低分辨率图像块和高分辨率图像块样本库。然后学习样本库中低分辨率图像块与相应高分辨率图像块之间的关系，最后再利用这种关系对输入的低分辨率图像块进行超分辨率重建。基于学习的算法是目前图像超分辨率处理领域研究较热的一类方法，使得基于稀疏表示的学习算法成为单幅图像超分辨率领域中的一个研究热点。基于稀疏表示的方法可以较好的保持领域关系，且可以恢复更多的图像细节信息，但它的缺点是稀疏编码阶段的计算机较大，另一方面，得到一个具有广泛表示能力的过完备字典较难。因此一个具有高表达能力的字典对基于稀疏表示的图像超分辨率重建是非常重要的，KSVD算法正是使得字典的表达能力得到了提升，从而获得了广泛的应用。在处理十分复杂自然图像图时案，虽然可以通过增加字典的原子数目，即字典尺寸，来提升字典的表达能力，但随着原子数的增加，计算量也会大幅上升。在需要平衡计算量和字典表达能力的情况下，一个正常大小的字典往往很难应付所有的图案。
发明内容
为了解决这个问题，本发明提出了基于主结构分离的稀疏表示图像超分辨率重建算法，通过对图像进行分解，大幅减少图案的复杂性，并配合改进的字典学习方案，来提高超分辨率重建的效果。
本发明公开一种基于主结构分离的稀疏表示图像超分辨率重建方法，包括下述步骤：
(1)用RTV(Relative Total Variation)分解输入图像I，分解成主结构部分S与纹理部分T；
(2)将主结构部分重建以获取HR主结构图像Sh；
(3)将纹理部分重建以获取HR纹理图像Th；
(4)将HR主结构图像Sh与HR纹理图像Th相加得到HR图像Ih0＝Sh+Th；
(5)对HR图像Ih0进行全局优化处理，求解下式：
Figure GDA0003944839020000021
其中Ih为要求解的HR图像，
Figure GDA0003944839020000022
为最终满足要求的HR图像，U为图像退化矩阵，最终得到HR重建图像
Figure GDA0003944839020000023
优选地，所述步骤(1)的具体过程为：令输入图像为I，最终获得主结构图像为S，像素的索引为p，则RTV的目标函数可以表示为：
Figure GDA0003944839020000024
其中(Sp-Ip)2项用来保持主结构图像与原图像之间的相似性，λ为正则平衡参数，ε为极小值，用来维持稳定解。正则项
Figure GDA0003944839020000031
包含两个不同的变分估计
Figure GDA0003944839020000032
和φ，分别有如下的具体形式：
Figure GDA0003944839020000033
其中R(p)为以像素p为中心的矩形区域，q则属于R(p)，
Figure GDA0003944839020000034
是窗口全变分，用来衡量窗口R(p)内绝对的空间差异；而φ为窗口固有变分，代表窗口内整体的差异，gp,q为权重函数，用来衡量空间内的相关性，gp,q可以表示为：
Figure GDA0003944839020000035
其中x和y指像素点在窗口内的坐标，σ则用来控制空间尺度，通过调整λ和σ的值，我们可以获得不同的图像分解能力，同时，通过组合
Figure GDA0003944839020000036
和φ，构建新的正则项
Figure GDA0003944839020000037
即RTV项，可以非常有效的突出主结构成分，最后通过求解式(2)即可获得主结构图像S，也可以获得纹理图像T＝I-S。
优选地，所述步骤(2)中主结构部分重建以获取HR主结构图像Sh的具体过程为：
(3.1)利用KSVD字典学习算法训练得到主结构高低分辨率字典对
Figure GDA0003944839020000038
和
Figure GDA0003944839020000039
(3.2)将所述主结构部分S进行双三次插值放大得到Sm；
(3.3)通过特征提取算子Forstner提取Sm的特征Smf；
(3.4)对Smf中的每个小块smf，利用正交匹配追踪OMP(Orthogonal MatchingPursuit)算法求解下属最优化问题：
Figure GDA0003944839020000041
获得高分辨率图像块smf在字典
Figure GDA00039448390200000424
下的稀疏表示系数
Figure GDA0003944839020000042
其中z表示稀疏表示系数，λ为正则化系数；
(3.5)根据公式
Figure GDA0003944839020000043
得到重建的HR主结构图像块sh，将所有的HR主结构图像块sh在HR网格上进行重组，对重叠区进行评价处理，得到HR主结构图像Sh。
优选地，所述步骤(3)中纹理部分重建以获取HR纹理图像Th的具体过程为：
(4.1)对外部HR训练样本图像
Figure GDA0003944839020000044
进行降采样，得到LR图像
Figure GDA0003944839020000045
(4.2)对
Figure GDA0003944839020000046
进行基于相关全变分RTV分解，获得主结构图像
Figure GDA0003944839020000047
(4.3)利用主结构重建方法对
Figure GDA0003944839020000048
进行重建，得到HR主结构图像
Figure GDA0003944839020000049
(4.4)用外部HR训练样本图像
Figure GDA00039448390200000410
减去得到HR主结构图像
Figure GDA00039448390200000411
以获取HR纹理图像
Figure GDA00039448390200000412
(4.5)对LR图像
Figure GDA00039448390200000413
进行升采样，得到
Figure GDA00039448390200000414
(4.6)通过特征提取算子F提取
Figure GDA00039448390200000415
并获得特征
Figure GDA00039448390200000416
(4.7)对
Figure GDA00039448390200000417
与
Figure GDA00039448390200000418
进行KSVD联合字典学习，得到纹理高低分辨率字典
Figure GDA00039448390200000419
和
Figure GDA00039448390200000420
(4.8)将输入图像I进行双三次插值放大得到Im；
(4.9))通过特征提取算子Forstner提取Im的特征Imf；
(4.10)对Imf中的每个小块imf，利用正交匹配追踪OMP算法解下述最优化问题：
Figure GDA00039448390200000421
获得高分辨率图像块imf在字典
Figure GDA00039448390200000422
下的稀疏表示系数
Figure GDA00039448390200000423
其中z表示稀疏表示系数，λ为正则化系数；
(4.11)根据公式
Figure GDA0003944839020000051
得到重建的HR纹理图像块th；
(4.12)将所有的HR纹理图像块th在HR网格上进行重组，对重叠区域进行平均处理，得到HR纹理图像Th。
优选地，所述KSVD算法的具体过程为，将目标函数泛化为下式：
Figure GDA0003944839020000052
其中P为需要训练的输入图像块集合，D为字典，稀疏系数zi为系数矩阵Z中的列向量，固定字典D，令di为D中的第i列，
Figure GDA00039448390200000514
为Z中的第i行，假设要更新第k个原子dk，则目标函数可以调整为：
Figure GDA0003944839020000053
其中K为字典D中的原子数，
Figure GDA0003944839020000054
为稀疏系数矩阵Z中与dk相乘的第k行，矩阵Ek则表示去掉原子dk的成分在所有样本中造成的误差，对Ek和
Figure GDA0003944839020000055
作变换，引入ωk来记录P中在进行稀疏表示时使用过原子dk的图像块，即：
Figure GDA0003944839020000056
定义一个大小为N×|ωk|的矩阵Ωk，其中N为P中图像块的个数，使Ωk在(ωk(i),i)处为1，其余地方为0，并且令
Figure GDA0003944839020000057
Figure GDA0003944839020000058
即
Figure GDA0003944839020000059
中只保留非零位置系数，Ek只保留与
Figure GDA00039448390200000513
中非零位置相乘后得到的项，然后将式(8)乘上Ωk。可得到：
Figure GDA00039448390200000510
再对
Figure GDA00039448390200000511
进行SVD分解：
Figure GDA00039448390200000512
然后用矩阵U的第一列来更新原子dk，字典更新后通过OMP算法得到新的稀疏表示系数，然后重复迭代字典原子更新过程直到所有原子均得到更新，并获得最终的字典D。
本发明的有益效果：通过利用RTV将图像分解为主结构和纹理两部分，分别进行重建，可有效减少图像的复杂性，大幅减缓字典训练的压力，另外由于采用了RTV分解得到的主结构部分边缘锐利，很接近原始HR图像的边缘部分，纹理部分也十分纯净。
附图说明
图1为实施例中基于主结构分离稀疏表示图像超分辨率重建方法的详细过程示意图。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限与所述实施例。
如图1所示，本发明的基于主结构分离稀疏表示图像超分辨率重建方法，具体包括如下步骤：
(1)用RTV分解输入图像I，分解成主结构部分S与纹理部分T；
(2)主结构部分重建以获取HR主结构图像Sh；
(3)纹理部分重建以获取HR纹理图像Th；
(4)将HR主结构图像Sh与HR纹理图像Th相加得到HR图像Ih0＝Sh+Th；
(5)对HR图像Ih0进行全局优化处理，求解下式：
Figure GDA0003944839020000061
其中Ih为要求解的HR图像，
Figure GDA0003944839020000062
为最终满足要求的HR图像，U为图像退化矩阵，最终得到HR重建图像
Figure GDA0003944839020000063
具体地，所述步骤(1)的具体过程为：令原图为I，最终获得主结构图像为S，像素的索引为p，则RTV的目标函数可以表示为：
Figure GDA0003944839020000071
其中(Sp-Ip)2项用来保持主结构图像与原图像之间的相似性，λ为正则平衡参数，ε为极小值，用来维持稳定解。正则项
Figure GDA0003944839020000072
包含两个不同的变分估计
Figure GDA0003944839020000073
和φ，分别有如下的具体形式：
Figure GDA0003944839020000074
其中R(p)为以像素p为中心的矩形区域，而q则属于R(p)，
Figure GDA0003944839020000075
是窗口全变分，用来衡量窗口R(p)内绝对的空间差异(无方向性)；而φ为窗口固有变分，代表窗口内整体的差异(有方向性)。gp,q为权重函数，用来衡量空间内的相关性，它可以表示为：
Figure GDA0003944839020000076
其中x和y特指像素点在窗口内的坐标，σ则用来控制空间尺度。通过调整λ和σ的值，我们可以获得不同的图像分解能力。由于在对图像进行处理时，如果图像块中只包含纹理，则其梯度一般不定向，使得φ较小；而如果图像块中包含主结构边缘，由于边缘上的梯度方向相似，所以φ较大。这样就可以有效的区分主结构与纹理成分。同时，通过组合
Figure GDA0003944839020000077
和φ，构建新的正则项
Figure GDA0003944839020000078
即RTV项，可以非常有效的突出主结构成分。通过求解式(2)即可获得主结构图像Sl，也可以获得纹理图像Tl＝Il-Sl。
具体地，所述步骤(2)中主结构部分重建以获取HR主结构图像的具体过程为：利用KSVD算法训练得到主结构高低分辨率字典对
Figure GDA0003944839020000079
和
Figure GDA00039448390200000710
将所述主结构部分Sl进行双三次插值放大得到Sm；通过特征提取算子Forstner提取Sm的特征Smf；对于Smf中的每个小块smf，利用OMP算法求解下属最优化问题：
Figure GDA0003944839020000081
获得高分辨率图像块smf在字典
Figure GDA0003944839020000082
下的稀疏表示系数
Figure GDA0003944839020000083
其中z表示稀疏表示系数，λ为正则化系数；
根据公式
Figure GDA0003944839020000084
得到重建的HR主结构图像块Sh，将所有的HR主结构图像块在HR网格上进行重组，对重叠区进行评价处理，得到HR主结构图像Sh。
具体地，所述步骤(3)中纹理部分重建以获取HR纹理图像的具体过程为：对外部HR训练样本图像
Figure GDA0003944839020000085
进行降采样，得到LR图像
Figure GDA0003944839020000086
对
Figure GDA0003944839020000087
进行基于相关全变分RTV分解，获得主结构图像
Figure GDA0003944839020000088
利用主结构重建方法对
Figure GDA0003944839020000089
进行重建，得到HR主结构图像
Figure GDA00039448390200000810
用外部HR训练样本图像
Figure GDA00039448390200000811
减去得到HR主结构图像
Figure GDA00039448390200000812
以获取HR纹理图像
Figure GDA00039448390200000813
对LR图像
Figure GDA00039448390200000814
进行升采样，得到
Figure GDA00039448390200000815
通过特征提取算子F提取
Figure GDA00039448390200000816
并获得特征
Figure GDA00039448390200000817
对
Figure GDA00039448390200000818
与
Figure GDA00039448390200000819
进行KSVD联合字典学习，得到纹理高低分辨率字典
Figure GDA00039448390200000820
和
Figure GDA00039448390200000821
将输入图像I进行双三次插值放大得到Im；通过特征提取算子F提取Im的特征Imf；对Imf中的每个小块imf，利用正交匹配追踪OMP算法解下述最优化问题：
Figure GDA00039448390200000822
获得高分辨率图像块imf在字典
Figure GDA00039448390200000823
下的稀疏表示系数
Figure GDA00039448390200000824
其中z表示稀疏表示系数，λ为正则化系数；
根据公式
Figure GDA00039448390200000825
得到重建的HR纹理图像块th；
将所有的HR纹理图像块在HR网格上进行重组，对重叠区域进行平均处理，得到HR纹理图像Th。
具体地，所述KSVD算法的具体过程如下，首先将目标函数泛化为下式：
Figure GDA0003944839020000091
其中P为需要训练的输入图像块集合，D为字典，稀疏系数zi为系数矩阵Z中的列向量。此时固定字典D，并令di为D中的第i列，
Figure GDA0003944839020000092
为Z中的第i行，假设要更新第k个原子dk，则目标函数可以调整为：
Figure GDA0003944839020000093
其中K为字典D中的原子数，
Figure GDA0003944839020000094
为稀疏系数矩阵Z中与dk相乘的第k行，矩阵Ek则表示去掉原子dk的成分在所有样本中造成的误差。考虑对Ek和
Figure GDA0003944839020000095
作变换，引入ωk来记录P中在进行稀疏表示时使用过原子dk的图像块，即：
Figure GDA0003944839020000096
定义一个大小为N×|ωk|的矩阵Ωk，其中N为P中图像块的个数，使Ωk在(ωk(i),i)处为1，其余地方为0，并且令
Figure GDA0003944839020000097
即
Figure GDA0003944839020000098
中只保留非零位置系数，Ek只保留与
Figure GDA0003944839020000099
中非零位置相乘后得到的项，然后将式(8)乘上Ωk。可得到：
Figure GDA00039448390200000910
再对
Figure GDA00039448390200000911
进行SVD分解：
Figure GDA00039448390200000912
然后用矩阵U的第一列来更新原子dk。字典更新后通过上述OMP算法得到新的稀疏表示系数，然后重复迭代字典原子更新过程直到所有原子均得到更新，并获得最终的字典D。
通过以上实施例方式的描述，本领域的技术人员可以清楚地了解，各实施例方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案的实质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读写介质中，如U盘、移动硬盘、ROM、RAM、磁碟或者光盘等。包括若干指令，用以使得一台计算机设备(如个人计算机，服务器或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分所述的方法。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式。

Claims (5)

1.一种基于主结构分离的稀疏表示图像超分辨率重建方法，其特征在于，包括以下步骤：
(1)用RTV(Relative Total Variation)分解输入图像I，分解成主结构部分S与纹理部分T；
(2)将主结构部分重建以获取HR主结构图像Sh；
(3)将纹理部分重建以获取HR纹理图像Th；
(4)将HR主结构图像Sh与HR纹理图像Th相加得到HR图像Ih0＝Sh+Th；
(5)对HR图像Ih0进行全局优化处理，求解下式：
Figure FDA0003944839010000011
其中Ih为要求解的HR图像，
Figure FDA0003944839010000012
为最终满足要求的HR图像，U为图像退化矩阵，最终得到HR重建图像
Figure FDA0003944839010000013
所述步骤(1)的具体过程为：
令输入图像为I，最终获得主结构图像为S，像素的索引为p，则RTV的目标函数可以表示为：
Figure FDA0003944839010000014
其中(Sp-Ip)2项用来保持主结构图像与原图像之间的相似性，λ为正则平衡参数，ε为极小值，用来维持稳定解，正则项
Figure FDA0003944839010000015
包含两个不同的变分估计
Figure FDA0003944839010000016
和φ，分别有如下的具体形式：
Figure FDA0003944839010000017
其中R(p)为以像素p为中心的矩形区域，q则属于R(p)，
Figure FDA0003944839010000021
是窗口全变分，用来衡量窗口R(p)内绝对的空间差异；而φ为窗口固有变分，代表窗口内整体的差异，gp,q为权重函数，用来衡量空间内的相关性，gp,q可以表示为：
Figure FDA0003944839010000022
其中x和y指像素点在窗口内的坐标，σ则用来控制空间尺度，通过调整λ和σ的值，我们可以获得不同的图像分解能力，同时，通过组合
Figure FDA0003944839010000023
和φ，构建新的正则项
Figure FDA0003944839010000024
即RTV项，可以非常有效的突出主结构部分，最后通过求解式(2)即可获得主结构图像S，以及纹理图像T＝I-S。
2.根据权利要求1所述的基于主结构分离的稀疏表示图像超分辨率重建方法，其特征在于，所述步骤(2)中主结构部分重建以获取HR主结构图像Sh的具体过程为：
(3.1)利用KSVD字典学习算法训练得到主结构高低分辨率字典对DhS和Dl S；
(3.2)将所述主结构部分S进行双三次插值放大得到Sm；
(3.3)通过特征提取算子Forstner提取Sm的特征Smf；
(3.4)对于Smf中的每个小块smf，利用OMP算法求解下属最优化问题：
Figure FDA0003944839010000025
获得高分辨率图像块smf在字典
Figure FDA0003944839010000026
下的稀疏表示系数
Figure FDA0003944839010000027
其中z表示稀疏表示系数，λ为正则化系数；
(3.5)根据公式
Figure FDA0003944839010000028
得到重建的HR主结构图像块sh，将所有的HR主结构图像块sh在HR网格上进行重组，对重叠区进行评价处理，得到HR主结构图像Sh。
3.根据权利要求1所述的基于主结构分离的稀疏表示图像超分辨率重建方法，其特征在于，所述步骤(3)中纹理部分重建以获取HR纹理图像Th的具体过程为：
(4.1)对外部HR训练样本图像
Figure FDA0003944839010000031
进行降采样，得到LR图像
Figure FDA0003944839010000032
(4.2)对
Figure FDA0003944839010000033
进行基于相关全变分RTV分解，获得主结构图像
Figure FDA0003944839010000034
(4.3)利用主结构重建方法对
Figure FDA0003944839010000035
进行重建，得到HR主结构图像
Figure FDA0003944839010000036
(4.4)用外部HR训练样本图像
Figure FDA0003944839010000037
减去得到HR主结构图像
Figure FDA0003944839010000038
以获取HR纹理图像
Figure FDA0003944839010000039
(4.5)对LR图像
Figure FDA00039448390100000310
进行升采样，得到
Figure FDA00039448390100000311
(4.6)通过特征提取算子F提取
Figure FDA00039448390100000312
并获得特征
Figure FDA00039448390100000313
(4.7)对
Figure FDA00039448390100000314
与
Figure FDA00039448390100000315
进行KSVD联合字典学习，得到纹理高低分辨率字典
Figure FDA00039448390100000316
和
Figure FDA00039448390100000317
(4.8)将输入图像I进行双三次插值放大得到Im；
(4.9))通过特征提取算子Forstner提取Im的特征Imf；
(4.10)对Imf中的每个小块imf，利用正交匹配追踪OMP算法解下述最优化问题：
Figure FDA00039448390100000318
获得高分辨率图像块imf在字典
Figure FDA00039448390100000319
下的稀疏表示系数
Figure FDA00039448390100000320
其中z表示稀疏表示系数，λ为正则化系数；
(4.11)根据公式
Figure FDA00039448390100000321
得到重建的HR纹理图像块th；
(4.12)将所有的HR纹理图像块th在HR网格上进行重组，对重叠区域进行平均处理，得到HR纹理图像Th。
4.根据权利要求2或3所述的基于主结构分离的稀疏表示图像超分辨率重建方法，其特征在于，所述KSVD算法的具体过程为：
将目标函数泛化为下式：
Figure FDA00039448390100000322
其中P为需要训练的输入图像块集合，D为字典，稀疏系数zi为系数矩阵Z中的列向量，固定字典D，令di为D中的第i列，
Figure FDA0003944839010000041
为Z中的第i行，假设要更新第k个原子dk，则目标函数可以调整为：
Figure FDA0003944839010000042
其中K为字典D中的原子数，
Figure FDA0003944839010000043
为稀疏系数矩阵Z中与dk相乘的第k行，矩阵Ek则表示去掉原子dk的成分在所有样本中造成的误差，对Ek和
Figure FDA0003944839010000044
作变换，引入ωk来记录P中在进行稀疏表示时使用过原子dk的图像块，即：
Figure FDA0003944839010000045
定义一个大小为N×|ωk|的矩阵Ωk，其中N为P中图像块的个数，使Ωk在(ωk(i),i)处为1，其余地方为0，并且令
Figure FDA0003944839010000046
即
Figure FDA0003944839010000047
中只保留非零位置系数，Ek只保留与
Figure FDA0003944839010000048
中非零位置相乘后得到的项，然后将式(8)乘上Ωk，可得到：
Figure FDA0003944839010000049
再对
Figure FDA00039448390100000410
进行奇异值分解SVD(Singular Value Decomposition)分解：
Figure FDA00039448390100000411
然后用矩阵U的第一列来更新原子dk，字典更新后通过OMP算法得到新的稀疏表示系数，然后重复迭代字典原子更新过程直到所有原子均得到更新，并获得最终的字典D。
5.一种计算机可读取介质，其上存储有计算机程序，其特征在于，所述程序执行时实现如权利要求1-3任一项所述方法的步骤。
CN201910855626.3A 2019-09-10 2019-09-10 一种基于主结构分离的稀疏表示图像超分辨率重建方法 Active CN110675318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910855626.3A CN110675318B (zh) 2019-09-10 2019-09-10 一种基于主结构分离的稀疏表示图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910855626.3A CN110675318B (zh) 2019-09-10 2019-09-10 一种基于主结构分离的稀疏表示图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN110675318A CN110675318A (zh) 2020-01-10
CN110675318B true CN110675318B (zh) 2023-01-03

Family

ID=69077814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910855626.3A Active CN110675318B (zh) 2019-09-10 2019-09-10 一种基于主结构分离的稀疏表示图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN110675318B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369510B (zh) * 2020-02-28 2022-07-01 四川大学华西医院 一种自动估计脉络膜厚度的方法
CN112070696A (zh) * 2020-09-07 2020-12-11 上海大学 一种基于纹理与结构分离的图像修复方法及系统、终端
CN112801879B (zh) * 2021-02-09 2023-12-08 咪咕视讯科技有限公司 图像超分辨率重建方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156875A (zh) * 2011-03-25 2011-08-17 西安电子科技大学 基于多任务ksvd字典学习的图像超分辨率重构方法
CN108122262A (zh) * 2016-11-28 2018-06-05 南京理工大学 基于主结构分离的稀疏表示单帧图像超分辨率重建算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780342A (zh) * 2016-12-28 2017-05-31 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156875A (zh) * 2011-03-25 2011-08-17 西安电子科技大学 基于多任务ksvd字典学习的图像超分辨率重构方法
CN108122262A (zh) * 2016-11-28 2018-06-05 南京理工大学 基于主结构分离的稀疏表示单帧图像超分辨率重建算法

Also Published As

Publication number Publication date
CN110675318A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN108734659B (zh) 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN110675318B (zh) 一种基于主结构分离的稀疏表示图像超分辨率重建方法
CN107341765B (zh) 一种基于卡通纹理分解的图像超分辨率重建方法
CN110501072B (zh) 一种基于张量低秩约束的快照式光谱成像系统的重构方法
CN107507135B (zh) 基于编码光圈和靶标的图像重构方法
CN109146787B (zh) 一种基于插值的双相机光谱成像系统的实时重建方法
CN109887050B (zh) 一种基于自适应字典学习的编码孔径光谱成像方法
CN112150354B (zh) 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法
CN106169174B (zh) 一种图像放大方法
CN108830791B (zh) 基于自身样例和稀疏表示的图像超分辨率方法
CN113139904B (zh) 一种图像盲超分辨率方法及系统
Aghabiglou et al. Projection-Based cascaded U-Net model for MR image reconstruction
Qiu et al. An automatic denoising method for NMR spectroscopy based on low-rank Hankel model
CN108122262B (zh) 基于主结构分离的稀疏表示单帧图像超分辨率重建算法
CN111754598B (zh) 基于变换学习的局部空间邻域并行磁共振成像重构方法
Liu et al. Multi-filters guided low-rank tensor coding for image inpainting
CN114494015A (zh) 基于盲超分辨率网络的图像重建方法
CN112991483A (zh) 一种非局部低秩约束的自校准并行磁共振成像重构方法
CN113379647B (zh) 一种优化psf估计的多特征图像复原方法
CN108460723A (zh) 基于邻域相似性的双边全变分图像超分辨率重建方法
CN109741258B (zh) 基于重建的图像超分辨率方法
CN112837220B (zh) 一种提高红外图像分辨率的方法及其用途
Yang et al. A novel regularized K-SVD dictionary learning based medical image super-resolution algorithm
CN108846797B (zh) 基于两种训练集合的图像超分辨率方法
CN109559357B (zh) 一种基于小波包阈值的图像块压缩感知重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant