CN114170087A - 一种基于跨尺度低秩约束的图像盲超分辨率方法 - Google Patents

一种基于跨尺度低秩约束的图像盲超分辨率方法 Download PDF

Info

Publication number
CN114170087A
CN114170087A CN202111538176.9A CN202111538176A CN114170087A CN 114170087 A CN114170087 A CN 114170087A CN 202111538176 A CN202111538176 A CN 202111538176A CN 114170087 A CN114170087 A CN 114170087A
Authority
CN
China
Prior art keywords
image
resolution
low
resolution image
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111538176.9A
Other languages
English (en)
Inventor
肖创柏
冯文静
禹晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202111538176.9A priority Critical patent/CN114170087A/zh
Publication of CN114170087A publication Critical patent/CN114170087A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于跨尺度低秩约束的图像盲超分辨率方法，通过对高分辨率图像和模糊核进行交替迭代估计实现低分辨图像的超分辨率重建。上述方法包括：筛选当前高分辨率图像中各个方向大于梯度阈值的像素参与模糊核估计；对高分辨率图像中的图像块构造跨尺度相似图像块组，对该组矩阵进行低秩估计；利用低秩矩阵进行高分辨率图像估计。对模糊核与高分辨率图像进行联合建模，同时更新模糊核与高分辨率图像并相互修正；利用跨尺度相似图像块为重建图像块提供潜在的细节信息，且对相似图像块组矩阵进行低秩约束可以表示数据的全局结构，对噪声具有鲁棒性。本发明方法能够准确地估计模糊核，实现对有噪低分辨率图像的超分辨率重建。

Description

一种基于跨尺度低秩约束的图像盲超分辨率方法
技术领域
本发明涉及图像超分辨率领域，更具体地说，涉及一种基于跨尺度低秩约束的图像盲超分辨率方法。
背景技术
在成像设备获取图像的过程中，由于大气的湍流效应、摄像设备中光学系统的衍射、成像距离过远、高分辨率摄像设备造价高昂等原因，很难直接获取高分辨率的图像。图像的分辨率越高，细节越精细，纹理越清晰，提供的有用信息越多。图像超分辨率方法利用多幅或单幅低分辨率图像重建高分辨率图像，为低分辨率图像恢复或重建合理的高频成分，突破传感器固有采样频率的限制，实现低分辨率图像在空间分辨率或截止频率上的拓展，从而达到提升图像空间分辨率的目的。在遥感监测、视频监控、医学图像处理等众多领域，图像超分辨率技术都有着广泛的应用。
由于在实际情况下很难获取同一时间、同一场景的多幅低分辨率图像，因此单幅图像超分辨率方法更具有通用性。单幅图像超分辨率方法通过图像处理的手段，在降质过程未知的情况下，仅从单幅低分辨率图像中复原出原始的高分辨率图像，有效的提高图像的分辨率。由成像系统获取图像的过程为正问题，利用降质图像中恢复潜在的原始图像是典型的图像逆问题。图像超分辨率方法根据降质模型是否已知分为两类：若降质矩阵已知，则称为非盲超分辨率问题；若降质矩阵未知，则称为盲超分辨率问题。在实际应用中，通常无法获知观测图像的降质模型或降质参数，因此，图像盲超分辨率方法更具有实用性。
图像盲超分辨率问题是一个严重的欠定逆问题，待求解的未知变量数目大于已知方程的数目，解不惟一。为了寻找准确解，有必要引入关于图像的先验知识，称为图像先验模型，将其作为正则化约束项加入到重建过程中，这个过程称为正则化。正则化约束为解决病态问题提供额外的附加信息，约束可行解的空间。现有的大部分图像超分辨率算法是非盲的，图像盲超分辨率研究工作并不多。ZSSR使用预定义或已估计的模糊核构建低分辨率图像的降采样版本，依据单幅图像的自相似性，通过低分辨率图像与降采样图像为每一幅图像训练特定参数的卷积神经网络。该方法虽然在重建过程中能够引入预定义或已估计的模糊核，但是并未对模糊核进行估计，从严格意义上讲并不属于图像盲超分辨率方法。现有的图像盲超分辨率算法根据估计模糊核的过程大致分为独立求解和联合建模两类。独立求解的方法首先利用低分辨率图像估计模糊核，然后在估计的模糊核的基础上利用非盲超分辨率方法进行高分辨率图像的重建。Michaeli等通过最大化低分辨率图像中不同尺度间图像块的相似性估计模糊核。最近，Bell-Kligler等提出一种基于生成式对抗网络来独立估计模糊核的KernelGAN模型，该模型训练生成器生成低分辨率图像的降采样版本，当判别器无法区分低分辨率图像和降采样图像时，生成器拟合真实高分辨率图像的降质过程，从而估计真实的模糊核，该方法本质上也是通过最大化图像跨尺度自相似性估计模糊核。这两种图像盲超分辨率方法都使用了图像自身的多尺度自相似性，通过获取非局部图像块之间的附加信息来重建合理的高频成分。独立求解的方法中模糊核估计和高分辨率图像估计是两个独立的阶段，模糊核估计的误差会影响后续高分辨率图像估计的结果，而高分辨率图像估计的结果不能对模糊核估计的误差进行修正。上述两种方法只估计了模糊核，需要进一步利用非盲超分辨率方法重建高分辨率图像。目前现有的大多数图像盲超分辨率算法均假设低噪声水平情况，图像盲超分辨率问题是病态逆问题，在缺乏噪声的先验知识时，图像盲超分辨率重建会放大噪声，导致无法准确估计模糊核。
本发明公开了一种基于跨尺度低秩约束的图像盲超分辨率方法，采用联合建模的方法对模糊核与高分辨率图像进行联合建模，将模糊核与高分辨率图像估计问题表示为两个决策变量的最优化问题，通过交替迭代同时估计模糊核和高分辨率图像。对高分辨率图像和模糊核进行交替迭代估计，两者逐步更新，相互修正。本发明利用高分辨率图像、低分辨率图像及其降采样图像之间的跨尺度自相似性，对于低分辨率图像中的各个图像块，在降采样图像中搜索其多个相似图像块，将输入图像块在高分辨率图像中对应的父块与相似图像块在低分辨率图像中对应的父块合并，构造相似图像块组矩阵。由于低分辨率图像中的跨尺度相似图像块能够为重建图像块提供潜在的细节信息，因此对相似图像块组矩阵进行低秩约束，将其作为正则项加入到目标函数中，在交替迭代求解过程中迫使重建图像恢复高频成分，同时估计模糊核和高分辨率图像。对相似图像块组矩阵进行低秩约束，可以保留数据的全局结构同时抑制噪声，使得重建的高分辨率图像在迭代求解过程中逐渐逼近真实的高分辨率图像，同时估计的模糊核也逐渐逼近真实的模糊核。本发明公开的方法能够处理受噪声干扰的低分辨率图像，同时准确地估计模糊核与高分辨率图像，重建高分辨率图像的边缘和细节。
发明内容
有鉴于此，本发明实施例提供了一种基于跨尺度低秩约束的图像盲超分辨率方法，以实现低分辨率图像的盲超分辨率重建。
为了实现上述目的，本发明实施例提供了如下方案：
一种基于跨尺度低秩约束的图像盲超分辨率方法，其特征在于，包含以下步骤：
步骤1.读入低分辨率图像，初始化高分辨率图像；
读入低分辨率图像，将低分辨率图像进行的插值估计作为高分辨率图像的初始估计。设置降采样因子a、输入图像块尺寸n、相似块搜索控制常数γδ、搜索相似图像块个数的上限Th与下限Tl、奇异值阈值控制常数γσ、正则化参数λh、λg和λc以及模糊核尺寸。
步骤2.估计模糊核；
固定当前高分辨率图像的估计x(k)，求解模糊核h(k+1)。通过求解如下线性方程组更新对模糊核h(k+1)的估计：
[(DX(k))TDX(k)+λhI]h(k+1)＝(DX(k))Ty
式中，D为降采样矩阵，X(k)为高分辨率图像x(k)对应的块循环矩阵，y表示低分辨率图像，λh为正则化参数。由于上式中降采样矩阵D不能在频域中计算，本发明利用双共轭梯度算法求解上式中的模糊核h(k+1)。在上式中，本发明采取一种常用的方式排除图像平滑区域对模糊核估计的干扰，即将高分辨率图像x(k)中梯度小于一定阈值的像素点的梯度置为0。记梯度阈值为τ，模糊核大小为s，则τ的选取方式为：首先将图像梯度根据其方向分为4组，然后设置τ的取值以保证每一组都保留至少有
Figure BDA0003413185450000031
个像素点用于估计模糊核。随着迭代次数的增加，为了使重建图像中更多的像素点逐步加入模糊核估计的过程中，在每一次迭代时将τ的值缩小为上一次迭代时的1.1倍。
步骤3.估计高分辨率图像；
固定当前模糊核的估计h(k+1)，给定当前高分辨率图像的估计x(k)，更新下一次迭代的高分辨率图像x(k+1)。
步骤3.1构建跨尺度相似图像块组矩阵；
使用当前模糊核估计h(k+1)对低分辨率图像进行降采样获得降采样图像。设
Figure BDA0003413185450000032
和
Figure BDA0003413185450000033
分别表示当前估计的高分辨率图像、低分辨率图像和降采样图像的向量形式。Qjx(k)表示从高分辨率图像x(k)中抽取的第j个图像块，其中
Figure BDA0003413185450000034
为抽取矩阵，抽取的图像块尺寸为n。
Figure BDA0003413185450000035
表示Qjx(k)在低分辨率图像y中对应的子块，其中
Figure BDA0003413185450000036
为抽取矩阵，抽取的图像块尺寸为n/a2。对于低分辨率图像y中的任意图像块
Figure BDA0003413185450000037
在降采样图像中存在多个相似图像块，采用KD树搜索方法在降采样图像中搜索多个相似图像块。对于
Figure BDA0003413185450000038
设在降采样图像ya中搜索m-1个相似块
Figure BDA0003413185450000039
其在低分辨率图像y中对应的父块为
Figure BDA00034131854500000310
将Qjx(k)与
Figure BDA00034131854500000311
合并，构成跨尺度相似图像块组矩阵
Figure BDA00034131854500000312
，记为
Figure BDA00034131854500000313
其中，n为图像块的尺寸，m为图像块的个数。
对于不同程度的细节块，所搜索相似图像块的个数不同，本发明设置相似块搜索个数的下限为Tl，上限为Th，即相似块个数满足Tl≤m≤Th。如果搜索到的相似块个数小于Tl，则该图像块不参与低秩约束的重建；如果搜索到的相似块个数大于Th，那么仅选取前Th个相似图像块构造相似图像块组。
步骤3.2求解低秩结构
Figure BDA0003413185450000041
对L子问题进行求解，即固定高分辨率图像x(k)，求解低秩结构
Figure BDA0003413185450000042
利用奇异值软阈值算子对跨尺度相似图像块组矩阵
Figure BDA0003413185450000043
的低秩矩阵估计
Figure BDA0003413185450000044
进行求解，其闭合解为
Figure BDA0003413185450000045
其中，
Figure BDA0003413185450000046
为软阈值算子，定义为
Figure BDA0003413185450000047
其中，Ωj＝diag(ωj，1，...，ωj，r)为权重对角矩阵，ωj，i，i＝1，...，γ为自适应权重。
本发明将Lj中第i个奇异值对应的权重表示为：
Figure BDA0003413185450000048
式中，m为相似图像块的个数，∈＝10-16的作用是避免分母为0，σj，i(Lj)为低秩矩阵Lj的第i个奇异值，
Figure BDA0003413185450000049
为噪声的标准差，其中，γσ为控制系数。
步骤3.3求解高分辨率图像x(k+1)；
求解X子问题，即固定低秩结构
Figure BDA00034131854500000410
求解高分辨率图像x(k+1)。通过求解如下线性方程组更新对x(k+1)的估计：
Figure BDA00034131854500000411
式中，D为降采样矩阵，H(k+1)为模糊核h(k+1)对应的块循环矩阵，
Figure BDA00034131854500000412
和
Figure BDA00034131854500000413
分别为差分算子
Figure BDA00034131854500000414
和
Figure BDA00034131854500000415
的矩阵表示形式，
Figure BDA00034131854500000416
为Lj对第一列图像块的重建结果，
Figure BDA00034131854500000417
表示将重建图像块
Figure BDA00034131854500000418
根据抽取的位置放回图像中对应的位置。本发明采取双共轭梯度法来求解如上线性方程组，获得x(k+1)。
步骤4.判断收敛，输出模糊核与高分辨率图像的估计；
通过步骤2和步骤3，进行对目标函数的一次迭代求解，获得对模糊核的估计h(k+1)，并将高分辨率图像的估计x(k)更新为x(k+1)。如果此时达到最大迭代次数或者迭代收敛，则停止迭代，输出最终的模糊核与高分辨率图像估计；否则，令k＝k+1，然后重复步骤2和步骤3。
优选的，所述输入图像块尺寸n为5×5。
优选的，所述搜索相似图像块个数m的上限Th为25，下限Tl为5。
优选的，所述奇异值阈值控制常数γσ＝0.2。
优选的，所述正则化参数λh为5×10-5a2N、λg为1.5×10-4和λc为1.5×10-6。
本发明将图像跨尺度自相似性先验和低秩先验相结合，提出了一种基于跨尺度低秩约束的图像盲超分辨率方法，采用联合建模的方法同时估计模糊核与高分辨率图像。利用高分辨率图像、低分辨率图像及其降采样图像之间的跨尺度自相似性，对于低分辨率图像中的各个图像块，在降采样图像中搜索其多个相似图像块，将输入图像块在高分辨率图像中对应的父块与相似图像块在低分辨率图像中对应的父块合并，构造相似图像块组矩阵。利用跨尺度相似图像块引入附加的空间结构信息，有利于图像块空间结构的重建。通过对相似图像块组矩阵进行整体低秩约束，低秩约束能够表示数据的全局结构并抑制噪声，在交替迭代过程中同时估计模糊核和高分辨率图像，两者逐步更新，相互修正。本发明公开的方法能够处理受噪声干扰的低分辨率图像，同时准确地估计模糊核与高分辨率图像，重建高分辨率图像的边缘和细节。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的图像盲超分辨率重建的示意图；
图2为本发明实施例所提供的图像多尺度自相似性示意图；
图3为本发明实施例所提供的跨尺度自相似块之间的关联示意图；
图4为本发明实施例所提供的基于跨尺度低秩约束的图像盲超分辨率方法的流程图；
图5为本发明实施例所提供的构造跨尺度相似图像块组的示意图；
图6为本发明实施例所提供的在DIVRK数据集上各种方法的平均PSNR与SSIM比较。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
从高分辨率图像到低分辨率图像的降质过程通常表示为如下所示的卷积模型：
y＝(h*x)↓a+n (1)
其中，y表示低分辨率图像，x表示高分辨率图像，*表示卷积操作，h为模糊核，a表示降采样因子，n为噪声。在卷积模型下，图像盲超分辨率方法即研究如何从低分辨率图像y中同时估计出模糊核h和高分辨率图像x，如图1所示。
图像盲超分辨率问题是一个欠定逆问题，待求解的未知变量数目大于已知方程的数目，解不惟一。为了寻找准确解，有必要引入关于图像的先验知识，称为图像先验模型，表示为Ψ(x)，将其作为正则化约束项加入到目标函数中，这个过程称为正则化。正则化约束为解决病态问题提供额外的附加信息，约束目标函数的解空间，正则化方法通常表示为如下的最优化问题：
Figure BDA0003413185450000061
式中，第一项表示数据保真项，第二项为高分辨率图像的正则化约束，第三项为模糊核的正则化约束，λc和λh为正则化参数。
图像先验模型在图像盲超分辨率问题中占据着重要地位，如何设计有效的正则化约束项来描述图像的先验知识或附加信息是图像盲超分辨率方法的关键问题。前期的工作主要利用关于图像梯度的先验知识，图像梯度表示图像相邻像素之间的关系，并不足以表示较大尺度的图像结构。近年来，一些图像超盲分辨率方法利用了关于图像块的先验信息，相比于梯度先验，基于图像块先验知识的图像盲超分辨率方法具有更好的准确性和鲁棒性。由于图像盲超分辨率算法实现低分辨率图像在空间分辨率或截止频率上的拓展，所以需要额外的附加信息为低分辨率图像恢复或重建合理的高频成分，从而达到提升图像空间分辨率的目的。本发明从图像自身所具有的多尺度自相似性挖掘先验知识，通过构造正则化约束项将多尺度自相似结构中蕴含的附加信息有效地加入到图像重建中，将图像盲超分辨率问题转换为寻找满足特定约束条件解的最优化问题。
如图2所示，图像中广泛存在着多尺度自相似结构，这种自相似性具体表现为图像中所具有的相同尺度以及不同尺度的相似图像块，即从图像中提取一个图像块，可在原尺度图像及其他尺度的图像中找到相似的图像块。图像在相同尺度的自相似性称为同尺度自相似性，在不同尺度上的自相似性称为跨尺度自相似性。相同尺度的相似图像块提供亚像素位移的互补信息，不同尺度的相似图像块提供了高、低分辨率图像之间的映射关系。跨尺度自相似性可以为图像盲超分辨率重建提供附加信息。对于低分辨率图像中的输入图像块，在降采样图像中搜索相似图像块，则关联输入图像块与其相似块在低分辨率图像中的父块之间的模糊核就是超分辨率降质模型中关联高低分辨率图像之间的模糊核。如图3所示，若关联高分辨率图像与低分辨率图像的模糊核为h，降采样因子为a，高分辨率图像中的图像块Q对应低分辨率图像中的图像块q。如果对低分辨率图像与模糊核h进行卷积以及a倍下采样生成降采样图像，可得出ra与q相似。那么对于低分辨率图像中的图像块q，在降采样图像中搜索相似图像块ra，则相似块ra在低分辨率图像中的父块r与输入图像块q在高分辨率图像中的父块Q相似，为重建Q提供附加信息。
设
Figure BDA0003413185450000071
和
Figure BDA0003413185450000072
分别表示高分辨率图像、低分辨率图像和降采样图像的向量形式，其中N为低分辨率图像的像素数，a为降采样因子。Qjx表示从高分辨率图像x中抽取的第j个图像块，其中
Figure BDA0003413185450000073
为抽取矩阵，抽取的图像块尺寸为n。
Figure BDA0003413185450000074
表示Qjx在低分辨率图像y中对应的子块，其中
Figure BDA0003413185450000075
为抽取矩阵，抽取的图像块尺寸为n/a2。由于图像的不同尺度间广泛存在着跨尺度相似图像块，即对于低分辨率图像y中的任意图像块
Figure BDA0003413185450000076
在降采样图像ya中的相似图像块为
Figure BDA0003413185450000077
其中
Figure BDA0003413185450000078
为抽取矩阵，抽取的图像块尺寸为n/a2，
Figure BDA0003413185450000079
在低分辨率图像y中对应的父块为
Figure BDA00034131854500000710
其中
Figure BDA00034131854500000711
为抽取矩阵，抽取的图像块尺寸为n。对于
Figure BDA00034131854500000712
设在降采样图像ya中搜索m-1个相似块
Figure BDA00034131854500000713
其在低分辨率图像y中对应的父块为
Figure BDA00034131854500000714
Qjx与
Figure BDA00034131854500000715
相似，将Qjx与
Figure BDA00034131854500000716
合并，构成跨尺度相似图像块组矩阵Pj，记为
Figure BDA00034131854500000717
其中，n为图像块的尺寸，m为图像块的个数。
对跨尺度相似图像块组矩阵Pj进行低秩约束，将这种跨尺度低秩先验作为对图像的正则化约束加入到图像盲超分辨率重建的目标函数中，目标函数可表示为：
Figure BDA00034131854500000718
式中，x和y分别表示高分辨率图像和低分辨率图像，h表示模糊核，a表示降采样因子，*表示二维卷积运算，||·||2表示l2范数，Pj表示图像块Qjx与其在低分辨率图像中的相似图像块
Figure BDA00034131854500000719
构成的组矩阵，Lj表示观测矩阵Pj的潜在低秩结构，||·||F表示矩阵Frobenius范数，rank(·)为秩函数，t为限制矩阵秩的常数，λc、λh、λg为正则化参数。式(3)中第一项为数据保真项，保证重建图像符合降质模型；第二项为跨尺度低秩约束项，为估计模糊核和重建高分辨率图像提供附加信息；第三项为模糊核的正则化约束项；第四项为梯度约束项，采用l2范数对图像边缘进行平滑性约束。由于图像具有跨尺度自相似性，跨尺度相似图像块可以为重建高分辨率图像块和估计模糊核提供有效的附加信息，且低秩约束能够表示数据的全局结构并抑制噪声。
本发明通过式(3)所示的最优化问题求解模糊核的估计，由于式(3)是非凸的，没有闭合解，本发明采用交替迭代的方式对式(3)所示的最优化问题进行求解，即固定当前对高分辨率图像的估计结果x(k)，更新模糊核的估计h(k+1)，然后固定h(k+1)，更新x(k+1)，如此迭代直到估计结果收敛或者达到最大迭代次数为止。
依据图像自身的多尺度自相似性，本实施例公开了一种基于跨尺度低秩约束的图像盲超分辨率算法，以实现低分辨率图像的盲超分辨率重建。参见图4，上述方法至少包括以下步骤：
步骤1.读入低分辨率图像，初始化高分辨率图像；
读入低分辨率图像，将低分辨率图像进行的插值估计作为高分辨率图像的初始估计。设置降采样因子a、输入图像块尺寸n、相似块搜索控制常数γδ、搜索相似图像块个数的上限Th与下限Tl、奇异值阈值控制常数γσ以及正则化参数λh、λg和λc。由于盲超分辨率方法不知道模糊核的真实尺寸，在盲超分辨率重建前需要估计模糊核尺寸，或者预先设定模糊核尺寸。
步骤2.估计模糊核；
固定高分辨率图像x(k)，求解模糊核h(k+1)，此时目标函数简化为：
Figure BDA0003413185450000082
将上式转换为矩阵向量乘积的形式：
Figure BDA0003413185450000083
式中，D为降采样矩阵，X(k)为高分辨率图像x(k)对应的块循环矩阵，y表示低分辨率图像，λh为正则化参数。式(5)为关于h的二次函数，有闭合解。令式(5)对h的导数为0，可得：
[(DX(k))TDX(k)+λhI]h(k+1)＝(DX(k))Ty (6)
由于式(6)中降采样矩阵D不能在频域中计算，因此本发明利用双共轭梯度算法求解式(6)中的模糊核h(k+1)。在式(6)中，本发明采取一种常用的方式排除图像平滑区域对模糊核估计的干扰，即将高分辨率图像x(k)中梯度小于一定阈值的像素点的梯度置为0。记梯度阈值为τ，模糊核大小为s，则τ的选取方式为：首先将图像梯度根据其方向分为4组，然后设置τ的取值以保证每一组都保留至少有
Figure BDA0003413185450000084
个像素点用于估计模糊核。随着迭代次数的增加，为了使重建图像中更多的像素点逐步加入模糊核估计的过程中，在每一次迭代时将τ的值缩小为上一次迭代时的1.1倍。
步骤3.估计高分辨率图像；
固定当前模糊核的估计h(k+1)，给定当前高分辨率图像的估计x(k)，更新下一次迭代的高分辨率图像x(k+1)，此时目标函数简化为：
Figure BDA0003413185450000091
由于式(7)中Lj和x均为待求解的未知量，且未知的低秩表示Lj依赖于方程的解x(k +1)，因而该方程没有闭合解，将式(7)所示的最优化问题分解为L子问题和X子问题分别进行求解。
步骤3.1构建跨尺度相似图像块组；
对于低分辨率图像中的图像块，在降采样图像中搜索其多个相似图像块，将输入图像块在高分辨率图像中对应的父块与相似图像块在低分辨率图像中对应的父块合并，构造跨尺度相似图像块组矩阵。对跨尺度相似图像块组矩阵进行低秩约束，使得重建的高分辨率图像在迭代求解过程中逐渐逼近真实的高分辨率图像，同时估计的模糊核也逐渐逼近真实的模糊核。
使用当前模糊核估计h(k+1)对低分辨率图像进行降采样获得降采样图像。设
Figure BDA0003413185450000092
和
Figure BDA0003413185450000093
分别表示当前估计的高分辨率图像、低分辨率图像和降采样图像的向量形式。Qjx(k)表示从高分辨率图像x(k)中抽取的第j个图像块，其中
Figure BDA0003413185450000094
为抽取矩阵，抽取的图像块尺寸为n。
Figure BDA0003413185450000095
表示Qjx(k)在低分辨率图像y中对应的子块，其中
Figure BDA0003413185450000096
为抽取矩阵，抽取的图像块尺寸为n/a2。由于图像的不同尺度间广泛存在着跨尺度相似图像块，即对于低分辨率图像y中的任意图像块
Figure BDA0003413185450000097
在降采样图像中存在多个相似图像块，采用KD树搜索方法在降采样图像中搜索多个相似图像块。对于
Figure BDA0003413185450000098
设在降采样图像ya中搜索m-1个相似块
Figure BDA0003413185450000099
其在低分辨率图像y中对应的父块为
Figure BDA00034131854500000910
将Qjx(k)与
Figure BDA00034131854500000911
合并，构成跨尺度相似图像块组矩阵
Figure BDA00034131854500000912
记为
Figure BDA00034131854500000913
其中，n为图像块的尺寸，m为图像块的个数。图5直观说明了上述过程。
对于不同程度的细节块，所搜索相似图像块的个数不同，本发明将图像块与其具有亚像素位移的图像块之间的欧氏距离作为判断图像块相似性的自适应阈值。对高分辨率图像x进行插值移位，生成具有1/2亚像素位移的图像
Figure BDA00034131854500000914
然后对各个输入图像块qi，在
Figure BDA00034131854500000915
中找到对应位置的图像块
Figure BDA00034131854500000916
记自适应阈值为δd，
Figure BDA00034131854500000917
γδ为控制系数，选取欧氏距离小于自相似性阈值δd的图像块作为原图像块的相似块。此外，对于不同程度的细节块，所搜索相似图像块的个数不同，本发明设置相似块搜索个数的下限为Tl，上限为Th，即相似块个数满足Tl≤m≤Th。如果搜索到的相似块个数小于Tl，则该图像块不参与低秩约束的重建；如果搜索到的相似块个数大于Th，那么仅选取前Th个相似图像块构造相似图像块组。
步骤3.2求解低秩结构
Figure BDA0003413185450000101
对L子问题进行求解，即固定高分辨率图像x(k)，求解低秩结构
Figure BDA0003413185450000102
此时式(7)所示的目标函数简化为：
Figure BDA0003413185450000103
其中，
Figure BDA0003413185450000104
为跨尺度相似图像块组矩阵，Lj为
Figure BDA0003413185450000105
的低秩结构。
本发明利用加权核范数对秩函数进行松弛来约束Lj的低秩性，式(8)可表示为如下基于加权核范数最小化问题：
Figure BDA0003413185450000106
式中，低秩项
Figure BDA00034131854500001015
σj，i为低秩矩阵Lj的第i个奇异值，ωj，i为奇异值σj，i对应的权重。矩阵的奇异值隐含重要的结构信息，且重要性和奇异值大小成正相关。利用加权核范数对不同大小的奇异值分配不同的权重，从而保留重要的秩成分。
利用奇异值软阈值算子求解式(9)，首先对跨尺度相似图像块组矩阵
Figure BDA0003413185450000107
进行奇异值分解：
Figure BDA0003413185450000108
其中，Uj和Vj为标准正交矩阵，∑j＝diag(σj，1，...，σj，r)为奇异值对角矩阵，σj，i，i＝1，...，r为矩阵
Figure BDA0003413185450000109
的奇异值，r＝min(n，m)，n和m分别表示组矩阵
Figure BDA00034131854500001010
的行数和列数。式(9)的低秩矩阵估计Lj表示为如下闭合解的形式：
Figure BDA00034131854500001011
其中，软阈值算子
Figure BDA00034131854500001012
为：
Figure BDA00034131854500001013
其中，Ωj＝diag(ωj，1，...，ωj，r)为权重对角矩阵，wj,i,i＝1，...，r为自适应权重。
低秩矩阵Lj的奇异值对应的权值与奇异值大小成反比，将Lj中第i个奇异值对应的权重表示为：
Figure BDA00034131854500001014
式中，m为相似图像块的个数，∈＝10-16的作用是避免分母为0，σj，i(Lj)为低秩矩阵Lj的第i个奇异值，
Figure BDA0003413185450000111
为噪声的标准差，其中，γσ为控制系数。由于计算权值wj，i时，σj，i(Lj)是未知量，因此需要对Lj的奇异值进行初始化，设置
Figure BDA0003413185450000112
步骤3.3求解高分辨率图像x(k+1)；
对X子问题进行求解，即固定低秩结构
Figure BDA0003413185450000113
求解高分辨率图像x(k+1)，此时式(7)所示的目标函数简化为：
Figure BDA0003413185450000114
为了在表达式中建立与图像x之间的关系，将式(14)中
Figure BDA0003413185450000115
写为
Figure BDA0003413185450000116
的形式，其中，Pj中第一列为图像块Qjx，
Figure BDA0003413185450000117
中第一列图像块记为
Figure BDA0003413185450000118
将式(14)转换为矩阵向量乘积的形式，可表示为：
Figure BDA0003413185450000119
式中，D为降采样矩阵，H(k+1)为模糊核h(k+1)对应的块循环矩阵，
Figure BDA00034131854500001110
和
Figure BDA00034131854500001111
分别为差分算子
Figure BDA00034131854500001112
和
Figure BDA00034131854500001113
的矩阵表示形式。令式(15)对x的导数为0，则有：
Figure BDA00034131854500001114
式中，
Figure BDA00034131854500001115
Figure BDA00034131854500001116
为Lj对第一列图像块的重建结果，
Figure BDA00034131854500001117
表示将重建图像块
Figure BDA00034131854500001118
根据抽取的位置放回图像中对应的位置。本发明采取双共轭梯度法来求解式(16)，获得x(k+1)。
步骤4.判断收敛，输出模糊核与高分辨率图像的估计；
通过步骤2和步骤3，进行对目标函数的一次迭代求解，获得对模糊核的估计h(k+1)，并将高分辨率图像的估计x(k)更新为x(k+1)。如果此时达到最大迭代次数或者迭代收敛，则停止迭代，输出最终的模糊核与高分辨率图像估计；否则，令k＝k+1，然后重复步骤2和步骤3。
优选的，输入图像块尺寸n＝5×5，相似块搜索控制常数γδ为8，搜索相似图像块个数的上限Th为25，下限Tl为5，奇异值阈值控制常数γσ＝0.2，正则化参数λh为5×10-5a2N、λg为1.5×10-4和λc为1.5×10-6。
本发明在DIVRK数据集上验证所公开的方法。由于显存的原因，本发明根据构建DIV2KRK的方式创建了盲图像超分辨率的数据集DIVRK，该数据集从DIV2K数据集中筛选20幅尺寸为816×816到904×904的不同类别的图像，包括动物、雕塑、航拍、建筑、植物、文字和人物。DIVRK数据集对每幅图像随机生成各向异性的高斯模糊核，将其与图像做卷积并降采样操作，生成对应的模拟低分辨率图像。各向异性高斯模糊核的生成过程为随机设置水平和垂直方向的方差λ1，λ2～U(0.35，10)，随机旋转角度θ～U(-π，π)，然后添加信号相关的加性噪声，噪声与模糊核系数正相关，比例因子服从U(-0.4，0.4)，并进行归一化处理，最后尺寸截断为11×11，其中U(b1，b2)表示在区间(b1，b2)上的均匀分布。
本发明利用峰值信噪比PSNR与结构自相似性SSIM作为定量评估的指标，复原图像与真值图像之间的PSNR与SSIM越大，表明复原图像与真值图像越接近。目前的图像盲超分辨率方法并不多，Michael等和KernelGAN提出的方法是目前普遍认可的两种图像盲超分辨率方法，这两种方法实际上只进行了模糊核估计，ZSSR可结合真实或估计的模糊核实现非盲超分辨率重建，Michaeli等+ZSSR和KernelGAN+ZSSR表示结合Michaeli等和KernelGAN估计的模糊核与ZSSR实现盲超分辨率重建的方法。图6定量比较了本发明公开的方法与这两种方法在DIVRK数据集上的平均PSNR与SSIM，可以看出，无论是进行2倍分辨率提升还是4倍分辨率提升时，本发明公开的方法的平均PSNR与SSIM上都优于Michaeli等+ZSSR和KernelGAN+ZSSR的方法。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于跨尺度低秩约束的图像盲超分辨率方法，其特征在于，包含以下步骤：
步骤1.读入低分辨率图像，初始化高分辨率图像；
读入低分辨率图像，将低分辨率图像进行的插值估计作为高分辨率图像的初始估计；设置降采样因子a、输入图像块尺寸n、相似块搜索控制常数γδ、搜索相似图像块个数的上限Th与下限Tl、奇异值阈值控制常数γσ、正则化参数λh、λg和λc以及模糊核尺寸；
步骤2.估计模糊核；
固定当前高分辨率图像的估计x(k)，求解模糊核h(k+1)；通过求解如下线性方程组更新对模糊核h(k+1)的估计：
[(DX(k))TDX(k)+λhI]h(k+)＝(DX(k))Ty
式中，D为降采样矩阵，X(k)为高分辨率图像x(k)对应的块循环矩阵，y表示低分辨率图像，λh为正则化参数；由于上式中降采样矩阵D不能在频域中计算，利用双共轭梯度算法求解模糊核h(k+1)；将高分辨率图像x(k)中梯度小于一定阈值的像素点的梯度置为0；记梯度阈值为τ，模糊核大小为s，则τ的选取方式为：首先将图像梯度根据其方向分为4组，然后设置τ的取值以保证每一组都保留至少有
Figure FDA0003413185440000011
个像素点用于估计模糊核；随着迭代次数的增加，为了使重建图像中更多的像素点逐步加入模糊核估计的过程中，在每一次迭代时将τ的值缩小为上一次迭代时的1.1倍；
步骤3.估计高分辨率图像；
固定当前模糊核的估计h(k+1)，给定当前高分辨率图像的估计x(k)，更新下一次迭代的高分辨率图像x(k+1)；
步骤3.1构建跨尺度相似图像块组矩阵；
使用当前模糊核估计h(k+1)对低分辨率图像进行降采样获得降采样图像；设
Figure FDA0003413185440000012
Figure FDA0003413185440000013
和
Figure FDA0003413185440000014
分别表示当前估计的高分辨率图像、低分辨率图像和降采样图像的向量形式；Qjx(k)表示从高分辨率图像x(k)中抽取的第j个图像块，其中
Figure FDA0003413185440000015
为抽取矩阵，抽取的图像块尺寸为n；
Figure FDA0003413185440000016
表示Qjx(k)在低分辨率图像y中对应的子块，其中
Figure FDA0003413185440000017
为抽取矩阵，抽取的图像块尺寸为n/a2；对于低分辨率图像y中的任意图像块
Figure FDA0003413185440000018
在降采样图像中存在多个相似图像块，采用KD树搜索方法在降采样图像中搜索多个相似图像块；对于
Figure FDA0003413185440000019
设在降采样图像ya中搜索m-1个相似块
Figure FDA00034131854400000110
其在低分辨率图像y中对应的父块为
Figure FDA00034131854400000111
将Qjx(k)与
Figure FDA00034131854400000112
合并，构成跨尺度相似图像块组矩阵
Figure FDA00034131854400000113
记为
Figure FDA00034131854400000114
其中，n为图像块的尺寸，m为图像块的个数；
对于不同程度的细节块，所搜索相似图像块的个数不同，设置相似块搜索个数的下限为Tl，上限为Th，即相似块个数满足Tl≤m≤Th；如果搜索到的相似块个数小于Tl，则该图像块不参与低秩约束的重建；如果搜索到的相似块个数大于Th，那么仅选取前Th个相似图像块构造相似图像块组；
步骤3.2求解低秩结构
Figure FDA0003413185440000021
对L子问题进行求解，即固定高分辨率图像x(k)，求解低秩结构
Figure FDA0003413185440000022
利用奇异值软阈值算子对跨尺度相似图像块组矩阵
Figure FDA0003413185440000023
的低秩矩阵估计
Figure FDA0003413185440000024
进行求解，其闭合解为
Figure FDA0003413185440000025
其中，
Figure FDA0003413185440000026
为软阈值算子，定义为
Figure FDA0003413185440000027
其中，Ωj＝diag(ωj，1，...，ωj，r)为权重对角矩阵，ωj，i，i＝1，...，r为自适应权重；
将Lj中第i个奇异值对应的权重表示为：
Figure FDA0003413185440000028
式中，m为相似图像块的个数，∈＝10-16的作用是避免分母为0，σj，i(Lj)为低秩矩阵Lj的第i个奇异值，
Figure FDA0003413185440000029
为噪声的标准差，其中，γσ为控制系数；
步骤3.3求解高分辨率图像x(k+1)；
求解X子问题，即固定低秩结构
Figure FDA00034131854400000210
求解高分辨率图像x(k+1)；通过求解如下线性方程组更新对x(k+1)的估计：
Figure FDA00034131854400000211
式中，D为降采样矩阵，H(k+1)为模糊核h(k+1)对应的块循环矩阵，
Figure FDA00034131854400000212
Figure FDA00034131854400000213
和
Figure FDA00034131854400000214
分别为差分算子
Figure FDA00034131854400000215
和
Figure FDA00034131854400000216
的矩阵表示形式，
Figure FDA00034131854400000217
Figure FDA00034131854400000218
为Lj对第一列图像块的重建结果，
Figure FDA00034131854400000219
表示将重建图像块
Figure FDA00034131854400000220
根据抽取的位置放回图像中对应的位置；采取双共轭梯度法来求解如上线性方程组，获得x(k+1)；
步骤4.判断收敛，输出模糊核与高分辨率图像的估计；
通过步骤2和步骤3，进行对目标函数的一次迭代求解，获得对模糊核的估计h(k+1)，并将高分辨率图像的估计x(k)更新为x(k+1)；如果此时达到最大迭代次数或者迭代收敛，则停止迭代，输出最终的模糊核与高分辨率图像估计；否则，令k＝k+1，然后重复步骤2和步骤3。
2.如权利要求1所述的一种基于跨尺度低秩约束的图像盲超分辨率方法，其特征在于，将图像块与其具有亚像素位移的图像块之间的欧氏距离作为判断图像块相似性的自适应阈值；对高分辨率图像x进行插值移位，生成具有1/2亚像素位移的图像
Figure FDA00034131854400000221
然后对各个输入图像块qi，在
Figure FDA00034131854400000222
中找到对应位置的图像块
Figure FDA00034131854400000223
记自适应阈值为δd，
Figure FDA00034131854400000224
γδ为控制系数，选取欧氏距离小于自相似性阈值δd的图像块作为原图像块的相似块；优选的，所述相似块搜索控制常数γδ＝8。
3.如权利要求1所述的一种基于跨尺度低秩约束的图像盲超分辨率方法，其特征在于，所述输入图像块尺寸n为5×5。
4.如权利要求1所述的一种基于跨尺度低秩约束的图像盲超分辨率方法，其特征在于，所述搜索相似图像块个数m的上限Th为25，下限Tl为5。
5.如权利要求1所述的一种基于跨尺度低秩约束的图像盲超分辨率方法，其特征在于，所述奇异值阈值控制常数γσ＝0.2。
6.如权利要求1所述的一种基于跨尺度低秩约束的图像盲超分辨率方法，其特征在于，所述正则化参数λh为5×10-5a2N、λg为1.5×10-4和λc为1.5×10-6。
CN202111538176.9A 2021-12-15 2021-12-15 一种基于跨尺度低秩约束的图像盲超分辨率方法 Pending CN114170087A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111538176.9A CN114170087A (zh) 2021-12-15 2021-12-15 一种基于跨尺度低秩约束的图像盲超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111538176.9A CN114170087A (zh) 2021-12-15 2021-12-15 一种基于跨尺度低秩约束的图像盲超分辨率方法

Publications (1)

Publication Number Publication Date
CN114170087A true CN114170087A (zh) 2022-03-11

Family

ID=80486899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111538176.9A Pending CN114170087A (zh) 2021-12-15 2021-12-15 一种基于跨尺度低秩约束的图像盲超分辨率方法

Country Status (1)

Country Link
CN (1) CN114170087A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131210A (zh) * 2022-06-28 2022-09-30 闽江学院 基于精准核估计的交替优化图像盲超分辨率重建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131210A (zh) * 2022-06-28 2022-09-30 闽江学院 基于精准核估计的交替优化图像盲超分辨率重建方法
CN115131210B (zh) * 2022-06-28 2023-06-27 闽江学院 基于精准核估计的交替优化图像盲超分辨率重建方法

Similar Documents

Publication Publication Date Title
CN107025632B (zh) 一种图像超分辨率重建方法及系统
Yang et al. Single-image super-resolution reconstruction via learned geometric dictionaries and clustered sparse coding
CN110675347B (zh) 一种基于组稀疏表示的图像盲复原方法
Sroubek et al. Robust multichannel blind deconvolution via fast alternating minimization
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
CN107784628B (zh) 一种基于重建优化和深度神经网络的超分辨率实现方法
CN104835130A (zh) 一种多曝光图像融合方法
CN106886978B (zh) 一种图像的超分辨率重建方法
Gou et al. Remote sensing image super-resolution reconstruction based on nonlocal pairwise dictionaries and double regularization
CN106408550A (zh) 一种改进的自适应多字典学习的图像超分辨率重建方法
CN106169174B (zh) 一种图像放大方法
CN112581378B (zh) 基于显著性强度和梯度先验的图像盲去模糊方法和装置
CN114202459B (zh) 一种基于深度先验的盲图像超分辨率方法
Gao et al. Bayesian image super-resolution with deep modeling of image statistics
CN107085826B (zh) 基于加权重叠非局部回归先验的图像超分辨率重建方法
CN106934398A (zh) 基于超像素聚类和稀疏表示的图像去噪方法
CN114170087A (zh) 一种基于跨尺度低秩约束的图像盲超分辨率方法
CN112837220A (zh) 一种提高红外图像分辨率的方法及其用途
Mandal et al. Employing structural and statistical information to learn dictionary (s) for single image super-resolution in sparse domain
CN115147426B (zh) 基于半监督学习的模型训练与图像分割方法和系统
CN111179171A (zh) 基于残差模块和注意力机制的图像超分辨率重建方法
CN116091322A (zh) 超分辨率图像重建方法和计算机设备
CN115239836A (zh) 一种基于端到端神经网络的极端稀疏视角ct重建方法
Han et al. Research on Image Super-Resolution Reconstruction Technology Based on Unsupervised Learning
Xiao et al. A high-efficiency edge-preserving Bayesian method for image interpolation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination