CN110111253A - 自适应全局和纹理约束的超分辨率的方法 - Google Patents
自适应全局和纹理约束的超分辨率的方法 Download PDFInfo
- Publication number
- CN110111253A CN110111253A CN201910332693.7A CN201910332693A CN110111253A CN 110111253 A CN110111253 A CN 110111253A CN 201910332693 A CN201910332693 A CN 201910332693A CN 110111253 A CN110111253 A CN 110111253A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- block
- vector
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 117
- 230000003044 adaptive effect Effects 0.000 title abstract description 9
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 238000002474 experimental method Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 92
- 238000012549 training Methods 0.000 claims description 39
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000013139 quantization Methods 0.000 claims description 17
- 230000003321 amplification Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims 1
- 230000000903 blocking effect Effects 0.000 abstract description 8
- 238000012360 testing method Methods 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 7
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 2
- 241001504519 Papio ursinus Species 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 238000004800 variational method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000721047 Danaus plexippus Species 0.000 description 1
- 241000283070 Equus zebra Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
图像的超分辨率问题本身是一个病态的数学问题，如何利用图像的内在信息求解这个问题是超分辨率方法的关键。现有超分辨率方法在恢复图像边缘或高频信息方面存在缺陷，因此本发明提出先提取包含图像的边缘和高频信息的纹理信息，然后最小化低分辨率测试图像纹理与初始得到高分辨率图像下采样后的纹理之间的差异性，从而提供保护重建图像的纹理细节的机制。另外，由于现有的方法重建出的图像存在较多的块效应，提出了自适应全局约束的方法，以提高重建图像质量，减少块效应。实验表明，所提出的方法相比于现有的方法能更好地得到图像的边缘和高频信息，也能更好地减少块效应，所提出的方法的性能优于现有的主流方法。
Description
技术领域
本发明提出了一种数字图像处理技术领域中的基于单幅图像的图像超分辨率方法，使用该方法，可以依靠训练阶段得到的字典，对输入的一幅低分辨率的图像获得一幅高分辨率的图像。该方法可以被广泛应用在视频监控、卫星遥感、医学图像、生物特征识别等领域。
背景技术
经典的图像超分辨率方法可以分为以下几类：1.基于插值的方法、2.基于重建的方法、和3.基于学习的方法。在第一种方法中，利用未知像素值周围的已知像素值来估计和预测此未知像素值的大小，其被称为插值的方法。在第二类方法中，利用大量的训练图像，在训练阶段对高分辨率的原始图像进行滤波和下采样处理，得到对应的低分辨率图像。然后，对训练阶段的高分辨率图像和低分辨率的图像进行分块，获得高分辨率的图像块和低分辨率的图像块，并存储每一对高分辨率图像块和低分辨率图像块。对于要进行超分辨率放大的图像块，首先对其进行分块，获得低分辨率的图像块，然后在训练过程获得的低分辨率图像块中寻找和其最接近的几个图像块。然后，利用训练阶段获得的和这些低分辨率块所对应的高分辨率块的加权平均来获得放大后的高分辨率块。对要放大的图像上的每个低分辨率图像块都进行以上这些操作之后，可以获得很多高分辨率的图像块。对在这些高分辨率的图像块的重叠区域使用平均的方法可以获得一幅高分辨率的图像。这种方法被称为基于样例的方法。在第三类方法中，利用训练阶段的高分辨率图像，通过滤波和下采样处理获得对应的低分辨率的图像。然后，利用稀疏表示的方法获得表示低分辨率图像块的稀疏字典和表示高分辨率图像块的稀疏字典。对于在线的图像放大阶段和低分辨率图像上提取的图像块，首先利用训练好的低分辨率的字典，来获得其稀疏表示的系数。然后，根据高分辨率图像块和低分辨率图像块在同一个流型上的假设，利用高分辨率的字典和稀疏表示的系数相乘，获得高分辨率的图像块。对低分辨率图像中所有的图像块，都进行了以上处理后，可以通过获得的高分辨率的图像块重建出一幅高分辨率的图像。这类方法被称为稀疏表示的方法。在第四类方法中，首先通过训练图像集合中的高分辨率图像块和所对应的低分辨率的图像块来训练卷积神经网络。当训练好这个网络之后，对于要放大的图像块，利用这个网络可以得到高分辨率的图像块。对低分辨率图像中的所有低分辨率图像块都进行了此操作后，可以得到对应的所有的高分辨率的图像块。然后，利用图像块重叠区域平均的方法，可以得到一幅高分辨率图像。这类方法被称为基于深度学习的方法。
然而，现有的这些方法中都存在着重构的高分辨率图像中边缘部分不清晰，高频细节信息重构不好的问题。同时，对于利用图像块来重构的方法，还存在着块效应的问题，即会扩大图像中图像块和其周围的图像块的差异性过大的问题。
发明内容
考虑到图像的高频纹理信息是构成一幅图像至关重要的部分，而当前的超分辨率方法存在着如上所述的使图像边缘模糊的问题，降低了纹理部分的清晰度。因此提出在超分辨率重建过程中保护图像的纹理部分的思想，首先采用相对总变分(RTV，RelativeTotal Variation)提取出图像中平滑的结构部分，然后使用原图与结构部分图像作差，从而得到纹理部分图像。接着，利用下采样后的初始的高分辨率图像的纹理与输入低分辨率图像纹理相异性最小为目标，并以此作为约束项，加入到重构的目标函数中。另外，由于基于稀疏表示的图像超分辨率方法是对图像块进行处理的，会产生块效应，影响和降低超分辨率重构图像的视觉效果。为减少块效应，提出使用自适应阈值的非局部自相似来进一步约束重建图像，可以得到质量更好的高分辨率图像。
1.纹理约束模型
自然界中的图像有一个共同特征：图像中的主体结构和纹理单元是融合在一起的。结构部分反映一幅图像的整体平滑性特征，而纹理部分反映的则是图像的高频细节和图像的边缘信息。很多超分辨率方法在图像重建时很容易丢失纹理信息，失去图像中的重要特征，从而降低了图像质量和人眼的视觉体验效果。因此，在重建过程中努力并较好地保护纹理细节是极为重要的。由于在重建时添加纹理约束能够更好地保护纹理细节，从而提高重构图像的质量，这里采用把纹理约束项添加到要求解的目标函数中的方法。根据大量实验和理论分析，相关全变分方法是目前提取图像结构部分效果较好的方法。原始的图像I与用相关全变分方法提取出的平滑结构图像IS作差，就可以得到较好的纹理图像It，即
It＝I-IS (1)
这里提出在传统的稀疏重建方法的基础上添加一个纹理约束的正则化项的方法，使通过如下公式(2)求得的下采样后的高分辨率图像的纹理与输入的低分辨率测试图像纹理差异也参入到最小化的过程中。即，图像重建的目标函数修改为
这里，用td表示纹理图像之差且
td＝T(Y)-T(SBX) (3)
T(I)表示提取图像I的纹理部分，Y表示输入的低分辨率的测试图像构成的矩阵，S表示下采样算子对应的矩阵，B表示滤波算子对应的矩阵，X表示待求的高分辨率图像构成的矩阵，β为纹理约束项的权重参数，||Z||2表示矩阵Z的2范数。
2自适应全局约束模型
基于字典训练的超分辨率重建方法都是先将图像分成若干个小块，再对小块进行超分辨率处理的。由于每个块单独处理，容易使相邻的块之间的差异性过大，产生块效应。同时，这些方法未能充分考虑整幅重建图像与原始图像的差异，也忽略了块与块之间的内在联系。自然界中的图像内部存在明显的冗余现象，且根据图像块在不同图中相近块的多少也会有所不同，因此提出了自适应全局约束的方法。
将重建的初始高分辨率图像分成若干块，并对每个块按行进行矢量化，得到 {pk|1≤k≤n}，n表示图像块的个数。其中，在对图像块bl按行矢量化为矢量ve的过程中， bl中坐标(i，j)上的元素值为矢量ve中的第(i*Nh+j)个值，其中Nh为图像块bl的每行的元素的个数。
从初始高分辨率图像中取出第i个块，并进行按行矢量化得到pi，并分别计算此块矢量pi与其他块矢量pj之间的距离将所有的di，j按照降序排列并记录对应块索引值。这时如果采用固定阈值dT选取相似块，可能会导致有些图像块矢量的相似块矢量非常多，而有些图像块矢量却没有相似块矢量或者相似块矢量很少。如果对于每个图像块矢量都固定选取t个相似块矢量，则可能导致有些图像块矢量选取的相似块矢量中有很大一部分是和此图像块矢量相似度不高的。基于以上两点考虑，提出自适应地选取一定数量的相似块矢量的方法。这里，通过大量实验优化地设置几个阈值dT(j)，1≤j≤NT，NT为阈值的个数，并设置好每个阈值范围内的所取的相似块矢量的个数S(j)，这样就可以根据图像块矢量的不同，各自选出适合自己的相似块矢量，从而实现了因图像块矢量而异的自适应地选择相似块矢量的方法。
获得相似块矢量后，使用选取的相似块矢量来线性表示出图像块矢量的误差最小，即求解如下问题(4)
其中表示图像块矢量pi的第j个相似块矢量，Np表示自适应选取的相似块的个数。令矩阵矢量化的是此矩阵中的第j列，由最小化(4) 中的目标函数，可以求得所有的权重系数，即
wi＝((Pi)HPi)-1(Pi)Hpi (5)
其中(Pi)H表示对矩阵Pi求转置和共轭。对于一个图像X，可以提取出其中的图像特征块并进行按行矢量化可以得到pi，然后自适应地找出和其相似的图像块，并组成矩阵Pi，之后可以根据式(5)求出各相似块的权重系数，根据这些权重系数可以得到图像块按行矢量化后的矢量即
然后可以从矢量中得到图像块其中中坐标(i，j)上的元素值为矢量中的第 (i*Nh+j)个值，其中Nh为图像块的每行的元素的个数。其中当对原图像中所有的图像块都进行了此操作后，可以把这些图像块按其在图像中的位置组合起来，块与块之间区域进行取平均值处理，得到图像Xm。
这里提出添加另一个正则化项，其目的是使通过相似块求得的图像块与所有对应原图像块之间相异性最小化。即，提高图像X和用以上操作得到的图像Xm间的相似性。加上这一约束后，所提出的自适应全局约束可表示为
其中，γ为一平衡因子，由式(6)求得。
3.本发明采用的提取图像中卡通部分的方法
首先本发明采用式(8)来计算图像u的梯度
其中，表示x方向上的梯度值，表示y方向上的梯度值。在数字图像中，图像u的大小为M×N，则其梯度采用如下式(9)和式(10)来计算。
本发明采用式(11)来计算矢量图像的散度
在数字图像中，图像p1和p2的大小都为M×N，则有
另外，定义如式(14)和(15)所示的两个算子
表1.本发明利用TV-L1模型提取结构图像的方法
本发明采用的利用TV-L1模型提取结构图像的方法如表1所示。
4.提出的超分辨率方法的训练阶段
在超分辨率方法的训练阶段，其目的是从大量的高分辨率的图像中得到低分辨率的字典和高分辨率的字典，以供图像的在线超分辨率放大阶段使用。这里，首先，使用滤波和下采样的方法从高分辨率图像中得到所对应的低分辨率的图像，并从这些高分辨率图像中提取高分辨率的图像块对图像块按行进行矢量化获得矢量对这些低分辨率的图像中提取低分辨率的图像块对图像块按行进行矢量化获得矢量其中，在对图像块bl按行矢量化为矢量ve的过程中，bl中坐标(i，j)上的元素值为矢量ve中的第(i*Nh+j)个值，其中Nh为图像块bl的每行的元素的个数。然后，对于低分辨率块矢量定义函数
其中，T(X)为提取图像块X的纹理部分的算子，Dl为低分辨率的字典，Ck为稀疏系数。利用目标函数(16)和稀疏度的约束，可以得到如下问题(17)
其中，||Z||0表示Z的0范数，即其中非零元素的个数。利用K-SVD方法可以求解问题(17)，得到初始的低分辨率的字典Dl。接着，对于高分辨率块，定义函数(18)
利用目标函数(18)和稀疏度的约束，可以得到如下问题(19)
利用K-SVD方法求解以上的目标函数(19)，可以得到初始的高分辨率的字典Dh。然后，联合低分辨率块和高分辨率块来联合训练低分辨率的字典和高分辨率的字典，定义函数
利用目标函数(20)和稀疏度的约束，可以得到如下问题
利用K-SVD方法求解如上的目标函数，可以得到训练阶段的低分辨率字典Dl和高分辨率的字典Dh。
5.本发明提出的方法中的离线训练阶段的求解步骤
本发明的离线训练阶段的求解步骤如下所述。
输入A)大量的高分辨率的训练图像，超分辨率放大的因子sf×sf。
输出A)低分辨率的字典Dl和高分辨率的字典Dh。
步骤A1)对输入的每个高分辨率图像进行滤波和sf×sf倍的下采样，得到所对应的低分辨率的图像，并分别从高分辨率图像和低分辨率图像中提取高分辨率图像块和低分辨率图像块并对高分辨率图像块进行按行矢量化获得矢量对低分辨率的图像块进行按行矢量化获得矢量其中，在对图像块bl进行按行矢量化为矢量ve的过程中，bl中坐标(i，j)上的元素值为矢量ve中的第(i*Nh+j)个值，其中Nh为图像块bl的每行的元素的个数。
步骤A2)利用K-SVD的方法求解问题：其中T(X)为提取图像块X的纹理部分的算子，Dl为低分辨率的字典，Ck为稀疏系数，λ1为平衡参数，||Z||2为矩阵Z的2范数，||Z||0为Z的 0范数，即其中不为零的元素的个数，T为稀疏度约束参数，n表示训练阶段所提取的所有的低分辨率图像块的个数，s.t.在数学上表示subject to，表示后续为必须满足的约束条件项，即这里必须满足条件Ck的0范数小于或等于T。通过K-SVD方法求解这一问题，可以得到初始的低分辨率的字典Dl。
步骤A3)利用K-SVD的方法求解问题：其中为步骤A1获得的高分辨率图像块矢量，Dh为高分辨率的字典。通过K-SVD的方法求解这一问题，可以得到初始的高分辨率的字典Dh。
步骤A4)利用K-SVD的方法求解如下含有三个变量Dl、Dh、Ck的问题：其中最小化的目标函数为通过K-SVD的方法求解这一问题，可以得到并输出训练阶段的低分辨率Dl字典和高分辨率的字典 Dh。
4.提出的超分辨率方法的在线阶段
先对待放大的的低分辨率图像，提取低分辨率的图像块，并对其矢量化特征，再利用正交匹配跟踪(orthogonal matching pursuit，OMP)方法求解如下的目标函数得出稀疏系数α*，即
这里，ZP为低分辨率的块矢量，Dl，为训练阶段获得的低分辨率的字典，通过公式Zh＝Dh*α*可以得到初始的高分辨率的图像块矢量Zh。
这里，提出的超分辨率方法不仅能通过纹理约束模型较好地保护图像的纹理细节，并可以使用自适应全局约束模型保护自然图像具备的图像块与块之间的相似性。通过合并公式(3) 和(7)，可得出如下式(23)所提出的超分辨率方法的目标函数。
对于公式(23)的求解，这里采用较为常用的最优化方法：最速下降法(GradientDescent)进行求解。求解过程如以下公式(24)所示。
X(t+1)＝X(t)+v·(BTST((Y-SBX(t))+β·(T(Y)-T(SBX(t))))+γ·(X(t)-Xm(t))) (24)
其中，X(t)表示第t次迭代获得的高分辨率图像。由该方法的优化思想可知，如果步长v太小会导致迭代的次数增多，太大又可能错过最优点。因此选择一个合适的步长是非常重要的。经过大量的实验，优化地选取步长为v＝0.16。
6.本发明提出的方法中的在线超分辨率放大阶段的求解步骤
本发明的在线超分辨率放大阶段的求解步骤如下所述。
输入B：一幅待放大的低分辨率的图像Y，训练阶段得到的低分辨率的字典Dl和高分辨率的字典Dh，放大因子sf×sf。
输出B：一幅放大sf×sf倍的高分辨率的图像X*。
步骤B1)使用训练阶段获得的低分辨率字典Dl和从输入的低分辨率的图像中提取的低分辨率块矢量Zp，利用正交匹配跟踪(orthogonal matching pursuit，OMP)方法求解问题：获得在线图像块中的稀疏系数α*。
步骤B2)使用训练阶段获得的高分辨率字典Dh和步骤B1获得的稀疏系数α*，利用公式ph＝Dhα*可得出初始的高分辨率图像块；回到第一步，直到处理完低分辨率图像中的所有低分辨率的图像块为止。
步骤B3)根据所有得到的高分辨率图像块生成高分辨率的初始图像X(0)，其中，图像块与图像块之间的重叠区域使用像素值的平均值来处理。
步骤B4)对初始图像X(0)，令I＝X(0)，使用表1中的方法提取图像I中的结构图像IS，通过It＝I-IS，获得高分辨率图像的纹理部分图像It。
步骤B5)运用步骤B4，处理低分辨率的输入图像Y，可以得到其纹理部分T(Y)。通过步骤B4，处理图像SBX(0)，其中B对应滤波操作，S对应下采样操作，X(0)为步骤B3求得的图像，处理后可得到图像SBX(0)的纹理部分，通过关系式td＝T(Y)-T(SBX(0))，可以获得图像td。
步骤B6)通过可以获得图像块矢量其中表示和当前图像块矢量pi在高分辨率图像X(t)里提取的图像块矢量距离最近的第j个图像块矢量，共提取Np个这样的矢量，为权重系数。令矩阵矢量化的是此矩阵中的第j列，为权重系数矢量，通过公式wi＝((Pi)HPi)-1(Pi)Hpi，可以求解出所有的权重系数然后可以从矢量中得到图像块BPi，其中中的第(k*Nh+l)个元素为BPi中的坐标(k，l)上的元素。并用此图像块替换掉原图像X(t)中相同位置处的图像块。当对原图像中所有的图像块都进行了此操作后，可以得到图像Xm(t)，其中图像块与块之间的重叠区域用求平均值的方法来处理。
步骤B7)X(t+1)＝X(t)+v·(BTST((Y-SBX(t))+β·(T(Y)-T(SBX(t))))+γ·(X(t)-Xm(t))) 其中，v、β、γ为需要优化设置的参数，X(t＝0)为步骤B3得到的图像X(0)，Xm(t)为以X(t) 为输入图像，通过步骤B6得到的输出图像。利用上式迭代更新高分辨率图像X(t)，直到迭代次数大于k或者终止迭代，输出高分辨率图像X*。
在步骤B7中设置最大迭代次数k＝65，θ1表示两次迭代获得的高分辨率图像之间的差异，当差异小于θ1时终止迭代，通过大量实验，优化确定θ1＝10-2。
附图说明
1.图1为本发明的离线训练阶段的流程图。
2.图2为本发明的在线放大阶段的流程图。
3.图3为对低分辨率的foreman图像，采用不同的超分辨率方法得到的效果图。
4.图4为对低分辨率的ppt3图像，采用不同的超分辨率方法得到的效果图。
具体实施方式
本发明的图像超分辨率方法包括离线阶段和在线放大阶段。
其中的离线阶段包括如下步骤。
输入A)大量的高分辨率的训练图像，超分辨率放大的因子sf×sf。
输出A)低分辨率的字典Dl和高分辨率的字典Dh。
步骤A1)对输入的每个高分辨率图像进行滤波和sf×sf倍的下采样，得到所对应的低分辨率的图像，并分别从高分辨率图像和低分辨率图像中提取高分辨率图像块和低分辨率图像块并对高分辨率图像块进行按行矢量化获得矢量对低分辨率的图像块进行按行矢量化获得矢量其中，在对图像块bl进行按行矢量化为矢量ve的过程中，bl中坐标(i，j)上的元素值为矢量ve中的第(i*Nh+j)个值，其中Nh为图像块bl的每行的元素的个数。
步骤A2)利用K-SVD的方法求解问题：其中T(X)为提取图像块X的纹理部分的算子， Dl为低分辨率的字典，Ck为稀疏系数，λ1为平衡参数，||Z||2为矩阵Z的2范数，||Z||0为Z的 0范数，即其中不为零的元素的个数，T为稀疏度约束参数，n表示训练阶段所提取的所有的低分辨率图像块的个数，s.t.在数学上表示subject to，表示后续为必须满足的约束条件项，即这里必须满足条件Ck的0范数小于或等于T。通过K-SVD方法求解这一问题，可以得到初始的低分辨率的字典Dl。
步骤A3)利用K-SVD的方法求解问题：其中为步骤A1获得的高分辨率图像块矢量，Dh为高分辨率的字典。通过K-SVD的方法求解这一问题，可以得到初始的高分辨率的字典Dh。
步骤A4)利用K-SVD的方法求解如下含有三个变量Dl、Dh、Ck的问题：其中最小化的目标函数为通过K-SVD的方法求解这一问题，可以得到并输出训练阶段的低分辨率Dl字典和高分辨率的字典 Dh。
其中的在线放大阶段包括如下步骤。
输入B：一幅待放大的低分辨率的图像Y，训练阶段得到的低分辨率的字典Dl和高分辨率的字典Dh，放大因子sf×sf。
输出B：一幅放大sf×sf倍的高分辨率的图像X*。
步骤B1)使用训练阶段获得的低分辨率字典Dl和从输入的低分辨率的图像中提取的低分辨率块矢量Zp，利用正交匹配跟踪(orthogonal matching pursuit，OMP)方法求解问题：获得在线图像块中的稀疏系数α*。
步骤B2)使用训练阶段获得的高分辨率字典Dh和步骤B1获得的稀疏系数α*，利用公式ph＝Dhα*，可得出初始的高分辨率图像块；回到第一步，直到处理完低分辨率图像中的所有低分辨率的图像块为止。
步骤B3)根据所有得到的高分辨率图像块生成高分辨率的初始图像X(0)，其中，图像块与图像块之间的重叠区域使用像素值的平均值来处理，令I＝X(0)。
步骤B4)对输入图像I，使用表1中的方法提取图像I中的结构图像IS，通过It＝I-IS，获得高分辨率图像的纹理部分图像It。
步骤B5)运用步骤B4，处理低分辨率的输入图像Y，令I＝Y，可以得到其纹理部分T(Y)。通过步骤B4，处理图像SBX(0)，其中B对应滤波操作，S对应下采样操作，X(0)为步骤B3求得的图像，令I＝SBX(0)，经步骤B4处理后可得到图像SBX(0)的纹理部分，通过关系式 td＝T(Y)-T(SBX(0))，可以获得图像td。
步骤B6)通过可以获得图像块矢量其中表示和当前图像块矢量pi在高分辨率图像X(t)里提取的图像块矢量距离最近的第j个图像块矢量，共提取Np个这样的矢量，为权重系数。令矩阵矢量化的是此矩阵中的第j列，为权重系数矢量，通过公式wi＝((Pi)HPi)-1(Pi)Hpi，可以求解出所有的权重系数然后可以从矢量中得到图像块BPi，其中中的第(k*Nh+l)个元素为BPi中的坐标(k，l)上的元素。并用此图像块替换掉原图像X(t)中相同位置处的图像块。当对原图像中所有的图像块都进行了此操作后，可以得到图像Xm(t)，其中图像块与块之间的重叠区域用求平均值的方法来处理。
步骤B7)X(t+1)＝X(t)+v·(BTST((Y-SBX(t))+β·(T(Y)-T(SBX(t))))+γ·(X(t)-Xm(t))) 其中，v、β、γ为需要优化设置的参数，X(t＝0)为步骤B3得到的图像X(0)，Xm(t)为以X(t) 为输入图像，通过步骤B6得到的输出图像。利用上式迭代更新高分辨率图像X(t)，直到迭代次数大于k或者终止迭代，输出高分辨率图像X*。
在步骤B7中设置最大迭代次数k＝65，θ1表示两次迭代获得的高分辨率图像之间的差异，当差异小于θ1时终止迭代，通过大量实验，优化确定θ1＝10-2。
通过大量的实验，这里优化地设置低分辨率图像块大小为3*3，图像块与图像块之间重叠2个像素，即在超分辨率放大中对提取的图像块在图像中每次移动一个像素。在计算全局约束中，提取的图像块和寻找的相似块的大小均设置为5*5。并且通过大量实验我们最终决定每个块的相似块个数x这样选取，如果相似度小于0.1的个数大于20个我们令x＝20，否则 x＝15。两个重要参数设置为β＝0.58，γ＝0.3。同时，参数v＝0.16。
表2.不同方法超分辨率重建图像的PSNR值比较(单位：dB)
| 图像 | 双三次插值方法 | Yang的方法 | Zeyde的方法 | 本发明提出的方法 |
| Baboon | 23.2097 | 23.4723 | 23.5263 | 23.6023 |
| Barbara | 26.2492 | 26.3934 | 26.7657 | 26.8778 |
| Bridge | 24.4040 | 24.8240 | 25.0183 | 25.0567 |
| Coastguard | 26.5549 | 27.0155 | 27.1255 | 27.1194 |
| Comic | 23.1156 | 23.9023 | 23.9752 | 24.2329 |
| Face | 32.8198 | 33.1135 | 33.5456 | 33.6718 |
| Flowers | 27.2301 | 28.2487 | 28.4492 | 28.6955 |
| Foreman | 31.1774 | 32.0386 | 33.1995 | 33.7002 |
| Lena | 31.6778 | 32.6383 | 32.9857 | 33.3714 |
| Man | 27.0081 | 27.7603 | 27.9119 | 28.0885 |
| Monarch | 29.4259 | 30.7133 | 31.1412 | 31.3085 |
| Pepper | 32.3885 | 33.3251 | 34.0566 | 34.2793 |
| Ppt3 | 23.7066 | 24.9777 | 25.1861 | 25.4732 |
| Zebra | 26.6340 | 27.9531 | 28.4896 | 28.6583 |
| 平均值 | 27.5430 | 28.3126 | 28.6697 | 28.8668 |
表格2中，展示了Baboon、Barbara、Bridge、Coastguard、Pepper、Ppt3等set14中的所有图像在四中不同方法下的PSNR(峰值信噪比)。从实验结果中，很容易看出所提出的方法除了coastguard图像外，对其他图像的超分辨率放大的效果均有明显地提高，也是这四种方法中最有效的方法。其中对图像Flowers、Foreman、和Lena在PSNR指标上的提高的较为明显，分别提高了0.2463dB、0.5007dB、和0.3500dB。在set14图像中，在PSNR指标上所提出的方法比次好的Zeyde方法平均提高了0.2dB左右。
图3、图4分别以foreman、ppt3图像为例，展示了四种不同算法重建出的效果图。通过仔细观察，可以看出图3和图4中的本文方法在边缘和纹理细节的效果上有了一定提高，更接近于原图。同时，所提出的方法减少了重构图像中的块效应。
Claims (2)
1.本发明提出了一种图像超分辨率的方法，其特征在于：包括离线的训练阶段和在线的放大阶段，其中的离线的训练阶段如下描述，
输入A)大量的高分辨率的训练图像，超分辨率放大的因子sf×sf，
输出A)低分辨率的字典Dl和高分辨率的字典Dh，
步骤A1)对输入的每个高分辨率图像进行滤波和sf×sf倍的下采样，得到所对应的低分辨率的图像，并分别从高分辨率图像和低分辨率图像中提取高分辨率图像块和低分辨率图像块并对高分辨率图像块进行按行矢量化获得矢量对低分辨率的图像块进行按行矢量化获得矢量其中，在对图像块bl进行按行矢量化为矢量ve的过程中，bl中坐标(i，j)上的元素值为矢量ve中的第(i*Nh+j)个值，其中Nh为图像块bl的每行的元素的个数，
步骤A2)利用K-SVD的方法求解问题：其中T(X)为提取图像块X的纹理部分的算子，Dl为低分辨率的字典，Ck为稀疏系数，λ1为平衡参数，||Z||2为矩阵Z的2范数，||Z||0为Z的0范数，即其中不为零的元素的个数，T为稀疏度约束参数，n表示训练阶段所提取的所有的低分辨率图像块的个数，s.t.在数学上表示subject to，表示后续为必须满足的约束条件项，即这里必须满足条件Ck的0范数小于或等于T，通过K-SVD方法求解这一问题，得到初始的低分辨率的字典Dl，
步骤A3)利用K-SVD的方法求解问题：其中 为步骤A1获得的高分辨率图像块矢量，Dh为高分辨率的字典，通过K-SVD的方法求解这一问题，得到初始的高分辨率的字典Dh，
步骤A4)利用K-SVD的方法求解如下含有三个变量Dl、Dh、Ck的问题：其中最小化的目标函数为通过K-SVD的方法求解这一问题，得到并输出训练阶段的低分辨率Dl字典和高分辨率的字典Dh，
其中的在线的超分辨率放大阶段如下描述，
输入B：一幅待放大的低分辨率的图像Y，训练阶段得到的低分辨率的字典Dl和高分辨率的字典Dh，放大因子sf×sf，
输出B：一幅放大sf×sf倍的高分辨率的图像X*，
步骤B1)使用训练阶段获得的低分辨率字典Dl和从输入的低分辨率的图像中提取的低分辨率块矢量Zp，利用正交匹配跟踪(orthogonal matching pursuit，OMP)方法求解问题：获得在线图像块中的稀疏系数α*。
步骤B2)使用训练阶段获得的高分辨率字典Dh和步骤B1获得的稀疏系数α*，利用公式ph＝Dhα*，可得出初始的高分辨率图像块；回到第一步，直到处理完低分辨率图像中的所有低分辨率的图像块为止。
步骤B3)根据所有得到的高分辨率图像块生成高分辨率的初始图像X(0)，其中，图像块与图像块之间的重叠区域使用像素值的平均值来处理，令I＝X(0)。
步骤B4)对输入图像I，使用表1中的方法提取图像I中的结构图像IS，通过It＝I-IS，获得高分辨率图像的纹理部分图像It。
步骤B5)运用步骤B4，处理低分辨率的输入图像Y，令I＝Y，得到其纹理部分T(Y)。通过步骤B4，处理图像SBX(0)，其中B对应滤波操作，S对应下采样操作，X(0)为步骤B3求得的图像，令I＝SBX(0)，经步骤B4处理后得到图像SBX(0)的纹理部分T(SBX(0))，通过关系式td＝T(Y)-T(SBX(0))，获得图像td。
步骤B6)通过获得图像块矢量其中表示和当前图像块矢量pi在高分辨率图像X(t)里提取的图像块矢量距离最近的第j个图像块矢量，共提取Np个这样的矢量，为权重系数。令矩阵矢量化的是此矩阵中的第j列，为权重系数矢量，通过公式wi＝((Pi)HPi)-1(Pi)Hpi，求解出所有的权重系数然后从矢量中得到图像块BPi，其中中的第(k*Nh+l)个元素为BPi中的坐标(k，l)上的元素。并用此图像块替换掉原图像X(t)中相同位置处的图像块。当对原图像中所有的图像块都进行了此操作后，得到图像Xm(t)，其中图像块与块之间的重叠区域用求平均值的方法来处理。
步骤B7)X(t+1)＝X(t)+v·(BTST((Y-SBX(t))+β·(T(Y)-T(SBX(t))))+γ·(X(t)-Xm(t)))其中，v、β、γ为需要优化设置的参数，X(t＝0)为步骤B3得到的图像X(0)，Xm(t)为以X(t)为输入图像，通过步骤B6得到的输出图像。利用上式迭代更新高分辨率图像X(t)，直到迭代次数大于k或者终止迭代，输出高分辨率图像X*。
2.如权利要求1所述的一种超分辨率方法，其特征在于：其中的参数通过大量的实验以进行优化的设置，其中的设置低分辨率图像块大小为3*3，图像块与图像块之间重叠2个像素，即在超分辨率放大中对提取的图像块在图像中每次移动一个像素，在计算全局约束中，提取的图像块和寻找的相似块的大小均设置为5*5，并且通过大量实验我们最终决定每个块的相似块个数x这样选取，如果相似度小于0.1的个数大于20个我们令x＝20，否则x＝15，两个重要参数设置为β＝0.58，γ＝0.3，同时，参数v＝0.16。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910332693.7A CN110111253B (zh) | 2019-04-12 | 2019-04-12 | 自适应全局和纹理约束的超分辨率的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910332693.7A CN110111253B (zh) | 2019-04-12 | 2019-04-12 | 自适应全局和纹理约束的超分辨率的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110111253A true CN110111253A (zh) | 2019-08-09 |
| CN110111253B CN110111253B (zh) | 2023-06-23 |
Family
ID=67486491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910332693.7A Active CN110111253B (zh) | 2019-04-12 | 2019-04-12 | 自适应全局和纹理约束的超分辨率的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110111253B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722865A (zh) * | 2012-05-22 | 2012-10-10 | 北京工业大学 | 一种超分辨率稀疏重建方法 |
| CN103077505A (zh) * | 2013-01-25 | 2013-05-01 | 西安电子科技大学 | 基于字典学习和结构聚类的图像超分辨率重建方法 |
| CN103150713A (zh) * | 2013-01-29 | 2013-06-12 | 南京理工大学 | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 |
| US20170193635A1 (en) * | 2014-05-28 | 2017-07-06 | Peking University Shenzhen Graduate School | Method and apparatus for rapidly reconstructing super-resolution image |
| CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
| CN108830792A (zh) * | 2018-05-09 | 2018-11-16 | 浙江师范大学 | 一种利用多类字典的图像超分辨率方法 |
-
2019
- 2019-04-12 CN CN201910332693.7A patent/CN110111253B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722865A (zh) * | 2012-05-22 | 2012-10-10 | 北京工业大学 | 一种超分辨率稀疏重建方法 |
| CN103077505A (zh) * | 2013-01-25 | 2013-05-01 | 西安电子科技大学 | 基于字典学习和结构聚类的图像超分辨率重建方法 |
| CN103150713A (zh) * | 2013-01-29 | 2013-06-12 | 南京理工大学 | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 |
| US20170193635A1 (en) * | 2014-05-28 | 2017-07-06 | Peking University Shenzhen Graduate School | Method and apparatus for rapidly reconstructing super-resolution image |
| CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
| CN108830792A (zh) * | 2018-05-09 | 2018-11-16 | 浙江师范大学 | 一种利用多类字典的图像超分辨率方法 |
Non-Patent Citations (4)
| Title |
|---|
| WEI LI, BO LI, PENGFEI LI: "Image Super-Resolution via Sparse Representation and Local Texture Constraint" * |
| YAN LIANG, PONG C. YUEN, JIAN-HUANG LAI: "Image super-resolution by textural context constrained visual vocabulary" * |
| 徐 川，端木春江: "基于卡通纹理分解和稀疏表示的图像超分辨率重建" * |
| 端木春江, 戚河平: "一种新的基于稀疏表示的超分辨率重建算法" * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110111253B (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114140353B (zh) | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 | |
| US20190087726A1 (en) | Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications | |
| Kim et al. | Iterative kernel principal component analysis for image modeling | |
| CN110232653A (zh) | 快速轻型超分辨率重建密集残差网络 | |
| CN110111256B (zh) | 基于残差蒸馏网络的图像超分辨重建方法 | |
| CN109886881B (zh) | 人脸妆容去除方法 | |
| CN110473142B (zh) | 基于深度学习的单幅图像超分辨率重建方法 | |
| CN108830791B (zh) | 基于自身样例和稀疏表示的图像超分辨率方法 | |
| CN108765280A (zh) | 一种高光谱图像空间分辨率增强方法 | |
| CN112150354B (zh) | 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法 | |
| CN110210282A (zh) | 一种基于非凸低秩稀疏分解的运动目标检测方法 | |
| CN110223231A (zh) | 一种含噪图像的快速超分辨重建算法 | |
| CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
| CN109977989A (zh) | 一种图像张量数据的处理方法 | |
| CN113538608A (zh) | 基于生成对抗网络的可控人物图像生成方法 | |
| Zou et al. | 3D filtering by block matching and convolutional neural network for image denoising | |
| CN109559278B (zh) | 基于多特征学习的超分辨图像重建方法及系统 | |
| CN116797461A (zh) | 基于多级强化注意力机制的双目图像超分辨率重建方法 | |
| CN115631107A (zh) | 边缘引导的单幅图像噪声去除 | |
| CN116739899A (zh) | 基于saugan网络的图像超分辨率重建方法 | |
| CN108765287B (zh) | 一种基于非局部均值的图像超分辨率方法 | |
| CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
| CN110503608A (zh) | 基于多视角的卷积神经网络的图像去噪方法 | |
| CN108846797B (zh) | 基于两种训练集合的图像超分辨率方法 | |
| CN110111252A (zh) | 基于投影矩阵的单幅图像超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |