CN112734635A - 一种带约束条件的图像超分辨率的方法 - Google Patents
一种带约束条件的图像超分辨率的方法 Download PDFInfo
- Publication number
- CN112734635A CN112734635A CN201911078716.2A CN201911078716A CN112734635A CN 112734635 A CN112734635 A CN 112734635A CN 201911078716 A CN201911078716 A CN 201911078716A CN 112734635 A CN112734635 A CN 112734635A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- low
- dictionary
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000011478 gradient descent method Methods 0.000 claims abstract description 7
- 230000003321 amplification Effects 0.000 claims abstract description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 52
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000000513 principal component analysis Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000012804 iterative process Methods 0.000 claims description 6
- 238000000638 solvent extraction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000015556 catabolic process Effects 0.000 claims description 4
- 238000006731 degradation reaction Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 241000721047 Danaus plexippus Species 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 241000283070 Equus zebra Species 0.000 description 1
- 241001504519 Papio ursinus Species 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种带约束条件的图像超分辨率方法。首先，在提取图像特征中，新增了两个特征提取算子。在训练过程中，通过训练图像获得第一阶段的字典，然后以第一阶段获得的高分辨率图像为低分辨率的图像，真实的高分辨率图像和此图像的差为高分辨率的图像，获得第二阶段的字典。在线的图像放大中，以第一阶段的字典和输入的图像块，获得第一阶段的高分辨率图像。然后，对此图像进行梯度下降法的迭代更新，并以更新过的图像为第二阶段的低分辨率的图像，利用第二阶段的字典，获得第二阶段的高分辨率图像块和图像。最后，对此图像进行梯度下降法的迭代更新，获得最终输出的高分辨率图像。实验表明，其取得了较好的效果。
Description
技术领域
本发明涉及到数字图像处理中的单幅图像的超分辨率技术，即，仅使用一幅低分辨率的图像来获得一幅高分辨率的图像，要求高分辨率的图像清晰且具有较好的质量。其应用领域非常广泛，包括视频监控、医学图像处理、互联网中图像的放大、遥感图像处理等。
背景技术
图像超分辨率重建是用一定的算法，把低分辨率图像恢复到高分辨率图像的方法。由于该方法简单且高效，已经被广泛运用在卫星遥感、视频监控、城市交通等领域。
单幅图像超分辨重建的方法可分为三大类：基于插值、基于重建、基于学习的方法。目前，基于学习的方法是该领域的研究的热点。Yang依据稀疏编码原理，提出稀疏表示的超分辨率算法。Zeyde采用主成分分析方法对低分辨率图像特征向量进行降维，并用ksvd方法训练字典，极大加快了重建速度。Timofte提出锚定邻域回归的方法(ANR)和其改进的方法(A+)，训练阶段训练出字典原子的映射矩阵，重建阶段把低分辨率图像块特征与最匹配的字典原子的映射矩阵相乘，重建出高分辨率图像，在一定程度上提高了图像质量且不增加运行时间。虽然上述方法重建效果不错，但是还是存在着一些不足之处：低分辨率图像和高分辨率图像之间的映射关系是复杂的和非线性的，因此仅仅使用一组简单的线性函数去表示该映射关系是不够的。Dong首次把卷积神经网络应用在图像超分辨率重建中，提出基于深度卷积网络的非线性回归超分辨率重建方法(SRCNN)。非线性回归的超分辨率重建方法虽然随着网络层数的增加，图像质量得到提高，但是同时也增加了时间复杂度。
发明内容
对于图像的超分辨率的方法，所提出的方法在如下方面进行了创新。
1.图像块特征的提取
在单幅图像超分辨率的方法中，在对图像块的特征的提取上，首先由水平扫描按从左到右，从上到下的顺序提取图像块中的像素值，并把它们按此顺序放入到图像特征向量中。然后，原有的方法是利用以下六个图像卷积算子所得到的结果添加到图像特征向量中。
C2＝(C1)T (2)
C4＝(C3)T (4)
而在本发明中，将添加以下两个卷积算子进行特征提取，并把提取的特征加入到图像特征向量中。
2.所提出的带约束条件的图像重建的方法
由于初始重建得到的高分辨率图像会近似等于原始的高分辨率图像，这会产生一个误差项，本发明把这个误差项添加到目标函数中进行约束，会使得重建得到高分辨率图像更接近于原始的高分辨率图像，所提出方法的目标函数由下式(9)所示。
其中，
表示初始重建得到的高分辨率图像，λ1是平衡参数，X表示待求的高分辨率图像，Y表示输入的低分辨率图像，D表示下采样操作，H表示从高分辨率图像退化到低分辨率图像的卷积算子所对应的矩阵，||M||2表示矩阵M的2范数。对式(9)采用梯度下降法求解，可以得到下式(10)。
其中，t表示迭代次数，τ表示梯度下降法的步长的参数，Xt表示迭代t次后得到的高分辨率图像。初始时，X0为对低分辨率的图像进行双三次插值得到的图像。在所提出的方法中，将利用式(10)迭代N1次，以求出清晰度好的高分辨率的图像。这里，参数λ1、τ、和N1的值将利用实验来优化地确定。
3.根据输入的低分辨率的图像块，循环映射成高分辨率的图像块的过程。
这个过程的输入是低分辨率的图像块，低分辨率的字典和高分辨率的字典，输出是由低分辨率的图像块映射成的高分辨率的图像块。
其初始条件为：根据输入的低分辨率的图像块，有α＝0，x(α)＝xi。
其迭代过程为：先对低分辨率的图像块x(α)提取其特征矢量，得到矢量xl(α)。然后在低分辨率的字典原子dl(j)中，找到和xl(α)其最相关的字典原子，其中字典原子dl(j)为低分辨率的字典的第j列，即进行如下的运算找到最相关的字典原子。
因此，所找到和xl(α)最相关的低分辨率的字典原子为dl(j*(α))。然后，在低分辨率的字典中寻找和dl(j*(α))最相关的K个字典原子，其在低分辨率字典中的索引分别为k1(α)，k2(α)，...，kK(α)，这些字典原子可以构成矩阵Nl(α)＝[dl(k1(α))，dl(k2(α))，...，dl(kK(α))]。同时，由这些索引，可以在高分辨率字典中找到对应的原子，并构成矩阵Nh(α)＝[dh(k1(α))，dh(k2(α))，...，dh(kK(α))]，其中dh(j)为高分辨率字典的第j列。
然后，由这些矩阵可以把低分辨率的图像特征得到第α次迭代的高分辨率的图像块yh(α)，所采用的关系式为：
其中，I为单位阵。接下来，把得到的高分辨率图像块进行模糊和下采样操作，得到第α+1次迭代的低分辨率图像块
其中，hf是模糊滤波的点扩展函数，
为卷积操作，“↓”为下采样操作，sh为水平方向图像放大的倍数，sw为垂直方向图像放大的倍数。
此时，置α＝α+1，进行以上式(13)到(15)的迭代过程，直到
为止，其中，ε为需要通过实验优化设置的参数。即当迭代过程得到的高分辨率图像块的变化不大时终止迭代过程。
输出为：高分辨率的图像块yh＝y(α)。
4.两阶段的训练和重建方法
在所提出的方法中，利用了两个阶段的训练和两个阶段的重建过程，来提高重建高分辨率图像的质量。
在第一阶段的训练阶段的输入为高分辨率图像X和低分辨率的图像Y，得到第一阶段的低分辨率的字典和高分辨率的字典。在从低分辨率的图像Y重构得到高分辨率的图像X1之后，再分别把图像X1和图像e＝X-X1作为低分辨率的图像和高分辨率的图像进行训练，得到第二阶段的低分辨率的字典和高分辨率的字典。
对在线的图像重构过程中，先通过第一阶段的字典重建得到初始的高分辨率图像。然后，经过式(10)的不断迭代，提高其清晰度。接着，把第一阶段的高分辨率图像作为第二阶段的低分辨率测试图像，利用第二阶段训练得到的字典重构质量更好的高分辨率的图像。最后，第二次利用式(10)进行不断地迭代，得到最终的重构的高分辨率的图像。
附图说明
下面结合附图对本发明作进一步说明：
1.图1为所提出方法的流程图，其中图1(a)为训练阶段的流程图，图1(b)为在线放大阶段的流程图。
2.图2为在comic测试图像上各种超分辨率方法得到的放大的图像的视觉效果对比图。
3.图3为在monarch测试图像上各种超分辨率方法得到的放大的图像的视觉效果对比图。
4.图4为在PPt3测试图像上各种超分辨率方法得到的放大的图像的视觉效果对比图。
具体实施方式
如图1所示，所提出的方法的具体的实施方式包括以下过程。先从大量的训练图像中，离线地训练好第一阶段的低分辨率的字典Dl、高分辨率的字典DH，和第二阶段的低分辨率的字典RDl、高分辨率的字典RDh。然后，对于要放大的图像，使用以下所描述的过程，利用两个训练阶段得到的字典，得到高分辨率的放大图像。
以下将具体地描述其中的过程。
1.确定低分辨率的字典和高分辨率的字典的过程
这个过程的输入是大量的高分辨率、和所对应的低分辨率的图像，输出是低分辨率、和高分辨率的字典。在所提出的方法中，利用稀疏表示的约束条件来训练低分辨率的稀疏字典和高分辨率的稀疏字典。其输入为大量的低分辨率的图像和大量的高分辨率的图像。然后，从低分辨率的图像中提取低分辨率的图像块。接着，把图像块中的像素值按从上到下，从左到右的顺序提取出来构成初始的图像特征向量。再利用以上发明内容中所述的8个卷积算子，分别和低分辨率的图像块进行卷积，并把卷积的结果加入到图像特征矢量中。得到所有的图像特征矢量后，求解下式(14)
其中，Dl表示待求的低分辨率的字典，qi表示需优化的第i个稀疏表示的系数向量，
表示从输入低分辨率图像中提取的第i个图像特征矢量，||v||2表示向量v的2范数，||v||0表示向量v的零范数，即向量中所有非零元素的个数，L为稀疏度约束参数。
对式(11)，利用K-SVD的方法进行求解，可以得到低分辨率的字典Dl，和第i个图像块的稀疏表示的系数qi。然后，通过下式(15)可以得到高分辨率的字典Dh。
Dh＝PhQT(QQT)-1 (15)
其中，Ph表示高分辨率图像块集组成的矩阵，第j个高分辨率图像块按从上到下从左到右的顺序扫描所得到的矢量为Ph中的第j列，Q表示稀疏系数所组成的矩阵，第i个图像块的稀疏表示的系数qi为矩阵Q中的第i列。
这样，就可以通过大量的训练图像得到低分辨率的字典和高分辨率的字典。
2.所提出方法的离线训练阶段的过程
所提出的方法的离线训练阶段包括以下过程：
步骤A1)输入大量的原始训练集中的高分辨率图像X，对这些图像进行模糊卷积运算和下采样得到所对应的低分辨率图像Y，即
其中，hf是图像从高分辨率到低分辨率退化过程中模糊滤波的点扩展函数，
为卷积操作，“↓”为下采样操作，sh为水平方向图像放大的倍数，sw为垂直方向图像放大的倍数，步骤A2)输入：大量的低分辨率的图像和所对应的高分辨率的图像，
输出：低分辨率的字典和高分辨率的字典，
求解过程描述：对训练集中的低分辨率的图像进行分块，提取低分辨率块的特征矢量，用主成分分析方法(PCA)对低分辨率特征进行降维，使降维后的维数为原来的1/5，然后用以下所述的方法得到低分辨率字典，和高分辨率字典，
利用K-SVD的方法对下式进行求解，得到低分辨率的字典Dl，和第i个图像块的稀疏表示系数qi，
其中，Dl表示待求的低分辨率的字典，qi表示需优化的第i个稀疏表示的系数向量，
表示从输入低分辨率图像中提取的第i个图像特征矢量，||v||2表示向量v的2范数，||v||0表示向量v的零范数，即向量中所有非零元素的个数，L为稀疏度约束参数，然后，通过下式(15)可以得到高分辨率的字典Dh，
Dh＝PhQT(QQT)-1 (18)
其中，Ph表示高分辨率图像块集组成的矩阵，第j个高分辨率图像块按从上到下从左到右的顺序扫描所得到的矢量为Ph中的第j列，Q表示稀疏系数所组成的矩阵，其中第i个图像块的稀疏表示的系数qi为矩阵Q中的第i列，
步骤A3)对低分辨率图像进行分块，对其中的每一块按照如下步骤A4重建高分辨率图像块，步骤A4)输入：低分辨率的图像块，低分辨率的字典，高分辨率的字典，
输出：高分辨率的图像块，
此步骤的其初始条件为：根据输入的低分辨率的图像块，有α＝0，x(α)＝xi，
其迭代过程为：先对低分辨率的图像块x(α)提取其特征矢量，得到矢量xl(α)，然后在低分辨率的字典原子dl(j)中，找到和xl(α)其最相关的字典原子，其中字典原子dl(j)为低分辨率的字典的第j列，即进行如下的运算找到最相关的字典原子，
因此，所找到和xl(α)最相关的低分辨率的字典原子为dl(j*(α))，然后，在低分辨率的字典中寻找和dl(j*(α))最相关的K个字典原子，其在低分辨率字典中的索引分别为k1(α)，k2(α)，...，kK(α)，这些字典原子可以构成矩阵Nl(α)＝[dl(k1(α))，dl(k2(α))，...，dl(kK(α))]，其中dl(j)为低分辨率字典的第j列，同时，由这些索引，可以在高分辨率字典中找到对应的原子，并构成矩阵Nh(α)＝[dh(k1(α))，dh(k2(α))，...，dh(kK(α))]，其中dh(j)为高分辨率字典的第j列，
然后，由这些矩阵可以把低分辨率的图像特征得到第α次迭代的高分辨率的图像块yh(α)，所采用的关系式为：
其中，I为单位阵，接下来，把得到的高分辨率图像块进行模糊和下采样操作，得到第α+1次迭代的低分辨率图像块
其中，hf是图像从高分辨率到低分辨率退化过程中模糊滤波的点扩展函数，
为卷积操作，“↓”为下采样操作，sh为水平方向图像放大的倍数，sw为垂直方向图像放大的倍数，
此时，置α＝α+1，对xl(α+1)进行以上的迭代过程，直到
为止，其中，ε为需要通过实验优化设置的参数，即当迭代过程得到的高分辨率图像块的变化不大时终止迭代过程，
输出为：高分辨率的图像块yh＝y(α)，
步骤A5)对所有低分辨率图像块都进行了以上步骤A4后，拼接所有得到的高分辨率图像块，得到初始重建的高分辨率图像Xm，对于图像块之间重叠的区域利用求平均值得方法确定像素值，
步骤A6)输入：低分辨率的图像Y，初始重建的高分辨率的图像
输出：更新后的高分辨率的图像，
迭代的初始条件：从初始的高分辨率的图像开始迭代，即Xt＝0＝X0为对初始的低分辨率的图像Y进行双三次插值获得的高分辨率的图像，
其迭代过程为：对初始高分辨率图像，按照下式迭代N1次，优化更新初始高分辨率图像，得到第一阶段高分辨率图像X1，
其中，Y表示低分辨率的图像，
表示初始重建的高分辨率的图像，H表示图像从高分辨率到低分辨率退化的模糊矩阵，D表示下采样操作所构成的矩阵，t表示迭代次数，初始时t＝0，τ表示梯度下降法的步长的参数，Xt表示迭代t次后得到的高分辨率图像，在所提出的方法中，将利用式(22)迭代N1次，以求出清晰度好的高分辨率的图像，即，此步骤的输出为图像
这里，参数λ1、τ、和N1的值将利用实验来优化地确定，
步骤A7)得到残差图像e＝X-X1，取e和X1分别作为第二阶段的高分辨率图像训练集和低分辨率图像训练集中的图像，
步骤A8)在得到大量的这样的图像对之后，利用大量的图像e作为高分辨率图像的输入，大量的图像X1作为所对应的低分辨率图像的输入，以这些图像作为以上步骤A2的输入并利用以上步骤A2的操作得到输出的第二阶段的低分辨率的字典和高分辨率的字典，并定义第二阶段的低分辨率字典为RDl，第二阶段的高分辨率字典为RDh。
3.所提出的方法的在线阶段的对图像进行放大的过程
所提出的方法的在线的对一幅图像进行放大的过程包括以下的步骤。
步骤B1)对输入低分辨率的图像Yo进行分块，提取低分辨率块的特征矢量，用主成分分析方法(PCA)对低分辨率特征进行降维，使降维后的维数为原来的1/5，
步骤B2)以每一个降维后的图像特征向量、训练阶段得到的低分辨率字典Dl、和高分辨率字典Dh作为输入，利用以上步骤A4对降维后的图像特征向量进行处理，得到输出的高分辨率的图像块，对所有这些高分辨率图像块进行拼接，对有块与块之间有重复覆盖的区域用取均值的方法得到高分辨率的像素值，得到初始重建的高分辨率图像
步骤B3)以低分辨率的图像Yo，初始重建的高分辨率的图像
作为输入，根据以上步骤A6对初始重建的高分辨率图像进行优化，得到第一阶段的高分辨率图像Xt1，
步骤B4)把第一阶段的高分辨率图像Xt1作为第二阶段的低分辨率图像，对输入图像Xt1进行分块，提取第二阶段低分辨率图像的图像块的特征矢量，用主成分分析方法(PCA)对此向量进行降维，使其维数为原来的1/5，得到第二阶段低分辨率的图像特征向量，
步骤B5)以第二阶段的每一个低分辨率的图像块的图像特征向量、训练阶段得到的第二阶段的低分辨率的字典RDl、和第二阶段的高分辨率的字典RDh作为输入，利用以上步骤A4对降维后的图像特征向量进行处理，得到第二阶段输出的高分辨率的图像块，把这些高分辨率图像块进行拼接，对块与块之间有重复覆盖的区域用取均值的方法得到高分辨率的像素值，得到第二阶段优化的高分辨率重建图像
步骤B6)以低分辨率的图像Yo，第二阶段得到的高分辨率图像
作为初始重建的高分辨率的图像，这些图像作为输入，根据以上步骤A6对第二阶段优化的高分辨率重建图像
进一步优化，得到最后输出的高分辨率图像Xo。
参数设置、实验结果与评价
本文所有的实验在MATLAB软件上实现，为了验证所提出方法的有效性和可行性，本文使用了标准的图像测试集：Set14，进行放大3倍超分辨率重建，并且和Zeyde、ANR、A+和SRCNN等方法进行比较。
在实验中，图像训练集采用91幅自然图像，高、低分辨率字典对(Dh，Dl)和残差字典对(RDh，RDl)的字典原子数目设置为1024，原子的近邻数设置为2048。梯度下降法的迭代次数N1＝120，λ1＝0.5，τ＝0.5，λ2＝0.25，L＝0.25×N3，其中N3为低分辨率块所提取的特征向量的维数，提取的高分辨率图像块的大小取9×9，放大倍数取3×3，下采样倍数取3×3。
本文采用峰值信噪比(PSNR)作为图像重建效果的客观评价指标，峰值信噪比表示了两幅图像对应像素点的误差，其值越大表示图像质量越好。表1给出了五种方法比较结果，对比表中数据，本文提出的方法平均峰值信噪比分别比Zeyde高1.74dB、比ANR高0.63dB、比A+高0.15dB、比SRCNN高0.28dB。实验结果表明：本文所提出的方法在性能指标上比传统的超分辨率方法好。
表1五种不同算法比较结果
| 图像 | Zeyde | ANR | A+ | SRCNN | 本文方法 |
| baboon | 23.21 | 23.56 | 23.62 | 23.60 | 23.65 |
| barbara | 26.25 | 26.69 | 26.47 | 26.66 | 26.42 |
| bridge | 24.40 | 25.01 | 25.17 | 25.07 | 25.21 |
| coastguard | 26.55 | 27.07 | 27.27 | 27.20 | 27.25 |
| comic | 23.12 | 24.04 | 24.38 | 24.39 | 24.53 |
| face | 32.82 | 33.61 | 33.76 | 33.58 | 33.82 |
| flowers | 27.23 | 28.49 | 29.05 | 28.97 | 29.27 |
| foreman | 31.16 | 33.21 | 34.29 | 33.40 | 34.45 |
| lenna | 31.68 | 33.08 | 33.52 | 33.39 | 33.61 |
| man | 27.01 | 27.92 | 28.28 | 28.18 | 28.41 |
| monarch | 29.43 | 31.09 | 32.14 | 32.39 | 32.51 |
| pepper | 32.38 | 33.81 | 34.74 | 34.34 | 34.90 |
| ppt3 | 23.71 | 25.03 | 26.09 | 26.02 | 26.65 |
| zebra | 26.63 | 28.43 | 28.98 | 28.87 | 29.28 |
| 平均 | 27.54 | 28.65 | 29.13 | 29.00 | 29.28 |
为了进一步分析所提出算法的有效性，图2，图3和图4分别给出comic、monarch和ppt3这三幅图像在放大3×3倍情况下的视觉效果对比图像。从人的感官上看，所提出的方法重建得到的图像有更丰富的细节信息，而且也不存在虚假的边缘。
以上所述仅为本发明的具体实施例，但本发明的结构特征并不局限于此，任何本领域的技术人员在本发明的领域内，所作的变化或修饰皆涵盖在本发明的专利范围之中。
Claims (2)
1.一种带约束条件的图像超分辨率的方法，其特征在于，包括如下所述的离线训练阶段，和在线的对图像放大的阶段，其离线的训练阶段包括如下过程，
步骤A1)输入大量的原始训练集中的高分辨率图像X，对这些图像进行模糊卷积运算和下采样得到所对应的低分辨率图像Y，即
其中，hf是图像从高分辨率到低分辨率退化过程中模糊滤波的点扩展函数，
为卷积操作，“↓”为下采样操作，sh为水平方向图像放大的倍数，sw为垂直方向图像放大的倍数，步骤A2)输入：大量的低分辨率的图像和所对应的高分辨率的图像，
输出：低分辨率的字典和高分辨率的字典，
求解过程描述：对训练集中的低分辨率的图像进行分块，提取低分辨率块的特征矢量，用主成分分析方法(PCA)对低分辨率特征进行降维，使降维后的维数为原来的1/5，然后用以下所述的方法得到低分辨率字典，和高分辨率字典，
利用K-SVD的方法对下式进行求解，得到低分辨率的字典Dl，和第i个图像块的稀疏表示系数qi，
其中，Dl表示待求的低分辨率的字典，qi表示需优化的第i个稀疏表示的系数向量，
表示从输入低分辨率图像中提取的第i个图像特征矢量，||v||2表示向量v的2范数，||v||0表示向量v的零范数，即向量中所有非零元素的个数，L为稀疏度约束参数，然后，通过下式(15)可以得到高分辨率的字典Dh，
Dh＝PhQT(QQT)-1 (18)
其中，Ph表示高分辨率图像块集组成的矩阵，第j个高分辨率图像块按从上到下从左到右的顺序扫描所得到的矢量为Ph中的第j列，Q表示稀疏系数所组成的矩阵，其中第i个图像块的稀疏表示的系数qt为矩阵Q中的第i列，
步骤A3)对低分辨率图像进行分块，对其中的每一块按照如下步骤A4重建高分辨率图像块，
步骤A4)输入：低分辨率的图像块，低分辨率的字典，高分辨率的字典，
输出：高分辨率的图像块，
此步骤的其初始条件为：根据输入的低分辨率的图像块，有α＝0，x(α)＝xi，
其迭代过程为：先对低分辨率的图像块x(α)提取其特征矢量，得到矢量xl(α)，然后在低分辨率的字典原子dl(j)中，找到和xl(α)其最相关的字典原子，其中字典原子dl(j)为低分辨率的字典的第j列，即进行如下的运算找到最相关的字典原子，
因此，所找到和xl(α)最相关的低分辨率的字典原子为dl(j*(α))，然后，在低分辨率的字典中寻找和dl(j*(α))最相关的K个字典原子，其在低分辨率字典中的索引分别为k1(α)，k2(α)，...，kK(α)，这些字典原子可以构成矩阵Nl(α)＝[dl(k1(α))，dl(k2(α))，...，dl(kK(α))]，其中dl(j)为低分辨率字典的第j列，同时，由这些索引，可以在高分辨率字典中找到对应的原子，并构成矩阵Nh(α)＝[dh(k1(α))，dh(k2(α))，...，dh(kK(α))]，其中dh(j)为高分辨率字典的第j列，
然后，由这些矩阵可以把低分辨率的图像特征得到第α次迭代的高分辨率的图像块yh(α)，所采用的关系式为：
其中，I为单位阵，接下来，把得到的高分辨率图像块进行模糊和下采样操作，得到第α+1次迭代的低分辨率图像块
其中，hf是图像从高分辨率到低分辨率退化过程中模糊滤波的点扩展函数，
为卷积操作，“↓”为下采样操作，sh为水平方向图像放大的倍数，sw为垂直方向图像放大的倍数，
此时，置α＝α+1，对xl(α+1)进行以上的迭代过程，直到
为止，其中，ε为需要通过实验优化设置的参数，即当迭代过程得到的高分辨率图像块的变化不大时终止迭代过程，
输出为：高分辨率的图像块yh＝y(α)，
步骤A5)对所有低分辨率图像块都进行了以上步骤A4后，拼接所有得到的高分辨率图像块，得到初始重建的高分辨率图像Xm，对于图像块之间重叠的区域利用求平均值得方法确定像素值，
步骤A6)输入：低分辨率的图像Y，初始重建的高分辨率的图像
输出：更新后的高分辨率的图像，
迭代的初始条件：从初始的高分辨率的图像开始迭代，即Xt＝0＝X0为对低分辨率的图像Y使用双三次插值的方法获得的高分辨率的图像，
其迭代过程为：对初始高分辨率图像，按照下式迭代N1次，优化更新初始高分辨率图像，得到第一阶段高分辨率图像X1，
其中，Y表示低分辨率的图像，
表示初始重建的高分辨率的图像，H表示图像从高分辨率到低分辨率退化的模糊矩阵，D表示下采样操作所构成的矩阵，t表示迭代次数，初始时t＝0，τ表示梯度下降法的步长的参数，Xt表示迭代t次后得到的高分辨率图像，在所提出的方法中，将利用式(22)迭代N1次，以求出清晰度好的高分辨率的图像，即，此步骤的输出为图像
这里，参数λ1、τ、和N1的值将利用实验来优化地确定，
步骤A7)得到残差图像e＝X-X1，取X1和e分别作为第二阶段的低分辨率图像训练集和高分辨率图像训练集中的图像，
步骤A8)在得到大量的这样的图像对之后，利用大量的图像e作为高分辨率图像的输入，大量的图像X1作为所对应的低分辨率图像的输入，以这些图像作为以上步骤A2的输入并利用以上步骤A2的操作得到输出的第二阶段的低分辨率的字典和高分辨率的字典，并定义第二阶段的低分辨率字典为RDl，第二阶段的高分辨率字典为RDh，
所提出的在线地对一幅低分辨率的图像进行放大获得高分辨率的图像的方法包括如下过程，
输入：一幅低分辨率的图像Yo，以上介绍的训练阶段获得的第一阶段的低分辨率字典Dl和高分辨率的字典Dh，第二阶段的低分辨率字典RDl和高分辨率的字典RDh，
输出：一幅放大后的高分辨率的图像Xo，
步骤B1)对输入低分辨率的图像Yo进行分块，提取低分辨率块的特征矢量，用主成分分析方法(PCA)对低分辨率特征进行降维，使降维后的维数为原来的1/5，
步骤B2)以每一个降维后的图像特征向量、训练阶段得到的低分辨率字典Dl、和高分辨率字典Dh作为输入，利用以上步骤A4对降维后的图像特征向量进行处理，得到输出的高分辨率的图像块，对所有这些高分辨率图像块进行拼接，对有块与块之间有重复覆盖的区域用取均值的方法得到高分辨率的像素值，得到初始重建的高分辨率图像
步骤B3)以低分辨率的图像Yo，初始重建的高分辨率的图像
作为输入，根据以上步骤A6对初始重建的高分辨率图像进行优化，得到第一阶段的高分辨率图像Xt1，
步骤B4)把第一阶段的高分辨率图像Xt1作为第二阶段的低分辨率图像，对输入图像Xt1进行分块，提取第二阶段低分辨率图像的图像块的特征矢量，用主成分分析方法(PCA)对此向量进行降维，使其维数为原来的1/5，得到第二阶段低分辨率的图像特征向量，
步骤B5)以第二阶段的每一个低分辨率的图像块的图像特征向量、训练阶段得到的第二阶段的低分辨率的字典RDl、和第二阶段的高分辨率的字典RDh作为输入，利用以上步骤A4对降维后的图像特征向量进行处理，得到第二阶段输出的高分辨率的图像块，把这些高分辨率图像块进行拼接，对块与块之间有重复覆盖的区域用取均值的方法得到高分辨率的像素值，得到第二阶段优化的高分辨率重建图像
步骤B6)以低分辨率的图像Yo，第二阶段得到的高分辨率图像
作为初始重建的高分辨率的图像，这些图像作为输入，根据以上步骤A6对第二阶段优化的高分辨率重建图像
进一步优化，得到最后输出的高分辨率图像Xo。
2.如权利要求1所述的一种带约束条件的图像超分辨率的方法，其特征在于，所述方法的提取低分辨率图像块特征的过程中除了应用传统的四个卷积算子外，应用了以下两个算子，以使提取的特征更丰富，
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911078716.2A CN112734635A (zh) | 2019-10-28 | 2019-10-28 | 一种带约束条件的图像超分辨率的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911078716.2A CN112734635A (zh) | 2019-10-28 | 2019-10-28 | 一种带约束条件的图像超分辨率的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112734635A true CN112734635A (zh) | 2021-04-30 |
Family
ID=75589126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911078716.2A Pending CN112734635A (zh) | 2019-10-28 | 2019-10-28 | 一种带约束条件的图像超分辨率的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112734635A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419171A (zh) * | 2022-01-17 | 2022-04-29 | 深圳市宏电技术股份有限公司 | 基于香农编码的字典编码方法、图像处理方法及处理设备 |
-
2019
- 2019-10-28 CN CN201911078716.2A patent/CN112734635A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419171A (zh) * | 2022-01-17 | 2022-04-29 | 深圳市宏电技术股份有限公司 | 基于香农编码的字典编码方法、图像处理方法及处理设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109389552B (zh) | 一种基于上下文相关多任务深度学习的图像超分辨算法 | |
| Fan et al. | Scale-wise convolution for image restoration | |
| Huang et al. | Deep hyperspectral image fusion network with iterative spatio-spectral regularization | |
| CN111161146B (zh) | 一种由粗糙到精细的单张图像超分辨率重建方法 | |
| CN112801877B (zh) | 一种视频帧的超分辨率重构方法 | |
| CN112150354B (zh) | 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法 | |
| CN110349087B (zh) | 基于适应性卷积的rgb-d图像高质量网格生成方法 | |
| CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN108830791B (zh) | 基于自身样例和稀疏表示的图像超分辨率方法 | |
| Cao et al. | New architecture of deep recursive convolution networks for super-resolution | |
| CN109785279B (zh) | 一种基于深度学习的图像融合重建方法 | |
| CN112561799A (zh) | 一种红外图像超分辨率重建方法 | |
| CN105590296B (zh) | 一种基于双字典学习的单帧图像超分辨率复原方法 | |
| Tang et al. | Deep residual networks with a fully connected reconstruction layer for single image super-resolution | |
| Yang et al. | Image super-resolution reconstruction based on improved Dirac residual network | |
| CN113096032B (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
| CN112734635A (zh) | 一种带约束条件的图像超分辨率的方法 | |
| CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
| CN113379606A (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
| Shen et al. | A new approach of lossy image compression based on hybrid image resizing techniques. | |
| Li et al. | RGSR: A two-step lossy JPG image super-resolution based on noise reduction | |
| CN111899166A (zh) | 一种基于深度学习的医学高光谱显微图像超分辨重构方法 | |
| Yang et al. | RSAMSR: A deep neural network based on residual self-encoding and attention mechanism for image super-resolution | |
| CN110288525B (zh) | 一种多字典超分辨率图像重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |