CN106558022A - 一种基于边缘差异约束的单幅图像超分辨率重建方法 - Google Patents
一种基于边缘差异约束的单幅图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN106558022A CN106558022A CN201611075966.7A CN201611075966A CN106558022A CN 106558022 A CN106558022 A CN 106558022A CN 201611075966 A CN201611075966 A CN 201611075966A CN 106558022 A CN106558022 A CN 106558022A
- Authority
- CN
- China
- Prior art keywords
- image
- definition picture
- reconstruction
- resolution
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000012805 post-processing Methods 0.000 claims abstract description 10
- 230000008602 contraction Effects 0.000 claims abstract description 7
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000000513 principal component analysis Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 6
- 238000011161 development Methods 0.000 claims description 5
- 230000018109 developmental process Effects 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 208000031481 Pathologic Constriction Diseases 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 210000001215 vagina Anatomy 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于边缘差异约束的单幅图像超分辨率重建方法的实现包括以下三个步骤：步骤1，通过Gabor滤波器提取训练图像的纹理主方向特征，进行主成分分析字典训练得到训练字典。步骤2，利用该字典构建重建模型，并通过迭代阈值收缩得到具有较好边缘结构的初始重建高分辨率图像。步骤3，利用图像块之间的方向梯度直方图描述算子、空间距离、像素强度和边缘方向信息，建立一种非局部结构张量优化模型，对初始高重建高分辨率图像进一步优化后处理，得到具有显著边缘结构及丰富细节信息的最终重建高分辨率图像。本发明考虑到初始重建高分辨率图像与原始清晰图像存在一定的差异，进一步提出了后处理优化方法，丰富图像的边缘和纹理等细节信息。
Description
技术领域
本发明属于计算机图像处理技术领域，涉及一种单幅图像的超分辨率重建方法。
背景技术
随着智能视频图像处理技术和网络技术的飞速发展，在视频监控、卫星遥感成像、军事侦察、医学成像、多媒体娱乐等应用领域都需要高分辨率图像。在获取视觉图像过程中，由于系统像差、散焦、空气的扰动和噪声的存在，获得的图像或序列往往存在一定的降质或退化，如变形、模糊、降采样或含噪等。为了获取高分辨率图像，最直接最有效的方法是提升硬件成像设备的分辨率级别，即增加传感器单位面积元件密度。一方面减小单元像素尺寸，从而增加传感器单元密度，提高图像分辨率。但是随着像素尺寸的减小，相应的入射光就会减少，往往会导致散粒噪声的出现，图像质量下降。另一方面可以增大传感器的设计尺寸，从而增加单位面积上的像素个数以提高图像分辨率。然而随着尺寸的增加，传感器电容增多，图像传输性急剧下降，导致图像视觉效果变差，边缘出现模糊现象等。
在实际应用中，通过改变硬件成像设备分辨率来提高图像质量的方法，不仅经济成本高，而且硬件系统更换复杂性较高，不具有实时性。更值得注意的是，在智能视频监控，卫星遥感成像等场合，由于受成像环境和相机与被拍摄目标之间的相对运动等因素影响，即使使用高分辨率成像设备仍然不能获取满足实际应用要求的图像。随着信息处理技术和计算机技术的发展，针对硬件成像设备限制的问题，研究学者们从图像退化的角度考虑，提出了通过数字信号处理方法对图像进行软件处理以提高图像分辨率，这种方法称之为图像超分辨率重建(Super Resolution Reconstruction,SRR)。该方法是在不改变现有硬件成像条件的前提下，通过一幅或者多幅低分辨率(Low-Resolution,LR)图像来获取高分辨率(High-Resolution,HR)图像，进而达到节约成本，改善图像质量的目的。
目前国内外学者针对单幅图像超分辨率重建这一逆问题，提出了许多重建算法，主要可分为三个范畴：基于插值的方法、基于重建的方法和基于学习的方法。其中，基于插值的超分辨率重建方法是一种广泛应用的方法，其理论简单、速度快，但是该方法侧重图像的平滑，重建后的图像还会产生振铃和锯齿效应。基于重建的方法虽然能够在重建的过程中引入先验信息，然而当引入多项先验正则化约束时，正则化约束参数的选择很难实现自适应取值。同时，当实际应用中要求重建倍数较大时，所提供的先验知识有限，很难满足实际应用要求。相比于基于插值和重建的方法，基于学习的方法首先通过学习外部训练库样本图像或者图像自身来获取先验信息，随后在图像重建过程中将先验信息作为约束项，从而保证图像解的稳定性和唯一性。
近年来，研究学者广泛研究了基于学习的重建方法，在重建过程中加入不同的图像约束，特别是基于图像自相似性特征的重建方法。该方法能够有效保护图像几何结构并抑制噪声。但是随着噪声的增大，图像中不同非局部相似块对应的权重大小相近，其加权平均压制了图像的高频信息，从而导致图像边缘和纹理等细节结构出现平滑和模糊的现象。因此，有必要探索一种边缘保持约束，并结合图像非局部自相似性进行图像超分辨率重建，以实现保持图像边缘结构并有效抑制噪声的目的。
发明内容
本发明的目的是提出一种基于边缘差异约束的单幅图像超分辨率重建方法。在图像超分辨率重建过程中加入图像的边缘差异约束，能够有效解决基于非局部自相似性的单幅图像超分辨率重建技术导致的细节模糊和平滑问题，从而在抑制噪声的同时有效保持图像的边缘结构，改善重建高分辨率图像质量。
本发明是在基于非局部自相似性的单幅图像超分辨率重建方法的基础上，探索研究图像的边缘差异分布，并将边缘差异约束与非局部自相似性结合进行图像重建，有效重建较好的高分辨率图像。该方法的实现步骤如下：
一种基于边缘差异约束的单幅图像超分辨率重建方法，包括以下三个步骤：
步骤1，通过Gabor滤波器提取训练图像的纹理主方向特征，并对特征图像分块和K-means聚类，针对每一类图像块进行主成分分析字典训练，得到能够反映图像的纹理特征的训练字典。
步骤2，在步骤1中得到的训练字典基础上，利用该字典下低分辨率图像和重建高分辨率图像对应退化图像之间的边缘差异分布，构建一种基于边缘差异约束的图像超分辨率重建模型，并通过迭代阈值收缩对其进行求解，得到具有较好边缘结构的初始重建高分辨率图像。
步骤3，利用步骤2中得到的初始重建高分辨率图像的图像块之间的方向梯度直方图描述算子、空间距离、像素强度和边缘方向信息，建立一种非局部结构张量优化模型，对初始高重建高分辨率图像进一步优化后处理，得到具有显著边缘结构及丰富细节信息的最终重建高分辨率图像。
所述步骤1具体方法如下：
首先，从通用的The Berkeley Segmentation Data Set 300图像库中随机选取多幅高分辨率图像作为训练图像。
其次，利用图像边缘信息对训练图像进行图像纹理主方向θm的判断，并通过如式(1)所示的Gabor滤波器提取图像主方向纹理特征并消除冗余信息，得到特征图像xf
其中，X＝x cosθ+y sinθ，Y＝-x sinθ+y cosθ，θ为Gabor滤波器的旋转方向，垂直于图像纹理主方向，即θ＝π/2-θm，λg为正弦平面波的波长，决定了Gabor滤波器的频率，γg代表Gabor滤波器中指定的椭圆空间长宽比，σg为高斯包络沿图像x轴和y轴方向的标准差。
然后，对特征图像xf进行分块，并进行K-means聚类，得到K类图像块即{L1,L2,…LK}。
最后，对每类图像块进行PCA字典训练，得到训练字典
所述步骤2具体方法如下：
首先，利用步骤1中训练得到的训练字典Φ，建立如式(2)所示的基于非局部自相似性的重建模型
其中，y为低分辨率图像，D表示下采样算子，H表示模糊算子，u为非局部自相似性正则约束项参数，s为重建高分辨率图像的稀疏编码系数矩阵，si为低分辨率图像y的第i个图像块yi的稀疏编码稀疏，sj和wij分别为图像块yi的第j个相似图像块yj的稀疏编码系数和相似权值。
其次，利用一维连续高斯滤波器分别从水平和垂直方向提取低分辨率图像和重建高分辨率图像对应退化图像的边缘信息，并在探索研究其边缘信息差异分布的基础上，建立如式(3)所示的边缘差异约束：
其中，x为原始高分辨率图像，为求解式(2)得到的基于图像非局部自相似性的重建高分辨率图像，E()为一维连续高斯滤波边缘提取算子。
然后，在基于非局部自相似性的重建模型基础上，引入边缘差异约束，建立如式(4)所示的图像超分辨率重建模型：
其中，EDi＝E(yi)-E(DHΦsi)，EDi(j)为EDi的第j个元素，σij为EDi(j)的标准差，σn为输入图像的高斯噪声的标准差。
最后，使用迭代阈值收缩算法求解式(4)，得到初始重建高分辨率图像的稀疏编码稀疏矩阵通过式(5)得到初始重建高分辨率图像
其中，Pi为图像块提取矩阵，其作用是从图像中的提取对应位置的图像块，为初始重建高分辨率图像的第i个图像块对应的稀疏编码系数。
所述步骤3具体方法如下：
首先，利用步骤2所得的初始重建高分辨率图像的图像块之间的方向梯度直方图描述算子、空间距离、像素强度和边缘方向信息，建立(6)所示的非局部结构张量的相似性权重计算方式：
其中，H()为HOG特征提取算子，h1和h2分别为欧氏距离和HOG特征对应的平滑参数，ci为相似权值的归一化因子，xi为初始重建高分辨率图像的第i图像块，xj为图像块xi的第j个相似图像块。
其次，结合式(6)的非局部自相似性权重，构建基于非局部结构张量的核回归系数计算方式，如式(7)所示：
其中，βi为图像块xi的回归系数向量。Ψ为其对应的泰勒展开多项式。N(i)表示图像块xi的相似图像块集合。为图像块xi第j个相似图像块xj对应于的相似性权重。是由结构张量核构成的权重矩阵，结构张量核的计算方式如式(8)所示：
其中，hk为结构张量的平滑参数，STj为图像块xj的各向异性结构张量矩阵。
最后，在通过求解式(7)得到初始重建高分辨率图像所有图像块的回归系数向量组成矩阵后，建立基于非局部结构张量的后处理优化模型，如式(9)所示：
其中，zi为由式(7)计算得到的回归系数矩阵按列排列的向量，Li为图像相似块按列排列的向量，求解式(9)得到最终重建高分辨率图像
本发明通过探索研究图像的边缘差异分布情况，结合图像的非局部自相似性，提出一种超分辨率重建模型，实现在抑制噪声的同时有效重建高分辨率图像的边缘结构。考虑到初始重建高分辨率图像与原始清晰图像存在一定的差异，本发明进一步提出了后处理优化方法，丰富图像的边缘和纹理等细节信息。
附图说明
图1：本发明方法的实现框图；
图2：本发明方法所用到的部分训练图像；
图3(a)：高分辨率测试图像“Butterfly”；
图3(b)：高分辨率测试图像“hat”；
图3(c)：高分辨率测试图像“leaves”；
图4-1：不同方法的重建高分辨率图像Butterfly对比图：(a)为LR图像；(b)为NE方法重建高分辨率图像；(c)为SCSR方法重建高分辨率图像；(d)为ASDS方法重建高分辨率图像；(e)为NLMSKR方法重建高分辨率图像；(f)为NARM方法重建高分辨率图像；(g)为本发明方法重建高分辨率图像；(h)为原始图像；
图4-2：不同方法的重建高分辨率图像hat对比图：(a)为LR图像；(b)为NE方法重建高分辨率图像；(c)为SCSR方法重建高分辨率图像；(d)为ASDS方法重建高分辨率图像；(e)为NLMSKR方法重建高分辨率图像；(f)为NARM方法重建高分辨率图像；(g)为本发明方法重建高分辨率图像；(h)为原始图像；
图4-3：不同方法的重建高分辨率图像leaves对比图：(a)为LR图像；(b)为NE方法重建高分辨率图像；(c)为SCSR方法重建高分辨率图像；(d)为ASDS方法重建高分辨率图像；(e)为NLMSKR方法重建高分辨率图像；(f)为NARM方法重建高分辨率图像；(g)为本发明方法重建高分辨率图像；(h)为原始图像。
具体实施方式
以下结合附图和实施例对本发明做进一步详细说明：
图1为本发明方法的实现框图，该方法主要由以下步骤构成：
步骤1，通过Gabor滤波器提取训练图像的纹理主方向特征，并对特征图像分块和K-means聚类，针对每一类图像块进行主成分分析(Principal Component Analysis,PCA)字典训练，得到能够反映图像的纹理特征训练字典。
该步骤包括以下四个部分：
①从通用的BSDS300(The Berkeley Segmentation Data Set 300)图像库中随机选取70幅高分辨率图像作为训练图像，如图2所示。
②利用图像边缘信息对训练图像进行图像纹理主方向θm的判断，并通过如式(1)所示的Gabor滤波器提取图像主方向纹理特征并消除冗余信息，得到特征图像xf
其中，X＝x cosθ+y sinθ，Y＝-x sinθ+y cosθ，θ为Gabor滤波器的旋转方向，垂直于图像纹理主方向，即θ＝π/2-θm，λg为正弦平面波的波长，决定了Gabor滤波器的频率，γg代表Gabor滤波器中指定的椭圆空间长宽比，σg为高斯包络沿x轴和y轴方向的标准差。
③对特征图像xf进行分块，并进行K-means聚类，得到K类图像块即{L1,L2,…LK}。
④对每类图像块进行PCA字典训练，得到训练字典
步骤2，在步骤1中得到的训练字典基础上，利用该字典下低分辨率图像和重建高分辨率图像对应退化图像之间的边缘差异分布，构建一种基于边缘差异约束的图像超分辨率重建模型，并通过迭代阈值收缩对其进行求解，得到具有较好边缘结构的初始重建高分辨率图像。
该步骤包括以下四个部分：
①利用步骤1中训练得到的字典Φ，建立如式(2)所示的基于非局部自相似性的重建模型
其中，y为低分辨率图像，D表示下采样算子，H表示模糊算子，u为非局部自相似性正则约束项参数，s为重建高分辨率图像的稀疏编码系数矩阵，si为低分辨率图像y的第i个图像块yi的稀疏编码稀疏，sj和wij分别为图像块yi的第j个相似图像块yj的稀疏编码系数和相似权值。
②利用一维连续高斯滤波器分别从水平和垂直方向提取低分辨率图像和重建高分辨率图像对应退化图像之间的边缘信息，并在探索研究其边缘信息差异分布的基础上，建立如式(3)所示的边缘差异约束：
其中，x为原始高分辨率图像，为求解式(2)得到的基于图像非局部自相似性的重建高分辨率图像，E()为一维连续高斯滤波边缘提取算子。
③在基于非局部自相似性的重建模型基础上，引入边缘差异约束，建立如式(4)所示的图像超分辨率重建模型：
其中，EDi＝E(yi)-E(DHΦsi)，EDi(j)为EDi的第j个元素，σij为EDi(j)的标准差。
④使用迭代阈值收缩算法求解式(4)，得到初始重建高分辨率图像的稀疏编码稀疏矩阵通过式(5)得到初始重建高分辨率图像
其中，Pi为图像块提取矩阵，其作用是从图像中的提取对应位置的图像块，为初始重建高分辨率图像的第i个图像块对应的稀疏编码系数。
步骤3，利用步骤2中得到的初始重建高分辨率图像的图像块之间的方向梯度直方图描述算子、空间距离、像素强度和边缘方向信息，建立一种非局部结构张量优化模型，对初始高重建高分辨率图像进一步优化后处理，得到具有显著边缘结构及丰富细节信息的最终重建高分辨率图像。
该步骤包括以下三个部分：
①利用步骤2所得的初始重建高分辨率图像的图像块之间的方向梯度直方图描述算子、空间距离、像素强度和边缘方向信息，建立如式(6)所示的非局部结构张量的相似性权重计算方式：
其中，H()为HOG特征提取算子，h1和h2分别为欧氏距离和HOG特征对应的平滑参数，ci为相似权值的归一化因子，xi为初始重建高分辨率图像的第i图像块，xj为图像块xi的第j个相似图像块。
②结合式(6)的非局部自相似性权重，构建基于非局部结构张量的核回归系数计算方式，如式(7)所示：
其中，βi为图像块xi的回归系数向量。Ψ为其对应的泰勒展开多项式。N(i)表示图像块xi的相似图像块集合。为图像块xi第j个相似图像块xj对应于的相似性权重。是由结构张量核构成的权重矩阵，结构张量核的计算方式如式(8)所示：
其中，hk为结构张量的平滑参数，STj为图像块xj的各向异性结构张量矩阵。
③在通过求解式(7)得到初始重建高分辨率图像所有图像块的回归系数向量组成矩阵后，建立基于非局部结构张量的后处理优化模型，如式(9)所示：
其中，zi为由式(7)计算得到的回归系数矩阵按列排列的向量，Li为图像相似块按列排列的向量，求解式(9)得到最终重建高分辨率图像
图3(a)、图3(b)和图3(c)分别为测试的高分辨率输入图像Butterfly、hat和leaves。图4-1至4-3是不同方法的重建高分辨率图像Butterfly、hat和leaves对比图：(a)为LR图像；(b)为NE方法重建高分辨率图像；(c)为SCSR方法重建高分辨率图像；(d)为ASDS方法重建高分辨率图像；(e)为NLMSKR方法重建高分辨率图像；(f)为NARM方法重建高分辨率图像；(g)为本发明方法重建高分辨率图像；(h)为原始图像。
从图中可以看到，基于插值的NARM方法重建后的图像整体较为平滑，图像边缘不清晰。基于样本学习的NE方法侧重图像的平滑，在边缘区域产生振铃效应。基于稀疏表示的SCSR方法能够有效重建高分辨率图像，但仍然不能够较好的重建高分辨率图像的边缘和纹理结构。ASDS和NLMSKR方法则有效利用了图像的非局部自相似性，能够保持图像的几何结构。但是基于非局部自相似性的方法由于加权平均往往会造成图像细节结构(如边缘和纹理结构)的平滑和模糊。本发明方法重建后的图像含有更多的边缘和纹理信息，能够有效利用图像非局部自相似性抑制噪声的同时利用图像的边缘差异约束有效保持了图像的边缘结构，重建后的图像具有锐化的边缘和细致的纹理。
此外，本发明选择了两个客观评价指标即峰值信噪比和结构相似度来衡量重建高分辨率图像的质量。其中，峰值信噪比(Peak Signal to Noise Ratio,PSNR)描述了图像信噪比变化情况，其指标数值越大表示失真越小，单位是dB。结构相似度(StructuralSimilarity,SSIM)用来度量两幅图像的相似度，其指标数值越大表示与原始图像越相似，图像质量越好。
表1和表2分别给出了不同方法的无噪声及噪声重建高分辨率图像的客观评价指标，从表中可以看到NE和NARM重建高分辨率图像的PSNR和SSIM相对较小，重建性能较差。SCSR重建方法相比于NE和NARM方法，重建效果有所改善，但重建性能仍次于基于图像非局部自相似性的ASDS和NLMSKR重建方法。本发明方法重建高分辨率图像的平均PSNR和平均SSIM指标明显高于其他方法，重建性能较好。这是由于本发明方法结合了图像边缘差异和非局部自相似性，并进行了后处理优化，能够在抑制噪声的同时有效保持图像的边缘和纹理信息。
表1不同方法重建高分辨率图像的PSNR(dB)和SSIM(噪声水平σn＝0)
表2不同方法重建高分辨率图像的PSNR(dB)和SSIM(噪声水平σn＝6)。
Claims (4)
1.一种基于边缘差异约束的单幅图像超分辨率重建方法，其特征在于所述方法包括以下三个步骤：
步骤1，通过Gabor滤波器提取训练图像的纹理主方向特征，并对特征图像分块和K-means聚类，针对每一类图像块进行主成分分析字典训练，得到能够反映图像的纹理特征的训练字典；
步骤2，在步骤1中得到的训练字典基础上，利用该字典下低分辨率图像和重建高分辨率图像对应退化图像之间的边缘差异分布，构建一种基于边缘差异约束的图像超分辨率重建模型，并通过迭代阈值收缩对其进行求解，得到具有较好边缘结构的初始重建高分辨率图像；
步骤3，利用步骤2中得到的初始重建高分辨率图像的图像块之间的方向梯度直方图描述算子、空间距离、像素强度和边缘方向信息，建立一种非局部结构张量优化模型，对初始高重建高分辨率图像进一步优化后处理，得到具有显著边缘结构及丰富细节信息的最终重建高分辨率图像。
2.根据权利要求1所述的边缘差异约束的单幅图像超分辨率重建方法，其特征在于，所述步骤1具体方法如下：
首先，从通用的The Berkeley Segmentation Data Set 300图像库中随机选取多幅高分辨率图像作为训练图像；
其次，利用图像边缘信息对训练图像进行图像纹理主方向θm的判断，并通过如式(1)所示的Gabor滤波器提取图像主方向纹理特征并消除冗余信息，得到特征图像xf
其中，X＝xcosθ+y sinθ，Y＝-x sinθ+y cosθ，θ为Gabor滤波器的旋转方向，垂直于图像纹理主方向，即θ＝π/2-θm，λg为正弦平面波的波长，决定Gabor滤波器的频率，γg代表Gabor滤波器中指定的椭圆空间长宽比，σg为高斯包络沿图像x轴和y轴方向的标准差；
然后，对特征图像xf进行分块，并进行K-means聚类，得到K类图像块即{L1,L2,…LK}；
最后，对每类图像块进行PCA字典训练，得到训练字典
3.根据权利要求2所述的边缘差异约束的单幅图像超分辨率重建方法，其特征在于，所述步骤2具体方法如下：
首先，利用步骤1中训练得到的训练字典Φ，建立如式(2)所示的基于非局部自相似性的重建模型
其中，y为低分辨率图像，D表示下采样算子，H表示模糊算子，u为非局部自相似性正则约束项参数，s为重建高分辨率图像的稀疏编码系数矩阵，si为低分辨率图像y的第i个图像块yi的稀疏编码稀疏，sj和wij分别为图像块yi的第j个相似图像块yj的稀疏编码系数和相似权值；
其次，利用一维连续高斯滤波器分别从水平和垂直方向提取低分辨率图像和重建高分辨率图像对应退化图像的边缘信息，并在探索研究其边缘信息差异分布的基础上，建立如式(3)所示的边缘差异约束：
其中，x为原始高分辨率图像，为求解式(2)得到的基于图像非局部自相似性的重建高分辨率图像，E()为一维连续高斯滤波边缘提取算子；
然后，在基于非局部自相似性的重建模型基础上，引入边缘差异约束，建立如式(4)所示的图像超分辨率重建模型：
其中，EDi＝E(yi)-E(DHΦsi)，EDi(j)为EDi的第j个元素，σij为EDi(j)的标准差，σn为输入图像高斯噪声的标准差；
最后，使用迭代阈值收缩算法求解式(4)，得到初始重建高分辨率图像的稀疏编码稀疏矩阵通过式(5)得到初始重建高分辨率图像
其中，Pi为图像块提取矩阵，其作用是从图像中的提取对应位置的图像块，为初始重建高分辨率图像的第i个图像块对应的稀疏编码系数。
4.根据权利要求3所述的边缘差异约束的单幅图像超分辨率重建方法，其特征在于，所述步骤3具体方法如下：
首先，利用步骤2所得的初始重建高分辨率图像的图像块之间的方向梯度直方图描述算子、空间距离、像素强度和边缘方向信息，建立(6)所示的非局部结构张量的相似性权重计算方式：
其中，H()为HOG特征提取算子，h1和h2分别为欧氏距离和HOG特征对应的平滑参数，ci为相似权值的归一化因子，xi为初始重建高分辨率图像的第i图像块，xj为图像块xi的第j个相似图像块；
其次，结合式(6)的非局部自相似性权重，构建基于非局部结构张量的核回归系数计算方式，如式(7)所示：
其中，βi为图像块xi的回归系数向量；Ψ为其对应的泰勒展开多项式；N(i)表示图像块xi的相似图像块集合；为图像块xi第j个相似图像块xj对应于的相似性权重；是由结构张量核构成的权重矩阵，结构张量核的计算方式如式(8)所示：
其中，hk为结构张量的平滑参数，STj为图像块xj的各向异性结构张量矩阵；
最后，在通过求解式(7)得到初始重建高分辨率图像所有图像块的回归系数向量组成矩阵后，建立基于非局部结构张量的后处理优化模型，如式(9)所示：
其中，zi为由式(7)计算得到的回归系数矩阵按列排列的向量，Li为图像相似块按列排列的向量，求解式(9)得到最终重建高分辨率图像
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611075966.7A CN106558022B (zh) | 2016-11-30 | 2016-11-30 | 一种基于边缘差异约束的单幅图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611075966.7A CN106558022B (zh) | 2016-11-30 | 2016-11-30 | 一种基于边缘差异约束的单幅图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106558022A true CN106558022A (zh) | 2017-04-05 |
| CN106558022B CN106558022B (zh) | 2020-08-25 |
Family
ID=58446027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611075966.7A Active CN106558022B (zh) | 2016-11-30 | 2016-11-30 | 一种基于边缘差异约束的单幅图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106558022B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107085826A (zh) * | 2017-04-11 | 2017-08-22 | 四川大学 | 基于加权重叠非局部回归先验的单幅图像超分辨率重建方法 |
| CN108765287A (zh) * | 2018-05-09 | 2018-11-06 | 浙江师范大学 | 一种基于非局部均值的图像超分辨率方法 |
| CN108830870A (zh) * | 2018-05-21 | 2018-11-16 | 千寻位置网络有限公司 | 基于多尺度结构学习的卫星影像高精度农田边界提取方法 |
| CN108846798A (zh) * | 2018-05-25 | 2018-11-20 | 菏泽学院 | 一种图像重建法 |
| CN109741258A (zh) * | 2018-12-25 | 2019-05-10 | 广西大学 | 基于重建的图像超分辨率方法 |
| CN110084752A (zh) * | 2019-05-06 | 2019-08-02 | 电子科技大学 | 一种基于边缘方向和k均值聚类的图像超分辨重建方法 |
| CN110363061A (zh) * | 2018-04-10 | 2019-10-22 | 精工爱普生株式会社 | 计算机可读介质、训练对象检测算法的方法及显示装置 |
| CN110866876A (zh) * | 2019-11-04 | 2020-03-06 | 西北工业大学 | 基于级联高斯词典的图像复原方法 |
| CN111340697A (zh) * | 2020-02-16 | 2020-06-26 | 西安工程大学 | 一种基于聚类回归的图像超分辨方法 |
| CN111612691A (zh) * | 2020-04-17 | 2020-09-01 | 重庆大学 | 一种基于稀疏表示的图像超分辨率处理改进方法 |
| CN111667416A (zh) * | 2019-03-05 | 2020-09-15 | 佳能株式会社 | 图像处理方法、装置、学习模型制造方法和图像处理系统 |
| CN111696034A (zh) * | 2020-05-11 | 2020-09-22 | 青岛小鸟看看科技有限公司 | 图像处理方法、装置及电子设备 |
| CN111738924A (zh) * | 2020-06-22 | 2020-10-02 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置 |
| CN113343015A (zh) * | 2021-05-31 | 2021-09-03 | 北京达佳互联信息技术有限公司 | 图像查询方法、装置、电子设备及计算机可读存储介质 |
| CN113487487A (zh) * | 2021-07-28 | 2021-10-08 | 国电南京自动化股份有限公司 | 一种异构立体图像的超分辨率重建方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101489130A (zh) * | 2009-01-21 | 2009-07-22 | 西安交通大学 | 基于图像边缘差异统计特性的全参考型图像质量评价方法 |
| CN103279933A (zh) * | 2013-06-07 | 2013-09-04 | 重庆大学 | 一种基于双层模型的单幅图像超分辨率重建方法 |
| CN105550988A (zh) * | 2015-12-07 | 2016-05-04 | 天津大学 | 基于改进邻域嵌入和结构自相似性的超分辨率重建算法 |
| CN105825477A (zh) * | 2015-01-06 | 2016-08-03 | 南京理工大学 | 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法 |
-
2016
- 2016-11-30 CN CN201611075966.7A patent/CN106558022B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101489130A (zh) * | 2009-01-21 | 2009-07-22 | 西安交通大学 | 基于图像边缘差异统计特性的全参考型图像质量评价方法 |
| CN103279933A (zh) * | 2013-06-07 | 2013-09-04 | 重庆大学 | 一种基于双层模型的单幅图像超分辨率重建方法 |
| CN105825477A (zh) * | 2015-01-06 | 2016-08-03 | 南京理工大学 | 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法 |
| CN105550988A (zh) * | 2015-12-07 | 2016-05-04 | 天津大学 | 基于改进邻域嵌入和结构自相似性的超分辨率重建算法 |
Non-Patent Citations (4)
| Title |
|---|
| JINMING LI等: "《Single-image super-resolution reconstruction based on global non-zero gradient penalty and non-local Laplacian sparse coding》", 《DIGITAL SIGNAL PROCESSING》 * |
| 杜月林等: "《基于边缘检测的图像超分辨率重建研究》", 《国外电子测量技术》 * |
| 胡伦庭: "《基于稀疏表示和局部秩的单幅图像超分辨率重建方法研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 龚卫国等: "《用双层重建法实现单幅图像的超分辨率重建》", 《光学精密工程》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107085826B (zh) * | 2017-04-11 | 2020-04-03 | 四川大学 | 基于加权重叠非局部回归先验的图像超分辨率重建方法 |
| CN107085826A (zh) * | 2017-04-11 | 2017-08-22 | 四川大学 | 基于加权重叠非局部回归先验的单幅图像超分辨率重建方法 |
| CN110363061A (zh) * | 2018-04-10 | 2019-10-22 | 精工爱普生株式会社 | 计算机可读介质、训练对象检测算法的方法及显示装置 |
| CN108765287A (zh) * | 2018-05-09 | 2018-11-06 | 浙江师范大学 | 一种基于非局部均值的图像超分辨率方法 |
| CN108765287B (zh) * | 2018-05-09 | 2022-02-11 | 浙江师范大学 | 一种基于非局部均值的图像超分辨率方法 |
| CN108830870A (zh) * | 2018-05-21 | 2018-11-16 | 千寻位置网络有限公司 | 基于多尺度结构学习的卫星影像高精度农田边界提取方法 |
| CN108830870B (zh) * | 2018-05-21 | 2021-12-28 | 千寻位置网络有限公司 | 基于多尺度结构学习的卫星影像高精度农田边界提取方法 |
| CN108846798A (zh) * | 2018-05-25 | 2018-11-20 | 菏泽学院 | 一种图像重建法 |
| CN109741258A (zh) * | 2018-12-25 | 2019-05-10 | 广西大学 | 基于重建的图像超分辨率方法 |
| CN109741258B (zh) * | 2018-12-25 | 2023-04-28 | 广西大学 | 基于重建的图像超分辨率方法 |
| CN111667416A (zh) * | 2019-03-05 | 2020-09-15 | 佳能株式会社 | 图像处理方法、装置、学习模型制造方法和图像处理系统 |
| CN110084752A (zh) * | 2019-05-06 | 2019-08-02 | 电子科技大学 | 一种基于边缘方向和k均值聚类的图像超分辨重建方法 |
| CN110866876A (zh) * | 2019-11-04 | 2020-03-06 | 西北工业大学 | 基于级联高斯词典的图像复原方法 |
| CN110866876B (zh) * | 2019-11-04 | 2023-07-07 | 西北工业大学 | 基于级联高斯词典的图像复原方法 |
| CN111340697A (zh) * | 2020-02-16 | 2020-06-26 | 西安工程大学 | 一种基于聚类回归的图像超分辨方法 |
| CN111340697B (zh) * | 2020-02-16 | 2023-08-25 | 浙江昕微电子科技有限公司 | 一种基于聚类回归的图像超分辨方法 |
| CN111612691A (zh) * | 2020-04-17 | 2020-09-01 | 重庆大学 | 一种基于稀疏表示的图像超分辨率处理改进方法 |
| CN111696034A (zh) * | 2020-05-11 | 2020-09-22 | 青岛小鸟看看科技有限公司 | 图像处理方法、装置及电子设备 |
| CN111696034B (zh) * | 2020-05-11 | 2023-10-27 | 青岛小鸟看看科技有限公司 | 图像处理方法、装置及电子设备 |
| CN111738924A (zh) * | 2020-06-22 | 2020-10-02 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置 |
| CN113343015A (zh) * | 2021-05-31 | 2021-09-03 | 北京达佳互联信息技术有限公司 | 图像查询方法、装置、电子设备及计算机可读存储介质 |
| CN113487487A (zh) * | 2021-07-28 | 2021-10-08 | 国电南京自动化股份有限公司 | 一种异构立体图像的超分辨率重建方法及系统 |
| CN113487487B (zh) * | 2021-07-28 | 2024-03-19 | 国电南京自动化股份有限公司 | 一种异构立体图像的超分辨率重建方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106558022B (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106558022A (zh) | 一种基于边缘差异约束的单幅图像超分辨率重建方法 | |
| Ma et al. | Infrared and visible image fusion via detail preserving adversarial learning | |
| CN107492070B (zh) | 一种双通道卷积神经网络的单图像超分辨率计算方法 | |
| Zhu et al. | GAN-based image super-resolution with a novel quality loss | |
| Li et al. | Video superresolution via motion compensation and deep residual learning | |
| Gao et al. | Image super-resolution with sparse neighbor embedding | |
| Ma et al. | Super-resolution of remote sensing images based on transferred generative adversarial network | |
| TWI709107B (zh) | 影像特徵提取方法及包含其顯著物體預測方法 | |
| CN111915484B (zh) | 基于密集匹配与自适应融合的参考图引导超分辨率方法 | |
| CN103077505B (zh) | 基于字典学习和结构聚类的图像超分辨率重建方法 | |
| Ren et al. | Single image super-resolution using local geometric duality and non-local similarity | |
| CN108280804B (zh) | 一种多帧图像超分辨率重建方法 | |
| Deng et al. | Lau-net: Latitude adaptive upscaling network for omnidirectional image super-resolution | |
| CN103279933A (zh) | 一种基于双层模型的单幅图像超分辨率重建方法 | |
| CN102243711A (zh) | 一种基于邻域嵌套的图像超分辨率重建方法 | |
| CN103714556A (zh) | 一种基于金字塔表观模型的运动目标跟踪方法 | |
| Chang et al. | Data-adaptive low-rank modeling and external gradient prior for single image super-resolution | |
| Sun et al. | Super resolution reconstruction of images based on interpolation and full convolutional neural network and application in medical fields | |
| CN111899295A (zh) | 一种基于深度学习的单目场景深度预测方法 | |
| CN111145102A (zh) | 一种基于卷积神经网络的合成孔径雷达图像去噪方法 | |
| CN103020905B (zh) | 针对文字图像的稀疏约束自适应nlm超分辨率重建方法 | |
| Zhou et al. | SurroundNet: Towards effective low-light image enhancement | |
| CN109671039A (zh) | 基于分层特征的图像矢量化方法 | |
| Chen et al. | Image denoising via deep network based on edge enhancement | |
| CN102222321A (zh) | 一种视频序列盲重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210512 Address after: 200333 room 5081, 5th floor, No.5 Lane 600, Yunling West Road, Putuo District, Shanghai Patentee after: Shanghai Lisha Technology Co.,Ltd. Address before: 400030 No. 174 Sha Jie street, Shapingba District, Chongqing Patentee before: Chongqing University |