CN108335264B - 一种基于混合分辨率稀疏字典学习的图像超分辨率方法 - Google Patents

一种基于混合分辨率稀疏字典学习的图像超分辨率方法 Download PDF

Info

Publication number
CN108335264B
CN108335264B CN201810091117.3A CN201810091117A CN108335264B CN 108335264 B CN108335264 B CN 108335264B CN 201810091117 A CN201810091117 A CN 201810091117A CN 108335264 B CN108335264 B CN 108335264B
Authority
CN
China
Prior art keywords
resolution
dictionary
image
image block
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810091117.3A
Other languages
English (en)
Other versions
CN108335264A (zh
Inventor
王中元
全敦权
韩镇
肖晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201810091117.3A priority Critical patent/CN108335264B/zh
Publication of CN108335264A publication Critical patent/CN108335264A/zh
Application granted granted Critical
Publication of CN108335264B publication Critical patent/CN108335264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于混合分辨率稀疏字典学习的图像超分辨率方法，包括字典训练过程和图像超分辨率重构过程。在字典学习过程中，通过对训练样本图像进行随机抽样来生成字典，重复类似操作得到不同分辨率的字典。在图像超分辨率重构过程中，基于该混合分辨率字典对图像进行多分辨率的稀疏表达，具体先通过方差来判断出图像中的纹理信息强弱，纹理信息丰富的图像块使用小分辨率的字典进行超分辨率重构，纹理信息相对不丰富的图像块使用大分辨率的字典重构。本发明能够锐化图像中物体边缘和增强图像纹理信息，减少超分辨率放大图像的平滑和模糊效应。

Description

一种基于混合分辨率稀疏字典学习的图像超分辨率方法
技术领域
本发明属于数字图像技术领域，涉及一种图像超分辨率的方法，具体涉及一种基于混合分辨率稀疏字典学习的图像超分辨率方法。
技术背景
图像的空间分辨率是影响图像处理任务效果的重要因素。存在众多技术手段提高图像的分辨率，图像超分辨率重构就是其中之一。超分辨率图像重构可以看作从单幅或多幅低分辨率的图像中重构出一幅高分辨率图像的过程。图像超分辨率技术在视频监控、视频格式转换、医疗数字影像、卫星图像等领域得到广泛的应用。在这些领域中，对于细节信息损失的图像，如何恢复图像中的细节信息，成为图像超分辨率重构的关键。
传统的基于字典学习的图像超分辨率重构方法，在字典构造方面，采用的是单一分辨率字典学习模式，字典只是原子的简单集合，表达精度严重依赖字典原子数量的扩张；后来改进的多成分字典学习模式，尽管字典原子在分辨率上依然单一，但字典包含了纹理、边缘、平坦等不同结构属性的组分，属于结构化字典学习范畴。多成分字典能够提高不同结构特征区域的表达精度，但将图像预先划分为不同属性的区域需要耗费大量的计算资源。
发明内容
为了解决上述技术问题，本发明提供了一种基于混合分辨率稀疏字典学习的图像超分辨率方法。该方法采用基于学习的混合分辨率字典来进行稀疏超分辨率重构。
本发明所采用的技术方案是：一种基于混合分辨率稀疏字典学习的图像超分辨率方法，其特征在于，包括以下步骤：
一种基于混合分辨率稀疏字典学习的图像超分辨率方法，其特征在于，包括以下步骤：
步骤1：将图像库中的图像作为训练样本，训练分辨率为N1×N1和N2×N2的两类低分辨率字典，获取两个高低分辨率字典对；其中，N1×N1和N2×N2的两类低分辨率字典对应的高分辨率字典的分辨率为N3×N3和N4×N4；其中，N1、N2、N3、N4是预设阈值，N1<N2<N3<N4；
步骤2：将原始图像分成大小为N5×N5的图像块；其中，N5为预设阈值；
步骤3：获取第一个图像块；
步骤4：计算所获取图像块的方差；
步骤5：判断图像块的方差是否大于设定的值，并选择相应的低分辨率字典进行稀疏表达；
步骤6：对图像块进行高分辨率重构；
步骤7：判断是否是最后一个图像块；
若是，则流程结束；
如否，则获取下一个图片快，并回转执行骤4。
作为优选，通过联合训练得到一个高低分辨率字典对，联合训练过程为:
Figure GDA0002933990290000021
其中，Yh,Yl是高低图像块对集合，N和M分别是高分辨率和低分辨率图像块向量形式的维度；Dh是高分辨率字典，Dl是低分辨率字典，Z是表达系数矩阵，λ是加权系数，||Z||1使得系数矩阵Z变稀疏。
作为优选，步骤5中，若图像块的方差大于设定的阈值，则选择分辨率为N1×N1的字典对图像块进行稀疏表达；否则，选择分辨率为N2×N2的字典进行稀疏表达。
作为优选，步骤6中高分辨率图像块的重构公式为：
x＝Dhα
其中，x为重构出的高分辨率图像块，Dh为高分辨率字典，α是步骤5中求取的稀疏表达系数。
作为优选，步骤6中，对N1×N1的低分辨率图像块，选择N3×N3的高分辨率字典进行重构；对N2×N2的低分辨率图像块，选择N4×N4的高分辨率字典进行重构。
本发明提出一种基于混合分辨率稀疏字典学习的图像超分辨率方法，包括字典训练过程和图像超分辨率重构过程。本发明具有以下优点和积极效果：
1)本发明能够在较少的训练样本的条件下，构造出包含不同分辨率原子的混合字典，在不扩张字典原子数量的前提下提高了字典的表达能力。
2)本发明能够根据图像纹理信息强弱自适应地选择不同分辨率的字典来超分，从而能够锐化图像边缘和丰富图像纹理信息。
附图说明
图1是本发明实施例的流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图1及实施示例对本发明作进一步地详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于混合分辨率稀疏字典学习的图像超分辨率方法，包括以下步骤：
步骤1：将图像库中的图像作为训练样本，训练分辨率为3×3和5×5的两类低分辨率字典，获取两个高低分辨率字典对；其中，3×3和5×5的两类低分辨率字典对应的高分辨率字典的分辨率为9×9和15×15；并将它们分别存储起来。
具体实现上，先学习得到一个高低分辨率字典对，包含分辨率为9×9的高分辨率字典和3×3的低分辨率字典。联合训练过程为:
Figure GDA0002933990290000031
其中，Yh,Yl是高低图像块对集合，N和M分别是高分辨率和低分辨率图像块向量形式的维度。Dh是9×9高分辨率字典，Dl是3×3低分辨率字典，Z是表达系数矩阵，λ是加权系数，||Z||1使得系数矩阵Z变稀疏。
同样地，接着学习得到另外一个高低分辨率字典对，分别是分辨率为15×15的高分辨率字典和为5×5的低分辨率字典。
步骤2：将原始图像分成大小为17×17的图像块。
步骤3：获取一个大小为17×17图像块。
步骤4：计算所获取图像块的方差。
步骤5：判断图像块的方差是否大于设定的阈值，并选择相应的低分辨率字典进行稀疏表达。
具体包含两个子步骤：
步骤5.1：字典选择；
若图像块的方差大于设定的阈值10，则选择分辨率为3×3的字典对图像块进行稀疏表达；否则，选择分辨率为5×5的字典进行稀疏表达。
步骤5.2：稀疏表达；
采用如下优化计算公式进行稀疏表达：
Figure GDA0002933990290000041
其中，y是3×3或5×5的低分辨率图像块，Dl是低分辨率字典，α是稀疏表达系数，F是线性特征提取算子，参数λ平衡α的稀疏度和y的估计精度。
步骤6：对该图像块进行超分辨率重构。
具体来说，分为两种情况，对3×3的低分辨率图像块，选择9×9的高分辨率字典进行重构；对5×5的低分辨率图像块，选择15×15的高分辨率字典进行重构。
无论哪一种情况，高分辨率图像块的重构公式为
x＝Dhα
其中，x为重构出的高分辨率图像块，Dh为高分辨率字典，α是步骤5中求取的稀疏表达系数。
若使用9×9的高分辨率字典对图像块进行重构，设置的重叠像素是2个；若使用分辨率为15×15的字典进行重构，设置的重叠像素是4个。
步骤7：进入下一轮循环或退出流程。
判断当前处理图像块是否是最后一个图像块，若是，则结束流程；否则，转向步骤4继续执行。
本发明可以在较少的训练样本的条件下，构造出不同分辨率的字典，并使用这些不同分辨率的字典进行内容自适应的超分辨率重建，最终达到突出图像轮廓和丰富纹理细节的效果，显著提高放大图像的质量。
应当理解的是，本说明未详细阐述的部分均属于现有技术。
应当理解的是，上所针对较佳实施示例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利所要求保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种基于混合分辨率稀疏字典学习的图像超分辨率方法，其特征在于，包括以下步骤：
步骤1：将图像库中的图像作为训练样本，训练分辨率为N1×N1和N2×N2的两类低分辨率字典，获取两个高低分辨率字典对；其中，N1×N1和N2×N2的两类低分辨率字典对应的高分辨率字典的分辨率为N3×N3和N4×N4；其中，N1、N2、N3、N4是预设阈值，N1<N2<N3<N4；
其中，通过联合训练得到一个高低分辨率字典对，联合训练过程为:
Figure FDA0002933990280000011
其中，Yh,Yl是高低图像块对集合，N和M分别是高分辨率和低分辨率图像块向量形式的维度；Dh是高分辨率字典，Dl是低分辨率字典，Z是表达系数矩阵，λ是加权系数，||Z||1使得系数矩阵Z变稀疏；
步骤2：将原始图像分成大小为N5×N5的图像块；其中，N5为预设阈值；
步骤3：获取第一个图像块；
步骤4：计算所获取图像块的方差；
步骤5：判断图像块的方差是否大于设定的值，并选择相应的低分辨率字典进行稀疏表达；
其中，若图像块的方差大于设定的阈值，则选择分辨率为N1×N1的字典对图像块进行稀疏表达；否则，选择分辨率为N2×N2的字典进行稀疏表达；
其中稀疏表达的计算公式如下：
Figure FDA0002933990280000012
其中，y是N1×N1或N2×N2的低分辨率图像块，Dl是低分辨率字典，α是稀疏表达系数，F是线性特征提取算子，参数λ平衡α的稀疏度和y的估计精度；
步骤6：对图像块进行高分辨率重构；
步骤7：判断是否是最后一个图像块；
若是，则流程结束；
如否，则获取下一个图片快，并回转执行骤4。
2.根据权利要求1所述的基于混合分辨率稀疏字典学习的图像超分辨率方法，其特征在于，步骤6中高分辨率图像块的重构公式为：
x＝Dhα
其中，x为重构出的高分辨率图像块，Dh为高分辨率字典，α是步骤5中求取的稀疏表达系数。
3.根据权利要求1所述的基于混合分辨率稀疏字典学习的图像超分辨率方法，其特征在于：步骤6中，对N1×N1的低分辨率图像块，选择N3×N3的高分辨率字典进行重构；对N2×N2的低分辨率图像块，选择N4×N4的高分辨率字典进行重构。
CN201810091117.3A 2018-01-30 2018-01-30 一种基于混合分辨率稀疏字典学习的图像超分辨率方法 Active CN108335264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810091117.3A CN108335264B (zh) 2018-01-30 2018-01-30 一种基于混合分辨率稀疏字典学习的图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810091117.3A CN108335264B (zh) 2018-01-30 2018-01-30 一种基于混合分辨率稀疏字典学习的图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN108335264A CN108335264A (zh) 2018-07-27
CN108335264B true CN108335264B (zh) 2021-08-03

Family

ID=62926901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810091117.3A Active CN108335264B (zh) 2018-01-30 2018-01-30 一种基于混合分辨率稀疏字典学习的图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN108335264B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985371B (zh) * 2018-07-10 2020-04-14 哈尔滨工业大学（深圳） 一种图像多分辨率字典学习方法及其应用
CN109064403B (zh) * 2018-08-10 2022-11-01 安徽师范大学 基于分类耦合字典稀疏表示的指纹图像超分辨率方法
CN109584185B (zh) * 2018-12-19 2020-10-16 深圳市华星光电半导体显示技术有限公司 图像处理方法
CN110120011B (zh) * 2019-05-07 2022-05-31 电子科技大学 一种基于卷积神经网络和混合分辨率的视频超分辨方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402784A (zh) * 2011-12-16 2012-04-04 武汉大学 一种基于最近特征线流形学习的人脸图像超分辨率方法
CN105405098A (zh) * 2015-10-29 2016-03-16 西北工业大学 一种基于稀疏表示和自适应滤波的图像超分辨率重建方法
CN106251289A (zh) * 2016-07-21 2016-12-21 北京邮电大学 一种基于深度学习和自相似性的视频超分辨率重建方法
CN106296583A (zh) * 2016-08-01 2017-01-04 西北工业大学 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法
CN106683049A (zh) * 2016-12-21 2017-05-17 华南理工大学 一种基于显著图和稀疏表示的图像超分辨率重构方法
CN106934766A (zh) * 2017-03-15 2017-07-07 西安理工大学 一种基于稀疏表示的红外图像超分辨率重建方法
CN104778671B (zh) * 2015-04-21 2017-09-22 重庆大学 一种基于sae和稀疏表示的图像超分辨率方法
CN107292821A (zh) * 2017-06-23 2017-10-24 武汉大学 一种超分辨率图像重建方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10452706B2 (en) * 2013-06-04 2019-10-22 Oath Inc. Method and system for handling images on a multi-touch device
US9697584B1 (en) * 2015-12-26 2017-07-04 Intel Corporation Multi-stage image super-resolution with reference merging using personalized dictionaries

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402784A (zh) * 2011-12-16 2012-04-04 武汉大学 一种基于最近特征线流形学习的人脸图像超分辨率方法
CN104778671B (zh) * 2015-04-21 2017-09-22 重庆大学 一种基于sae和稀疏表示的图像超分辨率方法
CN105405098A (zh) * 2015-10-29 2016-03-16 西北工业大学 一种基于稀疏表示和自适应滤波的图像超分辨率重建方法
CN106251289A (zh) * 2016-07-21 2016-12-21 北京邮电大学 一种基于深度学习和自相似性的视频超分辨率重建方法
CN106296583A (zh) * 2016-08-01 2017-01-04 西北工业大学 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法
CN106683049A (zh) * 2016-12-21 2017-05-17 华南理工大学 一种基于显著图和稀疏表示的图像超分辨率重构方法
CN106934766A (zh) * 2017-03-15 2017-07-07 西安理工大学 一种基于稀疏表示的红外图像超分辨率重建方法
CN107292821A (zh) * 2017-06-23 2017-10-24 武汉大学 一种超分辨率图像重建方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Ｋ近邻稀疏编码均值约束的人脸超分辨率算法;黄克斌;《计算机科学》;20130531;第271-273,295页 *
基于非局部相似字典学习的人脸超分辨率与识别;廖海斌;《武汉大学学报· 信息科学版》;20161031;第1414-1420页 *

Also Published As

Publication number Publication date
CN108335264A (zh) 2018-07-27

Similar Documents

Publication Publication Date Title
CN108335264B (zh) 一种基于混合分辨率稀疏字典学习的图像超分辨率方法
Zhang et al. DCSR: Dilated convolutions for single image super-resolution
Timofte et al. Seven ways to improve example-based single image super resolution
Xu et al. Image inpainting by patch propagation using patch sparsity
US8565554B2 (en) Resizing of digital images
CN108647775B (zh) 基于全卷积神经网络单张图像的超分辨率图像重建方法
CN113808032A (zh) 多阶段渐进式的图像去噪算法
CN106485656A (zh) 一种图像超分辨率重构的方法
CN107392855B (zh) 基于稀疏自编码网络与极速学习的图像超分辨重建方法
Pan et al. Image formation model guided deep image super-resolution
CN108460723B (zh) 基于邻域相似性的双边全变分图像超分辨率重建方法
CN108492270A (zh) 一种基于模糊核估计和变分重构的超分辨率方法
CN115797176A (zh) 一种图像超分辨率重建方法
CN103390266B (zh) 一种图像超分辨率方法和装置
KR20140040322A (ko) 단일 영상의 초고해상도 영상 복원 장치 및 방법
WO2017070841A1 (zh) 图像处理方法和装置
Suryanarayana et al. Deep Learned Singular Residual Network for Super Resolution Reconstruction.
Lin et al. Feedback Multi-scale Residual Dense Network for image super-resolution
Hu et al. Super-resolution PET image reconstruction with sparse representation
Zhao et al. Single image super-resolution reconstruction using multiple dictionaries and improved iterative back-projection
Lu et al. Tree-structured dilated convolutional networks for image compressed sensing
Zhang et al. Deep residual network for image super-resolution reconstruction
Xu et al. Block‐Based MAP Superresolution Using Feature‐Driven Prior Model
Wang et al. Two-stream deep sparse network for accurate and efficient image restoration
Chang et al. Multi-attention residual network for image super resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant