CN108335264A - 一种基于混合分辨率稀疏字典学习的图像超分辨率方法 - Google Patents
一种基于混合分辨率稀疏字典学习的图像超分辨率方法 Download PDFInfo
- Publication number
- CN108335264A CN108335264A CN201810091117.3A CN201810091117A CN108335264A CN 108335264 A CN108335264 A CN 108335264A CN 201810091117 A CN201810091117 A CN 201810091117A CN 108335264 A CN108335264 A CN 108335264A
- Authority
- CN
- China
- Prior art keywords
- resolution
- dictionary
- image
- image block
- sparse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000005070 sampling Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010010 raising Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于混合分辨率稀疏字典学习的图像超分辨率方法,包括字典训练过程和图像超分辨率重构过程。在字典学习过程中,通过对训练样本图像进行随机抽样来生成字典,重复类似操作得到不同分辨率的字典。在图像超分辨率重构过程中,基于该混合分辨率字典对图像进行多分辨率的稀疏表达,具体先通过方差来判断出图像中的纹理信息强弱,纹理信息丰富的图像块使用小分辨率的字典进行超分辨率重构,纹理信息相对不丰富的图像块使用大分辨率的字典重构。本发明能够锐化图像中物体边缘和增强图像纹理信息,减少超分辨率放大图像的平滑和模糊效应。
Description
技术领域
本发明属于数字图像技术领域,涉及一种图像超分辨率的方法,具体涉及一种基于混合分辨率稀疏字典学习的图像超分辨率方法。
技术背景
图像的空间分辨率是影响图像处理任务效果的重要因素。存在众多技术手段提高图像的分辨率,图像超分辨率重构就是其中之一。超分辨率图像重构可以看作从单幅或多幅低分辨率的图像中重构出一幅高分辨率图像的过程。图像超分辨率技术在视频监控、视频格式转换、医疗数字影像、卫星图像等领域得到广泛的应用。在这些领域中,对于细节信息损失的图像,如何恢复图像中的细节信息,成为图像超分辨率重构的关键。
传统的基于字典学习的图像超分辨率重构方法,在字典构造方面,采用的是单一分辨率字典学习模式,字典只是原子的简单集合,表达精度严重依赖字典原子数量的扩张;后来改进的多成分字典学习模式,尽管字典原子在分辨率上依然单一,但字典包含了纹理、边缘、平坦等不同结构属性的组分,属于结构化字典学习范畴。多成分字典能够提高不同结构特征区域的表达精度,但将图像预先划分为不同属性的区域需要耗费大量的计算资源。
发明内容
为了解决上述技术问题,本发明提供了一种基于混合分辨率稀疏字典学习的图像超分辨率方法。该方法采用基于学习的混合分辨率字典来进行稀疏超分辨率重构。
本发明所采用的技术方案是:一种基于混合分辨率稀疏字典学习的图像超分辨率方法,其特征在于,包括以下步骤:
一种基于混合分辨率稀疏字典学习的图像超分辨率方法,其特征在于,包括以下步骤:
步骤1:将图像库中的图像作为训练样本,训练分辨率为N1×N1和N2×N2的两类低分辨率字典,获取两个高低分辨率字典对;其中,N1×N1和N2×N2的两类低分辨率字典对应的高分辨率字典的分辨率为N3×N3和N4×N4;其中,N1、N2、N3、N4是预设阈值,N1<N2<N3<N4;
步骤2:将原始图像分成大小为N5×N5的图像块;其中,N5为预设阈值;
步骤3:获取第一个图像块;
步骤4:计算所获取图像块的方差;
步骤5:判断图像块的方差是否大于设定的值,并选择相应的低分辨率字典进行稀疏表达;
步骤6:对图像块进行高分辨率重构;
步骤7:判断是否是最后一个图像块;
若是,则流程结束;
如否,则获取下一个图片快,并回转执行骤4。
作为优选,通过联合训练得到一个高低分辨率字典对,联合训练过程为:
其中,Yh,Yl是高低图像块对集合,N和M分别是高分辨率和低分辨率图像块向量形式的维度;Dh是高分辨率字典,Dl是低分辨率字典,Z是表达系数矩阵,λ是加权系数,||Z||1使得系数矩阵Z变稀疏。
作为优选,步骤5中,若图像块的方差大于设定的阈值,则选择分辨率为N1×N1的字典对图像块进行稀疏表达;否则,选择分辨率为N2×N2的字典进行稀疏表达。
作为优选,步骤6中高分辨率图像块的重构公式为:
x=Dhα
其中,x为重构出的高分辨率图像块,Dh为高分辨率字典,α是步骤5中求取的稀疏表达系数。
作为优选,步骤6中,对N1×N1的低分辨率图像块,选择N3×N3的高分辨率字典进行重构;对N2×N2的低分辨率图像块,选择N4×N4的高分辨率字典进行重构。
本发明提出一种基于混合分辨率稀疏字典学习的图像超分辨率方法,包括字典训练过程和图像超分辨率重构过程。本发明具有以下优点和积极效果:
1)本发明能够在较少的训练样本的条件下,构造出包含不同分辨率原子的混合字典,在不扩张字典原子数量的前提下提高了字典的表达能力。
2)本发明能够根据图像纹理信息强弱自适应地选择不同分辨率的字典来超分,从而能够锐化图像边缘和丰富图像纹理信息。
附图说明
图1是本发明实施例的流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图1及实施示例对本发明作进一步地详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1,本发明提供的一种基于混合分辨率稀疏字典学习的图像超分辨率方法,包括以下步骤:
步骤1:将图像库中的图像作为训练样本,训练分辨率为3×3和5×5的两类低分辨率字典,获取两个高低分辨率字典对;其中,3×3和5×5的两类低分辨率字典对应的高分辨率字典的分辨率为9×9和15×15;并将它们分别存储起来。
具体实现上,先学习得到一个高低分辨率字典对,包含分辨率为9×9的高分辨率字典和3×3的低分辨率字典。联合训练过程为:
其中,Yh,Yl是高低图像块对集合,N和M分别是高分辨率和低分辨率图像块向量形式的维度。Dh是9×9高分辨率字典,Dl是3×3低分辨率字典,Z是表达系数矩阵,λ是加权系数,||Z||1使得系数矩阵Z变稀疏。
同样地,接着学习得到另外一个高低分辨率字典对,分别是分辨率为15×15的高分辨率字典和为5×5的低分辨率字典。
步骤2:将原始图像分成大小为17×17的图像块。
步骤3:获取一个大小为17×17图像块。
步骤4:计算所获取图像块的方差。
步骤5:判断图像块的方差是否大于设定的阈值,并选择相应的低分辨率字典进行稀疏表达。
具体包含两个子步骤:
步骤5.1:字典选择;
若图像块的方差大于设定的阈值10,则选择分辨率为3×3的字典对图像块进行稀疏表达;否则,选择分辨率为5×5的字典进行稀疏表达。
步骤5.2:稀疏表达;
采用如下优化计算公式进行稀疏表达:
其中,y是3×3或5×5的低分辨率图像块,Dl是低分辨率字典,α是稀疏表达系数,F是线性特征特征提取算子,参数λ平衡α的稀疏度和y的估计精度。
步骤6:对该图像块进行超分辨率重构。
具体来说,分为两种情况,对3×3的低分辨率图像块,选择9×9的高分辨率字典进行重构;对5×5的低分辨率图像块,选择15×15的高分辨率字典进行重构。
无论哪一种情况,高分辨率图像块的重构公式为
x=Dhα
其中,x为重构出的高分辨率图像块,Dh为高分辨率字典,α是步骤5中求取的稀疏表达系数。
若使用9×9的高分辨率字典对图像块进行重构,设置的重叠像素是2个;若使用分辨率为15×15的字典进行重构,设置的重叠像素是4个。
步骤7:进入下一轮循环或退出流程。
判断当前处理图像块是否是最后一个图像块,若是,则结束流程;否则,转向步骤4继续执行。
本发明可以在较少的训练样本的条件下,构造出不同分辨率的字典,并使用这些不同分辨率的字典进行内容自适应的超分辨率重建,最终达到突出图像轮廓和丰富纹理细节的效果,显著提高放大图像的质量。
应当理解的是,本说明未详细阐述的部分均属于现有技术。
应当理解的是,上所针对较佳实施示例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利所要求保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (6)
1.一种基于混合分辨率稀疏字典学习的图像超分辨率方法,其特征在于,包括以下步骤:
步骤1:将图像库中的图像作为训练样本,训练分辨率为N1×N1和N2×N2的两类低分辨率字典,获取两个高低分辨率字典对;其中,N1×N1和N2×N2的两类低分辨率字典对应的高分辨率字典的分辨率为N3×N3和N4×N4;其中,N1、N2、N3、N4是预设阈值,N1<N2<N3<N4;
步骤2:将原始图像分成大小为N5×N5的图像块;其中,N5为预设阈值;
步骤3:获取第一个图像块;
步骤4:计算所获取图像块的方差;
步骤5:判断图像块的方差是否大于设定的值,并选择相应的低分辨率字典进行稀疏表达;
步骤6:对图像块进行高分辨率重构;
步骤7:判断是否是最后一个图像块;
若是,则流程结束;
如否,则获取下一个图片快,并回转执行骤4。
2.根据权利要求1所述的基于混合分辨率稀疏字典学习的图像超分辨率方法,其特征在于:步骤1中,通过联合训练得到一个高低分辨率字典对,联合训练过程为:
其中,Yh,Yl是高低图像块对集合,N和M分别是高分辨率和低分辨率图像块向量形式的维度;Dh是高分辨率字典,Dl是低分辨率字典,Z是表达系数矩阵,λ是加权系数,||Z||1使得系数矩阵Z变稀疏。
3.根据权利要求1所述的基于混合分辨率稀疏字典学习的图像超分辨率方法,其特征在于:步骤5中,若图像块的方差大于设定的阈值,则选择分辨率为N1×N1的字典对图像块进行稀疏表达;否则,选择分辨率为N2×N2的字典进行稀疏表达。
4.根据权利要求1所述的基于混合分辨率稀疏字典学习的图像超分辨率方法,其特征在于,步骤5中稀疏表达的计算公式如下:
其中,y是N1×N1或N2×N2的低分辨率图像块,Dl是低分辨率字典,α是稀疏表达系数,F是线性特征特征提取算子,参数λ平衡α的稀疏度和y的估计精度。
5.根据权利要求4所述的基于混合分辨率稀疏字典学习的图像超分辨率方法,其特征在于,步骤6中高分辨率图像块的重构公式为:
x=Dhα
其中,x为重构出的高分辨率图像块,Dh为高分辨率字典,α是步骤5中求取的稀疏表达系数。
6.根据权利要求1所述的基于混合分辨率稀疏字典学习的图像超分辨率方法,其特征在于:步骤6中,对N1×N1的低分辨率图像块,选择N3×N3的高分辨率字典进行重构;对N2×N2的低分辨率图像块,选择N4×N4的高分辨率字典进行重构。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810091117.3A CN108335264B (zh) | 2018-01-30 | 2018-01-30 | 一种基于混合分辨率稀疏字典学习的图像超分辨率方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810091117.3A CN108335264B (zh) | 2018-01-30 | 2018-01-30 | 一种基于混合分辨率稀疏字典学习的图像超分辨率方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108335264A true CN108335264A (zh) | 2018-07-27 |
CN108335264B CN108335264B (zh) | 2021-08-03 |
Family
ID=62926901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810091117.3A Active CN108335264B (zh) | 2018-01-30 | 2018-01-30 | 一种基于混合分辨率稀疏字典学习的图像超分辨率方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108335264B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109064403A (zh) * | 2018-08-10 | 2018-12-21 | 安徽师范大学 | 基于分类耦合字典稀疏表示的指纹图像超分辨率方法 |
CN109584185A (zh) * | 2018-12-19 | 2019-04-05 | 深圳市华星光电半导体显示技术有限公司 | 图像处理方法 |
CN110120011A (zh) * | 2019-05-07 | 2019-08-13 | 电子科技大学 | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 |
WO2020010656A1 (zh) * | 2018-07-10 | 2020-01-16 | 哈尔滨工业大学(深圳) | 一种图像多分辨率字典学习方法及其应用 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102402784A (zh) * | 2011-12-16 | 2012-04-04 | 武汉大学 | 一种基于最近特征线流形学习的人脸图像超分辨率方法 |
US20140358877A1 (en) * | 2013-06-04 | 2014-12-04 | Yahoo! Inc. | Method and system handling images on a multi-touch device |
CN105405098A (zh) * | 2015-10-29 | 2016-03-16 | 西北工业大学 | 一种基于稀疏表示和自适应滤波的图像超分辨率重建方法 |
CN106251289A (zh) * | 2016-07-21 | 2016-12-21 | 北京邮电大学 | 一种基于深度学习和自相似性的视频超分辨率重建方法 |
CN106296583A (zh) * | 2016-08-01 | 2017-01-04 | 西北工业大学 | 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法 |
CN106683049A (zh) * | 2016-12-21 | 2017-05-17 | 华南理工大学 | 一种基于显著图和稀疏表示的图像超分辨率重构方法 |
US20170186135A1 (en) * | 2015-12-26 | 2017-06-29 | Intel Corporation | Multi-stage image super-resolution with reference merging using personalized dictionaries |
CN106934766A (zh) * | 2017-03-15 | 2017-07-07 | 西安理工大学 | 一种基于稀疏表示的红外图像超分辨率重建方法 |
CN104778671B (zh) * | 2015-04-21 | 2017-09-22 | 重庆大学 | 一种基于sae和稀疏表示的图像超分辨率方法 |
CN107292821A (zh) * | 2017-06-23 | 2017-10-24 | 武汉大学 | 一种超分辨率图像重建方法及系统 |
-
2018
- 2018-01-30 CN CN201810091117.3A patent/CN108335264B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102402784A (zh) * | 2011-12-16 | 2012-04-04 | 武汉大学 | 一种基于最近特征线流形学习的人脸图像超分辨率方法 |
US20140358877A1 (en) * | 2013-06-04 | 2014-12-04 | Yahoo! Inc. | Method and system handling images on a multi-touch device |
CN104778671B (zh) * | 2015-04-21 | 2017-09-22 | 重庆大学 | 一种基于sae和稀疏表示的图像超分辨率方法 |
CN105405098A (zh) * | 2015-10-29 | 2016-03-16 | 西北工业大学 | 一种基于稀疏表示和自适应滤波的图像超分辨率重建方法 |
US20170186135A1 (en) * | 2015-12-26 | 2017-06-29 | Intel Corporation | Multi-stage image super-resolution with reference merging using personalized dictionaries |
CN106251289A (zh) * | 2016-07-21 | 2016-12-21 | 北京邮电大学 | 一种基于深度学习和自相似性的视频超分辨率重建方法 |
CN106296583A (zh) * | 2016-08-01 | 2017-01-04 | 西北工业大学 | 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法 |
CN106683049A (zh) * | 2016-12-21 | 2017-05-17 | 华南理工大学 | 一种基于显著图和稀疏表示的图像超分辨率重构方法 |
CN106934766A (zh) * | 2017-03-15 | 2017-07-07 | 西安理工大学 | 一种基于稀疏表示的红外图像超分辨率重建方法 |
CN107292821A (zh) * | 2017-06-23 | 2017-10-24 | 武汉大学 | 一种超分辨率图像重建方法及系统 |
Non-Patent Citations (2)
Title |
---|
廖海斌: "基于非局部相似字典学习的人脸超分辨率与识别", 《武汉大学学报· 信息科学版》 * |
黄克斌: "基于K近邻稀疏编码均值约束的人脸超分辨率算法", 《计算机科学》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020010656A1 (zh) * | 2018-07-10 | 2020-01-16 | 哈尔滨工业大学(深圳) | 一种图像多分辨率字典学习方法及其应用 |
CN109064403A (zh) * | 2018-08-10 | 2018-12-21 | 安徽师范大学 | 基于分类耦合字典稀疏表示的指纹图像超分辨率方法 |
CN109064403B (zh) * | 2018-08-10 | 2022-11-01 | 安徽师范大学 | 基于分类耦合字典稀疏表示的指纹图像超分辨率方法 |
CN109584185A (zh) * | 2018-12-19 | 2019-04-05 | 深圳市华星光电半导体显示技术有限公司 | 图像处理方法 |
CN109584185B (zh) * | 2018-12-19 | 2020-10-16 | 深圳市华星光电半导体显示技术有限公司 | 图像处理方法 |
CN110120011A (zh) * | 2019-05-07 | 2019-08-13 | 电子科技大学 | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 |
CN110120011B (zh) * | 2019-05-07 | 2022-05-31 | 电子科技大学 | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108335264B (zh) | 2021-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Multi-scale residual network for image super-resolution | |
CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
CN108335264A (zh) | 一种基于混合分辨率稀疏字典学习的图像超分辨率方法 | |
WO2021022929A1 (zh) | 一种单帧图像超分辨率重建方法 | |
CN107507134B (zh) | 基于卷积神经网络的超分辨率方法 | |
DE102018126342A1 (de) | Transformieren von faltenden neuronalen netzen zum lernen von visuellen sequenzen | |
CN109389556A (zh) | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 | |
Zhou et al. | Efficient image super-resolution using vast-receptive-field attention | |
DE102018130924A1 (de) | Systeme und Verfahren zur dynamischen Gesichtsanalyse mittels eines rekurrenten neuronalen Netzes | |
CN111429347A (zh) | 图像超分辨率重建方法、装置及计算机可读存储介质 | |
CN106934766A (zh) | 一种基于稀疏表示的红外图像超分辨率重建方法 | |
DE102013114373A1 (de) | Konsistente Vertex-Einrastung für Rendering mit variabler Auflösung | |
CN106485656B (zh) | 一种图像超分辨率重构的方法 | |
CN107633482A (zh) | 一种基于序列图像的超分辨率重建方法 | |
CN112767252B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
KR20200132682A (ko) | 이미지 최적화 방법, 장치, 디바이스 및 저장 매체 | |
CN108492270A (zh) | 一种基于模糊核估计和变分重构的超分辨率方法 | |
CN113658044A (zh) | 提高图像分辨率的方法、系统、装置及存储介质 | |
DE102020133244A1 (de) | Kantenbewusste Aufwärtsskalierung für verbesserte Bildschirminhaltsqualität | |
CN106846250A (zh) | 一种基于多尺度滤波的超分辨率重建方法 | |
CN103903240B (zh) | 基于多输出最小二乘支持向量回归的图像超分辨方法 | |
CN110211059A (zh) | 一种基于深度学习的图像重建方法 | |
CN110009568A (zh) | 满文图像超分辨率重建的生成器构建方法 | |
CN112907446B (zh) | 一种基于分组连接网络的图像超分辨率重建方法 | |
CN115019038A (zh) | 一种相似图像像素级语义匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |