CN107680043B - 基于图模型的单幅图像超分辨率输出方法 - Google Patents

基于图模型的单幅图像超分辨率输出方法 Download PDF

Info

Publication number
CN107680043B
CN107680043B CN201710902249.5A CN201710902249A CN107680043B CN 107680043 B CN107680043 B CN 107680043B CN 201710902249 A CN201710902249 A CN 201710902249A CN 107680043 B CN107680043 B CN 107680043B
Authority
CN
China
Prior art keywords
image
matrix
resolution
similar
pixel values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710902249.5A
Other languages
English (en)
Other versions
CN107680043A (zh
Inventor
颜成钢
张腾
张永兵
赵崇宇
李志胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201710902249.5A priority Critical patent/CN107680043B/zh
Publication of CN107680043A publication Critical patent/CN107680043A/zh
Application granted granted Critical
Publication of CN107680043B publication Critical patent/CN107680043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图模型的单幅图像超分辨率输出方法。本发明步骤如下：1:先将输入的单幅图像利用双三次插值方法按照预设定的采样率进行插值，得到一张低分辨率图像，然后将得到的低分辨率图像分割成m×n的图像块，对每个图像块计算像素值的欧氏距离，根据欧氏距离确定一组相似块的集合；针对分割好的低分辨率图像中的每个图像块都有一组相似块的集合。2:对相似块的集合构建图模型；3:对得到的二维矩阵进行拉普拉斯变换，得到拉普拉斯矩阵，然后利用优化公式求解进行图像块的修复；4:对修复后的图像块集合进行平均并重建，最终得到超分辨率的图像。本发明能够克服机器学习方法需要大量的图像数据去训练模型的缺点，更加适合图像超分辨率。

Description

基于图模型的单幅图像超分辨率输出方法
技术领域
本发明涉及图像的超分辨率领域，尤其涉及到单帧图像的超分辨率研究，具体涉及一种基于图模型的单幅图像超分辨率输出方法。
背景技术
在大量的电子图像应用领域，人们经常期望得到高分辨率图像。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。例如，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率卫星图像就很容易从相似物中区别相似的对象。如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。自从上世纪七十年代以来，电荷耦合器件(CCD)、CMOS图像传感器已被广泛用来捕获数字图像。尽管对于大多数的图像应用来说这些传感器是合适的，但是当前的分辨率水平和消费价格不能满足今后的需求。例如，人们希望得到一个便宜的高分辨率数码相机/便携式摄像机，或者期望其价格逐渐下降。科学家通常需要一个非常高的接近35毫米模拟胶片的分辨率水平，这样在放大一个图像的时候就不会有可见的瑕疵。因此，寻找一种增强当前分辨率水平的方法是非常必须的。
目前，大多数的单幅图像的超分辨率采用了机器学习的方法。这些方法主要是通过学习高分辨率图像块和低分辨率图像块之间的关系，并利用学习到的关系作用于低分辨率图像上，从而得到高分辨率的图像。但传统的这些方法有着比较明显的缺点，例如训练集的大小和类型和训练效果之间的关系难以确定，采样率改变一次则模型需要重新训练一次。
发明内容
本发明针对现有技术的不足，提出了一种基于图模型的单幅图像超分辨率输出方法。本发明能够将一张输入的低分辨率图像，按照预定的采样率输出它的高分辨率图像。
本发明解决其技术问题所采用的技术方案具体的处理步骤如下：
步骤1:首先将输入的单幅图像利用双三次插值方法按照预设定的采样率进行插值，得到一张低分辨率图像，然后将得到的低分辨率图像分割成m×n的图像块。然后对每个图像块计算像素值的欧氏距离，从而根据欧氏距离确定一组相似块的集合；针对分割好的低分辨率图像中的每个图像块都有一组相似块的集合。
步骤2:对相似块的集合构建图模型。
对每个图像块中所有的相似块的像素值之间建立联系，具体如下：
将相似块集合中所有相似块的像素值拉成一个列向量，然后根据这个列向量构建二维矩阵，用来存储像素值的联系。
步骤3:对得到的二维矩阵进行拉普拉斯变换，得到拉普拉斯矩阵，然后利用优化公式求解进行图像块的修复，具体如下：
Figure GDA0002596616270000021
其中，y是相似块所有像素所拉成的向量，x是要恢复的高分辨率图像所拉成的向量，xT是x的转置，xTLx是正则项，λ是正则化项的参数，L是相似块的拉普拉斯矩阵，上式对x求导，令导函数等于零，可以得到x的极值。所以我们使用的修复公式如下：
x*＝(I+λL)-1y
其中，I是单位矩阵。
步骤4:对修复后的图像块集合进行平均并重建，最终得到超分辨率的图像。
所述的对图像块集合进行平均的过程如下：
设置两个和输出图像同大小的二维矩阵T和W，T用来存储修复完后的相似块，把相似块一一映射到原来在图像中位置，然后相似块映射位置如果有重叠，则相应的像素值累加。T矩阵的相应位置像素值每增加一次，W矩阵的相应位置增加1。
所述的对图像块集合进行重建的过程如下：
用上述所得到的T矩阵去除W矩阵，就会得到输出图像中每一个相应像素值的平均值，这就是我们最终得到的输出图像。
本发明有益效果：
本发明通过使用图模型来实现图像的超分辨率，经试验对比，本发明的信噪比要比SRCNN等前沿方法平均有0.2dB左右的提高。另外，本发明所涉及到的图像超分辨率则采用传统的基于图像块优化的方法，这种方法可以克服机器学习方法需要大量的图像数据去训练模型的缺点，从而更加适合图像超分辨率。
附图说明
图1是本发明流程图；
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1所示，基于图模型的单幅图像超分辨率输出方法，具体包括如下步骤：
步骤1:首先将输入的单幅图像利用双三次插值方法按照预设定的采样率进行插值，得到一张放大的低分辨率图像，然后将得到的低分辨率图像按照步长为s分割成m×n的图像块。对每个图像块计算像素值的欧氏距离，从而根据欧氏距离确定一组相似块的集合；针对分割好的低分辨率图像中的每个图像块都有一组相似块的集合。
步骤2:对相似块的集合构建图模型。
对每个图像块中所有的相似块的像素值之间建立联系，具体如下：
将相似块集合中所有相似块的像素值拉成一个向量，然后根据这个向量构建二维邻接矩阵A，用来存储像素值的联系。像素值之间联系的强弱由像素值之间的欧式距离决定，1表示像素值之间联系最强，0表示像素值之间联系最弱。
步骤3:对得到的二维邻接矩阵A进行拉普拉斯变换，得到拉普拉斯矩阵L，然后利用优化公式求解进行图像块的修复，具体如下：
x*＝(I+λL)-1y
其中，x*是修复后得到的相似块的向量，I是单位矩阵，L是我们得到的拉普拉斯矩阵，λ是正则化项的参数。
步骤4:对修复后的图像块集合进行平均并重建，最终得到超分辨率的图像。
所述的对图像块集合进行平均的过程如下：
设置两个和输出图像同大小的二维矩阵T和W，T用来存储修复完后的相似块，把相似块一一映射到原来在图像中位置，然后相似块映射位置如果有重叠，则相应的像素值累加。T矩阵的相应位置像素值每增加一次，W矩阵的相应位置增加1。
所述的对图像块集合进行重建的过程如下：
用上述所得到的T矩阵去除W矩阵，就会得到输出图像中每一个相应像素值的平均值，这就是我们最终得到的输出图像。
实施例：
针对步骤1中分割的图像块，通过非局部平均方法搜索到若干个跟当前图像块最为相似的块，将相似块集合中所有相似块的像素值拉成一个向量，然后根据这个向量构建二维邻接矩阵A，用来存储像素值的联系。
设假如每个图像块大小为m×n，每个块找到k个和它最相似的块，则二维邻接矩阵A是(m×n×k)×(m×n×k)维的矩阵；对二维矩阵A进行拉普拉斯变换，得到(m×n×k)×(m×n×k)维的拉普拉斯矩阵，具体的拉直后的向量x、图像块对应的邻接矩阵A、图像块对应的度矩阵D以及图像块对应的拉普拉斯矩阵L分别如下：
Figure GDA0002596616270000041
Figure GDA0002596616270000042
其中，邻接矩阵A的对角线位置表示像素点自身的相似性，我们将其设置为0，度矩阵D是由邻接矩阵A所得，度矩阵D除对角线位置外，其他位置均为0，对角线位置的元素由邻接矩阵该行的和所决定。最终的拉普拉斯矩阵L是由度矩阵D减去邻接矩阵A所得。
紧接着，我们利用新的拉普拉斯矩阵对应的优化公式得到一个大的重构向量，然后将重构后的重构向量按照对应块所在的位置对应到图像中不同的位置。最终得到相应的超分辨率图像。

Claims (1)

1.基于图模型的单幅图像超分辨率输出方法，其特征在于包括如下步骤：
步骤1:首先将输入的单幅图像利用双三次插值方法按照预设定的采样率进行插值，得到一张低分辨率图像，然后将得到的低分辨率图像分割成m×n的图像块；然后对每个图像块计算像素值的欧氏距离，从而根据欧氏距离确定一组相似块的集合；针对分割好的低分辨率图像中的每个图像块都有一组相似块的集合；
步骤2:对相似块的集合构建图模型；
对每个图像块中所有的相似块的像素值之间建立联系，具体如下：
将相似块集合中所有相似块的像素值拉成一个列向量，然后根据这个列向量构建二维矩阵，用来存储像素值的联系；像素值之间联系的强弱由像素值之间的欧式距离决定，1表示像素值之间联系最强，0表示像素值之间联系最弱；
步骤3:对得到的二维矩阵进行拉普拉斯变换，得到拉普拉斯矩阵，然后利用优化公式求解进行图像块的修复，具体如下：
Figure FDA0002596616260000011
其中，x*是修复后得到的相似块的向量,y是相似块所有像素所拉成的向量，x是要恢复的高分辨率图像所拉成的向量，xT是x的转置，xTLx是正则项，λ是正则化项的参数，L是相似块的拉普拉斯矩阵，上式对x求导，令导函数等于零，得到x的极值；修复公式如下：
x*＝(I+λL)-1y
其中，I是单位矩阵；
步骤4:对修复后的图像块集合进行平均并重建，最终得到超分辨率的图像；
所述的对图像块集合进行平均的过程如下：
设置两个和输出图像同大小的二维矩阵T和W，T用来存储修复完后的相似块，把相似块一一映射到原来在图像中位置，然后相似块映射位置如果有重叠，则相应的像素值累加；T矩阵的相应位置像素值每增加一次，W矩阵的相应位置增加1；
所述的对图像块集合进行重建的过程如下：
用上述所得到的T矩阵去除W矩阵，就会得到输出图像中每一个相应像素值的平均值，这就是我们最终得到的输出图像。
CN201710902249.5A 2017-09-29 2017-09-29 基于图模型的单幅图像超分辨率输出方法 Active CN107680043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710902249.5A CN107680043B (zh) 2017-09-29 2017-09-29 基于图模型的单幅图像超分辨率输出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710902249.5A CN107680043B (zh) 2017-09-29 2017-09-29 基于图模型的单幅图像超分辨率输出方法

Publications (2)

Publication Number Publication Date
CN107680043A CN107680043A (zh) 2018-02-09
CN107680043B true CN107680043B (zh) 2020-09-22

Family

ID=61138618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710902249.5A Active CN107680043B (zh) 2017-09-29 2017-09-29 基于图模型的单幅图像超分辨率输出方法

Country Status (1)

Country Link
CN (1) CN107680043B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447019B (zh) * 2018-02-07 2022-10-18 杭州电子科技大学 一种基于对偶图的图像超分辨率方法
CN108492267B (zh) * 2018-03-16 2022-05-03 南京邮电大学 一种基于图正则化的矩阵填充图像修复方法
CN108846804B (zh) * 2018-04-23 2022-04-01 杭州电子科技大学 基于行图与列图模型的去模糊方法
CN108898557B (zh) * 2018-05-30 2021-08-06 商汤集团有限公司 图像恢复方法及装置、电子设备、计算机程序及存储介质
CN111353948B (zh) * 2018-12-24 2023-06-27 Tcl科技集团股份有限公司 一种图像降噪方法、装置及设备
CN114693547A (zh) * 2022-03-03 2022-07-01 大连海事大学 基于图像超分辨的射频图像增强方法及射频图像识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136065A (zh) * 2011-03-28 2011-07-27 西安电子科技大学 基于凸优化的人脸超分辨率方法
CN102693419A (zh) * 2012-05-24 2012-09-26 武汉大学 基于多流形判别分析超分辨率的人脸识别方法
EP2615579A1 (en) * 2012-01-12 2013-07-17 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
EP2662825A1 (en) * 2012-05-10 2013-11-13 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
CN104008538A (zh) * 2014-05-12 2014-08-27 清华大学 基于单张图像超分辨率方法
CN106886978A (zh) * 2017-02-16 2017-06-23 清华大学深圳研究生院 一种图像的超分辨率重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136065A (zh) * 2011-03-28 2011-07-27 西安电子科技大学 基于凸优化的人脸超分辨率方法
EP2615579A1 (en) * 2012-01-12 2013-07-17 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
EP2662825A1 (en) * 2012-05-10 2013-11-13 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
CN102693419A (zh) * 2012-05-24 2012-09-26 武汉大学 基于多流形判别分析超分辨率的人脸识别方法
CN104008538A (zh) * 2014-05-12 2014-08-27 清华大学 基于单张图像超分辨率方法
CN106886978A (zh) * 2017-02-16 2017-06-23 清华大学深圳研究生院 一种图像的超分辨率重建方法

Also Published As

Publication number Publication date
CN107680043A (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
CN107680043B (zh) 基于图模型的单幅图像超分辨率输出方法
CN111080724B (zh) 一种红外和可见光的融合方法
CN112750082B (zh) 基于融合注意力机制的人脸超分辨率方法及系统
JP6275260B2 (ja) 入力低解像度（ｌｒ）画像を処理して出力高解像度（ｈｒ）画像にする方法
CN110827200A (zh) 一种图像超分重建方法、图像超分重建装置及移动终端
CN109949224B (zh) 一种基于深度学习的联级超分辨率重建的方法及装置
CN106920214B (zh) 空间目标图像超分辨率重建方法
US11244426B2 (en) Method for image super resolution imitating optical zoom implemented on a resource-constrained mobile device, and a mobile device implementing the same
CN108288256B (zh) 一种多光谱马赛克图像复原方法
CN103150713A (zh) 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法
CN106169173B (zh) 一种图像插值方法
CN105488759B (zh) 一种基于局部回归模型的图像超分辨率重建方法
CN110599400A (zh) 一种基于epi的光场图像超分辨的方法
An et al. Single-shot high dynamic range imaging via deep convolutional neural network
CN114641790A (zh) 红外图像的超分辨率的处理方法及系统
CN112801904A (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN114511487A (zh) 图像融合方法及装置、计算机可读存储介质、终端
CN104574338A (zh) 基于多角度线阵ccd传感器的遥感图像超分辨率重建方法
Yuan et al. Unsupervised real image super-resolution via knowledge distillation network
Jia et al. Super-resolution with deep adaptive image resampling
CN113674154A (zh) 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统
CN110390339B (zh) 一种图像校正方法、装置及存储介质
WO2018119565A1 (zh) 一种桶形畸变图像的矫正重构方法及装置
CN108492264B (zh) 一种基于sigmoid变换的单帧图像快速超分辨方法
CN103077396B (zh) 一种彩色图像的向量空间特征点提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Yan Chenggang

Inventor after: Zhang Teng

Inventor after: Zhang Yongbing

Inventor after: Zhao Chongyu

Inventor after: Li Zhisheng

Inventor before: Zhang Teng

Inventor before: Yan Chenggang

Inventor before: Zhang Yongbing

Inventor before: Zhao Chongyu

Inventor before: Li Zhisheng

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant