CN108846804B - 基于行图与列图模型的去模糊方法 - Google Patents

基于行图与列图模型的去模糊方法 Download PDF

Info

Publication number
CN108846804B
CN108846804B CN201810367620.7A CN201810367620A CN108846804B CN 108846804 B CN108846804 B CN 108846804B CN 201810367620 A CN201810367620 A CN 201810367620A CN 108846804 B CN108846804 B CN 108846804B
Authority
CN
China
Prior art keywords
column
image
graph
similar
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810367620.7A
Other languages
English (en)
Other versions
CN108846804A (zh
Inventor
颜成钢
李志胜
刘炳涛
周旭
俞灵慧
陈靖文
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201810367620.7A priority Critical patent/CN108846804B/zh
Publication of CN108846804A publication Critical patent/CN108846804A/zh
Application granted granted Critical
Publication of CN108846804B publication Critical patent/CN108846804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于行图与列图模型的去模糊方法。本发明包括:1:对原始测试图片X进行模糊处理,得到模糊图像,计算此时的PSNR值;2:将模糊图像分若干个重叠小块,对于每一个重叠小块,在设定的搜索范围内寻找K个相似块,并延展成列向量,构造一个相似块组G;3:对于相似块组G,将其每一个列向量理解为一个节点,构造基于向量的列图模型;同时将其每一个行向量理解为一个节点,构造基于向量的行图模型;4:得到每个重叠小块后,采用加权平均对图片进行更新,得到处理之后的图片Z,并计算图片X与图片Z之间的PSNR值。本发明在构造中探索了图像内部像素的自相似性和平滑特性,并在最后回传正则化迭代,实现了进一步进行优化。

Description

基于行图与列图模型的去模糊方法
技术领域
本发明属于图像处理领域中的图像去模糊,主要对图像去除模糊因素的操作,具体涉及一种基于行图与列图模型的去模糊方法。
背景技术
去模糊(Deblurring)在我们生活中具有确切相关的使用意义。生活里造成图像模糊的原因有很多,其中包括光学因素、大气因素、人工因素、技术因素等等,日常生产生活中对图像进行去模糊操作有其重要意义,图像去模糊作为图像复原技术的一个分支,在理论上和算法上也愈加系统和成熟,方法的分类有很多种,根据图像模糊核是否已知,图像去模糊技术被分为非盲图像去模糊和盲图像去迷糊,为了要取得比较好的处理效果,不同原因导致的模糊往往需要不同的处理方法。
常规的去模糊方法中是通过反卷积实现的,反卷积是使模糊的图像复原的基本方法,如果成像系统的模糊函数已知,则去模糊成为常规的反卷积问题,否则,是盲解卷积问题。由于光学系统的装配、拍摄对焦不准或拍摄时的移动等均会使图像模糊,对诸如红外成像系统等离散成像系统,探测单元的非点元性质是图像模糊的重要原因之一,这些模糊图像一般可以用卷积过程描述。其他较成熟的去模糊方法有L-R算法、约束最小乘方算法等。
图模型作为一种探索图像内部特性的方法,在多个领域得到了广泛的应用,将图模型方法引进图像去模糊领域是之前从未有过的创新,可以进一步地通过探索图像内部的平滑特性来提高图像的质量。同时,基于向量的图模型是常规利用基于像素的图模型的改进,能更有效的对图像进行相关的处理,将基于向量的行图和列图模型应用于图像去模糊领域能更好的发挥图模型的作用。
发明内容
本发明提出了一种基于图模型的去模糊方法,旨在通过图模型来探索图像内部像素的部分平滑特性和自相似性来实现图像去模糊操作。本发明的大致步骤如下:
步骤1:对初始图像X进行模糊处理,得到图片Y,计算此时的PSNR值;
步骤2:将图片Y分若干个重叠小块,对于每一个小块在设定的搜索范围内寻找K个相似块,并延展成列向量,构造出一个相似块组G;
步骤3:对于构造的相似块组K,将其每一个列向量理解为一个节点,构造基于向量的列图模型;同时将其每一个行向量理解为一个节点,构造基于向量的行图模型;
步骤4:得到每个重叠小块后,采用加权平均对图片进行更新,得到处理之后的图片Z,并计算原始图片X与经过行图与列图模型处理完后的图片 Z之间的PSNR值;
本发明有益效果如下:
本发明将每个像素看成是一个节点,提出了基于向量的行图模型和基于向量的列图模型,通过构造相似块组从而将每一列或每一行看成是一个节点,节点间的距离计算即为列向量或行向量之间的欧氏距离。在最后,加入了图像正则化技术,把图像处理后的偏差进行一个回传正则化迭代,进一步进行优化。
值得一提的是,在本发明中不同传统模式的创新,将图模型从单一像素模式延伸到了向量节点模式,成功的应用在了图像去模糊领域,这是图形去模糊领域的新方法,也利用了图像的正则化方法,能很好地对图像进行去模糊操作。
具体实施方式
本发明主要体现图像去模糊在图模型的构造,在构造中探索了图像内部像素的自相似性和平滑特性,并在最后回传正则化迭代,实现了进一步进行优化,使用详细的算法处理步骤如下:
步骤1:对原始测试图片X进行模糊处理,得到模糊图像Y,计算此时的 PSNR值;
步骤2:将模糊图像Y分若干个重叠小块,对于每一个重叠小块,在设定的搜索范围内寻找K个相似块,并延展成列向量,构造出一个相似块组G;
步骤3:对于构造的相似块组K,将其每一个列向量理解为一个节点,构造基于向量的列图模型;同时将其每一个行向量理解为一个节点,构造基于向量的行图模型;
步骤4:得到每个重叠小块后,采用加权平均对图片进行更新,得到处理之后的图片Z,并计算原始测试图片X与经过行图与列图模型处理完后的图片Z之间的PSNR值;
步骤1具体实现如下:
对原始测试图片X中的每一个像素点加上一个设定的模糊方差与随机数的乘积,得到新的像素值,形成一个模糊图像Y,并计算原始测试图片X与模糊图像Y之间的峰值信噪比,记为PSNR1。
步骤2具体实现如下:
首先将模糊图像Y分成若干个5×5的重叠小块,重叠的间隔为3,设置局部搜索为10×10,搜索出16个与其相似的相似块,并将各相似块拉成列向量,得到一个相似块组G。即对于每一个重叠小块均可得到一个25×16的相似块组G;
然后针对相似块组G构造图模型,同时对每一个重叠小块对应的相似块组G进行去模糊操作。
步骤3具体实现如下:
图模型描述了矩阵内部的特性,主要由各节点组成,节点之间的关系程度用加权矩阵W来表示,图拉普拉斯矩阵L是图||xG||2的关键要素,用公式 ||xG||2=tr(xTLx)来表示图模型,x通常为列向量,x的维数代表了节点的个数。构造图模型的关键是构造出图拉普拉斯矩阵,传统的计算拉普拉斯矩阵L的方法决定于加权邻接矩阵W,其计算方式如下
Figure RE-GDA0001716317570000031
L=Δ-W。而加权矩阵W的计算方式与节点间距离的高斯核有关:
Figure RE-GDA0001716317570000032
其中,dij为节点di与dj之间的相似度,σ为固定值,ε为最小的距离阈值。本发明中,将25×16的相似块组G的每一列或每一行看成是一个节点构造加权矩阵,dij即为列向量之间的欧式距离。具体的构造基于向量的构造图方式如下:
对于25×16相似块组G,即
Figure RE-GDA0001716317570000033
将G看作
Figure RE-GDA0001716317570000041
其中
Figure RE-GDA0001716317570000042
是一个行向量,
Figure RE-GDA0001716317570000043
Figure RE-GDA0001716317570000044
的欧式距离作为节点
Figure RE-GDA0001716317570000045
Figure RE-GDA0001716317570000046
之间的相似度,此时将G看成是多个25个行向量,计算其相似度,即有
Figure RE-GDA0001716317570000047
通过以上方程,即可得到基于向量的行拉普拉斯矩阵Lr,同理,将相似块组G的每一列看成是一个节点,可得到基于向量的列拉普拉斯矩阵Lc,最终构造出图模型。
步骤4所述的得到每个重叠小块后,采用加权平均对图片进行更新,得到处理之后的图片Z,并计算原始测试图片X与经过行图与列图模型处理完后的结果图Z之间的PSNR值,具体实现如下:
4-1.将行图列图Graph均作为正则项,二次项为原始组与相似块组的偏差:
构造出图模型后即要应用于基于相似块组的去模糊,去模糊的方程是由一个图的正则项和去模糊前后相似块组的二次项组成的:
Figure RE-GDA0001716317570000048
4-2.处理完每一个重叠小块对应的相似块组之后,进行图像的更新:
图像更新的目的是将处理后的每一个重叠小块对应的相似块组转换成最终的图片,其原理是记录相似块所参与去模糊的次数进行加权平均更新,得到一次迭代生成的结果图Z,并计算处理后的结果图Z与原始测试图片X 之间的PSNR值。
4-3.将迭代生成的图Z进行整体正则化迭代,进一步增强图像质量:
正则化迭代的原理为将每一次处理完后图片的偏差回传到模糊后的图片,进行迭代操作,得出最优结果,具体的迭代方程如下:
yi+1=y+δ(y-yi)
yi对应的为第i次迭代对应的结果图Z,设置迭代次数i为5,分别计算5次迭代的结果与原始测试图片的PSNR值,结果表明多次迭代的PSNR值要好于直接模糊变量的模糊图PSNR1值。

Claims (3)

1.基于行图与列图模型的去模糊方法,其特征在于,包括:
步骤1:对原始测试图片X进行模糊处理,得到模糊图像Y,计算此时的PSNR值;
对原始测试图片X中的每一个像素点加上一个设定的模糊方差与随机数的乘积,得到新的像素值,形成一个模糊图像Y,并计算原始测试图片X与模糊图像Y之间的峰值信噪比,记为PSNR1;
步骤2:将模糊图像Y分若干个重叠小块,对于每一个重叠小块,在设定的搜索范围内寻找K个相似块,并延展成列向量,构造出一个相似块组G;
步骤3:对于构造的相似块组G,将其每一个列向量理解为一个节点,构造基于向量的列图模型;同时将其每一个行向量理解为一个节点,构造基于向量的行图模型;
步骤4:得到每个重叠小块后,采用加权平均对图片进行更新,得到处理之后的图片Z,并计算原始测试图片X与经过行图与列图模型处理完后的图片Z之间的PSNR值;
4-1.将行图列图Graph均作为正则项,二次项为原始组与相似块组的偏差:
构造出图模型后即要应用于基于相似块组的去模糊,去模糊的方程是由一个图的正则项和去模糊前后相似块组的二次项组成的:
Figure FDA0003468233670000011
4-2.处理完每一个重叠小块对应的相似块组之后,进行图像的更新:
图像更新的目的是将处理后的每一个重叠小块对应的相似块组转换成最终的图片,其原理是记录相似块所参与去模糊的次数进行加权平均更新,得到一次迭代生成的结果图Z,并计算处理后的结果图Z与原始测试图片X之间的PSNR值;
4-3.将迭代生成的图Z进行整体正则化迭代,进一步增强图像质量:
正则化迭代的原理为将每一次处理完后图片的偏差回传到模糊后的图片,进行迭代操作,得出最优结果,具体的迭代方程如下:
yi+1=y+δ(y-yi)
yi对应的为第i次迭代对应的结果图Z,设置迭代次数i为5,分别计算5次迭代的结果与原始测试图片的PSNR值,结果表明多次迭代的PSNR值要好于直接模糊变量的模糊图PSNR1值。
2.根据权利要求1所述的基于行图与列图模型的去模糊方法,其特征在于,步骤2具体实现如下:
首先,将模糊图像Y分成若干个5×5的重叠小块,重叠的间隔为3,设置局部搜索为10×10,搜索出16个与其相似的相似块,并将各相似块拉成列向量,得到一个相似块组G;即对于每一个重叠小块均可得到一个25×16的相似块组G;
然后,针对相似块组G构造图模型,同时对每一个重叠小块对应的相似块组G进行去模糊操作。
3.根据权利要求2所述的基于行图与列图模型的去模糊方法,其特征在于,步骤3具体实现如下:
图模型描述了矩阵内部的特性,由各节点组成,节点之间的关系程度用加权矩阵W来表示,图拉普拉斯矩阵L是图||xG||2的关键要素,用公式||xG||2=tr(xTLx)来表示图模型,x通常为列向量,x的维数代表了节点的个数;构造图模型的关键是构造出图拉普拉斯矩阵,传统计算拉普拉斯矩阵L的方法决定于加权邻接矩阵W,其计算方式如下Δii=∑Wij,L=Δ-W;而加权矩阵W的计算方式与节点间距离的高斯核有关:
Figure FDA0003468233670000021
其中,dij为节点di与dj之间的相似度,σ为固定值,ε为最小的距离阈值;将25×16的相似块组G的每一列或每一行看成是一个节点构造加权矩阵,dij即为列向量之间的欧式距离;具体的构造基于向量的构造图方式如下:
对于25×16相似块组G,即
Figure FDA0003468233670000022
将G看作
Figure FDA0003468233670000031
其中
Figure FDA0003468233670000032
是一个行向量,
Figure FDA0003468233670000033
Figure FDA0003468233670000034
的欧式距离作为节点
Figure FDA0003468233670000035
Figure FDA0003468233670000036
之间的相似度,此时将G看成是25个行向量,计算其相似度,即有
Figure FDA0003468233670000037
通过公式2,即可得到基于向量的行拉普拉斯矩阵Lr,同理,将相似块组G的每一列看成是一个节点,可得到基于向量的列拉普拉斯矩阵Lc,最终构造出图模型。
CN201810367620.7A 2018-04-23 2018-04-23 基于行图与列图模型的去模糊方法 Active CN108846804B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810367620.7A CN108846804B (zh) 2018-04-23 2018-04-23 基于行图与列图模型的去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810367620.7A CN108846804B (zh) 2018-04-23 2018-04-23 基于行图与列图模型的去模糊方法

Publications (2)

Publication Number Publication Date
CN108846804A CN108846804A (zh) 2018-11-20
CN108846804B true CN108846804B (zh) 2022-04-01

Family

ID=64212113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810367620.7A Active CN108846804B (zh) 2018-04-23 2018-04-23 基于行图与列图模型的去模糊方法

Country Status (1)

Country Link
CN (1) CN108846804B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675327B (zh) * 2019-08-02 2022-05-06 杭州电子科技大学 基于核范数与图模型的图像去噪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427259A (zh) * 2015-11-26 2016-03-23 天津大学 多方向加权tv和非局部自相似性正则化图像去模糊方法
CN106815854A (zh) * 2016-12-30 2017-06-09 西安交通大学 一种基于正则误差建模的在线视频前景背景分离方法
CN107680043A (zh) * 2017-09-29 2018-02-09 杭州电子科技大学 基于图模型的单幅图像超分辨率输出方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286539B2 (en) * 2014-02-11 2016-03-15 Google Inc. Constructing contours from imagery

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427259A (zh) * 2015-11-26 2016-03-23 天津大学 多方向加权tv和非局部自相似性正则化图像去模糊方法
CN106815854A (zh) * 2016-12-30 2017-06-09 西安交通大学 一种基于正则误差建模的在线视频前景背景分离方法
CN107680043A (zh) * 2017-09-29 2018-02-09 杭州电子科技大学 基于图模型的单幅图像超分辨率输出方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dual Graph Regularized Dictionary Learning;Yael Yankelevsky et al;《 IEEE Transactions on Signal and Information Processing over Networks》;20160902;全文 *
Group-Based Sparse Representation for Image Restoration;Jian Zhang et al;《ResearchGate》;20140531;全文 *
全变分自适应图像去噪模型;张红英 等;《光电工程》;20061231;全文 *

Also Published As

Publication number Publication date
CN108846804A (zh) 2018-11-20

Similar Documents

Publication Publication Date Title
Zhang et al. Recursive neural network for video deblurring
CN108537746B (zh) 一种基于深度卷积网络的模糊可变图像盲复原方法
Davy et al. A non-local CNN for video denoising
CN111524068A (zh) 一种基于深度学习的变长输入超分辨率视频重建方法
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
Kim et al. Multiple level feature-based universal blind image quality assessment model
Dong et al. Learning spatially-variant MAP models for non-blind image deblurring
CN112215773B (zh) 基于视觉显著性的局部运动去模糊方法、装置及存储介质
Yu et al. Joint learning of blind video denoising and optical flow estimation
Gao et al. Atmospheric turbulence removal using convolutional neural network
Golestaneh et al. No-reference image quality assessment via feature fusion and multi-task learning
Yu et al. Split-attention multiframe alignment network for image restoration
Wang et al. First image then video: a two-stage network for spatiotemporal video denoising
CN108846804B (zh) 基于行图与列图模型的去模糊方法
Zhou et al. Modular degradation simulation and restoration for under-display camera
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
CN112200752B (zh) 一种基于er网络多帧图像去模糊系统及其方法
Li et al. FastLLVE: Real-Time Low-Light Video Enhancement with Intensity-Aware Look-Up Table
Li et al. Progressive deep video dehazing without explicit alignment estimation
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
Li et al. Self-supervised blind motion deblurring with deep expectation maximization
CN111695416A (zh) 一种基于自监督学习的稠密光流估计系统及方法
CN116385264A (zh) 一种超分辨率遥感数据重构方法
CN114612305B (zh) 一种基于立体图建模的事件驱动视频超分辨率方法
CN107564029B (zh) 基于高斯极值滤波和群稀疏rpca的运动目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant