CN110490822B - 图像去运动模糊的方法和装置 - Google Patents

图像去运动模糊的方法和装置 Download PDF

Info

Publication number
CN110490822B
CN110490822B CN201910737137.8A CN201910737137A CN110490822B CN 110490822 B CN110490822 B CN 110490822B CN 201910737137 A CN201910737137 A CN 201910737137A CN 110490822 B CN110490822 B CN 110490822B
Authority
CN
China
Prior art keywords
image
fuzzy
image block
kernel
blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910737137.8A
Other languages
English (en)
Other versions
CN110490822A (zh
Inventor
王维东
陈佳云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910737137.8A priority Critical patent/CN110490822B/zh
Publication of CN110490822A publication Critical patent/CN110490822A/zh
Application granted granted Critical
Publication of CN110490822B publication Critical patent/CN110490822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像去运动模糊的方法和装置,先对输入模糊图像进行重叠图像块划分,再为各重叠图像块在模糊图像中选取一组参考图像块,然后对各重叠图像块对应的所有参考图像块使用现有模糊核估计方法得到一系列初步估计的模糊核,并使用一种L0稀疏性模糊核质量度量标准从中选择局部最佳模糊核,最后使用各局部最佳模糊核对其对应的重叠模糊图像块进行非盲去卷积,得到去各模糊后的图像块,并将各去模糊后的图像块拼接在一起得到最终去模糊后的图像。本发明在对图像去运动模糊时,能够有效地去除连续变化的非均匀运动模糊,并尽可能地减少振铃效应。

Description

图像去运动模糊的方法和装置
技术领域
本发明涉及数字图像处理技术领域,特别是涉及一种图像去运动模糊的方法和装置。
背景技术
图像运动模糊是由曝光期间相机和被拍摄场景的相对运动造成的。随着智能手机的普及,其逐渐成为当今最流行的拍照设备。受限于设备本身的尺寸限制以及设计成本的考虑,手机摄像头的光圈大小十分有限,图像传感器单位像素的感光元件面积也十分有限,这使得手机摄像头的感光能力较弱,为了在典型的场景中获得每像素足够的光子,相机需要捕获数十到数百毫秒的光。因此手持手机进行拍照时,运动模糊问题变得尤为突出。图像去运动模糊就是要从运动模糊图像中恢复隐含的清晰图像,它是数字图像处理中的一个重要问题。除了在智能手机等消费电子领域具有重要意义以外,图像去运动模糊在视频监控、遥感等生产生活领域也具有较高的实用价值。
真实相机抖动导致的空间非均匀运动模糊比经典的空间均匀运动模糊更难去除。因为图像不同区域受到的运动模糊不尽相同,简单地估计单一的模糊核并进行去卷积会引起严重的振铃效应。因此,需要提供一种图像去运动模糊的方法,以有效地去除图像非均匀运动模糊。
发明内容
本发明要解决的技术问题是提供一种图像去运动模糊的方法和装置,该方法和装置基于一种L0稀疏性模糊核质量度量标准,能够去除图像中连续变化的非均匀运动模糊,并尽可能地减少振铃效应。
为了解决上述技术问题,本发明提供一种图像去运动模糊的方法(基于L0稀疏性模糊核质量度量标准的图像去运动模糊方法),包括以下步骤:
S1:利用空间距离、颜色、纹理、模糊特征,将原始模糊图像按0~1(一般优选0.5)的重叠率划分为一系列重叠图像块{Pi}={Pi,P2,...,PN},其中N为图像块的数目;
注,重叠图像块{Pi}={P1,P2,...,PN}的划分规则为:使得在同一图像块中的像素点的空间距离、颜色、纹理、模糊特征的相似度高,而不在同一图像块中的像素点的空间距离、颜色、纹理、模糊特征的相似度低。其中相似度的度量可以采用SAD或者MSE(但不限于此);按所述规则进行图像块的划分具体可以采用SLIC超像素分割算法,也可以采用等间隔规则矩形划分法(但不限于此)。所述重叠率为:相邻图像块之间重叠部分的面积占图像块面积的比例;
S2:对步骤S1中的每一个图像块Pi,从原始模糊图像中,利用空间距离、颜色、纹理、模糊特征,按规则选取一组参考图像块
Figure BDA0002162611180000021
其中mi为Pi对应的参考图像块的数目;
注,规则是:使得所述参考图像块
Figure BDA0002162611180000022
的空间距离、颜色、纹理、模糊特征与当前图像块Pi的空间距离、颜色、纹理、模糊特征的相似度高,其中相似度的度量可以采用SAD或者MSE(但不限于此);按所述规则进行参考图像块的选取具体可以采用全搜索块匹配法(但不限于此);
S3:对步骤S2中得到的Pi的每一个参考图像块
Figure BDA0002162611180000023
使用模糊核估计方法(现有模糊核估计方法)得到初步估计的模糊核
Figure BDA0002162611180000024
S4:对步骤S3中得到的模糊核
Figure BDA0002162611180000025
计算L0稀疏性模糊核质量度量
Figure BDA0002162611180000026
并从中找到最大的L0稀疏性模糊核质量度量
Figure BDA0002162611180000027
所对应的局部最佳模糊核
Figure BDA0002162611180000028
S5:使用步骤S4中得到的
Figure BDA0002162611180000029
对步骤S1所得的各模糊图像块Pi进行非盲去卷积,得到去模糊后的图像块
Figure BDA00021626111800000210
S6:将所有按上述步骤得到的去模糊后的图像块
Figure BDA00021626111800000211
拼接在一起得到最终去模糊后的图像。
作为本发明的图像去运动模糊的方法的改进,步骤S4所述的一种L0稀疏性模糊核质量度量f(k)由式(1)计算得到:
Figure BDA00021626111800000212
Figure BDA00021626111800000213
由式(2)计算得到:
Figure BDA00021626111800000214
式(1)~(2)中,L(·)表示模糊惩罚函数,k表示模糊核;*表示卷积运算符;y和x分别表
示当前模糊图像块Pi和其对应的隐含清晰图像块的梯度映射图,所述梯度映射图由图像在
任意一个或多个方向上的离散偏导数构成;||x||0为x的L0范数,定义为||x||0=#{(m,n):|xm,n|>0},其中,m,n分别表示图像像素横坐标索引和图像像素纵坐标索引;ρk(k)是模糊核正则化项,λx和λk为平衡因子(取值适当的平衡因子),取值≥0(即,为0~正无穷大)。
注:
Figure BDA0002162611180000031
Figure BDA0002162611180000032
的L0范数,定义为:
Figure BDA0002162611180000033
其中,m,n分别表示图像像素横坐标索引和图像像素纵坐标索引。
作为本发明的图像去运动模糊的方法的进一步改进:模糊惩罚函数为以下惩罚函数:一次范数||·||或二次范数||·||2(但不限于此);取ρk(k)=||k||2(但不限于此)。
作为本发明的图像去运动模糊的方法的进一步改进:
步骤S1所述重叠图像块{Pi}可按等间隔或非等间隔划分得到;图像块形状是规则或不规则;图像块的大小为相同或者不相同;图像块的数目N是奇数或偶数。
步骤S2对各图像块Pi选取的一组参考图像块
Figure BDA0002162611180000034
由若干大小相同或不相同的规则矩形图像块组成,或者由若干圆形、三角形或不规则图像块组成;参考图像块的数目mi是奇数或偶数;不同图像块Pi对应的参考图像块的数目mi为相同或不同。
作为本发明的图像去运动模糊的方法的进一步改进:
步骤S3所述模糊核估计方法为以下任一:采用基于功率谱密度的模糊核估计方法、基于最大后验概率的模糊核估计方法,或者是基于神经网络的模糊核估计方法(但不限于此);
步骤S5的非盲去卷积采用的方法为:Richardson-Lucy算法、维纳滤波或者超拉普拉斯先验非盲去卷积算法(但不限于此)。
作为本发明的图像去运动模糊的方法的进一步改进:步骤S6将所有去模糊后的图像块
Figure BDA0002162611180000035
拼接在一起得到最终去模糊后的图像的操作为以下任一(但不限于此):
A、将
Figure BDA0002162611180000036
返回图像原处叠加取平均(可使用窗函数,例如矩形窗、高斯窗、Bartlett-Hann窗、Hamming窗等);
B、使用泊松融合图像重建方法。
作为本发明的图像去运动模糊的方法的进一步改进:对S1所得的一系列重叠图像块{Pi},步骤S2~S5可以在各图像块Pi上顺序串行执行但也可以是在多个图像块上并行执行。
本发明还同时提供了一种图像去运动模糊的装置:包括输入图像处理模块、参考图像块搜索模块、模糊核估计模块、模糊核选择模块、非盲去卷积模块、图像重建模块;
输入图像处理模块包括图像处理单元与图像块划分单元;所述图像处理单元用于对接收到的原始运动模糊图像进行读取待处理图像、识别图像格式并进行解压缩、计算图像空间距离、颜色、纹理、模糊特征的处理,并将处理所得的模糊图像和特征输入至图像块划分单元进行对模糊图像进行划分获取一系列重叠图像块{Pi}的处理;
参考图像块搜索模块包括图像块特征计算单元和参考图像块搜索单元,图像块划分单元处理所得的一系列重叠图像块{Pi}传输至图像块特征计算单元进行计算各图像块Pi的空间距离、颜色、纹理、模糊特征的处理,并将处理所得的特征输入至参考图像块搜索单元进行从模糊图像中搜索得到各模糊图像块Pi对应的一组参考图像块
Figure BDA0002162611180000041
的处理;
参考图像块搜索单元处理所得的各模糊图像块Pi对应的一组参考图像块
Figure BDA0002162611180000042
传输至模糊核估计模块,进行使用现有模糊核估计方法得到初步估计的模糊核
Figure BDA0002162611180000043
的处理;
模糊核估计模块处理所得的初步估计的模糊核
Figure BDA0002162611180000044
传输至模糊核选择模块,进行L0稀疏性模糊核质量度量标准f(k)的计算,并选择使得f(k)最大的局部最佳模糊核
Figure BDA0002162611180000045
L0稀疏性模糊核质量度量标准f(k)按照式(1)进行计算;
模糊核选择模块处理所得的各局部最佳模糊核
Figure BDA0002162611180000046
传输至非盲去卷积模块,进行使用各局部最佳模糊核
Figure BDA0002162611180000047
对各重叠图像块Pi进行非盲去卷积,得到各去模糊后的图像块
Figure BDA0002162611180000048
的处理,其中采用的非盲去卷积方法可以是:Richardson-Lucy算法、维纳滤波或者超拉普拉斯先验非盲去卷积算法(但不限于此);
非盲去卷积模块处理所得的各去模糊后的图像块
Figure BDA0002162611180000049
传输至图像重建模块,进行将所有去模糊后的图像块
Figure BDA00021626111800000410
拼接在一起的处理;最终得到最终去模糊后的图像。
综上所述,与现有技术相比,本发明具有以下有益效果:本发明采用基于一种L0稀疏性模糊核质量度量标准,能够较为有效地估计局部最佳模糊核,在处理图像中连续变化的非均匀运动模糊时,能尽可能地减少振铃效应并去除运动模糊。即,本发明在对图像去运动模糊时,能够有效地去除连续变化的非均匀运动模糊,并尽可能地减少振铃效应。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为本发明一种实施例的图像去运动模糊方法流程图;
图2为本发明一种实施例的图像去运动模糊装置的结构框图。
图3为实例1所述输入模糊图像y,包含由真实相机抖动导致的连续变化的非均匀运动模糊。
图4为实例1按照实施例2所述方法进行图像去运动模糊所得最终去模糊后的图像
Figure BDA0002162611180000051
图5为作为对比所得的图像。
具体实施方式
下面结合具体实施例对本发明进行进一步描述,但本发明的保护范围并不仅限于此:
首先,对本发明实施例所提供的图像去运动模糊方法进行一个简单介绍:先对输入模糊图像进行重叠图像块划分,再为各重叠图像块在模糊图像中选取一组参考图像块,然后对各重叠图像块对应的所有参考图像块使用现有模糊核估计方法得到一系列初步估计的模糊核,并使用一种L0稀疏性模糊核质量度量标准从中选择局部最佳模糊核,最后使用各局部最佳模糊核对其对应的重叠模糊图像块进行非盲去卷积,得到去各模糊后的图像块,并将各去模糊后的图像块拼接在一起得到最终去模糊后的图像。
实施例1、一种图像去运动模糊的装置,结构框图如图2所述,包括输入图像处理模块10、参考图像块搜索模块20、模糊核估计模块30、模糊核选择模块40、非盲去卷积模块50、图像重建模块60。
输入图像处理模块10用于对原始运动模糊图像进行处理,获取一系列重叠图像块{Pi};具体而言,输入图像处理模块10包括图像处理单元12与图像块划分单元14;图像处理单元12用于读取待处理图像、识别图像格式并进行解压缩、计算图像空间距离、颜色、纹理、模糊特征的处理,从而获得模糊图像和特征;并将所得的模糊图像和特征输入至图像块划分单元14,图像块划分单元14利用特征对输入模糊图像进行划分,获取一系列重叠图像块{Pi}。
参考图像块搜索模块20,连接至输入图像处理模块10,用于对各重叠图像块Pi在输入模糊图像中选取一组参考图像块
Figure BDA0002162611180000061
具体而言,参考图像块搜索模块20包括图像块特征计算单元22和参考图像块搜索单元24,图像块划分单元14处理所得的一系列重叠图像块{Pi}传输至图像块特征计算单元22进行计算各图像块Pi的空间距离、颜色、纹理、模糊特征的处理,并将处理所得的特征输入至参考图像块搜索单元24进行从模糊图像中搜索得到各重叠模糊图像块Pi对应的一组参考图像块
Figure BDA0002162611180000062
的处理;即,图像块特征计算单元22,用于计算图像块的位置、颜色、纹理、模糊特征;参考图像块搜索单元24连接至图像块特征计算单元22,用于根据图像块的位置、颜色、纹理、模糊特征,按照一定规则搜索得到当前模糊图像块Pi的一组参考图像块
Figure BDA0002162611180000063
模糊核估计模块30,连接至输入图像处理模块20,用于对各重叠图像块Pi的参考图像块
Figure BDA0002162611180000064
使用模糊核估计方法进行模糊核估计,得到一系列初步模糊核估计
Figure BDA0002162611180000065
具体而言:参考图像块搜索单元24处理所得的各重叠模糊图像块Pi对应的一组参考图像块数据
Figure BDA0002162611180000066
传输至模糊核估计模块30进行使用现有模糊核估计方法得到初步估计的模糊核
Figure BDA0002162611180000067
的处理。
模糊核选择模块40,连接至模糊核估计模块30,用于对估计得到的模糊核
Figure BDA0002162611180000068
进行L0稀疏性模糊核质量度量标准f(k)的计算,并选择使得f(k)最大的局部最佳模糊核
Figure BDA0002162611180000069
非盲去卷积模块50,连接至模糊核选择模块40,用于使用各局部最佳模糊核
Figure BDA00021626111800000610
对各重叠图像块Pi进行非盲去卷积,得到各去模糊后的图像块
Figure BDA00021626111800000611
图像重建模块60,连接至非盲去卷积模块50,用于将所有去模糊后的图像块
Figure BDA00021626111800000612
拼接在一起得到最终去模糊后的图像。
实施例2、一种利用实施例1所述装置进行的图像去运动模糊的方法(基于L0稀疏性模糊核质量度量标准的图像去运动模糊方法),如图1所示,该图像去运动模糊方法主要包括以下步骤(S1-S6),
步骤S1,利用空间距离、颜色、纹理、模糊等特征,将原始模糊图像按一定的重叠率划分为一系列重叠图像块{Pi}={P1,P2,..,PN},其中N为图像块的数目。所述重叠图像块{Pi}={P1,P2,..,PN}的划分规则可以按图像块的空间位置、颜色、纹理、模糊特征制定;具体可以是:使得在同一图像块中的像素点的空间距离、颜色、纹理、模糊特征的相似度高,而不在同一图像块中的像素点的空间距离、颜色、纹理、模糊特征的相似度低,其中相似度的度量可以采用SAD或者MSE(但不限于此);所述图像块的形状可以是规则矩形、圆形、三角形,甚至不规则,图像块的大小可以相同或者不相同,图像块的数目N可以是奇数也可以是偶数;按所述规则进行图像块的划分具体可以采用SLIC超像素分割算法,也可以采用等间隔规则矩形划分法(但不限于此);所述重叠率为:相邻图像块之间重叠部分的面积占图像块面积的比例;所述重叠率可以设置为0~1之间的任意值,一般为0.5。
步骤S2,对步骤S1中划分得到的每一个图像块Pi,从原始模糊图像中,利用空间距离、颜色、纹理、模糊等特征,按一定的规则选取一组参考图像块
Figure BDA0002162611180000071
其中mi为Pi对应的参考图像块的数目。所述参考图像块
Figure BDA0002162611180000072
可以由若干大小相同或不相同的规则矩形图像块组成,也可以由若干圆形、三角形甚至不规则图像块组成;参考图像块的数目mi可以是奇数也可以是偶数,不同图像块Pi对应的参考图像块的数目mi可以相同也可以不同;所述参考图像块
Figure BDA0002162611180000073
的选取规则可以是:使得所述参考图像块
Figure BDA0002162611180000074
的空间距离、颜色、纹理、模糊特征与所述当前图像块Pi的空间距离、颜色、纹理、模糊特征的相似度高,其中相似度的度量可以采用SAD或者MSE(但不限于此);按所述规则进行参考图像块的选取具体可以采用全搜索块匹配法,也可以采用选取距离当前图像块最近的若干图像块的方法(但不限于此)。
步骤S3,对步骤S2中选取的Pi的每一个参考图像块
Figure BDA0002162611180000075
使用现有模糊核估计方法得到初步估计的模糊核
Figure BDA0002162611180000076
所述现有模糊核估计方法可以采用基于功率谱密度的模糊核估计方法,也可以是基于最大后验概率的模糊核估计方法,或者是基于神经网络的模糊核估计方法(但不限于此)。
步骤S4,对步骤S3中得到的模糊核
Figure BDA0002162611180000077
计算一种L0稀疏性模糊核质量度量
Figure BDA0002162611180000078
并从中找到最大的L0稀疏性模糊核质量度量
Figure BDA0002162611180000079
所对应的局部最佳模糊核
Figure BDA00021626111800000710
其中,所述的一种L0稀疏性模糊核质量度量f(k)具体可以由如式(1)计算得到:
Figure BDA0002162611180000082
其中
Figure BDA0002162611180000081
由式(2)计算得到:
Figure BDA0002162611180000083
式(1)-(2)中,L(·)表示模糊惩罚函数,可以采用一次范数||·||或二次范数||·||2等惩罚函数,但不限于此;k表示模糊核;*表示卷积运算符;y和x分别表示当前模糊图像块Pi和其对应的隐含清晰图像块的梯度映射图,其中梯度映射图可以由图像在任意一个或多个方向上的离散偏导数构成;
Figure BDA0002162611180000084
Figure BDA0002162611180000085
的L0范数,定义为:
Figure BDA0002162611180000086
其中,m,n分别表示图像像素横坐标索引和图像像素纵坐标索引;||x||0为x的L0范数,定义为||x||0=#{(m,n):|xm,n|>0},其中,m,n分别表示图像像素横坐标索引和图像像素纵坐标索引;ρk(k)是模糊核正则化项,一般取ρk(k)=||k||2,但不限于此;λx和λk为取值适当的平衡因子,一般大于0(即,为0~正无穷大)。
步骤S5,使用步骤S4中得到的
Figure BDA0002162611180000087
对与之对应的模糊图像块Pi进行非盲去卷积,得到去模糊后的图像块
Figure BDA0002162611180000088
其中非盲去卷积采用的方法可以是:Richardson-Lucy算法、维纳滤波或者超拉普拉斯先验非盲去卷积算法(但不限于此)。
步骤S6,将所有按上述步骤得到的去模糊后的图像块
Figure BDA0002162611180000089
拼接在一起得到最终去模糊后的图像。其中,将
Figure BDA00021626111800000810
拼接在一起得到最终去模糊后的图像的操作具体可采用以下任一(但不限于此):
A、将
Figure BDA00021626111800000811
返回图像原处叠加取平均,其中,在叠加取平均时可以使用窗函数,例如矩形窗、高斯窗、Bartlett-Hann窗、Hamming窗;
B、使用泊松融合图像重建方法。
在本实施例中,对划分得到的一系列重叠图像块{Pi},步骤S2~S5可以在各图像块Pi上顺序串行执行但也可以是在多个图像块上并行执行。
真实相机抖动导致的模糊图像中包含连续变化的非均匀运动模糊,直接对模糊图像使用现有模糊核估计方法进行模糊核估计,然后使用估计得到的模糊核对模糊图像进行非盲去卷积得到的去模糊后的图像会产生振铃效应;原因在于,模糊图像中的非均匀运动模糊无法用估计得到的单一模糊核进行描述,图像中不同局部区域对应不同的模糊核(即,非均匀运动模糊);而本实施例采用一种L0稀疏性模糊核质量度量标准,能够较为有效地估计图像不同区域的局部最佳模糊核,故,本实施例在对图像去运动模糊时,能够有效地去除连续变化的非均匀运动模糊,并尽可能地减少振铃效应。
实例1、本实例按照实施例2所述方法进行图像去运动模糊,步骤如下:
输入:模糊图像y。
输出:最终去模糊后的图像
Figure BDA0002162611180000091
参数设置:重叠图像块大小W×W,领域范围±N,步长S;其中W=64像素,N=64像
素,S=32像素。
步骤S1:
将模糊图像y按0.5的重叠率划分为n个W×W大小的重叠图像块{yl}。
步骤S2:
对所有的l=1,2,..,n,令
Figure BDA0002162611180000092
为yl的一组参考图像块;其中,
Figure BDA0002162611180000093
为yl的±N邻域内所有W×W、2W×2W、4W×4W大小的图像块集合(步长为S)。
步骤S3:
对所有的l=1,2,…,n,以及步骤S2所得的yl的一组参考图像块
Figure BDA0002162611180000094
中的所有参考图像块,使用现有基于最大后验概率的模糊核估计方法得到初步估计的模糊核
Figure BDA0002162611180000095
步骤S4:对{yl}中所有的图像块,从步骤S3所得的一系列初步估计的模糊核
Figure BDA0002162611180000096
中选择yl的局部最佳模糊核
Figure BDA0002162611180000097
(其中f(k)如实施例2中式(1)所定义)。
步骤S5:对{yl}中所有的图像块,使用步骤S4所得的局部最佳模糊核
Figure BDA0002162611180000098
和超拉普拉斯先验非盲去卷积算法对yl进行非盲去卷积,得到去模糊后的图像块
Figure BDA0002162611180000099
步骤S6:将所有步骤S5所得去模糊后的图像块
Figure BDA00021626111800000910
返回图像原处叠加取平均得到最终去模糊后的图像
Figure BDA00021626111800000911
图3为本实例所述输入模糊图像y,包含由真实相机抖动导致的连续变化的非均匀运动模糊。
图4为本实例按照实施例2所述方法进行图像去运动模糊所得最终去模糊后的图像
Figure BDA0002162611180000101
作为对比,图5为对本实例所述输入模糊图像y使用现有基于最大后验概率的模糊核估计方法得到模糊核,然后使用所得模糊核和超拉普拉斯先验非盲去卷积算法进行非盲去卷积所得的去模糊后的图像。
如图3所示,本实例1所述输入模糊图像y中包含连续变化的非均匀运动模糊;图5所示图像产生了明显的振铃效应;原因在于,模糊图像中的非均匀运动模糊无法用估计得到的单一模糊核进行描述,图像中不同局部区域对应不同的模糊核(即,非均匀运动模糊).而本实例1按照实施例2所述方法,采用一种L0稀疏性模糊核质量度量标准,能够较为有效地估计图像不同区域的局部最佳模糊核,故,如图4所示,本实例按照实施例2所述方法在对所述输入模糊图像y去运动模糊时,能够有效地去除连续变化的非均匀运动模糊,并尽可能地减少振铃效应。
最后,还需要注意的是,以上列举的仅是本发明的若干个具体实施例。显然,本发明不限于以上实施例,还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形,均应认为是本发明的保护范围。

Claims (8)

1.图像去运动模糊的方法,其特征在于包括以下步骤:
S1:利用空间距离、颜色、纹理、模糊特征,将原始模糊图像按0~1的重叠率划分为一系列重叠图像块,{Pi}={P1,P2,...,PN},其中N为图像块的数目;
S2:对步骤S1中的每一个图像块Pi,从原始模糊图像中,利用空间距离、颜色、纹理、模糊特征,按规则选取一组参考图像块
Figure FDA0003407872220000011
其中mi为Pi对应的参考图像块的数目;
S3:对步骤S2中得到的Pi的每一个参考图像块
Figure FDA0003407872220000012
使用模糊核估计方法得到初步估计的模糊核
Figure FDA0003407872220000013
S4:对步骤S3中得到的模糊核
Figure FDA0003407872220000014
计算L0稀疏性模糊核质量度量
Figure FDA0003407872220000015
并从中找到最大的L0稀疏性模糊核质量度量
Figure FDA0003407872220000016
所对应的局部最佳模糊核
Figure FDA0003407872220000017
L0稀疏性模糊核质量度量f(k)由式(1)计算得到:
Figure FDA0003407872220000018
Figure FDA0003407872220000019
由式(2)计算得到:
Figure FDA00034078722200000110
式(1)~(2)中,L(·)表示模糊惩罚函数,k表示模糊核;*表示卷积运算符;y和x分别表示当前模糊图像块Pi和其对应的隐含清晰图像块的梯度映射图,所述梯度映射图由图像在任意一个或多个方向上的离散偏导数构成;||x||0为x的L0范数,定义为||x||0=#{(m,n):|xm,n|>0},其中,m,n分别表示图像像素横坐标索引和图像像素纵坐标索引;ρk(k)是模糊核正则化项,λx和λk为平衡因子,取值≥0;
S5:使用步骤S4中得到的
Figure FDA00034078722200000111
对步骤S1所得的各模糊图像块Pi进行非盲去卷积,得到去模糊后的图像块
Figure FDA00034078722200000112
S6:将所有去模糊后的图像块
Figure FDA00034078722200000113
拼接在一起得到最终去模糊后的图像。
2.根据权利要求1所述的图像去运动模糊的方法,其特征在于:
模糊惩罚函数为以下惩罚函数:一次范数||·||或二次范数||·||2
取ρk(k)=||k||2
3.根据权利要求1或2所述的图像去运动模糊的方法,其特征在于:
步骤S1所述重叠图像块{Pi}可按等间隔或非等间隔划分得到;图像块形状是规则或不规则;图像块的大小为相同或者不相同;图像块的数目N是奇数或偶数。
4.根据权利要求1或2所述的图像去运动模糊的方法,其特征在于:
步骤S2对各图像块Pi选取的一组参考图像块
Figure FDA0003407872220000021
由若干大小相同或不相同的规则矩形图像块组成,或者由若干圆形、三角形或不规则图像块组成;参考图像块的数目mi是奇数或偶数;不同图像块Pi对应的参考图像块的数目mi为相同或不同。
5.根据权利要求1或2所述的图像去运动模糊的方法,其特征在于:
步骤S3所述模糊核估计方法为以下任一:采用基于功率谱密度的模糊核估计方法、基于最大后验概率的模糊核估计方法,或者是基于神经网络的模糊核估计方法;
步骤S5的非盲去卷积采用的方法为:Richardson-Lucy算法、维纳滤波或者超拉普拉斯先验非盲去卷积算法。
6.根据权利要求1或2所述的图像去运动模糊的方法,其特征在于:步骤S6将所有去模糊后的图像块
Figure FDA0003407872220000022
并接在一起得到最终去模糊后的图像的操作为以下任一:
A、将
Figure FDA0003407872220000023
返回图像原处叠加取平均;
B、使用泊松融合图像重建方法。
7.根据权利要求1或2所述的图像去运动模糊的方法,其特征在于:对S1所得的一系列重叠图像块{Pi},步骤S2~S5可以在各图像块Pi上顺序串行执行但也可以是在多个图像块上并行执行。
8.一种图像去运动模糊的装置,其特征在于:包括输入图像处理模块(10)、参考图像块搜索模块(20)、模糊核估计模块(30)、模糊核选择模块(40)、非盲去卷积模块(50)、图像重建模块(60);
所述输入图像处理模块(10)包括图像处理单元(12)与图像块划分单元(14);所述图像处理单元(12)用于对接收到的原始运动模糊图像进行读取待处理图像、识别图像格式并进行解压缩、计算图像空间距离、颜色、纹理、模糊特征的处理,并将处理所得的模糊图像和特征输入至图像块划分单元(14)进行对模糊图像进行划分获取一系列重叠图像块{Pi}的处理;
参考图像块搜索模块(20)包括图像块特征计算单元(22)和参考图像块搜索单元(24),图像块划分单元(14)处理所得的一系列重叠图像块{Pi}传输至图像块特征计算单元(22)进行计算各图像块Pi的空间距离、颜色、纹理、模糊特征的处理,并将处理所得的特征输入至参考图像块搜索单元(24)进行从模糊图像中搜索得到各模糊图像块Pi对应的一组参考图像块
Figure FDA0003407872220000024
的处理;
参考图像块搜索单元(24)处理所得的各模糊图像块Pi对应的一组参考图像块
Figure FDA0003407872220000025
传输至模糊核估计模块(30)进行使用现有模糊核估计方法得到初步估计的模糊核
Figure FDA0003407872220000026
的处理;
模糊核估计模块(30)处理所得的初步估计的模糊核
Figure FDA0003407872220000027
传输至模糊核选择模块(40)进行L0稀疏性模糊核质量度量标准f(k)的计算,并选择使得f(k)最大的局部最佳模糊核
Figure FDA0003407872220000031
L0稀疏性模糊核质量度量标准f(k)按照式(1)进行计算;
L0稀疏性模糊核质量度量f(k)由式(1)计算得到:
Figure FDA0003407872220000032
Figure FDA0003407872220000033
由式(2)计算得到:
Figure FDA0003407872220000034
式(1)~(2)中,L(·)表示模糊惩罚函数,k表示模糊核;*表示卷积运算符;y和x分别表示当前模糊图像块Pi和其对应的隐含清晰图像块的梯度映射图,所述梯度映射图由图像在任意一个或多个方向上的离散偏导数构成;||x||0为x的L0范数,定义为||x||0=#{(m,n):|xm,n|>0},其中,m,n分别表示图像像素横坐标索引和图像像素纵坐标索引;ρk(k)是模糊核正则化项,λx和λk为平衡因子,取值≥0;
模糊核选择模块(40)处理所得的各局部最佳模糊核
Figure FDA0003407872220000035
传输至非盲去卷积模块(50)进行使用各局部最佳模糊核
Figure FDA0003407872220000036
对各重叠图像块pi进行非盲去卷积,得到各去模糊后的图像块
Figure FDA0003407872220000037
的处理;
非盲去卷积模块(50)处理所得的各去模糊后的图像块
Figure FDA0003407872220000038
传输至图像重建模块(60)进行将所有去模糊后的图像块
Figure FDA0003407872220000039
拼接在一起的处理;最终得到最终去模糊后的图像。
CN201910737137.8A 2019-08-11 2019-08-11 图像去运动模糊的方法和装置 Active CN110490822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910737137.8A CN110490822B (zh) 2019-08-11 2019-08-11 图像去运动模糊的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910737137.8A CN110490822B (zh) 2019-08-11 2019-08-11 图像去运动模糊的方法和装置

Publications (2)

Publication Number Publication Date
CN110490822A CN110490822A (zh) 2019-11-22
CN110490822B true CN110490822B (zh) 2022-02-15

Family

ID=68550537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910737137.8A Active CN110490822B (zh) 2019-08-11 2019-08-11 图像去运动模糊的方法和装置

Country Status (1)

Country Link
CN (1) CN110490822B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11354784B2 (en) * 2020-03-02 2022-06-07 GM Global Technology Operations LLC Systems and methods for training a non-blind image deblurring module
CN112767277B (zh) * 2021-01-27 2022-06-07 同济大学 一种基于参考图像的深度特征排序去模糊方法
CN116228607B (zh) * 2023-05-09 2023-09-29 荣耀终端有限公司 图像处理方法和电子设备
CN117422627B (zh) * 2023-12-18 2024-02-20 卓世科技(海南)有限公司 基于图像处理的ai仿真教学方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800054A (zh) * 2012-06-28 2012-11-28 西安电子科技大学 基于稀疏性度量的图像盲去模糊方法
CN103544681A (zh) * 2013-08-27 2014-01-29 清华大学 非均一运动模糊图像的恢复方法
CN105184744A (zh) * 2015-08-24 2015-12-23 西安电子科技大学 基于标准化稀疏度量图像块先验的模糊核估计方法
CN105957024A (zh) * 2016-04-20 2016-09-21 西安电子科技大学 基于图像块先验与稀疏范数的盲去模糊方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800054A (zh) * 2012-06-28 2012-11-28 西安电子科技大学 基于稀疏性度量的图像盲去模糊方法
CN103544681A (zh) * 2013-08-27 2014-01-29 清华大学 非均一运动模糊图像的恢复方法
CN105184744A (zh) * 2015-08-24 2015-12-23 西安电子科技大学 基于标准化稀疏度量图像块先验的模糊核估计方法
CN105957024A (zh) * 2016-04-20 2016-09-21 西安电子科技大学 基于图像块先验与稀疏范数的盲去模糊方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Blind Image Deblurring using the L0 Gradient Prior;Gabriele Facciolo 等;《Image Rrocessing On Line》;20190312;第132-142页 *
图像的运动模糊复原算法研究;寇杰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160815;正文第3-4章 *

Also Published As

Publication number Publication date
CN110490822A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110490822B (zh) 图像去运动模糊的方法和装置
CN110782399B (zh) 一种基于多任务cnn的图像去模糊方法
Wang et al. Real-esrgan: Training real-world blind super-resolution with pure synthetic data
Zhang et al. Deep image deblurring: A survey
CN111275626B (zh) 一种基于模糊度的视频去模糊方法、装置及设备
Yue et al. Supervised raw video denoising with a benchmark dataset on dynamic scenes
Hyun Kim et al. Online video deblurring via dynamic temporal blending network
US9998666B2 (en) Systems and methods for burst image deblurring
CN110163237B (zh) 模型训练及图像处理方法、装置、介质、电子设备
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
Ji et al. Robust image deblurring with an inaccurate blur kernel
Dewil et al. Self-supervised training for blind multi-frame video denoising
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
CN111325692B (zh) 画质增强方法、装置、电子设备和可读存储介质
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
CN112598587A (zh) 一种联合人脸去口罩和超分辨率的图像处理系统和方法
Xue Blind image deblurring: a review
Ohkoshi et al. Blind image restoration based on total variation regularization and shock filter for blurred images
CN110852947B (zh) 一种基于边缘锐化的红外图像超分辨方法
Oh et al. Fpanet: Frequency-based video demoireing using frame-level post alignment
Komatsu et al. Effectiveness of u-net in denoising rgb images
Pérez-Pellitero et al. Perceptual video super resolution with enhanced temporal consistency
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备
Yang et al. The spatial correlation problem of noise in imaging deblurring and its solution
Buades et al. Flow-based video super-resolution with spatio-temporal patch similarity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant