发明内容
本发明旨在解决以上现有技术的问题。提出了一种准确地估计出运动模糊退化函数,进而复原出清晰锐化的高质量图像的运动模糊图像盲复原方法。本发明的技术方案如下:
一种结合L0范数和空间尺度信息的运动模糊图像盲复原方法,首先针对观察到的运动模糊图像建立图像金字塔;然后在图像金字塔的每个分辨率层迭代地执行以下三个步骤:
1)、运用一阶差分算子得到图像边缘的空间尺度信息,然后结合图像梯度的L0稀疏性约束,提出一种图像大尺度边缘的提取模型来对图像大尺度边缘进行提取;
2)、根据运动模糊退化函数的稀疏特性和平滑特性,提出一种结合高斯先验和L0稀疏约束的双重正则化约束项来对运动模糊退化函数的稀疏特性和平滑特性进行约束,并结合步骤(1)中提取的大尺度图像边缘,推导出运动模糊退化函数的估计模型来对运动模糊退化函数进行估计;
3)、结合步骤1)中提取的大尺度图像边缘和步骤2)中估计出的运动模糊退化函数,推导出图像复原的代价函数实现清晰锐化图像的复原;
4)、采用半二次性分裂的交互式最优化策略对步骤1)、步骤2)和步骤3)提出的模型进行最优化求解。
进一步的,步骤1)中运用一阶差分算子得到图像边缘的空间尺度信息,过程如下:
首先利用水平方向的一阶梯度算子
和垂直方向的一阶梯度算子
分别求取图像中每个像素点水平方向和垂直方向的一阶梯度:
和
然后得到图像边缘的空间尺度信息为:
其中u表示一幅图像,|·|表示取绝对值操作,(x,y)和(i,j)表示图像中像素点的坐标,N(i,j)表示以像素点(i,j)为中心的局部矩形图像块,
∑(·)为求和运算操作,ε为一个很小的正数,以防止分母等于0的情况产生,由公式(1)可知,在图像块N(i,j)中,宽度小于N(i,j)宽度的图像边缘即小尺度的图像边缘将会产生较大的R(i,j)值;相反,宽度大于N(i,j)宽度的图像边缘即大尺度的图像边缘将会产生较小的R(i,j)值。
进一步的,所述步骤1)结合图像梯度的L0稀疏性约束,提出图像大尺度边缘的提取模型包括:
其中u
S表示要提取的大尺度图像边缘,||·||
2表示L
2范数操作,P×Q表示图像u的大小,
为由所有像素点在水平方向上的一阶梯度运算结果所构成的与u
S相同大小的水平方向一阶梯度图像,
为由所有像素点在垂直方向上的一阶梯度运算结果所构成的与u
S相同大小的垂直方向一阶梯度图像,
计算满足条件
的像素点(i,j)的个数,λ
uS为正则化参数,由公式(1)和(2)可知,较小的R(i,j)值意味着像素点(i,j)属于大尺度的图像边缘,那么该像素点只会被施加一个较弱的正则化惩罚;相反较大的R(i,j)值意味着像素点(i,j)属于小尺度的图像边缘,而该像素点则会被施加上一个较强的正则化惩罚,因此,通过最小化公式(2),图像中的大尺度边缘就会被准确的提取出来。
进一步的,步骤2)结合高斯先验和L
0稀疏约束的双重正则化约束项来对运动模糊退化函数的稀疏特性和平滑特性进行约束的具体实现过程如下:利用一阶梯度算子
定义针对运动模糊退化函数k的结合了高斯先验和L
0稀疏约束的双重正则化约束项为:
其中
为高斯先验的正则化参数,
为L
0稀疏约束的正则化参数,结合步骤1)中提取的大尺度图像边缘,定义运动模糊退化函数k的估计模型为:
其中k表示要估计的运动模糊退化函数,*表示卷积操作,u
S表示步骤(1)中提取的大尺度图像边缘,f为观察到的模糊图像,
进一步的,所述步骤3)推导出图像复原的代价函数实现清晰锐化图像的复原的实现过程如下:
首先结合步骤(1)中所提取的大尺度图像边缘uS和一阶梯度算子▽,定义权重:
其中,Gσ表示均值为0,标准差为σ的二维高斯函数,σ定义为σ=1.5。
然后,根据步骤(2)中估计得到的运动模糊退化函数k,定义图像复原的代价函数为:
本发明的优点及有益效果如下:
本发明方法首先运用一阶差分算子得到图像边缘的空间尺度信息,然后结合图像梯度的L0稀疏性约束,提出了一种图像大尺度边缘的提取模型,实现图像大尺度边缘的准确提取;然后根据运动模糊退化函数的稀疏特性和平滑特性,提出了一种结合高斯先验和L0稀疏约束的双重正则化约束项来同时对运动模糊退化函数的稀疏特性和平滑特性进行较好的约束,并结合之前提取的大尺度图像边缘,推导出运动模糊退化函数的估计模型,实现运动模糊退化函数的准确估计;接下来,结合先前提取的大尺度图像边缘和估计的运动模糊退化函数,推导出图像复原的代价函数,实现清晰锐化图像的复原;最后采用了半二次性分裂的交互式最优化策略对提出的模型进行最优化求解。理论分析和仿真结果证实了本发明方法的有效性。
附图说明
图1是本发明提供优选实施例提出方法的原理框图
图2人造运动模糊图像‘Kids’的仿真实验结果:2(a)原始的清晰图像;2(b)运动模糊退化函数;2(c)由2(a)和2(b)得到的人造运动模糊图像;2(d)用本发明方法所估计的运动模糊退化函数;2(e)用本发明方法所复原的清晰锐化图像
图3人造运动模糊图像‘House’的仿真实验结果:3(a)原始的清晰图像;3(b)运动模糊退化函数;3(c)由3(a)和3(b)得到的人造运动模糊图像;3(d)用本发明方法所估计的运动模糊退化函数;3(e)用本发明方法所复原的清晰锐化图像
图4人造运动模糊图像‘Wall’的仿真实验结果:4(a)原始的清晰图像;4(b)运动模糊退化函数;4(c)由3(a)和3(b)得到的人造运动模糊图像;4(d)用本发明方法所估计的运动模糊退化函数;4(e)用本发明方法所复原的清晰锐化图像
图5人造运动模糊图像‘Face’的仿真实验结果:5(a)原始的清晰图像;5(b)运动模糊退化函数;5(c)由3(a)和3(b)得到的人造运动模糊图像;5(d)用本发明方法所估计的运动模糊退化函数;5(e)用本发明方法所复原的清晰锐化图像
图6真实运动模糊图像1的仿真实验结果:6(a)真实运动模糊图像1;6(b)用本发明方法所估计的运动模糊退化函数;6(c)用本发明方法所复原的清晰锐化图像
图7真实运动模糊图像2的仿真实验结果:7(a)真实运动模糊图像2;7(b)用本发明方法所估计的运动模糊退化函数;7(c)用本发明方法所复原的清晰锐化图像
图8真实运动模糊图像3的仿真实验结果:8(a)真实运动模糊图像3;8(b)用本发明方法所估计的运动模糊退化函数;8(c)用本发明方法所复原的清晰锐化图像
图9真实运动模糊图像4的仿真实验结果:9(a)真实运动模糊图像4;9(b)用本发明方法所估计的运动模糊退化函数;9(c)用本发明方法所复原的清晰锐化图像。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
本发明提出了一种结合L0范数和空间尺度信息的运动模糊图像盲复原方法。本发明采用了由粗到精的多尺度策略:首先针对观察到的运动模糊图像建立图像金字塔;然后在图像金字塔的每个分辨率层迭代地执行以下三个步骤:(1)运用一阶差分算子得到图像边缘的空间尺度信息,然后结合图像梯度的L0稀疏性约束,提出一种图像大尺度边缘的提取模型实现图像大尺度边缘的准确提取;(2)根据运动模糊退化函数的稀疏特性和平滑特性,提出一种结合高斯先验和L0稀疏约束的双重正则化约束项来同时对运动模糊退化函数的稀疏特性和平滑特性进行较好的约束,并结合步骤(1)中提取的大尺度图像边缘,推导出运动模糊退化函数的估计模型实现运动模糊退化函数的准确估计;(3)结合步骤(1)中提取的大尺度图像边缘和步骤(2)中估计出的运动模糊退化函数,推导出图像复原的代价函数实现清晰锐化图像的复原;(4)采用半二次性分裂的交互式最优化策略对步骤(1)、步骤(2)和步骤(3)提出的模型进行最优化求解。理论分析和仿真结果证实了该方法的有效性。
理论分析和仿真结果证实了本发明方法的有效性。
参见图1,本发明方法由以下三部分核心步骤构成:
一、运用一阶差分算子得到图像边缘的空间尺度信息,然后结合图像梯度的L0稀疏性约束,提出一种图像大尺度边缘的提取模型实现图像大尺度边缘的准确提取
1、图像边缘的空间尺度信息的获取
首先利用水平方向的一阶梯度算子
和垂直方向的一阶梯度算子
分别求取图像中每个像素点水平方向和垂直方向的一阶梯度:
和
然后得到图像边缘的空间尺度信息为:
其中u表示一幅图像,|·|表示取绝对值操作,(x,y)和(i,j)表示图像中像素点的坐标,N(i,j)表示以像素点(i,j)为中心的局部矩形图像块,
∑(·)为求和运算操作,ε为一个很小的正数,以防止分母等于0的情况产生。由公式(1)可知,在图像块N(i,j)中,宽度小于N(i,j)宽度的图像边缘(小尺度的图像边缘)将会产生较大的R(i,j)值(因为在R(i,j)的分母中,宽度小于N(i,j)宽度的图像边缘会产生成对的正负梯度值,这些成对的正负梯度值会在R(i,j)的分母中正负相消);相反,宽度大于N(i,j)宽度的图像边缘(大尺度的图像边缘)将会产生较小的R(i,j)值。
2、图像大尺度边缘的提取模型
结合公式(1)和图像梯度的L0稀疏性约束,提出图像大尺度边缘的提取模型,过程如下:
其中u
S表示要提取的大尺度图像边缘,||·||
2表示L
2范数操作,P×Q表示图像u的大小,
为由所有像素点在水平方向上的一阶梯度运算结果所构成的与u
S相同大小的水平方向一阶梯度图像,
为由所有像素点在垂直方向上的一阶梯度运算结果所构成的与u
S相同大小的垂直方向一阶梯度图像。
计算满足条件
的像素点(i,j)的个数,λ
uS为正则化参数。由公式(1)和(2)可知,较小的R(i,j)值意味着像素点(i,j)属于大尺度的图像边缘,那么该像素点只会被施加一个较弱的正则化惩罚(被较好的保护);相反较大的R(i,j)值意味着像素点(i,j)属于小尺度的图像边缘,而该像素点则会被施加上一个较强的正则化惩罚(被平滑掉)。因此,通过最小化公式(2),图像中的大尺度边缘就会被准确的提取出来。
二、根据运动模糊退化函数的稀疏特性和平滑特性,提出一种结合高斯先验和L0稀疏约束的双重正则化约束项来同时对运动模糊退化函数的稀疏特性和平滑特性进行较好的约束,并结合步骤一中提取的大尺度图像边缘,推导出运动模糊退化函数的估计模型实现运动模糊退化函数的准确估计
1、结合高斯先验和L0稀疏约束的双重正则化约束项
利用一阶梯度算子
定义针对运动模糊退化函数k的结合了高斯先验和L
0稀疏约束的双重正则化约束项为:
其中
为高斯先验的正则化参数,
为L
0稀疏约束的正则化参数。
2、运动模糊退化函数估计模型
结合公式(3)步骤一中提取的大尺度图像边缘,定义运动模糊退化函数k的估计模型为:
其中k表示要估计的运动模糊退化函数,*表示卷积操作。u
S表示步骤(1)中提取的大尺度图像边缘,f为观察到的模糊图像,
三、结合步骤一中提取的大尺度图像边缘和步骤二中估计出的运动模糊退化函数,推导出图像复原的代价函数,实现清晰锐化图像的复原
1、定义权重
结合步骤一中所提取的大尺度图像边缘u
S和一阶梯度算子
定义权重:
其中,Gσ表示均值为0,标准差为σ的二维高斯函数,σ定义为σ=1.5。
2、图像复原的代价函数
根据步骤二中估计得到的运动模糊退化函数k,定义图像复原的代价函数为:
四、采用半二次性分裂的交互式最优化策略对步骤一、步骤二和步骤三提出的模型进行最优化求解
1、步骤一:图像大尺度边缘的提取(公式(2)的求解)
采用半二次性分裂的交互式最优化策略对公式(2)进行最优化求解。首先,引入两个辅助变量
和
并增加两个额外的约束项
和
那么公式(2)可转变为:
其中,
为惩罚参数。然后利用快速的傅里叶变换和逐元素的收缩阈值方法可以求解出大尺度图像边缘u
S和辅助变量
和
其中,m表示迭代次数,F(·)和F
-1(·)分别表示快速傅里叶变换和快速的傅里叶逆变换,
表示F(·)的复共轭,
表示逐元素相乘操作,除法为逐元素相除。
2、步骤二:运动模糊退化函数的估计(公式(4)的求解)
对于运动模糊退化函数k的估计(公式(4)的求解),同样采用半二次性分裂的交互式最优化策略:引入一个辅助变量bk,并增加一个额外的约束项bk=k,那么公式(4)可转变为:
其中,βk为惩罚参数。然后利用快速的傅里叶变换和逐元素的收缩阈值方法可以得到估计的运动模糊退化函数k和辅助变量bk:
D表示运动模糊退化函数k的支持域,平方为逐元素求平方。
3、步骤三:运动模糊图像的清晰化复原(公式(6)的求解)
对于运动模糊图像的清晰化复原(公式(6)的求解),再次采用半二次性分裂的交互式最优化策略:引入两个辅助变量
和
并增加两个额外的约束项
和
那么公式(6)可转变为:
其中,β
u为惩罚参数。然后利用快速的傅里叶变换和收缩阈值方法获得复原图像u和辅助变量
和
现在,将结合L0范数和空间尺度信息的运动模糊图像盲复原方法总结如下:
表1
表2
人造模糊图像 |
SSIM |
‘Kids’ |
0.8831 |
‘House’ |
0.8737 |
‘Wall’ |
0.9173 |
‘Face’ |
0.8241 |
表3
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。