CN111047544A - 一种基于非线性退化模型的饱和图像去模糊方法 - Google Patents

一种基于非线性退化模型的饱和图像去模糊方法 Download PDF

Info

Publication number
CN111047544A
CN111047544A CN202010018340.2A CN202010018340A CN111047544A CN 111047544 A CN111047544 A CN 111047544A CN 202010018340 A CN202010018340 A CN 202010018340A CN 111047544 A CN111047544 A CN 111047544A
Authority
CN
China
Prior art keywords
image
saturated
nonlinear
degradation model
degradation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010018340.2A
Other languages
English (en)
Other versions
CN111047544B (zh
Inventor
颜露新
陈妹雅
��昌毅
曹舒宁
廖文山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202010018340.2A priority Critical patent/CN111047544B/zh
Publication of CN111047544A publication Critical patent/CN111047544A/zh
Application granted granted Critical
Publication of CN111047544B publication Critical patent/CN111047544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理技术领域，公开了一种基于非线性退化模型的饱和图像去模糊方法及系统，输入饱和模糊图像或一般模糊图像以及模糊图像对应的模糊核；根据饱和图像退化机理，构建非线性模糊图像退化模型；根据得到的退化建模和最大后验概率框架，构建饱和图像非线性反卷积框架；确定先验项，采用总变分先验，构建非线性能量泛函模型；通过交换方向乘子算法即ADMM算法或分裂Bregman算法求解上述的非线性能量泛函，获得待复原清晰图像x。本发明建模了饱和的非线性退化特性，去除饱和图像中的模糊，有效抑制了由于饱和像素存在误差而引起的振铃现象，复原得到了高质量的清晰图像。

Description

一种基于非线性退化模型的饱和图像去模糊方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于非线性退化模型的饱和图像去模糊方法。
背景技术
目前，最接近的现有技术：在暗光线条件下拍摄的图像通常受到饱和模糊退化。成像设备，比如智能手机，所能感知的亮度是有动态范围的，而当场景中的亮度范围超出该动态范围的时候，图像发生饱和，超出的范围的亮度截断到动态范围的最大值，如动态范围为[0，255]时，当亮度超出该范围时，对应的像素灰度值截断为255。
传统的去模糊算法建立在线性退化模型的基础上，如下式所示：
y＝Kx+n
其中，y为输入的模糊图像，K代表模糊核的矩阵形式，x为清晰图像，n为随机噪声。传统去模糊方法大都基于上述线性退化模型，忽略了饱和像素存在时的非线性截断过程。因此，传统方法在处理饱和模糊图像复原时，在饱和像素位置产生误差，并在迭代复原过程中向周围扩散。在图像中这种误差以振铃的形式出现，沿着饱和区域向外扩散，严重影响了图像复原的质量。
考虑饱和图像中存在的截断过程，饱和模糊图像的退化过程，可以建模为：
y＝c(Kx)+n
其中，c为截断函数，当动态范围为[0，255]，可表示为：
c(x)＝max(x,255)
尽管上述退化模型准确的建模了饱和退化过程，其难点在于c为非线性不可导函数，难以建模到优化框架中进行求解。
目前已有相关工作针对饱和图像去模糊展开，主要代表算法可分为两类：第一类是在迭代过程中使用启发式的检测步骤来剔除饱和像素的影响，第二类是将检测步骤融合在反卷积模型中，从而舍弃额外的检测步骤。第一类方法显式地检测饱和像素，并用于构造复原模型中的权重项，从而降低饱和像素对复原结果的影响。但是启发式步骤可能存在较大的检测误差，从而影响反卷积的效果，因此第一类方法在饱和像素检测不够准确时，复原效果可能较差。而第二类选取显著边缘，并构造权重矩阵来剔除饱和对模糊核估计的影响，在最终的非盲目反卷积中使用包含具有饱和像素检测功能的非线性数据项的模型来抑制饱和对复原结果的影响。
综上所述，现有技术存在的问题是：现有第一类饱和图像去模糊算法基于饱和检测方法，对检测的准确性依赖性强，累积的检测误差将直接影响图像复原效果。第二类方法在非线性函数选取不正确或者函数的参数选取不准时，复原效果较差。并且目前的方法均未能准确建模饱和模糊图像退化模型。
解决上述技术问题的难度：为解决上述问题，本发明根据准确建模的饱和模糊图像退化模型实现饱和模糊图像复原问题。解决上述技术问题的难点在于构建的饱和模糊图像退化模型中存在的非线性截断算子是一个不平滑不可断的函数，难以建模到现有的最大后验概率框架MAP中实现优化复原。本发明提出了一个近似截断算子的平滑二阶可导函数代替截断算子，但是近似的截断算子依然为非线性操作算子，给优化过程带来了挑战。
解决上述技术问题的意义：本发明从退化模型出发，提出了准确的饱和模糊图像退化模型，并能统一一般的非饱和图像退化情况。根据非线性退化模型，构建了统一的非线性反卷积框架，能够整合包括总变分、拉普拉斯、帧波、深度学习等先验，具有灵活性。从机理出发建模复原，和传统的基于线性退化模型的方法相比，有效的阻断了饱和像素产生的误差，抑制了图像中的振铃现象；和现有的饱和图像去模糊方法相比，避免了冗余的检测步骤，并且准确地建模了退化过程，提升了图像复原效果并且具备更强兼容性和灵活性。
发明内容
针对现有技术存在的问题，本发明提供了一种基于非线性退化模型的饱和图像去模糊方法。
本发明是这样实现的，一种基于非线性退化模型的饱和图像去模糊方法，所述基于非线性退化模型的饱和图像去模糊方法包括：
步骤一，输入饱和模糊图像或一般模糊图像以及模糊图像对应的模糊核；
步骤二，根据饱和图像退化机理，构建非线性模糊图像退化模型：
y＝s(Kx)+n (1)
其中，y为输入的模糊图像，K代表模糊核的矩阵形式，x为清晰图像，n为随机噪声，s为非线性操作函数如下定义所示：
Figure BDA0002359777620000031
其中，a为参数，控制非线性操作函数和饱和截断函数的近似程度；
步骤三，根据得到的退化建模和最大后验概率框架，构建饱和图像非线性反卷积框架如下：
Figure BDA0002359777620000032
其中，λ为正则化参数，E(x)表示关于待复原清晰图像x的能量泛函；
Figure BDA0002359777620000033
为根据退化模型公式即式(1)建立的数据项，ρ(x)为先验项；
步骤四，确定先验项，采用总变分先验，构建能量泛函模型为：
Figure BDA0002359777620000034
其中，Dh为横向梯度算子，Dv为纵向梯度算子，
Figure BDA0002359777620000035
为总变分先验项；
步骤五，在已知模糊核求解K条件下，通过交换方向乘子算法即ADMM算法或分裂Bregman算法求解步骤四中的最小化非线性能量泛函，获得待复原清晰图像x。
进一步，步骤五中，所述通过交换方向乘子算法求解最小化非线性能量泛函方法包括：
第一，引入辅助变量dh＝Dhx、dv＝Dvx和r＝Kx，得到能量泛函为：
Figure BDA0002359777620000041
其中，ur和uh、uv是缩放后的对偶变量，βr和βd是惩罚项权重；
第二，将引入辅助变量后的能量泛函模型分解为三个子问题，采用交替优化策略，对三个子问题对应的目标函数式进行迭代求解，确定变量更新式，得到最小化能量泛函后的变量x为最终复原的清晰图像。
进一步，所述三个子问题分别为：
第一个子问题：固定变量x和r，求解与dh和dv；
第二个子问题：固定变量dh、dv和x，求解r；
第三个子问题：固定变量dh、dv和r，求解x。
进一步，所述三个子问题的对应迭代目标函数分别为：
(1)固定变量x和r，省略与dh和dv不相关的部分，得到第一个迭代优化子问题：
Figure BDA0002359777620000042
(2)固定变量dh、dv和x，省略与r不相关的部分，得到第二个迭代优化子问题：
Figure BDA0002359777620000051
(3)固定变量dh、dv和r，省略与x不相关的部分，得到第三个迭代优化子问题：
Figure BDA0002359777620000052
进一步，所述对三个子问题的对应迭代目标函数式进行求解包括：
1)对关于dh和dv的子问题式(6)采用二维软阈值公式求解，求解如下式所示，
Figure BDA0002359777620000053
其中，Τ＝max(Z-λx/βd,0)/Z，
Figure BDA0002359777620000054
为梯度的模值，i为向量元素索引；
2)对关于r的子问题式(7)采用牛顿法迭代求解，迭代更新公式如下式所示：
Figure BDA0002359777620000055
其中，上标z+1和z指示牛顿迭代的迭代次数，L′(r)和L″(r)分别为式(7)的能量泛函的一阶导数和二阶导数，二者的计算式如下所示：
Figure BDA0002359777620000056
L″(r)＝s″(r)(s(r)-y)+s′(r)2+βh, (12)
其中，s′(x)＝1/(1+ea(x-1))和s″(x)＝-aea(x-1)/(1+ea(x-1))2分别为如式(2)所示的近似函数s(x)的一阶导数和二阶导数；
3)对关于x的子问题式(8)能量函数求导，得到如下式所示的线性等式方程：
Figure BDA0002359777620000061
确定循环边界条件，使用快速傅立叶变换求解得到其闭式解如下所示：
Figure BDA0002359777620000062
其中，F(·)和F-1(·)分别表示快速傅立叶变换和快速傅立叶逆变换。
进一步，所述变量更新式为：
变量uh、uv和ur的更新式如下所示，
Figure BDA0002359777620000063
Figure BDA0002359777620000064
本发明的另一目的在于提供一种实施所述基于非线性退化模型的饱和图像去模糊方法的基于非线性退化模型的饱和图像去模糊系统，其特征在于，所述基于非线性退化模型的饱和图像去模糊系统包括：
非线性模糊图像退化模型构建模块，用于输入饱和模糊图像或一般模糊图像以及模糊图像对应的模糊核；并根据饱和图像退化机理，构建非线性模糊图像退化模型；
饱和图像非线性反卷积框架构建模块，用于根据得到的退化模型和最大后验概率框架，构建饱和图像非线性反卷积框架；
能量泛函模型构建模块，用于确定先验项，采用总变分先验，构建能量泛函模型；
待复原清晰图像获取模块，用于在已知模糊核求解K条件下，通过交换方向乘子算法即ADMM算法或分裂Bregman算法求解步骤四中的最小化非线性能量泛函，获得待复原清晰图像。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的基于非线性退化模型的饱和图像去模糊方法。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的基于非线性退化模型的饱和图像去模糊方法。
本发明的另一目的在于提供一种执行所述基于非线性退化模型的饱和图像去模糊方法的成像设备。
综上所述，本发明的优点及积极效果为：本发明利用饱和的非线性退化特性建模，去除饱和图像中的模糊，复原得到高质量的清晰图像。
本发明提出了一种基于非线性退化模型的饱和图像去模糊方法，能够准确的建模饱和图像在模糊退化过程中的非线性截断过程，并将模糊非线性退化建模到优化框架中，通过求解优化过程实现从饱和模糊图像中复原出清晰图像的逆过程。本发明显示的建模了饱和模糊退化过程，从而更加逼近真实场景中的退化问题。本发明将这种退化过程采用近似截断函数的连续可微函数代替，并添加常用且简单的总变分先验，实现在最大后验概率框架(MAP)中优化求解清晰图像的目的，从而抑制了由于饱和像素在反卷积过程中带来的误差，抑制饱和图像复原中存在的振铃问题，更好的保存了图像细节，不仅在运动饱和模糊图像上取得最优的效果，同时能够复原出清晰的图像，还能够泛化到实测图像中去。
本发明不仅适用于饱和模糊图像，同样可以处理一般的非饱和图像，在处理非饱和图像时复原结果等同于基于线性退化模型的反卷积方法。
本发明解决了由于退化建模不准确导致的饱和图像去模糊中出现的振铃现象。基于非线性退化模型的饱和图像去模糊方法具体包括：构建非线性模糊退化模型；根据非线性退化模型构建饱和图像去模糊框架，确定先验项，构建非线性能量泛函；采用交换方向最小化算法求解上述能量泛函，迭代求解重建清晰图像。本发明对饱和图像退化的性质进行分析，提出了统一的非线性复原框架，可复原运动模糊核和高斯模糊，并泛化到实测数据。复原的图像抑制了振铃，并更好地保存图像细节，均取得了先进的复原效果。
附图说明
图1是本发明实施例提供的基于非线性退化模型的饱和图像去模糊方法流程图。
图2是本发明实施例提供的基于非线性退化模型的饱和图像去模糊方法原理图。
图3是本发明实施例提供的线性模型处理饱和图像产生振铃现象的示意图。
图4是本发明实施例提供的仿真运动模糊图像可视化复原对比结果示意图。
图5是本发明实施例提供的仿真运动模糊图像定量化复原对比结果示意图。
图6是本发明实施例提供的仿真高斯模糊图像可视化复原对比结果示意图。
图7是本发明实施例提供的实测饱和模糊图像复原对比结果示意图。
图8是本发明实施例提供的优化框架结合帧波先验的对比结果示意图。
图9是本发明实施例提供的自然(非饱和)图像去模糊对比结果示意图。
图10是本发明实施例提供的本发明实施例提供的基于非线性退化模型的饱和图像去模糊系统示意图。
图中：1、非线性模糊图像退化模型构建模块；2、饱和图像非线性反卷积框架构建模块；3、能量泛函模型构建模块；4、待复原清晰图像获取模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于非线性退化模型的饱和图像去模糊方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于非线性退化模型的饱和图像去模糊方法包括：
S101，输入饱和模糊图像或一般模糊图像以及模糊图像对应的模糊核。
S102，根据饱和图像退化机理，构建非线性模糊图像退化模型：
y＝s(Kx)+n (1)
其中，y为输入的模糊图像，K代表模糊核的矩阵形式，x为清晰图像，n为随机噪声，s为非线性操作函数如下定义所示：
Figure BDA0002359777620000091
其中，a为参数，控制着近似程度。
S103，根据得到的退化建模和最大后验概率框架，构建饱和图像非线性反卷积框架如下：
Figure BDA0002359777620000092
其中，λ为正则化参数，E(x)表示关于待复原清晰图像x的能量泛函；
Figure BDA0002359777620000093
为根据退化模型公式即式(1)建立的数据项，ρ(x)为先验项。
S104，确定先验项，采用总变分先验，构建能量泛函模型为：
Figure BDA0002359777620000094
其中，Dh为横向梯度算子，Dv为纵向梯度算子，
Figure BDA0002359777620000095
为总变分先验项。
S105，在已知模糊核求解K条件下，通过交换方向乘子算法即ADMM算法或分裂Bregman算法求解步骤四中的最小化非线性能量泛函，获得待复原清晰图像x。
图2是本发明实施例提供的基于非线性退化模型的饱和图像去模糊方法原理图。
步骤S105中，本发明实施例提供的通过交换方向乘子算法求解最小化非线性能量泛函方法包括：
第一，引入辅助变量dh＝Dhx、dv＝Dvx和r＝Kx，得到能量泛函为：
Figure BDA0002359777620000101
其中，ur和uh、uv是缩放后的对偶变量，βr和βd是惩罚项权重。
第二，将引入辅助变量后的能量泛函模型分解为三个子问题，采用交替优化策略，对三个子问题对应的目标函数式进行迭代求解，确定变量更新式，得到最小化能量泛函后的变量x为最终复原的清晰图像。
本发明实施例提供的三个子问题分别为：
第一个子问题：固定变量x和r，求解与dh和dv。
第二个子问题：固定变量dh、dv和x，求解r。
第三个子问题：固定变量dh、dv和r，求解x。
本发明实施例提供的三个子问题的对应迭代目标函数分别为：
(1)固定变量x和r，省略与dh和dv不相关的部分，得到第一个迭代优化子问题：
Figure BDA0002359777620000102
(2)固定变量dh、dv和x，省略与r不相关的部分，得到第二个迭代优化子问题：
Figure BDA0002359777620000103
(3)固定变量dh、dv和r，省略与x不相关的部分，得到第三个迭代优化子问题：
Figure BDA0002359777620000111
本发明实施例提供的对三个子问题的对应迭代目标函数式进行求解包括：
1)对关于dh和dv的子问题式(6)采用二维软阈值公式求解，求解如下式所示，
Figure BDA0002359777620000112
其中，Τ＝max(Z-λx/βd,0)/Z，
Figure BDA0002359777620000113
为梯度的模值，i为向量元素索引。
2)对关于r的子问题式(7)采用牛顿法迭代求解，迭代更新公式如下式所示：
Figure BDA0002359777620000114
其中，上标z+1和z指示牛顿迭代的迭代次数，L′(r)和L″(r)分别为式(7)的能量泛函的一阶导数和二阶导数，二者的计算式如下所示：
Figure BDA0002359777620000115
L″(r)＝s″(r)(s(r)-y)+s′(r)2+βh, (12)
其中，s′(x)＝1/(1+ea(x-1))和s″(x)＝-aea(x-1)/(1+ea(x-1))2分别为如式(2)所示的近似函数s(x)的一阶导数和二阶导数。
3)对关于x的子问题式(8)能量函数求导，得到如下式所示的线性等式方程：
Figure BDA0002359777620000116
确定循环边界条件，使用快速傅立叶变换求解得到其闭式解如下所示：
Figure BDA0002359777620000117
其中，F(·)和F-1(·)分别表示快速傅立叶变换和快速傅立叶逆变换。
本发明实施例提供的变量更新式为：
变量uh、uv和ur的更新式如下所示，
Figure BDA0002359777620000121
Figure BDA0002359777620000122
下面结合具体实施例对本发明的技术方案做进一步说明。
实施例1：
步骤1：输入待复原的饱和模糊图像和对应的模糊核
步骤2：构建饱和非线性模糊图像退化模型
y＝s(Kx)+n (1)
其中，y为输入的模糊图像，K代表模糊核的矩阵形式，x为清晰图像，n为随机噪声，s为非线性操作函数如下定义所示：
Figure BDA0002359777620000123
其中，a为参数，控制着近似程度，本发明中a取值为50
步骤3：根据非线性模糊图像的退化模型，构建饱和图像非线性反卷积框架
Figure BDA0002359777620000124
其中，λ为正则化参数，E(x)表示关于待复原清晰图像x的能量泛函。
Figure BDA0002359777620000125
为根据退化模型公式(式1)建立的数据项，ρ(x)为先验项。在非线性反卷积框架下，先验项可为任一常用的先验项，包括总变分先验，帧波先验，拉普拉斯先验，超拉普拉斯先验和深度学习先验等。
步骤4：确定先验项，并构建相关能量泛函
确定先验项，可采用简单的总变分先验，构建能量泛函模型为
Figure BDA0002359777620000131
其中，Dh为横向梯度算子，Dv为纵向梯度算子，
Figure BDA0002359777620000132
为总变分先验项。
步骤5：采用交换方向乘子算法(ADMM算法)求解能量泛函；
引入辅助变量dh＝Dhx、dv＝Dvx和r＝Kx，得到能量泛函为
Figure BDA0002359777620000133
其中，ur和uh、uv是缩放后的对偶变量，βr和βd是惩罚项权重。
将步骤中引入辅助变量后的能量泛函模型分解为三个子问题交替迭代求解，得到最小化能量泛函后的变量x为最终复原的清晰图像，所述的三个子问题分别为：
第一个子问题：固定变量x和r，求解与dh和dv；
第二个子问题：固定变量dh、dv和x，求解r；
第三个子问题：固定变量dh、dv和r，求解x。
步骤6：初始化参数，分别对三个子问题进行求解；
(1)固定变量x和r，省略与dh和dv不相关的部分，得到第一个迭代优化子问题
Figure BDA0002359777620000134
(2)固定变量dh、dv和x，省略与r不相关的部分，得到第一个迭代优化子问题
Figure BDA0002359777620000135
(3)固定变量dh、dv和r，省略与x不相关的部分，得到第一个迭代优化子问题
Figure BDA0002359777620000141
采用交替优化策略，对(式6)(式7)和(式8)进行求解。
(4)关于dh和dv的子问题(式6)采用用二维软阈值公式求解，其求解如下式所示，
Figure BDA0002359777620000142
其中，Τ＝max(Z-λx/βd,0)/Z，
Figure BDA0002359777620000143
为梯度的模值，i为向量元素索引。
(5)关于r的子问题(式7)采用牛顿法迭代求解，迭代更新公式如下式所示，
Figure BDA0002359777620000144
其中，上标z+1和z指示牛顿迭代的迭代次数，L′(r)和L″(r)分别为(式7)的能量泛函的一阶导数和二阶导数，二者的计算式如下所示，
Figure BDA0002359777620000146
L″(r)＝s″(r)(s(r)-y)+s′(r)2+βh, (12)
其中，s′(x)＝1/(1+ea(x-1))和s″(x)＝-aea(x-1)/(1+ea(x-1))2分别为如(式2)所示的近似函数s(x)的一阶导数和二阶导数。
(6)关于x的子问题(式8)是二次形式，对其能量函数求导，得到如下式所示的线性等式方程
Figure BDA0002359777620000145
假设循环边界条件，使用快速傅立叶变换(Fast Fourier Transform，FFT)求解得到其闭式解如下所示，
Figure BDA0002359777620000151
其中，F(·)和F-1(·)分别表示快速傅立叶变换和快速傅立叶逆变换。
(7)变量uh、uv和ur的更新式如下所示，
Figure BDA0002359777620000152
Figure BDA0002359777620000153
步骤7：输出迭代优化后的变量x即为复原后的清晰图像。
完整的算法流程可以表示为下表所示流程，其中t为迭代参数，Thr为最大迭代次数，relchg为x相对变化值，Tol为变化允许范围。
Figure BDA0002359777620000154
下面结合实验对本发明作进一步说明。
1)仿真数据构造过程
仿真退化数据根据非线性退化模型构造。构造过程由五个步骤组成：第一步，通过除以灰度范围的上限值(如8位图像的上限值255)，将图像灰度收缩到范围[0,1]上；第二步，通过乘以尺度因子τ将图像灰度范围拓展到更高的动态范围(如[0,1.6])，得到原始清晰图像(ground truth)；第三步，使用Matlab函数“imfilter”生成模糊图像，函数选项为“circular”和“conv”；第四步，使用截断函数c(·)将模糊图像截断到动态范围[0,1]上；第五步，图像中加入某个等级的高斯噪声，得到饱和模糊图像(blurry image)。
2)数据集
选择十个低亮度条件下拍摄的图像，构造十幅原始清晰图像；选择十个模糊核，其中8个为运动模糊(模糊核1至8)，选自于文献[1]的数据集，剩余2个为高斯模糊(模糊核9和模糊核10)，使用Matlab函数“fspecial”生成，模糊核尺寸为21*21，标准差分别为1.6和2.4。使用十幅原始清晰图像和十个模糊核，选定尺度因子τ＝1.6，固定高斯噪声等级(用高斯噪声的标准差作为其噪声等级)为0.01,构造包含一百幅模糊图像的数据集1；选择一幅原始清晰图像和一个运动模糊核，固定高斯噪声等级为0.01，设定六个尺度因子τ＝{1,1.2,1.4,1.6,1.8,2}，构造包含六幅模糊图像的数据集2；选择一幅原始清晰图像和一个运动模糊核，设定尺度因子τ＝1.6，设定五个噪声等级{0.001,0.005,0.01,0.02,0.05}，构造包含五幅图像的数据集3。
3)对比算法
选择四个非盲目反卷积算法进行对比实验，对比算法包括：基于线性退化模型的算法参考文献[2]、参考文献[3]FIDHL和总变分先验的线性反卷积方法LDTV、对饱和像素进行显式处理的算法参考文献[4]Whyte和参考文献[5]Cho。RL算法的迭代次数设置为50，其它算法的参数根据对应文章中的参数设置说明进行设置。
4)算法实现细节
ADMM迭代的最大次数门限设为103，相对误差变化门限设为10-4。内部牛顿迭代的最大次数门限设为2，相对误差变化门限设为10-4。模型参数λ根据噪声的等级、模糊核的类型以及尺度因子的不同而设置不同，一般规律是：噪声等级越高，λ值越大；运动模糊核对应的λ值较大，高斯模糊核对应的λ值较小，且高斯模糊核的标准差越大，λ的值越小；尺度因子的值越大，λ的值越大。参数λ的具体设置为：数据集1，对于所有运动模糊核退化图像，λ＝1.4e-4，对于高斯模糊核9，λ＝9e-5，对于高斯模糊核10，λ＝4e-5；数据集2，对应于尺寸因子τ＝{1,1.2,1.4,1.6,1.8,2}，λ＝{7e-5,8e-5,1e-4,1.4e-4,1.4e-4,2e-4}；数据集3，对应于噪声等级{0.001,0.005,0.01,0.02,0.05}，λ＝{2e-5,6e-5,1.4e-4,3.9e-4,1.4e-3}；实测图像，λ＝1e-3。
5)性能评价
采用峰值信噪比(PSNR)和结构相似度(SSIM)来评价算法复原结果的质量。
图3为基于线性退化模型的饱和图像反卷积结果。第一行为复原结果，第二行为局部放大图，第三行为局部放大图的剖线图。基于线性退化模型的反卷积方法均出现了严重的振铃现象，而本发明提出的基于非线性退化模型的饱和图像去模糊方法则很好地抑制了振铃，复原清晰图像。
图4为运动模糊图像复原结果。本发明的方法相对于线性退化方法抑制了振铃，相对现有的饱和图像去模糊方法，更好的保存了图像细节。
图5为基于运动模糊的数据集1的定量化结果。从PSNR和SSIM两个指标表明，本发明提出的方法再运动饱和模糊图像上取得最优的效果。
图6为高斯模糊图像复原结果。本发明提出的方法同样能够抑制振铃，保存图像细节。
表1为高斯模糊图像平均复原指标，为基于高斯模糊的数据集2上的定量化结果数据。从PSNR和SSIM两个指标表明，本发明提出的方法在高斯饱和模糊图像上取得最优的效果。
表1高斯模糊图像平均复原指标
Figure BDA0002359777620000171
Figure BDA0002359777620000181
图7为实测饱和模糊图像复原的对比结果。复原结果表明，本发明的方法能够泛化到实测图像中去。
图8为本发明框架结合帧波先验后的复原对比结果。实验结果表明，本发明的重点在于提出一个统一的饱和图像去模糊框架，可以开放性的结合其他先验，包括总变分先验、帧波先验、拉普拉斯先验、超拉普拉斯先验和深度学习先验等。
图9为本发明在自然图像上去模糊的对比实验结果。本发明提出的方法不仅适用于饱和模糊图像，同样可以处理一般的非饱和图像，在处理非饱和图像时复原结果等同于基于线性退化模型的反卷积方法。
下面结合基于非线性退化模型的饱和图像去模糊系统对本发明作进一步描述。
如图10所示，本发明实施例提供的所述基于非线性退化模型的饱和图像去模糊系统包括：
非线性模糊图像退化模型构建模块1，用于输入饱和模糊图像或一般模糊图像以及模糊图像对应的模糊核；并根据饱和图像退化机理，构建非线性模糊图像退化模型。
饱和图像非线性反卷积框架构建模块2，用于根据得到的退化模型和最大后验概率框架，构建饱和图像非线性反卷积框架。
能量泛函模型构建模块3，用于确定先验项，采用总变分先验，构建能量泛函模型。
待复原清晰图像获取模块4，用于在已知模糊核K条件下，通过交换方向乘子算法即ADMM算法或分裂Bregman算法求解步骤四中的最小化非线性能量泛函，获得待复原清晰图像。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
参考文献
[1]Levin A,Weiss Y,Durand F,et al.Understanding and evaluating blinddeconvolution algorithms[C].Computer Vision and Pattern Recognition,2009CVPR2009IEEE Conference on.2009:1964-1971.
[2]Richardson W H.Bayesian-Based Iterative Method of ImageRestoration[J].Joptsocam,1972,62(1):55-59.
[3]Krishnan D,Fergus R.Fast image deconvolution using hyper-Laplacianpriors.In NIPS[J].Advances in Neural Information Processing Systems,2010:1033-1041.
[4]Whyte O,Sivic J,Zisserman A.Deblurring Shaken and PartiallySaturated Images[J].International Journal of Computer Vision,2014,110(2):185-201.
[5]Cho S,Wang J,Lee S.Handling outliers in non-blind imagedeconvolution[C].IEEE International Conference on Computer Vision.2011:495-502.
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于非线性退化模型的饱和图像去模糊方法，其特征在于，所述基于非线性退化模型的饱和图像去模糊方法包括：
步骤一，输入饱和模糊图像或一般模糊图像以及模糊图像对应的模糊核；
步骤二，根据饱和图像退化机理，构建非线性饱和模糊图像退化模型：
y＝s(Kx)+n (1)；
其中，y为输入的模糊图像，K代表模糊核的矩阵形式，x为清晰图像，n为随机噪声，s为非线性操作函数如下定义所示：
Figure FDA0002359777610000011
其中，a为参数，控制非线性操作函数和饱和截断函数的近似程度；
步骤三，根据得到的退化模型和最大后验概率框架，构建饱和图像非线性反卷积框架如下：
Figure FDA0002359777610000012
其中，λ为正则化参数，E(x)表示关于待复原清晰图像x的能量泛函；
Figure FDA0002359777610000013
为根据退化模型公式即式(1)建立的数据项，ρ(x)为先验项；
步骤四，确定先验项，采用总变分先验，构建能量泛函模型为：
Figure FDA0002359777610000014
其中，Dh为横向梯度算子，Dv为纵向梯度算子，
Figure FDA0002359777610000015
为总变分先验项；
步骤五，在已知模糊核矩阵K条件下，通过交换方向乘子算法即ADMM算法或分裂Bregman算法求解步骤四中的最小化非线性能量泛函，获得待复原清晰图像x。
2.如权利要求1所述基于非线性退化模型的饱和图像去模糊方法，其特征在于，步骤五中，所述通过交换方向乘子算法求解最小化非线性能量泛函方法包括：
第一步，引入辅助变量dh＝Dhx、dv＝Dvx和r＝Kx，得到能量泛函为：
Figure FDA0002359777610000021
其中，ur和uh、uv是缩放后的对偶变量，βr和βd是惩罚项权重；
第二步，将引入辅助变量后的能量泛函模型分解为三个子问题，采用交替优化策略，对三个子问题对应的目标函数式进行迭代求解，确定变量更新式，得到最小化能量泛函后的变量x为最终复原的清晰图像。
3.如权利要求2所述基于非线性退化模型的饱和图像去模糊方法，其特征在于，第二步中，所述三个子问题分别为：
第一个子问题：固定变量x和r，求解与dh和dv；
第二个子问题：固定变量dh、dv和x，求解r；
第三个子问题：固定变量dh、dv和r，求解x。
4.如权利要求2所述基于非线性退化模型的饱和图像去模糊方法，其特征在于，第二步中，所述三个子问题的对应迭代目标函数分别为：
(1)固定变量x和r，省略与dh和dv不相关的部分，得到第一个迭代优化子问题：
Figure FDA0002359777610000022
(2)固定变量dh、dv和x，省略与r不相关的部分，得到第二个迭代优化子问题：
Figure FDA0002359777610000023
(3)固定变量dh、dv和r，省略与x不相关的部分，得到第三个迭代优化子问题：
Figure FDA0002359777610000031
5.如权利要求2所述基于非线性退化模型的饱和图像去模糊方法，其特征在于，第二步中，所述对三个子问题的对应迭代目标函数式进行求解包括：
1)对关于dh和dv的子问题式(6)采用二维软阈值公式求解，求解如下式所示:
Figure FDA0002359777610000032
其中，Τ＝max(Z-λx/βd,0)/Z，
Figure FDA0002359777610000033
为梯度的模值，i为向量元素索引；
2)对关于r的子问题式(7)采用牛顿法迭代求解，迭代更新公式如下式所示：
Figure FDA0002359777610000034
其中，上标z+1和z指示牛顿迭代的迭代次数，L′(r)和L″(r)分别为式(7)的能量泛函的一阶导数和二阶导数，二者的计算式如下所示：
Figure FDA0002359777610000035
L″(r)＝s″(r)(s(r)-y)+s′(r)2+βh (12)；
其中，s′(x)＝1/(1+ea(x-1))和s″(x)＝-aea(x-1)/(1+ea(x-1))2分别为如式(2)所示的近似函数s(x)的一阶导数和二阶导数；
3)对关于x的子问题式(8)能量函数求导，得到如下式所示的线性等式方程：
Figure FDA0002359777610000036
确定循环边界条件，使用快速傅立叶变换求解得到闭式解如下所示：
Figure FDA0002359777610000041
其中，F(·)和F-1(·)分别表示快速傅立叶变换和快速傅立叶逆变换；
求解时，变量uh、uv和ur的更新式如下：
Figure FDA0002359777610000042
Figure FDA0002359777610000043
6.一种实施权利要求1～5任意一项所述基于非线性退化模型的饱和图像去模糊方法的基于非线性退化模型的饱和图像去模糊系统，其特征在于，所述基于非线性退化模型的饱和图像去模糊系统包括：
非线性模糊图像退化模型构建模块，用于输入饱和模糊图像或模糊图像以及模糊图像对应的模糊核；并根据饱和图像退化机理，构建非线性模糊图像退化模型；
饱和图像非线性反卷积框架构建模块，用于根据得到的退化模型和最大后验概率框架，构建饱和图像非线性反卷积框架；
能量泛函模型构建模块，用于确定先验项，采用总变分先验，构建能量泛函模型；
待复原清晰图像获取模块，用于在已知模糊核K条件下，通过交换方向乘子算法即ADMM算法或分裂Bregman算法求解步骤四中的最小化非线性能量泛函，获得待复原清晰图像。
7.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1～5所述的基于非线性退化模型的饱和图像去模糊方法。
8.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-5任意一项所述的基于非线性退化模型的饱和图像去模糊方法。
9.一种执行权利要求1-5任意一项所述基于非线性退化模型的饱和图像去模糊方法的成像设备。
CN202010018340.2A 2020-01-08 2020-01-08 一种基于非线性退化模型的饱和图像去模糊方法 Active CN111047544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010018340.2A CN111047544B (zh) 2020-01-08 2020-01-08 一种基于非线性退化模型的饱和图像去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010018340.2A CN111047544B (zh) 2020-01-08 2020-01-08 一种基于非线性退化模型的饱和图像去模糊方法

Publications (2)

Publication Number Publication Date
CN111047544A true CN111047544A (zh) 2020-04-21
CN111047544B CN111047544B (zh) 2022-09-23

Family

ID=70244082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010018340.2A Active CN111047544B (zh) 2020-01-08 2020-01-08 一种基于非线性退化模型的饱和图像去模糊方法

Country Status (1)

Country Link
CN (1) CN111047544B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034407A (zh) * 2021-04-27 2021-06-25 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113177890A (zh) * 2021-04-27 2021-07-27 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113177889A (zh) * 2021-04-27 2021-07-27 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113222865A (zh) * 2021-06-11 2021-08-06 重庆师范大学 退化文本图像恢复方法
CN114049266A (zh) * 2021-10-25 2022-02-15 南京航空航天大学 一种基于混合深先验的rfid标签图像运动去模糊方法
CN117078538A (zh) * 2023-07-19 2023-11-17 华中科技大学 一种基于像素运动统计的远距大气湍流图像的校正方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208100A (zh) * 2011-05-31 2011-10-05 重庆大学 基于Split Bregman 迭代的全变差正则化图像盲复原方法
CN104537620A (zh) * 2014-12-30 2015-04-22 华中科技大学 一种方向自适应图像去模糊方法
CN106920220A (zh) * 2017-02-24 2017-07-04 西北工业大学 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法
CN107993208A (zh) * 2017-11-30 2018-05-04 天津师范大学 一种基于稀疏重叠组先验约束的非局部全变分图像复原方法
CN109658447A (zh) * 2018-11-06 2019-04-19 天津大学 基于边缘细节保持的夜间图像去雾方法
US20190139199A1 (en) * 2016-05-03 2019-05-09 Peking University Shenzhen Graduate School Image deblurring method based on light streak information in an image
CN110097521A (zh) * 2019-05-08 2019-08-06 华南理工大学 一种面向反光金属视觉检测的卷积神经网络图像复原方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208100A (zh) * 2011-05-31 2011-10-05 重庆大学 基于Split Bregman 迭代的全变差正则化图像盲复原方法
CN104537620A (zh) * 2014-12-30 2015-04-22 华中科技大学 一种方向自适应图像去模糊方法
US20190139199A1 (en) * 2016-05-03 2019-05-09 Peking University Shenzhen Graduate School Image deblurring method based on light streak information in an image
CN106920220A (zh) * 2017-02-24 2017-07-04 西北工业大学 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法
CN107993208A (zh) * 2017-11-30 2018-05-04 天津师范大学 一种基于稀疏重叠组先验约束的非局部全变分图像复原方法
CN109658447A (zh) * 2018-11-06 2019-04-19 天津大学 基于边缘细节保持的夜间图像去雾方法
CN110097521A (zh) * 2019-05-08 2019-08-06 华南理工大学 一种面向反光金属视觉检测的卷积神经网络图像复原方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YI CHANG等: "Weighted Low-rank Tensor Recovery for Hyperspectral Image Restoration", 《ARXIV》 *
王静: "基于正则变分模型的医学影像非线性复原方法", 《中国医学物理学杂志》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034407A (zh) * 2021-04-27 2021-06-25 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113177890A (zh) * 2021-04-27 2021-07-27 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113177889A (zh) * 2021-04-27 2021-07-27 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113177889B (zh) * 2021-04-27 2022-03-01 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113177890B (zh) * 2021-04-27 2023-04-18 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113222865A (zh) * 2021-06-11 2021-08-06 重庆师范大学 退化文本图像恢复方法
CN113222865B (zh) * 2021-06-11 2023-09-05 重庆师范大学 退化文本图像恢复方法
CN114049266A (zh) * 2021-10-25 2022-02-15 南京航空航天大学 一种基于混合深先验的rfid标签图像运动去模糊方法
CN117078538A (zh) * 2023-07-19 2023-11-17 华中科技大学 一种基于像素运动统计的远距大气湍流图像的校正方法
CN117078538B (zh) * 2023-07-19 2024-02-13 华中科技大学 一种基于像素运动统计的远距大气湍流图像的校正方法

Also Published As

Publication number Publication date
CN111047544B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN111047544B (zh) 一种基于非线性退化模型的饱和图像去模糊方法
Wen et al. A simple local minimal intensity prior and an improved algorithm for blind image deblurring
Noroozi et al. Motion deblurring in the wild
Chen et al. Blind image deblurring with local maximum gradient prior
KR101871098B1 (ko) 이미지 처리 방법 및 장치
US8380000B2 (en) Methods of deblurring image and recording mediums having the same recorded thereon
US9262815B2 (en) Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term
CN106709877B (zh) 一种基于多参数正则优化模型的图像去模糊方法
CN112215773B (zh) 基于视觉显著性的局部运动去模糊方法、装置及存储介质
CN107818554A (zh) 信息处理设备和信息处理方法
US20150254814A1 (en) Globally dominant point spread function estimation
CN112365514A (zh) 基于改进PSPNet的语义分割方法
Xu et al. Fast blind deconvolution using a deeper sparse patch-wise maximum gradient prior
Yun et al. Linearized proximal alternating minimization algorithm for motion deblurring by nonlocal regularization
US11741579B2 (en) Methods and systems for deblurring blurry images
CN113793285A (zh) 气动光学效应目标孪生图像的超快复原方法及系统
Gowthami et al. Conventional neural network for blind image blur correction using latent semantics.
Wang et al. Total generalized variation-based Retinex image decomposition
Rioux et al. The maximum entropy on the mean method for image deblurring
Chen et al. Deep Richardson–Lucy deconvolution for low-light image deblurring
Han et al. A nonblind deconvolution method by bias correction for inaccurate blur kernel estimation in image deblurring
Cao et al. Single image motion deblurring with reduced ringing effects using variational Bayesian estimation
Ma et al. Low-light image enhancement via implicit priors regularized illumination optimization
CN112801890A (zh) 一种视频处理方法、装置及设备
Chen et al. Hyper-Laplacian regularized non-local low-rank prior for blind image deblurring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant