CN113436116A - 基于二分图中多标准光条纹选择的夜晚图像去模糊方法 - Google Patents

基于二分图中多标准光条纹选择的夜晚图像去模糊方法 Download PDF

Info

Publication number
CN113436116A
CN113436116A CN202110878913.3A CN202110878913A CN113436116A CN 113436116 A CN113436116 A CN 113436116A CN 202110878913 A CN202110878913 A CN 202110878913A CN 113436116 A CN113436116 A CN 113436116A
Authority
CN
China
Prior art keywords
image
fuzzy
light stripe
function
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110878913.3A
Other languages
English (en)
Inventor
刘迪
杨东
李哲毓
崔逸群
王文庆
刘超飞
毕玉冰
朱博迪
崔鑫
刘骁
肖力炀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Thermal Power Research Institute Co Ltd
Original Assignee
Xian Thermal Power Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Thermal Power Research Institute Co Ltd filed Critical Xian Thermal Power Research Institute Co Ltd
Priority to CN202110878913.3A priority Critical patent/CN113436116A/zh
Publication of CN113436116A publication Critical patent/CN113436116A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于二分图中多标准光条纹选择的夜晚图像去模糊方法，实现对夜晚模糊图像的去模糊。本方法将模糊图进行分割，利用最优光条纹选择标准分别在每一块分割后的模糊图选择出该图像块的最优光条纹，然后将每块图像块的最优光条纹进行对比，选择出相对于整幅模糊图的最优光条纹，利用最优光条纹的形状先验作为模糊核估计的约束项，以便得到更精确的模糊核；将M估计迭代框架引入图像去模糊中以抑制图像去模糊过程中那些不符合线性模糊模型的异常值造成振铃伪影和饱和光条纹对显著边缘提取过程的负面影响，得到更优的图像去模糊复原效果。以公共数据集和夜晚真实模糊图进行实例分析，验证了该发明的实用性和通用性。

Description

基于二分图中多标准光条纹选择的夜晚图像去模糊方法
技术领域
本发明属于图像复原技术领域，具体涉及一种M估计迭代框架下基于二分图中多标准光条纹选择的夜晚图像去模糊方法。
背景技术
随着科技的高速发展，社会中各行各业对于信息需求呈现爆炸式增长。自从成像技术出现后，人们通过摄像来储存信息变得越来越普遍，图像作为记录信息重要载体，具有直观有效、方便灵活的特点，在方方面面都有着广泛的应用。然而在图像的采集、处理、传输、保存的一系列过程中，图像的成像质量受到成像系统自身硬件与外界环境的干扰，导致图像模糊丢失细节信息，不能满足众多领域的需求，尤其是在夜晚低光照条件下由于长时间的曝光，相机传感器与拍摄场景存在相对位移，手持相机拍摄的图像往往都是模糊的，由于夜晚模糊图像中存在大量不符合线性模糊模型的异常值，导致常规图像去模糊方法对包含异常值的夜晚低光照图像的复原效果欠佳，往往复原出的潜像中包含较多的振铃伪影，影响图像的去模糊复原效果。不清晰的图像对社会生产生活均有负面影响，例如在刑事侦查中由于夜晚采集到的嫌疑人图像模糊无法及时确定嫌疑人身份，在交通管制中由于夜晚拍摄的肇事逃逸车辆车牌模糊无法快速进行追捕，油田勘探、煤矿勘探等场景中由于光线不足导致成像不清晰进而影响勘探进度等。现有针对常规图像的去模糊技术不能够很好的对夜晚模糊图像进行复原，迫切需要开展面向夜晚图像的去模糊技术研究与应用。
发明内容
为了克服上述现有技术存在的问题，本发明的目的在于提供一种M估计迭代框架下基于二分图中多标准光条纹选择的夜晚图像去模糊方法，本方法将模糊图进行分割，利用最优光条纹选择标准分别在每一块分割后的模糊图选择出该图像块的最优光条纹，然后将每块图像块的最优光条纹进行对比，选择出相对于整幅模糊图的最优光条纹，利用最优光条纹的形状先验作为模糊核估计的约束项，以便得到更精确的模糊核；将M估计迭代框架引入图像去模糊中以抑制图像去模糊过程中那些不符合线性模糊模型的异常值造成振铃伪影和饱和光条纹对显著边缘提取过程的负面影响，得到更优的图像去模糊复原效果。
为了达到上述目的，本发明采用如下技术方案：
基于二分图中多标准光条纹选择的夜晚图像去模糊方法，包括如下步骤：
步骤一，二分图中多标准最优光条纹选择
将夜晚模糊图进行分割，分别在每块分割后的模糊图中进行最优光条纹选择，最后将每块模糊图中选择出的最优光条纹进行比较，并确定整张模糊图中的最优光条纹，以此来减少光条纹选择的时间花销；具体包括如下步骤：
步骤1，将夜晚模糊图进行分割
将一个x×y大小的模糊图像分割成两部分，但考虑到分割线上可能会存在被分割的光条纹，考虑到被分割的光条纹也有可能为最优光条纹，以分割线为中轴线，在中轴线的左右各截取55×y/2大小的图像块组成一个110×y/2大小的竖长条模糊图像块，因此将原始模糊图像分割为了三部分；中轴线左右各自截取55像素长度是因为公共数据集和夜晚真实模糊图中模糊核的尺寸均在25×25到55×55之间，故以分割线为中轴线截取到的110×y/2大小的竖长条模糊图像块能够包含所有可能被分割线切割的光条纹，避免分割线上的光条纹被遗漏或者由于被分割导致选优时发生误判；
步骤2，多标准条件下的光条纹选择
设计了一套对非饱和光条纹和饱和光条纹均具有鲁棒性最优光条纹选择标准，以便充分利用模糊图中存在的光条纹先验信息，而不再局限于只利用饱和光条纹；最优光条纹选择标准如下：
(1)光条纹的像素应该具有较高的强度，统计待去模糊图像的像素强度范围，认定像素强度范围的前10％为较高的像素强度；
(2)光条纹可以不饱和，但与相邻区域应该有像素强度对比；
(3)光条纹应该与相邻区域间有明显的边缘；
(4)光条纹应该位于所选择图像块的中心位置；
(5)光条纹应该是纤细的，即具有稀疏的特点；
(6)每一个候选图像块中有且仅有一个光条纹；
(7)候选图像块中不应该有显著的图像结构；
(8)最优光条纹应该具有最高的SSIM值，分别计算某候选光条纹与其他光条纹之间SSIM值的和，SSIM值的和最大的候选光条纹为最优光条纹；
步骤3，利用步骤2中的8条最优光条纹选择标准对步骤1中分割后的图像块分别进行最优光条纹选择，将各自图像块中的最优光条纹进行对比，选择出整幅模糊图的最优光条纹；
步骤二，M估计迭代框架下的夜晚图像去模糊
利用步骤一中得到的最优光条纹的形状先验作为模糊核估计的约束项，使用迭代估计法对清晰潜像和模糊核迭代求解，具体包括如下步骤：
步骤1，M估计迭代框架
M估计是一种基于鲁棒统计原理的稳健估计，M估计的密度函数是一条围绕零的抛物线，在给定的水平|x|>t上线性增长，M估计试图同时获得最小二乘估计和鲁棒绝对偏差估计两者中的最优，有助于限制异常值的影响；
M估计的密度函数如公式(1)所示：
Figure BDA0003191301430000041
其中t是正调谐阈值，函数ρ(·)是一个非对称正定函数，在零点有唯一的极小值，并且它的增长速度比二次函数慢；
影响函数ψ＝dρ(x)/dx描述了总体估计对具有残差x的敏感度；对于鲁棒估计，任何单个数据点的影响不会引入任何显著误差，这个影响函数是一个混合l1和l2正则化的最小化问题，影响函数Ψ以不同的方式惩罚小残差和高残差，使得M估计对异常值不那么敏感；
M估计的影响函数如公式(2)所示：
Figure BDA0003191301430000042
利用M估计，在调谐常数t＝1.345σ时，标准正态分布的渐近效率为95％，其中σ是误差的估计标准差；
通用线性模糊模型的数学描述如公式(3)所示：
b＝p*k+n (3)
其中b表示卷积后的模糊图，是直接用眼睛观察到的模糊图像，p表示需要被恢复的清晰图像即潜像，k表示模糊核函数，也被称为点扩散函数PSF(Point SpreadFunction)，n表示随机加性噪声，*表示卷积运算符；
根据公式(3)定义一个残差向量N，数学表达式如公式(4)所示：
N＝p*k-b (4)
将光条纹信息与l2正则化先验信息相结合来进行核估计，并使用M估计作为数据保真项，从而目标函数的数学描述如公式(5)所示：
Ep,k＝ρ(N)+ηRp(p)+βRk(k) (5)
其中Rp(p)和Rk(k)是分别为潜像和模糊核的先验，η,β是对应的权重，此处利用超拉普拉斯项来约束潜像，数学描述如公式(6)所示：
Figure BDA0003191301430000051
其中
Figure BDA0003191301430000052
为潜像p的梯度；
同时，将核形状和l2正则化相结合来对模糊核进行约束，数学表达式如公式(7)所示：
Figure BDA0003191301430000053
其中，符号
Figure BDA0003191301430000056
表示哈达玛积，k0是二维二进制掩模矩阵，利用掩模矩阵限制模糊核的形状，如果属于光条纹，则元素为0，否则为1；
夜晚图像去模糊问题是一个不适定问题，为了解决该问题使用迭代估计法优化目标函数Ep和Ek，Ep和Ek的数学表达如式(8)和式(9)所示：
Figure BDA0003191301430000054
Figure BDA0003191301430000055
其中ρ为M估计的密度函数，β和η均为系数；
对于目标函数(8)和目标函数(9)的寻优过程即为对潜像和模糊核进行估计的过程，通过公式(1)中知道保真项ρ(x)是一个混合的l1和l2正则化的最小化问题，用加权最小二乘估计器代替ρ(x)，而不是直接优化基于M估计的目标函数，定义权重函数ω(x)如公式(10)所示：
Figure BDA0003191301430000061
利用权重函数给不同的点分配不同的权重，为了防止异常值的影响，通过将较小的权重ω(xi)分配给较大的残差，饱和光条纹的残差较大，则饱和光条纹对应的权重系数就会比较小,这样就降低饱和光条纹对反卷积过程的造成负面影响，消除振铃伪影现象；
步骤2，基于饱和光条纹处理的显著边缘提取
饱和的光条纹总是干扰边缘选择的准确性，因为饱和光条纹自身就有非常强的边界，容易造成错误的选择，可靠的边缘应该只包含场景中对象的显著边缘；当目标的尺度小于模糊核的尺度时，边缘信息违背了核估计，而有效的显著边缘能够避开增量核，获得更准确的模糊核和更优的图像去模糊效果；因此，从潜像梯度▽p中去除微小边缘，保留显著边缘▽S进行核估计；在大量实验的基础上选择95％作为阈值，提取95％的最大梯度值作为显著边缘；
步骤3，利用最优光条纹的形状先验估计模糊核
使用步骤一中挑选出的相对于整幅图的最优光条纹来指导模糊核的形状，在选择最佳光条纹图像块后，通过灰度处理和形态学处理将光条纹转换为四像素宽的二值轨迹；
随后将光条纹转换后的二值轨迹倒置并用k0表示，如果k0中的元素对应的像素属于二值轨迹，那么k0中的元素等于0，否则k0中的元素等于1；
最后将高斯正则化与形状先验相结合，抑制核的形状，并保证核的连续性，将步骤2中获得的中间潜像中提取的显著边缘
Figure BDA0003191301430000071
用于约束最小化能量函数来进行模糊核估计，通过优化凸函数式(11)获得模糊核，数学描述如式(11)所示：
Figure BDA0003191301430000072
梯度足够大的为显著边缘
Figure BDA0003191301430000073
步骤4，潜像估计
去模糊问题是一个不适定问题，通过迭代估计潜像和模糊核来进行求解，当模糊核k固定时，通过最小化能量函数式(8)来估计潜像p，函数式(8)中指数α设定为0.5到0.8之间，以便更好地模拟自然场景中的梯度分布吗，在本方法中设定α为经典值0.8；
用半二次惩罚函数法求解高度非凸函数，引入一个辅助变量u来代替▽p，并将能量函数式(8)改为以下优化问题：
Figure BDA0003191301430000074
其中η1是一个权重，当它接近∞时，式(12)的解收敛于能量函数式(8)的解；通过迭代更新潜像梯度u和潜像p来求解式(12)，固定除潜像梯度u之外的所有变量，则式(12)表示为：
Figure BDA0003191301430000075
采用牛顿-拉夫森迭代法对潜像梯度u求解，然后，固定上一次迭代中的潜像梯度u，潜像p通过最小化式(14)来优化：
Figure BDA0003191301430000076
其中，利用具有加权函数ω(x)的迭代加权最小二乘(IRLS)方法来寻找潜像p，迭代20次以上就能够获得满意的潜像；
步骤5，图像质量评价指标
(1)峰值信噪比
峰值信噪比PSNR是通过计算图像中最大功率信号与噪声功率的比值来描述图像复原效果，其数学表达如式(15)所示：
Figure BDA0003191301430000081
(2)结构相似度
结构相似度SSIM是通过计算图像的均值、方差、协方差来描述图像之间纹结构特征的相似程度的指标，其数学表达如式(16)所示：
Figure BDA0003191301430000082
其中μp与μp′分别表示原始图像与实验复原图像中的像素均值，
Figure BDA0003191301430000083
与
Figure BDA0003191301430000084
分别表示原始图像与实验复原图像的方差，δpp′表示原始图像与实验复原图像的协方差，λ1与λ2为常数，SSIM的取值范围集合为[0,1]，越接近1表示图像越相似，复原效果也就越好，越接近零表示图像越不相似，复原效果也就越差；
通过步骤5中图像评价指标峰值信噪比、结构相似度来量化评判基于二分图中多标准光条纹选择的夜晚图像去模糊方法对夜晚模糊图像的去模糊效果。
和现有技术相比较，本发明具备如下优点：
(1)更加鲁棒的最优光条纹选择标准
现有的光条纹选择方法所执行的标准对图像中的光线强度非常敏感，且更加注重对饱和光条纹所包含先验信息的利用，忽视了非饱和光条纹所包含的先验信息，一些夜晚模糊图可能并不包括亮度足够强的饱和光条纹，此时现有的光条纹选择方法不再适用。本发明设计了更加鲁棒的最优光条纹选择标准，非饱和光条纹和饱和光条纹均具有较强的鲁棒性，不要求光条纹必须饱和，只需要光条纹与相邻区域应该有较大的像素强度对比和明显的边缘即可，充分利用了模糊图中存在的先验信息。
(2)最优光条纹选择所需要的时间代价更低
现有的基于光条纹选择的图像去模糊方法是直接在整幅模糊图选择最优光条纹，本发明设计了一种基于二分图的最优光条纹选择方法，将待去模糊的夜晚图像进行二等分，为了避免分割线对光条纹造成破坏进而影响最终的光条纹选择结果，除了同时检测被二等分的两块模糊图像外，还需要对分割线左右55像素长度内的模糊图进行最优光条纹选择，设置55像素是因为本发明使用的公共数据集和真实夜晚模糊图中模糊核的尺寸一般不超过55×55。按照本发明设计的最优光条纹选择标准在三块模糊图中筛选出各自最优的光条纹，最后从这三条光条纹中决策出相对于整幅图的最优光条纹。该方法可以在较为有效的减少光条纹选择所需要的时间代价。
(3)对夜晚图像的去模糊复原质量更高
利用现有图像去模糊方法对包含大量异常值的夜晚模糊图像进行去模糊时，往往因为异常值不符合线性模糊模型导致复原图中存在大量的振铃伪影；一些利用饱和光条纹先验信息进行图像去模糊的方法中未考虑饱和光条纹自身具有的显著边缘容易导致增量核，增量核会直接导致较差的去模糊效果。
异常值往往存在于饱和光条纹中，本发明将M估计迭代框架引入图像去模糊中以抑制图像去模糊过程中那些不符合线性模糊模型的异常值造成振铃伪影和饱和光条纹对显著边缘提取、核估计过程的负面影响，得到更优的图像去模糊复原效果。
附图说明
图1本发明方法的图像去模糊流程图。
图2模糊图像分割示意图。
图3左半模糊图最优光条纹选择示意图。
图4中间长条模糊图最优光条纹选择示意图。
图5右半模糊图最优光条纹选择示意图。
图6整幅模糊图最优光条纹选择示意图。
图7模糊核估计流程图。
图8a为公共数据集中模糊图像，图8b为现有方法对图8a的去模糊结果，图8c为本发明方法对图8a的去模糊结果。
图9a为真实夜晚模糊图像，图9b为现有方法对图9a的去模糊结果，图9c为本发明方法对图9a的去模糊结果。
具体实施方式
下面结合附图和实例对本发明进行详细描述。
以Hu Zhe提供的公共数据集和真实的夜晚模糊图像作为研究对象，公共数据集是由11幅清晰的夜晚图像先后经过14个不同的模糊核进行模糊处理然后加入方差为1％的高斯噪声得到的，共包含154张合成的夜晚模糊图像和11张原始清晰图像，且模糊核已知；真实的夜晚模糊图像是模糊核和最优光条纹均未知的图像。图像去模糊过程如图1所示，包含如下步骤：
步骤1，以公共数据集中的一张模糊图作为示例，首先利用本发明分割方法对模糊图进行分割，分割示意图如图2所示。
步骤2，利用本发明最优光条纹选择标准，分别对步骤1中得到的三块模糊图进行最优光条纹选择，对三块模糊图中各自选择出的最优光条纹进行对比并推选出相对于整幅图的最优光条纹，左半模糊图最优光条纹选择如图3所示，中间长条模糊图最优光条纹选择如图4所示，右半模糊图最优光条纹选择如图5所示，整幅模糊图最优光条纹选择如图6所示。
同样在PC端配置为64位Windows10操作系统、8G运行内存、Intel i7-8750H处理器、GTX 1050Ti显卡的条件下，本发明设计的光条纹选择方法与现有光条纹选择方法分别在公共数据集中选择最优光条纹所需要的平均时间代价如表1所示，本发明设计的最优光条纹选择方法比现有方法更加高效。
表1对公共数据集进行最优光条纹选择所需的平均时间代价
Figure BDA0003191301430000111
步骤3，使用本发明M估计迭代框架下的夜晚图像去模糊方法进行图像去模糊，将步骤2中选择出的最优光条纹的形状先验作为模糊核估计的约束项，模糊核估计流程如图7所示，随后使用迭代估计法对清晰潜像和模糊核迭代求解，迭代20次得到清晰潜像和模糊核。
对公共数据集中一张模糊图像去模糊，图8a为模糊图像，图8b为现有方法对图8a的去模糊结果，图8c为本发明方法对图8a的去模糊结果，左上角为模糊核；对一张夜晚真实模糊图像进行去模糊，图9a为模糊图像，图9b为现有方法对图9a的去模糊结果，图9c为本发明方法对图9a的去模糊结果，左上角为模糊核，通过对比可以发现本发明方法对真实图像的去模糊效果优于现有方法。
表2为本发明的方法与现有方法在公共数据集154张模糊图像上进行图像去模糊的平均表现，通过表2中的数据对比，可以发现利用本发明方法进行图像去模糊后的复原图像与原始清晰图像间的平均SSIM值和平均PSNR值均大于现有方法，即本发明方法的图像去模糊效果更优。
表2去模糊图像与原始清晰图间的平均SSIM与平均PSNR值
Figure BDA0003191301430000121
通过分析可知，本发明设计的M估计迭代框架下基于二分图中多标准光条纹选择的夜晚图像去模糊方法与现有方法相比，无论是在公共数据集还是在真实的夜晚模糊图像上均表现更优，所需时间代价更低，图像复原效果也更理想，对夜晚图像的去模糊复原具有实际意义。

Claims (1)

1.基于二分图中多标准光条纹选择的夜晚图像去模糊方法，其特征在于：包括如下步骤：
步骤一，二分图中多标准最优光条纹选择
将夜晚模糊图进行分割，分别在每块分割后的模糊图中进行最优光条纹选择，最后将每块模糊图中选择出的最优光条纹进行比较，并确定整张模糊图中的最优光条纹，以此来减少光条纹选择的时间花销；具体包括如下步骤：
步骤1，将夜晚模糊图进行分割
将一个x×y大小的模糊图像分割成两部分，但考虑到分割线上可能会存在被分割的光条纹，考虑到被分割的光条纹也有可能为最优光条纹，以分割线为中轴线，在中轴线的左右各截取55×y/2大小的图像块组成一个110×y/2大小的竖长条模糊图像块，因此将原始模糊图像分割为了三部分；中轴线左右各自截取55像素长度是因为公共数据集和夜晚真实模糊图中模糊核的尺寸均在25×25到55×55之间，故以分割线为中轴线截取到的110×y/2大小的竖长条模糊图像块能够包含所有可能被分割线切割的光条纹，避免分割线上的光条纹被遗漏或者由于被分割导致选优时发生误判；
步骤2，多标准条件下的光条纹选择
设计了一套对非饱和光条纹和饱和光条纹均具有鲁棒性最优光条纹选择标准，以便充分利用模糊图中存在的光条纹先验信息，而不再局限于只利用饱和光条纹；最优光条纹选择标准如下：
(1)光条纹的像素应该具有较高的强度，统计待去模糊图像的像素强度范围，认定像素强度范围的前10％为较高的像素强度；
(2)光条纹可以不饱和，但与相邻区域应该有像素强度对比；
(3)光条纹应该与相邻区域间有明显的边缘；
(4)光条纹应该位于所选择图像块的中心位置；
(5)光条纹应该是纤细的，即具有稀疏的特点；
(6)每一个候选图像块中有且仅有一个光条纹；
(7)候选图像块中不应该有显著的图像结构；
(8)最优光条纹应该具有最高的SSIM值，分别计算某候选光条纹与其他光条纹之间SSIM值的和，SSIM值的和最大的候选光条纹为最优光条纹；
步骤3，利用步骤2中的8条最优光条纹选择标准对步骤1中分割后的图像块分别进行最优光条纹选择，将各自图像块中的最优光条纹进行对比，选择出整幅模糊图的最优光条纹；
步骤二，M估计迭代框架下的夜晚图像去模糊
利用步骤一中得到的最优光条纹的形状先验作为模糊核估计的约束项，使用迭代估计法对清晰潜像和模糊核迭代求解，具体包括如下步骤：
步骤1，M估计迭代框架
M估计是一种基于鲁棒统计原理的稳健估计，M估计的密度函数是一条围绕零的抛物线，在给定的水平|x|>t上线性增长，M估计试图同时获得最小二乘估计和鲁棒绝对偏差估计两者中的最优，有助于限制异常值的影响；
M估计的密度函数如公式(1)所示：
Figure FDA0003191301420000021
其中t是正调谐阈值，函数ρ(·)是一个非对称正定函数，在零点有唯一的极小值，并且它的增长速度比二次函数慢；
影响函数ψ＝dρ(x)/dx描述了总体估计对具有残差x的敏感度；对于鲁棒估计，任何单个数据点的影响不会引入任何显著误差，这个影响函数是一个混合l1和l2正则化的最小化问题，影响函数Ψ以不同的方式惩罚小残差和高残差，使得M估计对异常值不那么敏感；
M估计的影响函数如公式(2)所示：
Figure FDA0003191301420000031
利用M估计，在调谐常数t＝1.345σ时，标准正态分布的渐近效率为95％，其中σ是误差的估计标准差；
通用线性模糊模型的数学描述如公式(3)所示：
b＝p*k+n (3)
其中b表示卷积后的模糊图，是直接用眼睛观察到的模糊图像，p表示需要被恢复的清晰图像即潜像，k表示模糊核函数，也被称为点扩散函数PSF，n表示随机加性噪声，*表示卷积运算符；
根据公式(3)定义一个残差向量N，数学表达式如公式(4)所示：
N＝p*k-b (4)
将光条纹信息与l2正则化先验信息相结合来进行核估计，并使用M估计作为数据保真项，从而目标函数的数学描述如公式(5)所示：
Ep,k＝ρ(N)+ηRp(p)+βRk(k) (5)
其中Rp(p)和Rk(k)是分别为潜像和模糊核的先验，η,β是对应的权重，此处利用超拉普拉斯项来约束潜像，数学描述如公式(6)所示：
Figure FDA0003191301420000041
其中
Figure FDA0003191301420000042
为潜像p的梯度；
同时，将核形状和l2正则化相结合来对模糊核进行约束，数学表达式如公式(7)所示：
Figure FDA0003191301420000043
其中，符号
Figure FDA0003191301420000047
表示哈达玛积，k0是二维二进制掩模矩阵，利用掩模矩阵限制模糊核的形状，如果属于光条纹，则元素为0，否则为1；
夜晚图像去模糊问题是一个不适定问题，为了解决该问题使用迭代估计法优化目标函数Ep和Ek，Ep和Ek的数学表达如式(8)和式(9)所示：
Figure FDA0003191301420000044
Figure FDA0003191301420000045
其中ρ为M估计的密度函数，β和η均为系数；
对于目标函数(8)和目标函数(9)的寻优过程即为对潜像和模糊核进行估计的过程，通过公式(1)中知道保真项ρ(x)是一个混合的l1和l2正则化的最小化问题，用加权最小二乘估计器代替ρ(x)，而不是直接优化基于M估计的目标函数，定义权重函数ω(x)如公式(10)所示：
Figure FDA0003191301420000046
利用权重函数给不同的点分配不同的权重，为了防止异常值的影响，通过将较小的权重ω(xi)分配给较大的残差，饱和光条纹的残差较大，则饱和光条纹对应的权重系数就会比较小,这样就降低饱和光条纹对反卷积过程的造成负面影响，消除振铃伪影现象；
步骤2，基于饱和光条纹处理的显著边缘提取
饱和的光条纹总是干扰边缘选择的准确性，因为饱和光条纹自身就有非常强的边界，容易造成错误的选择，可靠的边缘应该只包含场景中对象的显著边缘；当目标的尺度小于模糊核的尺度时，边缘信息违背了核估计，而有效的显著边缘能够避开增量核，获得更准确的模糊核和更优的图像去模糊效果；因此，从潜像梯度▽p中去除微小边缘，保留显著边缘▽S进行核估计；在大量实验的基础上选择95％作为阈值，提取95％的最大梯度值作为显著边缘；
步骤3，利用最优光条纹的形状先验估计模糊核
使用步骤一中挑选出的相对于整幅图的最优光条纹来指导模糊核的形状，在选择最佳光条纹图像块后，通过灰度处理和形态学处理将光条纹转换为四像素宽的二值轨迹；
随后将光条纹转换后的二值轨迹倒置并用k0表示，如果k0中的元素对应的像素属于二值轨迹，那么k0中的元素等于0，否则k0中的元素等于1；
最后将高斯正则化与形状先验相结合，抑制核的形状，并保证核的连续性，将步骤2中获得的中间潜像中提取的显著边缘
Figure FDA0003191301420000051
用于约束最小化能量函数来进行模糊核估计，通过优化凸函数式(11)获得模糊核，数学描述如式(11)所示：
Figure FDA0003191301420000052
梯度足够大的为显著边缘
Figure FDA0003191301420000053
步骤4，潜像估计
去模糊问题是一个不适定问题，通过迭代估计潜像和模糊核来进行求解，当模糊核k固定时，通过最小化能量函数式(8)来估计潜像p，函数式(8)中指数α设定为0.5到0.8之间，以便更好地模拟自然场景中的梯度分布吗，在本方法中设定α为经典值0.8；
用半二次惩罚函数法求解高度非凸函数，引入一个辅助变量u来代替
Figure FDA0003191301420000061
并将能量函数式(8)改为以下优化问题：
Figure FDA0003191301420000062
其中η1是一个权重，当它接近∞时，式(12)的解收敛于能量函数式(8)的解；通过迭代更新潜像梯度u和潜像p来求解式(12)，固定除潜像梯度u之外的所有变量，则式(12)表示为：
Figure FDA0003191301420000063
采用牛顿-拉夫森迭代法对潜像梯度u求解，然后，固定上一次迭代中的潜像梯度u，潜像p通过最小化式(14)来优化：
Figure FDA0003191301420000064
其中，利用具有加权函数ω(x)的迭代加权最小二乘(IRLS)方法来寻找潜像p，迭代20次以上就能够获得满意的潜像；
步骤5，图像质量评价指标
(1)峰值信噪比
峰值信噪比PSNR是通过计算图像中最大功率信号与噪声功率的比值来描述图像复原效果，其数学表达如式(15)所示：
Figure FDA0003191301420000065
(2)结构相似度
结构相似度SSIM是通过计算图像的均值、方差、协方差来描述图像之间纹结构特征的相似程度的指标，其数学表达如式(16)所示：
Figure FDA0003191301420000066
其中μp与μp′分别表示原始图像与实验复原图像中的像素均值，
Figure FDA0003191301420000067
与
Figure FDA0003191301420000068
分别表示原始图像与实验复原图像的方差，δpp′表示原始图像与实验复原图像的协方差，λ1与λ2为常数，SSIM的取值范围集合为[0,1]，越接近1表示图像越相似，复原效果也就越好，越接近零表示图像越不相似，复原效果也就越差；
通过步骤5中图像评价指标峰值信噪比、结构相似度来量化评判基于二分图中多标准光条纹选择的夜晚图像去模糊方法对夜晚模糊图像的去模糊效果。
CN202110878913.3A 2021-08-02 2021-08-02 基于二分图中多标准光条纹选择的夜晚图像去模糊方法 Withdrawn CN113436116A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110878913.3A CN113436116A (zh) 2021-08-02 2021-08-02 基于二分图中多标准光条纹选择的夜晚图像去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110878913.3A CN113436116A (zh) 2021-08-02 2021-08-02 基于二分图中多标准光条纹选择的夜晚图像去模糊方法

Publications (1)

Publication Number Publication Date
CN113436116A true CN113436116A (zh) 2021-09-24

Family

ID=77762443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110878913.3A Withdrawn CN113436116A (zh) 2021-08-02 2021-08-02 基于二分图中多标准光条纹选择的夜晚图像去模糊方法

Country Status (1)

Country Link
CN (1) CN113436116A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822823A (zh) * 2021-11-17 2021-12-21 武汉工程大学 气动光学效应图像空变模糊核的点近邻复原方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822823A (zh) * 2021-11-17 2021-12-21 武汉工程大学 气动光学效应图像空变模糊核的点近邻复原方法及系统

Similar Documents

Publication Publication Date Title
Mafi et al. A comprehensive survey on impulse and Gaussian denoising filters for digital images
US10339643B2 (en) Algorithm and device for image processing
US10902563B2 (en) Moran's / for impulse noise detection and removal in color images
US7856150B2 (en) Denoise method on image pyramid
US20120114240A1 (en) Image processing apparatus, image processing method, and program
Mignotte A segmentation-based regularization term for image deconvolution
CN110796615B (zh) 一种图像去噪方法、装置以及存储介质
CN110675347A (zh) 一种基于组稀疏表示的图像盲复原方法
CN111783583B (zh) 基于非局部均值算法的sar图像相干斑抑制方法
Smith et al. Effect of pre-processing on binarization
Srinivas et al. Remote sensing image segmentation using OTSU algorithm
CN108335268B (zh) 一种基于盲解卷积的彩色图像去模糊的方法
CN113962908A (zh) 气动光学效应大视场退化图像逐点校正复原方法及系统
CN112598708A (zh) 一种基于四特征融合和权重系数的高光谱目标跟踪方法
CN113436116A (zh) 基于二分图中多标准光条纹选择的夜晚图像去模糊方法
CN115830351B (zh) 图像处理方法、设备以及存储介质
Duran et al. A Novel Framework for Nonlocal Vectorial Total Variation Based on ℓ p, q, r− norms
Cao et al. Remote sensing image recovery and enhancement by joint blind denoising and dehazing
Ehret et al. Implementation of the vbm3d video denoising method and some variants
Umnov et al. Sparse method for ringing artifact detection
Smolka et al. On the application of the reachability distance in the suppression of mixed Gaussian and impulsive noise in color images
CN112785514A (zh) 一种快速条码图像运动消减方法
Wang A new approach for robust segmentation of the noisy or textured images
Chehdi et al. A blind system to identify and filter degradations affecting an image
Fatima et al. Image denoising using difference classifier and trimmed global mean filter adaptive approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210924