CN107451975B - 一种基于视觉加权相似的图像质量清晰化方法 - Google Patents

一种基于视觉加权相似的图像质量清晰化方法 Download PDF

Info

Publication number
CN107451975B
CN107451975B CN201710646517.1A CN201710646517A CN107451975B CN 107451975 B CN107451975 B CN 107451975B CN 201710646517 A CN201710646517 A CN 201710646517A CN 107451975 B CN107451975 B CN 107451975B
Authority
CN
China
Prior art keywords
block
image
pixels
value
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710646517.1A
Other languages
English (en)
Other versions
CN107451975A (zh
Inventor
何林远
熊磊
毕笃彦
凡遵林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Air Force Engineering University of PLA
Original Assignee
Air Force Engineering University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Air Force Engineering University of PLA filed Critical Air Force Engineering University of PLA
Publication of CN107451975A publication Critical patent/CN107451975A/zh
Application granted granted Critical
Publication of CN107451975B publication Critical patent/CN107451975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视觉加权相似的图像质量清晰化方法，在充分分析自然场景特性的基础上，借鉴相似块的思想，利用相似像素块推演退化和模糊过程，从而构建出基于图像本征特质的相似块去雾方法，解决现有先验不能作为普适性的约束条件，使得复原结果容易产生块效应的问题。

Description

一种基于视觉加权相似的图像质量清晰化方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于视觉加权相似的图像质量清晰化方法。
背景技术
雾天图像清晰化，是图像处理领域的经典难题之一，也是雾天图像分析、目标跟踪和场景识别的首要步骤，对最终分析图像质量和检验识别结果起着极其关键的作用。尤其是近几年国内各大城市持续出现的雾霾天气，对于人们的日常生活以及各行各业都造成了较为严重的影响，例如航班延误甚至取消、高速公路封堵、海上交通受限、火车临时停车或者延误等，严重制约了工农业生产、人们日常生活、军事侦察和训练等。这都使得雾天图像的清晰化处理在军、警、民等各个领域都显得尤为重要。
目前，国内外对于雾天图像的清晰化研究已经取得了很大进展。根据是否基于雾天条件的大气散射模型，已有的单幅雾天图像清晰化算法可分为两类：一类是基于非物理模型的图像增强算法，另一类是基物理模型的图像复原算法。其中通过各种先验和约束条件求解非适定物理模型的方法得到了越来越多的关注。主要包括“对比度最大先验”、“暗通道先验”、“椭圆先验”、颜色线先验”、“颜色衰减先验”及“非局部先验”这六类经典先验条件。通过先验条件使得该类反问题模型得到求解。虽然以上基于先验假设的雾天模型下去雾算法在颜色真实性和去雾效果等方面都取得了一定的成效，但这些先验假设都有其应用环境的局限性。去雾效果的好坏与其适用性有很大的关系，这些先验假设并不能完全适用于所有的雾天图像。
现有的几种雾天图像清晰化方法有：
基于暗通道先验的去雾算法：暗通道先验是He根据大量室外无雾图像统计结果提出的。在无雾图像的非天空区域中，任一局部窗口内存在某一像素点，其R、G、B三个颜色通道的最小值接近零，即暗通道。利用暗通道先验来估计初始介质传输图，继而利用各种滤波方法求取最终去雾结果。该假设先验被证明是单幅图像去雾的有效先验，其应用研究最广。暗通道先验有其适用局限性，尤其是在天空以及大块白色等不符合暗通道先验的区域，去雾效果存在明显的颜色失真现象。
基于颜色衰减先验的去雾算法：Zhu通过对大量的雾天图像统计发现，雾天图像像素点的亮度和饱和度变化与雾天图像的雾气浓度紧密相关，且通过观察和实验证明雾天图像的亮度与饱和度之差随图像景深线性变化，即颜色衰减先验。由于颜色衰减先验主要依赖于图像颜色信息，而远处场景部分，即天空区域，雾气浓度对实际目标场景影响较多，图像偏灰白色，目标场景颜色信息对颜色衰减先验影响较小；近处场景部分，实际目标颜色对场景信息影响逐渐增加，导致颜色衰减拟合曲线在远景处较为平滑，而近景处由于受到目标场景颜色突变的影响，拟合曲线抖动加剧，因而颜色衰减先验并不适用于整幅雾天图像。
基于颜色线先验的去雾算法：该算法通过统计发现，雾天图像局部像素块内像素点的像素值在R、G、B颜色空间中分布在一条1维直线上，即Color-lines，通过建立空间几何模型求解无雾图像，继而通过扩展马尔科夫随机场求解真实景深。此先验是基于局部像素块平滑的假设，因此图像的边缘以及纹理变化明显的区域，像素点在R、G、B颜色空间的分布并不服从该先验，该假设先验失效。
因此，研究一种具有具备自适应性、鲁棒性、表征完备的图像去雾的方法显得尤为重要。
发明内容
针对现有技术的不足，本发明旨在提供一种基于视觉加权相似的图像质量清晰化方法，在充分分析自然场景特性的基础上，借鉴相似块的思想，利用相似像素块推演退化和模糊过程，从而构建出基于图像本征特质的相似块去雾方法，解决现有先验不能作为普适性的约束条件、空或是白色物体不受用于先验或约束、边缘及纹理恢复时产生的块效应的问题。
为了实现上述目的，本发明采用如下技术方案：
一种基于视觉加权相似的图像质量清晰化方法，包括如下步骤：
S1输入原始雾天图像；
S2原始雾天图像经过采样变换后，呈现出多尺度金字塔结构，通过对图像在原始尺度和变换尺度上的两个像素块分别进行PCA变换分析，选取距离最远、景深差异最大的相似像素块，所述距离最远、景深差异最大的相似像素块满足下式：
其中，P1[x]和P2[x]分别表示图像在原始尺度和变换尺度上的相距最远、景深差异最大的两个相似像素块，t1[x]和t2[x]分别表示P1[x]和P2[x]所对应的介质传输率，L(x)表示P1[x]和P2[x]共同对应的无雾图像的像素块，A1[x]和A2[x]分别表示P1[x]和P2[x]的大气光；
S3将两边同时减去均值，假设环境大气光在每个像素块内保持局部一致，去除大气光项，可得：
其中，Pi[x]＝Pi[x]-mean(Pi)，i＝1,2，L[x]＝L[x]-mean(L)，mean()表示独立计算像素块内每个颜色通道的均值；
S4对两边取l2范数可得：
可得：
P1[x]和P2[x]的介质传输率的比值为P1[x]和P2[x]各自标准差之间的比值：
已确定的相似像素块P1[x]和P2[x]所对应的的大气光相等，A1[x]＝A2[x]＝A[x]，因此，改写成：
(P1[x]-A[x])t2[x]＝(P2[x]-A[x])t1[x]；
因此最优传递图表示为：
和分别表示距离最远、景深差异最大的相似像素块和中心像素处的介质传输率，由像素块和的标准差比值获得，k表示图像中具有的距离最远、景深差异最大的相似像素块对的数量总和；
S5利用边缘特性来约束图像，以期最大化表征边缘信息；表达式如下：
其中▽表示差分，为了进一步从视觉效果约束无雾图像中成对像素块的相关性，利用λ来进行约束，λ取值越大，相关性越高，权值越大，all pixels表示对图像所有像素点求解边缘信息；
可得：
其中t(x)为整幅图像的介质传输率，由每个像素块的中心像素的介质传输率集合获得；tLB(x)为最小的传递图；
S6求解大气光值：
由(P1[x]-A[x])t2[x]＝(P2[x]-A[x])t1[x]可得：
结合及上式可以得到：
(P2[x]-A[x])P1[x]-(P1[x]-A[x])P2[x]＝0；
约束关系(P2[x]-A[x])P1[x]-(P1[x]-A[x])P2[x]＝0对成对像素块中的所有像素点均适用，此时，假设最相似的两个相似块P1[x]和P2[x]其内在蕴含的大气光值相同，因此，通过最小二乘法估计出局部大气光：
其中，k1、k2为第k对相似块中的两个图像块；最后通过将所有局部大气光取平均，即可得到全局大气光值A；
S7通过下式计算得到输出图像：
其中I(x)为输入雾天图像，L(x)为输出无雾图像，t(x)为整幅图像的介质传输率，A为全局大气光值。
需要说明的是，步骤S6中，采用加权平均的方式来计算全局大气光：
其中，wk为相应的像素块内各个像素点值的环境大气光的权重，主要根据能够准确感知去雾后图像中物体和背景差异的韦伯比求解，其应满足如下约束条件：
ΔJc[x]和ΔIc[x],c∈R,G,B分别表示无雾图像块和有雾图像块各个颜色通道的亮度值变化，由于雾天图像中雾气主要表现为低频成分ILc[x],因此ΔIc[x]＝Ic[x]-ILc[x]；Jc[x]和Ic[x]，c∈,R,G,B分别表示其对应的无雾图像和有雾图像块各个颜色通道的背景亮度；表示理想无雾图像块的背景亮度，IR[x]、IG[x]、IB[x]分别代表红绿蓝三个通道的图像块亮度值，JND反映了固定背景下人眼能够分辨的最小亮度差值；
ε表示图像块的背景亮度，取值在[0，255]，T0表示背景亮度为0时的可见阈值，γ表示了背景亮度升高时，JND曲线模型中可见阈值函数的斜率；
结合tLB[x]，联立方程可得：
由于传递图与颜色通道无关，为了均衡各个通道，让其中ΔIR[x]、ΔIG[x]、ΔIB[x]分别表示三个颜色通道内的亮度值变化；在满足上述联立方程的边界约束条件下，令Ic'[x]＝minIc[x]，由此可知：
考虑到相似块的景深要尽可能大这一因素，因此，权值设置的表达式可为：
本发明的有益效果在于：
1)本发明在传统算法基础上，探寻各类先验的异同，提出一种更加普适、更加鲁棒的基于图像自身相似特征的去雾方法；
2)本发明利用相似块特征，可以从去雾物理模型的两个关键角度，介质传输率和大气光上分别对雾霾图像进行修正，改变了以往单一先验只从介质传输率修复图像的方法；
3)找寻距离最大的相似块，可通过PCA降维方法进行快速搜寻，较之以往的马尔科夫随机场、序列滤波方法来说，处理时间更短，具备一定的应用前景。
附图说明
图1为本发明的原理示意图；
图2为近景图像的实验结果，图2(a)，图2(a1)，图2(a2)表示输入的有雾图像；图2(b)，图2(b1)，图2(b2)表示三幅图像相应的大气环境光；图2(c)，图2(c1)，图2(c2)表示三幅图像相应的大气传输图；图2(d)，图2(d1)，图2(d2)表示对三幅图像的处理结果。
图3为远景图像的实验结果，图3(a)，图3(a1)，图3(a2)表示输入的有雾图像；图3(b)，图3(b1)，图3(b2)表示三幅图像相应的大气环境光；图3(c)，图3(c1)，图3(c2)表示三幅图像相应的大气传输图；图3(d)，图3(d1)，图3(d2)表示对三幅图像的处理结果。
图4为颜色保持对比实验结果示意图；
图5为相似像素块示意图，图5(a)和图5(b)分别表示无雾图像和有雾图像的相似像素块示意图。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
如图1所示，一种基于视觉加权相似的图像质量清晰化方法，包括如下步骤：
S1输入原始雾天图像；
S2原始雾天图像经过采样变换后，呈现出多尺度金字塔结构，通过对图像在原始尺度和变换尺度上的两个像素块分别进行PCA变换分析，选取距离最远、景深差异最大的相似像素块，所述距离最远、景深差异最大的相似像素块满足下式：
其中，P1[x]和P2[x]分别表示图像在原始尺度和变换尺度上的相距最远、景深差异最大的两个相似像素块，t1[x]和t2[x]分别表示P1[x]和P2[x]所对应的介质传输率，L(x)表示P1[x]和P2[x]共同对应的无雾图像的像素块，A1[x]和A2[x]分别表示P1[x]和P2[x]的大气光；
S3将两边同时减去均值，假设环境大气光在每个像素块内保持局部一致，去除大气光项，可得：
其中，Pi[x]＝Pi[x]-mean(Pi)，i＝1,2，L[x]＝L[x]-mean(L)，mean()表示独立计算像素块内每个颜色通道的均值；
S4对两边取l2范数可得：
可得：
P1[x]和P2[x]的介质传输率的比值为P1[x]和P2[x]各自标准差之间的比值：
已确定的相似像素块P1[x]和P2[x]所对应的的大气光相等，A1[x]＝A2[x]＝A[x]，因此，改写成：
(P1[x]-A[x])t2[x]＝(P2[x]-A[x])t1[x]；
因此最优传递图表示为：
和分别表示距离最远、景深差异最大的相似像素块和中心像素处的介质传输率，由像素块和的标准差比值获得，k表示图像中具有的距离最远、景深差异最大的相似像素块对的数量总和；
S5利用边缘特性来约束图像，以期最大化表征边缘信息；表达式如下：
其中▽表示差分，为了进一步从视觉效果约束无雾图像中成对像素块的相关性，利用λ来进行约束，λ取值越大，相关性越高，权值越大，all pixels表示对图像所有像素点求解边缘信息；
可得：
其中t(x)为整幅图像的介质传输率，由每个像素块的中心像素的介质传输率集合获得；tLB(x)为最小的传递图；
S6求解大气光值：
由(P1[x]-A[x])t2[x]＝(P2[x]-A[x])t1[x]可得：
结合及上式可以得到：
(P2[x]-A[x])P1[x]-(P1[x]-A[x])P2[x]＝0；
约束关系(P2[x]-A[x])P1[x]-(P1[x]-A[x])P2[x]＝0对成对像素块中的所有像素点均适用，此时，通过最小二乘法估计出局部大气光：
其中，k1、k2为第k对相似块中的两个图像块；最后通过将所有局部大气光取平均，即可得到全局大气光值A；
S7通过下式计算得到输出图像：
其中I(x)为输入雾天图像，L(x)为输出无雾图像，t(x)为整幅图像的介质传输率，A为全局大气光值。
需要说明的是，步骤S6中，采用加权平均的方式来计算全局大气光：
其中，wk为相应的像素块内各个像素点值的环境大气光的权重，主要根据能够准确感知去雾后图像中物体和背景差异的韦伯比求解，其应满足如下约束条件：
ΔJc[x]和ΔIc[x],c∈R,G,B分别表示无雾图像块和有雾图像块各个颜色通道的亮度值变化，由于雾天图像中雾气主要表现为低频成分ILc[x],因此ΔIc[x]＝Ic[x]-ILc[x]；Jc[x]和Ic[x],c∈,R,G,B分别表示其对应的无雾图像和有雾图像块各个颜色通道的背景亮度；表示理想无雾图像块的背景亮度，IR[x]、IG[x]、IB[x]分别代表红绿蓝三个通道的图像块亮度值，JND反映了固定背景下人眼能够分辨的最小亮度差值；
ε表示图像块的背景亮度，取值在[0，255]，T0表示背景亮度为0时的可见阈值，γ表示了背景亮度升高时，JND曲线模型中可见阈值函数的斜率；
结合tLB[x]，联立方程可得：
由于传递图与颜色通道无关，为了均衡各个通道，让其中ΔIR[x]、ΔIG[x]、ΔIB[x]分别表示三个颜色通道内的亮度值变化；在满足上述联立方程的边界约束条件下，令Ic'[x]＝minIc[x]，由此可知：
考虑到相似块的景深要尽可能大这一因素，因此，权值设置的表达式可为：
其中和分别代表Ak中最相似的两个图像块。
软件仿真测试
实验采用7×7的模板进行成对像素块匹配，选取两组不同的近景图像和远景图像进行去雾处理，证明本发明方法的有效性；最后根据客观评价指标分析本发明方法的去雾质量。
图2为近景图像的实验结果，图2(a)，图2(a1)，图2(a2)表示输入的有雾图像；图2(b)，图2(b1)，图2(b2)表示三幅图像相应的大气环境光；图2(c)，图2(c1)，图2(c2)表示三幅图像相应的大气传输图；图2(d)，图2(d1)，图2(d2)表示对三幅图像的处理结果。由图2(d)可以看出，本发明方法能够有效恢复麦垛的细节信息；由图2(d1)可以看出，去雾处理之后，玩偶的颜色更加明亮鲜艳；由图2(d2)可以看出，本发明方法能够有效提升图像的对比度，凸显边缘。
图3为远景图像的实验结果，图3(a)，图3(a1)，图3(a2)表示输入的有雾图像；图3(b)，图3(b1)，图3(b2)表示三幅图像相应的大气环境光；图3(c)，图3(c1)，图3(c2)表示三幅图像相应的大气传输图；图3(d)，图3(d1)，图3(d2)表示对三幅图像的处理结果。
由图3(d)可以看出，针对远景存在薄雾的图像，经本发明方法处理之后，远处天空背景的蓝色更加真实，云朵清晰可见，树木的纹理得到了有效恢复；由图3(d1)可以看出，图像中存在众多重复场景时，例如图3(d1)中重复出现的石栏杆，由于先验特征更加准确，本发明方法在处理这类图像时极具优势，图像远景和近景处的结构信息都能够得到有效恢复，去雾后图像色彩自然美观；由图3(d2)可以看出，针对远景存在浓雾的图像，本发明方法依然能够兼顾远近景的处理效果，近景薄雾区域的楼房、汽车变得更加清晰，远景浓雾区域的天空背景亮度也得到有效提升。
图4为颜色保持对比实验结果示意图。可以看出，利用图像自身相似块的特性，可以使得图像的颜色恢复较好，尤其是在远处的图像块，由于采用的相似性原理，使得约束图像块的值变为近似的其他尺度上的图像块，因此，恢复出的结果较之经验的其他先验方法，准确值更好，也更符合人眼视觉效果。
为对本发明方法进行客观评价，以图4的实验结果为例，本发明利用图像的峰值信噪比和熵来对比不同算法针对不同图像的处理结果。图像的熵表征图像的信息量，熵值越高，恢复出的无雾图像质量越高；峰值信噪比(Peak Signal Noise Ratio,PSNR)表征了图像结构信息的完整性，峰值信噪比越高，恢复出的图像边缘更加明显，细节也更丰富。对比结果如表1所示。
表1
分析表1可知，针对图4中的南瓜、天鹅和道路图像，本发明在熵和峰值信噪比两个指标上具有优势，表明经本发明处理之后，图像结构更加完整，细节更加清晰；针对图4中的远山图像，本发明的性能指标略差于He和Tan的算法，这是因为天空中的云朵经He和Tan的算法处理之后颜色均有失真，复原后的云朵出现了许多不符合景物真实特征的边缘，导致性能指标值偏高，但对比复原场景的真实度和自然度，明显本发明具有更好的视觉愉悦性，这是因为本发明在求解全局大气光的过程中，基于人眼视觉阈值性对加权求解过程进行约束，从而使得人眼能够更好的区分图像中的景物和背景，同时避免大气光参与成像造成的颜色失真。
以下将对本发明的发明思路作进一步的说明
1、相似块特性
无雾图像中存在大量以不同尺度重复出现的小像素块，这些像素块位于不同景深处，存在极高的相关性。在雾天图像中，景深不同处的像素块受到不同的退化和模糊，导致相似度降低。因此可以根据这种现象，最大化输出图像中成对像素块相关性实现雾天图像的清晰化。如图5(a)和图5(b)所示。
2、相似块在退化模型中分析
雾天图像退化模型如公式(1)所示：
I(x)＝L(x)t(x)+(1-t(x))A (1)
其中I(x)为输入雾天图像，L(x)为输出无雾图像，t(x)为介质传输率，A为环境大气光。L(x)t(x)为直接衰减项，直接衰减项造成图像模糊、对比度减小；(1-t(x))A为大气光项，大气光项造成图像色彩偏移，颜色失真。
本发明遵循普遍适用的三个假设条件：
1)介质传输率在RGB三个颜色通道内是相同的，介质传输率和景深相关；
2)介质传输率服从局部一致，即每个像素块的景深在局部区域保持不变；
3)环境大气光在每个像素块内也是保持局部一致；
此时，经过尺度变换后匹配的图像块满足：
其中，P1[x]和P2[x]分别表示景深差异最大的两个像素块，t1[x]和t2[x]分别表示P1[x]和P2[x]所对应的介质传输率，L(x)表示P1[x]和P2[x]共同对应的无雾图像像素块。根据假设条件2，t1[x]＝t1，t2[x]＝t2。又根据假设条件3，大气光在每个像素块内也是保持局部一致的，因此A1[x]＝A1，A2[x]＝A2。此时，在无雾条件下，像素块P1[x]和P2[x]具有一致性，且都等于它们所共同对应的无雾图像像素块。在有雾条件下，像素块由于位于不同景深导致雾天退化程度不同，使得成像结果中P1和P2看起来不再相同，如图2(b)所示。
3、相似块的介质传输率
为了不失一般性，将公式(2)两边同时减去均值，根据假设条件3，环境大气光在每个像素块内也是保持局部一致，因此大气光项被去除。此时，公式(2)变为：
公式(3)中Pi[x]＝Pi[x]-mean(Pi)，L[x]＝L[x]-mean(L)，mean()表示独立计算像素块内每个颜色通道的均值。为进一步估算其相对介质传输率，对公式(3)两边取l2范数可得：
根据范数性质可知，两个成对复现像素块介质传输率的比值可以简单的归纳为P1[x]和P2[x]各自标准差之间的比值：
对于已确定的相似像素块P1[x]和P2[x]所对应的的大气光A1[x]＝A2[x]＝A[x]，因此，公式(2)可以改写成：
(P1[x]-A[x])t2[x]＝(P2[x]-A[x])t1[x] (7)
因此最优传递图表示为：
和分别表示像素块和中心像素处的介质传输率。可由上述图像块的标准差比值获得，k表示图像中所有最相似块的总和。更为重要的是，为了更好约束相似图像，以引导滤波思路为牵引，我们利用边缘特性来约束图像，以期最大化表征边缘信息。表达式如下：
其中▽表示差分，为了进一步从视觉效果约束无雾图像中成对像素块的相关性，利用λ来对进行约束，λ取值越大，相关性越高，权值越大。
s.t.tLB(x)≤t(x)≤1
其中tLB(x)为最小的传递图，最后该式可以通过交叉迭代法进行求解。因此，整个问题变为如何求得大气光A[x]。
4、求解大气光值
在其他所有方法中，大气光的估计都是选取整幅场景的极大值，然而，这样会造成恢复图像过于偏亮或偏暗。因此，本发明假设相似块的大气光相同，A1[x]＝A2[x]＝A[x]，不同相似块大气光不同，最后，仿照引导滤波的方法，通过加权平均求解全局大气光。基于此思路，公式(2)可变形为：
由于相似块所对应相同的无雾图像，由公式(11)可得：
结合公式(5)和公式(12)可以得到：
(P2[x]-A)P1[x]-(P1[x]-A)P2[x]＝0 (13)
公式(13)中的约束关系对成对像素块中的所有像素点均适用，此时，通过最小二乘法可以估计出局部大气光。
k表示图像中所有最相似块的数量总和，最后通过将所有局部大气光取平均，即可得到全局大气光值。此处采用加权平均的方式来计算全局大气光A。
其中，wk为同一块内各个像素点值的环境大气光的权重，主要根据能够准确感知去雾后图像中物体和背景的差异的韦伯比求解，其应满足如下约束条件：
ΔLc(x)ΔIc(x),c∈R,G,B分别表示无雾、有雾图像各个颜色通道的亮度值变化，Lc(x)Ic(x),c∈R,G,B表示其对应的无雾、有雾图像各个颜色通道的背景亮度，表示理想无雾图像的背景亮度，JND反映了固定背景下人眼能够分辨的最小亮度差值,ε表示背景亮度，取值在[0，255]，T0表示背景亮度为0时的可见阈值，γ表示了背景亮度升高时，JND曲线模型中可见阈值函数的斜率，在本发明中T0设置为17，γ设置为3/128；
结合tLB(x)，联立方程可得：
令由tLB(x)表达式可知，在满足约束条件的情况下，可令由此可知：
因此，权值设置的表达式为：
成对像素块Pi(i＝1,2)中的值定义为
对于本领域的技术人员来说，可以根据以上的技术方案和构思，作出各种相应的改变和变形，而所有的这些改变和变形都应该包括在本发明权利要求的保护范围之内。

Claims (2)

1.一种基于视觉加权相似的图像质量清晰化方法，其特征在于，包括如下步骤：
S1输入原始雾天图像；
S2原始雾天图像经过采样变换后，呈现出多尺度金字塔结构，通过对图像在原始尺度和变换尺度上的两个像素块分别进行PCA变换分析，选取距离最远、景深差异最大的相似像素块，所述距离最远、景深差异最大的相似像素块满足下式：
其中，P1[x]和P2[x]分别表示图像在原始尺度和变换尺度上的相距最远、景深差异最大的两个相似像素块，t1[x]和t2[x]分别表示P1[x]和P2[x]所对应的介质传输率，L(x)表示P1[x]和P2[x]共同对应的无雾图像的像素块，A1[x]和A2[x]分别表示P1[x]和P2[x]的大气光；
S3将两边同时减去均值，假设环境大气光在每个像素块内保持局部一致，去除大气光项，可得：
其中，Pi[x]＝Pi[x]-mean(Pi)，i＝1,2，L[x]＝L[x]-mean(L)，mean()表示独立计算像素块内每个颜色通道的均值；
S4对两边取l2范数可得：
可得：
P1[x]和P2[x]的介质传输率的比值为P1[x]和P2[x]各自标准差之间的比值：
已确定的相似像素块P1[x]和P2[x]所对应的的大气光相等，A1[x]＝A2[x]＝A[x]，因此，改写成：
(P1[x]-A[x])t2[x]＝(P2[x]-A[x])t1[x]；
因此最优传递图表示为：
和分别表示距离最远、景深差异最大的相似像素块和中心像素处的介质传输率，由像素块和的标准差比值获得，k表示图像中具有的距离最远、景深差异最大的相似像素块对的数量总和；
S5利用边缘特性来约束图像，以期最大化表征边缘信息；表达式如下：
其中表示差分，为了进一步从视觉效果约束无雾图像中成对像素块的相关性，利用λ来进行约束，λ取值越大，相关性越高，权值越大，all pixels表示对图像所有像素点求解边缘信息；
可得：
其中t(x)为整幅图像的介质传输率，由每个像素块的中心像素的介质传输率集合获得；tLB(x)为最小的传递图；
S6求解大气光值：
由(P1[x]-A[x])t2[x]＝(P2[x]-A[x])t1[x]可得：
结合及上式可以得到：
(P2[x]-A[x])P1[x]-(P1[x]-A[x])P2[x]＝0；
约束关系(P2[x]-A[x])P1[x]-(P1[x]-A[x])P2[x]＝0对成对像素块中的所有像素点均适用，此时，假设最相似的两个相似块P1[x]和P2[x]其内在蕴含的大气光值相同，因此，通过最小二乘法估计出局部大气光：
其中，k1、k2为第k对相似块中的两个图像块；最后通过将所有局部大气光取平均，即可得到全局大气光值A；
S7通过下式计算得到输出图像：
其中I(x)为输入雾天图像，L(x)为输出无雾图像，t(x)为整幅图像的介质传输率，A为全局大气光值。
2.根据权利要求1所述的基于视觉加权相似的图像质量清晰化方法，其特征在于，步骤S6中，采用加权平均的方式来计算全局大气光：
其中，wk为相应的像素块内各个像素点值的环境大气光的权重，主要根据能够准确感知去雾后图像中物体和背景差异的韦伯比求解，其应满足如下约束条件：
ΔJc[x]和ΔIc[x],c∈R,G，B分别表示无雾图像块和有雾图像块各个颜色通道的亮度值变化，由于雾天图像中雾气主要表现为低频成分ILc[x],因此ΔIc[x]＝Ic[x]-ILc[x]；Jc[x]和Ic[x],c∈R,G,B分别表示其对应的无雾图像和有雾图像块各个颜色通道的背景亮度；表示理想无雾图像块的背景亮度，IR[x]、IG[x]、IB[x]分别代表红绿蓝三个通道的图像块亮度值，JND反映了固定背景下人眼能够分辨的最小亮度差值；
ε表示图像块的背景亮度，取值在[0，255]，T0表示背景亮度为0时的可见阈值，γ表示了背景亮度升高时，JND曲线模型中可见阈值函数的斜率；
结合tLB[x]，联立方程可得：
由于传递图与颜色通道无关，为了均衡各个通道，让其中ΔIR[x]、ΔIG[x]、ΔIB[x]分别表示三个颜色通道内的亮度值变化；在满足上述联立方程的边界约束条件下，令I′c[x]＝minIc[x]，由此可知：
考虑到相似块的景深要尽可能大这一因素，因此，权值设置的表达式为：
CN201710646517.1A 2017-04-25 2017-08-01 一种基于视觉加权相似的图像质量清晰化方法 Active CN107451975B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710273868 2017-04-25
CN2017102738682 2017-04-25

Publications (2)

Publication Number Publication Date
CN107451975A CN107451975A (zh) 2017-12-08
CN107451975B true CN107451975B (zh) 2019-06-07

Family

ID=60490612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710646517.1A Active CN107451975B (zh) 2017-04-25 2017-08-01 一种基于视觉加权相似的图像质量清晰化方法

Country Status (1)

Country Link
CN (1) CN107451975B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389175B (zh) * 2018-04-26 2021-05-18 长安大学 融合变差函数和颜色衰减先验的图像去雾方法
CN113408635B (zh) * 2021-06-29 2022-03-08 哈尔滨工业大学 基于数字表面模型辅助的高光谱图像本征分解方法
CN113628142B (zh) * 2021-08-19 2022-03-15 湖南汽车工程职业学院 一种基于相似模拟的图片清晰化处理系统
CN114677574B (zh) * 2022-05-26 2022-10-21 杭州宏景智驾科技有限公司 用于自动驾驶的诊断图像故障的方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065288A (zh) * 2013-01-21 2013-04-24 信帧电子技术（北京）有限公司 图像去雾方法及装置
CN104318535A (zh) * 2014-11-20 2015-01-28 广东欧珀移动通信有限公司 图像去雾的方法、装置及移动终端
CN105023256A (zh) * 2015-08-13 2015-11-04 丘璇 一种图像去雾方法及系统
CN105469372A (zh) * 2015-12-30 2016-04-06 广西师范大学 一种基于均值滤波的雾天图像清晰化处理方法
CN106530246A (zh) * 2016-10-28 2017-03-22 大连理工大学 基于暗通道与非局部先验的图像去雾方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065288A (zh) * 2013-01-21 2013-04-24 信帧电子技术（北京）有限公司 图像去雾方法及装置
CN104318535A (zh) * 2014-11-20 2015-01-28 广东欧珀移动通信有限公司 图像去雾的方法、装置及移动终端
CN105023256A (zh) * 2015-08-13 2015-11-04 丘璇 一种图像去雾方法及系统
CN105469372A (zh) * 2015-12-30 2016-04-06 广西师范大学 一种基于均值滤波的雾天图像清晰化处理方法
CN106530246A (zh) * 2016-10-28 2017-03-22 大连理工大学 基于暗通道与非局部先验的图像去雾方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"基于Color Lines 先验的高阶马尔科夫随机场去雾";毕笃彦 等;《电子与信息学报》;20160930;第38卷(第9期);第2405-2409页
"基于局部一致性的马尔可夫随机场去雾";眭萍 等;《系统工程与电子技术》;20170531;第39卷(第5期);第1154-1159页
"退化过程模拟模型及其在图像增强中的应用";李权合 等;《西安电子科技大学学报《自然科学版》》;20111231;第38卷(第6期);第185-192页
"雾霾退化图像场景再现新算法";李权合 等;《西安电子科技大学学报（自然科学版）》;20131031;第40卷(第5期);第99-106页

Also Published As

Publication number Publication date
CN107451975A (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
CN107451975B (zh) 一种基于视觉加权相似的图像质量清晰化方法
He et al. Haze removal using the difference-structure-preservation prior
CN109272455B (zh) 基于弱监督生成对抗网络的图像去雾方法
CN102930514A (zh) 基于大气物理散射模型的快速图像去雾方法
Negru et al. Exponential contrast restoration in fog conditions for driving assistance
CN102663697B (zh) 一种水下彩色视频图像的增强方法
CN103020920B (zh) 一种低照度图像增强方法
CN108734670B (zh) 单幅夜间弱照度雾霾图像的复原方法
CN103198459B (zh) 雾霾图像快速去雾方法
CN110889813A (zh) 基于红外信息的低光图像增强方法
CN104299192B (zh) 一种基于大气光散射物理模型的单幅图像去雾方法
CN105931208B (zh) 基于物理模型的低照度图像增强算法
US20160293138A1 (en) Image processing method, image processing apparatus and display device
CN109410171B (zh) 一种用于雨天图像的目标显著性检测方法
CN107292830B (zh) 低照度图像增强及评价方法
CN109523480A (zh) 一种海雾图像的去雾方法、装置、计算机存储介质及终端
CN105959510B (zh) 一种视频快速去雾方法
CN102903081A (zh) 基于rgb彩色模型的低光照图像增强方法
CN105913390B (zh) 一种图像去雾方法及系统
CN103034983B (zh) 一种基于各向异性滤波的去雾方法
CN107301624A (zh) 基于区域划分及浓雾预处理的卷积神经网络去雾算法
CN108257101B (zh) 一种基于最优复原参数的水下图像增强方法
CN104331867B (zh) 图像去雾的方法、装置及移动终端
CN109741285B (zh) 一种水下图像数据集的构建方法及系统
CN105701783A (zh) 一种基于环境光模型的单幅图像去雾方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant