CN109118450B - 一种沙尘天气条件下的低质图像增强方法 - Google Patents
一种沙尘天气条件下的低质图像增强方法 Download PDFInfo
- Publication number
- CN109118450B CN109118450B CN201810951041.7A CN201810951041A CN109118450B CN 109118450 B CN109118450 B CN 109118450B CN 201810951041 A CN201810951041 A CN 201810951041A CN 109118450 B CN109118450 B CN 109118450B
- Authority
- CN
- China
- Prior art keywords
- image
- channel
- mapping table
- color
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 239000004576 sand Substances 0.000 title abstract description 17
- 238000013507 mapping Methods 0.000 claims abstract description 83
- 239000000428 dust Substances 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000009466 transformation Effects 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 230000002708 enhancing effect Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 description 11
- 238000001914 filtration Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Abstract
本发明公开了一种沙尘天气条件下的低质图像增强方法，步骤如下：步骤1、读入待处理图像I，将图像转换到RGB空间；步骤2、设定噪声容限σt，对待处理图像I的RGB的每个通道计算灰度直方图和均值，根据灰度直方图计算每个通道有效动态范围Δi，取有效动态范围最大的通道为参考通道，根据各通道均值和有效动态范围计算总体最小和最大有效灰度值，进而计算延伸系数α；步骤3、根据步骤2求取的参数计算颜色映射表M：步骤4、通过查颜色映射表对待处理图像进行低质图像增强，获得最终图像进行输出。能够对颜色失真图像进行快速全局色彩校正，防止处理中对图像色彩形成二次失真，针对沙尘等恶劣天气条件下的降质图像能够进行更好和更快的增强。
Description
技术领域
本发明属于图像处理技术领域，具体设计一种沙尘天气条件下的低质图像增强方法。
背景技术
随着计算机视觉系统的发展，其在军事、交通以及安全监控等领域的应用日渐广泛，由于雾、霾、风沙、雨雪等恶劣天气导致成像质量显著下降，成为图像退化的重要原因，去除气象变化造成的视觉干扰，能够提高后续目标检测、跟踪、识别的准确度，因此针对恶劣天气环境下的图像增强技术已经成为数字图像处理和计算机视觉领域的重要研究方向。
沙尘天气的形成原因主要是土壤风蚀和气流扬尘等的物理机制，且随着沙尘浓度的增大和风力增强，沙尘天气破坏力逐渐加大。当出现沙尘暴时，水平能见度下降至1千米内，出现强沙尘暴时，水平能见度小于500米。沙尘天气导致的天色昏暗、空气浑浊、能见度降低，严重影响人的正常生活，同时给室外观测和监控带来巨大困难。
沙尘天气导致图像采集设备获取的图像发生不同程度退化，主要原因是沙尘天气下，沙尘颗粒的直径比可见光的波长更大，在Mai散射的作用下，蓝色至紫色区间的光被大量散射，红色至蓝色区间的光可以进行衍射而透射，从而被成像系统获取的图像出现整体偏黄色、色彩偏移、对比度和能见度降低等问题。当退化图像用于监视或观察时，不仅使得观测距离严重下降，影响室外监控、航拍、卫星遥感等各类成像系统的工作性能，也可能使观测到的目标由于图像的失真，给后续如目标检测、识别、跟踪等计算机视觉应用带来困难。因此，研究图像的去沙尘增强的技术具有重要的现实意义。
图像去沙尘是一种图像增强技术，经典的图像增强方法有：
1960年Thomas Stockham和Alan V.Oppenheim等提出的同态滤波算法，是一种把频域滤波和空域灰度变换结合的方法，用一高通滤波器对图像在对数空间进行滤波，抑制图像的低频成分、增强图像的高频成分，从而使得大气光对图像的影响减少，而物体的本质灰度进一步凸显。在处理亮度不均的图像方面它有着显著的优越性，因此在去雾方面得到了广泛应用。
1963年Land等基于色彩恒常性提出视网膜皮层理论(Retinex)。随着计算机技术的发展，在20世纪70年代，研究人员提出了通过计算理论解释色彩恒常的方法，认为人类视觉系统能够自动去除环境中不确定因素的影响，保留反映物体本质特征的信息。基于这一基础，发展出Retinex理论，其具有非常广泛的影响和应用。
沙尘图像有区别于其它降质图像的特点，但目前，国内外对图像去沙尘增强技术的研究相对较少。对恶劣天气下的图像增强的研究主要集中在图像去雾和图像去霾上。目前，对沙尘图像的增强算法主要分为基于经典去雾霾算法的改进、图像对比度增强、颜色校正这3个类别。
由于沙尘图像在降质性质上与雾霾图像部分类似，去雾霾的方法可以被直接或间接使用在沙尘图像增强上。经典的去雾邻域的研究有：2008年Tan通过最大化局部对比度的方法实现去雾，2008年Fattal、2009年He、2013年Gibson、2013年Ancuti、2015年Liu等人也分别先后提出了不同的单帧图像去雾方法。其中，2009年He等通过对大量无雾图像统计特征的观察，发现了被命名为暗通道先验的先验规律，He等运用这一先验对大气透射率进行粗略估计，带入大气散射模型复原出了无雾图像。其采用的软抠图的方法，虽然透射率透化的很精细但是速度慢效率低。2013年使用引导滤波替代软抠图处理，较大地提高了效率。2015年He、Sun等提出了一种快速引导滤波算法，加快导向滤波速度的同时保证透射率细化质量基本不变以达到去雾效果。
考虑到沙尘降质图像由于沙尘对光的散射，使得图像灰度动态范围变得集中，因此基于图像对比度增强的方法也可用于沙尘图像增强。这类方向上有2013年Chen、2014年Yan、2014年Huang等人进行的研究，取得了一定效果。
由于沙尘图像的一个重要特征就是图像颜色整体典型地偏向黄色，因此颜色校正的方法也被用于沙尘图像增强。其中2002年Rizzi等人提出了使用白块的方法。2012年Getreuer提出了一种自动颜色增强的快速算法。2015年Gao等人提出了基于Retinex模型在HIS空间的色彩增强方法。
在上述各种方法中，基于Retinex的方法是常用的色彩恢复方法，在对恶劣天气条件下采集的图像进行颜色校正时具有良好的效果，但是运行速度较慢；基于暗通道的方法是常用的去雾方法，在用于薄雾霾、远景雨雪、色彩校正后的沙尘图像等时，具有良好的恢复效果，但这些方法在处理浓雾霾、雨雪、沙尘时通常效果较差，用于有色彩严重失真的图像时，通常不具有色彩校正作用，从而失去作用，且由于暗通道算法的机制，其运行速度较慢。而将这两种方法结合时，其运行时间无法满足作为实时高清图像处理系统的预处理模块的要求。
发明内容
本发明的目的在于：解决目前沙尘天气条件下图像增强方法无法对图像偏色现象进行修正，可能造成图像失真，图像增强效果不好的问题，提出一种沙尘天气条件下的低质图像增强方法。
本发明采用的技术方案如下：
一种沙尘天气条件下的低质图像增强方法，方法包括如下步骤：
步骤1、读入待处理图像I，将图像转换到RGB空间；
步骤2、设定噪声容限σt，对待处理图像I的RGB的每个通道计算灰度直方图和均值，根据灰度直方图计算每个通道有效动态范围Δi，取有效动态范围最大的通道为参考通道，根据各通道均值和有效动态范围计算总体最小和最大有效灰度值，进而计算延伸系数α；
步骤3、根据步骤2求取的参数计算颜色映射表M：
Mi，j＝α×[j+μi，Idx-L]i＝r，g，b j＝0，1，…，n-1，
其中，i表示3个颜色通道，n为图像I的灰度级数，α为延伸系数，μi，Idx为各通道与参考通道的均值差，L为总体最小有效灰度值；；
步骤4、通过查颜色映射表对待处理图像进行低质图像增强，获得最终图像进行输出。
进一步，所述步骤1还包括判断颜色映射表是否需要初始化或更新步骤：若未计算过颜色映射表，则继续步骤2进行颜色映射表初始化；若距上一次计算颜色映射表，其间间隔帧数超过设定的阈值f，则继续步骤2进行颜色映射表更新；若不满足前述两个条件，则直接进入步骤4。
进一步，所述步骤2中待处理图像I的RGB的每个通道均值计算公式如下：
其中i表示3个颜色通道，μi为对应通道的均值，n为I中像素的总个数，Ii为I中每个像素的灰度值。
进一步，所述步骤2中待处理图像I的RGB的每个通道的有效动态范围Δi的计算过程如下：
步骤a、取步骤2中所得灰度直方图Histi，求满足以下公式的每个通道的最小有效灰度值Li和最大有效灰度值Hi：
其中，i表示3个颜色通道，Histi，j为灰度直方图Histi中灰度值j对应的像素个数，σt为设定的噪声容限，n为图像I的灰度级数；
其中，i表示3个颜色通道，Histi，j为灰度直方图Histi中灰度值j对应的像素个数，σt为设定的噪声容限，n为图像I的灰度级数；
步骤b、计算待处理图像I的RGB的每个通道的有效动态范围Δi，其公式如下：
Δi＝Hi-Li i＝r，g，b
其中，i表示3个颜色通道。
进一步，所述步骤2中参考通道记为Idx，计算公式如下：
Idx＝{j|Δi＝max(Δi)}i＝r，g，b
其中，i表示3个颜色通道，Δi为每个通道的有效动态范围；
总体最小有效灰度值L和最大有效灰度值H的计算公式如下：
L＝min(Li+μIdx-μi)i＝r，g，b
H＝max(Hi+μIdx-μi)i＝r，g，b
其中，i表示3个颜色通道，μi为对应通道的均值，μIdx为参考通道的均值，Li为每个通道的最小有效灰度值，Hi为最大有效灰度值；
延伸系数α的计算公式如下：
其中，n为图像I的灰度级数，L和H分别为总体最小、最大有效灰度值。
进一步，所述步骤3计算颜色映射表M的过程如下：
步骤3.1、对RGB各通道计算与参考通道的均值差μi，Idx，公式如下：
μi，Idx＝μIdx-μi i＝r，g，b
其中，i表示3个颜色通道，μi为对应通道的均值，μIdx为参考通道的均值；
步骤3.2：计算颜色映射表M，公式如下：
Mi，j＝α×[j+μi，Idx-L]i＝r，g，b j＝0，1，…，n-1
其中，i表示3个颜色通道，n为图像I的灰度级数，α为延伸系数，μi，Idx为各通道与参考通道的均值差，L为总体最小有效灰度值，颜色映射表M是一个3行n列的映射表，第1、2、3行分别对应R、G、B通道的子映射表，M中每个元素的值应限定为0，1，…，n-1，通过公式右端算得小于0的值取0，大于n-1的值取n-1。
进一步，所述步骤4过程如下：
步骤4.1、对待处理图像I查颜色映射表M进行增强，得到增强后的图像I′i，j，公式如下：
其中，i表示3个颜色通道，j表示对应通道内的各个像素，I′i，j和Ii，j分别表示图像I′和I中，i通道中的j像素的像素灰度值，M为颜色映射表；
步骤4.2、将图像I′作为最终结果输出，此时，若所需处理的视频或图像序列尚未结束，可进入步骤1继续对下一帧图像进行处理，若全部图像已经完成处理，则结束。
进一步，所述步骤4中在步骤4.2之前，可对I′i，j使用对数变换进行进一步调整，对数变换可通过查对数变换表完成，公式如下：
其中，i表示3个颜色通道，I″和I′分别表示对数变换调整后和调整前的图像，L是1行n列的对数变换表，其公式如下：
其中，a是对数变换的常数，n是图像I的灰度级数，L的元素的值范围应限定为0，1，…，n-1；
最后将图像I″作为最终结果输出。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明中，基于无偏色图像RGB三个通道的灰度均值相等或相近的假设，通过取动态范围最大的通道作为参考通道，设计颜色映射公式并利用公式计算颜色映射表进行图像变换，对偏色图像的三个通道进行调整，能够对颜色失真图像进行快速全局色彩校正；
2、本发明中，通过设计的颜色映射公式计算颜色映射表进行图像变换，可以在满足设定的噪声容限参数下，同时对三个通道的灰度动态范围进行尽可能地拉伸，结合对数变换，增强了对比度，同时防止了处理中对图像色彩形成二次失真，并且相较于基本的基于暗通道的图像去雾算法和基于Retinex的方法，针对沙尘等恶劣天气条件下的降质图像能够进行更好和更快的增强；
3、本发明中，读入待处理图像I后，判断颜色映射表是否需要初始化或更新步骤，若未计算过颜色映射表，则继续步骤2进行颜色映射表初始化；若距上一次计算颜色映射表，其间间隔帧数超过设定的阈值f，则继续步骤2进行颜色映射表更新；若不满足前述两个条件，则直接进入步骤4，颜色映射表计算复杂度低，运行耗时少，且处理视频和连续图像序列时，仅需第一帧初始化映射表和每隔一定帧数更新映射表，处理其它帧时仅需查颜色映射表和对数变换表即可，算法复杂度低，经测试在2048×1024像素尺寸的高清彩色图像上平均耗时5ms，相较于基本的基于暗通道的算法和Retinex算法，耗时至少低一个数量级，可以满足实时图像处理的需求，可以作为实时高清图像处理系统的预处理模块，解决了目前基于暗通道方法、Retinex等低质图像增强算法运行耗时较长，难以作为预处理模块用于实时高清图像处理系统的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例1方法流程图；
图2为原始沙尘天气条件下的降质图像；
图3为原始沙尘天气条件下的降质图像的三通道灰度分布；
图4为基于暗通道的图像去雾方法处理后的图像；
图5为基于暗通道的图像去雾方法处理后的图像的三通道灰度分布；
图6为基于多尺度Retinex方法处理后的图像；
图7为基于多尺度Retinex方法处理后的图像的三通道灰度分布；
图8为本发明实施例1方法处理后的图像；
图9为本发明实施例1方法处理后的图像的三通道灰度分布。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
一种沙尘天气条件下的低质图像增强方法，主要包括三个部分，一是对待处理图像的读取和色彩空间的按需转换，二是按需进行颜色映射表的计算和更新，三是查颜色映射表和按需查对数变换表对待处理图像进行增强。具体包括以下内容：读取降质图像，若图像不在RGB空间，则将图像转换到RGB空间；若需要初始化或更新颜色映射表，则进行颜色映射表计算，先计算RGB三个通道每个通道的灰度直方图、均值和有效动态范围，再取有效动态范围最大的通道为参考通道，计算总体最小和最大有效灰度值、延伸系数，然后通过提出的颜色调整公式计算颜色映射表；对待处理图像，通过查颜色映射表进行增强，若有需要，可通过查对数变换表进行进一步调整，最终得到颜色真实、细节清晰、动态范围提升的增强图像作为输出。
具体包括以下步骤：
步骤1、读入待处理图像I，如图像不在RGB空间则将图像转换到RGB空间。
进一步，所述步骤1还包括判断颜色映射表是否需要初始化或更新步骤：若未计算过颜色映射表，则继续步骤2进行颜色映射表初始化；若距上一次计算颜色映射表，其间间隔帧数超过设定的阈值f，则继续步骤2进行颜色映射表更新(f的典型取法为取0，逐帧计算或取源视频的帧率，每秒计算一次)；若不满足前述两个条件，则直接进入步骤4。这样颜色映射表计算复杂度低，运行耗时少，且处理视频和连续图像序列时，仅需第一帧初始化映射表和每隔一定帧数更新映射表，处理其它帧时仅需查颜色映射表和对数变换表即可，算法复杂度低，经测试在2048×1024像素尺寸的高清彩色图像上平均耗时5ms，相较于基本的基于暗通道的算法和Retinex算法，耗时至少低一个数量级，可以满足实时图像处理的需求，可以作为实时高清图像处理系统的预处理模块，解决了目前基于暗通道方法、Retinex等低质图像增强算法运行耗时较长，难以作为预处理模块用于实时高清图像处理系统的问题。
步骤2、设定噪声容限，对待处理图像的RGB三个通道的每个通道计算灰度直方图、均值和有效动态范围。具体步骤为：
步骤2.1：设定噪声容限σt；
步骤2.2：分别对待处理图像I的R、G、B每个通道计算灰度直方图Histr、Histg、Histb；
步骤2.3：分别对待处理图像I的R、G、B每个通道计算均值，公式如下：
其中，i表示3个颜色通道，μi为对应通道的均值，n为I中像素的总个数，Ii为I中每个像素的灰度值；
步骤2.4：分别对待处理图像l的R、G、B每个通道计算有效动态范围Δi。具体步骤为：
步骤2.4.1：取步骤2.2中所得灰度直方图Histi，求满足以下公式的各通道最小有效灰度值Li：
其中，i表示3个颜色通道，Histi，j为灰度直方图Histi中，灰度值j对应的像素个数，σt为设定的噪声容限，n为图像I的灰度级数；
步骤2.4.2：取步骤2.2中所得灰度直方图Histi，求满足以下公式的各通道最大有效灰度值Hi：
其中，i表示3个颜色通道，Histi，j为灰度直方图Histi中，灰度值j对应的像素个数，σt为设定的噪声容限，n为图像I的灰度级数；
步骤2.4.3：计算各通道的有效动态范围Δi，其公式如下：
Δi＝Hi-Li i＝r，g，b
其中，i表示3个颜色通道。
步骤2.5、取有效动态范围最大的通道为参考通道，根据各通道均值和有效动态范围计算最小和最大有效灰度值，计算延伸系数。具体步骤为：
步骤2.5.1：取动态范围最大的通道为参考通道，记其通道为Idx，公式如下：
Idx＝{j|Δj＝max(Δi)}i＝r，g，b
其中，i表示3个颜色通道，Δi为所得各通道有效动态范围；
步骤2.5.2：计算总体最小有效灰度值L和最大有效灰度值H，公式如下：
L＝min(Li+μIdx-μi)i＝r，g，b
H＝max(Hi+μIdx-μi)i＝r，g，b
步骤2.5.3：计算延伸系数α，公式如下：
其中，n为图像I的灰度级数，L和H为得到的总体最小、最大有效灰度值。
步骤3、计算颜色映射表。具体步骤为：
步骤3.1：对每个颜色通道计算与参考通道的均值差μi，Idx，公式如下：
μi，Idx＝μIdx-μi i＝r，g，b
其中，i表示3个颜色通道，μIdx为确定的参考通道均值；
步骤3.2：计算颜色映射表M，公式如下：
Mi，j＝α×[j+μi，Idx-L]i＝r，g，b j＝0，1，…，n-1
其中，i表示3个颜色通道，n为图像I的灰度级数，α为得到的延伸系数，μi，Idx为得到的各通道均值差，L为得到的总体最小有效灰度值，颜色映射表M是一个3行n列的映射表，第1、2、3行分别对应R、G、B通道的子映射表。
步骤4、对待处理图像，通过查颜色映射表进行增强，如有需要，通过查对数变换表对图像灰度进行进一步调整，获得最终图像进行输出。具体步骤为：
步骤4.1：对待处理图像，查颜色映射表进行增强，得到增强后的图像I′i，j，公式如下：
其中，i表示3个颜色通道，j表示对应通道内的各个像素，I′i，j和Ii，j分别表示图像I′和I中，i通道中的j像素的像素灰度值，M为得到的颜色映射表；
步骤4.2：如有需要，对I′i，j使用对数变换进行进一步调整，否则令I″＝I′并直接进入步骤4.3。对数变换可通过查对数变换表完成，公式如下：
其中，i表示3个颜色通道，I″和I′分别表示对数变换调整后和调整前的图像，L是1行n列的对数变换表，其公式如下：
其中，a是对数变换的常数，n是图像I的灰度级数，L的元素的值范围应限定为0，1，…，n-1；
步骤4.3：将图像I″作为最终结果输出，此时，若所需处理的视频或图像序列尚未结束，可进入步骤1继续对下一帧图像进行处理，若全部图像已经完成处理，则结束。
本发明用于视频或连续图像序列处理时，可以设置不更新颜色映射表或每隔30帧或更长进行一次更新，可以进一步节省算法平均耗时。此外，对数变换用来拉伸灰度值较低的区域的灰度分布，压缩灰度值较高的区域的灰度分布，以获得更好的视觉效果，但若无需要，可不进行最后的对数变换增强，可以一定程度上节省耗时。经大量测试，在开启对数变换增强的情况下，本方法在2048×1024像素尺寸的彩色图像上，连续运行平均总耗时仅约5ms。本发明彩色图增强效果对比黑白更加明显，此处应要求附图为黑白。
实施例1
一种沙尘天气条件下的低质图像增强方法，方法流程图如图1所示，步骤如下：
步骤1、读入待处理图像I，将图像转换到RGB空间，若颜色映射表需要初始化或更新，则进入步骤2，否则，进入步骤4。具体步骤为：
步骤1.1：读入待处理图像I；
步骤1.2：若待处理图像不是RGB图像，则将待处理图像转换到RGB空间，若待处理图像是RGB图像，则直接进行下一步骤1.3；
步骤1.3：若未计算过颜色映射表，则进入步骤2进行颜色映射表初始化；
步骤1.4：若距上一次计算颜色映射表，其间间隔帧数已超过一个设定的阈值f，则进入步骤2进行颜色映射表更新；
步骤1.5：若不满足步骤1.3和1.4条件，则直接进入步骤4。
步骤2、设定噪声容限，对待处理图像的RGB三个通道的每个通道计算灰度直方图、均值和有效动态范围；具体步骤为：
步骤2.1：设定噪声容限σt；
步骤2.2：分别对待处理图像I的R、G、B每个通道计算灰度直方图Histr、Histg、Histb；
步骤2.3：分别对待处理图像I的R、G、B每个通道计算均值，公式如下：
其中，i表示3个颜色通道，μi为对应通道的均值，n为I中像素的总个数，Ii为I中每个像素的灰度值；
步骤2.4：分别对待处理图像I的R、G、B每个通道计算有效动态范围Δi。具体步骤为：
步骤2.4.1：取步骤2.2中所得灰度直方图Histi，求满足以下公式的各通道最小有效灰度值Li：
其中，i表示3个颜色通道，Histi，j为灰度直方图Histi中灰度值j对应的像素个数，例如：Histr，100表示原图R通道中，灰度值等于100的像素的个数，σt为设定的噪声容限，n为图像I的灰度级数；
步骤2.4.2：取步骤2.2中所得灰度直方图Histi，求满足以下公式的各通道最大有效灰度值Hi：
其中，i表示3个颜色通道，Histi，j为灰度直方图Histi中，灰度值j对应的像素个数，σt为设定的噪声容限，n为图像I的灰度级数；
步骤2.4.3：计算各通道的有效动态范围Δi，其公式如下：
Δi＝Hi-Li i＝r，g，b
其中，i表示3个颜色通道。
步骤2.5、取有效动态范围最大的通道为参考通道，根据各通道均值和有效动态范围计算最小和最大有效灰度值，计算延伸系数。具体步骤为：
步骤2.5.1：取动态范围最大的通道为参考通道，记其通道为Idx，公式如下：
Idx＝{j|Δj＝max(Δi)}i＝r，g，b
其中，i表示3个颜色通道，Δi为所得各通道有效动态范围；
步骤2.5.2：计算总体最小有效灰度值L和最大有效灰度值H，公式如下：
L＝min(Li+μIdx-μi)i＝r，g，b
H＝max(Hi+μIdx-μi)i＝r，g，b
步骤2.5.3：计算延伸系数α，公式如下：
其中，n为图像I的灰度级级数，L和H为得到的总体最小、最大有效灰度值。
步骤3、计算颜色映射表。具体步骤为：
步骤3.1：对每个颜色通道计算与参考通道的均值差μi，Idx，公式如下：
μi，Idx＝μIdx-μi i＝r，g，b
其中，i表示3个颜色通道，μIdx为确定的参考通道均值；
步骤3.2：计算颜色映射表M，公式如下：
Mi，j＝α×[j+μi，Idx-L]i＝r，g，b j＝0，1，…，n-1
其中，i表示3个颜色通道，n为图像I的灰度级数，α为得到的延伸系数，μi，Idx为得到的各通道均值差，L为得到的总体最小有效灰度值，颜色映射表M是一个3行n列的映射表，第1、2、3行分别对应R、G、B通道的子映射表，M中每个元素的值应限定为0，1，…，n-1，通过公式右端算得小于0的值取0，大于n-1的值取n-1。
步骤4、对待处理图像，通过查颜色映射表进行增强，如有需要，通过查对数变换表对图像灰度进行进一步调整，获得最终图像进行输出。具体步骤为：
步骤4.1：对待处理图像，查颜色映射表进行增强，得到增强后的图像I′i，j，公式如下：
其中，i表示3个颜色通道，j表示对应通道内的各个像素，I′i，j和Ii，j分别表示图像I′和I中，i通道中的j像素的像素灰度值，M为得到的颜色映射表；
步骤4.2：对I′i，j使用对数变换进行进一步调整，对数变换可通过查对数变换表完成，公式如下：
其中，i表示3个颜色通道，I″和I′分别表示对数变换调整后和调整前的图像，L是1行n列的对数变换表，其公式如下：
其中，a是对数变换的常数，n是图像I的灰度级数，L的元素的值范围应限定为0，1，…，n-1；
步骤4.3：将图像I″作为最终结果输出，此时，若所需处理的视频或图像序列尚未结束，可进入步骤1继续对下一帧图像进行处理，若全部图像已经完成处理，则结束。
图2为原始恶劣天气条件下的降质图像，图3为原始恶劣天气条件下的降质图像的三通道灰度分布，图4为基于暗通道的图像去雾方法处理后的图像，图5为基于暗通道的图像去雾方法处理后的图像的三通道灰度分布，图6为基于多尺度Retinex方法处理后的图像，图7为基于多尺度Retinex方法处理后的图像的三通道灰度分布，图8为本方法处理后的图像，图9为本方法处理后的图像的三通道灰度分布。可见本方法能够很好地针对沙尘等恶劣天气条件下的降质图像进行更好和更快的增强，且防止了处理中对图像色彩形成二次失真，相比于现有基于暗通道的图像去雾方法和基于多尺度Retinex方法应用效果都更好。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种沙尘天气条件下的低质图像增强方法，其特征在于：方法包括如下步骤：
步骤1、读入待处理图像I，将图像转换到RGB空间；
步骤2、设定噪声容限σt，对待处理图像I的RGB的每个通道计算灰度直方图和均值，根据灰度直方图计算每个通道有效动态范围Δi，取有效动态范围最大的通道为参考通道，根据各通道均值和有效动态范围计算总体最小和最大有效灰度值，进而计算延伸系数α，
所述待处理图像I的RGB的每个通道均值计算公式如下：
其中i表示3个颜色通道，μi为对应通道的均值，n为I中像素的总个数，Ii为I中每个像素的灰度值，
所述参考通道记为Idx，计算公式如下：
Idx＝{j|Δj＝max(Δi)}i＝r,g,b
其中，i表示3个颜色通道，Δi为每个通道的有效动态范围；
总体最小有效灰度值L和最大有效灰度值H的计算公式如下：
L＝min(Li+μIdx-μi)i＝r,g,b
H＝max(Hi+μIdx-μi)i＝r,g,b
其中，i表示3个颜色通道，μi为对应通道的均值，μIdx为参考通道的均值，Li为每个通道的最小有效灰度值，Hi为最大有效灰度值；
延伸系数α的计算公式如下：
其中，n为图像I的灰度级数，L和H分别为总体最小、最大有效灰度值；
步骤3、根据步骤2求取的参数计算颜色映射表M：
Mi,j＝α×[j+μi,Idx-L]i＝r,g,b j＝0,1,…,n-1，
其中，i表示3个颜色通道，n为图像I的灰度级数，α为延伸系数，μi,Idx为各通道与参考通道的均值差，L为总体最小有效灰度值；
步骤4、通过查颜色映射表M对待处理图像进行低质图像增强，获得最终图像进行输出；
所述步骤3计算颜色映射表M的过程如下：
步骤3.1、对RGB各通道计算与参考通道的均值差μi,Idx，公式如下：
μi,Idx＝μIdx-μi i＝r,g,b
其中，i表示3个颜色通道，μi为对应通道的均值，μIdx为参考通道的均值；
步骤3.2：计算颜色映射表M，公式如下：
Mi,j＝α×[j+μi,Idx-L]i＝r,g,b j＝0,1,…,n-1
其中，i表示3个颜色通道，n为图像I的灰度级数，α为延伸系数，μi,Idx为各通道与参考通道的均值差，L为总体最小有效灰度值，颜色映射表M是一个3行n列的映射表，第1、2、3行分别对应R、G、B通道的子映射表，M中每个元素的值应限定为0,1,…,n-1，通过公式右端算得小于0的值取0，大于n-1的值取n-1。
2.根据权利要求1所述的一种沙尘天气条件下的低质图像增强方法，其特征在于：所述步骤1还包括判断颜色映射表M是否需要初始化或更新步骤：若未计算过颜色映射表M，则继续步骤2进行颜色映射表M初始化；若距上一次计算颜色映射表M，其间间隔帧数超过设定的阈值f，则继续步骤2进行颜色映射表M更新；若不满足前述两个条件，则直接进入步骤4。
3.根据权利要求1所述的一种沙尘天气条件下的低质图像增强方法，其特征在于：所述步骤2中待处理图像I的RGB的每个通道的有效动态范围Δi的计算过程如下：
步骤a、取步骤2中所得灰度直方图Histi，求满足以下公式的每个通道的最小有效灰度值Li和最大有效灰度值Hi：
其中，i表示3个颜色通道，Histi,j为灰度直方图Histi中灰度值j对应的像素个数，σt为设定的噪声容限，n为图像I的灰度级数；
其中，i表示3个颜色通道，Histi,j为灰度直方图Histi中灰度值j对应的像素个数，σt为设定的噪声容限，n为图像I的灰度级数；
步骤b、计算待处理图像I的RGB的每个通道的有效动态范围Δi，其公式如下：
Δi＝Hi-Li i＝r,g,b
其中，i表示3个颜色通道。
4.根据权利要求1所述的一种沙尘天气条件下的低质图像增强方法，其特征在于：所述步骤4过程如下：
步骤4.1、对待处理图像I查颜色映射表M进行增强，得到增强后的图像I'i,j，公式如下：
其中，i表示3个颜色通道，j表示对应通道内的各个像素，I'i,j和Ii,j分别表示图像I'和I中，i通道中的j像素的像素灰度值，M为颜色映射表；
步骤4.2、将图像I'作为最终结果输出，此时，若所需处理的视频或图像序列尚未结束，可进入步骤1继续对下一帧图像进行处理，若全部图像已经完成处理，则结束。
5.根据权利要求1所述的一种沙尘天气条件下的低质图像增强方法，其特征在于：所述步骤4中在步骤4.2之前，可对I'i,j使用对数变换进行进一步调整，对数变换可通过查对数变换表完成，公式如下：
其中，i表示3个颜色通道，I”和I'分别表示对数变换调整后和调整前的图像，L是1行n列的对数变换表，其公式如下：
其中，a是对数变换的常数，n是图像I的灰度级数，L的元素的值范围应限定为0,1,…,n-1；
最后将图像I”作为最终结果输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810951041.7A CN109118450B (zh) | 2018-08-20 | 2018-08-20 | 一种沙尘天气条件下的低质图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810951041.7A CN109118450B (zh) | 2018-08-20 | 2018-08-20 | 一种沙尘天气条件下的低质图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109118450A CN109118450A (zh) | 2019-01-01 |
| CN109118450B true CN109118450B (zh) | 2020-11-20 |
Family
ID=64853392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810951041.7A Active CN109118450B (zh) | 2018-08-20 | 2018-08-20 | 一种沙尘天气条件下的低质图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109118450B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047899B (zh) * | 2019-03-25 | 2020-09-29 | 天地拓印(广州)数据科技有限公司 | 自动化图像数据解析平台 |
| CN111080535A (zh) * | 2019-11-05 | 2020-04-28 | 浙江大华技术股份有限公司 | 图像增强方法和计算机存储介质 |
| CN114066764B (zh) * | 2021-11-23 | 2023-05-09 | 电子科技大学 | 基于距离加权色偏估计的沙尘退化图像增强方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101303765A (zh) * | 2008-06-23 | 2008-11-12 | 四川虹微技术有限公司 | 一种基于图像均方差的图像对比度增强方法 |
| CN102436640A (zh) * | 2011-09-21 | 2012-05-02 | 北京航空航天大学 | 一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法 |
| CN105427266A (zh) * | 2016-01-04 | 2016-03-23 | 西安理工大学 | 一种信息损耗约束的沙尘图像清晰化方法 |
| CN106651818A (zh) * | 2016-11-07 | 2017-05-10 | 湖南源信光电科技有限公司 | 基于改进的直方图均衡化低照度图像增强算法 |
| CN106897972A (zh) * | 2016-12-28 | 2017-06-27 | 南京第五十五所技术开发有限公司 | 一种白平衡与暗原色的自适应直方图水下图像增强方法 |
-
2018
- 2018-08-20 CN CN201810951041.7A patent/CN109118450B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101303765A (zh) * | 2008-06-23 | 2008-11-12 | 四川虹微技术有限公司 | 一种基于图像均方差的图像对比度增强方法 |
| CN102436640A (zh) * | 2011-09-21 | 2012-05-02 | 北京航空航天大学 | 一种基于HIS空间的多尺度Retinex模型的雾天图像清晰化方法 |
| CN105427266A (zh) * | 2016-01-04 | 2016-03-23 | 西安理工大学 | 一种信息损耗约束的沙尘图像清晰化方法 |
| CN106651818A (zh) * | 2016-11-07 | 2017-05-10 | 湖南源信光电科技有限公司 | 基于改进的直方图均衡化低照度图像增强算法 |
| CN106897972A (zh) * | 2016-12-28 | 2017-06-27 | 南京第五十五所技术开发有限公司 | 一种白平衡与暗原色的自适应直方图水下图像增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| 潘海明等.基于偏色校正和信息损失约束的沙尘暴降质图像增强算法.《计算机辅助设计与图形学学报》.2018,第30卷(第6期),第992-999页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109118450A (zh) | 2019-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111292258B (zh) | 一种基于暗通道和亮通道先验的图像去雾方法 | |
| CN106296612B (zh) | 一种图像质量评价和天气状况引导的分级式监控视频清晰化系统及方法 | |
| CN108389175B (zh) | 融合变差函数和颜色衰减先验的图像去雾方法 | |
| CN110148093B (zh) | 一种基于暗通道先验的图像去雾改进方法 | |
| CN109118450B (zh) | 一种沙尘天气条件下的低质图像增强方法 | |
| CN109087254B (zh) | 无人机航拍图像雾霾天空和白色区域自适应处理方法 | |
| CN107103591A (zh) | 一种基于图像雾霾浓度估计的单幅图像去雾方法 | |
| CN108154492B (zh) | 一种基于非局部均值滤波的图像去雾霾方法 | |
| CN110211070B (zh) | 一种基于局部极值的低照度彩色图像增强方法 | |
| CN108133462B (zh) | 一种基于梯度场区域分割的单幅图像的复原方法 | |
| CN111709888B (zh) | 一种基于改进的生成对抗网络的航拍图像去雾方法 | |
| CN111861896A (zh) | 一种面向uuv的水下图像色彩补偿与恢复方法 | |
| CN111325688B (zh) | 融合形态学聚类优化大气光的无人机图像去雾方法 | |
| CN111598814B (zh) | 基于极端散射通道的单图像去雾方法 | |
| CN114693548B (zh) | 一种基于亮区域检测的暗通道去雾方法 | |
| CN112419163B (zh) | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 | |
| CN105913391B (zh) | 一种基于形状可变形态学重构的去雾方法 | |
| CN108765337B (zh) | 一种基于暗原色先验与非局部mtv模型的单幅彩色图像去雾处理方法 | |
| CN111311502A (zh) | 使用双向加权融合处理雾天图像的方法 | |
| CN106709876B (zh) | 一种基于暗像元原理的光学遥感图像去雾方法 | |
| CN111667498B (zh) | 一种面向光学卫星视频的运动舰船目标自动检测方法 | |
| CN109949239B (zh) | 一种适用于多浓度多场景雾霾图像的自适应清晰化方法 | |
| CN110223253B (zh) | 一种基于图像增强的去雾方法 | |
| CN110349113B (zh) | 一种基于暗原色先验改进的自适应图像去雾方法 | |
| CN113298730B (zh) | 一种基于图像分解的去雾复原方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |