CN105761227B - 基于暗通道先验与白平衡的水下图像增强方法 - Google Patents
基于暗通道先验与白平衡的水下图像增强方法 Download PDFInfo
- Publication number
- CN105761227B CN105761227B CN201610123603.XA CN201610123603A CN105761227B CN 105761227 B CN105761227 B CN 105761227B CN 201610123603 A CN201610123603 A CN 201610123603A CN 105761227 B CN105761227 B CN 105761227B
- Authority
- CN
- China
- Prior art keywords
- image
- value
- transmissivity
- light
- channel prior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000006748 scratching Methods 0.000 claims abstract description 4
- 230000002393 scratching effect Effects 0.000 claims abstract description 4
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 239000003595 mist Substances 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005562 fading Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000010981 turquoise Substances 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 5
- 238000005457 optimization Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 12
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 10
- 230000002708 enhancing effect Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 5
- 230000007850 degeneration Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000003014 reinforcing effect Effects 0.000 description 3
- 239000013535 sea water Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000009738 saturating Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004224 protection Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Of Color Television Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明涉及数字图像处理领域中的水下图像增强方法，为通过对背景光进行修改，更好的实现图像增强，使图片清晰度、对比度提高，达到图像优化的目的。本发明采用的技术方案是，基于暗通道先验与白平衡的水下图像增强方法，步骤如下：A背景光预处理阶段B暗通道先验阶段暗通道先验阶段第一步，首先使用暗通道先验算法得到抠图后细化的透射率t(x)以及去雾处理后的图片：暗通道先验阶段第二步，由透射率t(x)导出深度图d(x)；暗通道先验阶段第三步，得到想要的掩膜；暗通道先验阶段第四步，提取出感兴趣区域；C白平衡阶段。本发明主要应用于水下图像增强场合。
Description
技术领域
本发明涉及数字图像处理领域中的水下图像增强方法，特别是涉及一种水下的基于暗通道先验与白平衡的图像增强方法。
背景技术
随着人口的不断增长和经济的快速发展，陆地资源已经不能满足人们日益增长的需求，海洋科技日益成为世界各国经济与科技竞争的焦点所在。水下图像增强是水下探测的重要组成部分，同时也为研究海洋相关学科提供强而有力的支持。但是在水下成像过程中由于存在水体对光线的吸收以及悬浮颗粒对光的散射等,常使得水下图像出现分辨率不足和强烈的衰减，从而导致水下图像出现颜色失真，对比度会急剧下降，同时水下可见度较低会使图像产生模糊，水下图像质量往往较差。现如今的一些水下图像增强算法，要么针对不同波长的光在水下传输时由于衰减不同所导致的颜色的退化，要么针对水分子和悬浮颗粒的散射作用下所造成的水下图像模糊效应，同时一些算法还存在实用性较低的问题，如：图像采集设备昂贵、需要大量输入图片、处理方法未考虑水下环境特殊性等，因此水下图像增强算法仍需要进行进一步的深入研究。
2006年，Bazeille等人[1]提出了一种新型的图像预处理算法，该算法由多个滤波步骤组成，首先是对退化图像进行高通同态滤波，再运用小波变化处理去除噪声，其次用各向异性滤波进一步去除噪声，然后将图像亮度拉伸到0-255范围，最后用各颜色通道的强度平均值来均衡图像的颜色，但该算法忽视了水下环境特殊性，耗时较长，不适用于水下图像处理。2007年，Hou等人[2]将点扩散函数与调制传递函数结合起来，将之用于去除水下图像模糊效应，但该算法所使用的图像采集设备较为复杂，很难应用于实际。2011年，He[3]等人提出了一种图像去雾的暗通道先验算法，该算法基于场景深度信息，利用抠图技术来实现图像去雾。2012年，Chiang等人[4]提出了一种基于波长补偿和去雾的水下图像增强算法，该算法解决了水下成像中的光散射和颜色失真问题，并且考虑了人工光源的可能性。2013年，Zhou等人[5]提出了一种基于非一般色彩恒常性理论的水下图像增强算法，该算法针对水下图像提出了一种新颖、简单的基于图像特征的色彩恒常性理论，利用深度图来求得通道增益，从而调整水下图像。2014年，Fu等人[6]提出了一种基于Retinex的水下图像增强算法，该算法首先进行一个简单而有效的色彩校正，从而去除色彩失真，其次提出一种变化的Retinex框架，从单张水下图像中分离出反射比和光强度，最后运用各种方法对反射比和光强度进行增强，从而实现水下图像增强。2015年，Zhao等人[7]提出了一种从水下图像背景色中提取海水固有光学参数的基于水下模型的水下图像增强算法，该算法简单有效，且对图像去雾和色彩校正都有显著效果。
参考文献
[1]S.Bazeille,I.Quidu,L.Jaulin,J.P.Malkasse,“Automatic underwaterimage pre-processing,”in Proc.of Caracterisation Du Milieu Marin(CMM’06),pp.1–8,2006。
[2]W.Hou,D.J.Gray,A.D.Weidemann,G.R.Fournier,and J.L.Forand,“Automated underwater image restoration and retrieval of related opticalproperties,”in Proc.of IEEE International Symposium of Geoscience and RemoteSensing,pp.1889–1892,2007。
[3]K.He,J.Sun,X.Tang,“Single Image Haze Removal Using Dark ChannelPrior”,IEEE Transactions on Patern Analysis and Machine Inteligence,vol.33,no.12,pp.2341-2353,2011。
[4]Chiang J Y and Chen Ying-Ching.Underwater image enhancement bywavelength compensation and dehazing[J].IEEE Transactions on ImageProcessing,2012,21(4):1756-1769。
[5]Birgit Henke,Matthias Vahl,Zhiliang Zhou,“Removing Color Cast ofUnderwater Images through Non-Constant Color Constancy Hypothesis,”8thInternational Symposium on Image and Signal Processing and Analysis,Trieste,2013。
[6]Fu Xue-yang,Zhuang Pei-xian,Huang Yue,et al..A retinex basedenhancing approach for single underwater image[C].IEEE InternationalConference on Image Processing,Paris,2014:4572-4576。
[7]Zhao Xin-wei,Jin Tao,and Qu Song.Deriving inherent opticalproperties from background color and underwater image enhancement[J].OceanEngineering,2015,94(2):163-172。
发明内容
为克服现有技术的不足，本发明旨在通过对背景光进行修改，更好的实现图像增强，使图片清晰度、对比度提高，达到图像优化的目的；对于入射光衰减不同所导致的水下成像时物体颜色的退化，能够，进一步对水下图像进行增强，从而提高水下图片的亮度以及对比度，使图像细节更佳。本发明采用的技术方案是，基于暗通道先验与白平衡的水下图像增强方法，步骤如下：
A背景光预处理阶段
背景光预处理阶段第一步，对于一张原始图像，选取图像暗通道中亮度最大的0.1％的像素，定义：
其中Jc为待处理图像J的某一个颜色通道，x为图像某一像素点，Ω(x)代表以像素点x为中心的一小块局部区域，y为Ω(x)的某子区域，r,g,b分别为红绿蓝三种颜色通道，min()代表最小化操作，将Jdark称为J的暗通道；
背景光预处理阶段第二步，取符合条件即暗通道中亮度最大的0.1％的像素的所有点的平均值来作为背景光的值；
背景光预处理阶段第三步，增加一个参数即最大全球大气光值，将最大全球大气光值与背景光进行比较，当计算的背景光值大于该值时，则就取该值，从而为背景光设定了一个上限；
B暗通道先验阶段
在计算机视觉和图形学中，雾天成像模型表现为如下形式：
I(x)＝J(x)t(x)+A(1-t(x)) (2)
其中I(x)代表接收到的图像的强度，J(x)代表场景光强度，A代表全球大气光(Global Atmospheric Light)，t(x)用来表示透射率即光线透过介质未经衰减传输到摄像机的部分；
暗通道先验阶段第一步，对于一张原始图像，首先使用暗通道先验算法得到抠图后细化的透射率t(x)以及去雾处理后的图片：
要将无雾的图像从原始图像中恢复出来，首先应该估算透射率t(x)，假设全球大气光A是已知的，且在局部区域Ω(x)中是恒定的，引入一个常数ω，从而使远距离的物体带有一定量的雾，得到透射率如下所示：
式中代表透射率，Ic为待处理图像I的某一个颜色通道，Ac为全球大气光A的某一个颜色通道，x为图像某一像素点，Ω(x)代表以像素点x为中心的一小块局部区域，y为Ω(x)的某子区域，ω是一个常数，r,g,b分别为红绿蓝三种颜色通道，min()代表最小化操作；
使用抠图算法进一步细化预估得到透射率t(x)，复原图像如下：
式中J(x)代表场景光强度，I(x)代表接收到的图像的强度，A代表全球大气光，t(x)是透射率，max()代表取最大值操作，t0是透射率t(x)的一个下限；
暗通道先验阶段第二步，由透射率t(x)导出深度图d(x)，透射率t(x)可以如下表示：
t(x)＝e-βd(x) (5)
式中β是大气的散射系数，t(x)代表透射率，d(x)代表深度图，公式(5)意味着透射率t(x)是随着d(x)发生指数衰减的，结合公式(3),将最小化操作局限于蓝绿两通道，由透射率t(x)与深度图d(x)之间的指数关系，得到：
式中t(x)代表透射率，d(x)代表深度图，Ic为待处理图像I的某一个颜色通道，x为图像某一像素点，Ω(x)代表以像素点x为中心的一小块局部区域，y为Ω(x)的某子区域，G,B分别为绿蓝颜色通道，min()代表最小化操作；
暗通道先验阶段第三步，对深度图d(x)使用最大类间方差法，从而找到合适的阈值，找到合适阈值后，再对深度图d(x)进行二值化处理，从而得到想要的掩膜；
暗通道先验阶段第四步，利用图像掩膜技术，将预先获得的二值化后的掩模图像与去雾处理后的图像相乘，从而对去雾处理后的图片进行处理，使感兴趣区内图像值保持不变,而区外图像值都为0，进而提取出感兴趣区域；
C白平衡阶段
利用动态阈值白平衡算法针对感兴趣区域提取出所需的RGB三通道增益Rgain、Ggain、Bgain，接着使用通道增益对去雾处理后的图像进行调整，从而得到增强后的水下图像。
白平衡阶段算法如下：
1)把感兴趣区域图像从RGB空间转换到YCbCr空间
2)选择参考白色点
a.计算红色色度分量Cr，蓝色色度分量Cb的平均值Mr，Mb
b.根据Mr，Mb，分别计算Cr，Cb的均方差Dr，Db
c.判定近白区域(near-white region)，判别表达式为：
Cb(i,j)-(Mb+Db×sign(Mb))<1.5×Db&&Cr(i,j)-(1.5×Mr+Dr×sign(Mr))<1.5×Dr (7)
式中sign()代表符号函数，Cb(i,j)和Cr(i,j)分别代表点(i,j)处的蓝色色度分量和红色色度分量；
d.设一个“参考白色点”的亮度矩阵RL，若符合判别式，则作为参考白色点,并把该点(i,j)的亮度即Y分量值赋给RL(i,j)；若不符合，则该点的RL(i,j)值为0；
3)选取“参考白色点”中最大的10％的亮度值，并选取其中的最小值Lu_min；调整RL，若RL(i,j)<Lu_min，则RL(i,j)＝0；否则，RL(i,j)＝1；
4)分别把感兴趣区域图像的RGB三通道值与RL相乘，得到R2，G2，B2，计算R2，G2，B2的平均值Rav，Gav，Bav；
5)计算图片亮度的最大值Y max；
Y max＝double(max(max(Y)))/15 (8)
式中Y代表亮度分量
6)得到三通道增益Rgain、Ggain、Bgain：
Rgain＝Y max/Rav
Ggain＝Y max/Gav (9)
Bgain＝Y max/Bav
7)通过增益调整去雾处理后图像的RGB值，得到调整后的三种颜色通道Ro，Go，Bo：
Ro＝R*Rgain
Go＝G*Ggain (10)
Bo＝B*Bgain。
本发明的特点及有益效果是：
与现有的水下图像增强算法如灰度世界算法(Gray World)、白点检测算法(WhitePatch)相比，本发明的有益效果在于不但能够消除图像模糊效应，增强图像清晰度，而且可以去除颜色的退化，加大图片对比度，使图像细节增强，此外，背景光的修改可以使得暗通道先验算法应用到水下图像时不至于出现图像的过曝光(如图6所示，经背景光预处理后，背景即海水部分明显避免了过曝光的现象，同时前景即物体部分也更加的自然)；使用图像掩模技术来进行动态阈值白平衡校正，使得感兴趣区域即物体部分的增强效果更加显著，而且不会影响到海水部分的处理效果，从而出现颜色反常；该算法不需要昂贵的图像采集设备以及大量输入图片，同时处理方法考虑到水下环境的特殊性，因此实用性较高，最终的实验结果(如图2、图3、图4、图5所示)表明该算法适用于水下图像的增强且效果显著。
附图说明：
图1.水下图像增强算法流程图。
图2.本文算法流程以及各算法处理效果对比。
图3.本文算法流程以及各算法处理效果对比。
图4.本文算法流程以及各算法处理效果对比。
图5.本文算法流程以及各算法处理效果对比
图6.本文算法中未修改背景光和经背景光预处理的效果对比
具体实施方式
水下图像在海洋能源勘探与开发、海洋考古、海洋环境监测与保护等领域应用广泛，但由于水下环境特殊性，获取的图像质量往往很差，难以用于后续的图像分析与应用。针对水分子以及水体颗粒对光线的散射所造成的水下图像模糊效应，本发明使用暗通道先验算法，并结合水下光线特殊的传输特性对背景光进行修改，从而更好的实现图像增强，使图片清晰度、对比度有所提高，达到图像优化的目的；对于入射光衰减不同所导致的水下成像时物体颜色的退化，本发明使用白平衡来实现图像整体偏色的去除，进一步对水下图像进行增强，从而提高水下图片的亮度以及对比度，使图像细节更佳。
本发明提出了一种基于暗通道先验(Dark Channel Prior)与白平衡(WhiteBalance)的水下图像增强算法，其技术方案流程如图1所示。暗通道先验模型是香港中文大学的何凯明博士提出的，暗通道先验算法是一种基于暗原色先验理论的简单、有效的图像去雾算法，该算法基于对室外无雾天气下实物的统计，发现“在室外无雾图片的大部分非天空局部区域中，某些像素在RGB(红绿蓝)三通道中至少有一个通道具有很低的值”。暗通道先验算法直接应用到水下图像时，图片质量往往较差，其原因主要有两个：①暗通道先验算法要使用RGB(红绿蓝)三种颜色通道，然而由于水下环境的特殊性，水下图像往往整体出现偏色，直接利用暗通道先验算法处理水下图片，效果通常不尽人意，本发明将在白平衡阶段解决这一问题；②由于水下几乎没有自然光照明，在水下(尤其是深水中)通常使用人工光源辅助拍摄图片，这样就会造成图片亮度的不均匀，直接利用暗通道先验算法处理水下图片时，所选取的背景光往往过高，处理后的图像中会出现过曝光现象，因此需要对背景光的计算公式进行修改，从而解决光源照明不均匀所造成的过曝光问题。
1背景光预处理(Preprocessing)
背景光预处理阶段第一步，对于一张原始图像，选取图像暗通道中亮度最大的0.1％的像素，这些像素大多为不透明的物体。一般而言，对于一张图片J，我们定义：
其中Jc为待处理图像J的某一个颜色通道，x为图像某一像素点，Ω(x)代表以像素点x为中心的一小块局部区域，y为Ω(x)的某子区域，r,g,b分别为红绿蓝三种颜色通道，min()代表最小化操作，我们将Jdark称为J的暗通道。传统方法中一般选取亮度值最大的像素来作为背景光，何凯明博士提出用暗通道来改进背景光的估计，首先选取暗通道中亮度最大的0.1％的像素，然后在这些像素中选取在原始图像中亮度值最大的像素来作为背景光[3]。这种方法在自然场景下效果较好，但由于水下环境的特殊性，仍需要对背景光进行修改。
背景光预处理阶段第二步，取符合条件即暗通道中亮度最大的0.1％的像素的所有点的平均值来作为背景光的值，这样做是因为，如果是取一个点，则各通道的背景光值很有可能全部很接近255，从而会造成处理后的图像出现偏色以及大量色斑。
背景光预处理阶段第三步，增加一个参数即最大全球大气光值，将最大全球大气光值与背景光进行比较，当计算的背景光值大于该值时，则就取该值，从而为背景光设定了一个上限。
2暗通道先验阶段(Dark Channel Prior)
在计算机视觉和图形学中，雾天成像模型可表现为如下形式：
I(x)＝J(x)t(x)+A(1-t(x)) (2)
其中I(x)代表接收到的图像的强度，J(x)代表场景光强度，A代表全球大气光(Global Atmospheric Light)，t(x)用来表示透射率即光线透过介质未经衰减传输到摄像机的部分，图像去雾的目的就是从I(x)中恢复出J(x)，A和t(x)。
暗通道先验阶段第一步，对于一张原始图像(如图2、图3、图4、图5中(a)所示)，首先使用暗通道先验算法得到抠图后细化的透射率t(x)以及去雾处理后的图片(如图2、图3、图4、图5中(b)所示)。
要将无雾的图像从原始图像中恢复出来，首先应该估算透射率t(x)，我们假设全球大气光A(Global Atmospheric Light)是已知的，且在局部区域Ω(x)中透射率是恒定的，引入一个常数ω，从而使远距离的物体带有一定量的雾，得到透射率如下所示：
式中代表透射率，Ic为待处理图像I的某一个颜色通道，Ac为全球大气光A的某一个颜色通道，x为图像某一像素点，Ω(x)代表以像素点x为中心的一小块局部区域，y为Ω(x)的某子区域，ω是一个常数，r,g,b分别为红绿蓝三种颜色通道，min()代表最小化操作。
使用抠图算法进一步细化预估得到透射率t(x)，假如t(x)趋近于0，则t(x)J(x)也趋近于0，那么复原后的图像将带有严重的噪声，所以为透射率t(x)设立一个下限t0，复原图像如下：
式中J(x)代表场景光强度，I(x)代表接收到的图像的强度，A代表全球大气光，max()代表取最大值操作，t(x)是透射率，t0是t(x)的一个下限。
暗通道先验阶段第二步，由透射率t(x)导出深度图d(x)，透射率t(x)可以如下表示：
t(x)＝e-βd(x) (5)
式中β是大气的散射系数，t(x)代表透射率，d(x)代表深度图。公式(5)意味着透射率t(x)是随着d(x)发生指数衰减的，结合公式(3),将最小化操作局限于蓝绿两通道，由透射率t(x)与深度图d(x)之间的指数关系，我们可以得到：
式中t(x)代表透射率，d(x)代表深度图，Ic为待处理图像I的某一个颜色通道，x为图像某一像素点，Ω(x)代表以像素点x为中心的一小块局部区域，y为Ω(x)的某子区域，G,B分别为绿蓝颜色通道，min()代表最小化操作。
暗通道先验阶段第三步，对深度图d(x)使用最大类间方差法(OTSU)，从而找到合适的阈值，找到合适阈值后，再对深度图d(x)进行二值化处理，从而得到想要的掩膜(如图2、图3、图4、图5中(c)所示)。
暗通道先验阶段第四步，利用图像掩膜技术，将预先获得的二值化后的掩模图像与去雾处理后的图像相乘，从而对去雾处理后的图片进行处理，使感兴趣区内图像值保持不变,而区外图像值都为0，进而提取出感兴趣区域(如图2、图3、图4、图5中(d)所示)。
3白平衡阶段(White Balance)
在本发明的白平衡阶段，利用动态阈值白平衡算法针对感兴趣区域提取出所需的RGB三通道增益Rgain、Ggain、Bgain，接着使用通道增益对去雾处理后的图像进行调整，从而得到增强后的水下图像(如图2、图3、图4、图5中(h)所示)。
一般来说，白色对色温变化的响应最大，所以用白色来作为调整的基色，动态阈值白平衡算法采用一个动态的阀值来检测白色点，对白色点进行调整得到通道增益，从而对去雾处理后图像进行调整，达到色彩校正的目的，算法如下：
1)把感兴趣区域图像从RGB空间转换到YCbCr空间
2)选择参考白色点
a.计算红色色度分量Cr，蓝色色度分量Cb的平均值Mr，Mb
b.根据Mr，Mb，分别计算Cr，Cb的均方差Dr，Db
c.判定近白区域(near-white region)，判别表达式为：
Cb(i,j)-(Mb+Db×sign(Mb))<1.5×Db&&Cr(i,j)-(1.5×Mr+Dr×sign(Mr))<1.5×Dr (7)
式中sign()代表符号函数，Cb(i,j)和Cr(i,j)分别代表点(i,j)处的蓝色色度分量和红色色度分量；
d.设一个“参考白色点”的亮度矩阵RL。若某点(i,j)符合判别式(7)，则作为“参考白色点”,并把该点(i,j)的亮度(Y分量)值赋给RL(i,j)；若不符合，则该点的RL(i,j)值为0；
3)选取“参考白色点”中最大的10％的亮度值，并选取其中的最小值Lu_min；调整RL，若RL(i,j)<Lu_min，则RL(i,j)＝0；否则，RL(i,j)＝1；
4)分别把感兴趣区域图像的RGB三通道值与RL相乘，得到R2，G2，B2，计算R2，G2，B2的平均值Rav，Gav，Bav；
5)计算图片亮度的最大值Y max；
Y max＝double(max(max(Y)))/15 (8)
式中Y代表亮度分量
6)得到三通道增益Rgain、Ggain、
Bgain： Rgain＝Y max/Rav
Ggain＝Y max/Gav
(9)
Bgain＝Y max/Bav
7)通过增益调整去雾处理后图像的RGB值，得到调整后的三种颜色通道Ro，Go，Bo：
Ro＝R*Rgain
Go＝G*Ggain (10)
Bo＝B*Bgain。
4实验结果分析
对于水下图像而言，由于在水下成像过程中存在水体对光线的吸收以及悬浮颗粒对光的散射，因此水下图片会出现模糊效应，图片清晰度较低，同时图片整体出现偏色。从图2、图3、图4、图5中可看出，本发明提出的水下图像增强算法效果显著，图片模糊效应消失，清晰度有了明显的提高，而且在白平衡校正后，去除了图片整体的色偏，对比度也加大了。同时，与文献中的算法比较，前景部分(物体)的增强效果更加真实，效果更优越。
在实际应用中，为了得到最佳的水下图像增强效果，对本发明中涉及的参数进行如下设置：最大全球大气光值即背景光的最大阈值选择为220；综合考虑到试验效果和计算复杂度，对于窗口，由于窗口越大，其包含暗通道的概率越大，暗通道也就越黑，因此实验中我们选取窗口大小为15×15；对于暗通道先验阶段第一步公式(3)中引入的一个常数ω，其具有着明显的意义，ω值越小，去雾效果越不明显，实验中我们将ω设置为0.95，此时的参数设置完全能满足水下图像增强的清晰度、对比度试验效果和计算复杂度的要求。
Claims (1)
1.一种基于暗通道先验与白平衡的水下图像增强方法，其特征是，步骤如下：
A背景光预处理阶段
背景光预处理阶段第一步，对于一张原始图像，选取图像暗通道中亮度最大的0.1％的像素，定义：
其中Jc为待处理图像J的某一个颜色通道，x为图像某一像素点，Ω(x)代表以像素点x为中心的一小块局部区域，y为Ω(x)的某子区域，r,g,b分别为红绿蓝三种颜色通道，min()代表最小化操作，将Jdark称为J的暗通道；
背景光预处理阶段第二步，取符合条件即暗通道中亮度最大的0.1％的像素的所有点的平均值来作为背景光的值；
背景光预处理阶段第三步，增加一个参数即最大全球大气光值，将最大全球大气光值与背景光进行比较，当计算的背景光值大于该值时，则就取该值，从而为背景光设定了一个上限；
B暗通道先验阶段
在计算机视觉和图形学中，雾天成像模型表现为如下形式：
I(x)＝J(x)t(x)+A(1-t(x)) (2)
其中I(x)代表接收到的图像的强度，J(x)代表场景光强度，A代表全球大气光(GlobalAtmospheric Light)，t(x)用来表示透射率即光线透过介质未经衰减传输到摄像机的部分；
暗通道先验阶段第一步，对于一张原始图像，首先使用暗通道先验算法得到抠图后细化的透射率t(x)以及去雾处理后的图片：
要将无雾的图像从原始图像中恢复出来，首先应该估算透射率t(x)，假设全球大气光A是已知的，且在局部区域Ω(x)中是恒定的，引入一个常数ω，从而使远距离的物体带有一定量的雾，得到透射率如下所示：
式中代表透射率，Ic为待处理图像I的某一个颜色通道，Ac为全球大气光A的某一个颜色通道，x为图像某一像素点，Ω(x)代表以像素点x为中心的一小块局部区域，y为Ω(x)的某子区域，ω是一个常数，r,g,b分别为红绿蓝三种颜色通道，min()代表最小化操作；
使用抠图算法进一步细化预估得到透射率t(x)，复原图像如下：
式中J(x)代表场景光强度，I(x)代表接收到的图像的强度，A代表全球大气光，t(x)是透射率，max()代表取最大值操作，t0是透射率t(x)的一个下限；
暗通道先验阶段第二步，由透射率t(x)导出深度图d(x)，透射率t(x)可以如下表示：
t(x)＝e-βd(x) (5)
式中β是大气的散射系数，t(x)代表透射率，d(x)代表深度图，公式(5)意味着透射率t(x)是随着d(x)发生指数衰减的，结合公式(3),将最小化操作局限于蓝绿两通道，由透射率t(x)与深度图d(x)之间的指数关系，得到：
式中t(x)代表透射率，d(x)代表深度图，Ic为待处理图像I的某一个颜色通道，x为图像某一像素点，Ω(x)代表以像素点x为中心的一小块局部区域，y为Ω(x)的某子区域，G,B分别为绿蓝颜色通道，min()代表最小化操作；
暗通道先验阶段第三步，对深度图d(x)使用最大类间方差法，从而找到合适的阈值，找到合适阈值后，再对深度图d(x)进行二值化处理，从而得到想要的掩膜；
暗通道先验阶段第四步，利用图像掩膜技术，将预先获得的二值化后的掩模图像与去雾处理后的图像相乘，从而对去雾处理后的图片进行处理，使感兴趣区内图像值保持不变,而区外图像值都为0，进而提取出感兴趣区域；
C白平衡阶段
利用动态阈值白平衡算法针对感兴趣区域提取出所需的RGB三通道增益Rgain、Ggain、Bgain，接着使用通道增益对去雾处理后的图像进行调整，从而得到增强后的水下图像；
白平衡阶段算法如下：
1)把感兴趣区域图像从RGB空间转换到YCbCr空间
2)选择参考白色点
a.计算红色色度分量Cr，蓝色色度分量Cb的平均值Mr，Mb
b.根据Mr，Mb，分别计算Cr，Cb的均方差Dr，Db
c.判定近白区域(near-white region)，判别表达式为：
Cb(i,j)-(Mb+Db×sign(Mb))<1.5×Db&&Cr(i,j)-(1.5×Mr+Dr×sign(Mr))<1.5×Dr(7)
式中sign()代表符号函数，Cb(i,j)和Cr(i,j)分别代表点(i,j)处的蓝色色度分量和红色色度分量；
d.设一个“参考白色点”的亮度矩阵RL，若符合判别式，则作为参考白色点,并把该点(i,j)的亮度即Y分量值赋给RL(i,j)；若不符合，则该点的RL(i,j)值为0；
3)选取“参考白色点”中最大的10％的亮度值，并选取其中的最小值Lu_min；调整RL，若RL(i,j)<Lu_min，则RL(i,j)＝0；否则，RL(i,j)＝1；
4)分别把感兴趣区域图像的RGB三通道值与RL相乘，得到R2，G2，B2，计算R2，G2，B2的平均值Rav，Gav，Bav；
5)计算图片亮度的最大值Ymax；
Ymax＝double(max(max(Y)))/15 (8)
式中Y代表亮度分量
6)得到三通道增益Rgain、Ggain、Bgain：
7)通过增益调整去雾处理后图像的RGB值，得到调整后的三种颜色通道Ro，Go，Bo：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610123603.XA CN105761227B (zh) | 2016-03-04 | 2016-03-04 | 基于暗通道先验与白平衡的水下图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610123603.XA CN105761227B (zh) | 2016-03-04 | 2016-03-04 | 基于暗通道先验与白平衡的水下图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105761227A CN105761227A (zh) | 2016-07-13 |
| CN105761227B true CN105761227B (zh) | 2019-02-22 |
Family
ID=56332538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610123603.XA Expired - Fee Related CN105761227B (zh) | 2016-03-04 | 2016-03-04 | 基于暗通道先验与白平衡的水下图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105761227B (zh) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485681B (zh) * | 2016-10-18 | 2019-04-23 | 河海大学常州校区 | 基于颜色校正和红通道先验的水下彩色图像复原方法 |
| CN106780368B (zh) * | 2016-11-24 | 2020-08-04 | 天津大学 | 一种基于前景模型的水下图像增强方法 |
| CN106558031B (zh) * | 2016-12-02 | 2018-12-28 | 北京理工大学 | 一种基于成像模型的彩色眼底图的图像增强方法 |
| CN108205671A (zh) * | 2016-12-16 | 2018-06-26 | 浙江宇视科技有限公司 | 图像处理方法及装置 |
| CN106897972A (zh) * | 2016-12-28 | 2017-06-27 | 南京第五十五所技术开发有限公司 | 一种白平衡与暗原色的自适应直方图水下图像增强方法 |
| CN107316278A (zh) * | 2017-05-13 | 2017-11-03 | 天津大学 | 一种水下图像清晰化处理方法 |
| CN107464225B (zh) * | 2017-07-27 | 2020-05-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和移动终端 |
| CN107527325B (zh) * | 2017-08-15 | 2020-12-18 | 沈阳海润机器人有限公司 | 一种基于暗通道优先的单目水下视觉增强方法 |
| CN109427041B (zh) * | 2017-08-25 | 2021-10-22 | 中国科学院上海高等研究院 | 一种图像白平衡方法及系统、存储介质及终端设备 |
| CN107833195B (zh) * | 2017-11-24 | 2020-10-23 | 北京空间机电研究所 | 在轨海洋暗弱目标光学图像增强方法 |
| CN107895357B (zh) * | 2017-12-25 | 2018-12-18 | 北京航空航天大学 | 一种基于fpga的实时水面浓雾场景图像增强方法 |
| CN108257101B (zh) * | 2018-01-16 | 2021-10-19 | 上海海洋大学 | 一种基于最优复原参数的水下图像增强方法 |
| CN108416741B (zh) * | 2018-01-23 | 2021-10-12 | 浙江工商大学 | 基于亮度对比度增强和饱和度补偿的快速图像去雾方法 |
| CN108596843B (zh) * | 2018-04-10 | 2020-07-07 | 山东大学 | 一种基于亮通道的水下图像色彩恢复算法 |
| CN108765342A (zh) * | 2018-05-30 | 2018-11-06 | 河海大学常州校区 | 一种基于改进暗通道的水下图像复原方法 |
| CN108921887B (zh) * | 2018-06-07 | 2022-06-24 | 上海海洋大学 | 基于水下光线衰减先验性的水下场景深度地图估计方法 |
| CN110659547B (zh) * | 2018-06-29 | 2023-07-14 | 比亚迪股份有限公司 | 物体识别方法、装置、车辆和计算机可读存储介质 |
| CN109118442B (zh) * | 2018-07-20 | 2021-08-03 | 湖北工业大学 | 一种基于Sobel算子滤波的图像增强方法 |
| CN109118446B (zh) * | 2018-07-30 | 2021-08-24 | 西南财经大学 | 一种水下图像复原及去噪方法 |
| CN109859129A (zh) * | 2019-01-29 | 2019-06-07 | 哈工大机器人（岳阳）军民融合研究院 | 一种水下图像增强处理方法和装置 |
| CN110097513B (zh) * | 2019-04-16 | 2021-06-25 | 北京工业大学 | 一种基于脉冲型ToF深度图像去噪的方法 |
| CN110717892B (zh) * | 2019-09-18 | 2022-06-28 | 宁波大学 | 一种色调映射图像质量评价方法 |
| CN111369462B (zh) * | 2020-03-03 | 2022-07-29 | 南京信息工程大学 | 一种结合不感兴趣区域的水下图像增强算法 |
| CN112991366B (zh) * | 2021-02-18 | 2024-05-03 | 广州光锥元信息科技有限公司 | 对图像进行实时色度抠图的方法、装置及移动端 |
| CN113012037B (zh) * | 2021-03-11 | 2022-08-05 | 桂林电子科技大学 | 一种用于水下图像复原的深度学习训练数据集合成方法 |
| CN112907582B (zh) * | 2021-03-24 | 2023-09-29 | 中国矿业大学 | 面向矿井的图像显著性提取去雾方法、装置及人脸检测 |
| CN113223074A (zh) * | 2021-05-06 | 2021-08-06 | 哈尔滨工程大学 | 一种水下激光条纹中心提取方法 |
| CN113920018A (zh) * | 2021-09-13 | 2022-01-11 | 中国人民解放军战略支援部队航天工程大学 | 一种改进的mscnn水下图像去雾方法 |
| CN114926353B (zh) * | 2022-04-19 | 2023-05-23 | 中山大学 | 一种水下图像复原方法、装置、设备及存储介质 |
| CN114820665B (zh) * | 2022-06-30 | 2022-09-02 | 中国人民解放军国防科技大学 | 一种星图背景抑制方法、装置、计算机设备和存储介质 |
| CN115082361B (zh) * | 2022-08-23 | 2022-10-28 | 山东国晟环境科技有限公司 | 基于图像处理的浑浊水体图像增强方法 |
| CN117934340B (zh) * | 2024-03-25 | 2024-06-04 | 北京科技大学 | 一种基于深度展开网络的Retinex变分水下图像增强方法和装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104766284A (zh) * | 2015-04-17 | 2015-07-08 | 河海大学常州校区 | 水下彩色模糊图像的复原方法 |
-
2016
- 2016-03-04 CN CN201610123603.XA patent/CN105761227B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104766284A (zh) * | 2015-04-17 | 2015-07-08 | 河海大学常州校区 | 水下彩色模糊图像的复原方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于颜色失真去除与暗通道先验的水下图像复原;杨爱萍 等;《电子与信息学报》;20151130;第37卷(第11期);2541-2547 |
| 暗通道先验去雾算法优化探讨;靳欢欢 等;《测绘科学》;20151130;第40卷(第11期);142-145、167 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105761227A (zh) | 2016-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105761227B (zh) | 基于暗通道先验与白平衡的水下图像增强方法 | |
| Shi et al. | Let you see in sand dust weather: A method based on halo-reduced dark channel prior dehazing for sand-dust image enhancement | |
| Ancuti et al. | Night-time dehazing by fusion | |
| Lee et al. | Adaptive multiscale retinex for image contrast enhancement | |
| CN105631829B (zh) | 基于暗通道先验与颜色校正的夜间雾霾图像去雾方法 | |
| CN106886985B (zh) | 一种减小色偏的自适应低照度图像增强方法 | |
| Wang et al. | Variational single nighttime image haze removal with a gray haze-line prior | |
| CN107895357B (zh) | 一种基于fpga的实时水面浓雾场景图像增强方法 | |
| Singh et al. | Single image defogging by gain gradient image filter | |
| Pei et al. | Effective image haze removal using dark channel prior and post-processing | |
| CN110163807B (zh) | 一种基于期望亮通道的低照度图像增强方法 | |
| Fan et al. | An improved single image defogging method based on Retinex | |
| CN111861896A (zh) | 一种面向uuv的水下图像色彩补偿与恢复方法 | |
| CN112435184B (zh) | 一种基于Retinex和四元数的雾霾天图像识别方法 | |
| Mathur et al. | Enhancement of underwater images using white balancing and Rayleigh-stretching | |
| Dar et al. | An enhanced adaptive histogram equalization based local contrast preserving technique for HDR images | |
| Wang et al. | Nighttime image dehazing using color cast removal and dual path multi-scale fusion strategy | |
| Wen et al. | A survey of image dehazing algorithm based on retinex theory | |
| Li et al. | Soft binary segmentation-based backlit image enhancement | |
| CN117611501A (zh) | 一种低照度图像增强方法、装置、设备及可读存储介质 | |
| Raigonda et al. | Haze Removal Of Underwater Images Using Fusion Technique | |
| CN108447034B (zh) | 一种基于光照分解的海上雾天图像去雾方法 | |
| Goel | The implementation of image enhancement techniques using Matlab | |
| Zheng et al. | An illumination adaptive underwater image enhancement method | |
| Kumari et al. | Real time image and video deweathering: The future prospects and possibilities |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190222 Termination date: 20210304 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |