CN111161170A - 一种用于目标识别的水下图像综合增强方法 - Google Patents
一种用于目标识别的水下图像综合增强方法 Download PDFInfo
- Publication number
- CN111161170A CN111161170A CN201911309907.5A CN201911309907A CN111161170A CN 111161170 A CN111161170 A CN 111161170A CN 201911309907 A CN201911309907 A CN 201911309907A CN 111161170 A CN111161170 A CN 111161170A
- Authority
- CN
- China
- Prior art keywords
- image
- underwater
- color
- contrast
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012937 correction Methods 0.000 claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 230000009467 reduction Effects 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 13
- 238000006731 degradation reaction Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000015556 catabolic process Effects 0.000 claims description 9
- 239000013256 coordination polymer Substances 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000002474 experimental method Methods 0.000 abstract description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 15
- 238000010521 absorption reaction Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 7
- 239000002245 particle Substances 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 241000251511 Holothuroidea Species 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241000257465 Echinoidea Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 239000005446 dissolved organic matter Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 235000020637 scallop Nutrition 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 239000007921 spray Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000237509 Patinopecten sp. Species 0.000 description 1
- 241000237503 Pectinidae Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000009364 mariculture Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000008239 natural water Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种用于目标识别的水下图像综合增强方法，对水下退化图像，进行红通道色彩补偿，将补偿后的水下彩色图像采用色偏校正来消除前向散射引起的对比度下降。同时为了满足水下目标检测应用需求，对HSV彩色空间的亮度、饱和度和色调进行伽马校正，并采用单通道去雾解决整体图像偏暗和后向散射造成的模糊问题，既获得更好的图像对比度和色彩饱和度，同时细节的清晰度得到有效提高。本发明的优点在于：通过对多种类型水下图像的主观和客观实验证明，与现有的水下图像复原、增强算法相比，本发明提出的算法可有效的提高水下图像的色彩饱和度和清晰度，并且适应范围更广，而且使后续的目标检测任务获得更高的准确率。
Description
技术领域
本发明属于图像处理和分析技术领域，特别涉及一种用于目标识别的水下图像综合增强方法。
背景技术
水下视觉是海洋探测、海洋生物调查、水下工程监测中重要的科学研究依据。光在水中传输，前向散射使得点光源扩散在成像过程中成为弥散圆，从而导致图像模糊，而后向散射使图像的对比度降低，产生雾状模糊叠加在图像上。吸收和散射不仅仅是由水体本身产生，还包括溶解有机物和小的漂浮粒子“海雪”的影响。浮游生物、彩色溶解有机质和总悬浮物质的浓度和目标距离也是影响水下彩色图像质量的主要因素。随着水下深度的增加，色彩按照波长依次消失，水下图像中表现出来的非均匀色彩投射与水体对不同光波长的吸收和衰减及目标距离和光源的光谱分布有关。通过增加人工照明虽然可以增加可视距离，但经常会导致非均匀照明情况，在图像中产生被暗区域包围的亮斑。而人工光源使得悬浮物质引起的散射更加严重。运动作业时所引起的浪花、漩涡、泥沙及各种海洋生物的影响也导致了图像的不规则模糊。除此以外，成像系统、光源色温都对水下彩色图像的质量产生影响。因此，拍摄的水下图像大多同时存在多种以下问题：整体亮度偏低、低对比度、模糊、光斑、色彩投射和各种复杂因素的噪声。在应用高级视觉分析方法处理水下图像的过程中将面临上述这些问题。
根据是否结合水下成像模型，水下图像的预处理可以分为水下图像增强和复原，并通过主观或客观的水下图像质量评价方法来指导自适应水下图像复原及评价增强结果。由于水下图像的失真是由多种退化混合叠加而成，因此单一的噪声去除、对比度增强的算法，如直方图修正，梯度变换和一些自适应平滑的方法例如：低通滤波器、形态滤波器、同态滤波器，Contourlet变换算法及各种改进的小波变换等无法综合的解决各个方面的水下图像质量退化，适应水下环境变化的能力较差。
经检索，专利CN 107886486 A公开了一种基于暗通道先验与变分Retinex水下图像增强方法，所述水下图像增强方法包括以下步骤：将原始退化水下图像在RGB色彩空间基于各通道的均值和方差进行线性拉伸以校正色彩偏差；应用暗通道先验理论对色偏校正后的图像进行去雾处理，去除后向散射的影响，提高图像对比度；对处理后的图像从RGB色彩空间转换到L a b色彩空间，对L分量使用变分Retinex模型解决光照不均匀问题；将增强的L分量与a、b分量重新组合，转换回RGB色彩空间，得到最终的增强图像；该发明解决了水下图像存在的颜色退化、对比度低、细节模糊、以及光照不均匀等问题，提高了水下退化图像的可视质量，但图像对比度和色彩饱和度一般，不利于水下目标识别。
因此，研发一种既能获得更好的图像对比度和色彩饱和度，同时细节的清晰度得到有效提高，且更有利于水下目标识别的用于目标识别的水下图像综合增强方法是非常有必要的。
发明内容
本发明要解决的技术问题是提供一种既能获得更好的图像对比度和色彩饱和度，同时细节的清晰度得到有效提高，且更有利于水下目标识别的水下图像综合增强方法。
为解决上述技术问题，本发明的技术方案为：一种用于目标识别的水下图像综合增强方法，其创新点在于：对RGB水下彩色图像进行红通道的色彩补偿，在Jaffe-McGlamery成像模型的基础上，对红通道补偿后的水下彩色图像采用色偏校正来消除前向散射引起的对比度下降；同时为了满足水下目标检测应用需求，对HSV彩色空间的亮度、饱和度和色调进行伽马校正，并采用单通道去雾解决整体图像偏暗和后向散射造成的模糊问题。
进一步地，所述色偏校正采用统计无色偏校正方法。
进一步地，所述单通道去雾是对HSV空间的亮度空间进行的去模糊方法。
进一步地，其具体步骤如下：
根据Jaffe-McGlamery成像模型，对RGB空间水下退化图像Ic(x)描述为：
其中，x为图像像素，Jc(x)清晰的图像，c＝{R，G，B}，Ac为背景光或后向散射光，tc(x)为传输图；
同样，通过将原始图像Ic(x)，
和tc(x)代入式(1)，也可以得到复原水下图像Jc(x)：
该方法步骤如下：
第一步，对归一化后彩色图像IC(x)∈(0,1)，采用与绿色通道成比例图像红通道色彩补偿，计算补偿后水下图像IC CP：
其中，α1为补偿系数，IG和
分别为绿色和红色分量的均值；
第二步，在红通道补偿之后，下一个步骤是对补偿过的水下彩色图像IC CP进行色彩对比度拉伸，每个通道的最大值和最小值定义为：
其中，IC CPa和IC CPv分别是图像IC CP通道c中的平均值和均方误差，α2是控制图像动态的参数，通常取值为2.3-2.5之间，校正后的水下彩色图像IC CR为：
第三步，将校正后的水下彩色图像IC CR转换到HSV空间得到
并进一步对亮度、色调和饱和度分量IK CR，k＝{H、S、V}执行γ矫正来增强色调及亮度对比度，设γ矫正参数为α3k:
其中，对于存在低对比度的水下图像，选取α3k值大于1，以提高目标对比度；
第四步，对γ矫正后的HSV空间的亮度图像
本发明采用了高斯滤波来估计背景图像AV，设传输图的值为tV＝0.4，由(2)得亮度图像去模糊后图像
为：
其中，AV对观测图像
进行高斯低通滤波得到:
其中，GΩ(x)为均值为0，方差为图像最大行、列值的3％的高斯函数，Ω(x)为x附近的局部区域；
第五步，转换到RGB空间输出增强后水下图像。
进一步地，所述高斯低通滤波的滤波窗口大小为15×15。
进一步地，α1＝1，α2＝2.3，水下图像通常全局对比度较低，因此选取α3k值为2.3-3之间，以提高目标对比度；本发明选取亮度和饱和度分量的伽马校正参数在2.2-2.5，而对于色调伽马校正参数，偏蓝水下图像取值为2.3，偏黄、绿、白水下图像取值为2.8-3。
本发明的优点在于：本发明针对存在吸收、散射引起的模糊、对比度降低、饱和度降低和非均匀色彩投射等退化因素的水下彩色图像特别是近岸水下彩色图像，提出一种基于色彩补偿的组合水下图像增强方法，有效地提高了水下图像的色彩对比度、色彩饱和度和清晰度，并且使后续的目标检测任务获得更高的准确率，可以有效的实现各类水下图像清晰度和色彩增强，适用范围广。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1暗通道图像与R、G、B通道的绝对差直方图。图1(a)暗通道图像与R通道的绝对差直方图；图1(b)暗通道图像与R通道的绝对差累积直方图分布；图1(c)暗通道图像与G通道的绝对差直方图；图1(d)暗通道图像与B通道的绝对差直方图。
图2水下图像综合增强方法UISEM处理流程图。
图3为水下彩色图像原图。图3(a)偏蓝类型水下图像，图3(b)偏黄类型水下图像，图3(c)偏绿类型水下图像，图3(d)偏白类型的水下图像。
图4为现有技术Galdran等人提出的水下图像增强方法结果图。图4(a)偏蓝类型水下图像，图4(b)偏黄类型水下图像，图4(c)偏绿类型水下图像，图4(d)偏白类型的水下图像。
图5为现有技术Peng等人提出的水下图像增强方法结果图。图5(a)偏蓝类型水下图像，图5(b)偏黄类型水下图像，图5(c)偏绿类型水下图像，图5(d)偏白类型的水下图像。
图6为现有技术Li等人提出的水下图像增强方法结果图。图6(a)偏蓝类型水下图像，图6(b)偏黄类型水下图像，图6(c)偏绿类型水下图像，图6(d)偏白类型的水下图像。
图7为现有技术Yang等人提出的水下图像增强方法结果图。图7(a)偏蓝类型水下图像，图7(b)偏黄类型水下图像，图7(c)偏绿类型水下图像，图7(d)偏白类型的水下图像。
图8为现有技术Fu等人提出的水下图像增强方法结果图。图8(a)偏蓝类型水下图像，图8(b)偏黄类型水下图像，图8(c)偏绿类型水下图像，图8(d)偏白类型的水下图像。
图9为现有技术Ancuti等人提出的水下图像增强方法结果图。图9(a)偏蓝类型水下图像，图9(b)偏黄类型水下图像，图9(c)偏绿类型水下图像，图9(d)偏白类型的水下图像。
图10为本发明方法的水下图像增强方法结果图。图10(a)偏蓝类型水下图像，图10(b)偏黄类型水下图像，图10(c)偏绿类型水下图像，图10(d)偏白类型的水下图像。
图11为部分测试集中水下图像增强后的目标检测结果。图11(a)水下图像原图；图11(b)～图11(h)分别是水下图像经过Carlevaris等、He等、Galdran等、Fu等、Li等、Peng等以及UISEM算法处理后的目标检测结果。
图12为目标识别准确率及检测数量比。
具体实施方式
下面的实施例可以使本专业的技术人员更全面地理解本发明，但并不因此将本发明限制在所述的实施例范围之中。
本发明用于目标识别的水下图像综合增强方法，对RGB水下彩色图像进行红通道的色彩补偿，在Jaffe-McGlamery成像模型的基础上，对红通道补偿后的水下彩色图像采用色偏校正来消除前向散射引起的对比度下降；同时为了满足水下目标检测应用需求，对HSV彩色空间的亮度、饱和度和色调进行伽马校正，并采用单通道去雾解决整体图像偏暗和后向散射造成的模糊问题；其中，所述色偏校正采用统计无色偏校正方法，所述单通道去雾是对HSV空间的亮度空间进行的去模糊方法。
作为实施例，更具体的实施方式为其具体步骤如下：
根据Jaffe-McGlamery成像模型，对RGB空间水下退化图像Ic(x)描述为：
其中，x为图像像素，Jc(x)清晰的图像，c＝{R，G，B}，Ac为背景光或后向散射光，tc(x)为传输图；
同样，通过将原始图像Ic(x)，
和tc(x)代入式(1)，也
可以得到复原水下图像Jc(x)：
该方法步骤如下：
第一步，对归一化后彩色图像IC(x)∈(0,1)，采用与绿色通道成比例图像红通道色彩补偿，计算补偿后水下图像IC CP：
其中，α1为补偿系数，IG和
分别为绿色和红色分量的均值；
第二步，在红通道补偿之后，下一个步骤是对补偿过的水下彩色图像IC CP进行色彩对比度拉伸，每个通道的最大值和最小值定义为：
其中，IC CPa和IC CPv分别是图像IC CP通道c中的平均值和均方误差，α2是控制图像动态的参数，通常取值为2.3-2.5之间，校正后的水下彩色图像IC CR为：
第三步，将校正后的水下彩色图像IC CR转换到HSV空间得到
并进一步对亮度、色调和饱和度分量IK CR，k＝{H、S、V}执行γ矫正来增强色调及亮度对比度，设γ矫正参数为α3k:
其中，对于存在低对比度的水下图像，选取α3k值大于1，以提高目标对比度；
第四步，对γ矫正后的HSV空间的亮度图像
本发明采用了高斯滤波来估计背景图像AV，设传输图的值为tV＝0.4，由(2)得亮度图像去模糊后图像
为：
其中，AV对观测图像
进行高斯低通滤波(高斯低通滤波的滤波窗口大小为15×15)得到:
其中，GΩ(x)为均值为0，方差为图像最大行、列值的3％的高斯函数，Ω(x)为x附近的局部区域；
第五步，转换到RGB空间输出增强后水下图像。
上述步骤中，α1＝1，α2＝2.3，水下图像通常全局对比度较低，因此选取α3k值为2.3-3之间，以提高目标对比度；本发明选取亮度和饱和度分量的伽马校正参数在2.2-2.5，而对于色调伽马校正参数，偏蓝水下图像取值为2.3，偏黄、绿、白水下图像取值为2.8-3。
对本发明方法的原理阐述如下：
水体的光学特性是决定水下成像的重要因素，天然水的固有光学特性是纯水(分子散射和吸收)、海水中溶质(分子散射和吸收)和悬浮颗粒(颗粒散射和吸收)的固有光学特性的复合。光在水中的传播受两种因素的影响：吸收和散射。吸收和散射不仅仅是由水体本身产生，还包括溶解有机物和小的漂浮粒子“海雪”的影响。浮游生物、彩色溶解有机质和总悬浮物质的浓度和目标距离也是影响水下彩色图像质量的主要因素。随着水下深度的增加，色彩按照波长依次消失，水下图像中表现出来的非均匀色彩投射与水体对不同光波长的吸收和衰减及目标距离和光源的光谱分布有关。通过增加人工照明虽然可以增加可视距离，但经常会导致非均匀照明情况，在图像中产生被暗区域包围的亮斑。而人工光源使得悬浮物质引起的散射更加严重。运动作业时所引起的浪花、漩涡、泥沙及各种海洋生物的影响也导致了图像的不规则模糊。除此以外，成像系统、光源色温都对水下彩色图像的质量产生影响。因此，拍摄的水下图像大多同时存在多种以下问题：整体亮度偏低、低对比度、模糊、光斑、色彩投射和各种复杂因素的噪声。
在Jaffe-McGlamery成像模型中，成像设备在距离场景目标d处所接收到的光成像后为Ic(x)，c＝{R、G、B}，可表达为物体直接反射部分、前向散射部分和后向散射(非目标反射光)的叠加；其中，直接反射分量Ed可表示为：
其中，Jc(x)是清晰的图像，pλ是水体衰减系数，是吸收系数aλ和散射系数bλ的总和，两者都与波长λ相关：
pλ＝aλ+bλ (11)
指数项
为水体传输透射图tc(x)：
Eb为后向散射，可表示为：
其中，
被称为背景光或R、G、B通道的后向散射光，一般来说，前向散射Ef与整个图像退化过程的一小部分有关，因此大多数现有水下复原技术中使用的水下光学模型成为：
通过将原始图像Ic(x)，
和tc(x)代入式(1)，可以得到复原水下图像Jc(x)：
众多水下图像研究中可以见，长波长(红)光在水中比短波长光衰减程度高。通过收集300幅近海(深度<20m)的日间水下图像，包括海洋养殖，浅海生物调查和沿海水下工程图像。根据暗通道先验得到的近海图像集合暗通道图像与其R分量之间的差值直方图如附图1所示。暗通道图像是由窗口大小为15×15计算得到。其中，附图1(a)为300幅水下图像的R分量与暗通道绝对差直方图分布，附图1(b)为相应的累积直方图分布。可以看出，超过80％的水下图像的R分量与暗通道的差值低于0.26。附图1(c)和(d)为暗通道图像与G和B彩色分量差的相应直方图。这证实了水下环境中拍摄的水下图像由于红光衰减程度高而损失了大部分细节，而绿色通道相对保持了更多关于目标的信息，如图附图1(c)所示。因此，在UISEM的第一步中，对归一化为[0,1]区间的水下彩色图像Ic(x),首先采用式(3)补偿水下图像的红色衰减得到图像
由于绿色通道保留了更多的目标景深信息，所以红色通道的补偿与绿色通道成比例。
在自然图像的目标检测任务中，目标亮度和色调的对比度是模型识别目标的主要因素。而在水下图像的目标往往由于照明条件不足和衰减造成目标识别困难。因此在红通道补偿之后，下一个步骤是对补偿过的图像
采用式(6)统计无色偏校正方法进行色彩对比度拉伸。
并进一步将色偏矫正后的水下图像转换到HSV空间
对亮度、色调和饱和度分量
k＝{H、S、V}执行式(7)γ矫正来增强色调及亮度对比度。对归一化后灰度图像，当α3k<1时，低灰度值动态范围变大，高灰度值动态范围变小，图像整体的灰度值变大。相反，当α3k>1时，低灰度值动态范围变小，高灰度值动态范围变大。因此对与存在低对比度的水下图像，选取α3k值应大于1，提高目标对比度。
为了使算法对各种水下图像具有良好的适应性，本发明对四类水下图像，包括：偏蓝、偏绿、偏黄、偏白共150幅水下图像，对HSV空间的伽马校正参数α3H，α3S，α3V进行了实验对比，发现亮度和饱和度分量的伽马校正参数在2.2-2.5，而对于色调伽马校正参数，偏蓝水下图像取值为2.3，偏黄、绿、白水下图像取值为2.8-3的时候可获得较好的目标检测效果。
在水下环境中，由于衰减与波长及目标距离有关，而且水中的悬浮颗粒的存在，光线-颗粒的交互散射作用结果使图像的背景光亮度并不均匀，水体中悬浮颗粒的浓度、性质，及季节、天气、照明及水流、深度等等因素使得水下图像的退化具有局部化特征。为了去除后向散射造成的细节模糊，本发明将对比度矫正后的亮度图像视为单通道灰度图像去雾的情况，假设一幅归一化无雾灰度图像的灰度范围分布均匀为0～1，因此，最暗的灰度像素为0，而由于有雾的原因而造成最低亮度值的提高。结合之前工作中的对水下背景图像每幅图像中间行灰度值均匀性分布尺度进行的统计，对γ矫正后的亮度图像
本发明采用式(9)高斯滤波后的图像为背景图像AV，设传输图的值为tV＝0.4，由式(8)获得亮度图像去雾后图像
其中，tV为一个常数，tV越大，去雾后图像锐化越明显，但会造成亮目标的过度锐化和阴影过暗，考虑到水下成像距离多为5m左右，则对水体衰减长度通常为1左右，因此本发明取tV≈0.4。
最后，将转换到RGB空间输出增强后水下图像。
以下通过具体的实施例进一步对本发明的技术方案进行描述，使本领域技术人员进一步理解本发明，而不构成对本发明权利的限制。
实施例1
本实施例用于目标识别的水下图像综合增强算法，对八幅R，G，B空间归一化后水下彩色图像Ic(x)∈(0,1)具体方法步骤如下：
第一步，采用式(3)计算红通道色彩补偿后水下图像
其中(C＝R)，本实施中α1设为1。
第二步，采用式(4)(5)(6)对第一步得出的
进行色偏校正，得到校正后的水下彩色图像
第三步，将校正后的水下彩色图像
转换到HSV空间得到
并采用式(7)进一步对亮度、色调和饱和度分量
k＝{H、S、V}执行γ矫正来增强色调及亮度对比度。在本实施中，对于四类水下图像，亮度和饱和度分量的伽马校正参数设为2.3左右；而对于色调伽马校正参数，对于偏蓝水下图像设为2.3，对于偏黄、绿、白水下图像取值设为3左右。
第四步，对γ矫正后的亮度图像
本发明采用了式(9)计算得到的高斯滤波后的图像为背景图像AV，设传输图的值为tV＝0.4，代入式(8)并计算亮度图像去模糊后图像
第五步，最后将由第三步和第四步处理后的HSV图像转换到RGB空间输出增强后水下图像。
附图4-9为现有技术中其他几种方法对图3水下图像增强的结果，图10是采用本发明方法得到的水下彩色图像增强结果。其中每组图像中，(a)是偏蓝类型的图像，(b)是偏黄类型图像，(c)是偏绿类型图像，(d)是偏白类型图像。从图4-9可以看出，虽然Li等，Yang等，Fu等和Ancuti等提出的增强算法对四类水下图像都取得了一定程度的色彩复原，但基于暗通道的方法存在图像中亮目标区域的处理问题，如图4-9中每一组(a)图中第一幅图所示。除此以外，Galdran等人的红通道法对偏蓝水下图像色彩复原效果不佳，在存在黄色目标的水下图像中由于补偿红色而使得复原后图像中的黄色目标偏绿，如图4(a)第2幅图像所示，对偏黄水下图像复原后结果图像偏蓝，如图4(b)第2幅图像所示。Li等人提出的方法存在暗区域模糊和色彩伪影问题，如图6中(a)(b)中每组的第1幅所示。Peng等人和Li等人提出的方法增强后图像暗区域的对比度都比较低，如图5(a)(d)中每组的第一幅图所示。Yang等人提出的基于Retinex和局部背景光的方法与其他方法相比，提高了暗区域的对比度并去除了水下图像中的模糊，细节清晰度得到了显著提高但存在整体饱和度偏低的情况。Fu等人提出的方法输出图像存在边缘模糊的问题。而Ancuti等人提出的基于融合的方法在处理存在亮目标的偏蓝水下图像时产生了红色的噪声，而对其他图像的增强结果仍未能实现色调的复原。其他的增强算法相比，本发明提出的UISEM对四类水下图像均取得了色彩和对比度的提高，而且图像细节的清晰度也得到了增强，效果优于现有其他方法。
实施例2本发明提出的UISEM对增强图像色彩的性能对比实验：
Imatest是美国Imatest公司开发的一款被广泛应用的图像评测软件，它的系统基于Matlab建立。Imatest是一个用来对数码相机图像进行数据测试的软件包，这个软件的功能有很多，比如说：分辨率测试(SFR--MTF)、色差、色彩还原度、色彩空间等，它是目前最权威的成像分析软件。
实施例通过比较Imatest 4.3输出ColorChecker彩色板增强后图像色彩误差研究各种方法增强后图像与真实图像色彩的相关性。
在本实施例中，水池长2.53米，宽1.02米，高1.03米。试验目标为Imatest SFRplus清晰度板和ColorChecker 24 X-Rite Chart(21.59×27.94cm)。采用OTI-UWC-325/P/E彩色相机，分别在94.5cm(Duntley法则)条件下拍摄水下图像。所提出的算法的颜色恢复能力通过与设备无关的CIELAB颜色空间中的颜色误差来说明，如附表1所示。
附表1：Imatest 4.3分析ColorChecker
L表示明度值；a、b分别表示红-绿、黄-蓝分量。比较的色彩误差包括：ΔCab *和ΔE* ab，通常情况下色差数值越小说明图像色彩复原效果越好，表1中列出的ΔE* ab(包括亮度L*)和ΔCab *(仅颜色；省略L*)由下式计算：
ΔE* ab＝((L2 *-L1 *)2+(a2 *-a1 *)2+(b2 *+b1 *)2)1/2 （14）
ΔCab *＝((a2 *-a1 *)2+(b2 *+b1 *)2)1/2 (15)
大约为1的ΔCab *或ΔE* ab大致对应于颜色之间的明显差异。附表1中数据表明，本发明所提出UISEM实现了综合最低的ΔCab *和ΔE* ab，图像颜色恢复结果最佳。
实施例3本发明提出的UISEM对目标检测任务性能提高的对比实验：
水下图像增强的目的不仅是主观视觉质量改进，更主要的是为了能够完成更高级别的视觉分析任务(例如目标识别和检测)。实施例通过目标检测网络模型对经过7种算法增强后的水下图像数据集进行训练与测试，对比了平均水下目标识别准确率(mAP，meanAverage Precision)和检测到目标数量与实际的目标数量的比值(Num)来评估各个增强算法对于水下目标识别和检测任务中的作用。
实施例的图像数据来自于Real-world Underwater Image Enhancement(RUIE)近海水下图像数据集，该数据集提供三类海洋生物的边界框和标签，即扇贝，海胆和海参。由于这三种海洋生物的外观和周围环境十分相似，因此对该数据集进行目标检测/识别任务具有一定的挑战性。
实施例具体方法步骤如下：
第一步：从RUIE数据集中选取2400张标记过的水下图像作为实验图像，其中2000张图像作为训练集，400张图像为测试集。
第二步，分别采用Galdran等、Peng等、Li等、Fu等、Yang等、Ancuti等以及本发明提出的UISEM等方法对实验图像进行增强处理。
第三步，将第二步增强后的图像归一化大小为300×400，并分别对目标检测网络YOLO-V3进行训练和测试。目标检测结果如附图11和附表2所示。对扇贝，海胆和海参三类目标的识别准确率和检测率如附图12所示。
在图像未经过增强处理前，目标识别正确率(mAP)和目标检测率(Num)分别为0.323和0.374。
附表2：目标识别准确率(mAP)及检测率对比
附表2数据可以看出大多数增强方法由于改善了水下图像存在的退化，提高了水下图像的清晰度和对比度，目标识别准确率和检测数量相较于未增强的图像都有相应的提高，因此说明了水下图像增强在高级视觉任务中作为预处理的必要性。而由于图像对比度的提高对于目标检测任务具有重要的影响，因此，Fu等人提出的方法和本发明提出的UISEM目标识别准确率及目标检测数量均高于其他增强方法。而本发明提出的UISEM改善了由于后向散射等造成的模糊，提高了目标清晰度，获得了最高的93.3％的目标检测率和85.2％的目标识别准确率。而由附图12可以看出，对其他增强方法输出的图像进行检测时，对海参这种与海底环境较为近似的目标的识别率相对于其他两种目标较低。而本发明提出UISEM增强后水下图像在进行识别的过程中，对三类目标均有相近的识别正确率。
以上显示和描述了本发明的基本原理和主要特征以及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (6)
1.一种用于目标识别的水下图像综合增强方法，其特征在于：对RGB水下彩色图像进行红通道的色彩补偿，在Jaffe-McGlamery成像模型的基础上，对红通道补偿后的水下彩色图像采用色偏校正来消除前向散射引起的对比度下降；同时为了满足水下目标检测应用需求，对HSV彩色空间的亮度、饱和度和色调进行伽马校正，并采用单通道去雾解决整体图像偏暗和后向散射造成的模糊问题。
2.根据权利要求1所述的用于目标识别的水下图像综合增强方法，其特征在于：所述色偏校正采用统计无色偏校正方法。
3.根据权利要求1所述的用于目标识别的水下图像综合增强方法，其特征在于：所述单通道去雾是对HSV空间的亮度空间进行的去模糊方法。
4.根据权利要求1所述的用于目标识别的水下图像综合增强方法，其特征在于：其具体步骤如下：
根据Jaffe-McGlamery成像模型，对RGB空间水下退化图像Ic(x)描述为：
其中，x为图像像素，Jc(x)清晰的图像，c＝{R，G，B}，Ac为背景光或后向散射光，tc(x)为传输图；
同样，通过将原始图像Ic(x)，
和tc(x)代入式(1)，也可以得到复原水下图像Jc(x)：
该方法步骤如下：
第一步，对归一化后彩色图像IC(x)∈(0,1)，采用与绿色通道成比例图像红通道色彩补偿，计算补偿后水下图像IC CP：
其中，α1为补偿系数，IG和IR分别为绿色和红色分量的均值；
第二步，在红通道补偿之后，下一个步骤是对补偿过的水下彩色图像IC CP进行色彩对比度拉伸，每个通道的最大值和最小值定义为：
其中，IC CPa和IC CPv分别是图像IC CP通道c中的平均值和均方误差，a2是控制图像动态的参数，通常取值为2.3-2.5之间，校正后的水下彩色图像IC CR为：
第三步，将校正后的水下彩色图像IC CR转换到HSV空间得到
并进一步对亮度、色调和饱和度分量IK CR，k＝{H、S、V}执行γ矫正来增强色调及亮度对比度，设γ矫正参数为α3k:
其中，对于存在低对比度的水下图像，选取α3k值大于1，以提高目标对比度；
第四步，对γ矫正后的HSV空间的亮度图像
本发明采用了高斯滤波来估计背景图像AV，设传输图的值为tV＝0.4，由(2)得亮度图像去模糊后图像
为：
其中，AV对观测图像
进行高斯低通滤波得到:
其中，GΩ(x)为均值为0，方差为图像最大行、列值的3％的高斯函数，Ω(x)为x附近的局部区域；
第五步，转换到RGB空间输出增强后水下图像。
5.根据权利要求4所述的用于目标识别的水下图像综合增强方法，其特征在于：所述高斯低通滤波的滤波窗口大小为15×15。
6.根据权利要求4所述的用于目标识别的水下图像综合增强方法，其特征在于：α1＝1，α2＝2.3，水下图像通常全局对比度较低，因此选取α3k值为2.3-3之间，以提高目标对比度；本发明选取亮度和饱和度分量的伽马校正参数在2.2-2.5，而对于色调伽马校正参数，偏蓝水下图像取值为2.3，偏黄、绿、白水下图像取值为2.8-3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911309907.5A CN111161170B (zh) | 2019-12-18 | 2019-12-18 | 一种用于目标识别的水下图像综合增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911309907.5A CN111161170B (zh) | 2019-12-18 | 2019-12-18 | 一种用于目标识别的水下图像综合增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111161170A true CN111161170A (zh) | 2020-05-15 |
| CN111161170B CN111161170B (zh) | 2023-04-28 |
Family
ID=70557613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911309907.5A Active CN111161170B (zh) | 2019-12-18 | 2019-12-18 | 一种用于目标识别的水下图像综合增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111161170B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738943A (zh) * | 2020-06-12 | 2020-10-02 | 吉林大学 | 一种空域和频域相结合的医学图像增强方法 |
| CN111833270A (zh) * | 2020-07-13 | 2020-10-27 | 新疆大学 | 一种快速的沙尘降质图像增强方法 |
| CN112804510A (zh) * | 2021-01-08 | 2021-05-14 | 海南省海洋与渔业科学院 | 深水图像的色彩还真处理方法、装置、存储介质及相机 |
| CN112907469A (zh) * | 2021-02-05 | 2021-06-04 | 北京理工大学 | 基于Lab域增强、分类及对比度提升的水下图像识别方法 |
| CN112949389A (zh) * | 2021-01-28 | 2021-06-11 | 西北工业大学 | 一种基于改进目标检测网络的雾霾图像目标检测方法 |
| CN113284060A (zh) * | 2021-05-17 | 2021-08-20 | 大连海事大学 | 一种基于波长衰减识别的水下图像增强方法 |
| CN114022732A (zh) * | 2021-11-03 | 2022-02-08 | 北京理工大学 | 一种基于raw图像的极暗光物体检测方法 |
| CN114827586A (zh) * | 2022-04-24 | 2022-07-29 | 中国科学院新疆理化技术研究所 | 一种基于图像传感器量子效率的相机辐照后成像分辨率退化评估方法 |
| WO2022161145A1 (zh) * | 2021-02-01 | 2022-08-04 | 安翰科技(武汉)股份有限公司 | 图像处理方法、电子设备及可读存储介质 |
| CN117422656A (zh) * | 2023-12-14 | 2024-01-19 | 西南交通大学 | 一种低照度模糊交通图像增强方法、装置、设备及介质 |
| CN114022732B (zh) * | 2021-11-03 | 2024-05-31 | 北京理工大学 | 一种基于raw图像的极暗光物体检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080101719A1 (en) * | 2006-10-30 | 2008-05-01 | Samsung Electronics Co., Ltd. | Image enhancement method and system |
| CN106991663A (zh) * | 2017-04-05 | 2017-07-28 | 淮海工学院 | 一种基于暗通道理论的水下彩色图像增强方法 |
| CN107507138A (zh) * | 2017-07-27 | 2017-12-22 | 北京大学深圳研究生院 | 一种基于Retinex模型的水下图像增强方法 |
| CN109191390A (zh) * | 2018-08-03 | 2019-01-11 | 湘潭大学 | 一种基于不同颜色空间多算法融合的图像增强算法 |
| CN110517327A (zh) * | 2019-08-30 | 2019-11-29 | 大连海事大学 | 一种基于颜色校正和对比度拉伸的水下图像增强方法 |
-
2019
- 2019-12-18 CN CN201911309907.5A patent/CN111161170B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080101719A1 (en) * | 2006-10-30 | 2008-05-01 | Samsung Electronics Co., Ltd. | Image enhancement method and system |
| CN106991663A (zh) * | 2017-04-05 | 2017-07-28 | 淮海工学院 | 一种基于暗通道理论的水下彩色图像增强方法 |
| CN107507138A (zh) * | 2017-07-27 | 2017-12-22 | 北京大学深圳研究生院 | 一种基于Retinex模型的水下图像增强方法 |
| CN109191390A (zh) * | 2018-08-03 | 2019-01-11 | 湘潭大学 | 一种基于不同颜色空间多算法融合的图像增强算法 |
| CN110517327A (zh) * | 2019-08-30 | 2019-11-29 | 大连海事大学 | 一种基于颜色校正和对比度拉伸的水下图像增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| 董静薇，徐博，马晓峰，韩闯: "基于同态滤波及多尺度Retinex的低照度图像增强算法", 《科学技术与工程》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738943A (zh) * | 2020-06-12 | 2020-10-02 | 吉林大学 | 一种空域和频域相结合的医学图像增强方法 |
| CN111738943B (zh) * | 2020-06-12 | 2023-12-05 | 吉林大学 | 一种空域和频域相结合的医学图像增强方法 |
| CN111833270A (zh) * | 2020-07-13 | 2020-10-27 | 新疆大学 | 一种快速的沙尘降质图像增强方法 |
| CN111833270B (zh) * | 2020-07-13 | 2023-02-10 | 新疆大学 | 一种快速的沙尘降质图像增强方法 |
| CN112804510A (zh) * | 2021-01-08 | 2021-05-14 | 海南省海洋与渔业科学院 | 深水图像的色彩还真处理方法、装置、存储介质及相机 |
| CN112949389A (zh) * | 2021-01-28 | 2021-06-11 | 西北工业大学 | 一种基于改进目标检测网络的雾霾图像目标检测方法 |
| WO2022161145A1 (zh) * | 2021-02-01 | 2022-08-04 | 安翰科技(武汉)股份有限公司 | 图像处理方法、电子设备及可读存储介质 |
| CN112907469B (zh) * | 2021-02-05 | 2022-09-16 | 北京理工大学 | 基于Lab域增强、分类及对比度提升的水下图像识别方法 |
| CN112907469A (zh) * | 2021-02-05 | 2021-06-04 | 北京理工大学 | 基于Lab域增强、分类及对比度提升的水下图像识别方法 |
| CN113284060A (zh) * | 2021-05-17 | 2021-08-20 | 大连海事大学 | 一种基于波长衰减识别的水下图像增强方法 |
| CN113284060B (zh) * | 2021-05-17 | 2024-04-05 | 大连海事大学 | 一种基于波长衰减识别的水下图像增强方法 |
| CN114022732A (zh) * | 2021-11-03 | 2022-02-08 | 北京理工大学 | 一种基于raw图像的极暗光物体检测方法 |
| CN114022732B (zh) * | 2021-11-03 | 2024-05-31 | 北京理工大学 | 一种基于raw图像的极暗光物体检测方法 |
| CN114827586A (zh) * | 2022-04-24 | 2022-07-29 | 中国科学院新疆理化技术研究所 | 一种基于图像传感器量子效率的相机辐照后成像分辨率退化评估方法 |
| CN114827586B (zh) * | 2022-04-24 | 2024-04-12 | 中国科学院新疆理化技术研究所 | 一种基于图像传感器量子效率的相机辐照后成像分辨率退化评估方法 |
| CN117422656A (zh) * | 2023-12-14 | 2024-01-19 | 西南交通大学 | 一种低照度模糊交通图像增强方法、装置、设备及介质 |
| CN117422656B (zh) * | 2023-12-14 | 2024-04-12 | 西南交通大学 | 一种低照度模糊交通图像增强方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111161170B (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111161170B (zh) | 一种用于目标识别的水下图像综合增强方法 | |
| Ancuti et al. | D-hazy: A dataset to evaluate quantitatively dehazing algorithms | |
| Hu et al. | Single image defogging based on illumination decomposition for visual maritime surveillance | |
| Wang et al. | Underwater image restoration via maximum attenuation identification | |
| US11127122B2 (en) | Image enhancement method and system | |
| Lu et al. | Underwater image enhancement using guided trigonometric bilateral filter and fast automatic color correction | |
| CN106991663B (zh) | 一种基于暗通道理论的水下彩色图像增强方法 | |
| Muniraj et al. | Underwater image enhancement by combining color constancy and dehazing based on depth estimation | |
| Wang et al. | Fusion-based underwater image enhancement by wavelet decomposition | |
| Chiang et al. | Underwater image enhancement: using wavelength compensation and image dehazing (WCID) | |
| CN111986120A (zh) | 一种基于帧累加和多尺度Retinex的低光照图像增强优化方法 | |
| Mohan et al. | Underwater image enhancement based on histogram manipulation and multiscale fusion | |
| CN111861896A (zh) | 一种面向uuv的水下图像色彩补偿与恢复方法 | |
| Mathur et al. | Enhancement of underwater images using white balancing and Rayleigh-stretching | |
| Hegde et al. | Adaptive cubic spline interpolation in cielab color space for underwater image enhancement | |
| Mathur et al. | Enhancement of nonuniformly illuminated underwater images | |
| Mei et al. | Single image dehazing using dark channel fusion and haze density weight | |
| CN110335210B (zh) | 一种水下图像复原方法 | |
| Wei et al. | An image fusion dehazing algorithm based on dark channel prior and retinex | |
| Li et al. | Underwater image restoration by color compensation and color-line model | |
| Gong et al. | Research on the method of color compensation and underwater image restoration based on polarization characteristics | |
| Hmue et al. | Image enhancement and quality assessment methods in turbid water: A review article | |
| Dhanya et al. | L-CLAHE intensification filter (L-CIF) algorithm for underwater image enhancement and colour restoration | |
| Tang et al. | Sky-preserved image dehazing and enhancement for outdoor scenes | |
| CN113989164A (zh) | 一种水下彩色图像复原方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |