CN107527325B - 一种基于暗通道优先的单目水下视觉增强方法 - Google Patents
一种基于暗通道优先的单目水下视觉增强方法 Download PDFInfo
- Publication number
- CN107527325B CN107527325B CN201710694749.4A CN201710694749A CN107527325B CN 107527325 B CN107527325 B CN 107527325B CN 201710694749 A CN201710694749 A CN 201710694749A CN 107527325 B CN107527325 B CN 107527325B
- Authority
- CN
- China
- Prior art keywords
- image
- underwater
- depth
- channel
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 46
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 33
- 230000005540 biological transmission Effects 0.000 claims abstract description 31
- 230000015556 catabolic process Effects 0.000 claims abstract description 16
- 238000006731 degradation reaction Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000012937 correction Methods 0.000 claims abstract description 13
- 238000000889 atomisation Methods 0.000 claims abstract description 10
- 238000002834 transmittance Methods 0.000 claims abstract description 6
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 238000012821 model calculation Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000005669 field effect Effects 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于暗通道优先的单目水下视觉增强方法,首先对水下图像的雾化和色偏现象建立退化模型,通过计算亮暗通道的视差获取水下图像的景深信息;其次,通过景深信息估计水体背景颜色;然后根据景深信息获取水下环境的透射图,并通过自适应的方式对透射图中的透射率进行调整;最后对图像进行恢复,并采用颜色校正对图像做后续处理,以去除剩余的色偏,并调整亮度。本发明通过改进的暗通道优先算法有效的解决了水下图像增强的问题。此方法的模型简单,实时性好,避免了复杂的模型计算缺陷,同时该算法对环境的鲁棒性更好,可广泛使用于浅水、净水、富含浮游生物水域等环境,具有广阔的应用前景和良好的经济效益。
Description
技术领域
本发明涉及一种基于暗通道优先的单目水下视觉增强方法,该方法是水下机器人视觉应用前的图像处理,其属于水下图像处理、水下机器人等应用领域。
背景技术
随着海洋的开发,水下机器人技术的研究成为当今时代的热点与趋势。目前,水下机器人广泛应用于水下管道检查、船体检修、水下娱乐、水下考古和科研考察等领域。有研究人员针对观测型水下机器人进行研究。水下机器人主要的环境感知手段是图像,但是由于水体会对光会产生散射与吸收的效应,导致水下图像会出现严重的弱化现象,从而严重影响了水下机器人作业任务的顺利开展。水体的散射效应会导致水下图像的对比度下降,即产生类似雾化的现象。吸收效应会使水下图像的亮度下降,当处于深水区时,甚至会出现完全漆黑的现象。此外,水对不同波长的光吸收能力不同,水下图像会产生色偏。其作用如图6所示。面对水体对图像质量的影响,图像增强是水下机器人开发的必要前提。
传统的图像增强算法有,直方图均衡化,对比度限制的直方图均衡化,基于概率的方法等。这些算法对于一般图像的增强很有效,但是对于水下环境,它们会使增强后的图像失真,增强效果不能满足实际要求。
目前已有的一些基于颜色恒常理论的水下图像增强方法。这种算法指出物体的颜色是由物体对长波、中波和短波光线的反射能力决定的,而不是由反射光强度的绝对值决定的且物体的色彩不受光照非均匀性的影响,具有一致性。其常常用于图像的去雾或者光照不足条件下的图像增强。对于水下环境,该算法常常导致增强过度的现象,对水下环境的鲁棒性较差。
还有一些基于暗通道优先算法(DCP)的水下图像增强。DCP算法由于其简单的雾化模型和优异的去雾效果,获得了广泛的应用。但直接将DCP算法应用于水下图像,并不能获得很好的增强效果。一些改进的算法被提出,如Chong-Yi Li等将对比度增强与DCP算法混合来用于水下图像的增强;John Y.Chiang等将波长补偿的方式与DCP相结合增强水下图像;但是这些算法不能兼顾增强效果与处理的实时性,增强效果较好但实时性较差,或者实时性较好但增强效果较差。
发明内容
本发明的目的是为了克服已有的技术缺陷,针对水下图像增强算法对环境的鲁棒性问题和处理实时性的问题,提出了一种基于单目图像暗通道优先处理的水下视觉增强方法。对于环境鲁棒性问题,本算法对透射图进行自适应调整,以适应更多水下环境。对于实时性问题,本算法基于暗通道优先算法进行改进的,该算法具有模型简单,实时性好的特点。从而实现了不同环境下水下图像增强效果适当,且处理时间短。
本发明采用的技术方案为:
一种基于暗通道优先的单目水下视觉增强方法,步骤如下:
(1)对水下图像的雾化和色偏现象建立退化模型,通过计算亮暗通道的视差获取水下图像的景深信息;
(2)通过景深信息估计水体背景颜色;
(3)根据景深信息获取水下环境的透射图,并通过自适应的方式对透射图中的透射率进行调整;
(4)对图像进行恢复,并采用颜色校正对图像做后续处理,以去除剩余的色偏,并调整亮度。
进一步,步骤(1)退化模型建立与景深信息获取:首先仿照暗通道优先算法,建立水下图像的退化模型;考虑到水下环境图像色偏的特点,获取图像中RGB三个通道中均值最大的通道图像和均值最小的通道图像;最后通过均值最大通道图像和均值最小通道图像之差获得景深图像。
进一步,步骤(2)估计水体背景颜色:首先在景深图中寻找到亮度为前0.1%的像素;其次,在原图像中取这些像素所对应的各个通道的均值作为水体的背景颜色。
进一步,步骤(3)透射图的获取与自适应调整:首先对景深图取反,得到透射图;其次,对透射图中各个像素的透射率进行自适应调整,其中自适应调整的部分有水下环境背景部分的透射率调整和最大透射率与最小透射率大小比例的调整。
进一步,步骤(4)图像恢复与颜色校正:首先根据暗通道优先算法对图像进行恢复;然后采用白平衡的方式对图像继续进行颜色校正处理;最后,对增强后图像的各个通道都添加某一个值,以增强图像亮度。
本发明与现有技术相比的有益效果:
本发明通过改进的暗通道优先算法有效的解决了水下图像增强的问题。由于水下图像退化与雾化图像具有相似性,算法利用了传统暗通道优先算法,模型简单,增强效果优异的特点。针对水下环境与雾化环境中的不同之处,对暗通道优先算法进行改进,使其适用于水下环境。同时通过自适应调整的方式,使算法具有更好的环境鲁棒性。此方法的模型简单,实时性好,避免了复杂的模型计算缺陷,同时该算法对环境的鲁棒性更好,可广泛使用于浅水、净水、富含浮游生物水域等环境,具有广阔的应用前景和良好的经济效益。
附图说明
图1为:算法总体框图;
图2为:景深图获取流程图;
图3为:水体颜色计算流程图;
图4为:透射图获取与调整流程图;
图5为:图像恢复与颜色校正流程图;
图6为:水体对光吸收作用图像;
图7为:暗通道图像与景深图像比较(图a为暗通道图像,图b为景深图像);
具体实施方式
下面结合附图和具体实施方式对本发明做进一步说明,但本发明的保护范围不受实施例任何形式上的限制。
实施例1
一种基于暗通道优先的单目水下视觉增强方法,步骤如下:
(1)对水下图像的雾化和色偏现象建立退化模型,通过计算亮暗通道的视差获取水下图像的景深信息;
(2)通过景深信息估计水体背景颜色;
(3)根据景深信息获取水下环境的透射图,并通过自适应的方式对透射图中的透射率进行调整;
(4)对图像进行恢复,并采用颜色校正对图像做后续处理,以去除剩余的色偏,并调整亮度。
算法的具体步骤如下,总体流程图如图1所示。
1、退化模型建立与景深信息获取
退化模型的建立是图像增强算法的前提,首先仿照暗通道优先算法,建立水下图像的退化模型;考虑到水下环境图像色偏的特点,获取图像中RGB三个通道中均值最大的通道图像和均值最小的通道图像;最后通过均值最大通道图像和均值最小通道图像之差获得景深图像。处理流程如图2所示,具体步骤包括:
第一步:建立退化模型。水下图像退化与空气中的雾化具有相似性,采用暗通道优先算法的图像雾化模型表示水下图像的退化。退化模型的公式如下所示:
I(x)=J(x)t(x)+A(1-t(x)) (1)
其中,I(x)为原图像,J(x)为增强后的图像,t(x)为透射图,x是图像中的像素,A是水体背景颜色。
第二步:亮暗通道图像的获取。这里获取的亮暗通道是指图像三个通道中均值最高和均值最低的通道图像,其获取是以整幅图像作为操作对象。其定义与暗通道优先算法中的暗通道图像的定义不同,本算法采用的最亮通道和最暗通道的定义为:
其中,公式(1)是最亮通道图像的定义,Jb(x)表示最亮通道图像,Jc(x)表示各个通道的图像,x表示图像中的像素,c表示图像中RGB的三个通道。公式(2)是最暗通道图像的定义,Jd(x)表示最暗通道图像。
第三步:景深图像的获取。为了再现水下景物的景深效果,利用最亮通道图像减去最暗通道图像,得到景深图像。传统暗通道优先算法得到的暗通道图像在水下环境中,几乎完全漆黑,没有景深效果,无法进行后续处理。而本算法得到的景深图像具有景深效果,适用于水下环境。两者比较如图7所示。景深图像的获取如下所示:
Jdepth(x)=(Jb(x)-Jd(x))/255 (3)
其中,Jdepth(x)表示景深图像,Jb(x)表示最亮通道图像,Jd(x)表示最暗通道图像,x表示图像中的像素;除以255是为了将景深图像中的值映射到0至1之间,以便于后续透射图的获取。
2、水体背景颜色获取
水体背景颜色获取主要包括两个部分,首先在景深图中寻找到亮度为前0.1%的像素;其次,在原图像中取这些像素所对应的各个通道的均值作为水体的背景颜色。算法的流程图见图3,具体步骤包括:
第一步:水体背景部分估计。水下环境与空气雾化导致的图像退化有所不同,水下图像由于散射会产生色偏。如果直接使用暗通道优先算法中的背景颜色估计方式,就不会产生较好的增强效果。本实施例采用景深图像代替暗通道图像,在景深图像的基础上获得水体背景部分,具体操作为:在景深图像中,取亮度为前0.1%的像素点。
第二步:水体背景颜色的计算。在上一步获得的像素点基础上,在原图中得到相对应的像素,并对所有这些像素的三通道值取均值,以此作为水体颜色的估计。具体计算方式如下:
其中A为水体背景颜色,y为原图中对应景深图亮度为前0.1%的像素点,c表示图像的三个通道。
对于选取像素点的比例是经验值,不一定必须是前0.1%。选取的像素点越多,估计的水体背景颜色更加准确,但是算法的实时性会下降。使用时,可以对不同场景的水下图像,设定不同的比例值。
3、透射图的获取与自适应调整
为了能够恢复出增强后的图像,必须要得到透射图,首先对景深图取反,得到透射图;其次,对透射图中各个像素的透射率进行自适应调整,其中自适应调整的部分有水下环境背景部分的透射率调整和最大透射率与最小透射率大小比例的调整。算法的流程见图4,具体步骤包括:
第一步:首先对景深图像取反得到透射图,由于景深图经过归一化处理,所以这里的取反操作也是1减去景深图。具体如下所示:
第二步:对透射图进行自适应调整。对于不同场景下的水下图像,为了取得较好的增强效果,透射图需要进行自适应调整。其中自适应调整的部分有水下环境背景部分的透射率调整和最大透射率与最小透射率大小比例的调整。透射率自适应调整公式如下所示:
其中,t(x)是调整后的透射图,是调整前的透射图,x是图像中的像素,tmax和tmin分别代表了中的最大值与最小值,λ表示了对比度调整的系数,其值在0至1范围内,值越大表明对比度越大,值越小表明对比度越小。本算法将λ默认设为0.7,使用时可以进行调整。
自适应调整透射图,是为了使算法可以处理更多的水下场景,具有更高的环境鲁棒性。但是,这并不意味着其可以处理所有的水下场景,对于处理不佳的水下场景,可以对算法中的ω和λ进行手工调整。
4、图像恢复与颜色校正
首先根据暗通道优先算法对图像进行恢复;然后采用白平衡的方式对图像继续进行颜色校正处理;最后,对增强后图像的各个通道都添加某一个值,以增强图像亮度。整个过程的流程图如图5所示,具体如下:
第一步:图像恢复。根据暗通道优先算法,在获得水体背景颜色和透射图后,可以对图像进行恢复。具体恢复公式如下所示:
其中,J(x)表示恢复后的图像,I(x)表示原图像,t(x)表示透射图,x表示图像中的像素;A是水体背景颜色,t0是一个常量,其作用是防止透射率过小,导致增强后的图像过亮。
第二步:颜色校正。增强后的水下图像依旧存在着一些色偏。为了解决剩余色偏的问题,本实施例利用颜色校正算法对图像做后续处理。
第三步:亮度调整。水对光具有吸收作用,为了对光的亮度进行补偿,对图像中每个像素的每个通道都加上一个常量。
应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (4)
1.一种基于暗通道优先的单目水下视觉增强方法,其特征在于:包括以下步骤:
(1)对水下图像的雾化和色偏现象建立退化模型,通过计算亮暗通道的视差获取水下图像的景深信息;首先仿照暗通道优先算法,建立水下图像的退化模型;考虑到水下环境图像色偏的特点,获取图像中RGB三个通道中均值最大的通道图像和均值最小的通道图像;最后通过均值最大通道图像和均值最小通道图像之差获得景深图像;
(2)通过景深图像估计水体背景颜色;
(3)根据景深图像获取水下环境的透射图,并通过自适应的方式对透射图中的透射率进行调整;
(4)对图像进行恢复,并采用颜色校正对图像做后续处理,以去除剩余的色偏,并调整亮度。
2.根据权利要求1所述的方法,其特征在于步骤(2)估计水体背景颜色:首先在景深图像中寻找到亮度为前0.1%的像素;其次,在原图像中取这些像素所对应的各个通道的均值作为水体的背景颜色。
3.根据权利要求1所述的方法,其特征在于步骤(3)透射图的获取与自适应调整:首先对景深图像取反,得到透射图;其次,对透射图中各个像素的透射率进行自适应调整,其中自适应调整的部分有水下环境背景部分的透射率调整和最大透射率与最小透射率大小比例的调整。
4.根据权利要求1所述的方法,其特征在于步骤(4)图像恢复与颜色校正:首先根据暗通道优先算法对图像进行恢复;然后采用白平衡的方式对图像继续进行颜色校正处理;最后,对增强后图像的各个通道都添加某一个值,以增强图像亮度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710694749.4A CN107527325B (zh) | 2017-08-15 | 2017-08-15 | 一种基于暗通道优先的单目水下视觉增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710694749.4A CN107527325B (zh) | 2017-08-15 | 2017-08-15 | 一种基于暗通道优先的单目水下视觉增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107527325A CN107527325A (zh) | 2017-12-29 |
CN107527325B true CN107527325B (zh) | 2020-12-18 |
Family
ID=60681063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710694749.4A Active CN107527325B (zh) | 2017-08-15 | 2017-08-15 | 一种基于暗通道优先的单目水下视觉增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107527325B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110097520B (zh) * | 2019-05-07 | 2021-09-14 | 北京京东尚科信息技术有限公司 | 图像处理方法和装置 |
CN110400281B (zh) * | 2019-08-05 | 2021-06-01 | 山东志盈医学科技有限公司 | 一种数字切片扫描仪中图像增强方法 |
CN110827221A (zh) * | 2019-10-31 | 2020-02-21 | 天津大学 | 一种基于双通道先验和侧窗导向滤波的单幅图像去雾方法 |
EP3864615A1 (en) * | 2019-12-20 | 2021-08-18 | Google LLC | Spatially varying reduction of haze in images |
CN111640082B (zh) * | 2020-06-09 | 2023-04-07 | 南京信息工程大学 | 一种基于高斯混合模型与暗通道理论的水下图像恢复方法 |
CN113221772A (zh) * | 2021-05-18 | 2021-08-06 | 哈尔滨理工大学 | 一种水下机器人视觉图像增强与识别方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105761227B (zh) * | 2016-03-04 | 2019-02-22 | 天津大学 | 基于暗通道先验与白平衡的水下图像增强方法 |
CN106327450A (zh) * | 2016-11-07 | 2017-01-11 | 湖南源信光电科技有限公司 | 一种基于时空累积和图像退化模型的低照度视频图像增强方法 |
CN106897972A (zh) * | 2016-12-28 | 2017-06-27 | 南京第五十五所技术开发有限公司 | 一种白平衡与暗原色的自适应直方图水下图像增强方法 |
-
2017
- 2017-08-15 CN CN201710694749.4A patent/CN107527325B/zh active Active
Non-Patent Citations (1)
Title |
---|
基于颜色失真去除与暗通道先验的水下图像复原;杨爱萍等;《电子与信息学报》;20151115;2541-2547 * |
Also Published As
Publication number | Publication date |
---|---|
CN107527325A (zh) | 2017-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107527325B (zh) | 一种基于暗通道优先的单目水下视觉增强方法 | |
CN110148095B (zh) | 一种水下图像增强方法及增强装置 | |
Li et al. | Single underwater image restoration by blue-green channels dehazing and red channel correction | |
CN106157267B (zh) | 一种基于暗通道先验的图像去雾透射率优化方法 | |
CN108765342A (zh) | 一种基于改进暗通道的水下图像复原方法 | |
CN108596853A (zh) | 基于背景光统计模型和传输地图优化的水下图像增强方法 | |
Henke et al. | Removing color cast of underwater images through non-constant color constancy hypothesis | |
CN109816608B (zh) | 一种基于噪声抑制的低照度图像自适应亮度增强方法 | |
CN103218778A (zh) | 一种图像和视频的处理方法及装置 | |
CN111553862B (zh) | 一种海天背景图像去雾和双目立体视觉定位方法 | |
CN107705258B (zh) | 一种三基色联合预均衡和去模糊的水下图像增强方法 | |
CN111833258B (zh) | 一种基于双透射率水下成像模型的图像颜色校正方法 | |
CN111476732B (zh) | 一种图像融合及去噪的方法及系统 | |
CN107977941B (zh) | 一种明亮区域色彩保真及对比度增强的图像去雾方法 | |
Li et al. | Underwater image restoration based on improved background light estimation and automatic white balance | |
Peng et al. | Single image restoration using scene ambient light differential | |
CN106327450A (zh) | 一种基于时空累积和图像退化模型的低照度视频图像增强方法 | |
Łuczyński et al. | Underwater image haze removal and color correction with an underwater-ready dark channel prior | |
Łuczyński et al. | Underwater image haze removal with an underwater-ready dark channel prior | |
CN112907474B (zh) | 一种基于背景光优化与伽马变换的水下图像增强方法 | |
CN110415178A (zh) | 一种基于电磁波能量剩余比以及背景光估计的水下图像清晰化方法 | |
Zhang et al. | A fast video image defogging algorithm based on dark channel prior | |
CN110852971B (zh) | 基于暗原色先验和Retinex的视频去雾方法及存储介质 | |
Zhang et al. | An underwater image enhancement method based on local white balance | |
CN106960421A (zh) | 基于统计特性和亮度估计的夜晚图像去雾方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200914 Address after: No.505-11, 156 Baita Road, Dadong District, Shenyang, Liaoning Province, 110041 Applicant after: Shenyang Hairun robot Co., Ltd Address before: 266109 room No. 306, seat B, block B, No. 1, Chi Island Road, Qingdao hi tech Zone, Shandong Province Applicant before: QINGDAO SEAROBOT ROBOT TECHNILOGY Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |