CN107527325B - 一种基于暗通道优先的单目水下视觉增强方法 - Google Patents

一种基于暗通道优先的单目水下视觉增强方法 Download PDF

Info

Publication number
CN107527325B
CN107527325B CN201710694749.4A CN201710694749A CN107527325B CN 107527325 B CN107527325 B CN 107527325B CN 201710694749 A CN201710694749 A CN 201710694749A CN 107527325 B CN107527325 B CN 107527325B
Authority
CN
China
Prior art keywords
image
underwater
depth
channel
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710694749.4A
Other languages
English (en)
Other versions
CN107527325A (zh
Inventor
周波
吴宝举
汤忠强
王岩卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Hairun robot Co., Ltd
Original Assignee
Shenyang Hairun Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Hairun Robot Co Ltd filed Critical Shenyang Hairun Robot Co Ltd
Priority to CN201710694749.4A priority Critical patent/CN107527325B/zh
Publication of CN107527325A publication Critical patent/CN107527325A/zh
Application granted granted Critical
Publication of CN107527325B publication Critical patent/CN107527325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于暗通道优先的单目水下视觉增强方法,首先对水下图像的雾化和色偏现象建立退化模型,通过计算亮暗通道的视差获取水下图像的景深信息;其次,通过景深信息估计水体背景颜色;然后根据景深信息获取水下环境的透射图,并通过自适应的方式对透射图中的透射率进行调整;最后对图像进行恢复,并采用颜色校正对图像做后续处理,以去除剩余的色偏,并调整亮度。本发明通过改进的暗通道优先算法有效的解决了水下图像增强的问题。此方法的模型简单,实时性好,避免了复杂的模型计算缺陷,同时该算法对环境的鲁棒性更好,可广泛使用于浅水、净水、富含浮游生物水域等环境,具有广阔的应用前景和良好的经济效益。

Description

一种基于暗通道优先的单目水下视觉增强方法
技术领域
本发明涉及一种基于暗通道优先的单目水下视觉增强方法,该方法是水下机器人视觉应用前的图像处理,其属于水下图像处理、水下机器人等应用领域。
背景技术
随着海洋的开发,水下机器人技术的研究成为当今时代的热点与趋势。目前,水下机器人广泛应用于水下管道检查、船体检修、水下娱乐、水下考古和科研考察等领域。有研究人员针对观测型水下机器人进行研究。水下机器人主要的环境感知手段是图像,但是由于水体会对光会产生散射与吸收的效应,导致水下图像会出现严重的弱化现象,从而严重影响了水下机器人作业任务的顺利开展。水体的散射效应会导致水下图像的对比度下降,即产生类似雾化的现象。吸收效应会使水下图像的亮度下降,当处于深水区时,甚至会出现完全漆黑的现象。此外,水对不同波长的光吸收能力不同,水下图像会产生色偏。其作用如图6所示。面对水体对图像质量的影响,图像增强是水下机器人开发的必要前提。
传统的图像增强算法有,直方图均衡化,对比度限制的直方图均衡化,基于概率的方法等。这些算法对于一般图像的增强很有效,但是对于水下环境,它们会使增强后的图像失真,增强效果不能满足实际要求。
目前已有的一些基于颜色恒常理论的水下图像增强方法。这种算法指出物体的颜色是由物体对长波、中波和短波光线的反射能力决定的,而不是由反射光强度的绝对值决定的且物体的色彩不受光照非均匀性的影响,具有一致性。其常常用于图像的去雾或者光照不足条件下的图像增强。对于水下环境,该算法常常导致增强过度的现象,对水下环境的鲁棒性较差。
还有一些基于暗通道优先算法(DCP)的水下图像增强。DCP算法由于其简单的雾化模型和优异的去雾效果,获得了广泛的应用。但直接将DCP算法应用于水下图像,并不能获得很好的增强效果。一些改进的算法被提出,如Chong-Yi Li等将对比度增强与DCP算法混合来用于水下图像的增强;John Y.Chiang等将波长补偿的方式与DCP相结合增强水下图像;但是这些算法不能兼顾增强效果与处理的实时性,增强效果较好但实时性较差,或者实时性较好但增强效果较差。
发明内容
本发明的目的是为了克服已有的技术缺陷,针对水下图像增强算法对环境的鲁棒性问题和处理实时性的问题,提出了一种基于单目图像暗通道优先处理的水下视觉增强方法。对于环境鲁棒性问题,本算法对透射图进行自适应调整,以适应更多水下环境。对于实时性问题,本算法基于暗通道优先算法进行改进的,该算法具有模型简单,实时性好的特点。从而实现了不同环境下水下图像增强效果适当,且处理时间短。
本发明采用的技术方案为:
一种基于暗通道优先的单目水下视觉增强方法,步骤如下:
(1)对水下图像的雾化和色偏现象建立退化模型,通过计算亮暗通道的视差获取水下图像的景深信息;
(2)通过景深信息估计水体背景颜色;
(3)根据景深信息获取水下环境的透射图,并通过自适应的方式对透射图中的透射率进行调整;
(4)对图像进行恢复,并采用颜色校正对图像做后续处理,以去除剩余的色偏,并调整亮度。
进一步,步骤(1)退化模型建立与景深信息获取:首先仿照暗通道优先算法,建立水下图像的退化模型;考虑到水下环境图像色偏的特点,获取图像中RGB三个通道中均值最大的通道图像和均值最小的通道图像;最后通过均值最大通道图像和均值最小通道图像之差获得景深图像。
进一步,步骤(2)估计水体背景颜色:首先在景深图中寻找到亮度为前0.1%的像素;其次,在原图像中取这些像素所对应的各个通道的均值作为水体的背景颜色。
进一步,步骤(3)透射图的获取与自适应调整:首先对景深图取反,得到透射图;其次,对透射图中各个像素的透射率进行自适应调整,其中自适应调整的部分有水下环境背景部分的透射率调整和最大透射率与最小透射率大小比例的调整。
进一步,步骤(4)图像恢复与颜色校正:首先根据暗通道优先算法对图像进行恢复;然后采用白平衡的方式对图像继续进行颜色校正处理;最后,对增强后图像的各个通道都添加某一个值,以增强图像亮度。
本发明与现有技术相比的有益效果:
本发明通过改进的暗通道优先算法有效的解决了水下图像增强的问题。由于水下图像退化与雾化图像具有相似性,算法利用了传统暗通道优先算法,模型简单,增强效果优异的特点。针对水下环境与雾化环境中的不同之处,对暗通道优先算法进行改进,使其适用于水下环境。同时通过自适应调整的方式,使算法具有更好的环境鲁棒性。此方法的模型简单,实时性好,避免了复杂的模型计算缺陷,同时该算法对环境的鲁棒性更好,可广泛使用于浅水、净水、富含浮游生物水域等环境,具有广阔的应用前景和良好的经济效益。
附图说明
图1为:算法总体框图;
图2为:景深图获取流程图;
图3为:水体颜色计算流程图;
图4为:透射图获取与调整流程图;
图5为:图像恢复与颜色校正流程图;
图6为:水体对光吸收作用图像;
图7为:暗通道图像与景深图像比较(图a为暗通道图像,图b为景深图像);
具体实施方式
下面结合附图和具体实施方式对本发明做进一步说明,但本发明的保护范围不受实施例任何形式上的限制。
实施例1
一种基于暗通道优先的单目水下视觉增强方法,步骤如下:
(1)对水下图像的雾化和色偏现象建立退化模型,通过计算亮暗通道的视差获取水下图像的景深信息;
(2)通过景深信息估计水体背景颜色;
(3)根据景深信息获取水下环境的透射图,并通过自适应的方式对透射图中的透射率进行调整;
(4)对图像进行恢复,并采用颜色校正对图像做后续处理,以去除剩余的色偏,并调整亮度。
算法的具体步骤如下,总体流程图如图1所示。
1、退化模型建立与景深信息获取
退化模型的建立是图像增强算法的前提,首先仿照暗通道优先算法,建立水下图像的退化模型;考虑到水下环境图像色偏的特点,获取图像中RGB三个通道中均值最大的通道图像和均值最小的通道图像;最后通过均值最大通道图像和均值最小通道图像之差获得景深图像。处理流程如图2所示,具体步骤包括:
第一步:建立退化模型。水下图像退化与空气中的雾化具有相似性,采用暗通道优先算法的图像雾化模型表示水下图像的退化。退化模型的公式如下所示:
I(x)=J(x)t(x)+A(1-t(x)) (1)
其中,I(x)为原图像,J(x)为增强后的图像,t(x)为透射图,x是图像中的像素,A是水体背景颜色。
第二步:亮暗通道图像的获取。这里获取的亮暗通道是指图像三个通道中均值最高和均值最低的通道图像,其获取是以整幅图像作为操作对象。其定义与暗通道优先算法中的暗通道图像的定义不同,本算法采用的最亮通道和最暗通道的定义为:
Figure BDA0001378823160000051
Figure BDA0001378823160000052
其中,公式(1)是最亮通道图像的定义,Jb(x)表示最亮通道图像,Jc(x)表示各个通道的图像,x表示图像中的像素,c表示图像中RGB的三个通道。公式(2)是最暗通道图像的定义,Jd(x)表示最暗通道图像。
第三步:景深图像的获取。为了再现水下景物的景深效果,利用最亮通道图像减去最暗通道图像,得到景深图像。传统暗通道优先算法得到的暗通道图像在水下环境中,几乎完全漆黑,没有景深效果,无法进行后续处理。而本算法得到的景深图像具有景深效果,适用于水下环境。两者比较如图7所示。景深图像的获取如下所示:
Jdepth(x)=(Jb(x)-Jd(x))/255 (3)
其中,Jdepth(x)表示景深图像,Jb(x)表示最亮通道图像,Jd(x)表示最暗通道图像,x表示图像中的像素;除以255是为了将景深图像中的值映射到0至1之间,以便于后续透射图的获取。
2、水体背景颜色获取
水体背景颜色获取主要包括两个部分,首先在景深图中寻找到亮度为前0.1%的像素;其次,在原图像中取这些像素所对应的各个通道的均值作为水体的背景颜色。算法的流程图见图3,具体步骤包括:
第一步:水体背景部分估计。水下环境与空气雾化导致的图像退化有所不同,水下图像由于散射会产生色偏。如果直接使用暗通道优先算法中的背景颜色估计方式,就不会产生较好的增强效果。本实施例采用景深图像代替暗通道图像,在景深图像的基础上获得水体背景部分,具体操作为:在景深图像中,取亮度为前0.1%的像素点。
第二步:水体背景颜色的计算。在上一步获得的像素点基础上,在原图中得到相对应的像素,并对所有这些像素的三通道值取均值,以此作为水体颜色的估计。具体计算方式如下:
Figure BDA0001378823160000061
其中A为水体背景颜色,y为原图中对应景深图亮度为前0.1%的像素点,c表示图像的三个通道。
对于选取像素点的比例是经验值,不一定必须是前0.1%。选取的像素点越多,估计的水体背景颜色更加准确,但是算法的实时性会下降。使用时,可以对不同场景的水下图像,设定不同的比例值。
3、透射图的获取与自适应调整
为了能够恢复出增强后的图像,必须要得到透射图,首先对景深图取反,得到透射图;其次,对透射图中各个像素的透射率进行自适应调整,其中自适应调整的部分有水下环境背景部分的透射率调整和最大透射率与最小透射率大小比例的调整。算法的流程见图4,具体步骤包括:
第一步:首先对景深图像取反得到透射图,由于景深图经过归一化处理,所以这里的取反操作也是1减去景深图。具体如下所示:
Figure BDA0001378823160000071
其中,
Figure BDA0001378823160000072
是透射图,x是图像中的像素,Jdepth(x)表示景深图像,ω是保留景深感的程度因子,该因子在[0,1]区间内取值,ω越接近于1,则越表明不用保留景深效果。
第二步:对透射图进行自适应调整。对于不同场景下的水下图像,为了取得较好的增强效果,透射图需要进行自适应调整。其中自适应调整的部分有水下环境背景部分的透射率调整和最大透射率与最小透射率大小比例的调整。透射率自适应调整公式如下所示:
Figure BDA0001378823160000073
其中,t(x)是调整后的透射图,
Figure BDA0001378823160000074
是调整前的透射图,x是图像中的像素,tmax和tmin分别代表了
Figure BDA0001378823160000075
中的最大值与最小值,λ表示了对比度调整的系数,其值在0至1范围内,值越大表明对比度越大,值越小表明对比度越小。本算法将λ默认设为0.7,使用时可以进行调整。
自适应调整透射图,是为了使算法可以处理更多的水下场景,具有更高的环境鲁棒性。但是,这并不意味着其可以处理所有的水下场景,对于处理不佳的水下场景,可以对算法中的ω和λ进行手工调整。
4、图像恢复与颜色校正
首先根据暗通道优先算法对图像进行恢复;然后采用白平衡的方式对图像继续进行颜色校正处理;最后,对增强后图像的各个通道都添加某一个值,以增强图像亮度。整个过程的流程图如图5所示,具体如下:
第一步:图像恢复。根据暗通道优先算法,在获得水体背景颜色和透射图后,可以对图像进行恢复。具体恢复公式如下所示:
Figure BDA0001378823160000081
其中,J(x)表示恢复后的图像,I(x)表示原图像,t(x)表示透射图,x表示图像中的像素;A是水体背景颜色,t0是一个常量,其作用是防止透射率过小,导致增强后的图像过亮。
第二步:颜色校正。增强后的水下图像依旧存在着一些色偏。为了解决剩余色偏的问题,本实施例利用颜色校正算法对图像做后续处理。
Figure BDA0001378823160000082
其中,Ic(x)表示校正后各个通道的图像,c表示RGB三个通道,
Figure BDA0001378823160000083
表示c通道的最大值,
Figure BDA0001378823160000084
表示c通道的最小值,
Figure BDA0001378823160000085
Figure BDA0001378823160000086
的计算公式如下:
Figure BDA0001378823160000087
Figure BDA0001378823160000088
其中,
Figure BDA0001378823160000089
表示c通道图像的均值,
Figure BDA00013788231600000810
表示c通道图像的标准差。
第三步:亮度调整。水对光具有吸收作用,为了对光的亮度进行补偿,对图像中每个像素的每个通道都加上一个常量。
应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (4)

1.一种基于暗通道优先的单目水下视觉增强方法,其特征在于:包括以下步骤:
(1)对水下图像的雾化和色偏现象建立退化模型,通过计算亮暗通道的视差获取水下图像的景深信息;首先仿照暗通道优先算法,建立水下图像的退化模型;考虑到水下环境图像色偏的特点,获取图像中RGB三个通道中均值最大的通道图像和均值最小的通道图像;最后通过均值最大通道图像和均值最小通道图像之差获得景深图像;
(2)通过景深图像估计水体背景颜色;
(3)根据景深图像获取水下环境的透射图,并通过自适应的方式对透射图中的透射率进行调整;
(4)对图像进行恢复,并采用颜色校正对图像做后续处理,以去除剩余的色偏,并调整亮度。
2.根据权利要求1所述的方法,其特征在于步骤(2)估计水体背景颜色:首先在景深图像中寻找到亮度为前0.1%的像素;其次,在原图像中取这些像素所对应的各个通道的均值作为水体的背景颜色。
3.根据权利要求1所述的方法,其特征在于步骤(3)透射图的获取与自适应调整:首先对景深图像取反,得到透射图;其次,对透射图中各个像素的透射率进行自适应调整,其中自适应调整的部分有水下环境背景部分的透射率调整和最大透射率与最小透射率大小比例的调整。
4.根据权利要求1所述的方法,其特征在于步骤(4)图像恢复与颜色校正:首先根据暗通道优先算法对图像进行恢复;然后采用白平衡的方式对图像继续进行颜色校正处理;最后,对增强后图像的各个通道都添加某一个值,以增强图像亮度。
CN201710694749.4A 2017-08-15 2017-08-15 一种基于暗通道优先的单目水下视觉增强方法 Active CN107527325B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710694749.4A CN107527325B (zh) 2017-08-15 2017-08-15 一种基于暗通道优先的单目水下视觉增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710694749.4A CN107527325B (zh) 2017-08-15 2017-08-15 一种基于暗通道优先的单目水下视觉增强方法

Publications (2)

Publication Number Publication Date
CN107527325A CN107527325A (zh) 2017-12-29
CN107527325B true CN107527325B (zh) 2020-12-18

Family

ID=60681063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710694749.4A Active CN107527325B (zh) 2017-08-15 2017-08-15 一种基于暗通道优先的单目水下视觉增强方法

Country Status (1)

Country Link
CN (1) CN107527325B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097520B (zh) * 2019-05-07 2021-09-14 北京京东尚科信息技术有限公司 图像处理方法和装置
CN110400281B (zh) * 2019-08-05 2021-06-01 山东志盈医学科技有限公司 一种数字切片扫描仪中图像增强方法
CN110827221A (zh) * 2019-10-31 2020-02-21 天津大学 一种基于双通道先验和侧窗导向滤波的单幅图像去雾方法
EP3864615A1 (en) * 2019-12-20 2021-08-18 Google LLC Spatially varying reduction of haze in images
CN111640082B (zh) * 2020-06-09 2023-04-07 南京信息工程大学 一种基于高斯混合模型与暗通道理论的水下图像恢复方法
CN113221772A (zh) * 2021-05-18 2021-08-06 哈尔滨理工大学 一种水下机器人视觉图像增强与识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105761227B (zh) * 2016-03-04 2019-02-22 天津大学 基于暗通道先验与白平衡的水下图像增强方法
CN106327450A (zh) * 2016-11-07 2017-01-11 湖南源信光电科技有限公司 一种基于时空累积和图像退化模型的低照度视频图像增强方法
CN106897972A (zh) * 2016-12-28 2017-06-27 南京第五十五所技术开发有限公司 一种白平衡与暗原色的自适应直方图水下图像增强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于颜色失真去除与暗通道先验的水下图像复原;杨爱萍等;《电子与信息学报》;20151115;2541-2547 *

Also Published As

Publication number Publication date
CN107527325A (zh) 2017-12-29

Similar Documents

Publication Publication Date Title
CN107527325B (zh) 一种基于暗通道优先的单目水下视觉增强方法
CN110148095B (zh) 一种水下图像增强方法及增强装置
Li et al. Single underwater image restoration by blue-green channels dehazing and red channel correction
CN106157267B (zh) 一种基于暗通道先验的图像去雾透射率优化方法
CN108765342A (zh) 一种基于改进暗通道的水下图像复原方法
CN108596853A (zh) 基于背景光统计模型和传输地图优化的水下图像增强方法
Henke et al. Removing color cast of underwater images through non-constant color constancy hypothesis
CN109816608B (zh) 一种基于噪声抑制的低照度图像自适应亮度增强方法
CN103218778A (zh) 一种图像和视频的处理方法及装置
CN111553862B (zh) 一种海天背景图像去雾和双目立体视觉定位方法
CN107705258B (zh) 一种三基色联合预均衡和去模糊的水下图像增强方法
CN111833258B (zh) 一种基于双透射率水下成像模型的图像颜色校正方法
CN111476732B (zh) 一种图像融合及去噪的方法及系统
CN107977941B (zh) 一种明亮区域色彩保真及对比度增强的图像去雾方法
Li et al. Underwater image restoration based on improved background light estimation and automatic white balance
Peng et al. Single image restoration using scene ambient light differential
CN106327450A (zh) 一种基于时空累积和图像退化模型的低照度视频图像增强方法
Łuczyński et al. Underwater image haze removal and color correction with an underwater-ready dark channel prior
Łuczyński et al. Underwater image haze removal with an underwater-ready dark channel prior
CN112907474B (zh) 一种基于背景光优化与伽马变换的水下图像增强方法
CN110415178A (zh) 一种基于电磁波能量剩余比以及背景光估计的水下图像清晰化方法
Zhang et al. A fast video image defogging algorithm based on dark channel prior
CN110852971B (zh) 基于暗原色先验和Retinex的视频去雾方法及存储介质
Zhang et al. An underwater image enhancement method based on local white balance
CN106960421A (zh) 基于统计特性和亮度估计的夜晚图像去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200914

Address after: No.505-11, 156 Baita Road, Dadong District, Shenyang, Liaoning Province, 110041

Applicant after: Shenyang Hairun robot Co., Ltd

Address before: 266109 room No. 306, seat B, block B, No. 1, Chi Island Road, Qingdao hi tech Zone, Shandong Province

Applicant before: QINGDAO SEAROBOT ROBOT TECHNILOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant