CN113012037B - 一种用于水下图像复原的深度学习训练数据集合成方法 - Google Patents

一种用于水下图像复原的深度学习训练数据集合成方法 Download PDF

Info

Publication number
CN113012037B
CN113012037B CN202110263407.3A CN202110263407A CN113012037B CN 113012037 B CN113012037 B CN 113012037B CN 202110263407 A CN202110263407 A CN 202110263407A CN 113012037 B CN113012037 B CN 113012037B
Authority
CN
China
Prior art keywords
underwater
image
background light
data
rgb color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110263407.3A
Other languages
English (en)
Other versions
CN113012037A (zh
Inventor
马峻
尹翔宇
陈寿宏
徐翠锋
郭玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202110263407.3A priority Critical patent/CN113012037B/zh
Publication of CN113012037A publication Critical patent/CN113012037A/zh
Application granted granted Critical
Publication of CN113012037B publication Critical patent/CN113012037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于水下图像复原的深度学习训练数据集合成方法,获取现有的RGBD数据集,并基于水下图像参数估计算法计算出真实水下场景对应的RGB颜色数值集合;基于柏林噪声生成不均匀的单通道背景光集合,并利用改进的水下光学模型生成多个数据对应的合成水下图像,其中,多个所述数据为在所述RGBD数据集、所述RGB颜色数值集合和所述单通道背景光集合中随机抽取的数据,考虑了由人工光源和水下自然环境渐变造成的不均匀背景光现象。并改变了随机生成背景光颜色的方法,采用在真实图像上获取的数值,让合成的图像更加逼真,颜色更加自然,提高了图像合成效果。

Description

一种用于水下图像复原的深度学习训练数据集合成方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种用于水下图像复原的深度学习训练数据集合成方法。
背景技术
由于水中存在强烈的光线散射和吸收现象,水下成像往往遭受严重的视觉上的退化。随着机器学习技术近几年的迅猛发展,人们可以通过利用退化后和退化前的成对图像,让网络学习图像复原过程,进而高效的恢复退化图像。当前水下图像合成方法,多利用简化的水下光学模型,但由于该模型的提出最初应用于陆上雾霾图像,故不能完全模拟水下场景的特征。由于光线变化很难预测,在现存的水下图像复原算法中,几乎都只假设背景光为均匀的。这样造成的影响是会对图像某些部分过度增强,使得图像中较亮的一部分在复原结果中过亮,暗的一部分更暗,通过这样的数据集训练的网络也不能具有对真实场景中人工光源造成影响的适应性。
另外由于不同波长光线在水下被吸收的速度不同,在一些在河流和湖泊中,由于藻类和矿物质影响,水体颜色也存在近似黄褐色或灰绿色。一些合成方法为了模拟水下图像背景光的这些颜色特征,在范围内随机取值得到RGB颜色通道数值,或将红色通道数值小于蓝绿色作为先验知识,再随机取值。现有方法合成的水下图像数据不能体现水下图像中不均匀背景光的问题,且不能涵盖各种水体颜色且拟真度不足的缺陷,导致图像合成效果不好。
发明内容
本发明的目的在于提供一种用于水下图像复原的深度学习训练数据集合成方法,提高图像合成效果。
为实现上述目的,本发明提供了一种用于水下图像复原的深度学习训练数据集合成方法,包括以下步骤:
获取现有RGBD数据集,并基于水下图像参数估计算法计算出真实水下场景对应的RGB颜色数值集合;
基于柏林噪声生成不均匀的单通道背景光集合,并利用改进的水下光学模型生成多个数据对应的合成水下图像,其中,多个所述数据为在所述RGBD数据集、所述RGB颜色数值集合和所述单通道背景光集合中随机抽取的数据。
其中,获取现有RGBD数据集,并基于水下图像参数估计算法计算出真实水下场景对应的RGB颜色数值集合,包括:
获取室内外深度数据集,以及获取UIEB数据集;
获取每张所述UIEB数据集的深度信息,并将所述深度信息按照降序排序后,获取排序第一位上的0.1%的像素中最大值,作为一组像素值符合阈值的RGB颜色数值集合。
其中,获取现有RGBD数据集,并基于水下图像参数估计算法计算出真实水下场景对应的RGB颜色数值集合之后,所述方法还包括:
将得到的所述像素值乘以一位以正态分布随机生成的在±0.1之间的数值。
其中,基于柏林噪声生成不均匀的单通道背景光集合,并利用改进的水下光学模型生成多个数据对应的合成水下图像,包括:
将柏林噪声设置为二维,得到一组不均匀的单通道背景光集合;
基于RGBD图像数据、RGB颜色数值和单通道背景光,得到添加了不均匀光成分的改进的水下光学模型,其中,所述RGB颜色数值和所述单通道背景光分别在所述RGB颜色数值集合和所述单通道背景光集合中随机抽取的数据;
设置30%生成的水下图像中不均匀背景光的成分权重为0,另外70%的所述水下图像的成分权重为随机生成的系数值,并根据曝光程度自适应地调节所述系数值;同时根据所述RGBD数据集中对应深度图,得到传输映射;
将对应的图像和数据代入所述改进的水下光学模型,得到合成水下图像,其中,所述图像和数据为RGBD图像数据、RGB颜色数值、单通道背景光及其权重、传输映射。
本发明的一种用于水下图像复原的深度学习训练数据集合成方法,获取现有RGBD数据集,并基于水下图像参数估计算法计算出真实水下场景对应的RGB颜色数值集合;基于柏林噪声生成不均匀的单通道背景光集合,并利用改进的水下光学模型生成多个数据对应的合成水下图像,其中,多个所述数据为在所述RGBD数据集、所述RGB颜色数值集合和所述单通道背景光集合中随机抽取的数据,考虑了由人工光源和水下自然环境渐变造成的不均匀背景光现象。并改变了随机生成背景光颜色的方法,采用在真实图像上获取的数值,让合成的图像更加逼真,颜色更加自然,提高了图像合成效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的一种用于水下图像复原的深度学习训练数据集合成方法的步骤示意图。
图2是本发明提供的一种用于水下图像复原的深度学习训练数据集合成方法的流程示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
请参阅图1和图2,本发明提供一种用于水下图像复原的深度学习训练数据集合成方法,包括以下步骤:
S101、获取现有RGBD数据集,并基于水下图像参数估计算法计算出真实水下场景对应的RGB颜色数值集合。
具体的,当今广泛应用的RGB-D数据集众多,由于多样的图像光照条件和较准确的深度信息,本次实施该方法可采用NYU-Depth V2室内深度数据集。包括1449张室内图像及其深度图。本发明提出的方法同样可应用于其他任何室内室外RGBD图像。
经大量调研,UIEB真实水下数据集能较全面的涵盖从各海域到浑浊的河流中各种水体的光线颜色的情况。故选择在890张UIEB数据集上估计得到一组反应真实水体的890张背景光颜色集合。
在对这些真实水下图像提取背景光颜色信息的过程中,选择应用ULAP先验的水下图像参数估计算法,即利用一个像素中,G、B通道中最大值与R通道像素值的差别强相关于场景深度的先验知识。首先,估计真实水下图像的深度信息。再选取其中深度最深的0.1%的像素。最终以这些像素中最亮的点为背景光颜色。经实践,该方法能产生较准确的估计值。所以只要收集到的真实水下图像数据集涵盖场景和水域足够全面,就能得到一组反应真实水体的背景光颜色的集合。另外,为了增加合成数据的随机性和对水下不同深度光线的适应性,可以让每通道乘以一位以正态分布随机生成的在±0.1之间的数值。
S102、基于柏林噪声生成不均匀的单通道背景光集合,并利用改进的水下光学模型生成多个数据对应的合成水下图像。
具体的,采用Perlin(柏林)噪声模拟非均匀背景光。Perlin噪声是Ken Perlin发明的用于生成随机内容的算法,可以用于生成波形,起伏不平的材质或者纹理。在游戏影视制作领域,广泛用于生成随机地形,火焰,云雨等自然现象。本发明提出Perlin噪声也可以较好的模拟水下图像中由于人工光源或水下复杂地形地貌造成的不均匀光线分布情况。由于水下图像存在的人工光源多为单一光源,这些光源都为三通道均衡的白光,所以设置Perlin噪声为二维,且每个坐标轴方向只有一个噪声循环。并不采用任何噪声分形措施,以模拟水下光线缓慢削减的过程。由此得到一组不均匀的单通道背景光图像集合,共1000张。
首先在所述RGB颜色数值集合和所述单通道背景光集合中分别随机抽取:背景光颜色数值记作Ac和单通道的不均匀背景光记为N(x)。
提出添加了不均匀背景光项的改进的水下光学模型:
Ic(x)=Jc(x)Tc(x)+Ac(1-Tc(x))+ηN(x)
其中,x表示像素坐标,c表示颜色通道R、G、B。Ac代表通道c的全局背景光,对每一通道为常量;Jc(x)表示未退化图像,Ic(x)表示退化后图像。Tc(x)称作传输映射,即经过距离d(x)前后的能量比例,d(x)表示图像的深度。η为自适应参数用于控制添加的不均匀成分的权重。考虑存在没有不均匀光线的水下图像,设置30%的生成的水下图像中不均匀背景光成分权重η=0。其他水下图像中不均匀背景光权重η为随机生成的系数值,并根据曝光程度自适应调节该数值。自适应规则由添加不均匀背景光后图像中新增白色像素占整幅图像像素数的比例决定。最后,随机生成衰减系数
Figure BDA0002971030300000059
值,再利用步骤一中RGBD图像对应的深度映射d(x)带入传输映射方程得到传输映射Tc(x)。由此可将上述图像和数据带入改进的水下光学模型得到合成水下图像。
传输映射Tc(x)方程为:
Figure BDA0002971030300000051
改进的水下光学模型中,不均匀背景光项权重η初始值在(0.2,0.4)的均匀分布中随机取值。添加η*N(x)前图像像素中像素值大于0.99的像素所占比例为p0,添加η*N(x)后该比例为pN。则为了限制添加N(x)对图像过曝光区域大小的影响,设定η的自适应更新策略为:若pN-p0≥0.1,取η=η*0.6,直到pN-p0<0.1。
另外对于传输映射Tc(x)的合成需要生成合适的衰减系数
Figure BDA0002971030300000057
RGB颜色通道的
Figure BDA0002971030300000058
之间与Ac和各通道波长λc之间的关系如以下衰减方程所示:
Figure BDA0002971030300000052
其中,λr,λg,λb分别红、绿、蓝光的典型波长值,为620nm,540nm,和450nm。
Figure BDA0002971030300000053
分别为对应R,G,B通道的传输映射的衰减系数值。又由于已知各通道背景光颜色数值,则只需生成蓝色通道的衰减系数
Figure BDA0002971030300000054
即可根据关系式计算其他通道衰减系数。本设计中,在(1,3)之间的均匀分布范围内取
Figure BDA0002971030300000055
数值。再利用步骤一中图像数据的深度信息d(x),带入传输映射方程即可得到传输映射Tc(x)。
将上述变量带入改进的水下光学模型,可从每张室内外陆上图像中生成多幅水下图像。每张含有的随机参数成分包括:随机选取的背景光颜色、蓝色通道衰减系数
Figure BDA0002971030300000056
Perlin噪声分布图及其权重数值η。
有益效果
该发明对传统的水下成像光学模型进行改进,考虑了由人工光源和水下自然环境渐变造成的不均匀背景光现象。并改变了随机生成背景光颜色的方法,采用在真实图像上获取的数值,让合成的图像更加逼真,颜色更加自然。利用这样的合成数据集,能使被训练的网络在真实场景下的泛化性能和去模糊效果得到进一步提升,且拥有对单幅图像中不均匀光线的适应性。为了能让合成的图像呈现逼真的背景光颜色,以减少随机生成的颜色数值与真实情况下水体颜色的差异,利用先进的参数估计算法,在大量真实水下图像上估计他们背景光的RGB颜色通道数值,得到能涵盖各种真实水下场景的背景光颜色数据集合。同时,对简化的水下光学模型进行了改进,添加不均匀背景光项,并自适应的调节该项权重使图像不至于出现大范围的过曝光现象。其中,不均匀背景光由单噪声循环的二维Perlin噪声模拟。
本发明的一种用于水下图像复原的深度学习训练数据集合成方法,获取现有RGBD数据集,并基于水下图像参数估计算法计算出真实水下场景对应的RGB颜色数值集合;基于柏林噪声生成不均匀的单通道背景光集合,并利用改进的水下光学模型生成多个数据对应的合成水下图像,其中,多个所述数据为在所述RGBD数据集、所述RGB颜色数值集合和所述单通道背景光集合中随机抽取的数据,考虑了由人工光源和水下自然环境渐变造成的不均匀背景光现象。并改变了随机生成背景光颜色的方法,采用在真实图像上获取的数值,让合成的图像更加逼真,颜色更加自然,提高了图像合成效果。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (1)

1.一种用于水下图像复原的深度学习训练数据集合成方法,其特征在于,包括以下步骤:
获取现有RGBD数据集,并基于水下图像参数估计算法计算出真实水下场景对应的RGB颜色数值集合;
基于柏林噪声生成不均匀的单通道背景光集合,并利用改进的水下光学模型生成多个数据对应的合成水下图像,其中,多个所述数据为在所述RGBD数据集、所述RGB颜色数值集合和所述单通道背景光集合中随机抽取的数据;
获取现有RGBD数据集,并基于水下图像参数估计算法计算出真实水下场景对应的RGB颜色数值集合,包括:
获取室内外深度数据集,以及获取UIEB数据集;
获取每张所述UIEB数据集的深度信息,并将所述深度信息按照降序排序后,获取排序第一位上的0.1%的像素中最大值,作为一组像素值符合阈值的RGB颜色数值集合;
获取现有RGBD数据集,并基于水下图像参数估计算法计算出真实水下场景对应的RGB颜色数值集合之后,所述方法还包括:
将得到的所述像素值乘以一位以正态分布随机生成的在±0.1之间的数值;
基于柏林噪声生成不均匀的单通道背景光集合,并利用改进的水下光学模型生成多个数据对应的合成水下图像,包括:
将柏林噪声设置为二维,得到一组不均匀的单通道背景光集合;
基于RGBD图像数据、RGB颜色数值和单通道背景光,得到添加了不均匀光成分的改进的水下光学模型,其中,所述RGB颜色数值和所述单通道背景光分别在所述RGB颜色数值集合和所述单通道背景光集合中随机抽取的数据;
设置30%生成的水下图像中不均匀背景光的成分权重为0,另外70%的所述水下图像的成分权重为随机生成的系数值,并根据曝光程度自适应地调节所述系数值;同时根据所述RGBD数据集中对应深度图,得到传输映射;
将对应的图像和数据代入所述改进的水下光学模型,得到合成水下图像,其中,所述图像和数据为RGBD图像数据、RGB颜色数值、单通道背景光及其权重、传输映射;
其中,添加了不均匀背景光项的改进的水下光学模型:
Ic(x)=Jc(x)Tc(x)+Ac(1-Tc(x))+ηN(x)
其中,x表示像素坐标,c表示颜色通道R、G、B;Ac代表通道c的全局背景光,对每一通道为常量;Jc(x)表示未退化图像,Ic(x)表示退化后图像;Tc(x)称作传输映射,即经过距离d(x)前后的能量比例,d(x)表示图像的深度;η为自适应参数用于控制添加的不均匀成分的权重;考虑存在没有不均匀光线的水下图像,设置30%的生成的水下图像中不均匀背景光成分权重η=0;其他水下图像中不均匀背景光权重η为随机生成的系数值,并根据曝光程度自适应调节该数值;自适应规则由添加不均匀背景光后图像中新增白色像素占整幅图像像素数的比例决定;最后,随机生成衰减系数
Figure FDA0003690420180000021
值,再利用RGBD图像对应的深度映射d(x)带入传输映射方程得到传输映射Tc(x)。
CN202110263407.3A 2021-03-11 2021-03-11 一种用于水下图像复原的深度学习训练数据集合成方法 Active CN113012037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110263407.3A CN113012037B (zh) 2021-03-11 2021-03-11 一种用于水下图像复原的深度学习训练数据集合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110263407.3A CN113012037B (zh) 2021-03-11 2021-03-11 一种用于水下图像复原的深度学习训练数据集合成方法

Publications (2)

Publication Number Publication Date
CN113012037A CN113012037A (zh) 2021-06-22
CN113012037B true CN113012037B (zh) 2022-08-05

Family

ID=76404799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110263407.3A Active CN113012037B (zh) 2021-03-11 2021-03-11 一种用于水下图像复原的深度学习训练数据集合成方法

Country Status (1)

Country Link
CN (1) CN113012037B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596853A (zh) * 2018-04-28 2018-09-28 上海海洋大学 基于背景光统计模型和传输地图优化的水下图像增强方法
CN109240572A (zh) * 2018-07-20 2019-01-18 华为技术有限公司 一种获取图片的方法、对图片进行处理的方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105761227B (zh) * 2016-03-04 2019-02-22 天津大学 基于暗通道先验与白平衡的水下图像增强方法
CN106251308A (zh) * 2016-08-04 2016-12-21 国网江西省电力公司电力科学研究院 一种憎水性图像光照不均匀的滤波算法
CN107798665B (zh) * 2017-11-07 2021-07-09 天津大学 基于结构-纹理分层的水下图像增强方法
CN110838092B (zh) * 2019-10-28 2023-05-19 天津大学 一种基于卷积神经网络的水下图像复原方法
CN111739077B (zh) * 2020-06-15 2022-11-18 大连理工大学 基于深度神经网络单目水下图像深度估计和颜色矫正方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596853A (zh) * 2018-04-28 2018-09-28 上海海洋大学 基于背景光统计模型和传输地图优化的水下图像增强方法
CN109240572A (zh) * 2018-07-20 2019-01-18 华为技术有限公司 一种获取图片的方法、对图片进行处理的方法及装置

Also Published As

Publication number Publication date
CN113012037A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN111292264B (zh) 一种基于深度学习的图像高动态范围重建方法
CN108596853B (zh) 基于背景光统计模型和传输地图优化的水下图像增强方法
CN109255831A (zh) 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN109829868B (zh) 一种轻量级深度学习模型图像去雾方法、电子设备及介质
CN110288550B (zh) 基于先验知识引导条件生成对抗网络的单张图像去雾方法
CN104376529A (zh) 一种基于glcm的灰度图像彩色化系统和方法
CN108257101B (zh) 一种基于最优复原参数的水下图像增强方法
CN107886552A (zh) 贴图处理方法和装置
CN115223004A (zh) 基于改进的多尺度融合生成对抗网络图像增强方法
CN104091363A (zh) 一种基于屏幕空间实时的体积云计算方法
WO2024060576A1 (zh) 一种基于暗通道先验的图像去雾方法
CN108921887B (zh) 基于水下光线衰减先验性的水下场景深度地图估计方法
CN104331867B (zh) 图像去雾的方法、装置及移动终端
CN104680494B (zh) 基于人工加雾的最佳雾图复原方法
CN115100337A (zh) 一种基于卷积神经网络的全身人像视频重照明方法和装置
Wu et al. Underwater image restoration using color correction and non-local prior
CN113012037B (zh) 一种用于水下图像复原的深度学习训练数据集合成方法
CN107833198B (zh) 一种基于大尺度分解的户外场景重光照方法
CN116033279A (zh) 一种夜晚监控相机的近红外图像彩色化方法、系统及设备
Zhang et al. An underwater image enhancement method based on local white balance
CN114445288A (zh) 一种基于深度学习的轻量级水下图像增强方法
CN114972124A (zh) 一种遥感图像亮度自适应均衡方法及系统
CN108564535A (zh) 一种基于深度学习的图像去雾方法
CN113763489B (zh) 一种海洋水体颜色仿真方法
CN102136132A (zh) 一种暗环境下人眼视觉系统感知效果的合成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant