CN106296597A - 一种基于最优化颜色修正和回归模型的水下图像复原方法 - Google Patents

一种基于最优化颜色修正和回归模型的水下图像复原方法 Download PDF

Info

Publication number
CN106296597A
CN106296597A CN201610606187.9A CN201610606187A CN106296597A CN 106296597 A CN106296597 A CN 106296597A CN 201610606187 A CN201610606187 A CN 201610606187A CN 106296597 A CN106296597 A CN 106296597A
Authority
CN
China
Prior art keywords
image
channel
underwater
absorption function
regression model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610606187.9A
Other languages
English (en)
Other versions
CN106296597B (zh
Inventor
郭继昌
李重仪
丛润民
郭春乐
顾翔元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201610606187.9A priority Critical patent/CN106296597B/zh
Publication of CN106296597A publication Critical patent/CN106296597A/zh
Application granted granted Critical
Publication of CN106296597B publication Critical patent/CN106296597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于最优化颜色修正和回归模型的水下图像复原方法,包括以下步骤:采用基于最优化理论的颜色修正算法去除水下图像的颜色偏差;基于四叉树分解和光学属性估计水下图像的全局背景光;合成训练样本,设计与吸收函数有关的特征,训练回归模型;采用训练好的回归模型估计红信道的吸收函数,确定相机与场景点之间的距离,继而估计出绿蓝信道的吸收函数;根据水下光学成像模型,复原清晰的水下图像。与现有技术相比,本发明更好的恢复出水下图像真实的颜色;全局背景光估计方法有效的去除水中高亮目标和悬浮颗粒的影响,具有更好的准确性和鲁棒性;首次采用基于学习的框架来估计水下成像模型的吸收函数,该方法具有更好的鲁棒性。

Description

一种基于最优化颜色修正和回归模型的水下图像复原方法
技术领域
本发明涉及图像处理技术领域,提出了一种基于最优化颜色修正和回归模型的水下图像复原方法。
背景技术
在人口急剧膨胀、陆地资源日益枯竭、环境不断恶化的情况下,开发海洋资源是一项影响深远,面向二十一世纪的战略选择。因此海洋信息的获取、传输和处理等理论与技术的重要性更加突显。水下图像的视觉质量在海洋工程应用和科学研究中扮演着极其重要的角色,例如水下生态研究、海洋营救、水下输油管道泄漏监视等应用场景。由于受到特殊光照吸收和散射的影响,水下拍摄的图像往往具有低对比度、有限的清晰度、失真的颜色等缺点。水下图像的这些缺点严重影响其直接应用于海洋工程和科学研究。因此,如何清晰化水下图像,使其可以更好的应用于海洋工程和科学研究已经成为了一个研究热点。
对如何清晰化水下图像这个问题,人们主要从以下两个方面展开研究:图像增强方法和图像复原方法。图像增强方法不依靠任何成像模型,仅仅通过改变图像的像素值来提高水下图像的对比度和亮度,从而提高其视觉质量。图像复原方法将图像复原视为一种反问题,通过估计成像模型参数并采用反补偿的技术来恢复退化的水下图像,从而恢复其清晰度、颜色以及对比度。虽然水下图像增强和复原方法已经取得了一些成绩,但增强和复原的结果并不十分令人满意。例如,在复原方法中所使用的一些假设条件和先验信息在很多水下场景中并不适用;一些增强方法常常产生过度增强或者欠增强的结果。
发明内容
本发明提出了一种基于最优化颜色修正和回归模型的水下图像复原方法,通过综合利用最优化理论和回归模型,实现能够有效修正水下图像颜色偏差、解决其对比度和清晰度低、纹理和细节丢失等问题的水下图像复原方法。
本发明提出了一种基于最优化颜色修正和回归模型的水下图像复原方法,该方法包括以下步骤:
步骤1、输入原始水下图像,建立水下图像的水下光学成像模型;
步骤2、采用基于最优化理论的颜色修正算法,去除水下图像的颜色偏差;
步骤3、基于四叉树分解和光学属性估计水下图像的全局背景光;
步骤4、合成训练样本、设计与吸收函数相关的特征、训练回归模型,学习红信道的吸收函数;
步骤5、采用训练好的回归模型估计红信道的吸收函数,确定相机与场景点之间的距离,继而估计出绿蓝信道的吸收函数;
步骤6、根据建立的水下光学成像模型,使用获得的全局背景光、红绿蓝三个信道的吸收函数以及颜色修正的图像,通过反变换获得清晰的水下图像。
所述步骤1中的水下光学成像模型表示为:
Ic(x)=Jc(x)tc(x)+Ac(1-tc(x)),c∈{r,g,b}
式中,Ic(x)为c信道的退化的水下图像,Jc(x)为c信道的清晰的水下图像,Ac为c信道的全局背景光,tc(x)∈[0,1]为吸收函数,c为r,g,b红绿蓝色信道。
所述步骤2的具体流程如下:
将经过颜色修正的水下图像表示为:
f ( x ) C R c = f ( c ) c - f ( x ) min c f ( c ) max c - f ( x ) min c × 255 = f ( c ) c - f ( x ) m e a n c + μ c · f ( x ) var c 2 μ c · f ( x ) var c × 255
式中,f(c)c为输入的c信道的待修正水下图像,分别为水下图像c信道的最大颜色偏差和最小颜色偏差;
水下图像每个颜色信道(r,g,b)信道的最大颜色偏差和最小颜色偏差表示如下:
f ( x ) max c = f ( x ) m e a n c + μ c · f ( x ) var c f ( x ) min c = f ( x ) m e a n c - μ c · f ( x ) var c , c ∈ { r , g , b }
式中,为水下图像c信道的平均值,为水下图像c信道的均方差值,μc是饱和度控制参数。
将标准的颜色检测板放入水下,使用相机在不同深度的水中拍摄颜色检测板,依据前述操作,获得颜色修正的的水下颜色检测板图像
定义一个代表颜色修正的c信道的水下颜色检测板图像与标准的c信道的颜色检测板图像的像素强度差异的能量函数E:
E = Σ | | f ( x ) C R - t e s t c - f ( x ) S T D c | | 2 , c ∈ { r , g , b }
采用迭代循环求解的方式寻找使能量函数最小化的饱和度控制参数。
所述步骤3的具体流程如下:
采用四叉树分解技术将一幅颜色修正后的水下图像分解为四个矩形区域;
每个矩形区域以该区域内像素的平均值减去均方差作为该区域的分数,可表示为:
Score=f(x)mean-f(x)var
式中,Score为该区域的分数,f(x)mean为该区域像素的平均值,f(x)var为该区域像素的均方差值,选择具有最高分数的区域作为候选区域;
计算三信道(r,g,b)相同位置像素最小值,从而获得最小值图,之后计算最小值图中大小为41×41局部区域的最小值,计算局部区域的暗通道图,并且将暗通道图中的像素值从大到小排序,选择排在前0.1%的像素点作为候选像素点;
在候选像素点位置所对应的原始图像像素点处寻找具有最大的蓝色信道像素值和红色信道像素值比值的像素点作为背景光。
所述步骤4的具体流程如下:
合成训练样本的步骤具体包括:选取一幅清晰的图像根据该图像合成的具有模糊效果的图像表示为:
I w a t e r c = t c · J n a t u r e c + ( 1 - t c ) · A c , c ∈ { r , g , b }
式中,Ac为全局背景光,其默认值为1;tc为吸收函数,随机选取[0,1]之间的值,每个随机的吸收函数值各产生一幅具有不同模糊程度的合成图像,这里三个信道选择相同的吸收函数值;
设计与吸收函数有关的特征的步骤具体包括:所述特征包括多尺度暗道特征、多尺度局部最大对比度特征、多尺度局部最大饱和度特征以及色度差异特征,其中:
多尺度暗道特征Dw表示为:
D w = min y ∈ Ω s ( x ) min c ∈ { r , g , b } I c ( y ) / A c
式中,x和y表示像素位置,Ic(y)为输入的上述合成的图像在y位置的像素值,Ωw(x)为以x为中心大小为w×w的图像块,w表示图像块的多个尺度,文中选取w=10,7,4,1;
多尺度局部最大对比度特征Cw表示为:
C w = max y ∈ Ω w ( x ) 1 3 | Ω s ( y ) | Σ z ∈ Ω s ( y ) | | I ( z ) - I ( y ) | | 2
式中,x,y和z表示像素位置,I(z)和I(y)分别代表在z位置和y位置的像素值,Ωw(x)为以x为中心大小为w×w的图像块,Ωs(y)以y位置为中心大小为s×s的区域,|Ωs(y)|是局部邻域Ωs(y)的像素点总数,s固定为5,w代表多尺度,文中选取w=10,7,4,1。
多尺度局部最大饱和度特征Sw表示为:
S w = max y ∈ Ω w ( x ) ( 1 - min c ∈ { r , g , b } I c ( y ) max c ∈ { r , g , b } I c ( y ) )
式中,Ic(y)为输入的上述合成的图像在y位置的像素值;
色度差异特征定义为输入图像与其半反转图像之间的色度差异,并表示为:
H ( I ) = | I s i h - I h |
式中,si下标表示半反转图像,h上标表示色度,Ih为输入图像的色度信道,为半反转图像,半反转图像可以通过下式计算:
I s i c ( x ) = m a x [ I c ( x ) , 1 - I c ( x ) ] c ∈ { r , g , b }
式中,x为图像中像素点的位置,Ic(x)为x位置处的输入的合成图像的像素值,在为c信道的半反转图像;
训练回归模型的步骤具体包括:首先从上述步骤4中采用自然场景图像合成的水下图像中提取多尺度暗通道特征、多尺度局部最大对比度特征、多尺度局部最大饱和度特征以及色度差异特征,然后在获得的特征图中,分别随机提取10个大小为5×5的图像块,总共合成1000幅训练图像,从而产生1000×13个特征图,最终提取出1000×13×10大小为5×5的特征块;最后,对于一个合成的样本,将已知的吸收函数值和提取的13个5×5的特征块输入到随机森林回归模型中;依次类推的将剩余的13×9个5×5的特征块按上述方法送入到回归模型,直到将合成的1000幅图像对应的吸收函数值和特征块输入到随机森林回归模型,该回归模型训练完毕;
学习红信道的吸收函数的步骤具体包括:将相同位置的各个特征图中提取的特征块送入训练好的随机森林回归模型中,从而输出对应的吸收函数值;最后,依次将所有位置的特征块全部输入到随机森林回归模型中,输出图像所有位置的吸收函数值,此时整个红信道所有位置的吸收函数值输出完毕;最终输出的吸收函数图会出现块状伪影。
所述步骤5中的具体流程如下:
已知红信道的吸收函数tr(x)的条件下,将相机与场景点之间的距离d(x)表示为:
d ( x ) = l n ( t r ( x ) ) l n ( N r e r ( r ) )
式中,tr(x)为红信道的吸收函数,Nrer(r)表示红信道的归一化残余能量比率;
绿蓝信道的吸收函数分别表示为:
t g ( x ) = N r e r ( g ) d ( x ) = N r e r ( g ) l n ( t r ( x ) ) / l n ( N r e r ( r ) )
t b ( x ) = N r e r ( b ) d ( x ) = N r e r ( b ) l n ( t r ( x ) ) / l n ( N r e r ( r ) )
式中,tg(x)和tb(x)分别为绿色和蓝色信道的吸收函数,Nrer(g)和Nrer(b)分别表示绿色信道和蓝色信道的归一化残余能量比率。
与现有技术相比,本发明具有如下有益效果:
1)在相关技术领域中,本发明首次采用基于学习的框架估计水下光学成像模型的吸收函数,相较以往单纯采用假设条件或者先验知识估计吸收函数的方法,本发明具有更的鲁棒性;
2)与现有的水下图像颜色修正算法相比,本发明的颜色修正方法能够更加准确的恢复出水下图像的颜色;
3)本发明的一种基于分层搜索和光学属性的水下光学成像模型的全局背景光估计方法,该估计方法可以有效的去除水中高亮目标和悬浮颗粒对全局背景光估计的影响,具有更好的鲁棒性和准确性。
附图说明
图1为本发明的一种基于最优化颜色修正和回归模型的水下图像复原方法的流程图;
图2为计算最优化的饱和度控制参数的算法流程图;
图3为水下图像全局背景光估计方法的一个实例图,
其中,(a)为颜色修正的水下图像;(b)为四叉树分解的结果;(c)为搜索暗道图中前0.1%最亮像素点的结果;(d)为搜索具有最大蓝-红像素比值像素点的结果;
图4为部分的合成样本图。
具体实施方式
如图1所示,本发明提供一种基于最优化颜色修正和回归模型的水下图像复原方法,其包括以下步骤:
步骤1、输入原始水下图像,根据光学特性,建立水下图像的水下光学成像模型
步骤2、颜色修正:
大量的统计实验发现,水下图像每个信道的最大颜色偏差和最小颜色偏差可以表示为:
f ( x ) max c = f ( x ) m e a n c + μ c · f ( x ) var c f ( x ) min c = f ( x ) m e a n c - μ c · f ( x ) var c , c ∈ { r , g , b } ,
式中,为水下图像c信道的平均值,为水下图像c信道的均方差值,μc是饱和度控制参数。颜色修正的水下图像可以采用如下方式获得:
f ( x ) C R c = f ( c ) c - f ( x ) min c f ( c ) max c - f ( x ) min c × 255 = f ( c ) c - f ( x ) m e a n c + μ c · f ( x ) var c 2 μ c · f ( x ) var c × 255
式中,f(x)为输入的水下图像,μc为未知参数。为了获得有效的饱和度控制参数,本发明采用了一种基于最优化理论的参数估计方法:通过最小化标准的颜色检测板图像与颜色修正的水下颜色检测板图像之间的像素值平方差来估计最优化的饱和度控制参数。具体方案如下:
首先,将标准的颜色检测板放入水下,使用相机在不同深度的水中拍摄颜色检测板。
然后,定义一个能量函数E。该函数代表颜色修正的水下颜色检测板图像与标准的c信道的颜色检测板图像的的像素强度差异:
E = Σ | | f ( x ) C R c - f ( x ) S T D c | | 2 , c ∈ { r , g , b }
最后,采用迭代循环求解的方式搜索使能量函数最小化的饱和度控制参数,例如:迭代步长设置为0.5,迭代范围设置为0.5~10,具体算法流程如图2所示。若已知需要处理的水下图像拍摄深度,则选用与其最接近的整数深度的饱和度控制参数。若无法获知水下图像拍摄深度,则选用1~10米每隔1米获取的饱和度控制参数的平均值(为了操作简单,本发明只计算1~10米水下整数深度条件下的最优化饱和度控制参数)。因为一般情况下拍摄的水下图像往往在1-10米深度范围内。若拍摄深度大于10米,往往可见光消失,此时需要人造光源的帮助,此特殊情况不在本发明的操作范围内。
步骤3、估计全局背景光
首先一幅颜色修正的水下图像采用四叉树分解技术分解为四个矩形区域。
其次采用每个分解出来的区域的像素平均值减去均方差作为该个区域的分数,并选择具有最高分数的区域作为候选区域。
然后计算候选区域的暗通道图:先计算三通道(r,g,b)相同位置像素最小值获得最小值图,之后计算最小值图中大小为41×41局部区域的最小值,并且将暗通道图中的像素值从大到小排序,选择排在前0.1%的像素点作为候选像素点。
最后在候选像素点位置的原始图像像素点处搜索具有最大的蓝色信道像素值和红色信道像素值比值的像素点作为背景光。图3给出了本发明提出的全局背景光估计算法的一个实例。
步骤4、估计吸收函数
4.1、合成训练样本
选取一幅清晰的图像全局背景光Ac默认为1,随机选取[0,1]之间的值为吸收函数tc赋值,合成的具有模糊效果的图像可以表示为:
I w a t e r c = t c · J n a t u r e c + ( 1 - t c ) · A c , c ∈ { r , g , b }
式中,Ac为全局背景光,其默认值为1;tc为吸收函数,随机选取[0,1]之间的值,每个随机的吸收函数值各产生一幅具有不同模糊程度的合成图像,这里三个信道选择相同的吸收函数值;
为了提高学习框架的学习能力,对于一幅清晰的图像本发明为其分配10个随机的吸收函数值,从而产生10幅具有不同模糊程度的合成图像。图4给出本发明合成的部分样本图。
4.2、设计与吸收函数有关的特征
通过实验,本发明设计了多个与吸收函数有关的特征:多尺度暗道特征、多尺度局部最大对比度特征、多尺度局部最大饱和度特征以及色度差异特征。多尺度暗道特征可以表示如下。
多尺度暗道特征Dw表示为:
D w = min y ∈ Ω s ( x ) min c ∈ { r , g , b } I c ( y ) / A c
式中,x和y表示像素位置,Ic(y)为输入的上述合成的图像在y位置的像素值,Ωw(x)为以x为中心大小为w×w的图像块,w表示图像块的多个尺度,文中选取w=10,7,4,1。
多尺度局部最大对比度特征Cw表示为:
C w = max y ∈ Ω w ( x ) 1 3 | Ω s ( y ) | Σ z ∈ Ω s ( y ) | | I ( z ) - I ( y ) | | 2
式中,x、y和z表示像素位置,I(z)和I(y)分别代表在z和y位置的像素值,Ωw(x)为以x为中心大小为w×w的图像块,Ωs(y)以y为中心大小为s×s的区域,|Ωs(y)|是局部邻域Ωs(y)的像素点总数,s固定为5,w代表多尺度,文中选取w=10,7,4,1。
多尺度局部最大饱和度特征Sw表示为:
S w = max y ∈ Ω w ( x ) ( 1 - min c ∈ { r , g , b } I c ( y ) max c ∈ { r , g , b } I c ( y ) )
式中,Ic(y)为输入的上述合成的图像在y位置的像素值。
色度差异特征定义为输入图像与其半反转图像之间的色度差异,并表示为:
H ( I ) = | I s i h - I h |
式中,si下标表示半反转图像,h上标表示色度,Ih为输入图像的色度信道,为半反转图像,半反转图像可以通过下式计算:
式中,x为图像中像素点的位置,Ic(x)为x位置处的输入的合成图像的像素值,在为c信道的半反转图像。
在本发明中,多尺度暗道特征、多尺度局部最大对比度特征、多尺度局部最大饱和度特征选用了四个尺度,即w=10,7,4,1。
4.3、训练和测试回归模型
训练阶段:首先,从合成的图像中提取多尺度暗道特征、多尺度局部最大对比度特征、多尺度局部最大饱和度特征以及色度差异特征。然后,在获得的特征图中,分别随机提取10个大小为5×5的图像块。本发明总共合成1000幅图像,从而产生1000×13个特征图,最终提取出1000×13×10大小为5×5的特征块。最后,对于一个合成的样本,将已知的吸收函数值和提取的13×10个5×5的特征块分别以13×5×5的维度分10次(每次在每个特征图中选取一个5×5的特征快)输入到随机森林回归模型中。直到将合成的1000幅图像对应的吸收函数值和特征块输入到随机森林回归模型,该回归模型训练完毕。
测试阶段:首先,修正输入图像的颜色,估计其全局背景光。接下来抽取多尺度暗道特征、多尺度局部最大对比度特征、多尺度局部最大饱和度特征以及色度差异特征。然后,将获得的特征图分别无重叠的分成5×5的特征块。将相同位置的各个特征图中提取的特征块送入训练好的随机森林回归模型中,从而输出对应的吸收函数值。最后,依次将所有位置的特征块全部输入到模型中,输出图像所有位置的的吸收函数值,此时吸收函数估计完毕。
由于本发明是基于块特征计算吸收函数值,从而最终输出的吸收函数图会出现块状伪影。本发明采用导向滤波来压缩块状伪影的影响。
4.4、吸收函数扩展
将获得的吸收函数值赋给输入图像的红信道,接下来以相机与场景点的距离为桥梁,构建水下图像三个颜色信道吸收函数之间的关系。吸收函数tc(x)可以表示为:
tc(x)=exp(-pcd(x)),c∈{r,g,b},
式中,pc为总的衰减因子,d(x)是相机与场景点之间的距离。此外,吸收函数tc还可以表示为:
tc(x)=Nrer(λ)d(x)
式中,Nrer(λ)表示与波长λ有关的归一化残余能量比率。
已知红信道的吸收函数,所以相机与场景点之间的距离d(x)可以表示为:
d ( x ) = l n ( t r ( x ) ) l n ( N r e r ( r ) )
式中,tr(x)为红信道的吸收函数,Nrer(r)表示红信道的归一化残余能量比率。一般情况下,Nrer(λ)可以表示为如下常数:
N r e r ( λ ) = 0.8 ~ 0.85 i f λ = 650 ~ 750 μ m r ( r e d ) 0.93 ~ 0.97 i f λ = 490 ~ 550 μ m g ( g r e e n ) 0.95 ~ 0.99 i f λ = 400 ~ 490 μ m b ( b l u e )
因此,绿蓝信道的吸收函数可以分别表示为:
t g ( x ) = N r e r ( g ) d ( x ) = N r e r ( g ) l n ( t r ( x ) ) / l n ( N r e r ( r ) ) ,
t b ( x ) = N r e r ( b ) d ( x ) = N r e r ( b ) l n ( t r ( x ) ) / l n ( N r e r ( r ) ) .
本发明中,针对红、绿、蓝信道的归一化残余能量比率,Nrer(λ)分别取值为83%,93%和97%。
步骤5、水下图像复原
将已经获得的全局背景光Ac、三个信道的吸收函数tc(x)、颜色修正后的水下图像Ic(x)代入水下成型模型,c信道的清晰的水下图像Jc(x)可以表示为:
J c ( x ) = 1 t c ( x ) ( I c ( x ) - A c ) + A c , c ∈ { r , g , b } .

Claims (6)

1.一种基于最优化颜色修正和回归模型的水下图像复原方法,其特征在于,该方法包括以下步骤:
步骤(1)、输入原始水下图像,建立水下图像的水下光学成像模型;
步骤(2)、采用基于最优化理论的颜色修正算法,去除水下图像的颜色偏差;
步骤(3)、基于四叉树分解和光学属性估计水下图像的全局背景光;
步骤(4)、合成训练样本、设计与吸收函数相关的特征、训练回归模型,学习红信道的吸收函数;
步骤(5)、采用训练好的回归模型估计红信道的吸收函数,确定相机与场景点之间的距离,继而估计出绿蓝信道的吸收函数;
步骤(6)、根据建立的水下光学成像模型,使用获得的全局背景光、红绿蓝三个信道的吸收函数以及颜色修正的图像,通过反变换获得清晰的水下图像。
2.如权利要求1所述的一种基于最优化颜色修正和回归模型水下图像复原方法,其特征在于,所述步骤(1)中的水下光学成像模型表示为:
Ic(x)=Jc(x)tc(x)+Ac(1-tc(x)),c∈{r,g,b}
式中,Ic(x)为c信道的退化的水下图像,Jc(x)为c信道的清晰的水下图像,Ac为c信道的全局背景光,tc(x)∈[0,1]为吸收函数,c为r,g,b红绿蓝色信道。
3.如权利要求1所述的一种基于最优化颜色修正和回归模型水下图像复原方法,其特征在于,所述步骤(2)的具体流程如下:
将经过颜色修正的水下图像表示为:
f ( x ) C R c = f ( c ) c - f ( x ) min c f ( c ) max c - f ( x ) min c × 255 = f ( c ) c - f ( x ) m e a n c + μ c · f ( x ) var c 2 μ c · f ( x ) var c × 255
式中,f(c)c为输入的c信道的待修正水下图像,分别为水下图像c信道的最大颜色偏差和最小颜色偏差;
水下图像每个颜色信道(r,g,b)信道的最大颜色偏差和最小颜色偏差表示如下:
f ( x ) max c = f ( x ) m e a n c + μ c · f ( x ) var c f ( x ) min c = f ( x ) m e a n c - μ c · f ( x ) var c , c ∈ { r , g , b }
式中,为水下图像c信道的平均值,为水下图像c信道的均方差值,μc是饱和度控制参数;
将标准的颜色检测板放入水下,使用相机在不同深度的水中拍摄颜色检测板,依据前述操作,获得颜色修正的的水下颜色检测板图像
定义一个代表颜色修正的c信道的水下颜色检测板图像与标准的c信道的颜色检测板图像的像素强度差异的能量函数E:
E = Σ | | f ( x ) C R - t e s t c - f ( x ) S T D c | | 2 , c ∈ { r , g , b }
采用迭代循环求解的方式寻找使能量函数最小化的饱和度控制参数。
4.如权利要求1所述的一种基于最优化颜色修正和回归模型水下图像复原方法,其特征在于:所述步骤(3)的具体流程如下:
采用四叉树分解技术将一幅颜色修正后的水下图像分解为四个矩形区域;
每个矩形区域以该区域内像素的平均值减去均方差作为该区域的分数,可表示为:
Score=f(x)mean-f(x)var
式中,Score为该区域的分数,f(x)mean为该区域像素的平均值,f(x)var为该区域像素的均方差值,选择具有最高分数的区域作为候选区域;
计算三信道(r,g,b)相同位置像素最小值,从而获得最小值图,之后计算最小值图中大小为41×41局部区域的最小值,计算局部区域的暗通道图,并且将暗通道图中的像素值从大到小排序,选择排在前0.1%的像素点作为候选像素点;
在候选像素点位置所对应的原始图像像素点处寻找具有最大的蓝色信道像素值和红色信道像素值比值的像素点作为背景光。
5.如权利要求1所述的一种基于最优化颜色修正和回归模型水下图像复原方法,其特征在于,所述步骤(4)的具体流程如下:
合成训练样本的步骤具体包括:选取一幅清晰的图像根据该图像合成的具有模糊效果的图像表示为:
I w a t e r c = t c · J n a t u r e c + ( 1 - t c ) · A c , c ∈ { r , g , b }
式中,Ac为全局背景光,其默认值为1;tc为吸收函数,随机选取[0,1]之间的值,每个随机的吸收函数值各产生一幅具有不同模糊程度的合成图像,这里三个信道选择相同的吸收函数值;
设计与吸收函数有关的特征的步骤具体包括:所述特征包括多尺度暗道特征、多尺度局部最大对比度特征、多尺度局部最大饱和度特征以及色度差异特征,其中:
多尺度暗道特征Dw表示为:
D w = min y ∈ Ω s ( x ) min c ∈ { r , g , b } I c ( y ) / A c
式中,x和y表示像素位置,Ic(y)为输入的上述合成的图像在y位置的像素值,Ωw(x)为以x为中心大小为w×w的图像块,w表示图像块的多个尺度,文中选取w=10,7,4,1;
多尺度局部最大对比度特征Cw表示为:
C w = max y ∈ Ω w ( x ) 1 3 | Ω s ( y ) | Σ z ∈ Ω s ( y ) | | I ( z ) - I ( y ) | | 2
式中,x,y和z表示像素位置,I(z)和I (y)分别代表在z位置和y位置的像素值,Ωw(x)为以x为中心大小为w×w的图像块,Ωs(y)以y位置为中心大小为s×s的区域,|Ωs(y)|是局部邻域Ωs(y)的像素点总数,s固定为5,w代表多尺度,文中选取w=10,7,4,1;
多尺度局部最大饱和度特征Sw表示为:
S w = max y ∈ Ω w ( x ) ( 1 - min c ∈ { r , g , b } I c ( y ) max c ∈ { r , g , b } I c ( y ) )
式中,Ic(y)为输入的上述合成的图像在y位置的像素值;
色度差异特征定义为输入图像与其半反转图像之间的色度差异,并表示为:
H ( I ) = | I s i h - I h |
式中,si下标表示半反转图像,h上标表示色度,Ih为输入图像的色度信道,为半反转图像,半反转图像可以通过下式计算:
式中,x为图像中像素点的位置,Ic(x)为x位置处的输入的合成图像的像素值,在为c信道的半反转图像;
训练回归模型的步骤具体包括:首先从上述步骤(4)中采用自然场景图像合成的水下图像中提取多尺度暗通道特征、多尺度局部最大对比度特征、多尺度局部最大饱和度特征以及色度差异特征,然后在获得的特征图中,分别随机提取10个大小为5×5的图像块,总共合成1000幅训练图像,从而产生1000×13个特征图,最终提取出1000×13×10大小为5×5的特征块;最后,对于一个合成的样本,将已知的吸收函数值和提取的13个5×5的特征块输入到随机森林回归模型中;依次类推的将剩余的13×9个5×5的特征块按上述方法送入到回归模型,直到将合成的1000幅图像对应的吸收函数值和特征块输入到随机森林回归模型,该回归模型训练完毕;
学习红信道的吸收函数的步骤具体包括:将相同位置的各个特征图中提取的特征块送入训练好的随机森林回归模型中,从而输出对应的吸收函数值;最后,依次将所有位置的特征块全部输入到随机森林回归模型中,输出图像所有位置的吸收函数值,此时整个红信道所有位置的吸收函数值输出完毕;最终输出的吸收函数图会出现块状伪影。
6.如权利要求1所述的一种基于最优化颜色修正和回归模型水下图像复原方法,其特征在于,所述步骤(5)中的具体流程如下:
已知红信道的吸收函数tr(x)的条件下,将相机与场景点之间的距离d(x)表示为:
d ( x ) = l n ( t r ( x ) ) l n ( N r e r ( r ) )
式中,tr(x)为红信道的吸收函数,Nrer(r)表示红信道的归一化残余能量比率;
绿蓝信道的吸收函数分别表示为:
t g ( x ) = N r e r ( g ) d ( x ) = N r e r ( g ) l n ( t r ( x ) ) / l n ( N r e r ( r ) )
t b ( x ) = N r e r ( b ) d ( x ) = N r e r ( b ) l n ( t r ( x ) ) / l n ( N r e r ( r ) )
式中,tg(x)和tb(x)分别为绿色和蓝色信道的吸收函数,Nrer(g)和Nrer(b)分别表示绿色信道和蓝色信道的归一化残余能量比率。
CN201610606187.9A 2016-07-25 2016-07-25 一种基于最优化颜色修正和回归模型的水下图像复原方法 Active CN106296597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610606187.9A CN106296597B (zh) 2016-07-25 2016-07-25 一种基于最优化颜色修正和回归模型的水下图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610606187.9A CN106296597B (zh) 2016-07-25 2016-07-25 一种基于最优化颜色修正和回归模型的水下图像复原方法

Publications (2)

Publication Number Publication Date
CN106296597A true CN106296597A (zh) 2017-01-04
CN106296597B CN106296597B (zh) 2019-03-29

Family

ID=57662719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610606187.9A Active CN106296597B (zh) 2016-07-25 2016-07-25 一种基于最优化颜色修正和回归模型的水下图像复原方法

Country Status (1)

Country Link
CN (1) CN106296597B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256536A (zh) * 2017-06-05 2017-10-17 河海大学 一种基于色彩恒常性和群稀疏的水下图像复原方法
CN108257101A (zh) * 2018-01-16 2018-07-06 上海海洋大学 一种基于最优复原参数的水下图像增强方法
CN109658343A (zh) * 2018-11-05 2019-04-19 天津大学 结合颜色转换和自适应曝光的水下图像增强方法
WO2019192338A1 (zh) * 2018-04-04 2019-10-10 腾讯科技(深圳)有限公司 图像的处理方法、装置、存储介质和电子装置
CN110838092A (zh) * 2019-10-28 2020-02-25 天津大学 一种基于卷积神经网络的水下图像复原方法
WO2020234886A1 (en) * 2019-05-21 2020-11-26 Carmel Haifa University Economic Corporation Ltd. Physics-based recovery of lost colors in underwater and atmospheric images under wavelength dependent absorption and scattering
CN111999307A (zh) * 2020-08-11 2020-11-27 河海大学 多尺度信息融合的水下构筑物表面损毁探测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766284A (zh) * 2015-04-17 2015-07-08 河海大学常州校区 水下彩色模糊图像的复原方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766284A (zh) * 2015-04-17 2015-07-08 河海大学常州校区 水下彩色模糊图像的复原方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DUBOK PARK 等: "SINGLE IMAGE DEHAZING WITH IMAGE ENTROPY AND INFORMATION FIDELITY", 《2014 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
KETAN TANG 等: "Investigating Haze-relevant Features in A Learning Framework for Image Dehazing", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
XUEYANG FU 等: "A Retinex-based Enhancing Approach for Single Underwater Image", 《2014 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256536A (zh) * 2017-06-05 2017-10-17 河海大学 一种基于色彩恒常性和群稀疏的水下图像复原方法
CN108257101A (zh) * 2018-01-16 2018-07-06 上海海洋大学 一种基于最优复原参数的水下图像增强方法
CN108257101B (zh) * 2018-01-16 2021-10-19 上海海洋大学 一种基于最优复原参数的水下图像增强方法
WO2019192338A1 (zh) * 2018-04-04 2019-10-10 腾讯科技(深圳)有限公司 图像的处理方法、装置、存储介质和电子装置
US11354785B2 (en) 2018-04-04 2022-06-07 Tencent Technology (Shenzhen) Company Ltd Image processing method and device, storage medium and electronic device
CN109658343A (zh) * 2018-11-05 2019-04-19 天津大学 结合颜色转换和自适应曝光的水下图像增强方法
CN109658343B (zh) * 2018-11-05 2023-06-16 天津大学 结合颜色转换和自适应曝光的水下图像增强方法
WO2020234886A1 (en) * 2019-05-21 2020-11-26 Carmel Haifa University Economic Corporation Ltd. Physics-based recovery of lost colors in underwater and atmospheric images under wavelength dependent absorption and scattering
CN110838092A (zh) * 2019-10-28 2020-02-25 天津大学 一种基于卷积神经网络的水下图像复原方法
CN110838092B (zh) * 2019-10-28 2023-05-19 天津大学 一种基于卷积神经网络的水下图像复原方法
CN111999307A (zh) * 2020-08-11 2020-11-27 河海大学 多尺度信息融合的水下构筑物表面损毁探测方法
CN111999307B (zh) * 2020-08-11 2021-08-17 河海大学 多尺度信息融合的水下构筑物表面损毁探测方法

Also Published As

Publication number Publication date
CN106296597B (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN106296597A (zh) 一种基于最优化颜色修正和回归模型的水下图像复原方法
CN107909556B (zh) 基于卷积神经网络的视频图像去雨方法
CN105894484B (zh) 一种基于直方图归一化与超像素分割的hdr重建算法
CN103942794B (zh) 一种基于置信度的图像协同抠图方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN104537625A (zh) 一种基于方向标志位的Bayer彩色图像插值方法
CN108280823A (zh) 一种工业生产中光缆表面弱边缘瑕疵的检测方法及系统
CN106056607A (zh) 一种基于鲁棒主成分分析的监控图像背景建模方法
CN110853026A (zh) 一种融合深度学习与区域分割的遥感影像变化检测方法
CN106530334B (zh) 一种机载干涉合成孔径雷达复图像配准方法及复图像配准系统
CN104217440B (zh) 一种从遥感图像中提取建成区的方法
CN107392880A (zh) 一种仿造迷彩自动生成方法
CN106022355A (zh) 基于3dcnn的高光谱图像空谱联合分类方法
CN109872278A (zh) 基于u形网络和生成对抗网络的图像云层移除方法
Huang et al. Towards unsupervised single image dehazing with deep learning
CN110223251A (zh) 适用于人工与自然光源的卷积神经网络水下图像复原方法
CN104504722A (zh) 一种利用灰色点校正图像颜色的方法
CN104637036A (zh) 一种中国古画增强方法
CN109345563A (zh) 基于低秩稀疏分解的运动目标检测方法
CN111080574A (zh) 一种基于信息熵和视觉注意机制的织物疵点检测方法
CN105809673A (zh) 基于surf算法和合并最大相似区域的视频前景分割方法
CN104933728A (zh) 一种混合运动目标检测方法
CN114863173B (zh) 一种面向土地资源审计的自互注意力高光谱图像分类方法
Wan et al. An assessment of shadow enhanced urban remote sensing imagery of a complex city–Hong Kong
CN104299197A (zh) 一种利用2d cca的单幅图像去雾方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant