CN117593235B - 基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置 - Google Patents
基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置 Download PDFInfo
- Publication number
- CN117593235B CN117593235B CN202410070687.XA CN202410070687A CN117593235B CN 117593235 B CN117593235 B CN 117593235B CN 202410070687 A CN202410070687 A CN 202410070687A CN 117593235 B CN117593235 B CN 117593235B
- Authority
- CN
- China
- Prior art keywords
- image
- channel
- component
- underwater
- illumination component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000005286 illumination Methods 0.000 claims abstract description 82
- 238000002310 reflectometry Methods 0.000 claims abstract description 63
- 238000012937 correction Methods 0.000 claims abstract description 46
- 238000005457 optimization Methods 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 57
- 230000006870 function Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000015556 catabolic process Effects 0.000 claims description 4
- 238000006731 degradation reaction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置，包括：输入水下降质图像，并利用归一化颜色修正方法进行颜色修正；从RGB颜色空间转换到HSV颜色空间；根据Retinex理论，将HSV颜色空间的亮度通道分解成反射率分量和光照分量，采用深度CNN去噪器学习反射率分量和光照分量的隐式先验，通过交替迭代优化算法得到反射率分量和光照分量的增强结果；利用伽马修正方法修正光照分量的增强结果；将反射率分量的增强结果和伽马修正后的光照分量进行图像像素的逐点相乘，得到增强后的亮度通道，合并增强后的亮度通道、HSV颜色空间的色度通道和饱和度通道，转换到RGB空间，得到并输出最终的水下增强图像。本发明能高效地输出优质水下增强图像。
Description
技术领域
本发明涉及水下图像增强技术领域，尤其涉及一种基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置。
背景技术
由于水下环境的复杂物理特性，很容易导致水下成像设备获取到能见度低且颜色失真的水下降质图像。根据水下光学成像机理，其中水下成像设备所捕获的光量主要由三个分量构成: 直接分量(由物体反射且未被散射的光)，前向散射分量(物体反射且被小角度散射的光)，后向散射分量(非目标物体反射的光，而是漂浮颗粒等反射的光)。 其中，获取的水下图像被认为是这三个部分的线性组合。前向散射分量容易产生模糊的图像结构，而后向散射分量则掩盖图像边及细节。同时，不同波长的光在水中以不同的速率进行衰减，红光具有最长的波长或最小的能量，其最先消失，然而蓝光和绿光则具有相对短的波长或相对大的能量，呈现相反的情况，这一特性导致获取的水下图像通常呈现出蓝或绿色调。
现有水下图像增强方法需要对水下图像的反射率分量和光照分量分别进行手工设计的稀疏先验建模，而这种先验约束求解非常耗时；同时，在实际复杂的水下环境中很难对反射率分量和光照分量进行准确先验建模，直接影响到水下图像的细节与结构的增强性能。
发明内容
本发明提供了一种基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置，用以解决现有技术存在的问题，本发明提供的技术方案如下：
一方面，提供了一种基于深度CNN去噪先验的Retinex变分水下图像增强
方法，所述方法包括：
S1、输入水下降质图像；
S2、利用归一化颜色修正方法，对所述水下降质图像进行颜色修正；
S3、将颜色修正后的水下图像从RGB颜色空间转换到HSV颜色空间，得到HSV颜色空间的亮度通道、色度通道和饱和度通道；
S4、根据Retinex理论，将HSV颜色空间的亮度通道分解成反射率分量和光照分量，然后采用深度CNN去噪器学习反射率分量和光照分量的隐式先验，通过交替迭代优化算法得到反射率分量和光照分量的增强结果；
S5、利用伽马修正方法，修正光照分量的增强结果；
S6、将反射率分量的增强结果和伽马修正后的光照分量进行图像像素的逐点相乘，得到增强后的亮度通道，合并增强后的亮度通道、HSV颜色空间的色度通道和饱和度通道，再把合并后的图像从HSV空间转换到RGB空间，得到并输出最终的水下增强图像。
可选地，所述S2的利用归一化颜色修正方法，对所述水下降质图像进行颜色修正，具体包括：
使用归一化颜色修正方法分别对水下降质图像Ic的红通道、绿通道和蓝通道进行颜色修正操作，具体运算如下：
(1)
(2)
其中，上标符号c = {r, g, b}是指颜色通道，r是红通道、g是绿通道、b是蓝通道，Ic为输入的水下降质图像，其包含红通道Ir、绿通道Ig和蓝通道Ib，为颜色修正后的水下图像，其包含红通道/>绿通道/>和蓝通道/>，/>为Ic的最大值，/>为Ic的最小值，为Ic的均值，/>为Ic的方差，/>为调节图像动态范围的参数。
可选地，所述S4，具体包括：
构建一种基于深度CNN去噪先验的Retinex变分水下图像增强模型，具体优化目标函数如下：
(3)
其中，第一项为数据保真项，用L2范数约束所求解的光照分量L与反射率分量R的乘积和亮度通道V一致，第二项/>是正则化项，表示反射率分量R的隐式先验，第三项/>是正则化项，表示光照分量L的隐式先验，/>和/>是两种隐式先验表示函数，无需设定具体的显式约束形式，采用深度CNN去噪器学习，/>为第一权重参数，为第二权重参数，/>和/>分别依据R和L分量中的各自噪声方差大小进行经验性设置，/>为图像像素点之间的点乘运算，利用变量分裂方法解耦数据保真项和正则化项，引入两个辅助变量P和Q分别来逼近求解R和L，将公式 (3) 转变为对应的增广拉格朗日目标函数形式：
(4)
其中，为第三权重参数，/>为第四权重参数，P是R的逼近辅助变量，Q是L的逼近辅助变量，采用交替迭代优化算法求解公式(4)。
可选地，所述采用交替迭代优化算法求解公式(4)，具体包括：
1）固定当前的光照分量L和两个逼近辅助变量P、Q，求解反射率分量R的目标函数表示为
(5)
其中，下标符号k是第k次迭代的次数，Lk是L的第k次迭代结果，Pk是P的第k次迭代结果，公式(5)中的除法是图像像素之间的点除运算，对公式(5)进行一阶梯度求导并置为0，得到反射率分量R的闭合解：
(6)
其中，Rk+1是R的第k+1次迭代结果，公式(6)中的除法是图像像素之间的点除运算；
2）固定当前的反射率分量R和两个逼近辅助变量P、Q，求解光照分量L的目标函数表示为
(7)
其中，Qk是Q的第k次迭代结果，公式(7)中的除法是图像像素之间的点除运算，对公式 (7) 进行一阶梯度求导并置为0，得到光照分量L的闭合解：
(8)
其中，Lk+1是L的第k+1次迭代结果，公式 (8) 中的除法是图像像素之间的点除运算；
3）固定当前的反射率分量R和光照分量L，求解两个逼近辅助变量P和Q的目标函数分别表示为
(9)
(10)
根据贝叶斯概率理论，看出公式(9)和(10)均是典型的图像高斯噪声去除问题，采用深度CNN去噪器求解这两个问题，具体计算如下：
(11)
(12)
其中，Pk+1和Qk+1分别是P和Q的第k+1次迭代结果，是深度CNN去噪器，通过深度残差去噪网络求解；
4）重复上述步骤 1)–3)直至收敛，获得增强后的反射率分量RE和光照分量LE。
可选地，所述深度CNN去噪器由五个层组成，第一层包括一个DConv+ReLU块，中间三个层包括三个DConv +BNorm+ReLU块，以及最后一层包括一个DConv块，其中，DConv表示扩张卷积，ReLU表示修正线性单元，BNorm表示批量归一化，从第一层到最后一层的扩张卷积的膨胀因子s分别设置为1、2、4、2和1，分别输入带噪图像Rk+1和Lk+1，经过五个层后转化为残差噪声图像，最后将输入带噪图像减去残差噪声图像，分别输出去噪图像Pk+1和Qk+1。
可选地，所述CNN去噪器的残差网络训练过程，包括：
收集干净图像数据集；
通过对干净图像数据集中的干净图像中添加高斯白噪声，得到带噪声图像；
将每张带噪声图像裁剪成小块，随机选择若干个图像块进行训练，采用残差学习策略，用L2范数约束损失函数:
其中, yi是第i个带噪声图像，xi是第i个干净图像，i = 1,…, N，N是带噪声图像或者干净图像的个数，表示深度神经网络函数，/>是网络参数，并用Adam优化器来优化/>。
可选地，所述S5，具体包括：
伽马修正后的光照分量L'E的计算公式如下式（13）：
(13)
其中，LE是增强后的光照分量，W是图像的最大亮度范围，为修正参数，L'E为伽马修正后的光照分量。
另一方面，提供了一种基于深度CNN去噪先验的Retinex变分水下图像增强装置，所述装置包括：
输入模块，用于输入水下降质图像；
颜色修正模块，用于利用归一化颜色修正方法对所述水下降质图像进行颜色修正；
转换模块，用于将颜色修正后的水下图像从RGB颜色空间转换到HSV颜色空间，得到HSV颜色空间的亮度通道、色度通道和饱和度通道；
第一处理模块，用于根据Retinex理论，将HSV颜色空间的亮度通道分解成反射率分量和光照分量，然后采用深度CNN去噪器学习反射率分量和光照分量的隐式先验，通过交替迭代优化算法得到反射率分量和光照分量的增强结果；
修正模块，用于利用伽马修正方法修正光照分量的增强结果；
第二处理模块，用于将反射率分量的增强结果和伽马修正后的光照分量进行图像像素的逐点相乘，得到增强后的亮度通道，合并增强后的亮度通道、HSV颜色空间的色度通道和饱和度通道，再把合并后的图像从HSV空间转换到RGB空间，得到并输出最终的水下增强图像。
另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有指令，所述指令由所述处理器加载并执行以实现上述基于深度CNN去噪先验的Retinex变分水下图像增强方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有指令，所述指令由处理器加载并执行以实现上述基于深度CNN去噪先验的Retinex变分水下图像增强方法。
上述技术方案，与现有技术相比至少具有如下有益效果：
本发明提出了一种基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置，相比于现有水下图像增强方法，本发明的主要优势是采用深度CNN去噪先验，代替反射率分量和光照分量的显式表示先验，有效地克服复杂水下环境中各自先验难以准确建模的缺陷；同时利用端到端的深度学习训练具有快速的运算速度，高效解决显式表示先验的求解耗时问题，此外，对水下降质图像进行归一化颜色修正操作，有效复原水下图像的颜色及自然性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于深度CNN去噪先验的Retinex变分水下图像增强方法流程图；
图2为本发明实施例提供的另一种基于深度CNN去噪先验的Retinex变分水下图像增强方法流程图；
图3为本发明实施例提供的CNN去噪器结构示意图；
图4为本发明实施例提供的一种基于深度CNN去噪先验的Retinex变分水下图像增强装置框图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种基于深度CNN去噪先验的Retinex变分水下图像增强方法，所述方法包括：
S1、输入水下降质图像；
S2、利用归一化颜色修正方法，对所述水下降质图像进行颜色修正；
S3、将颜色修正后的水下图像从RGB颜色空间转换到HSV颜色空间，得到HSV颜色空间的亮度通道、色度通道和饱和度通道；
S4、根据Retinex理论，将HSV颜色空间的亮度通道分解成反射率分量和光照分量，然后采用深度CNN去噪器学习反射率分量和光照分量的隐式先验，通过交替迭代优化算法得到反射率分量和光照分量的增强结果；
S5、利用伽马修正方法，修正光照分量的增强结果；
S6、将反射率分量的增强结果和伽马修正后的光照分量进行图像像素的逐点相乘，得到增强后的亮度通道，合并增强后的亮度通道、HSV颜色空间的色度通道和饱和度通道，再把合并后的图像从HSV空间转换到RGB空间，得到并输出最终的水下增强图像。
下面结合图2-图3，详细说明本发明实施例提供的一种基于深度CNN去噪先验的Retinex变分水下图像增强方法，所述方法包括：
S1、输入水下降质图像；
作为开始的输入数据。
S2、利用归一化颜色修正方法，对所述水下降质图像进行颜色修正；
可选地，所述S2，具体包括：
使用归一化颜色修正方法分别对水下降质图像Ic的红通道、绿通道和蓝通道进行颜色修正操作，以有效克服水下图像的颜色畸变问题，具体运算如下：
(1)
(2)
其中，上标符号c = {r, g, b}是指颜色通道，r是红通道、g是绿通道、b是蓝通道，Ic为输入的水下降质图像，其包含红通道Ir、绿通道Ig和蓝通道Ib，为颜色修正后的水下图像，其包含红通道/>、绿通道/>和蓝通道/>，/>为Ic的最大值，/>为Ic的最小值，为Ic的均值，/>为Ic的方差，/>为调节图像动态范围的参数。
S3、将颜色修正后的水下图像从RGB颜色空间转换到HSV颜色空间，得到HSV颜色空间的亮度通道、色度通道和饱和度通道；
后续增强只需对HSV空间的亮度通道V进行处理，而色度通道H和饱和度通道S则固定不变。
从RGB颜色空间转换到HSV颜色空间的具体步骤为现有技术，在此不再赘述。
S4、根据Retinex理论，将HSV颜色空间的亮度通道分解成反射率分量和光照分量，然后采用深度CNN去噪器学习反射率分量和光照分量的隐式先验，通过交替迭代优化算法得到反射率分量和光照分量的增强结果；
可选地，所述S4，具体包括：
构建一种基于深度CNN去噪先验的Retinex变分水下图像增强模型，具体优化目标函数如下：
(3)
其中，第一项为数据保真项，用L2范数约束所求解的光照分量L与反射率分量R的乘积和亮度通道V一致，第二项/>是正则化项，表示反射率分量R的隐式先验，第三项/>是正则化项，表示光照分量L的隐式先验，/>和/>是两种隐式先验表示函数，无需设定具体的显式约束形式，以避免复杂水下环境中难对R和L先验进行准确建模问题，采用深度CNN去噪器学习，/>为第一权重参数，/>为第二权重参数，/>和/>分别依据R和L分量中的各自噪声方差大小进行经验性设置，/>为图像像素点之间的点乘运算，由于公式 (3) 中存在两个未知隐式先验，无法利用传统梯度下降等优化方法直接进行求导和求解，本发明实施例利用变量分裂方法解耦数据保真项和正则化项，引入两个辅助变量P和Q分别来逼近求解R和L，将公式 (3) 转变为对应的增广拉格朗日目标函数形式：
(4)
其中，为第三权重参数，/>为第四权重参数，本发明实施例这两个权重参数初始值均设置为10，并在每次迭代中进行2倍速度衰减），P是R的逼近辅助变量，Q是L的逼近辅助变量，采用交替迭代优化算法求解公式(4)。
可选地，所述采用交替迭代优化算法求解公式(4)，具体包括：
1）固定当前的光照分量L和两个逼近辅助变量P、Q，求解反射率分量R的目标函数表示为
(5)
其中，下标符号k是第k次迭代的次数，Lk是L的第k次迭代结果，Pk是P的第k次迭代结果，公式(5)中的除法是图像像素之间的点除运算，对公式(5)进行一阶梯度求导并置为0，得到反射率分量R的闭合解：
(6)
其中，Rk+1是R的第k+1次迭代结果，公式(6)中的除法是图像像素之间的点除运算；
2）固定当前的反射率分量R和两个逼近辅助变量P、Q，求解光照分量L的目标函数表示为
(7)
其中，Qk是Q的第k次迭代结果，公式(7)中的除法是图像像素之间的点除运算，对公式 (7) 进行一阶梯度求导并置为0，得到光照分量L的闭合解：
(8)
其中，Lk+1是L的第k+1次迭代结果，公式 (8) 中的除法是图像像素之间的点除运算；
3）固定当前的反射率分量R和光照分量L，求解两个逼近辅助变量P和Q的目标函数分别表示为
(9)
(10)
根据贝叶斯概率理论，可以看出公式(9)和(10)均是典型的图像高斯噪声去除问题，本发明实施例采用深度CNN去噪器求解这两个问题，具体计算如下：
(11)
(12)
其中，Pk+1和Qk+1分别是P和Q的第k+1次迭代结果，是深度CNN去噪器，通过深度残差去噪网络求解；上述深度CNN去噪方法无需设置反射率分量R和光照分量L的具体先验形式，利用去噪先验来代替R和L的显式表示先验，以克服复杂水下中对R和L显示表示先验难以准确建模的缺陷；同时，通过端到端的训练方式具有快速的运算速度，高效解决显式表示先验的求解耗时问题。
4）重复上述步骤 1)–3)直至收敛，获得增强后的反射率分量RE和光照分量LE。
可选地，如图3所示，CNN深度去噪器的残差网络结构中，“s-DConv”表示s-扩张卷积，s = 1、2和4；“BNorm”表示批量归一化；“ReLU”表示修正线性单元（ f(x) = max（x，0））。
所述深度CNN去噪器由五个层组成，第一层包括一个DConv+ReLU块，中间三个层包括三个DConv +BNorm+ReLU块，以及最后一层包括一个DConv块，其中，DConv表示扩张卷积，ReLU表示修正线性单元，BNorm表示批量归一化，从第一层到最后一层的(3x3)扩张卷积的膨胀因子s分别设置为1、2、4、2和1，分别输入带噪图像Rk+1和Lk+1到训练完成的深度CNN去噪器，经过五个层后转化为残差噪声图像，最后将输入带噪图像减去残差噪声图像，分别输出去噪图像Pk+1和Qk+1。
本发明实施例在网络设计中一些重要的细节如下：
1）使用扩张卷积滤波器来扩大感受野。
为捕获上下文信息，通过卷积运算不断扩大感受野，本发明实施例利用最近提出的扩张卷积来在感受野大小与网络深度之间进行权衡，扩张卷积以其感受野的扩展能力而闻名，同时保留了传统 3 x 3 卷积的优点。具有扩张因子 的扩张卷积滤波器可以简单地解释为稀疏滤波器，其大小为 (2/>+1) x (2/>+1)，x是乘法运算符，只有固定位置的9 个元素可以是非零值，每层的等效感受野为3, 5, 9, 5和3。
2）使用批量归一化（BNorm）和残差学习来加速训练。
批量归一化和残差学习是两种最有影响力的架构设计技术，在最近 CNN 架构设计中得到了广泛采用，最新研究表明，批量归一化和残差学习的结合对高斯去噪很有帮助，具体来说，二者的结合不仅实现快速稳定的训练，而且会带来更好的去噪性能。
可选地，所述CNN去噪器的残差网络训练过程，包括：
收集干净图像数据集；
本发明实施例可以为任意图像。
通过对干净图像数据集中的干净图像中添加高斯白噪声，得到带噪声图像；
将每张带噪声图像裁剪成小块，随机选择若干个图像块进行训练，采用残差学习策略，用L2范数约束损失函数:
其中, yi是第i个带噪声图像，xi是第i个干净图像，i = 1,…, N，N是带噪声图像或者干净图像的个数，表示深度神经网络函数，/>是网络参数，并用Adam优化器来优化/>。
本发明实施例初始步长为0.001，当训练误差不再减小时，步长固定为0.0001。如果训练误差在连续五个训练时期内保持不变，则训练终止。Adam优化器中其他超参数都采用默认设置，批量大小设置为256。
S5、利用伽马修正方法，修正光照分量的增强结果；
可选地，所述S5，具体包括：
伽马修正后的光照分量L'E的计算公式如下式（13）：
(13)
其中，LE是增强后的光照分量，W是图像的最大亮度范围（本发明实施例设置为255），为修正参数（本发明实施例被经验地设置为 0.45），L'E为伽马修正后的光照分量。
S6、将反射率分量的增强结果和伽马修正后的光照分量进行图像像素的逐点相乘，得到增强后的亮度通道，合并增强后的亮度通道、HSV颜色空间的色度通道和饱和度通道，再把合并后的图像从HSV空间转换到RGB空间，得到并输出最终的水下增强图像。
将反射率分量的增强结果RE和伽马修正后的光照分量L'E进行图像像素的逐点相乘，计算出增强后的亮度通道VE为
(14)
其中，VE为增强后的亮度通道。
合并增强后的亮度通道、HSV颜色空间的色度通道和饱和度通道，再把合并后的图像从HSV空间转换到RGB空间，得到并输出最终的水下增强图像，为现有技术，在此不再赘述。
如图4所示，本发明实施例还提供了一种基于深度CNN去噪先验的Retinex变分水下图像增强装置，所述装置包括：
输入模块410，用于输入水下降质图像；
颜色修正模块420，用于利用归一化颜色修正方法对所述水下降质图像进行颜色修正；
转换模块430，用于将颜色修正后的水下图像从RGB颜色空间转换到HSV颜色空间，得到HSV颜色空间的亮度通道、色度通道和饱和度通道；
第一处理模块440，用于根据Retinex理论，将HSV颜色空间的亮度通道分解成反射率分量和光照分量，然后采用深度CNN去噪器学习反射率分量和光照分量的隐式先验，通过交替迭代优化算法得到反射率分量和光照分量的增强结果；
修正模块450，用于利用伽马修正方法修正光照分量的增强结果；
第二处理模块460，用于将反射率分量的增强结果和伽马修正后的光照分量进行图像像素的逐点相乘，得到增强后的亮度通道，合并增强后的亮度通道、HSV颜色空间的色度通道和饱和度通道，再把合并后图像从HSV空间转换到RGB空间，得到并输出最终的水下增强图像。
本发明实施例提供的一种基于深度CNN去噪先验的Retinex变分水下图像增强装置，其功能结构与本发明实施例提供的一种基于深度CNN去噪先验的Retinex变分水下图像增强方法相对应，在此不再赘述。
图5是本发明实施例提供的一种电子设备500的结构示意图，该电子设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessing units，CPU）501和一个或一个以上的存储器502，其中，所述存储器502中存储有指令，所述指令由所述处理器501加载并执行以实现上述基于深度CNN去噪先验的Retinex变分水下图像增强方法的步骤。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述基于深度CNN去噪先验的Retinex变分水下图像增强方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于深度CNN去噪先验的Retinex变分水下图像增强方法，其特征在于，所述方法包括：
S1、输入水下降质图像；
S2、利用归一化颜色修正方法，对所述水下降质图像进行颜色修正；
S3、将颜色修正后的水下图像从RGB颜色空间转换到HSV颜色空间，得到HSV颜色空间的亮度通道、色度通道和饱和度通道；
S4、根据Retinex理论，将HSV颜色空间的亮度通道分解成反射率分量和光照分量，然后采用深度CNN去噪器学习反射率分量和光照分量的隐式先验，通过交替迭代优化算法得到反射率分量和光照分量的增强结果；
S5、利用伽马修正方法，修正光照分量的增强结果；
S6、将反射率分量的增强结果和伽马修正后的光照分量进行图像像素的逐点相乘，得到增强后的亮度通道，合并增强后的亮度通道、HSV颜色空间的色度通道和饱和度通道，再把合并后的图像从HSV空间转换到RGB空间，得到并输出最终的水下增强图像；
所述S4，具体包括：
构建一种基于深度CNN去噪先验的Retinex变分水下图像增强模型，具体优化目标函数如下：
其中，第一项为数据保真项，用L2范数约束所求解的光照分量L与反射率分量R的乘积和亮度通道V一致，第二项Φ(R)是正则化项，表示反射率分量R的隐式先验，第三项ψ(L)是正则化项，表示光照分量L的隐式先验，Φ(·)和ψ(·)是两种隐式先验表示函数，无需设定具体的显式约束形式，采用深度CNN去噪器学习，λ为第一权重参数，ξ为第二权重参数，λ和ξ分别依据R和L分量中的各自噪声方差大小进行经验性设置，·为图像像素点之间的点乘运算，利用变量分裂方法解耦数据保真项和正则化项，引入两个辅助变量P和Q分别来逼近求解R和L，将公式(3)转变为对应的增广拉格朗日目标函数形式：
其中，ρ为第三权重参数，η为第四权重参数，P是R的逼近辅助变量，Q是L的逼近辅助变量，采用交替迭代优化算法求解公式(4)；
所述采用交替迭代优化算法求解公式(4)，具体包括：
1)固定当前的光照分量L和两个逼近辅助变量P、Q，求解反射率分量R的目标函数表示为
其中，下标符号k是第k次迭代的次数，Lk是L的第k次迭代结果，Pk是P的第k次迭代结果，公式(5)中的除法是图像像素之间的点除运算，对公式(5)进行一阶梯度求导并置为0，得到反射率分量R的闭合解：
其中，Rk+1是R的第k+1次迭代结果，公式(6)中的除法是图像像素之间的点除运算；
2)固定当前的反射率分量R和两个逼近辅助变量P、Q，求解光照分量L的目标函数表示为
其中，Qk是Q的第k次迭代结果，公式(7)中的除法是图像像素之间的点除运算，对公式(7)进行一阶梯度求导并置为0，得到光照分量L的闭合解：
其中，Lk+1是L的第k+1次迭代结果，公式(8)中的除法是图像像素之间的点除运算；
3)固定当前的反射率分量R和光照分量L，求解两个逼近辅助变量P和Q的目标函数分别表示为
根据贝叶斯概率理论，看出公式(9)和(10)均是典型的图像高斯噪声去除问题，采用深度CNN去噪器求解这两个问题，具体计算如下：
其中，Pk+1和Qk+1分别是P和Q的第k+1次迭代结果，Denoiser(·)是深度CNN去噪器，通过深度残差去噪网络求解；
4)重复上述步骤1)–3)直至收敛，获得增强后的反射率分量RE和光照分量LE。
2.根据权利要求1所述的方法，其特征在于，所述S2的利用归一化颜色修正方法，对所述水下降质图像进行颜色修正，具体包括：
使用归一化颜色修正方法分别对水下降质图像Ic的红通道、绿通道和蓝通道进行颜色修正操作，具体运算如下：
其中，上标符号c＝{r,g,b}是指颜色通道，r是红通道、g是绿通道、b是蓝通道，Ic为输入的水下降质图像，其包含红通道Ir、绿通道Ig和蓝通道Ib，为颜色修正后的水下图像，其包含红通道/>绿通道/>和蓝通道/>为Ic的最大值，/>为Ic的最小值，/>为Ic的均值，/>为Ic的方差，μ为调节图像动态范围的参数。
3.根据权利要求1所述的方法，其特征在于，所述深度CNN去噪器由五个层组成，第一层包括一个DConv+ReLU块，中间三个层中每一层包括一个DConv+BNorm+ReLU块，以及最后一层包括一个DConv块，其中，DConv表示扩张卷积，ReLU表示修正线性单元，BNorm表示批量归一化，从第一层到最后一层的扩张卷积的膨胀因子s分别设置为1、2、4、2和1，分别输入带噪图像Rk+1和Lk+1，经过五个层后转化为残差噪声图像，最后将输入带噪图像减去残差噪声图像，分别输出去噪图像Pk+1和Qk+1。
4.根据权利要求3所述的方法，其特征在于，所述CNN去噪器的残差网络训练过程，包括：
收集干净图像数据集；
通过对干净图像数据集中的干净图像中添加高斯白噪声，得到带噪声图像；
将每张带噪声图像裁剪成小块，随机选择若干个图像块进行训练，采用残差学习策略，用L2范数约束损失函数l(Θ):
其中，yi是第i个带噪声图像，xi是第i个干净图像，i＝1,…,N，N是带噪声图像或者干净图像的个数，f()表示深度神经网络函数，Θ是网络参数，并用Adam优化器来优化Θ。
5.根据权利要求1所述的方法，其特征在于，所述S5，具体包括：
伽马修正后的光照分量L'E的计算公式如下式(13)：
其中，LE是增强后的光照分量，W是图像的最大亮度范围，γ为修正参数，L'E为伽马修正后的光照分量。
6.一种基于深度CNN去噪先验的Retinex变分水下图像增强装置，其特征在于，所述装置包括：
输入模块，用于输入水下降质图像；
颜色修正模块，用于利用归一化颜色修正方法对所述水下降质图像进行颜色修正；
转换模块，用于将颜色修正后的水下图像从RGB颜色空间转换到HSV颜色空间，得到HSV颜色空间的亮度通道、色度通道和饱和度通道；
第一处理模块，用于根据Retinex理论，将HSV颜色空间的亮度通道分解成反射率分量和光照分量，然后采用深度CNN去噪器学习反射率分量和光照分量的隐式先验，通过交替迭代优化算法得到反射率分量和光照分量的增强结果；
修正模块，用于利用伽马修正方法修正光照分量的增强结果；
第二处理模块，用于将反射率分量的增强结果和伽马修正后的光照分量进行图像像素的逐点相乘，得到增强后的亮度通道，合并增强后的亮度通道、HSV颜色空间的色度通道和饱和度通道，再把合并后的图像从HSV空间转换到RGB空间，得到并输出最终的水下增强图像；
所述第一处理模块，具体用于：
构建一种基于深度CNN去噪先验的Retinex变分水下图像增强模型，具体优化目标函数如下：
其中，第一项为数据保真项，用L2范数约束所求解的光照分量L与反射率分量R的乘积和亮度通道V一致，第二项Φ(R)是正则化项，表示反射率分量R的隐式先验，第三项ψ(L)是正则化项，表示光照分量L的隐式先验，Φ(·)和ψ(·)是两种隐式先验表示函数，无需设定具体的显式约束形式，采用深度CNN去噪器学习，λ为第一权重参数，ξ为第二权重参数，λ和ξ分别依据R和L分量中的各自噪声方差大小进行经验性设置，·为图像像素点之间的点乘运算，利用变量分裂方法解耦数据保真项和正则化项，引入两个辅助变量P和Q分别来逼近求解R和L，将公式(3)转变为对应的增广拉格朗日目标函数形式：
其中，ρ为第三权重参数，η为第四权重参数，P是R的逼近辅助变量，Q是L的逼近辅助变量，采用交替迭代优化算法求解公式(4)；
所述采用交替迭代优化算法求解公式(4)，具体包括：
1)固定当前的光照分量L和两个逼近辅助变量P、Q，求解反射率分量R的目标函数表示为
其中，下标符号k是第k次迭代的次数，Lk是L的第k次迭代结果，Pk是P的第k次迭代结果，公式(5)中的除法是图像像素之间的点除运算，对公式(5)进行一阶梯度求导并置为0，得到反射率分量R的闭合解：
其中，Rk+1是R的第k+1次迭代结果，公式(6)中的除法是图像像素之间的点除运算；
2)固定当前的反射率分量R和两个逼近辅助变量P、Q，求解光照分量L的目标函数表示为
其中，Qk是Q的第k次迭代结果，公式(7)中的除法是图像像素之间的点除运算，对公式(7)进行一阶梯度求导并置为0，得到光照分量L的闭合解：
其中，Lk+1是L的第k+1次迭代结果，公式(8)中的除法是图像像素之间的点除运算；
3)固定当前的反射率分量R和光照分量L，求解两个逼近辅助变量P和Q的目标函数分别表示为
根据贝叶斯概率理论，看出公式(9)和(10)均是典型的图像高斯噪声去除问题，采用深度CNN去噪器求解这两个问题，具体计算如下：
其中，Pk+1和Qk+1分别是P和Q的第k+1次迭代结果，Denoiser(·)是深度CNN去噪器，通过深度残差去噪网络求解；
4)重复上述步骤1)–3)直至收敛，获得增强后的反射率分量RE和光照分量LE。
7.一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有指令，其特征在于，所述指令由所述处理器加载并执行以实现如权利要求1-5任一项所述基于深度CNN去噪先验的Retinex变分水下图像增强方法。
8.一种计算机可读存储介质，所述存储介质中存储有指令，其特征在于，所述指令由处理器加载并执行以实现如权利要求1-5任一项所述基于深度CNN去噪先验的Retinex变分水下图像增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410070687.XA CN117593235B (zh) | 2024-01-18 | 2024-01-18 | 基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410070687.XA CN117593235B (zh) | 2024-01-18 | 2024-01-18 | 基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117593235A CN117593235A (zh) | 2024-02-23 |
| CN117593235B true CN117593235B (zh) | 2024-04-09 |
Family
ID=89922289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410070687.XA Active CN117593235B (zh) | 2024-01-18 | 2024-01-18 | 基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117593235B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934340B (zh) * | 2024-03-25 | 2024-06-04 | 北京科技大学 | 一种基于深度展开网络的Retinex变分水下图像增强方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064422A (zh) * | 2018-07-17 | 2018-12-21 | 中国海洋大学 | 一种基于融合对抗网络的水下图像复原方法 |
| CN109214990A (zh) * | 2018-07-02 | 2019-01-15 | 广东工业大学 | 一种基于Inception模型的深度卷积神经网络图像去噪方法 |
| CN116843679A (zh) * | 2023-08-28 | 2023-10-03 | 南方医科大学 | 基于深度图像先验框架的pet图像部分容积校正方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211049A (zh) * | 2018-06-28 | 2019-09-06 | 京东方科技集团股份有限公司 | 基于Retinex理论的图像增强方法、装置和设备 |
-
2024
- 2024-01-18 CN CN202410070687.XA patent/CN117593235B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109214990A (zh) * | 2018-07-02 | 2019-01-15 | 广东工业大学 | 一种基于Inception模型的深度卷积神经网络图像去噪方法 |
| CN109064422A (zh) * | 2018-07-17 | 2018-12-21 | 中国海洋大学 | 一种基于融合对抗网络的水下图像复原方法 |
| CN116843679A (zh) * | 2023-08-28 | 2023-10-03 | 南方医科大学 | 基于深度图像先验框架的pet图像部分容积校正方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《基于深度学习和Retinex理论的低照度图像增强算法研究》;叶鲁建;《优秀硕士论文》;20210915;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117593235A (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhuang et al. | Bayesian retinex underwater image enhancement | |
| CN110232661B (zh) | 基于Retinex和卷积神经网络的低光照彩色图像增强方法 | |
| Kokkinos et al. | Iterative joint image demosaicking and denoising using a residual denoising network | |
| CN117593235B (zh) | 基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置 | |
| Kong et al. | Low-light image enhancement via poisson noise aware retinex model | |
| CN113793275A (zh) | 一种Swin Unet低照度图像增强方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN107067386B (zh) | 一种基于相对全局直方图拉伸的浅海水下图像增强方法 | |
| Kousha et al. | Modeling srgb camera noise with normalizing flows | |
| WO2020001164A1 (en) | Image enhancement method and apparatus | |
| CN108876750B (zh) | 一种基于非局部相似性低秩矩阵的图像去除泊松噪声的方法 | |
| WO2020107308A1 (zh) | 一种基于Retinex的微光图像快速增强方法及其装置 | |
| Song et al. | Dual-model: Revised imaging network and visual perception correction for underwater image enhancement | |
| Park et al. | ULBPNet: Low-light image enhancement using U-shaped lightening back-projection | |
| CN112801899A (zh) | 基于互补结构感知的内外循环驱动图像盲去模糊方法和装置 | |
| CN116862809A (zh) | 一种低曝光条件下的图像增强方法 | |
| CN115797205A (zh) | 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统 | |
| CN113096033B (zh) | 基于Retinex模型自适应结构的低光照图像增强方法 | |
| CN117934340B (zh) | 一种基于深度展开网络的Retinex变分水下图像增强方法和装置 | |
| WO2022207110A1 (en) | Noise reconstruction for image denoising | |
| CN111489302A (zh) | 一种雾气环境下海事图像增强方法 | |
| CN113822823B (zh) | 气动光学效应图像空变模糊核的点近邻复原方法及系统 | |
| CN111223060B (zh) | 基于自适应plip模型的图像处理方法 | |
| CN112132024B (zh) | 水下目标识别网络优化方法及装置 | |
| CN113409225B (zh) | 基于Retinex的无人机拍摄图像增强算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |