CN115423724B - 强化学习参数优化的水下图像增强方法、装置及介质 - Google Patents
强化学习参数优化的水下图像增强方法、装置及介质 Download PDFInfo
- Publication number
- CN115423724B CN115423724B CN202211365384.8A CN202211365384A CN115423724B CN 115423724 B CN115423724 B CN 115423724B CN 202211365384 A CN202211365384 A CN 202211365384A CN 115423724 B CN115423724 B CN 115423724B
- Authority
- CN
- China
- Prior art keywords
- image
- underwater
- color
- enhancement
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 110
- 238000005457 optimization Methods 0.000 title claims abstract description 34
- 230000002787 reinforcement Effects 0.000 title claims abstract description 23
- 230000016776 visual perception Effects 0.000 claims abstract description 43
- 239000003795 chemical substances by application Substances 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 20
- 230000002708 enhancing effect Effects 0.000 claims description 51
- 238000013507 mapping Methods 0.000 claims description 41
- 238000012937 correction Methods 0.000 claims description 35
- 230000009471 action Effects 0.000 claims description 34
- 150000001875 compounds Chemical class 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 23
- 238000011084 recovery Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种强化学习参数优化的水下图像增强方法、装置及介质,应用于图像处理技术领域。其中,方法包括预先训练图像参数匹配模型,并构建图像增强模型;图像参数匹配模型以水下样本图像的图像特征向量作为状态元素、以水下样本图像分别通过默认参数和最优参数下的图像增强模型处理后的样本增强图像的人类视觉感知得分差值作为奖励要素对决策代理网络进行训练。将待处理水下图像输入至图像参数匹配模型中,得到相匹配的目标图像参数;将目标图像参数输入至图像增强模型,调用图像增强模型对待处理水下图像的色彩偏差、对比度和模糊细节进行校准,得到目标增强图像,从而可以有效提升水下图像质量。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种强化学习参数优化的水下图像增强方法、装置、电子设备及可读存储介质。
背景技术
水下图像为水下勘探的数据分析过程中所不可缺少的数据,随着海洋能源开发、水下生命监测等水下勘探技术的快速发展,为了实现高精度水下勘探,水下图像的质量要求也越来越高。然而,由于水的散射和吸收效应降低了水下场景的能见度,水下相机所拍摄的水下图像通常会出现颜色偏差、低对比度和细节模糊的问题,导致水下图像并不能满足高质量图像的现实需求。
鉴于此,如何有效提升水下图像质量,是所属领域技术人员需要解决的技术问题。
发明内容
本申请提供了一种强化学习参数优化的水下图像增强方法、装置、电子设备及可读存储介质,可以有效提升水下图像质量。
为解决上述技术问题,本发明实施例提供以下技术方案:
本发明实施例一方面提供了一种强化学习参数优化的水下图像增强方法,包括:
预先训练图像参数匹配模型,并构建图像增强模型;
将待处理水下图像输入至所述图像参数匹配模型中,得到相匹配的目标图像参数;
将所述目标图像参数输入至所述图像增强模型,调用所述图像增强模型对待处理水下图像的色彩偏差、对比度和模糊细节进行校准,得到目标增强图像;
其中,所述图像增强模型为基于色彩偏差校准方法、对比度校准方法和细节恢复方法所构建;所述图像参数匹配模型包括特征提取器、决策代理网络和动作要素集,所述决策代理网络用于从所述动作要素集中确定最优图像参数;其以水下样本图像的图像特征向量作为状态元素、以所述水下样本图像分别通过默认参数下的图像增强模型处理后的初始样本增强图像和最优图像参数下的图像增强模型处理后的优化样本增强图像的人类视觉感知得分差值作为奖励要素对所述决策代理网络进行训练。
可选的,所述调用所述图像增强模型对待处理水下图像的色彩偏差、对比度和模糊细节进行校准,包括:
获取所述待处理水下图像的红色通道,绿色通道以及蓝色通道的像素值,并对各像素值进行归一化处理;
调用自适应通道补偿关系式,对归一化后的待处理水下图像的衰减通道进行补偿;所述自适应通道补偿关系式为:
式中,x、y为像素点坐标值,r为红色通道,b为蓝色通道,g为绿色通道,a表示补偿,α为第一补偿系数,β为第二补偿系数,为补偿后的待处理水下图像的蓝色通道的像素值,为归一化后的待处理水下图像的蓝色通道的像素值,为归一化后的待处理水下图像的绿色通道的像素平均值,为归一化后的待处理水下图像的蓝色通道的像素平均值,表示判距,为补偿后的待处理水下图像的绿色通道的像素值,为归一化后的待处理水下图像的绿色通道的像素值,为补偿后的待处理水下图像的红色通道的像素值,为归一化后的待处理水下图像的红色通道的像素值,为补偿后的待处理水下图像的绿色通道的像素平均值。
可选的,所述调用所述图像增强模型对待处理水下图像的色彩偏差、对比度和模糊细节进行校准,包括:
对衰减通道补偿后图像进行色彩平衡,得到色彩平衡图像;
对所述色彩平衡图像进行色彩映射,得到色彩映射图像;
将所述色彩映射图像从RGB色彩空间转换到HSL色彩空间,并进行饱和度加强处理,得到饱和度增强图像;
将所述饱和度增强图像从HSL色彩空间转换到RGB色彩空间。
可选的,所述对衰减通道补偿后图像进行色彩平衡,得到色彩平衡图像,包括:
调用色彩平衡关系式对衰减通道补偿后图像进行色彩平衡,得到色彩平衡图像;所述色彩平衡关系式为:
式中,表示色彩平衡,为色彩平衡图像的红色通道的像素值,为色彩平衡图像的绿色通道的像素值,为色彩平衡图像的蓝色通道的像素值,为补偿后的待处理水下图像的三通道的像素平均值,为补偿后的待处理水下图像的红色通道的像素平均值,为补偿后的待处理水下图像的蓝色通道的像素平均值。
可选的,所述对所述色彩平衡图像进行色彩映射,得到色彩映射图像,包括:
调用色彩映射关系式对所述色彩平衡图像进行色彩映射,得到色彩映射图像;所述色彩映射关系式为:
可选的,所述进行饱和度加强处理,得到饱和度增强图像,包括:
调用饱和度加强关系式进行饱和度加强处理,得到饱和度增强图像;所述饱和度加强关系式为:
可选的,所述调用所述图像增强模型对待处理水下图像的色彩偏差、对比度和模糊细节进行校准,包括:
采用对比度拉伸方法对所述饱和度增强图像进行限制区域的像素裁剪;
对裁剪后的图像进行线性拉伸,得到全局对比度拉伸图像;
采用局部对比度校正方法对全局对比度拉伸图像进行局部校正,得到局部对比度校正图像;
对所述局部对比度校正图像进行高斯滤波处理,得到纹理图。
可选的,所述调用所述图像增强模型对待处理水下图像的色彩偏差、对比度和模糊细节进行校准,包括:
调用细节恢复关系式,对所述纹理图与所述局部对比度校正图像进行融合,得到目标增强图像;所述细节恢复关系式为:
可选的,所述训练图像参数匹配模型,包括:
将所述水下样本图像从RGB色彩空间转换为HSL色彩空间和LAB色彩空间,调用所述特征提取器分别从所述RGB色彩空间、所述HSL色彩空间和所述LAB色彩空间中各提取多维特征向量,并各维向量进行拼接,以作为所述图像参数匹配模型的状态要素;所述特征提取器为去掉最后一层全连接层的Resnet18网络;
获取所述图像增强模型的待优化图像参数,并将各待优化图像参数进行优化的动作作为所述动作要素集中的动作要素;
调用默认参数下的所述图像增强模型对所述水下样本图像进行处理,得到初始样本增强图像;
将所述状态要素输入至所述决策代理网络,得到所述决策代理网络输出的最优图像参数;
调用最优图像参数下的所述图像增强模型对所述水下样本图像进行处理,得到优化样本增强图像;
计算所述优化样本增强图像和所述初始样本增强图像的人类视觉感知得分差值;
使用所述人类视觉感知得分差值作为奖励要素训练所述决策代理网络;其中,所述决策代理网络包括依次连接的第一卷积层、第二卷积层、第一全连接层、第二全连接层、第三全连接层和第四全连接层;所述第一卷积层、所述第二卷积层、所述第一全连接层、所述第二全连接层、所述第三全连接层和所述第四全连接层均连接相应的批归一化层和相应的激活层。
可选的,所述训练图像参数匹配模型,包括:
调用人类视觉感知得分关系式,分别计算所述优化样本增强图像和所述初始样本增强图像的人类视觉感知得分差值;所述人类视觉感知得分关系式为:
调用奖励要素计算关系式,计算所述图像参数匹配模型的奖励要素;所述奖励要素计算关系式为:
式中,为所述优化样本增强图像,为所述初始样本增强图像,为所述优化样本增强图像的人类视觉感知得分,为所述初始样本增强图像的人类视觉感知得分,为所述初始样本增强图像的水下图像非参考指标UCIQE得分,SC UCIQE(E c )为所述优化样本增强图像的水下图像非参考指标UCIQE得分,SC UIQM(E c )为所述优化样本增强图像的水下图像非参考指标UIQM得分,为所述初始样本增强图像的水下图像非参考指标UIQM得分;σ表示用于线性计算水下图像非参考指标UCIQE和UIQM得分组合的平衡系数;r为奖励要素。
本发明实施例另一方面提供了一种强化学习参数优化的水下图像增强装置,包括:
模型预构建模块,用于预先训练图像参数匹配模型,并构建图像增强模型;其中,所述图像增强模型为基于色彩偏差校准方法、对比度校准方法和细节恢复方法所构建;所述图像参数匹配模型包括特征提取器、决策代理网络和动作要素集,所述决策代理网络用于从所述动作要素集中确定最优图像参数;其以水下样本图像的图像特征向量作为状态元素、以所述水下样本图像分别通过默认参数下的图像增强模型处理后的初始样本增强图像和最优图像参数下的图像增强模型处理后的优化样本增强图像的人类视觉感知得分差值作为奖励要素对所述决策代理网络进行训练;
参数确定模块,用于将待处理水下图像输入至所述图像参数匹配模型中,得到相匹配的目标图像参数;
图像处理模块,用于将所述目标图像参数输入至所述图像增强模型,调用所述图像增强模型对待处理水下图像的色彩偏差、对比度和模糊细节进行校准,得到目标增强图像。
本发明实施例还提供了一种电子设备,包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述强化学习参数优化的水下图像增强方法的步骤。
本发明实施例最后还提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前任一项所述强化学习参数优化的水下图像增强方法的步骤。
本申请提供的技术方案的优点在于,调用图像增强模型对待处理水下图像进行处理,由于图像增强模型能够对图像的色彩偏差、对比度和模糊细节进行校准,从而可解决水下图像存在的色彩偏差、对比度低和细节模糊的问题;此外,图像增强模型的图像参数并不是固定不变的,而是根据待处理水下图像的特征自适应地选择的最优的图像参数,且图像参数的确定有考虑到人类视觉效果,从而使得最终所得到的增强图像的色彩偏差、对比度和细节模糊都可得到很大的优化,且更符合人类视觉,进而可有效提升水下图像质量。
此外,本发明实施例还针对强化学习参数优化的水下图像增强方法提供了相应的实现装置、电子设备及可读存储介质,进一步使得所述方法更具有实用性,所述装置、电子设备及可读存储介质具有相应的优点。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种强化学习参数优化的水下图像增强方法的流程示意图;
图2为本发明实施例提供的一个示例性应用场景的强化学习参数优化的水下图像增强处理流程示意图;
图3为本发明实施例提供的一个示例性应用场景在训练过程中的强化学习参数优化的水下图像增强方法示意图;
图4为本发明实施例提供的一个示例性应用场景在实际应用过程中的强化学习参数优化的水下图像增强方法示意图;
图5为本发明实施例提供的强化学习参数优化的水下图像增强装置的一种具体实施方式结构图;
图6为本发明实施例提供的电子设备的一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及二者的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。下面详细的说明本申请的各种非限制性实施方式。
首先参见图1,图1为本发明实施例提供的一种强化学习参数优化的水下图像增强方法的流程示意图,本发明实施例可包括以下内容:
S101:预先训练图像参数匹配模型,并构建图像增强模型。
在本实施例中,图像参数匹配模型用于为输入的水下图像也即本实施例的待处理水下图像确定相匹配的图像参数,该图像参数是用于调整图像增强模型的某些图像参数,从而使得图像增强模型对待处理水下图像来说,可以得到最优的图像增强结果。图像参数匹配模型可包括特征提取器、决策代理网络和动作要素集,特征提取器用于提取输入图像也即待处理水下图像和各水下样本图像的图像特征,动作要素集中包括多个动作要素,每个动作要素表示图像参数对应进行的图像优化动作。动作要素集中所包含图像参数的类型与图像增强模型所采用的各图像处理方法相关,所属领域技术人员可根据实际需求进行灵活选择。决策代理网络用于从动作要素集中确定最优图像参数。图像参数匹配模型是以水下样本图像的图像特征向量作为状态元素、以水下样本图像分别通过默认参数下的图像增强模型处理后的初始样本增强图像与最优图像参数下的图像增强模型处理后的优化样本增强图像的人类视觉感知得分差值作为奖励要素对决策代理网络进行训练,为了便于区分,将经过使用默认参数的图像增强模型对水下样本图像进行处理后所得的增强图像称为初始样本增强图像,将经过使用决策代理网络所选择的最优图像参数的图像增强模型对水下样本图像进行处理后所得的增强图像称为优化样本增强图像,所属领域技术人员可采用任何一种机器学习方法所示的模型训练方法对决策代理网络进行迭代训练,直至得到满足条件如到达指定迭代次数或者是好的收敛效果的决策代理网络。
本实施例的图像增强模型为基于色彩偏差校准方法、对比度校准方法和细节恢复方法所构建,色彩偏差校准方法用于对输入图像的色彩偏差进行校准;对比度校准方法用于对输入图像的对比度进行调整,例如调高水下图像的对比度;细节恢复方法用于对输入图像的模糊细节进行恢复,从而解决水下图像存在色彩偏差、对比度低和细节模糊的问题。
S102:将待处理水下图像输入至图像参数匹配模型中,得到相匹配的目标图像参数。
在本步骤中,为了不引起歧义,且便于描述,图像参数匹配模型的决策代理网络为待处理水下图像所确定的最优图像参数,称为目标图像参数。图像参数匹配模型的特征提取器提取待处理水下图像的图像特征,将图像特征输入至决策代理网络,决策代理网络基于该图像特征为其匹配需要进行图像优化动作的图像参数以及该图像参数的具体值。
S103:将目标图像参数输入至图像增强模型,调用图像增强模型对待处理水下图像的色彩偏差、对比度和模糊细节进行校准,得到目标增强图像。
在本申请中,图像增强模型中的一些图像参数是可以优化的,也即这些参数可基于图像的不同情况进行相应的调整,这些可以优化的参数便是通过上述步骤S102所确定的目标图像参数。目标增强图像为调用图像增强模型对待处理水下图像处理后所得的图像,相比原始的待处理水下图像,目标增强图像的色彩无偏差,对比度高,且没有模糊的细节,视觉效果更好。
在本发明实施例提供的技术方案中,调用图像增强模型对待处理水下图像进行处理,由于图像增强模型能够对图像的色彩偏差、对比度和模糊细节进行校准,从而可解决水下图像存在的色彩偏差、对比度低和细节模糊的问题;此外,图像增强模型的图像参数并不是固定不变的,而是根据待处理水下图像的特征自适应地选择的最优的图像参数,且图像参数的确定有考虑到人类视觉效果,从而使得最终所得到的增强图像的色彩偏差、对比度和细节模糊都可得到很大的优化,且更符合人类视觉,进而可有效提升水下图像质量。
上述实施例对如何对待处理水下图像进行图像增强并不做限定,本实施例中给出通过对待处理水下图像进行自适应的通道补偿实现色彩偏差校准,可包括下述内容:
获取待处理水下图像的红色通道,绿色通道以及蓝色通道的像素值,并对各像素值进行归一化处理;
调用自适应通道补偿关系式,对归一化后的待处理水下图像的衰减通道进行补偿;自适应通道补偿关系式为:
式中,x、y为像素点坐标值,r为红色通道,b为蓝色通道,g为绿色通道,a表示补偿,α为可优化的第一补偿系数,默认值可为1,β为可优化的第二补偿系数,默认值为1,为补偿后的待处理水下图像的蓝色通道的像素值,为归一化后的待处理水下图像的蓝色通道的像素值,为归一化后的待处理水下图像的绿色通道的像素平均值,为归一化后的待处理水下图像的蓝色通道的像素平均值,为补偿后的待处理水下图像的绿色通道的像素值,为归一化后的待处理水下图像的绿色通道的像素值,为补偿后的待处理水下图像的红色通道的像素值,为归一化后的待处理水下图像的红色通道的像素值,为补偿后的待处理水下图像的绿色通道的像素平均值,表示判距,当为真时,等于1,当为假时,等于0。
基于上述实施例,为了进一步提高色彩偏差校准效果。本实施例还可继续对待处理水下图像进行可起到色彩偏差校准的其他处理,可包括下述内容:
对衰减通道补偿后图像进行色彩平衡,得到色彩平衡图像;
对色彩平衡图像进行色彩映射,得到色彩映射图像;
将色彩映射图像从RGB色彩空间转换到HSL色彩空间,并进行饱和度加强处理,得到饱和度增强图像;
将饱和度增强图像从HSL色彩空间转换到RGB色彩空间。
其中,衰减通道补偿后,可通过调用色彩平衡关系式对衰减通道补偿后图像进行色彩平衡,为了便于描述,将进行色差平衡处理后所得到的图像称为色彩平衡图像,也即本步骤可以得到色彩平衡图像;色彩平衡关系式可表述为:
式中,表示色彩平衡,为色彩平衡图像的红色通道的像素值,为色彩平衡图像的绿色通道的像素值,为色彩平衡图像的蓝色通道的像素值,为补偿后的待处理水下图像的三通道的像素平均值,为补偿后的待处理水下图像的红色通道的像素平均值,为补偿后的待处理水下图像的蓝色通道的像素平均值。
进一步的,色彩平衡后,还可调用色彩映射关系式对色彩平衡图像进行色彩映射,为了便于描述,将进行色差映射处理后所得到的图像称为色彩映射图像,也即本步骤可以得到色彩映射图像;色彩映射关系式可表示为:
进一步的,色彩映射后,将图像从RGB色彩空间转换到HSL色彩空间,可调用饱和度加强关系式进行饱和度加强处理,为了便于描述,将进行饱和度加强处理后所得到的图像称为饱和度增强图像,也即本步骤可以得到饱和度增强图像;饱和度加强关系式可表示为:
通过上述一系列的图像处理,可有效校准待处理水下图像的色彩偏差,得到视觉效果好的水下图像。
在上述实施例中,对于如何进行对比度校准并不做限定,本实施例中给出对比度校准的一种可选的实施方式,可包括下述内容:
采用对比度拉伸方法对饱和度增强图像进行限制区域的像素裁剪;对裁剪后的图像进行线性拉伸,得到全局对比度拉伸图像;采用局部对比度校正方法对全局对比度拉伸图像进行局部校正,得到局部对比度校正图像;对局部对比度校正图像进行高斯滤波处理,得到纹理图。
在本实施例中,饱和度加强后,将加强图像从HSL色彩空间转换到RGB色彩空间。可采用对比度拉伸方法先对饱和度加强后图像进行限制区域的像素裁剪,本实施例的对比度拉伸方法可通过调用下述关系式实现:
式中,表示饱和度加强后图像的红色通道、绿色通道和蓝色通道的像素值;和表示饱和度加强后图像的红色通道、绿色通道和蓝色通道的前像素值中值最大的像素值;和表示饱和度加强后图像的红色通道、绿色通道和蓝色通道的前(1-λ%)像素值中值最大的像素值;和 表示像素裁剪后图像的红色通道、绿色通道和蓝色通道的像素值;clip(A,B,C)表示将A中小于B的像素值设为B,将大于C的像素值设为C;λ表示可优化的裁剪调节系数,默认值为1。
通过调用下述关系式,对裁剪后的图像进行线性拉伸获得全局对比度拉伸图像:
全局对比度拉伸后,可采用局部对比度校正方法对全局对比度拉伸后的图像进行校正,局部对比度校正方法可通过调用下述关系式实现:
局部对比度校正后,可调用下述关系式对图像进行高斯滤波处理得到纹理图:
在上述实施例中,对于如何进行模糊细节的校准并不做限定,本实施例中给出模糊细节校准的一种可选的实施方式,可包括:
调用细节恢复关系式,对纹理图与局部对比度校正图像进行融合获得细节恢复图像,该细节恢复图像即为最终所得的目标增强图像;细节恢复关系式可表示为:
由上可知,上述实施例基于自适应通道补偿、色彩平衡、色彩映射、饱和度加强、全局对比度拉伸、局部对比度校正和基于纹理图融合的细节恢复构建图像增强模型,并将其中一些参数作为图像增强模型的可优化参数,通过对可优化参数进行调整,可以得到视觉效果好的水下图像。
上述实施例对如何训练图像参数匹配模型并不做任何限定,本申请还给出图像参数匹配模型的一种可选的训练方式,可包括:
将水下样本图像从RGB色彩空间转换为HSL色彩空间和LAB色彩空间,调用特征提取器分别从RGB色彩空间、HSL色彩空间和LAB色彩空间中各提取多维特征向量,并各维向量进行拼接,以作为图像参数匹配模型的状态要素。本实施例的特征提取器可为去掉最后一层全连接层的Resnet18网络。
获取图像增强模型的待优化图像参数,待优化图像参数例如可包括但并不限制于补偿系数,亮度调节系数,饱和度加强系数,裁剪调节系数,局部对比度校正系数和高斯滤波器标的标准差值。将各待优化图像参数进行优化的动作作为动作要素集中的动作要素。
调用默认参数下的图像增强模型对水下样本图像进行处理,得到初始样本增强图像。
将状态要素输入至决策代理网络,得到决策代理网络输出的最优图像参数;
调用最优图像参数下的图像增强模型对水下样本图像进行处理,得到优化样本增强图像;
计算优化样本增强图像和初始样本增强图像的人类视觉感知得分差值;
使用该人类视觉感知得分差值作为奖励要素训练决策代理网络;
其中,决策代理网络包括依次连接的第一卷积层、第二卷积层、第一全连接层、第二全连接层、第三全连接层和第四全连接层;第一卷积层、第二卷积层、第一全连接层、第二全连接层、第三全连接层和第四全连接层均连接相应的批归一化层和相应的激活层。
上述步骤只是对一种水下样本图像的处理,对于训练图像增强模型的训练样本集中的每张水下样本图像均按照上述方式进行处理。其中,对于奖励要素的计算方式可参阅下述方法:
调用人类视觉感知得分关系式,分别计算优化样本增强图像和初始样本增强图像的人类视觉感知得分差值;人类视觉感知得分关系式可表示为:
调用奖励要素计算关系式,计算图像参数匹配模型的奖励要素;奖励要素计算关系式为:
式中,为优化样本增强图像,为初始样本增强图像,为优化样本增强图像的人类视觉感知得分,为初始样本增强图像的人类视觉感知得分,为初始样本增强图像的水下图像非参考指标UCIQE得分,SC UCIQE(E c )为优化样本增强图像的水下图像非参考指标UCIQE得分,SC UIQM(E c )为优化样本增强图像的水下图像非参考指标UIQM得分,为初始样本增强图像的水下图像非参考指标UIQM得分;σ表示用于线性计算水下图像非参考指标UCIQE和UIQM得分组合的平衡系数;r为奖励要素。
为了使所属领域技术人员更加清楚明白本申请的技术方案,本申请还结合图2-图4给出了一个示意性例子,可包括:
A1:获取水下图像的红色通道,绿色通道,以及蓝色通道的像素值,并对像素值进行归一化处理;
A2:构建由自适应通道补偿、色彩平衡、色彩映射、饱和度加强、全局对比度拉伸、局部对比度校正和基于纹理图融合的细节恢复七项方法构建的用于进行水下图像增强的图像增强模型,以对原始水下图像进行增强,得到初始增强图像;
A3:构建具有状态、动作、奖励三要素,且用于对图像增强模型的参数优化的图像参数匹配模型。
A4:训练图像参数匹配模型。
A5:强化学习对图像增强模块的参数进行优化,得到最终增强图像。
其中,构建好图像增强模型之后,可将自适应通道补偿、色彩平衡、色彩映射、饱和度加强、全局对比度拉伸、局部对比度校正和基于纹理图融合的细节恢复中的可优化参数设为默认值,对训练样本集的每一张训练样本图像也即水下图像进行如下处理:
如图2所示,获取水下图像的红色通道,绿色通道,以及蓝色通道的像素值,并对像素值进行归一化处理;对归一化处理后的水下图像,先采用自适应通道补偿技术补偿衰减通道,衰减通道补偿后,采用色彩平衡技术对补偿后图像进行色彩平衡,色彩平衡后,采用色彩映射技对色彩平衡后图像进行色彩映射,色彩映射后,将图像从RGB色彩空间转换到HSL色彩空间,采用饱和度加强技术对饱和度进行加强,饱和度加强后,将加强图像从HSL色彩空间转换到RGB色彩空间。采用对比度拉伸技术先对饱和度加强后图像进行限制区域的像素裁剪,裁剪后的图像进行线性拉伸获得全局对比度拉伸图像,全局对比度拉伸后,采用局部对比度校正技术对全局对比度拉伸后的图像进行校正,局部对比度校正后,对图像进行高斯滤波处理得到纹理图,采用基于纹理图融合的细节恢复技术将纹理图与局部对比度校正后的图像进行融合获得细节恢复图像,该细节恢复图像即为初始增强图像。
其中,以图3所示的图片为例,A3和A4的实施过程可包括:将原始水下图像从RGB色彩空间转换为HSL色彩空间和LAB色彩空间,使用去掉最后一层全连接层的Resnet18作为特征提取器,分别从RGB色彩空间、HSL色彩空间和LAB色彩空间中各提取512维特征向量,并将3个512维特征向量进行拼接得到1536维的特征向量,以作为图像增强模型所需的状态要素。水下图像增强技术流程中的可优化的补偿系数和,可优化的亮度调节系数,可优化的饱和度加强系数,可优化的裁剪调节系数,可优化的局部对比度校正系数和可优化的高斯滤波器标的标准差值构建集合{,,,,,,}。将集合{,,,,,,}进行优化的动作作为水下图像增强技术流程参数优化的图像参数匹配模型所需的动作要素。构建用于水下图像增强技术流程参数优化的图像参数匹配模型所需的奖励要素:将水下图像非参考指标UCIQE和UIQM进行线性组合,获得人类视觉感知得分,将优化图像参数后图像增强模型得到的增强图像的人类视觉感知得分,与默认参数的图像增强模型得到的初始增强图像的人类视觉感知得分进行计算,得到差值作为参数优化的图像参数匹配模型所需的奖励要素。
将原始水下图像输入至图像参数匹配模型中,获取原始水下图像的特征向量作为状态s,将状态s输入到由四层卷积层和三层全连接层构成的决策代理网络,每一层都填加了批归一化层和激活层。决策代理网络输出图像增强模型的参数值作为动作={,,,,,,},将{,,,,,,}输入到图像增强模型中,得到优化参数后的增强图像,将可优化参数默认值{1,1,0.6,0.1,1,1.3,5}输入到图像增强模型中,得到初始增强图像,通过优化参数后的增强图像和初始增强图像计算奖励,根据奖励训练决策代理网络,得到具有优化参数能力的决策代理网络。
本实施例以图4所示的图片为例,A5的实施过程可为:将原始水下图像输入到强化学习框架中,获取原始水下图像的特征向量作为状态,将状态输入到具有优化参数能力的决策代理网络中,得到最优的参数{,,,,,,}。将参数{,,,,,,}输入到图像增强模型中,得到最终增强图像。
需要说明的是,本申请中各步骤之间没有严格的先后执行顺序,只要符合逻辑上的顺序,则这些步骤可以同时执行,也可按照某种预设顺序执行,图1-图4只是一种示意方式,并不代表只能是这样的执行顺序。
本发明实施例还针对强化学习参数优化的水下图像增强方法提供了相应的装置,进一步使得方法更具有实用性。其中,装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的强化学习参数优化的水下图像增强装置进行介绍,下文描述的强化学习参数优化的水下图像增强装置与上文描述的强化学习参数优化的水下图像增强方法可相互对应参照。
基于功能模块的角度,参见图5,图5为本发明实施例提供的强化学习参数优化的水下图像增强装置在一种具体实施方式下的结构图,该装置可包括:
模型预构建模块501,用于预先训练图像参数匹配模型,并构建图像增强模型;其中,图像增强模型为基于色彩偏差校准方法、对比度校准方法和细节恢复方法所构建;图像参数匹配模型包括特征提取器、决策代理网络和动作要素集,决策代理网络用于从动作要素集中确定最优图像参数;其以水下样本图像的图像特征向量作为状态元素、以水下样本图像和通过默认参数下的图像增强模型处理后的样本增强图像的人类视觉感知得分差值作为奖励要素对决策代理网络进行训练;
参数确定模块502,用于将待处理水下图像输入至图像参数匹配模型中,得到相匹配的目标图像参数;
图像处理模块503,用于将目标图像参数输入至图像增强模型,调用图像增强模型对待处理水下图像的色彩偏差、对比度和模糊细节进行校准,得到目标增强图像。
可选的,在本实施例的一些实施方式中,上述图像处理模块503包括颜色偏差校准单元,该单元可用于:
获取待处理水下图像的红色通道,绿色通道以及蓝色通道的像素值,并对各像素值进行归一化处理;
调用自适应通道补偿关系式,对归一化后的待处理水下图像的衰减通道进行补偿;自适应通道补偿关系式为:
式中,x、y为像素点坐标值,r为红色通道,b为蓝色通道,g为绿色通道,a表示补偿,α为第一补偿系数,β为第二补偿系数,为补偿后的待处理水下图像的蓝色通道的像素值,为归一化后的待处理水下图像的蓝色通道的像素值,为归一化后的待处理水下图像的绿色通道的像素平均值,为归一化后的待处理水下图像的蓝色通道的像素平均值,表示判距,为补偿后的待处理水下图像的绿色通道的像素值,为归一化后的待处理水下图像的绿色通道的像素值,为补偿后的待处理水下图像的红色通道的像素值,为归一化后的待处理水下图像的红色通道的像素值,为补偿后的待处理水下图像的绿色通道的像素平均值。
在本实施例的另一些实施方式中,上述颜色偏差校准单元还可用于:
对衰减通道补偿后图像进行色彩平衡,得到色彩平衡图像;
对色彩平衡图像进行色彩映射,得到色彩映射图像;
将色彩映射图像从RGB色彩空间转换到HSL色彩空间,并进行饱和度加强处理,得到饱和度增强图像;
将饱和度增强图像从HSL色彩空间转换到RGB色彩空间。
作为上述实施例的一种可选的实施方式,上述颜色偏差校准单元还可用于:调用色彩平衡关系式对衰减通道补偿后图像进行色彩平衡,得到色彩平衡图像;色彩平衡关系式为:
式中,表示色彩平衡,为色彩平衡图像的红色通道的像素值,为色彩平衡图像的绿色通道的像素值,为色彩平衡图像的蓝色通道的像素值,为补偿后的待处理水下图像的三通道的像素平均值,为补偿后的待处理水下图像的红色通道的像素平均值,为补偿后的待处理水下图像的蓝色通道的像素平均值。
作为上述实施例的另一种可选的实施方式,上述颜色偏差校准单元还可用于:调用色彩映射关系式对色彩平衡图像进行色彩映射,得到色彩映射图像;色彩映射关系式为:
作为上述实施例的再一种可选的实施方式,上述颜色偏差校准单元还可用于:调用饱和度加强关系式进行饱和度加强处理,得到饱和度增强图像;饱和度加强关系式为:
可选的,在本实施例的另一些实施方式中,上述图像处理模块503包括对比度校准单元,该单元可用于:
采用对比度拉伸方法对饱和度增强图像进行限制区域的像素裁剪;
对裁剪后的图像进行线性拉伸,得到全局对比度拉伸图像;
采用局部对比度校正方法对全局对比度拉伸图像进行局部校正,得到局部对比度校正图像;
对局部对比度校正图像进行高斯滤波处理,得到纹理图。
可选的,在本实施例的再一些实施方式中,上述图像处理模块503包括细节恢复单元,该单元可用于:调用细节恢复关系式,对纹理图与局部对比度校正图像进行融合,得到目标增强图像;细节恢复关系式为:
作为本实施例的一种可选的实施方式,上述模型预构建模块501还可用于:
将水下样本图像从RGB色彩空间转换为HSL色彩空间和LAB色彩空间,调用特征提取器分别从RGB色彩空间、HSL色彩空间和LAB色彩空间中各提取多维特征向量,并各维向量进行拼接,以作为图像参数匹配模型的状态要素;特征提取器为去掉最后一层全连接层的Resnet18网络;
获取图像增强模型的待优化图像参数,并将各待优化图像参数进行优化的动作作为动作要素集中的动作要素;
调用默认参数下的图像增强模型对水下样本图像进行处理,得到初始样本增强图像;
将状态要素输入至决策代理网络,得到决策代理网络输出的最优图像参数;
调用最优图像参数下的图像增强模型对水下样本图像进行处理,得到优化样本增强图像;
计算优化样本增强图像和初始样本增强图像的人类视觉感知得分差值;
使用所述人类视觉感知得分差值作为奖励要素训练所述决策代理网络;
其中,决策代理网络包括依次连接的第一卷积层、第二卷积层、第一全连接层、第二全连接层、第三全连接层和第四全连接层;第一卷积层、第二卷积层、第一全连接层、第二全连接层、第三全连接层和第四全连接层均连接相应的批归一化层和相应的激活层。
作为本实施例的另一种可选的实施方式,上述模型预构建模块501还可进一步用于:
调用人类视觉感知得分关系式,分别计算优化样本增强图像和初始样本增强图像的人类视觉感知得分差值;人类视觉感知得分关系式为:
调用奖励要素计算关系式,计算所述图像参数匹配模型的奖励要素;所述奖励要素计算关系式为:
式中,为所述优化样本增强图像,为所述初始样本增强图像,为所述优化样本增强图像的人类视觉感知得分,为所述初始样本增强图像的人类视觉感知得分,为所述初始样本增强图像的水下图像非参考指标UCIQE得分,SC UCIQE(E c )为所述优化样本增强图像的水下图像非参考指标UCIQE得分,SC UIQM(E c )为所述优化样本增强图像的水下图像非参考指标UIQM得分,为所述初始样本增强图像的水下图像非参考指标UIQM得分;σ表示用于线性计算水下图像非参考指标UCIQE和UIQM得分组合的平衡系数;r为奖励要素。
本发明实施例所述强化学习参数优化的水下图像增强装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例可以有效提升水下图像质量。
上文中提到的强化学习参数优化的水下图像增强装置是从功能模块的角度描述,进一步的,本申请还提供一种电子设备,是从硬件角度描述。图6为本申请实施例提供的电子设备在一种实施方式下的结构示意图。如图6所示,该电子设备包括存储器60,用于存储计算机程序;处理器61,用于执行计算机程序时实现如上述任一实施例提到的强化学习参数优化的水下图像增强方法的步骤。
其中,处理器61可以包括一个或多个处理核心,比如4核心处理器、8核心处理器,处理器61还可为控制器、微控制器、微处理器或其他数据处理芯片等。处理器61可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable GateArray,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器61也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central Processing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器61可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器61还可以包括AI(ArtificialIntelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器60可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器60还可包括高速随机存取存储器以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。存储器60在一些实施例中可以是电子设备的内部存储单元,例如服务器的硬盘。存储器60在另一些实施例中也可以是电子设备的外部存储设备,例如服务器上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器60还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器60不仅可以用于存储安装于电子设备的应用软件及各类数据,例如:执行强化学习参数优化的水下图像增强方法过程中的程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。本实施例中,存储器60至少用于存储以下计算机程序601,其中,该计算机程序被处理器61加载并执行之后,能够实现前述任一实施例公开的强化学习参数优化的水下图像增强方法的相关步骤。另外,存储器60所存储的资源还可以包括操作系统602和数据603等,存储方式可以是短暂存储或者永久存储。其中,操作系统602可以包括Windows、Unix、Linux等。数据603可以包括但不限于强化学习参数优化的水下图像增强结果对应的数据等。
在一些实施例中,上述电子设备还可包括有显示屏62、输入输出接口63、通信接口64或者称为网络接口、电源65以及通信总线66。其中,显示屏62、输入输出接口63比如键盘(Keyboard)属于用户接口,可选的用户接口还可以包括标准的有线接口、无线接口等。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。通信接口64可选的可以包括有线接口和/或无线接口,如WI-FI接口、蓝牙接口等,通常用于在电子设备与其他电子设备之间建立通信连接。通信总线66可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extendedindustry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本领域技术人员可以理解,图6中示出的结构并不构成对该电子设备的限定,可以包括比图示更多或更少的组件,例如还可包括实现各类功能的传感器67。
本发明实施例所述电子设备的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例可以有效提升水下图像质量。
可以理解的是,如果上述实施例中的强化学习参数优化的水下图像增强方法以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、电可擦除可编程ROM、寄存器、硬盘、多媒体卡、卡型存储器(例如SD或DX存储器等)、磁性存储器、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此,本发明实施例还提供了一种可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时如上任意一实施例所述强化学习参数优化的水下图像增强方法的步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的硬件包括装置及电子设备而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
以上对本申请所提供的一种强化学习参数优化的水下图像增强方法、装置、电子设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (12)
1.一种强化学习参数优化的水下图像增强方法,其特征在于,包括:
预先训练图像参数匹配模型,并构建图像增强模型;
将待处理水下图像输入至所述图像参数匹配模型中,得到相匹配的目标图像参数;
将所述目标图像参数输入至所述图像增强模型,调用所述图像增强模型对待处理水下图像的色彩偏差、对比度和模糊细节进行校准,得到目标增强图像;
其中,所述图像增强模型为基于色彩偏差校准方法、对比度校准方法和细节恢复方法所构建;所述图像参数匹配模型包括特征提取器、决策代理网络和动作要素集,所述决策代理网络用于从所述动作要素集中确定最优图像参数;其以水下样本图像的图像特征向量作为状态元素;以所述水下样本图像分别通过默认参数下的图像增强模型处理后的初始样本增强图像和最优图像参数下的图像增强模型处理后的优化样本增强图像的人类视觉感知得分差值,作为奖励要素对所述决策代理网络进行训练;
其中,所述训练图像参数匹配模型,包括:
调用人类视觉感知得分关系式,分别计算所述优化样本增强图像和所述初始样本增强图像的人类视觉感知得分差值;所述人类视觉感知得分关系式为:
调用奖励要素计算关系式,计算所述图像参数匹配模型的奖励要素;所述奖励要素计算关系式为:
2.根据权利要求1所述的强化学习参数优化的水下图像增强方法,其特征在于,所述调用所述图像增强模型对待处理水下图像的色彩偏差、对比度和模糊细节进行校准,包括:
获取所述待处理水下图像的红色通道,绿色通道以及蓝色通道的像素值,并对各像素值进行归一化处理;
调用自适应通道补偿关系式,对归一化后的待处理水下图像的衰减通道进行补偿;所述自适应通道补偿关系式为:
3.根据权利要求2所述的强化学习参数优化的水下图像增强方法,其特征在于,所述调用所述图像增强模型对待处理水下图像的色彩偏差、对比度和模糊细节进行校准,包括:
对衰减通道补偿后图像进行色彩平衡,得到色彩平衡图像;
对所述色彩平衡图像进行色彩映射,得到色彩映射图像;
将所述色彩映射图像从RGB色彩空间转换到HSL色彩空间,并进行饱和度加强处理,得到饱和度增强图像;
将所述饱和度增强图像从HSL色彩空间转换到RGB色彩空间。
7.根据权利要求6所述的强化学习参数优化的水下图像增强方法,其特征在于,所述调用所述图像增强模型对待处理水下图像的色彩偏差、对比度和模糊细节进行校准,包括:
采用对比度拉伸方法对所述饱和度增强图像进行限制区域的像素裁剪;
对裁剪后的图像进行线性拉伸,得到全局对比度拉伸图像;
采用局部对比度校正方法对全局对比度拉伸图像进行局部校正,得到局部对比度校正图像;
对所述局部对比度校正图像进行高斯滤波处理,得到纹理图。
9.根据权利要求1所述的强化学习参数优化的水下图像增强方法,其特征在于,所述训练图像参数匹配模型,包括:
将所述水下样本图像从RGB色彩空间转换为HSL色彩空间和LAB色彩空间,调用所述特征提取器分别从所述RGB色彩空间、所述HSL色彩空间和所述LAB色彩空间中各提取多维特征向量,并各维向量进行拼接,以作为所述图像参数匹配模型的状态要素;所述特征提取器为去掉最后一层全连接层的Resnet18网络;
获取所述图像增强模型的待优化图像参数,并将各待优化图像参数进行优化的动作作为所述动作要素集中的动作要素;
调用默认参数下的所述图像增强模型对所述水下样本图像进行处理,得到初始样本增强图像;
将所述状态要素输入至所述决策代理网络,得到所述决策代理网络输出的最优图像参数;
调用最优图像参数下的所述图像增强模型对所述水下样本图像进行处理,得到优化样本增强图像;
计算所述优化样本增强图像和所述初始样本增强图像的人类视觉感知得分差值;
使用所述人类视觉感知得分差值作为奖励要素训练所述决策代理网络;其中,所述决策代理网络包括依次连接的第一卷积层、第二卷积层、第一全连接层、第二全连接层、第三全连接层和第四全连接层;所述第一卷积层、所述第二卷积层、所述第一全连接层、所述第二全连接层、所述第三全连接层和所述第四全连接层均连接相应的批归一化层和相应的激活层。
10.一种强化学习参数优化的水下图像增强装置,其特征在于,包括:
模型预构建模块,用于预先训练图像参数匹配模型,并构建图像增强模型;其中,所述图像增强模型为基于色彩偏差校准方法、对比度校准方法和细节恢复方法所构建;所述图像参数匹配模型包括特征提取器、决策代理网络和动作要素集,所述决策代理网络用于从所述动作要素集中确定最优图像参数;其以水下样本图像的图像特征向量作为状态元素、以所述水下样本图像分别通过默认参数下的图像增强模型处理后的初始样本增强图像和最优图像参数下的图像增强模型处理后的优化样本增强图像的人类视觉感知得分差值作为奖励要素对所述决策代理网络进行训练;
参数确定模块,用于将待处理水下图像输入至所述图像参数匹配模型中,得到相匹配的目标图像参数;
图像处理模块,用于将所述目标图像参数输入至所述图像增强模型,调用所述图像增强模型对待处理水下图像的色彩偏差、对比度和模糊细节进行校准,得到目标增强图像;
其中,所述模型预构建模块进一步用于:
调用人类视觉感知得分关系式,分别计算所述优化样本增强图像和所述初始样本增强图像的人类视觉感知得分差值;所述人类视觉感知得分关系式为:
调用奖励要素计算关系式,计算所述图像参数匹配模型的奖励要素;所述奖励要素计算关系式为:
11.一种电子设备,其特征在于,包括处理器和存储器,所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至9任一项所述强化学习参数优化的水下图像增强方法的步骤。
12.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述强化学习参数优化的水下图像增强方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211365384.8A CN115423724B (zh) | 2022-11-03 | 2022-11-03 | 强化学习参数优化的水下图像增强方法、装置及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211365384.8A CN115423724B (zh) | 2022-11-03 | 2022-11-03 | 强化学习参数优化的水下图像增强方法、装置及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115423724A CN115423724A (zh) | 2022-12-02 |
CN115423724B true CN115423724B (zh) | 2023-03-21 |
Family
ID=84208391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211365384.8A Active CN115423724B (zh) | 2022-11-03 | 2022-11-03 | 强化学习参数优化的水下图像增强方法、装置及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115423724B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115797225B (zh) * | 2023-01-06 | 2023-04-21 | 山东环宇地理信息工程有限公司 | 一种水下地形测量用无人船采集图像增强方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022110712A1 (zh) * | 2020-11-30 | 2022-06-02 | 平安科技(深圳)有限公司 | 图像增强方法、装置、电子设备及计算机可读存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2518589B (en) * | 2013-07-30 | 2019-12-11 | Holition Ltd | Image processing |
CN110689587B (zh) * | 2019-10-11 | 2022-09-30 | 大连海事大学 | 一种基于颜色校正和细节增强的水下图像增强方法 |
WO2021076185A1 (en) * | 2019-10-14 | 2021-04-22 | Google Llc | Joint depth prediction from dual-cameras and dual-pixels |
CN111696052B (zh) * | 2020-05-20 | 2022-08-12 | 河海大学 | 一种基于红通道衰弱的水下图像增强方法及系统 |
CN112288658B (zh) * | 2020-11-23 | 2023-11-28 | 杭州师范大学 | 一种基于多残差联合学习的水下图像增强方法 |
CN114037622A (zh) * | 2021-10-25 | 2022-02-11 | 浙江工业大学 | 一种基于成像模型和强化学习的水下图像增强方法 |
CN114359305A (zh) * | 2021-12-31 | 2022-04-15 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN115034997A (zh) * | 2022-06-28 | 2022-09-09 | 中国石油大学(华东) | 图像处理方法及装置 |
-
2022
- 2022-11-03 CN CN202211365384.8A patent/CN115423724B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022110712A1 (zh) * | 2020-11-30 | 2022-06-02 | 平安科技(深圳)有限公司 | 图像增强方法、装置、电子设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115423724A (zh) | 2022-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111741211B (zh) | 图像显示方法和设备 | |
EP3542347B1 (en) | Fast fourier color constancy | |
CN110008817B (zh) | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN111667520A (zh) | 红外图像和可见光图像的配准方法、装置及可读存储介质 | |
CN111402146A (zh) | 图像处理方法以及图像处理装置 | |
CN113688806A (zh) | 一种红外与可见光图像融合的多光谱目标检测方法及系统 | |
CN109711268B (zh) | 一种人脸图像筛选方法及设备 | |
CN109409210B (zh) | 一种基于ssd框架的人脸检测方法及系统 | |
JP2021531571A (ja) | 証明書画像抽出方法及び端末機器 | |
CN115423724B (zh) | 强化学习参数优化的水下图像增强方法、装置及介质 | |
CN113689373B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
CN109255763A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111882555B (zh) | 基于深度学习的网衣检测方法、装置、设备及存储介质 | |
CN112233077A (zh) | 图像分析方法、装置、设备及存储介质 | |
CN114092947B (zh) | 一种文本检测方法、装置、电子设备及可读存储介质 | |
CN113436284A (zh) | 一种图像处理方法、装置、计算机设备和存储介质 | |
CN114202491B (zh) | 一种增强光学图像的方法及系统 | |
CN109615620B (zh) | 图像压缩度识别方法、装置、设备及计算机可读存储介质 | |
CN107133932A (zh) | 视网膜图像预处理方法、装置和计算设备 | |
JP2008011286A (ja) | 画像処理プログラムおよび画像処理装置 | |
CN113935917A (zh) | 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法 | |
CN113609944A (zh) | 一种静默活体检测方法 | |
CN112330573A (zh) | 基于人像的修图方法、装置、电子设备及存储介质 | |
CN115689858A (zh) | 图像信号处理器的构建方法、设备、自动驾驶系统和介质 | |
CN113298098B (zh) | 基础矩阵估计方法及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |