CN113436107A - 图像增强方法、智能设备、计算机存储介质 - Google Patents

图像增强方法、智能设备、计算机存储介质 Download PDF

Info

Publication number
CN113436107A
CN113436107A CN202110755171.5A CN202110755171A CN113436107A CN 113436107 A CN113436107 A CN 113436107A CN 202110755171 A CN202110755171 A CN 202110755171A CN 113436107 A CN113436107 A CN 113436107A
Authority
CN
China
Prior art keywords
image
underwater
color space
network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110755171.5A
Other languages
English (en)
Other versions
CN113436107B (zh
Inventor
刘日升
石东祥
仲维
樊鑫
罗钟铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Peng Cheng Laboratory
Original Assignee
Dalian University of Technology
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology, Peng Cheng Laboratory filed Critical Dalian University of Technology
Priority to CN202110755171.5A priority Critical patent/CN113436107B/zh
Publication of CN113436107A publication Critical patent/CN113436107A/zh
Application granted granted Critical
Publication of CN113436107B publication Critical patent/CN113436107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像增强方法、智能设备和计算机存储介质，所述方法包括以下步骤：获取水下初始图像，并对所述水下初始图像进行颜色空间转化；通过对比度增强网络对转化后的所述水下初始图像的L通道数据进行处理，得到第一图像处理数据；通过颜色矫正网络对转化后的所述水下初始图像的AB通道数据进行处理，得到第二图像处理数据；根据所述第一图像处理数据和第二图像处理数据生成增强图像，解决现有技术中水下图像的对比度与颜色之间存在耦合导致水下图像增强效果差的问题，提高水下图像增强效果。

Description

图像增强方法、智能设备、计算机存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像增强方法、智能设备、计算机存储介质。
背景技术
目前，随着计算机视觉领域以及水下机器人技术的不断发展和进步，视觉辅助在水下探测中起到越来越大的作用，提高水下获取的图像质量可以更好的辅助完成水下任务，现有技术中，通常采用同一个网络来拟合复杂多变的水下问题，水下图像的对比度与颜色之间存在耦合关系，导致水下图像增强效果差。
发明内容
本发明主要目的在于提供一种图像增强方法、智能设备和计算机存储介质，旨在解决水下图像的对比度与颜色之间存在耦合导致水下图像增强效果差的问题。
为实现上述目的，本发明提供一种图像增强方法；在一实施例中，所述图像增强方法包括以下步骤：
获取水下初始图像，并对所述水下初始图像进行颜色空间转化；
通过对比度增强网络对转化后的所述水下初始图像的L通道数据进行处理，得到第一图像处理数据；
通过颜色矫正网络对转化后的所述水下初始图像的AB通道数据进行处理，得到第二图像处理数据；
根据所述第一图像处理数据和第二图像处理数据生成增强图像。
在一实施例中，所述获取水下初始图像，并对所述水下初始图像进行颜色空间转化的步骤包括：
获取水下初始图像；
将所述水下初始图像从RGB颜色空间转化为LAB颜色空间。
在一实施例中，所述将所述水下初始图像从RGB颜色空间转化为LAB颜色空间的步骤包括：
将所述水下初始图像从RGB颜色空间转化为XYZ颜色空间；
将所述XYZ颜色空间转化为LAB颜色空间。
在一实施例中，所述通过对比度增强网络对转化后的所述水下初始图像的L通道数据进行处理，得到第一图像处理数据的步骤包括：
将所述水下初始图像的L通道数据输入对比度增强网络，其中，所述对比度增强网络根据所述水下初始图像的L通道数据确定图像特征；
将所述图像特征与所述对比度增强网络中的全连接层进行卷积，得到增强后的图像特征；
根据所述增强后所述图像特征进行图像重建，得到第一图像处理数据。
在一实施例中，所述通过颜色矫正网络对转化后的所述水下初始图像的AB通道数据进行处理，得到第二图像处理数据的步骤包括：
将所述水下初始图像的AB通道数据输入颜色矫正网络对应的编码单元，其中，所述编码单元中的下采样层对所述AB通道数据进行下采样，得到所述编码单元的输出图像数据；
对所述输出图像数据进行特征提取，得到对应的颜色特征；
将所述颜色特征输入所述颜色矫正网络对应的解码单元，其中，所述解码单元中的上采样块对所述颜色特征进行上采样，得到第二图像处理数据。
在一实施例中，所述根据所述第一图像处理数据和第二图像处理数据生成增强图像的步骤包括：
融合所述第一图像处理数据与所述第二图像处理数据，以得到初始增强图像；
将所述初始增强图像从LAB颜色空间转化为RGB颜色空间，以生成所述增强图像。
在一实施例中，所述通过对比度增强网络对转化后的所述水下初始图像的L通道数据进行处理，得到第一图像处理数据的步骤之前，还包括：
基于水上清晰图像和深度图像训练所述对比度增强网络。
在一实施例中，所述基于水上清晰图像和深度图像训练所述对比度增强网络的步骤包括：
获取多组水上清晰图像以及深度图像；
根据所述深度图像以及透射率参数，生成透射率图；
根据所述水上清晰图像以及所述透射率图，生成低对比度图像；
采用所述低对比度图像训练所述对比度增强网络。
为实现上述目的，本发明还提供一种智能设备，所述智能设备包括存储器、处理器以及存储在所述存储器并可在所述处理器上运行的图像增强程序，所述图像增强程序被所述处理器执行时实现如上所述的图像增强方法的各个步骤。
为实现上述目的，本发明还提供一种计算机存储介质，所述计算机存储介质存储有图像增强程序，所述图像增强程序被处理器执行时实现如上所述的图像增强方法的各个步骤。
本发明提供的图像增强方法、智能设备和计算机存储介质，通过获取水下初始图像，并对所述水下初始图像进行颜色空间转化；通过对比度增强网络对转化后的所述水下初始图像的L通道数据进行处理，得到第一图像处理数据；通过颜色矫正网络对转化后的所述水下初始图像的AB通道数据进行处理，得到第二图像处理数据；根据所述第一图像处理数据和第二图像处理数据生成增强图像，将水下初始图像的对比度与颜色分别采用不同的网络进行处理，解决了现有技术中水下图像的对比度与颜色之间存在耦合导致水下图像增强效果差的问题，提高水下图像增强效果。
附图说明
图1为本发明实施例涉及的智能设备结构示意图；
图2为本发明图像增强方法的第一实施例的流程示意图；
图3为本发明图像增强方法的第二实施例的流程示意图；
图4为本发明图像增强方法的第三实施例的流程示意图；
图5为本发明图像增强方法的第四实施例的流程示意图；
图6为本发明图像增强方法的第五实施例的流程示意图；
图7为本发明图像增强方法的第六实施例的流程示意图；
图8为本发明图像增强方法的第七实施例的流程示意图；
图9为对比度增强网络示意图；
图10为颜色矫正网络示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请为解决现有技术中水下图像增强效果差的问题，通过获取水下初始图像，并对所述水下初始图像进行颜色空间转化；通过对比度增强网络对转化后的所述水下初始图像的L通道数据进行处理，得到第一图像处理数据；通过颜色矫正网络对转化后的所述水下初始图像的AB通道数据进行处理，得到第二图像处理数据；根据所述第一图像处理数据和第二图像处理数据生成增强图像的技术方案，将水下图像的对比度与颜色进行解耦，提高图像增强的效果。
为了更好地理解上述技术方案，下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
如图1所示，图1为本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是，图1即可为智能设备的硬件运行环境的架构示意图。
如图1所示，该智能设备可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1所示的智能设备结构并不构成对智能设备的限定，智能设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像增强程序。其中，操作系统是管理和控制智能设备硬件和软件资源的程序，图像增强程序以及其它软件或程序的运行。
在图1所示的智能设备中，用户接口1003主要用于连接终端，与终端进行数据通信；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的图像增强程序。
在本实施例中，智能设备包括：存储器1005、处理器1001及存储在所述存储器上并可在所述处理器上运行的图像增强程序，其中：
在本申请实施例中，处理器1001可以用于调用存储在存储器1005中的图像增强程序，并执行以下操作：
获取水下初始图像，并对所述水下初始图像进行颜色空间转化；
通过对比度增强网络对转化后的所述水下初始图像的L通道数据进行处理，得到第一图像处理数据；
通过颜色矫正网络对转化后的所述水下初始图像的AB通道数据进行处理，得到第二图像处理数据；
根据所述第一图像处理数据和第二图像处理数据生成增强图像。
在本申请实施例中，处理器1001可以用于调用存储在存储器1005中的图像增强程序，并执行以下操作：
获取水下初始图像；
将所述水下初始图像从RGB颜色空间转化为LAB颜色空间。
在本申请实施例中，处理器1001可以用于调用存储在存储器1005中的图像增强程序，并执行以下操作：
将所述水下初始图像从RGB颜色空间转化为XYZ颜色空间；
将所述XYZ颜色空间转化为LAB颜色空间。
在本申请实施例中，处理器1001可以用于调用存储在存储器1005中的图像增强程序，并执行以下操作：
将所述水下初始图像的L通道数据输入对比度增强网络，其中，所述对比度增强网络根据所述水下初始图像的L通道数据确定图像特征；
将所述图像特征与所述对比度增强网络中的全连接层进行卷积，得到增强后的图像特征；
根据增强后的所述图像特征进行图像重建，得到第一图像处理数据。
在本申请实施例中，处理器1001可以用于调用存储在存储器1005中的图像增强程序，并执行以下操作：
将所述水下初始图像的AB通道数据输入颜色矫正网络对应的编码单元，其中，所述编码单元中的下采样层对所述AB通道数据进行下采样，得到所述编码单元的输出图像数据；
对所述输出图像数据进行特征提取，得到对应的颜色特征；
将所述颜色特征输入所述颜色矫正网络对应的解码单元，其中，所述解码单元中的上采样块对所述颜色特征进行上采样，得到第二图像处理数据。
在本申请实施例中，处理器1001可以用于调用存储在存储器1005中的图像增强程序，并执行以下操作：
融合所述第一图像处理数据与所述第二图像处理数据，以得到初始增强图像；
将所述初始增强图像从LAB颜色空间转化为RGB颜色空间，以生成所述增强图像。
在本申请实施例中，处理器1001可以用于调用存储在存储器1005中的图像增强程序，并执行以下操作：
基于水上清晰图像和深度图像训练所述对比度增强网络。
在本申请实施例中，处理器1001可以用于调用存储在存储器1005中的图像增强程序，并执行以下操作：
获取多组水上清晰图像以及深度图像；
根据所述深度图像以及透射率参数，生成透射率图；
根据所述水上清晰图像以及所述透射率图，生成低对比度图像；
采用所述低对比度图像训练所述对比度增强网络。
由于本申请实施例提供的智能设备，为实施本申请实施例的方法所采用的智能设备，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该智能设备的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的智能设备都属于本申请所欲保护的范围。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
对于软件实现，可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
基于上述结构，提出本发明的实施例，本申请应用所述的图像增强方法的操作系统包括但不限于Linux、Android或者Windows7等。
参照图2，图2为本发明图像增强方法的第一实施例的流程示意图，包括以下步骤：
步骤S110，获取水下初始图像，并对所述水下初始图像进行颜色空间转化；
步骤S120，通过对比度增强网络对转化后的所述水下初始图像的L通道数据进行处理，得到第一图像处理数据；
步骤S130，通过颜色矫正网络对转化后的所述水下初始图像的AB通道数据进行处理，得到第二图像处理数据；
步骤S140，根据所述第一图像处理数据和第二图像处理数据生成增强图像。
在本实施例中，所述水下初始图像采用水下高清摄像装置获取的，所述水下初始图像采用的颜色空间为RGB颜色空间，所述RGB颜色空间分别对应红黄绿三个通道；在获取到水下初始图像后，对所述水下初始图像进行颜色空间转化是指将水下初始图像的RGB颜色空间转化为LAB颜色空间，所述LAB颜色空间由三个要素组成，其中L通道表示亮度通道，AB通道表示颜色通道；具体的，将所述对水下初始图像的RGB颜色空间对应的R通道、G通道以及B通道对应转化为LAB颜色空间对应的L通道、A通道以及B通道，从而实现颜色空间转化。
在本实施例中，所述第一图像处理数据为L通道处理后的图像数据，所述第二图像处理数据为AB通道处理后的图像数据，在将水下初始图像从RGB颜色空间转化到LAB颜色空间后，根据LAB颜色空间不同通道的性质，其中，所述LAB颜色空间的L通道用于刻画水下初始图像的亮度，AB通道用于刻画水下初始图像的颜色，分别设计两个不同网络，在不同通道上分别进行对比度增强和颜色矫正，从而实现水下图像增强，具体的，本申请通过对比度增强网络对颜色空间转化后的所述颜色空间为LAB颜色空间的水下初始图像的L通道数据，即亮度通道数据进行处理，得到第一图像处理数据；通过颜色矫正网络对颜色空间转化后的所述颜色空间为LAB颜色空间的水下初始图像的AB通道数据，即颜色通道数据进行处理，得到第二图像处理数据；将所述第一图像处理数据与所述第二图像处理数据融合，得到增强图像，具体的，将L通道处理后的图像数据与AB通道处理后的图像数据进行融合，以得到增强图像。
在本实施例中，所述对比度增强网络由卷积网络构成，输入为水下初始图像LAB颜色空间下L通道数据，此部分网络根据输入生成自适应的滤波器，通过将L通道数据与生成的滤波器进行卷积，实现水下图像对比度增强，具体的，参照图9，图9为所述对比度增强网络示意图，所述对比度增强网络包括3部分，特征提取模块，自适应对比度增强模块和重建模块，所述特征提取模块由5*5卷积层构成，输出L通道图像特征；所述自适应对比度增强模块由x个自适应卷积块组成，每个自适应卷积块使用y层全连接层网络生成一个自适应的滤波器，将自适应生成的滤波器与L通道图像特征进行卷积,得到增强之后的图像特征；所述重建模块由一个3*3卷积层构成，该模块将增强之后的图像特征重建为增强后的第一图像处理数据；所述颜色矫正网络由Unet卷积网络构成，输入为水下图像LAB颜色空间中AB通道数据，此部分网络通过不断下采样增加感受野，提高网络对图片整体颜色的感知，实现水下图像颜色矫正，具体的，参照图10，图10为颜色矫正网络示意图，所述颜色矫正网络由一个Unet网络组成，所述颜色矫正网络包括编码单元、解码单元以及瓶颈层，所述编码单元由m个卷积模块组成，每个卷积模块由卷积层，BN，即归一化层，激活层以及下采样层组成；解码单元与编码单元互为对称，仅仅将下采样层替换为上采样层；所述瓶颈层由n个残差块组成，进一步将输入的颜色特征变换到输出的颜色特征，所述Unet类型的网络结构可以更好的结合局部和全局的颜色信息，从而实现更好的性能表现。
在本实施例中，在整体网络训练过程中，本申请使用3个损失函数组合来训练整个水下网络，根据直方图均衡化的思想，本申请设计了均衡化损失函数Lconstract，均衡化损失旨在增加图片像素的多样性，实现增加图像对比度的效果，Lrec为重建水下图像的损失函数，Lauxiliary为采用额外数据训练网络的损失函数，具体如下，
Figure BDA0003147027060000111
Figure BDA0003147027060000112
Figure BDA0003147027060000113
L＝Lrec+λ1Lconstract+λ2Lauxiliary
其中，
Figure BDA0003147027060000114
表示l通道经过对比度增强网络增强之后的图片，
Figure BDA0003147027060000115
为输入l通道像素值的平均值，
Figure BDA0003147027060000116
和Ic分为代表c通道图像的网络输出图像和对应清晰图像，其中，所述c通道为LAB三个通道的统称，c∈{l,a,b}，
Figure BDA0003147027060000117
和Il *分别代表额外数据经过对比度增强网络后的输出和对应的清晰图像，在此实施例中，取λ1为0.1，λ2为0.3，最终使用L总损失函数训练整体网络。
在本实施例的技术方案中，将水下初始图像的颜色空间转化为LAB颜色空间，根据LAB颜色空间不同通道的性质,通过对比度增强网络对L通道数据处理，通过颜色矫正网络对AB通道数据处理，将水下对比度增强问题和颜色矫正问题解耦，从而实现水下图像增强的效果。
参照图3，图3为本发明图像增强方法的第二实施例的流程示意图，第二实施例中的步骤S111-步骤S112是第一实施例中步骤S110的细化步骤，所述第二实施包括以下步骤：
步骤S111，获取水下初始图像；
步骤S112，将所述水下初始图像从RGB颜色空间转化为LAB颜色空间。
在本实施例中，为了提高水下图像处理质量，对颜色空间为LAB颜色空间的水下图像进行处理，在通过对比度增强网络以及颜色矫正网络对水下初始图像进行处理之前，需要将水下初始图像的颜色空间进行转化，所述水下初始图像采用的颜色空间为RGB颜色空间，因此，需要将所述水下初始图像从所述RGB颜色空间转化为LAB颜色空间，在LAB颜色空间进行图像增强处理。
在本实施例的技术方案中，在获取水下初始图像时，需要将水下初始图像的颜色空间从RGB颜色空间转化为LAB颜色空间，在LAB颜色空间进行图像增强处理，从而提高水下图像处理的质量。
参照图4，图4为本发明图像增强方法的第三实施例的流程示意图，第三实施例中的步骤S1121-步骤S1122是第二实施例中步骤S112的细化步骤，所述第三实施包括以下步骤：
步骤S1121，将所述水下初始图像的所述RGB颜色空间转化为XYZ颜色空间；
步骤S1122，将所述XYZ颜色空间转化为LAB颜色空间。
在本实施例中，所述XYZ颜色空间使用三种原色定义了三种刺激值X(红色)，Y(绿色)和Z(蓝色)，在XYZ颜色空间中，所有的颜色被一个“标准”观察者看到，其测量了标准光源下的每一种颜色，以及严格定义了标准观察者所看到的观察条件；所述将所述水下初始图像的颜色空间从RGB颜色空间转化为LAB颜色空间的过程中，需要先将所述水下初始图像的颜色空间从RGB颜色空间转化为XYZ颜色空间，再将所述XYZ颜色空间转化为LAB颜色空间，具体的，采用公式(1)将所述水下初始图像从所述RGB颜色空间转换到XYZ颜色空间：
Figure BDA0003147027060000121
接着，采用公式(2)将所述XYZ颜色空间转化为LAB颜色空间：
Figure BDA0003147027060000131
其中，所述Xn＝0.950456，Xn＝0.950456，Zn＝1.088754，f(t)定义如下：
Figure BDA0003147027060000132
根据上述公式(1)和公式(2)，将所述水下初始图像从RGB颜色空间转化为LAB颜色空间，并将L通道数据与AB通道数据分别输入到对比增强网络和颜色矫正网络。
在本实施例的技术方案中，通过将所述水下初始图像的颜色空间从RGB颜色空间转化为XYZ颜色空间，再将所述XYZ颜色空间转化为LAB颜色空间，从而实现将所述水下初始图像从RGB颜色空间转化为LAB颜色空间的过程。
参照图5，图5为本发明图像增强方法的第四实施例的流程示意图，第四实施例中的步骤S121-步骤S123是第一实施例中步骤S120的细化步骤，所述第四实施包括以下步骤：
步骤S121，将所述水下初始图像的L通道数据输入对比度增强网络，其中，所述对比度增强网络根据所述水下初始图像的L通道数据确定图像特征；
步骤S122，将所述图像特征与所述对比度增强网络中的全连接层进行卷积，得到增强后的图像特征；
步骤S123，根据增强后的所述图像特征进行图像重建，得到第一图像处理数据。
在本实施例中，对比度增强网络包括3部分，特征提取模块、自适应对比度增强模块和重建模块；首先将所述水下初始图像的L通道数据输入对比度增强网络中，通过对比度增强网络中的特征提取模块得到对应的图像特征；所述对比度增强网络同时根据输入生成自适应的滤波器，所述自适应对比度增强模块由x个自适应卷积块组成，每个自适应卷积块使用y层全连接层网络生成一个自适应的滤波器，通过将所述图像特征与生成的滤波器中的全连接层进行卷积，得到增强后的图像特征，将增强之后的图像特征输入由一个3*3卷积层构成的重建模块，该模块将增强之后的图像特征重建为第一图像处理数据。
在本实施例的技术方案中，通过将水下初始图像的L通道数据输入对比度增强网络中，根据所述对比度增强网络中的特征提取模块得到对应的图像特征，将所述图像特征与所述对比度增强网络中的全连接层进行卷积，得到增强后的图像特征，将所述增强后的图像特征输入所述对比度增强网络中的重建模块，从而得到第一图像处理数据。
参照图6，图6为本发明图像增强方法的第五实施例的流程示意图，第五实施例中的步骤S131-步骤S133是第一实施例中步骤S130的细化步骤，所述第五实施包括以下步骤：
步骤S131，将所述水下初始图像的AB通道数据输入颜色矫正网络对应的编码单元，其中，所述编码单元中的下采样层对所述AB通道数据进行下采样后得到所述编码单元的输出图像数据；
步骤S132，对所述输出图像数据进行特征提取，得到对应的颜色特征；
步骤S133，将所述颜色特征输入所述颜色矫正网络对应的解码单元，其中，所述解码单元中的上采样块对所述颜色特征进行上采样后得到第二图像处理数据。
在本实施例中，所述颜色矫正网络由一个Unet网络组成，所述颜色矫正网络包括编码单元、解码单元以及瓶颈层，所述编码单元由m个卷积模块组成，每个卷积模块由卷积层，归一化层，激活层以及下采样层组成；所述解码单元由m个卷积模块组成，每个卷积模块由卷积层，归一化层，激活层以及上采样层组成；所述瓶颈层由n个残差块组成，进一步将所述水下初始图像的AB通道数据变为第二图像处理数据；具体的，将所述水下初始图像的AB通道数据输入所述颜色矫正网络对应的编码单元，采用所述编码单元中的下采样层对所述AB通道数据进行下采样，得到所述编码单元的输出图像数据，将所述输出图像数据经过瓶颈层得到所述解码单元的输入数据，在这个过程中，同时对所述输出图像数据进行特征提取，得到对应的颜色特征，所述瓶颈层将所述颜色特征转化为解码单元的输入数据，将所述颜色特征输入颜色矫正网络对应的解码单元，采用所述解码单元中的上采样块对所述颜色特征进行上采样，得到所述第二图像处理数据。
在本实施例的技术方案中，通过将所述水下初始图像的AB通道数据输入颜色矫正网络对应的编码单元，得到输出图像数据，对所述输出图像数据进行特征提取，得到对应的颜色特征，将所述颜色特征输入所述颜色矫正网络对应的解码单元，得到第二图像处理数据，从而得到第二图像处理数据，所述Unet网络结构结合了局部和全局的颜色信息，从而提高图像增强效果。
参照图7，图7为本发明图像增强方法的第六实施例的流程示意图，第六实施例中的步骤S141-步骤S142是第一实施例中步骤S140的细化步骤，所述第六实施包括以下步骤：
步骤S141，融合所述第一图像处理数据与所述第二图像处理数据，以得到初始增强图像；
步骤S142，将所述初始增强图像从LAB颜色空间转化为RGB颜色空间，以生成所述增强图像。
在本实施例中，为了提高水下图像处理质量，在生成第一图像处理数据以及第二图像处理数据之后，需要将所述第一图像处理数据以及所述第二图像处理数据进行融合以得到初始增强图像，在根据第一图像处理数据和第二图像处理数据生成初始增强图像之后，需要将初始增强图像的颜色空间进行转化，所述初始增强图像采用的颜色空间为LAB颜色空间，因此，需要将所述初始增强图像从所述LAB颜色空间转化为RGB颜色空间，具体的，将所述初始增强图像从所述LAB颜色空间转化为XYZ颜色空间，将所述XYZ颜色空间转化为RGB颜色空间，从而实现将所述初始增强图像从所述LAB颜色空间转化为RGB颜色空间，以得到所述增强图像的过程，具体的，采用公式(3)将所述初始增强图像从所述XYZ颜色空间转换到RGB颜色空间：
Figure BDA0003147027060000161
接着，采用公式(4)将所述LAB颜色空间转化为XYZ颜色空间：
Figure BDA0003147027060000162
其中，所述f-1(t)定义如下：
Figure BDA0003147027060000163
根据上述公式(3)和公式(4)，将所述初始增强图像从LAB颜色空间转化为RGB颜色空间。
在本实施例中，在得到第一图像处理数据以及第二图像处理数据之后，融合所述第一图像处理数据与所述第二图像处理数据，以得到初始增强图像，并将所述初始增强图像从所述LAB颜色空间转化为RGB颜色空间，从而得到处理后的RGB颜色空间的水下增强图像。
参照图8，图8为本发明图像增强方法的第七实施例的流程示意图，第七实施例中的步骤S221至步骤S224位于第一实施例中步骤S120之前，所述第七实施包括以下步骤：
步骤S221，获取多组水上清晰图像以及深度图像；
步骤S222，根据所述深度图像以及透射率参数，生成透射率图；
步骤S223，根据所述水上清晰图像以及所述透射率图，生成低对比度图像；
步骤S224，采用所述低对比度图像训练所述对比度增强网络。
在本实施例中，为了实现更好的图像增强效果，在对比度增强网络的训练过程中引入了额外的成对数据来辅助所述对比度增强网络的训练，即基于水上清晰图像和深度图像训练所述对比度增强网络，具体的，根据物理模型生成大量成对的高对比度图像和低对比度图像，即水上清晰图像以及深度图像，采用所述大量成对的水上清晰图像以及深度图像训练所述对比度增强网络，具体的，根据所述深度图像以及透射率参数，生成透射率图，其中，根据t(x)＝e-βd(x)生成所述透射率图，所述d(x)为深度图像中像素点x所代表的场景深度，β为透射率参数；根据所述水上清晰图像以及所述透射率图，生成低对比度图像，其中，根据I(x)＝J(x)t(x)+A(1-t(x))生成低对比度图像，所述I(x)为生成的低对比度图像，J(x)为清晰图像，t(x)为透射率图，A为场景的大气光，A设置为一定区间内的随机值；最后，采用所述低对比度图像训练所述对比度增强网络。
在本实施例的技术方案中，采用额外的水上清晰图像和深度图像训练所述对比度增强网络，通过获取多组水上清晰图像以及深度图像，根据所述深度图像以及透射率参数，生成透射率图，根据所述水上清晰图像以及所述透射率图，生成低对比度图像，采用所述低对比度图像训练所述对比度增强网络，以提高所述水下图像的训练效果。
基于同一发明构思，本申请实施例还提供了一种计算机存储介质，所述计算机存储介质存储有图像增强程序，所述图像增强程序被处理器执行时实现如上所述的图像增强方法的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
由于本申请实施例提供的计算机存储介质，为实施本申请实施例的方法所采用的计算机存储介质，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该计算机存储介质的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的计算机存储介质都属于本申请所欲保护的范围。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或确定机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有确定机可用程序代码的确定机可用计算机存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的确定机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和确定机程序产品的流程图和/或方框图来描述的。应理解可由确定机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些确定机程序指令到通用确定机、专用确定机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过确定机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些确定机程序指令也可存储在能引导确定机或其他可编程数据处理设备以特定方式工作的确定机可读存储器中，使得存储在该确定机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些确定机程序指令也可装载到确定机或其他可编程数据处理设备上，使得在确定机或其他可编程设备上执行一系列操作步骤以产生确定机实现的处理，从而在确定机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的确定机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为标识。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种图像增强方法，其特征在于，所述方法包括：
获取水下初始图像，并对所述水下初始图像进行颜色空间转化；
通过对比度增强网络对转化后的所述水下初始图像的L通道数据进行处理，得到第一图像处理数据；
通过颜色矫正网络对转化后的所述水下初始图像的AB通道数据进行处理，得到第二图像处理数据；
根据所述第一图像处理数据和第二图像处理数据生成增强图像。
2.如权利要求1所述的图像增强方法，其特征在于，所述获取水下初始图像，并对所述水下初始图像进行颜色空间转化的步骤包括：
获取水下初始图像；
将所述水下初始图像从RGB颜色空间转化为LAB颜色空间。
3.如权利要求2所述的图像增强方法，其特征在于，所述将所述水下初始图像从RGB颜色空间转化为LAB颜色空间的步骤包括：
将所述水下初始图像从RGB颜色空间转化为XYZ颜色空间；
将所述XYZ颜色空间转化为LAB颜色空间。
4.如权利要求1所述的图像增强方法，其特征在于，所述通过对比度增强网络对转化后的所述水下初始图像的L通道数据进行处理，得到第一图像处理数据的步骤包括：
将所述水下初始图像的L通道数据输入对比度增强网络，其中，所述对比度增强网络根据所述水下初始图像的L通道数据确定图像特征；
将所述图像特征与所述对比度增强网络中的全连接层进行卷积，得到增强后的图像特征；
根据增强后的所述图像特征进行图像重建，得到第一图像处理数据。
5.如权利要求1所述的图像增强方法，其特征在于，所述通过颜色矫正网络对转化后的所述水下初始图像的AB通道数据进行处理，得到第二图像处理数据的步骤包括：
将所述水下初始图像的AB通道数据输入颜色矫正网络对应的编码单元，其中，所述编码单元中的下采样层对所述AB通道数据进行下采样，得到所述编码单元的输出图像数据；
对所述输出图像数据进行特征提取，得到对应的颜色特征；
将所述颜色特征输入所述颜色矫正网络对应的解码单元，其中，所述解码单元中的上采样块对所述颜色特征进行上采样，得到第二图像处理数据。
6.如权利要求1所述的图像增强方法，其特征在于，所述根据所述第一图像处理数据和第二图像处理数据生成增强图像的步骤包括：
融合所述第一图像处理数据与所述第二图像处理数据，以得到初始增强图像；
将所述初始增强图像从LAB颜色空间转化为RGB颜色空间，以生成所述增强图像。
7.如权利要求1所述的图像增强方法，其特征在于，所述通过对比度增强网络对转化后的所述水下初始图像的L通道数据进行处理，得到第一图像处理数据的步骤之前，还包括：
基于水上清晰图像和深度图像训练所述对比度增强网络。
8.如权利要求7所述的图像增强方法，其特征在于，所述基于水上清晰图像和深度图像训练所述对比度增强网络的步骤包括：
获取多组水上清晰图像以及深度图像；
根据所述深度图像以及透射率参数，生成透射率图；
根据所述水上清晰图像以及所述透射率图，生成低对比度图像；
采用所述低对比度图像训练所述对比度增强网络。
9.一种智能设备，其特征在于，所述智能设备包括存储器、处理器以及存储在所述存储器并可在所述处理器上运行的图像增强程序，所述图像增强程序被所述处理器执行时实现如权利要求1-8任一项所述的图像增强方法的各个步骤。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有图像增强程序，所述图像增强程序被处理器执行时实现如权利要求1-8任一项所述的图像增强方法的各个步骤。
CN202110755171.5A 2021-07-05 2021-07-05 图像增强方法、智能设备、计算机存储介质 Active CN113436107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110755171.5A CN113436107B (zh) 2021-07-05 2021-07-05 图像增强方法、智能设备、计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110755171.5A CN113436107B (zh) 2021-07-05 2021-07-05 图像增强方法、智能设备、计算机存储介质

Publications (2)

Publication Number Publication Date
CN113436107A true CN113436107A (zh) 2021-09-24
CN113436107B CN113436107B (zh) 2023-06-20

Family

ID=77759061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110755171.5A Active CN113436107B (zh) 2021-07-05 2021-07-05 图像增强方法、智能设备、计算机存储介质

Country Status (1)

Country Link
CN (1) CN113436107B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882385A (zh) * 2022-05-13 2022-08-09 中国农业科学院农业信息研究所 一种基于无人机平台的大田麦穗计数方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689587A (zh) * 2019-10-11 2020-01-14 大连海事大学 一种基于颜色校正和细节增强的水下图像增强方法
CN111275644A (zh) * 2020-01-20 2020-06-12 浙江大学 一种基于Retinex算法的水下图像增强方法和装置
CN111462022A (zh) * 2020-04-29 2020-07-28 青岛大学 一种水下图像清晰化增强方法
WO2020173320A1 (zh) * 2019-02-28 2020-09-03 腾讯科技（深圳）有限公司 一种图像增强方法、装置及存储介质
CN111738948A (zh) * 2020-06-19 2020-10-02 大连理工大学 一种基于双U-net的水下图像增强方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020173320A1 (zh) * 2019-02-28 2020-09-03 腾讯科技（深圳）有限公司 一种图像增强方法、装置及存储介质
CN110689587A (zh) * 2019-10-11 2020-01-14 大连海事大学 一种基于颜色校正和细节增强的水下图像增强方法
CN111275644A (zh) * 2020-01-20 2020-06-12 浙江大学 一种基于Retinex算法的水下图像增强方法和装置
CN111462022A (zh) * 2020-04-29 2020-07-28 青岛大学 一种水下图像清晰化增强方法
CN111738948A (zh) * 2020-06-19 2020-10-02 大连理工大学 一种基于双U-net的水下图像增强方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
李微 等: "改进U-Net网络的水下图像增强", 《应用科技》 *
李微 等: "改进U-Net网络的水下图像增强", 《应用科技》, vol. 48, no. 3, 31 May 2021 (2021-05-31), pages 34 - 40 *
贾芃 等: "基于HSI的改进Retinex水下图像增强算法", 《实验室研究与探索》 *
贾芃 等: "基于HSI的改进Retinex水下图像增强算法", 《实验室研究与探索》, vol. 39, no. 12, 31 December 2020 (2020-12-31), pages 1 - 4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882385A (zh) * 2022-05-13 2022-08-09 中国农业科学院农业信息研究所 一种基于无人机平台的大田麦穗计数方法

Also Published As

Publication number Publication date
CN113436107B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN109003282B (zh) 一种图像处理的方法、装置及计算机存储介质
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
Wu et al. A two-stage underwater enhancement network based on structure decomposition and characteristics of underwater imaging
CN110163801B (zh) 一种图像超分辨和着色方法、系统及电子设备
CN110276731B (zh) 内镜图像颜色还原方法及装置
CN111127331B (zh) 基于像素级全局噪声估计编解码网络的图像去噪方法
WO2004095829A1 (en) Technique for simulating film grain on encoded video
CN116309232B (zh) 一种结合物理先验与深度学习的水下图像增强方法
CN115359370B (zh) 一种遥感图像云检测方法、装置、计算机装置及存储介质
CN113034413B (zh) 一种基于多尺度融合残差编解码器的低照度图像增强方法
CN112200732B (zh) 一种清晰特征融合的视频去模糊方法
CN114004766A (zh) 一种水下图像增强方法、系统和设备
Zhu et al. Generative adversarial network-based atmospheric scattering model for image dehazing
CN113436107B (zh) 图像增强方法、智能设备、计算机存储介质
US20220156889A1 (en) Saliency map generation method and image processing system using the same
CN114926359B (zh) 联合双颜色空间恢复和多级解码结构的水下图像增强方法
CN117078574A (zh) 一种图像去雨方法及装置
CN117391920A (zh) 基于rgb通道差分平面的大容量隐写方法及系统
CN116596795A (zh) 一种基于语义引导与注意力融合的水下图像增强方法
CN115953311A (zh) 基于Transformer的多尺度特征表示的图像去雾方法
CN114881879A (zh) 一种基于亮度补偿残差网络的水下图像增强方法
US20230334626A1 (en) Techniques for denoising videos
CN116012260B (zh) 一种基于深度Retinex的低光图像增强方法
Hong et al. Multi-scale iterative network for underwater image restoration
CN116634284B (zh) Raw域视频去噪方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant