CN111489321B - 基于派生图和Retinex的深度网络图像增强方法和系统 - Google Patents

基于派生图和Retinex的深度网络图像增强方法和系统 Download PDF

Info

Publication number
CN111489321B
CN111489321B CN202010156373.3A CN202010156373A CN111489321B CN 111489321 B CN111489321 B CN 111489321B CN 202010156373 A CN202010156373 A CN 202010156373A CN 111489321 B CN111489321 B CN 111489321B
Authority
CN
China
Prior art keywords
image
network
pic
decomposition
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010156373.3A
Other languages
English (en)
Other versions
CN111489321A (zh
Inventor
庄立运
季仁东
王晓晖
居勇峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhangjiagang Qianhe Internet Technology Co ltd
Original Assignee
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology filed Critical Huaiyin Institute of Technology
Priority to CN202010156373.3A priority Critical patent/CN111489321B/zh
Publication of CN111489321A publication Critical patent/CN111489321A/zh
Application granted granted Critical
Publication of CN111489321B publication Critical patent/CN111489321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于派生图和Retinex的深度网络图像增强方法和系统。其中图像增强方法利用深度分解网络将输入图像分解为反射图像和亮度图像，采用深度增强图像对输入图像的亮度图像进行增强；同时，采用快速均值滤波对输入图像的反射图像进行处理，去除输入图像中的噪声；此外，对输入图像对比度低、整体亮度低、暗区细节模糊的问题，采用生成派生图进行处理；最后采用融合策略将派生图、滤波后的反射图像、增强后的亮度图像进行融合，得到输入的低亮度图像的增强图像。该方法将浅层的图像派生图和深度学习网络得到的深层增强图进行融合，实现对低光照图像的增强。

Description

基于派生图和Retinex的深度网络图像增强方法和系统
技术领域
本发明属于图像处理技术领域，具体涉及一种基于派生图和Retinex的深度网络图像增强方法，以及应用该方法的图像增强系统。
背景技术
近年来，随着图像增强技术在医学领域、智能交通、智能身份认证和卫星遥感成像等诸多关系国计民生的领域越来越广泛的应用，推动了图像增强领域技术和方法的不断进步。针对弱光照条件下采集到的图像对比度低，整体亮度偏低和暗区域细节模糊等问题，我们可以采用基于深度学习的图像增强方法。采用浅层图像增强方法获取弱光照条件下的图像派生图，利用深度卷积神经网络对光照分量进行训练学习，通过训练学习低光照图像和正常光照图像之间的亮度分量，获取端到端的映射关系，实现经深度增强网络的图像增强。
近年来，出现了一些基于深度学习的图像增强算法，深度学习算法不仅具有更加强大的学习能力，而且其在自动特征提取上也具有显著的特征表达能力。传统的图像增强算法对先验知识具有较强的依赖性，获取图像特征需要根据图像成像的特点或者复杂的数学公式推理来完成。与传统算法相比，深度学习算法在特征提取过程中，不需依赖基于手工设计的算法，可以直接端对端的训练和得到输出结果。虽然深度学习算法在特征提取和数学建模上较传统方法有明显的优势，但是目前利用深度学习方法对图像增强仍然存在一些问题，主要表现在：深度学习方法图像增强训练数据集缺乏，目前没有包含弱光照和与之对应的正常光照图像公共数据集，导致训练数据集不统一。此外，部分深度模型对不同场景下图像增强的鲁棒性较差，如何有效对不同场景下采集的光照不均匀图像进行有效增强，尚存在诸多难点和挑战。
发明内容
发明目的：本发明旨在提供一种图像增强方法，该方法将浅层的图像派生图和深度学习网络得到的深层增强图进行融合，实现对低光照图像的增强。
技术方案：本发明一方面公开了一种基于派生图和Retinex的深度网络图像增强方法，包括训练阶段和增强阶段，所述训练阶段的步骤包括：
(1)构建深度分解网络，所述深度分解网络包括正常光照图像分解分支和低光照图像分解分支，所述正常光照图像分解分支用于将输入的正常光照图像分解为正常光照反射图像和正常光照亮度图像；所述低光照图像分解分支用于将输入的低光照图像分解为低光照反射图像和低光照亮度图像；
所述正常光照图像分解分支和低光照图像分解分支的结构和参数都相同，均包括依次连接的第一卷积层、第二卷积子网、第三卷积层；所述第一卷积层的卷积核大小为3×3；所述第二卷积子网由5个卷积核大小为3×3的卷积层依次连接组成，每个卷积层后连接ReLU激活函数；所述第三卷积层后连接Sigmoid激活函数；
(2)建立深度分解网络训练样本集，所述深度分解网络训练样本集中的样本为正常光照图像
Figure BDA0002404184430000021
和与所述正常光照图像对应的低光照图像
Figure BDA0002404184430000022
将所述样本中的正常光照图像输入深度分解网络中的正常光照图像分解分支，将所述样本中的低光照图像输入深度分解网络中的低光照图像分解分支，对所述深度分解网络进行训练；
所述训练为通过最小化第一损失函数优化深度分解网络的参数Wd，所述第一损失函数为：
Figure BDA0002404184430000023
其中Snum为深度分解网络训练样本对的数量，Fd表示深度分解网络的ReLU激活函数；||·||2为2范数运算符，||·||1为1范数运算符；α,β为第一损失函数系数，本发明中α＝0.7，β＝0.3；
(3)构建深度增强网络，所述深度增强网络用于对输入的低光照图像的亮度图像进行增强，其结构为依次连接的第四卷积子网，第五卷积子网、第六连接子网；所述第四卷积子网包括多层卷积层，每个卷积层后连接ReLU激活函数；所述第五卷积子网包括多层卷积层，每个卷积层前连接尺寸调整函数，每个卷积层后连接ReLU激励函数；所述第六连接子网包括依次连接的一个连接层、一个1*1卷积层和一个卷积层；
(4)将深度分解网络训练样本集中的样本采用训练好的深度分解网络进行分解，得到的正常光照亮度图像
Figure BDA0002404184430000031
和低光照亮度图像
Figure BDA0002404184430000032
构成图像对，对深度增强网络进行训练；所述训练为通过最小化第二损失函数优化深度增强网络的参数We，所述第二损失函数为：
Figure BDA0002404184430000033
其中Tnum为深度增强网络训练样本对的数量，Fe表示深度增强网络的ReLU激活函数，α′,β′为第二损失函数系数；
所述增强阶段的步骤包括：
待处理的低光照图像Pic采用深度分解网络的低光照图像分解分支进行分解，得到反射图像PicR和亮度图像PicL；
将反射图像PicR采用快速均值滤波进行去噪，得到滤波后的反射图像Pic′R；
将亮度图像PicL采用训练好的深度增强网络进行增强，得到亮度增强图像Pic′L；
根据反射图像Pic′R和亮度增强图像Pic′L生成第一增强图像Pic′；
生成待处理的低光照图像Pic的派生图PicD，PicD采用深度分解网络的低光照图像分解分支进行分解，得到反射图像PicDR和亮度图像PicDL；将反射图像PicDR采用快速均值滤波进行去噪，得到滤波后的反射图像Pic′DR；将亮度图像PicDL采用训练好的深度增强网络进行增强，得到亮度增强图像Pic′DL；根据反射图像Pic′DR和亮度增强图像Pic′DL生成第二增强图像Pic′D；
第二增强图像Pic′D与第一增强图像Pic′进行融合，得到最终的增强图像PicE。
本发明采用反向传播和随机梯度下降法计算第一损失函数的最优值，得到深度分解网络的参数Wd。
本发明采用AGCWD算法或对数直方图均衡变换得到待处理的低光照图像的派生图。
另一方面，本发明还公开了实现上述图像增强方法的系统，包括：
深度分解网络构建和训练模块(1)，用于构建深度分解网络，并利用深度分解网络训练样本集对所述深度分解网络进行训练；
深度增强网络构建和训练模块(2)，用于构建深度增强网络，并利用深度增强网络训练样本集对所述深度增强网络进行训练；
快速均值滤波模块(3)，用于对反射图像进行快速均值滤波；
派生图生成模块(4)，用于生成待处理的低光照图像Pic的派生图PicD；
第一图像生成模块(5)，用于根据快速均值滤波模块(3)输出的反射图像和深度增强网络输出的亮度增强图像生成第一增强图像和第二增强图像；
第二图像融合模块(6)，用于将第一图像生成模块(5)生成的第一增强图像和第二增强图像进行融合。
有益效果：本发明公开的基于派生图和Retinex的深度网络图像增强方法将图像派生图和深度学习网络相结合，通过深度卷积神经网络对光照图像进行增强，结合图像派生图这样的浅层图像增强，最终实现对低光照图像的增强。
附图说明
图1为深度分解网络的结构示意图；
图2为深度增强网络的结构示意图；
图3为增强阶段的步骤示意图；
图4为本发明公开的图像增强系统的组成示意图；
图5为Girl图像各图像增强方法结果对照示意图；
图6为Frontface图像各图像增强方法结果对照示意图；
图7为Cloudy图像各图像增强方法结果对照示意图；
图8为Night图像各图像增强方法结果对照示意图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
本发明公开了一种基于派生图和Retinex的深度网络图像增强方法，包括训练阶段和增强阶段，训练阶段的步骤包括：
(1)构建深度分解网络，如图1所示，深度分解网络包括正常光照图像分解分支101和低光照图像分解分支102，所述正常光照图像分解分支101用于将输入的正常光照图像分解为正常光照反射图像和正常光照亮度图像；所述低光照图像分解分支102用于将输入的低光照图像分解为低光照反射图像和低光照亮度图像；
所述正常光照图像分解分支和低光照图像分解分支的结构和参数都相同，均包括依次连接的第一卷积层1A、第二卷积子网1B、第三卷积层1C；所述第一卷积层1A的卷积核大小为3×3；所述第二卷积子网1B由5个卷积核大小为3×3的卷积层依次连接组成，每个卷积层后连接ReLU激活函数；所述第三卷积层1C后连接Sigmoid激活函数；
(2)建立深度分解网络训练样本集，所述深度分解网络训练样本集中的样本为正常光照图像
Figure BDA0002404184430000051
和与所述正常光照图像对应的低光照图像
Figure BDA0002404184430000052
将所述样本中的正常光照图像输入深度分解网络中的正常光照图像分解分支，将所述样本中的低光照图像输入深度分解网络中的低光照图像分解分支，对所述深度分解网络进行训练；深度分解网络从成对的低光照和正常光照图像中自动学校描述不同光照条件下图像光照变化规律。
训练过程为通过最小化第一损失函数优化深度分解网络的参数Wd，所述第一损失函数为：
Figure BDA0002404184430000053
其中Snum为深度分解网络训练样本对的数量，Fd表示深度分解网络的ReLU激活函数；||·||2为2范数运算符，||·||1为1范数运算符；α,β为第一损失函数系数，本实施例中，α＝0.7，β＝0.3；本发明采用反向传播和随机梯度下降法计算第一损失函数的最优值，得到深度分解网络的参数Wd。
(3)构建深度增强网络，如图2所示，深度增强网络201用于对输入的低光照图像的亮度图像进行增强，其结构为依次连接的第四卷积子网2A，第五卷积子网2B、第六连接子网2C；所述第四卷积子网2A包括多层卷积层，每个卷积层后连接ReLU激励函数；所述第五卷积子网2B包括多层卷积层，每个卷积层前连接尺寸调整函数，每个卷积层后连接ReLU激活函数；所述第六连接子网2C包括依次连接的一个连接层、一个1*1卷积层和一个卷积层；
(4)将深度分解网络训练样本集中的样本采用训练好的深度分解网络进行分解，得到的正常光照亮度图像
Figure BDA0002404184430000061
和低光照亮度图像
Figure BDA0002404184430000062
构成图像对，对深度增强网络进行训练；深度增强网络对低光照图像的亮度分量进行增强，使之与正常光照图像的亮度分量误差最小，达到图像增强的效果。由此，训练过程为通过最小化第二损失函数优化深度增强网络的参数We，所述第二损失函数为：
Figure BDA0002404184430000063
其中Tnum为深度增强网络训练样本对的数量，Fe表示深度增强网络的ReLU激活函数，α′,β′为第二损失函数系数；同深度分解网络，本实施例中，α′＝0.7，β′＝0.3，采用反向传播和随机梯度下降法计算第二损失函数的最优值，得到深度增强网络的参数We。深度增强网络对低光照图像的亮度分量进行增强，使之与正常光照图像的亮度分量误差最小，达到图像增强的效果。
如图3所示，增强阶段的步骤包括：
待处理的低光照图像Pic采用深度分解网络的低光照图像分解分支102进行分解，得到反射图像PicR和亮度图像PicL；
将反射图像PicR采用快速均值滤波进行去噪，以去除图像本身含有的噪声分量，得到滤波后的反射图像Pic′R；
将亮度图像PicL采用训练好的深度增强网络进行增强，得到亮度增强图像Pic′L；
根据反射图像Pic′R和亮度增强图像Pic′L生成第一增强图像Pic′；本实施例中，采用朗伯反射模型根据Pic′R和Pic′L生成彩色图像。
生成待处理的低光照图像Pic的派生图PicD，PicD采用深度分解网络的低光照图像分解分支进行分解，得到反射图像PicDR和亮度图像PicDL；将反射图像PicDR采用快速均值滤波进行去噪，得到滤波后的反射图像Pic′DR；将亮度图像PicDL采用训练好的深度增强网络进行增强，得到亮度增强图像Pic′DL；根据反射图像Pic′DR和亮度增强图像Pic′DL生成第二增强图像Pic′D；
第二增强图像Pic′D与第一增强图像Pic′进行融合，得到最终的增强图像PicE。
本实施例中，采用像素值按比例相加的方式进行融合，具体是增强图像PicE中的像素值为Pic′D和Pic′对应位置上的像素值按3:7的比例相加得到。
Pic的派生图可以采用AGCWD算法得到，也可以采用对数直方图均衡变换得到。采用基于加权分布的自适应伽马校正(AGCWD)方法，通过灰度校正和亮度像素的概率分布来提升图像的对比度，提高图像中弱光照区域的亮度，并可以有效避免生成伪影或扭曲颜色。
对数直方图均衡化变换可以有效的较少图像灰度的像素差，较好的保持原始图像的直方图分布的自然性。采用对数直方图均衡变换得到派生图的步骤包括：
生成Pic的直方图p(i)，并进行归一化：
Figure BDA0002404184430000071
对归一化后的图像直方图T(p(i))进行对数变换：H(i)＝ln(Tp(i)+1)；
图像对数直方图均衡变换为：
Figure BDA0002404184430000072
其中k∈[lmin,lmax]，lmin,lmax分别为图像Pic亮度分量最小值和最大值；
对Pic的每个像素采用上述步骤进行亮度变换，得到Pic的对数直方图均值变换派生图PicD。
本实施例还公开了实现上述图像增强方法的系统，如图4所示，包括：
深度分解网络构建和训练模块(1)，用于构建深度分解网络，并利用深度分解网络训练样本集对所述深度分解网络进行训练；
深度增强网络构建和训练模块(2)，用于构建深度增强网络，并利用深度增强网络训练样本集对所述深度增强网络进行训练；
快速均值滤波模块(3)，用于对反射图像进行快速均值滤波；
派生图生成模块(4)，用于生成待处理的低光照图像Pic的派生图PicD；
第一图像生成模块(5)，用于根据快速均值滤波模块(3)输出的反射图像和深度增强网络输出的亮度增强图像生成第一增强图像和第二增强图像；
第二图像融合模块(6)，用于将第一图像生成模块(5)生成的第一增强图像和第二增强图像进行融合。
本实施例中，采用Windows 10操作系统，用MATLAB R2016a作为软件平台。计算机的主要配置为Intel(R)Core(TM)i7-4712MQ CPU@3.40GHz(with 32G memory)，带有TITANGPU(12.00GB memory)。
目前，在图像增强领域，还没有弱光照图像和其对应正常光照图像一一对应的数据集。鉴于此情况，本实施例利用正常光照图像，通过数学变换得到其对应的弱光照图像来构建样本图像对。首先，在常用的图像增强公共数据集[DIP3/e Book Images，Caltechfaces 1999dataset，NASA release images和Extended Yale B+]和互联网上挑选出600张正常光照图像；然后，将正常光照图像转换至HSV(Hue Saturation Value)空间，仅对图像V分量做伽马变换，得到弱光照图像的V分量，即Vdark：Vdark＝cVγ，本实施例取c＝0.9，γ＝3.0；用Vdark替换V并将图像转换至RGB空间得到弱光照图像。
本实施例采用上述样本图像对构成的数据集训练深度分解网络和深度学习网络。本发明公开的图像增强方法与MSRCR、CLAHE、AGCWD、NPEA、LIME和SRLIE这六种图像增强方法进行比较，结果如图5-8所示。其中图5-8中的(a)均为原始低光照图像，(b)-(g)分别为采用MSRCR、CLAHE、AGCWD、NPEA、LIME和SRLIE这六种图像增强方法对原始低光照图像进行增加的结果，(h)为采用本发明公开的图像增强方法对原始低光照图像进行增加的结果。
本实施例通过三个质量度量来评估本发明公开的图像增强方法和其他六种图像增强方法的效果，包括：峰值信噪比(PSNR)、均方根对比度(rms)和离散信息熵(DE)，结果如表1-表3所示。
表1测试图像的PSNR计算值对比
Figure BDA0002404184430000081
表2测试图像的DE计算值对比
Figure BDA0002404184430000091
表3测试图像的rms计算值对比
Figure BDA0002404184430000092
综上所述，通过对Girl、Frontface、Cloudy和Night这4幅测试图像的性能测试表明，与较为先进的图像增强算法相比，本发明所提图像增强方法，可以取得较好的图像增强结果。
为了进一步验证本专利所提算法的性能，对取自DIP3/e Book Images,Caltechfaces 1999dataset,NASA release images库中的60幅低照度图像进行测试，利用DE值、PSNR值和rms值三个目标评价函数对本发明所提图像增强方法及其他比较算法进行评价。表4给出了60幅测试图像在不同增强算法下定量计算的平均值和标准偏差。
表460幅测试图像性能分析计算结果(平均值±标准偏差)
Figure BDA0002404184430000093

Claims (6)

1.基于派生图和Retinex的深度网络图像增强方法，其特征在于，包括训练阶段和增强阶段，所述训练阶段的步骤包括：
(1)构建深度分解网络，所述深度分解网络包括正常光照图像分解分支和低光照图像分解分支，所述正常光照图像分解分支用于将输入的正常光照图像分解为正常光照反射图像和正常光照亮度图像；所述低光照图像分解分支用于将输入的低光照图像分解为低光照反射图像和低光照亮度图像；
所述正常光照图像分解分支和低光照图像分解分支的结构和参数都相同，均包括依次连接的第一卷积层、第二卷积子网、第三卷积层；所述第一卷积层的卷积核大小为3×3；所述第二卷积子网由5个卷积核大小为3×3的卷积层依次连接组成，每个卷积层后连接ReLU激活函数；所述第三卷积层后连接Sigmoid激活函数；
(2)建立深度分解网络训练样本集，所述深度分解网络训练样本集中的样本为正常光照图像
Figure FDA0002675356110000011
和与所述正常光照图像对应的低光照图像
Figure FDA0002675356110000012
将所述样本中的正常光照图像输入深度分解网络中的正常光照图像分解分支，将所述样本中的低光照图像输入深度分解网络中的低光照图像分解分支，对所述深度分解网络进行训练；
所述训练为通过最小化第一损失函数优化深度分解网络的参数Wd，所述第一损失函数为：
Figure FDA0002675356110000013
其中Snum为深度分解网络训练样本对的数量，Fd表示深度分解网络的ReLU激活函数；||·||2为2范数运算符，||·||1为1范数运算符；α,β为第一损失函数系数；
(3)构建深度增强网络，所述深度增强网络用于对输入的低光照图像的亮度图像进行增强，其结构为依次连接的第四卷积子网，第五卷积子网、第六连接子网；所述第四卷积子网包括多层卷积层，每个卷积层后连接ReLU激活函数；所述第五卷积子网包括多层卷积层，每个卷积层前连接尺寸调整函数，每个卷积层后连接ReLU激励函数；所述第六连接子网包括依次连接的一个连接层、一个1*1卷积层层和一个卷积层；
(4)将深度分解网络训练样本集中的样本采用训练好的深度分解网络进行分解，得到的正常光照亮度图像
Figure FDA0002675356110000021
和低光照亮度图像
Figure FDA0002675356110000022
构成图像对，对深度增强网络进行训练；所述训练为通过最小化第二损失函数优化深度增强网络的参数We，所述第二损失函数为：
Figure FDA0002675356110000023
其中Tnum为深度增强网络训练样本对的数量，Fe表示深度增强网络的ReLU激活函数，α′,β′为第二损失函数系数；
所述增强阶段的步骤包括：
待处理的低光照图像Pic采用深度分解网络的低光照图像分解分支进行分解，得到反射图像PicR和亮度图像PicL；
将反射图像PicR采用快速均值滤波进行去噪，得到滤波后的反射图像Pic′R；
将亮度图像PicL采用训练好的深度增强网络进行增强，得到亮度增强图像Pic′L；
根据反射图像Pic′R和亮度增强图像Pic′L生成第一增强图像Pic′；
生成待处理的低光照图像Pic的派生图PicD，PicD采用深度分解网络的低光照图像分解分支进行分解，得到反射图像PicDR和亮度图像PicDL；将反射图像PicDR采用快速均值滤波进行去噪，得到滤波后的反射图像Pic′DR；将亮度图像PicDL采用训练好的深度增强网络进行增强，得到亮度增强图像Pic′DL；根据反射图像Pic′DR和亮度增强图像Pic′DL生成第二增强图像Pic′D；
将第二增强图像Pic′D与第一增强图像Pic′进行融合，得到最终的增强图像PicE。
2.根据权利要求1所述的图像增强方法，其特征在于，采用反向传播和随机梯度下降法计算第一损失函数的最优值，得到深度分解网络的参数Wd。
3.根据权利要求1所述的图像增强方法，其特征在于，所述第一损失函数系数α＝0.7，β＝0.3。
4.根据权利要求1所述的图像增强方法，其特征在于，待处理的低光照图像Pic的派生图PicD采用基于加权分布的自适应伽马校正AGCWD算法得到。
5.根据权利要求1所述的图像增强方法，其特征在于，待处理的低光照图像Pic的派生图PicD为对数直方图均衡变换派生图，生成步骤包括：
生成Pic的直方图p(i)，并进行归一化：
Figure FDA0002675356110000031
对归一化后的图像直方图T(p(i))进行对数变换：H(i)＝ln(T(p(i))+1)；
图像对数直方图均衡变换为：
Figure FDA0002675356110000032
其中k∈[lmin,lmax]，lmin,lmax分别为图像Pic亮度分量最小值和最大值；
对Pic的每个像素采用上述步骤进行亮度变换，得到Pic的对数直方图均值变换派生图PicD。
6.基于派生图和Retinex的深度网络图像增强系统，其特征在于，包括：
深度分解网络构建和训练模块(1)，用于构建深度分解网络，并利用深度分解网络训练样本集对所述深度分解网络进行训练；所述深度分解网络包括正常光照图像分解分支和低光照图像分解分支，所述正常光照图像分解分支用于将输入的正常光照图像分解为正常光照反射图像和正常光照亮度图像；所述低光照图像分解分支用于将输入的低光照图像分解为低光照反射图像和低光照亮度图像；
所述正常光照图像分解分支和低光照图像分解分支的结构和参数都相同，均包括依次连接的第一卷积层、第二卷积子网、第三卷积层；所述第一卷积层的卷积核大小为3×3；所述第二卷积子网由5个卷积核大小为3×3的卷积层依次连接组成，每个卷积层后连接ReLU激活函数；所述第三卷积层后连接Sigmoid激活函数；
所述深度分解网络训练样本集中的样本为正常光照图像
Figure FDA0002675356110000033
和与所述正常光照图像对应的低光照图像
Figure FDA0002675356110000034
将所述样本中的正常光照图像输入深度分解网络中的正常光照图像分解分支，将所述样本中的低光照图像输入深度分解网络中的低光照图像分解分支，对所述深度分解网络进行训练；
所述训练为通过最小化第一损失函数优化深度分解网络的参数Wd，所述第一损失函数为：
Figure FDA0002675356110000041
其中Snum为深度分解网络训练样本对的数量，Fd表示深度分解网络的ReLU激活函数；||·||2为2范数运算符，||·||1为1范数运算符；α,β为第一损失函数系数；
深度增强网络构建和训练模块(2)，用于构建深度增强网络，并利用深度增强网络训练样本集对所述深度增强网络进行训练；所述深度增强网络用于对输入的低光照图像的亮度图像进行增强，其结构为依次连接的第四卷积子网，第五卷积子网、第六连接子网；所述第四卷积子网包括多层卷积层，每个卷积层后连接ReLU激励函数；所述第五卷积子网包括多层卷积层，每个卷积层前连接尺寸调整函数，每个卷积层后连接ReLU激活函数；所述第六连接子网包括依次连接的一个连接层、一个1*1卷积层和一个卷积层；
所述深度增强网络训练样本集中的样本为深度分解网络训练样本集中的样本采用训练好的深度分解网络进行分解，得到的正常光照亮度图像
Figure FDA0002675356110000042
和低光照亮度图像
Figure FDA0002675356110000043
构成图像对；
对深度增强网络的训练为通过最小化第二损失函数优化深度增强网络的参数We，所述第二损失函数为：
Figure FDA0002675356110000044
其中Tnum为深度增强网络训练样本对的数量，Fe表示深度增强网络的ReLU激活函数，α′,β′为第二损失函数系数；
快速均值滤波模块(3)，用于对反射图像进行快速均值滤波；
派生图生成模块(4)，用于生成待处理的低光照图像Pic的派生图PicD；
第一图像生成模块(5)，用于根据快速均值滤波模块(3)输出的反射图像和深度增强网络输出的亮度增强图像生成第一增强图像和第二增强图像；
第二图像融合模块(6)，用于将第一图像生成模块(5)生成的第一增强图像和第二增强图像进行融合。
CN202010156373.3A 2020-03-09 2020-03-09 基于派生图和Retinex的深度网络图像增强方法和系统 Active CN111489321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010156373.3A CN111489321B (zh) 2020-03-09 2020-03-09 基于派生图和Retinex的深度网络图像增强方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010156373.3A CN111489321B (zh) 2020-03-09 2020-03-09 基于派生图和Retinex的深度网络图像增强方法和系统

Publications (2)

Publication Number Publication Date
CN111489321A CN111489321A (zh) 2020-08-04
CN111489321B true CN111489321B (zh) 2020-11-03

Family

ID=71794390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010156373.3A Active CN111489321B (zh) 2020-03-09 2020-03-09 基于派生图和Retinex的深度网络图像增强方法和系统

Country Status (1)

Country Link
CN (1) CN111489321B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001863B (zh) * 2020-08-28 2023-06-16 太原科技大学 一种基于深度学习的欠曝光图像恢复方法
CN114943652A (zh) * 2022-04-19 2022-08-26 西北工业大学 低照度遥感图像的高动态重建方法及装置
CN115760630A (zh) * 2022-11-26 2023-03-07 南京林业大学 一种低照度图像增强方法
CN116128768B (zh) * 2023-04-17 2023-07-11 中国石油大学(华东) 一种带有去噪模块的无监督图像低照度增强方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780392B (zh) * 2016-12-27 2020-10-02 浙江大华技术股份有限公司 一种图像融合方法及装置
CN108764250B (zh) * 2018-05-02 2021-09-17 西北工业大学 一种运用卷积神经网络提取本质图像的方法
CN108737750A (zh) * 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
CN109816608B (zh) * 2019-01-22 2020-09-18 北京理工大学 一种基于噪声抑制的低照度图像自适应亮度增强方法
CN110503617B (zh) * 2019-08-29 2022-09-30 大连海事大学 一种基于高、低频信息融合的水下图像增强方法

Also Published As

Publication number Publication date
CN111489321A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN111489321B (zh) 基于派生图和Retinex的深度网络图像增强方法和系统
Al‐Ameen Nighttime image enhancement using a new illumination boost algorithm
CN112614077B (zh) 一种基于生成对抗网络的非监督低照度图像增强方法
Liu et al. Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives
CN113129236B (zh) 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统
CN113658057B (zh) 一种Swin Transformer微光图像增强方法
CN114066747B (zh) 一种基于光照和反射互补性的低照度图像增强方法
CN115223004A (zh) 基于改进的多尺度融合生成对抗网络图像增强方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
Zhu et al. Underwater image enhancement based on colour correction and fusion
CN115880663A (zh) 一种低照度环境交通标志检测与识别方法
CN115457249A (zh) 红外图像与可见光图像融合匹配的方法及系统
CN112102186A (zh) 一种水下视频图像实时增强方法
CN115797205A (zh) 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统
CN116188339A (zh) 一种基于Retinex及图像融合的暗视觉图像增强方法
CN116993616A (zh) 一种单幅低照度场景图像增强方法及增强系统
Zhuang et al. Image enhancement by deep learning network based on derived image and retinex
Kumar et al. Underwater image enhancement using deep learning
Zhou et al. Low illumination image enhancement based on multi-scale CycleGAN with deep residual shrinkage
CN115147311B (zh) 基于HSV与AM-RetinexNet图像增强方法
Lv et al. Low‐light image haze removal with light segmentation and nonlinear image depth estimation
CN115661012A (zh) 一种基于全局-局部聚合学习的多曝光图像融合系统
CN114638764A (zh) 基于人工智能的多曝光图像融合方法及系统
Li et al. SE–RWNN: an synergistic evolution and randomly wired neural network‐based model for adaptive underwater image enhancement
Zhao et al. RISSNet: Retain low‐light image details and improve the structural similarity net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 223400 Eighth Floor, Andong Building, No. 10 Haian Road, Lianshui County, Huaian City, Jiangsu Province

Patentee after: HUAIYIN INSTITUTE OF TECHNOLOGY

Address before: While the economic and Technological Development Zone of Jiangsu Province, Huaian City, 223003 East Road No. 1

Patentee before: HUAIYIN INSTITUTE OF TECHNOLOGY

CP02 Change in the address of a patent holder
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200804

Assignee: LIANSHUI JINZE ELECTRONIC TECHNOLOGY Co.,Ltd.

Assignor: HUAIYIN INSTITUTE OF TECHNOLOGY

Contract record no.: X2021980013469

Denomination of invention: Depth network image enhancement method and system based on derived graph and Retinex

Granted publication date: 20201103

License type: Common License

Record date: 20211130

EE01 Entry into force of recordation of patent licensing contract
TR01 Transfer of patent right

Effective date of registration: 20221223

Address after: Room 309, Building D, Suzhou Hi tech Entrepreneurship Service Center, Jiangsu 215600

Patentee after: ZHANGJIAGANG QIANHE INTERNET TECHNOLOGY Co.,Ltd.

Address before: 223400 8th floor, Anton building, 10 Haian Road, Lianshui, Huaian, Jiangsu

Patentee before: HUAIYIN INSTITUTE OF TECHNOLOGY

TR01 Transfer of patent right