CN111489321A - 基于派生图和Retinex的深度网络图像增强方法和系统 - Google Patents
基于派生图和Retinex的深度网络图像增强方法和系统 Download PDFInfo
- Publication number
- CN111489321A CN111489321A CN202010156373.3A CN202010156373A CN111489321A CN 111489321 A CN111489321 A CN 111489321A CN 202010156373 A CN202010156373 A CN 202010156373A CN 111489321 A CN111489321 A CN 111489321A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- pic
- decomposition
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000005286 illumination Methods 0.000 claims abstract description 125
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 109
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 230000002708 enhancing effect Effects 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 62
- 230000004913 activation Effects 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 230000005284 excitation Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- MWGATWIBSKHFMR-UHFFFAOYSA-N 2-anilinoethanol Chemical compound OCCNC1=CC=CC=C1 MWGATWIBSKHFMR-UHFFFAOYSA-N 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 108091007551 scavenger receptor class L Proteins 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于派生图和Retinex的深度网络图像增强方法和系统。其中图像增强方法利用深度分解网络将输入图像分解为反射图像和亮度图像，采用深度增强图像对输入图像的亮度图像进行增强；同时，采用快速均值滤波对输入图像的反射图像进行处理，去除输入图像中的噪声；此外，对输入图像对比度低、整体亮度低、暗区细节模糊的问题，采用生成派生图进行处理；最后采用融合策略将派生图、滤波后的反射图像、增强后的亮度图像进行融合，得到输入的低亮度图像的增强图像。该方法将浅层的图像派生图和深度学习网络得到的深层增强图进行融合，实现对低光照图像的增强。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于派生图和Retinex的深度网络图像增强方法，以及应用该方法的图像增强系统。
背景技术
近年来，随着图像增强技术在医学领域、智能交通、智能身份认证和卫星遥感成像等诸多关系国计民生的领域越来越广泛的应用，推动了图像增强领域技术和方法的不断进步。针对弱光照条件下采集到的图像对比度低，整体亮度偏低和暗区域细节模糊等问题，我们可以采用基于深度学习的图像增强方法。采用浅层图像增强方法获取弱光照条件下的图像派生图，利用深度卷积神经网络对光照分量进行训练学习，通过训练学习低光照图像和正常光照图像之间的亮度分量，获取端到端的映射关系，实现经深度增强网络的图像增强。
近年来，出现了一些基于深度学习的图像增强算法，深度学习算法不仅具有更加强大的学习能力，而且其在自动特征提取上也具有显著的特征表达能力。传统的图像增强算法对先验知识具有较强的依赖性，获取图像特征需要根据图像成像的特点或者复杂的数学公式推理来完成。与传统算法相比，深度学习算法在特征提取过程中，不需依赖基于手工设计的算法，可以直接端对端的训练和得到输出结果。虽然深度学习算法在特征提取和数学建模上较传统方法有明显的优势，但是目前利用深度学习方法对图像增强仍然存在一些问题，主要表现在：深度学习方法图像增强训练数据集缺乏，目前没有包含弱光照和与之对应的正常光照图像公共数据集，导致训练数据集不统一。此外，部分深度模型对不同场景下图像增强的鲁棒性较差，如何有效对不同场景下采集的光照不均匀图像进行有效增强，尚存在诸多难点和挑战。
发明内容
发明目的：本发明旨在提供一种图像增强方法，该方法将浅层的图像派生图和深度学习网络得到的深层增强图进行融合，实现对低光照图像的增强。
技术方案：本发明一方面公开了一种基于派生图和Retinex的深度网络图像增强方法，包括训练阶段和增强阶段，所述训练阶段的步骤包括：
(1)构建深度分解网络，所述深度分解网络包括正常光照图像分解分支和低光照图像分解分支，所述正常光照图像分解分支用于将输入的正常光照图像分解为正常光照反射图像和正常光照亮度图像；所述低光照图像分解分支用于将输入的低光照图像分解为低光照反射图像和低光照亮度图像；
所述正常光照图像分解分支和低光照图像分解分支的结构和参数都相同，均包括依次连接的第一卷积层、第二卷积子网、第三卷积层；所述第一卷积层的卷积核大小为3×3；所述第二卷积子网由5个卷积核大小为3×3的卷积层依次连接组成，每个卷积层后连接ReLU激活函数；所述第三卷积层后连接Sigmoid激活函数；
(2)建立深度分解网络训练样本集，所述深度分解网络训练样本集中的样本为正常光照图像
和与所述正常光照图像对应的低光照图像
将所述样本中的正常光照图像输入深度分解网络中的正常光照图像分解分支，将所述样本中的低光照图像输入深度分解网络中的低光照图像分解分支，对所述深度分解网络进行训练；
所述训练为通过最小化第一损失函数优化深度分解网络的参数Wd，所述第一损失函数为：
其中Snum为深度分解网络训练样本对的数量，Fd表示深度分解网络的ReLU激活函数；||·||2为2范数运算符，||·||1为1范数运算符；α,β为第一损失函数系数，本发明中α＝0.7，β＝0.3；
(3)构建深度增强网络，所述深度增强网络用于对输入的低光照图像的亮度图像进行增强，其结构为依次连接的第四卷积子网，第五卷积子网、第六连接子网；所述第四卷积子网包括多层卷积层，每个卷积层后连接ReLU激活函数；所述第五卷积子网包括多层卷积层，每个卷积层前连接尺寸调整函数，每个卷积层后连接ReLU激励函数；所述第六连接子网包括依次连接的一个连接层、一个1*1卷积层和一个卷积层；
(4)将深度分解网络训练样本集中的样本采用训练好的深度分解网络进行分解，得到的正常光照亮度图像
和低光照亮度图像
构成图像对，对深度增强网络进行训练；所述训练为通过最小化第二损失函数优化深度增强网络的参数We，所述第二损失函数为：
其中Tnum为深度增强网络训练样本对的数量，Fe表示深度增强网络的ReLU激活函数，α′,β′为第二损失函数系数；
所述增强阶段的步骤包括：
待处理的低光照图像Pic采用深度分解网络的低光照图像分解分支进行分解，得到反射图像PicR和亮度图像PicL；
将反射图像PicR采用快速均值滤波进行去噪，得到滤波后的反射图像Pic′R；
将亮度图像PicL采用训练好的深度增强网络进行增强，得到亮度增强图像Pic′L；
根据反射图像Pic′R和亮度增强图像Pic′L生成第一增强图像Pic′；
生成待处理的低光照图像Pic的派生图PicD，PicD采用深度分解网络的低光照图像分解分支进行分解，得到反射图像PicDR和亮度图像PicDL；将反射图像PicDR采用快速均值滤波进行去噪，得到滤波后的反射图像Pic′DR；将亮度图像PicDL采用训练好的深度增强网络进行增强，得到亮度增强图像Pic′DL；根据反射图像Pic′DR和亮度增强图像Pic′DL生成第二增强图像Pic′D；
第二增强图像Pic′D与第一增强图像Pic′进行融合，得到最终的增强图像PicE。
本发明采用反向传播和随机梯度下降法计算第一损失函数的最优值，得到深度分解网络的参数Wd。
本发明采用AGCWD算法或对数直方图均衡变换得到待处理的低光照图像的派生图。
另一方面，本发明还公开了实现上述图像增强方法的系统，包括：
深度分解网络构建和训练模块(1)，用于构建深度分解网络，并利用深度分解网络训练样本集对所述深度分解网络进行训练；
深度增强网络构建和训练模块(2)，用于构建深度增强网络，并利用深度增强网络训练样本集对所述深度增强网络进行训练；
快速均值滤波模块(3)，用于对反射图像进行快速均值滤波；
派生图生成模块(4)，用于生成待处理的低光照图像Pic的派生图PicD；
第一图像生成模块(5)，用于根据快速均值滤波模块(3)输出的反射图像和深度增强网络输出的亮度增强图像生成第一增强图像和第二增强图像；
第二图像融合模块(6)，用于将第一图像生成模块(5)生成的第一增强图像和第二增强图像进行融合。
有益效果：本发明公开的基于派生图和Retinex的深度网络图像增强方法将图像派生图和深度学习网络相结合，通过深度卷积神经网络对光照图像进行增强，结合图像派生图这样的浅层图像增强，最终实现对低光照图像的增强。
附图说明
图1为深度分解网络的结构示意图；
图2为深度增强网络的结构示意图；
图3为增强阶段的步骤示意图；
图4为本发明公开的图像增强系统的组成示意图；
图5为Girl图像各图像增强方法结果对照示意图；
图6为Frontface图像各图像增强方法结果对照示意图；
图7为Cloudy图像各图像增强方法结果对照示意图；
图8为Night图像各图像增强方法结果对照示意图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
本发明公开了一种基于派生图和Retinex的深度网络图像增强方法，包括训练阶段和增强阶段，训练阶段的步骤包括：
(1)构建深度分解网络，如图1所示，深度分解网络包括正常光照图像分解分支101和低光照图像分解分支102，所述正常光照图像分解分支101用于将输入的正常光照图像分解为正常光照反射图像和正常光照亮度图像；所述低光照图像分解分支102用于将输入的低光照图像分解为低光照反射图像和低光照亮度图像；
所述正常光照图像分解分支和低光照图像分解分支的结构和参数都相同，均包括依次连接的第一卷积层1A、第二卷积子网1B、第三卷积层1C；所述第一卷积层1A的卷积核大小为3×3；所述第二卷积子网1B由5个卷积核大小为3×3的卷积层依次连接组成，每个卷积层后连接ReLU激活函数；所述第三卷积层1C后连接Sigmoid激活函数；
(2)建立深度分解网络训练样本集，所述深度分解网络训练样本集中的样本为正常光照图像
和与所述正常光照图像对应的低光照图像
将所述样本中的正常光照图像输入深度分解网络中的正常光照图像分解分支，将所述样本中的低光照图像输入深度分解网络中的低光照图像分解分支，对所述深度分解网络进行训练；深度分解网络从成对的低光照和正常光照图像中自动学校描述不同光照条件下图像光照变化规律。
训练过程为通过最小化第一损失函数优化深度分解网络的参数Wd，所述第一损失函数为：
其中Snum为深度分解网络训练样本对的数量，Fd表示深度分解网络的ReLU激活函数；||·||2为2范数运算符，||·||1为1范数运算符；α,β为第一损失函数系数，本实施例中，α＝0.7，β＝0.3；本发明采用反向传播和随机梯度下降法计算第一损失函数的最优值，得到深度分解网络的参数Wd。
(3)构建深度增强网络，如图2所示，深度增强网络201用于对输入的低光照图像的亮度图像进行增强，其结构为依次连接的第四卷积子网2A，第五卷积子网2B、第六连接子网2C；所述第四卷积子网2A包括多层卷积层，每个卷积层后连接ReLU激励函数；所述第五卷积子网2B包括多层卷积层，每个卷积层前连接尺寸调整函数，每个卷积层后连接ReLU激活函数；所述第六连接子网2C包括依次连接的一个连接层、一个1*1卷积层和一个卷积层；
(4)将深度分解网络训练样本集中的样本采用训练好的深度分解网络进行分解，得到的正常光照亮度图像
和低光照亮度图像
构成图像对，对深度增强网络进行训练；深度增强网络对低光照图像的亮度分量进行增强，使之与正常光照图像的亮度分量误差最小，达到图像增强的效果。由此，训练过程为通过最小化第二损失函数优化深度增强网络的参数We，所述第二损失函数为：
其中Tnum为深度增强网络训练样本对的数量，Fe表示深度增强网络的ReLU激活函数，α′,β′为第二损失函数系数；同深度分解网络，本实施例中，α′＝0.7，β′＝0.3，采用反向传播和随机梯度下降法计算第二损失函数的最优值，得到深度增强网络的参数We。深度增强网络对低光照图像的亮度分量进行增强，使之与正常光照图像的亮度分量误差最小，达到图像增强的效果。
如图3所示，增强阶段的步骤包括：
待处理的低光照图像Pic采用深度分解网络的低光照图像分解分支102进行分解，得到反射图像PicR和亮度图像PicL；
将反射图像PicR采用快速均值滤波进行去噪，以去除图像本身含有的噪声分量，得到滤波后的反射图像Pic′R；
将亮度图像PicL采用训练好的深度增强网络进行增强，得到亮度增强图像Pic′L；
根据反射图像Pic′R和亮度增强图像Pic′L生成第一增强图像Pic′；本实施例中，采用朗伯反射模型根据Pic′R和Pic′L生成彩色图像。
生成待处理的低光照图像Pic的派生图PicD，PicD采用深度分解网络的低光照图像分解分支进行分解，得到反射图像PicDR和亮度图像PicDL；将反射图像PicDR采用快速均值滤波进行去噪，得到滤波后的反射图像Pic′DR；将亮度图像PicDL采用训练好的深度增强网络进行增强，得到亮度增强图像Pic′DL；根据反射图像Pic′DR和亮度增强图像Pic′DL生成第二增强图像Pic′D；
第二增强图像Pic′D与第一增强图像Pic′进行融合，得到最终的增强图像PicE。
本实施例中，采用像素值按比例相加的方式进行融合，具体是增强图像PicE中的像素值为Pic′D和Pic′对应位置上的像素值按3:7的比例相加得到。
Pic的派生图可以采用AGCWD算法得到，也可以采用对数直方图均衡变换得到。采用基于加权分布的自适应伽马校正(AGCWD)方法，通过灰度校正和亮度像素的概率分布来提升图像的对比度，提高图像中弱光照区域的亮度，并可以有效避免生成伪影或扭曲颜色。
对数直方图均衡化变换可以有效的较少图像灰度的像素差，较好的保持原始图像的直方图分布的自然性。采用对数直方图均衡变换得到派生图的步骤包括：
生成Pic的直方图p(i)，并进行归一化：
对归一化后的图像直方图T(p(i))进行对数变换：H(i)＝ln(Tp(i)+1)；
图像对数直方图均衡变换为：
其中k∈[lmin,lmax]，lmin,lmax分别为图像Pic亮度分量最小值和最大值；
对Pic的每个像素采用上述步骤进行亮度变换，得到Pic的对数直方图均值变换派生图PicD。
本实施例还公开了实现上述图像增强方法的系统，如图4所示，包括：
深度分解网络构建和训练模块(1)，用于构建深度分解网络，并利用深度分解网络训练样本集对所述深度分解网络进行训练；
深度增强网络构建和训练模块(2)，用于构建深度增强网络，并利用深度增强网络训练样本集对所述深度增强网络进行训练；
快速均值滤波模块(3)，用于对反射图像进行快速均值滤波；
派生图生成模块(4)，用于生成待处理的低光照图像Pic的派生图PicD；
第一图像生成模块(5)，用于根据快速均值滤波模块(3)输出的反射图像和深度增强网络输出的亮度增强图像生成第一增强图像和第二增强图像；
第二图像融合模块(6)，用于将第一图像生成模块(5)生成的第一增强图像和第二增强图像进行融合。
本实施例中，采用Windows 10操作系统，用MATLAB R2016a作为软件平台。计算机的主要配置为Intel(R)Core(TM)i7-4712MQ CPU@3.40GHz(with 32G memory)，带有TITANGPU(12.00GB memory)。
目前，在图像增强领域，还没有弱光照图像和其对应正常光照图像一一对应的数据集。鉴于此情况，本实施例利用正常光照图像，通过数学变换得到其对应的弱光照图像来构建样本图像对。首先，在常用的图像增强公共数据集[DIP3/e Book Images，Caltechfaces 1999dataset，NASA release images和Extended Yale B+]和互联网上挑选出600张正常光照图像；然后，将正常光照图像转换至HSV(Hue Saturation Value)空间，仅对图像V分量做伽马变换，得到弱光照图像的V分量，即Vdark：Vdark＝cVγ，本实施例取c＝0.9，γ＝3.0；用Vdark替换V并将图像转换至RGB空间得到弱光照图像。
本实施例采用上述样本图像对构成的数据集训练深度分解网络和深度学习网络。本发明公开的图像增强方法与MSRCR、CLAHE、AGCWD、NPEA、LIME和SRLIE这六种图像增强方法进行比较，结果如图5-8所示。其中图5-8中的(a)均为原始低光照图像，(b)-(g)分别为采用MSRCR、CLAHE、AGCWD、NPEA、LIME和SRLIE这六种图像增强方法对原始低光照图像进行增加的结果，(h)为采用本发明公开的图像增强方法对原始低光照图像进行增加的结果。
本实施例通过三个质量度量来评估本发明公开的图像增强方法和其他六种图像增强方法的效果，包括：峰值信噪比(PSNR)、均方根对比度(rms)和离散信息熵(DE)，结果如表1-表3所示。
表1测试图像的PSNR计算值对比
表2测试图像的DE计算值对比
表3测试图像的rms计算值对比
综上所述，通过对Girl、Frontface、Cloudy和Night这4幅测试图像的性能测试表明，与较为先进的图像增强算法相比，本发明所提图像增强方法，可以取得较好的图像增强结果。
为了进一步验证本专利所提算法的性能，对取自DIP3/e Book Images,Caltechfaces 1999dataset,NASA release images库中的60幅低照度图像进行测试，利用DE值、PSNR值和rms值三个目标评价函数对本发明所提图像增强方法及其他比较算法进行评价。表4给出了60幅测试图像在不同增强算法下定量计算的平均值和标准偏差。
表460幅测试图像性能分析计算结果(平均值±标准偏差)
Claims (6)
1.基于派生图和Retinex的深度网络图像增强方法，其特征在于，包括训练阶段和增强阶段，所述训练阶段的步骤包括：
(1)构建深度分解网络，所述深度分解网络包括正常光照图像分解分支和低光照图像分解分支，所述正常光照图像分解分支用于将输入的正常光照图像分解为正常光照反射图像和正常光照亮度图像；所述低光照图像分解分支用于将输入的低光照图像分解为低光照反射图像和低光照亮度图像；
所述正常光照图像分解分支和低光照图像分解分支的结构和参数都相同，均包括依次连接的第一卷积层、第二卷积子网、第三卷积层；所述第一卷积层的卷积核大小为3×3；所述第二卷积子网由5个卷积核大小为3×3的卷积层依次连接组成，每个卷积层后连接ReLU激活函数；所述第三卷积层后连接Sigmoid激活函数；
(2)建立深度分解网络训练样本集，所述深度分解网络训练样本集中的样本为正常光照图像
和与所述正常光照图像对应的低光照图像
将所述样本中的正常光照图像输入深度分解网络中的正常光照图像分解分支，将所述样本中的低光照图像输入深度分解网络中的低光照图像分解分支，对所述深度分解网络进行训练；
所述训练为通过最小化第一损失函数优化深度分解网络的参数Wd，所述第一损失函数为：
其中Snum为深度分解网络训练样本对的数量，Fd表示深度分解网络的ReLU激活函数；||·||2为2范数运算符，||·||1为1范数运算符；α,β为第一损失函数系数；
(3)构建深度增强网络，所述深度增强网络用于对输入的低光照图像的亮度图像进行增强，其结构为依次连接的第四卷积子网，第五卷积子网、第六连接子网；所述第四卷积子网包括多层卷积层，每个卷积层后连接ReLU激活函数；所述第五卷积子网包括多层卷积层，每个卷积层前连接尺寸调整函数，每个卷积层后连接ReLU激励函数；所述第六连接子网包括依次连接的一个连接层、一个1*1卷积层层和一个卷积层；
(4)将深度分解网络训练样本集中的样本采用训练好的深度分解网络进行分解，得到的正常光照亮度图像
和低光照亮度图像
构成图像对，对深度增强网络进行训练；所述训练为通过最小化第二损失函数优化深度增强网络的参数We，所述第二损失函数为：
其中Tnum为深度增强网络训练样本对的数量，Fe表示深度增强网络的ReLU激活函数，α′,β′为第二损失函数系数；
所述增强阶段的步骤包括：
待处理的低光照图像Pic采用深度分解网络的低光照图像分解分支进行分解，得到反射图像PicR和亮度图像PicL；
将反射图像PicR采用快速均值滤波进行去噪，得到滤波后的反射图像Pic′R；
将亮度图像PicL采用训练好的深度增强网络进行增强，得到亮度增强图像Pic′L；
根据反射图像Pic′R和亮度增强图像Pic′L生成第一增强图像Pic′；
生成待处理的低光照图像Pic的派生图PicD，PicD采用深度分解网络的低光照图像分解分支进行分解，得到反射图像PicDR和亮度图像PicDL；将反射图像PicDR采用快速均值滤波进行去噪，得到滤波后的反射图像Pic′DR；将亮度图像PicDL采用训练好的深度增强网络进行增强，得到亮度增强图像Pic′DL；根据反射图像Pic′DR和亮度增强图像Pic′DL生成第二增强图像Pic′D；
将第二增强图像Pic′D与第一增强图像Pic′进行融合，得到最终的增强图像PicE。
2.根据权利要求1所述的图像增强方法，其特征在于，采用反向传播和随机梯度下降法计算第一损失函数的最优值，得到深度分解网络的参数Wd。
3.根据权利要求1所述的图像增强方法，其特征在于，所述第一损失函数系数α＝0.7，β＝0.3。
4.根据权利要求1所述的图像增强方法，其特征在于，待处理的低光照图像Pic的派生图PicD采用AGCWD算法得到。
5.根据权利要求1所述的图像增强方法，其特征在于，待处理的低光照图像Pic的派生图PicD为对数直方图均衡变换派生图，生成步骤包括：
生成Pic的直方图p(i)，并进行归一化：
对归一化后的图像直方图T(p(i))进行对数变换：H(i)＝ln(Tp(i)+1)；
图像对数直方图均衡变换为：
其中k∈[lmin,lmax]，lmin,lmax分别为图像Pic亮度分量最小值和最大值；
对Pic的每个像素采用上述步骤进行亮度变换，得到Pic的对数直方图均值变换派生图PicD。
6.基于派生图和Retinex的深度网络图像增强系统，其特征在于，包括：
深度分解网络构建和训练模块(1)，用于构建深度分解网络，并利用深度分解网络训练样本集对所述深度分解网络进行训练；所述深度分解网络包括正常光照图像分解分支和低光照图像分解分支，所述正常光照图像分解分支用于将输入的正常光照图像分解为正常光照反射图像和正常光照亮度图像；所述低光照图像分解分支用于将输入的低光照图像分解为低光照反射图像和低光照亮度图像；
所述正常光照图像分解分支和低光照图像分解分支的结构和参数都相同，均包括依次连接的第一卷积层、第二卷积子网、第三卷积层；所述第一卷积层的卷积核大小为3×3；所述第二卷积子网由5个卷积核大小为3×3的卷积层依次连接组成，每个卷积层后连接ReLU激活函数；所述第三卷积层后连接Sigmoid激活函数；
所述深度分解网络训练样本集中的样本为正常光照图像
和与所述正常光照图像对应的低光照图像
将所述样本中的正常光照图像输入深度分解网络中的正常光照图像分解分支，将所述样本中的低光照图像输入深度分解网络中的低光照图像分解分支，对所述深度分解网络进行训练；
所述训练为通过最小化第一损失函数优化深度分解网络的参数Wd，所述第一损失函数为：
其中Snum为深度分解网络训练样本对的数量，Fd表示深度分解网络的ReLU激活函数；||·||2为2范数运算符，||·||1为1范数运算符；α,β为第一损失函数系数；
深度增强网络构建和训练模块(2)，用于构建深度增强网络，并利用深度增强网络训练样本集对所述深度增强网络进行训练；所述深度增强网络用于对输入的低光照图像的亮度图像进行增强，其结构为依次连接的第四卷积子网，第五卷积子网、第六连接子网；所述第四卷积子网包括多层卷积层，每个卷积层后连接ReLU激励函数；所述第五卷积子网包括多层卷积层，每个卷积层前连接尺寸调整函数，每个卷积层后连接ReLU激活函数；所述第六连接子网包括依次连接的一个连接层、一个1*1卷积层和一个卷积层；
所述深度增强网络训练样本集中的样本为深度分解网络训练样本集中的样本采用训练好的深度分解网络进行分解，得到的正常光照亮度图像
和低光照亮度图像
构成图像对；
对深度增强网络的训练为通过最小化第二损失函数优化深度增强网络的参数We，所述第二损失函数为：
其中Tnum为深度增强网络训练样本对的数量，Fe表示深度增强网络的ReLU激活函数，α′,β′为第二损失函数系数；
快速均值滤波模块(3)，用于对反射图像进行快速均值滤波；
派生图生成模块(4)，用于生成待处理的低光照图像Pic的派生图PicD；
第一图像生成模块(5)，用于根据快速均值滤波模块(3)输出的反射图像和深度增强网络输出的亮度增强图像生成第一增强图像和第二增强图像；
第二图像融合模块(6)，用于将第一图像生成模块(5)生成的第一增强图像和第二增强图像进行融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010156373.3A CN111489321B (zh) | 2020-03-09 | 2020-03-09 | 基于派生图和Retinex的深度网络图像增强方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010156373.3A CN111489321B (zh) | 2020-03-09 | 2020-03-09 | 基于派生图和Retinex的深度网络图像增强方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111489321A true CN111489321A (zh) | 2020-08-04 |
| CN111489321B CN111489321B (zh) | 2020-11-03 |
Family
ID=71794390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010156373.3A Active CN111489321B (zh) | 2020-03-09 | 2020-03-09 | 基于派生图和Retinex的深度网络图像增强方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111489321B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001863A (zh) * | 2020-08-28 | 2020-11-27 | 太原科技大学 | 一种基于深度学习的欠曝光图像恢复方法 |
| CN115760630A (zh) * | 2022-11-26 | 2023-03-07 | 南京林业大学 | 一种低照度图像增强方法 |
| CN116128768A (zh) * | 2023-04-17 | 2023-05-16 | 中国石油大学(华东) | 一种带有去噪模块的无监督图像低照度增强方法 |
| WO2023201876A1 (zh) * | 2022-04-19 | 2023-10-26 | 西北工业大学 | 低照度遥感图像的高动态重建方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780392A (zh) * | 2016-12-27 | 2017-05-31 | 浙江大华技术股份有限公司 | 一种图像融合方法及装置 |
| CN108764250A (zh) * | 2018-05-02 | 2018-11-06 | 西北工业大学 | 一种运用卷积神经网络提取本质图像的方法 |
| CN109816608A (zh) * | 2019-01-22 | 2019-05-28 | 北京理工大学 | 一种基于噪声抑制的低照度图像自适应亮度增强方法 |
| CN110503617A (zh) * | 2019-08-29 | 2019-11-26 | 大连海事大学 | 一种基于高、低频信息融合的水下图像增强方法 |
| US20190378247A1 (en) * | 2018-06-07 | 2019-12-12 | Beijing Kuangshi Technology Co., Ltd. | Image processing method, electronic device and non-transitory computer-readable recording medium |
-
2020
- 2020-03-09 CN CN202010156373.3A patent/CN111489321B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780392A (zh) * | 2016-12-27 | 2017-05-31 | 浙江大华技术股份有限公司 | 一种图像融合方法及装置 |
| CN108764250A (zh) * | 2018-05-02 | 2018-11-06 | 西北工业大学 | 一种运用卷积神经网络提取本质图像的方法 |
| US20190378247A1 (en) * | 2018-06-07 | 2019-12-12 | Beijing Kuangshi Technology Co., Ltd. | Image processing method, electronic device and non-transitory computer-readable recording medium |
| CN109816608A (zh) * | 2019-01-22 | 2019-05-28 | 北京理工大学 | 一种基于噪声抑制的低照度图像自适应亮度增强方法 |
| CN110503617A (zh) * | 2019-08-29 | 2019-11-26 | 大连海事大学 | 一种基于高、低频信息融合的水下图像增强方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001863A (zh) * | 2020-08-28 | 2020-11-27 | 太原科技大学 | 一种基于深度学习的欠曝光图像恢复方法 |
| CN112001863B (zh) * | 2020-08-28 | 2023-06-16 | 太原科技大学 | 一种基于深度学习的欠曝光图像恢复方法 |
| WO2023201876A1 (zh) * | 2022-04-19 | 2023-10-26 | 西北工业大学 | 低照度遥感图像的高动态重建方法及装置 |
| CN115760630A (zh) * | 2022-11-26 | 2023-03-07 | 南京林业大学 | 一种低照度图像增强方法 |
| CN116128768A (zh) * | 2023-04-17 | 2023-05-16 | 中国石油大学(华东) | 一种带有去噪模块的无监督图像低照度增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111489321B (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111489321B (zh) | 基于派生图和Retinex的深度网络图像增强方法和系统 | |
| Al‐Ameen | Nighttime image enhancement using a new illumination boost algorithm | |
| CN112614077B (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
| Liu et al. | Underwater image enhancement method based on adaptive attenuation-curve prior | |
| Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
| CN113129236B (zh) | 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN116681636B (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
| Shutova et al. | NTIRE 2023 challenge on night photography rendering | |
| Zhu et al. | Underwater image enhancement based on colour correction and fusion | |
| CN115880663A (zh) | 一种低照度环境交通标志检测与识别方法 | |
| CN115457249A (zh) | 红外图像与可见光图像融合匹配的方法及系统 | |
| CN112102186A (zh) | 一种水下视频图像实时增强方法 | |
| Tan et al. | Low-light image enhancement with geometrical sparse representation | |
| CN114331937A (zh) | 基于反馈迭代调节的低光照条件下多源图像融合方法 | |
| Kumar et al. | Underwater Image Enhancement using deep learning | |
| US11997246B2 (en) | Trained artificial intelligence model for raw to RGB image transformation | |
| CN115147311A (zh) | 基于HSV与AM-RetinexNet图像增强方法 | |
| CN115661012A (zh) | 一种基于全局-局部聚合学习的多曝光图像融合系统 | |
| Zhou et al. | Low illumination image enhancement based on multi-scale CycleGAN with deep residual shrinkage | |
| CN114862707A (zh) | 一种多尺度特征恢复图像增强方法、装置及存储介质 | |
| CN113870162A (zh) | 一种融合光照和反射的低光图像增强方法 | |
| Li et al. | SE–RWNN: an synergistic evolution and randomly wired neural network‐based model for adaptive underwater image enhancement | |
| Zhao et al. | RISSNet: Retain low‐light image details and improve the structural similarity net | |
| Lu | Local Defogging Algorithm for Improving Visual Impact in Image Based on Multiobjective Optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: 223400 Eighth Floor, Andong Building, No. 10 Haian Road, Lianshui County, Huaian City, Jiangsu Province Patentee after: HUAIYIN INSTITUTE OF TECHNOLOGY Address before: While the economic and Technological Development Zone of Jiangsu Province, Huaian City, 223003 East Road No. 1 Patentee before: HUAIYIN INSTITUTE OF TECHNOLOGY |
|
| CP02 | Change in the address of a patent holder | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200804 Assignee: LIANSHUI JINZE ELECTRONIC TECHNOLOGY Co.,Ltd. Assignor: HUAIYIN INSTITUTE OF TECHNOLOGY Contract record no.: X2021980013469 Denomination of invention: Depth network image enhancement method and system based on derived graph and Retinex Granted publication date: 20201103 License type: Common License Record date: 20211130 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221223 Address after: Room 309, Building D, Suzhou Hi tech Entrepreneurship Service Center, Jiangsu 215600 Patentee after: ZHANGJIAGANG QIANHE INTERNET TECHNOLOGY Co.,Ltd. Address before: 223400 8th floor, Anton building, 10 Haian Road, Lianshui, Huaian, Jiangsu Patentee before: HUAIYIN INSTITUTE OF TECHNOLOGY |
|
| TR01 | Transfer of patent right |