CN111899201B - 一种基于条件重增强网络的低照度图像增强方法 - Google Patents

一种基于条件重增强网络的低照度图像增强方法 Download PDF

Info

Publication number
CN111899201B
CN111899201B CN202010826749.7A CN202010826749A CN111899201B CN 111899201 B CN111899201 B CN 111899201B CN 202010826749 A CN202010826749 A CN 202010826749A CN 111899201 B CN111899201 B CN 111899201B
Authority
CN
China
Prior art keywords
image
max
low
convolution
convolution unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010826749.7A
Other languages
English (en)
Other versions
CN111899201A (zh
Inventor
张雨
王春晖
遆晓光
张斌
闫诗雨
李青岩
李赟玺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202010826749.7A priority Critical patent/CN111899201B/zh
Publication of CN111899201A publication Critical patent/CN111899201A/zh
Application granted granted Critical
Publication of CN111899201B publication Critical patent/CN111899201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

一种基于条件重增强网络的低照度图像增强方法,属于数字图像处理领域。本发明为解决现有低照度图像增强方法中存在的无法同时处理低对比度、低亮度、噪声和颜色退化的问题。本发明提出的增强方法中包含一个条件重增强网络,该网络的输入为低照度图像及其最大值通道图像和其期望最大值通道图像,输出为最终增强图像。期望最大值通道图像在训练阶段通过对监督图像的最大值通道图像添加模糊和噪声或对低照度图像最大值通道图像做色调映射得到,在测试阶段为经过任意图像增强方法处理后的低照度图像的最大值通道图像。本发明可以显著增强低照度图像的亮度、对比度,同时去除噪声并减少颜色失真现象。本发明可以用于低照度图像的增强。

Description

一种基于条件重增强网络的低照度图像增强方法
技术领域
本发明属于数字图像处理领域,具体涉及低照度图像的增强方法。
背景技术
相机是各类无人设备的重要感知元件,然而在很多低照度环境中,如夜间、暗室等环境,所获取的图像往往存在对比度低,亮度低,噪声高,颜色退化等问题。近期基于深度学习的方法在各类图像处理任务中取得了很好的效果,目前在低照度图像增强领域中,基于深度学习的图像增强方法可以分为有监督和无监督两类。
基于深度学习的无监督图像增强方法:该类方法不需要成对的低照度图像和正常照度图像,因此在构建训练数据集时不需要投入过多的成本,且对不同环境具有很高的适应性。但是该类方法多集中在提高图像的对比度和亮度,处理结果往往存在严重的噪声和颜色失真。
基于深度学习的有监督图像增强方法:该类方法需要成对的低照度图像和正常照度图像,然而不同于检测识别等任务中可以为训练提供真实准确地监督,在低照度图像处理任务中,往往不存在真实的监督图像。一张低照度图像可以对应很多正常照度图像,难以定量的选择一张最好的图片作为监督。同时该类方法中往往需要一个超参数来将输入和输出联系起来,如引入曝光时间比、平均亮度比等作为超参。在实际测试中,由于无法自动获取超参数,需要人为调节参数,极大限制了方法的应用。
综上所述,尽管现有基于深度学习的算法在低照度图像增强方面取得了不错效果,但仍存在以下问题:有监督的训练方法存在如何选择最优参考图像和需要人为调参等两大问题,这严重限制了算法在实际场景中的应用;无监督的方法集中在增强对比度和亮度,无法很好地处理噪声和颜色失真问题,导致图像增强效果不佳。
发明内容
本发明为解决现有的低照度图像增强方法存在的需要人为选择最优监督图像和人为调参,无法同时处理低对比度、低亮度和噪声及颜色失真的问题,提出了一种基于条件重增强网络的低照度图像增强方法。
一种基于条件重增强网络的低照度图像增强方法,包括以下步骤:
将待增强低照度图像S′及其最大值通道图像S′max和其期望最大值通道图像S′expect_max合并为M*N*5的矩阵作为条件重增强网络的输入,利用训练好的条件重增强网络对低照度图像进行增强处理,获得最终增强图像E;
所述待增强低照度图像S′为M*N*3的矩阵,M为行数,N为列数,3为{r,g,b}三个颜色通道;S′max通过取三个颜色通道中的最大值得到,为M*N*1的矩阵;S′expect_max可利用任意图像增强方法对S′max进行增强后得到,或通过任意图像增强方法对S′做增强处理后取最大值通道图像得到,为M*N*1的矩阵;所获得的最终增强图像E为M*N*3的矩阵;
S′expect_max为条件重增强网络的条件,该网络可以实现对其它增强算法处理后低照度图像的重增强,进而实现同时解决低照度图像存在的低对比度、低亮度、噪声和颜色退化问题。
进一步地,所述的条件重增强网络的结构如下:
输入分别输入第一卷积层和第二卷积层,第一卷积层、第二卷积层分别为9*9的卷积层和3*3的卷积层;
第一卷积层连接第三卷积单元,所述第三卷积单元为3*3的卷积层后连接一个ReLU层;
第三卷积单元连接第四卷积单元,第四卷积单元连接第五卷积单元,第五卷积单元连接第六卷积单元,第四卷积单元、第五卷积单元、第六卷积单元均为3*3的卷积层后连接一个ReLU层;
第六卷积单元的输出与第三卷积单元的输出进行Concat操作后输入第七卷积单元,第七卷积单元为3*3的卷积层后连接一个ReLU层;
第七卷积单元的输出与第二卷积单元的输出进行Concat操作后输入第八卷积单元,第八卷积单元为1*1的卷积层后连接一个ReLU层;
第八卷积单元的输出连接第九卷积单元,第九卷积单元连接第十卷积单元,第十卷积单元连接第十一卷积单元,第九卷积单元、第十卷积单元、第十一卷积单元均为1*1的卷积层后连接一个ReLU层;
第十一卷积单元的输出输入第十二卷积层,第十二卷积层连接第十三卷积层,第十二卷积层、第十三卷积层均为3*3的卷积层;
第十三卷积层连接一个Sigmoid激活函数层;
Sigmoid激活函数层连接输出层,输出为最终增强图像E。
进一步地,所述条件重增强网络的训练过程包括以下步骤:
s1、利用低照度图像S及对应的正常照度图像H作为图像对,构建训练数据集;
低照度图像S为M*N*3的矩阵,M为行数,N为列数,3为{r,g,b}三个颜色通道;
s2、对于训练数据集中每一张低照度图像S及其对应正常照度图像H,分别提取对应的最大值通道图像,分别为Smax和Hmax;Smax和Hmax均为M*N*1的矩阵;
s3、对正常照度图像H的最大值通道图像Hmax添加模糊及噪声,或对低照度图像S的最大值通道Smax做色调映射,得到期望最大值通道图像Sexpect_max;Sexpect_max为M*N*1的矩阵;
s4、以正常照度图像H作为监督图像,将低照度图像S及最大值通道图像Smax和期望最大值通道图像Sexpect_max合并为M*N*5的矩阵作为条件重增强网络的输入,利用损失函数训练条件重增强网络,得到训练好的条件重增强网络。
进一步地,所述损失函数如下:
min||H-E||11M(H,E)+λ2P(H,E)+λ3C(H,E)+λ4T(H,E)
其中,P代表以预训练好的VGG16网络构建的感知损失函数,M、C和T分别表示结构损失、色彩损失和细节损失;λ1、λ2、λ3和λ4分别为结构损失、感知损失、色彩损失和细节损失部分的权重参数;E代表最终增强图像;结构损失具体如下:
Figure BDA0002636480160000031
其中,c取r、g、b,对应rgb颜色空间下红绿蓝三个颜色通道,Hc为正常照度图像H在rgb颜色空间下某一个通道的图像,Ec为正常照度图像E在rgb颜色空间下某一个通道的图像;
Figure BDA0002636480160000032
代表图像Hc的均值,
Figure BDA0002636480160000033
代表图像Ec的均值,
Figure BDA0002636480160000034
代表图像Hc的方差,
Figure BDA0002636480160000035
代表图像Ec的方差,
Figure BDA0002636480160000036
为图像Ec和图像Hc的协方差;k1和k2为常数参数。
色彩损失具体如下:
C(H,E)=||<H,E>||1
其中,<H,E>代表对图像H和图像E的逐个像素点的rgb通道像素值组成的3维向量取外积操作。
细节损失具体如下:
Figure BDA0002636480160000037
其中,
Figure BDA0002636480160000038
Figure BDA0002636480160000039
分别表示图像H和图像E的梯度图像,W代表归一化操作。
进一步地,k1和k2的取值分别为0.0001,0.0009。
进一步地,步骤s4所述利用损失函数训练条件重增强网络的过程包括以下步骤:
(1)使用随机裁剪的低照度图像块进行训练,图像块的大小为96*96;
(2)每次训练中随机取32个小块;
(3)使用Adam随机优化算法对网络进行训练,更新率设置为0.001。
进一步地,所述步骤s2的具体过程包括以下步骤:
步骤三一、提取低照度图像S的最大值通道图像Smax
Figure BDA0002636480160000041
其中,Smax(i,j)为最大值通道图像Smax中第i行、第j列元素;max代表取最大值操作;c取r、g、b,对应rgb颜色空间下红绿蓝三个颜色通道,Sc(i,j)为低照度图像S在rgb颜色空间下某一个通道第i行、第j列元素;
步骤三二、提取正常照度图像H的最大值通道图像Hmax
Figure BDA0002636480160000042
其中,Hmax(i,j)为最大值通道图像Hmax中第i行、第j列元素;Hc(i,j)为正常照度图像H在rgb颜色空间下某一个通道第i行、第j列元素。
进一步地,s3所述对正常照度图像H的最大值通道图像Hmax添加模糊及噪声,得到期望最大值通道图像Sexpect_max的过程包括以下步骤:
步骤四一、用大小为m*m的均值滤波器对正常照度图像H的最大值通道图像Hmax进行处理,得到添加模糊的最大值通道图像Hblur_max
步骤四二、在模糊的最大值通道图像Hblur_max上添加均值为0、方差为σN的高斯噪声,得到添加模糊和噪声的最大值通道图像Hnoise_blur_max,即为期望最大值通道图像Sexpect_max
或者,s3所述对低照度图像S的最大值通道Smax做色调映射,得到期望最大值通道图像Sexpect_max的过程包括以下步骤:
Figure BDA0002636480160000043
其中,Sexpect_max(i,j)和Smax(i,j)分别为图像Sexpect_max和图像Smax中第i行、第j列元素;Hmax(x,y)和Smax(x,y)分别为图像Hmax和图像Smax中第x行、第y列元素;Ω(i,j)为以第i行、第j列元素为中心的局部区域。
进一步地,m取值为5,σN取值为0.01。
有益效果:
本发明提出了一种基于条件重增强网络的低照度图像增强方法,训练中仅需要低照度图像和正常照度图像具有不同亮度即可,不需要精心采集和筛选监督图像,可以同时解决低照度图像的低对比度,低亮度,噪声及颜色失真问题,且不需要人为调参。同时,本发明仅需要短时间训练,且在测试和应用中表现出了很好的实时性。
附图说明
图1为具体实施方式一中的低照度图像增强的流程图;
图2为条件重增强网络结构示意图;
图3为实施例中增强图像前的原始低照度图像;
图4为实施例中最终增强图像。
具体实施方式
具体实施方式一:结合图1说明本实施方式,
一种基于条件重增强网络的低照度图像增强方法,包括以下步骤:
步骤一、基于深度学习设计条件重增强网络,条件重增强网络可以对输入低照度图像S进行增强,输出最终增强图像E;
将待增强低照度图像输入条件重增强网络;
所述的条件重增强网络的输入为低照度图像S及其最大值通道图像Smax和其期望最大值通道图像Sexpect_max,S为M*N*3的矩阵,M为行数,N为列数,3为{r,g,b}三个颜色通道,Smax通过取三个颜色通道中的最大值得到,为M*N*1的矩阵,在测试阶段,Sexpect_max可利用任意图像增强方法如直方图均衡化等对Smax进行增强后得到,或通过任意图像增强方法如直方图均衡化等对S做增强处理后取最大值通道图像得到,为M*N*1的矩阵,在训练阶段,Sexpect_max通过对监督图像的最大值通道图像添加模糊和噪声得到,仍为M*N*1的矩阵,将S和Smax及Sexpect_max合并为M*N*5的矩阵作为网络的输入;
条件重增强网络输出的图像E即为最终增强图像。
步骤二、采集一定数量的低照度图像及正常照度图像对,构建训练数据集;
步骤三、对于训练数据集中每一张低照度图像S及其对应正常照度图像H,分别提取其对应的最大值通道图像,分别为Smax和Hmax
步骤四、对正常照度图像H的最大值通道图像Hmax添加模糊及噪声,或对低照度图像S的最大值通道Smax做色调映射,得到期望最大值通道图像Sexpect_max
步骤五、以正常照度图像H作为监督图像,构建损失函数,并训练条件重增强网络;
将待增强低照度图像S′及其最大值通道图像S′max和其期望最大值通道图像Sexpect_max合并为M*N*5的矩阵作为条件重增强网络的输入,利用训练好的条件重增强网络对低照度图像进行增强处理,获得最终增强图像E;
所述待增强低照度图像S′为M*N*3的矩阵,M为行数,N为列数,3为{r,g,b}三个颜色通道;S′max通过取三个颜色通道中的最大值得到,为M*N*1的矩阵;S′expect_max可利用任意图像增强方法对S′max进行增强后得到,或通过任意图像增强方法对S′做增强处理后取最大值通道图像得到,为M*N*1的矩阵;所获得的最终增强图像E为M*N*3的矩阵。
S′expect_max为条件重增强网络的条件,该网络可以实现对其它增强算法处理后低照度图像的重增强,进而实现同时解决低照度图像存在的低对比度、低亮度、噪声和颜色退化问题。
本发明提出了一种基于条件重增强网络的低照度图像增强方法,通过引入期望最大值通道图像的方法建立了输入图像与监督图像之间的对应关系,在训练阶段避免了人为挑选最优监督图像,在测试阶段避免了人为挑选超参数;在训练过程中,通过在期望最大值通道图像上添加模糊和噪声,模拟测试过程中获取的期望最大值通道图像,解决了低照度图像中存在的噪声问题;通过有监督的训练方法保证了增强后图像的颜色真实性。
具体地说,在获取低照度图像后,可以应用本发明提高图像的对比度和亮度,同时解决增强中带来的噪声放大和颜色失真问题。本发明所提一种基于条件重增强网络的低照度图像增强方法,对训练数据要求较低,具有成本低和实时性高的特点。本发明可以应用在各类低照度成像场景中,如无人驾驶、智能安防、智慧交通及军用成像制导等场景。
具体实施方式二:结合图2说明本实施方式,
本实施方式所述一种基于条件重增强网络的低照度图像增强方法,所述条件重增强网络具体如下:
输入分别输入第一卷积层和第二卷积层,第一卷积层、第二卷积层分别为9*9的卷积层和3*3的卷积层;
第一卷积层连接第三卷积单元,所述第三卷积单元为3*3的卷积层后连接一个ReLU层;
第三卷积单元连接第四卷积单元,第四卷积单元连接第五卷积单元,第五卷积单元连接第六卷积单元,第四卷积单元、第五卷积单元、第六卷积单元均为3*3的卷积层后连接一个ReLU层;
第六卷积单元的输出与第三卷积单元的输出进行Concat操作后输入第七卷积单元,第七卷积单元为3*3的卷积层后连接一个ReLU层;
第七卷积单元的输出与第二卷积单元的输出进行Concat操作后输入第八卷积单元,第八卷积单元为1*1的卷积层后连接一个ReLU层;
第八卷积单元的输出连接第九卷积单元,第九卷积单元连接第十卷积单元,第十卷积单元连接第十一卷积单元,第九卷积单元、第十卷积单元、第十一卷积单元均为1*1的卷积层后连接一个ReLU层;
第十一卷积单元的输出输入第十二卷积层,第十二卷积层连接第十三卷积层,第十二卷积层、第十三卷积层均为3*3的卷积层;
第十三卷积层连接一个Sigmoid激活函数层;
Sigmoid激活函数层连接输出层,输出为最终增强图像E。
其他步骤和参数与具体实施方式一相同。
具体实施方式三:
本实施方式所述一种基于条件重增强网络的低照度图像增强方法,所述步骤三的具体过程包括以下步骤:
步骤三一、提取低照度图像S的最大值通道图像Smax
Figure BDA0002636480160000072
其中,Smax(i,j)为最大值通道图像Smax中第i行、第j列元素;max代表取最大值操作;c取r、g、b,对应rgb颜色空间下红绿蓝三个颜色通道,Sc(i,j)为低照度图像S在rgb颜色空间下某一个通道第i行、第j列元素;
步骤三二、提取正常照度图像H的最大值通道图像Hmax
Figure BDA0002636480160000071
其中,Hmax(i,j)为最大值通道图像Hmax中第i行、第j列元素;max代表取最大值操作;c取r、g、b,对应rgb颜色空间下红绿蓝三个颜色通道,Hc(i,j)为正常照度图像H在rgb颜色空间下某一个通道第i行、第j列元素;
其他步骤和参数与具体实施方式一至二之一相同。
具体实施方式四:
本实施方式所述一种基于条件重增强网络的低照度图像增强方法,所述步骤四的具体过程包括以下步骤:
采用对正常照度图像H的最大值通道图像Hmax添加模糊及噪声,得到期望最大值通道图像Sexpect_max的过程包括以下步骤:
步骤四一、用大小为m*m的均值滤波器对正常照度图像H的最大值通道图像Hmax进行处理,得到添加模糊的最大值通道图像Hblur_max
步骤四二、在模糊的最大值通道图像Hblur_max上添加均值为0,方差为σN的高斯噪声,得到添加模糊和噪声的最大值通道图像Hnoise_blur_max,即为期望最大值通道图像Sexpect_max
或者,采用对低照度图像S的最大值通道Smax做色调映射,得到期望最大值通道图像Sexpect_max的过程包括以下步骤:
通过对低照度图像S的最大值通道图像Smax做色调映射获得期望最大值通道图像Sexpect_max的方法具体如下为:
Figure BDA0002636480160000081
其中,Sexpect_max(i,j)和Smax(i,j)分别为图像Sexpect_max和图像Smax中第i行、第j列元素;Hmax(x,y)和Smax(x,y)分别为图像Hmax和图像Smax中第x行、第y列元素;Ω(i,j)为以第i行、第j列元素为中心,大小为15*15的局部区域。经过反复优选,所述的参数m,σN的取值分别为5,0.01,在此参数下,增强网络在测试阶段可以在提高对比度和亮度的同时,很好处理真实低照度图像中存在的噪声。
其他步骤和参数与具体实施方式一至三之一相同。
具体实施方式五:
本实施方式所诉一种基于条件重增强网络的低照度图像增强方法,所述步骤五的具体过程包括以下步骤:
步骤五一、以正常照度图像H作为监督图像,构建损失函数,损失函数为:
min||H-E||11M(H,E)+λ2P(H,E)+λ3C(H,E)+λ4T(H,E)
其中,P代表以预训练好的VGG16网络构建的感知损失函数,M、C和T分别表示结构损失、色彩损失和细节损失;λ1、λ2、λ3和λ4分别为结构损失、感知损失、色彩损失和细节损失部分的权重参数;E代表最终增强图像;结构损失具体如下:
Figure BDA0002636480160000082
其中,c取r、g、b,对应rgb颜色空间下红绿蓝三个颜色通道,Hc为正常照度图像H在rgb颜色空间下某一个通道的图像,Ec为正常照度图像E在rgb颜色空间下某一个通道的图像;
Figure BDA0002636480160000091
代表图像Hc的均值,
Figure BDA0002636480160000092
代表图像Ec的均值,
Figure BDA0002636480160000093
代表图像Hc的方差,
Figure BDA0002636480160000094
代表图像Ec的方差,
Figure BDA0002636480160000095
为图像Ec和图像Hc的协方差;k1和k2为常数参数。
色彩损失具体如下:
C(H,E)=||<H,E>||1
其中,<H,E>代表对图像H和图像E的逐个像素点的rgb通道像素值组成的3维向量取外积操作。
细节损失具体如下:
Figure BDA0002636480160000096
其中,
Figure BDA0002636480160000097
Figure BDA0002636480160000098
分别表示图像H和图像E的梯度图像,W代表归一化操作。
经过反复优选,参数k1和k2的取值分别为0.0001,0.0009。
步骤五二、利用步骤五一所提损失函数,对条件重增强网络进行训练,具体如下:
(1)在训练过程中,使用随机裁剪的低照度图像块进行训练,图像块的大小为96*96;(2)每次训练中随机取32个小块;(3)使用Adam随机优化算法对网络进行训练,更新率设置为0.001。
其他步骤和参数与具体实施方式一至四之一相同。
实施例
按照实施方式一至具体实施方式五构成的技术方案进行实验。图3为图像增强前的原始图像,经过增强处理后,图像增强的效果如图4所示,通过图3和图4的对比明显能够看出本发明的增强效果十分明显,具有非常好的增强效果。
需要注意的是,具体实施方式仅仅是对本发明技术方案的解释和说明,不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的,仍应落入本发明的保护范围内。

Claims (8)

1.一种基于条件重增强网络的低照度图像增强方法,其特征在于,包括以下步骤:
将待增强低照度图像S′及其最大值通道图像S′max和其期望最大值通道图像S′expect_max合并为M*N*5的矩阵作为条件重增强网络的输入,利用训练好的条件重增强网络对低照度图像进行增强处理,获得最终增强图像E;
所述待增强低照度图像S′为M*N*3的矩阵,M为行数,N为列数,3为{r,g,b}三个颜色通道;S′max通过取三个颜色通道中的最大值得到,为M*N*1的矩阵;S′expect_max利用任意图像增强方法对S′max进行增强后得到,或通过任意图像增强方法对S′做增强处理后取最大值通道图像得到,为M*N*1的矩阵;所获得的最终增强图像E为M*N*3的矩阵;
所述的条件重增强网络的结构如下:
输入分别输入第一卷积层和第二卷积层,第一卷积层、第二卷积层分别为9*9的卷积层和3*3的卷积层;
第一卷积层连接第三卷积单元,所述第三卷积单元为3*3的卷积层后连接一个ReLU层;
第三卷积单元连接第四卷积单元,第四卷积单元连接第五卷积单元,第五卷积单元连接第六卷积单元,第四卷积单元、第五卷积单元、第六卷积单元均为3*3的卷积层后连接一个ReLU层;
第六卷积单元的输出与第三卷积单元的输出进行Concat操作后输入第七卷积单元,第七卷积单元为3*3的卷积层后连接一个ReLU层;
第七卷积单元的输出与第二卷积单元的输出进行Concat操作后输入第八卷积单元,第八卷积单元为1*1的卷积层后连接一个ReLU层;
第八卷积单元的输出连接第九卷积单元,第九卷积单元连接第十卷积单元,第十卷积单元连接第十一卷积单元,第九卷积单元、第十卷积单元、第十一卷积单元均为1*1的卷积层后连接一个ReLU层;
第十一卷积单元的输出输入第十二卷积层,第十二卷积层连接第十三卷积层,第十二卷积层、第十三卷积层均为3*3的卷积层;
第十三卷积层连接一个Sigmoid激活函数层;
Sigmoid激活函数层连接输出层,输出为最终增强图像E;
所述条件重增强网络的训练过程包括以下步骤:
s1、利用低照度图像S及对应的正常照度图像H作为图像对,构建训练数据集;
低照度图像S为M*N*3的矩阵,M为行数,N为列数,3为{r,g,b}三个颜色通道;
s2、对于训练数据集中每一张低照度图像S及其对应正常照度图像H,分别提取对应的最大值通道图像,分别为Smax和Hmax;Smax和Hmax均为M*N*1的矩阵;
s3、对正常照度图像H的最大值通道图像Hmax添加模糊及噪声,或对低照度图像S的最大值通道Smax做色调映射,得到期望最大值通道图像Sexpect_max;Sexpect_max为M*N*1的矩阵;
s4、以正常照度图像H作为监督图像,将低照度图像S及最大值通道图像Smax和期望最大值通道图像Sexpect_max合并为M*N*5的矩阵作为条件重增强网络的输入,利用损失函数训练条件重增强网络,得到训练好的条件重增强网络。
2.根据权利要求1所述的一种基于条件重增强网络的低照度图像增强方法,其特征在于,所述损失函数如下:
min||H-E||11M(H,E)+λ2P(H,E)+λ3C(H,E)+λ4T(H,E)
其中,P代表以预训练好的VGG16网络构建的感知损失函数,M、C和T分别表示结构损失、色彩损失和细节损失;λ1、λ2、λ3和λ4分别为结构损失、感知损失、色彩损失和细节损失部分的权重参数;E代表最终增强图像;结构损失具体如下:
Figure FDA0003516703620000021
其中,c取r、g、b,对应rgb颜色空间下红绿蓝三个颜色通道,Hc为正常照度图像H在rgb颜色空间下某一个通道的图像,Ec为正常照度图像E在rgb颜色空间下某一个通道的图像;
Figure FDA0003516703620000022
代表图像Hc的均值,
Figure FDA0003516703620000023
代表图像Ec的均值,
Figure FDA0003516703620000024
代表图像Hc的方差,
Figure FDA0003516703620000025
代表图像Ec的方差,
Figure FDA0003516703620000026
为图像Ec和图像Hc的协方差;k1和k2为常数参数;
色彩损失具体如下:
C(H,E)=||<H,E>||1
其中,<H,E>代表对图像H和图像E的逐个像素点的rgb通道像素值组成的3维向量取外积操作;
细节损失具体如下:
Figure FDA0003516703620000027
其中,
Figure FDA0003516703620000028
Figure FDA0003516703620000029
分别表示图像H和图像E的梯度图像,W代表归一化操作。
3.根据权利要求2所述的一种基于条件重增强网络的低照度图像增强方法,其特征在于,k1和k2的取值分别为0.0001,0.0009。
4.根据权利要求3所述的一种基于条件重增强网络的低照度图像增强方法,其特征在于,步骤s4所述利用损失函数训练条件重增强网络的过程包括以下步骤:
(1)使用随机裁剪的低照度图像块进行训练,图像块的大小为96*96;
(2)每次训练中随机取32个小块;
(3)使用Adam随机优化算法对网络进行训练,更新率设置为0.001。
5.根据权利要求3所述的一种基于条件重增强网络的低照度图像增强方法,其特征在于,所述步骤s2的具体过程包括以下步骤:
步骤三一、提取低照度图像S的最大值通道图像Smax
Figure FDA0003516703620000031
其中,Smax(i,j)为最大值通道图像Smax中第i行、第j列元素;max代表取最大值操作;c取r、g、b,对应rgb颜色空间下红绿蓝三个颜色通道,Sc(i,j)为低照度图像S在rgb颜色空间下某一个通道第i行、第j列元素;
步骤三二、提取正常照度图像H的最大值通道图像Hmax
Figure FDA0003516703620000032
其中,Hmax(i,j)为最大值通道图像Hmax中第i行、第j列元素;Hc(i,j)为正常照度图像H在rgb颜色空间下某一个通道第i行、第j列元素。
6.根据权利要求5所述的一种基于条件重增强网络的低照度图像增强方法,其特征在于,所述s3的过程如下:
如果采用对正常照度图像H的最大值通道图像Hmax添加模糊及噪声,得到期望最大值通道图像Sexpect_max的过程包括以下步骤:
步骤四一、用大小为m*m的均值滤波器对正常照度图像H的最大值通道图像Hmax进行处理,得到添加模糊的最大值通道图像Hblur_max
步骤四二、在模糊的最大值通道图像Hblur_max上添加均值为0、方差为σN的高斯噪声,得到添加模糊和噪声的最大值通道图像Hnoise_blur_max,即为期望最大值通道图像Sexpect_max
或者,采用对低照度图像S的最大值通道Smax做色调映射,得到期望最大值通道图像Sexpect_max的过程包括以下步骤:
Figure FDA0003516703620000033
其中,Sexpect_max(i,j)和Smax(i,j)分别为图像Sexpect_max和图像Smax中第i行、第j列元素;Hmax(x,y)和Smax(x,y)分别为图像Hmax和图像Smax中第x行、第y列元素;Ω(i,j)为以第i行、第j列元素为中心的局部区域。
7.根据权利要求6所述的一种基于条件重增强网络的低照度图像增强方法,其特征在于,m取值为5。
8.根据权利要求7所述的一种基于条件重增强网络的低照度图像增强方法,其特征在于,σN取值为0.01。
CN202010826749.7A 2020-08-17 2020-08-17 一种基于条件重增强网络的低照度图像增强方法 Active CN111899201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010826749.7A CN111899201B (zh) 2020-08-17 2020-08-17 一种基于条件重增强网络的低照度图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010826749.7A CN111899201B (zh) 2020-08-17 2020-08-17 一种基于条件重增强网络的低照度图像增强方法

Publications (2)

Publication Number Publication Date
CN111899201A CN111899201A (zh) 2020-11-06
CN111899201B true CN111899201B (zh) 2022-06-07

Family

ID=73229659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010826749.7A Active CN111899201B (zh) 2020-08-17 2020-08-17 一种基于条件重增强网络的低照度图像增强方法

Country Status (1)

Country Link
CN (1) CN111899201B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129673A (zh) * 2011-04-19 2011-07-20 大连理工大学 一种随意光照下彩色数字图像增强和去噪方法
CN102231206A (zh) * 2011-07-14 2011-11-02 浙江理工大学 适用于汽车辅助驾驶系统的彩色夜视图像亮度增强方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9118797B2 (en) * 2009-11-20 2015-08-25 Tripurari Singh Method and system for robust and flexible extraction of image information using color filter arrays
CN101770639B (zh) * 2010-01-14 2012-05-23 北京航空航天大学 一种低照度图像增强方法
US8582915B2 (en) * 2011-06-27 2013-11-12 Wuxi Jinnang Technology Development Ltd. Image enhancement for challenging lighting conditions
CN105976332B (zh) * 2016-05-03 2019-03-01 北京大学深圳研究生院 基于图像中亮条纹信息的图像去模糊方法
CN110163807B (zh) * 2019-03-20 2023-04-07 哈尔滨工业大学 一种基于期望亮通道的低照度图像增强方法
CN110097106A (zh) * 2019-04-22 2019-08-06 苏州千视通视觉科技股份有限公司 基于深度学习的U-net网络的低照度成像算法及装置
CN111402145B (zh) * 2020-02-17 2022-06-07 哈尔滨工业大学 一种基于深度学习的自监督低照度图像增强方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129673A (zh) * 2011-04-19 2011-07-20 大连理工大学 一种随意光照下彩色数字图像增强和去噪方法
CN102231206A (zh) * 2011-07-14 2011-11-02 浙江理工大学 适用于汽车辅助驾驶系统的彩色夜视图像亮度增强方法

Also Published As

Publication number Publication date
CN111899201A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
CN112288658A (zh) 一种基于多残差联合学习的水下图像增强方法
Liang et al. Cameranet: A two-stage framework for effective camera isp learning
CN111402145B (zh) 一种基于深度学习的自监督低照度图像增强方法
CN112308803B (zh) 一种基于深度学习的自监督低照度图像增强及去噪方法
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN111612722B (zh) 基于简化Unet全卷积神经网络的低照度图像处理方法
CN110544213A (zh) 一种基于全局和局部特征融合的图像去雾方法
CN110097106A (zh) 基于深度学习的U-net网络的低照度成像算法及装置
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN110111269B (zh) 基于多尺度上下文聚合网络的低照度成像算法及装置
CN108734677B (zh) 一种基于深度学习的盲去模糊方法及系统
CN114627034A (zh) 一种图像增强方法、图像增强模型的训练方法及相关设备
US20210390658A1 (en) Image processing apparatus and method
CN111079864A (zh) 一种基于优化视频关键帧提取的短视频分类方法及系统
CN115393227A (zh) 基于深度学习的微光全彩视频图像自适应增强方法及系统
Zhao et al. A simple and robust deep convolutional approach to blind image denoising
CN112102186A (zh) 一种水下视频图像实时增强方法
CN114299180A (zh) 图像重建方法、装置、设备及存储介质
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
CN111899201B (zh) 一种基于条件重增强网络的低照度图像增强方法
CN111968039A (zh) 基于硅传感器相机的昼夜通用图像处理方法、装置及设备
CN116934583A (zh) 基于深浅特征融合网络的遥感图像超分辨率算法
CN114511462B (zh) 一种视觉图像增强方法
CN116363009B (zh) 基于有监督学习的快速轻量化低照度图像增强方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhang Yu

Inventor after: Wang Chunhui

Inventor after: Xiao-Guang Di

Inventor after: Zhang Bin

Inventor after: Yan Shiyu

Inventor after: Li Qingyan

Inventor after: Li Binxi

Inventor before: Zhang Yu

Inventor before: Xiao-Guang Di

Inventor before: Zhang Bin

Inventor before: Yan Shiyu

Inventor before: Li Qingyan

Inventor before: Li Binxi

Inventor before: Wang Chunhui

GR01 Patent grant
GR01 Patent grant