CN111861914B - 基于深度神经网络的低照度彩色偏振图像增强方法 - Google Patents

基于深度神经网络的低照度彩色偏振图像增强方法 Download PDF

Info

Publication number
CN111861914B
CN111861914B CN202010647281.5A CN202010647281A CN111861914B CN 111861914 B CN111861914 B CN 111861914B CN 202010647281 A CN202010647281 A CN 202010647281A CN 111861914 B CN111861914 B CN 111861914B
Authority
CN
China
Prior art keywords
image
polarization
neural network
deep neural
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010647281.5A
Other languages
English (en)
Other versions
CN111861914A (zh
Inventor
胡浩丰
林洋
刘铁根
李校博
程振洲
韩迎东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010647281.5A priority Critical patent/CN111861914B/zh
Publication of CN111861914A publication Critical patent/CN111861914A/zh
Application granted granted Critical
Publication of CN111861914B publication Critical patent/CN111861914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度神经网络的低照度彩色偏振图像增强方法,将充足曝光的清晰彩色偏振图像和低照度的彩色偏振图像构建成图像数据集;对图像数据集中每一幅偏振图像进行预处理;将图像数据集拆分为训练集、验证集和测试集;构建用于低照度彩色偏振图像增强的深度神经网络,具体为构建依序连接的浅层特征提取模块、残差‑密集连接模块和特征融合模块,设计该深度神经网络的损失函数;得到训练完成的深度神经网络训练模型;将测试集放到训练好的深度神经网络训练模型进行测试,输出最终的图像增强结果。本发明充分将多维度的偏振参量用于图像增强,在极低照度下显著地降低图像噪声,提高图像对比度,并恢复彩色图像原有的色彩。

Description

基于深度神经网络的低照度彩色偏振图像增强方法
技术领域
本发明涉及偏振成像探测技术领域,特别涉及在低照度环境中基于深度神经网络的彩色偏振图像的增强方法。
背景技术
偏振成像技术在工业生产、军事国防等许多领域都有十分广泛的应用。然而,在低照度条件下的应用中,受到低亮度和低信噪比的影响,图片的质量会严重下降,不能够很好地满足实际生产应用的要求。目前关于偏振图像去噪、增强等技术的研究主要存在以下缺点:第一,偏振度、偏振角等偏振参量对于噪声非常敏感,在低照度环境中,偏振信号往往淹没在噪声里,现有的普通图像去噪与增强算法并不能很好的恢复。第二,传统的深度学习方法没有使用真实的低照度偏振图像作为数据集,而是简单的用数字图像处理的方法将正常曝光的图像降低亮度,以此来构建低照度偏振图像数据集,但真实的低照度偏振图像退化更复杂,噪声更大,仅通过降低亮度模拟真实的图像会导致算法在真实低照度场景受限。第三,现有的低照度增强方法应用于彩色图像时,会出现色彩失真的现象,增强后的图像色彩与实际色彩不符。
发明内容
为了克服现有技术的不足,本发明提出了一种基于深度神经网络的低照度彩色偏振图像增强方法,将偏振成像技术与深度学习技术相结合,充分利用偏振图像的偏振信息用于图像增强,在极低照度下仍能显著地降低图像噪声,提高图像对比度,并恢复图像的色彩和偏振信息。
为解决上述技术问题,本发明提出了一个在增量式学习算法下进行室内定位,结合图像处理技术提高定位实现高精度定位的方法。在两个典型的室内环境下构建并检测系统原型,充分验证了该方法的有效性。
本发明的目的通过以下技术方案来实现:
本发明的一种基于深度神经网络的低照度彩色偏振图像增强方法,该方法包括以下步骤:
步骤1、在充足照度的环境中调节好彩色偏振相机的感光度和曝光时间进行图像采集,将采集的彩色偏振图像作为清晰彩色偏振图并作标签,之后在镜头前加装2%衰减率的可见光中性衰减片,形成低照度环境,采集彩色偏振图片作为低照度彩色偏振图像;将充足曝光的清晰彩色偏振图像和低照度的彩色偏振图像构建成图像数据集;
步骤2、对图像数据集中每一幅偏振图像进行预处理:将步骤1中采集到的原偏振图像Iorig(x,y)根据像素点的位置(x,y)先拆分成颜色通道分别为红色、绿色、蓝色三幅颜色子图,再分别对每个颜色子图拆分成偏振方向分别为0°、45°、90°、135°的四幅偏振子图,然后合并成一个十二个通道的三维数组,最后裁剪为大小为64×64×12 的三维数组块,作为数据集;
步骤3、将经步骤2预处理的图像数据集按照3:1:1的比例拆分为训练集、验证集和测试集;
步骤4、构建用于低照度彩色偏振图像增强的深度神经网络,具体为构建依序连接的浅层特征提取模块、残差-密集连接模块和特征融合模块,三个模块的具体特征为:
浅层特征提取模块包括两层卷积层,卷积核大小均为3×3,卷积核的数量为64;
残差-密集连接模块包括卷积层、作为激活函数的线性修正单元函数、级联(Concat) 层、1×1卷积层和局部残差连接组成,各层之间采用密集连接的方式进行特征组合;
特征融合模块包括一个级联(Concat)层、一个1×1卷积层和一个3×3卷积层;用于将前序所有的残差-密集连接模块特征融合,并输出预测的清晰图像;
步骤5、设计该深度神经网络的损失函数,用于优化网络中的所有可训练参数,损失函数如式(1)所示:
Figure RE-GDA0002657659270000031
其中,N表示每一次训练时所用的低照度偏振图像和正常曝光偏振图像组成的训练样本对的总数,(x,y)表示图像上各像素点的坐标位置,
Figure RE-GDA0002657659270000032
表示通过可训练参数Θ所得到的第i幅预测图像,
Figure RE-GDA0002657659270000033
表示与预测图像对应的清晰光强图像;
步骤6、将步骤3中的训练集放到步骤4构建的深度神经网络中进行训练,并将验证集同步放入深度神经网络中进行效果验证,通过训练过程不断调节部分网络参数,直至得到训练完成的深度神经网络训练模型;
步骤7、将步骤3中的测试集放到步骤6中训练好的深度神经网络训练模型进行测试,输出最终的图像增强结果。
本发明的有益效果及优点在于:
本发明充分将多维度的偏振参量用于图像增强,在极低照度下显著地降低图像噪声,提高图像对比度,并恢复彩色图像原有的色彩。
附图说明
图1为本发明的基于深度神经网络的低照度彩色偏振图像增强方法整体流程示意图;
图2为构建的深度神经网络结构示意图;
图3为残差-密集连接模块的结构示意图;
图4为本发明的基于深度神经网络的低照度彩色图像增强方法和其它方法的处理结果对比图。
具体实施方式
下面结合附图对本发明的整体实现流程和实施方式作进一步的详细描述。
步骤1、构建图像数据集:在充足照度的环境中调节好彩色偏振相机的感光度和曝光时间进行图像采集,将采集的彩色偏振图像作为清晰彩色偏振图并作标签,之后在镜头前加装2%衰减率的可见光中性衰减片,形成低照度环境,采集彩色偏振图片作为低照度彩色偏振图像。在本实施例中共采集150组偏振图像,包括150幅充足曝光的清晰彩色偏振图像和150幅低照度的彩色偏振图像,分辨率均为2048×2448;
步骤2、进行数据预处理:对步骤1中采集到的偏振图像进行预处理,将原图像Iorig(x,y)根据像素点的位置(x,y)先拆分成颜色通道分别为红色、绿色、蓝色的三幅颜色子图,再分别对每个颜色子图拆分成偏振方向分别为0°、45°、90°、135°的四幅偏振子图,然后合并成一个十二个通道的三维数组,最后将其裁剪为大小为64×64×12 的三维数组块;
步骤3、将步骤2中构建数据集按照3:1:1的比例拆分为训练集,验证集和测试集;
步骤4、构建用于低照度彩色偏振图像增强的深度神经网络。
如图2所示,为构建深度神经网络结构流程示意图,该流程具体步骤如下:
构建浅层特征提取模块,浅层特征提取模块包括两层卷积层,两层卷积层的卷积核大小均为3×3,卷积核数量均为64;
构建残差-密集连接模块,残差-密集连接模块由卷积层、作为激活函数的线性修正单元(ReLU)函数、级联(Concat)层、1×1卷积层和局部残差连接组成,各层之间采用密集连接的方式进行特征组合。如图3所示,为残差-密集连接模块的结构示意图。在本实施例中,综合网络效率和复杂程度考虑,一共配置了16个残差-密集连接模块(在一定范围内模块越多效果越好,但网络越复杂,运行时间越久,综合效果和复杂程度考虑设为16),每个残差-密集连接模块都包含了6个卷积层及其对应的激活函数;
构建特征融合模块,特征融合模块包括级联(Concat)层、1×1卷积层和3×3卷积层,级联(Concat)层和1×1卷积层将残差-密集连接模块中输出的所有特征进行融合,3×3卷积层进一步对融合之后的结果进行特征提取;
步骤5、设置深度神经网络的损失函数:设计该深度神经网络的损失函数l(Θ),用于优化网络中的所有可训练参数Θ,损失函数如式(1)所示:
Figure RE-GDA0002657659270000051
其中,N表示每一次训练时所用的低照度偏振图像和正常曝光偏振图像组成的训练样本对的总数,在本实施例中取值为32;(x,y)是图像上各像素点的坐标位置,
Figure RE-GDA0002657659270000052
是通过可训练参数Θ所得到的第i幅预测图像,
Figure RE-GDA0002657659270000053
是与预测图像对应的清晰光强图像;
步骤6、训练深度神经网络训练模型:设置深度神经网络的训练参数,对所述神经网络进行训练。在本实施例中,最小批处理样本数为64,学习率初始化为0.0001,使用指数衰减学习率方法,设置衰减率为0.9,每10个周期衰减一次,训练周期为100,使用Adam算法优化损失函数。通过训练过程不断调节部分网络参数,最终得到训练好的深度神经网络训练模型。
步骤7、将步骤3中的测试集放到步骤6中训练好的深度神经网络训练模型进行测试,输出光强的预测值,即最终的彩色偏振图像增强结果。
本发明在采集彩色偏振图像数据时,采用镜头前加装可见光中性衰减片的方式采集低照度彩色偏振数据集,该方法的优点在于噪声来自真实环境,可以更接近实际应用;采用的残差-密集连接模块可以组合并重复利用多个不同层级特征,增强网络的表达能力并提升去噪效果;学习残差图的策略是从神经网络中学习噪声图像和真实图像之间的差异信息,使用残差学习策略加快网络训练并可以加深网络的深度,达到的更好的去噪效果。
为了检验本发明的性能,对本发明的图像增强效果与现有的具有代表性的传统图像增强去噪算法CBM3D及基于深度学习的SID低照度增强网络作比较,如图4所示,为本发明的基于深度神经网络的低照度彩色图像增强方法效果和其它方法的处理结果对比图。
从实验结果可以直观地看出,(1)从对于光强图的恢复得到验证结果:CBM3D 方法和SID网络仍存在较大的噪声,左下角的圆形图案模糊不清,而本发明的方法恢复的光强图细节清晰可见;(2)从对于线性偏振度(DOLP)图的恢复得到验证结果: CBM3D方法和SID网络增强后没有有效去除噪声,图片中央背景被噪声掩盖,本发明方法很好地还原了图像的偏振度信息,而且比充足照度下的还要好;(3)从对于偏振角(AOP)图的恢复得到验证结果:CBM3D方法和SID网络,图片中“左小”字样几乎看不清,而本发明的方法能够很容易识别。
为定量地对图像成像质量进行评估,使用峰值信噪比(PSNR)和结构相似性评价(SSIM)作为图像增强质量评价标准,PSNR和SSIM越大,表示图像质量越高。使用 10组图像作为测试,PSNR对比结果如表1所示,SSIM对比结果如表2所示。
表1
Figure RE-GDA0002657659270000061
表2
Figure RE-GDA0002657659270000071
实验结果表明,本发明对低照度彩色偏振图像增强后的峰值信噪比和结构相似性能明显提升,优于现有的其他低照度增强算法。

Claims (1)

1.一种基于深度神经网络的低照度彩色偏振图像增强方法,其特征在于,该方法包括以下步骤:
步骤1、在充足照度的环境中调节好彩色偏振相机的感光度和曝光时间进行图像采集,将采集的彩色偏振图像作为清晰彩色偏振图并作标签,之后在镜头前加装2%衰减率的可见光中性衰减片,形成低照度环境,采集彩色偏振图片作为低照度彩色偏振图像;将充足曝光的清晰彩色偏振图像和低照度的彩色偏振图像构建成图像数据集;
步骤2、对图像数据集中每一幅偏振图像进行预处理:将步骤1中采集到的原偏振图像Iorig(x,y)根据像素点的位置(x,y)先拆分成颜色通道分别为红色、绿色、蓝色三幅颜色子图,再分别对每个颜色子图拆分成偏振方向分别为0°、45°、90°、135°的四幅偏振子图,然后合并成一个十二个通道的三维数组,最后裁剪为大小为64×64×12的三维数组块,作为数据集;
步骤3、将经步骤2预处理的图像数据集按照3:1:1的比例拆分为训练集、验证集和测试集;
步骤4、构建用于低照度彩色偏振图像增强的深度神经网络,具体为构建依序连接的浅层特征提取模块、残差-密集连接模块和特征融合模块,三个模块的具体特征为:
浅层特征提取模块包括两层卷积层,卷积核大小均为3×3,卷积核的数量为64;
残差-密集连接模块包括卷积层、作为激活函数的线性修正单元函数、级联层、1×1卷积层和局部残差连接组成,各层之间采用密集连接的方式进行特征组合;
特征融合模块包括一个级联层、一个1×1卷积层和一个3×3卷积层;用于将前序所有的残差-密集连接模块特征融合,并输出预测的清晰图像;
步骤5、设计该深度神经网络的损失函数,用于优化网络中的所有可训练参数,损失函数如式(1)所示:
Figure FDA0002573565420000021
其中,N表示每一次训练时所用的低照度偏振图像和正常曝光偏振图像组成的训练样本对的总数,(x,y)表示图像上各像素点的坐标位置,
Figure FDA0002573565420000022
表示通过可训练参数Θ所得到的第i幅预测图像,
Figure FDA0002573565420000023
表示与预测图像对应的清晰光强图像;
步骤6、将步骤3中的训练集放到步骤4构建的深度神经网络中进行训练,并将验证集同步放入深度神经网络中进行效果验证,通过训练过程不断调节部分网络参数,直至得到训练完成的深度神经网络训练模型;
步骤7、将步骤3中的测试集放到步骤6中训练好的深度神经网络训练模型进行测试,输出最终的图像增强结果。
CN202010647281.5A 2020-07-07 2020-07-07 基于深度神经网络的低照度彩色偏振图像增强方法 Active CN111861914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010647281.5A CN111861914B (zh) 2020-07-07 2020-07-07 基于深度神经网络的低照度彩色偏振图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010647281.5A CN111861914B (zh) 2020-07-07 2020-07-07 基于深度神经网络的低照度彩色偏振图像增强方法

Publications (2)

Publication Number Publication Date
CN111861914A CN111861914A (zh) 2020-10-30
CN111861914B true CN111861914B (zh) 2023-02-03

Family

ID=73152457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010647281.5A Active CN111861914B (zh) 2020-07-07 2020-07-07 基于深度神经网络的低照度彩色偏振图像增强方法

Country Status (1)

Country Link
CN (1) CN111861914B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052934A (zh) * 2021-03-16 2021-06-29 南开大学 基于卷积神经网络的核磁共振图像运动伪影校正
CN113256525B (zh) * 2021-05-25 2023-01-10 烟台艾睿光电科技有限公司 红外热成像图像增强方法、装置、设备及可读存储介质
CN113487504B (zh) * 2021-07-01 2022-12-09 天津大学 基于生成对抗网络的水下灰度偏振图像复原方法
CN115219026B (zh) * 2022-07-14 2023-05-12 中国科学院长春光学精密机械与物理研究所 偏振智能感知系统及感知方法
CN115265786B (zh) * 2022-09-30 2023-01-10 长春理工大学 一种自动调节曝光值的强光偏振探测装置及其探测方法
CN117876253B (zh) * 2024-03-13 2024-05-28 长春理工大学 一种低照度彩色偏振图像增强方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383911A (zh) * 2008-10-23 2009-03-11 上海交通大学 电视摄像色彩智能化自动调节装置
CN110232661A (zh) * 2019-05-03 2019-09-13 天津大学 基于Retinex和卷积神经网络的低光照彩色图像增强方法
CN110276729A (zh) * 2019-06-10 2019-09-24 浙江工业大学 一种低照度彩色图像的增强方法
CN110570364A (zh) * 2019-08-05 2019-12-13 天津大学 基于深度神经网络的分焦平面偏振图像去噪方法
CN111047532A (zh) * 2019-12-06 2020-04-21 广东启迪图卫科技股份有限公司 一种基于3d卷积神经网络的低照度视频增强方法
CN111325283A (zh) * 2020-03-05 2020-06-23 山东交通职业学院 一种基于卷积神经网络的低照度车牌图像增强识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383911A (zh) * 2008-10-23 2009-03-11 上海交通大学 电视摄像色彩智能化自动调节装置
CN110232661A (zh) * 2019-05-03 2019-09-13 天津大学 基于Retinex和卷积神经网络的低光照彩色图像增强方法
CN110276729A (zh) * 2019-06-10 2019-09-24 浙江工业大学 一种低照度彩色图像的增强方法
CN110570364A (zh) * 2019-08-05 2019-12-13 天津大学 基于深度神经网络的分焦平面偏振图像去噪方法
CN111047532A (zh) * 2019-12-06 2020-04-21 广东启迪图卫科技股份有限公司 一种基于3d卷积神经网络的低照度视频增强方法
CN111325283A (zh) * 2020-03-05 2020-06-23 山东交通职业学院 一种基于卷积神经网络的低照度车牌图像增强识别方法

Also Published As

Publication number Publication date
CN111861914A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111861914B (zh) 基于深度神经网络的低照度彩色偏振图像增强方法
CN110570364B (zh) 基于深度神经网络的分焦平面偏振图像去噪方法
CN110544213B (zh) 一种基于全局和局部特征融合的图像去雾方法
CN110517203B (zh) 一种基于参考图像重建的去雾方法
Hu et al. Underwater image restoration based on convolutional neural network
CN114429428A (zh) 基于注意力机制的偏振图像去噪方法
CN111429378A (zh) 基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法
CN111210395A (zh) 基于灰度值映射的Retinex水下图像增强方法
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN109919832A (zh) 一种用于无人驾驶的交通图像拼接方法
Qian et al. FAOD‐Net: a fast AOD‐Net for dehazing single image
CN113160085B (zh) 一种基于生成对抗网络的水花遮挡图像数据集采集方法
CN116682000B (zh) 一种基于事件相机的水下蛙人目标检测方法
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及系统
CN112767267A (zh) 基于仿真偏振带雾场景数据集的图像去雾方法
CN111968039B (zh) 基于硅传感器相机的昼夜通用图像处理方法、装置及设备
CN116542865A (zh) 一种基于结构重参数化的多尺度实时去雾方法及装置
Yang et al. Bokehornot: Transforming bokeh effect with image transformer and lens metadata embedding
CN115661470A (zh) 一种基于三维卷积神经网络的彩色偏振图像的去噪方法
CN113256528B (zh) 基于多尺度级联深度残差网络的低照度视频增强方法
CN112487994A (zh) 一种烟火检测方法及系统、存储介质及终端
CN111080560B (zh) 一种图像的处理与识别方法
CN114037632A (zh) 基于lab色彩空间的多尺度残差注意力图像去雾方法
CN113763261A (zh) 一种海雾气象条件下的远小目标实时检测方法
Baishya et al. Luminance Channel Based Camera Model Identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant