CN111260579A - 一种基于物理噪声生成模型的微光图像去噪增强方法 - Google Patents
一种基于物理噪声生成模型的微光图像去噪增强方法 Download PDFInfo
- Publication number
- CN111260579A CN111260579A CN202010051122.9A CN202010051122A CN111260579A CN 111260579 A CN111260579 A CN 111260579A CN 202010051122 A CN202010051122 A CN 202010051122A CN 111260579 A CN111260579 A CN 111260579A
- Authority
- CN
- China
- Prior art keywords
- noise
- light
- read
- low
- generation model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 25
- 238000003384 imaging method Methods 0.000 claims abstract description 68
- 230000008569 process Effects 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000009826 distribution Methods 0.000 claims description 42
- 238000005286 illumination Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 10
- 238000013139 quantization Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000012417 linear regression Methods 0.000 claims description 6
- 239000004576 sand Substances 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000013179 statistical model Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 claims 1
- 230000004298 light response Effects 0.000 claims 1
- 230000011514 reflex Effects 0.000 abstract description 7
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000009467 reduction Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法,属于图像处理领域。本发明应用于微光环境下短曝光拍摄的微光图像,根据成像传感器的物理机理,考虑光子、电流、电压、数字信号的电子成像流程,构建物理噪声生成模型,使用偏置帧与平场帧,估计物理噪声生成模型的噪声参数,校正物理噪声生成模型,使用物理噪声生成模型生成大量微光增强训练数据训练神经网络,通过训练完毕的神经网络完成微光图像高质量的降噪增强。本发明能够用于单反相机、手机等成像设备,以短曝光的形式重构清晰夜景。适用于需要快速微光成像的场合,扩展微光图像的应用范围。本发明能够用于视频监控、高速摄影、天文摄影领域。
Description
技术领域
本发明专利涉及一种基于物理噪声生成模型的微光图像去噪增强方法,尤其涉及能够从微光环境下短曝光拍摄的微光图像中重构高质量清晰明亮图像的方法,属于图像处理领域。
背景技术
光线对摄影至关重要。由于光子数量有限和成像过程中不可避免的噪声,夜晚和微光对摄影提出了非常严格的要求。微光摄影的传统解决方案是收集更多的光源,包括增大光圈,延长曝光时间,打开闪光灯源。但是,每种方法都有着自身本质的缺陷:大光圈会导致较小的景深,并且通常无法在智能手机的相机中使用;长时间曝光会引入由场景变化或相机运动所造成的模糊;闪光灯会导致色差,且仅对近处的物体有用。
微光成像的一种实用化的解决方法是连拍摄影,多帧对齐融合以增加参考帧图像的信噪比。然而,连拍摄影在捕捉动态场景时会出现严重的重影现象。另一种新兴的解决方案是使用神经网络自动地学习从短曝光微光图像到其对应长曝光图像的映射关系。但是,这种深度学习方法通常需要大量成对的短曝光微光图像和长曝光图像真实数据进行训练。使用多样化的现代相机设备采集丰富的高质量成对训练样本对人力物力有着非常高的要求。
另一方面,合成数据简单、丰富且廉价,但其有效性在很大程度上取决于采用的噪声生成模型的准确性。近年的研究已发现,使用仿真高斯噪声训练的神经网络虽然能在高斯噪声的仿真测试场景下超过高度工程化的传统方法,但它们却无法有效地去除图片中的真实噪声。一系列研究关注于如何提高生成训练数据的真实感,以绕过收集大量真实训练数据的困难。通过同时考虑光子到达的统计规律,即光子散弹噪声,以及读出效应,即读出噪声,一些方法开始采用与信号相关的异方差高斯模型来构建原始成像传感器数据中的噪声模型。但是,这些方法过分简化了成像传感器的成像机理,尤其是忽视了由成像传感器电子电路所产生的噪声源,而这些噪声源会对原始的观测数据造成显著的影响,特别是在微光线条件下。
发明内容
针对现有的噪声模型忽略了成像设备的物理特性从而不够拟真的问题,本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法要解决的技术问题是:从成像传感器的物理成像机理出发,考虑成像过程中各类的噪声源,建立物理噪声生成模型,生成大量成对拟真数据,用于训练神经网络,通过训练完毕的神经网络实现微光图像的降噪增强,扩展微光图像的应用范围。
为达到以上目的,本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法采用以下技术方案:利用成像传感器的物理机理,考虑电子成像流程的光子、电流、电压、数字信号,结合统计建模分析,构建能够生成仿真微光环境下真实噪声的物理噪声生成模型;使用偏置帧与平场帧预测光子散弹噪声、读出噪声、行噪声的噪声参数,校正物理噪声生成模型;使用基于物理噪声生成模型训练的神经网络,应用于微光环境下短曝光拍摄的微光图像,重构高质量的清晰明亮图像。本发明能够高质量地完成微光图像的去噪增强,能够用于单反相机、手机,以短曝光的形式重构清晰夜景。适用于需要快速微光成像的场合,扩展微光图像的应用范围。本发明能够用于视频监控、高速摄影、天文摄影领域。
本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法,包括以下步骤:
步骤1:根据成像传感器的成像机理,考虑从光子到电流,从电流到电压以及从电压到数字信号的成像流程,构建物理噪声生成模型;
步骤1中所述的物理噪声生成模型考虑电子成像设备记录成像传感器原始图像的物理过程,物理噪声生成模型如公式(1)所示:
D=KI+N (1)
公式(1)中I表示与场景照射度成比率的光电子数量,K表示由模拟和数字增益组成的整体系统增益,N表示由光子特性和成像设备物理机制所产生的所有噪声源的总和;
为了更加精细地建模成像过程中各类噪声源,将成像流程顺序拆解为三个阶段,即从光子到电子、从电子到电压、从电压到数字信号;
步骤1.1:建模从光子到电子过程中的噪声源:曝光期间,光子形式的入射光撞击成像传感器像素区域,释放出与光强度成比例的光电子,由于光的量子性质,所收集的电子数量存在不确定性,这种不确定性使得成像传感器上记录的电子数量服从泊松分布,如公式(2)所示:
(I+Np)~P(I) (2)
公式(2)中Np表示光子散弹噪声,P表示泊松分布,这种类型的噪声取决于光强度;
在光子到电子过程还存在光响应不均匀性与暗电流噪声Nd,由于工艺的进步,忽略光响应不均匀性,并且将暗电流噪声Nd的效应合并到步骤1.2中的读出噪声Nread中;
步骤1.2:建模从电子到电压过程中的噪声源:步骤1.1中成像传感器像素区域生成的电子,在的电子电路中积分、放大以后,在曝光时间结束时读出为电压,考虑从电子到电压过程中的各类噪声源,包括热噪声Nt、源随器噪声Ns及条纹模式噪声Nb;
首先将热噪声Nt、源随器噪声Ns及暗电流噪声Nd合并为统一的噪声源,即读出噪声Nread,如公式(3)所示:
Nread=Nd+Nt+Ns (3)
根据读出噪声Nread所展现的长尾效应,使用Tukey Lambda分布来建模读出噪声Nread:
Nread~TL(λ;0,σTL) (4)
公式(4)中孔表示Tukey Lambda分布,λ表示形状参数,σTL表示噪声强度,0表示零均值噪声假设,代表噪声均值为0;
条纹模式噪声Nb表现为图像中的横竖条纹,通过对条纹模式噪声Nb的测量,忽略竖条纹噪声分量,仅建模横条纹噪声分量,即行噪声Nr:从噪声强度为σr的零均值标准差高斯分布中采样一个值,将采样值作为偏置加到图像行的每一个像素值上;
步骤1.3:建模从电压到数字信号过程中的噪声源:为了生成存储在数字存储介质中的数字图像,使用模数转换器将在步骤1.2中读取的电压量化为数字信号,电压到数字信号的过程中引入了量化噪声Nq,如公式(5)所示:
至此,物理噪声生成模型构建完成,包含四种噪声组分,如公式(6)所示:
N=KNp+Nread+Nr+Nq (6)
公式(6)中K表示整体系统增益,Np表示光子散弹噪声,Nread表示读出噪声、Nr表示行噪声,Nq表示量化噪声;
步骤2:使用成像设备采集偏置帧和平场帧,利用偏置帧和平场帧校正步骤1中构建的物理噪声生成模型;
步骤2.1:利用偏置帧和平场帧估计物理噪声生成模型的参数:平场帧是成像传感器被均匀照亮时所记录的图像,偏置帧是在无光环境下以最短曝光时间记录的图像,偏置帧描绘了与光信号无关的噪声图像,使用成像设备采集偏置帧和平场帧,用以估计噪声参数;
根据公式(2)设定光子散弹噪声Np的参数,整体系统增益K,使用光子转移方法,利用平场帧估计整体系统增益K,为了模拟真实的光子散弹噪声,首先对原始数字信号D除以整体系统增益K得到光电子数I,然后在其上施加泊松分布,最后乘以K将其还原为D;
根据公式(6)设定行噪声Nr的噪声强度参数σr,利用离散傅里叶变换,得到明显的评估条纹模式噪声Nb的横条纹噪声分量,即行噪声Nr,为了分析行噪声Nr的分布,从原始数据中提取每一行的均值作为行噪声Nr的估计值,并使用最大化对数似然性估计行噪声强度参数σr;
根据公式(4)设定读出噪声Nread的形状参数λ及噪声强度参数σTL,从偏置帧中减去估计的行噪声以后,利用正太分布图检查读出噪声的长尾特性,生成概率相关系数图,从Tukev lambda分布族中估计读出噪声Nread的形状参数λ,识别出一个最能描述偏置帧上的噪声数据的统计模型,之后,使用概率图估计TL分布的噪声强度参数σTL,使用概率图的确定系数R2评估拟合优度;
步骤2.2:利用步骤2.1估计的噪声参数,建模联合噪声参数分布:为了选取物理噪声生成模型的噪声参数,从步骤2.1中估计的不同感光度下的噪声参数样本中,预测不同噪声参数对的联合分布,使用线性回归方法拟合两组对数尺度测量的最优直线,最终,物理噪声生成模型的噪声参数采样方法如公式(7)所示:
公式(7)中,U(a,b)表示范围为[a,b]的均匀分布,表示均值为μ,标准差为σ的高斯分布,与分别表示在最小及最大的感光度设置下估计的整体系统增益,aTL,ar表示拟合直线的斜率,bTL,br表示拟合直线的截距,表示线性回归在高斯误差假设下标准差的无偏估计,从估计的参数样本的经验分布中采样读出噪声Nread的形状参数λ;
步骤3:使用步骤1、步骤2构建的已校正的物理噪声生成模型生成大量微光增强训练数据,设置学习率、批处理大小、权值初始化方式、优化方法、迭代轮次,建立神经网络的训练目标函数,使用生成的微光增强训练数据训练神经网络得到低质量带噪微光图像与高质量清晰明亮图像间的映射关系,并应用该映射关系完成微光图像高质量去噪增强;
为了生成微光带噪图像,选取干净明亮图像,将其除以从[100,300]中均匀采样的微光照因子,以模拟黑暗中的光子数量,然后根据公式(6)、公式(7)生成噪声并将其添加到低照度的干净样本中,最终,通过乘以相同的微光照因子来重新照亮所创建的噪点图像,在生成的微光图像增强训练数据上,对于任意给定的神经网络,通过优化损失函数L1得到优化后的网络参数θ,至此完成网络训练,得到低质量带噪微光图像与高质量无噪微光图像间的映射关系,并应用该映射关系完成微光条件下的微光图像高质量去噪增强。
有益效果:
1、本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法,使用物理噪声生成模型生成大量成对的增强训练数据,用于训练神经网络以用于微光条件下的微光图像去噪增强,能够从微光环境下短曝光拍摄的微光图像中重构高质量清晰明亮图像。
2、本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法,根据成像传感器的成像机理,考虑电子成像流程的光子、电流、电压、数字信号,构建能够生成仿真微光环境下真实噪声的物理噪声生成模型,极大地减轻了手工收集成对真实数据的人力和物力成本。
3、本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法,使用偏置帧与平场帧,利用统计概率方法校正物理噪声生成模型,能够应用于具有不同噪声性质的成像设备。
4、本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法,能够高质量地完成微光图像的去噪增强,能够用于单反相机、手机。适用于需要快速微光成像的场合,扩展微光图像的应用范围,能够用于视频监控、高速摄影、天文摄影领域。
附图说明
图1是本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法的总流程图;
图2是成像传感器的成像流程图及各阶段所涉及的噪声源的示意图;
图3是本发明公开的物理噪声生成模型校正方法所涉及的噪声成分检查、拟合结果图;
图4是本发明公开的物理噪声生成模型生成的偏置帧与真实采集的偏置帧的对比图;
图5、图6是本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法去噪增强结果对比图;
图7、图8是本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法在微光图像识别上的应用效果对比图。
具体实施方式
为了更好地说明本发明的目的和优点,下面结合附图和实例对发明内容做进一步说明。
实施例1:
实施例公开的是本发明的一种基于物理噪声生成模型的微光图像去噪增强方法应用于微光场景下拍摄的微光图像处理领域,并且处理后的微光图像进一步应用于图像识别领域。实施例所用微光图像是在暗室中使用SonyA7S2及NikonD850型号的单反相机短曝光拍摄得到,并采用Photoshop提亮微光图像作为效果对比,使用谷歌所提供的图像识别应用接口进行微光图像特征的识别。
本实施例公开的一种基于物理噪声生成模型的微光图像去噪增强方法,根据成像传感器的成像机理,考虑从光子到电流,从电流到电压以及从电压到数字信号的成像流程,构建物理噪声生成模型;使用SonyA7S2及NikonD850型号的单反相机采集偏置帧和平场帧,利用偏置帧和平场帧估计噪声模型参数,通过建模联合噪声参数分布校正物理噪声生成模型;使用已校正的物理噪声生成模型生成大量微光增强训练数据;对于任意神经网络,设置学习率、批处理大小、权值初始化方式、优化方法、迭代轮次,建立训练目标函数,使用微光增强训练数据训练神经网络,得到低质量带噪微光图像与高质量清晰明亮图像间的映射关系,并应用该映射关系完成微光条件下的微光图像高质量去噪增强。
本实施例公开的一种基于物理噪声生成模型的微光图像去噪增强方法的流程图如附图1所示,包括以下步骤:
步骤1:根据成像传感器的成像机理,考虑从光子到电流,从电流到电压以及从电压到数字信号的成像流程,构建物理噪声生成模型;
电子成像流程及各阶段所涉及的噪声源如附图2所示;
步骤1中所述的物理噪声生成模型考虑电子成像设备记录成像传感器原始图像的物理过程,其模型如公式(1)所示:
D=KI+N (1)
公式(1)中I表示与场景照射度成比率的光电子数量,K表示由模拟和数字增益组成的整体系统增益,N表示由光子特性或成像设备物理机制所产生的所有噪声源的总和;
为了更加精细地建模成像过程中各类噪声源,将成像流程顺序拆解为三个阶段,即从光子到电子、从电子到电压、从电压到数字信号;
步骤1.1:建模从光子到电子过程中的噪声源:曝光期间,光子形式的入射光撞击成像传感器像素区域,释放出与光强度成比例的光电子,由于光的量子性质,所收集的电子数量存在不确定性,这种不确定性使得成像传感器上记录的电子数量服从泊松分布,如公式(2)所示:
(I+Np)~P(I) (2)
公式(2)中Np表示光子散弹噪声,P表示泊松分布,这种类型的噪声取决于光强度;
在光子到电子过程还存在光响应不均匀性与暗电流噪声Nd:由于工艺的进步,忽略光响应不均匀性,并且将暗电流噪声Nd的效应合并到步骤1.2中的读出噪声Nread中;
步骤1.2:建模从电子到电压过程中的噪声源:步骤1.1中成像传感器像素区域生成的电子,在的电子电路中积分、放大以后,在曝光时间结束时读出为电压,考虑从电子到电压过程中的各类噪声源,包括热噪声Nt、源随器噪声Ns及条纹模式噪声Nb;
首先将热噪声Nt、源随器噪声Ns及暗电流噪声Nd合并为统一的噪声源,即读出噪声Nread,如公式(3)所示:
Nread=Nd+Nt+Ns (3)
根据读出噪声Nread所展现的长尾效应,使用Tukey Lambda分布来建模读出噪声Nread:
Nread~TL(λ;0,σTL) (4)
公式(4)中TL表示Tukey Lambda分布,λ表示形状参数,σTL表示噪声强度,0表示零均值噪声假设,代表噪声均值为0;
条纹模式噪声Nb表现为图像中的横竖条纹,通过对条纹模式噪声Nb的测量,忽略竖条纹噪声分量,仅建模横条纹噪声分量,即行噪声Nr:从噪声强度为σr的零均值标准差高斯分布中采样一个值,将采样值作为偏置加到图像行的每一个像素值上;
步骤1.3:建模从电压到数字信号过程中的噪声源:为了生成存储在数字存储介质中的数字图像,使用模数转换器将在步骤1.2中读取的电压量化为数字信号,电压到数字信号的过程中引入了量化噪声Nq,如公式(5)所示:
至此,物理噪声生成模型构建完成,其包含四种噪声组分:
N=KNp+Nread+Nr+Nq (6)
公式(6)中K表示整体系统增益,Np表示光子散弹噪声,Nread表示读出噪声、Nr表示行噪声,Nq表示量化噪声;
步骤2:使用SonyA7S2及NikonD850型号的单反相机采集偏置帧和平场帧,利用偏置帧和平场帧校正步骤1中构建的物理噪声生成模型。
步骤2.1:利用偏置帧和平场帧估计物理噪声生成模型的参数:平场帧是成像传感器被均匀照亮时所记录的图像;偏置帧是在无光环境下以最短曝光时间记录的图像,偏置帧描绘了与光信号无关的噪声图像;使用SonyA7S2及NikonD850型号的单反相机采集偏置帧和平场帧,用以估计噪声参数;
根据公式(2)设定光子散弹噪声Np的参数,整体系统增益K,使用光子转移方法,利用平场帧估计整体系统增益K,为了模拟真实的光子散弹噪声,首先对原始数字信号D除以整体系统增益K得到光电子数I,然后在其上施加泊松分布,最后乘以K将其还原为D;
根据公式(6)设定行噪声Nr的噪声强度参数σr,利用离散傅里叶变换,得到明显的评估条纹模式噪声Nb的横条纹分量,即行噪声Nr,如附图3-a所示,为了分析行噪声Nr的分布,从原始数据中提取每一行的均值作为行噪声Nr的估计值,并使用最大化对数似然性估计行噪声强度参数σr;
根据公式(4)设定读出噪声Nread的形状参数λ及噪声强度参数σTL,从偏置帧中减去估计的行噪声以后,利用正太分布图,如附图3-b所示,检查读出噪声的长尾特性,生成概率相关系数图,如附图3-c所示,从Tukeylambda分布族中估计形状参数λ,识别出一个最能描述数据的统计模型,之后,使用概率图,如附图3-d所示,估计TL分布的噪声强度参数σTL,使用概率图的确定系数R2评估拟合优度;
附图4-a表示真实的偏置帧,附图4-b表示生成的偏置帧;
步骤2.2:利用步骤2.1估计的噪声参数,建模联合噪声参数分布:为了选取物理噪声生成模型的噪声参数,从步骤2.1中估计的不同感光度下的噪声参数样本中,推断不同噪声参数对的联合分布,使用线性回归方法拟合两组对数尺度测量的最优直线,最终,物理噪声生成模型的噪声参数采样方法如公式(7)所示:
公式(7)中,U(a,b)表示范围为[a,b]的均匀分布,表示均值为μ,标准差为σ的高斯分布,与分别表示在最小及最大的感光度设置下估计的整体系统增益,aTL,ar表示拟合直线的斜率,bTL,br表示拟合直线的截距,表示线性回归在高斯误差假设下标准差的无偏估计,从估计的参数样本的经验分布中采样读出噪声Nread的形状参数λ;
步骤3:使用步骤1、步骤2构建的已校正的物理噪声生成模型生成大量微光增强训练数据。设置学习率、批处理大小、权值初始化方式、优化方法、迭代轮次,建立神经网络的训练目标函数,使用生成的微光增强训练数据训练神经网络得到低质量带噪微光图像与高质量清晰明亮图像间的映射关系,并应用该映射关系完成微光图像高质量去噪增强;
为了生成微光带噪图像,选取干净明亮图像,将其除以从[100,300]中均匀采样的微光照因子,以模拟黑暗中的光子数量,然后根据公式(6)、公式(7)生成噪声并将其添加到低照度的干净样本中,最终,通过乘以相同的微光照因子来重新照亮所创建的噪点图像,在生成的微光图像去噪增强数据集上,对于任意给定的神经网络,通过优化损失函数L1得到优化后的网络参数θ,至此完成网络训练,得到低质量带噪微光图像与高质量无噪微光图像间的映射关系,并应用该映射关系完成微光条件下的微光图像高质量去噪增强;
本发明的一种基于物理噪声生成模型的微光图像去噪增强方法能够直接应用于微光场景下短曝光拍摄的微光图像处理:附图5及附图6展示了本发明方法的去噪增强效果,利用Photoshop提亮原始微光图像的同时也极度地放大了噪声,严重破坏了图像的质感,作为比较,本发明方法能够同时增强图像细节,抑制图像噪声,重构出高质量清晰明亮的图像;
附图7及附图8展示了本发明方法在图像识别领域的应用:使用谷歌所提供的图像识别应用接口分别识别Photoshop提亮后的微光图像及本发明方法的处理后的微光图像,本发明的方法处理后的微光图像能够识别的特征以及特征识别的准确率都高于Photoshop提亮原始微光图像的方法。
以上所述的具体描述,对发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于物理噪声生成模型的微光图像去噪增强方法,其特征在于:包括以下步骤:
步骤1:根据成像传感器的成像机理,考虑从光子到电流,从电流到电压以及从电压到数字信号的成像流程,构建物理噪声生成模型;
步骤1中所述的物理噪声生成模型考虑现代电子成像设备记录成像传感器原始图像的物理过程,物理噪声生成模型如公式(1)所示:
D=KI+N (1)
公式(1)中I表示与场景照射度成比率的光电子数量,K表示由模拟和数字增益组成的整体系统增益,N表示由光子特性和成像设备物理机制所产生的所有噪声源的总和;
为了更加精细地建模成像过程中各类噪声源,将成像流程顺序拆解为三个阶段,即从光子到电子、从电子到电压、从电压到数字信号;
步骤1.1:建模从光子到电子过程中的噪声源:曝光期间,光子形式的入射光撞击成像传感器像素区域,释放出与光强度成比例的光电子,由于光的量子性质,所收集的电子数量存在不确定性,这种不确定性使得成像传感器上记录的电子数量服从泊松分布,如公式(2)所示:
(I+Np)~P(I) (2)
公式(2)中Np表示光子散弹噪声,P表示泊松分布,这种类型的噪声取决于光强度;
在光子到电子过程还存在光响应不均匀性与暗电流噪声Nd,由于现代工艺的进步,忽略光响应不均匀性,并且将暗电流噪声Nd的效应合并到步骤1.2中的读出噪声Nread中;
步骤1.2:建模从电子到电压过程中的噪声源:步骤1.1中成像传感器像素区域生成的电子,在的电子电路中积分、放大以后,在曝光时间结束时读出为电压,考虑从电子到电压过程中的各类噪声源,包括热噪声Nt、源随器噪声Ns及条纹模式噪声Nb;
首先将热噪声Nt、源随器噪声Ns及暗电流噪声Nd合并为统一的噪声源,即读出噪声Nread,如公式(3)所示:
Nread=Nd+Nt+Ns (3)
根据读出噪声Nread所展现的长尾效应,使用TukeyLambda分布来建模读出噪声Nread:
Nread~TL(λ;0,σTL) (4)
公式(4)中TL表示Tukey Lambda分布,λ表示形状参数,σ孔表示噪声强度,0表示零均值噪声假设,代表噪声均值为0;
条纹模式噪声Nb表现为图像中的横竖条纹,通过对条纹模式噪声Nb的测量,忽略竖条纹噪声分量,仅建模横条纹噪声分量,即行噪声Nr:从噪声强度为σr的零均值标准差高斯分布中采样一个值,将采样值作为偏置加到图像行的每一个像素值上;
步骤1.3:建模从电压到数字信号过程中的噪声源:为了生成能够存储在数字存储介质中的数字图像,使用模数转换器将在步骤1.2中读取的电压量化为数字信号,电压到数字信号的过程中引入了量化噪声Nq,如公式(5)所示:
至此,物理噪声生成模型构建完成,包含四种噪声组分,如公式(6)所示:
N=KNp+Nread+Nr+Nq (6)
公式(6)中K表示整体系统增益,Np表示光子散弹噪声,Nread表示读出噪声、Nr表示行噪声,Na表示量化噪声;
步骤2:使用成像设备采集偏置帧和平场帧,利用偏置帧和平场帧校正步骤l中所述的物理噪声生成模型;
步骤2.1:利用偏置帧和平场帧估计物理噪声生成模型参数:平场帧是成像传感器被均匀照亮时所记录的图像,偏置帧是在无光环境下以最短曝光时间记录的图像,偏置帧描绘了与光信号无关的噪声图像,使用成像设备采集偏置帧和平场帧,用以估计噪声参数;
根据公式(2)设定光子散弹噪声Np的参数,整体系统增益K,使用光子转移方法,利用平场帧估计整体系统增益K,为了模拟真实的光子散弹噪声,首先对原始数字信号D除以整体系统增益K得到光电子数I,然后在其上施加泊松分布,最后乘以K将其还原为D;
根据公式(6)设定行噪声Nr的噪声强度参数σr,利用离散傅里叶变换,得到明显的评估条纹模式噪声Nb的横条纹噪声分量,即行噪声Nr,为了分析行噪声Nr的分布,从原始数据中提取每一行的均值作为行噪声Nr的估计值,并使用最大化对数似然性估计行噪声强度参数σr;
根据公式(4)设定读出噪声Nread的形状参数λ及噪声强度参数σTL,从偏置帧中减去估计的行噪声Nr以后,利用正太分布图检查读出噪声的长尾特性,生成概率相关系数图,从Tukey lambda分布族中估计读出噪声Nread的形状参数λ,识别出一个最能描述偏置帧上的噪声数据的统计模型,之后,使用概率图估计TL分布的噪声强度参数σTL,使用概率图的确定系数R2评估拟合优度;
步骤2.2:利用步骤2.1估计的噪声参数,建模联合噪声参数分布:为了选取物理噪声生成模型的噪声参数,从步骤2.1中估计的不同感光度下的噪声参数样本中,预测不同噪声参数对的联合分布,使用线性回归方法拟合两组对数尺度测量的最优直线,最终,物理噪声生成模型的噪声参数采样方法如公式(7)所示:
公式(7)中,U(a,b)表示范围为[a,b]的均匀分布,表示均值为μ,标准差为σ的高斯分布,与分别表示在最小及最大的感光度设置下估计的整体系统增益,aTL,αr表示拟合直线的斜率,bTL,br表示拟合直线的截距,表示线性回归在高斯误差假设下标准差的无偏估计,从估计的参数样本的经验分布中采样读出噪声Nread的形状参数λ;
步骤3:使用步骤1、步骤2构建的已校正的物理噪声生成模型生成大量微光增强训练数据,设置学习率、批处理大小、权值初始化方式、优化方法、迭代轮次,建立神经网络的训练目标函数,使用生成的微光增强训练数据训练神经网络得到低质量带噪微光图像与高质量清晰明亮图像间的映射关系,并应用该映射关系完成微光图像高质量去噪增强;
为了生成微光带噪图像,选取干净明亮图像,将其除以从[100,300]中均匀采样的微光照因子,以模拟黑暗中的光子数量,然后根据公式(6)、公式(7)生成噪声并将其添加到低照度的干净样本中,最终,通过乘以相同的微光照因子来重新照亮所创建的噪点图像,在生成的微光图像增强训练数据上,对于任意给定的神经网络,通过优化损失函数L1得到优化后的网络参数θ,至此完成网络训练,得到低质量带噪微光图像与高质量无噪微光图像间的映射关系,并应用该映射关系完成微光条件下的微光图像高质量去噪增强。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010051122.9A CN111260579B (zh) | 2020-01-17 | 2020-01-17 | 一种基于物理噪声生成模型的微光图像去噪增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010051122.9A CN111260579B (zh) | 2020-01-17 | 2020-01-17 | 一种基于物理噪声生成模型的微光图像去噪增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111260579A true CN111260579A (zh) | 2020-06-09 |
CN111260579B CN111260579B (zh) | 2021-08-03 |
Family
ID=70945256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010051122.9A Active CN111260579B (zh) | 2020-01-17 | 2020-01-17 | 一种基于物理噪声生成模型的微光图像去噪增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111260579B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111899188A (zh) * | 2020-07-08 | 2020-11-06 | 西北工业大学 | 一种神经网络学习的锥束ct噪声估计与抑制方法 |
CN111932514A (zh) * | 2020-08-07 | 2020-11-13 | 上海媒智科技有限公司 | 一种图像噪声水平估计、抑制方法、装置及电子设备 |
CN112733381A (zh) * | 2021-01-21 | 2021-04-30 | 上海索辰信息科技股份有限公司 | 一种基于物理机制的噪声模拟方法 |
CN113205462A (zh) * | 2021-04-06 | 2021-08-03 | 武汉大学 | 一种基于神经网络学习先验的光子反射率图像去噪方法 |
CN113645419A (zh) * | 2021-08-06 | 2021-11-12 | 商汤集团有限公司 | 图像处理方法及装置、电子设备及计算机可读存储介质 |
CN113643202A (zh) * | 2021-07-29 | 2021-11-12 | 西安理工大学 | 一种基于噪声注意力图指导的微光图像增强方法 |
CN113720441A (zh) * | 2021-08-26 | 2021-11-30 | 国网上海市电力公司 | 一种变电站周界噪音分布重现方法 |
CN113763271A (zh) * | 2021-09-03 | 2021-12-07 | 北京理工大学 | 一种基于物理噪声模型的高质量光谱去噪方法 |
CN114418073A (zh) * | 2022-03-30 | 2022-04-29 | 深圳时识科技有限公司 | 脉冲神经网络训练方法、存储介质、芯片及电子产品 |
CN114897729A (zh) * | 2022-05-11 | 2022-08-12 | 北京理工大学 | 基于物理建模的滤波阵列式光谱图像去噪增强方法及系统 |
CN114972085A (zh) * | 2022-05-16 | 2022-08-30 | 北京理工大学 | 一种基于对比学习的细粒度噪声估计方法和系统 |
CN114972088A (zh) * | 2022-05-06 | 2022-08-30 | 北京师范大学 | 一种基于最小熵的固定模式噪声去除方法 |
CN115049549A (zh) * | 2022-05-06 | 2022-09-13 | 北京师范大学 | 一种基于稳健估计的红外图像条状噪声去除方法 |
CN115082335A (zh) * | 2022-06-06 | 2022-09-20 | 北京理工大学 | 一种基于噪声建模的图像去噪方法 |
WO2022267494A1 (zh) * | 2021-06-22 | 2022-12-29 | 英特灵达信息技术(深圳)有限公司 | 一种图像数据生成方法和装置 |
CN116630832A (zh) * | 2023-07-21 | 2023-08-22 | 江西现代职业技术学院 | 一种无人机目标识别方法、系统、计算机及可读存储介质 |
CN111932514B (zh) * | 2020-08-07 | 2024-09-27 | 上海媒智科技有限公司 | 一种图像噪声水平估计、抑制方法、装置及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170223335A1 (en) * | 2015-09-18 | 2017-08-03 | Intel Corporation | Facilitating quantization and compression of three-dimensional graphics data using screen space metrics at computing devices |
US20190005603A1 (en) * | 2017-06-30 | 2019-01-03 | Intel Corporation | Approximating image processing functions using convolutional neural networks |
CN109754376A (zh) * | 2018-12-28 | 2019-05-14 | 深圳美图创新科技有限公司 | 图像去噪方法及装置 |
CN110211069A (zh) * | 2019-06-03 | 2019-09-06 | 广东工业大学 | 一种图像去噪模型及训练方法、系统、设备、计算机介质 |
CN110246105A (zh) * | 2019-06-15 | 2019-09-17 | 南京大学 | 一种基于实际相机噪声建模的视频去噪方法 |
-
2020
- 2020-01-17 CN CN202010051122.9A patent/CN111260579B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170223335A1 (en) * | 2015-09-18 | 2017-08-03 | Intel Corporation | Facilitating quantization and compression of three-dimensional graphics data using screen space metrics at computing devices |
US20190005603A1 (en) * | 2017-06-30 | 2019-01-03 | Intel Corporation | Approximating image processing functions using convolutional neural networks |
CN109754376A (zh) * | 2018-12-28 | 2019-05-14 | 深圳美图创新科技有限公司 | 图像去噪方法及装置 |
CN110211069A (zh) * | 2019-06-03 | 2019-09-06 | 广东工业大学 | 一种图像去噪模型及训练方法、系统、设备、计算机介质 |
CN110246105A (zh) * | 2019-06-15 | 2019-09-17 | 南京大学 | 一种基于实际相机噪声建模的视频去噪方法 |
Non-Patent Citations (2)
Title |
---|
GUAN H: ""NODE: Extreme Low Light Raw Image Denoising using a Noise Decomposition Network"", 《ARXIV》 * |
刘超: ""一种基于深度去噪自编码的超低照度微光图像复原方法"", 《海军工程大学学报》 * |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111899188B (zh) * | 2020-07-08 | 2022-06-07 | 西北工业大学 | 一种神经网络学习的锥束ct噪声估计与抑制方法 |
CN111899188A (zh) * | 2020-07-08 | 2020-11-06 | 西北工业大学 | 一种神经网络学习的锥束ct噪声估计与抑制方法 |
CN111932514A (zh) * | 2020-08-07 | 2020-11-13 | 上海媒智科技有限公司 | 一种图像噪声水平估计、抑制方法、装置及电子设备 |
CN111932514B (zh) * | 2020-08-07 | 2024-09-27 | 上海媒智科技有限公司 | 一种图像噪声水平估计、抑制方法、装置及电子设备 |
CN112733381A (zh) * | 2021-01-21 | 2021-04-30 | 上海索辰信息科技股份有限公司 | 一种基于物理机制的噪声模拟方法 |
CN112733381B (zh) * | 2021-01-21 | 2021-10-08 | 上海索辰信息科技股份有限公司 | 一种基于物理机制的噪声模拟方法 |
CN113205462A (zh) * | 2021-04-06 | 2021-08-03 | 武汉大学 | 一种基于神经网络学习先验的光子反射率图像去噪方法 |
CN113205462B (zh) * | 2021-04-06 | 2022-07-19 | 武汉大学 | 一种基于神经网络学习先验的光子反射率图像去噪方法 |
WO2022267494A1 (zh) * | 2021-06-22 | 2022-12-29 | 英特灵达信息技术(深圳)有限公司 | 一种图像数据生成方法和装置 |
US12052511B2 (en) | 2021-06-22 | 2024-07-30 | Intellindust Information Technology (shenzhen) Co., Ltd. | Method and apparatus for generating image data |
CN113643202A (zh) * | 2021-07-29 | 2021-11-12 | 西安理工大学 | 一种基于噪声注意力图指导的微光图像增强方法 |
CN113645419B (zh) * | 2021-08-06 | 2024-04-19 | 商汤集团有限公司 | 图像处理方法及装置、电子设备及计算机可读存储介质 |
CN113645419A (zh) * | 2021-08-06 | 2021-11-12 | 商汤集团有限公司 | 图像处理方法及装置、电子设备及计算机可读存储介质 |
CN113720441B (zh) * | 2021-08-26 | 2023-09-12 | 国网上海市电力公司 | 一种变电站周界噪音分布重现方法 |
CN113720441A (zh) * | 2021-08-26 | 2021-11-30 | 国网上海市电力公司 | 一种变电站周界噪音分布重现方法 |
CN113763271A (zh) * | 2021-09-03 | 2021-12-07 | 北京理工大学 | 一种基于物理噪声模型的高质量光谱去噪方法 |
CN113763271B (zh) * | 2021-09-03 | 2024-06-07 | 北京理工大学 | 一种基于物理噪声模型的高质量光谱去噪方法 |
CN114418073B (zh) * | 2022-03-30 | 2022-06-21 | 深圳时识科技有限公司 | 脉冲神经网络训练方法、存储介质、芯片及电子产品 |
CN114418073A (zh) * | 2022-03-30 | 2022-04-29 | 深圳时识科技有限公司 | 脉冲神经网络训练方法、存储介质、芯片及电子产品 |
CN114972088A (zh) * | 2022-05-06 | 2022-08-30 | 北京师范大学 | 一种基于最小熵的固定模式噪声去除方法 |
CN115049549B (zh) * | 2022-05-06 | 2024-08-06 | 北京师范大学 | 一种基于稳健估计的红外图像条状噪声去除方法 |
CN115049549A (zh) * | 2022-05-06 | 2022-09-13 | 北京师范大学 | 一种基于稳健估计的红外图像条状噪声去除方法 |
CN114897729B (zh) * | 2022-05-11 | 2024-06-04 | 北京理工大学 | 基于物理建模的滤波阵列式光谱图像去噪增强方法及系统 |
CN114897729A (zh) * | 2022-05-11 | 2022-08-12 | 北京理工大学 | 基于物理建模的滤波阵列式光谱图像去噪增强方法及系统 |
CN114972085A (zh) * | 2022-05-16 | 2022-08-30 | 北京理工大学 | 一种基于对比学习的细粒度噪声估计方法和系统 |
CN114972085B (zh) * | 2022-05-16 | 2024-06-04 | 北京理工大学 | 一种基于对比学习的细粒度噪声估计方法和系统 |
CN115082335B (zh) * | 2022-06-06 | 2024-07-19 | 北京理工大学 | 一种基于噪声建模的图像去噪方法 |
CN115082335A (zh) * | 2022-06-06 | 2022-09-20 | 北京理工大学 | 一种基于噪声建模的图像去噪方法 |
CN116630832B (zh) * | 2023-07-21 | 2023-09-29 | 江西现代职业技术学院 | 一种无人机目标识别方法、系统、计算机及可读存储介质 |
CN116630832A (zh) * | 2023-07-21 | 2023-08-22 | 江西现代职业技术学院 | 一种无人机目标识别方法、系统、计算机及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111260579B (zh) | 2021-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111260579B (zh) | 一种基于物理噪声生成模型的微光图像去噪增强方法 | |
Wei et al. | A physics-based noise formation model for extreme low-light raw denoising | |
Xu et al. | Real-world noisy image denoising: A new benchmark | |
CN108280811B (zh) | 一种基于神经网络的图像去噪方法和系统 | |
CN114972085B (zh) | 一种基于对比学习的细粒度噪声估计方法和系统 | |
Liu et al. | Simultaneous image formation and motion blur restoration via multiple capture | |
KR101537182B1 (ko) | 높은 다이나믹 레인지 이미지들을 이용한 화이트 밸런스 최적화 | |
CN113763271B (zh) | 一种基于物理噪声模型的高质量光谱去噪方法 | |
CN114022732B (zh) | 一种基于raw图像的极暗光物体检测方法 | |
CN111724317A (zh) | Raw域视频去噪监督数据集构造方法 | |
CN103971343A (zh) | 基于相似像素点检测的图像降噪方法 | |
CN107392879A (zh) | 一种基于参考帧的低照度监控图像增强方法 | |
CN114862698A (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
Zhou et al. | Improving lens flare removal with general-purpose pipeline and multiple light sources recovery | |
CN112819710B (zh) | 基于人工智能的无人机果冻效应自适应补偿方法及系统 | |
CN108551555B (zh) | 一种使用cmos探测器的工业相机的自动曝光方法 | |
TWI590192B (zh) | 適應性高動態範圍影像合成演算法 | |
CN110602411A (zh) | 一种逆光环境下的人脸图像质量提升方法 | |
Sooknanan et al. | Improving underwater visibility using vignetting correction | |
CN115082335B (zh) | 一种基于噪声建模的图像去噪方法 | |
De Neve et al. | An improved HDR image synthesis algorithm | |
Çoğalan et al. | Hdr denoising and deblurring by learning spatio-temporal distortion models | |
Han et al. | Auto Complementary Exposure Control for High Dynamic Range Video Capturing | |
Abdelhamed | Noise Modelling for Smartphone Cameras | |
CN107277327B (zh) | 一种估计全光圈下单透镜光场相机的点扩散函数的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |