CN111260579A - 一种基于物理噪声生成模型的微光图像去噪增强方法 - Google Patents

Abstract

本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法，属于图像处理领域。本发明应用于微光环境下短曝光拍摄的微光图像，根据成像传感器的物理机理，考虑光子、电流、电压、数字信号的电子成像流程，构建物理噪声生成模型，使用偏置帧与平场帧，估计物理噪声生成模型的噪声参数，校正物理噪声生成模型，使用物理噪声生成模型生成大量微光增强训练数据训练神经网络，通过训练完毕的神经网络完成微光图像高质量的降噪增强。本发明能够用于单反相机、手机等成像设备，以短曝光的形式重构清晰夜景。适用于需要快速微光成像的场合，扩展微光图像的应用范围。本发明能够用于视频监控、高速摄影、天文摄影领域。

Description

一种基于物理噪声生成模型的微光图像去噪增强方法

技术领域

本发明专利涉及一种基于物理噪声生成模型的微光图像去噪增强方法，尤其涉及能够从微光环境下短曝光拍摄的微光图像中重构高质量清晰明亮图像的方法，属于图像处理领域。

背景技术

光线对摄影至关重要。由于光子数量有限和成像过程中不可避免的噪声，夜晚和微光对摄影提出了非常严格的要求。微光摄影的传统解决方案是收集更多的光源，包括增大光圈，延长曝光时间，打开闪光灯源。但是，每种方法都有着自身本质的缺陷：大光圈会导致较小的景深，并且通常无法在智能手机的相机中使用；长时间曝光会引入由场景变化或相机运动所造成的模糊；闪光灯会导致色差，且仅对近处的物体有用。

微光成像的一种实用化的解决方法是连拍摄影，多帧对齐融合以增加参考帧图像的信噪比。然而，连拍摄影在捕捉动态场景时会出现严重的重影现象。另一种新兴的解决方案是使用神经网络自动地学习从短曝光微光图像到其对应长曝光图像的映射关系。但是，这种深度学习方法通常需要大量成对的短曝光微光图像和长曝光图像真实数据进行训练。使用多样化的现代相机设备采集丰富的高质量成对训练样本对人力物力有着非常高的要求。

另一方面，合成数据简单、丰富且廉价，但其有效性在很大程度上取决于采用的噪声生成模型的准确性。近年的研究已发现，使用仿真高斯噪声训练的神经网络虽然能在高斯噪声的仿真测试场景下超过高度工程化的传统方法，但它们却无法有效地去除图片中的真实噪声。一系列研究关注于如何提高生成训练数据的真实感，以绕过收集大量真实训练数据的困难。通过同时考虑光子到达的统计规律，即光子散弹噪声，以及读出效应，即读出噪声，一些方法开始采用与信号相关的异方差高斯模型来构建原始成像传感器数据中的噪声模型。但是，这些方法过分简化了成像传感器的成像机理，尤其是忽视了由成像传感器电子电路所产生的噪声源，而这些噪声源会对原始的观测数据造成显著的影响，特别是在微光线条件下。

发明内容

针对现有的噪声模型忽略了成像设备的物理特性从而不够拟真的问题，本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法要解决的技术问题是：从成像传感器的物理成像机理出发，考虑成像过程中各类的噪声源，建立物理噪声生成模型，生成大量成对拟真数据，用于训练神经网络，通过训练完毕的神经网络实现微光图像的降噪增强，扩展微光图像的应用范围。

为达到以上目的，本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法采用以下技术方案：利用成像传感器的物理机理，考虑电子成像流程的光子、电流、电压、数字信号，结合统计建模分析，构建能够生成仿真微光环境下真实噪声的物理噪声生成模型；使用偏置帧与平场帧预测光子散弹噪声、读出噪声、行噪声的噪声参数，校正物理噪声生成模型；使用基于物理噪声生成模型训练的神经网络，应用于微光环境下短曝光拍摄的微光图像，重构高质量的清晰明亮图像。本发明能够高质量地完成微光图像的去噪增强，能够用于单反相机、手机，以短曝光的形式重构清晰夜景。适用于需要快速微光成像的场合，扩展微光图像的应用范围。本发明能够用于视频监控、高速摄影、天文摄影领域。

本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法，包括以下步骤：

步骤1：根据成像传感器的成像机理，考虑从光子到电流，从电流到电压以及从电压到数字信号的成像流程，构建物理噪声生成模型；

步骤1中所述的物理噪声生成模型考虑电子成像设备记录成像传感器原始图像的物理过程，物理噪声生成模型如公式(1)所示：

D＝KI+N (1)

公式(1)中I表示与场景照射度成比率的光电子数量，K表示由模拟和数字增益组成的整体系统增益，N表示由光子特性和成像设备物理机制所产生的所有噪声源的总和；

为了更加精细地建模成像过程中各类噪声源，将成像流程顺序拆解为三个阶段，即从光子到电子、从电子到电压、从电压到数字信号；

步骤1.1：建模从光子到电子过程中的噪声源：曝光期间，光子形式的入射光撞击成像传感器像素区域，释放出与光强度成比例的光电子，由于光的量子性质，所收集的电子数量存在不确定性，这种不确定性使得成像传感器上记录的电子数量服从泊松分布，如公式(2)所示：

(I+N_p)～P(I) (2)

公式(2)中N_p表示光子散弹噪声，P表示泊松分布，这种类型的噪声取决于光强度；

在光子到电子过程还存在光响应不均匀性与暗电流噪声N_d，由于工艺的进步，忽略光响应不均匀性，并且将暗电流噪声N_d的效应合并到步骤1.2中的读出噪声N_read中；

步骤1.2：建模从电子到电压过程中的噪声源：步骤1.1中成像传感器像素区域生成的电子，在的电子电路中积分、放大以后，在曝光时间结束时读出为电压，考虑从电子到电压过程中的各类噪声源，包括热噪声N_t、源随器噪声N_s及条纹模式噪声N_b；

首先将热噪声N_t、源随器噪声N_s及暗电流噪声N_d合并为统一的噪声源，即读出噪声N_read，如公式(3)所示：

N_read＝N_d+N_t+N_s (3)

根据读出噪声N_read所展现的长尾效应，使用Tukey Lambda分布来建模读出噪声N_read：

N_read～TL(λ；0，σ_TL) (4)

公式(4)中孔表示Tukey Lambda分布，λ表示形状参数，σ_TL表示噪声强度，0表示零均值噪声假设，代表噪声均值为0；

条纹模式噪声N_b表现为图像中的横竖条纹，通过对条纹模式噪声N_b的测量，忽略竖条纹噪声分量，仅建模横条纹噪声分量，即行噪声N_r：从噪声强度为σ_r的零均值标准差高斯分布中采样一个值，将采样值作为偏置加到图像行的每一个像素值上；

步骤1.3：建模从电压到数字信号过程中的噪声源：为了生成存储在数字存储介质中的数字图像，使用模数转换器将在步骤1.2中读取的电压量化为数字信号，电压到数字信号的过程中引入了量化噪声N_q，如公式(5)所示：

公式(5)中

表示范围为

的均匀分布，q表示量化步长；

至此，物理噪声生成模型构建完成，包含四种噪声组分，如公式(6)所示：

N＝KN_p+N_read+N_r+N_q (6)

公式(6)中K表示整体系统增益，N_p表示光子散弹噪声，N_read表示读出噪声、N_r表示行噪声，N_q表示量化噪声；

步骤2：使用成像设备采集偏置帧和平场帧，利用偏置帧和平场帧校正步骤1中构建的物理噪声生成模型；

步骤2.1：利用偏置帧和平场帧估计物理噪声生成模型的参数：平场帧是成像传感器被均匀照亮时所记录的图像，偏置帧是在无光环境下以最短曝光时间记录的图像，偏置帧描绘了与光信号无关的噪声图像，使用成像设备采集偏置帧和平场帧，用以估计噪声参数；

根据公式(2)设定光子散弹噪声N_p的参数，整体系统增益K，使用光子转移方法，利用平场帧估计整体系统增益K，为了模拟真实的光子散弹噪声，首先对原始数字信号D除以整体系统增益K得到光电子数I，然后在其上施加泊松分布，最后乘以K将其还原为D；

根据公式(6)设定行噪声N_r的噪声强度参数σ_r，利用离散傅里叶变换，得到明显的评估条纹模式噪声N_b的横条纹噪声分量，即行噪声N_r，为了分析行噪声N_r的分布，从原始数据中提取每一行的均值作为行噪声N_r的估计值，并使用最大化对数似然性估计行噪声强度参数σ_r；

根据公式(4)设定读出噪声N_read的形状参数λ及噪声强度参数σ_TL，从偏置帧中减去估计的行噪声以后，利用正太分布图检查读出噪声的长尾特性，生成概率相关系数图，从Tukev lambda分布族中估计读出噪声N_read的形状参数λ，识别出一个最能描述偏置帧上的噪声数据的统计模型，之后，使用概率图估计TL分布的噪声强度参数σ_TL，使用概率图的确定系数R²评估拟合优度；

步骤2.2：利用步骤2.1估计的噪声参数，建模联合噪声参数分布：为了选取物理噪声生成模型的噪声参数，从步骤2.1中估计的不同感光度下的噪声参数样本中，预测不同噪声参数对的联合分布，使用线性回归方法拟合两组对数尺度测量的最优直线，最终，物理噪声生成模型的噪声参数采样方法如公式(7)所示：

公式(7)中，U(a，b)表示范围为[a，b]的均匀分布，

表示均值为μ，标准差为σ的高斯分布，

与

分别表示在最小及最大的感光度设置下估计的整体系统增益，a_TL，a_r表示拟合直线的斜率，b_TL，b_r表示拟合直线的截距，

表示线性回归在高斯误差假设下标准差的无偏估计，从估计的参数样本的经验分布中采样读出噪声N_read的形状参数λ；

步骤3：使用步骤1、步骤2构建的已校正的物理噪声生成模型生成大量微光增强训练数据，设置学习率、批处理大小、权值初始化方式、优化方法、迭代轮次，建立神经网络的训练目标函数，使用生成的微光增强训练数据训练神经网络得到低质量带噪微光图像与高质量清晰明亮图像间的映射关系，并应用该映射关系完成微光图像高质量去噪增强；

为了生成微光带噪图像，选取干净明亮图像，将其除以从[100，300]中均匀采样的微光照因子，以模拟黑暗中的光子数量，然后根据公式(6)、公式(7)生成噪声并将其添加到低照度的干净样本中，最终，通过乘以相同的微光照因子来重新照亮所创建的噪点图像，在生成的微光图像增强训练数据上，对于任意给定的神经网络，通过优化损失函数L₁得到优化后的网络参数θ，至此完成网络训练，得到低质量带噪微光图像与高质量无噪微光图像间的映射关系，并应用该映射关系完成微光条件下的微光图像高质量去噪增强。

有益效果：

1、本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法，使用物理噪声生成模型生成大量成对的增强训练数据，用于训练神经网络以用于微光条件下的微光图像去噪增强，能够从微光环境下短曝光拍摄的微光图像中重构高质量清晰明亮图像。

2、本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法，根据成像传感器的成像机理，考虑电子成像流程的光子、电流、电压、数字信号，构建能够生成仿真微光环境下真实噪声的物理噪声生成模型，极大地减轻了手工收集成对真实数据的人力和物力成本。

3、本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法，使用偏置帧与平场帧，利用统计概率方法校正物理噪声生成模型，能够应用于具有不同噪声性质的成像设备。

4、本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法，能够高质量地完成微光图像的去噪增强，能够用于单反相机、手机。适用于需要快速微光成像的场合，扩展微光图像的应用范围，能够用于视频监控、高速摄影、天文摄影领域。

附图说明

图1是本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法的总流程图；

图2是成像传感器的成像流程图及各阶段所涉及的噪声源的示意图；

图3是本发明公开的物理噪声生成模型校正方法所涉及的噪声成分检查、拟合结果图；

图4是本发明公开的物理噪声生成模型生成的偏置帧与真实采集的偏置帧的对比图；

图5、图6是本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法去噪增强结果对比图；

图7、图8是本发明公开的一种基于物理噪声生成模型的微光图像去噪增强方法在微光图像识别上的应用效果对比图。

具体实施方式

为了更好地说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。

实施例1：

实施例公开的是本发明的一种基于物理噪声生成模型的微光图像去噪增强方法应用于微光场景下拍摄的微光图像处理领域，并且处理后的微光图像进一步应用于图像识别领域。实施例所用微光图像是在暗室中使用SonyA7S2及NikonD850型号的单反相机短曝光拍摄得到，并采用Photoshop提亮微光图像作为效果对比，使用谷歌所提供的图像识别应用接口进行微光图像特征的识别。

本实施例公开的一种基于物理噪声生成模型的微光图像去噪增强方法，根据成像传感器的成像机理，考虑从光子到电流，从电流到电压以及从电压到数字信号的成像流程，构建物理噪声生成模型；使用SonyA7S2及NikonD850型号的单反相机采集偏置帧和平场帧，利用偏置帧和平场帧估计噪声模型参数，通过建模联合噪声参数分布校正物理噪声生成模型；使用已校正的物理噪声生成模型生成大量微光增强训练数据；对于任意神经网络，设置学习率、批处理大小、权值初始化方式、优化方法、迭代轮次，建立训练目标函数，使用微光增强训练数据训练神经网络，得到低质量带噪微光图像与高质量清晰明亮图像间的映射关系，并应用该映射关系完成微光条件下的微光图像高质量去噪增强。

本实施例公开的一种基于物理噪声生成模型的微光图像去噪增强方法的流程图如附图1所示，包括以下步骤：

步骤1：根据成像传感器的成像机理，考虑从光子到电流，从电流到电压以及从电压到数字信号的成像流程，构建物理噪声生成模型；

电子成像流程及各阶段所涉及的噪声源如附图2所示；

步骤1中所述的物理噪声生成模型考虑电子成像设备记录成像传感器原始图像的物理过程，其模型如公式(1)所示：

D＝KI+N (1)

公式(1)中I表示与场景照射度成比率的光电子数量，K表示由模拟和数字增益组成的整体系统增益，N表示由光子特性或成像设备物理机制所产生的所有噪声源的总和；

为了更加精细地建模成像过程中各类噪声源，将成像流程顺序拆解为三个阶段，即从光子到电子、从电子到电压、从电压到数字信号；

步骤1.1：建模从光子到电子过程中的噪声源：曝光期间，光子形式的入射光撞击成像传感器像素区域，释放出与光强度成比例的光电子，由于光的量子性质，所收集的电子数量存在不确定性，这种不确定性使得成像传感器上记录的电子数量服从泊松分布，如公式(2)所示：

(I+N_p)～P(I) (2)

公式(2)中N_p表示光子散弹噪声，P表示泊松分布，这种类型的噪声取决于光强度；

在光子到电子过程还存在光响应不均匀性与暗电流噪声N_d：由于工艺的进步，忽略光响应不均匀性，并且将暗电流噪声N_d的效应合并到步骤1.2中的读出噪声N_read中；

步骤1.2：建模从电子到电压过程中的噪声源：步骤1.1中成像传感器像素区域生成的电子，在的电子电路中积分、放大以后，在曝光时间结束时读出为电压，考虑从电子到电压过程中的各类噪声源，包括热噪声N_t、源随器噪声N_s及条纹模式噪声N_b；

首先将热噪声N_t、源随器噪声N_s及暗电流噪声N_d合并为统一的噪声源，即读出噪声N_read，如公式(3)所示：

N_read＝N_d+N_t+N_s (3)

根据读出噪声N_read所展现的长尾效应，使用Tukey Lambda分布来建模读出噪声N_read：

N_read～TL(λ；0，σ_TL) (4)

公式(4)中TL表示Tukey Lambda分布，λ表示形状参数，σ_TL表示噪声强度，0表示零均值噪声假设，代表噪声均值为0；

条纹模式噪声N_b表现为图像中的横竖条纹，通过对条纹模式噪声N_b的测量，忽略竖条纹噪声分量，仅建模横条纹噪声分量，即行噪声N_r：从噪声强度为σ_r的零均值标准差高斯分布中采样一个值，将采样值作为偏置加到图像行的每一个像素值上；

步骤1.3：建模从电压到数字信号过程中的噪声源：为了生成存储在数字存储介质中的数字图像，使用模数转换器将在步骤1.2中读取的电压量化为数字信号，电压到数字信号的过程中引入了量化噪声N_q，如公式(5)所示：

公式(5)中

表示范围为

的均匀分布，q表示量化步长；

至此，物理噪声生成模型构建完成，其包含四种噪声组分：

N＝KN_p+N_read+N_r+N_q (6)

公式(6)中K表示整体系统增益，N_p表示光子散弹噪声，N_read表示读出噪声、N_r表示行噪声，N_q表示量化噪声；

步骤2：使用SonyA7S2及NikonD850型号的单反相机采集偏置帧和平场帧，利用偏置帧和平场帧校正步骤1中构建的物理噪声生成模型。

步骤2.1：利用偏置帧和平场帧估计物理噪声生成模型的参数：平场帧是成像传感器被均匀照亮时所记录的图像；偏置帧是在无光环境下以最短曝光时间记录的图像，偏置帧描绘了与光信号无关的噪声图像；使用SonyA7S2及NikonD850型号的单反相机采集偏置帧和平场帧，用以估计噪声参数；

根据公式(2)设定光子散弹噪声N_p的参数，整体系统增益K，使用光子转移方法，利用平场帧估计整体系统增益K，为了模拟真实的光子散弹噪声，首先对原始数字信号D除以整体系统增益K得到光电子数I，然后在其上施加泊松分布，最后乘以K将其还原为D；

根据公式(6)设定行噪声N_r的噪声强度参数σ_r，利用离散傅里叶变换，得到明显的评估条纹模式噪声N_b的横条纹分量，即行噪声N_r，如附图3-a所示，为了分析行噪声N_r的分布，从原始数据中提取每一行的均值作为行噪声N_r的估计值，并使用最大化对数似然性估计行噪声强度参数σ_r；

根据公式(4)设定读出噪声N_read的形状参数λ及噪声强度参数σ_TL，从偏置帧中减去估计的行噪声以后，利用正太分布图，如附图3-b所示，检查读出噪声的长尾特性，生成概率相关系数图，如附图3-c所示，从Tukeylambda分布族中估计形状参数λ，识别出一个最能描述数据的统计模型，之后，使用概率图，如附图3-d所示，估计TL分布的噪声强度参数σ_TL，使用概率图的确定系数R²评估拟合优度；

附图4-a表示真实的偏置帧，附图4-b表示生成的偏置帧；

步骤2.2：利用步骤2.1估计的噪声参数，建模联合噪声参数分布：为了选取物理噪声生成模型的噪声参数，从步骤2.1中估计的不同感光度下的噪声参数样本中，推断不同噪声参数对的联合分布，使用线性回归方法拟合两组对数尺度测量的最优直线，最终，物理噪声生成模型的噪声参数采样方法如公式(7)所示：

公式(7)中，U(a，b)表示范围为[a，b]的均匀分布，

表示均值为μ，标准差为σ的高斯分布，

与

分别表示在最小及最大的感光度设置下估计的整体系统增益，a_TL，a_r表示拟合直线的斜率，b_TL，b_r表示拟合直线的截距，

表示线性回归在高斯误差假设下标准差的无偏估计，从估计的参数样本的经验分布中采样读出噪声N_read的形状参数λ；

步骤3：使用步骤1、步骤2构建的已校正的物理噪声生成模型生成大量微光增强训练数据。设置学习率、批处理大小、权值初始化方式、优化方法、迭代轮次，建立神经网络的训练目标函数，使用生成的微光增强训练数据训练神经网络得到低质量带噪微光图像与高质量清晰明亮图像间的映射关系，并应用该映射关系完成微光图像高质量去噪增强；

为了生成微光带噪图像，选取干净明亮图像，将其除以从[100，300]中均匀采样的微光照因子，以模拟黑暗中的光子数量，然后根据公式(6)、公式(7)生成噪声并将其添加到低照度的干净样本中，最终，通过乘以相同的微光照因子来重新照亮所创建的噪点图像，在生成的微光图像去噪增强数据集上，对于任意给定的神经网络，通过优化损失函数L₁得到优化后的网络参数θ，至此完成网络训练，得到低质量带噪微光图像与高质量无噪微光图像间的映射关系，并应用该映射关系完成微光条件下的微光图像高质量去噪增强；

本发明的一种基于物理噪声生成模型的微光图像去噪增强方法能够直接应用于微光场景下短曝光拍摄的微光图像处理：附图5及附图6展示了本发明方法的去噪增强效果，利用Photoshop提亮原始微光图像的同时也极度地放大了噪声，严重破坏了图像的质感，作为比较，本发明方法能够同时增强图像细节，抑制图像噪声，重构出高质量清晰明亮的图像；

附图7及附图8展示了本发明方法在图像识别领域的应用：使用谷歌所提供的图像识别应用接口分别识别Photoshop提亮后的微光图像及本发明方法的处理后的微光图像，本发明的方法处理后的微光图像能够识别的特征以及特征识别的准确率都高于Photoshop提亮原始微光图像的方法。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于物理噪声生成模型的微光图像去噪增强方法，其特征在于：包括以下步骤：

步骤1：根据成像传感器的成像机理，考虑从光子到电流，从电流到电压以及从电压到数字信号的成像流程，构建物理噪声生成模型；

步骤1中所述的物理噪声生成模型考虑现代电子成像设备记录成像传感器原始图像的物理过程，物理噪声生成模型如公式(1)所示：

D＝KI+N (1)

公式(1)中I表示与场景照射度成比率的光电子数量，K表示由模拟和数字增益组成的整体系统增益，N表示由光子特性和成像设备物理机制所产生的所有噪声源的总和；

为了更加精细地建模成像过程中各类噪声源，将成像流程顺序拆解为三个阶段，即从光子到电子、从电子到电压、从电压到数字信号；

步骤1.1：建模从光子到电子过程中的噪声源：曝光期间，光子形式的入射光撞击成像传感器像素区域，释放出与光强度成比例的光电子，由于光的量子性质，所收集的电子数量存在不确定性，这种不确定性使得成像传感器上记录的电子数量服从泊松分布，如公式(2)所示：

(I+N_p)～P(I) (2)

公式(2)中N_p表示光子散弹噪声，P表示泊松分布，这种类型的噪声取决于光强度；

在光子到电子过程还存在光响应不均匀性与暗电流噪声N_d，由于现代工艺的进步，忽略光响应不均匀性，并且将暗电流噪声N_d的效应合并到步骤1.2中的读出噪声N_read中；

步骤1.2：建模从电子到电压过程中的噪声源：步骤1.1中成像传感器像素区域生成的电子，在的电子电路中积分、放大以后，在曝光时间结束时读出为电压，考虑从电子到电压过程中的各类噪声源，包括热噪声N_t、源随器噪声N_s及条纹模式噪声N_b；

首先将热噪声N_t、源随器噪声N_s及暗电流噪声N_d合并为统一的噪声源，即读出噪声N_read，如公式(3)所示：

N_read＝N_d+N_t+N_s (3)

根据读出噪声N_read所展现的长尾效应，使用TukeyLambda分布来建模读出噪声N_read：

N_read～TL(λ；0，σ_TL) (4)

公式(4)中TL表示Tukey Lambda分布，λ表示形状参数，σ_孔表示噪声强度，0表示零均值噪声假设，代表噪声均值为0；

条纹模式噪声N_b表现为图像中的横竖条纹，通过对条纹模式噪声N_b的测量，忽略竖条纹噪声分量，仅建模横条纹噪声分量，即行噪声N_r：从噪声强度为σ_r的零均值标准差高斯分布中采样一个值，将采样值作为偏置加到图像行的每一个像素值上；

步骤1.3：建模从电压到数字信号过程中的噪声源：为了生成能够存储在数字存储介质中的数字图像，使用模数转换器将在步骤1.2中读取的电压量化为数字信号，电压到数字信号的过程中引入了量化噪声N_q，如公式(5)所示：

公式(5)中

表示范围为

的均匀分布，q表示量化步长；

至此，物理噪声生成模型构建完成，包含四种噪声组分，如公式(6)所示：

N＝KN_p+N_read+N_r+N_q (6)

公式(6)中K表示整体系统增益，N_p表示光子散弹噪声，N_read表示读出噪声、N_r表示行噪声，N_a表示量化噪声；

步骤2：使用成像设备采集偏置帧和平场帧，利用偏置帧和平场帧校正步骤l中所述的物理噪声生成模型；

步骤2.1：利用偏置帧和平场帧估计物理噪声生成模型参数：平场帧是成像传感器被均匀照亮时所记录的图像，偏置帧是在无光环境下以最短曝光时间记录的图像，偏置帧描绘了与光信号无关的噪声图像，使用成像设备采集偏置帧和平场帧，用以估计噪声参数；

根据公式(2)设定光子散弹噪声N_p的参数，整体系统增益K，使用光子转移方法，利用平场帧估计整体系统增益K，为了模拟真实的光子散弹噪声，首先对原始数字信号D除以整体系统增益K得到光电子数I，然后在其上施加泊松分布，最后乘以K将其还原为D；

根据公式(6)设定行噪声N_r的噪声强度参数σ_r，利用离散傅里叶变换，得到明显的评估条纹模式噪声N_b的横条纹噪声分量，即行噪声N_r，为了分析行噪声N_r的分布，从原始数据中提取每一行的均值作为行噪声N_r的估计值，并使用最大化对数似然性估计行噪声强度参数σ_r；

根据公式(4)设定读出噪声N_read的形状参数λ及噪声强度参数σ_TL，从偏置帧中减去估计的行噪声N_r以后，利用正太分布图检查读出噪声的长尾特性，生成概率相关系数图，从Tukey lambda分布族中估计读出噪声N_read的形状参数λ，识别出一个最能描述偏置帧上的噪声数据的统计模型，之后，使用概率图估计TL分布的噪声强度参数σ_TL，使用概率图的确定系数R²评估拟合优度；

步骤2.2：利用步骤2.1估计的噪声参数，建模联合噪声参数分布：为了选取物理噪声生成模型的噪声参数，从步骤2.1中估计的不同感光度下的噪声参数样本中，预测不同噪声参数对的联合分布，使用线性回归方法拟合两组对数尺度测量的最优直线，最终，物理噪声生成模型的噪声参数采样方法如公式(7)所示：

公式(7)中，U(a，b)表示范围为[a，b]的均匀分布，

表示均值为μ，标准差为σ的高斯分布，

与

分别表示在最小及最大的感光度设置下估计的整体系统增益，a_TL，α_r表示拟合直线的斜率，b_TL，b_r表示拟合直线的截距，

表示线性回归在高斯误差假设下标准差的无偏估计，从估计的参数样本的经验分布中采样读出噪声N_read的形状参数λ；

步骤3：使用步骤1、步骤2构建的已校正的物理噪声生成模型生成大量微光增强训练数据，设置学习率、批处理大小、权值初始化方式、优化方法、迭代轮次，建立神经网络的训练目标函数，使用生成的微光增强训练数据训练神经网络得到低质量带噪微光图像与高质量清晰明亮图像间的映射关系，并应用该映射关系完成微光图像高质量去噪增强；

为了生成微光带噪图像，选取干净明亮图像，将其除以从[100，300]中均匀采样的微光照因子，以模拟黑暗中的光子数量，然后根据公式(6)、公式(7)生成噪声并将其添加到低照度的干净样本中，最终，通过乘以相同的微光照因子来重新照亮所创建的噪点图像，在生成的微光图像增强训练数据上，对于任意给定的神经网络，通过优化损失函数L₁得到优化后的网络参数θ，至此完成网络训练，得到低质量带噪微光图像与高质量无噪微光图像间的映射关系，并应用该映射关系完成微光条件下的微光图像高质量去噪增强。

Images