CN114897729A - 基于物理建模的滤波阵列式光谱图像去噪增强方法及系统 - Google Patents

基于物理建模的滤波阵列式光谱图像去噪增强方法及系统 Download PDF

Info

Publication number
CN114897729A
CN114897729A CN202210510657.7A CN202210510657A CN114897729A CN 114897729 A CN114897729 A CN 114897729A CN 202210510657 A CN202210510657 A CN 202210510657A CN 114897729 A CN114897729 A CN 114897729A
Authority
CN
China
Prior art keywords
noise
image
low
array type
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210510657.7A
Other languages
English (en)
Other versions
CN114897729B (zh
Inventor
付莹
姜禹琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210510657.7A priority Critical patent/CN114897729B/zh
Publication of CN114897729A publication Critical patent/CN114897729A/zh
Application granted granted Critical
Publication of CN114897729B publication Critical patent/CN114897729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了基于物理建模的滤波阵列式光谱图像去噪增强方法及系统，属于计算机视觉和计算摄像学技术领域。本发明通过对滤波阵列式光谱相机的物理成像过程进行分析，准确建模了真实情况下的噪声分布，提供了易于实践的相机标定方法，可以生成大量的低弱光仿真数据，并使用生成的仿真数据训练神经网络，实现了针对低弱光滤波阵列式光谱图像的去噪增强，可以有效地对低质量的低弱光滤波阵列式光谱图像进行去噪增强，得到高质量的滤波阵列式光谱图像。本发明有效解决了在低弱光条件下滤波阵列式光谱相机使用难的技术问题。

Description

基于物理建模的滤波阵列式光谱图像去噪增强方法及系统
技术领域
本发明涉及一种基于物理建模的滤波阵列式光谱图像去噪增强方法及系统，属于计算机视觉和计算摄像学技术领域。
背景技术
滤波阵列式光谱相机正在被越来越多地用于多光谱成像领域。与传统的逐行或逐波段扫描的光谱相机不同，滤波阵列式光谱相机在多光谱滤波阵列的帮助下，能够用快照的方式拍摄多光谱图像。然而，由于多光谱滤波阵列仅允许特定波段的光通过，因此在低弱光环境下滤波阵列式光谱相机拍摄的图像会被噪声淹没。
为了去除噪声，一些基于模型的方法提出了使用手工设计的先验来获取干净的光谱图像。但是，这些先验信息通常不够准确和全面。相比之下，基于深度学习的方法可以利用卷机神经网络强大的学习能力，能够自动学习训练数据集中潜在的特征。然而，深度学习方法是建立在高质量数据集的基础上，数据集需要足够全面，以确保神经网络能够泛化到未知的真实数据中。
为了提高数据集的质量，一种方式是采集大量的真实数据，但这一方式非常耗费人力和时间，并且采集到的数据集会存在诸如不对齐的问题。
另一种方式是建模噪声的分布并用以生成仿真的数据，这一方式也被许多研究人员所采纳。对于RGB图像和传统扫描式相机的噪声模型研究目前已有先例，但是，由于它们忽视或者过于简化一些可能的噪声来源，这些噪声模型并不能很好地应用在窄带滤波光谱相机上，导致使用这些噪声模型训练的神经网络与使用真实数据训练的神经网络有较大的性能差距。
对于滤波阵列式光谱相机而言，目前尚缺少真实数据集以及高质量的仿真数据。同时，考虑到大量真实数据的采集会十分费时费力，也很难保证质量，为此，本领域迫切地需要一种能够生成滤波阵列式光谱相机在低弱光场景下的图像数据的系统，来为后续深度神经网络的训练提供高质量的数据。
发明内容
本发明的目的是为了解决滤波阵列式光谱相机在低弱光环境下的成像质量的技术问题，创造性地提出一种基于物理建模的滤波阵列式光谱图像去噪增强方法及系统。
本发明的创新点在于：通过分析窄带滤波光谱相机的物理成像过程，建立基于全元物理量的噪声模型，以此为基础生成低弱光数据，并用生成的数据训练深度神经网络用于图像去噪和增强，解决滤波阵列式光谱相机在低弱光环境下成像质量差的问题。
为达到上述目的，本发明采用以下技术方案实现。
一种基于物理建模的滤波阵列式光谱图像去噪增强方法，包括以下步骤：
步骤1：分析滤波阵列式光谱相机的物理成像过程，建立相机的真实噪声分布模型。
优选地，在低弱光环境下滤波阵列式相机拍摄的带噪声图像建模为：
Figure BDA0003637701950000021
其中，
Figure BDA0003637701950000022
表示实际采集到的带噪声图像，K表示相机的总系统增益，I表示传感器采集到的光电子数量，N表示图像的噪声。
优选地，对图像的噪声N进一步划分，划分依据为噪声产生的来源。为此，图像噪声N进一步表示为：
N＝KNsi+Nsd+Nb
其中，Nsi表示依赖于图像信号的噪声，Nsd表示与信号无关的噪声，Nb表示片色噪声，K表示相机的总系统增益。
在传感器成像阶段，光子会撞击传感器表面产生光电子。由于光子的量子性质，光电子的数量存在不确定性。最终传感器记录的光电子数量服从泊松分布，表示为：
I+Nsi～P(I)
其中，P表示泊松分布。Nsi表示依赖于图像信号的噪声。I表示传感器采集到的光电子数量，N表示图像的噪声。
与信号无关的噪声Nsd进一步划分为读出噪声Nread、条纹噪声Nsp和量化噪声Nq。为此，信号无关噪声Nsd进一步表示为：
Nsd＝Nread+Nsp+Nq
读出噪声Nread是在传感器将光电子转化为电压信号的过程中产生的。这一类型的噪声服从高斯分布，表示为：
Figure BDA0003637701950000031
其中，
Figure BDA0003637701950000032
表示高斯分布，σr表示高斯分布的标准差。
条纹噪声Nsp表现为传感器所成图像中的条纹。这些条纹可分为竖直条纹噪声
Figure BDA0003637701950000033
和水平条纹噪声
Figure BDA0003637701950000034
条纹噪声Nsp表示为：
Figure BDA0003637701950000035
竖直条纹噪声
Figure BDA0003637701950000036
和水平条纹噪声
Figure BDA0003637701950000037
均服从高斯分布，表示为：
Figure BDA0003637701950000038
Figure BDA0003637701950000039
量化噪声Nq产生于数字-模拟信号转换器中。数字-模拟信号转换器需要将连续的模拟信号转换成离散的数字信号，这一过程中产生的误差即是量化噪声。量化噪声服从均匀分布：
Figure BDA00036377019500000310
其中U表示均匀分布，q表示量化步长；
偏色噪声Nb的产生主要是由于相机采集过程中的暗电流导致，具有单张图像的每一波段内水平方向上不均匀、随光照变化、在某一数值附近波动的特点。根据该特点，对采集到的单张光谱图像的每个波段，需要逐列建模偏色噪声。
具体地，偏色噪声
Figure BDA00036377019500000311
表示为：
Figure BDA00036377019500000312
其中，c表示图像中的列坐标，λ表示波段，i表示光照强度。∈表示偏色噪声的波动。
偏色噪声在某一数值附近的波动能够使用高斯分布进行描述。因此，偏色噪声
Figure BDA00036377019500000313
进一步表示为：
Figure BDA00036377019500000314
其中，
Figure BDA00036377019500000315
表示高斯分布，σc表示高斯分布的标准差。
光照强度与
Figure BDA00036377019500000316
的关系使用指数函数进行拟合，表示为：
Figure BDA00036377019500000317
其中，A、B和C表示需要拟合的参数。
步骤2：采集标定数据，针对特定相机标定噪声模型参数。
优选地，使用平场帧和偏置帧即可标定特定相机的噪声模型参数。其中，平场帧是在均匀光照条件下采集的图像，用于标定总系统增益和偏色噪声。偏置帧是在完全无光条件下采集的图像，用于标定所有信号无关噪声。
步骤3：根据标定好的噪声模型及采集的正常光照图像，生成对应的低弱光环境下图像。
优选地，步骤3包括以下步骤：
步骤3.1：将正常光照图像的亮度转换为低弱光图像的亮度。
步骤3.2：使用噪声模型添加噪声。
步骤3.3：将低弱光亮度恢复会正常亮度，得到仿真数据。
步骤4：使用生成的低弱光数据训练深度神经网络，用于滤波阵列式光谱图像的去噪与增强。
优选地，对于任意给定的神经网络，使用生成的仿真低弱光滤波阵列式光谱图像，学习低弱光图像与正常光照无噪声图像的映射，并将训练好的神经网络应用于滤波阵列式光谱图像去噪与增强任务中。
另一方面，为达到上述目的，本发明提出了一种基于物理建模的滤波阵列式光谱图像去噪增强系统，包括训练阶段以及实际部署应用阶段。
具体地，系统包括相机标定子系统、物理噪声建模子系统、低弱光数据生成子系统、低弱光图像去噪增强网络子系统、滤波阵列式光谱成像子系统和低弱光图像去噪增强网络子系统。
其中，相机标定子系统，用于对特定滤波阵列式光谱相机进行标定，确定物理噪声模型中的具体参数。
物理噪声建模子系统，用于对滤波阵列式光谱相机的噪声来源进行物理建模，精细化、准确化地分析噪声本质及其分布。
低弱光数据生成子系统，基于标定后的物理噪声模型，生成仿真低弱光数据，用于后续神经网络的训练。
低弱光图像去噪增强网络子系统，使用生成的低弱光仿真数据进行训练，训练得到网络用于滤波阵列式光谱图像的去噪及增强。
其中，滤波阵列式光谱成像子系统，使用滤波阵列式光谱相机获取所拍场景的光谱图像；
低弱光图像去噪增强网络子系统，用于对低弱光环境下滤波阵列式光谱相机所获取的图像进行去噪及增强；
其中，其中，相机标定子系统的输出端与物理噪声建模子系统的输入端相连。物理噪声建模子系统的输出端与低弱光数据生成子系统的输入端相连。低弱光数据生成子系统的输出端与低弱光图像去噪增强网络子系统的输入端相连。滤波阵列式光谱相机成像子系统的输出端与低弱光图像去噪增强网络子系统的输入端相连。
有益效果
本发明，对比现有技术，具有以下优点：
本发明可以有效地对低质量的低弱光滤波阵列式光谱图像进行去噪增强，得到高质量的滤波阵列式光谱图像。所述方法通过对滤波阵列式光谱相机的物理成像过程进行分析，准确建模了真实情况下的噪声分布，提供了易于实践的相机标定方法，可以生成大量的低弱光仿真数据，并使用生成的仿真数据训练神经网络，实现了针对低弱光滤波阵列式光谱图像的去噪增强，有效解决了在低弱光条件下滤波阵列式光谱相机使用难的技术问题。
附图说明
图1为本方法的流程示意图。
图2为本发明实施例所提供的物理噪声模型及低弱光仿真数据生成方法示意图。
图3为本发明实施例所提供的基于物理建模的滤波阵列式光谱图像去噪增强系统结构示意图。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明方法做进一步说明。
实施例
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的原件或具有相同或类似功能的原件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
如图1所示，包括以下步骤：
步骤1：分析滤波阵列式光谱相机的物理成像过程，建模其真实噪声分布。
步骤2：采集标定数据，针对特定相机标定噪声模型参数。
步骤3：根据标定好的噪声模型及采集的正常光照图像，生成对应的低弱光环境下图像。
步骤4：使用生成的低弱光仿真数据训练神经网络，用于滤波阵列式光谱图像的去噪增强。
本申请实施例的基于物理建模的滤波阵列式光谱图像去噪增强方法，通过分析滤波阵列式光谱相机的物理成像过程，建立基于物理成像过程的噪声模型；通过采集使用某一相机采集标定数据，针对该特定相机标定噪声模型参数；根据标定后的噪声模型以及正常光照图像，生成对应的低弱光环境下图像数据；使用生成的低弱光环境下仿真图像数据，训练神经网络以实现图像的去噪增强。由此，解决滤波阵列式光谱相机在低弱光环境下成像质量差、图像内容被噪声淹没的问题。
进一步地，在本申请的一个实施例中，基于滤波阵列式光谱相机的物理成像过程，建立相机的真实噪声分布模型。在低弱光环境下滤波阵列式相机拍摄的带噪声图像可以建模为：
Figure BDA0003637701950000061
其中，
Figure BDA0003637701950000062
表示实际采集到的带噪声图像，K表示相机的总系统增益，I表示传感器采集到的光电子数量，N表示图像的噪声。
进一步地，在本申请的一个实施例中，图像的噪声N可以进一步划分，划分依据为噪声产生的来源。为此，图像噪声N可进一步表示为：
N＝KNsi+Nsd+Nb
其中，Nsi表示依赖于图像信号的噪声，Nsd表示与信号无关的噪声，Nb表示片色噪声。
进一步地，在本申请的一个实施例中，依赖于图像信号的噪声服从泊松分布，可以表示为：
I+Nsi～P(I)
其中，P表示泊松分布。
进一步地，在本申请的一个实施例中，与信号无关的噪声Nsd可以进一步划分为读出噪声Nread、条纹噪声Nsp和量化噪声Nq。为此，信号无关噪声Nsd可以进一步表示为：
Nsd＝Nread+Nsp+Nq
读出噪声Nread服从高斯分布，可以表示为
Figure BDA0003637701950000071
其中
Figure BDA0003637701950000072
表示高斯分布，σr表示高斯分布的标准差。
条纹噪声Nsp可以分为竖直条纹噪声
Figure BDA0003637701950000073
和水平条纹噪声
Figure BDA0003637701950000074
为此条纹噪声Nsp可以表示为：
Figure BDA0003637701950000075
竖直条纹噪声
Figure BDA0003637701950000076
和水平条纹噪声
Figure BDA0003637701950000077
均服从高斯分布，可以表示为：
Figure BDA0003637701950000078
Figure BDA0003637701950000079
量化噪声Nq产生于数字-模拟信号转换器中，并且服从均匀分布。
进一步地，在本申请的一个实施例中，偏色噪声具有单张图像的具体波段内水平方向上不均匀、随光照变化、在某一数值附近波动的特点。根据该特点，对采集到的单张光谱图像的每个波段，需要逐列建模偏色噪声。具体而言，偏色噪声可以表示为：
Figure BDA00036377019500000710
其中，c表示图像中的列坐标，λ表示波段，i表示光照强度。
偏色噪声在某一数值附近的波动可以使用高斯分布进行描述，因此在权利要求11所述方法的基础上，偏色噪声可以进一步表示为：
Figure BDA00036377019500000711
其中，
Figure BDA00036377019500000712
表示高斯分布，σc表示高斯分布的标准差。
光照强度与
Figure BDA00036377019500000713
的关系可以使用指数函数进行拟合，可以表示为：
Figure BDA00036377019500000714
其中，A，B和C表示需要拟合的参数。
进一步地，在本申请的一个实施例中，仅使用平场帧和偏置帧即可标定特定相机的噪声模型参数。平场帧是在均匀光照条件下采集的图像，用于标定总系统增益和偏色噪声。偏置帧是在完全无光条件下采集的图像，用于标定所有信号无关噪声。
进一步地，在本申请的一个实施例中，使用标定的噪声模型及正常光照条件下图像生成对应的低弱光图像数据，具体包括以下步骤：
步骤1：将正常光照图像的亮度转换为低弱光图像的亮度。
步骤2：使用噪声模型添加噪声。
步骤3：将低弱光亮度恢复会正常亮度，得到仿真数据。
进一步地，在本申请的一个实施例中，对于任意给定的神经网络，使用生成的仿真低弱光滤波阵列式光谱图像，学习低弱光图像与正常光照无噪声图像的映射，并将训练好的神经网络应用于低弱光滤波阵列式光谱图像去噪与增强任务中。
图2为本申请实施例的物理噪声模型及仿真数据生成的示意图，通过将正常光照图像的像素强度转化为低弱光图像的像素强度，再在其上添加相应的噪声，最后得到低弱光照条件下的带噪声图像数据。相比于其它常用的数据生成方式，本发明实施例中的生成系统更为精细化，更加准确，与真实数据更为相近。
图3为本发明实施例所提供的基于物理建模的滤波阵列式光谱图像去噪增强系统的结构图，系统包括训练阶段和实际部署应用阶段。系统训练阶段涉及物理噪声建模子系统10、相机标定子系统20、低弱光数据生成子系统30和低弱光图像去噪增强网络子系统40：
物理噪声建模子系统10，用于对滤波阵列式光谱相机的噪声来源进行物理建模，精细化、准确化分析噪声本质及其分布。
相机标定子系统20，用于对特定滤波阵列式光谱相机进行标定，确定物理噪声模型中的具体参数。
低弱光数据生成子系统30，基于标定后的物理噪声模型，生成大量仿真低弱光数据，用于后续神经网络的训练。
低弱光图像去噪增强网络子系统40，使用生成的低弱光仿真数据进行训练，训练得到网络用于低弱光滤波阵列式光谱图像的去噪及增强。
系统实际部署应用阶段涉及滤波阵列式光谱成像子系统50和低弱光图像去噪增强网络子系统40：
滤波阵列式光谱成像子系统50，使用滤波阵列式光谱相机获取所拍摄场景的光谱图像。
低弱光图像去噪增强网络子系统40，用于对低弱光环境下滤波阵列式光谱相机所获取的图像进行去噪及增强。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于物理建模的滤波阵列式光谱图像去噪增强方法，其特征在于，包括以下步骤：
步骤1：分析滤波阵列式光谱相机的物理成像过程，建立相机的真实噪声分布模型：
Figure FDA0003637701940000011
其中，
Figure FDA0003637701940000012
表示实际采集到的带噪声图像，K表示相机的总系统增益，I表示传感器采集到的光电子数量，N表示图像的噪声；
对图像的噪声N进一步划分，划分依据为噪声产生的来源，图像噪声N进一步表示为：
N＝KNsi+Nsd+Nb
其中，Nsi表示依赖于图像信号的噪声，Nsd表示与信号无关的噪声，Nb表示偏色噪声，K表示相机的总系统增益；
传感器记录的光电子数量服从泊松分布，表示为：
I+Nsi～P(I)
其中，P表示泊松分布；Nsi表示依赖于图像信号的噪声；I表示传感器采集到的光电子数量，N表示图像的噪声；
与信号无关的噪声Nsd进一步划分为读出噪声Nread、条纹噪声Nsp和量化噪声Nq，信号无关噪声Nsd进一步表示为：
Nsd＝Nread+Nsp+Nq
读出噪声Nread是在传感器将光电子转化为电压信号的过程中产生，该类型的噪声服从高斯分布，表示为：
Figure FDA0003637701940000013
其中，
Figure FDA0003637701940000014
表示高斯分布，σr表示高斯分布的标准差；
条纹噪声Nsp表现为传感器所成图像中的条纹，分为竖直条纹噪声
Figure FDA0003637701940000015
和水平条纹噪声
Figure FDA0003637701940000016
条纹噪声Nsp表示为：
Figure FDA0003637701940000017
竖直条纹噪声
Figure FDA0003637701940000018
和水平条纹噪声
Figure FDA0003637701940000019
均服从高斯分布，表示为：
Figure FDA00036377019400000110
Figure FDA00036377019400000111
量化噪声Nq产生于数字-模拟信号转换器中；数字-模拟信号转换器需要将连续的模拟信号转换成离散的数字信号，这一过程中产生的误差即为量化噪声；量化噪声服从均匀分布：
Figure FDA0003637701940000021
其中，U表示均匀分布，q表示量化步长；
对采集到的单张光谱图像的每个波段，要逐列建模偏色噪声，偏色噪声
Figure FDA0003637701940000022
表示为：
Figure FDA0003637701940000023
其中，c表示图像中的列坐标，λ表示波段，i表示光照强度；∈表示偏色噪声的波动；
偏色噪声在某一数值附近的波动能够使用高斯分布进行描述，偏色噪声
Figure FDA0003637701940000024
进一步表示为：
Figure FDA0003637701940000025
其中，
Figure FDA0003637701940000026
表示高斯分布，σc表示高斯分布的标准差；
光照强度与
Figure FDA0003637701940000027
的关系使用指数函数进行拟合，表示为：
Figure FDA0003637701940000028
其中，A、B和C表示需要拟合的参数；
步骤2：采集标定数据，针对特定相机标定噪声模型参数；
步骤3：根据标定好的噪声模型及采集的正常光照图像，生成对应的低弱光环境下图像；
步骤4：使用生成的低弱光数据训练深度神经网络，用于滤波阵列式光谱图像的去噪与增强。
2.如权利要求1所述的基于物理建模的滤波阵列式光谱图像去噪增强方法，其特征在于，步骤2中，使用平场帧和偏置帧即可标定特定相机的噪声模型参数；其中，平场帧是在均匀光照条件下采集的图像，用于标定总系统增益和偏色噪声；偏置帧是在完全无光条件下采集的图像，用于标定所有信号无关噪声。
3.如权利要求1所述的基于物理建模的滤波阵列式光谱图像去噪增强方法，其特征在于，步骤3包括以下步骤：
步骤3.1：将正常光照图像的亮度转换为低弱光图像的亮度；
步骤3.2：使用噪声模型添加噪声；
步骤3.3：将低弱光亮度恢复会正常亮度，得到仿真数据。
4.如权利要求1所述的基于物理建模的滤波阵列式光谱图像去噪增强方法，其特征在于，步骤4中，对于任意给定的神经网络，使用生成的仿真低弱光滤波阵列式光谱图像，学习低弱光图像与正常光照无噪声图像的映射，并将训练好的神经网络应用于滤波阵列式光谱图像去噪与增强任务中。
5.如权利要求1所述的基于物理建模的滤波阵列式光谱图像去噪增强系统，包括相机标定子系统、物理噪声建模子系统、低弱光数据生成子系统、低弱光图像去噪增强网络子系统、滤波阵列式光谱成像子系统和低弱光图像去噪增强网络子系统；
其中，相机标定子系统，用于对特定滤波阵列式光谱相机进行标定，确定物理噪声模型中的具体参数；
物理噪声建模子系统，用于对滤波阵列式光谱相机的噪声来源进行物理建模，精细化、准确化地分析噪声本质及其分布；
低弱光数据生成子系统，基于标定后的物理噪声模型，生成仿真低弱光数据，用于后续神经网络的训练；
低弱光图像去噪增强网络子系统，使用生成的低弱光仿真数据进行训练，训练得到网络用于滤波阵列式光谱图像的去噪及增强；
滤波阵列式光谱成像子系统，使用滤波阵列式光谱相机获取所拍场景的光谱图像；
低弱光图像去噪增强网络子系统，用于对低弱光环境下滤波阵列式光谱相机所获取的图像进行去噪及增强；
其中，相机标定子系统的输出端与物理噪声建模子系统的输入端相连；物理噪声建模子系统的输出端与低弱光数据生成子系统的输入端相连；低弱光数据生成子系统的输出端与低弱光图像去噪增强网络子系统的输入端相连；滤波阵列式光谱相机成像子系统的输出端与低弱光图像去噪增强网络子系统的输入端相连。
CN202210510657.7A 2022-05-11 2022-05-11 基于物理建模的滤波阵列式光谱图像去噪增强方法及系统 Active CN114897729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210510657.7A CN114897729B (zh) 2022-05-11 2022-05-11 基于物理建模的滤波阵列式光谱图像去噪增强方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210510657.7A CN114897729B (zh) 2022-05-11 2022-05-11 基于物理建模的滤波阵列式光谱图像去噪增强方法及系统

Publications (2)

Publication Number Publication Date
CN114897729A true CN114897729A (zh) 2022-08-12
CN114897729B CN114897729B (zh) 2024-06-04

Family

ID=82721940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210510657.7A Active CN114897729B (zh) 2022-05-11 2022-05-11 基于物理建模的滤波阵列式光谱图像去噪增强方法及系统

Country Status (1)

Country Link
CN (1) CN114897729B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3480782A1 (en) * 2017-11-02 2019-05-08 Vrije Universiteit Brussel Method and device for reducing noise in a depth image
CN110246105A (zh) * 2019-06-15 2019-09-17 南京大学 一种基于实际相机噪声建模的视频去噪方法
CN111260579A (zh) * 2020-01-17 2020-06-09 北京理工大学 一种基于物理噪声生成模型的微光图像去噪增强方法
CN113763271A (zh) * 2021-09-03 2021-12-07 北京理工大学 一种基于物理噪声模型的高质量光谱去噪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3480782A1 (en) * 2017-11-02 2019-05-08 Vrije Universiteit Brussel Method and device for reducing noise in a depth image
CN110246105A (zh) * 2019-06-15 2019-09-17 南京大学 一种基于实际相机噪声建模的视频去噪方法
CN111260579A (zh) * 2020-01-17 2020-06-09 北京理工大学 一种基于物理噪声生成模型的微光图像去噪增强方法
CN113763271A (zh) * 2021-09-03 2021-12-07 北京理工大学 一种基于物理噪声模型的高质量光谱去噪方法

Also Published As

Publication number Publication date
CN114897729B (zh) 2024-06-04

Similar Documents

Publication Publication Date Title
CN111260579B (zh) 一种基于物理噪声生成模型的微光图像去噪增强方法
CN106373105B (zh) 基于低秩矩阵恢复的多曝光图像去伪影融合方法
CN113763271B (zh) 一种基于物理噪声模型的高质量光谱去噪方法
CN101753797B (zh) 图像信号处理设备及方法
CN114972085B (zh) 一种基于对比学习的细粒度噪声估计方法和系统
DE112016006582T5 (de) Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren,aufzeichnungsmedium, programm und bildaufnahmegerät
CN113284064B (zh) 一种基于注意力机制跨尺度上下文低照度图像增强方法
CN114022732B (zh) 一种基于raw图像的极暗光物体检测方法
KR102192016B1 (ko) 의미 인식 기반의 이미지 보정 방법 및 그를 위한 장치
CN111986106A (zh) 一种基于神经网络的高动态图像重建方法
CN114979500A (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
Lv et al. An integrated enhancement solution for 24-hour colorful imaging
CN111242884A (zh) 图像坏点检测、校正方法及装置、存储介质、摄像设备
CN117351216A (zh) 一种基于监督深度学习的图像自适应去噪方法
CN109714545B (zh) 一种高速高光谱成像仪图像处理系统
CN114519676A (zh) 基于Bayer格式的raw图像的去噪装置及方法
US20210125318A1 (en) Image processing method and apparatus
CN114897729B (zh) 基于物理建模的滤波阵列式光谱图像去噪增强方法及系统
CN115334294B (zh) 一种本地自适应力度的视频降噪方法
CN115147311A (zh) 基于HSV与AM-RetinexNet图像增强方法
US20230153954A1 (en) Information processing device and method, and computer readable storage medium
US20240031684A1 (en) Image generation apparatus, image generation method, and program
CN112565637B (zh) 一种单色sCMOS摄像机中低照度下条带噪声的去除方法
CN115358936A (zh) 基于因果推断和raw域加性噪声模型的图像去噪方法
CN115457157A (zh) 图像仿真方法、图像仿真装置以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant