CN116309163A - 一种黑白图像引导的彩色raw图像联合去噪去马赛克方法 - Google Patents

一种黑白图像引导的彩色raw图像联合去噪去马赛克方法 Download PDF

Info

Publication number
CN116309163A
CN116309163A CN202310277581.2A CN202310277581A CN116309163A CN 116309163 A CN116309163 A CN 116309163A CN 202310277581 A CN202310277581 A CN 202310277581A CN 116309163 A CN116309163 A CN 116309163A
Authority
CN
China
Prior art keywords
image
color
black
white
demosaicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310277581.2A
Other languages
English (en)
Inventor
沈会良
刘雄伟
张润民
曹思源
俞贝楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310277581.2A priority Critical patent/CN116309163A/zh
Priority to PCT/CN2023/084429 priority patent/WO2023231535A1/zh
Publication of CN116309163A publication Critical patent/CN116309163A/zh
Priority to US18/398,193 priority patent/US20240320787A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种黑白图像引导的彩色RAW图像联合去噪去马赛克方法，该方法为：构建黑白‑彩色双目相机仿真图像数据集，用于网络模块的训练和测试；利用黑白图像和彩色图像之间的结构相关性，基于视差注意力机制构建对齐引导图像生成模块，采用RAW图像对应的干净灰度图像真值作为监督，以感知损失函数对该模块进行训练，从而生成高质量的对齐引导图像；利用生成的对齐引导图像引导彩色相机RAW图像的联合去噪去马赛克过程；基于结构‑颜色损失函数，训练引导去噪去马赛克模块，使得在准确迁移引导图像结构的同时，保证去噪去马赛克结果颜色的准确性。对于暗光场景下的双目成像设备，本发明具有较强的应用价值。

Description

一种黑白图像引导的彩色RAW图像联合去噪去马赛克方法
技术领域
本发明涉及图像处理领域，具体涉及一种黑白图像引导的彩色RAW图像联合去噪去马赛克方法。
背景技术
图像去噪与去马赛克是彩色相机图像处理流程中必不可少的部分。现有方法一般先在RAW域对图像进行去噪，再利用去马赛克算法将图像转化到RGB域中。随着深度学习技术的发展，基于神经网络的算法模型在去噪和去马赛克任务上均取得了更好的效果。在庞大的训练数据量与模型参数量的支持下，利用神经网络同时建模多种退化类型成为可能。因此，联合去噪去马赛克网络同时对两个过程进行建模，可以防止误差累积，同时复用图像特征。例如，在2021IEEE/CVF Conference on Computer Vision and PatternRecognition Workshops会议上的“Beyond Joint Demosaicking and Denoising:AnImage Processing Pipeline for a Pixel-bin Image Sensor”论文，引入注意力模块、对抗训练等多种机制，提升联合去噪去马赛克效果。然而，虽然神经网络可以较好地学习复原过程，但在信噪比较低的暗光场景下，单图复原算法在噪声去除、细节恢复等方面存在性能瓶颈。
另一方面，随着多传感器设备的发展，多图融合处理成为突破单图算法瓶颈的重要手段。黑白-彩色双目相机系统广泛应用于智能手机等设备，黑白相机相比于彩色相机，成像过程不受到色彩滤波片影响，同时具有更高的进光量，因此在成像质量上具有明显优势。基于黑白相机引导彩色相机进行去噪和去马赛克，可以充分发挥多传感器的组合优势。然而，现有的引导复原神经网络方法无法直接处理非对齐场景。在2019British MachineVision Conference会议上的“Robust Joint Image Reconstruction from Color andMonochrome Cameras”论文，首先基于光流对双目图像进行像素级别的配准，来减轻视差带来的影响，随后基于传统优化方法迭代求解复原结果。该方法计算量较大，同时在低信噪比场景下，难以实现准确的配准，进一步影响了后续的联合去噪去马赛克过程。
发明内容
本发明从黑白相机的成像优势出发，提出一种黑白图像引导的彩色RAW图像联合去噪去马赛克方法。为了消除二者之间由于视差引起的非对齐因素，本发明基于注意力机制构造对齐引导图像生成模块，并基于感知损失函数进行训练，从而生成用于引导RAW图像去噪去马赛克的高质量对齐引导图像。同时，本发明基于颜色-结构损失函数进行联合引导去噪去马赛克网络模块的训练，使得复原结果具有更好的视觉效果。本发明方法通过生成高质量的对齐引导图像，可处理含视差的非对齐引导联合去噪去马赛克场景，同时允许黑白图像本身受到噪声污染且不影响引导效果。基于视差注意力机制降低双目视差和黑白相机自身噪声的影响，利用黑白-彩色双目系统中的黑白相机图像信息，协助彩色相机的联合去噪去马赛克过程。
本发明提供一种黑白图像引导的彩色RAW图像联合去噪去马赛克方法，利用高信噪比的黑白相机图像，跨视差引导彩色相机RAW图像进行联合去噪去马赛克，该方法步骤如下：
S1：构建暗光场景下含噪声的黑白-彩色双目相机仿真数据集。
S2：基于步骤S1中的数据集构建联合去噪去马赛克模型。
所述联合去噪去马赛克模型包括对齐引导图像生成模块和引导去噪去马赛克模块。
S21：构建所述对齐引导图像生成模块，所述对齐引导图像生成模块基于视差注意力机制求解黑白图像和RAW图像在视差方向上的特征相关性，利用相关的结构特征构建对齐引导图像特征，从而得到对齐引导图像；以RAW图像对应的干净灰度图像真值作为监督，基于感知损失函数训练对齐引导图像生成模块至收敛，使得对齐引导图像生成模块生成的对齐引导图像在结构上与RAW图像尽可能相近。
S22：构建所述引导去噪去马赛克模块，所述引导去噪去马赛克模块分别提取RAW图像的特征和对齐引导图像的特征，对RAW图像特征分辨率进行上采样后，对两者以特征通道拼接的方式进行特征融合，最后通过特征解码生成RAW图像对应的干净RGB图像，同时完成引导去噪和引导去马赛克过程；基于结构-颜色损失函数训练引导去噪去马赛克模块至收敛，使得去噪去马赛克结果同时具有准确的颜色重建和锐利的细节结构。
所述对齐引导图像生成模块基于视差注意力机制，融合非对齐的黑白相机图像信息与彩色相机图像信息，生成与彩色相机对齐的高质量引导图像；所述引导去噪去马赛克模块基于高质量的对齐引导图像，对彩色相机RAW图像的联合去噪去马赛克过程进行引导。
S3：基于步骤S2构建的联合去噪去马赛克模型对彩色RAW图像进行去噪去马赛克。针对黑白-彩色双目相机系统，在暗光下同时采集图像。通过对齐引导图像生成模块，利用黑白相机图像提供的额外高信噪比信息，并减轻非对齐因素的影响，同时对彩色相机RAW图像的去噪与去马赛克过程进行引导，输出视觉效果良好的彩色暗光图像。
步骤S1基于已有的彩色双目图像数据集，生成大量的暗光场景下含噪声的黑白-彩色双目系统仿真数据集，用于联合去噪去马赛克模型的训练和测试。含噪声的黑白-彩色双目系统仿真数据集构建方法具体如下：
S11将双目彩色相机采集的正常图像中的每个像素在亮度上除以K以仿真暗光场景。
S12对于左视图，基于RGGB的Bayer像素排列模式进行色彩通道值采样，生成RAW图像。对于右视图，则通过三个颜色通道值相加的方式，模拟黑白相机完整的进光量，生成黑白图像。
S13对黑白图像与RAW图像添加相同参数的泊松-高斯噪声的污染。
步骤S2中联合去噪去马赛克模型的构建包括两个部分，一是构建对齐引导图像生成模块，二是构建引导去噪去马赛克模块：
所述对齐引导图像生成模块基于视差注意力机制求解黑白图像和RAW图像在视差方向上的特征相关性，利用相关的结构特征构建对齐引导图像特征，具体方法如下：
首先将RAW图像基于传统去马赛克算法进行去马赛克，并通过三个颜色通道相加的形式转化为单通道灰度图像。其次，通过相同的特征提取器提取来自左右视图的RAW图像特征Fraw与黑白图像特征Fmono，在特征空间降低噪声干扰，增强结构信息。随后，基于视差注意力机制，针对Fraw特征和Fmono特征在视差方向上求解相关性权重矩阵M，并利用行方向上的相关性，构建对齐引导图像特征：
Figure BDA0004136859930000031
其中f表示卷积操作，/>
Figure BDA0004136859930000032
为对齐引导图像特征，由来自引导黑白图像的特征信息根据视差相关性加权融合得来。最后，利用特征解码器将/>
Figure BDA0004136859930000033
特征解码为与目标彩色图像结构一致的高质量对齐引导图像。
求解相关性权重矩阵M的方法为：对于来自左右视图的RAW图像特征Fraw与黑白图像特征Fmono，两者张量维度均为H×W×C，其中H、W、C分别表示特征张量的高、宽与通道数。首先将左视图特征通过3×3的卷积层，生成query张量，而右视图特征分别通过两个不同的3×3卷积层，生成key张量和value张量，三者维度均为H×W×C。将key张量的维度进行重新排列，将维度转化为H×C×W。将query张量和重排列后的key张量进行矩阵相乘运算，得到维度为H×W×W的相关计算结果矩阵，并通过SoftMax运算得到行方向上的相关性权重矩阵M。
采用感知损失函数作为对齐引导图像生成模块训练时的损失函数。感知损失函数定义为：
Figure BDA0004136859930000034
其中,Lp表示感知损失函数；/>
Figure BDA0004136859930000035
表示对齐引导图像生成模块的输出结果G表示作为监督的参考真值，设置为RAW图像对应的干净灰度图像真值；FVGG(·)表示通过预训练的VGG模型提取图像特征。该感知损失函数用于计算在VGG特征空间中输出结果与理想值之间的距离，在训练中通过优化该距离使得生成的对齐引导图像专注于结构重建，更为高效。
所述引导去噪去马赛克模块利用生成的高质量对齐引导图像代替非对齐的含噪黑白相机图像，引导彩色相机RAW图像的联合去噪去马赛克过程。引导去噪去马赛克模块分别提取含噪RAW图像的特征和高质量对齐引导图像的特征，并以特征通道拼接的方式进行特征融合。基于结构-颜色损失函数训练引导去噪去马赛克模块，直接解码生成RAW图像对应的干净RGB图像，同时完成引导去噪和引导去马赛克过程。
神经网络主要从对齐引导图像学习结构特征，主要从RAW图像学习颜色特征，并采用结构-颜色损失函数作为引导联合去噪去马赛克模块训练时的损失函数。结构-颜色损失函数定义为：
Figure BDA0004136859930000036
Figure BDA0004136859930000037
其中，Lpc为.结构-颜色联合损失函数；/>
Figure BDA0004136859930000038
为联合去噪去马赛克结果；Y为参考真值，设置为含噪RAW图像对应的干净RGB图像真值。损失函数第一项为结构损失，FVGG(·)表示通过预训练的VGG模型提取图像特征，通过VGG空间特征来约束输出结果的结构信息；损失函数第二项为颜色损失，Fgaussian(·)表示通过高斯滤波提取图像低频信息，颜色损失函数通过Fgaussian(·)函数在图像低频空间计算损失。从结构和颜色两个方面去约束去噪去马赛克结果，使得对齐引导图像的结构在充分迁移的同时保持输出结果的颜色准确性。
本发明的有益效果为：基于视差注意力机制，消除了引导过程中的非对齐因素，使得黑白相机图像的引导信息可以跨视差准确地赋予给彩色相机的去噪去马赛克过程，同时通过感知损失函数和结构-颜色损失函数的设计和组合，使得去噪后重建了精确的高频细节结构，同时去马赛克过程具有准取的颜色插值效果。对于暗光场景下的双目成像设备，本发明具有较强的应用价值。
附图说明
图1是本发明方法的流程图。
图2是本发明对齐引导图像生成模块的工作流程图。
图3是本发明特征提取器结构示意图。
图4是本发明基于视差注意力机制融合左右视图特征的网络结构示意图。
图5是基于视差注意力机制的对齐引导图像生成原理示意图。其中，(a)是目标图像可视化结果，为左相机输出图像；(b)是黑白图像，为右相机输出图像；对(a)、(b)中标明的L1、L2、L3三行像素，视差注意力求解结果如(c)、(d)、(e)所示。
图6是本发明引导去噪去马赛克模块的工作流程图。
图7是本发明引导去噪去马赛克模块的网络架构图。
图8是本发明基于黑白图像生成的对齐引导图像并进行引导去噪去马赛克过程的具体实施例图示。其中，(a)是彩色相机低光照下RAW仿真图像，(b)是(a)经过初步去马赛克并对亮度进行拉伸后得到的可视化图像，(c)是输入黑白相机图像，(d)是生成的对齐引导图像，(e)是生成的去噪去马赛克结果，(f)是参考目标图像。
具体实施方式
以下结合具体实施例和附图进一步说明。
实施例
首先，基于彩色双目图像数据集，构建黑白-彩色双目相机仿真数据集，具体为：
将双目彩色相机采集的正常图像，在亮度上除以K以仿真暗光场景(暗光场景图像的最大像素值低于40)。其后，对于左视图基于RGGB的Bayer像素排列模式，进行色彩通道值采样，生成Bayer RAW图像。对于右视图，则通过三个颜色通道值相加的方式，模拟黑白相机完整的进光量，生成黑白图像。最后，由于在实际场景中，黑白、彩色相机难免都会受到真实噪声的污染，因此对两者添加了相同参数的泊松-高斯噪声的干扰。由此，得到暗光场景下含噪声的RAW-黑白双目图像对，用于后续网络的训练。
本发明方法提出的网络架构如图1所示，其主要分为“对齐引导图像生成”和“引导去噪去马赛克”两个模块。
对齐引导图像生成模块如图2所示，其基于视差注意力机制，消除黑白图像和RAW图像之间的非对齐因素，生成对齐的引导图像。同时，以RAW图像的黑白图像真值作为监督信息，以感知损失作为损失函数单独训练该模块至收敛。
基于视差注意力机制的对齐引导图像生成过程具体描述如下：
首先，对于左右相机图像，采用同一个特征编码器进行特征编码，特征编码器具体结构如图3所示。首先将RAW图像基于传统去马赛克算法DDFAPD算法进行去马赛克，并通过三个颜色通道相加的形式转化为单通道灰度图像。特征编码过程有两个重要作用：通过特征编码，输入RAW图像和黑白图像的噪声水平得到抑制，降低对结构相似性判断的干扰；同时将目标RAW图像和引导黑白图像转化到同一特征空间，保留两者结构上的相关性。
其次，通过相同的特征提取器提取来自左右视图的RAW图像特征Fraw与黑白图像特征Fmono。
随后，基于视差注意力机制融合左右视图特征，具体结构如图4所示。由于视差引起的非对齐因素一般出现在同一行中，因此基于视差注意力机制计算左右视图特征在同一行上的相关性。针对Fraw特征和Fmono特征在视差方向上求解相关性权重矩阵M，并利用行方向上的相关性，构建对齐引导图像特征：
Figure BDA0004136859930000051
其中f表示卷积操作，/>
Figure BDA0004136859930000052
为对齐引导图像特征；最后，利用特征解码器将/>
Figure BDA0004136859930000053
特征解码为与目标彩色图像结构一致的对齐引导图像。其中，对齐引导图像特征由对应行上黑白图像特征值基于相关性线性组合而成。
相关性权重矩阵M的求解方法为：对于来自左右视图的RAW图像特征Fraw与黑白图像特征Fmono，两者张量维度均为H×W×C，其中H、W、C分别表示特征张量的高、宽与通道数。首先将左视图特征通过3×3的卷积层，生成query张量，而右视图特征分别通过两个不同的3×3卷积层，生成key张量和value张量，三者维度均为H×W×C。将key张量的维度进行重新排列，将维度转化为H×C×W。将query张量和重排列后的key张量进行矩阵相乘运算，得到维度为H×W×W的相关计算结果矩阵，并通过SoftMax运算得到行方向上的相关性权重矩阵M。
视差注意力机制的特征相关性可视化结果如图5所示。图5(a)是左相机目标图像可视化结果，图5(b)是右相机黑白图像，对图5(a)、图5(b)中标明的L1、L2、L3三行像素，特征相关性结果如图5(c)、图5(d)、图5(e)所示。特征相关性矩阵在对角线方向形成了明显的峰值，显示了视差引起的错位结构在视差注意力机制下得到了较好地捕捉。
最后，从重构特征出发解码生成对齐引导图像。为了生成噪声较小、结构清晰的对齐引导图像，算法采用RAW图像对应的真值灰度图像作为训练监督，采用感知损失作为损失函数训练该模块。所述感知损失函数定义为：
Figure BDA0004136859930000061
其中,Lp表示感知损失函数；/>
Figure BDA0004136859930000062
表示对齐引导图像生成模块的输出结果G表示作为监督的参考真值，设置为RAW图像对应的干净灰度图像真值；FVGG(·)表示通过预训练的VGG模型提取图像特征。感知损失函数通过计算预训练的VGG网络特征空间距离，优化对齐引导图像生成模块的生成结果，使其结构上更为一致、人眼视觉感观更为良好。
所述引导去噪去马赛克模块如图6所示，其分别提取RAW图像特征和对齐引导图像特征，并对RAW图像特征分辨率进行上采样后，通过特征拼接的方式融合两者信息，最后通过特征解码输出去噪去马赛克结果。基于结构-颜色损失函数，对该模块进行训练，使得去噪去马赛克结果同时具有准确的颜色重建和锐利的细节结构。该模块的具体网络结构如图7所示。
结构-颜色损失函数定义如下：
Figure BDA0004136859930000063
其中，Lpv表示结构-颜色损失函数，第一项为感知损失函数，第二项为颜色损失函数。FVGG(·)表示通过预训练的VGG模型提取图像特征，感知损失函数通过FVGG(·)函数在图像深层特征空间计算损失。Fgausdian(·)表示通过高斯滤波提取图像低频信息，颜色损失函数通过Fgaussian(·)函数在图像低频空间计算损失。联合损失函数在VGG特征空间对图像内容的各种结构做约束，而在图像低频空间对图像内容的整体亮度做约束，两者的组合有助于在训练过程中，充分迁移引导图像中的各类结构到目标图像中，同时防止引导图像亮度对颜色重建的影响，从而得到结构清晰、颜色准确的引导去噪去马赛克结果。
图8为某具体实施例基于本发明方法的运行结果，其中，图8中(d)为本发明方法生成的对齐引导图像，其噪声较小，结构清晰，且与目标彩色图像结构一致。图8(e)是本发明方法生成的去噪去马赛克结果，与图8(f)参考目标图像相比，结构和颜色都较为一致。
本发明提出了全新的双目相机引导去噪去马赛克方法，在包含视差的非对齐场景下，生成了高质量的对齐引导图像，基于结构-颜色损失函数得到视觉感知良好的去噪去马赛克结果。将本发明方法部署到黑白-彩色双目系统中时，利用黑白相机不受颜色滤波片干扰的成像优势辅助彩色相机的去马赛克过程，利用双目系统同时成像时黑白相机更大进光量的成像优势辅助彩色相机的去噪过程。

Claims (6)

1.一种黑白图像引导的彩色RAW图像联合去噪去马赛克方法，其特征在于，利用黑白相机输出图像，跨视差引导彩色相机RAW图像进行联合去噪去马赛克，具体步骤如下：
S1：数据集构建，构建暗光场景下含噪声的黑白-彩色双目相机仿真数据集；
S2：基于步骤S1中的数据集构建联合去噪去马赛克模型；所述联合去噪去马赛克模型包括对齐引导图像生成模块和引导去噪去马赛克模块；
首先，构建所述对齐引导图像生成模块，所述对齐引导图像生成模块基于视差注意力机制求解黑白图像和RAW图像在视差方向上的特征相关性，利用相关的结构特征构建对齐引导图像特征，从而得到对齐引导图像；以RAW图像对应的干净灰度图像真值作为监督，基于感知损失函数训练所述对齐引导图像生成模块至收敛；
其次，构建所述引导去噪去马赛克模块，所述引导去噪去马赛克模块分别提取RAW图像的特征和对齐引导图像的特征，并以特征通道拼接的方式进行特征融合，最后通过特征解码生成RAW图像对应的干净RGB图像，同时完成引导去噪和引导去马赛克过程；基于结构-颜色损失函数训练所述引导去噪去马赛克模块至收敛；
S3：基于步骤S2构建的联合去噪去马赛克模型对彩色RAW图像进行去噪去马赛克。
2.根据权利要求1所述的基于黑白图像引导的彩色RAW图像联合去噪去马赛克方法，其特征在于，所述步骤S1具体包括以下步骤：
1.1将双目彩色相机采集的正常图像中的每个像素在亮度上除以K以仿真暗光场景；
1.2对于左视图，基于RGGB的Bayer像素排列模式进行色彩通道值采样，生成RAW图像；对于右视图，通过三个颜色通道值相加的方式模拟黑白相机完整的进光量，生成黑白图像；
1.3对黑白图像与RAW图像添加相同参数的泊松-高斯噪声的污染。
3.根据权利要求1所述的基于黑白图像引导的彩色RAW图像联合去噪去马赛克方法，其特征在于，步骤S2中，所述对齐引导图像生成模块基于视差注意力机制求解黑白图像和RAW图像在视差方向上的特征相关性，利用相关的结构特征构建对齐引导图像特征，具体方法为：
首先，将RAW图像基于传统去马赛克算法进行去马赛克，并通过三个颜色通道相加的形式转化为单通道灰度图像；其次，通过相同的特征提取器提取来自左右视图的RAW图像特征Fraw与黑白图像特征Fmono；随后，基于视差注意力机制，针对Fraw特征和Fmono特征在视差方向上求解相关性权重矩阵M，并利用行方向上的相关性，构建对齐引导图像特征：
Figure FDA0004136859910000011
其中f表示卷积操作，/>
Figure FDA0004136859910000012
为对齐引导图像特征；最后，利用特征解码器将/>
Figure FDA0004136859910000013
特征解码为与目标彩色图像结构一致的对齐引导图像。
4.根据权利要求3所述的基于黑白图像引导的彩色RAW图像联合去噪去马赛克方法，其特征在于，步骤S2中，所述相关性权重矩阵M的求解方法为：
对于来自左右视图的RAW图像特征Fraw与黑白图像特征Fmono，两者的张量维度均为H×W×C，其中H、W、C分别表示特征张量的高、宽与通道数；首先将左视图特征通过3×3的卷积层，生成query张量，而右视图特征分别通过两个不共享的3×3卷积层，生成key张量和value张量，三者维度均为H×W×C；将key张量的维度进行重新排列，将维度转化为H×C×W；将query张量和重排列后的key张量进行矩阵相乘运算，得到维度为H×W×W的相关计算结果矩阵，并通过SoftMax运算得到行方向上的相关性权重矩阵M。
5.根据权利要求1所述的基于黑白图像引导的彩色RAW图像联合去噪去马赛克方法，其特征在于，步骤S2中，所述感知损失函数定义为：
Figure FDA0004136859910000021
其中，Lp表示感知损失函数；/>
Figure FDA0004136859910000022
表示对齐引导图像生成模块的输出结果；G表示作为监督的参考真值，设置为RAW图像对应的干净灰度图像真值；FVGG(·)表示通过预训练的VGG模型提取图像特征。
6.根据权利要求1所述的基于黑白图像引导的彩色RAW图像联合去噪去马赛克方法，其特征在于，步骤S2中，所述的结构-颜色损失函数定义为：
Figure FDA0004136859910000023
Figure FDA0004136859910000024
其中，Lpc为结构-颜色联合损失函数；/>
Figure FDA0004136859910000025
为联合去噪去马赛克结果；Y为参考真值，设置为含噪RAW图像对应的干净RGB图像真值；FVGG(·)表示通过预训练的VGG模型提取图像特征；Fgaussian(·)表示通过高斯滤波提取图像低频信息。
CN202310277581.2A 2023-03-21 2023-03-21 一种黑白图像引导的彩色raw图像联合去噪去马赛克方法 Pending CN116309163A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202310277581.2A CN116309163A (zh) 2023-03-21 2023-03-21 一种黑白图像引导的彩色raw图像联合去噪去马赛克方法
PCT/CN2023/084429 WO2023231535A1 (zh) 2023-03-21 2023-03-28 一种黑白图像引导的彩色raw图像联合去噪去马赛克方法
US18/398,193 US20240320787A1 (en) 2023-03-21 2023-12-28 Joint denoising and demosaicking method for color raw images guided by monochrome images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310277581.2A CN116309163A (zh) 2023-03-21 2023-03-21 一种黑白图像引导的彩色raw图像联合去噪去马赛克方法

Publications (1)

Publication Number Publication Date
CN116309163A true CN116309163A (zh) 2023-06-23

Family

ID=86784769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310277581.2A Pending CN116309163A (zh) 2023-03-21 2023-03-21 一种黑白图像引导的彩色raw图像联合去噪去马赛克方法

Country Status (3)

Country Link
US (1) US20240320787A1 (zh)
CN (1) CN116309163A (zh)
WO (1) WO2023231535A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523024B (zh) * 2024-01-02 2024-03-26 贵州大学 一种基于潜在扩散模型的双目图像生成方法及系统
CN117974509B (zh) * 2024-04-02 2024-06-18 中国海洋大学 基于目标检测感知特征融合的两阶段水下图像增强方法
CN118505556A (zh) * 2024-06-13 2024-08-16 中国人民解放军总医院第一医学中心 一种胸部x光异常阴影辅助判断方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492265A (zh) * 2018-03-16 2018-09-04 西安电子科技大学 基于gan的cfa图像去马赛克联合去噪方法
CN111861902A (zh) * 2020-06-10 2020-10-30 天津大学 基于深度学习的Raw域视频去噪方法
RU2764395C1 (ru) * 2020-11-23 2022-01-17 Самсунг Электроникс Ко., Лтд. Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети
CN113658060B (zh) * 2021-07-27 2024-09-27 中科方寸知微(南京)科技有限公司 基于分布学习的联合去噪去马赛克方法及系统

Also Published As

Publication number Publication date
US20240320787A1 (en) 2024-09-26
WO2023231535A1 (zh) 2023-12-07

Similar Documents

Publication Publication Date Title
Li et al. Underwater scene prior inspired deep underwater image and video enhancement
CN111062880B (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
CN116309163A (zh) 一种黑白图像引导的彩色raw图像联合去噪去马赛克方法
Wang et al. Haze concentration adaptive network for image dehazing
CN111754438B (zh) 基于多分支门控融合的水下图像复原模型及其复原方法
CN111260560B (zh) 一种融合注意力机制的多帧视频超分辨率方法
Pu et al. Robust high dynamic range (hdr) imaging with complex motion and parallax
CN114119424B (zh) 一种基于光流法和多视角场景的视频修复方法
CN116977651B (zh) 一种基于双分支和多尺度特征提取的图像去噪方法
CN115035010A (zh) 一种由卷积网络引导模型映射的水下图像增强方法
Han et al. UIEGAN: Adversarial learning-based photorealistic image enhancement for intelligent underwater environment perception
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
Wang et al. Single underwater image enhancement using an analysis-synthesis network
Li et al. Ruiesr: Realistic underwater image enhancement and super resolution
Zhang et al. MetaUE: Model-based meta-learning for underwater image enhancement
CN117974459A (zh) 一种融合物理模型和先验的低照度图像增强方法
CN117391920A (zh) 基于rgb通道差分平面的大容量隐写方法及系统
CN116777806A (zh) 一种基于脑视觉原理的水下图像增强方法、系统及终端
CN117078544A (zh) 一种基于双重约束生成对抗网络的水下图像增强方法
CN116739932A (zh) 一种基于盲点自监督的图像去噪深度学习算法
Fang et al. Priors guided extreme underwater image compression for machine vision and human vision
US11997246B2 (en) Trained artificial intelligence model for raw to RGB image transformation
Lin et al. Transformer-Based Light Field Geometry Learning for No-Reference Light Field Image Quality Assessment
CN116091370A (zh) 基于光线增强像素融合网络的水下图像增强方法
CN115456910A (zh) 一种用于严重颜色畸变水下图像的颜色恢复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination