CN115482162B - 一种基于随机重排和无标签模型的隐式图像盲去噪方法 - Google Patents

一种基于随机重排和无标签模型的隐式图像盲去噪方法 Download PDF

Info

Publication number
CN115482162B
CN115482162B CN202211076019.5A CN202211076019A CN115482162B CN 115482162 B CN115482162 B CN 115482162B CN 202211076019 A CN202211076019 A CN 202211076019A CN 115482162 B CN115482162 B CN 115482162B
Authority
CN
China
Prior art keywords
image
noise
denoising
model
noisy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211076019.5A
Other languages
English (en)
Other versions
CN115482162A (zh
Inventor
聂琳
徐丽莉
康文雄
施煜锴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Guangdong University of Technology
Original Assignee
South China University of Technology SCUT
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Guangdong University of Technology filed Critical South China University of Technology SCUT
Priority to CN202211076019.5A priority Critical patent/CN115482162B/zh
Publication of CN115482162A publication Critical patent/CN115482162A/zh
Application granted granted Critical
Publication of CN115482162B publication Critical patent/CN115482162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于随机重排和无标签模型的隐式图像盲去噪方法，包括以下步骤：首先，利用图像高频信号滤波器提取带噪图像的低频图像，接着用带噪图像减去低频图像以获取高频信号，并对高频信号进行预处理；其次，通过隐式噪声模型提取高频信号生成同类型的噪声信号，利用生成的的噪声信号构建带噪图像数据；最后，将带噪图像数据训练基于神经网络盲去噪模型，利用训练好的基于神经网络盲去噪模型对图像进行去噪处理。

Description

一种基于随机重排和无标签模型的隐式图像盲去噪方法
技术领域
本发明属于底层图像信号处理的噪声图像盲去噪领域，具体涉及一种基于随机重排和无标签模型的隐式图像盲去噪方法。
背景技术
随着社会生活水平的提高和科学技术的高速发展，消费者们对照相的要求越来越高，传统的照相已经无法满足广大消费者了，于是出现了各式各样的照片润色程序。在很多可以进行照片润色的应用程序中，人们通常想要自拍照更清晰的同时保留头发等细节。然而，由于环境条件的多样性和传感器的不确定性等多重因素使得图像的噪声信息并不总是有用。例如，夜晚户外拍照通常会由于光线条件较差产生更高水平的噪声。同样，网络共享的图像往往会缺少摄像头信息，这就使得不知道噪声的类型。为了通过减少附加噪声，从其噪声观测中恢复给定的清晰图像，就必须对摄像和许多计算机视觉任务进行图像去噪。
图像去噪是为了提高人类可视体验移除图像噪声的任务。图像去噪已经研究了几十年，由于传统的图像去噪方法大多把标准差作为噪声评估的参考，因此只有极少数的方法是针对图像盲去噪。但事实上，相同标准差的噪声，其类型并不一定也相同。例如，用iPhone拍出来的图片，就因为环境的多样性、传感器的不确定性导致不知道它的噪声信息是怎样的。因此，图像盲去噪方法的研究具有深远意义。
随着深度神经网络进入人们的视线，基于鉴别学习的方法，如从噪声建模到盲图像去噪、学习深度卷积神经网络去噪进行图像恢复等被提出，尽管这些方法并不完美，但它们提供了在具有带噪与无噪的训练图像对的情况下卓越的去噪方案。然而，在现实世界中，无噪的图像对往往难以获得，而带噪的图像却很容易就可以在网络上获取，提出的技术可以直接从带噪图像中提取噪声模型并用于生成带噪和无噪的训练数据对。与本发明方法相似的是，基于对抗生成式网络的盲去噪器(GCBD)提出了一种新的GAN噪声模型架构，可以通过构造训练数据对以实现更为精确的图像恢复。基于“零次学习”的超分辨率(ZSSR)进一步证明了该模型本身能够从有限数量的真实样本中学习有价值的知识，通过建立一个鲁棒的真实噪声采样和建模框架，而不是拟合人工产生的噪声，来探索图像盲去噪。
由于卷积神经网络的学习能力和能够从网络中获取大量的训练数据，基于判别式学习的图像去噪方法取得了各种公共用途图像去噪数据集(含有有噪声的图像和其相应的无噪声图像)的最佳结果。然而，在日常生活中，如果没有经过小心谨慎的预处理和后处理，是难以收集到理想的无噪声图像的。其次，额外的先验和人类知识在去除给定的噪声图像中的噪声上起着至关重要的作用，这些先验和知识在一定程度上限制了现有方法的建模能力。这些存在的障碍如何构造这样成对的图像训练数据是需要解决的问题。在涉及无标签学习时，生成对抗网络成为了一种流行趋势。中山大学J.Chen等人在其论文“基于盲图像去噪与生成对抗网络的噪声建模”中提出一种事先不知道噪声的概率模型，实现对图像中的噪声消除，通过GAN对噪声分布进行建模，获得建立的模型生成噪声样本，与干净的图像构成训练数据集，训练网络实现盲去噪。然而，如果没有正确的指导，通过GAN生成的图像往往由于视觉上的观感不佳和细节上的错误导致PSNR和SSIM较低使得去噪性能降低。
发明内容
本发明目的在于提出一种基于随机重排和无标签模型的隐式图像盲去噪方法和无标签图像盲去噪框架，为了实现图像盲去噪，本发明能够直接从噪声图像中提取隐式噪声模型，并将其施加于无噪声图像从而成大量的带噪图像，构造出可用于训练神经网络的带噪与无噪图像对，最后用构造的图像对训练基于神经网络的图像去噪器。与很多需要明确建模噪声的传统图像去噪方法相比，本发明在隐式嵌入给定噪声图像的噪声模型上取得了进步，能够促进在图像相关应用上的图像数据感知。
本发明至少通过如下技术方案之一实现。
一种基于随机重排和无标签模型的隐式图像盲去噪方法，包括以下步骤：利用图像高频信号滤波器提取带噪图像的低频图像，接着用带噪图像减去低频图像以获取高频信号，并对高频信号进行预处理；
通过隐式噪声模型提取高频信号生成同类型的噪声信号，利用生成的的噪声信号构建带噪图像数据；
将带噪图像数据训练基于神经网络盲去噪模型，利用训练好的基于神经网络盲去噪模型对图像进行去噪处理。
进一步地，通过以下公式获取高频信号h：
其中n表示具有先验的Pj*的纯噪声，o表示包括噪声信息和图像细节信息的高频信息，表示操作数的空间共存。
进一步地，对高频信号进行预处理包括：
使用空间变换f将高频信号h中带有噪声信息和图像细节信息的高频信息o进行打乱，从而得到无纹理细节的纯噪声，记为o’：
将空间变换函数f(.)应用于高频信号h，即：
其中，h’表示多种混合噪声信号；将n’视为纯噪声n，即：
检索到多种混合噪声信号h’后，将多种混合噪声信号h’添加到干净图像xc中，构造噪声图像xh’，
其中xc代表随机的一张无噪图像；
由于多种混合噪声信号h’是局部的o’或纯噪声n，构造两对图像，得到θ去噪器，通过最小化从噪声图像中去除纯噪声n和o’
其中θ是去噪网络的参数，Pj*是原始噪声先验，Pj′是图像纹理经过空间打乱后形成的新的噪声的先验，P^j代表混合噪声信号h’的噪声先验。
进一步地，空间变换f满足以下两个要求：
(1)f(n)＝n’；其中具有先验的Pj*的纯噪声n和n’服从相同的分布Pj*；其中f(n)表示空间变换函数，n’表示输入噪声信号n经过空间变换后的结果，Pj*表示图像的原始噪声分布；
(2)f(o)＝o’，其中o表示包括噪声信息和图像细节信息的高频信息，o’表示从Pj’采样的噪声类型；f(o)表示空间变换函数，o’表示高频信号o经过空间变换后的结果，Pi’表示的o’噪声分布。
进一步地，带噪图像数据的构建是将生成的的噪声信号添加到干净的图像中，形成成对的训练数据。
进一步地，所述基于神经网络盲去噪模型采用DnCNN-B网络IRCNN。
进一步地，所述基于神经网络盲去噪模型采用IRCNN网络。
进一步地，基于神经网络盲去噪模型的损失函数为：
其中表示N个成对的有噪声的和干净的训练图像，xn表示带噪图像，xc表示xn对应的干净图像，l(θ)表示参数为θ时的损失函数，||.||2表示平方差。
进一步地，基于神经网络盲去噪模型的损失函数为L1距离。
进一步地，对于合成噪声的去除，采用高斯高通滤波器提取高频信号h：
h＝xn-GaussianBlur(xn，σb)
其中σb是高斯模糊滤波器的标准差，xn表示有噪声的图像。
现有的技术相比，本发明具有如下效果：
1、相比目前已有的基于图像先验的去噪、基于噪声建模的去噪和基于过滤的去噪，本发明不需要任何平滑区域的检测算法或者是明显的噪声建模，相反，只需要利用好含噪声图像的噪声信息来构造成对的训练数据。因此，由于显式噪声建模引入的偏差可以被消除，本发明的去噪性能可以得到进一步的提升。
2、相比目前已有的基于深度学习的去噪，本发明在零样本超分ZSSR和一次性学习的启发下探索盲去噪的概念。本发明的模型能够在没有任意噪声图像的情况下实现盲图像去噪。通过这种新的盲去噪器策略，本发明的模型能够对真实噪声和合成噪声进行有效的盲去噪。对于合成噪声，本发明生成不同类型的零均值合成噪声数据，并将其添加到数据集中，采用两种类型的合成噪声，结果表明本发明的方法比使用有标签训练的DnCNN-B具有更好的性能。
附图说明
图1为实施例一种基于随机重排和无标签模型的隐式图像盲去噪方法流程图；
图2为实施例噪声增强的流程图；
图3为实施例合成噪声与PSNR(dB)/SSIM指数的定性比较示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，以下将结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明为隐式图像噪声模型提取方法，并将该方法用于构造训练数据训练基于神经网络盲去噪模型，主要以一种有效的、统一的图像盲去噪无训练图像数据对的学习架构，提出一种能够从带噪图像中提取隐式图像噪声模型的方法。对公共基准的广泛评估表明，本发明提出的模型可以实现最先进的盲去噪性能，甚至可以获得与非盲去噪方法相当的性能。以下为图像盲去噪的初步原理及其框架，然后是具体的实施过程。
本发明的原理为：
用xn表示一个有噪声的图像，xc表示对应的干净图像，则有噪声的图像xn为：
xn＝xc+nj
其中nj表示从jth个噪声Pj采样的噪声。Pj*是给定噪声图像的噪声先验。图像盲去噪的目的是在不知道任何噪声先验的情况下学习去噪器g(·；θ)，其中θ是去噪的参数。简化后的监督学习情景下的目标是：
然而，nj的噪声分布Pj*在现实世界中通常是未知的，因此缺乏成对的训练数据，即xc和xn，导致式(1)不适用于基于学习的无标签去噪方法。GCBD专注于基于给定的图像本身建模Pj*。然而，GCBD依赖于一种手工制作的平滑区域检测算法来检测平滑区域，用于提取纯噪声用于显式噪声建模，这可能会进一步引入检测和建模产生的偏差。
如图1所示的一种基于随机重排和无标签模型的隐式图像盲去噪方法，包括以下步骤：
首先，利用传统图像高频信号滤波器提取带噪图像的低频图像，接着用带噪图像减去低频图像来获取高频信号；
本实施是从噪声图像(patch)中减去其低频图像来提取高频信号h：
其中n表示纯噪声，其噪声分布记为Pj*，n是从有噪声图像的平滑区域中提取出来的；o表示其他的高频信息，o不仅包含噪声信息还包含了图像的细节信息，运算符表示操作数的空间共存。
进一步地，由于真实图像的噪声往往更复杂，本实施用已有的基于神经网络的去噪器作为高通滤波器。为了让这些神经网络去噪器能够尽可能用于去除真实图像的噪声，本实施将生成的高斯噪声添加到真实世界的噪声图像中以改变噪声，然后再用现有的神经网络去噪器(本发明可以用任何有效的神经网络去噪器)去噪，也可以去除部分与生成噪声混合的真实噪声。
其次，本方法提出了基于空间打乱的隐式噪声模型。具体的，该模型通过对提取的高频信息进行空间随机重排，破坏高频信息中的细节纹理，从而生成纯噪声信号。将生成的噪声信号叠加至干净图像数据集从而构建带噪图像数据；
如图2所示，将生成的噪声叠加至干净图像数据集从而构建带噪图像数据，将具体为：
为了将高频信息中的非噪声纹理细节去除，将空间变换i(·)应用于高频信号h，即：
其中，h’表示多种混合噪声信号，f为空间变换函数；
将n’视为纯噪声n，即：
记P^j为多种混合噪声信号h’的噪声先验，检索到多种混合噪声信号h’后，将多种混合噪声信号h’添加到干净图像xc中，构造噪声图像xh’，
其中P^j代表混合噪声信号h’的噪声先验，xc代表随机的一张无噪图像。由于多种混合噪声信号h’是局部的o’或纯噪声n，构造两对图像，得到θ去噪器，通过最小化从噪声图像中去除纯噪声n和o’
其中θ是去噪网络的参数，Pj*是原始噪声先验，Pj′是图像纹理经过空间打乱后形成的新的噪声的先验。
因为在得到高频信号h后，理想的方法是从带有噪声信息和图像细节信息的高频信息o中提取纯噪声n并过滤掉o中的图像纹理细节。然而，这是极其困难的，而这也正是盲去噪的关键所在。本发明提出将带有图像细节和噪声信号的o转换成为另一种噪声，这样一来原本的高频信号h就转化为包含了原始噪声n的多种混合噪声信号h’。利用神经网络能够同时对多种噪声同时处理的能力，本发明将多种混合噪声信号h’叠加到干净图像上生成噪声图像，并训练神经网络将噪声去掉，这样的去噪器就能够学会去掉噪声纯噪声n。本发明没有将纯噪声n和带有噪声信息和图像细节信息的高频信息o识别为基于生成对抗网络的噪声建模的图像盲去噪，而是提议进行空间变换f(·)，以保持纯噪声n中的噪声信息，并将o转换为从Pj’采样的另一种类型的噪声o’。为了实现这一目标，空间变换f满足以下两个要求：
(1)f(n)＝n’；其中具有先验的Pj*的纯噪声n和n’服从相同的分布Pj*；其中f表示空间变换函数，n’表示输入噪声信号n经过空间变换后的结果，Pj*表示图像的原始噪声分布。
(2)f(o)＝o’，其中o表示包括噪声信息和图像细节信息的高频信息，o’表示从Pj′采样的另一种噪声类型；其中f表示空间变换函数，o’表示高频信号o经过空间变换后的结果，Pj′表示的o’噪声分布。
为了利用合成噪声继承的无结构性，本发明的方法采用逐像素打乱的操作，通过随机打乱高频信号来破坏高频信号中的图像纹理细节并同时保留和增广原始噪声。逐像素打乱操作满足(1)和(2)的要求。当进行逐像素打乱操作时，噪声可以被视为重采样，满足第一个要求(1)。此外，图像中的大部分结构细节可以通过逐像素打乱完全破坏，满足第二个要求(2)。
最后，构建的带噪图像数据训练基于神经网络盲去噪模型。
在增强高频信号后，将其添加到任意干净的图像中，形成成对的训练数据。成对的训练数据输入到任何理论上已知的图像去噪网络中。本实施例采用与DnCNN-B(CDnCNN-B用于彩色图像)相同的网络结构进行去噪，DnCNN-B的网络架构可以在补充部分中找到。
为了与对图像去噪的深度CNN的残余学习的合成噪声去噪保持一致，采用与对图像去噪的深度CNN的残余学习相同的损失函数：
表示N个成对的(有噪声的、干净的)训练图像(patch)，其中xn表示带噪图像，xc表示xn对应的干净图像，l(θ)表示参数为θ时的损失函数，||·||2表示平方差。
对于真实世界的图像去噪，使用L1距离作为损失函数，因为L1距离会产生更清晰的输出。
当增强噪声通过隐式噪声模型生成出来后(即通过提取高频信息然后利用空间打乱随机重排)，将生成的噪声叠加到干净训练数据集的干净图像(patch)上，以构造噪声干净配对训练数据。接下来，以监督学习的方式将构建的训练数据输入深度学习算法(如DnCNN-B或IRCNN-B等方法)以学习一个去噪器。经过训练，在GPU加速的帮助下，测试阶段的推理有效。
实施例2
对于合成噪声的去除，本实施采用高斯高通滤波器(GHPF)提取。高斯高通滤波器GHPF：
h＝xn-GaussianBlur(xn，σb)
其中σb是高斯模糊滤波器的标准差，xn表示有噪声的图像。
在增强高频信号后，将其添加到任意干净的图像中，形成成对的训练数据。成对的训练数据输入到任何理论上已知的图像去噪网络中，基于神经网络盲去噪模型还可以采用IRCNN网。
实施例3
本实施例一种基于随机重排和无标签模型的隐式图像盲去噪方法，通过未配对的数据训练管道直接对给定的噪声图像去噪。下面再详细叙述图像盲去噪方法，并代入具体的低水平视觉中广泛使用的数据集及图像去噪实验以方便说明。
假设噪声数据集及图像去噪实验如下：
对于每个场景，捕获了500幅有噪声的图像，并进行平均合并，生成几乎无噪声的图像。
1、数据集选择阶段：BSD68(Berkeley Segmentation Dataset 68，伯克利分割数据集68张灰度图)是低水平视觉中广泛使用的数据集，用作对合成噪声(AWGN，混合噪声)的评估集。为了评估真实图像的去噪性能，选择DND(Darmstadt Noise Dataset，达姆施塔特噪声图像数据集)和Nam(以创建者命名的噪声图像数据集)作为评估数据集。对于干净的训练集，使用BSD400进行灰度图像去噪，使用CBSD400(Color Berkeley SegmentationDataset 68，伯克利分割数据集200张彩色图)和WaterLoo(滑铁卢噪声数据集)进行彩色图像去噪作为干净图像。数据集(DND)是一个真实世界的噪声图像数据集，由不同摄像机捕获的同一场景的50幅不同图像组成，并在较低的ISO(相机感光度)值和较长的曝光时间下采集相应的干净图像。Nam包含了由3个消费类相机拍摄的11个静态场景。
2、噪声去除阶段：利用传统图像高频信号滤波器提取带噪图像的低频图像，接着用带噪图像减去低频图像来获取高频信号；
对于合成噪声去除，将GHPF的高斯滤波器的σb设置为并在噪声增强阶段进行像素打乱操作。对于真实世界的噪声去除，首先通过计算局部图像块变化的平均值来计算图像块的方差v。然后，使用这个方差v来确定添加到干净图像中的AWGN的标准差σ，以使已有基于AWGN的去噪器正常工作。当方差v在[0，300]时设标准差σ为25，当方差v在[300，600]时设标准差σ为40，当方差v大于600时设标准差σ为55。在噪声增广阶段，提取的高频信号中加入标准差σ＝10的AWGN作为干扰。
3、训练阶段：使用Adam优化器，设置盲AWGN去噪的初始学习速率为1e-3，盲混合噪声去噪为3e-4，真实图像去噪为5e-4。在第40、50和60阶段，将学习率降低到它的十分之一。训练输入的图像块大小为50。批处理大小设置为128。
4、评估阶段：选择5种非盲算法(即BM3D，EPLL，NCSR，WNNM，TWSC)算法和4种盲去噪算法(即DnCNN-B、NI、NC，GCBD)算法进行比较。采用PSNR(dB)和SSIM作为评价指标(即DnCNN-B、NI、NC，GCBD)算法进行比较。采用PSNR(dB)和SSIM作为评价指标。
表1在BSD68下的去噪对比(PSNR)
表2在DND下的去噪对比
表3在Nam下的去噪对比
对于真实噪声，本发明用了两个广泛应用的盲去噪数据集(DND，Nam)来评估所有的方法，本发明将去噪结果交给数据集网站来获得PSNR和SSIM结果，结果显示本发明的方法仍然能达到一个优越的性能。同时为了公平比较，本发明在多通道图像噪声建模及其在图像去噪中的应用中使用相同的裁剪图像来构建评估集，PSNR/SSIM结果说明，本发明的方法相比于其他的方法依然凭借明显的优势达到最好的性能。如图3的a、b分别是不同图像的对比结果，本发明(Ours)的方法和NC方法相比，本发明去噪的效果能够去掉更多的噪声，PSNR和SSIM都更好，同时尽可能保留了图像原本的细节。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所做出的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于随机重排和无标签模型的隐式图像盲去噪方法，其特征在于，包括以下步骤：
利用图像高频信号滤波器提取带噪图像的低频图像，接着用带噪图像减去低频图像以获取高频信号，并对高频信号进行预处理；
对高频信号进行预处理包括：
使用空间变换f将高频信号h中带有噪声信息和图像细节信息的高频信息o进行打乱，从而得到无纹理细节的纯噪声，记为o’：
将空间变换函数f(·)应用于高频信号h，即：
其中，h’表示多种混合噪声信号；将n’视为纯噪声n，即：
检索到多种混合噪声信号h’后，将多种混合噪声信号h’添加到干净图像xc中，构造噪声图像xh’，
其中xc代表随机的一张无噪图像；
由于多种混合噪声信号h’是局部的o’或纯噪声n，构造两对图像，得到θ去噪器，通过最小化从噪声图像中去除纯噪声n和o’
其中θ是去噪网络的参数，Pj*是原始噪声先验，Pj′是图像纹理经过空间打乱后形成的新的噪声的先验，P^j代表混合噪声信号h’的噪声先验；
空间变换f满足以下两个要求：
(1)f(n)＝n’；其中具有先验的Pj*的纯噪声n和n’服从相同的分布Pj*；其中f(n)表示空间变换函数，n’表示输入噪声信号n经过空间变换后的结果，Pj*表示原始噪声先验；
(2)f(o)＝o’，其中o表示包括噪声信息和图像细节信息的高频信息，o’表示从Pj’采样的噪声类型；f(o)表示空间变换函数，o’表示高频信号o经过空间变换后的结果，Pj’表示的o’噪声分布；
通过隐式噪声模型提取高频信号生成同类型的噪声信号，利用生成的的噪声信号构建带噪图像数据；
将带噪图像数据训练基于神经网络盲去噪模型，利用训练好的基于神经网络盲去噪模型对图像进行去噪处理。
2.根据权利要求1所述的基于随机重排和无标签模型的隐式图像盲去噪方法，其特征在于，通过以下公式获取高频信号h：
其中n表示具有先验的Pj*的纯噪声，o表示包括噪声信息和图像细节信息的高频信息，表示操作数的空间共存。
3.根据权利要求1所述的基于随机重排和无标签模型的隐式图像盲去噪方法，其特征在于，带噪图像数据的构建是将生成的的噪声信号添加到干净的图像中，形成成对的训练数据。
4.根据权利要求1所述的基于随机重排和无标签模型的隐式图像盲去噪方法，其特征在于，所述基于神经网络盲去噪模型采用DnCNN-B网络IRCNN。
5.根据权利要求1所述的基于随机重排和无标签模型的隐式图像盲去噪方法，其特征在于，所述基于神经网络盲去噪模型采用IRCNN网络。
6.根据权利要求1所述的基于随机重排和无标签模型的隐式图像盲去噪方法，其特征在于，基于神经网络盲去噪模型的损失函数为：
其中表示N个成对的有噪声的和干净的训练图像，xn表示带噪图像，xc表示xn对应的干净图像，l(θ)表示参数为θ时的损失函数，||.||2表示平方差。
7.根据权利要求1所述的基于随机重排和无标签模型的隐式图像盲去噪方法，其特征在于，基于神经网络盲去噪模型的损失函数为L1距离。
8.根据权利要求1～7任一项所述的基于随机重排和无标签模型的隐式图像盲去噪方法，其特征在于，对于合成噪声的去除，采用高斯高通滤波器提取高频信号h：
h＝xn-GaussianBlur(xn,σb)
其中σb是高斯模糊滤波器的标准差，xn表示有噪声的图像。
CN202211076019.5A 2022-09-02 2022-09-02 一种基于随机重排和无标签模型的隐式图像盲去噪方法 Active CN115482162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211076019.5A CN115482162B (zh) 2022-09-02 2022-09-02 一种基于随机重排和无标签模型的隐式图像盲去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211076019.5A CN115482162B (zh) 2022-09-02 2022-09-02 一种基于随机重排和无标签模型的隐式图像盲去噪方法

Publications (2)

Publication Number Publication Date
CN115482162A CN115482162A (zh) 2022-12-16
CN115482162B true CN115482162B (zh) 2023-10-24

Family

ID=84392973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211076019.5A Active CN115482162B (zh) 2022-09-02 2022-09-02 一种基于随机重排和无标签模型的隐式图像盲去噪方法

Country Status (1)

Country Link
CN (1) CN115482162B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859147A (zh) * 2019-03-01 2019-06-07 武汉大学 一种基于生成对抗网络噪声建模的真实图像去噪方法
CN111127356A (zh) * 2019-12-18 2020-05-08 清华大学深圳国际研究生院 一种图像盲去噪系统
CN111539879A (zh) * 2020-04-15 2020-08-14 清华大学深圳国际研究生院 基于深度学习的视频盲去噪方法及装置
CN112991198A (zh) * 2021-02-08 2021-06-18 西安理工大学 一种基于噪声建模的盲去噪方法
WO2022022494A1 (zh) * 2020-07-27 2022-02-03 南京图格医疗科技有限公司 一种基于CBD-Net的医学内窥图像去噪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932468B (zh) * 2020-07-20 2024-08-23 清华大学 一种基于含噪声图像分布约束的贝叶斯图像去噪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859147A (zh) * 2019-03-01 2019-06-07 武汉大学 一种基于生成对抗网络噪声建模的真实图像去噪方法
CN111127356A (zh) * 2019-12-18 2020-05-08 清华大学深圳国际研究生院 一种图像盲去噪系统
CN111539879A (zh) * 2020-04-15 2020-08-14 清华大学深圳国际研究生院 基于深度学习的视频盲去噪方法及装置
WO2022022494A1 (zh) * 2020-07-27 2022-02-03 南京图格医疗科技有限公司 一种基于CBD-Net的医学内窥图像去噪方法
CN112991198A (zh) * 2021-02-08 2021-06-18 西安理工大学 一种基于噪声建模的盲去噪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BoostNet: A Boosted Convolutional Neural Network for Image Blind Denoising;DUC MY VO等;《ieee access》;论文第115145-115164页 *
深度通用盲图像去噪;小白学视觉;《https://blog.csdn.net/qq_42722197/article/details/113931931》;论文第1-6页 *

Also Published As

Publication number Publication date
CN115482162A (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
Wang et al. Dehazing for images with large sky region
CN108564597B (zh) 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法
Wang et al. MAGAN: Unsupervised low-light image enhancement guided by mixed-attention
Shao et al. Generative image inpainting via edge structure and color aware fusion
CN111681198A (zh) 一种形态学属性滤波多模融合成像方法、系统及介质
CN111179189A (zh) 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质
CN113724164B (zh) 一种基于融合重构制导滤波的可见光图像噪声去除方法
Wang et al. An efficient method for image dehazing
CN115358952A (zh) 一种基于元学习的图像增强方法、系统、设备和存储介质
Ummar et al. Window-based transformer generative adversarial network for autonomous underwater image enhancement
Liu et al. One-dimensional image surface blur algorithm based on wavelet transform and bilateral filtering
CN116452469B (zh) 一种基于深度学习的图像去雾处理方法及装置
Guan et al. DiffWater: Underwater image enhancement based on conditional denoising diffusion probabilistic model
Xiao et al. Effective PRNU extraction via densely connected hierarchical network
CN116385312A (zh) 基于相位相关的低照度图像去噪方法
CN115482162B (zh) 一种基于随机重排和无标签模型的隐式图像盲去噪方法
CN114897741B (zh) 基于深度残差傅里叶变换的图像盲去模糊方法
CN115456908A (zh) 一种鲁棒的自监督图像去噪方法
Peng et al. Detail enhancement for infrared images based on propagated image filter
Subramani et al. Pixel intensity optimization and detail-preserving contextual contrast enhancement for underwater images
CN113379641A (zh) 一种基于自编码卷积神经网络的单幅图像去雨方法及系统
Wang et al. Underwater Image Enhancement and Restoration Techniques: A Comprehensive Review, Challenges, and Future Trends
CN116993636B (zh) 一种地下低照度深部地层空区图像增强方法和装置
Awad et al. Efficient storage and classification of color patterns based on integrating interpolation with ANN/SVM
CN116862803B (zh) 逆转图像重建方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant