CN117726542A - 基于扩散模型的可控噪声去除方法及系统 - Google Patents

Abstract

本申请提出了一种基于扩散模型的可控噪声去除方法及系统，该方法包括：构建基于潜在扩散模型的拟真噪声建模网络，包括噪声生成网络和相机适配网络；通过包括相机参数以及成对的真实带噪图像和干净图像的训练数据，预训练拟真噪声建模网络；基于扩散模型对预训练完成的相机适配网络进行微调；通过微调后的相机适配网络和预训练后的噪声生成网络生成大量的拟真成对数据，并通过拟真成对数据训练深度学习去噪网络，通过训练完成的深度学习去噪网络对待处理图像进行去噪。该方法能够针对各类相机的特定参数，可控地生成逼近真实噪声分布的成对训练数据集，实现高效的图像噪声去除效果。

Description

基于扩散模型的可控噪声去除方法及系统

技术领域

本申请涉及图像处理技术领域，尤其涉及一种基于扩散模型的可控噪声去除方法及系统。

背景技术

随着计算摄影技术在各个领域中的日益普及，图像去噪（Image Denoising），即从图像中去除不可避免的噪声，成为众多摄影应用中进行图像处理的基本问题。图像去噪技术应用广泛，从简单的相机内图像信号处理，到手机摄影的低光增强和高动态范围成像，都使用了图像去噪的相关技术。

目前，图像去噪技术已从早期的手工方法逐渐演变为性能强大的深度学习方法。当成对训练数据可获取时，利用卷积神经网络（CNN）的强大表示能力能够提高噪声去除效果。然而，随着深度去噪网络的结构越来越复杂，获取足以使复杂网络收敛的成对训练数据变得愈发困难。因此，通过建模噪声分布并生成仿真数据，成为了获取大量真实成对训练数据的有效替代方法。

相关技术中，在进行噪声建模时，通常是采用两类方案。第一类是通过统计模型来建模噪声分布，第二类是通过生成式深度神经网络（DNN）模型来学习噪声分布。然而，在实际应用中，上述的第一类方案需要对去噪图片所拍摄的相机进行精确的噪声参数标定，在无法提前获取相机时，该方案难以应用。上述的第二类方案生成的噪声图像仿真数据中可能会存在伪影，导致图像去噪的准确性较差。

因此，如何在适用于各类相机的基础上更加准确的生成噪声训练数据，以进行基于深度学习的图像去噪，成为目前亟需解决的技术问题。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种基于扩散模型的可控噪声去除方法，该方法能够针对特定目标相机的特定感光度（ISO）设定，可控地生成逼近真实噪声分布的成对训练数据集，以实现高效的图像噪声去除效果。

本申请的第二个目的在于提出一种基于扩散模型的可控噪声去除系统；

本申请的第三个目的在于提出一种电子设备；

本申请的第四个目的在于提出一种计算机可读存储介质。

为达上述目的，本申请的第一方面在于提出一种基于扩散模型的可控噪声去除方法，该方法包括以下步骤：

构建基于潜在扩散模型的拟真噪声建模网络，其中，所述拟真噪声建模网络包括噪声生成网络和相机适配网络，所述相机适配网络用于根据相机参数控制带噪图像的噪声属性；

获取训练数据，所述训练数据包括相机参数以及成对的真实带噪图像和干净图像，并通过所述训练数据预训练所述拟真噪声建模网络；

基于预训练完成的相机适配网络的输出数据和扩散模型，对所述预训练完成的相机适配网络进行微调，微调后的相机适配网络的输入为干净图像和相机参数；

将待加噪的干净图像和目标相机的参数输入微调后的相机适配网络和预训练后的噪声生成网络，获得大量的拟真成对数据，并通过所述拟真成对数据训练深度学习去噪网络，通过训练完成的深度学习去噪网络对待处理图像进行去噪。

可选地，根据本申请的一个实施方式，所述相机参数包括相机的型号、曝光参数和特定感光度ISO，所述相机适配网络具体用于基于所述相机参数生成噪声属性编码；所述噪声生成网络包括生成器和判别器，所述生成器用于根据所述噪声属性编码生成拟真带噪图像。

可选地，根据本申请的一个实施方式，所述通过所述训练数据预训练所述拟真噪声建模网络，包括：将所述训练数据输入所述相机适配网络，提取与所述相机参数对应的噪声属性编码；将所述噪声属性编码和所述干净图像输入所述生成器，获取所述生成器输出的拟真带噪图像；通过所述判别器计算所述真实带噪图像与所述拟真带噪图像之间的区别，根据所述区别构建所述噪声生成网络的损失函数，并最小化所述噪声生成网络的损失函数。

可选地，根据本申请的一个实施方式，所述通过所述训练数据预训练所述拟真噪声建模网络，还包括：对所述真实带噪图像和所述拟真带噪图像分别进行高斯模糊处理，计算高斯模糊处理后的图像的损失函数；将所述真实带噪图像和所述拟真带噪图像分别减去所述真实带噪图像，获得两种纯噪声图像，并计算所述两种纯噪声图像的相对熵KL散度。

可选地，根据本申请的一个实施方式，所述基于预训练完成的相机适配网络的输出数据和扩散模型，对所述预训练完成的相机适配网络进行微调，包括：重新训练一个相机适配网络，将所述相机参数和所述干净图像输入重建的相机适配网络，获得低维噪声编码；通过扩散模型的去噪网络对所述低维噪声编码进行多轮扩散处理，将所述低维噪声编码逐步映射至所述预训练完成的相机适配网络输出的噪声属性编码。

可选地，根据本申请的一个实施方式，通过以下公式表示所述扩散模型的损失函数：

其中，表示损失函数，/>为扩散模型的步长，/>为0到1之间的常数，/>为从正态分布中采样的随机数，/>为扩散模型的去噪网络，/>为迭代的输入，/>函数为数学期望函数，表示正态分布，I表示单位矩阵。

为达上述目的，本申请的第二方面还提出了一种基于扩散模型的可控噪声去除系统，包括以下模块：

建立模块，用于构建基于潜在扩散模型的拟真噪声建模网络，其中，所述拟真噪声建模网络包括噪声生成网络和相机适配网络，所述相机适配网络用于根据相机参数控制带噪图像的噪声属性；

预训练模块，用于获取训练数据，所述训练数据包括相机参数以及成对的真实带噪图像和干净图像，并通过所述训练数据预训练所述拟真噪声建模网络

微调模块，用于基于预训练完成的相机适配网络的输出数据和扩散模型，对所述预训练完成的相机适配网络进行微调，微调后的相机适配网络的输入为干净图像和相机参数；

去噪模块，用于将待加噪的干净图像和目标相机的参数输入微调后的相机适配网络和预训练后的噪声生成网络，获得大量的拟真成对数据，并通过所述拟真成对数据训练深度学习去噪网络，通过训练完成的深度学习去噪网络对待处理图像进行去噪。

为达上述目的，本申请第三方面还提出了一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的基于扩散模型的可控噪声去除方法。

为达上述目的，本申请第四方面还提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面中任一项所述的基于扩散模型的可控噪声去除方法。

本申请的实施例提供的技术方案至少带来以下有益效果：本申请通过潜在扩散模型和相机适配网络，能够有效提取噪声属性的特征，并将其用低维度的噪声编码表示。从而一方面能够方便地对噪声形态进行控制，仅需设定相机适配网络的输入相机相关参数，即可实现不同属性噪声的生成；另一方面，将准确的特征表示作为引导增强了噪声训练数据生成的准确性。并且，由于本申请将控制噪声属性的条件作为引导加入噪声生成模型，因此在应用于不同类型的相机时，仅需根据当前的相机参数对相机适配网络进行简单的微调即可实现噪声建模，提高了图像去噪的可迁移性和适用性。并且，本申请通过生成大量成对数据集，能够解放深度去噪网络对于真实采集数据集的依赖性，无需耗费大量的人力成本、时间成本和硬件成本，通过生成大量拟真数据集的方式，就可以达到较好地真实图像去噪效果，提高了图像去噪的准确性和便利性。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提出的一种基于扩散模型的可控噪声去除方法的流程图；

图2为本申请实施例提出的一种相机适配网络的结构示意图；

图3为本申请实施例提出的一种基于潜在扩散模型的拟真噪声建模网络的应用原理示意图；

图4为本申请实施例提出的一种基于扩散模型的可控噪声去除系统的结构示意图；

图5为本申请实施例提出的一种去噪模块的结构示意图；

图6为本申请实施例提出的一种电子设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

需要说明的是，本申请实施的基于扩散模型的可控噪声去除方法，作为一种可能的实现方式，可以由本申请提出的基于扩散模型的可控噪声去除系统执行，该基于扩散模型的可控噪声去除系统可以应用于任一电子设备中，以使该电子设备可以执行可控噪声去除与成像功能。

其中，该电子设备可以为任一具有计算能力的设备，例如可以为个人电脑（Personal Computer，简称PC）和移动终端等，移动终端例如可以为手机、平板电脑、个人数字助理和穿戴式设备等各种能够采集图像并具有图像去噪功能的硬件设备。

还需说明的是，关于相关实施例中的噪声建模方案，当通过统计模型来建模噪声分布时，可以采用加性高斯白噪声模型（AWGN）和泊松高斯模型等噪声模型。为了进一步减少合成噪声与实际噪声之间的差距，该类方案分析了现代相机传感器的基于物理的图像形成流程，以呈现更复合的噪声成分。然而采用该类方案需要对目标相机进行精确的噪声参数标定。换言之，当目标去噪图片所拍摄的相机无法获取时，这些方法难以应用。

在另一类运用生成式深度神经网络（DNN）来学习噪声分布的方案中，可以采用生成对抗网络（GAN）和标准化流（NormalizingFlow）等深度生成模型的能力来完成噪声生成任务。然而，现有的生成模型对噪声合成过程的重点关注生成能力，却忽视了如何以准确地噪声水平来完成噪声生成这一更加重要的要素，导致直接在噪声建模上使用生成模型往往会产生伪影。

此外，相关实施例中基于深度神经网络的图像去噪方法的通用性较差，因为每适应一个新相机类型，都需要采集大量的配对数据并重新训练。为此，本申请提出一种基于扩散模型的可控噪声去除方法及系统，利用扩散模型在可控合成方面展现出的强大能力，实现控制噪声合成，从而提高图像去噪的能力。

下面参考附图描述本发明实施例所提出的一种基于扩散模型的可控噪声去除方法、系统及电子设备。

图1为本申请实施例提出的一种基于扩散模型的可控噪声去除方法的流程图，如图1所示，该方法包括以下步骤：

步骤S101：构建基于潜在扩散模型的拟真噪声建模网络，其中，拟真噪声建模网络包括噪声生成网络和相机适配网络，相机适配网络用于根据相机参数控制带噪图像的噪声属性。

具体的，首先从整体上构建用于噪声建模的拟真噪声生成网络，即基于潜在扩散模型的拟真噪声建模网络，该网络的目标输入为当前待加噪的干净图像和采集待加噪图像的相机的相关参数，并可以使用相机的相关参数控制生成的拟真有噪图像中的噪声属性。该网络的目标输出为在干净图像上添加待测相机的相关参数所对应的噪声之后的有噪图像。

其中，构建的拟真噪声建模网络包括噪声生成网络和相机适配网络，噪声生成网络用于生成拟真的有噪图像，相机适配网络用于根据相机参数控制噪声生成网络生成的带噪图像的噪声属性，即两个子网络分别用于带噪图像的生成和噪声属性的控制。

在本申请一个实施例中，上述的相机参数包括相机的型号、曝光参数和特定感光度ISO等能够用于控制噪声属性的参数，在本申请中为便于描述可近似将相机参数视为噪声属性。而相机适配网络具体用于基于相机参数生成噪声属性编码，即相机适配网络能够提取当前处理的目标相机的型号、曝光参数和ISO参数所对应的噪声属性的特征，该特征即噪声属性编码，并将其作为输入条件之一引导噪声生成网络完成可控的噪声生成。在实际应用中，作为一种可能的实现方式，如图2所示，相机适配网络可以由一系列卷基层、残差块和下采样层组成。

而噪声生成网络为生成对抗网络，包括生成器和判别器，其中，生成器用于根据接收到的噪声属性编码生成拟真带噪图像。

步骤S102：获取训练数据，该训练数据包括相机参数以及成对的真实带噪图像和干净图像，并通过训练数据预训练拟真噪声建模网络。

具体的，通过少量的训练数据，预训练构建的噪声生成网络和相机适配网络。即，预先获取少量的真实成对图像作为预训练的数据，该训练数据包括成对的真实带噪图像和干净图像，以及成对的图像相对应的噪声属性。然后，将训练数据一起送入相机适配网络，并用此时得到的噪声编码引导噪声生成网络的预训练。在训练完毕后，固定噪声生成网络的权重。

为了更加清楚的说明本申请的基于潜在扩散模型的拟真噪声建模网络，在实际应用中进行预训练和微调的实现过程，下面结合图3所示的实现原理进行示例性说明。在本实施例中，如图3所示，该基于潜在扩散模型的拟真噪声建模网络在实际输出拟真成对数据之前的流程包括两个阶段，第一阶段是预训练噪声生成网络，第二阶段是使用扩散模型微调相机适配网络，其中通过二阶段活跃和二阶段冻结区分不同阶段进行的流程。

在本实施例中，通过训练数据预训练拟真噪声建模网络，包括：将训练数据输入相机适配网络，提取与相机参数对应的噪声属性编码；将噪声属性编码和干净图像输入生成器，获取生成器输出的拟真带噪图像；通过判别器计算真实带噪图像与拟真带噪图像之间的区别，根据区别构建噪声生成网络的损失函数，并最小化噪声生成网络的损失函数。

具体而言，在预训练过程中，拟真噪声建模网络的输入包括干净图像、对应的真实带噪图像/>以及相机相关的参数/>。其中，/>，/>分别表示用于控制噪声属性的相机类型、曝光时间以及感光度。相机适配网络/>通过对噪声属性进行编码，得到能够体现噪声属性的/>低维向量，即噪声属性编码可以通过以下公式表示：

。

进而，噪声生成网络生成器和判别器/>，生成器/>接收噪声编码/>和待加噪的额干净图像/>，输出为预测的噪声图，可以通过以下公式表示预测的噪声图的计算方式：

。

并且，噪声生成网络在训练时会通过不断迭代生成器G和判别器D的方式交替更新，每当生成器根据输入的一组训练数据生成一张带噪图像，判别器则会试图区别该生成的结果和真实结果。

其中，噪声生成网络的损失函数可以通过以下公式表示：

其中，表示数学期望，/>和/>分别表示模型当前输出的预测图像的分布和真实噪声图像的分布，D（）表示判别器输出的两种图像间的区别，/>表示一个正则化项的权重因子，为判别器的梯度计算，/>表示真实噪声图像分布和预测图像分布的插值分布。

该网络的具体训练过程可以参照现有技术中对深度神经网络模型的训练方式，比如，最小化噪声生成网络的损失函数，以使网络输出的精度满足需求，本申请对此不做限制。

需要说明的是，在预训练过程中，本申请还可以通过多个约束条件对噪声生成网络生成的图像进行约束以满足图像去噪需求。在本申请一个实施例中，通过训练数据预训练拟真噪声建模网络，还包括：对真实带噪图像和拟真带噪图像分别进行高斯模糊处理，计算高斯模糊处理后的图像的损失函数；将真实带噪图像和拟真带噪图像分别减去真实带噪图像，以获得两种纯噪声图像，并计算两种纯噪声图像的相对熵KL散度。

具体而言，在本实施例中，为了在图像内容层面对生成图像进行约束，首先对网络生成的噪声图像和输入的真实噪声图像进行高斯模糊处理，以实现去除高频噪声并保留场景信息。然后，对模糊处理后的图像计算损失函数，可以通过以下公式表示：

其中，为高斯模糊操作，其模糊核大小为/>。

进一步的，确保网络生成的噪声的分布接近于真实的噪声分布，本实施例还引入了相对熵（Kullback-Leibler Divergence，简称KL）散度损失函数。即，将网络生成的噪声图像和真实噪声图像两种带噪图像，分布减去真值后得到纯噪声图像，并对纯噪声图像计算KL散度，可以通过以下损失函数计算公式表示该运算过程：

。

由此，本申请在预训练过程中还可以将最小化上述两种损失函数作为训练目标，通过多轮训练和网络参数调整满足实际需求，进而完成噪声生成网络和相机适配网络的预训练。

步骤S103：基于预训练完成的相机适配网络的输出数据和扩散模型，对预训练完成的相机适配网络进行微调，微调后的相机适配网络的输入为干净图像和相机参数。

具体的，使用扩散模型微调相机适配网络。由于在步骤S102的预训练过程中仍需使用真实的带噪图像，为替代上一阶段中作为输入的真实带噪图像，使用当前预训练好的相机适配网络的输出作为真值，重新训练一个新的相机适配网络，使得该新的相机适配网络的输入条件仅为干净图像以及噪声属性，以便在后续实际进行图像去噪时，可以通过预测代替成对数据的输入，便于图像去噪的实施。

具体实施时，可以按照上述方式重新建立一个相机适配网络，并将上述训练数据中的干净图像以及噪声属性输入新的相机适配网络，得到低维噪声编码，并使用扩散模型从此编码发出，通过多轮去噪网络预测已预训练完成的相机适配网络输出的噪声编码。

在本申请一个实施例中，基于预训练完成的相机适配网络的输出数据和扩散模型，对预训练完成的相机适配网络进行微调，包括：重新训练一个相机适配网络，将相机参数和干净图像输入重建的相机适配网络，获得低维噪声编码；通过扩散模型的去噪网络对低维噪声编码进行多轮扩散处理，将低维噪声编码逐步映射至预训练完成的相机适配网络输出的噪声属性编码。

具体而言，在本实施例中，由于在步骤S102中已经训练出一个可以完成噪声编码的相机适配网络。但是，该/>的输入条件之一，真实带噪图像/>在实际应用时是不可知的。因此，本阶段的目标是通过微调网络，得到一个不依赖于真实带噪图像/>的新的相机适配网络/>，该相机适配网络/>输出的噪声属性编码可以通过以下公式表示：

。

其中，扩散模型（Diffusion Model）是一种生成模型，在前向阶段对图像逐步施加噪声，直至图像变成完全的高斯噪声，在逆向阶段学习从高斯噪声还原为原始图像。本实施例利用扩散模型的逐步映射过程即图3中所示的扩散过程（Diffusion process）。

具体实施时，使用扩散模型将输出的编码/>逐步映射到/>的输出/>，可以通过以下公式表示该扩散模型的损失函数：

其中，表示损失函数，/>为扩散模型的步长，/>为0到1之间的常数，/>为从正态分布中采样的随机数，/>为扩散模型的去噪网络，用于进行图3中的去噪过程，该网络每次会预测随机生成的随机数，/>为迭代的输入，/>函数为数学期望函数，/>为正态分布，I表示单位矩阵。

其中，由于在本实施例中表示的是二维向量的标准正态分布，而非标量的正态分布，因此使用单位矩阵I表示该正态分布。

由此，完成了相机适配网络的微调。后续生成噪声编码时，只需将干净图像和相机相关的参数/>送入新的相机适配网络/>，并经过扩散模型进行微调即可。

步骤S104：将待加噪的干净图像和目标相机的参数输入微调后的相机适配网络和预训练后的噪声生成网络，获得大量的拟真成对数据，并通过拟真成对数据训练深度学习去噪网络，通过训练完成的深度学习去噪网络对待处理图像进行去噪。

具体的，给定待加噪的干净图像和希望进行控制的噪声属性（即采集待处理图像的目标相机的参数），通过微调后的相机适配网络得到噪声编码。然后将噪声编码和干净图像一起送入噪声生成网络，生成拟真的带噪图像，并和干净图像组成配对数据。进而，通过重复此步骤，可以生成大量高质量的拟真成对数据。最后，使用生成的成对数据训练深度学习去噪网络，获得高精度的图像去噪模型，并应用于真实带噪图像的噪声去除，即将当前待进行去噪处理的图像输入该训练完成的深度学习去噪网络。

作为一种示例，使用预训练的噪声生成网络和微调的相机适配网络生成大量拟真配对去噪数据集时，可以利用上述步骤中训练好的相机适配网络、噪声生成网络和扩散模型，给定一系列干净图像作为待加噪数据，以及一系列目标相机型号、曝光时间和感光度作为噪声控制变量，可以生成大量廉价但逼真的成对训练数据。从而完成大量拟真配对去噪数据集的生成。

进一步的，使用生成的成对数据训练深度学习去噪网络，并将训练完成后的模型用于真实图像去噪。比如，以常用的UNet去噪网络为例，给定待测噪声图像，通过UNet去噪网络得到预测值/>，并通过以下公式利用真实值/>计算/>损失函数：

其中，i表示任一张图像。

由此，完成了对真实的待处理图像的去噪。

综上所述，本申请实施例的基于扩散模型的可控噪声去除方法，通过潜在扩散模型和相机适配网络，能够有效提取噪声属性的特征，并将其用低维度的噪声编码表示。从而一方面能够方便地对噪声形态进行控制，仅需设定相机适配网络的输入相机相关参数，即可实现不同属性噪声的生成；另一方面，将准确的特征表示作为引导增强了噪声训练数据生成的准确性。并且，由于该方法将控制噪声属性的条件作为引导加入噪声生成模型，因此在应用于不同类型的相机时，仅需根据当前的相机参数对相机适配网络进行简单的微调即可实现噪声建模，提高了图像去噪的可迁移性和适用性。并且，该方法通过生成大量成对数据集，能够解放深度去噪网络对于真实采集数据集的依赖性，无需耗费大量的人力成本、时间成本和硬件成本，通过生成大量拟真数据集的方式，就可以达到较好地真实图像去噪效果，提高了图像去噪的准确性和便利性。

为了实现上述实施例，本申请还提出了一种基于扩散模型的可控噪声去除系统，图4为本申请实施例提出的一种基于扩散模型的可控噪声去除系统的结构示意图，如图4所示，该系统包括建立模块100、预训练模块200、微调模块300和去噪模块400。

其中，建立模块100，用于构建基于潜在扩散模型的拟真噪声建模网络，其中，拟真噪声建模网络包括噪声生成网络和相机适配网络，相机适配网络用于根据相机参数控制带噪图像的噪声属性。

预训练模块200，用于获取训练数据，训练数据包括相机参数以及成对的真实带噪图像和干净图像，并通过训练数据预训练拟真噪声建模网络。

微调模块300，用于基于预训练完成的相机适配网络的输出数据和扩散模型，对预训练完成的相机适配网络进行微调，微调后的相机适配网络的输入为干净图像和相机参数。

去噪模块400，用于将待加噪的干净图像和目标相机的参数输入微调后的相机适配网络和预训练后的噪声生成网络，获得大量的拟真成对数据，并通过拟真成对数据训练深度学习去噪网络，通过训练完成的深度学习去噪网络对待处理图像进行去噪。

在本申请一个实施例中，如图5所示，去噪模块400包括：生成单元410、训练单元420和成像单元430。其中，生成单元410，用于通过微调后的相机适配网络和预训练后的噪声生成网络生成大量的拟真成对数据。训练单元420，用于将生成模块410输出的成对带噪图像作为输入数据和输出数据，即对网络进行训练时的输入和输出，对预先建立的深度学习去噪网络进行训练，得到训练完成的深度学习去噪网络，并固定训练完成的网络模型参数。成像单元430，用于通过训练完成的深度学习去噪网络对待处理图像（即当前需要进行去噪的真实带噪图像）进行去噪处理和成像处理。

在本申请一个实施例中，预训练模块200具体用于将训练数据输入相机适配网络，提取与相机参数对应的噪声属性编码；将噪声属性编码和干净图像输入生成器，获取生成器输出的拟真带噪图像；通过判别器计算真实带噪图像与拟真带噪图像之间的区别，根据区别构建噪声生成网络的损失函数，并最小化噪声生成网络的损失函数。

在本申请一个实施例中，预训练模块200还用于对真实带噪图像和拟真带噪图像分别进行高斯模糊处理，计算高斯模糊处理后的图像的损失函数；将真实带噪图像和拟真带噪图像分别减去真实带噪图像，获得两种纯噪声图像，并计算两种纯噪声图像的相对熵KL散度。

在本申请一个实施例中，微调模块300具体用于重新训练一个相机适配网络，将相机参数和干净图像输入重建的相机适配网络，获得低维噪声编码；通过扩散模型的去噪网络对低维噪声编码进行多轮扩散处理，将低维噪声编码逐步映射至预训练完成的相机适配网络输出的噪声属性编码。

综上所述，本申请实施例的基于扩散模型的可控噪声去除系统，通过潜在扩散模型和相机适配网络，能够有效提取噪声属性的特征，并将其用低维度的噪声编码表示。从而一方面能够方便地对噪声形态进行控制，仅需设定相机适配网络的输入相机相关参数，即可实现不同属性噪声的生成；另一方面，将准确的特征表示作为引导增强了噪声训练数据生成的准确性。并且，由于该系统将控制噪声属性的条件作为引导加入噪声生成模型，因此在应用于不同类型的相机时，仅需根据当前的相机参数对相机适配网络进行简单的微调即可实现噪声建模，提高了图像去噪的可迁移性和适用性。并且，该系统通过生成大量成对数据集，能够解放深度去噪网络对于真实采集数据集的依赖性，无需耗费大量的人力成本、时间成本和硬件成本，通过生成大量拟真数据集的方式，就可以达到较好地真实图像去噪效果，提高了图像去噪的准确性和便利性。

为了实现上述实施例，本申请还提出了一种电子设备，如图6所示，该电子设备600包括：处理器610；用于存储处理器610可执行指令的存储器620；其中，处理器610被配置为执行指令，以实现如上述第一方面实施例中任一所述的基于扩散模型的可控噪声去除方法。

为了实现上述实施例，本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面实施例中任一所述的基于扩散模型的可控噪声去除方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于扩散模型的可控噪声去除方法，其特征在于，包括以下步骤：

构建基于潜在扩散模型的拟真噪声建模网络，其中，所述拟真噪声建模网络包括噪声生成网络和相机适配网络，所述相机适配网络用于根据相机参数控制带噪图像的噪声属性；

获取训练数据，所述训练数据包括相机参数以及成对的真实带噪图像和干净图像，并通过所述训练数据预训练所述拟真噪声建模网络；

基于预训练完成的相机适配网络的输出数据和扩散模型，对所述预训练完成的相机适配网络进行微调，微调后的相机适配网络的输入为干净图像和相机参数；

将待加噪的干净图像和目标相机的参数输入微调后的相机适配网络和预训练后的噪声生成网络，获得大量的拟真成对数据，并通过所述拟真成对数据训练深度学习去噪网络，通过训练完成的深度学习去噪网络对待处理图像进行去噪。

2.根据权利要求1所述的基于扩散模型的可控噪声去除方法，其特征在于，所述相机参数包括相机的型号、曝光参数和特定感光度ISO，所述相机适配网络具体用于基于所述相机参数生成噪声属性编码；

所述噪声生成网络包括生成器和判别器，所述生成器用于根据所述噪声属性编码生成拟真带噪图像。

3.根据权利要求2所述的基于扩散模型的可控噪声去除方法，其特征在于，所述通过所述训练数据预训练所述拟真噪声建模网络，包括：

将所述训练数据输入所述相机适配网络，提取与所述相机参数对应的噪声属性编码；

将所述噪声属性编码和所述干净图像输入所述生成器，获取所述生成器输出的拟真带噪图像；

通过所述判别器计算所述真实带噪图像与所述拟真带噪图像之间的区别，根据所述区别构建所述噪声生成网络的损失函数，并最小化所述噪声生成网络的损失函数。

4.根据权利要求3所述的基于扩散模型的可控噪声去除方法，其特征在于，所述通过所述训练数据预训练所述拟真噪声建模网络，还包括：

对所述真实带噪图像和所述拟真带噪图像分别进行高斯模糊处理，计算高斯模糊处理后的图像的损失函数；

将所述真实带噪图像和所述拟真带噪图像分别减去所述真实带噪图像，以获得两种纯噪声图像，并计算所述两种纯噪声图像的相对熵KL散度。

5.根据权利要求1所述的基于扩散模型的可控噪声去除方法，其特征在于，所述基于预训练完成的相机适配网络的输出数据和扩散模型，对所述预训练完成的相机适配网络进行微调，包括：

重新训练一个相机适配网络，将所述相机参数和所述干净图像输入重建的相机适配网络，获得低维噪声编码；

通过扩散模型的去噪网络对所述低维噪声编码进行多轮扩散处理，将所述低维噪声编码逐步映射至所述预训练完成的相机适配网络输出的噪声属性编码。

6.根据权利要求5所述的基于扩散模型的可控噪声去除方法，其特征在于，通过以下公式表示所述扩散模型的损失函数：

其中，表示损失函数，/>为扩散模型的步长，/>为0到1之间的常数，/>为从正态分布中采样的随机数，/>为扩散模型的去噪网络，/>为迭代的输入，/>函数为数学期望函数，为正态分布，I表示单位矩阵。

7.一种基于扩散模型的可控噪声去除系统，其特征在于，包括以下模块：

建立模块，用于构建基于潜在扩散模型的拟真噪声建模网络，其中，所述拟真噪声建模网络包括噪声生成网络和相机适配网络，所述相机适配网络用于根据相机参数控制带噪图像的噪声属性；

预训练模块，用于获取训练数据，所述训练数据包括相机参数以及成对的真实带噪图像和干净图像，并通过所述训练数据预训练所述拟真噪声建模网络；

微调模块，用于基于预训练完成的相机适配网络的输出数据和扩散模型，对所述预训练完成的相机适配网络进行微调，微调后的相机适配网络的输入为干净图像和相机参数；

去噪模块，用于将待加噪的干净图像和目标相机的参数输入微调后的相机适配网络和预训练后的噪声生成网络，获得大量的拟真成对数据，并通过所述拟真成对数据训练深度学习去噪网络，通过训练完成的深度学习去噪网络对待处理图像进行去噪。

8.根据权利要求7所述的基于扩散模型的可控噪声去除系统，其特征在于，所述去噪模块包括：生成单元、训练单元和成像单元，其中，

所述生成单元，用于通过所述微调后的相机适配网络和所述预训练后的噪声生成网络生成大量的拟真成对数据；

所述训练单元，用于将所述生成模块输出的成对带噪图像作为输入数据和输出数据，对所述深度学习去噪网络进行训练，得到训练完成的深度学习去噪网络；

所述成像单元，用于通过所述训练完成的深度学习去噪网络对所述待处理图像进行去噪处理和成像处理。

9.一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1-6中任一项所述的基于扩散模型的可控噪声去除方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的基于扩散模型的可控噪声去除方法。