CN113168671A

CN113168671A - 噪点估计

Info

Publication number: CN113168671A
Application number: CN201980076434.0A
Authority: CN
Inventors: 关昊; 格雷戈里·斯拉堡; 刘浏; 肖恩·莫兰; 付中前
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2019-03-21
Filing date: 2019-03-21
Publication date: 2021-07-23
Also published as: WO2020187423A1; US20220005159A1; EP3924930A1

Abstract

一种图像处理设备，包括处理器，所述处理器用于通过以下步骤估计图像中的噪点，其中，所述图像由一组像素表示，并且每个像素在一个或多个通道中的每个通道上具有与所述像素相关的值：通过用于检测随机噪点的第一训练模型，处理从所述图像导出的数据，形成第一噪点估计；通过用于检测像素极值的第二训练模型，处理从所述图像导出的数据，形成第二噪点估计；将所述第一噪点估计和所述第二噪点估计组合，形成聚合噪点估计。

Description

噪点估计

技术领域

本发明涉及估计图像中的噪点。

背景技术

当相机捕获图像时，捕获到的图像中可能会出现噪点。噪点降低了捕获图像的保真度。当使用的相机是数码相机时，图像噪点可以源于多个方面。首先，可以来自与图像捕获相关的随机过程。例如，这种随机噪点可以由图像传感器中的噪点产生。随机噪点因图像而异，由特定相机检测到。其次，噪点可以源自确定性源，如图像传感器中的故障像素。对于特定相机，这种噪点通常是一致的，除非额外像素失效或可能恢复。

某些情况特别容易出现图像噪点。例如，当数码相机在弱光条件下捕获图像时，相机可以增加其传感器的增益，以放大捕获数据的亮度。然而，这也增加了随机噪点。增加传感器增益的缺点是放大噪点。因此，噪点去除可以显著提高在弱光条件下捕获的图像质量。

希望能够在捕获图像后处理图像，以减少噪点的出现。这样，图像质量会更高。一种方法是使用滤镜来模糊图像。这样减少了高频噪点，但使图像不是很清晰。另一种方法是估计原始捕获图像中的噪点，然后尝试从原始捕获图像中删除估计的噪点，以便形成调整后的去噪图像。

估计图像中的噪点是有困难的。在Chatterjee、Priyam等人在CVPR 2011.IEEE,2011中的“通过联合去噪以及解拼抑制弱光图像中的噪点(Noise suppression in low-light images through joint denoising and demosaicing)”以及Remez、Tal等人在arXiv的预印本arXiv:1701.01687(2017)中的“弱光图像的深度卷积去噪(Deepconvolutional denoising of low-light images)”中描述了一些现有技术方法。Rudin、Leonid I.、Stanley Osher和Emad Fatemi在物理D：非线性现象60.1-4(1992)：259-268中的“基于非线性全变分的噪点去除算法(Nonlinear total variation based noiseremoval algorithms)”中提出了一种非线性变分算法以根据实现全变分损失的偏微分方程去除噪点。

需要一种改进的方法来估计图像中的噪点。

发明内容

本发明的实施例由所附独立权利要求的特征定义。这些实施例的其它有利实现方式由从属权利要求的特征进一步定义。

根据第一方面，提供了一种图像处理设备，包括处理器，所述处理器用于通过以下步骤估计图像中的噪点，其中，所述图像由一组像素表示，并且每个像素在一个或多个通道中的每个通道上具有与所述像素相关的值：通过用于检测随机噪点的第一训练模型，处理从所述图像导出的数据，形成第一噪点估计；通过用于检测像素极值的第二训练模型，处理从所述图像导出的数据，形成第二噪点估计；将所述第一噪点估计和所述第二噪点估计组合，形成聚合噪点估计。

根据第二方面，提供了一种用于训练图像处理模型的方法，包括：(a)接收多对图像，其中，每对图像表示公共场景，每对图像中的第一图像中包括的噪点比每对图像中的第二图像中包括的噪点多；(b)对于每对图像：(i)通过用于估计所述图像中的随机噪点的第一模型，处理从每对图像中的所述第一图像导出的数据，形成第一噪点估计；(ii)通过用于检测像素极值的第二模型，处理从每对图像中的所述第一图像导出的数据，形成第二噪点估计；(iii)将所述第一噪点估计和所述第二噪点估计组合，形成聚合噪点估计；(iv)估计(A)每对图像中的所述第二图像与(B)根据所述聚合噪点估计去噪的每对图像中的所述第一图像之间的差值；(v)根据估计差值调适所述第一模型和所述第二模型。

所述第一训练模型可以适合和/或适于检测泊松噪点(Poisson noise)和/或高斯噪点(Gaussian noise)。这种类型的噪点可以出现在数字捕获的图像中。

所述第一训练模型在检测泊松噪点和/或高斯噪点方面的精度可以比所述第二训练模型的精度高。在这方面，所述模型的功能可以不同，可能会导致整个系统在所述模型的不同方面进行训练后表现更好。

所述第二训练模型在检测坏点噪点方面的精度可以比所述第一训练模型的精度高。所述第二模型可以适于和/或适于检测坏点噪点。可以用于检测独立像素极值。

所述设备可以用于从所述图像中减去所述聚合噪点估计以形成去噪图像。所述去噪图像对观看者来说可能会更好。

所述设备可以用于通过第三训练模型处理所述图像和所述聚合噪点估计，形成去噪图像。这可以改善对原始图像去噪的感知结果。

所述第一训练模型和所述第二训练模型可以包括处理架构，所述处理架构用于：(a)处理从所述图像导出的数据，以通过第一系列级逐渐降低分辨率，形成中间数据；(b)处理所述中间数据，以通过第二系列级逐渐提高分辨率，形成相应的噪点估计，其中，在第一系列和第二系列的对应级之间具有提供馈通的跳跃连接。这可能是配置所述模型实现良好的可训练性和适用性的有效方法。

所述第二训练模型的所述第一系列级可以包括：(a)第一级，用于处理从所述图像导出的数据以降低分辨率并增加数据深度，形成第二中间数据，(b)第二级，用于处理所述第二中间数据以在不增大数据深度的情况下降低分辨率，形成第三中间数据。这可能特别适合处理坏点噪点。

所述第一级可以是空间-深度级。通过增加保留像素点处的数据深度，避免数据丢失，可以降低空间分辨率，同时保留数据。

所述第二级可以是最大池化级。所述第一训练模型的所述第一系列级中没有任何一级可以增大数据深度。这样可以以有损的方式降低分辨率，从而有利于更高效地进行后续处理。

所述第一模型和所述第二模型可以包括处理架构，所述处理架构用于：(a)处理从每对图像中的所述第一图像导出的数据，以通过第一系列级逐渐降低分辨率，形成中间数据；(b)处理所述中间数据，以通过第二系列级逐渐提高分辨率，形成相应的噪点估计，其中，在第一系列和第二系列的对应级之间具有提供馈通的跳跃连接；所述第二训练模型的所述第一系列级可以包括：(a)第一级，用于处理从每对图像中的所述第一图像导出的数据以降低分辨率并增加数据深度，形成第二中间数据；(b)第二级，用于处理所述第二中间数据以在不增大数据深度的情况下降低分辨率，形成第三中间数据。

根据第三方面，提供了一种由上述方法调适的图像处理模型。所述模型可以存储在数据载体上。所述模型可以以非瞬时形式存储。所述模型可以包括神经网络权重。所述模型可以包括神经网络。

根据第四方面，提供了一种图像处理设备，包括处理器和存储器，所述存储器以非瞬时形式存储由处理器执行的指令，以实现上文所述的图像处理模型。

一个或多个实施例的细节在附图和以下描述中阐述。其它特征、目标和优点将从描述、附图和权利要求中显而易见。

附图说明

现将结合附图通过示例的方式对本发明进行描述。

在附图中：

图1示出了实现本发明的一种设备的总体架构；

图2示出了噪点图像和更清晰的图像；

图3示出了RAW格式图像中像素的排列；

图4示出了坏点的结果；

图5示出了第一处理架构；

图6示出了可训练子网架构的示例；

图7示出了第二处理架构；

图8示出了去噪图像之间的比较；

图9示出了去噪图像之间的第二比较。

具体实施方式

图1示出了实现本发明的一种设备的总体架构。所述设备具有处理器1、存储器2、相机3、显示器4、键盘5和数据接口6。该存储器以非瞬时方式存储可由处理器执行的指令代码，以使得设备执行本文中描述的功能。相机可以使用键盘5控制来拍摄图像。然后，图像作为数据存储在存储器2中。键盘可以与触摸屏中的显示器集成。数据接口允许设备与远程位置通过互联网等进行数据收发。例如，所述设备可以是移动电话或蜂窝电话。所述设备可以是服务器计算机，在这种情况下，可能不具有相机3、显示器4和键盘5。所述设备可以是专用相机，在这种情况下，可能不具有数据接口6。也可以是其它物理结构。

在操作中，存储器2可以保存由相机3捕获到或通过数据接口6接收到的图像。然后，处理器可以执行存储的代码，以通过下面讨论的方法降低图像中的噪点，形成去噪图像。然后，处理器可以使显示器显示去噪图像，或者可以通过接口6将去噪图像传输到另一个位置。

图2示出了去噪示例。观察到的噪点图像通过去噪器传递。去噪器输出去噪或“清晰”图像。去噪图像通常不会去除所有噪点。

数字图像由像素组成。术语“像素”的不同解释是通用的。在一种解释中，单个像素可以针对多个原色进行编码。在这种解释中，像素可以包括单独的红色(“R”)、绿色(“G”)和蓝色(“B”)值或区域。在另一种解释中，像素可以对单个颜色进行编码。例如，RAW格式的图像被划分为多个2×2块，每个块包括四个元素(参见图3)。每个元素对单个颜色进行编码，如图3中的“R”、“G”、“B”所示。每个块中的元素可以视为像素。在单色图像中，像素可以仅对灰度数据进行编码。

数码相机图像中的噪点主要源自三个方面：

1、读取噪点：由成像传感器中的电子元件产生。这是随机噪点，通常可以用高斯分布建模。

2、散粒噪点：与到达传感器的光子数量的量化有关，因此取决于亮度。这是随机噪点，通常可以用泊松分布建模。

3、坏点噪点：相机传感器上的独立像素对入射光的敏感度可能有所不同。这可以是传感器制造过程产生的结果，也可以是由于服务期间的随机故障造成的。虽然这些影响的发生率可以随着时间的推移而逐渐变化，但这种变化通常是缓慢的。像素中的坏点可能导致脉冲噪点影响：即导致像素变得饱和(因此报告最大亮度)或没有捕获光(因此报告最小亮度)。还可以导致像素报告错误的中间水平。图4示出了坏点噪点的示例。

在下面描述的方法中，训练人工智能模型以检测图像中的噪点。这可以通过在包括同一场景的多对图像的数据集上训练模型来完成，每对图像中的一个图像显示出相当大的噪点，另一个图像基本上没有噪点。对于每对图像，将相对有噪点的图像输入到当前状态的模型。该模型估计图像中的噪点。通过从相对有噪点的图像中去除估计的噪点，形成假定的去噪图像。然后将假定的去噪图像与相对无噪点的图像进行比较。根据比较的结果，调适模型(例如，通过改变模型中包括的神经网络中的权重)，以加强模型的精确噪点估计。一旦模型在多个训练图像对上以这种方式训练，它就可以在其它图像上运行，以估计其它图像中的噪点。便利地，模型可以在一个设备上训练，例如计算机服务器，然后加载到其它设备中，例如相机或包括相机的移动/蜂窝电话。然后，这些其它设备可以运行模型，以帮助去除设备捕获的图像中的噪点。尽管图1中所示类型的设备可以用于训练模型，但运行训练模型的设备不需要具备训练模型本身的能力。训练模型可以以可执行代码的形式提供给设备，或者，如果设备已经具有适合通用模型的可执行代码，则训练模型可以以待在该模型中使用的权重或值的形式提供给这种设备。训练模型可以在制造时动态地(例如作为下载)或在存储设备上的非易失性存储器中提供给设备。训练模型可以以非瞬时形式存储在适当的存储器中。

除了根据训练图像的外观来训练模型外，拍摄图像的ISO或敏感度也可用作训练输入。运行训练模型时，也可以用作输入。

优选地，系统使用图像的外观以及使用的ISO(在拍摄照片时已知)来估计图像中的噪点。该系统将噪点分解为(i)随机噪点估计，优选包括高斯噪点和泊松噪点和(ii)确定性噪点，优选包括坏点噪点。可以使用单独的子网来估计上述噪点中的每个噪点。已经发现，对这两类噪点使用单独的可训练子网或训练子网可以在估计噪点的精度方面产生改进的结果。网络可以在多任务设置中进行有益的训练。一个任务是估计随机噪点，另一个任务是估计确定性噪点。在方便的实施例中，这两种估计可以有单独的子网。将随机噪点(即高斯+泊松噪点)和确定性噪点(即坏点噪点)组合在一起，形成整体噪声估计。然后，使用整体噪点估计对原始图像进行去噪。这可以通过从原始图像中减去噪点估计或使用又一训练的去噪网络来实现。

每个子网可以使用合成噪点进行单独预训练。因此，上述训练过程可以在每个网络上单独实现，在每种情况下，相对具有噪点的输入图像主要包括正在训练的噪点类型(随机或确定性/坏点噪点)。然后，两个预训练模型可以组合成一个完整的架构。如果需要，可以使用包括两种类型噪点的图像来训练完整的架构：例如非合成或真实图像数据。

为了单独训练子网，可以合成噪点，应用于非噪点训练图像，从而形成相对有噪点的训练图像。为了合成随机噪点，可以使用静态相机在弱光环境中捕获的一系列(例如，12个)图像。可对这些帧进行平均得到平均图像，该图像用作相对有低噪点的训练图像。然后，可以为序列中的每个像素计算方差图像。图像中的泊松噪点与强度有关。因此，可以使用最小平方法和/或RANSAC将线性方程拟合到作为强度/亮度函数的噪点方差。可以使用随机(高斯+泊松)噪点模型来表示使用此线性方程噪点的特点。该序列中图像中显示出与模型不一致的噪点的任何像素都可以被视为坏点噪点。方便地，任何强度位于估计随机噪点分布99％置信区间之外的像素都可以视为坏点。这样，对于序列中的每个图像，估计可以由(a)随机噪点和(b)确定性噪点形成。然后，对于序列中的每个图像，可以形成两个图像：一个只包括随机噪点，另一个只包括确定性噪点。其中每一个都可以与相对有低噪点的图像配对，并用于训练所述模型的相应部分。

RAW图像是一种无损图像格式。与RGB格式的图像不同，RAW格式的图像由拜耳(Bayer)阵列组成。拜耳阵列中的每个像素块可以是BGGR、RGGB、GRGB或RGGB。在每个像素上，只有红色、绿色或蓝色。在训练和运行时，有利于将RAW格式的图像作为模型的输入。与应用了动态范围压缩的图像相比，使用RAW图像可以保留更多的细节。RAW图像的拜耳阵列结构(参见图3)使得很难使用一些传统的方法来执行图像增强。使用上述分裂模型方法，可以训练每个模型，使其分别能够去噪随机噪点和脉冲噪点中的一个。

本系统提供了一个分解网络来估计分解为(i)随机/高斯+泊松噪点和(i)确定性/脉冲噪点的噪点。图5示意性地示出了这种网络。整体结构是一个由两个子网组成的网络。每个子网都是一个独立于另一个子网运行的神经网络。一个子网中的权重不影响另一个子网的运行。其中一个子网估计随机噪点。另一个估计确定性噪点。子网可以具有任何合适的形式，但通常说它们可以是每个回归输入RAW数据中每个像素处的噪点值的网络。

在图5的架构中，对独立的输入图像执行以下步骤。在此示例中，假设输入图像为RAW格式，但也可以是任何合适的格式。

1.首先将输入图像打包到四个通道(R、G1、G2、B)中，对应于RAW编码中使用的拜耳阵列。对于其它形式的编码，打包方式可能不同。这些通道的以宽度和高度为单位的分辨率是原始输入图像的一半。以这种方式打包的一个优点是将同色像素分组在一起。

2.提供捕获图像的ISO设置作为第五通道上的输入。

3.网络可以利用“共享层”块来提取特征。可以使用卷积和修正线性单元(rectified linear unit，ReLU)或其它方式完成。共享层提取两个子网的任务共有的特征。共享层也可以称为耦合层。这些层可用于以相对高分辨率组装特征，以在两个子网之间建立连接。在单独预训练每个子网之后，这些耦合层可以使整体架构能够根据包括两种类型噪点的训练数据更新每个子网的权重。

4.上层子网分支(“子网A”)估计随机噪点。

5.较低的子网分支(“子网B”)估计确定性噪点。

6.将噪点估计相加以形成聚合噪点估计。可以从原始图像中减去聚合噪点估计，产生去噪结果。

可以使用任何合适的可训练网络架构独立形成每个子网A或B。示例包括神经网络，例如，Unet。(参见斯普林格出版社的Cham于2015年出版的在医学图像计算和计算机辅助干预国际会议上的Ronneberger、Olaf、Philipp Fischer和Thomas Brox的“Unet：生物医学图像分割的卷积网络”)。方便地，可以修改Unet，如图6所示。图6示出了可以在子网A或B的示例中执行的下采样和随后上采样输入图像的步骤。在图6所示流程的左上角提供图像输入。此输入位于图6数据流的顶层。在图6中，矩形表示卷积和泄漏修正线性单元(rectified linear unit，ReLU)的步骤。在图6左侧所示的下采样路径中，使用第一空间-深度变换将输入转换为第二层的数据。使用第二空间-深度变换将第二层的数据转换为第三层的数据。使用第一最大池化变换将第三层的数据转换为第四层的数据。使用第二最大池化变换将第四层的数据转换为第五层的数据。图6右侧示出了上采样路径。在下采样路径的每一层中的数据和上采样路径的相应层中的数据之间提供跳跃连接。上采样路径从第五层上采样数据的跳跃连接导出的第五层上采样数据开始。使用第一反卷积变换将第五层的上采样数据转换为第四层的上采样数据。使用第二反卷积变换将第四层的上采样数据转换为第三层的上采样数据。使用第一深度-空间变换将第三层的上采样数据转换为第二层的上采样数据。使用第二深度-空间变换将第二层的上采样数据转换为顶层的上采样数据。深度-空间变换降低了这些变换的输入数据的分辨率，但根据输入数据增大了所得像素位置处值的数据深度。因此，这些变换在不丢失与分辨率降低成比例的信息的情况下降低了数据的分辨率。优选地，通过存储定义像素的数据来保留所有数据，其中，所述像素在每个剩余像素处在增加的数据深度中降低分辨率的过程中丢失。通过这种方式，空间-深度变换可以是无损的。空间-深度变换执行相反的操作。最大池化变换通过仅选择待减少到单个像素的多像素区域中具有最大值的像素来降低分辨率。保持数据深度。这样，最大池化变换是有损的。反卷积变换可以形成从低分辨率图像到高分辨率图像的估计。已经发现，虽然最大池化操作作为识别坏点的过程的一部分相对有效(因为坏点通常产生极值)，但空间-深度操作在识别随机噪点的过程中具有优势，这通常可能产生中间噪点值。

图7示出了一种可选架构。图7的架构与图5的架构相似。关于图7的架构，需要注意的一些要点是：

1、在子网络中使用不同的网络来检测随机噪点和确定性噪点。用于检测随机噪点的子网忽略了最大池化。用于检测确定性噪点的子网保留最大池化(例如，图6中所示的最大池化步骤)。这可以提高检测坏点噪点的效率和准确性。

2、由两个子网形成的噪点估计与原始图像连接到一个公共数据集，并将这三者传递到去噪网络。去噪网络应用训练神经网络模型来形成调适的噪点估计。然后，在减法步骤中从原始图像中减去调适的噪点估计，形成调整后的图像。与从两个子网中对噪点估计进行求和并从输入图像中减去噪点估计的替代方法相比，可以提高系统的性能。去噪网络可以是为此目的而训练的任何合适的网络。来自每个子网的噪点估计可以打包到多个颜色特定的通道中(例如，在RAW图像的情况下，R、G、G、B)，以便输入到级联块。

图8示出了通过本系统的示例去噪的图像(右侧)与使用众所周知的方法DnCNN去噪的图像之间的比较。(参见Zhang,Kai等人在图像处理IEEE学报的26.7(2017)：3142-3155的“除了高斯去噪器：用于图像去噪的深度CNN的残差学习(Beyond a gaussian denoiser:Residual learning of deep CNN for image denoising)”)。图9示出了通过DnCNN去噪的图像、通过本系统的一个示例去噪的图像和输入图像(从左到右)中的放大和裁剪部分。最左边图像中的圆圈区域为通过DnCNN方法生成的伪影区域。

当捕获的图像正在被去噪时，优选在解拼和动态范围压缩等操作之前应用本系统。

图5和图7的整个网络可以使用噪点图像/清晰的地面真值图像对进行端到端训练。可以提高所得模型的准确性。

申请方在此单独公开本文描述的每一个体特征及两个或两个以上此类特征的任意组合。以本领域技术人员的普通知识，能够基于本说明书将此类特征或组合作为整体实现，而不考虑此类特征或特征的组合是否能解决本文所公开的任何问题；且不对权利要求书的范围造成。本申请表明本发明的各方面可由任何这类单独特征或特征的组合构成。鉴于前文描述可在本发明的范围内进行各种修改对本领域技术人员来说是显而易见的。

Claims

1.一种图像处理设备，其特征在于，包括处理器，所述处理器用于通过以下步骤估计图像中的噪点，其中，所述图像由一组像素表示，并且每个像素在一个或多个通道中的每个通道上具有与所述像素相关的值：

通过用于检测随机噪点的第一训练模型，处理从所述图像导出的数据，形成第一噪点估计；

通过用于检测像素极值的第二训练模型，处理从所述图像导出的数据，形成第二噪点估计；

将所述第一噪点估计和所述第二噪点估计组合，形成聚合噪点估计。

2.根据权利要求1所述的图像处理设备，其特征在于，所述第一训练模型用于检测泊松噪点(Poisson noise)和/或高斯噪点(Gaussian noise)。

3.根据权利要求2所述的图像处理设备，其特征在于，所述第一训练模型在检测泊松噪点和/或高斯噪点方面的精度比所述第二训练模型的精度高。

4.根据上述权利要求中任一项所述的图像处理设备，其特征在于，所述第二训练模型在检测坏点噪点方面的精度比所述第一训练模型的精度高。

5.根据上述权利要求中任一项所述的图像处理设备，其特征在于，所述设备用于从所述图像中减去所述聚合噪点估计以形成去噪图像。

6.根据权利要求1至4中任一项所述的图像处理设备，其特征在于，所述设备用于通过第三训练模型处理所述图像和所述聚合噪点估计，形成去噪图像。

7.根据上述权利要求中任一项所述的图像处理设备，其特征在于，所述第一训练模型和所述第二训练模型包括处理架构，所述处理架构用于：(a)处理从所述图像导出的数据，以通过第一系列级逐渐降低分辨率，形成中间数据；(b)处理所述中间数据，以通过第二系列级逐渐提高分辨率，形成相应的噪点估计，其中，在第一系列和第二系列的对应级之间具有提供馈通的跳跃连接。

8.根据权利要求7所述的图像处理设备，其特征在于，所述第二训练模型的所述第一系列级包括：(a)第一级，用于处理从所述图像导出的数据以降低分辨率并增加数据深度，形成第二中间数据，(b)第二级，用于处理所述第二中间数据以在不增大数据深度的情况下降低分辨率，形成第三中间数据。

9.根据权利要求8所述的图像处理设备，其特征在于，所述第一级是空间-深度级。

10.根据权利要求8或9所述的图像处理设备，其特征在于，所述第二级是最大池化级。

11.根据权利要求7至10中任一项所述的图像处理设备，其特征在于，所述第一训练模型的所述第一系列级中没有任何一级增大数据深度。

12.一种用于训练图像处理模型的方法，其特征在于，包括：

(a)接收多对图像，其中，每对图像表示公共场景，每对图像中的第一图像中包括的噪点比每对图像中的第二图像中包括的噪点多；

(b)对于每对图像：

(i)通过用于估计所述图像中的随机噪点的第一模型，处理从每对图像中的所述第一图像导出的数据，形成第一噪点估计；

(ii)通过用于检测像素极值的第二模型，处理从每对图像中的所述第一图像导出的数据，形成第二噪点估计；

(iii)将所述第一噪点估计和所述第二噪点估计组合，形成聚合噪点估计；

(iv)估计(A)每对图像中的所述第二图像与(B)根据所述聚合噪点估计去噪的每对图像中的所述第一图像之间的差值；

(v)根据估计的差值调适所述第一模型和所述第二模型。

13.根据权利要求12所述的方法，其特征在于，

所述第一模型和所述第二模型包括处理架构，所述处理架构用于：(a)处理从每对图像中的所述第一图像导出的数据，以通过第一系列级逐渐降低分辨率，形成中间数据；(b)处理所述中间数据，以通过第二系列级逐渐提高分辨率，形成相应的噪点估计，其中，在第一系列和第二系列的对应级之间具有提供馈通的跳跃连接；

所述第二训练模型的所述第一系列级包括：(a)第一级，用于处理从每对图像中的所述第一图像导出的数据以降低分辨率并增加数据深度，形成第二中间数据；(b)第二级，用于处理所述第二中间数据以在不增大数据深度的情况下降低分辨率，形成第三中间数据。

14.一种图像处理模型，其特征在于，根据权利要求12或13所述的方法调适。

15.一种图像处理设备，其特征在于，包括处理器和存储器，所述存储器以非瞬时形式存储由所述处理器执行的指令，以实现根据权利要求12或13所述的方法调适的图像处理模型。