CN109559281A - 图像去噪神经网络架构及其训练方法 - Google Patents

Abstract

一种图像去噪神经网络训练架构，包括图像去噪神经网络和纯净数据神经网络，并且图像去噪神经网络和纯净数据神经网络彼此之间共享信息。

Description

图像去噪神经网络架构及其训练方法

相关应用的交叉引用

本发明专利申请要求于2017年9月26日提交的美国临时专利申请序列号第62/563,623号的优先权和于2018年3月20日提交的美国非临时专利申请序列号第15/926,301号的优先权，其全部内容通过引用并入本文。

技术领域

本公开的示例性实施例的各方面涉及图像去噪神经网络架构和训练图像去噪神经网络的方法。

背景技术

当在相对弱的光照条件下拍摄数字图像时，例如在黄昏或夜间，所得图像中通常存在噪声(也称为图像噪声)。图像噪声可以呈现为亮度或颜色信息的随机变化，该随机变化由例如传感器(例如，电荷耦合器件(charge-coupled device，CCD)传感器、互补金属氧化物半导体(complementary-metal-oxide semiconductor，CMOS)传感器)和/或捕捉设备(例如，数码相机、手机相机)的相关电路造成。由于弱光摄影中存在较低光子计数(例如，由于捕捉设备的传感器接收和/或测量的光子较少)，捕捉设备产生附加噪声。图像噪声是合成图像中的不良分量，且导致较低质量的图像。

通常，图像噪声包括两个分量——高斯噪声和泊松噪声。高斯噪声是更普遍的噪声类型(例如，数字噪声)，通常是捕捉设备中电路噪声的结果。泊松噪声不太普遍，因为当基础信号(例如，弱光图像信号)相对弱并且传感器响应被量化时，泊松噪声发生得更频繁(例如，更普遍或更明显)。在较强光照条件下，泊松噪声趋于正态分布，使得在大多数图像(例如，在明亮的图像中)中高斯噪声比泊松噪声更普遍。

当在相对弱的光照条件下捕捉图像时，图像噪声具有两个分量——信号相关分量(其可以被建模为根据光子到达相机传感器(例如，CCD传感器或CMOS传感器)的速率分布的泊松噪声)和信号独立分量(其可以被建模为高斯噪声且由于图像中的平稳干扰而产生)。有效噪声包含两个图像噪声分量，并且可以称为“泊松-高斯噪声”。由于信号相关噪声分量，有效噪声的噪声方差不是恒定的，而是随着图像的像素值的期望而变化。

去除(或减少)数字图像(例如，数字图像信号)中的泊松-高斯噪声的一种当前方法包括应用方差平稳化变换(也称为“VST”)，诸如Anscombe或广义Anscombe变换，以产生具有带有恒定方差的噪声分量的数字信号，该恒定方差独立于输入信号的值，该噪声分量可以被认为类似于加性高斯噪声(例如，具有单位方差的加性高斯白噪声(additive whiteGaussian noise，AWGN))。也就是说，将VST应用于数字图像，以将泊松噪声变换为具有恒定方差的噪声，泊松噪声的方差等于其均值且因此取决于基础像素值。然后，通过使用去噪算法(诸如通过块匹配和3D滤波(也称为“BM3D”))来去除(或基本去除)变换后的噪声，该去噪算法可以有效地去除具有恒定方差的噪声(诸如AWGN)。最后，逆方差平稳化变换(也称为“IVST”)，诸如逆Anscombe变换，被应用于已去噪数字图像以将其变换回其原始域。总而言之，这种从图像中去除或减少泊松-高斯噪声的方法可以被称为“VST-BM3D-IVST”。

然而，VST-BM3D-IVST方法对第一步中使用的正向变换敏感，要求正向变换的无偏差的逆变换可用于使图像返回到其原始域。此外，VST-BM3D-IVST方法的性能在非常低的亮度值下相对较差，诸如在非常弱的光照水平下拍摄的图像的情况。

最近尝试的对VST-BM3D-IVST方法的一些改进包括使用噪声图像与渐进细化(或滤波)的图像的组合的迭代滤波，但是这些改进极大地增加了VST-BM3D-IVST方法的复杂性，且可能不适合与相对低功率(例如，低处理功率)的移动设备等一起使用。

此外，最近一种称为DeNoiseNet的弱光图像去噪的深度学习方法尝试学习从泊松噪声图像(例如，具有相对高的泊松噪声量的图像)到纯净(已去噪)图像的变换。然而，这种方法没有考虑噪声方差平稳化。

发明内容

本公开针对图像去噪神经网络架构和训练图像去噪神经网络的方法的各种实施例。

根据本公开的一个实施例，图像去噪神经网络训练架构包括：图像去噪神经网络；和纯净数据神经网络。图像去噪神经网络和纯净数据神经网络被配置为彼此共享信息。

图像去噪神经网络可以包括：方差平稳化变换(VST)网络；逆方差平稳化变换(IVST)网络；以及在VST网络和IVST网络之间的去噪网络。

去噪网络可以包括彼此堆叠的多个卷积自动编码器。

VST网络可以包括一起形成卷积神经网络的多个滤波层和整流层。

图像去噪神经网络可以被配置为学习实现输入图像的噪声的恒定输出方差的单调可逆变换。

滤波层中的第一个滤波层可以被配置为对输入图像执行分箱操作。

IVST网络可以被训练为：通过最小化在来自恒等变换的输出与VST和IVST网络的级联的期望输出之间的距离度量来对VST网络进行逆变换。

可以通过最小化噪声图像和输入到图像去噪神经网络中的无噪声图像之间的均方误差距离来训练图像去噪神经网络。

可以交织VST网络的至少一些滤波层的训练和IVST网络的至少一些滤波层的训练。

纯净数据神经网络可以包括多个滤波层和整流层。

纯净数据神经网络的滤波层中的至少一个可以被配置为与图像去噪神经网络的滤波层中的至少一个共享信息。

纯净数据神经网络可以被训练为多个编码器-解码器对，以通过最小化稀疏潜在表示的解码和纯净输入之间的距离度量来学习输入图像的稀疏潜在表示。

可以通过利用稀疏约束来学习稀疏潜在表示将纯净数据神经网络的训练正则化。

根据本公开的另一实施例，提供了训练图像去噪神经网络的方法。图像去噪神经网络包括方差平稳化变换网络、逆方差平稳化变换网络和去噪网络。该方法包括：联合训练方差平稳化变换网络和逆方差平稳化变换网络；并且训练去噪网络。

方差平稳化变换网络和逆方差平稳化变换网络的联合训练可以包括块坐标下降优化，其中在每次迭代中，执行参数更新以降低方差平稳化变换网络目标，并且执行参数更新以降低逆方差平稳化变换网络目标。

方差平稳化变换网络和逆方差平稳化变换网络的联合训练可以包括利用基于梯度的随机优化。

基于梯度的随机优化可以包括Adam算法。

去噪网络的训练可以包括：将已去噪图像输入到纯净数据稀疏去噪自动编码器中；将已去噪图像的噪声版本输入到噪声数据稀疏去噪自动编码器中；并且通过利用基于随机梯度的优化技术来训练噪声数据稀疏去噪自动编码器以输出已去噪图像。

可以通过利用目标函数来训练噪声数据稀疏去噪自动编码器，并且可以优化目标函数，以最小化已去噪图像的噪声版本的解码潜在表示和纯净已去噪输入之间的距离度量(例如，适当定义的距离度量)。

去噪网络的训练是可以通过最小化组合代价函数与纯净数据神经网络的训练联合进行的，该组合代价函数最小化方差平稳化变换网络和逆方差平稳化变换网络的解码潜在表示与纯净已去噪输入之间的平方误差。

除了实现纯净数据神经网络的中间潜在表示与去噪网络之间的联合稀疏性之外，可以将训练正则化，以实现纯净数据神经网络和去噪网络两者的潜在表示的单独稀疏性。

根据本公开的另一实施例，图像去噪神经网络训练架构包括图像去噪神经网络和纯净数据神经网络。图像去噪神经网络包括多个滤波层，该图像去噪神经网络包括：包括多个滤波层的方差平稳化变换(VST)网络；包括多个滤波层的逆方差平稳化变换(IVST)网络；以及包括多个滤波层的去噪网络。纯净数据神经网络的多个滤波层被配置为与对应的去噪网络的多个滤波层进行通信。

提供本发明内容是为了介绍将在以下详细描述中进一步描述的本公开的示例性实施例的多个特征和概念。本发明内容并非旨在识别所要求保护的主题的关键或基本特征，也并非旨在用于限制所要求保护的主题的范围。根据一个或多个示例性实施例的一个或多个描述特征可以与根据一个或多个示例性实施例的一个或多个其他描述特征相组合，以提供可行的方法或设备。

附图说明

图1是根据实施例的泊松-高斯去噪训练架构的图示；

图2是根据实施例的用于堆叠式稀疏去噪自动编码器(stacked sparsedenoising autoencoder，SSDA)网络的基线训练方法的图示；

图3是根据实施例的用于堆叠式稀疏去噪自动编码器(SSDA)的引导性训练方法的图示；

图4是示出根据实施例的训练图像去噪神经网络的方法的流程图；和

图5是示出根据实施例的通过使用所训练的图像去噪神经网络来改善在弱光照条件下拍摄的图像的方法的流程图。

具体实施方式

本公开针对图像去噪神经网络架构和训练图像去噪神经网络的方法的各种实施例。在一个示例性实施例中，图像去噪神经网络训练架构包括图像去噪神经网络和纯净数据神经网络。图像去噪神经网络和纯净数据神经网络可以被配置为彼此共享信息。在一些实施例中，图像去噪神经网络可以包括方差平稳化变换(VST)网络、逆方差平稳化变换(IVST)网络以及VST网络和IVST网络之间的去噪网络。去噪网络可以包括彼此堆叠的多个卷积自动编码器，并且VST网络和IVST网络可以各自包括一起形成卷积神经网络的多个滤波层。

在下文中，将参考附图更详细地描述本公开的示例性实施例。然而，本公开可以以各种不同的形式体现，并且不应被解释为仅局限于本文所示的实施例。相反，提供这些实施例作为示例，使得本公开将是彻底和完整的，并且将向本领域技术人员充分传达本公开的各方面和特征。因此，为了完全理解本公开的各方面和特征，可以不描述对于本领域普通技术人员而言不需要的过程、元件和技术。除非另有说明，否则在所有附图和书面描述中，相似的参考标记表示相似的元件，并且因此，可以不重复其描述。

将理解的是，尽管术语“第一”、“第二”、“第三”等在本文中可用于描述各种元件、组件和/或层，这些元件、组件和/或层不应受这些术语的限制。这些术语用于将一个元件、组件或层与另一个元件、组件或层区分开来。因此，下面描述的第一元件、组件或层可以被称为第二元件、组件或层，而不脱离本公开的范围。

还将理解的是，当元件、组件或层被称为在两个元件、组件或层“之间”时，它可以是两个元件、组件或层之间的唯一元件，或者也可以存在一个或多个中间元件、组件或层。

这里使用的术语是为了描述特定的实施例的目的，而不旨在限制本公开。如本文所使用的，单数形式“一”和“一种”也旨在包括复数形式，除非上下文另有明确指示。还将理解的是，当在本说明书中使用时，术语“包含”和“包括”指定所陈述的特征、整体、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组的存在或添加。也就是说，本文所描述的过程、方法和算法不限于所指示的操作，并且可以包括附加操作或者可以省略一些操作，并且操作的顺序可以根据一些实施例而变化。如本文所使用的，术语“和/或”包括相关联的所列项目中的一个或多个的任意和所有组合。

如本文所使用的，术语“基本上”、“大约”和类似术语被用作近似的术语而不是程度的术语，并且旨在说明本领域普通技术人员将认识到的测量值或计算值的固有变化。此外，在描述本公开的实施例时使用“可以”是指“本公开的一个或多个实施例”。如本文所使用的术语“使用”、“正使用”和“被使用”可以被认为与术语“利用”、“正利用”和“被利用”分别同义。此外，术语“示例”旨在指代示例或图示。

除非另有定义，否则本文所使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员通常理解所相同的含义。还将理解的是，术语(诸如通常在词典中定义的术语)，应该被解释为具有与它们在相关技术和/或本说明书的上下文中的含义一致的含义，并且不应该以理想化或过于形式化的意义来解释，除非本文中明确定义。

本文所描述的根据本公开实施例的处理器、中央处理单元(central processingunit，CPU)、图形处理单元(graphics processing unit，GPU)、现场可编程门阵列(field-programmable gate array，FPGA)、传感器、捕捉设备、电路、神经网络、滤波层、检测器、自动编码器、去噪器、编码器、解码器和/或任何其他相关设备或组件，可以利用任何合适的硬件(例如，专用集成电路)、固件、软件和/或软件、固件和硬件的适当组合来实现。例如，处理器、CPU、GPU、神经网络、滤波层、检测器、传感器、自动编码器、去噪器、编码器、解码器和/或FPGA的各种组件可以在(或实现在)一个集成电路(integrated circuit，IC)芯片上或分离的IC芯片上形成。此外，处理器、CPU、GPU、神经网络、滤波层、检测器、传感器、自动编码器、去噪器、编码器、解码器和/或FPGA的各种组件可以在柔性印刷电路薄膜、载带式封装(tapecarrier package，TCP)、印刷电路板(printed circuit board，PCB)上实施，或者在与处理器、CPU、GPU和/或FPGA相同的基底上形成。此外，所描述的动作、神经网络、滤波层、编码器、解码器、自动编码器等，可以是在一个或多个计算设备中的一个或多个处理器(例如，一个或多个CPU和/或一个或多个GPU)上运行的、执行计算机程序指令并与其他系统组件交互以执行本文描述的各种功能的进程或线程。计算机程序指令可以存储在存储器中，该存储器可以使用诸如例如随机存取存储器(random access memory，RAM)的标准存储设备在计算设备中来实施。计算机程序指令还可以存储在其他非瞬时性计算机可读介质中，诸如，例如CD-ROM、闪存驱动器等。而且，本领域技术人员应该认识到，在不脱离本公开的示例性实施例的范围的情况下，各种计算设备的功能可以组合或集成到单个计算设备中，或者特定计算设备的功能可以分布在一个或多个其他计算设备上。

图1示出了根据本公开实施例的图像去噪神经网络训练架构(例如，泊松-高斯去噪训练架构)，并且图4示出了根据本公开实施例的训练图像去噪神经网络(例如，泊松-高斯去噪架构)20的方法。

参考图1，在本公开的一个实施例中，图像去噪神经网络包括方差平稳化变换(VST)神经网络(例如，卷积方差平稳化网络、卷积VST或VST编码器)100、逆方差平稳化变换(IVST)神经网络(例如，IVST解码器)200以及VST网络100和IVST网络200之间的去噪网络(例如，堆叠式去噪自动编码器)300。

VST网络100和IVST网络200中的每一个可以是三层卷积神经网络(convolutionneural network，CNN)；然而，本公开不限于此。在其他实施例中，VST网络100和IVST网络200可以具有多于三层或少于三层。VST网络100和IVST网络200在一起可以被认为是泊松去噪器。在一些实施例中，VST网络100和IVST网络200可以具有相同数量的层。然而，本公开不限于此，并且在其他实施例中，VST网络100和IVST网络200可以具有相对于彼此不同数量的层。

VST网络100的三层卷积神经网络可以包括第一滤波层101至第三滤波层103，并且IVST网络200的三层卷积神经网络可以包括第一滤波层201至第三滤波层203。

第一滤波层101/201可以具有3×3×1×10的维度(例如，像素维度)，第二滤波层102/202可以具有1×1×10×10的维度，并且第三滤波层103/203可以具有1×1×10×1的维度。第一滤波层101/201具有3×3维度以利用分箱操作，该分箱操作包括在通过VST网络100处理图像之前对图像的小区域(例如，3×3像素区域)中的像素求和或取其加权平均。第一滤波层101/201可以是具有3×3的2D维度的卷积核，第二滤波层102/202可以是具有1×1的维度的整流器(例如，整流线性单元或ReLU(rectified linear unit，整流线性单元))，并且第三滤波层103/203可以是具有1×1的维度的另一整流器。

在VST网络100和IVST网络200中，整流线性函数可以应用于第一滤波层101/201和第二滤波层102/202的输出。例如，第一滤波层101/201和第二滤波层102/202中的每一个可以是整流器(例如，整流线性单元或ReLU)。然而，本公开不限于此，并且在一些实施例中，所有滤波层可以是整流器，或者仅一个滤波层可以是整流器。

如上所述，去噪网络300在VST网络100和IVST网络200之间。去噪网络300可以被认为是高斯去噪器。在一些实施例中，去噪网络300可以包括(或者可以是)一个或多个堆叠式卷积自动编码器(stacked convolutional autoencoders，SCAE)。根据本公开的实施例，自动编码器具有单个隐藏层神经网络架构，其可以用于以无监督的方式学习数据的有意义的表示。下面描述根据本公开的实施例的训练SCAE的方法。

类似于VST网络100和IVST网络200，去噪网络300可以是包括多个滤波层的卷积神经网络(CNN)。例如，去噪网络300可以包括四个滤波层301-304。在一些实施例中，滤波层301-304中的每一个可以具有3×3×1×10的维度，并且第一滤波层301和第二滤波层302中的每一个可以是整流器(例如，整流线性单元或ReLU)。然而，本公开不限于此，并且在一些实施例中，所有滤波层301-304都可以是整流器。

去噪网络300可以使用堆叠式卷积自动编码器(SCAE)架构。可以利用去噪网络300中的SCAE的任何合适数量的滤波器(例如，滤波层)。自动编码器包括编码器和解码器。

图像去噪神经网络训练架构可以包括纯净数据神经网络(例如，引导网络)。纯净数据神经网络可以用于训练去噪网络300(例如，用于训练去噪网络300的SCAE)。纯净数据神经网络也可以是卷积神经网络(CNN)，并且可以包括与去噪网络300相同数量的滤波层(例如，第一滤波层至第四滤波层)31-34。可以通过逐渐添加编码器-解码器对，将纯净数据神经网络更深度地训练为SCAE。该编码器-解码器对被训练为：通过利用正则化使原始纯净图像和重建图像之间的均方误差最小化以实现潜在表示的稀疏性，来学习稀疏潜在表示。在一些实施例中，去噪网络300和纯净数据神经网络可以具有彼此相同的架构。例如，在一些实施例中，滤波层31-34中的每一个可以具有3×3×1×10的维度，并且只有第一滤波层31和第二滤波层32可以是整流器。然而，本公开不限于此，并且纯净数据神经网络可以具有任意数量和/或布置的滤波层。

参考图1和图4，通过使用图像去噪神经网络训练架构来训练图像去噪神经网络的方法(500)包括训练方差平稳化变换(VST)神经网络100(s510)、训练逆方差平稳化变换(IVST)神经网络200(s520)和/或训练去噪网络300(s530)。

在一些实施例中，可以通过使用基于梯度的随机优化和/或块坐标下降优化来训练(例如，优化)VST网络100和IVST网络200。在一些情况下，可以在块坐标下降优化内使用基于梯度的随机优化。基于梯度的随机优化的一个示例是本领域技术人员已知的Adam算法

在一些实施例中，可以联合(或同时)执行VST网络100的训练(s510)和IVST网络200的训练(s520)。例如，可以一起训练VST网络100和IVST网络200。在本公开的一些实施例中，利用了块坐标下降优化方法，其中在每次迭代中，执行参数更新以降低VST网络100目标，随后执行参数更新以降低IVST网络200目标。以这种方式，VST网络100和IVST网络200被一起训练(例如，联合或同时训练)。

去噪网络300的训练可以包括预训练去噪网络300、微调去噪网络300以及引导性训练去噪网络300。去噪网络300的引导性训练利用纯净数据神经网络(参见，例如图1)。如下面进一步描述的，纯净数据神经网络充当最佳去噪网络的代理。

此外，在纯净数据神经网络和去噪网络300之间共享信息(参见，例如图1中的虚线箭头)。下面进一步描述的信息共享将去噪网络300的学习过程正则化。此外，使用下面进一步描述的损失函数，这实现了从纯净数据神经网络输入的纯净数据(例如，目标数据)和输入到去噪网络300中的噪声数据之间的联合稀疏性。

在通过例如上述方法训练了图像去噪神经网络之后，根据本公开的实施例，图像去噪神经网络可以用于改善在弱光照条件下拍摄的图像。图5示出了根据本公开实施例的通过使用所训练的图像去噪神经网络来改善在弱光照条件下拍摄的图像的方法。

如上所述，在相对弱的光照条件下捕捉的图像通常具有两个图像噪声分量——信号相关的泊松噪声分量和信号独立的高斯噪声分量。

输入到所训练的图像去噪神经网络的图像(例如，损坏图像或噪声图像)首先由VST网络100操作(s610)。VST网络100将输入图像改变(例如，变换或编码)为具有恒定的方差而不是取决于输入信号(例如，相机传感器的输入信号)的方差。优化VST网络100以最小化实现恒定输出方差的损失函数，同时确保单调性，以在对于像素值的条件期望下，实现所学习的变换的可逆性。所得图像信号被具有恒定方差的噪声损坏，且因此可以被建模为高斯噪声。也就是说，所训练的VST网络100用于将输入图像中的泊松噪声变换为高斯噪声。

接下来，由去噪网络300对图像(例如，编码图像)进行操作(s620)。所训练的去噪网络300去除图像中的高斯噪声(或减少高斯噪声量)。例如，图像通过连续的自动编码器以逐步减少图像中存在的高斯噪声量。所训练的去噪网络300可以通过最小化与类似变换的真实无噪声图像相比较的感知损失来训练，或者通过最小化在噪声图像和无噪声图像之间的均方误差距离来训练。

接下来，由IVST网络200对图像进行操作(s630)。IVST网络200充当解码器以将图像返回到其原始域，本质上反转由VST网络100完成的编码。通过最小化在来自恒等变换的输出与VST网络100和IVST网络200的级联的期望输出之间的距离度量来训练IVST网络200。例如，IVST网络200基于期望输出下的恒等映射来学习，例如：

IVST(E[VST(y)|x])＝x

其中y|x～Poi(x)和E(V)表示V的期望值。

下面将进一步描述本公开的实施例的上述特征和/或步骤。

方差平稳化变换(VST)网络100和逆方差平稳化变换(IVST)网络200

当图像源x被检测器(例如，数码相机传感器)记录时，产生数字图像(例如，数字图像信号)y。x和y两者都可以定义在统一的空间网格上，其中第(i，j)个生成的图像像素y_ij仅取决于x_ij。由于光的量子性质，给定x_ij的情况下，y_ij中存在一些不确定性。检测器在T秒内记录的光子数(i，j)随后遵循速率为x_ij的泊松分布。该泊松分布可以由等式1建模。

等式1：

方差平稳化变换(VST)将数字图像平稳化，并且在理想情况下应该允许(例如，容许)精确无偏差的逆变换。然而，在某些情况下，VST可能不允许精确无偏差的逆变换。例如，当VST采用Anscombe变换时，可能不允许精确无偏差的逆变换。VSTΨ的这种平稳化要求可以由等式2建模。

等式2：

var(Ψ(y)|x)＝1

理想的去噪器(例如，理想的泊松去噪器)可以被认为是E[Φ(y)|x]。接下来，从E[Φ(y)|x]中恢复x，以提供逆VST。那么逆VST(IVST)、Π应该满足等式3。

等式3：

∏(E[Ψ(y)|x])＝E[y|xl＝x

然而，根据一些示例性实施例，不是每个VST都将提供满足等式3的IVST，并且不是每个IVST都将提供同时满足平稳化和逆变换要求的VST。

根据本公开的实施例，VST网络100和IVST网络200由两个神经网络提供。根据本公开的实施例，训练VST网络100和IVST网络200的方法描述如下。

VST网络100和IVST网络200的神经网络可以分别具有参数θ_VST和θ_IVST。生成训练集使得对于每个xⁿ，从Poi(y^nm，xⁿ)中随机抽取y^nm。设其中Ψ_NN(·)是指由VST神经网络100实现的VST变换，且Ψ_NN(y^nm)是响应于输入y^nm的VST网络100的输出的简写。在不失一般性的情况下，设x¹＜x²＜…＜x^N。然后，根据一个实施例，通过优化等式4来提供VST。

等式4：

在等式4中，n′＝n-1和和分别指计算输入数据集的经验均值和方差。目标函数中的第一项遵循平稳化要求，且目标函数中的第二项是确保所学习的变换是单调的，因此可逆性条件是可行的。当Ωⁿ的经验均值是n的单调递增函数时，目标函数中的第二项等于0，并且保证存在满足可逆性条件的IVST。

例如，通过优化遵循可逆性条件的等式5来学习IVST。

等式5：

在本公开的一些实施例中，利用块坐标下降训练方法来训练VST网络100和IVST网络200，其中在每次迭代中，执行参数更新以降低VST目标，随后执行参数更新以降低IVST目标。因此，一起训练(例如，联合或同时训练)VST网络100和IVST网络200，确保对于所训练的VST存在对应的和准确的IVST。

去噪网络300

如上参考图1所述，去噪网络300可以包括(或者可以是)一个或多个堆叠式卷积自动编码器(SCAE)。下面描述根据本公开实施例的训练作为去噪网络300的SCAE的方法。

考虑去噪网络300包括K个卷积自动编码器的示例。响应于输入y，去噪网络300的输出由等式6给出。

等式6：

在等式6中，和分别表示第k'个卷积自动编码器的编码和解码函数。函数和函数分别由等式7和等式8给出。

等式7：

等式8：

在等式7和等式8中，R表示编码器和解码器中的滤波器的数量，并且φ(·)是应用于输入的每个元素的标量非线性函数。这里，将φ(·)设置为整流线性函数。

根据一些实施例，去噪网络300可以在两个步骤中进一步训练：1)预训练(或基线训练)步骤；2)微调步骤。

去噪网络300预训练

参考图2，根据本公开的实施例，预训练步骤发生在VST网络100和IVST网络200的训练之后。去噪网络(例如，去噪SCAE)300的预训练包括K个步骤的序列。

去噪网络300被呈现有噪声输入(或噪声数据)其中y是目标数据，并且目的是恢复y。可以通过将目标函数中的去噪网络300的输入替换为来学习网络参数。在图2中，编码器(例如，VST网络100)和解码器(例如，IVST网络200)分别被指代为和，并且将的潜在表示指代为其中VST网络100和IVST网络200可以被视为第一编码器/解码器对。

如图2所示，去噪SCAE 300布置在所训练的VST网络100和所训练的IVST网络200之间。考虑布置在第(k-1)’个编码器/解码器对(例如，VST/IVST网络对100/200)之间的第k′个编码器/解码器对，第k′个编码器/解码器对被贪婪地优化，同时其他层(例如，其他编码器/解码器对)通过使用损失函数被冻结，如等式9所示。

等式9：

在等式9中，θ_k表示将第k′个去噪SCAE 300参数化的权重和偏差。

在一些实施例中，可以利用堆叠式稀疏去噪自动编码器(SSDA)来代替单层稀疏去噪自动编码器。

去噪网络300微调

在一些实施例中，去噪网络300微调包括通过优化等式10进行端到端微调。

等式10：

引导性学习

如上所述，根据一些示例性实施例，SCAE(诸如用于学习输入信号的潜在表示的纯净数据神经网络的SCAE)具有神经网络架构，其可以用于以无监督的方式学习数据的有意义的表示。例如，自动编码器包括编码器g：R^d→R^m和解码器f：R^m→R^d。编码器将输入y映射到由等式11给出的潜在表示h，并且解码器将h映射到等式12。

等式11：

h＝g(y)＝φ(W_ey+b_e)

等式12：

f(h)＝ψ(W_dh+b_d)

在等式11和等式12中，φ(·)和ψ(·)是用于输入向量的每个元素的非线性标量函数。目的是使f(g(y))≈y，以便在使用编码器g(y)对纯净信号y进行编码之后，使用解码器f(h)重构纯净信号y，以便学习潜在表示h，并且可以通过求解等式13来学习网络参数。

等式13：

在等式13中，θ＝{W_e，b_e，W_d，b_d}，N表示训练点的数量，并且yⁱ表示第i′个训练点。

然而，自动编码器不一定学习数据的有意义的表示，其中术语“有意义”与上下文相关。为了操纵自动编码器，将附加约束添加到自动编码器的结构或目标函数中，从而操纵自动编码器来学习具有某些属性的潜在表示。

例如，如果(上面等式11和等式12的)h被约束为欠完备，意味着m＜d，则自动编码器被迫学习数据的压缩。在本公开的实施例中，允许h过完备，意味着m＞d。在这种情况下，修改自动编码器目标函数，使得自动编码器学习稀疏潜在表示。学习稀疏潜在表示的自动编码器可以被称为“稀疏自动编码器”。为此，目标函数可以修改为等式14。

等式14：

当H＝[h^1 … h^N]时，等式15和16如下。

等式15：

等式16：

在等式15和等式16中，hⁱ[j]是hⁱ的第j′个元素，τ是标量，当τ被分配小的值时，提升稀疏性。附加正则化表示具有均值τ和在所有j上取平均的均值ρ_j的伯努利随机变量之间的Kullback-Leibler散度(Kullback-Leibler divergence，KLD)。

稀疏自动编码器是用于去噪的有用架构，在该情况下，它被称为“稀疏去噪自动编码器”。在这种情况下，输入信号是噪声信号其由去噪编码器编码，然后由去噪解码器解码，以从噪声信号构造纯净信号yⁱ，并且可以通过最小化如下面等式16b中的距离度量来训练编码器-解码器对。等式16b：

在一些实施例中，可以通过添加(例如，堆叠)其输入和目标输出可以由和表示的附加去噪自动编码器来使去噪网络300更深。去噪自动编码器的数量不受限制，并且可以增加附加去噪自动编码器，来提供更深的结构。在一些实施例中，SSDA参数以贪婪的方式通过一次为一个稀疏去噪自动编码器优化去噪自动编码器目标来学习。然后使用堆叠式稀疏去噪自动编码器(SSDA)结构来初始化深度神经网络(DNN)去噪器，该去噪器通过优化等式17来微调。

等式17：

在等式17中，表示响应于输入的去噪网络300的输出，并且表示DNN的所有参数的集合。

在一些实施例中，训练SSDA。学习单个稀疏去噪自动编码器的一个挑战是找到好的编码器在高层，编码器定义分配给的潜在表示，并且该表示的质量可以定义自动编码器的最优去噪性能。在一些实施例中，在纯净数据(例如，相对无噪声的图像)上训练的自动编码器的编码器g(·)(例如，纯净数据神经网络)被用作最佳去噪编码器的代理，并且用来通过和g(·)之间的距离将用于训练每个去噪自动编码器的目标函数正则化。g(·)和之间的距离可以通过测量h和之间的联合稀疏性来量化。

稀疏去噪自动编码器(SDA)(例如，单个SDA)可以通过修改目标函数与纯净SCAE联合训练，以包括对纯净SCAE和噪声SCAE两者的约束以及实现如等式18中的它们的所学习的潜在表示的联合稀疏性。

等式18：

在等式18中，由等式19定义。

等式19：

在等式18(例如，目标函数)中，第一项和第二项对应于纯净数据神经网络的稀疏自动编码器(例如，SDA)重构损失，第三项和第四项对应于稀疏自动编码器去噪损失，并且最后一项表示将g(·)链接到的引导项，其通过最大化纯净数据神经网络所学习的潜在表示和去噪网络所学习的潜在表示之间的联合稀疏性将学习正则化。联合稀疏性正则化力图用相似的稀疏性轮廓来提升hⁱ和

在一些实施例中，引导性SSDA(G-SSDA)目标函数是可微分的，并且可以使用例如基于随机梯度的优化技术来优化。

本公开的实施例提供了训练去噪网络300的灵活方法，所述去噪网络300可以并入各种不同的去噪架构(例如，去噪神经网络)中，并且可以被修改，使得重构误差项被分类误差项代替。通过用分类误差项代替重构误差项，去噪神经网络可改为用于图像分类和组织。

最初，引导性自动编码器(例如，图像去噪神经网络)将离目标图像(例如，纯净图像或无噪声图像)相对远。因此，在训练的早期，λ₃(参见，例如等式18)可能不被用作参考。然而，随着训练进行，引导性自动编码器得以改进，证明了更大的正则化参数是合理的。因此，在一些实施例中，λ₃以对数线性速率增加。

根据本公开实施例的引导性SDA训练方法可以扩展到更深的结构(例如，更深的网络)。在其他实施例中，引导性自动编码器(例如，纯净数据网络)可以用作引导性SDA训练方法的替代训练策略。

图3示出了训练具有包括两个SDA 410/420的SSDA架构的去噪网络的示例。这两个SDA中的第一个(例如，所训练的SDA或纯净数据自动编码器)410已经预先训练，且这两个SDA中的第二个420未开始训练。SDA 410/420可以分别指代纯净数据神经网络和去噪网络300。例如，所训练的SDA 410已经通过使用纯净数据(例如，在纯净或相对无噪声的图像上)被训练，并且可以被认为是最佳SDA的代理。

训练第二SDA(例如，未训练的SDA或噪声数据自动编码器)420的基线策略是优化等式20，其中，是要在SDA中学习的新的编码器和解码器函数。

等式20：

然而，根据本公开的实施例，网络使用g₁(y)作为第二SDA 420的目标数据，而不使用作为第二SDA 420的目标数据，g₁(y)是在对应网络级的纯净数据神经网络的编码输出。因此，可以优化由等式21表示的目标函数。

等式21：

代替由第二SDA 420分配给y的潜在表示，SSDA使用由第一SDA 410分配给y的潜在表示作为目标数据，因为不是通过使用噪声输入(例如，噪声输入信号)来学习的，而g(·)是通过使用纯净输入(例如，纯净输入信号)来学习的，因此应该提供更好的目标潜在表示。

接下来，通过最小化(或优化)和g(·)之间的距离，将目标函数(例如，等式21)正则化以训练第二SDA 420。例如，通过测量维度m的潜在表示h和之间的联合稀疏性来量化和g(·)之间的距离，使得H＝[h¹ … h^N]。

接下来，优化由等式22表示的损失函数。

等式22：

损失函数(例如等式19和22)的优化提供了纯净数据自动编码器410和噪声数据自动编码器420的联合训练。

当预训练纯净数据自动编码器410时，则其潜在表示可以被用作预训练噪声数据自动编码器420的每个附加自动编码器(例如，每个附加编码器/解码器对)的目标。

如上参考图5所述，一旦图像去噪神经网络已经通过本文所描述的方法被适当地训练，它就可以用于对任何适当的输入图像去噪。例如，用户可以通过使用手机相机来拍摄数字图像。当图像是在相对弱的光照条件下拍摄的时，它可能受到相对高的噪声的影响而导致低质量的图像。为了去除或减少图像中的噪声，可以将图像输入到图像去噪神经网络中。图像去噪神经网络可以在例如手机的处理器上运行，并且可以在拍摄图像时自动运行。然后，VST网络100对图像进行变换(或编码)，使得其具有恒定或基本恒定的输出方差。接下来，去噪网络300将去除或减少图像中存在的高斯噪声。最后，IVST网络200将图像变换(或解码)回其原始域中。因此，向用户提供具有比输入图像少的噪声的、从而具有更高的质量的输出图像。

尽管已经参考示例性实施例描述了本公开，但是本领域技术人员将认识到，可以对所描述的实施例进行各种改变和修改，所有这些都不脱离本公开的精神和范围。此外，各种领域的技术人员将认识到，这里描述的本公开将建议其他任务的解决方案以及其他应用的适应性。申请人的意图是，通过本文的权利要求书覆盖本公开的所有这些用途以及可以对本文选择用于公开的本公开的示例性实施例进行的那些改变和修改，所有这些都不脱离本公开的精神和范围。因此，本公开的示例性实施例在所有方面都应被认为是说明性的而非限制性的，本公开的精神和范围由所附权利要求及其等同物指示。

Claims (20)

1.一种图像去噪神经网络训练架构，包括：

图像去噪神经网络；和

纯净数据神经网络，

其中，所述图像去噪神经网络和所述纯净数据神经网络被配置为彼此之间共享信息。

2.根据权利要求1所述的图像去噪神经网络训练架构，其中所述图像去噪神经网络包括：

方差平稳化变换VST网络；

逆方差平稳化变换IVST网络；以及

在所述VST网络和所述IVST网络之间的去噪网络。

3.根据权利要求2所述的图像去噪神经网络训练架构，其中，所述去噪网络包括彼此堆叠的多个卷积自动编码器。

4.根据权利要求3所述的图像去噪神经网络训练架构，其中，所述VST网络包括一起形成卷积神经网络的多个滤波层和整流层。

5.根据权利要求4所述的图像去噪神经网络训练架构，其中，所述图像去噪神经网络被配置为学习实现输入图像的噪声的恒定输出方差的单调可逆变换。

6.根据权利要求5所述的图像去噪神经网络训练架构，其中，所述滤波层中的第一个滤波层被配置为对所述输入图像执行分箱操作。

7.根据权利要求6所述的图像去噪神经网络训练架构，其中，所述IVST网络被训练为：通过最小化在来自恒等变换的输出与所述VST网络和所述IVST网络的级联的期望输出之间的距离度量来对所述VST网络进行逆变换。

8.根据权利要求2所述的图像去噪神经网络训练架构，其中，通过最小化输入到所述图像去噪神经网络中的、噪声图像和无噪声图像之间的均方误差距离来训练所述图像去噪神经网络。

9.根据权利要求1所述的图像去噪神经网络训练架构，其中，所述纯净数据神经网络包括多个滤波层和整流层。

10.根据权利要求9所述的图像去噪神经网络训练架构，其中所述图像去噪神经网络包括多个滤波层，并且其中所述纯净数据神经网络的滤波层中的至少一个被配置为与所述图像去噪神经网络的滤波层中的至少一个共享信息。

11.根据权利要求10所述的图像去噪神经网络训练架构，其中，所述纯净数据神经网络被训练为多个编码器-解码器对，以通过最小化输入图像的稀疏潜在表示的解码与纯净输入之间的距离度量来学习所述稀疏潜在表示。

12.根据权利要求10所述的图像去噪神经网络训练架构，其中，通过利用稀疏性约束来学习稀疏潜在表示，将所述纯净数据神经网络的训练正则化。

13.一种训练图像去噪神经网络的方法，所述方法包括：

联合训练方差平稳化变换网络VST和逆方差平稳化变换IVST网络；以及

训练去噪网络。

14.根据权利要求13所述的方法，其中，所述VST网络和所述IVST网络的联合训练包括利用块坐标下降优化，其中，在每次迭代中，执行第一参数更新以降低VST网络目标，并且执行第二参数更新以降低IVST网络目标。

15.根据权利要求13所述的方法，其中，所述VST网络和所述IVST网络的联合训练包括利用基于梯度的随机优化。

16.根据权利要求13所述的方法，其中所述去噪网络的训练包括：

将已去噪图像输入到纯净数据稀疏去噪自动编码器中；

将所述已去噪图像的噪声版本输入到噪声数据稀疏去噪自动编码器中；以及

通过利用基于梯度的随机优化技术来训练所述噪声数据稀疏去噪自动编码器，以输出所述已去噪图像。

17.根据权利要求16所述的方法，其中，通过利用目标函数来训练所述噪声数据稀疏去噪自动编码器，并且

其中，优化所述目标函数，以最小化所述已去噪图像的噪声版本的解码潜在表示和纯净已去噪输入之间的距离度量。

18.根据权利要求17所述的方法，其中，所述去噪网络的训练是通过最小化组合代价函数与纯净数据神经网络的训练联合进行的，所述组合代价函数最小化所述VST网络和所述IVST网络的解码潜在表示与纯净已去噪输入之间的平方误差。

19.根据权利要求18所述的方法，其中，除了实现所述纯净数据神经网络的中间潜在表示和所述去噪网络之间的联合稀疏性之外，将训练正则化还实现所述纯净数据神经网络和所述去噪网络两者的潜在表示的单独的稀疏性。

20.一种图像去噪神经网络训练架构，包括：

图像去噪神经网络，所述图像去噪神经网络包括：

方差平稳化变换VST网络，包括多个第一滤波层；

逆方差平稳化变换IVST网络，包括多个第二滤波层；

去噪网络，包括多个第三滤波层；和

纯净数据神经网络，所述纯净数据神经网络包括多个第四滤波层，

其中，所述纯净数据神经网络的多个第四滤波层被配置为与对应的所述去噪网络的多个第三滤波层进行通信。