CN116703772B

CN116703772B - 一种基于自适应插值算法的图像去噪方法、系统及终端机

Info

Publication number: CN116703772B
Application number: CN202310710196.2A
Authority: CN
Inventors: 范琳伟; 燕晓煜; 崔瑾; 李慧宇; 刘慧�
Original assignee: Shandong University of Finance and Economics
Current assignee: Shandong University of Finance and Economics
Priority date: 2023-06-15
Filing date: 2023-06-15
Publication date: 2024-03-15
Anticipated expiration: 2043-06-15
Also published as: CN116703772A

Abstract

本发明提供一种基于自适应插值算法的图像去噪方法、系统及终端机，提取待去噪图像和预设图像，并分别对待去噪图像和预设图像进行裁切，将裁切后的图像块作为插值去噪网络数据集；利用深度学习框架构造卷积插值网络；卷积插值网络包含若干CIB卷积插值模块堆叠形成；利用深度学习框架和Adam优化器对卷积插值网络进行训练，形成图像去噪网络；将插值去噪网络数据集中待去噪图像输入至训练好的图像去噪网络中，得到去噪后的图像。本发明通过向深度卷积神经网络引入插值操作，为去噪过程补充了先验信息，对拟合过程形成正则化的效果，减少去噪过程中的信息丢失和信息浪费。

Description

一种基于自适应插值算法的图像去噪方法、系统及终端机

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于自适应插值算法的图像去噪方法、系统及终端机。

背景技术

图像是人们传递信息的重要工具。现有科学研究证明，人脑理解图像信号的效率远高于理解文字信号的效率。目前，数字图像仍然是一种重要的信息传递媒介。得益于科学技术的进步，人们可以随时随地地获得和传输数字图像。同时，数字图像在工业、教育、文化等方面也发挥着重要的作用。随着数字图像的重要性越来越高，数字图像的准确性也变得越来越关键。目前人们主要是通过各种传感器通过讲光信号转变为电信号来生成数字图像，这个过程天然地容易受到外部环境的干扰，因而总是存在一些误差。同时，在保存和传递数组图像的过程中也会不可避免地产生信息的失真，这也造成了数字图像信号的误差。这些误差在视觉上就表现为图像噪声。

数字图像的噪声意味着图像信息失真或丢失。轻度的噪声使得信息失真，通常需要冗余信息来纠错，这使得信息传递的效率下降。严重的噪声不仅会导致关键的信息丢失，有时甚至会传递误导性的信息。在更高级的计算机视觉领域比如图像识别和图像分割领域中，准确的图像信号是这些下游视觉任务的基础，只有正确的图像信息才能带来正确的识别和分割结果，因此有必要对数字图像进行去噪处理。

然而，从被破坏的含噪图像中恢复出无噪图像是比较困难的。首先，含噪图像的信息被噪声破坏，要想准确地复原图像必须利用图像中含有的冗余信息，但是这些冗余信息很难显式地表示出来。其次，去噪的结果缺乏约束，图像去噪本身就是一个极度病态的求解问题。因此，图像去噪也是一个被广泛研究的经典问题。目前，用于解决图像去噪任务的算法可分为两类：传统的优化方法和基于深度学习的方法。

传统的方法通过各种先验知识来挖掘图像去噪过程中所需的冗余信息。比较常用的先验知识有图像自相似和TV约束等。基于图像自相似性的方法假设图像中的信息是冗余的，一张自然图像中总是有许多小的图像块之间相似，这些相似的图像块就可以互为冗余信息。基于TV约束的方法通过构造并求解一个优化问题来获得去噪图像，保真项保证了图像的信息尽可能多，TV约束构造的正则项则要求这个图像适当平滑。这些传统的方法的优点是可解释性强，有比较扎实的理论基础，但是他们的计算复杂度通常比较高，而且去噪的结果依赖于算法中的超参数。

近年来，基于深度学习的方法逐渐在图像去噪领域流行起来。深度学习的方法利用深度神经网络的强大的数据拟合能力来直接拟合一个从含噪图像到干净图像的映射。深度卷积神经网络是比较常用于计算机视觉的一种深度神经网络。首先，卷积神经网络可看做一种特殊的部分连接的神经网络，因此它的推理效率显著好于全连接网络。其次，卷积神经网络具有平移不变性，非常适合于图像处理领域。而基于上述深度卷积神经网络的图像去噪方法得到了广泛的研究和发展。这些方法通过各种高效率的网络结构设计、残差学习策略、频率域和空间域变换和注意力机制等技术来提高卷积神经网络的去噪性能。尽管卷积神经网络的设计在保证速度的情况下提供了强大的网络表示能力，但是其拟合和学习过程中仍然缺乏约束，容易导致网络权重落入解空间的局部极小值，同时也容易导致不受控制的信息丢失从而导致网络产生过拟合的复原结果。

发明内容

本发明提供一种基于自适应插值算法的图像去噪方法，方法可用于图像去噪，解决缺乏约束，容易导致网络权重落入解空间的局部极小值的问题。

方法包括：

S1：提取待去噪图像和预设图像，并分别对进行裁切，再将裁切后的图像块作为插值去噪网络数据集；

S2：利用深度学习框架构造卷积插值网络；卷积插值网络包含若干CIB卷积插值模块堆叠形成；其中，卷积插值网络的卷积层用于处理特征并且输出插值参数(H*W*2)，插值层接收插值参数并进行插值操作；

S3：利用深度学习框架和Adam优化器对卷积插值网络进行训练，形成图像去噪网络；

S4：将插值去噪网络数据集中待去噪图像输入至训练好的图像去噪网络中，得到去噪后的图像。

进一步需要说明的是，步骤S2中采用了两次拉格朗日插值来获得去噪图像像素的估计。

进一步需要说明的是，步骤S2还包括：利用三点二次拉格朗日插值分别对三行像素点插值得到三个插值结果；利用另一个三点二次拉格朗日插值来获得最终的插值结果。

定义第一次插值中三个点的插值参数均相同；

采用(0，0.5，1)对参考点参数化，定义写出插值曲线：

P(t)＝P₀*2*(t-0.5)(t-1)+P₁*-4*t(t-1)+P₂*2*t(t-0.5) (1)

其中，t表示插值参数，t的取值范围为0到1。

进一步需要说明的是，步骤S2中，给定插值参数T∈R^H*W*2，H和W为图像的高度和宽度，构造两次插值所需的插值矩阵：

其中，Tⁱ表示参数T的第i个通道，i＝1或2，分别用于第一次插值和第二次插值；

X表示一个元素全为1的矩阵；

T_k ⁱ表示三点二次拉格朗日插值所需的三个加权系数，用于对三个参考点进行加权，k＝1，2，3；表示按元素相乘。

进一步需要说明的是，设A为待插值图像的某个通道，则两次插值过程分别表示为：

其中，S∈R^H*W为一个线性变换，S’是S的转置；S的元素为：

AS表示将A的所有像素向左移动一次，AS’表示将A的像素向右移动一次，SA表示将A的像素向上移动一次；

通过构造错位的图像，把三点二次拉格朗日插值的过程写为若干矩阵的相加，在深度学习框架内以张量运算的形式存在，依靠深度学习框架来实现自动求导。

进一步需要说明的是，步骤S2中，CIB卷积插值模块由两个卷积层、一个残差组和一个插值层组成；

第一卷积层用于将特征的通道数提升到64；残差组用于提取特征；

第二卷积层用于将特征的通道数降为2，第二卷积层包含一个Sigmoid激活函数以保证输出特征的取值在0到1之间。

进一步需要说明的是，步骤S3中，Adam优化器初始学习率为1e-4；

将学习率设定为按指数衰减，每经过10000次迭代后按照0.95的更新指数更新学习率，待损失值达到预设阈值后保存网络的权重并结束训练。

本发明还提供一种基于自适应插值算法的图像去噪系统，系统包括：图像提取模块、网络构造模块、网络训练模块以及图像去噪模块；

图像提取模块用于提取待去噪图像和预设图像，并分别对进行裁切，再将裁切后的图像块作为插值去噪网络数据集；

网络构造模块用于利用深度学习框架构造卷积插值网络；卷积插值网络包含若干CIB卷积插值模块堆叠形成；其中，卷积插值网络的卷积层用于处理特征并且输出插值参数(H*W*2)，插值层接收插值参数并进行插值操作；

网络训练模块用于利用深度学习框架和Adam优化器对卷积插值网络进行训练，形成图像去噪网络；

图像去噪模块用于将插值去噪网络数据集中待去噪图像输入至训练好的图像去噪网络中，得到去噪后的图像。

本发明还提供一种终端机，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，处理器执行所述程序时实现基于自适应插值算法的图像去噪方法的步骤。

从以上技术方案可以看出，本发明具有以下优点：

本发明提供的基于自适应插值算法的图像去噪方法通过向深度卷积神经网络引入插值操作，为去噪过程补充了一种先验信息，可以对拟合过程形成了一种正则化的效果，因而能减少去噪过程中的信息丢失和信息浪费。

本发明通过对CIB卷积插值模块的设计，并结合卷积层的强大特征提取能力和插值层的先验信息，保证了插值网络的去噪性能。

本发明还通过构造基于张量运算的插值操作，整个网络可以顺利计算和传导梯度。同时，包括插值操作的整个网络也都得以利用GPU加速运算，大幅提高了算法的推理效率。

附图说明

为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为基于自适应插值算法的图像去噪方法流程图；

图2是本发明中卷积插值网络的结构示意图。

图3是本发明中卷积插值模块的结构示意图。

图4是本发明与现有去噪算法的视觉效果对比图。

图5是本发明与现有去噪算法的PSNR指标对比图。

具体实施方式

本发明提供的基于自适应插值算法的图像去噪方法是将传统插值算法进行改造，涉及了插值参数的自适应插值算法，同时将自适应插值算法重新表示为张量计算的形式，从而使得插值算法既可以参与梯度计算和梯度传导。本发明可以利用GPU进行加速；将传统卷积层与自适应插值层结合形成卷积插值模块，从而在不影响网络表示能力的情况下向卷积神经网络中引入插值操作；将卷积插值模块组成卷积插值网络，通过多次自适应插值获得最终的去噪结果，并进行端到端的训练。这样，相比传统卷积操作更稳定更易于解释。

基于自适应插值算法的图像去噪方法可以基于人工智能技术对关联的数据进行获取和处理。其中，方法既有硬件层面的技术也有软件层面的技术。基于自适应插值算法的图像去噪方法涉及的硬件可以包括如专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统等技术。软件技术主要包括计算机视角技术、自然语言处理技术、机器学习/深度学习以及程序设计语言，程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。

当然本发明的图像去噪方法中的机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。利用卷积插值网络技术，利用深度学习框架和Adam优化器对卷积插值网络进行训练，保证了插值网络的去噪性能。

基于自适应插值算法的图像去噪方法可以应用于一个或者多个终端机中，所述终端机是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

终端机可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。

终端机所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1所示是一具体实施例中基于自适应插值算法的图像去噪方法的流程图，方法包括：

S1：配置插值去噪网络数据集。本发明是选取SIDD数据集中320对含噪图像和干净图像裁切为64×64大小的图像块，分别形成插值去噪网络的输入和标签，将其作为插值去噪网络数据集。这里的，干净图像即为预设图像，可以是去噪后的标准图像。

在一个示例性实施例中，采用了两次拉格朗日插值来获得去噪图像像素的估计。

可选地，利用一个像素以及其周围的八个像素的像素值来获得这个像素的去噪估计。具体来讲，利用三点二次拉格朗日插值分别对三行像素点插值得到三个插值结果，接着利用另一个三点二次拉格朗日插值来获得最终的插值结果。第一次插值中三个点的插值参数都相同，所以第一次和第二次插值分别需要一个插值参数，整个插值过程需要两个插值参数。本实施例为每个像素点都分别提取出不同的参数组合，最终达到一个自适应的插值结果。

对于三个参考点的二次拉格朗日插值，如果本实施例采用(0，0.5，1)对参考点参数化，那么可以按照定义写出插值曲线：

P(t)＝P₀*2*(t-0.5)(t-1)+P₁*-4*t(t-1)+P₂*2*t(t-0.5) (1)

其中，t表示插值参数，t的取值范围为0到1。

对于本实施例所述的三点二次拉格朗日插值，给定插值参数T∈R^H*W*2，H和W为图像的高度和宽度，本实施例可以构造两次插值所需的插值矩阵：

其中，Tⁱ表示参数T的第i个通道，i＝1或2，分别用于第一次和第二次插值。

X表示一个元素全为1的矩阵。

T_k ⁱ表示三点二次拉格朗日插值所需的三个加权系数，用于对三个参考点进行加权，k＝1，2，3。表示按元素相乘。

本实施例设A为待插值图像的某个通道，则两次插值过程可分别表示为：

其中，S∈R^H*W为一个线性变换，S’是S的转置。S的元素可以写为：

因此，AS表示将A的所有像素向左移动一次，AS’表示将A的像素向右移动一次。

SA表示将A的像素向上移动一次。通过构造这些错位的图像，本实施例可以把这个三点二次拉格朗日插值的过程写为若干矩阵的相加，这个过程在深度学习框架内以张量运算的形式存在，因而整个过程可以依靠深度学习框架来实现自动求导。

根据本申请的实施例，构造卷积插值模块和卷积插值网络。其中，卷积插值网络的结构如图2所示。本发明的神经网络为一个单输入单输出的卷积神经网络。同时，卷积插值网络由若干个卷积插值模块堆叠而成。CIB卷积插值模块的结构如图3所示。

CIB卷积插值模块的作用是从含噪图像或者上一次插值结果中提取自适应插值参数并完成插值运算。

CIB由两个卷积层、一个残差组(RG)和一个插值层组成。第一个卷积层用于将特征的通道数提升到64，残差组用于提取特征，另一个卷积层负责将特征的通道数降为2，这个卷积层包含一个Sigmoid激活函数以保证输出特征的取值在0到1之间。实际上这个取值0到1的2通道特征就是自适应插值参数。本发明的卷积插值网络为每个像素点都赋予两个插值参数，分别用于横向和纵向两次插值。

根据本申请的实施例，利用深度学习框架构建卷积插值网络实例，导入上述数据集进行训练。本发明的训练过程使用较为常用的Adam优化器，初始学习率为1e-4。为了兼顾训练速度和精度，本发明将学习率设定为按指数衰减，每经过10000次迭代后按照0.95的更新指数更新学习率。待损失值稳定后保存网络的权重并结束训练。

图4提供了本发明与现有方法的去噪视觉效果对比图。可选地，噪声水平为50，从视觉效果来看，本发明的去噪网络能实现对物体边缘和纹理细节的精确理解与复原，同时有能力在过滤噪声的同时避免产生伪纹理。

A、对比实验方案：

本发明与现有的图像去噪领域较为经典DnCNN和CBDNet在SIDD数据集上进行峰值信噪比指标PSNR和特征相似度指标SSIM对比，PSNR和SSIM越高说明去噪图像的像素值和原图像的像素值之间越相似，也就代表去噪性能越强。

B、实验条件：

测试图像来自SIDD Validation数据集。该数据集包含1280对256×256大小的自然含噪图像和对应的干净图像。

C、实验结果

图5提供了不同方法在SIDD数据集上的去噪性能。可以看出本发明的去噪性能大幅领先DnCNN和CBDNet。与CBDNet相比，本发明的卷积插值网络在使用更少参数量的情况下取得了更高的去噪性能，这充分说明了本发明的卷积插值网络的高效性。

综上，本发明实现了一种基于张量运算的自适应插值操作，将该插值操作与传统卷积神经网络进行融合并构造了一种全新的卷积插值网络。与传统的插值操作相比，自适应的插值参数本身就含有周围像素的信息，因而可以在不损害网络表示能力的前提下提为网络提供额外的先验知识，从而有利于提高网络的去噪性能。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以下是本公开实施例提供的基于自适应插值算法的图像去噪系统的实施例，该系统与上述各实施例的基于自适应插值算法的图像去噪方法属于同一个发明构思，在基于自适应插值算法的图像去噪系统的实施例中未详尽描述的细节内容，可以参考上述基于自适应插值算法的图像去噪方法的实施例。

系统包括：图像提取模块、网络构造模块、网络训练模块以及图像去噪模块；

本发明的基于自适应插值算法的图像去噪系统基于张量运算和参数化的拉格朗日插值实现。相比于传统插值算法，本发明可以根据图像的上下文信息自适应的给出插值参数，从而自适应的给出一个综合了像素本身信息和周围像素信息的像素估计。与传统的卷积操作相比，本发明的插值算法提供了一种特殊的先验信息，具有一定的正则化效果，可以改善现有卷积神经网络的信息丢失和过拟合问题。同时，本发明使用张量运算重新表述了这种插值过程，因而整个插值过程可以产生并传导梯度，实现了整个网络端到端的学习。另外，本发明的张量运算不需要可学习的参数，它不会增加卷积神经网络的参数量。

本发明的基于自适应插值算法的图像去噪系统是结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属技术领域的技术人员能够理解，基于自适应插值算法的图像去噪方法的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种基于自适应插值算法的图像去噪方法，其特征在于，方法包括：

S1：配置插值去噪网络数据集，选取SIDD数据集中320对含噪图像和干净图像裁切为64×64大小的图像块，分别形成插值去噪网络的输入和标签，将其作为插值去噪网络数据集；

S2：利用深度学习框架构造卷积插值网络；卷积插值网络包含若干CIB卷积插值模块堆叠形成；其中，卷积插值网络的卷积层用于处理特征并且输出插值参数，H*W*2，H和W为图像的高度和宽度；插值层接收插值参数并进行插值操作；

利用三点二次拉格朗日插值分别对三行像素点插值得到三个插值结果；再利用另一个三点二次拉格朗日插值来获得最终的插值结果；

还定义第一次插值中三个点的插值参数均相同；

采用(0，0.5，1)对参考点参数化，定义写出插值曲线：

P(t)＝P₀*2*(t-0.5)(t-1)+P₁*-4*t(t-1)+P₂*2*t(t-0.5) (1)

其中，t表示插值参数，t的取值范围为0到1；

给定插值参数T∈R^H*W*2，H和W为图像的高度和宽度，构造两次插值所需的插值矩阵：

X表示一个元素全为1的矩阵；

表示三点二次拉格朗日插值所需的三个加权系数，用于对三个参考点进行加权，k＝1，2，3；/>表示按元素相乘；

设A为待插值图像的某个通道，则两次插值过程分别表示为：

其中，S∈R^H*W为一个线性变换，S’是S的转置；S的元素为：

通过构造错位的图像，把三点二次拉格朗日插值的过程写为若干矩阵的相加，在深度学习框架内以张量运算的形式存在，依靠深度学习框架来实现自动求导；

2.根据权利要求1所述的基于自适应插值算法的图像去噪方法，其特征在于，步骤S2中，CIB卷积插值模块由两个卷积层、一个残差组和一个插值层组成；

3.根据权利要求1所述的基于自适应插值算法的图像去噪方法，其特征在于，步骤S3中，Adam优化器初始学习率为1e-4；

4.一种终端机，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述基于自适应插值算法的图像去噪方法的步骤。