CN110782406A - 一种基于信息蒸馏网络的图像去噪方法及装置 - Google Patents

一种基于信息蒸馏网络的图像去噪方法及装置 Download PDF

Info

Publication number
CN110782406A
CN110782406A CN201910977859.0A CN201910977859A CN110782406A CN 110782406 A CN110782406 A CN 110782406A CN 201910977859 A CN201910977859 A CN 201910977859A CN 110782406 A CN110782406 A CN 110782406A
Authority
CN
China
Prior art keywords
noise
image
information
network
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910977859.0A
Other languages
English (en)
Other versions
CN110782406B (zh
Inventor
邹文斌
扶陈佳
卓圣楷
金枝
李霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910977859.0A priority Critical patent/CN110782406B/zh
Publication of CN110782406A publication Critical patent/CN110782406A/zh
Application granted granted Critical
Publication of CN110782406B publication Critical patent/CN110782406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Analysis (AREA)

Abstract

根据本发明实施例公开的基于信息蒸馏网络的图像去噪方法及装置，将原始噪声图像进行二阶小波变换之后，与噪声水平图同时输入至特征提取网络进行初步特征提取处理，得到浅层噪声特征图；将浅层噪声特征图输入至信息蒸馏网络进行信息蒸馏处理，得到符合原始噪声图像的噪声水平的深层噪声特征图；将深层噪声特征图输入至压缩网络进行颜色通道压缩处理之后进行二阶小波逆变换，得到用于对原始噪声图像进行图像去噪处理的噪声图。通过本发明的实施，使用信息蒸馏模块以获得丰富且更有能力的特征，且整个网络采用残差学习方式以提升学习速度，有效提升了网络能力，并保证了图像去噪的效率、有效性和灵活性。

Description

一种基于信息蒸馏网络的图像去噪方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于信息蒸馏网络的图像去噪方法及装置。
背景技术
随着计算机科学和图像处理技术的迅速发展，图像在医学成像、人脸识别等各个行业领域都取得了广泛应用。图像去噪作为计算机视觉底层的任务之一，是很多计算机视觉任务的基础操作，在许多方面起着重要的作用。
目前通常所采用的图像去噪的方法主要可分为基于非学习的方法和基于学习的方法，基于非学习的方法包括：CBM3D、MCWNNM等方法，而基于学习的方法包括：DnCNN、FFDNet等方法，尽管上述方法在某些程度上已经可以较好的满足图像去噪需求，但是在实际应用中仍存在一定的局限性。其中，基于非学习的方法在测试阶段通常涉及较为复杂的优化问题，使得去噪过程耗时较多，而基于学习的方法则通常由于所采用的网络的层数有限，使得网络能力受到较大限制。
发明内容
本发明实施例的主要目的在于提供一种基于信息蒸馏网络的图像去噪方法及装置，至少能够解决相关技术中所采用的图像去噪网络的去噪过程耗时较多，网络能力较为局限的问题。
为实现上述目的，本发明实施例第一方面提供了一种基于信息蒸馏网络的图像去噪方法，应用于包括特征提取网络、信息蒸馏网络以及压缩网络的整体神经网络，该方法包括：
将原始噪声图像进行二阶小波变换，并将经过所述二阶小波变换之后的所述原始噪声图像与基于预设噪声阈值所构建的噪声水平图，同时输入至所述特征提取网络进行初步特征提取处理，得到浅层噪声特征图；其中，所述原始噪声图像为对原始清晰图像加入加性高斯白噪声之后所形成的图像；
将所述浅层噪声特征图输入至所述信息蒸馏网络进行信息蒸馏处理，得到符合所述原始噪声图像的噪声水平的深层噪声特征图；
将所述深层噪声特征图输入至所述压缩网络进行颜色通道压缩处理，并将经过所述颜色通道压缩处理之后的所述深层噪声特征图进行二阶小波逆变换，得到对应于所述原始噪声图像中的噪声的噪声图；其中，所述噪声图用于对所述原始噪声图像进行图像去噪处理。
为实现上述目的，本发明实施例第二方面提供了一种基于信息蒸馏网络的图像去噪装置，应用于包括特征提取网络、信息蒸馏网络以及压缩网络的整体神经网络，该装置包括：
提取模块，用于将原始噪声图像进行二阶小波变换，并将经过所述二阶小波变换之后的所述原始噪声图像与基于预设噪声阈值所构建的噪声水平图，同时输入至所述特征提取网络进行初步特征提取处理，得到浅层噪声特征图；其中，所述原始噪声图像为对原始清晰图像加入加性高斯白噪声之后所形成的图像；
蒸馏模块，用于将所述浅层噪声特征图输入至所述信息蒸馏网络进行信息蒸馏处理，得到符合所述原始噪声图像的噪声水平的深层噪声特征图；
压缩模块，用于将所述深层噪声特征图输入至所述压缩网络进行颜色通道压缩处理，并将经过所述颜色通道压缩处理之后的所述深层噪声特征图进行二阶小波逆变换，得到对应于所述原始噪声图像中的噪声的噪声图；其中，所述噪声图用于对所述原始噪声图像进行图像去噪处理。
根据本发明实施例提供的基于信息蒸馏网络的图像去噪方法及装置，将原始噪声图像进行二阶小波变换之后，与噪声水平图同时输入至特征提取网络进行初步特征提取处理，得到浅层噪声特征图；将浅层噪声特征图输入至信息蒸馏网络进行信息蒸馏处理，得到符合原始噪声图像的噪声水平的深层噪声特征图；将深层噪声特征图输入至压缩网络进行颜色通道压缩处理之后进行二阶小波逆变换，得到用于对原始噪声图像进行图像去噪处理的噪声图。通过本发明的实施，使用信息蒸馏模块以获得丰富且更有能力的特征，且整个网络采用残差学习方式以提升学习速度，有效提升了网络能力，并保证了图像去噪的效率、有效性和灵活性。
本发明其他特征和相应的效果在说明书的后面部分进行阐述说明，且应当理解，至少部分效果从本发明说明书中的记载变的显而易见。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一实施例提供的整体神经网络的网络框架示意图；
图2为本发明第一实施例提供的图像去噪方法的基本流程示意图；
图3为本发明第一实施例提供的二阶小波变换示意图；
图4为本发明第一实施例提供的信息蒸馏网络的网络框架示意图；
图5为本发明第二实施例提供的图像去噪装置的结构示意图；
图6为本发明第三实施例提供的电子装置的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一实施例：
为了解决相关技术中存在的所采用的图像去噪网络的去噪过程耗时较多，网络能力较为局限的技术问题，本实施例提出了一种基于信息蒸馏网络的图像去噪方法，应用于包括特征提取网络、信息蒸馏网络以及压缩网络的整体神经网络，如图1所示为本实施例提供的整体神经网络的网络框架示意图，图中A为特征提取网络，B为信息蒸馏网络，C为压缩网络，D为二阶小波变换操作，I为二阶小波逆变换操作，E为经过二阶小波变换之后的原始噪声图像，F为噪声水平图。
如图2所示为本实施例提供的图像去噪方法的基本流程示意图，本实施例提出的图像去噪方法包括以下的步骤：
步骤201、将原始噪声图像进行二阶小波变换，并将经过二阶小波变换之后的原始噪声图像与基于预设噪声阈值所构建的噪声水平图，同时输入至特征提取网络进行初步特征提取处理，得到浅层噪声特征图。
具体的，本实施例的原始噪声图像为对原始清晰图像加入加性高斯白噪声之后所形成的图像，而噪声水平图则是通过设定一定范围的噪声阈值所构成的噪声图，经过小波分解以后的图像与噪声水平图相连,同时将噪声水平图作为网络的输入，可以应对更加复杂的噪声，如不同噪声水平噪声和空间变化噪声，而且噪声水平图作为输入还可以平衡噪声抑制和细节保持，可以使得网络能更好的学习到噪声。此外，本实施例的特征提取网络可以有两个卷积层组成，卷积核的大小为3×3，卷积核的个数均为64，所提取出的特征图包括有原始清晰图像的信息以及噪声信息。还应当说明的是，本实施例中的原始清晰图像可以优选为彩色图像。
在本实施例一种可选的实施方式中，将原始噪声图像进行二阶小波变换包括：采用db1小波基对原始噪声图像进行一阶小波分解，得到原始噪声图像中的一阶高频信息和一阶低频信息，并对一阶高频信息和一阶低频信息分别进行二阶小波分解，得到分别对应于一阶高频信息和一阶低频信息的二阶高频信息和二阶低频信息。
具体的，小波变换通常用于小波分解，小波分解可以将图像信息分解为高频信息和低频信息两部分，其中，低频信息是图像中变化缓慢的部分，例如图像的框架、轮廓，其占全部信息的大部分；而高频信息则是图像中变换迅速的部分，它反映的是图像的细节信息，占全部信息的小部分。
本实施例采用二阶小波变换，首先将原始噪声图像的图像信息进行第一阶分解，分为一阶低频信息和一阶高频信息，然后在第一阶分解的基础上，再将一阶高频信息继续分解为低频信息和高频信息两部分，以及将一阶低频信息部分同样分解为低频信息和高频信息两部分，此为第二阶分解，然后将第二阶分解所得到的两对二阶高/低频信息与噪声水平图一并作为特征提取网络的输入。如图3所示为本实施例提供的二阶小波变换示意图，其中D1为第一阶小波变换，D2为第二阶小波变换。此处的小波分解应用的是db1小波基，进行了二阶分解，而对噪声信号进行了多尺度分析,经过处理后的信号能较好地恢复。应当理解的是，本实施例中的高频与低频均是一个相对概念，也即分解出的一对高/低频信息中，高频信息的变化频率高于低频信息。
步骤202、将浅层噪声特征图输入至信息蒸馏网络进行信息蒸馏处理，得到符合原始噪声图像的噪声水平的深层噪声特征图。
具体的，本实施例中将特征提取网络所输出特征图进一步输入至信息蒸馏网络，经过信息蒸馏网络所提取出的深层噪声特征图所具有的噪声信息多于浅层特征图，也即信息蒸馏网络相对于特征提取网络所输出的特征图具有更多有用的信息。
在本实施例一种可选的实施方式中，信息蒸馏网络包括：依次顺序连接的本地短路径捕获单元、本地长路径信息捕获单元以及压缩单元；本实施方式中，将浅层噪声特征图输入至信息蒸馏网络进行信息蒸馏处理，得到符合原始噪声图像的噪声水平的深层噪声特征图包括：将浅层噪声特征图依次经过本地短路径捕获单元以及本地长路径信息捕获单元，进行信息增强处理；将经过信息增强处理之后的浅层特征图输入至压缩单元进行网络参数压缩处理，得到符合原始噪声图像的噪声水平的深层噪声特征图。
具体的，在本实施例中，本地短路径捕获单元以及本地长路径信息捕获单元用于对输入的特征图进行信息增强，增加特征图中的有用信息，其中，本地短路径捕获单元用于获取特征图中低层次的特征信息，而本地长路径捕获单元则是用于获取高层次的特征信息，由于本地长路径捕获单元设置于本地短路径捕获单元之后，在经过长路径之后，短路径所捕获的低层次特征信息会被忽略，而仅保留长路径所捕获的高层次信息；然后再通过压缩网络对高层次信息进行信息压缩，以起到降低维度，减少参数的作用，此外，还可以在保持特征图尺度大小不变的前提下，大幅度地增加特征图的非线性特性。
如图4所示为本实施例提供的信息蒸馏网络的网络框架示意图，其中，B1为本地短路径捕获单元，B2为本地长路径信息捕获单元，B3为压缩单元。在本实施例一种可选的实施方式中，本地短路径捕获单元以及本地长路径信息捕获单元均包括3个3×3的卷积层，各卷积层均采用Leaky-ReLU作为激活函数；其中，本地短路径捕获单元的3个卷积层的尺度依次为：56、40、64，本地长路径捕获单元的3个卷积层的尺度依次为：32、64、96。另外，压缩单元则可以为1个1×1的卷积层，同样可以采用Leaky-ReLU作为激活函数，卷积层的尺度为64。
具体的，在本实施例中，两个捕获单元之间具有特征连接操作，且捕获单元内每两个卷积层之间都具有信息拆分操作，在本地长路径信息捕获单元之后还存在一个逐点添加操作。为了更好地完成图像去噪目标任务，本实施例的信息蒸馏网络的前3层卷积层的层数分别为56、40、64，由此可获得更深层次的特征图，并与后期的特征图相连，以实现短期路径的信息获取。
在本实施例一种可选的实施方式中，整体神经网络包括多个级联的信息蒸馏网络，信息蒸馏网络采用递归学习的方式，基于回传的损失函数对首个信息蒸馏网络进行网络参数更新，以及将位于首个信息蒸馏网络之后的所有信息蒸馏网络，均同步更新为与首个信息蒸馏网络相同的网络参数。
具体的，为了使网络的深度更深，而参数的数量保持不变，本实施例提出递归学习的思想，递归学习是一个深度学习反向传播的过程，多个级联的信息蒸馏网络中各网络的参数是不断更新的，所更新的参数基于训练后所得到的损失函数确定，将第一个信息蒸馏网络基于回传的损失函数进行网络参数更新，然后将其后的所有信息蒸馏网络均同步为该更新后的网络参数。
步骤203、将深层噪声特征图输入至压缩网络进行颜色通道压缩处理，并将经过颜色通道压缩处理之后的深层噪声特征图进行二阶小波逆变换，得到对应于原始噪声图像中的噪声的噪声图。
具体的，若本实施例所进行的是彩色图像降噪，那么本实施例的压缩网络则可以包括3个1×1的卷积层，用于将噪声特征图还原到R、G、B三原色通道，从而保证最后输出的噪声图为彩色噪声图，而若需要进行黑白图像降噪，那么则可以对黑白图像单通道进行赋值而成为三通道。本实施例中小波逆变换通常用于小波重构，重构则是前述小波分解的逆过程，对低频系数、高频系数分别进行上抽样和低通、高通滤波处理，需要注意的是，重构时同一级的低频、高频系数的个数必须相等，经过小波逆变换，构建出对应于原始噪声图像中所包含的噪声的噪声图，该噪声图用于对原始噪声图像进行图像去噪处理。
此外，应当说明的是，为了使网络更好的学习到原始噪声图像中需要去除的噪声，也即网络最终所输出的噪声图尽可能的接近原始噪声图像中的噪声，本实施例的整体神经网络可以采用残差学习的形式。另外，为了避免同时输入噪声水平图导致网络噪声过高的噪声输入，进而造成视觉伪像，本实施例使用卷积滤波器的正交初始化来进行抑制。
此外，在本实施例一种可选的实施方式中，信息蒸馏网络的损失函数表示为：
Figure BDA0002234231160000061
其中，θ为信息蒸馏网络的可训练网络参数，xi为训练集中第i张原始清晰图像，yi为对应于第i张原始清晰图像的原始噪声图像，N为训练集中的训练图像的总数量，Mi为对应于第i张原始清晰图像的噪声水平图。
具体的，本实施例的信息蒸馏网络采用上述损失函数，可以更好的学习图像中的高频信息，细节信息能够更好的保持，提高了在区域中感知斑点伪像的能力。
根据本发明实施例提供的基于信息蒸馏网络的图像去噪方法，将原始噪声图像进行二阶小波变换之后，与噪声水平图同时输入至特征提取网络进行初步特征提取处理，得到浅层噪声特征图；将浅层噪声特征图输入至信息蒸馏网络进行信息蒸馏处理，得到符合原始噪声图像的噪声水平的深层噪声特征图；将深层噪声特征图输入至压缩网络进行颜色通道压缩处理之后进行二阶小波逆变换，得到用于对原始噪声图像进行图像去噪处理的噪声图。通过本发明的实施，使用信息蒸馏模块以获得丰富且更有能力的特征，且整个网络采用残差学习方式以提升学习速度，有效提升了网络能力，并保证了图像去噪的效率、有效性和灵活性。
第二实施例：
为了解决相关技术中存在的所采用的图像去噪网络的去噪过程耗时较多，网络能力较为局限的技术问题，本实施例示出了一种基于信息蒸馏网络的图像去噪装置，应用于包括特征提取网络、信息蒸馏网络以及压缩网络的整体神经网络，具体请参见图5，本实施例的图像去噪装置包括：
提取模块501，用于将原始噪声图像进行二阶小波变换，并将经过二阶小波变换之后的原始噪声图像与基于预设噪声阈值所构建的噪声水平图，同时输入至特征提取网络进行初步特征提取处理，得到浅层噪声特征图；其中，原始噪声图像为对原始清晰图像加入加性高斯白噪声之后所形成的图像；
蒸馏模块502，用于将浅层噪声特征图输入至信息蒸馏网络进行信息蒸馏处理，得到符合原始噪声图像的噪声水平的深层噪声特征图；
压缩模块503，用于将深层噪声特征图输入至压缩网络进行颜色通道压缩处理，并将经过颜色通道压缩处理之后的深层噪声特征图进行二阶小波逆变换，得到对应于原始噪声图像中的噪声的噪声图；其中，噪声图用于对原始噪声图像进行图像去噪处理。
在本实施例一种可选的实施方式中，提取模块501在将原始噪声图像进行二阶小波变换时，具体用于：采用db1小波基对原始噪声图像进行一阶小波分解，得到原始噪声图像中的一阶高频信息和一阶低频信息，并对一阶高频信息和一阶低频信息分别进行二阶小波分解，得到分别对应于一阶高频信息和一阶低频信息的二阶高频信息和二阶低频信息。
在本实施例一种可选的实施方式中，信息蒸馏网络包括：依次顺序连接的本地短路径捕获单元、本地长路径信息捕获单元以及压缩单元。相应的，蒸馏模块502具体用于：将浅层噪声特征图依次经过本地短路径捕获单元以及本地长路径信息捕获单元，进行信息增强处理；将经过信息增强处理之后的浅层特征图输入至压缩单元进行网络参数压缩处理，得到符合原始噪声图像的噪声水平的深层噪声特征图。
进一步地，在本实施例一种可选的实施方式中，本地短路径捕获单元以及本地长路径信息捕获单元均包括3个3×3的卷积层，各卷积层均采用Leaky-ReLU作为激活函数；其中，本地短路径捕获单元的3个卷积层的尺度依次为：56、40、64，本地长路径捕获单元的3个卷积层的尺度依次为：32、64、96。
在本实施例一种可选的实施方式中，整体神经网络包括多个级联的信息蒸馏网络，信息蒸馏网络采用递归学习的方式，基于回传的损失函数对首个信息蒸馏网络进行网络参数更新，以及将位于首个信息蒸馏网络之后的所有信息蒸馏网络，均同步更新为与首个信息蒸馏网络相同的网络参数。
更进一步地，在本实施例一种可选的实施方式中，信息蒸馏网络的损失函数表示为：
Figure BDA0002234231160000081
其中，θ为信息蒸馏网络的可训练网络参数，xi为训练集中第i张原始清晰图像，yi为对应于第i张原始清晰图像的原始噪声图像，N为训练集中的训练图像的总数量，Mi为对应于第i张原始清晰图像的噪声水平图。
应当说明的是，前述实施例中的基于信息蒸馏网络的图像去噪方法均可基于本实施例提供的基于信息蒸馏网络的图像去噪装置实现，所属领域的普通技术人员可以清楚的了解到，为描述的方便和简洁，本实施例中所描述的基于信息蒸馏网络的图像去噪装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
采用本实施例提供的基于信息蒸馏网络的图像去噪装置，将原始噪声图像进行二阶小波变换之后，与噪声水平图同时输入至特征提取网络进行初步特征提取处理，得到浅层噪声特征图；将浅层噪声特征图输入至信息蒸馏网络进行信息蒸馏处理，得到符合原始噪声图像的噪声水平的深层噪声特征图；将深层噪声特征图输入至压缩网络进行颜色通道压缩处理之后进行二阶小波逆变换，得到用于对原始噪声图像进行图像去噪处理的噪声图。通过本发明的实施，使用信息蒸馏模块以获得丰富且更有能力的特征，且整个网络采用残差学习方式以提升学习速度，有效提升了网络能力，并保证了图像去噪的效率、有效性和灵活性。
第三实施例：
本实施例提供了一种电子装置，参见图6所示，其包括处理器601、存储器602及通信总线603，其中：通信总线603用于实现处理器601和存储器602之间的连接通信；处理器601用于执行存储器602中存储的一个或者多个计算机程序，以实现上述实施例一中的基于信息蒸馏网络的图像去噪方法中的至少一个步骤。
本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM(Random Access Memory，随机存取存储器),ROM(Read-Only Memory，只读存储器),EEPROM(Electrically Erasable Programmable read only memory，带电可擦可编程只读存储器)、闪存或其他存储器技术、CD-ROM(Compact Disc Read-Only Memory，光盘只读存储器)，数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
本实施例中的计算机可读存储介质可用于存储一个或者多个计算机程序，其存储的一个或者多个计算机程序可被处理器执行，以实现上述实施例一中的方法的至少一个步骤。
本实施例还提供了一种计算机程序，该计算机程序可以分布在计算机可读介质上，由可计算装置来执行，以实现上述实施例一中的方法的至少一个步骤；并且在某些情况下，可以采用不同于上述实施例所描述的顺序执行所示出或描述的至少一个步骤。
本实施例还提供了一种计算机程序产品，包括计算机可读装置，该计算机可读装置上存储有如上所示的计算机程序。本实施例中该计算机可读装置可包括如上所示的计算机可读存储介质。
可见，本领域的技术人员应该明白，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件(可以用计算装置可执行的计算机程序代码来实现)、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。
此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、计算机程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。所以，本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于信息蒸馏网络的图像去噪方法，应用于包括特征提取网络、信息蒸馏网络以及压缩网络的整体神经网络，其特征在于，包括：
将原始噪声图像进行二阶小波变换，并将经过所述二阶小波变换之后的所述原始噪声图像与基于预设噪声阈值所构建的噪声水平图，同时输入至所述特征提取网络进行初步特征提取处理，得到浅层噪声特征图；其中，所述原始噪声图像为对原始清晰图像加入加性高斯白噪声之后所形成的图像；
将所述浅层噪声特征图输入至所述信息蒸馏网络进行信息蒸馏处理，得到符合所述原始噪声图像的噪声水平的深层噪声特征图；
将所述深层噪声特征图输入至所述压缩网络进行颜色通道压缩处理，并将经过所述颜色通道压缩处理之后的所述深层噪声特征图进行二阶小波逆变换，得到对应于所述原始噪声图像中的噪声的噪声图；其中，所述噪声图用于对所述原始噪声图像进行图像去噪处理。
2.如权利要求1所述的图像去噪方法，其特征在于，所述将原始噪声图像进行二阶小波变换包括：
采用db1小波基对原始噪声图像进行一阶小波分解，得到所述原始噪声图像中的一阶高频信息和一阶低频信息，并对所述一阶高频信息和一阶低频信息分别进行二阶小波分解，得到分别对应于所述一阶高频信息和一阶低频信息的二阶高频信息和二阶低频信息。
3.如权利要求1所述的图像去噪方法，其特征在于，所述信息蒸馏网络包括：依次顺序连接的本地短路径捕获单元、本地长路径信息捕获单元以及压缩单元；
所述将所述浅层噪声特征图输入至所述信息蒸馏网络进行信息蒸馏处理，得到符合所述原始噪声图像的噪声水平的深层噪声特征图包括：
将所述浅层噪声特征图依次经过所述本地短路径捕获单元以及所述本地长路径信息捕获单元，进行信息增强处理；
将经过所述信息增强处理之后的所述浅层特征图输入至所述压缩单元进行网络参数压缩处理，得到符合所述原始噪声图像的噪声水平的深层噪声特征图。
4.如权利要求1所述的图像去噪方法，其特征在于，所述整体神经网络包括多个级联的所述信息蒸馏网络，所述信息蒸馏网络采用递归学习的方式，基于回传的损失函数对首个信息蒸馏网络进行网络参数更新，以及将位于所述首个信息蒸馏网络之后的所有信息蒸馏网络，均同步更新为与所述首个信息蒸馏网络相同的网络参数。
5.如权利要求3所述的图像去噪方法，其特征在于，所述本地短路径捕获单元以及所述本地长路径信息捕获单元均包括3个3×3的卷积层，各所述卷积层均采用Leaky-ReLU作为激活函数；
其中，所述本地短路径捕获单元的3个卷积层的尺度依次为：56、40、64，所述本地长路径捕获单元的3个卷积层的尺度依次为：32、64、96。
6.如权利要求1至5中任意一项所述的图像去噪方法，其特征在于，所述信息蒸馏网络的损失函数表示为：
其中，θ为所述信息蒸馏网络的可训练网络参数，xi为训练集中第i张所述原始清晰图像，yi为对应于第i张所述原始清晰图像的所述原始噪声图像，N为训练集中的训练图像的总数量，Mi为对应于第i张所述原始清晰图像的噪声水平图。
7.一种基于信息蒸馏网络的图像去噪装置，应用于包括特征提取网络、信息蒸馏网络以及压缩网络的整体神经网络，其特征在于，包括：
提取模块，用于将原始噪声图像进行二阶小波变换，并将经过所述二阶小波变换之后的所述原始噪声图像与基于预设噪声阈值所构建的噪声水平图，同时输入至所述特征提取网络进行初步特征提取处理，得到浅层噪声特征图；其中，所述原始噪声图像为对原始清晰图像加入加性高斯白噪声之后所形成的图像；
蒸馏模块，用于将所述浅层噪声特征图输入至所述信息蒸馏网络进行信息蒸馏处理，得到符合所述原始噪声图像的噪声水平的深层噪声特征图；
压缩模块，用于将所述深层噪声特征图输入至所述压缩网络进行颜色通道压缩处理，并将经过所述颜色通道压缩处理之后的所述深层噪声特征图进行二阶小波逆变换，得到对应于所述原始噪声图像中的噪声的噪声图；其中，所述噪声图用于对所述原始噪声图像进行图像去噪处理。
8.如权利要求7所述的图像去噪装置，其特征在于，所述提取模块在将原始噪声图像进行二阶小波变换时，具体用于：
采用db1小波基对原始噪声图像进行一阶小波分解，得到所述原始噪声图像中的一阶高频信息和一阶低频信息，并对所述一阶高频信息和一阶低频信息分别进行二阶小波分解，得到分别对应于所述一阶高频信息和一阶低频信息的二阶高频信息和二阶低频信息。
9.如权利要求7所述的图像去噪装置，其特征在于，信息蒸馏网络包括：依次顺序连接的本地短路径捕获单元、本地长路径信息捕获单元以及压缩单元；
所述蒸馏模块具体用于：将所述浅层噪声特征图依次经过所述本地短路径捕获单元以及所述本地长路径信息捕获单元，进行信息增强处理；将经过所述信息增强处理之后的所述浅层特征图输入至所述压缩单元进行网络参数压缩处理，得到符合所述原始噪声图像的噪声水平的深层噪声特征图。
10.如权利要求7至9中任意一项所述的图像去噪装置，其特征在于，信息蒸馏网络的损失函数表示为：
其中，θ为所述信息蒸馏网络的可训练网络参数，xi为训练集中第i张所述原始清晰图像，yi为对应于第i张所述原始清晰图像的所述原始噪声图像，N为训练集中的训练图像的总数量，Mi为对应于第i张所述原始清晰图像的噪声水平图。
CN201910977859.0A 2019-10-15 2019-10-15 一种基于信息蒸馏网络的图像去噪方法及装置 Active CN110782406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910977859.0A CN110782406B (zh) 2019-10-15 2019-10-15 一种基于信息蒸馏网络的图像去噪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910977859.0A CN110782406B (zh) 2019-10-15 2019-10-15 一种基于信息蒸馏网络的图像去噪方法及装置

Publications (2)

Publication Number Publication Date
CN110782406A true CN110782406A (zh) 2020-02-11
CN110782406B CN110782406B (zh) 2022-10-11

Family

ID=69385641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910977859.0A Active CN110782406B (zh) 2019-10-15 2019-10-15 一种基于信息蒸馏网络的图像去噪方法及装置

Country Status (1)

Country Link
CN (1) CN110782406B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738956A (zh) * 2020-06-24 2020-10-02 哈尔滨工业大学 一种基于特征调制的图像去噪系统
CN112232397A (zh) * 2020-09-30 2021-01-15 上海眼控科技股份有限公司 图像分类模型的知识蒸馏方法、装置和计算机设备
CN113077389A (zh) * 2021-04-28 2021-07-06 广东工业大学 一种基于信息蒸馏结构的红外热成像方法
CN115063673A (zh) * 2022-07-29 2022-09-16 阿里巴巴（中国）有限公司 模型压缩方法、图像处理方法、装置和云设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571949A (zh) * 2009-05-05 2009-11-04 南京信息工程大学 基于pcnn的小波域超声医学图像去噪方法
CN101739671B (zh) * 2009-12-30 2012-11-28 中兴通讯股份有限公司 一种含噪图像的降噪处理方法及系统
CN105144232A (zh) * 2014-03-25 2015-12-09 展讯通信（上海）有限公司 图像去噪方法和系统
US9641729B2 (en) * 2012-04-26 2017-05-02 Futurewei Technologies, Inc. System and method for encoder-integrated media denoising
US20180240219A1 (en) * 2017-02-22 2018-08-23 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach
CN109214990A (zh) * 2018-07-02 2019-01-15 广东工业大学 一种基于Inception模型的深度卷积神经网络图像去噪方法
CN109544476A (zh) * 2018-11-21 2019-03-29 红相股份有限公司 一种基于深度学习的电力设备红外图像去噪方法
CN109658344A (zh) * 2018-11-12 2019-04-19 哈尔滨工业大学（深圳） 基于深度学习的图像去噪方法、装置、设备和存储介质
CN109978778A (zh) * 2019-03-06 2019-07-05 浙江工业大学 基于残差学习的卷积神经网络医学ct图像去噪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571949A (zh) * 2009-05-05 2009-11-04 南京信息工程大学 基于pcnn的小波域超声医学图像去噪方法
CN101739671B (zh) * 2009-12-30 2012-11-28 中兴通讯股份有限公司 一种含噪图像的降噪处理方法及系统
US9641729B2 (en) * 2012-04-26 2017-05-02 Futurewei Technologies, Inc. System and method for encoder-integrated media denoising
CN105144232A (zh) * 2014-03-25 2015-12-09 展讯通信（上海）有限公司 图像去噪方法和系统
US20180240219A1 (en) * 2017-02-22 2018-08-23 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach
CN109214990A (zh) * 2018-07-02 2019-01-15 广东工业大学 一种基于Inception模型的深度卷积神经网络图像去噪方法
CN109658344A (zh) * 2018-11-12 2019-04-19 哈尔滨工业大学（深圳） 基于深度学习的图像去噪方法、装置、设备和存储介质
CN109544476A (zh) * 2018-11-21 2019-03-29 红相股份有限公司 一种基于深度学习的电力设备红外图像去噪方法
CN109978778A (zh) * 2019-03-06 2019-07-05 浙江工业大学 基于残差学习的卷积神经网络医学ct图像去噪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIWON KIM, JUNG KWON LEE AND KYOUNG MU LEE: "Deeply-Recursive Convolutional Network for Image Super-Resolution", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION（CVPR）》 *
ZHENG HUI, XIUMEI WANG, XINBO GAO: "Fast and Accurate Single Image Super-Resolution via Information Distillation", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738956A (zh) * 2020-06-24 2020-10-02 哈尔滨工业大学 一种基于特征调制的图像去噪系统
CN112232397A (zh) * 2020-09-30 2021-01-15 上海眼控科技股份有限公司 图像分类模型的知识蒸馏方法、装置和计算机设备
CN113077389A (zh) * 2021-04-28 2021-07-06 广东工业大学 一种基于信息蒸馏结构的红外热成像方法
CN115063673A (zh) * 2022-07-29 2022-09-16 阿里巴巴（中国）有限公司 模型压缩方法、图像处理方法、装置和云设备

Also Published As

Publication number Publication date
CN110782406B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN110782406B (zh) 一种基于信息蒸馏网络的图像去噪方法及装置
Schuler et al. A machine learning approach for non-blind image deconvolution
CN108805840B (zh) 图像去噪的方法、装置、终端及计算机可读存储介质
CN109671026B (zh) 基于空洞卷积及自动编解码神经网络的灰度图像降噪方法
CN111028177A (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN111695421B (zh) 图像识别方法、装置及电子设备
US9443286B2 (en) Gray image processing method and apparatus based on wavelet transformation
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
US10863206B2 (en) Content-weighted deep residual learning for video in-loop filtering
US20230177652A1 (en) Image restoration method and apparatus, and electronic device
CN114972107A (zh) 基于多尺度堆叠式注意力网络的低照度图像增强方法
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN113222856A (zh) 一种逆半色调图像处理方法、终端设备及可读存储介质
CN114862711B (zh) 基于双重互补先验约束的低照度图像增强与去噪方法
CN111311610A (zh) 图像分割的方法及终端设备
CN115760773A (zh) 一种用于高光谱医学图像采集的噪声抑制方法及系统
CN113139920B (zh) 一种古籍图像修复方法、终端设备及存储介质
CN115311155A (zh) 基于改进kpn网络图片去雨方法、系统及存储介质
CN110415190B (zh) 基于深度学习去除图像压缩噪声的方法、装置及处理器
CN114419336A (zh) 一种基于离散小波注意力模块的图像分类方法及系统
CN111368585B (zh) 一种弱小目标检测方法、检测系统、存储装置及终端设备
CN111402166A (zh) 图像去噪方法及装置、服务终端及计算机可读存储介质
CN114723638B (zh) 基于Retinex模型的极低照度图像增强方法
CN117911267B (zh) 基于小波变换的背散x光图像降噪方法
CN115908184B (zh) 一种摩尔纹图案的自动去除方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant