CN110490817A - 一种基于掩模学习的图像噪声抑制方法 - Google Patents
一种基于掩模学习的图像噪声抑制方法 Download PDFInfo
- Publication number
- CN110490817A CN110490817A CN201910662542.8A CN201910662542A CN110490817A CN 110490817 A CN110490817 A CN 110490817A CN 201910662542 A CN201910662542 A CN 201910662542A CN 110490817 A CN110490817 A CN 110490817A
- Authority
- CN
- China
- Prior art keywords
- image
- mask
- noise
- study
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000001629 suppression Effects 0.000 title claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 239000000463 material Substances 0.000 claims abstract description 10
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 230000008901 benefit Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 16
- 230000008569 process Effects 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000005764 inhibitory process Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000015220 hamburgers Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开了一种基于掩模学习的图像噪声抑制方法，包括掩模学习过程和噪声抑制过程。掩模学习过程中，利用注意力机制自适应地关注图像的真实信息，通过网络对图像进行特征提取，学习得到图像掩模，使得真实内容区域和噪声区域拥有不同的权重，从而区别出噪声和图像内容。在噪声抑制过程中，利用Sigmoid函数对掩模矩阵进行归一化处理，将这些权重值映射到0～1之间。训练时，最小化噪声信息的权重，使其尽可能接近0，同时使真实区域的权重尽可能接近1，并将权重矩阵与提取的特征相乘。由于掩模学习可以精确到图像像素，依据噪声分布的特性，对每块图像内容学习不同的权重值，因此本发明对于图像的噪声去除效果更好，同时保留了更多的高频细节。
Description
技术领域
本发明属于数字图像技术领域，涉及一种图像去噪方法，具体涉及一种基于掩模学习的图像噪声抑制方法。
背景技术
由于环境或传感器等因素影响，成像过程会引入额外的噪声，这些噪声会降低图像信息的固有质量，从而干扰后续的图像内容分析。因此，图像去噪是一项改善图像视觉体验的基本操作，也是许多计算机视觉任务(如分割、检测、跟踪、识别、分类等等)的重要预处理步骤。
由于深度学习，特别是卷积神经网络(CNN)在图像处理领域取得了较好的成果，近年来，基于深度学习的图像去噪方法被提出并得到了发展。2008年，Viren Jain等提出用CNN处理自然图像的去噪问题，得到了与常规方法(如小波变换和马尔可夫随机场)相近或更优的结果。2012年，Xie等利用栈式去噪自编码器进行图像去噪以及图像修复。Burger等人提出了用多层感知机(MLP)的方法实现神经网络去噪，并说明如果训练集足够，MLP模型可以达到图像去噪的当前最优水平。2016年，Mao等提出了深度的卷积编解码网络应用于图像去噪。2017年，Zhang等提出深层的CNN网络实现去噪，为了解决网络层数加深导致的梯度弥散效应，该方法并不对图像进行学习，而是以输出与噪声的L2范数为损失函数来训练网络。
基于深度学习的去噪模型利用卷积神经网络，直接学习噪声图像和干净图像之间的差异，这种方式虽然可以去除大部分的噪声，但这种基于全局统一权重的方式同时也会去除大量的高频信息，导致生成图像过于平滑，降低了图像的信息量和利用价值。
发明内容
为了解决上述技术问题，本发明提供了一种基于掩模学习的图像噪声抑制方法，该方法引入了注意力机制，与传统的采用全局统一权重的图像去噪算法相比，该方法允许网络重点关注真实图像内容区域。此外，由于对图像内容的掩模学习可以精确到逐个像素，依据噪声分布的特性，对每块图像内容学习不同的权重值，使得图像的去噪效果更好，保留了更多的高频细节。
本发明所采用的技术方案是：一种基于掩模学习的图像噪声抑制方法，包括以下步骤：
步骤1：选取部分图像数据Y，裁剪得到N×N的图像块，然后加高斯噪声生成图像对，作为训练样本；其中，N为正整数；
步骤2：分批次将以上噪声图像输入到卷积神经网络中，利用卷积操作提取图像特征；
步骤3：将提取的图像特征网络，利用注意力机制学习图像掩模，区分真实图像内容和噪声；
步骤4：将步骤3中学习的得到的图像掩模用Sigmoid函数进行归一化，赋值权重到0-1之间；
步骤5：将步骤4中得到的掩模矩阵与步骤2中提取的图像特征进行矩阵乘法，输出得到干净的图像；
步骤6：通过最小化步骤5中的输出和原始干净图像的余弦距离，优化网络，实现对噪声图像的噪声去除。
作为优选，步骤3中，通过注意力机制引导网络关注图像的真实区域，学习得到掩模矩阵，对于真实图像内容和噪声具有不同的权重，从而将真实图像内容与噪声进行分离。
作为优选，步骤4中，利用Sigmoid函数对掩模矩阵进行归一化，将权重值映射到0-1之间，具体利用算式：
σmask＝σ(Fmask(x))；
其中，x为提取的特征，Fmask(·)表示掩模分支网络，σ(·)是Sigmoid函数；
通过Sigmoid函数，对学习得到的图像内容掩模进行归一化赋值，使得每一个像素均有一个位于0到1之间的权重，从而得到全局的权重矩阵，即σmask。
作为优选，步骤5中，将获得的掩模权重矩阵与提取的特征相乘，获得每一部分对最终输出图像的贡献，通过最小化噪声区域的权重，得到干净的图像X；即是噪声区域的权重尽量小，真实图像区域的权重尽可能大，具体利用算式：
作为优选，步骤6中，所述优化网络，通过优化代价函数L(θ)获得噪声抑制模型，优化后的模型具有最优参数；
其中：
L(θ)＝argmin∑ρ(x)；
L(θ)和θ分别表示待优化的代价函数和模型参数，表示Charbonnier补偿项，其中补偿因子ε＝10-3；
本发明公开了一种基于掩模学习的图像噪声抑制方法，包括掩模学习过程和噪声抑制过程。掩模学习过程中，利用注意力机制关注图像的真实信息，通过网络对图像进行特征提取，学习得到图像掩模，使得真实内容区域和噪声区域拥有不同的权重，从而区别出噪声和图像内容。在噪声抑制过程中，利用Sigmoid函数对掩模矩阵进行归一化处理，将这些权重值映射到0～1之间。训练时，最小化噪声信息的权重，使其尽可能接近0，同时使真实区域的权重尽可能接近1，并将权重矩阵与提取的特征相乘。本发明引入了掩模学习的策略，由于掩模学习可以精确到图像像素，依据噪声分布的特性，对每块图像内容学习不同的权重值，因此，相比于采用全局统一权重去噪的算法，本发明对于图像的噪声去除效果更好，同时保留了更多的高频细节。
附图说明
图1本发明实施例的流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于掩模学习的图像噪声抑制方法，包括以下步骤：
步骤1：选取部分图像数据Y，裁剪得到96×96的图像块，然后加高斯噪声生成图像对，作为训练样本；
步骤2：分批次将以上噪声图像输入到卷积神经网络中，利用卷积操作提取图像特征；
为了强化对输入信息的提取，本算法采用超密集连接模块(现有的基于密集连接的模块结构，用于特征提取)作为基础单元，对输入特征进行提取和表达。超密集连接模块允许将当前层的特征连接到后续的所有层，因此增加了大量的连接路径和连接节点，有利于信息的流动和梯度优化。
步骤3：将提取的图像特征输入到掩模分支，利用注意力机制学习图像掩模，区分真实图像内容和噪声；
通过注意力机制引导网络关注图像的真实区域，学习得到掩模矩阵，对于真实图像内容和噪声具有不同的权重，从而将真实图像内容与噪声进行分离。
本实施例中，掩模分支包含多个密集连接模块，用于强化对特征的提取，同时引入注意力机制重点关注图像的真实内容区域，因此可以学习得到掩模矩阵，尤其是，对于真实图像内容和噪声具有不同的权重，从而可以将真实图像内容与噪声进行区分。
步骤4：将步骤3中学习的得到的图像掩模用Sigmoid函数进行归一化，赋值权重到0-1之间；
本实施例中，利用Sigmoid函数对掩模矩阵进行归一化，将权重值映射到0-1之间，具体利用算式：
σmask＝σ(Fmask(x))；
其中，x为提取的特征，Fmask(·)表示掩模分支网络，σ(·)是Sigmoid函数；
通过Sigmoid函数，对学习得到的图像内容掩模进行归一化赋值，使得每一个像素均有一个位于0到1之间的权重，从而得到全局的权重矩阵，即σmask。
因此在网络训练过程中，理想的结果是真实内容区域的权重接近于1，噪声区域的权重接近0。
步骤5：将步骤4中得到的掩模矩阵与步骤2中提取的图像特征进行矩阵乘法，输出得到干净的图像；
本实施例中，将获得的掩模权重矩阵与提取的特征相乘，获得每一部分对最终输出图像的贡献，通过最小化噪声区域的权重，得到干净的图像X；即是噪声区域的权重尽量小，真实图像区域的权重尽可能大，具体利用算式：
将归一化后的掩膜矩阵与提取的特征矩阵逐像素相乘，利用噪声区域权重接近0的特性将噪声过滤掉，实现对图像内噪声的抑制，同时真实区域的权重接近1，尽可能的保留原始的高频信息，不会大幅度改变输入信息。
步骤6：通过最小化步骤5中的输出和原始干净图像的余弦距离，优化网络，实现对噪声图像的噪声去除。
本实施例中，优化网络，通过优化代价函数L(θ)获得噪声抑制模型，优化后的模型具有最优参数；是使用基于Charbonnier损失函数，作为L1范数的一个变体，Charbonnier损失通过加入了补偿项使训练过程更加稳定，同时避免生成的结果过于平滑；
具体利用算式：
L(θ)＝argmin∑ρ(x)；
L(θ)和θ分别表示待优化的代价函数和模型参数，表示Charbonnier补偿项，其中补偿因子ε＝10-3。
本方法能够在降低计算消耗的同时，保证图像去噪的效果。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (5)
1.一种基于掩模学习的图像噪声抑制方法，其特征在于，包括以下步骤：
步骤1：选取部分图像数据Y，裁剪得到N×N的图像块，然后加高斯噪声生成图像对，作为训练样本；其中，N为正整数；
步骤2：分批次将以上噪声图像输入到卷积神经网络中，利用卷积操作提取图像特征；
步骤3：将提取的图像特征网络，利用注意力机制学习图像掩模，区分真实图像内容和噪声；
步骤4：将步骤3中学习的得到的图像掩模用Sigmoid函数进行归一化，赋值权重到0-1之间；
步骤5：将步骤4中得到的掩模矩阵与步骤2中提取的图像特征进行矩阵乘法，输出得到干净的图像；
步骤6：通过最小化步骤5中的输出和原始干净图像的余弦距离，优化网络，实现对噪声图像的噪声去除。
2.根据权利要求1所述的基于掩模学习的图像噪声抑制方法，其特征在于：步骤3中，通过注意力机制引导网络关注图像的真实区域，学习得到掩模矩阵，对于真实图像内容和噪声具有不同的权重，从而将真实图像内容与噪声进行分离。
3.根据权利要求1所述的基于掩模学习的图像噪声抑制方法，其特征在于：步骤4中，利用Sigmoid函数对掩模矩阵进行归一化，将权重值映射到0-1之间，具体利用算式：
σmask＝σ(Fmask(x))；
其中，x为提取的特征，Fmask(·)表示掩模分支网络，σ(·)是Sigmoid函数；
通过Sigmoid函数，对学习得到的图像内容掩模进行归一化赋值，使得每一个像素均有一个位于0到1之间的权重，从而得到全局的权重矩阵，即σmas k。
4.根据权利要求3所述的基于掩模学习的图像噪声抑制方法，其特征在于：步骤5中，将获得的掩模权重矩阵与提取的特征相乘，获得每一部分对最终输出图像的贡献，通过最小化噪声区域的权重，得到干净的图像X；即是噪声区域的权重尽量小，真实图像区域的权重尽可能大，具体利用算式：
5.根据权利要求3所述的基于掩模学习的图像噪声抑制方法，其特征在于：步骤6中，所述优化网络，通过优化代价函数L(θ)获得噪声抑制模型，优化后的模型具有最优参数；
其中：
L(θ)＝argmin∑ρ(x)；
L(θ)和θ分别表示待优化的代价函数和模型参数，表示Charbonnier补偿项，其中补偿因子ε＝10-3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910662542.8A CN110490817A (zh) | 2019-07-22 | 2019-07-22 | 一种基于掩模学习的图像噪声抑制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910662542.8A CN110490817A (zh) | 2019-07-22 | 2019-07-22 | 一种基于掩模学习的图像噪声抑制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110490817A true CN110490817A (zh) | 2019-11-22 |
Family
ID=68547877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910662542.8A Pending CN110490817A (zh) | 2019-07-22 | 2019-07-22 | 一种基于掩模学习的图像噪声抑制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110490817A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429379A (zh) * | 2020-04-01 | 2020-07-17 | 山东大学 | 一种基于自监督学习的低剂量ct图像去噪方法及系统 |
| CN111598807A (zh) * | 2020-05-16 | 2020-08-28 | 武汉青铜科技信息咨询有限公司 | 一种基于区块链的汽车零部件检测数据共享系统及方法 |
| CN113538305A (zh) * | 2020-04-15 | 2021-10-22 | 西门子医疗有限公司 | 与covid-19相关联的异常图案的医学图像合成 |
| CN114970607A (zh) * | 2022-05-06 | 2022-08-30 | 北京谛声科技有限责任公司 | 基于深度神经网络声发射信号分离的变压器局放检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1331804A2 (en) * | 2002-01-24 | 2003-07-30 | Ricoh Company, Ltd. | Image forming device, image forming method, computer program, and recording medium |
| CN104125374A (zh) * | 2013-04-25 | 2014-10-29 | 财团法人工业技术研究院 | 图像处理装置及其影像噪声抑制方法 |
| CN108492272A (zh) * | 2018-03-26 | 2018-09-04 | 西安交通大学 | 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统 |
| CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
| US20200364855A1 (en) * | 2017-11-22 | 2020-11-19 | The Trustees Of Columbia University In The City Of New York | System, method and computer-accessible medium for classifying breast tissue using a convolutional neural network |
-
2019
- 2019-07-22 CN CN201910662542.8A patent/CN110490817A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1331804A2 (en) * | 2002-01-24 | 2003-07-30 | Ricoh Company, Ltd. | Image forming device, image forming method, computer program, and recording medium |
| CN104125374A (zh) * | 2013-04-25 | 2014-10-29 | 财团法人工业技术研究院 | 图像处理装置及其影像噪声抑制方法 |
| US20200364855A1 (en) * | 2017-11-22 | 2020-11-19 | The Trustees Of Columbia University In The City Of New York | System, method and computer-accessible medium for classifying breast tissue using a convolutional neural network |
| CN108492272A (zh) * | 2018-03-26 | 2018-09-04 | 西安交通大学 | 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统 |
| CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
Non-Patent Citations (4)
| Title |
|---|
| SHOKO ARAKI等: "EXPLORING MULTI-CHANNEL FEATURES FOR DENOISING-AUTOENCODER-BASED SPEECH ENHANCEMENT", 《2015 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 * |
| 傅德胜: "一种结合噪声信息识别的改进掩模去噪方法研究", 《南京信息工程大学学报》 * |
| 张淑芳等: "采用主成分分析与梯度金字塔的高动态范围图像生成方法", 《西安交通大学学报》 * |
| 柳杨: "《数字图像物体识别理论详解与实战》", 31 March 2018 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429379A (zh) * | 2020-04-01 | 2020-07-17 | 山东大学 | 一种基于自监督学习的低剂量ct图像去噪方法及系统 |
| CN111429379B (zh) * | 2020-04-01 | 2022-06-10 | 山东大学 | 一种基于自监督学习的低剂量ct图像去噪方法及系统 |
| CN113538305A (zh) * | 2020-04-15 | 2021-10-22 | 西门子医疗有限公司 | 与covid-19相关联的异常图案的医学图像合成 |
| CN111598807A (zh) * | 2020-05-16 | 2020-08-28 | 武汉青铜科技信息咨询有限公司 | 一种基于区块链的汽车零部件检测数据共享系统及方法 |
| CN114970607A (zh) * | 2022-05-06 | 2022-08-30 | 北京谛声科技有限责任公司 | 基于深度神经网络声发射信号分离的变压器局放检测方法 |
| CN114970607B (zh) * | 2022-05-06 | 2024-03-29 | 北京谛声科技有限责任公司 | 基于深度神经网络声发射信号分离的变压器局放检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110490817A (zh) | 一种基于掩模学习的图像噪声抑制方法 | |
| CN112949565B (zh) | 基于注意力机制的单样本部分遮挡人脸识别方法及系统 | |
| Jin et al. | Deep learning for underwater image recognition in small sample size situations | |
| Fan et al. | Multiscale low-light image enhancement network with illumination constraint | |
| CN103971342B (zh) | 一种基于卷积神经网络的图像噪点检测方法 | |
| CN107239514A (zh) | 一种基于卷积神经网络的植物识别方法及系统 | |
| CN107133943A (zh) | 一种防震锤缺陷检测的视觉检测方法 | |
| CN109145979A (zh) | 敏感图像鉴定方法及终端系统 | |
| CN106504064A (zh) | 基于深度卷积神经网络的服装分类与搭配推荐方法及系统 | |
| CN106548159A (zh) | 基于全卷积神经网络的网纹人脸图像识别方法与装置 | |
| CN109558806A (zh) | 高分遥感图像变化的检测方法和系统 | |
| CN111325762B (zh) | 基于密集连接解码网络的轮廓检测方法 | |
| CN113627472B (zh) | 基于分层深度学习模型的智慧园林食叶害虫识别方法 | |
| CN109872326B (zh) | 基于深度强化网络跳跃连接的轮廓检测方法 | |
| CN110046252A (zh) | 一种基于注意力机制神经网络与知识图谱的医疗文本分级方法 | |
| CN111915486B (zh) | 基于图像超分辨重建的对抗样本防御方法 | |
| CN109034184A (zh) | 一种基于深度学习的均压环检测识别方法 | |
| CN111783841A (zh) | 基于迁移学习和模型融合的垃圾分类方法、系统及介质 | |
| CN109460774A (zh) | 一种基于改进的卷积神经网络的鸟类识别方法 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| CN110084284A (zh) | 基于区域卷积神经网络的目标检测与二级分类算法及装置 | |
| CN110135371A (zh) | 一种基于Mixup算法的柑橘黄龙病识别方法及装置 | |
| CN114004333A (zh) | 一种基于多假类生成对抗网络的过采样方法 | |
| CN113850725A (zh) | 一种滤波增强深度学习的被动式太赫兹图像目标检测方法 | |
| CN112597993A (zh) | 基于补丁检测的对抗防御模型训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191122 |