CN115170811A - 一种基于卷积神经网络的去噪方法 - Google Patents

一种基于卷积神经网络的去噪方法 Download PDF

Info

Publication number
CN115170811A
CN115170811A CN202210634675.6A CN202210634675A CN115170811A CN 115170811 A CN115170811 A CN 115170811A CN 202210634675 A CN202210634675 A CN 202210634675A CN 115170811 A CN115170811 A CN 115170811A
Authority
CN
China
Prior art keywords
model
images
data
denoising
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210634675.6A
Other languages
English (en)
Inventor
潘晓光
王小华
宋晓晨
张娜
张雅娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi Sanyouhe Smart Information Technology Co Ltd
Original Assignee
Shanxi Sanyouhe Smart Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi Sanyouhe Smart Information Technology Co Ltd filed Critical Shanxi Sanyouhe Smart Information Technology Co Ltd
Priority to CN202210634675.6A priority Critical patent/CN115170811A/zh
Publication of CN115170811A publication Critical patent/CN115170811A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像去噪技术领域，具体涉及一种基于卷积神经网络的去噪方法，包括如下步骤：收集数据、数据预处理、模型构建、模型保存，所述收集数据利用不同的设备在不同的场景中进行拍摄获取原始图像用于去噪模型的训练和测试过程；所述数据预处理包括归一化、图像缩放、数据划分，保证模型训练效果；所述模型构建基于改进DnCNN构建图像去噪模型，输入训练数据，完成参数模型的搭建；所述模型保存当模型的损失函数不再降低之后，保存模型并进行评估。

Description

一种基于卷积神经网络的去噪方法
技术领域
本发明属于图像去噪技术领域，具体涉及一种基于卷积神经网络的去噪方法。
背景技术
由于噪声是每个图像采集系统固有的特性，图像去噪是底层图像恢复的关键任务之一，在进行图像去噪的过程中，由于真实图像中的噪声具有不确定性，导致图像的去噪效率不高。
存在问题或缺陷的原因：目前最常用的去噪方法是通过使用合成噪声模型将已知的噪声分布添加到原始图像中，产生对应的噪声，但真实图像中的噪声不一定遵循正态分布，而是数据相关的，且不是平稳的，此外，合成含噪图像的方法是在原始图像不含任何噪声的前提下进行的，但这是很少的情况，因此，在合成噪声图像上训练的基于判别学习的去噪方法，在真实图像上测试时，无法保持其性能水平。
发明内容
针对上述图像去噪技术模型效率较低等问题，本发明提供了一种基于卷积神经网络的去噪方法。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于卷积神经网络的去噪方法，包括下列步骤：
S100、收集数据：利用不同的设备在不同的场景中进行拍摄获取原始图像用于去噪模型的训练和测试过程；
S200、数据预处理：包括归一化、图像缩放，数据划分，保证模型训练效果；
S300、模型构建：构建基于改进DnCNN的去噪模型，输入训练数据，完成参数模型的搭建；
S400、模型保存：当模型的损失函数不再降低之后，保存模型。
所述S100收集数据中，数据集1是由两台数码相机和一部智能手机拍摄的图像构成，包含120幅图像，对应于多个场景，通过使用短时间曝光相机设置来捕捉微光场景，获得了噪声图像，并通过对同一场景的长时间曝光获得相应的参考图像；数据集2包含了通过3台摄像机捕获的11个自然场景的图像，它通过从同一场景中连续拍摄500幅图像而获得的17幅图像组成，假设噪声为零均值，通过取这500幅图像的时间均值来进行ground truth的估计；数据集3由来自50个独特场景的图像组成，无噪声的图像是通过使用基本ISO水平捕捉场景获得的，而相应的噪声图像是使用更高的ISO/更低的曝光时间拍摄获得的；数据集4是专门利用智能手机图像编制而成的，通过捕捉10个不同的场景和15个不同的ISO值对应不同的噪声水平，使用五款不同的智能手机获取的图像具有不同的光照温度和亮度，从而产生了各种各样的噪声图像；数据集5通过使用320对高分辨率的无噪声图像组合构建形成。
所述S200数据预处理中，对每条数据进行Min-Max归一化，公式为
Figure BDA0003681607020000021
图像缩放将数据集中的图像进行缩放，按照大小比例全部调整为统一尺寸大小80×80；数据分割将数据集分为训练集与测试集，训练集用于模型的训练并对模型的参数进行调优，测试集用于测试模型效果，将构建的原始数据集中的图像进行随机选择，其中90％用于模型的训练，剩余的图像用于模型的测试。
所述S300模型构建中，构建基于改进DnCNN的去噪模型，通过使用Self-ONNs的操作层替代网络中所有卷积层，首先将训练集中的图像输入构建好的网络模型中，通过Self-ONN层将图像中的特征进行提取，为了提高模型的非线性和泛化性能，利用Tanh激活函数进行线性激活，其中Tanh公式如下：
Figure BDA0003681607020000031
x为输入值。
所述S300模型构建中，将获取的特征图输入构建的Self-ONN模块中，该模块有多个Self-ONN层组成，对模型的非线性进行增强，随着网络层数的增加导致数据分布在某一层开始有明显的偏移，为了提高模型的优化性能，通过使用BN对模型输出的特征图进行归一化，加快模型的训练速度，提高模型的精度，将经过归一化的特征图再次进行线性激活输出模型的去噪结果。
所述S300模型构建中，去噪过程中，二维卷积神经网络中的第l层的第k个神经元的输出可以形成化为：
Figure BDA0003681607020000032
其中
Figure BDA0003681607020000033
为神经元的误差，而
Figure BDA0003681607020000034
定义为：
Figure BDA0003681607020000035
其中wik是连接第l层的第k个神经元和第l-1层的第i个神经元的卷积核，
Figure BDA0003681607020000036
为第l-1层的第i个神经元的输出，Self-ONN层实现的操作如下：
Figure BDA0003681607020000037
其中Q是一个控制泰勒近似程度的超参数。
所述S400模型保存中，当模型的损失函数不再降低之后，保存模型，损失函数使用BCE用于损失值的计算，其公式如下：
Figure BDA0003681607020000038
其中pi为ground true，qi为模型的输出结果，n为类别。
所述S400模型保存中，为了评估模型的训练效果，通过使用信噪比PSNR作为衡量去噪模型性能的主要指标，该评估方法公式如下：
Figure BDA0003681607020000039
其中Max为无噪声图像中的最大像素值，而均方误差MSE定义如下：
Figure BDA0003681607020000041
其中无噪声图像I的大小为m×n，K为噪声图像。
本发明与现有技术相比，具有的有益效果是：
本发明提出了基于改进DnCNN的去噪模型，在训练过程中通过使用Self-ONN模块替换网络中的卷积层，利用该方法使用泰勒级数函数逼近来生成非线性变换，并将增强的非线性嵌入神经元模型，提高模型的泛化性能，降低网络复杂性，具有极高的去噪性能，为图像的去噪提供新的思路和方法。
附图说明
图1本发明的主要步骤流程图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于卷积神经网络的去噪方法，如图1所示，包括下列步骤：
S100、收集数据：利用不同的设备在不同的场景中进行拍摄获取原始图像用于去噪模型的训练和测试过程；
S200、数据预处理：包括归一化、图像缩放，数据划分，保证模型训练效果；
S300、模型构建：构建基于改进DnCNN的去噪模型，输入训练数据，完成参数模型的搭建；
S400、模型保存：当模型的损失函数不再降低之后，保存模型。
进一步，步骤S100收集数据中，数据集1是由两台数码相机和一部智能手机拍摄的图像构成，包含120幅图像，对应于多个场景，通过使用短时间曝光相机设置来捕捉微光场景，获得了噪声图像，并通过对同一场景的长时间曝光获得相应的参考图像；数据集2包含了通过3台摄像机捕获的11个自然场景的图像，它通过从同一场景中连续拍摄500幅图像而获得的17幅图像组成，假设噪声为零均值，通过取这500幅图像的时间均值来进行groundtruth的估计；数据集3由来自50个独特场景的图像组成，无噪声的图像是通过使用基本ISO水平捕捉场景获得的，而相应的噪声图像是使用更高的ISO/更低的曝光时间拍摄获得的；数据集4是专门利用智能手机图像编制而成的，通过捕捉10个不同的场景和15个不同的ISO值对应不同的噪声水平，使用五款不同的智能手机获取的图像具有不同的光照温度和亮度，从而产生了各种各样的噪声图像；数据集5通过使用320对高分辨率的无噪声图像组合构建形成。
进一步，步骤S200数据预处理中，对每条数据进行Min-Max归一化，公式为
Figure BDA0003681607020000051
图像缩放将数据集中的图像进行缩放，按照大小比例全部调整为统一尺寸大小80×80；数据分割将数据集分为训练集与测试集，训练集用于模型的训练并对模型的参数进行调优，测试集用于测试模型效果，将构建的原始数据集中的图像进行随机选择，其中90％用于模型的训练，剩余的图像用于模型的测试。
进一步，步骤S300模型构建中，构建基于改进DnCNN的去噪模型，通过使用Self-ONNs的操作层替代网络中所有卷积层，首先将训练集中的图像输入构建好的网络模型中，通过Self-ONN层将图像中的特征进行提取，为了提高模型的非线性和泛化性能，利用Tanh激活函数进行线性激活，其中Tanh公式如下：
Figure BDA0003681607020000052
x为输入值。
进一步，步骤S300模型构建中，将获取的特征图输入构建的Self-ONN模块中，该模块有多个Self-ONN层组成，对模型的非线性进行增强，随着网络层数的增加导致数据分布在某一层开始有明显的偏移，为了提高模型的优化性能，通过使用BN对模型输出的特征图进行归一化，加快模型的训练速度，提高模型的精度，将经过归一化的特征图再次进行线性激活输出模型的去噪结果。
进一步，步骤S300模型构建中，去噪过程中，二维卷积神经网络中的第l层的第k个神经元的输出可以形成化为：
Figure BDA0003681607020000061
其中
Figure BDA0003681607020000062
为神经元的误差，而
Figure BDA0003681607020000063
定义为：
Figure BDA0003681607020000064
其中wik是连接第l层的第k个神经元和第l-1层的第i个神经元的卷积核，
Figure BDA0003681607020000065
为第l-1层的第i个神经元的输出，Self-ONN层实现的操作如下：
Figure BDA0003681607020000066
其中Q是一个控制泰勒近似程度的超参数。
进一步，步骤S400模型保存中，当模型的损失函数不再降低之后，保存模型，损失函数使用BCE用于损失值的计算，其公式如下：
Figure BDA0003681607020000067
其中pi为ground true，qi为模型的输出结果，n为类别。
进一步，步骤S400模型保存中，为了评估模型的训练效果，通过使用信噪比PSNR作为衡量去噪模型性能的主要指标，该评估方法公式如下：
Figure BDA0003681607020000068
其中Max为无噪声图像中的最大像素值，而均方误差MSE定义如下：
Figure BDA0003681607020000069
其中无噪声图像I的大小为m×n，K为噪声图像。
上面仅对本发明的较佳实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化，各种变化均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于卷积神经网络的去噪方法，其特征在于：包括下列步骤：
S100、收集数据：利用不同的设备在不同的场景中进行拍摄获取原始图像用于去噪模型的训练和测试过程；
S200、数据预处理：包括归一化、图像缩放，数据划分，保证模型训练效果；
S300、模型构建：构建基于改进DnCNN的去噪模型，输入训练数据，完成参数模型的搭建；
S400、模型保存：当模型的损失函数不再降低之后，保存模型。
2.根据权利要求1所述的一种基于卷积神经网络的去噪方法，其特征在于：所述S100收集数据中，数据集1是由两台数码相机和一部智能手机拍摄的图像构成，包含120幅图像，对应于多个场景，通过使用短时间曝光相机设置来捕捉微光场景，获得了噪声图像，并通过对同一场景的长时间曝光获得相应的参考图像；数据集2包含了通过3台摄像机捕获的11个自然场景的图像，它通过从同一场景中连续拍摄500幅图像而获得的17幅图像组成，假设噪声为零均值，通过取这500幅图像的时间均值来进行ground truth的估计；数据集3由来自50个独特场景的图像组成，无噪声的图像是通过使用基本ISO水平捕捉场景获得的，而相应的噪声图像是使用更高的ISO/更低的曝光时间拍摄获得的；数据集4是专门利用智能手机图像编制而成的，通过捕捉10个不同的场景和15个不同的ISO值对应不同的噪声水平，使用五款不同的智能手机获取的图像具有不同的光照温度和亮度，从而产生了各种各样的噪声图像；数据集5通过使用320对高分辨率的无噪声图像组合构建形成。
3.根据权利要求2所述的一种基于卷积神经网络的去噪方法，其特征在于：所述S200数据预处理中，对每条数据进行Min-Max归一化，公式为
Figure FDA0003681607010000011
图像缩放将数据集中的图像进行缩放，按照大小比例全部调整为统一尺寸大小80×80；数据分割将数据集分为训练集与测试集，训练集用于模型的训练并对模型的参数进行调优，测试集用于测试模型效果，将构建的原始数据集中的图像进行随机选择，其中90％用于模型的训练，剩余的图像用于模型的测试。
4.根据权利要求3所述的一种基于卷积神经网络的去噪方法，其特征在于：所述S300模型构建中，构建基于改进DnCNN的去噪模型，通过使用Self-ONNs的操作层替代网络中所有卷积层，首先将训练集中的图像输入构建好的网络模型中，通过Self-ONN层将图像中的特征进行提取，为了提高模型的非线性和泛化性能，利用Tanh激活函数进行线性激活，其中Tanh公式如下：
Figure FDA0003681607010000021
x为输入值。
5.根据权利要求4所述的一种基于卷积神经网络的去噪方法，其特征在于：所述S300模型构建中，将获取的特征图输入构建的Self-ONN模块中，该模块有多个Self-ONN层组成，对模型的非线性进行增强，随着网络层数的增加导致数据分布在某一层开始有明显的偏移，为了提高模型的优化性能，通过使用BN对模型输出的特征图进行归一化，加快模型的训练速度，提高模型的精度，将经过归一化的特征图再次进行线性激活输出模型的去噪结果。
6.根据权利要求5所述的一种基于卷积神经网络的去噪方法，其特征在于：所述S300模型构建中，去噪过程中，二维卷积神经网络中的第l层的第k个神经元的输出可以形成化为：
Figure FDA0003681607010000022
其中
Figure FDA0003681607010000023
为神经元的误差，而
Figure FDA0003681607010000024
定义为：
Figure FDA0003681607010000025
其中wik是连接第l层的第k个神经元和第l-1层的第i个神经元的卷积核，
Figure FDA0003681607010000026
为第l-1层的第i个神经元的输出，Self-ONN层实现的操作如下：
Figure FDA0003681607010000027
其中Q是一个控制泰勒近似程度的超参数。
7.根据权利要求6所述的一种基于卷积神经网络的去噪方法，其特征在于：所述S400模型保存中，当模型的损失函数不再降低之后，保存模型，损失函数使用BCE用于损失值的计算，其公式如下：
Figure FDA0003681607010000031
其中pi为ground true，qi为模型的输出结果，n为类别。
8.根据权利要求7所述的一种基于卷积神经网络的去噪方法，其特征在于：所述S400模型保存中，为了评估模型的训练效果，通过使用信噪比PSNR作为衡量去噪模型性能的主要指标，该评估方法公式如下：
Figure FDA0003681607010000032
其中Max为无噪声图像中的最大像素值，而均方误差MSE定义如下：
Figure FDA0003681607010000033
其中无噪声图像I的大小为m×n，K为噪声图像。
CN202210634675.6A 2022-06-07 2022-06-07 一种基于卷积神经网络的去噪方法 Pending CN115170811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210634675.6A CN115170811A (zh) 2022-06-07 2022-06-07 一种基于卷积神经网络的去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210634675.6A CN115170811A (zh) 2022-06-07 2022-06-07 一种基于卷积神经网络的去噪方法

Publications (1)

Publication Number Publication Date
CN115170811A true CN115170811A (zh) 2022-10-11

Family

ID=83484817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210634675.6A Pending CN115170811A (zh) 2022-06-07 2022-06-07 一种基于卷积神经网络的去噪方法

Country Status (1)

Country Link
CN (1) CN115170811A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206117A (zh) * 2023-03-03 2023-06-02 朱桂湘 基于编号遍历的信号处理优化系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206117A (zh) * 2023-03-03 2023-06-02 朱桂湘 基于编号遍历的信号处理优化系统及方法
CN116206117B (zh) * 2023-03-03 2023-12-01 北京全网智数科技有限公司 基于编号遍历的信号处理优化系统及方法

Similar Documents

Publication Publication Date Title
Brooks et al. Unprocessing images for learned raw denoising
CN109636754B (zh) 基于生成对抗网络的极低照度图像增强方法
CN108280811B (zh) 一种基于神经网络的图像去噪方法和系统
CN110210608B (zh) 基于注意力机制和多层次特征融合的低照度图像增强方法
CN110248096A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN108510451B (zh) 一种基于双层卷积神经网络的重建车牌的方法
CN109087255A (zh) 一种基于混合损失的轻量级深度图像去噪方法
CN108810418A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN111986084A (zh) 一种基于多任务融合的多相机低光照图像质量增强方法
CN108600638B (zh) 摄像机自动调焦系统及方法
WO2006130292A2 (en) Image comparison by metric embeddings
CN108805265A (zh) 神经网络模型处理方法和装置、图像处理方法、移动终端
CN110349163A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN112801918A (zh) 图像增强模型的训练方法、图像增强方法及电子设备
CN112508817A (zh) 一种基于循环生成对抗网络的图像运动盲去模糊方法
CN110059634A (zh) 一种大场景人脸抓拍方法
CN115170811A (zh) 一种基于卷积神经网络的去噪方法
CN1130077C (zh) 利用梯度模式匹配的运动补偿装置和方法
CN114882222A (zh) 改进YOLOv5目标检测模型构建方法及用于茶嫩芽识别与采摘点定位方法
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
CN114862698A (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
CN113850312A (zh) 森林生态状况的监测方法、装置、电子设备及存储介质
CN112581373B (zh) 一种基于深度学习的图像颜色矫正方法
CN117451012A (zh) 一种无人机航摄测量方法及系统
CN109063562A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination