CN114186686A - 一种图像去噪神经网络训练方法 - Google Patents

一种图像去噪神经网络训练方法 Download PDF

Info

Publication number
CN114186686A
CN114186686A CN202210143937.9A CN202210143937A CN114186686A CN 114186686 A CN114186686 A CN 114186686A CN 202210143937 A CN202210143937 A CN 202210143937A CN 114186686 A CN114186686 A CN 114186686A
Authority
CN
China
Prior art keywords
neural network
image denoising
group
batch
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210143937.9A
Other languages
English (en)
Inventor
齐政
王彬
徐凯
赵佳佳
王中杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Peregrine Microelectronics Co ltd
Original Assignee
Jiangsu Peregrine Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Peregrine Microelectronics Co ltd filed Critical Jiangsu Peregrine Microelectronics Co ltd
Priority to CN202210143937.9A priority Critical patent/CN114186686A/zh
Publication of CN114186686A publication Critical patent/CN114186686A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像去噪神经网络训练方法，在利用图像去噪数据集对图像去噪神经网络进行模型训练，对每一层卷积网络输出特征图参数进行归一化处理时，对于特征图的每个批量，按通道数C将像素分成X组，在每个组中间隔M个通道进行采样，然后对采样的不同通道的像素求均值和标准差，再使用求得的均值和方差对本组中各通道的像素数据做归一化，获得0~1分布。本发明计算在批量维度的方差和均值，以此来进行归一化，并进行间隔通道采样计算，由于批量维度N的数值固定，在归一化计算过程中，计算与批量大小无关，因此能够在减小运算量的同时，使得神经网络在图像去噪任务中不受到batch size的影响，具有出色的表现。

Description

一种图像去噪神经网络训练方法
技术领域
本发明涉及神经网络领域，具体涉及一种神经网络训练方法。
背景技术
数字图像在数字化和传输过程中，常常受到成像设备与外部环境噪声干扰等影响， 引入了不同类型的复杂噪声。图像的去噪任务要求在尽可能去除图像中噪声的同时，还应保持原有图像的边缘、纹理等细节结构信息。
现有技术中，使用卷积通过端到端的残差学习，从函数回归角度用卷积神经网络将噪声从噪声图像中分离出来，取得了显著优于其他方法的去噪结果。
由于去噪神经网络在训练过程中涉及到不同网络层的融合和叠加，不同层的参数进行融合之后参数会不可避免的发生改变，使得下一层的输入数据变化范围非常大，因此越往后面的层参数分布变化会越剧烈。虽然在神经网络内部每一层的输入数据分布不同，但是最终的样本标记是固定不变的，也就是说边缘概率不同而条件概率相同。因此，在深度学习领域中，在数据处理和分析之前，为了减小参数变化的影响，通常必不可少的一步是要将数据进行收敛，而收敛的途径主要为将每一层网络的参数进行归一化处理，把数据的变化范围映射到一个区间内。
目前，在深度学习去噪领域常用的是批处理归一化(Batch Normalization，BN)方法，批处理归一化方法适用于各种网络进行训练。然而，沿着批量尺寸进行归一化会带来问题，当批量尺寸(batch size)变小时，BN的误差会迅速增加，这是由于批量统计量估计不准确造成的。这限制了BN用于训练更大的模型，并将特征转移到包括检测、分割和视频在内的计算机视觉任务中，这些任务需要受内存消耗限制的小批量。
在去噪任务中，batch size的限制要求更高，包括检测、分割、识别等建立在它们之上的高级系统。例如，Faster和Mask R-CNN框架仅使用1或2张图像的批量大小，因为更高的分辨率在使用3D卷积的视频分类中，时空特征的存在引入了时间长度和批处理大小之间的权衡。BN的使用通常要求这些系统在模型设计和批量大小之间妥协。但是BN存在以下两个问题：
（1）每次是在一个批量(batch)上计算均值和方差，如果batch size太小，则计算的均值和方差不足以代表整个数据分布。
（2）如果batch size太大，则会超过硬件的内存容量，需要跑更多的训练次数，导致总训练时间变长；且会直接固定梯度下降的方向，导致神经网络很难更新。
发明内容
发明目的：针对上述现有技术，提出一种图像去噪神经网络训练方法，在减小运算量的同时，使得神经网络在图像去噪任务中不受到batch size的影响。
技术方案：一种图像去噪神经网络训练方法，包括：
步骤1：构建图像去噪数据集，将数据集中的图像修剪成统一尺寸，并进行数据增强处理；
步骤2：利用步骤1得到的图像去噪数据集对图像去噪神经网络进行模型训练，在训练的过程中，每一层卷积网络在经过卷积核卷积之后，对输出的特征图参数进行归一化处理；
其中，对参数进行归一化处理包括：
对于特征图的每个批量，按通道数C将像素分成X组，每个组有C/X个通道；
在每个组中，间隔M个通道进行采样，即每个组共采样（C/X）/M个通道；
对于每个组，对采样的不同通道的像素求均值和标准差，再使用求得的均值和方差对本组中各通道的像素数据做归一化，获得0~1分布。
进一步的，计算均值
Figure DEST_PATH_IMAGE001
和标准差
Figure DEST_PATH_IMAGE002
的公式如下：
Figure DEST_PATH_IMAGE003
Figure DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE005
为包含四个维度的特征图，四个维度分别为批量、宽度、高度、通道；W为特征图的宽度，H为特征图的高度，h为高度维度起始位置，w为宽度维度起始位置。
进一步的，X取2~8之间的自然数，M取2或4。
有益效果：本发明在训练图像去噪神经网络时，对各卷积层输出的特征图，计算在批量维度的方差和均值，以此来进行归一化，并进行间隔通道采样计算，由于批量维度N的数值固定，在归一化计算过程中，计算与批量大小无关，因此能够在减小运算量的同时，使得神经网络在图像去噪任务中不受到batch size的影响，具有出色的表现。
附图说明
图1为批处理归一化方法的数据结构示意图；
图2为本发明方法中归一化方法的数据结构示意图；
图3为本发明方法中归一化方法和批处理归一化方法的错误率对比图。
具体实施方式
下面结合附图对本发明做更进一步的解释。
一种图像去噪神经网络训练方法，包括如下步骤：
步骤1：构建图像去噪数据集，将数据集中的图像修剪成统一尺寸，并进行数据增强处理。具体的，本实施例使用Sony相机来采集视频数据，包含静态室内场景以及动态室外场景，Raw格式的数据分辨率为3672*5496，数据集大部分亮度都在0.5lux ~ 5lux之间，再将图像大小统一成512*512，并做数据增强操作。
步骤2：利用步骤1得到的图像去噪数据集中的500张训练图像对图像去噪神经网络进行模型训练。在训练的过程中，输入512*512大小的有噪声图像，设置学习率为1e-3，每一层卷积网络在经过3x3大小的卷积核卷积之后，对输出的特征图参数进行归一化处理。其中，特征图包含四个维度，分别为批量N、宽度W、高度H、通道C。
对参数进行归一化处理包括：
对于特征图的每个批量，按通道数C将像素分成X组，每个组有C/X个通道；
在每个组中，间隔M个通道进行采样，即每个组共采样（C/X）/M个通道；
对于每个组，对采样的不同通道的像素求均值和标准差，每组求出唯一一个均值和标准差，再使用求得的均值和方差对本组中各通道的像素数据做归一化，获得0~1分布。
计算均值
Figure 730648DEST_PATH_IMAGE001
和标准差
Figure 407617DEST_PATH_IMAGE002
的公式如下：
Figure 517655DEST_PATH_IMAGE003
Figure 171228DEST_PATH_IMAGE004
其中，
Figure 315902DEST_PATH_IMAGE005
为包含四个维度的特征图，W为特征图的宽度，H为特征图的高度，h为高度维度起始位置，w为宽度维度起始位置。
为了在效果和计算量上取得权衡，X取2~8之间的自然数，M取2或4。本实施例中设置M=2，X=8，将训练好的去噪网络模型提取出来，并使用去噪模型对50张验证图像进行测试。统计50张图像的平均信噪比及平均运算时间：
批处理归一化方法得到的模型 本发明方法得到的模型
平均信噪比/dB 26.47 28.92
平均处理时间/s 0.297 0.151
由上表可得知，在相同条件下，使用本发明方法训练的模型处理50张有噪声图像的效果优于采用批处理归一化方法训练的模型，且运算时间也少于采用批处理归一化方法训练的模型。结合图3可以看出，当批量为2或4的时候，测试模型的错误率也远远小于采用批处理归一化方法训练的模型的错误率，证明了本方法在神经网络训练过程中可以忽略样本批量大小带来的影响。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种图像去噪神经网络训练方法，其特征在于，包括：
步骤1：构建图像去噪数据集，将数据集中的图像修剪成统一尺寸，并进行数据增强处理；
步骤2：利用步骤1得到的图像去噪数据集对图像去噪神经网络进行模型训练，在训练的过程中，每一层卷积网络在经过卷积核卷积之后，对输出的特征图参数进行归一化处理；
其中，对参数进行归一化处理包括：
对于特征图的每个批量，按通道数C将像素分成X组，每个组有C/X个通道；
在每个组中，间隔M个通道进行采样，即每个组共采样（C/X）/M个通道；
对于每个组，对采样的不同通道的像素求均值和标准差，再使用求得的均值和方差对本组中各通道的像素数据做归一化，获得0~1分布。
2.根据权利要求1所述的图像去噪神经网络训练方法，其特征在于，计算均值
Figure 960834DEST_PATH_IMAGE001
和标准差
Figure 432267DEST_PATH_IMAGE002
的公式如下：
Figure 126291DEST_PATH_IMAGE003
Figure 24977DEST_PATH_IMAGE004
其中，
Figure 1023DEST_PATH_IMAGE005
为包含四个维度的特征图，四个维度分别为批量、宽度、高度、通道；W为特征图的宽度，H为特征图的高度，h为高度维度起始位置，w为宽度维度起始位置。
3.根据权利要求1或2所述的图像去噪神经网络训练方法，其特征在于，X取2~8之间的自然数，M取2或4。
CN202210143937.9A 2022-02-17 2022-02-17 一种图像去噪神经网络训练方法 Pending CN114186686A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210143937.9A CN114186686A (zh) 2022-02-17 2022-02-17 一种图像去噪神经网络训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210143937.9A CN114186686A (zh) 2022-02-17 2022-02-17 一种图像去噪神经网络训练方法

Publications (1)

Publication Number Publication Date
CN114186686A true CN114186686A (zh) 2022-03-15

Family

ID=80546068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210143937.9A Pending CN114186686A (zh) 2022-02-17 2022-02-17 一种图像去噪神经网络训练方法

Country Status (1)

Country Link
CN (1) CN114186686A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087273A (zh) * 2018-07-20 2018-12-25 哈尔滨工业大学（深圳） 基于增强的神经网络的图像复原方法、存储介质及系统
CN111596366A (zh) * 2020-06-24 2020-08-28 厦门大学 一种基于地震信号优化处理的波阻抗反演方法
CN111985613A (zh) * 2020-07-22 2020-11-24 东南大学 基于l1范数组归一化的卷积神经网络电路的归一化方法
CN113298734A (zh) * 2021-06-22 2021-08-24 云南大学 一种基于混合空洞卷积的图像修复方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087273A (zh) * 2018-07-20 2018-12-25 哈尔滨工业大学（深圳） 基于增强的神经网络的图像复原方法、存储介质及系统
CN111596366A (zh) * 2020-06-24 2020-08-28 厦门大学 一种基于地震信号优化处理的波阻抗反演方法
CN111985613A (zh) * 2020-07-22 2020-11-24 东南大学 基于l1范数组归一化的卷积神经网络电路的归一化方法
CN113298734A (zh) * 2021-06-22 2021-08-24 云南大学 一种基于混合空洞卷积的图像修复方法及系统

Similar Documents

Publication Publication Date Title
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN109598220B (zh) 一种基于多元输入多尺度卷积的人数统计方法
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN111008651B (zh) 一种基于多特征融合的图像翻拍检测方法
CN107688829A (zh) 一种基于支持向量机的识别系统及识别方法
CN106097256B (zh) 一种基于图像盲去模糊的视频图像模糊度检测方法
CN110930411B (zh) 一种基于深度相机的人体分割方法及系统
CN114972085B (zh) 一种基于对比学习的细粒度噪声估计方法和系统
CN111597933B (zh) 人脸识别方法和装置
CN112529854B (zh) 一种噪声估计方法、装置、存储介质及设备
WO2023082453A1 (zh) 一种图像处理方法及装置
CN111738954A (zh) 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN109359604B (zh) 面向巡检机器人的阴影干扰下仪表识别方法
CN111985314B (zh) 一种基于ViBe与改进LBP的烟雾检测方法
CN110555377A (zh) 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法
CN111160107B (zh) 一种基于特征匹配的动态区域检测方法
CN116385281A (zh) 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法
CN117541652A (zh) 一种基于深度lk光流法与d-prosac采样策略的动态slam方法
CN116823627A (zh) 一种基于图像复杂度评价的超大尺寸图像快速去噪方法
CN116612385B (zh) 基于深度高分辨率关系图卷积的遥感影像多类信息提取方法与系统
CN112132757B (zh) 一种基于神经网络的通用图像复原方法
CN117333795A (zh) 一种基于筛选后处理的河流表面流速测量方法及系统
CN110136164B (zh) 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220315