CN114972130B - 一种去噪神经网络的训练方法、装置及训练设备 - Google Patents

一种去噪神经网络的训练方法、装置及训练设备 Download PDF

Info

Publication number
CN114972130B
CN114972130B CN202210919220.9A CN202210919220A CN114972130B CN 114972130 B CN114972130 B CN 114972130B CN 202210919220 A CN202210919220 A CN 202210919220A CN 114972130 B CN114972130 B CN 114972130B
Authority
CN
China
Prior art keywords
sample
neural network
image
training
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210919220.9A
Other languages
English (en)
Other versions
CN114972130A (zh
Inventor
乐康
张耀
张滨
曹保桂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Seichitech Technology Co ltd
Original Assignee
Shenzhen Seichitech Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Seichitech Technology Co ltd filed Critical Shenzhen Seichitech Technology Co ltd
Priority to CN202210919220.9A priority Critical patent/CN114972130B/zh
Publication of CN114972130A publication Critical patent/CN114972130A/zh
Application granted granted Critical
Publication of CN114972130B publication Critical patent/CN114972130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种去噪神经网络的训练方法、装置及训练设备，用于以更优程度保留图像中的细节和纹理信息的同时，对图像去噪。本申请实施例方法包括：构建训练样本集；建立去噪神经网络架构，所述去噪神经网络架构包含特征提取部分和图像重构部分；从所述训练样本集中随机选取噪声样本通过所述去噪神经网络架构，输出第一样本图像；将所述第一样本图像与所述无噪声样本的对应像素进行MSE损失值计算，以生成损失值变化数据；判断所述损失值变化数据在预设区间内是否小于预设阈值；若所述损失值变化数据在预设区间内小于预设阈值，则确定所述去噪神经网络架构为目标神经网络架构。

Description

一种去噪神经网络的训练方法、装置及训练设备
技术领域
本申请实施例涉及图像数据处理领域，尤其涉及一种去噪神经网络的训练方法、装置及训练设备。
背景技术
图像噪声是指存在于图像数据中的多余的干扰信息。噪声在图像上的表现形式多为引起较强视觉效果的孤立像素点或像素块。图像噪声包括多种形式，比如脉冲噪声、摩尔纹、模糊化等，噪声的存在会影响图像的质量，和掩盖图像原本的信息，对图像的观测和后续处理造成麻烦。
数码相机等设备上的感光元件，其表面的三原色滤镜呈规则排布，因此，在遇到条纹空间频率相近的拍摄对象时，就会出现摩尔纹效应，例如，针织布料的拍摄图像、LED屏幕的屏摄图像等，摩尔纹的存在影响了样张的成像效果。就目前来说，减少摩尔纹的技术和方式有三类：滤波法、精确插值法和专业图像处理软件。
滤波法：通过引用模糊成像的方式来降低摩尔纹干扰，即利用两片光学低通滤镜将光信号在两个方向上分别分开，一束光线被分成四束光路，使得光学分辨率低于对应感光元件的二倍像素频率，降低了图像锐度，从而降低摩尔纹干扰，该方法虽然能够在拍摄中避免摩尔纹的发生，但以降低图像锐度为代价，会丢失图像中部分细节和纹理信息。精确插值法：在相机内部图像传感器的感光器阵列的表面覆盖一层彩色滤波阵列，每个像素点捕获红R、绿G、蓝B三种色彩中的一个像素值，然后利用其周围像素点的信息估计出缺失的另外两种颜色的像素值，得到全彩色图像。优点是可以降低图像传感器的采样频率，缺点是会增加在数字成像过程中摩尔纹的出现概率。专业图像处理软件：人为通过图像的后期处理软件对图像进行摩尔纹消除，人为消除存在主观性、随意性、效率低等缺点。
综上所述，就目前来说，就现有的减少图像摩尔纹的技术，在对图像进行噪声消除的过程中，会丢失图像中部分细节和纹理信息，因此，如何在对屏拍图中的摩尔纹进行消除的过程中，以更优程度保留图像中的细节和纹理信息，成为所要解决的重点。
发明内容
本申请实施例提供了一种去噪神经网络的训练方法、装置及训练设备，用于以更优程度保留图像中的细节和纹理信息的同时，对图像去噪。
本申请从第一方面提供了一种去噪神经网络的训练方法，包括：
构建训练样本集，所述训练样本集包含无噪声样本和多张经过不同噪声添加处理的噪声样本；
建立去噪神经网络架构，所述去噪神经网络架构包含特征提取部分和图像重构部分，所述特征提取部分包括多个Bottleneck模块，所述图像重构部分包括多个Up_sample模块和一个conv_out模块，所述Bottleneck模块由FE模块、Attention模块和FS模块连接组成，所述Up_sample模块由Conv_t模块、Add模块和Attention模块连接组成；
从所述训练样本集中随机选取噪声样本通过所述去噪神经网络架构，输出第一样本图像；
将所述第一样本图像与所述无噪声样本的对应像素进行MSE损失值计算，以生成损失值变化数据，所述损失值变化数据为每一次训练所述去噪神经网络架构时统计的损失值数据；
判断所述损失值变化数据在预设区间内是否小于预设阈值；
若所述损失值变化数据在预设区间内小于预设阈值，则确定所述去噪神经网络架构为目标神经网络架构。
可选的，所述从所述训练样本集中随机选取噪声样本通过所述去噪神经网络架构，输出第一样本图像，包括：
从所述训练样本集中随机选取噪声样本通过多个所述Bottleneck模块进行特征提取处理，生成第一样本特征；
将所述第一样本特征通过多个所述Up_sample模块进行重构恢复，生成第二样本特征；
将所述第二样本特征通过所述conv_out模块进行反卷积处理，得到第一样本图像。
可选的，所述从所述训练样本集中随机选取噪声样本通过多个所述Bottleneck模块进行特征提取处理，生成第一样本特征，具体包括：
通过所述FE模块、所述Attention模块和所述FS模块对所述训练样本集依次进行多层次卷积处理、归一化权重分配处理、通道压缩和特征融合处理，生成第一样本特征。
可选的，所述Attention模块的输入特征分为第一分支、第二分支和第三分支，所述第三分支至少包括全局池化层、第一全连接层、ReLU网络层、第二全连接层以及Sigmoid网络层；
所述归一化权重分配处理包括：
将通过所述FE模块的噪声样本通过所述第三分支输出维度等于输入特征通道数的归一化一维向量，所述归一化一维向量为各个特征通道的注意力权重；
将所述归一化一维向量与所述第二分支的各个特征通道相乘，再与所述第一分支的输入特征各值相加。
可选的，所述将所述第一样本特征通过多个所述Up_sample模块进行重构恢复，生成第二样本特征，具体包括：
将所述第一样本特征通过所述Conv_t模块进行反卷积和DropBlock处理，并通过所述Add模块与所述特征提取部分的同一层特征进行相加，以融合浅层特征信息；
将相加后的特征信息通过所述Attention模块进行特征选择处理，生成第二样本特征。
可选的，所述判断所述损失值变化数据在预设区间内是否小于预设阈值之后，所述训练方法还包括：
若确定所述损失值变化数据在预设区间内不小于预设阈值，则判断所述去噪神经网络架构的训练次数是否达到预设次数；
若确定所述去噪神经网络架构的训练次数达到预设次数，则通过小批梯度下降法更新所述去噪神经网络架构的权值，并保存训练过程中获取的所述训练样本集的特征；
从所述训练样本集中重新选取噪声样本输入所述去噪神经网络架构训练。
可选的，所述判断所述去噪神经网络架构的训练次数是否达到预设次数之后，所述训练方法还包括：
若确定所述去噪神经网络架构的训练次数未达到预设次数，则通过小批梯度下降法更新所述去噪神经网络架构的权值，并将所述噪声样本重新输入所述去噪神经网络架构训练。
可选的，所述无噪声样本为一张无噪声图像，所述噪声样本为多张不同噪声类型的缺陷图像；
所述构建训练样本集，包括：
获取无噪声图像，并对所述无噪声图像分别添加多种不同类型的噪声，以得到多张不同噪声类型的缺陷图像；
将所述无噪声图像与所述多张不同噪声类型的缺陷图像进行预处理，将预处理后的图像集合得到训练样本集，所述预处理包括图像的裁剪处理、图像间的对齐矫正以及图像的数据增强处理。
本申请从第二方面提供了一种去噪神经网络的训练装置，包括：
样本集构建单元，用于构建训练样本集，所述训练样本集包含无噪声样本和多张经过不同噪声添加处理的噪声样本；
神经网络构建单元，用于建立去噪神经网络架构，所述去噪神经网络架构包含特征提取部分和图像重构部分，所述特征提取部分包括多个Bottleneck模块，所述图像重构部分包括多个Up_sample模块和一个conv_out模块，所述Bottleneck模块由FE模块、Attention模块和FS模块连接组成，所述Up_sample模块由Conv_t模块、Add模块和Attention模块连接组成；
第一输出单元，用于从所述训练样本集中随机选取噪声样本通过所述去噪神经网络架构，输出第一样本图像；
损失值处理单元，用于将所述第一样本图像与所述无噪声样本的对应像素进行MSE损失值计算，以生成损失值变化数据，所述损失值变化数据为每一次训练所述去噪神经网络架构时统计的损失值数据；
第一判断单元，用于判断所述损失值变化数据在预设区间内是否小于预设阈值；
第一执行单元，用于当所述第一判断单元确定所述损失值变化数据在预设区间内小于预设阈值时，则确定所述去噪神经网络架构为目标神经网络架构。
可选的，所述第一输出单元，包括：
第一处理子单元，用于从所述训练样本集中随机选取噪声样本通过多个所述Bottleneck模块进行特征提取处理，生成第一样本特征；
第二处理子单元，用于将所述第一样本特征通过多个所述Up_sample模块进行重构恢复，生成第二样本特征；
第三处理子单元，用于将所述第二样本特征通过所述conv_out模块进行反卷积处理，输出第一样本图像。
可选的，所述第一处理子单元具体用于通过所述FE模块、所述Attention模块和所述FS模块对所述训练样本集依次进行多层次卷积处理、归一化权重分配处理、通道压缩和特征融合处理，生成第一样本特征。
可选的，所述Attention模块的输入特征分为第一分支、第二分支和第三分支，所述第三分支至少包括全局池化层、第一全连接层、ReLU网络层、第二全连接层以及Sigmoid网络层；
所述归一化权重分配处理包括：
将通过所述FE模块的噪声样本通过所述第三分支输出维度等于输入特征通道数的归一化一维向量，所述归一化一维向量为各个特征通道的注意力权重；
将所述归一化一维向量与所述第二分支的各个特征通道相乘，再与所述第一分支的输入特征各值相加。
可选的，所述第二处理子单元，具体用于将所述第一样本特征通过所述Conv_t模块进行反卷积和DropBlock处理，并通过所述Add模块与所述特征提取部分的同一层特征进行相加，以融合浅层特征信息，将相加后的特征信息通过所述Attention模块进行特征选择处理，生成第二样本特征。
可选的，所述训练装置还包括：
第二判断单元，用于当所述第一判断单元确定所述损失值变化数据在预设区间内不小于预设阈值时，则判断所述去噪神经网络架构的训练次数是否达到预设次数；
第二执行单元，用于当所述第二判断单元确定所述去噪神经网络架构的训练次数达到预设次数时，则通过小批梯度下降法更新所述去噪神经网络架构的权值，并保存训练过程中获取的所述训练样本集的特征，从所述训练样本集中重新选取噪声样本输入所述去噪神经网络架构训练；
第三执行单元，用于当所述第二判断单元确定所述去噪神经网络架构的训练次数未达到预设次数时，则通过小批梯度下降法更新所述去噪神经网络架构的权值，并将所述噪声样本重新输入所述去噪神经网络架构训练。
可选的，所述无噪声样本为一张无噪声图像，所述噪声样本为多张不同噪声类型的缺陷图像；
所述样本集构建单元，包括：
图像获取子单元，用于获取无噪声图像，并对所述无噪声图像分别添加多种不同类型的噪声，以得到多张不同噪声类型的缺陷图像；
预处理子单元，用于将所述无噪声图像与所述多张不同噪声类型的缺陷图像进行预处理，将预处理后的图像集合得到训练样本集，所述预处理包括图像的裁剪处理、图像间的对齐矫正以及图像的数据增强处理。
本申请从第三方面提供了一种去噪神经网络的训练设备，包括：
处理器、存储器、输入输出单元以及总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述存储器保存有程序，所述处理器调用所述程序以执行如第一方面以及第一方面的任意可选的训练方法。
本申请在第四方面提供了一种计算机可读存储介质，计算机可读存储介质上保存有程序，程序在计算机上执行时如第一方面以及第一方面任意可选的图像摩尔纹训练方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
首先，构建出训练样本，该训练样本里面包含有无噪声样本和有噪声样本；然后，构建去噪神经网络架构，该去噪神经网络架构中包含的FE模块、Attention模块和FS模块可提取样本集中图像的有用特征，即将噪声相关的特征尽可能消除，只保留无噪声的图片特征；接着，则是对该去噪神经网络架构进行训练：从训练样本中随机选取噪声样本通过该去噪神经网络架构，输出第一样本图像，分析该第一样本图像与无噪声样本像素的损失值，当预设区间内的损失值都小于预设阈值时，则可以确定该去噪神经网络架构训练完成。这样一来，训练完成的去噪神经网络架构可对图像进行去噪，将需要进行处理的噪声图像输入到训练好的去噪神经网络架构中，输出的去噪图像以更优程度保留了其中的细节和纹理信息。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请中去噪神经网络的训练方法的一种实施例流程示意图；
图2为本申请中去噪神经网络架构的结构示意图；
图3为本申请中去噪神经网络的训练方法的另一实施例流程示意图；
图4为本申请中去噪神经网络架构的FE模块的结构组成示意图；
图5为本申请中去噪神经网络架构的Attention模块的计算过程示意图；
图6为本申请中去噪神经网络架构的FS模块的结构组成示意图；
图7为本申请中去噪神经网络架构的网络层示意图；
图8为本申请中去噪神经网络架构的网络层的误差反向传播示意图；
图9为本申请中去噪神经网络架构的阈值更新示意图；
图10为本申请中去噪神经网络的训练装置的一种实施例结构示意图；
图11为本申请中去噪神经网络的训练装置的另一实施例结构示意图；
图12为本申请中训练设备的一个实施例结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当……时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
图像噪声包括多种形式，比如脉冲噪声、摩尔纹、模糊化等，噪声的存在会影响图像的质量，和掩盖图像原本的信息，对图像的观测和后续处理造成麻烦。目前，就现有技术来说，减少摩尔纹的技术和方式主要有三类：滤波法、精确插值法和专业图像处理软件，然而，这几种方法要么就是虽然能将图像的噪声去除，但会损失图像的特征信息，或增加在数字成像过程中摩尔纹的出现概率等，无法在保留图像特征信息的前提下，对图像进行噪声去除。
基于此，本申请公开了一种去噪神经网络的训练方法、装置及训练设备，该去噪神经网络由特征提取部分和图像重构部分两部分组成，其中，通过特征提取部分的Bottleneck模块对输入图像进行特征融合、提取等处理，并在从中区分出图形信息和噪声信息，加以删选；通过图像重构部分的Up_sample模块和conv_out模块，对通过特征提取部分处理的图像进行重构，以从提取完成的特征空间中重构恢复出无噪声的图像，从而实现以更优程度保留图像中的细节和纹理信息的同时，对图像去噪。
在对本申请进行描述之前，需要简要介绍深度学习注意力机制。深度学习attention机制是对人类视觉注意力机制的仿生，本质上是一种资源分配机制，生理原理就是人类视觉注意力能够以高分辨率接收于图片上的某个区域，并且以低分辨率感知其周边区域，并且视点能够随着时间而改变。换而言之，就是人眼通过快速扫描全局图像，找到需要关注的目标区域，然后对这个区域分配更多注意，目的在于获取更多细节信息和抑制其他无用信息。提高representation的高效性。
而在神经网络中，attention机制可以被认为是一种资源分配的机制，即对于原本平均分配的资源根据attention对象的重要程度重新分配资源，重要的对象就多分一点，不重要或者不好的对象就少分一点，在深度神经网络的结构设计中，attention所要分配的资源实际上指的是权重。
下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的方法可以应用于服务器、设备、终端或者其它具备逻辑处理能力的设备，对此，本申请不作限定。为方便描述，下面以执行主体为终端为例进行描述。
请参阅图1，如图1所示，本申请提供了去噪神经网络的训练方法的一个实施例，包括：
101、构建训练样本集，训练样本集包含无噪声样本和多张经过不同噪声添加处理的噪声样本；
图像噪声是指存在于图像数据中的不必要的或多余的干扰信息。在本申请实施例中，终端首先需要构建用于训练初始的去噪神经网络架构的训练样本集，用于对去噪神经网络架构进行训练。训练过程实质为根据需求向神经网络输入足够多的样本，通过一定算法调整神经网络的结构（主要是调节权值），使神经网络的输出与预期值相符，从而将神经网络训练完成。在本申请实施例中，针对于训练图像去噪神经网络架构，需要选取无噪声图像与对应的有噪声图像作为该去噪神经网络的输入训练样本，以使得训练样本集的图像噪声类型丰富充足，噪声类型可如高斯噪声、松噪声、乘性噪声、椒盐噪声等。
在本申请实施例中，获取训练样本集的方式可以是通过爬虫网络收集无缺陷的网络图像，或者拍照等方式获取到无缺陷的图像，接着，在该无缺陷图像的基础上增加不同噪声，形成多张不同噪声类型的图像，如，在该无缺陷图像的基础上增加椒盐噪声，可以通过PhotoShop软件在该无缺陷图像上加上白点；在该无缺陷图像的基础上增加点线缺陷，可以通过OpenCV库函数在该无缺陷图像上随机增加各种点线缺陷等。此处不做限定。
102、建立去噪神经网络架构；
神经网络的运行包含前向传播与反向传播两个过程，前向传播是将输入，比如一张图像，从网络输入层开始经过各层迭代处理，输出特征值；反向传播则是将输出的特征值与样本预期特征值之间的误差反向传回各层，各层再根据误差调整权重。“神经网络训练”则是将大量样本输入到网络，网络在不断前向、反向的过程中慢慢调整各层权重，使得最终结果能“大概率”满足样本需求的状态。
由于图像噪声缺陷的特征以及期望的结果，在本申请实施例中，可以构建具有针对性的去噪神经网络架构，通过对输入图片样本进行特征提取，将与噪声相关的特征尽可能消除，保留下无噪声的图片的细节和纹理信息；得到训练样本的高维特征空间后，再使用这些特征进行图像的重构恢复，使得该去噪神经网络架构对于噪声图像具有消除噪声的效果。
需要说明的是，在使用去噪神经网络架构时，先进行一定的参数设置，以及一定程度的初始训练后，再用于训练上述的训练样本集中的训练样本。
如图2所示，在本申请实施例中，所构建的去噪神经网络架构可以包含特征提取部分和图像重构部分，特征提取部分包括多个Bottleneck模块，图像重构部分包括多个Up_sample模块和一个conv_out模块。其中，Bottleneck模块由Feature Extraction模块（以下简称FE模块）、Attention模块和Feature Squeeze模块（以下简称FS模块）连接组成，用于从图像中提取特征并在从中区分出图像信息和噪声信息，并通过注意力机制对这些信息特征加以删选；Up_sample模块由Conv_t模块、Add模块和Attention模块连接组成，用于从Bottleneck模块中提取完成的特征空间中重构恢复出无噪声的图像；conv_out模块用于通过反卷积将从Up_sample模块输出的图像恢复成和输入原图一样大小的图像。
103、从训练样本集中随机选取噪声样本通过去噪神经网络架构，输出第一样本图像；
在本申请实施例中，终端从训练样本集中随机抽取出任意噪声类型的训练样本，输入去噪神经网络结构进行训练。本申请实施例中，可以采用小批量样本训练卷积神经网络，通过多次迭代，使得去噪神经网络架构对训练样本进行学习分析，以达到训练效果。
具体的可综合图2可知，输入的噪声样本图像进入图2中左边分支，依次经过各个Bottleneck模块，最后到达第6个Bottleneck模块，然后，第6个Bottleneck模块输出的特征图像进入到右边分支，从下到上开始图像重构过程，依次经过各个Up_sample模块，最后到达最上方的Up_sample模块，最后通过conv_out模块将图像恢复成和原图像一样大小的图片输出，该输出图像即为第一样本图像。
104、将第一样本图像与无噪声样本的对应像素进行MSE损失值计算，以生成损失值变化数据；
在本申请实施例中，无噪声样本在损失值计算中所起到的作用是参照对比。终端将通过去噪神经网络架构输出的第一样本图像与其对应的无噪声样本图像进行损失值计算，生成损失值变化数据。
在本申请实施例中，可以通过均方误差函数（MSE，Mean Squared Error）进行损失值计算，均方误差函数的公式如下所示：
Figure DEST_PATH_IMAGE001
其中，yi表示实际值，yi p表示预测值，n为输入样本数。
需要说明的是，在均方误差函数的公式中，所计算的是目标变量与预测值之间距离平方之和，目标是提取特征图推理一致性。当数据中出现一个误差较小的理想值时，MSE会产生一个非常小的损失和梯度，通过得到的值再进行反向梯度计算，以更新去噪神经网络架构的权重值。
具体的，在本申请实施例中，进行网络训练时，容易出现梯度消失或梯度爆炸的情况，导致部分反向传播的梯度不起作用或者反作用，因此，为了让网络在前向传播或反向传播的时候，提高卷积输出和传播梯度的稳定性，可以使用L2正则化和卷积正则化（以下简称DropBlock）处理用于去噪神经网络架构的过拟合效应，使用线性整流激活函数（ReLU，Rectified Linear Unit）和kaiming权重初始化。进一步的，为了减少该架构的训练时间和降低显卡显存消耗，可使用Nvidia APEX深度学习加速库并行计算。
105、判断损失值变化数据在预设区间内是否小于预设阈值，若是，则执行步骤106；
终端判断损失值变化数据在预设区间内的损失值是否小于预设阈值，例如：当训练次数达到了5万次时，需要获取最近5000次的损失值数据，并判断这5000次损失值在预设区间内是否都小于预设阈值0.0003，如果小于，则执行步骤106。
106、确定去噪神经网络架构为目标神经网络架构。
在本申请实施例中，当终端确定损失值变化数据在预设区间内都小于预设阈值时，则可以确定图像去噪效果达到预设要求，该去噪神经网络架构训练完成，终端确定该训练完成的去噪神经网络架构为目标神经网络架构，可以进入设计场景应用于图像去噪。
需要说明的是，训练完毕的目标神经网络架构需要部署上线才能够投入工业使用，网络架构的部署通常有3种方式，第一种为在计算机终端上直接安装调试AI坏境，包括AI相关底层安装库、Python文件包等，使用pycharm软件调用训练完成的神经网络架构文件进行测试，这种方式安装方便，每一批测试数据测试时需要手动方式启动检测；第二种为生成架构的可执行文件与host进行通信，通过host调用AI的可执行文件进行检测，这种方式需要修改host与AI可执行文件进行通信，可控性好，可以在host进行任何处理，也可以做成自动化；第三种为将去噪神经网络架构通过pytorch自带的C++转换工具Libtorch转换成可被C++调用文件，编写专门的软件，嵌入转换后的模型文件，独立测试，需要编写独立的软件，由于是通过C++调用模型文件，因此检测速度快。在本申请实施例中，除以上三种部署方式外，还可以使用后两种部署方式：通过pyinstaller软件将训练完成的去噪神经网络架构转换成.exe可执行文件，再在现场通过软件调用相关的AI可执行文件来进行检测；使用C#编写AI软件界面，使用Libtorch框架将去噪神经网络架构转换成torch script格式，封装成C++对外接口，通过C#软件调用去噪神经网络架构的C++接口进行检测。
在本申请实施例中，先针对图像去噪需求构建出无噪声与相关的噪声样本，然后，构建并训练包含Bottleneck模块、Up_sample模块以及conv_out模块的去噪神经网络架构，接着，利用模块中的深度学习注意力机制，通过训练自动筛选出图像无噪声部分的信息特征，去除图像噪声部分的信息特征，在训练过程中，去噪神经网络架构的模块在各个阶段会融合对应的图像特征，以实现最大限度保留之前的图像特征，避免浅层特征消失，更有利于图像重构。训练完毕的去噪神经网络架构则可应用于图像去噪场景中，让输入图像以更优程度保留图像中的细节和纹理信息的同时，实现去噪效果。
请参阅图3，如图3所示，为方便描述，下面以执行主体为终端为例进行描述，本申请提供了去噪神经网络的训练方法的另一个实施例，包括：
201、获取无噪声图像，并对无噪声图像分别添加多种不同类型的噪声，以得到多张不同噪声类型的缺陷图像；
202、将无噪声图像与多张不同噪声类型的缺陷图像进行预处理，将预处理后的图像集合得到训练样本集；
在本申请实施例中，终端首先需要构建用于训练初始的去噪神经网络架构的训练样本集，用于对去噪神经网络架构进行训练，而对于获取到的样本图像，在送入神经网络进行训练前，为了便于后期神经网络的运算处理，需要对这些样本图像进行预处理工作，预处理包括图像的裁剪处理、图像间的对齐矫正以及图像的数据增强处理等。
例如，要训练显示屏图像的去噪神经网络架构，则需要获取显示屏的无噪声图像，而通过拍照获取的图像除了显示屏屏幕部分之外还包括一些周围背景部分，这部分是图像可能会影响神经网络的训练及检测，且多出来的部分会增加神经网络训练和测试时的时间成本及算力消耗，因此可以通过图像裁剪的方式去除多余的背景部分，只保留原图中所需要的部分。
在本申请实施例中，由于所构建的训练样本集是用于后续训练去噪神经网络架构的，而训练神经网络架构需要用到大量的样本图片，通过从大量样本中学习到的信息特征进行建模。因此，在未有充足时间人力成本来获取图像数据集的情况下，需要通过数据增强方式人为“增加”样本图像，使得生成的图像和原图参数不一致，一定意义上形成了新的样本图像，达到扩充训练样本集的目的，其中，数据增加处理包括对图像进行的旋转、偏移、镜像、裁剪、拉伸、灰度变换等操作。
203、建立去噪神经网络架构；
204、从训练样本集中随机选取噪声样本通过多个Bottleneck模块进行特征提取处理，生成第一样本特征；
205、将第一样本特征通过多个Up_sample模块进行重构恢复，生成第二样本特征；
206、将第二样本特征通过conv_out模块进行反卷积处理，输出第一样本图像；
在本申请实施例中，整个去噪神经网络架构包含特征提取部分和图像重构部分，特征提取部分包括多个Bottleneck模块，图像重构部分包括多个Up_sample模块和一个conv_out模块，Bottleneck模块由FE模块、Attention模块和FS模块连接组成，Up_sample模块由Conv_t模块、Add模块和Attention模块连接组成。
其中，如图2所示，该去噪网络神经架构处理样本图像的过程如下：首先，训练样本图像通过Bottleneck模块使得特征图长宽减半，通道数增大；其中，在通过单个Bottleneck模块后，将单个Bottleneck模块输出的样本特征分为两条支路，一条输入下一级的Bottleneck模块进行特征提取，另一条输入同级的Up_sample模块，直至通过最下一级Bottleneck模块输出后，只将输出的样本特征输入上一级的Up_sample模块，多个Bottleneck模块的输出可视为第一样本特征；然后，分别在对应的Up_sample模块中进行反卷积操作，使得特征图长宽加一倍，特征通道数减小，再进行DropBlock处理，通过Add模块与特征提取部分的同一层特征进行相加，将浅层的特征信息融合进来，通过Attention模块进一步删选有用信息，多次处理后至最上一级Up_sample模块，输出第二样本特征；最后，通过Up_sample模块输出的第二样本特征送入conv_out模块，通过反卷积和3×3卷积恢复成和输入原图一样大小的3通道图像，该3通道图像即为第一样本图像。
需要说明的是，在本申请实施例中，采用了FPN特征金字塔结构用于图像多尺寸处理以及各个尺度下的特征融合。
需要说明的是，训练样本集的图像通过FE模块、Attention模块和FS模块生成第一样本特征，需要依次进行多层次卷积处理、归一化权重分配处理、通道压缩和特征融合处理。下面将结合本申请实施例，依次介绍FE模块、Attention模块和FS模块。
第一是FE模块，如图4所示，FE模块包括批量归一化、3×3卷积、ReLU激活函数非线性化和残差网络操作层，并加入DropBlock处理，用于通过卷积操作提取输入图像的特征，将图像的长宽尺寸进行减半，特征通道增加。
第二是Attention模块，Attention模块的计算过程图如图5所示，将其输入特征（即通过FE模块中输出的残差特征）分为第一分支、第二分支和第三分支，第三分支至少包括全局池化层、第一全连接层、ReLU网络层、第二全连接层以及Sigmoid网络层，用于对每个通道的重要性进行预测，对不同特征通道分配归一化权重，对不同特征通道分配归一化权重的实施方式可以为：将通过FE模块的噪声样本（的残差特征）通过第三分支输出一个维度等于输入特征通道数的归一化一维向量，以选择特征信息，具体的，归一化一维向量为各个特征通道的注意力权重；然后，再将归一化一维向量与第二分支的各个特征通道相乘，最后与第一分支的输入特征各值相加。
第三为FS模块，用于增加特征通道之间的信息交融，节省算力，FS模块的结构组成如图6所示，结合图6可知，FS模块可以对上一层输出图像进行批量归一化处理，再通过使用1×1卷积对上一层输出图像的特征通道进行压缩，减少特征通道数。
207、将第一样本图像与无噪声样本的对应像素进行MSE损失值计算，以生成损失值变化数据；
208、判断损失值变化数据在预设区间内是否小于预设阈值，若是，则执行步骤209，若否，则执行步骤210；
209、确定去噪神经网络架构为目标神经网络架构；
本实施例中的步骤207至步骤209与前述实施例中步骤104至步骤106类似，此处不再赘述。
210、判断去噪神经网络架构的训练次数是否达到预设次数，若是，则执行步骤211，若否，则执行步骤213；
211、通过小批梯度下降法更新去噪神经网络架构的权值，并保存训练过程中获取的训练样本集的特征；
212、从训练样本集中重新选取噪声样本输入去噪神经网络架构训练；
213、通过小批梯度下降法更新去噪神经网络架构的权值，并将噪声样本重新输入去噪神经网络架构训练。
在本申请实施例中，当确定损失值变化数据在预设区间内并没有小于预设阈值时，则确定该去噪神经网络架构并没有达到给图像精确去噪的训练效果，因此，需要更新该去噪神经网络架构的权值，继续对该去噪神经网络架构进行训练。其中，在对去噪神经网络架构的权值进行更新之前，需要先判断该去噪神经网络架构是否达到了一定的训练次数，再根据训练次数情况对该去噪神经网络进行相应的处理。
在本申请实施例中，采用nesterov代替momentum的SGDM优化器以及Adam优化器。
通过小批梯度下降法更新预训练去噪神经网络架构，其中批训练的梯度更新方式的公式如下所示：
Figure 285478DEST_PATH_IMAGE002
n是批量大小，η是学习率。
使用反向梯度求导，如图7所示，图7为一个初始去噪神经网络架构网络层的示意图。
如图7所示，在图7中，左侧为第一层，也是输入层，输入层包含两个神经元a和b，中间为第二层，也是隐含层，隐含层包含两个神经元c和d。右侧为第三层，也是输出层，输出层包含e和f，wjk l每条线上标的是层与层之间连接的权重。
wjk l代表第1层第j个神经元，与上一层（l-1）第k个神经元输出相对应的权重。
aj l代表第l层第j个神经元输出。
zj l代表第l层第j个神经元输入。
bj l代表第l层第j个神经元偏置。
W代表权重矩阵，Z代表输入矩阵，A代表输出矩阵，Y代表标准答案。
L代表神经网络架构的层数。
Figure 763864DEST_PATH_IMAGE003
向前传播的方法，即将输入层的信号传输至隐藏层，以隐藏层节点c为例，站在节点c上往后看（输入层的方向），可以看到有两个箭头指向节点c，因此a，b节点的信息将传递给c，同时每个箭头有一定的权重，因此对于c节点来说，输入信号为：
Figure 672914DEST_PATH_IMAGE004
同理，节点d的输入信号为：
Figure 211342DEST_PATH_IMAGE005
由于终端善于做带有循环的任务，因此可以用矩阵相乘来表示：
Figure 205843DEST_PATH_IMAGE006
所以，隐藏层节点经过非线性变换后的输出表示如下：
Figure 487920DEST_PATH_IMAGE007
同理，输出层的输入信号表示为权重矩阵乘以上一层的输出：
Figure 251477DEST_PATH_IMAGE008
同样，输出层节点经过非线性映射后的最终输出表示为：
Figure 226386DEST_PATH_IMAGE009
输入信号在权重矩阵们的帮助下，得到每一层的输出，最终到达输出层。可见，权重矩阵在前向传播信号的过程中扮演着运输兵的作用，起到承上启下的功能。
请参阅图8，图8为一个去噪神经网络架构网络层的误差反向传播示意图。向后传播的方法，既然梯度下降需要每一层都有明确的误差才能更新参数，所以接下来的重点是如何将输出层的误差反向传播给隐藏层。
其中输出层、隐藏层节点的误差如图8所示，输出层误差已知，接下来对隐藏层第一个节点c作误差分析。还是站在节点c上，不同的是这次是往前看（输出层的方向），可以看到指向c节点的两个粗箭头是从节点e和节点f开始的，因此对于节点c的误差肯定是和输出层的节点e和f有关。输出层的节点e有箭头分别指向了隐藏层的节点c和d，因此，对于隐藏节点e的误差不能被隐藏节点c霸为己有，而是要服从按劳分配的原则（按权重分配），同理节点f的误差也需服从这样的原则，因此对于隐藏层节点c的误差为：
Figure 645866DEST_PATH_IMAGE010
同理，对于隐藏层节点d的误差为：
Figure 528371DEST_PATH_IMAGE011
为了减少工作量，可写成矩阵相乘的形式：
Figure 349697DEST_PATH_IMAGE012
该矩阵比较繁琐，可简化到前向传播的形式，不破坏它们的比例，因此我们可以忽略掉分母部分，所以重新成矩阵形式为：
Figure 557824DEST_PATH_IMAGE013
该权重矩阵，其实是前向传播时权重矩阵w的转置，因此简写形式如下：
Figure 199021DEST_PATH_IMAGE014
输出层误差在转置权重矩阵的帮助下，传递到了隐藏层，这样我们就可以利用间接误差来更新与隐藏层相连的权重矩阵。可见，权重矩阵在反向传播的过程中同样扮演着运输兵的作用，只不过这次是搬运的输出误差，而不是输入信号。
接下来需要进行链式求导，上面介绍了输入信息的前向传播与输出误差的后向传播，接下来就根据求得的误差来更新参数，具体请参阅图9，图9为一个初始去噪神经网络架构网络层的阈值更新示意图。
首先对隐藏层的w11进行参数更新，更新之前需从后往前推导，直到预见w11为止，计算方式如下：
Figure 885217DEST_PATH_IMAGE015
因此误差对w11求偏导如下：
Figure 561049DEST_PATH_IMAGE016
求导得如下公式（所有值已知）：
Figure 940078DEST_PATH_IMAGE017
同理，误差对于w12的偏导如下：
Figure 68571DEST_PATH_IMAGE018
同样，求导得w12的求值公式：
Figure 558458DEST_PATH_IMAGE019
同理，误差对于偏置求偏导如下：
Figure 823218DEST_PATH_IMAGE020
求导得如下公式（所有值已知）：
Figure 373148DEST_PATH_IMAGE021
接着对输入层的w11进行参数更新，更新之前依旧需要执行从后往前推导操作，直到预见第一层的w11为止：
Figure 986007DEST_PATH_IMAGE022
因此误差对输入层的w11求偏导如下：
Figure 482847DEST_PATH_IMAGE023
求导得如下公式：
Figure 930009DEST_PATH_IMAGE024
同理，输入层的其他三个参数按照同样的方法即可求出各自的偏导，此处不做赘述。在每个参数偏导数明确的情况下，带入梯度下降公式如下：
Figure 322945DEST_PATH_IMAGE025
至此，利用链式法则来对每层参数进行更新的任务已经完成。
SGDM动量算法在SGD基础上引入了动量ν充当速度角色，它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数移动平均。动量在物理上定义为质量乘以速度，这里我们假设是单位质量，因此速度m也看作是粒子的动量。
超参数γ∈[0,1)决定了之前梯度的贡献衰减得有多快，当γ=1时，动量算法等价于小批量随机梯度下降。其更新公式为：
Figure 488347DEST_PATH_IMAGE026
其中，mt为实际的参数更新方向，mt-1为上一步的参数更新方向，gt为当前梯度，θt为当前权值，θt-1为上一次的权值。
Nesterov动量与标准动量得区别体现在梯度计算上。Nesterov动量中，梯度计算在施加当前速度之后。
Nesterov是momentum算法得改进算法：Momentum保留了上一时刻的梯度gθt，对其没有进行任何改变，NAG是在梯度更新时做一个矫正。
在动量法中，实际的参数更新方向mt为上一步的参数更新方向mt-1和当前梯度gt的叠加。这样，mt可以被拆分为两步进行，先根据mt-1更新一次得到参数，再用gt进行更新。更新的过程公式如下：
Figure 257720DEST_PATH_IMAGE027
在本申请实施例中，在对去噪神经网络架构训练的过程中，在更新了去噪神经网络架构的权重之后，还可以把训练过程中获取到的训练样本集的特征和概率分布进行模型保存，目的是在每一组训练样本的训练次数达标之后，保留一个模型，以使得在后续训练过程中出现泛化、过拟合等问题时，还可以使用原先保存下来的去噪神经网络架构。
为验证训练好的去噪神经网络架构，还可以将存在噪声缺陷的图像输入至已训练完毕的去噪神经网络架构中进行推理，重构消除噪声后的新图像，并与通过传统的噪声缺陷检测软件判定结果进行综合判断。
在本申请实施例中，为了能够使训练好的去噪神经网络具备更优的图像检测噪声精度和提高图像去噪的准确率，需要构建特定类型的训练样本，即先获取无噪声图像，再在该无噪声图像上分别添加多种不同类型的噪声，生成多张含有不同噪声的噪声图像。其中，无噪声图像在训练去噪神经网络的过程中起到参照作用。使用了FPN特征金字塔结构对图像进行多尺寸处理以及各个尺度下的特征融合，所训练好的去噪神经网络架构基于批次归一化、3×3卷积、非线性化操作的FE模块；Attention模块；基于3×3卷积和1×1卷积的FS模块；基于反卷积操作、add模块和和Attention模块的图像重构部分；增加了L2正则化和DropBlock技术用于防止去噪神经网络架构过拟合；增加了Resnet技术增加前后特征层的数据交互，最大限度保留浅层的特征，消除梯度消失现象，以上综合可进一步提高本申请实施例中的去噪神经网络的泛化性能，提高了消除图像噪声的精确性。
请参阅图10，如图10所示，本申请提供的去噪神经网络的训练装置的一个实施例，包括：
样本集构建单元301，用于构建训练样本集，训练样本集包含无噪声样本和多张经过不同噪声添加处理的噪声样本；
神经网络构建单元302，用于建立去噪神经网络架构，去噪神经网络架构包含特征提取部分和图像重构部分，特征提取部分包括多个Bottleneck模块，图像重构部分包括多个Up_sample模块和一个conv_out模块，Bottleneck模块由FE模块、Attention模块和FS模块连接组成，Up_sample模块由Conv_t模块、Add模块和Attention模块连接组成；
第一输出单元303，用于从训练样本集中随机选取噪声样本通过去噪神经网络架构，输出第一样本图像；
损失值处理单元304，用于将第一样本图像与无噪声样本的对应像素进行MSE损失值计算，以生成损失值变化数据，损失值变化数据为每一次训练去噪神经网络架构时统计的损失值数据；
第一判断单元305，用于判断损失值变化数据在预设区间内是否小于预设阈值；
第一执行单元306，用于当第一判断单元305确定损失值变化数据在预设区间内小于预设阈值时，则确定去噪神经网络架构为目标神经网络架构。
在本申请实施例中，首先，样本集构建单元301构建训练样本集，使得样本集中包含无噪声样本和多张经过不同噪声添加处理的噪声样本，神经网络构建单元302构建包含多个Bottleneck模块、多个Up_sample模块和一个conv_out模块的去噪神经网络架构，其中，Bottleneck模块由FE模块、Attention模块和FS模块连接组成，FE模块通过卷积操作提取输入样本的特征，将样本的长宽尺寸进行减半，特征通道增加；Attention模块对样本各类特征信息进行重新分配，增强某些特征通道而抑制其他的特征通道，以达到选择特征信息的效果；FS模块则是通过压缩特征通道，减少特征通道数，以增加特征通道之间的信息交融；Up_sample模块由Conv_t模块、Add模块和Attention模块连接组成，用于从特征提取部分中提取完成的特征空间中重构恢复出无噪声的图像；然后，第一输出单元303从训练样本集中随机选取噪声样本通过去噪神经网络架构，输出第一样本图像，通过损失值处理单元304将第一样本图像与无噪声样本的对应像素进行MSE损失值计算后，第一判断单元305对通过损失值处理单元304得到的损失值变化数据进行判断分析，若该损失值变化数据在预设区间内皆小于预设阈值，则可以确定去噪神经网络架构已经训练完成，第一执行单元306确定该去噪神经网络架构为目标神经网络架构。在本技术方案中，使用了深度学习注意力机制，即使用了Attention模块，通过训练自动筛选出图像无噪声部分的信息特征，去除图像噪声部分的信息特征，通过特征提取部分和图像重构部分对输入图像进行多尺寸处理以及各个尺度下的特征融合，提取输入图像有用特征，并以此重构无噪声图像，实现了以更优程度保留图像中的细节和纹理信息的同时，对图像去噪的效果。
请参阅图11，如图11所示，本申请提供的去噪神经网络的训练装置的另一个实施例，包括：
样本集构建单元401，用于构建训练样本集，训练样本集包含无噪声样本和多张经过不同噪声添加处理的噪声样本；
神经网络构建单元402，用于建立去噪神经网络架构，去噪神经网络架构包含特征提取部分和图像重构部分，特征提取部分包括多个Bottleneck模块，图像重构部分包括多个Up_sample模块和一个conv_out模块，Bottleneck模块由FE模块、Attention模块和FS模块连接组成，Up_sample模块由Conv_t模块、Add模块和Attention模块连接组成；
第一输出单元403，用于从训练样本集中随机选取噪声样本通过去噪神经网络架构，输出第一样本图像；
损失值处理单元404，用于将第一样本图像与无噪声样本的对应像素进行MSE损失值计算，以生成损失值变化数据，损失值变化数据为每一次训练去噪神经网络架构时统计的损失值数据；
第一判断单元405，用于判断损失值变化数据在预设区间内是否小于预设阈值；
第一执行单元406，用于当第一判断单元405确定损失值变化数据在预设区间内小于预设阈值时，则确定去噪神经网络架构为目标神经网络架构；
第二判断单元407，用于当第一判断单元405确定损失值变化数据在预设区间内不小于预设阈值时，则判断去噪神经网络架构的训练次数是否达到预设次数；
第二执行单元408，用于当第二判断单元407确定去噪神经网络架构的训练次数达到预设次数时，则通过小批梯度下降法更新去噪神经网络架构的权值，并保存训练过程中获取的训练样本集的特征，从训练样本集中重新选取噪声样本输入去噪神经网络架构训练；
第三执行单元409，用于当第二判断单元407确定去噪神经网络架构的训练次数未达到预设次数时，则通过小批梯度下降法更新去噪神经网络架构的权值，并将噪声样本重新输入去噪神经网络架构训练。
在本申请实施例中，样本集构建单元401可以包括：
图像获取子单元4011，用于获取无噪声图像，并对无噪声图像分别添加多种不同类型的噪声，以得到多张不同噪声类型的缺陷图像；
预处理子单元4012，用于将无噪声图像与多张不同噪声类型的缺陷图像进行预处理，将预处理后的图像集合得到训练样本集，预处理包括图像的裁剪处理、图像间的对齐矫正以及图像的数据增强处理；
在本申请实施例中，第一输出单元403可以包括：
第一处理子单元4031，用于从训练样本集中随机选取噪声样本通过多个Bottleneck模块进行特征提取处理，生成第一样本特征；
第二处理子单元4032，用于将第一样本特征通过多个Up_sample模块进行重构恢复，生成第二样本特征；
第三处理子单元4033，用于将第二样本特征通过conv_out模块进行反卷积处理，输出第一样本图像。
在本申请实施例中，第一处理子单元4031具体用于通过FE模块、Attention模块和FS模块对训练样本集依次进行多层次卷积处理、归一化权重分配处理、通道压缩和特征融合处理，生成第一样本特征。
在本申请实施例中，Attention模块的输入特征分为第一分支、第二分支和第三分支，第三分支至少包括全局池化层、第一全连接层、ReLU网络层、第二全连接层以及Sigmoid网络层；
归一化权重分配处理包括：
将通过FE模块的噪声样本通过第三分支输出维度等于输入特征通道数的归一化一维向量，归一化一维向量为各个特征通道的注意力权重；
将归一化一维向量与第二分支的各个特征通道相乘，再与第一分支的输入特征各值相加。
在本申请实施例中，第二处理子单元4032，具体用于将第一样本特征通过Conv_t模块进行反卷积和DropBlock处理，并通过Add模块与特征提取部分的同一层特征进行相加，以融合浅层特征信息，将相加后的特征信息通过Attention模块进行特征选择处理，生成第二样本特征。
在本申请实施例中，无噪声样本为一张无噪声图像，噪声样本为多张不同噪声类型的缺陷图像。
请参阅图12，如图12所示，本申请提供的去噪神经网络的训练设备的一个实施例，包括：
处理器501、存储器502、输入输出单元503以及总线504；
处理器501与存储器502、输入输出单元503以及总线504相连；
存储器502保存有程序，处理器501调用程序以执行以下方法：
构建训练样本集，训练样本集包含无噪声样本和多张经过不同噪声添加处理的噪声样本；
建立去噪神经网络架构，去噪神经网络架构包含特征提取部分和图像重构部分，特征提取部分包括多个Bottleneck模块，图像重构部分包括多个Up_sample模块和一个conv_out模块，Bottleneck模块由FE模块、Attention模块和FS模块连接组成，Up_sample模块由Conv_t模块、Add模块和Attention模块连接组成；
从训练样本集中随机选取噪声样本通过去噪神经网络架构，输出第一样本图像；
将第一样本图像与无噪声样本的对应像素进行MSE损失值计算，以生成损失值变化数据，损失值变化数据为每一次训练去噪神经网络架构时统计的损失值数据；
判断损失值变化数据在预设区间内是否小于预设阈值；
若损失值变化数据在预设区间内小于预设阈值，则确定去噪神经网络架构为目标神经网络架构。
可选的，从训练样本集中随机选取噪声样本通过去噪神经网络架构，输出第一样本图像，包括：
从训练样本集中随机选取噪声样本通过多个Bottleneck模块进行特征提取处理，生成第一样本特征；
将第一样本特征通过多个Up_sample模块进行重构恢复，生成第二样本特征；
将第二样本特征通过conv_out模块进行反卷积处理，得到第一样本图像。
可选的，从训练样本集中随机选取噪声样本通过多个Bottleneck模块进行特征提取处理，生成第一样本特征，具体包括：
通过FE模块、Attention模块和FS模块对训练样本集依次进行多层次卷积处理、归一化权重分配处理、通道压缩和特征融合处理，生成第一样本特征。
可选的，Attention模块的输入特征分为第一分支、第二分支和第三分支，第三分支至少包括全局池化层、第一全连接层、ReLU网络层、第二全连接层以及Sigmoid网络层；
归一化权重分配处理包括：
将通过FE模块的噪声样本通过第三分支输出维度等于输入特征通道数的归一化一维向量，归一化一维向量为各个特征通道的注意力权重；
将归一化一维向量与第二分支的各个特征通道相乘，再与第一分支的输入特征各值相加。
可选的，将第一样本特征通过多个Up_sample模块进行重构恢复，生成第二样本特征，具体包括：
将第一样本特征通过Conv_t模块进行反卷积和DropBlock处理，并通过Add模块与特征提取部分的同一层特征进行相加，以融合浅层特征信息；
将相加后的特征信息通过Attention模块进行特征选择处理，生成第二样本特征。
可选的，判断损失值变化数据在预设区间内是否小于预设阈值之后，训练方法还包括：
若确定损失值变化数据在预设区间内不小于预设阈值，则判断去噪神经网络架构的训练次数是否达到预设次数；
若确定去噪神经网络架构的训练次数达到预设次数，则通过小批梯度下降法更新去噪神经网络架构的权值，并保存训练过程中获取的训练样本集的特征；
从训练样本集中重新选取噪声样本输入去噪神经网络架构训练。
可选的，判断去噪神经网络架构的训练次数是否达到预设次数之后，训练方法还包括：
若确定去噪神经网络架构的训练次数未达到预设次数，则通过小批梯度下降法更新去噪神经网络架构的权值，并将噪声样本重新输入去噪神经网络架构训练。
可选的，无噪声样本为一张无噪声图像，噪声样本为多张不同噪声类型的缺陷图像；
所述构建训练样本集，包括：
获取无噪声图像，并对无噪声图像分别添加多种不同类型的噪声，以得到多张不同噪声类型的缺陷图像；
将无噪声图像与多张不同噪声类型的缺陷图像进行预处理，将预处理后的图像集合得到训练样本集，预处理包括图像的裁剪处理、图像间的对齐矫正以及图像的数据增强处理。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，read-onlymemory）、随机存取存储器（RAM，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (7)

1.一种去噪神经网络的训练方法，其特征在于，包括：
构建训练样本集，所述训练样本集包含无噪声样本和多张经过不同噪声添加处理的噪声样本，所述噪声样本为在所述无噪声样本的基础上增加不同噪声所形成的图像；
建立去噪神经网络架构，所述去噪神经网络架构包含特征提取部分和图像重构部分，所述特征提取部分包括多个Bottleneck模块，所述图像重构部分包括多个Up_sample模块和一个conv_out模块，所述Bottleneck模块由FE模块、Attention模块和FS模块连接组成，所述Up_sample模块由Conv_t模块、Add模块和Attention模块连接组成，所述FE模块包括批量归一化、3×3卷积、ReLU激活函数非线性化和残差网络操作层，并加入DropBlock处理，用于通过卷积操作提取输入图像的特征，将图像的长宽尺寸进行减半，特征通道增加，所述FS模块用于对上一层输出图像进行批量归一化处理，再通过使用1×1卷积对上一层输出图像的特征通道进行压缩，减少特征通道数；
从所述训练样本集中随机选取噪声样本通过所述去噪神经网络架构，输出第一样本图像；
将所述第一样本图像与所述无噪声样本的对应像素进行MSE损失值计算，以生成损失值变化数据，所述损失值变化数据为每一次训练所述去噪神经网络架构时统计的损失值数据；
判断所述损失值变化数据在预设区间内是否小于预设阈值；
若所述损失值变化数据在预设区间内小于预设阈值，则确定所述去噪神经网络架构为目标神经网络架构；
所述从所述训练样本集中随机选取噪声样本通过所述去噪神经网络架构，输出第一样本图像，包括：
从所述训练样本集中随机选取噪声样本通过多个所述Bottleneck模块进行特征提取处理，生成第一样本特征；
将所述第一样本特征通过多个所述Up_sample模块进行重构恢复，生成第二样本特征；
将所述第二样本特征通过所述conv_out模块进行反卷积处理，输出第一样本图像；
所述从所述训练样本集中随机选取噪声样本通过多个所述Bottleneck模块进行特征提取处理，生成第一样本特征，具体包括：
通过所述FE模块、所述Attention模块和所述FS模块对所述训练样本集依次进行多层次卷积处理、归一化权重分配处理、通道压缩和特征融合处理，生成第一样本特征；
所述Attention模块的输入特征分为第一分支、第二分支和第三分支，所述第三分支至少包括全局池化层、第一全连接层、ReLU网络层、第二全连接层以及Sigmoid网络层；
所述归一化权重分配处理包括：
将通过所述FE模块的噪声样本通过所述第三分支输出维度等于输入特征通道数的归一化一维向量，所述归一化一维向量为各个特征通道的注意力权重；
将所述归一化一维向量与所述第二分支的各个特征通道相乘，再与所述第一分支的输入特征各值相加。
2.根据权利要求1所述的训练方法，其特征在于，所述将所述第一样本特征通过多个所述Up_sample模块进行重构恢复，生成第二样本特征，具体包括：
将所述第一样本特征通过所述Conv_t模块进行反卷积和DropBlock处理，并通过所述Add模块与所述特征提取部分的同一层特征进行相加，以融合浅层特征信息；
将相加后的特征信息通过所述Attention模块进行特征选择处理，生成第二样本特征。
3.根据权利要求1所述的训练方法，其特征在于，所述判断所述损失值变化数据在预设区间内是否小于预设阈值之后，所述训练方法还包括：
若确定所述损失值变化数据在预设区间内不小于预设阈值，则判断所述去噪神经网络架构的训练次数是否达到预设次数；
若确定所述去噪神经网络架构的训练次数达到预设次数，则通过小批梯度下降法更新所述去噪神经网络架构的权值，并保存训练过程中获取的所述训练样本集的特征；
从所述训练样本集中重新选取噪声样本输入所述去噪神经网络架构训练。
4.根据权利要求3所述的训练方法，其特征在于，所述判断所述去噪神经网络架构的训练次数是否达到预设次数之后，所述训练方法还包括：
若确定所述去噪神经网络架构的训练次数未达到预设次数，则通过小批梯度下降法更新所述去噪神经网络架构的权值，并将所述噪声样本重新输入所述去噪神经网络架构训练。
5.根据权利要求1至4任一项所述的训练方法，其特征在于，所述无噪声样本为一张无噪声图像，所述噪声样本为多张不同噪声类型的缺陷图像；
所述构建训练样本集，包括：
获取无噪声图像，并对所述无噪声图像分别添加多种不同类型的噪声，以得到多张不同噪声类型的缺陷图像；
将所述无噪声图像与所述多张不同噪声类型的缺陷图像进行预处理，将预处理后的图像集合得到训练样本集，所述预处理包括图像的裁剪处理、图像间的对齐矫正以及图像的数据增强处理。
6.一种去噪神经网络的训练装置，其特征在于，包括：
样本集构建单元，用于构建训练样本集，所述训练样本集包含无噪声样本和多张经过不同噪声添加处理的噪声样本，所述噪声样本为在所述无噪声样本的基础上增加不同噪声所形成的图像；
神经网络构建单元，用于建立去噪神经网络架构，所述去噪神经网络架构包含特征提取部分和图像重构部分，所述特征提取部分包括多个Bottleneck模块，所述图像重构部分包括多个Up_sample模块和一个conv_out模块，所述Bottleneck模块由FE模块、Attention模块和FS模块连接组成，所述Up_sample模块由Conv_t模块、Add模块和Attention模块连接组成，所述FE模块包括批量归一化、3×3卷积、ReLU激活函数非线性化和残差网络操作层，并加入DropBlock处理，用于通过卷积操作提取输入图像的特征，将图像的长宽尺寸进行减半，特征通道增加，所述FS模块用于对上一层输出图像进行批量归一化处理，再通过使用1×1卷积对上一层输出图像的特征通道进行压缩，减少特征通道数；
第一输出单元，用于从所述训练样本集中随机选取噪声样本通过所述去噪神经网络架构，输出第一样本图像；
损失值处理单元，用于将所述第一样本图像与所述无噪声样本的对应像素进行MSE损失值计算，以生成损失值变化数据，所述损失值变化数据为每一次训练所述去噪神经网络架构时统计的损失值数据；
第一判断单元，用于判断所述损失值变化数据在预设区间内是否小于预设阈值；
第一执行单元，用于当所述第一判断单元确定所述损失值变化数据在预设区间内小于预设阈值时，则确定所述去噪神经网络架构为目标神经网络架构；
所述第一输出单元，包括：
第一处理子单元，用于从所述训练样本集中随机选取噪声样本通过多个所述Bottleneck模块进行特征提取处理，生成第一样本特征；
第二处理子单元，用于将所述第一样本特征通过多个所述Up_sample模块进行重构恢复，生成第二样本特征；
第三处理子单元，用于将所述第二样本特征通过所述conv_out模块进行反卷积处理，输出第一样本图像；
所述第一处理子单元具体用于通过所述FE模块、所述Attention模块和所述FS模块对所述训练样本集依次进行多层次卷积处理、归一化权重分配处理、通道压缩和特征融合处理，生成第一样本特征；
所述Attention模块的输入特征分为第一分支、第二分支和第三分支，所述第三分支至少包括全局池化层、第一全连接层、ReLU网络层、第二全连接层以及Sigmoid网络层；
所述归一化权重分配处理包括：
将通过所述FE模块的噪声样本通过所述第三分支输出维度等于输入特征通道数的归一化一维向量，所述归一化一维向量为各个特征通道的注意力权重；
将所述归一化一维向量与所述第二分支的各个特征通道相乘，再与所述第一分支的输入特征各值相加。
7.一种去噪神经网络的训练设备，其特征在于，包括：
处理器、存储器、输入输出单元以及总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述存储器保存有程序，所述处理器调用所述程序以执行如权利要求1至5任意一项所述的训练方法。
CN202210919220.9A 2022-08-02 2022-08-02 一种去噪神经网络的训练方法、装置及训练设备 Active CN114972130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210919220.9A CN114972130B (zh) 2022-08-02 2022-08-02 一种去噪神经网络的训练方法、装置及训练设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210919220.9A CN114972130B (zh) 2022-08-02 2022-08-02 一种去噪神经网络的训练方法、装置及训练设备

Publications (2)

Publication Number Publication Date
CN114972130A CN114972130A (zh) 2022-08-30
CN114972130B true CN114972130B (zh) 2022-11-18

Family

ID=82969232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210919220.9A Active CN114972130B (zh) 2022-08-02 2022-08-02 一种去噪神经网络的训练方法、装置及训练设备

Country Status (1)

Country Link
CN (1) CN114972130B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115860113B (zh) * 2023-03-03 2023-07-25 深圳精智达技术股份有限公司 一种自对抗神经网络模型的训练方法及相关装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658344A (zh) * 2018-11-12 2019-04-19 哈尔滨工业大学（深圳） 基于深度学习的图像去噪方法、装置、设备和存储介质
CN110349103A (zh) * 2019-07-01 2019-10-18 昆明理工大学 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法
CN111583129A (zh) * 2020-04-09 2020-08-25 天津大学 基于卷积神经网络AMNet的屏摄图像摩尔纹去除方法
CN112819732A (zh) * 2021-04-19 2021-05-18 中南大学 一种探地雷达B-scan图像去噪方法
CN113610719A (zh) * 2021-07-19 2021-11-05 河南大学 一种注意力和密集连接残差块卷积核神经网络图像去噪方法
CN113723516A (zh) * 2021-08-31 2021-11-30 平安科技（深圳）有限公司 基于神经网络的摩尔纹去除方法、装置、设备及介质
CN114140353A (zh) * 2021-11-25 2022-03-04 苏州大学 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN114240797A (zh) * 2021-12-22 2022-03-25 海南大学 一种oct图像去噪方法、装置、设备及介质
CN114663310A (zh) * 2022-03-24 2022-06-24 重庆邮电大学 一种基于多注意力融合的超声图像去噪方法
CN114757844A (zh) * 2022-04-20 2022-07-15 深圳精智达技术股份有限公司 一种图像摩尔纹消除方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120020A (zh) * 2019-04-30 2019-08-13 西北工业大学 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
CN112200750B (zh) * 2020-10-21 2022-08-05 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法
CN112329778A (zh) * 2020-10-23 2021-02-05 湘潭大学 一种引进特征交叉注意力机制的语义分割方法
CN112785598B (zh) * 2020-11-05 2022-05-13 南京天智信科技有限公司 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法
CN114429428B (zh) * 2022-01-06 2024-09-06 天津大学 基于注意力机制的偏振图像去噪方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658344A (zh) * 2018-11-12 2019-04-19 哈尔滨工业大学（深圳） 基于深度学习的图像去噪方法、装置、设备和存储介质
CN110349103A (zh) * 2019-07-01 2019-10-18 昆明理工大学 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法
CN111583129A (zh) * 2020-04-09 2020-08-25 天津大学 基于卷积神经网络AMNet的屏摄图像摩尔纹去除方法
CN112819732A (zh) * 2021-04-19 2021-05-18 中南大学 一种探地雷达B-scan图像去噪方法
CN113610719A (zh) * 2021-07-19 2021-11-05 河南大学 一种注意力和密集连接残差块卷积核神经网络图像去噪方法
CN113723516A (zh) * 2021-08-31 2021-11-30 平安科技（深圳）有限公司 基于神经网络的摩尔纹去除方法、装置、设备及介质
CN114140353A (zh) * 2021-11-25 2022-03-04 苏州大学 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN114240797A (zh) * 2021-12-22 2022-03-25 海南大学 一种oct图像去噪方法、装置、设备及介质
CN114663310A (zh) * 2022-03-24 2022-06-24 重庆邮电大学 一种基于多注意力融合的超声图像去噪方法
CN114757844A (zh) * 2022-04-20 2022-07-15 深圳精智达技术股份有限公司 一种图像摩尔纹消除方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BAM: Bottleneck Attention Module;Jongchan Park等;《arXiv:1807.06514v2 [cs.CV]》;20180718;摘要、第3节及图1、图2 *
Deep Residual Shrinkage Networks for Fault Diagnosis;M. Zhao等;《IEEE Transactions on Industrial Informatics》;20191231;第4681-4690页 *
Mop moire patterns using mopnet;He B等;《Proceedings of the IEEE/CVF International Conference on Computer Vision》;20191231;第2424-2432页 *
基于深度卷积神经网络的图像去噪研究;李传朋等;《计算机工程>;20171231;第43卷(第3期);第253-260页 *
融合注意力机制与密集多尺度特征的异质噪声虹膜分割方法;尤轩昂等;《激光与光电子学进展》;20220208;第59卷(第4期);第1-12页 *

Also Published As

Publication number Publication date
CN114972130A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
Claus et al. Videnn: Deep blind video denoising
CN111402146B (zh) 图像处理方法以及图像处理装置
CN112419184B (zh) 一种综合局部信息和全局信息的空间注意力图像去噪方法
US20220301114A1 (en) Noise Reconstruction For Image Denoising
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN114757844A (zh) 一种图像摩尔纹消除方法及装置
JP7508265B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN114463176B (zh) 基于改进esrgan的图像超分辨重建方法
US20220156891A1 (en) Methods and systems for deblurring blurry images
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN114972130B (zh) 一种去噪神经网络的训练方法、装置及训练设备
KR102095444B1 (ko) 딥러닝 기반의 선형성을 갖는 노이즈 영상 제거 방법 및 장치
CN117114984A (zh) 基于生成对抗网络的遥感图像超分辨率重建方法
Zhao et al. Deep pyramid generative adversarial network with local and nonlocal similarity features for natural motion image deblurring
CN116664446A (zh) 基于残差密集块的轻量级暗光图像增强方法
De los Reyes et al. Bilevel optimization methods in imaging
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN118052717A (zh) 图像超分模型的训练方法和图像超分方法
US11443414B2 (en) Image signal processing
CN111402173B (zh) 一种混合噪声去除方法、装置、电子设备和存储介质
CN115346091B (zh) 一种Mura缺陷图像数据集的生成方法和生成装置
CN114862699B (zh) 基于生成对抗网络的人脸修复方法、装置及存储介质
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统
Piriyatharawet et al. Image denoising with deep convolutional and multi-directional LSTM networks under Poisson noise environments
Liao et al. Pyramid Spatial Feature Transform and Shared-Offsets Deformable Alignment Based Convolutional Network for HDR Imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant