CN107689034A - 一种神经网络的训练方法、去噪方法及装置 - Google Patents
一种神经网络的训练方法、去噪方法及装置 Download PDFInfo
- Publication number
- CN107689034A CN107689034A CN201710702119.7A CN201710702119A CN107689034A CN 107689034 A CN107689034 A CN 107689034A CN 201710702119 A CN201710702119 A CN 201710702119A CN 107689034 A CN107689034 A CN 107689034A
- Authority
- CN
- China
- Prior art keywords
- neutral net
- denoising
- training
- sample set
- internet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007935 neutral effect Effects 0.000 title claims abstract description 158
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000005070 sampling Methods 0.000 claims abstract description 20
- 230000004913 activation Effects 0.000 claims description 35
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 27
- 230000002708 enhancing effect Effects 0.000 claims description 15
- 230000001537 neural effect Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000003252 repetitive effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 11
- 238000000605 extraction Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000004218 nerve net Anatomy 0.000 description 4
- 238000003475 lamination Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种神经网络的训练方法、去噪方法及装置。其中，神经网络的训练方法包括：建立初始神经网络，所述初始神经网络至少包括降采样网络层、残差网络层和上采样网络层；根据预设训练样本集对所述初始神经网络进行迭代训练，生成去噪神经网络，所述训练样本集包括加噪样本集和与所述加噪样本集对应的去噪样本集。本发明实施例解决了现有技术中对图像进行去噪时需要大量用户的手动操作问题，实现了对输入图像的自动快速去噪处理。
Description
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种神经网络的训练方法、去噪方法及装置。
背景技术
噪声是影响图像或视频质量的主要因素之一，去噪是图像处理领域和机器人视觉领域的常见问题，目前常用的去噪方法包括如下两种：基于图像先验的方法和基于判别式学习的方法。
其中，基于图像先验的方法通常会使用一些假定的先验信息，例如非局部自相似模型、稀疏模型、梯度模型或者马尔可夫随机场模型等，但是基于图像先验的方法往往具有如下问题：其一，在去噪阶段使用了非常复杂的优化函数，导致去噪过程非常耗时；其二，通常使用非凸优化算法，并且包含很多人为设定的参数，上述问题导致基于图像先验的方法很难直接应用于工程实践中。
基于判别式学习的方法是在训练阶段来学习图像先验，仍然需要手动设置很多参数，难以进行盲去噪。
发明内容
本发明实施例提供一种神经网络的训练方法、去噪方法及装置，以实现快速滤除图像噪声。
第一方面，本发明实施例提供了一种神经网络的训练方法，该方法包括：
建立初始神经网络，所述初始神经网络至少包括降采样网络层、残差网络层和上采样网络层；
根据预设训练样本集对所述初始神经网络进行迭代训练，生成去噪神经网络，所述训练样本集包括加噪样本集和与所述加噪样本集对应的去噪样本集。
进一步的，所述残差网络层的前端和尾端进行跳跃连接。
进一步的，所述残差网络层包括第一预设数量的残差块，所述残差块的前端和尾端进行跳跃连接。
进一步的，所述残差块包括两个卷积层和一个激活函数层，所述激活函数层位于所述两个卷积层之间。
进一步的，所述初始神经网络还包括增强网络层，所述增强网络层包括第二预设数量的卷积层和第三预设数量的激活函数层，所述增强网络层中的卷积层和激活函数层交替连接。
进一步的，根据训练样本集对所述初始神经网络进行迭代训练，生成去噪神经网络，包括：
将所述加噪样本集中的加噪样本输入所述初始神经网络，生成训练图像；
根据与所述加噪样本对应的去噪样本与所述训练图像确定损失信息，根据所述损失信息调节所述初始神经网络的网络参数，生成所述去噪神经网络。
进一步的，所述训练样本集是预先设置的，所述训练样本集的设置方法为：
对所述去噪样本集中的去噪样本进行加噪处理，形成加噪样本集。
第二方面，本发明实施例还提供了一种去噪方法，该方法包括：
提取待处理图像和/或视频的特征信息；
去噪神经网络根据所述特征信息对所述待处理图像和/或视频进行去噪处理，生成去噪图像和/或视频，其中，所述去噪神经网络基于本发明任一实施例提供的任一神经网络的训练方法确定。
第三方面，本发明实施例还提供了一种神经网络的训练装置，该装置包括：
神经网络建立模块，用于建立初始神经网络，所述初始神经网络至少包括降采样网络层、残差网络层和上采样网络层；
神经网络训练模块，用于根据预设训练样本集对所述初始神经网络进行迭代训练，生成去噪神经网络，所述训练样本集包括加噪样本集和与所述加噪样本集对应的去噪样本集。
进一步的，所述残差网络层的前端和尾端进行跳跃连接。
进一步的，所述残差网络层包括第一预设数量的残差块，所述残差块的前端和尾端进行跳跃连接。
进一步的，所述残差块包括两个卷积层和一个激活函数层，所述激活函数层位于所述两个卷积层之间。
进一步的，所述初始神经网络还包括增强网络层，所述增强网络层包括第二预设数量的卷积层和第三预设数量的激活函数层，所述增强网络层中的卷积层和激活函数层交替连接。
进一步的，所述神经网络训练模块具体用于：
将所述加噪样本集中的加噪样本输入所述初始神经网络，生成训练图像；
根据与所述加噪样本对应的去噪样本与所述训练图像确定损失信息，根据所述损失信息调节所述初始神经网络的网络参数，生成所述去噪神经网络。
进一步的，所述训练样本集是预先设置的，样本集设置模块具体用于：
对所述去噪样本集中的去噪样本进行加噪处理，形成加噪样本集。
第四方面，本发明实施例还提供了一种去噪装置，该装置包括：
特征信息提取模块，用于提取待处理图像和/或视频的特征信息；
去噪模块，用于去噪神经网络根据所述特征信息对所述待处理图像和/或视频进行去噪处理，生成去噪图像和/或视频，其中，所述去噪神经网络基于本发明任一实施例提供的神经网络的训练装置确定。
本发明实施例通过建立包含降采样网络层、残差网络层和上采样网络层的初始神经网络，并根据预设训练样本集对初始神经网络进行迭代训练，生成去噪神经网络，使得训练得到的噪神经网络具有对输入图像进行特征提取和加权计算等处理能力，可用于对输入图像进行去噪处理，解决了现有技术中对图像进行去噪时需要大量用户的手动操作问题，实现了对输入图像的自动快速去噪处理。
附图说明
图1是本发明实施例一提供的一种神经网络的训练方法的流程图；
图2A为本发明实施例一提供的一种神经网络模型；
图2B是本发明实施例一提供的包含不同残差网络层的神经网络的性能变化曲线；
图2C为本发明实施例一提供的一种残差块的示意图；
图3是本发明实施例二提供的一种神经网络的训练方法的流程图；
图4是本发明实施例三提供的一种去噪方法的流程图；
图5是本发明实施例四提供的一种神经网络的训练装置的结构示意图；
图6是本发明实施例五提供的一种去噪装置的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种神经网络的训练方法的流程图，本实施例可适用于建立并训练具有快速去噪能力的神经网络的情况，该方法可以由本发明实施例提供的神经网络的训练装置来执行，该装置可采用软件和/或硬件的方式实现。参见图1，该装置具体包括：
S110、建立初始神经网络，初始神经网络至少包括降采样网络层、残差网络层和上采样网络层。
其中，基于神经网络的拓扑结构信息，构建形成初始神经网络，本实施例中，初始神经网络中至少包含降采样网络层、残差网络层和上采样网络层，且降采样网络层、残差网络层和上采样网络层依次连接。示例性的，参见图2A，图2A为本发明实施例一提供的一种神经网络模型。降采样网络层用于对输入图像进行降采样，示例性的，若输入图像为256*256的图像，该输入图像经步长为2的降采样网络层，则输出128*128的图像。上采样网络层用于对输入图像进行上采样，示例性的，若输入图像为128*128的图像，该输入图像经步长为2的上采样网络层，则输出256*256的图像。其中降采样卷积层与上采样网络层相匹配，使得降采样网络层的输入图像与上采样网络层的输出图像具有相同的分辨率。可选的，降采样网络层包括一个卷积层和一个激活函数层，上采样网络层包括一个反卷积层和一个激活函数层。示例性的，本实施例中的降采样网络层中的卷基层的卷积核为3×3，输出通道数为64，位移步长为2；上采样网络层中的反卷积层的卷积核为3×3，输出通道数为64，位移步长为2。
本实施例中，在初始神经网络中设置降采样网络层和上采样网络层，减少了神经网络中传输的数据量，成倍的减少了神经网络所占用的显存以及神经网络训练过程和应用过程所需要的时间，达到了提高图像处理速度的效果。对图像进行降采样的同时，对图像中的噪声也进行了降采样，减少了图像噪声，有利于提高图像去噪质量。
在神经网络中，网络的深度是影响效果的一种重要因素，网络深度越大，提取的特征信息的等级越高，越有利于提高输出结果的精度。但是往往随着神经网络深度的增加，易出现梯度弥散/爆炸问题，导致神经网络无法收敛。残差网络层用于在不改变网络表达力和复杂度的情形下增加神经网络的深度，并用于提高神经网络的输出精度。
可选的，残差网络层的前端和尾端进行跳跃连接，参见图2A，有M个残差块组成残差网络层，其中M为大于1的正整数。当残差网络层中残差块数量达到预设数量时，残差块数量的过大导致神经网络无法完成训练或者降低神经网络性能。示例性的，参见图2B，图2B是本发明实施例一提供的包含不同残差网络层的神经网络的性能变化曲线。
在图2B中，曲线1为设置有跳跃连接的残差网络，曲线2为未设置跳跃连接的残差网络，在残差块数量在0-20范围内时，曲线1和曲线2均处于上升状态，且曲线1对应的残差网络的峰值信噪比大于曲线2对应的残差网络的峰值信噪比，当残差块数量大于20时，曲线1对应的残差网络的峰值信噪比仍处于上升状态，而曲线1对应的残差网络的峰值信噪比在残差块数量为20时达到极值，并随残差块数量增大，峰值信噪比减小。
本实施例中，在残差网络层的前端和尾端进行跳跃连接，避免了当残差网络层中残差块数量较大时导致的神经网络性能减弱的情况，使得初始神经网络能够具有较大数量的残差块，保留了更加丰富的图像细节特征，提高了神经网络的在训练过程中的收敛速度以及图像输出精度。
可选的，在残差网络层和上采样网络层之间设置一个卷积层，用于辅助残差网络层的跳跃连接，提高神经网络的性能。
可选的，残差网络层包括第一预设数量的残差块，残差块的前端和尾端进行跳跃连接。
本实施例中，残差块的数量根据用户需求确定，残差块数量越大，神经网络的性能越好。可选的，残差块的数量例如可以是10。每一个残差块的前端和尾端均设置有跳跃连接，直接将每一个残差块的输入和输出进行连接，有利于图像细节特征的提取和保留，提高了神经网络的训练过程的收敛速度。
可选的，残差块包括两个卷积层和一个激活函数层，激活函数层位于两个卷积层之间。
示例性的，参见图2A，图2A中每一个残差块的结构依次包括卷基层--激活函数层--卷基层。示例性的，残差块中两个卷基层的卷积核为3×3，输出通道数为64，位移步长为1。
可选的，残差块包括三个卷积层和两个激活函数层，且卷积层和激活函数层交替连接。示例性的，参见图2C，图2C为本发明实施例一提供的一种残差块的示意图。其中，第一个卷积层的卷积核为1×1，输出通道数为64；第二个卷积层的卷积核为3×3，输出通道数为64，第三个卷积层的卷积核为1×1，输出通道数为256。第一个卷积层对输入图像进行降维，减少了第二个卷积层的计算量，再通过第三个卷基层对图像进行还原，在保持精度的情况下，减少了计算量，提高了计算效率。
可选的，初始神经网络还包括一个卷积层和一个激活函数层，设置于降采样网络层与残差网络层之间，用于提取降采样网络层输出图像的特征信息，避免了将该输出图像直接输入至残差网络层，影响神经网络性能的问题。
可选的，初始神经网络还包括增强网络层，增强网络层包括第二预设数量的卷积层和第三预设数量的激活函数层，增强网络层中的卷积层和激活函数层交替连接。
作为一种可选实例，增强网络层中的卷积层的数量可以是3，激活函数层的数量可以是2，且增强网络层的结构例如可以是卷积层--激活函数层--卷积层--激活函数层--卷积层。其中，第一个和第二个卷基层的卷积核为3×3，输出通道数为64，位移步长为1，最后一个卷基层的卷积核为3×3，输出通道数为与输入图像的通道数一致，位移步长为1。其中，若输入图像为灰度图像，则输入图像的输入通道数为1；若输入图像为彩色图像，则输入图像的输入通道数为3。需要说明的是，增强网络层中卷基层和激活函数层的数量和组合方式可根据用户需求确定。
本实施例中，激活函数层例如可以是ReLU(Rectified Linear Units)层、PReLU(Parametric Rectified Linear Unit)层或者LeakyReLU(Leaky Rectified LinearUnits)层中任一种，本实施例对此不作限定。
应当理解，除了卷积神经网络之外，初始神经网络还可为非卷积类型的神经网络，神经网络的网络结构除了上述列举的例子之外，还可选用层数、层、不同卷积核和/或权重等网络参数的其他网络结构。
可选的，在初始神经网络构建完成后，对初始神经网络的网络参数进行随机初始化。可选的，通过随机逼近算法对初始化网络参数进行优化，提高初始化网络参数的准确度，提高初始神经网络的收敛速度。
S120、根据预设训练样本集对初始神经网络进行迭代训练，生成去噪神经网络，训练样本集包括加噪样本集和与加噪样本集对应的去噪样本集。
本实施例中，通过加噪样本集和与去噪样本集对初始神经网络进行迭代训练，通过不断的训练迭代的调整神经网络中的网络参数，使得训练得到的去噪神经网络具有对输入图像进行特征提取和加权计算等处理能力，实现对输入图像的去噪处理。本发明实施例对初始神经网络的具体训练方法并不限制，本领域技术人员可采用监督、半监督、无监督或者满足特征信息处理的任务需求的其他训练方法训练初始神经网络。
本实施例中的去噪神经网络的训练过程与应用过程是端对端形式，仅需要将训练图像或者待处理图像输入去噪神经网络，即可实现对输入图像的去噪处理，避免了用户的额外操作，实现了快速去噪的效果。
本实施例的技术方案，通过建立包含降采样网络层、残差网络层和上采样网络层的初始神经网络，并根据预设训练样本集对初始神经网络进行迭代训练，生成去噪神经网络，使得训练得到的噪神经网络具有对输入图像进行特征提取和加权计算等处理能力，可用于对输入图像进行去噪处理，解决了现有技术中对图像进行去噪时需要大量用户的手动操作问题，实现了对输入图像的自动快速去噪处理。
实施例二
图3是本发明实施例二提供的一种神经网络的训练方法的流程图，在上述实施例的基础上，进一步的对根据训练样本集对初始神经网络进行迭代训练，生成去噪神经网络进行了细化。相应的，该方法具体包括：
S210、建立初始神经网络，初始神经网络至少包括降采样网络层、残差网络层和上采样网络层。
S220、将加噪样本集中的加噪样本输入初始神经网络，生成训练图像。
其中，加噪样本指的是包含噪声的样本图像，加噪样本例如可以是但不限于建筑图像、自然图像和/或人物图像等。
可选的，训练样本集是预先设置的，训练样本集的设置方法为：
对去噪样本集中的去噪样本进行加噪处理，形成加噪样本集，基于去噪样本集和加噪样本集形成训练样本集。
其中，去噪样本指的是不包含噪声的干净样本图像，对去噪样本进行加噪处理的过程中加入的噪声可以是一种噪声或多种噪声的混合。示例性的，加入的噪声可以是如下至少一种：高斯噪声、椒盐噪声、均匀噪声、瑞利噪声或者伽马噪声等。本实施例中，去噪样本集和加噪样本集中的样本图像相匹配。
S230、根据与加噪样本对应的去噪样本与训练图像确定损失信息，根据损失信息调节初始神经网络的网络参数，生成去噪神经网络。
本实施例中，初始神经网络的训练过程中输入信息为去噪图像与噪声的结合而成的加噪图像，期望输出为去噪图像，通过期望输出与实际输出的损失信息对初始神经网络进行迭代优化。
本实施例中，损失信息可通过损失函数的形式表示，其中损失函数可采用均方误差(Mean Squared Error，MSE)的形式确定。示例性的，去噪样本与训练图像的损失函数例如可以是如下公式(1)：
其中，n是一个批次训练数据中样本的个数，F表示网络的映射函数，θ表示网络的网络参数，‖‖2表示2-范数，为第i个训练图像，为第i个去噪图像。需要说明的是，上述公式仅为损失函数的一种可选形式。
本实施例中，将计算得到的损失信息通过梯度反传的形式，传输至待训练的神经网络中，根据该损失信息调节神经网络中的各网络参数，网络参数不断调节直至满足训练完成条件，使得训练得到的去噪神经网具有快速去噪的能力。
本实施例中，若损失函数值收敛或者神经网络的训练次数满足训练阈值，确定去噪神经网络训练完成。
可选的，在初始神经网络的训练过程中采用随机梯度下降算法(stochasticgradient descent,SGD)。其中学习率为lr，示例性的，取值为lr＝10-4，每隔k次迭代，比如10万次迭代，学习率乘以一个系数γ。
初始神经网络的训练工具可以是但不限于Caffe、Tensorflow、Torch、Pytorch或Keras等，所需显卡可以是但不限于英伟达GTX Titan X和GTX 1080。上述仅为一种可选实例，在本实施例中不做限定。
本实施例的技术方案，通过将加噪样本集中的加噪样本输入初始神经网络，生成训练图像，根据与加噪样本对应的去噪样本与训练图像确定损失信息，根据损失信息调节初始神经网络的网络参数，生成去噪神经网络，使得通过迭代训练得到的噪神经网络具有对输入图像进行特征提取和加权计算等处理能力，解决了现有技术中对图像进行去噪时需要大量用户的手动操作问题，实现了对输入图像的自动快速去噪处理。
实施例三
图4是本发明实施例三提供的一种去噪方法的流程图，本实施例适用于根据预设神经网络对图像和/或视频进行快速去噪的情况，该方法可由本发明实施例提供的去噪装置来执行，该装置可采用软件和/或硬件的方式实现。具体的，该方法包括：
S310、提取待处理图像和/或视频的特征信息。
其中，去噪神经网络的输入信息可以是待处理图像，也可以是待处理视频。通过去噪神经网络提取输入信息的特征信息，特征信息可以是但不限于内容信息、深度信息、语义信息或者噪声信息等。
S320、去噪神经网络根据特征信息对待处理图像和/或视频进行去噪处理，生成去噪图像和/或视频。
其中，去噪神经网络基于本发明任一实施例提供的神经网络的训练方法确定。
本实施例中，去噪处理指的是滤除输入图像和/或视频中的噪声的处理过程，通过去噪神经网络对提取的特征信息进行加权处理，生成去噪图像和/或视频。
本实施例中，基于去噪神经网络对待处理图像和/或视频进程去噪处理的过程是端对端形式，仅需要将待处理图像和/或视频输入去噪神经网络，即可实现对输入图像和/或视频的去噪处理，避免了用户的额外操作，实现了快速去噪的效果。
本实施例中，当输入信息为待处理视频时，将视频的多个视频帧图像或各个视频帧图像分别输入去噪神经网络，经去噪神经网络对视频中多个视频帧图像或各个视频帧图像分别进行去噪处理，输出去噪视频，提高了视频的清晰度。
本实施例的技术方案，通过将待处理图像和/或视频输入去噪神经网络，基于去噪神经网络提取特征信息，并进行加权处理，生成去噪图像和/或视频，实训了端对端的去噪处理，减少了用户的手动操作，提高了去噪处理的速度。
实施例四
图5是本发明实施例四提供的一种神经网络的训练装置的结构示意图，该装置具体包括：
神经网络建立模块410，用于建立初始神经网络，初始神经网络至少包括降采样网络层、残差网络层和上采样网络层；
神经网络训练模块420，用于根据预设训练样本集对初始神经网络进行迭代训练，生成去噪神经网络，训练样本集包括加噪样本集和与加噪样本集对应的去噪样本集。
可选的，残差网络层的前端和尾端进行跳跃连接。
可选的，残差网络层包括第一预设数量的残差块，残差块的前端和尾端进行跳跃连接。
可选的，残差块包括两个卷积层和一个激活函数层，激活函数层位于两个卷积层之间。
可选的，初始神经网络还包括增强网络层，增强网络层包括第二预设数量的卷积层和第三预设数量的激活函数层，增强网络层中的卷积层和激活函数层交替连接。
可选的，神经网络训练模块420具体用于：
将加噪样本集中的加噪样本输入初始神经网络，生成训练图像；
根据与加噪样本对应的去噪样本与训练图像确定损失信息，根据损失信息调节初始神经网络的网络参数，生成去噪神经网络。
可选的，训练样本集是预先设置的，样本集设置模块具体用于：
对去噪样本集中的去噪样本进行加噪处理，形成加噪样本集。
本发明实施例提供的一种神经网络的训练装置可执行本发明任意实施例所提供的神经网络的训练方法，具备执行神经网络的训练方法相应的功能模块和有益效果。
实施例五
图6是本发明实施例五提供的一种去噪装置的结构示意图，该装置具体包括：
特征信息提取模块510，用于提取待处理图像和/或视频的特征信息；
去噪模块520，用于去噪神经网络根据特征信息对待处理图像和/或视频进行去噪处理，生成去噪图像和/或视频。
其中，去噪神经网络基于本发明实施例提供的神经网络的训练装置确定。
本发明实施例提供的去噪装置可执行本发明任意实施例所提供的去噪方法，具备执行去噪方法相应的功能模块和有益效果。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (16)
1.一种神经网络的训练方法，其特征在于，包括：
建立初始神经网络，所述初始神经网络至少包括降采样网络层、残差网络层和上采样网络层；
根据预设训练样本集对所述初始神经网络进行迭代训练，生成去噪神经网络，所述训练样本集包括加噪样本集和与所述加噪样本集对应的去噪样本集。
2.根据权利要求1所述的方法，其特征在于，所述残差网络层的前端和尾端进行跳跃连接。
3.根据权利要求1所述的方法，其特征在于，所述残差网络层包括第一预设数量的残差块，所述残差块的前端和尾端进行跳跃连接。
4.根据权利要求3所述的方法，其特征在于，所述残差块包括两个卷积层和一个激活函数层，所述激活函数层位于所述两个卷积层之间。
5.根据权利要求1所述的方法，其特征在于，所述初始神经网络还包括增强网络层，所述增强网络层包括第二预设数量的卷积层和第三预设数量的激活函数层，所述增强网络层中的卷积层和激活函数层交替连接。
6.根据权利要求1所述的方法，其特征在于，根据训练样本集对所述初始神经网络进行迭代训练，生成去噪神经网络，包括：
将所述加噪样本集中的加噪样本输入所述初始神经网络，生成训练图像；
根据与所述加噪样本对应的去噪样本与所述训练图像确定损失信息，根据所述损失信息调节所述初始神经网络的网络参数，生成所述去噪神经网络。
7.根据权利要求1所述的方法，其特征在于，所述训练样本集是预先设置的，所述训练样本集的设置方法为：
对所述去噪样本集中的去噪样本进行加噪处理，形成加噪样本集。
8.一种去噪方法，其特征在于，包括：
提取待处理图像和/或视频的特征信息；
去噪神经网络根据所述特征信息对所述待处理图像和/或视频进行去噪处理，生成去噪图像和/或视频，其中，所述去噪神经网络基于权利要求1-7任一所述的神经网络的训练方法确定。
9.一种神经网络的训练装置，其特征在于，包括：
神经网络建立模块，用于建立初始神经网络，所述初始神经网络至少包括降采样网络层、残差网络层和上采样网络层；
神经网络训练模块，用于根据预设训练样本集对所述初始神经网络进行迭代训练，生成去噪神经网络，所述训练样本集包括加噪样本集和与所述加噪样本集对应的去噪样本集。
10.根据权利要求9所述的装置，其特征在于，所述残差网络层的前端和尾端进行跳跃连接。
11.根据权利要求9所述的装置，其特征在于，所述残差网络层包括第一预设数量的残差块，所述残差块的前端和尾端进行跳跃连接。
12.根据权利要求11所述的装置，其特征在于，所述残差块包括两个卷积层和一个激活函数层，所述激活函数层位于所述两个卷积层之间。
13.根据权利要求9所述的装置，其特征在于，所述初始神经网络还包括增强网络层，所述增强网络层包括第二预设数量的卷积层和第三预设数量的激活函数层，所述增强网络层中的卷积层和激活函数层交替连接。
14.根据权利要求9所述的装置，其特征在于，所述神经网络训练模块具体用于：
将所述加噪样本集中的加噪样本输入所述初始神经网络，生成训练图像；
根据与所述加噪样本对应的去噪样本与所述训练图像确定损失信息，根据所述损失信息调节所述初始神经网络的网络参数，生成所述去噪神经网络。
15.根据权利要求9所述的装置，其特征在于，所述训练样本集是预先设置的，样本集设置模块具体用于：
对所述去噪样本集中的去噪样本进行加噪处理，形成加噪样本集。
16.一种去噪装置，其特征在于，包括：
特征信息提取模块，用于提取待处理图像和/或视频的特征信息；
去噪模块，用于去噪神经网络根据所述特征信息对所述待处理图像和/或视频进行去噪处理，生成去噪图像和/或视频，其中，所述去噪神经网络基于权利要求9-15任一所述的神经网络的训练装置确定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710702119.7A CN107689034B (zh) | 2017-08-16 | 2017-08-16 | 一种去噪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710702119.7A CN107689034B (zh) | 2017-08-16 | 2017-08-16 | 一种去噪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107689034A true CN107689034A (zh) | 2018-02-13 |
| CN107689034B CN107689034B (zh) | 2020-12-01 |
Family
ID=61153300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710702119.7A Active CN107689034B (zh) | 2017-08-16 | 2017-08-16 | 一种去噪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107689034B (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416755A (zh) * | 2018-03-20 | 2018-08-17 | 南昌航空大学 | 一种基于深度学习的图像去噪方法及系统 |
| CN108537759A (zh) * | 2018-04-26 | 2018-09-14 | 北京小米移动软件有限公司 | 信息处理方法及设备 |
| CN108846842A (zh) * | 2018-07-04 | 2018-11-20 | 武汉斗鱼网络科技有限公司 | 一种图像噪声检测方法、装置及电子设备 |
| CN109087256A (zh) * | 2018-07-19 | 2018-12-25 | 北京飞搜科技有限公司 | 一种基于深度学习的图像去模糊方法及系统 |
| CN109145815A (zh) * | 2018-08-21 | 2019-01-04 | 深圳大学 | 一种sar目标识别方法、装置、计算机设备及存储介质 |
| CN109325586A (zh) * | 2018-12-05 | 2019-02-12 | 北京航空航天大学合肥创新研究院 | 基于组合目标函数的深度神经网络系统 |
| CN109345527A (zh) * | 2018-09-28 | 2019-02-15 | 广西师范大学 | 一种基于MaskRcnn的膀胱肿瘤检测方法 |
| CN109410146A (zh) * | 2018-11-02 | 2019-03-01 | 北京大学深圳研究生院 | 一种基于Bi-Skip-Net的图像去模糊算法 |
| CN109410149A (zh) * | 2018-11-08 | 2019-03-01 | 安徽理工大学 | 一种基于并行特征提取的cnn去噪方法 |
| CN109559290A (zh) * | 2018-12-14 | 2019-04-02 | 中国石油大学(华东) | 一种深度非对称跳跃连接的图像降噪方法 |
| CN109859141A (zh) * | 2019-02-18 | 2019-06-07 | 安徽理工大学 | 一种深立井井壁图像去噪方法 |
| CN109903219A (zh) * | 2019-02-28 | 2019-06-18 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
| CN110197183A (zh) * | 2019-04-17 | 2019-09-03 | 深圳大学 | 一种图像盲去噪的方法、装置和计算机设备 |
| CN110211069A (zh) * | 2019-06-03 | 2019-09-06 | 广东工业大学 | 一种图像去噪模型及训练方法、系统、设备、计算机介质 |
| CN110545373A (zh) * | 2018-05-28 | 2019-12-06 | 中兴通讯股份有限公司 | 空间环境的感知方法及装置 |
| CN110648292A (zh) * | 2019-09-11 | 2020-01-03 | 昆明理工大学 | 一种基于深度卷积网络的高噪声图像去噪方法 |
| CN110728627A (zh) * | 2018-07-16 | 2020-01-24 | 宁波舜宇光电信息有限公司 | 图像降噪方法、装置、系统和存储介质 |
| CN111553840A (zh) * | 2020-04-10 | 2020-08-18 | 北京百度网讯科技有限公司 | 图像超分辨的模型训练和处理方法、装置、设备和介质 |
| CN112001774A (zh) * | 2020-08-12 | 2020-11-27 | 浪潮软件股份有限公司 | 基于神经网络的烟草投放量研判方法及系统 |
| CN109862208B (zh) * | 2019-03-19 | 2021-07-02 | 深圳市商汤科技有限公司 | 视频处理方法、装置、计算机存储介质以及终端设备 |
| CN113362259A (zh) * | 2021-07-13 | 2021-09-07 | 商汤集团有限公司 | 图像降噪处理方法、装置、电子设备及存储介质 |
| CN114820330A (zh) * | 2021-01-22 | 2022-07-29 | 中国计量大学 | 一种增强型显微图像降噪恢复方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204467A (zh) * | 2016-06-27 | 2016-12-07 | 深圳市未来媒体技术研究院 | 一种基于级联残差神经网络的图像去噪方法 |
| CN106600553A (zh) * | 2016-12-15 | 2017-04-26 | 华中科技大学 | 一种基于卷积神经网络的dem超分辨率方法 |
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
-
2017
- 2017-08-16 CN CN201710702119.7A patent/CN107689034B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204467A (zh) * | 2016-06-27 | 2016-12-07 | 深圳市未来媒体技术研究院 | 一种基于级联残差神经网络的图像去噪方法 |
| CN106600553A (zh) * | 2016-12-15 | 2017-04-26 | 华中科技大学 | 一种基于卷积神经网络的dem超分辨率方法 |
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHRISTIAN LEDIG ETC，: ""Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network"", 《2017 IEEECONFERENCE ON COMPUTER ADVERSARIAL NETWORK》 * |
| 吕永标等: ""基于复合卷积神经网络的图像去噪算法"", 《模式识别与人工智能》 * |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416755A (zh) * | 2018-03-20 | 2018-08-17 | 南昌航空大学 | 一种基于深度学习的图像去噪方法及系统 |
| CN108537759A (zh) * | 2018-04-26 | 2018-09-14 | 北京小米移动软件有限公司 | 信息处理方法及设备 |
| CN110545373A (zh) * | 2018-05-28 | 2019-12-06 | 中兴通讯股份有限公司 | 空间环境的感知方法及装置 |
| CN110545373B (zh) * | 2018-05-28 | 2021-12-28 | 中兴通讯股份有限公司 | 空间环境的感知方法及装置 |
| CN108846842A (zh) * | 2018-07-04 | 2018-11-20 | 武汉斗鱼网络科技有限公司 | 一种图像噪声检测方法、装置及电子设备 |
| CN108846842B (zh) * | 2018-07-04 | 2021-04-27 | 武汉斗鱼网络科技有限公司 | 一种图像噪声检测方法、装置及电子设备 |
| CN110728627A (zh) * | 2018-07-16 | 2020-01-24 | 宁波舜宇光电信息有限公司 | 图像降噪方法、装置、系统和存储介质 |
| CN109087256A (zh) * | 2018-07-19 | 2018-12-25 | 北京飞搜科技有限公司 | 一种基于深度学习的图像去模糊方法及系统 |
| CN109145815A (zh) * | 2018-08-21 | 2019-01-04 | 深圳大学 | 一种sar目标识别方法、装置、计算机设备及存储介质 |
| CN109345527A (zh) * | 2018-09-28 | 2019-02-15 | 广西师范大学 | 一种基于MaskRcnn的膀胱肿瘤检测方法 |
| CN109410146A (zh) * | 2018-11-02 | 2019-03-01 | 北京大学深圳研究生院 | 一种基于Bi-Skip-Net的图像去模糊算法 |
| CN109410149A (zh) * | 2018-11-08 | 2019-03-01 | 安徽理工大学 | 一种基于并行特征提取的cnn去噪方法 |
| CN109325586A (zh) * | 2018-12-05 | 2019-02-12 | 北京航空航天大学合肥创新研究院 | 基于组合目标函数的深度神经网络系统 |
| CN109325586B (zh) * | 2018-12-05 | 2022-03-04 | 北京航空航天大学合肥创新研究院 | 一种用于脑电信号去噪的系统 |
| CN109559290A (zh) * | 2018-12-14 | 2019-04-02 | 中国石油大学(华东) | 一种深度非对称跳跃连接的图像降噪方法 |
| CN109859141B (zh) * | 2019-02-18 | 2022-05-27 | 安徽理工大学 | 一种深立井井壁图像去噪方法 |
| CN109859141A (zh) * | 2019-02-18 | 2019-06-07 | 安徽理工大学 | 一种深立井井壁图像去噪方法 |
| CN109903219A (zh) * | 2019-02-28 | 2019-06-18 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
| CN109862208B (zh) * | 2019-03-19 | 2021-07-02 | 深圳市商汤科技有限公司 | 视频处理方法、装置、计算机存储介质以及终端设备 |
| JP7086235B2 (ja) | 2019-03-19 | 2022-06-17 | 深▲セン▼市商▲湯▼科技有限公司 | ビデオ処理方法、装置及びコンピュータ記憶媒体 |
| JP2021530770A (ja) * | 2019-03-19 | 2021-11-11 | 深▲せん▼市商▲湯▼科技有限公司Shenzhen Sensetime Technology Co., Ltd. | ビデオ処理方法、装置及びコンピュータ記憶媒体 |
| CN110197183A (zh) * | 2019-04-17 | 2019-09-03 | 深圳大学 | 一种图像盲去噪的方法、装置和计算机设备 |
| CN110211069A (zh) * | 2019-06-03 | 2019-09-06 | 广东工业大学 | 一种图像去噪模型及训练方法、系统、设备、计算机介质 |
| CN110648292A (zh) * | 2019-09-11 | 2020-01-03 | 昆明理工大学 | 一种基于深度卷积网络的高噪声图像去噪方法 |
| CN110648292B (zh) * | 2019-09-11 | 2022-06-21 | 昆明理工大学 | 一种基于深度卷积网络的高噪声图像去噪方法 |
| CN111553840A (zh) * | 2020-04-10 | 2020-08-18 | 北京百度网讯科技有限公司 | 图像超分辨的模型训练和处理方法、装置、设备和介质 |
| CN112001774A (zh) * | 2020-08-12 | 2020-11-27 | 浪潮软件股份有限公司 | 基于神经网络的烟草投放量研判方法及系统 |
| CN114820330A (zh) * | 2021-01-22 | 2022-07-29 | 中国计量大学 | 一种增强型显微图像降噪恢复方法 |
| CN113362259A (zh) * | 2021-07-13 | 2021-09-07 | 商汤集团有限公司 | 图像降噪处理方法、装置、电子设备及存储介质 |
| CN113362259B (zh) * | 2021-07-13 | 2024-01-09 | 商汤集团有限公司 | 图像降噪处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107689034B (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107689034A (zh) | 一种神经网络的训练方法、去噪方法及装置 | |
| CN108765319A (zh) | 一种基于生成对抗网络的图像去噪方法 | |
| CN108520504A (zh) | 一种基于生成对抗网络端到端的模糊图像盲复原方法 | |
| CN107403415A (zh) | 基于全卷积神经网络的压缩深度图质量增强方法及装置 | |
| CN107464217A (zh) | 一种图像处理方法及装置 | |
| CN110363716A (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| CN110634108A (zh) | 一种基于元-循环一致性对抗网络的复合降质网络直播视频增强方法 | |
| CN107808132A (zh) | 一种融合主题模型的场景图像分类方法 | |
| CN107239801A (zh) | 视频属性表示学习方法及视频文字描述自动生成方法 | |
| CN106951473A (zh) | 面向视觉障碍人士的深度视觉问答系统的构建方法 | |
| CN107590518A (zh) | 一种多特征学习的对抗网络训练方法 | |
| CN112767279B (zh) | 一种基于离散小波集成生成对抗网络的水下图像增强方法 | |
| CN108111860B (zh) | 基于深度残差网络的视频序列丢失帧预测恢复方法 | |
| CN106067161A (zh) | 一种对图像进行超分辨的方法 | |
| CN110210524A (zh) | 一种图像增强模型的训练方法、图像增强方法及装置 | |
| CN107784628A (zh) | 一种基于重建优化和深度神经网络的超分辨率实现方法 | |
| CN107871142A (zh) | 一种基于深度卷积对抗网络模型的空洞卷积方法 | |
| CN107103285A (zh) | 基于卷积神经网络的人脸深度预测方法 | |
| CN107944546A (zh) | 一种基于原始生成对抗网络模型的残差网络方法 | |
| CN113554599A (zh) | 一种基于人类视觉效应的视频质量评价方法 | |
| CN108564166A (zh) | 基于带对称跨层连接的卷积神经网络半监督特征学习方法 | |
| CN108765512A (zh) | 一种基于多层级特征的对抗图像生成方法 | |
| CN114581560A (zh) | 基于注意力机制的多尺度神经网络红外图像彩色化方法 | |
| CN112489164A (zh) | 基于改进深度可分离卷积神经网络的图像着色方法 | |
| CN110288535A (zh) | 一种图像去雨方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221128 Address after: 518000 2nd floor, building a, Tsinghua campus, Shenzhen University Town, Xili street, Nanshan District, Shenzhen City, Guangdong Province Patentee after: Tsinghua Shenzhen International Graduate School Address before: 518000 Nanshan Zhiyuan 1001, Xue Yuan Avenue, Nanshan District, Shenzhen, Guangdong. Patentee before: TSINGHUA-BERKELEY SHENZHEN INSTITUTE |
|
| TR01 | Transfer of patent right |