CN108604369A - 一种去除图像噪声的方法、装置、设备及卷积神经网络 - Google Patents

一种去除图像噪声的方法、装置、设备及卷积神经网络 Download PDF

Info

Publication number
CN108604369A
CN108604369A CN201680080573.7A CN201680080573A CN108604369A CN 108604369 A CN108604369 A CN 108604369A CN 201680080573 A CN201680080573 A CN 201680080573A CN 108604369 A CN108604369 A CN 108604369A
Authority
CN
China
Prior art keywords
image
convolution
weight coefficient
scene
network weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680080573.7A
Other languages
English (en)
Other versions
CN108604369B (zh
Inventor
张�浩
李建中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108604369A publication Critical patent/CN108604369A/zh
Application granted granted Critical
Publication of CN108604369B publication Critical patent/CN108604369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种去除图像噪声的方法、装置、设备及卷积神经网络，所述方法包括：获取待去噪图像的生成场景；从预设的场景与网络权重系数的对应关系中，获取当前生成场景所对应的网络权重系数，所述网络权重系数包括卷积权重系数以及合成比例系数；根据当前生成场景所对应的卷积权重系数，调整所述卷积神经网络中每个卷积层中卷积单元的卷积权重系数，以及，根据当前生成场景所对应的合成比例系数，调整所述卷积神经网络中输出层合成最后一卷积层中不同卷积单元所输出卷积运算结果的比例系数；利用调整后的卷积神经网络，对所述待去噪图像执行去噪；采用本发明提供的方法、装置、设备及卷积神经网络，可提高图像的去噪效果。

Description

一种去除图像噪声的方法、装置、设备及卷积神经网络 技术领域
本发明涉及图像处理技术领域，尤其涉及一种去除图像噪声的方法、装置、设备及卷积神经网络。
背景技术
卷积神经网络(Convolutional Neural Network，CNN)是人工神经网络的一种，近年来在图像处理领域得到广泛应用。所述CNN一般由输入层、卷积层和输出层组成，所述输入层用于接收待去噪图像，所述卷积层用于利用卷积权重系数对待去噪图像对应的图像矩阵，进行卷积运算，以去除图像噪声，所述输出层用于输出去噪后的图像。
在现有技术中，CNN通常包括多个卷积层，而每个卷积层包括多个卷积单元，每个卷积单元的卷积权重系数不同；比如，如图1所示，一CNN包括两个卷积层，分别为第一卷积层和第二卷积层；而第一卷积层包括第一卷积单元和第二卷积单元两个卷积单元，第二卷积层包括第三卷积单元和第四卷积单元两个卷积单元，而第一卷积单元的卷积权重系数为W1，第二卷积单元的卷积权重系数为W2，第三卷积单元的卷积权重系数为W3，第四卷积单元的卷积权重系数为W4。而图1所示的CNN，其去噪过程具体如下：首先输入层接收待去噪图像，然后将待去噪图像的图像矩阵分别发送至第一卷积层的第一卷积单元和第二卷积单元；而第一卷积单元将利用预设的卷积权重系数W1对图像矩阵进行卷积运算，以去除图像噪声，且将卷积运算结果发送至第三卷积单元和第四卷积单元，而第二卷积单元将利用W2对图像矩阵进行卷积运算，且将卷积运算结果也发送至第三卷积单元和第四卷积单元；而第三卷积单元将第一卷积单元和第二卷积单元发送的卷积运算结果作为输入，利用预设的卷积权重系数W3对输入的卷积运算结果再次进行卷积运算，以再次去除图像噪声；同理第四卷积单元也将第一卷积单元和第二卷积单元发 送的卷积运算结果作为输入，利用预设的卷积权重系数W4对输入的卷积运算结果再次进行卷积运算；最后，输出层将第三卷积单元与第四卷积单元输出的卷积运算结果按一定的比例进行合成，获得去噪后图像。
在现有技术中，无论在何种场景下生成的图像，CNN中的每个卷积运算单元均利用固定的卷积权重系数对图像进行去噪，相应的，输出层均利用固定的合成比例系数对最后一卷积层输出的卷积运算结果进行合成，从而使得对图像的去噪效果较差。
发明内容
本发明实施例提供一种去除图像噪声的方法、装置、设备及卷积神经网络，以提高图像的去噪效果。
第一方面，提供一种去除图像噪声的方法，所述方法基于卷积神经网络去除图像噪声，所述卷积神经网络至少包括输出层和多个卷积层，每个卷积层包括多个卷积单元，所述方法包括：
获取待去噪图像的生成场景；
从预设的场景与网络权重系数的对应关系中，获取当前生成场景所对应的网络权重系数，所述网络权重系数包括卷积权重系数以及合成比例系数，所述卷积权重系数为所述卷积神经网络中每个卷积层所对应卷积单元的卷积系数，所述合成比例系数为所述卷积神经网络中输出层合成最后一卷积层中不同卷积单元所输出卷积运算结果的比例系数；
根据当前生成场景所对应的卷积权重系数，调整所述卷积神经网络中每个卷积层中卷积单元的卷积权重系数，以及，根据当前生成场景所对应的合成比例系数，调整所述卷积神经网络中输出层合成最后一卷积层中不同卷积单元所输出卷积运算结果的比例系数；
利用调整后的卷积神经网络，对所述待去噪图像执行去噪。
由于在实际应用中，不同场景所生成图像的噪声也不相同。而在本发明实施例中，可根据图像的生成场景，选择不同的网络权重系数，对图像进行 去噪，那么可保证当前CNN的网络权重系数与图像中噪声的特征相匹配，从而提高图像的去噪效果。
结合第一方面，在第一种可能的实现方式中，所述场景与网络权重系数的对应关系通过下述方式获得：
针对一场景：
在所述场景下，获取多个无噪标准图像与带噪图像；
根据多个无噪标准图像与带噪图像，生成第一训练样本，所述第一训练样本中包括所述无噪标准图像的图像矩阵和带噪图像的图像矩阵；
利用第一训练样本对所述卷积神经网络进行训练，获得该场景对应的网络权重系数。
在本发明实施例中，终端可在出厂前，获得多个无噪的标准图像和带噪图像，对上述CNN中每个卷积层中卷积单元的卷积权重系数和输出层的合成比例系数进行训练，也可在终端出厂后，获得多个无噪的标准图像和带噪图像，对CNN中每个卷积层中卷积单元的卷积权重系数和输出层的合成比例系数进行训练；由于在终端出厂后，随着终端的不断被使用和损耗，其采集图像的噪声是不同的，那么采用本发明的训练方法，可根据终端的损耗情况，实时调整CNN中每个卷积层中卷积单元的卷积权重系数和输出层的合成比例系数，从而提高对图像的去噪效果。
结合第一方面，在第二种可能的实现方式中，所述场景与网络权重系数的对应关系通过下述方式获得：
针对一场景：
在所述场景下，获取多个无噪标准图像与带噪图像；
根据多个无噪标准图像与带噪图像，生成第一训练样本，所述第一训练样本包括多个无噪标准图像的图像矩阵和带噪图像的图像矩阵；
对所述带噪图像的图像矩阵和标准图像的图像矩阵进行处理，获取当前场景下噪声图像的图像矩阵；
根据所述噪声图像的图像矩阵和全零矩阵，生成第二训练样本，所述全 零矩阵与噪声图像的图像矩阵大小相同；
所述终端将所述第一训练样本与第二训练样本按照预设系数进行混合，生成第三训练样本；
利用第三训练样本对所述卷积神经网络进行训练，获得该场景对应的网络权重系数。
在本发明实施例中，在训练数据中加入第二训练样本，可提高CNN的训练速度，降低错误率。
结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，当所述带噪图像中的噪声为加性噪声时，对所述带噪图像的图像矩阵和标准图像的图像矩阵进行处理，获取当前场景下噪声图像的图像矩阵，包括：
将所述带噪图像的图像矩阵和无噪标准图像的图像矩阵作差，获得当前场景下噪声图像的图像矩阵。
由上可见，在本发明实施例中，可获取噪声图像的图像矩阵。
结合第一方面的第一种可能的实现方式，或者第一方面的第二种可能的实现方式，在第四种可能的实现方式中，在所述场景下，获取多个无噪标准图像与带噪图像，包括：
在所述场景下，利用定标仪器采集多个无噪标准图像，所述定标仪器采集的图像为无噪声图像；
在所述场景下，采集相应的多个带噪图像。
采用上述方法，可在终端出厂前获取多个标准无噪图像和带噪图像。
结合第一方面的第一种可能的实现方式，或者第一方面的第二种可能的实现方式，在第五种可能的实现方式中，在所述场景下，获取多个无噪标准图像与带噪图像，包括：
获取内部存储的多个无噪标准图像，所述无噪标准图像为预先存储在所述终端内的；
在所述场景下，依次对多个无噪标准图像进行采集，获得该场景下的多个带噪图像。
采用上述方法，可在终端出厂后，获取多个无噪标准图像和带噪图像。
第二方面，提供一种去除图像噪声的装置，所述装置基于卷积神经网络去除图像噪声，所述卷积神经网络至少包括输出层和多个卷积层，每个卷积层包括多个卷积单元，所述装置包括：
生成场景获取单元，用于获取待去噪图像的生成场景；
网络权重系数获取单元，用于从预设的场景与网络权重系数的对应关系中，获取当前场景所对应的网络权重系数，所述网络权重系数包括卷积权重系数以及合成比例系数，所述卷积权重系数为所述卷积神经网络中每个卷积层所对应卷积单元的卷积系数，所述合成比例系数为所述卷积神经网络中输出层合成最后一卷积层中不同卷积单元所输出卷积运算结果的比例系数；
调整单元，用于根据当前生成场景所对应的卷积权重系数，调整所述卷积神经网络中每个卷积层中卷积单元的卷积权重系数，以及，根据当前生成场景所对应的合成比例系数，调整所述卷积神经网络中输出层合成最后一卷积层中不同卷积单元所输出卷积运算结果的比例系数；
去噪单元，用于利用调整后的卷积神经网络，对所述待去噪图像执行去噪。
由于在实际应用中，不同场景所生成图像的噪声也不相同。而在本发明实施例中，可根据图像的生成场景，选择不同的网络权重系数，对图像进行去噪，那么可保证当前CNN的网络权重系数与图像中噪声的特征相匹配，从而提高图像的去噪效果。
结合第二方面，在第一种可能的实现方式中，预设的场景与网络权重系数的对应关系由网络权重系数获取单元通过下述方式获得：
针对一场景：
所述网络权重系数获取单元在所述场景下，获取多个无噪标准图像与带噪图像；
所述网络权重系数获取单元根据多个无噪标准图像与带噪图像，生成第一训练样本，所述第一训练样本中包括所述无噪标准图像的图像矩阵和带噪 图像的图像矩阵；
所述网络权重系数获取单元利用第一训练样本对所述卷积神经网络进行训练，获得该场景对应的网络权重系数。
在本发明实施例中，终端可在出厂前，获得多个无噪的标准图像和带噪图像，对上述CNN中每个卷积层中卷积单元的卷积权重系数和输出层的合成比例系数进行训练，也可在终端出厂后，获得多个无噪的标准图像和带噪图像，对CNN中每个卷积层中卷积单元的卷积权重系数和输出层的合成比例系数进行训练；由于在终端出厂后，随着终端的不断被使用和损耗，其采集图像的噪声是不同的，那么采用本发明的训练方法，可根据终端的损耗情况，实时调整CNN中每个卷积层中卷积单元的卷积权重系数和输出层的合成比例系数，从而提高对图像的去噪效果。
结合第二方面，在第二种可能的实现方式中，预设的场景与网络权重系数的对应关系由所述网络权重系数获取单元通过下述方式获得：
针对一场景：
所述网络权重系数获取单元在所述场景下，获取多个无噪标准图像与带噪图像；
所述网络权重系数获取单元根据多个无噪标准图像与带噪图像，生成第一训练样本，所述第一训练样本包括多个无噪标准图像的图像矩阵和带噪图像的图像矩阵；
所述网络权重系数获取单元对所述带噪图像的图像矩阵和标准图像的图像矩阵进行处理，获取当前场景下噪声图像的图像矩阵；
所述网络权重系数获取单元根据所述噪声图像的图像矩阵和全零矩阵，生成第二训练样本，所述全零矩阵与噪声图像的图像矩阵大小相同；
所述网络权重系数获取单元将所述第一训练样本与第二训练样本按照预设系数进行混合，生成第三训练样本；
所述网络权重系数获取单元利用第三训练样本对所述卷积神经网络进行训练，获得该场景对应的网络权重系数。
在本发明实施例中，在训练数据中加入第二训练样本，可提高CNN的训练速度，降低错误率。
结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述网络权重系数获取单元对所述带噪图像的图像矩阵和标准图像的图像矩阵进行处理，获取当前场景下噪声图像的图像矩阵时，具体用于：
所述网络权重系数获取单元将所述带噪图像的图像矩阵和无噪标准图像的图像矩阵作差，获得当前场景下噪声图像的图像矩阵。
由上可见，在本发明实施例中，可获取噪声图像的图像矩阵。
结合第二方面的第一种可能的实现方式，或者第二方面的第二种可能的实现方式，在第四种可能的实现方式中，所述网络权重系数获取单元获取多个无噪标准图像与带噪图像时，具体用于：
所述网络权重系数获取单元在所述场景下，利用定标仪器采集多个无噪标准图像，所述定标仪器采集的图像为无噪声图像；
所述网络权重系数获取单元在所述场景下，采集相应的多个带噪图像。
采用上述方法，可在所述去除图像噪声的装置相对应的终端出厂前，获取多个无噪标准图像和带噪图像。
结合第二方面的第一种可能的实现方式，或者第二方面的第二种可能的实现方式，在第五种可能的实现方式中，所述网络权重系数获取单元获取多个无噪标准图像与带噪图像时，具体用于：
所述网络权重系数获取单元获取终端内部存储的多个无噪标准图像，所述无噪标准图像为预先存储在所述终端内的；
所述网络权重系数获取单元在所述场景下，依次对多个无噪标准图像进行采集，获得该场景下的多个带噪图像。
采用上述方法，可在去除图像噪声的装置相对应的终端出厂后，获取多个无噪标准图像和带噪图像。
第三方面，提供一种卷积神经网络，包括输入层、卷积层、非全连接层和输出层，所述卷积神经网络包括多个卷积层，每个卷积层包括多个卷积单 元，每个卷积单元包括多个神经元，同一卷积层中的不同卷积单元的卷积权重系数不同；
所述输入层，用于接收待去噪图像；
所述卷积层的每个神经元，用于利用所对应卷积单元的卷积权重系数对待去噪图像的图像矩阵进行卷积运算；
所述非全连接层，用于将一卷积层中每个神经元的卷积运算结果，输出至下一卷积层中部分神经元的输入；
所述输出层，用于按照所述合成比例系数对最后一卷积层中不同卷积单元所输出的卷积运算结果进行合成，获得并输出去噪图像。
由于在本发明实施例中，非全连接层，将一卷积层的每个神经元的卷积运算结果，输出至下一卷积层的部分神经元的输入，再次进行卷积运算，相对比于实施例二中的将一卷积层的每个神经元的卷积运算结果，输出至下一卷积层的全部神经元的输入，可减少数据的处理量，提高对图像的运算速度；除此之外，由于对待去噪图像对应的图像矩阵中的每个像素，进行卷积的次数过多，会使得去噪后图像出现过拟合现象，比如去噪后图像出现明显视觉上的错误，而采用本发明的非全连接方式，可减少对图像矩阵中每个像素的卷积运算次数，从而可防止去噪后图像出现过拟合现象。
第四方面，提供一种去除图像噪声的设备，包括：
存储器，用于存储程序和指令；
处理器，用于通过调用所述存储器中存储的程序和指令，执行：第一方面提供的去除图像噪声的方法。
由于在实际应用中，不同场景所生成图像的噪声的特征也不相同。而在本发明实施例中，可根据图像的生成场景，选择不同的网络权重系数，对图像进行去噪，那么可保证当前CNN的网络权重系数与图像中噪声的特征相匹配，从而提高图像的去噪效果。
附图说明
图1为本发明实施例提供的一CNN的示意图；
图2为本发明实施例提供的全连接的一示意图；
图3为本发明实施例提供的合成待去噪图像的一示意图；
图4为本发明实施例提供的非全连接的一示意图；
图5为本发明实施例提供的另一CNN的示意图；
图6为本发明实施例提供的获取网络权重系数的一流程图；
图7为本发明实施例提供的去除图像噪声的方法的一流程图；
图8为本发明实施例提供的获取网络权重系数的一流程图；
图9为本明实施例提供的加入第二训练样本与未加入第二训练样本的对比示意图；
图10为本发明实施例提供的去除图像噪声装置的结构示意图；
图11为本发明实施例提供的去除图像噪声设备的结构示意图；
图12为本发明实施例提供的传统CNN的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
实施例一
本发明首先提供一种传统的卷积神经网络(Convolutional Neural Network，CNN)，该CNN主要用于对图像中的目标物体进行识别；所述CNN可包括输入层、卷积层、池化层、全连接层、一维判决层和输出层；
所述CNN用于接收待识别图像；所述卷积层用于对所述待识别图像的图像矩阵进行卷积运算，所述传统的CNN可具体包括多个卷积层，且所述池化层可具体位于两个相邻的卷积层之间，所述池化层用于对经卷积运算的图像 矩阵进行降维，比如，待去噪图像的图像矩阵经卷积运算后其为宽1000像素*高1000像素的二维矩阵，那么经池化层可具体将上述二维矩阵，降为宽500像素*高500像素的二维矩阵；所述一维判决层可具体判决经过卷积以及降维运算后的图像矩阵中的目标物体；所述输出层用于输出所述判决结果；
由于在实际应用中，所述CNN的卷积层、池化层以及一维判决层均有多个神经元组成；所述全连接层用于将上一层神经元的运算结果，输出至下一层的全部神经元的输入，以便下一层继续进行运算；比如上一层有200个神经元，下一层有100个神经元，所述全连接层用于将200个神经元中每个神经元的运算结果，分别输出至下一层的100个神经元的输入。
具体的，当一传统CNN包括一输入层、二个卷积层、一个池化层、一个一维判决层、一个输出层和三个全连接层时，所述CNN可具体如图12所示。
由上可利用上述传统CNN，可实现图像中目标物体的识别。
实施例二
本发明实施例提供了另一种CNN，该CNN可用于对图像进行去噪，该CNN可包括输入层、卷积层、全连接层和输出层；由于实施例一中的传统CNN，在对图像进行去噪时，池化层会降图像的维度，使得图像失真；以及一维决层主要用于判决图像中的目标物体，因此在本发明实施例的CNN中，去除了传统CNN中的池化层以及一维判决层；
在本发明实施例中，上述CNN可包括多个卷积层，每个卷积层包括多个卷积单元，每个卷积单元的卷积权重系数相同。比如，仍参照图1，CNN包括两个卷积层，分别为第一卷积层和第二卷积层，第一卷积层包括第一卷积单元和第二卷积单元，第二卷积层包括第三卷积单元和第四卷积单元，而第一卷积单元的卷积权重系数为W1，第二卷积运算单元的卷积权重系数为W2，第三卷积运算单元的卷积权重系数为W3，第四卷积运算单元的卷积权重系数为W4；
在本发明实施例中，每个卷积单元可包括多个神经元，且该卷积单元的 所有神经元共享该卷积权重系数，即这一卷积单元的所有神经元均利用对应的卷积权重系数进行卷积运算，以去除图像噪声，比如，第一卷积单元包括2个神经元，那么该单元的2个神经元均利用W1进行卷积运算。
在本发明实施例中，将以图1所示的卷积神经网络为例，详细说明本发明CNN的工作过程；首先所述输入层接收待去噪图像，且将待去噪图像对应的图像矩阵分别输入至第一卷积单元和第二卷积单元，而第一卷积单元的所有神经元将均利用W1对图像矩阵进行卷积运算，且CNN的全连接层将第一卷积单元的任一神经元的卷积运算结果，输出至第二卷积层中的所有神经元的输入，即分别输入至第三卷积单元中所有神经元的输入和第四卷积单元中所有神经元的输入。比如，如图2所示，第三卷积单元有2个神经元，第四卷积单元有2个神经元，那么全连接层，可将第一卷积运算单元中一神经元的卷积运算结果，分别输出至第三卷积单元中2个神经元的输入和第四卷积单元中2个神经元的输入。
在本发明实施例中，第一卷积层和第二卷积层的每个神经元可具体利用下述公式，对输入的待去噪图像的图像矩阵进行卷积运算，具体如下：
所述xi为待去噪图像对应图像矩阵中的第i个像素，所述b为常数，卷积权重系数W可具体为H*W的二维矩阵，所述Wi代表网络权重系数W中的第i个元素；
而第三卷积单元中每个神经元将利用W3对所有的输入再次进行卷积运算；第四卷积单元中每个神经元将利用W4对所有的输入再次进行卷积运算；
在本发明实施例中，第三卷积层和第四卷积层的每个神经元可具体利用下述公式，对输入的卷积运算结果再次进行卷积运算：
所述yi为该神经元的第i个输入，所述b为常数，卷积权重系数W可具体为H*W的二维矩阵，所述Wi代表网络权重系数W中的第i个元素。
最后，所述输出层对第三卷积单元的卷积运算结果和第四卷积单元的卷 积运算结果进行合成，具体如下：
首先，假设第三卷积单元的卷积运算结果的合成比例系数不S1，所述S1可为A1*B1的二维矩阵，其中，S1中的一个元素对应于第三卷积单元中一个卷积运算结果的合成系数；第四卷积单元的卷积运算结果的合成比例系数为S2，所述S2为A2*B2的二维矩阵，其中，S2中的一个元素对应于第四卷单元的一个卷积运算结果的合成系数；
在本发明实施例中，如图3所示，假设第三卷积层有2个神经元，S1为1*2的二维矩阵，且2个神经元输出的卷积运算结果分别为M1和M2，而S1的二个元素分别为A1和A2；
第四卷积层也有2个神经元，S2也为1*2的二维矩阵，且2个神经元的卷积运算结果分别为N1和N2，S2的二个元素分别为B1和B2，那么输出层可按下列方式生成去噪后图像的图像矩阵：
将M1*A1+N1*B1作为去噪后图像的图像矩阵的第一个元素，将M2*A2+N2*B2作为去噪后图像的图像矩阵的第二个元素；而最后生成的去噪后图像的图像矩阵可参照3所示。
由上可见，利用本发明实施例提供的CNN，可实现图像去噪。
实施例三
本发明实施例提供另一种CNN，该CNN同样可用于对图像进行去噪，该CNN可包括输入层、卷积层、非全连接层和输出层；
所述输入层，用于接收待去噪图像，所述卷积层的每个神经元，用于利用所对应卷积单元的卷积权重系数对待去噪图像的图像矩阵进行卷积运算；所述非全连接层，用于将一卷积层中每个神经元的卷积运算结果，输出至相邻卷积层中部分神经元的输入；所述输出层，用于按照所述合成比例系数对最后一卷积层的卷积运算结果进行合成，获得并输出去噪后图像。
在本发明实施例中，仍可参照图1，仍以CNN包括第一卷积层和第二卷积层两个卷积层，第一卷积层包括第一卷积单元和第二卷积单元，第二卷积 层包括第三卷积单元和第四卷积单元为例，详细说明该CNN的工作过程；
首先所述输入层接收待去噪图像，且将待去噪图像对应的图像矩阵分别输入至第一卷积单元和第二卷积单元，而第一卷积单元的所有神经元将均利用W1对图像矩阵进行卷积运算，且CNN的非全连接层将第一卷积单元的任一神经元的卷积运算结果，输出至第二卷积层的部分神经元内；所述第二卷积单元的所有神经元将均利用W2对图像矩阵进行卷积运算，且CNN的非全连接层将第二卷积单元中任一神经元的卷积运算结果，输出至第二卷积层的部分神经元的输入。
在本发明实施例中，在创建CNN的时候，可利用随机非全连接算法，将一卷积单元的一神经元的卷积运算结果，随机输出至下一卷积层的部分神经元的输入。但在该CNN建立完成后，一神经元与下一卷积层的神经元的连接关系已固定，即一神经元的卷积运算结果，固定输出至下一神经元的部分神经元的输入。
在本发明实施例中，如图4所示，所述第一卷积单元的任一神经元的卷积运算结果，可输出至第三卷积单元的一神经元的输入，所述第二卷积单元的任一神经元的卷积运算结果，可输出至第四卷积单元的一神经元的输入。
而第三卷积单元的每个神经元将利用W3对所有的输入再次进行卷积运算；第四卷积单元的每个神经元将利用W4对所有的输入再次进行卷积运算；最后，输出层对第三卷积层和第四卷积层输出的卷积运算结果按照预设的合成比例系数进行合成，获得去噪后图像。
在本发明实施例中，关于第一卷积层和第二卷积层的神经元如何进行卷积运算以及输出层如何对卷积运算结果进行合成，可参照实施例二的论述，再此不再赘述。
由于在本发明实施例中，非全连接层，将一卷积层的每个神经元的卷积运算结果，输出至下一卷积层的部分神经元的输入，再次进行卷积运算，相对比于实施例一和实施例二二中的将一卷积层的每个神经元的卷积运算结果，输出至下一卷积层的全部神经元的输入，可减少数据的处理量，提高对图像 的运算速度；除此之外，由于对待去噪图像对应的图像矩阵中的每个像素，进行卷积的次数过多，会使得去噪后图像出现过拟合现象，比如去噪后图像出现明显视觉上的错误，而采用本发明的非全连接方式，可减少对图像矩阵中每个像素的卷积运算次数，从而可防止去噪后图像出现过拟合现象。
更具体的，在本发明实施例中，如图5所示，所述CNN可包括一个输入层、4个卷积层、3个非全连接层和1个输出层，而每个非全连接层置于相邻的两个卷积层之间。
在实际应用中，由于卷积层设置的越多，对图像的去噪效果往往越好，但去噪速度却越来越慢，通过实验发现，设置4个卷积层，可保证去噪效果的前提下，提高去噪速度；最后，由于本领域技术人员公认为，图像的去噪时间在30ms以内，即可认为对图像的实时去噪，而本发明设置的4个卷积层，理论上6ms内即可完成对图像的去噪，可见，采用本发明的CNN网络，可实现对图像的实时去噪。
实施例四
由于在实际应用中，图像的生成场景不同，图像中的噪声也不同，而如果要达到较好的去噪效果，CNN中每个卷积层中的卷积运算单元所需的卷积权重系数也不同，相应的，输出层对最后一卷积层的卷积单元合成的比例系数也不同，因此，基于实施例二或实施例三提供的CNN，本发明提供了一种图像去噪方法，该方法可具体用于对终端所采集图像进行去噪，所述终端可具体为智能手机、智能穿戴设备以及便携式计算机等终端。而本发明实施例提供的方法，具体如下：
首先，终端获取场景与网络权重系数的对应关系，所述网络权重系数包括卷积权重系数以及合成比例系数，所述卷积权重系数为CNN中每个卷积层所对应卷积单元的卷积系数，所述合成比例系数为CNN中输出层合成最后一卷积层中不同卷积单元所输出卷积运算结果的比例系数。
而针对一场景，终端获取该场景所对应的网络权重系数，如图6所示， 可包括以下步骤：
步骤S61：终端在该场景下，获取多个无噪声的标准图像和带噪图像；
在本发明实施例中，所述场景可具体为不同亮度的拍照环境，比如高亮度的强光环境，以及低亮度的黑暗环境等；由于在实际应用中，很多终端提供不同的拍照模式，比如静止物体的拍照模式、运动物体的拍照模式、风景的拍照模式以及人物的拍照模式，而上述场景还可为不同的拍照模式；更具体的，所述场景还可为在不同拍照模式下的拍照环境，比如在静止物体拍照模式下的黑暗拍照环境。
在本发明实施例中，在终端出厂前，获取无噪声的标准图像和带噪图像的过程如下：所述终端在该场景下，利用定标仪器采集多个无噪声的标准图像，所述定标仪器采集的图像为无噪声图像；终端在所述场景下，采集相应的多个带噪图像。
而在终端出厂后，获取无噪声的标准图像和带噪图像的过程如下：所述终端可具体从存储器中获取多个无噪声的标准图像，所述无噪标准图像可具体在终端出厂前存储至终端存储器内的；然后，终端在该场景下，依次对多个无噪标准图像过行采集，获得该场景下的多个带噪图像。
步骤S62：终端根据标准图像和带噪图像，生成第一训练样本{(I1，J1)，(I2，J2)，……，(In，Jn)}，所述In可具体为在该场景下所生成的第n个标准图像的图像矩阵，所述Jn可具体为在该场景下所生成的第n个带噪图像的图像矩阵，所述In与Jn分别为相对应的标准图像和带噪图像。
在本发明实施例中，所述In与Jn可分别为H×W×C的三维矩阵，H表示图像的高度，W表示图像的宽度，C表示图像的通道数。通常来说，彩色图像的通道数为3，分别为R、G以及B通道，而黑白图像的通道数为1。
步骤S63：终端将第一训练样本{(I1，J1)，(I2，J2)，……，(In，Jn)}输入到上述CNN网络中进行训练，以获取该应用场景的网络权重系数。
在本发明实施例中，可首先将带噪图像J1、J2…..Jn依次输入到本发明的CNN中进行去噪，然后将去噪后图像分别与标准图像I1、I2……In依次进行 对比，确定去噪效果；然后再根据去噪效果调节CNN中每个卷积层中卷积单元的卷积权重系数以及输出层的合成比例系数，然后再利用调节后的CNN，对训练样本中的带噪图像J1、J2…..Jn进行去噪，重复上述过程，直至当前CNN中每个卷积层中卷积单元的网络权重系数和合成比例系数，对当前场景带噪图像的去噪效果达到预设效果为止；最后，提取CNN中每个卷积层中卷积单元的卷积权重系数和输出层的合成比例系数，作为该场景所对应的网络权重系数。
在本发明实施例中，所述终端对多个场景均按照上述步骤S61-S63进行处理，即可获得多个场景所对应的网络权重系数；然后，所述终端按照场景的不同，存储多个网络权重系数，比如可按照“场景1—每个卷积层的网络权重系数，场景2—每个卷积层的网络权重系数等”方式进行存储，获得场景与网络权重系数的对应关系。
由上可见，在本发明实施例中，终端可在出厂前，获得多个无噪的标准图像和带噪图像，对上述CNN中每个卷积层中卷积单元的卷积权重系数和输出层的合成比例系数进行训练，也可在终端出厂后，获得多个无噪的标准图像和带噪图像，对CNN中每个卷积层中卷积单元的卷积权重系数和输出层的合成比例系数进行训练；由于在终端出厂后，随着终端的不断被使用和损耗，其采集图像的噪声是不同的，那么采用本发明的训练方法，可根据终端的损耗情况，实时调整CNN中每个卷积层中卷积单元的卷积权重系数和输出层的合成比例系数，从而提高对图像的去噪效果。
在本发明实施例中，如图7所示，所述终端对图像的去噪流程，可具体如下：
步骤S71：终端获取待去噪图像的生成场景；
在本发明实施例中，当上述场景与传感器参数的对应关系中的场景具体为不同亮度的拍照环境时，所述终端可具体通过待去噪图像的感光度，确定终端的生成场景；例如，当图像的感光度为100以下时，可确定待去噪图像的生成场景为强光环境；而当图像的感光度为200-800时，可确定待去噪图像 的生成场景为弱光环境；而当图像的感光度为800以上时，可确定待去噪图像的生成场景为黑暗环境；
在本发明实施例中，当上述场景与传感器参数的对应关系中的场景具体为不同的拍照模式时，所述终端可具体获取在生成待去噪图像时，用户所选择的拍照模式，将用户所选择的拍照模式作为待去噪图像的生成场景；
在本发明实施例中，当上述场景与传感器参数的对应关系中的场景具体为不同拍照模式下的拍照环境时，所述终端可具体首先获取待去噪图像生成时的拍照模式，然后，再获取在上述拍照模式下的拍照环境，最后将上述拍照模式下的拍照环境作为待去噪图像的生成场景
步骤S72：终端可从预设的场景与网络权重系数对应关系中，获取当前生成场景所对应的网络权重系数；
步骤S73：终端根据当前生成场景所对应的卷积权重系数，调整CNN中每个卷积层的卷积单元的卷积权重系数，以及，根据当前生成场景所对应的合成比例系数，调整CNN中输出层合成最后一卷积层中不同卷积单元所输出卷积运算结果的合成比例系数；
步骤S74：终端利用调整后的CNN，对所述待去噪图像执行去噪。
由于在实际应用中，不同场景所生成图像的噪声也不相同。而在本发明实施例中，可根据图像的生成场景，选择不同的网络权重系数，对图像进行去噪，那么可保证当前CNN的网络权重系数与图像中噪声的特征相匹配，从而提高图像的去噪效果。
实施例五
基于实施例二提供的CNN或实施例三提供的CNN，本发明实施例还提供一种获取场景与网络权重系数对应关系的方法，如图8所示，具体如下：
针对一场景：
步骤S81：终端在所述场景下，获取多个无噪标准图像和带噪图像；
在本发明实施例中，可在终端出厂前，获取多个无噪标准图像和带噪图 像；也可在终端出厂后，获取多个无噪标准图像和带噪图像；具体获取无噪标准图像和带噪图像的方式，可参见实施例四的论述，在此不再赘述。
步骤S82：终端利用多个无噪标准图像和带噪图像，生成第一训练样本，所述第一训练样本中包括标准图像的图像矩阵和带噪图像的图像矩阵；
在本发明实施例中，所述第一训练样本，可具体为{(I1，J1)，(I2，J2)，……，(In，Jn)}，所述In可具体为在该场景下所生成的第n个标准图像的图像矩阵，所述Jn可具体为在该场景下所生成的第n个带噪图像的图像矩阵，所述In与Jn分别为相对应的标准图像和带噪图像。
步骤S83：终端对所述带噪图像的图像矩阵和标准图像的图像矩阵进行处理，获取当前场景下噪声图像的图像矩阵；
由于在实际应用中，终端采集图像的系统是一个线性系统，因此本领域技术人员可确定终端所采集图像中的噪声为加性噪性。此时，终端可对带噪图像的图像矩阵与无噪标准图像的图像矩阵作差，获得当前场景下噪声图像的图像矩阵。
步骤S84：终端根据噪声图像的图像矩阵和全零图像矩阵，生成第二训练样本。
在本发明实施例中，所述第二训练样本可具体为{(k1,p1),(k2,p2),……(kn,pn)}，所述kn为在当前场景下的第n个噪声图像，所述kn＝Jn-In，所述Jn为在当前场景下所采集的第n个带噪图像的图像矩阵，所述In为在当前场景下所采集的第n个无噪标准图像的图像矩阵，所述pn为全零图像矩阵，所述pn的矩阵大小与kn的矩阵大小相同。
步骤S85：终端将第一训练样本和第二训练样本按照预设系数a进行混合，生成第三训练样本；
在本发明实施例中，所述第三训练样本可具体为{(I1，J1)，(I2，J2)，…，(In，Jn)}+a{(k1,p1),(k2,p2),……(kn,pn)}。
步骤S86：终端利用第三训练样本对卷积神经网络进行训练，获得该场景下的网络权重系数。
在本发明实施例中，在不同场景下，重复执行步骤S81-S86，即可获取多个场景下的CNN所对应的网络权重系数；而所述终端可按照场景的不同，存储多个网络权重系数，获得场景与网络权重系数的对应关系。
在本发明实施例中，终端在对图像进行去噪时，可具体从本实施例中的场景与网络权重系数的对应关系中，获取待去噪图像的生成场景所对应的网络权重系统，从而利用该网络权重系数对图像进行去噪。
通过实验验证，在训练数据中加入第二训练样本，可提高CNN的训练速度，降低错误率。在本发明实施例中，在训练数据中加入第二训练数据，与未加入训练样本的对比，可参见图9，所述epoch为时间单位。
实施例六
本发明提供的图像去噪方法，还可用于对彩色图像进行去噪，但是由于彩色图像可具体分为R、G、B三个通道；而在本发明实施例中，对于彩色图像任一通道的图像，可具体利用实施例四或实施例五提供的方法进行图像去噪；而最后，对每个通道去噪后的图像，进行合成即可。
由上可见，采用本发明实施例中的方法，还可对多个通道的彩色图像进行去噪。
实施例七
与本发明提供的一种图像去噪方法相对应的，本发明还提供一种图像去噪装置，如图10所示，包括：
生成场景获取单元101，用于获取待去噪图像的生成场景；
网络权重系数获取单元102，用于从预设的场景与网络权重系数的对应关系中，获取当前生成场景所对应的网络权重系数，所述网络权重系数包括卷积权重系数以及合成比例系数，所述卷积权重系数为卷积神经网络中每个卷积层所对应卷积单元的卷积系数，所述合成比例系数为所述卷积神经网络中输出层合成最后一卷积层中不同卷积单元所输出卷积运算结果的比例系数；
调整单元103，用于根据当前生成场景所对应的卷积权重系数，调整卷积神经网络中每个卷积层中卷积单元的卷积权重系数，以及，根据当前生成场景所对应的合成比例系数，调整所述卷积神经网络中输出层合成最后一卷积层中不同卷积单元所输出卷积运算结果的比例系数；
去噪单元104，用于利用调整后的卷积神经网络，对待去噪图像执行去噪。
可选的，预设的场景与网络权重系数的对应关系由网络权重系数获取单元通过下述方式获得：针对一场景：所述网络权重系数获取单元在所述场景下，获取多个无噪标准图像与带噪图像；所述网络权重系数获取单元根据多个无噪标准图像与带噪图像，生成第一训练样本，所述第一训练样本中包括所述无噪标准图像的图像矩阵和带噪图像的图像矩阵；所述网络权重系数获取单元利用第一训练样本对所述卷积神经网络进行训练，获得该场景对应的网络权重系数。
可选的，预设的场景与网络权重系数的对应关系还可由所述网络权重系数获取单元通过下述方式获得：针对一场景：所述网络权重系数获取单元在所述场景下，获取多个无噪标准图像与带噪图像；所述网络权重系数获取单元根据多个无噪标准图像与带噪图像，生成第一训练样本，所述第一训练样本包括多个无噪标准图像的图像矩阵和带噪图像的图像矩阵；所述网络权重系数获取单元对所述带噪图像的图像矩阵和标准图像的图像矩阵进行处理，获取当前场景下噪声图像的图像矩阵；所述网络权重系数获取单元根据所述噪声图像的图像矩阵和全零矩阵，生成第二训练样本，所述全零矩阵与噪声图像的图像矩阵大小相同；所述网络权重系数获取单元将所述第一训练样本与第二训练样本按照预设系数进行混合，生成第三训练样本；所述网络权重系数获取单元利用第三训练样本对所述卷积神经网络进行训练，获得该场景对应的网络权重系数。
可选的，所述网络权重系数获取单元对所述带噪图像的图像矩阵和标准图像的图像矩阵进行处理，获取当前场景下噪声图像的图像矩阵时，具体用于：所述网络权重系数获取单元将所述带噪图像的图像矩阵和无噪标准图像 的图像矩阵作差，获得当前场景下噪声图像的图像矩阵。
可选的，所述网络权重系数获取单元获取多个无噪标准图像与带噪图像时，具体用于：所述网络权重系数获取单元在所述场景下，利用定标仪器采集多个无噪标准图像，所述定标仪器采集的图像为无噪声图像；所述网络权重系数获取单元在所述场景下，采集相应的多个带噪图像。
可选的，所述网络权重系数获取单元获取多个无噪标准图像与带噪图像时，具体用于：所述网络权重系数获取单元获取终端内部存储的多个无噪标准图像，所述无噪标准图像为预先存储在所述终端内的；所述网络权重系数获取单元在所述场景下，依次对多个无噪标准图像进行采集，获得该场景下的多个带噪图像。
由于在实际应用中，不同场景所生成图像的噪声的特征也不相同。而在本发明实施例中，可根据图像的生成场景，选择不同的网络权重系数，对图像进行去噪，那么可保证当前CNN的网络权重系数与图像中噪声的特征相匹配，从而提高图像的去噪效果。
实施例八
基于上述相同构思，如图11所示，本发明还提供一种图像去噪设备，包括存储器111和处理器112；
存储器111，用于存储程序和指令；
处理器112，用于通过调用存储器中存储的程序和指令，执行：
获取待去噪图像的生成场景；从预设的场景与网络权重系数的对应关系中，获取当前生成场景所对应的网络权重系数，所述网络权重系数包括卷积权重系数以及合成比例系数，所述卷积权重系数为卷积神经网络中每个卷积层所对应卷积单元的卷积系数，所述合成比例系数为所述卷积神经网络中输出层合成最后一卷积层中不同卷积单元所输出卷积运算结果的比例系数；根据当前生成场景所对应的卷积权重系数，调整卷积神经网络中每个卷积层中卷积单元的卷积权重系数，以及，根据当前生成场景所对应的合成比例系数， 调整所述卷积神经网络中输出层合成最后一卷积层中不同卷积单元所输出卷积运算结果的比例系数；利用调整后的卷积神经网络，对所述待去噪图像执行去噪。
其中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器代表的一个或多个处理器和存储器代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器负责管理总线架构和通常的处理，存储器可以存储处理器在执行操作时所使用的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。
本发明是参照本发明实施例的方法和设备各自的流程图和方框图来描述的。应理解可由计算机程序指令实现流程图和方框图中的每一流程和方框、以及流程图和方框图中的流程和方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的装置。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (14)

  1. 一种去除图像噪声的方法，其特征在于，所述方法基于卷积神经网络去除图像噪声，所述卷积神经网络至少包括输出层和多个卷积层，每个卷积层包括多个卷积单元，所述方法包括：
    获取待去噪图像的生成场景；
    从预设的场景与网络权重系数的对应关系中，获取当前生成场景所对应的网络权重系数，所述网络权重系数包括卷积权重系数以及合成比例系数，所述卷积权重系数为所述卷积神经网络中每个卷积层所对应卷积单元的卷积系数，所述合成比例系数为所述卷积神经网络中输出层合成最后一卷积层中不同卷积单元所输出卷积运算结果的比例系数；
    根据当前生成场景所对应的卷积权重系数，调整所述卷积神经网络中每个卷积层中卷积单元的卷积权重系数，以及，根据当前生成场景所对应的合成比例系数，调整所述卷积神经网络中输出层合成最后一卷积层中不同卷积单元所输出卷积运算结果的比例系数；
    利用调整后的卷积神经网络，对所述待去噪图像执行去噪。
  2. 根据权利要求1所述的方法，其特征在于，所述场景与网络权重系数的对应关系通过下述方式获得：
    针对一场景：
    在所述场景下，获取多个无噪标准图像与带噪图像；
    根据多个无噪标准图像与带噪图像，生成第一训练样本，所述第一训练样本中包括所述无噪标准图像的图像矩阵和带噪图像的图像矩阵；
    利用第一训练样本对所述卷积神经网络进行训练，获得该场景对应的网络权重系数。
  3. 根据权利要求1所述的方法，其特征在于，所述场景与网络权重系数的对应关系通过下述方式获得：
    针对一场景：
    在所述场景下，获取多个无噪标准图像与带噪图像；
    根据多个无噪标准图像与带噪图像，生成第一训练样本，所述第一训练样本包括多个无噪标准图像的图像矩阵和带噪图像的图像矩阵；
    对所述带噪图像的图像矩阵和标准图像的图像矩阵进行处理，获取当前场景下噪声图像的图像矩阵；
    根据所述噪声图像的图像矩阵和全零矩阵，生成第二训练样本，所述全零矩阵与噪声图像的图像矩阵大小相同；
    将所述第一训练样本与第二训练样本按照预设系数进行混合，生成第三训练样本；
    利用第三训练样本对所述卷积神经网络进行训练，获得该场景对应的网络权重系数。
  4. 根据权利要求3所述的方法，其特征在于，当所述带噪图像中的噪声为加性噪声时，对所述带噪图像的图像矩阵和标准图像的图像矩阵进行处理，获取当前场景下噪声图像的图像矩阵，包括：
    将所述带噪图像的图像矩阵和无噪标准图像的图像矩阵作差，获得当前场景下噪声图像的图像矩阵。
  5. 根据权利要求2或3所述的方法，其特征在于，在所述场景下，获取多个无噪标准图像与带噪图像，包括：
    在所述场景下，利用定标仪器采集多个无噪标准图像，所述定标仪器采集的图像为无噪声图像；
    所述终端在所述场景下，采集相应的多个带噪图像。
  6. 根据权利要求2或3所述的方法，其特征在于，在所述场景下，获取多个无噪标准图像与带噪图像，包括：
    获取内部存储的多个无噪标准图像，所述无噪标准图像为预先存储在所述终端内的；
    在所述场景下，依次对多个无噪标准图像进行采集，获得该场景下的多个带噪图像。
  7. 一种去除图像噪声的装置，其特征在于，所述装置基于卷积神经网络去除图像噪声，所述卷积神经网络至少包括输出层和多个卷积层，每个卷积层包括多个卷积单元，所述装置包括：
    生成场景获取单元，用于获取待去噪图像的生成场景；
    网络权重系数获取单元，用于从预设的场景与网络权重系数的对应关系中，获取当前场景所对应的网络权重系数，所述网络权重系数包括卷积权重系数以及合成比例系数，所述卷积权重系数为所述卷积神经网络中每个卷积层所对应卷积单元的卷积系数，所述合成比例系数为所述卷积神经网络中输出层合成最后一卷积层中不同卷积单元所输出卷积运算结果的比例系数；
    调整单元，用于根据当前生成场景所对应的卷积权重系数，调整所述卷积神经网络中每个卷积层中卷积单元的卷积权重系数，以及，根据当前生成场景所对应的合成比例系数，调整所述卷积神经网络中输出层合成最后一卷积层中不同卷积单元所输出卷积运算结果的比例系数；
    去噪单元，用于利用调整后的卷积神经网络，对所述待去噪图像执行去噪。
  8. 根据权利要求7所述的装置，其特征在于，预设的场景与网络权重系数的对应关系由网络权重系数获取单元通过下述方式获得：
    针对一场景：
    所述网络权重系数获取单元在所述场景下，获取多个无噪标准图像与带噪图像；
    所述网络权重系数获取单元根据多个无噪标准图像与带噪图像，生成第一训练样本，所述第一训练样本中包括所述无噪标准图像的图像矩阵和带噪图像的图像矩阵；
    所述网络权重系数获取单元利用第一训练样本对所述卷积神经网络进行训练，获得该场景对应的网络权重系数。
  9. 根据权利要求7所述的装置，其特征在于，预设的场景与网络权重系数的对应关系由所述网络权重系数获取单元通过下述方式获得：
    针对一场景：
    所述网络权重系数获取单元在所述场景下，获取多个无噪标准图像与带噪图像；
    所述网络权重系数获取单元根据多个无噪标准图像与带噪图像，生成第一训练样本，所述第一训练样本包括多个无噪标准图像的图像矩阵和带噪图像的图像矩阵；
    所述网络权重系数获取单元对所述带噪图像的图像矩阵和标准图像的图像矩阵进行处理，获取当前场景下噪声图像的图像矩阵；
    所述网络权重系数获取单元根据所述噪声图像的图像矩阵和全零矩阵，生成第二训练样本，所述全零矩阵与噪声图像的图像矩阵大小相同；
    所述网络权重系数获取单元将所述第一训练样本与第二训练样本按照预设系数进行混合，生成第三训练样本；
    所述网络权重系数获取单元利用第三训练样本对所述卷积神经网络进行训练，获得该场景对应的网络权重系数。
  10. 根据权利要求9所述的装置，其特征在于，所述网络权重系数获取单元对所述带噪图像的图像矩阵和标准图像的图像矩阵进行处理，获取当前场景下噪声图像的图像矩阵时，具体用于：
    所述网络权重系数获取单元将所述带噪图像的图像矩阵和无噪标准图像的图像矩阵作差，获得当前场景下噪声图像的图像矩阵。
  11. 根据权利要求8或9所述的装置，其特征在于，所述网络权重系数获取单元获取多个无噪标准图像与带噪图像时，具体用于：
    所述网络权重系数获取单元在所述场景下，利用定标仪器采集多个无噪标准图像，所述定标仪器采集的图像为无噪声图像；
    所述网络权重系数获取单元在所述场景下，采集相应的多个带噪图像。
  12. 根据权利要求8或9所述的装置，其特征在于，所述网络权重系数获取单元获取多个无噪标准图像与带噪图像时，具体用于：
    所述网络权重系数获取单元获取终端内部存储的多个无噪标准图像，所 述无噪标准图像为预先存储在所述终端内的；
    所述网络权重系数获取单元在所述场景下，依次对多个无噪标准图像进行采集，获得该场景下的多个带噪图像。
  13. 一种卷积神经网络，其特征在于，包括输入层、卷积层、非全连接层和输出层，所述卷积神经网络包括多个卷积层，每个卷积层包括多个卷积单元，每个卷积单元包括多个神经元，同一卷积层中的不同卷积单元的卷积权重系数不同；
    所述输入层，用于接收待去噪图像；
    所述卷积层的每个神经元，用于利用所对应卷积单元的卷积权重系数对待去噪图像的图像矩阵进行卷积运算；
    所述非全连接层，用于将一卷积层中每个神经元的卷积运算结果，输出至下一卷积层中部分神经元的输入；
    所述输出层，用于按照所述合成比例系数对最后一卷积层中不同卷积单元所输出的卷积运算结果进行合成，获得并输出去噪图像。
  14. 一种去除图像噪声的设备，其特征在于，包括：
    存储器，用于存储程序和指令；
    处理器，用于通过调用所述存储器中存储的程序和指令，执行：
    获取待去噪图像的生成场景；
    从预设的场景与网络权重系数的对应关系中，获取当前生成场景所对应的网络权重系数，所述网络权重系数包括卷积权重系数以及合成比例系数，所述卷积权重系数为卷积神经网络中每个卷积层所对应卷积单元的卷积系数，所述合成比例系数为所述卷积神经网络中输出层合成最后一卷积层中不同卷积单元所输出卷积运算结果的比例系数；
    根据当前生成场景所对应的卷积权重系数，调整卷积神经网络中每个卷积层中卷积单元的卷积权重系数，以及，根据当前生成场景所对应的合成比例系数，调整所述卷积神经网络中输出层合成最后一卷积层中不同卷积单元所输出卷积运算结果的比例系数；
    利用调整后的卷积神经网络，对所述待去噪图像执行去噪。
CN201680080573.7A 2016-07-27 2016-07-27 一种去除图像噪声的方法、装置、设备及卷积神经网络 Active CN108604369B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/091949 WO2018018470A1 (zh) 2016-07-27 2016-07-27 一种去除图像噪声的方法、装置、设备及卷积神经网络

Publications (2)

Publication Number Publication Date
CN108604369A true CN108604369A (zh) 2018-09-28
CN108604369B CN108604369B (zh) 2020-10-27

Family

ID=61015354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680080573.7A Active CN108604369B (zh) 2016-07-27 2016-07-27 一种去除图像噪声的方法、装置、设备及卷积神经网络

Country Status (2)

Country Link
CN (1) CN108604369B (zh)
WO (1) WO2018018470A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993707A (zh) * 2019-03-01 2019-07-09 华为技术有限公司 图像去噪方法和装置
CN110569961A (zh) * 2019-08-08 2019-12-13 合肥图鸭信息科技有限公司 一种神经网络训练方法、装置及终端设备
CN111402153A (zh) * 2020-03-10 2020-07-10 上海富瀚微电子股份有限公司 一种图像处理方法及系统
CN113469911A (zh) * 2021-06-29 2021-10-01 展讯通信（上海）有限公司 图像去噪方法及装置、计算机可读存储介质、终端

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11270161B2 (en) 2017-11-27 2022-03-08 Nvidia Corporation Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene
US10762620B2 (en) 2017-11-27 2020-09-01 Nvidia Corporation Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene
CN108765308B (zh) * 2018-04-25 2022-02-18 西安科技大学 一种基于卷积模板的图像去噪方法
US10636123B2 (en) 2018-05-15 2020-04-28 Wipro Limited Method and device for de-noising images
CN109544585A (zh) * 2018-12-19 2019-03-29 中国石油大学(华东) 一种基于轻量化卷积神经网络的胆石病ct医疗图像数据增强方法
CN109785254A (zh) * 2018-12-29 2019-05-21 努比亚技术有限公司 图片降噪方法、图片降噪模型生成方法、终端及存储介质
CN110163827B (zh) * 2019-05-28 2023-01-10 腾讯科技（深圳）有限公司 图像去噪模型的训练方法、图像去噪方法、装置及介质
CN112308785B (zh) * 2019-08-01 2024-05-28 武汉Tcl集团工业研究院有限公司 图像去噪方法、存储介质及终端设备
CN110930327B (zh) * 2019-11-18 2022-09-23 浙江工商大学 基于级联深度残差网络的视频去噪方法
CN111709899A (zh) * 2020-07-02 2020-09-25 博新融通(北京)科技有限公司 胶片噪声去除方法、装置、存储介质及终端
CN112837231A (zh) * 2021-01-12 2021-05-25 西安理工大学 一种包含噪声估计的卷积盲去噪方法
CN113222831B (zh) * 2021-04-02 2024-02-13 西安电子科技大学 一种图像条带噪声去除的特征记忆遗忘单元、网络及系统
CN113888405B (zh) * 2021-08-23 2023-08-15 西安电子科技大学 基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971342A (zh) * 2014-05-21 2014-08-06 厦门美图之家科技有限公司 一种基于卷积神经网络的图像噪点检测方法
CN104820974A (zh) * 2015-05-14 2015-08-05 浙江科技学院 基于elm的图像去噪方法
CN105096279A (zh) * 2015-09-23 2015-11-25 成都融创智谷科技有限公司 一种基于卷积神经网络的数字图像处理方法
CN105512685A (zh) * 2015-12-10 2016-04-20 小米科技有限责任公司 物体识别方法和装置
CN105681628A (zh) * 2016-01-05 2016-06-15 西安交通大学 一种卷积网络运算单元及可重构卷积神经网络处理器和实现图像去噪处理的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201010407A (en) * 2008-08-19 2010-03-01 Univ Nat Kaohsiung Applied Sci Color image noise reduction method using particle swarm optimization and cellular neural network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971342A (zh) * 2014-05-21 2014-08-06 厦门美图之家科技有限公司 一种基于卷积神经网络的图像噪点检测方法
CN104820974A (zh) * 2015-05-14 2015-08-05 浙江科技学院 基于elm的图像去噪方法
CN105096279A (zh) * 2015-09-23 2015-11-25 成都融创智谷科技有限公司 一种基于卷积神经网络的数字图像处理方法
CN105512685A (zh) * 2015-12-10 2016-04-20 小米科技有限责任公司 物体识别方法和装置
CN105681628A (zh) * 2016-01-05 2016-06-15 西安交通大学 一种卷积网络运算单元及可重构卷积神经网络处理器和实现图像去噪处理的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TORALI SAIKIA等: "Multilevel-DWT based Image De-noising using Feed Forward Artificial Neural Network", 《 2014 INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING AND INTEGRATED NETWORKS (SPIN)》 *
ZHENFU JIANG等: "Aadaptive Signal De-noising Based on Feedback Networks and Counterpropagation Network", 《PROCEEDINGS OF 2014 IEEE INTERNATIONAL CONFERENCE ON SERVICE OPERATIONS AND LOGISTICS, AND INFORMATICS》 *
吴洋威: "基于深度学习的图像去噪算法", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993707A (zh) * 2019-03-01 2019-07-09 华为技术有限公司 图像去噪方法和装置
CN109993707B (zh) * 2019-03-01 2023-05-12 华为技术有限公司 图像去噪方法和装置
US12062158B2 (en) 2019-03-01 2024-08-13 Huawei Technologies Co., Ltd. Image denoising method and apparatus
CN110569961A (zh) * 2019-08-08 2019-12-13 合肥图鸭信息科技有限公司 一种神经网络训练方法、装置及终端设备
CN111402153A (zh) * 2020-03-10 2020-07-10 上海富瀚微电子股份有限公司 一种图像处理方法及系统
CN113469911A (zh) * 2021-06-29 2021-10-01 展讯通信（上海）有限公司 图像去噪方法及装置、计算机可读存储介质、终端
CN113469911B (zh) * 2021-06-29 2022-10-11 展讯通信（上海）有限公司 图像去噪方法及装置、计算机可读存储介质、终端

Also Published As

Publication number Publication date
WO2018018470A1 (zh) 2018-02-01
CN108604369B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN108604369A (zh) 一种去除图像噪声的方法、装置、设备及卷积神经网络
EP4109392A1 (en) Image processing method and image processing device
CN113284054B (zh) 图像增强方法以及图像增强装置
Sugimura et al. Enhancing color images of extremely low light scenes based on RGB/NIR images acquisition with different exposure times
CN110276767A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111192226B (zh) 一种图像融合去噪方法及装置、系统
Wang et al. Joint iterative color correction and dehazing for underwater image enhancement
CN116569213A (zh) 图像区域的语义细化
CN110276831A (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN113781370B (zh) 图像的增强方法、装置和电子设备
CN113822830A (zh) 基于深度感知增强的多曝光图像融合方法
CN114627034A (zh) 一种图像增强方法、图像增强模型的训练方法及相关设备
CN117351115A (zh) 图像生成模型的训练方法、图像生成方法、装置及设备
CN109219833A (zh) 使用深度信息增强图像中的边缘
CN113947643B (zh) Rgb图像重建为高光谱图像的方法、装置、设备及存储介质
CN109978928B (zh) 一种基于加权投票的双目视觉立体匹配方法及其系统
Pramanick et al. X-CAUNET: Cross-Color Channel Attention with Underwater Image-Enhancing Transformer
CN112489144B (zh) 图像处理方法、图像处理装置、终端设备及存储介质
CN114299180A (zh) 图像重建方法、装置、设备及存储介质
Chang et al. A self-adaptive single underwater image restoration algorithm for improving graphic quality
CN113781326A (zh) 解马赛克方法、装置、电子设备及存储介质
Guo et al. Low-light color imaging via cross-camera synthesis
Yang et al. Multi-scale underwater image enhancement with optimized homomorphic filter and RGB color correction
Liu et al. GCCF: A lightweight and scalable network for underwater image enhancement
Yao et al. Development and validation of BVB-UIE: an underwater image-enhancement model with two-layer deep neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant