CN114066760A - 图像去噪方法、网络模型的训练方法、装置、介质和设备 - Google Patents
图像去噪方法、网络模型的训练方法、装置、介质和设备 Download PDFInfo
- Publication number
- CN114066760A CN114066760A CN202111369947.6A CN202111369947A CN114066760A CN 114066760 A CN114066760 A CN 114066760A CN 202111369947 A CN202111369947 A CN 202111369947A CN 114066760 A CN114066760 A CN 114066760A
- Authority
- CN
- China
- Prior art keywords
- noise
- image
- network model
- images
- denoising
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 title claims abstract description 60
- 238000000605 extraction Methods 0.000 claims abstract description 46
- 230000006870 function Effects 0.000 claims description 31
- 239000000126 substance Substances 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种图像去噪方法、网络模型的训练方法、装置、介质和设备，用以提供一种无监督深度学习的图像去噪网络模型，包括：利用噪声提取网络模型从含噪声图像样本中获取噪声图像信息；将噪声图像信息和无噪声图像样本共同输入至噪声生成网络模型，生成无噪声图像样本对应的模拟含噪声图像；构建训练图像样本集合，针对N组图像中的第K组图像：将第K组图像中的模拟含噪声图像输入至待训练的图像去噪网络模型中，输出第一去噪图像；根据所述第一组图像中的无噪声图像样本与所述第一去噪图像之间的损失值调整所述待训练的图像去噪网络模型中的参数；当N组图像均被输入至待训练的图像去噪网络模型且执行完成上述操作后，得到图像去噪网络模型。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像去噪方法、网络模型的训练方法、装置、介质和设备。
背景技术
目前，在数字图像成像过程中，由于拍摄时的光照情况和图像传感器自身性能的限制，容易在数字图像中引入噪声。此外，即使图像传感器的性能足够优秀，数字图像在传输过程中也有可能受到噪声污染。因此，不得不训练图像去噪网络模型以对数字图像进行去噪处理。当前在实际应用中，需要依赖于数据，基于高斯白噪声训练的神经网络在真实图像去噪中的效果并不理想。而使用真实噪声图像数据集进行训练的难点在于相关的数据集是非常不充足甚至极度匮乏的。简单来说，真实噪声图像数据集的获取方式大致有两种：一方面多次拍摄固定场景再去取平均；另一方面分别拍摄低感光度的图像和高感光度的图像，再通过后续处理使这两张图片看起来是在同样的情况下拍摄的。可见，这两种方法都需要人工标注，因此，图像数据集获取成本都很高。
为此，亟需提供一种图像去噪网络模型的训练方案，来改善现有真实噪声数据集不充足和获取成本高的问题。
发明内容
本发明实施例提供一种图像去噪方法、网络模型的训练方法、装置、介质和设备，用以提供一种新的图像去噪网络模型的训练方案，来改善现有真实噪声数据集不充足和获取成本高的问题。
第一方面，本发明提供一种图像去噪网络模型的训练方法，该训练方法可以包括如下步骤：
利用噪声提取网络模型从含噪声图像样本中获取噪声图像信息；
将所述噪声图像信息和无噪声图像样本共同输入至噪声生成网络模型，生成无噪声图像样本对应的模拟含噪声图像；
构建训练图像样本集合，所述训练图像样本集合包括N组图像，所述N组图像中的每组图像包括无噪声图像样本、含噪声图像样本和无噪声图像样本对应的模拟含噪声图像；
针对所述N组图像中的第K组图像，第K组图像为N组图像中任意一组图像，分别执行如下操作：
将第K组图像中的模拟含噪声图像输入至待训练的图像去噪网络模型中，输出第一去噪图像；根据所述第K组图像中的无噪声图像样本与所述第一去噪图像之间的损失值，调整所述待训练的图像去噪网络模型中的参数，当N组图像均被输入至待训练的图像去噪网络模型，且执行完成上述操作后，得到图像去噪网络模型。
本发明提供一种图像去噪网络模型的训练方法的有益效果在于，可以不需要预先通过人工标注的方式来获取图像数据集，而是通过噪声信息提取网络获得噪声图像中的噪声图像信息，将提取到的噪声图像信息与无噪声图像样本一同输入到噪声生成网络模型，以生成含噪声图像样本，从而构建出训练图像样本集合，该训练图像样本集合包括无噪声图像样本，以及与无噪声图像样本匹配的含噪声图像样本，这样就可以实现在无需借助人工标注图像数据集的情况下去训练图像去噪神经网络，以改善现有真实噪声数据集不充足和获取成本高的问题。
在一种可能的实施方式中，所述方法还包括：针对所述N组图像中的第K组图像，第K组图像为N组图像中任意一组图像，分别执行如下操作：将第K组图像中的含噪声图像样本输入至图像去噪网络模型，得到第二去噪图像；将第一去噪图像与第二去噪图像输入到第一判别器中，利用第一损失函数计算第一去噪图像与第二去噪图像之间的第一损失值；利用第一损失值调整所述噪声提取网络模型中的参数和所述噪声生成网络模型中的参数；
当N组图像均被输入至图像去噪网络模型，且执行完成上述操作后，得到优化后的噪声提取网络模型和噪声生成网络模型；
其中，所述第一损失函数满足如下公式：
其中，
为第一损失值，G是噪声生成网络模型，E是噪声提取网络模型，R是图像去噪网络模型，
为第一判别器，x为无噪声图像样本，y为含噪声图像样本，
为模拟含噪声图像，
为第一去噪图像，R(y)为第二去噪图像，e为噪声图像信息，p表示噪声图像信息域或无噪声图像域的分布情况。
该方法中，将含噪声图像样本输入到图像去噪网络模型中，通过第一判别器最小化含噪声图像样本与模拟含噪声图像样本之间的差异，进而更新噪声生成网络模型与噪声提取网络模型的参数，达到优化网络模型的目的。
在一种可能的实施方式中，所述第K组图像中的无噪声图像样本与所述第一去噪图像之间的损失值满足如下第二损失函数公式：
其中，
为损失值，R是图像去噪网络模型，
为模拟含噪声图像，
为第一去噪图像，x为无噪声图像样本。
在一种可能的实施方式中，利用噪声提取网络模型从含噪声图像样本中获取噪声图像信息之前，还包括：
将含噪声图像样本输入至待训练的噪声提取网络中，输出参考噪声信息；
将参考噪声信息与无噪声图像样本输入到第二判别器中，利用第三损失函数计算参考噪声信息与无噪声图像样本之间的第三损失值，根据第三损失值调整所述待训练的噪声提取网络模型的参数，得到噪声提取网络；
第三损失函数为：
其中，
为第三损失值，E是噪声提取网络模型，Dx为第二判别器，x为无噪声图像样本，e为噪声图像信息，p表示噪声图像信息域或无噪声图像域的分布情况。
在一种可能的实施方式中，将所述噪声图像信息和无噪声图像样本共同输入至噪声生成网络模型，生成无噪声图像样本对应的模拟含噪声图像之前，还包括：
将噪声图像信息与无噪声图像样本输入到噪声生成网络模型中，得到参考噪声图像样本；
将参考噪声图像样本和噪声图像信息输入到第三判别器中，利用第四损失函数计算参考噪声图像样本与无噪声图像样本之间的第四损失值，根据第四损失值调整所述待训练的噪声生成网络模型的参数，得到噪声生成网络模型；
第四损失函数为：
其中，
为第四损失值，G是噪声生成网络模型，Dy为第三判别器，y为噪声图像信息，
为参考噪声图像样本，p表示噪声图像信息域或无噪声图像域的分布情况。
第二方面，本发明实施例还提供一种图像去噪网络模型的训练装置，该训练装置包括执行上述第一方面的任意一种可能的实施方式的方法的模块/单元。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。
第三方面，本发明实施例还提供一种图像去噪方法，该方法应用于上述第一方面的任意一种可能的实施方式的图像去噪网络模型，向上述图像去噪网络模型输入待处理的图像；获取所述图像去噪网络模型所输出的图像去噪后的图像。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。
第四方面，本发明实施例提供一种电子设备，包括处理器和存储器。其中，存储器用于存储一个或多个程序；当存储器存储的一个或多个程序被处理器执行时，使得该电子设备能够实现上述第一方面的任意一种可能的实施方式的方法。
第五方面，本发明实施例中还提供一种可读存储介质，所述可读存储介质包括程序，当程序在电子设备上运行时，使得所述电子设备执行上述第一方面的任意一种可能的实施方式的方法。
第六方面，本发明实施例还提供一种包含程序产品，当所述程序产品在电子设备上运行时，使得所述电子设备执行上述第一方面的任意一种可能的实施方式的方法。
关于上述第二方面至第六方面的有益效果可以参见上述第一方面中的描述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种应用场景示意图；
图2为本发明实施例提供的一种图像去噪网络模型的训练方法流程示意图；
图3为本发明实施例提供的另一种图像去噪网络模型的训练方法流程示意图；
图4为本发明实施例提供的一种图像去噪方法流程示意图；
图5为本发明实施例提供的一种图像去噪网络模型的训练装置示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为了改善现有的图像去噪网络模型的训练方法存在的不足，本发明提供一种图像去噪网络模型的训练方法，该方法可以不需要预先通过人工标注的方式来获取图像数据集，而是通过噪声信息提取网络模型获得噪声图像样本中的噪声图像信息，将提取到的噪声图像信息与无噪声图像样本一同输入到噪声生成网络模型，以生成含噪声图像样本，从而构建出训练图像样本集合。
以下对本发明实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
1、卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(feedforward neural networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。卷积神经网络是神经网络的一种，受到生物神经科学研究启发而来，卷积神经网络提出之初用于处理具有类网络结构的数据，如可把图像视作由像素点组成的二维网络。卷积神经网络的一般性的网络结构中含有数据输入层、卷积层、数据激励层、池化层、全连接和数据输出层。
本发明实施例涉及人工智能(artificial intelligence，AI)和机器学习技术，基于人工智能中的深度学习网络和机器学习(machine learning，ML)而设计。
随着人工智能技术研究和进步，人工智能在多个领域展开研究和应用，例如常见的智能家居、智能客服、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、机器人、智能医疗等，相信随着技术的发展，人工智能将在更多的领域得到应用，并发挥越来越重要的价值。
2、机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。
在本发明实施例的描述中，以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本发明的限制。如在本发明的说明书和所附权利要求书中所使用的那样，单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本发明以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
在本发明实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
本发明所提供的一种图像去噪网络模型的训练方法可以应用于如图1所示的应用场景，该应用场景中包括服务器100、终端设备200。
一种可能的设计中，服务器100，用于从终端设备200获取噪声图像样本，然后通过噪声信息提取网络模型获得噪声图像样本中的噪声图像信息，将提取到的噪声图像信息与无噪声图像样本一同输入到噪声生成网络模型，以生成含噪声图像样本，从而构建出训练图像样本集合，借助该训练图像样本集合训练生成图像去噪网络模型。
另一种可能的设计中，终端设备200通过噪声信息提取网络获得噪声图像样本中的噪声图像信息，将提取到的噪声图像信息与无噪声图像样本一同输入到噪声生成网络模型，以生成含噪声图像样本，从而构建出训练图像样本集合，借助该训练图像样本集合训练生成图像去噪网络模型。
其中，图像去噪网络模型可以是卷积神经网络模型，服务器100和终端设备200可以通过无线网络连接，终端设备200可以是具备图像传感器的终端设备，该终端设备可以是智能手机、平板电脑等。服务器100可以是一台服务器，或者是若干台服务器组成的服务器集群或云计算中心。
基于图1所示的应用场景图，本发明实施例提供了一种图像去噪网络模型的训练方法流程，如图2所示，该方法的流程可以由服务器100或者终端设备200执行，下文示例性地以服务器100从终端设备200获取噪声图像样本之后，服务器100执行该训练方法为例进行说明。该方法包括以下步骤：
S301，利用噪声提取网络模型从含噪声图像样本中获取噪声图像信息。
值得说明的是，在执行S301之前需要预先训练生成噪声提取网络E。具体来说，一种可能的实施例中，待训练的训练生成噪声提取网络E可以使用5层的UNet网络结构，将噪声图像样本y输入待训练的噪声提取网络E中，再将得到的噪声信息e与无噪声图像样本x输入到第二判别器Dx中进行训练，利用第三损失函数计算参考噪声信息与无噪声图像样本之间的第三损失值，根据第三损失值调整所述待训练的噪声提取网络模型的参数，得到噪声提取网络；
第三损失函数为：
其中，
为第三损失值，E是噪声提取网络模型，Dx为第二判别器，x为无噪声图像样本，e为噪声图像信息，p表示噪声图像信息域或无噪声图像域的分布情况。
S302，将所述噪声图像信息和无噪声图像样本共同输入至噪声生成网络模型，生成无噪声图像样本对应的模拟含噪声图像。
值得说明的是，在执行S302之前需要预先训练生成噪声生成网络模型G。具体来说，一种可能的实施方式中：将噪声图像信息与无噪声图像样本输入到噪声生成网络模型G中，得到参考噪声图像样本；将参考噪声图像样本和噪声图像信息输入到第三判别器Dy中，利用第四损失函数计算参考噪声图像样本与无噪声图像样本之间的第四损失值，根据第四损失值调整所述待训练的噪声生成网络模型的参数，得到噪声生成网络模型G。这样，就可以利用噪声生成网络模型G生成含噪声图像样本，无需借助人工标注图像数据集的情况下去训练图像去噪神经网络，以改善现有真实噪声数据集不充足和获取成本高的问题。
其中，第四损失函数为：
其中，
为第四损失值，G是噪声生成网络模型，Dy为第三判别器，y为噪声图像信息，
为参考噪声图像样本，p表示噪声图像信息域或无噪声图像域的分布情况。
S303，构建训练图像样本集合，所述训练图像样本集合包括N组图像，所述N组图像中的每组图像包括无噪声图像样本、含噪声图像样本和无噪声图像样本对应的模拟含噪声图像。
S304，针对所述N组图像中的第K组图像，第K组图像为N组图像中任意一组图像，分别执行如下操作：将第K组图像中的模拟含噪声图像输入至待训练的图像去噪网络模型中，输出第一去噪图像；根据所述第K组图像中的无噪声图像样本与所述第一去噪图像之间的损失值，调整所述待训练的图像去噪网络模型中的参数，当N组图像均被输入至待训练的图像去噪网络模型，且执行完成上述操作后，得到图像去噪网络模型。
在一种可能的实施方式中，上述S304中，所述第K组图像中的无噪声图像样本与所述第一去噪图像之间的损失值满足如下第二损失函数公式：
其中，
为第K组图像中的无噪声图像样本与所述第一去噪图像之间的损失值，R是图像去噪网络模型，
为模拟含噪声图像，
为第一去噪图像，x为无噪声图像样本。
另一种可能的实施方式中，在执行S304之后，所述方法还包括：
针对所述N组图像中的第K组图像，第K组图像为N组图像中任意一组图像，分别执行如下操作：将第K组图像中的含噪声图像样本输入至图像去噪网络模型，得到第二去噪图像；将第一去噪图像与第二去噪图像输入到第一判别器中，利用第一损失函数计算第一去噪图像与第二去噪图像之间的第一损失值；利用第一损失值调整所述噪声提取网络模型中的参数和所述噪声生成网络模型中的参数；
当N组图像均被输入至图像去噪网络模型，且执行完成上述操作后，得到优化后的噪声提取网络模型和噪声生成网络模型；
其中，所述第一损失函数满足如下公式：
其中，
为第一损失值，G是噪声生成网络模型，E是噪声提取网络模型，R是图像去噪网络模型，
为第一判别器，x为无噪声图像样本，y为含噪声图像样本，
为模拟含噪声图像，
为第一去噪图像，R(y)为第二去噪图像，e为噪声图像信息，p表示噪声图像信息域或无噪声图像域的分布情况。
从上述方法中可见，本发明不需要预先通过人工标注的方式来获取图像数据集，而是通过噪声信息提取网络获得噪声图像中的噪声图像信息，将提取到的噪声图像信息与无噪声图像样本一同输入到噪声生成网络模型，以生成含噪声图像样本，从而构建出训练图像样本集合，该训练图像样本集合包括无噪声图像样本，以及与无噪声图像样本匹配的含噪声图像样本，这样就可以实现在无需借助人工标注图像数据集的情况下去训练图像去噪神经网络，以改善现有真实噪声数据集不充足和获取成本高的问题。
另外，可以理解的是，为了进一步地提高图像去噪网络模型的图像处理效果，本发明还可以多次循环执行上述S301至S304，从而优化图像去噪网络模型的参数，在改善现有真实噪声数据集不充足和获取成本高的问题的同时，提供一种图像质量更佳的噪声生成网络模型。
下文进一步地结合图3所示的流程图，对上述训练方法进行系统性地阐述。具体来说，首先，利用噪声提取网络模型E从含噪声图像样本y提取噪声图像信息e，然后，将高斯分布噪声图像(例如均值为0方差1的高斯分布噪声图像)和图像噪声信息e进行合并，再将合并的噪声图像信息e和无噪声图像样本x共同输入至噪声生成网络模型G，生成无噪声图像对应的模拟含噪声图像
最后将模拟含噪声图像
经过图像去噪网络模型R后输出第一去噪图像R(y)，将含噪声图像样本
经过图像去噪网络模型R后输出第二去噪图像
另外将第一去噪图像与第二去噪图像输入到第一判别器中，利用第一损失函数的第一损失值调整噪声提取网络模型E中的参数和所述噪声生成网络模型G中的参数，从而优化图像去噪网络模型R。
在本发明的一些实施例中，本发明实施例公开了一种图像去噪方法，该方法可以应用于上述图像去噪网络模型，具体包括如下步骤：
S401，向图像去噪网络模型输入待处理的图像。
S402，获取所述图像去噪网络模型所输出的图像去噪后的图像。
也就是说，利用上述方法得到的图像去噪网络模型对数字图像进行去噪处理，可以有效地改善因拍摄时的光照情况和图像传感器自身性能而在数字图像中所引入的噪声。
在本发明的一些实施例中，本发明实施例公开了一种图像去噪网络模型的训练装置，如图5所示，该装置用于实现以上各个训练方法实施例中记载的方法，其包括：提取单元501、生成单元502、构建单元503和训练单元504。提取单元501，用于利用噪声提取网络模型从含噪声图像样本中获取噪声图像信息，生成单元502，用于将所述噪声图像信息和无噪声图像样本共同输入至噪声生成网络模型，生成无噪声图像对应的模拟含噪声图像。构建单元503，用于构建训练图像样本集合，所述训练图像样本集合包括N组图像，所述N组图像中的每组图像包括无噪声图像样本、含噪声图像样本和无噪声图像样本对应的模拟含噪声图像。训练单元504，用于针对所述N组图像中的第K组图像，第K组图像为N组图像中任意一组图像，分别执行如下操作：将第K组图像中的模拟含噪声图像输入至待训练的图像去噪网络模型中，输出第一去噪图像；根据所述第K组图像中的无噪声图像样本与所述第一去噪图像之间的损失值，调整所述待训练的图像去噪网络模型中的参数，得到图像去噪网络模型。上述训练方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
在本发明的一些实施例中，本发明实施例公开了一种图像去噪网络装置，该装置用于实现以上图像去噪方法实施例，其包括：输入单元和获取单元，输入单元用于向图像去噪网络模型输入待处理的图像。获取单元，用于获取所述图像去噪网络模型所输出的图像去噪后的图像。。上述图像去噪方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
在本发明的另一些实施例中，本发明实施例公开了一种电子设备，该电子设备可以指代上文中的服务器100，也可以指代上文中的终端设备200，如图6所示，该电子设备可以包括：一个或多个处理器601；存储器602；显示器603；一个或多个应用程序(未示出)；以及一个或多个程序604，上述各器件可以通过一个或多个通信总线605连接。其中该一个或多个程序604被存储在上述存储器602中并被配置为被该一个或多个处理器601执行，该一个或多个程序604包括指令，该指令可以用于执行如图2及相应实施例中的各个步骤。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备或处理器执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何在本发明实施例揭露的技术范围内的变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以所述权利要求的保护范围为准。
Claims (13)
1.一种图像去噪网络模型的训练方法，其特征在于，该方法包括：
利用噪声提取网络模型从含噪声图像样本中获取噪声图像信息；
将所述噪声图像信息和无噪声图像样本共同输入至噪声生成网络模型，生成无噪声图像样本对应的模拟含噪声图像；
构建训练图像样本集合，所述训练图像样本集合包括N组图像，所述N组图像中的每组图像包括无噪声图像样本、含噪声图像样本和无噪声图像样本对应的模拟含噪声图像；
针对所述N组图像中的第K组图像，第K组图像为N组图像中任意一组图像，分别执行如下操作：将第K组图像中的模拟含噪声图像输入至待训练的图像去噪网络模型中，输出第一去噪图像；根据所述第K组图像中的无噪声图像样本与所述第一去噪图像之间的损失值，调整所述待训练的图像去噪网络模型中的参数；
当N组图像均被输入至待训练的图像去噪网络模型，且执行完成上述操作后，得到图像去噪网络模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
针对所述N组图像中的第K组图像，第K组图像为N组图像中任意一组图像，分别执行如下操作：将第K组图像中的含噪声图像样本输入至图像去噪网络模型，得到第二去噪图像；将第一去噪图像与第二去噪图像输入到第一判别器中，利用第一损失函数计算第一去噪图像与第二去噪图像之间的第一损失值；利用第一损失值调整所述噪声提取网络模型中的参数和所述噪声生成网络模型中的参数；
当N组图像均被输入至图像去噪网络模型，且执行完成上述操作后，得到优化后的噪声提取网络模型和噪声生成网络模型；
其中，所述第一损失函数满足如下公式：
其中，
为第一损失值，G是噪声生成网络模型，E是噪声提取网络模型，R是图像去噪网络模型，
为第一判别器，x为无噪声图像样本，y为含噪声图像样本，
为模拟含噪声图像，
为第一去噪图像，R(y)为第二去噪图像，e为噪声图像信息，p表示噪声图像信息域或无噪声图像域的分布情况。
3.根据权利要求1或2所述的方法，其特征在于，所述第K组图像中的无噪声图像样本与所述第一去噪图像之间的损失值满足如下第二损失函数公式：
其中，
为损失值，R是图像去噪网络模型，
为模拟含噪声图像，
为第一去噪图像，x为无噪声图像样本。
4.根据权利要求1或2所述的方法，其特征在于，利用噪声提取网络模型从含噪声图像样本中获取噪声图像信息之前，还包括：
将含噪声图像样本输入至待训练的噪声提取网络中，输出参考噪声信息；
将参考噪声信息与无噪声图像样本输入到第二判别器中，利用第三损失函数计算参考噪声信息与无噪声图像样本之间的第三损失值，根据第三损失值调整所述待训练的噪声提取网络模型的参数，得到噪声提取网络；
第三损失函数为：
其中，
为第三损失值，E是噪声提取网络模型，Dx为第二判别器，x为无噪声图像样本，e为噪声图像信息，p表示噪声图像信息域或无噪声图像域的分布情况。
5.根据权利要求1或2所述的方法，其特征在于，将所述噪声图像信息和无噪声图像样本共同输入至噪声生成网络模型，生成无噪声图像对应的模拟含噪声图像之前，还包括：
将噪声图像信息与无噪声图像样本输入到噪声生成网络模型中，得到参考噪声图像样本；
将参考噪声图像样本和噪声图像信息输入到第三判别器中，利用第四损失函数计算参考噪声图像样本与无噪声图像样本之间的第四损失值，根据第四损失值调整所述待训练的噪声生成网络模型的参数，得到噪声生成网络模型；
第四损失函数为：
其中，
为第四损失值，G是噪声生成网络模型，Dy为第三判别器，y为噪声图像信息，
为参考噪声图像样本，p表示噪声图像信息域或无噪声图像域的分布情况。
6.一种图像去噪网络模型的训练装置，其特征在于，该装置包括：
提取单元，用于利用噪声提取网络模型从含噪声图像样本中获取噪声图像信息；
生成单元，用于将所述噪声图像信息和无噪声图像样本共同输入至噪声生成网络模型，生成无噪声图像样本对应的模拟含噪声图像；
构建单元，用于构建训练图像样本集合，所述训练图像样本集合包括N组图像，所述N组图像中的每组图像包括无噪声图像样本、含噪声图像样本和无噪声图像样本对应的模拟含噪声图像；
训练单元，用于针对所述N组图像中的第K组图像，第K组图像为N组图像中任意一组图像，分别执行如下操作：
将第K组图像中的模拟含噪声图像输入至待训练的图像去噪网络模型中，输出第一去噪图像；根据所述第K组图像中的无噪声图像样本与所述第一去噪图像之间的损失值，调整所述待训练的图像去噪网络模型中的参数；
当N组图像均被输入至待训练的图像去噪网络模型，且执行完成上述操作后，得到图像去噪网络模型。
7.根据权利要求6所述的训练装置，其特征在于，所述装置还包括校正单元，用于：
针对所述N组图像中的第K组图像，第K组图像为N组图像中任意一组图像，分别执行如下操作：将第K组图像中的含噪声图像样本输入至图像去噪网络模型，得到第二去噪图像；将第一去噪图像与第二去噪图像输入到第一判别器中，利用第一损失函数计算第一去噪图像与第二去噪图像之间的第一损失值；利用第一损失值调整所述噪声提取网络模型中的参数和所述噪声生成网络模型中的参数；
当N组图像均被输入至图像去噪网络模型，且执行完成上述操作后，得到优化后的噪声提取网络模型和噪声生成网络模型；
其中，所述第一损失函数满足如下公式：
其中，
为第一损失值，G是噪声生成网络模型，E是噪声提取网络模型，R是图像去噪网络模型，
为第一判别器，x为无噪声图像样本，y为含噪声图像样本，
为模拟含噪声图像，
为第一去噪图像，R(y)为第二去噪图像，e为噪声图像信息，p表示噪声图像信息域或无噪声图像域的分布情况。
8.根据权利要求7或8所述的训练装置，其特征在于，所述第K组图像中的无噪声图像样本与所述第一去噪图像之间的损失值满足如下第二损失函数公式：
其中，
为损失值，R是图像去噪网络模型，
为模拟含噪声图像，
为第一去噪图像，x为无噪声图像样本。
9.根据权利要求7或8所述的训练装置，其特征在于，所述训练单元在利用噪声提取网络模型从含噪声图像样本中获取噪声图像信息之前，还用于：
将含噪声图像样本输入至待训练的噪声提取网络中，输出的参考噪声信息；
将参考噪声信息与无噪声图像样本输入到第二判别器中，利用第三损失函数计算参考噪声信息与无噪声图像样本之间的第三损失值，根据第三损失值调整所述待训练的噪声提取网络模型的参数，得到噪声提取网络；
第三损失函数为：
其中，
为第三损失值，E是噪声提取网络模型，Dx为第二判别器，x为无噪声图像样本，e为噪声图像信息，p表示噪声图像信息域或无噪声图像域的分布情况。
10.根据权利要求7或8所述的训练装置，其特征在于，所述训练单元将所述噪声图像信息和无噪声图像样本共同输入至噪声生成网络模型，生成无噪声图像样本对应的模拟含噪声图像之前，还用于：
将噪声图像信息与无噪声图像样本输入到噪声生成网络模型中，得到参考噪声图像样本；
将参考噪声图像样本和噪声图像信息输入到第三判别器中，利用第四损失函数计算参考噪声图像样本与无噪声图像样本之间的第四损失值，根据第四损失值调整所述待训练的噪声生成网络模型的参数，得到噪声生成网络模型；
第四损失函数为：
其中，
为第四损失值，G是噪声生成网络模型，Dy为第三判别器，y为噪声图像信息，
为参考噪声图像样本，p表示噪声图像信息域或无噪声图像域的分布情况。
11.一种图像去噪方法，其特征在于，所述方法包括：
向如权利要求1至5任一项所述图像去噪网络模型输入待处理的图像；
获取所述图像去噪网络模型所输出的图像去噪后的图像。
12.一种可读存储介质，所述可读存储介质内存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1至5中任一项所述的方法。
13.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的程序，当所述程序被所述处理器执行时，使得所述电子设备实现权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111369947.6A CN114066760A (zh) | 2021-11-18 | 2021-11-18 | 图像去噪方法、网络模型的训练方法、装置、介质和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111369947.6A CN114066760A (zh) | 2021-11-18 | 2021-11-18 | 图像去噪方法、网络模型的训练方法、装置、介质和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114066760A true CN114066760A (zh) | 2022-02-18 |
Family
ID=80277850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111369947.6A Pending CN114066760A (zh) | 2021-11-18 | 2021-11-18 | 图像去噪方法、网络模型的训练方法、装置、介质和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114066760A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188918A (zh) * | 2023-04-27 | 2023-05-30 | 上海齐感电子信息科技有限公司 | 图像去噪方法、网络模型的训练方法、装置、介质和设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198154A (zh) * | 2018-03-19 | 2018-06-22 | 中山大学 | 图像去噪方法、装置、设备及存储介质 |
| US20190043516A1 (en) * | 2018-06-22 | 2019-02-07 | Intel Corporation | Neural network for speech denoising trained with deep feature losses |
| CN110163827A (zh) * | 2019-05-28 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 图像去噪模型的训练方法、图像去噪方法、装置及介质 |
| CN111667424A (zh) * | 2020-05-28 | 2020-09-15 | 武汉大学 | 一种基于无监督的真实图像去噪方法 |
| US20210150674A1 (en) * | 2019-11-15 | 2021-05-20 | Disney Enterprises, Inc. | Techniques for robust image denoising |
| CN112991198A (zh) * | 2021-02-08 | 2021-06-18 | 西安理工大学 | 一种基于噪声建模的盲去噪方法 |
| CN113362258A (zh) * | 2021-07-08 | 2021-09-07 | 南方科技大学 | 白内障患者眼底彩照图像去噪方法、装置、设备及介质 |
-
2021
- 2021-11-18 CN CN202111369947.6A patent/CN114066760A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198154A (zh) * | 2018-03-19 | 2018-06-22 | 中山大学 | 图像去噪方法、装置、设备及存储介质 |
| US20190043516A1 (en) * | 2018-06-22 | 2019-02-07 | Intel Corporation | Neural network for speech denoising trained with deep feature losses |
| CN110163827A (zh) * | 2019-05-28 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 图像去噪模型的训练方法、图像去噪方法、装置及介质 |
| US20210150674A1 (en) * | 2019-11-15 | 2021-05-20 | Disney Enterprises, Inc. | Techniques for robust image denoising |
| CN111667424A (zh) * | 2020-05-28 | 2020-09-15 | 武汉大学 | 一种基于无监督的真实图像去噪方法 |
| CN112991198A (zh) * | 2021-02-08 | 2021-06-18 | 西安理工大学 | 一种基于噪声建模的盲去噪方法 |
| CN113362258A (zh) * | 2021-07-08 | 2021-09-07 | 南方科技大学 | 白内障患者眼底彩照图像去噪方法、装置、设备及介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188918A (zh) * | 2023-04-27 | 2023-05-30 | 上海齐感电子信息科技有限公司 | 图像去噪方法、网络模型的训练方法、装置、介质和设备 |
| CN116188918B (zh) * | 2023-04-27 | 2023-07-25 | 上海齐感电子信息科技有限公司 | 图像去噪方法、网络模型的训练方法、装置、介质和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
| CN109410127B (zh) | 一种基于深度学习与多尺度图像增强的图像去噪方法 | |
| CN112233038A (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN111291825B (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| CN112215119B (zh) | 一种基于超分辨率重建的小目标识别方法、装置及介质 | |
| CN110232318A (zh) | 穴位识别方法、装置、电子设备及存储介质 | |
| CN110136162B (zh) | 无人机视角遥感目标跟踪方法及装置 | |
| CN113256529B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN112215101A (zh) | 一种基于注意力机制的三维目标识别方法及系统 | |
| Zheng et al. | Underwater image enhancement using improved CNN based defogging | |
| CN114897136A (zh) | 多尺度注意力机制方法及模块和图像处理方法及装置 | |
| CN111445496B (zh) | 一种水下图像识别跟踪系统及方法 | |
| Jang et al. | Deep color transfer for color-plus-mono dual cameras | |
| CN114066760A (zh) | 图像去噪方法、网络模型的训练方法、装置、介质和设备 | |
| CN112070181B (zh) | 一种基于图像流的协同检测方法及装置、存储介质 | |
| CN107729885B (zh) | 一种基于多重残差学习的人脸增强方法 | |
| CN111582449B (zh) | 一种目标域检测网络的训练方法、装置、设备及存储介质 | |
| CN112419169A (zh) | 基于噪声先验的cnn医学ct图像去噪方法 | |
| Guan et al. | AUIE–GAN: Adaptive Underwater Image Enhancement Based on Generative Adversarial Networks | |
| Cao et al. | Balancing heterogeneous image quality for improved cross-spectral face recognition | |
| Zhou et al. | High-resolution hierarchical adversarial learning for OCT speckle noise reduction | |
| CN114882220B (zh) | 基于域自适应先验知识引导gan的图像生成方法及系统 | |
| CN112069923B (zh) | 3d人脸点云重建方法及系统 | |
| CN112288748B (zh) | 一种语义分割网络训练、图像语义分割方法及装置 | |
| Tang et al. | A two-stage network for zero-shot low-illumination image restoration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |