CN111932514A

CN111932514A - 一种图像噪声水平估计、抑制方法、装置及电子设备

Info

Publication number: CN111932514A
Application number: CN202010791185.8A
Authority: CN
Inventors: 邹羽欣; 王天鹤; 熊意超
Original assignee: Shanghai Media Intelligence Co ltd
Current assignee: Shanghai Media Intelligence Co ltd
Priority date: 2020-08-07
Filing date: 2020-08-07
Publication date: 2020-11-13

Abstract

本发明公开了一种图像噪声水平估计、抑制方法、装置及电子设备，该方法包括：获取不同场景下同一目标物的多张图像；计算所述图像中RGB通道噪声的均值及方差的范围，作为噪声水平估计结果；使用高斯分布模拟噪声的分布，使用上述所得的结论作为超参设计数据增强；将数据增强加入深度学习网络中，并对所述深度学习网络进行训练。该装置包括：图像收集模块、噪声水平评估模块、数据增强模块以及网络训练模块。本发明的图像噪声抑制方法及装置，方法简单实用，可扩展性强，且注重了通道之间噪声水平的不平衡。

Description

一种图像噪声水平估计、抑制方法、装置及电子设备

技术领域

本发明涉及计算机视觉图像技术领域，特别涉及一种图像噪声水平估计方法、抑制方法、装置及电子设备。

背景技术

图像是日常生活中不可或缺的信息载体，在人们获取、存储和传递信息的过程中起着重要作用。随着数字多媒体技术的不断发展，计算机图像在医学成像、模式识别、目标检测中得到了广泛的应用。但是图像在采集、存储的过程中，不可避免会受到各类噪声的干扰。图像噪声是指存在于图像数据中的不必要或冗余的干扰信息，使图像模糊，有时甚至掩盖图像特征，同时给图像视觉效果和后续数据分析工作带来不利影响。因此，如何高效地抑制噪声的影响，进而提高图像数据处理的鲁棒性，是计算机视觉领域的一个重要的研究课题。

现实场景中，图像中的噪声来源复杂，暗电流噪声、热噪声、光子散粒噪声、电路噪声等等。传统图像去噪算法包括滤波算法、PCA降噪，DCT降，BM3D降噪等等，但这些传统算法共同的缺点是在使用阶段涉及大量的运算，因此时间成本较高，并且在去噪的过程中或多或少的平滑掉了图像原本的细节，不利于图像后续的分析。随着卷积神经网络在计算机视觉领域的发展，不少卷积神经网络的工作也开展到了图像去噪领域，出现了很多利用卷积神经网络进行图像去噪的方法，比如深度去噪卷积神经网络(DnCNN)，真实图像的卷积盲去噪网络(CBDNet)等等，虽然神经网络降低了图像去噪的时间消耗，但是噪声模型建立复杂，图像细节信息损失的问题依旧存在。

申请号为：201711065002.9，名称为：基于深度学习的图像噪声水平估计方法的中国专利提出了一种基于深度学习的图像噪声水平估计方法，设计了信号相关噪声(SDN)模型；从网上下载无噪声图像和噪声图像作为数据集；训练模型结束后将有噪声图像输入至训练好的模型中，输出噪声水平函数。其缺点为：在不同任务上使用时，难以定义和获取无噪声图像，并且仍需要重新收集数据和训练网络，需要耗费巨大的人力和时间资源。

申请号为：201811338660.5，名称为：基于深度学习的图像去噪方法、装置、设备和存储介质的中国专利提出了一种基于深度学习的图像去噪方法，搭建神经网络训练去噪模型；训练模型结束后将有噪声图像输入至训练好的模型中，输出去噪图像。其缺点为：需要进行数据的收集和模型训练，并且此发明的网络结构只有去除噪声的功能，功能单一。

发明内容

本发明针对上述现有技术中存在的问题，提出一种图像噪声水平估计、抑制方法、装置及电子设备，其中噪声水平估计方法简单实用，可扩展性强，且注重了通道之间噪声水平的不平衡。

根据本发明的第一方面，提供一种图像噪声水平估计方法，包括：

获取不同场景下同一目标物的多张图像；

计算所述图像中RGB通道噪声的均值及方差的范围，作为噪声水平估计结果。

较佳地，对所述图像进行噪声水平估计，包括：

对单个场景下获得的图像进行逐帧相减，得到噪声图像；

对每张所述噪声图像分别求出其RGB通道上的均值及方差，统计出分布直方图，剔除异常值后得到每个场景下的各个通道的均值及方差的范围；

对所有场景下的图像进行上述处理，最终得到整体噪声在RGB通道上均值及方差的范围。

根据本发明的第二方面，提供一种图像噪声抑制方法，其包括：

采用上述噪声水平估计方法对所述图像进行噪声水平估计；

使用高斯分布模拟噪声的分布，将所述噪声水平估计所得的结果作为超参设计数据增强；

将所述数据增强加入深度学习网络中，并对所述深度学习网络进行训练，提升对噪声的鲁棒性。

较佳地，使用高斯分布模拟噪声的分布，将所述噪声水平估计所得的结论作为超参设计数据增强，包括：

对于图像的RGB每个通道，在其所对应的均值及方差范围内，每次各随机选择一个值，产生对应的高斯分布作为图像噪声分别加到通道上；

设置数据增强概率，用来平衡训练时原图和加噪声图像出现的概率。

根据本发明的第三方面，提供一种图像噪声抑制装置，其包括：

图像收集模块，获取不同场景下同一目标物的多张图像；

噪声水平评估模块，对所述图像收集模块得到的图像进行噪声水平估计；

数据增强模块，使用高斯分布模拟噪声的分布，使用所述噪声水平评估模块所得的结论作为超参设计数据增强；

网络训练模块，将所述数据增强模块所得的数据增强加入深度学习网络中，并对所述深度学习网络进行训练。

较佳地，所述噪声水平评估模块包括：计算图像中RGB各个通道噪声的均值及方差的范围。

较佳地，所述噪声水平评估模块包括：

对单个场景下拍摄所得的噪声图像进行逐帧相减，得到噪声图像；

较佳地，所述数据增强模块，包括：

根据本发明的第四方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的图像噪声水平估计方法或所述的图像噪声抑制方法。

相较于现有技术，本发明实施例至少具有以下一种有益效果：

(1)本发明提供的方法及装置，通过让网络学习和适应噪声，而不是去除噪声，因此可以在其他项目上进行很好的拓展，可扩展性强，而且方法简单实用；

(2)本发明提供的方法及装置，通过使用数据增强技术提升了网络对噪声的鲁棒性，端到端的结构优于现有的去噪+后续分析结构，不需要其他网络的训练，减少了时间成本，同时对图像的原始细节有着最大的保留；

(3)本发明提供的方法及装置，通过对噪声图像中RGB各个通道噪声的均值及方差的范围进行评估，简单有效，避免模型训练所需的人力和时间，且注重了通道之间噪声水平的不平衡；

(4)本发明提供的方法及装置，通过图像逐帧做差来作为噪声图像，从而估计噪声水平，避免了现有技术中无噪声图像在不同任务中难易定义和获得的问题。

附图说明

下面结合附图对本发明的实施方式作进一步说明：

图1为本发明一实施例的图像噪声水平估计方法的流程图；

图2为本发明一较优实施例的图像噪声水平估计方法的流程图；

图3为本发明一实施例的图像噪声抑制方法的流程图；

图4为本发明一较佳实施例的数据增强的具体流程图；

图5为本发明一实施例的图像噪声抑制装置的模块结构图；

标号说明：1-图像收集模块，2-噪声水平估计模块，3-数据增强模块，4-网络训练模块。

具体实施方式

下面将结合本申请实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在以下提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，所描述的实施例可以与其它实施例相结合。

在本发明一实施例中，提供一种图像噪声水平估计方法，避免了现有技术中需要无噪声图像，更易于实现。图1为本发明一实施例的图像噪声水平估计方法的流程图。

参照图1所示，本实施例中的图像噪声水平估计方法包括：

S100，获取不同场景下同一目标物的多张图像；

S200，计算图像中RGB通道噪声的均值及方差的范围，作为噪声水平估计结果。

图2为本发明一较优实施例的图像噪声水平估计方法的流程图。

参照图2所示，在该较佳实施例中，计算图像中RGB通道噪声的均值及方差的范围可以包括：

S201，对单个场景下获得的图像进行逐帧相减，得到噪声图像；

S202，对每张噪声图像分别求出其RGB通道上的均值及方差，统计出分布直方图，剔除异常值后得到每个场景下的各个通道的均值及方差的范围；

S203，对所有场景下的图像进行上述处理，最终得到整体噪声在RGB通道上均值及方差的范围。

上述实施例中，获取不同场景下同一目标物的多张图像可以包括：

S101：根据要求确定场景，以拍摄不同场景下(不同时间地点、不同光照下、不同相机等等)的噪声图像，减少后续噪声估计的方差；

S102：在每个场景下对目标物进行连续拍摄，得到不同场景下的图像。

通过上述设定的场景进行图像的获取，用于图像噪声水平估计方法，可以避免使用无噪声图像。

在本发明另一实施例中，还提供一种图像噪声抑制方法。如图3所示，为本发明一实施例的图像噪声抑制方法的流程图。

请参考图3，本实施例的图像噪声抑制方法包括以下步骤：

S13：对拍摄得到的图像进行噪声水平估计；

S14：使用高斯分布模拟噪声的分布，使用S13所得的结论作为超参设计数据增强；

S15：将S14所得的数据增强加入深度学习网络中，提升了深度学习网络对噪声的鲁棒性，并对深度学习网络进行训练。

本实施例通过在模型训练中加入高斯噪声作为数据增强，提升了网络对噪声的鲁棒性，让网络去学习和适应噪声，而不是去除噪声，可以在其他项目上进行很好的拓展，可扩展性强，同时整个方法简单实用。

在一实施例中，S13中的图像噪声水平估计包括：图像中RGB各个通道噪声的均值及方差的范围。具体的，S13具体实现参照以下步骤：

S131：对单个场景下拍摄所得的图像进行逐帧相减，得到噪声图像；

S132：对每张噪声图像分别求出其RGB通道上的均值及方差，统计出分布直方图，剔除异常值后得到每个场景下的各个通道的均值及方差的范围；

S133：对所有场景下的图像进行S131～132的操作，最终得到整体噪声在RGB通道上均值及方差的范围，作为后续高斯噪声数据增强的超参。

本实施例通过图像逐帧做差来作为噪声图像，从而估计噪声水平，避免了现有技术中需要无噪声图像，在不同任务中难易定义和获得的问题。

较佳实施例中，S14进一步包括：

S141：对于图像的RGB每个通道，在其所对应的均值及方差范围内，每次各随机选择一个值，产生对应的高斯分布作为图像噪声分别加到通道上；

S142：设置数据增强概率P，用来平衡训练时原图和加噪声图像出现的概率，默认P值为0.5，如图4所示。

本实施例通过直接统计噪声图像的均值和方差作为噪声水平，简单有效，避免模型训练所需的人力和时间。

较佳实施例中，S12中拍摄时确保相机和目标物的位置的稳定性，且无任何外界干扰，可以确保图像中噪声来源的一致性。

本发明上述各个实施例中的方法，通过使用数据增强技术提升了网络对噪声的鲁棒性，端到端的结构优于现有的去噪+后续分析结构，不需要其他网络的训练，减少了时间成本，同时对图像的原始细节有着最大的保留。

如图5所示为本发明一实施例的图像噪声抑制装置的结构示意图。

请参考图5，该实施例的图像噪声抑制装置包括：图像收集模块1、噪声水平评估模块2、数据增强模块3以及网络训练模块4。其中，图像收集模块1用于在每个场景下对目标物进行连续拍摄，得到不同场景下的图像。噪声水平评估模块2用于对图像收集模块1得到的图像进行噪声水平估计。数据增强模块3用于使用高斯分布模拟噪声的分布，使用噪声水平评估模块2所得的结论作为超参设计数据增强。网络训练模块4用于将数据增强模块3所得的数据增强加入深度学习网络中，并对深度学习网络进行训练。

较佳实施例中，噪声水平评估模块2的噪声水平估计进一步包括：图像中RGB各个通道噪声的均值及方差的范围。

较佳实施例中，噪声水平评估模块2进一步用于对单个场景下拍摄所得的噪声图像进行逐帧相减，得到噪声图像；对每张噪声图像分别求出其RGB通道上的均值及方差，统计出分布直方图，剔除异常值后得到每个场景下的各个通道的均值及方差的范围；对所有场景下的图像进行上述处理，最终得到整体噪声在RGB通道上均值及方差的范围。

较佳实施例中，数据增强模块3进一步用于对于图像的RGB每个通道，在其所对应的均值及方差范围内，每次各随机选择一个值，产生对应的高斯分布作为图像噪声分别加到通道上；设置数据增强概率，用来平衡训练时原图和加噪声图像出现的概率。

较佳实施例中，图像收集模块1还用于确保拍摄时相机以及目标物的位置稳定性，且无任何外界干扰，可以确保图像中噪声来源的一致性。

上述实施例的图像噪声抑制装置，通过在网络训练中加入高斯噪声作为数据增强，提升了网络对噪声的鲁棒性；让网络去学习和适应噪声，可以在其他项目上进行很好的拓展，可扩展性强；通过直接统计噪声图像的均值和方差作为噪声水平，避免模型训练所需的人力和时间；通过图像逐帧做差来作为噪声图像，从而估计噪声水平，避免了现有技术中需要无噪声图像，在不同任务中难易定义和获得的问题。

需要说明的是，本发明提供的所述方法中的步骤，可以利用所述装置中对应的模块、单元等予以实现，本领域技术人员可以参照所述装置的技术方案实现所述方法的步骤流程，即，所述装置中的实施例可理解为实现所述方法的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的装置及其各项模块可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

在本发明另一实施例中，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一项实施例的图像噪声水平估计方法或的图像噪声抑制方法。

电子设备旨在表示各种形式的数字计算机，诸如，台式计算机、工作台、服务器、大型计算机和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。

可选地，存储器，用于存储程序；存储器，可以包括易失性存储器，例如随机存取存储器(RAM)，如静态随机存取存储器(SRAM)，双倍数据率同步动态随机存取存储器(DDRSDRAM)等；存储器也可以包括非易失性存储器，例如快闪存储器。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。

处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。

此外，本发明的实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。

此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

Claims

1.一种图像噪声水平估计方法，其特征在于，包括：

获取不同场景下同一目标物的多张图像；

2.根据权利要求1所述的图像噪声水平估计方法，其特征在于，所述计算所述图像中RGB通道噪声的均值及方差的范围，包括：

对单个场景下获得的图像进行逐帧相减，得到噪声图像；

3.根据权利要求1或2所述的图像噪声水平估计方法，其特征在于，所述获取不同场景下同一目标物的多张图像，包括：

根据项目要求确定场景，拍摄不同场景下的噪声图像；

在每个场景下对目标物进行连续拍摄，拍摄时需确保相机和物体位置的稳定和无任何外界干扰，确保图像中噪声来源的一致性。

4.一种图像噪声抑制方法，其特征在于，包括：

采用权利要求1～3任一所述方法对所述图像进行噪声水平估计；

5.根据权利要求4所述的图像噪声抑制方法，其特征在于，使用高斯分布模拟噪声的分布，将所述噪声水平估计所得的结论作为超参设计数据增强，包括：

6.一种图像噪声抑制装置，其特征在于，包括：

图像收集模块，在每个场景下对目标物进行连续拍摄，得到不同场景下的图像；

7.根据权利要求6所述的图像噪声抑制装置，其特征在于，所述噪声水平评估模块包括：计算图像中RGB各个通道噪声的均值及方差的范围。

8.根据权利要求7所述的图像噪声抑制装置，其特征在于，所述噪声水平评估模块包括：

9.根据权利要求8所述的图像噪声抑制装置，其特征在于，所述数据增强模块，包括：

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-3任一所述的图像噪声水平估计方法或权利要求4-5任一所述的图像噪声抑制方法。