CN113658118A - 图像噪声程度估计方法、装置、电子设备及存储介质 - Google Patents

图像噪声程度估计方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113658118A
CN113658118A CN202110880750.2A CN202110880750A CN113658118A CN 113658118 A CN113658118 A CN 113658118A CN 202110880750 A CN202110880750 A CN 202110880750A CN 113658118 A CN113658118 A CN 113658118A
Authority
CN
China
Prior art keywords
image
noise
feature
sample
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110880750.2A
Other languages
English (en)
Inventor
吴飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202110880750.2A priority Critical patent/CN113658118A/zh
Publication of CN113658118A publication Critical patent/CN113658118A/zh
Priority to PCT/CN2022/108181 priority patent/WO2023011280A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像噪声程度估计方法、装置、电子设备及存储介质，属于人工智能领域。该图像噪声程度估计方法包括：获取第一图像；从所述第一图像中提取与所述第一图像对应的特征信息；根据所述特征信息，确定与所述第一图像对应的第一估计值和第二估计值；其中，所述第一估计值为所述第一图像属于噪声图像的估计值，所述第二估计值为所述第一图像属于无噪声图像的估计值；计算所述第一估计值和所述第二估计值之间的差值；将所述差值映射为预设连续区间范围内的目标值，将所述目标值作为所述第一图像的噪声程度估计值。

Description

图像噪声程度估计方法、装置、电子设备及存储介质
技术领域
本申请属于人工智能领域，具体涉及一种图像噪声程度估计方法、装置、电子设备及存储介质。
背景技术
随着图像处理技术的不断发展，人们对图像质量的要求也越来越高。由于电子设备在拍照过程中会产生大量热量，这些热量均匀分布在电子设备的CMOS晶体单元上，形成杂色斑点，即图像噪声，因此，往往需要对电子设备拍摄的图像进行降噪处理。在进行图像降噪过程中，若降噪程度过轻则会导致噪声去除不干净，而降噪程度过重则会导致图像变模糊，因此，通常需要对图像的噪声程度进行预估，从而为后续图像降噪过程中所需要依据的图像降噪的程度提供参考。
现有的图像噪声程度估计方式，主要是在正常光照条件下，假设噪声服从某种统计分布，进而通过估计该分布的参数值来衡量图像的噪声程度。
这样，由于现有技术主要针对的是正常光照条件下的图像噪声程度估计，因此，对其他光照条件下拍摄的图像中包含的噪声往往估计不准确。另外，其还需要依赖很强的假设条件，例如假设图像噪声服从某种噪声分布，但是现实的噪声类型千差万别，难以对所有噪声使用单一的某种特定的分布来建模。因此，对图像噪声程度的估计往往不够准确，且普适性较低。
发明内容
本申请实施例的目的是提供一种图像噪声程度估计方法、装置、电子设备及存储介质，能够解决现有的对图像噪声程度的估计不够准确、普适性较低的问题。
第一方面，本申请实施例提供了一种图像噪声程度估计方法，该方法包括：
获取第一图像；
从所述第一图像中提取与所述第一图像对应的特征信息；
根据所述特征信息，确定与所述第一图像对应的第一估计值和第二估计值；其中，所述第一估计值为所述第一图像属于噪声图像的估计值，所述第二估计值为所述第一图像属于无噪声图像的估计值；
计算所述第一估计值和所述第二估计值之间的差值；
将所述差值映射为预设连续区间范围内的目标值，将所述目标值作为所述第一图像的噪声程度估计值。
第二方面，本申请实施例提供了一种图像噪声程度估计装置，该装置包括：
第一获取模块，用于获取第一图像；
特征提取模块，用于从所述第一图像中提取与所述第一图像对应的特征信息；
图像估计模块，用于根据所述特征信息，确定与所述第一图像对应的第一估计值和第二估计值；其中，所述第一估计值为所述第一图像属于噪声图像的估计值，所述第二估计值为所述第一图像属于无噪声图像的估计值；
差值计算模块，用于计算所述第一估计值和所述第二估计值之间的差值；
差值映射模块，用于将所述差值映射为预设连续区间范围内的目标值，将所述目标值作为所述第一图像的噪声程度估计值。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
在本申请实施例中，通过从获取的第一图像中提取与第一图像对应的特征信息，根据该特征信息确定第一图像属于噪声图像的第一估计值，以及第一图像属于无噪声图像的第二估计值，进而通过将第一估计值和第二估计值之间的差值映射为预设连续区间范围内的目标值，并将该目标值作为第一图像的噪声程度估计值，从而在无需假设第一图像是否服从某种噪声分布，即可实现对第一图像噪声程度的估计，并且本申请实施例可对任意光照条件下拍摄的第一图像的噪声程度进行估计，从而提高了图像噪声程度估计的准确性和普适性。
附图说明
图1是根据一示例性实施例示出的图像噪声程度估计方法的流程图之一；
图2是根据一示例性实施例示出的GRBG像素阵列示意图；
图3是根据一示例性实施例示出的Sigmoid激活函数曲线示意图；
图4是根据一示例性实施例示出的噪声程度估计模型结构示意图；
图5是根据一示例性实施例示出的图像噪声程度估计方法的流程图之二；
图6a是根据一示例性实施例示出的暗光图像示例图；
图6b是根据一示例性实施例示出的Bayer图像示例图；
图6c是根据一示例性实施例示出的添加泊松噪声的图像示例图；
图6d是根据一示例性实施例示出的添加泊松噪声和高斯噪声的图像示例图；
图6e是根据一示例性实施例示出的RGB图像示例图；
图6f是根据一示例性实施例示出的经双边滤波的加噪暗光图像示例图；
图7是根据一示例性实施例示出的一种图像噪声程度估计装置的结构框图；
图8是根据一示例性实施例示出的一种电子设备的结构框图；
图9为实现本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像噪声程度估计方法、装置、电子设备及存储介质进行详细地说明。
本申请所提供的图像噪声程度估计方法，可以应用于对图像的噪声程度进行估计的场景中。另外，本申请实施例提供的图像噪声程度估计方法，执行主体可以为图像噪声程度估计装置，或者该图像噪声程度估计装置中的用于执行图像噪声程度估计方法的控制模块。本申请实施例中以图像噪声程度估计装置执行图像噪声程度估计方法为例，说明本申请实施例提供的图像噪声程度估计方法。
图1是根据一示例性实施例示出的一种图像噪声程度估计方法的流程图。
如图1所示，该图像噪声程度估计方法可以包括如下步骤：
步骤110，获取第一图像。
这里，第一图像可以是用户拍摄得到的图像，也可以是从相册获取的图像。获取第一图像的方式包括但不限于用户上传、实时拍摄等，在此不做限定。该第一图像中可包含一定的噪声，该噪声可以是利用图像传感器拍摄该图像时所产生的噪声。
步骤120，从第一图像中提取与第一图像对应的特征信息。
这里，特征信息可以是从第一图像中提取的多维度信息，例如从颜色维度提取的特征信息，和/或从空间维度提取的特征信息。其中，空间维度可以是图像中像素点排列的维度。当然，还可以从第一图像中提取其他维度的特征信息，在此不做限定。
在一种可选实施方式中，上述步骤120，具体可以包括：
将第一图像转换为对应的第二图像；其中，第二图像为拜耳Bayer图像；
利用噪声程度估计模型中的第一分支网络，从第一图像中提取与第一图像对应的第一特征，以及，利用噪声程度估计模型中的第二分支网络，从第二图像中提取与第一图像对应的第二特征；
根据第一特征和第二特征，生成与第一图像对应的特征信息。
这里，为了提高图像特征提取的多样性，可利用预先训练的噪声程度估计模型从多个维度提取第一图像的图像特征。其中，噪声程度估计模型中可包括至少两个分支网络，该噪声程度估计模型用于对第一图像的噪声程度进行估计。具体的，根据特征提取维度的不同，可利用不同的分支网络分别进行特征提取处理。其中，第一特征例如可以是从颜色维度提取的特征，第二特征例如可以是从空间维度提取的特征。
另外，Bayer图像可以是将像素点以GRBG像素阵列的排列方式排列的图像，其中，GRBG像素阵列可以是如图2所示的阵列。由于Bayer图像可以让模型更好地区分噪声类型，给模型提供更多图像噪声信息，因此，可在将图像输入至噪声程度估计模型之前，将第一图像转换为对应的Bayer图像，也即第二图像，以利用Bayer图像提取第一图像中像素点排列的空间特征。
示例性地，可将第一图像输入至第一分支网络，以利用第一分支网络对第一图像进行颜色特征提取处理，得到第一特征；另外，还可将与第一图像对应的Bayer图像，也即第二图像，输入至第二分支网络，以利用第二分支网络对第二图像进行空间特征提取处理，得到第二特征，进而对第一特征和第二特征进行特征融合，即可生成与第一图像对应的特征信息，例如可将第一特征和第二特征按通道维度进行堆叠后重塑成一维向量，该一维向量即可为与第一图像对应的特征信息。如此，可实现从不同维度进行图像特征的提取。
这样，通过将第一图像转换为对应的Bayer图像，可以使模型更好地区分噪声类型，为模型提供更多的噪声信息，从而提升噪声程度估计模型对第一图像的噪声程度识别的准确性。另外，图像颜色和像素点排列两个维度来提取图像的特征，给模型提供不同维度的图像特征信息，从而使模型对图像特征的提取更为全面和准确。
步骤130，根据特征信息，确定与第一图像对应的第一估计值和第二估计值。
其中，第一估计值可以为第一图像属于噪声图像的估计值，第二估计值为第一图像属于无噪声图像的估计值。
这里，可根据提取的特征信息对第一图像进行分类，具体可分为噪声图像类和无噪声图像类。其中，第一估计值可以是第一图像为噪声图像的未归一化的概率值，第二估计值可以是第一图像为无噪声图像的未归一化的概率值。示例性地，可通过二分类网络对第一图像进行分类处理，该二分类网络输出的logits即可用于获取第一估计值和第二估计值。
在一种可选实施方式中，上述步骤130，具体可以包括：
将特征信息输入至噪声程度估计模型中的二分类网络，利用二分类网络对第一图像进行分类，输出得到与第一图像对应的第一估计值和第二估计值。
这里，噪声程度估计模型中还可包括二分类网络，通过该二分类网络可对第一图像进行分类，进而得到第一估计值和第二估计值。
在一个具体例子中，将与第一图像对应的特征信息输入至噪声程度估计模型中的二分类网络，即可利用该二分类网络对第一图像进行分类，当输出的logits为(90,10)时，则可得到第一图像属于噪声图像的估计值，也即第一估计值为90，第一图像属于无噪声图像的估计值，也即第二估计值为10。
如此，通过二分类网络对第一图像进行分类，可综合考虑各种噪声，无需区分其中具体包含哪些噪声类型，即可实现对第一图像中是否具有图像噪声以及噪声程度的准确预估，从而可以提高后续噪声程度估计值的准确性。
步骤140，计算第一估计值和第二估计值之间的差值。
这里，可通过第一估计值与第二估计值之间的差值来表示第一图像的噪声程度。具体地，该差值可以是第一估计值减去第二估计值得到的值。
例如，当第一图像属于噪声图像的估计值，也即第一估计值，为6.25，第一图像属于无噪声图像的估计值，也即第二估计值，为3.75，则可计算得到二者差值为2.5。
步骤150，将差值映射为预设连续区间范围内的目标值，将目标值作为第一图像的噪声程度估计值。
其中，预设连续区间范围例如可以是[0,1]，当然，也可以是其他连续的区间范围，在此不做限定。
在一个具体例子中，若第一估计值与第二估计值之间的差值为2.5，预设连续区间范围为[0,1]，则可通过二分类网络中设置的Sigmoid激活函数，将2.5映射为[0,1]中的某个值，如图3所示，当x＝2.5时，可映射为0.91左右的值，也即，该第一图像的噪声程度估计值为0.91。
需要说明的是，在预设连续区间范围为[0,1]的情况下，最终得到的噪声程度估计值越靠近1说明图像噪声程度越高，越靠近0说明图像噪声程度越低。
这样，通过从获取的第一图像中提取与第一图像对应的特征信息，根据该特征信息确定第一图像属于噪声图像的第一估计值，以及第一图像属于无噪声图像的第二估计值，进而通过将第一估计值和第二估计值之间的差值映射为预设连续区间范围内的目标值，并将该目标值作为第一图像的噪声程度估计值，从而在无需假设第一图像是否服从某种噪声分布，即可实现对第一图像噪声程度的估计，并且本申请实施例可对任意光照条件下拍摄的第一图像的噪声程度进行估计，从而提高了图像噪声程度估计的准确性和普适性。
基于此，在一种可选实施方式中，在上述涉及的利用噪声程度估计模型中的第一分支网络，从第一图像中提取与第一图像对应的第一特征，以及，利用噪声程度估计模型中的第二分支网络，从第二图像中提取与第一图像对应的第二特征之前，本申请实施例提供的图像噪声程度估计方法还可以包括：
对第一图像进行变换处理，得到与第一图像对应的N个第三图像；其中，变换处理包括变亮处理和变暗处理中的至少一项，N为正整数；
将N个第三图像转换为对应的N个第四图像；其中，第四图像为Bayer图像；
利用噪声程度估计模型中的第一分支网络，从第一图像中提取与第一图像对应的第一特征，以及，利用噪声程度估计模型中的第二分支网络，从第二图像中提取与第一图像对应的第二特征，包括：
将第一图像和N个第三图像按通道维度堆叠，得到第一堆叠图像，将第二图像和N个第四图像按通道维度堆叠，得到第二堆叠图像；
利用第一分支网络从第一堆叠图像中提取颜色信息，得到与第一图像对应的第一特征，利用第二分支网络从第二堆叠图像中提取空间信息，得到与第一图像对应的第二特征。
示例性地，为了提高二分类网络对亮度的鲁棒性，还可对第一图像进行变亮和/或变暗处理，得到对应的变亮和/或变暗的图像，也即N个第三图像。这样，采用与第一图像相同的处理方式，可将该N个第三图像也转换为对应的Bayer图像，也即N个第四图像。在将图像输入至二分类网络之前，还可对第一图像及其变换图像、Bayer图像中各个像素点的像素值除以255进行归一化，以便于后续计算。然后，可将归一化后的第一图像与N个第三图像按通道维度进行堆叠，对应归一化后的Bayer图像也按通道维度进行堆叠，分别输入至第一分支网络和第二分支网络。第一分支网络提取图像在RGB三通道的像素值信息，也即颜色信息，从而将获取的颜色特征作为第一特征；第二分支网络能够捕获像素点之间的排列信息，从而将获取的空间特征作为第二特征。
这样，通过对目标样本图像进行变亮和/或变暗处理，可增加网络对图像亮度的鲁棒性，从而提高网络训练的效果。
在一种可选实施方式中，第一分支网络包括第一特征提取子网络和第一交叉注意力子网络，第二分支网络包括第二特征提取子网络和第二交叉注意力子网络；
上述涉及的利用第一分支网络从第一堆叠图像中提取颜色信息，得到与第一图像对应的第一特征，利用第二分支网络从第二堆叠图像中提取空间信息，得到与第一图像对应的第二特征，具体可以包括：
利用第一特征提取子网络从第一堆叠图像中提取颜色信息，得到与第一图像对应的颜色特征，利用第二特征提取子网络从第二堆叠图像中提取空间信息，得到与第一图像对应的空间特征；
利用第一交叉注意力子网络，对颜色特征进行预处理，得到第一处理结果，利用第二交叉注意力子网络，对空间特征进行预处理，得到第二处理结果；
将第一处理结果与空间特征进行融合，得到第二特征，将第二处理结果与颜色特征进行融合，得到第一特征。
这里，为了综合考虑颜色特征和空间特征，可在每个分支网络中均设置一个CAB(Cross Attention Block,交叉注意力块)，也即交叉注意力子网络，该CAB可以用于对颜色特征和空间特征进行融合。
示例性地，第一分支网络和第二分支网络可通过CAB连接。具体地，可将第一分支网络中第一特征提取模块提取到的颜色特征通过第一CAB处理后，与第二分支网络提取到的空间特征进行点乘运算，从而得到交叉颜色特征，也即第二特征。另外，还可将第二分支网络中第二特征提取模块提取到的空间特征通过第二CAB处理后，与第一分支网络提取到的颜色特征进行点乘运算，从而得到交叉空间特征，也即第一特征。其中，CAB可包括1×1的卷积层和Sigmoid函数，用于对输入的特征进行降维和归一化处理，使得其能够与其他特征进行点乘运算。
这样，通过将图像的颜色特征和Bayer图像的空间特征进行深度融合，可以使进行模型训练时综合考虑的特征更多，更全面，从而使得网络训练效果更好。
综上所述，举一个具体例子，以将第一图像输入至噪声程度估计模型，利用噪声程度估计模型估计第一图像的噪声程度为例，对上述图像处理过程进行举例说明。
如图4所示，对第一图像41进行提亮和变暗操作，并分别转换成对应的Bayer图像，然后，对待输入的各个图像均除以255，以进行归一化。之后，将第一图像、变暗图、变亮图三张图按通道维度堆叠在一起，得到堆叠图像42，同时，这三张图分别对应的Bayer图像也进行相应的堆叠，得到堆叠图像43。将堆叠图像42输入至颜色分支网络44，并将堆叠图像43输入至空间分支网络45，经相应的特征提取模块后，可得到颜色特征和空间特征。将颜色特征经CAB子网络441的处理后与空间特征进行逐点相乘，得到交叉颜色特征，并将空间特征经CAB子网络451的处理后与颜色特征进行逐点相乘，得到交叉空间特征。然后，将交叉颜色特征与交叉空间特征按通道维度堆叠，并经reshape函数46，生成一维向量后，输入至分类器47，输出得到二分类结果471，再将该二分类结果471经求差运算后，利用Sigmoid函数将得到的差值映射为区间[0,1]中的目标值，并将该目标值确定为该第一图像的噪声程度估计值。
在上述实施例的基础上，在使用上述噪声程度估计模型对图像的噪声程度进行估计之前，可对噪声程度估计模型进行训练。具体的，如图5所示，在一种可能的实施例中，在上述步骤120之前，该图像噪声程度估计方法还可以包括：
步骤1201，获取第一样本图像。
这里，第一样本图像可以是从样本图像库中获取的无噪声的原始样本图像，也可以是基于该原始样本图像经变换得到的无噪声的样本图像，其中，变换方式包括但不限于变暗、变亮等。
在暗光场景下使用电子设备进行拍照的过程中，由于光线不足，电子设备通常会使用较高ISO(International Standardization Organization，国际标准化组织)标准拍摄，以保证拍摄图像的清晰度。ISO标准越高，电子设备接收的光线越多，产生的热量也越大，因此暗光场景下拍摄的图像往往比正常光照图像存在更多的噪声，暗光图像更需要进行降噪。
基于此，在第一图像为暗光场景下拍摄的图像的情况下，可针对暗光拍摄场景对模型进行训练。具体的，获取的第一样本图像可以是经变暗处理后得到的无噪声的样本图像，这样，由暗光图像训练出来的模型，可以对暗光图像的噪声程度预估更具针对性。基于此，在一种可选实施方式中，在步骤1201之前，本申请实施例提供的图像噪声程度估计方法还可以包括：
获取原始图像；
将原始图像由RGB颜色空间转换至HSV颜色空间；
将原始图像对应的HSV颜色空间中的明度V通道进行随机变暗处理，得到多个无噪声样本图像；其中，随机变暗处理包括线性变暗、指数变暗中的至少一项，多个无噪声样本图像中包括第一样本图像；
上述步骤110具体可以包括：
从多个无噪声样本图像中获取第一样本图像。
这里，原始图像可以是从样本图像库中获取的无噪声的原始样本图像。RGB颜色空间可以是以红(Red)、绿(Green)、蓝(Blue)为颜色参数的空间，HSV颜色空间可以是以色调(Hue)、饱和度(Saturation)、明度(Value)为颜色参数的空间。
示例性地，可先将原始图像由RGB颜色空间转换至HSV颜色空间，然后对V通道的值除以255，以将V通道的值归一化至0～1之间。再对V通道进行随机变暗处理，其中，可从以下三种变暗方式中进行随机选择：线性变暗、随机指数变暗和两者组合。这样，可得到变暗程度不同的多个暗光图，进而从该多个暗光图中选择任意一个图像作为第一样本图像，例如选择如图6a所示的暗光图作为第一样本图像。
这样，通过在构造训练样本的过程中，对原始图像进行变暗处理，进而从多个暗光的无噪声样本图像中选择任意一个图像作为第一样本图像，以便在后续模型训练过程中，针对性地对暗光图像进行处理，从而使得模型能够更准确地预估暗光图像的噪声程度。
步骤1202，将第一样本图像转换为对应的第一目标图像。
示例性地，可先将如图6a所示的第一样本图像以GRBG像素阵列的排列方式由RGB图像转换为Bayer图像，也即马赛克化，得到第一目标图像，其图像效果如图6b所示。
步骤1203，为第一目标图像添加预设噪声，得到第一噪声图像；其中，预设噪声包括泊松噪声和高斯噪声中的至少一项。
由于电子设备在拍摄图像时需要将光子转换为电子，而在光子转电子过程中，电流的离散特性导致产生的散粒噪声(shot noise)服从泊松分布，因此，可在第一目标图像上添加泊松噪声，泊松噪声的方差范围可设置为0.5～1，经噪声合成后得到的噪声图如图6c所示。
另外，由于电子设备在拍摄图像后得到的电流信号还需经模拟放大器进行信号放大，而模拟放大器放大信号过程中产生的读噪声(read noise)服从高斯分布，因此，可在图6c所示的噪声图的基础上进一步添加高斯噪声，方差范围可设置为0.5～1，合成后得到的噪声图，也即第一噪声图像，图像效果可如图6d所示。
当然，上述泊松噪声和高斯噪声的添加顺序可进行更换，也即先添加高斯噪声再添加泊松噪声，在此不作限定。
步骤1204，将第一噪声图像转换为对应的第二目标图像。
示例性地，可将第一噪声图像由加噪的Bayer图像转换为RGB图像，也即去马赛克，得到第二目标图像，其图像效果如图6e所示。
步骤1205，对第二目标图像进行去噪处理，得到第二样本图像；其中，第一目标图像和第一噪声图像为Bayer图像，第一样本图像和第二目标图像为RGB图像。
由于电子设备自身具有ISP(Image Signal Processing，图像信号处理)模块，可对图像进行包括黑电平补偿、颜色插值(去马赛克)、去噪、自动白平衡、色彩校正等流程的处理，因此，为了模拟电子设备ISP中的去噪过程，本申请实施例可采用双边滤波的方式对如图6e所示的第二目标图像进行去噪处理，在保证图像边缘清晰的前提下去除少量噪声，得到加噪后的暗光图像，也即第二样本图像，其图像效果如图6f所示。
在一种可选实施方式中，在步骤1205之后，本申请实施例提供的图像噪声程度估计方法还可以包括：
对第二样本图像进行数据增广处理，得到与第一样本图像对应的多个有噪声样本图像；其中，数据增广处理包括随机翻转、随机旋转、随机裁剪以及随机色调变换中的至少一项；
上述步骤130具体可以包括：
将第一样本图像分别与多个有噪声样本图像中的任一图像组合，得到多个正负样本对；
使用多个正负样本对训练预设的二分类网络。
这里，在得到与第一样本图像对应的有噪声的图像，也即第二样本图像之后，可对第二样本图像做数据增广，以丰富与第一样本图像对应的噪声图像样本集，例如对第二样本图像进行随机翻转、随机旋转、随机裁剪以及随机色调变换等，在此不作限定。如此，可得到与第一样本图像对应的多个有噪声的样本图像，在训练二分类网络时，可将第一样本图像与其中任意一个有噪声样本图像进行组合，从而可得到多个正负样本对，利用该多个样本对进行训练。
这样，通过对暗光噪声图像进行数据增广，可利用有限的原始图像，得到多个正负样本对，从而可以降低样本构建的成本。
步骤1206，将第一样本图像和第二样本图像作为正负样本对，训练初始噪声程度估计模型，直至初始噪声程度估计模型收敛，得到噪声程度估计模型。
本申请实施例中训练初始噪声程度估计模型时所使用的样本图像可包括多个正负样本对，这里仅以第一样本图像和第二样本图像作为正负样本对来训练初始噪声程度估计模型为例进行说明。其中，初始噪声程度估计模型可以是将图像划分为有噪声和无噪声两类的神经网络。
示例性地，可为第一样本图像添加负样本标签，为第二样本图像添加正样本标签。将第一样本图像和第二样本图像分别输入至初始噪声程度估计模型中，输出得到与第一样本图像对应的分类结果，再将该分类结果经Softmax激活函数进行归一化，得到分类概率值，并根据该分类概率值与样本图像对应的标签计算交叉熵损失，采用Adam优化算法更新网络权重，直至该初始噪声程度估计模型收敛。
另外，初始噪声程度估计模型输出的分类结果可以是输入激活函数之前得到的结果，例如二分类网络输出的logits，也即事件发生与不发生的比值对数，在神经网络中表示未归一化的概率。由于二分类网络输出的分类结果是一个二维的数值，例如(a,b)，其中，a表示该图像为有噪声图像的未归一化的概率，b表示该图像为无噪声图像的未归一化的概率。因此，可通过在收敛的初始噪声程度估计模型的输出端增加求差函数，并将Softmax激活函数替换为目标激活函数，例如Sigmoid、Tanh等，实现将二维的数值映射为预设连续区间范围内的噪声程度估计值，例如将(a,b)映射为区间预设连续范围内的某个数值，作为噪声程度估计值。这样，可得到噪声程度估计模型。
由此，在构建得到噪声程度估计模型后，可将用户拍摄的图像或者其他途径获取的有噪声的图像，例如第一图像，输入至该噪声程度估计模型，即可输出得到与该图像对应的噪声程度估计值。
这样，通过模拟电子设备拍摄图像时噪声的产生过程，可使构造的噪声样本图像更贴近真实的噪声图像，且相较于现有的直接使用真实的噪声图像，本申请实施例人为添加噪声可使添加的噪声程度更加可控，从而得到较为理想的噪声样本图像，根据该噪声样本图像训练得到的模型也更加准确。另外，通过利用无噪声的第一样本图像，及其对应的有噪声的第二样本图像，作为正负样本对，训练初始噪声程度估计模型，进而可得到噪声程度估计模型。这样，由于训练二分类网络时只需构建包含有噪声图像和无噪声图像的正负样本对，而无需对每个样本图像都进行噪声程度的标注，因此，可以降低模型的构造成本。
基于相同的发明构思，本申请还提供了一种图像噪声程度估计装置。下面结合图7对本申请实施例提供的图像噪声程度估计装置进行详细说明。
图7是根据一示例性实施例示出的一种图像噪声程度估计装置的结构框图。
如图7所示，图像噪声程度估计装置700可以包括：
第一获取模块701，用于获取第一图像；
特征提取模块702，用于从第一图像中提取与第一图像对应的特征信息；
图像估计模块703，用于根据特征信息，确定与第一图像对应的第一估计值和第二估计值；其中，第一估计值为第一图像属于噪声图像的估计值，第二估计值为第一图像属于无噪声图像的估计值；
差值计算模块704，用于计算第一估计值和第二估计值之间的差值；
差值映射模块705，用于将差值映射为预设连续区间范围内的目标值，将目标值作为第一图像的噪声程度估计值。
下面对上述图像噪声程度估计装置700进行详细说明，具体如下所示：
在其中一个实施例中，上述特征提取模块702，具体可以包括：
第一转换子模块，用于将第一图像转换为对应的第二图像；其中，第二图像为拜耳Bayer图像；
特征提取子模块，用于利用噪声程度估计模型中的第一分支网络，从第一图像中提取与第一图像对应的第一特征，以及，利用噪声程度估计模型中的第二分支网络，从第二图像中提取与第一图像对应的第二特征；
信息生成子模块，用于根据第一特征和第二特征，生成与第一图像对应的特征信息。
在其中一个实施例中，上述图像估计模块703，具体可以包括：
图像分类子模块，用于将特征信息输入至噪声程度估计模型中的二分类网络，利用二分类网络对第一图像进行分类，输出得到与第一图像对应的第一估计值和第二估计值。
在其中一个实施例中，上述特征提取模块702，还可以包括：
变换处理子模块，用于在利用噪声程度估计模型中的第一分支网络，从第一图像中提取与第一图像对应的第一特征，以及，利用噪声程度估计模型中的第二分支网络，从第二图像中提取与第一图像对应的第二特征之前，对第一图像进行变换处理，得到与第一图像对应的N个第三图像；其中，变换处理包括变亮处理和变暗处理中的至少一项，N为正整数；
第二转换子模块，用于将N个第三图像转换为对应的N个第四图像；其中，第四图像为Bayer图像；
上述特征提取子模块，具体可以包括：
图像堆叠单元，用于将第一图像和N个第三图像按通道维度堆叠，得到第一堆叠图像，将第二图像和N个第四图像按通道维度堆叠，得到第二堆叠图像；
特征提取单元，用于利用第一分支网络从第一堆叠图像中提取颜色信息，得到与第一图像对应的第一特征，利用第二分支网络从第二堆叠图像中提取空间信息，得到与第一图像对应的第二特征。
在其中一个实施例中，第一分支网络可以包括第一特征提取子网络和第一交叉注意力子网络，第二分支网络可以包括第二特征提取子网络和第二交叉注意力子网络；
上述特征提取单元，具体可以包括：
特征提取子单元，用于利用第一特征提取子网络从第一堆叠图像中提取颜色信息，得到与第一图像对应的颜色特征，利用第二特征提取子网络从第二堆叠图像中提取空间信息，得到与第一图像对应的空间特征；
特征处理子单元，用于利用第一交叉注意力子网络，对颜色特征进行预处理，得到第一处理结果，利用第二交叉注意力子网络，对空间特征进行预处理，得到第二处理结果；
特征融合子单元，用于将第一处理结果与空间特征进行融合，得到第二特征，将第二处理结果与颜色特征进行融合，得到第一特征。
在其中一个实施例中，上述图像噪声程度估计装置700还可以包括：
样本获取模块，用于在从第一图像中提取与第一图像对应的特征信息之前，获取第一样本图像；
第一转换模块，用于将第一样本图像转换为对应的第一目标图像；
噪声添加模块，用于为第一目标图像添加预设噪声，得到第一噪声图像；其中，预设噪声包括泊松噪声和高斯噪声中的至少一项；
第二转换模块，用于将第一噪声图像转换为对应的第二目标图像；
图像去噪模块，用于对第二目标图像进行去噪处理，得到第二样本图像；其中，第一目标图像和第一噪声图像为拜耳Bayer图像，第一样本图像和第二目标图像为RGB图像；
模型训练模块，用于将第一样本图像和第二样本图像作为正负样本对，训练初始噪声程度估计模型，直至初始噪声程度估计模型收敛，得到噪声程度估计模型。
在其中一个实施例中，上述图像噪声程度估计装置700还可以包括：
数据增广模块，用于在对第二目标图像进行去噪处理，得到第二样本图像之后，对第二样本图像进行数据增广处理，得到与第一样本图像对应的多个有噪声样本图像；其中，数据增广处理包括随机翻转、随机旋转、随机裁剪以及随机色调变换中的至少一项；
上述模型训练模块，具体可以包括：
组合子模块，用于将第一样本图像分别与多个有噪声样本图像中的任一图像组合，得到多个正负样本对；
训练子模块，用于使用多个正负样本对训练初始噪声程度估计模型。
在其中一个实施例中，上述图像噪声程度估计装置700还可以包括：
第二获取模块，用于在获取第一样本图像之前，获取原始图像；
空间转换模块，用于将原始图像由RGB颜色空间转换至HSV颜色空间；
变暗处理模块，用于将原始图像对应的HSV颜色空间中的明度V通道进行随机变暗处理，得到多个无噪声样本图像；其中，随机变暗处理包括线性变暗、指数变暗中的至少一项，多个无噪声样本图像中包括第一样本图像；
由此，通过从获取的第一图像中提取与第一图像对应的特征信息，根据该特征信息确定第一图像属于噪声图像的第一估计值，以及第一图像属于无噪声图像的第二估计值，进而通过将第一估计值和第二估计值之间的差值映射为预设连续区间范围内的目标值，并将该目标值作为第一图像的噪声程度估计值，从而在无需假设第一图像是否服从某种噪声分布，即可实现对第一图像噪声程度的估计，并且本申请实施例可对任意光照条件下拍摄的第一图像的噪声程度进行估计，从而提高了图像噪声程度估计的准确性和普适性。
本申请实施例中的图像噪声程度估计装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像噪声程度估计装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像噪声程度估计装置能够实现图1至图6的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图8所示，本申请实施例还提供一种电子设备800，包括处理器801，存储器802，存储在存储器802上并可在处理器801上运行的程序或指令，该程序或指令被处理器801执行时实现上述图像噪声程度估计方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图9为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、以及处理器910等部件。
本领域技术人员可以理解，电子设备900还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器910，用于获取第一图像；从第一图像中提取与第一图像对应的特征信息；根据特征信息，确定与第一图像对应的第一估计值和第二估计值；其中，第一估计值为第一图像属于噪声图像的估计值，第二估计值为第一图像属于无噪声图像的估计值；计算第一估计值和第二估计值之间的差值；将差值映射为预设连续区间范围内的目标值，将目标值作为第一图像的噪声程度估计值。
由此，通过从获取的第一图像中提取与第一图像对应的特征信息，根据该特征信息确定第一图像属于噪声图像的第一估计值，以及第一图像属于无噪声图像的第二估计值，进而通过将第一估计值和第二估计值之间的差值映射为预设连续区间范围内的目标值，并将该目标值作为第一图像的噪声程度估计值，从而在无需假设第一图像是否服从某种噪声分布，即可实现对第一图像噪声程度的估计，并且本申请实施例可对任意光照条件下拍摄的第一图像的噪声程度进行估计，从而提高了图像噪声程度估计的准确性和普适性。
可选地，处理器910，还用于将第一图像转换为对应的第二图像；其中，第二图像为拜耳Bayer图像；利用噪声程度估计模型中的第一分支网络，从第一图像中提取与第一图像对应的第一特征，以及，利用噪声程度估计模型中的第二分支网络，从第二图像中提取与第一图像对应的第二特征；根据第一特征和第二特征，生成与第一图像对应的特征信息。
可选地，处理器910，还用于将特征信息输入至噪声程度估计模型中的二分类网络，利用二分类网络对第一图像进行分类，输出得到与第一图像对应的第一估计值和第二估计值。
可选地，处理器910，还用于对第一图像进行变换处理，得到与第一图像对应的N个第三图像；其中，变换处理包括变亮处理和变暗处理中的至少一项，N为正整数；将N个第三图像转换为对应的N个第四图像；其中，第四图像为Bayer图像；以及，将第一图像和N个第三图像按通道维度堆叠，得到第一堆叠图像，将第二图像和N个第四图像按通道维度堆叠，得到第二堆叠图像；利用第一分支网络从第一堆叠图像中提取颜色信息，得到与第一图像对应的第一特征，利用第二分支网络从第二堆叠图像中提取空间信息，得到与第一图像对应的第二特征。
可选地，处理器910，还用于利用第一特征提取子网络从第一堆叠图像中提取颜色信息，得到与第一图像对应的颜色特征，利用第二特征提取子网络从第二堆叠图像中提取空间信息，得到与第一图像对应的空间特征；利用第一交叉注意力子网络，对颜色特征进行预处理，得到第一处理结果，利用第二交叉注意力子网络，对空间特征进行预处理，得到第二处理结果；将第一处理结果与空间特征进行融合，得到第二特征，将第二处理结果与颜色特征进行融合，得到第一特征。
可选地，处理器910，还用于获取第一样本图像；将第一样本图像转换为对应的第一目标图像；为第一目标图像添加预设噪声，得到第一噪声图像；其中，预设噪声包括泊松噪声和高斯噪声中的至少一项；将第一噪声图像转换为对应的第二目标图像；对第二目标图像进行去噪处理，得到第二样本图像；其中，第一目标图像和第一噪声图像为Bayer图像，第一样本图像和第二目标图像为RGB图像；将第一样本图像和第二样本图像作为正负样本对，训练初始噪声程度估计模型，直至初始噪声程度估计模型收敛，得到噪声程度估计模型。
可选地，处理器910，还用于对第二样本图像进行数据增广处理，得到与第一样本图像对应的多个噪声样本图像；其中，数据增广处理包括随机翻转、随机旋转、随机裁剪以及随机色调变换中的至少一项；以及，将第一样本图像分别与多个噪声样本图像中的任一图像组合，得到多个正负样本对；使用多个正负样本对训练初始噪声程度估计模型。
这样，通过从获取的第一图像中提取与第一图像对应的特征信息，根据该特征信息确定第一图像属于噪声图像的第一估计值，以及第一图像属于无噪声图像的第二估计值，进而通过将第一估计值和第二估计值之间的差值映射为预设连续区间范围内的目标值，并将该目标值作为第一图像的噪声程度估计值，从而在无需假设第一图像是否服从某种噪声分布，即可实现对第一图像噪声程度的估计，并且本申请实施例可对任意光照条件下拍摄的第一图像的噪声程度进行估计，从而提高了图像噪声程度估计的准确性和普适性。
应理解的是，本申请实施例中，输入单元904可以包括图形处理器(GraphicsProcessing Unit，GPU)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072。触控面板9071，也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器909可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器910可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像噪声程度估计方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像噪声程度估计方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (16)

1.一种图像噪声程度估计方法，其特征在于，包括：
获取第一图像；
从所述第一图像中提取与所述第一图像对应的特征信息；
根据所述特征信息，确定与所述第一图像对应的第一估计值和第二估计值；其中，所述第一估计值为所述第一图像属于噪声图像的估计值，所述第二估计值为所述第一图像属于无噪声图像的估计值；
计算所述第一估计值和所述第二估计值之间的差值；
将所述差值映射为预设连续区间范围内的目标值，将所述目标值作为所述第一图像的噪声程度估计值。
2.根据权利要求1所述的方法，其特征在于，所述从所述第一图像中提取与所述第一图像对应的特征信息，包括：
将所述第一图像转换为对应的第二图像；其中，所述第二图像为拜耳Bayer图像；
利用噪声程度估计模型中的第一分支网络，从所述第一图像中提取与所述第一图像对应的第一特征，以及，利用所述噪声程度估计模型中的第二分支网络，从所述第二图像中提取与所述第一图像对应的第二特征；
根据所述第一特征和所述第二特征，生成与所述第一图像对应的特征信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述特征信息，确定与所述第一图像对应的第一估计值和第二估计值，包括：
将所述特征信息输入至噪声程度估计模型中的二分类网络，利用所述二分类网络对所述第一图像进行分类，输出得到与所述第一图像对应的第一估计值和第二估计值。
4.根据权利要求2所述的方法，其特征在于，在利用噪声程度估计模型中的第一分支网络，从所述第一图像中提取与所述第一图像对应的第一特征，以及，利用所述噪声程度估计模型中的第二分支网络，从所述第二图像中提取与所述第一图像对应的第二特征之前，所述方法还包括：
对所述第一图像进行变换处理，得到与所述第一图像对应的N个第三图像；其中，所述变换处理包括变亮处理和变暗处理中的至少一项，N为正整数；
将所述N个第三图像转换为对应的N个第四图像；其中，所述第四图像为Bayer图像；
所述利用噪声程度估计模型中的第一分支网络，从所述第一图像中提取与所述第一图像对应的第一特征，以及，利用所述噪声程度估计模型中的第二分支网络，从所述第二图像中提取与所述第一图像对应的第二特征，包括：
将所述第一图像和所述N个第三图像按通道维度堆叠，得到第一堆叠图像，将所述第二图像和所述N个第四图像按通道维度堆叠，得到第二堆叠图像；
利用所述第一分支网络从所述第一堆叠图像中提取颜色信息，得到与所述第一图像对应的第一特征，利用所述第二分支网络从所述第二堆叠图像中提取空间信息，得到与所述第一图像对应的第二特征。
5.根据权利要求4所述的方法，其特征在于，所述第一分支网络包括第一特征提取子网络和第一交叉注意力子网络，所述第二分支网络包括第二特征提取子网络和第二交叉注意力子网络；
所述利用所述第一分支网络从所述第一堆叠图像中提取颜色信息，得到与所述第一图像对应的第一特征，利用所述第二分支网络从所述第二堆叠图像中提取空间信息，得到与所述第一图像对应的第二特征，包括：
利用所述第一特征提取子网络从所述第一堆叠图像中提取颜色信息，得到与所述第一图像对应的颜色特征，利用所述第二特征提取子网络从所述第二堆叠图像中提取空间信息，得到与所述第一图像对应的空间特征；
利用所述第一交叉注意力子网络，对所述颜色特征进行预处理，得到第一处理结果，利用所述第二交叉注意力子网络，对所述空间特征进行预处理，得到第二处理结果；
将所述第一处理结果与所述空间特征进行融合，得到所述第二特征，将所述第二处理结果与所述颜色特征进行融合，得到所述第一特征。
6.根据权利要求2-5任一项所述的方法，其特征在于，在从所述第一图像中提取与所述第一图像对应的特征信息之前，所述方法还包括：
获取第一样本图像；
将所述第一样本图像转换为对应的第一目标图像；
为所述第一目标图像添加预设噪声，得到第一噪声图像；其中，所述预设噪声包括泊松噪声和高斯噪声中的至少一项；
将所述第一噪声图像转换为对应的第二目标图像；
对所述第二目标图像进行去噪处理，得到所述第二样本图像；其中，所述第一目标图像和所述第一噪声图像为Bayer图像，所述第一样本图像和所述第二目标图像为RGB图像；
将所述第一样本图像和所述第二样本图像作为正负样本对，训练初始噪声程度估计模型，直至所述初始噪声程度估计模型收敛，得到所述噪声程度估计模型。
7.根据权利要求6所述的方法，其特征在于，在对所述第二目标图像进行去噪处理，得到所述第二样本图像之后，所述方法还包括：
对所述第二样本图像进行数据增广处理，得到与所述第一样本图像对应的多个噪声样本图像；其中，所述数据增广处理包括随机翻转、随机旋转、随机裁剪以及随机色调变换中的至少一项；
所述将所述第一样本图像和所述第二样本图像作为正负样本对，训练初始噪声程度估计模型，包括：
将所述第一样本图像分别与所述多个噪声样本图像中的任一图像组合，得到多个正负样本对；
使用所述多个正负样本对训练所述初始噪声程度估计模型。
8.一种图像噪声程度估计装置，其特征在于，包括：
第一获取模块，用于获取第一图像；
特征提取模块，用于从所述第一图像中提取与所述第一图像对应的特征信息；
图像估计模块，用于根据所述特征信息，确定与所述第一图像对应的第一估计值和第二估计值；其中，所述第一估计值为所述第一图像属于噪声图像的估计值，所述第二估计值为所述第一图像属于无噪声图像的估计值；
差值计算模块，用于计算所述第一估计值和所述第二估计值之间的差值；
差值映射模块，用于将所述差值映射为预设连续区间范围内的目标值，将所述目标值作为所述第一图像的噪声程度估计值。
9.根据权利要求8所述的装置，其特征在于，所述特征提取模块，包括：
第一转换子模块，用于将所述第一图像转换为对应的第二图像；其中，所述第二图像为拜耳Bayer图像；
特征提取子模块，用于利用噪声程度估计模型中的第一分支网络，从所述第一图像中提取与所述第一图像对应的第一特征，以及，利用所述噪声程度估计模型中的第二分支网络，从所述第二图像中提取与所述第一图像对应的第二特征；
信息生成子模块，用于根据所述第一特征和所述第二特征，生成与所述第一图像对应的特征信息。
10.根据权利要求8所述的装置，其特征在于，所述图像估计模块，包括：
图像分类子模块，用于将所述特征信息输入至噪声程度估计模型中的二分类网络，利用所述二分类网络对所述第一图像进行分类，输出得到与所述第一图像对应的第一估计值和第二估计值。
11.根据权利要求8或9所述的装置，其特征在于，所述特征提取模块，还包括：
变换处理子模块，用于在利用噪声程度估计模型中的第一分支网络，从所述第一图像中提取与所述第一图像对应的第一特征，以及，利用所述噪声程度估计模型中的第二分支网络，从所述第二图像中提取与所述第一图像对应的第二特征之前，对所述第一图像进行变换处理，得到与所述第一图像对应的N个第三图像；其中，所述变换处理包括变亮处理和变暗处理中的至少一项，N为正整数；
第二转换子模块，用于将所述N个第三图像转换为对应的N个第四图像；其中，所述第四图像为Bayer图像；
所述特征提取子模块，包括：
图像堆叠单元，用于将所述第一图像和所述N个第三图像按通道维度堆叠，得到第一堆叠图像，将所述第二图像和所述N个第四图像按通道维度堆叠，得到第二堆叠图像；
特征提取单元，用于利用所述第一分支网络从所述第一堆叠图像中提取颜色信息，得到与所述第一图像对应的第一特征，利用所述第二分支网络从所述第二堆叠图像中提取空间信息，得到与所述第一图像对应的第二特征。
12.根据权利要求11所述的方法，其特征在于，所述第一分支网络包括第一特征提取子网络和第一交叉注意力子网络，所述第二分支网络包括第二特征提取子网络和第二交叉注意力子网络；
所述特征提取单元，包括：
特征提取子单元，用于利用所述第一特征提取子网络从所述第一堆叠图像中提取颜色信息，得到与所述第一图像对应的颜色特征，利用所述第二特征提取子网络从所述第二堆叠图像中提取空间信息，得到与所述第一图像对应的空间特征；
特征处理子单元，用于利用所述第一交叉注意力子网络，对所述颜色特征进行预处理，得到第一处理结果，利用所述第二交叉注意力子网络，对所述空间特征进行预处理，得到第二处理结果；
特征融合子单元，用于将所述第一处理结果与所述空间特征进行融合，得到所述第二特征，将所述第二处理结果与所述颜色特征进行融合，得到所述第一特征。
13.根据权利要求9-12任一项所述的装置，其特征在于，所述装置还包括：
样本获取模块，用于在从所述第一图像中提取与所述第一图像对应的特征信息之前，获取第一样本图像；
第一转换模块，用于将所述第一样本图像转换为对应的第一目标图像；
噪声添加模块，用于为所述第一目标图像添加预设噪声，得到第一噪声图像；其中，所述预设噪声包括泊松噪声和高斯噪声中的至少一项；
第二转换模块，用于将所述第一噪声图像转换为对应的第二目标图像；
图像去噪模块，用于对所述第二目标图像进行去噪处理，得到所述第二样本图像；其中，所述第一目标图像和所述第一噪声图像为拜耳Bayer图像，所述第一样本图像和所述第二目标图像为RGB图像；
模型训练模块，用于将所述第一样本图像和所述第二样本图像作为正负样本对，训练初始噪声程度估计模型，直至所述初始噪声程度估计模型收敛，得到所述噪声程度估计模型。
14.根据权利要求13所述的装置，其特征在于，所述装置还包括：
数据增广模块，用于在对所述第二目标图像进行去噪处理，得到所述第二样本图像之后，对所述第二样本图像进行数据增广处理，得到与所述第一样本图像对应的多个有噪声样本图像；其中，所述数据增广处理包括随机翻转、随机旋转、随机裁剪以及随机色调变换中的至少一项；
所述模型训练模块，包括：
组合子模块，用于将所述第一样本图像分别与所述多个有噪声样本图像中的任一图像组合，得到多个正负样本对；
训练子模块，用于使用所述多个正负样本对训练所述初始噪声程度估计模型。
15.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7任一项所述的图像噪声程度估计方法的步骤。
16.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-7任一项所述的图像噪声程度估计方法的步骤。
CN202110880750.2A 2021-08-02 2021-08-02 图像噪声程度估计方法、装置、电子设备及存储介质 Pending CN113658118A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110880750.2A CN113658118A (zh) 2021-08-02 2021-08-02 图像噪声程度估计方法、装置、电子设备及存储介质
PCT/CN2022/108181 WO2023011280A1 (zh) 2021-08-02 2022-07-27 图像噪声程度估计方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110880750.2A CN113658118A (zh) 2021-08-02 2021-08-02 图像噪声程度估计方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113658118A true CN113658118A (zh) 2021-11-16

Family

ID=78478239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110880750.2A Pending CN113658118A (zh) 2021-08-02 2021-08-02 图像噪声程度估计方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN113658118A (zh)
WO (1) WO2023011280A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023011280A1 (zh) * 2021-08-02 2023-02-09 维沃移动通信有限公司 图像噪声程度估计方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678774A (zh) * 2016-01-11 2016-06-15 浙江传媒学院 一种基于主成分分析的图像噪声水平估计方法
CN109523281A (zh) * 2018-11-26 2019-03-26 北京拓世寰宇网络技术有限公司 一种确定房源图片类别的方法及装置
CN110288547A (zh) * 2019-06-27 2019-09-27 北京字节跳动网络技术有限公司 用于生成图像去噪模型的方法和装置
CN111105417A (zh) * 2020-03-17 2020-05-05 珠海欧比特宇航科技股份有限公司 影像噪声定位方法及系统
CN111401485A (zh) * 2020-06-04 2020-07-10 深圳新视智科技术有限公司 实用的纹理分类方法
CN111612090A (zh) * 2020-05-29 2020-09-01 中国科学技术大学 基于内容颜色交叉相关的图像情感分类方法
CN112801906A (zh) * 2021-02-03 2021-05-14 福州大学 基于循环神经网络的循环迭代图像去噪方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101112139B1 (ko) * 2010-03-30 2012-03-13 중앙대학교 산학협력단 부호화된 영상의 확대비 및 노이즈 강도 추정장치 및 방법
CN109190472B (zh) * 2018-07-28 2021-09-14 天津大学 基于图像与属性联合引导的行人属性识别方法
CN112488162A (zh) * 2020-11-17 2021-03-12 中南民族大学 一种基于主动学习的垃圾分类方法
CN113658118A (zh) * 2021-08-02 2021-11-16 维沃移动通信有限公司 图像噪声程度估计方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678774A (zh) * 2016-01-11 2016-06-15 浙江传媒学院 一种基于主成分分析的图像噪声水平估计方法
CN109523281A (zh) * 2018-11-26 2019-03-26 北京拓世寰宇网络技术有限公司 一种确定房源图片类别的方法及装置
CN110288547A (zh) * 2019-06-27 2019-09-27 北京字节跳动网络技术有限公司 用于生成图像去噪模型的方法和装置
CN111105417A (zh) * 2020-03-17 2020-05-05 珠海欧比特宇航科技股份有限公司 影像噪声定位方法及系统
CN111612090A (zh) * 2020-05-29 2020-09-01 中国科学技术大学 基于内容颜色交叉相关的图像情感分类方法
CN111401485A (zh) * 2020-06-04 2020-07-10 深圳新视智科技术有限公司 实用的纹理分类方法
CN112801906A (zh) * 2021-02-03 2021-05-14 福州大学 基于循环神经网络的循环迭代图像去噪方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023011280A1 (zh) * 2021-08-02 2023-02-09 维沃移动通信有限公司 图像噪声程度估计方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023011280A1 (zh) 2023-02-09

Similar Documents

Publication Publication Date Title
EP3614333B1 (en) Image processing method, storage medium, and electronic apparatus
RU2469403C2 (ru) Устройство, способ и программа обработки изображения
US20240062530A1 (en) Deep perceptual image enhancement
US11398016B2 (en) Method, system, and computer-readable medium for improving quality of low-light images
Ko et al. Artifact-free low-light video enhancement using temporal similarity and guide map
Chaudhry et al. A framework for outdoor RGB image enhancement and dehazing
CN112541868B (zh) 图像处理方法、装置、计算机设备和存储介质
WO2020093782A1 (en) Method, system, and computer-readable medium for improving quality of low-light images
WO2023005818A1 (zh) 噪声图像生成方法、装置、电子设备及存储介质
Steffens et al. Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing
CN111626967A (zh) 图像增强方法、装置、计算机装置及可读存储介质
CN112837251A (zh) 图像处理方法及装置
CN111429371B (zh) 图像处理方法、装置及终端设备
CN113132695A (zh) 镜头阴影校正方法、装置及电子设备
Wu et al. Reflectance-guided histogram equalization and comparametric approximation
Kumar et al. Enhancing scene perception using a multispectral fusion of visible–near‐infrared image pair
Zhang et al. Single image dehazing based on bright channel prior model and saliency analysis strategy
WO2023011280A1 (zh) 图像噪声程度估计方法、装置、电子设备及存储介质
Rahman et al. Efficient contrast adjustment and fusion method for underexposed images in industrial cyber-physical systems
Bora AERSCIEA: An Efficient and Robust Satellite Color Image Enhancement Approach.
US8311358B2 (en) Method and system for image extraction and identification
Khan et al. Robust contrast enhancement method using a retinex model with adaptive brightness for detection applications
WO2023001110A1 (zh) 神经网络训练方法、装置及电子设备
US20230020964A1 (en) Content based image processing
US20220188991A1 (en) Method and electronic device for managing artifacts of image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination