CN116051449B - 图像噪声估计方法及装置 - Google Patents
图像噪声估计方法及装置 Download PDFInfo
- Publication number
- CN116051449B CN116051449B CN202210960486.8A CN202210960486A CN116051449B CN 116051449 B CN116051449 B CN 116051449B CN 202210960486 A CN202210960486 A CN 202210960486A CN 116051449 B CN116051449 B CN 116051449B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- gray
- noise
- conversion gain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000006243 chemical reaction Methods 0.000 claims abstract description 145
- 230000004927 fusion Effects 0.000 claims description 65
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000010586 diagram Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供一种图像噪声估计方法及装置，图像噪声估计方法包括：获取目标图像，目标图像是第一图像和第二图像融合得到，第一图像基于低转换增益得到，第二图像基于高转换增益得到；确定目标图像中的第一类型像素和第二类型像素，第一类型像素的像素值基于第一图像中像素的像素值得到，第二类型像素的像素值基于第二图像中像素的像素值得到；调用低转换增益噪声模型，估计第一类型像素的噪声水平；调用高转换增益噪声模型，估计第二类型像素的噪声水平。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像噪声估计方法及装置。
背景技术
DCG(dual conversion gain，双转换增益)传感器具有低转换增益(lowconversion gain，LCG)和高转换增益(high conversion gain，HCG)，在LCG和HCG作用下，DCG传感器对每个像素(pixel)生成LCG像素值和HCG像素值，即一个pixel对应LCG和HCG这两个转换增益，一个pixel有LCG像素值和HCG像素值，基于每个pixel的LCG像素值和每个pixel的HCG像素值，生成一幅没有重影的高动态范围(High Dynamic Range，HDR)图像，HDR图像经过降噪等预处理后使用，而HDR图像的噪声水平是否准确直接影响了HDR图像的预处理。
发明内容
本申请提供了一种图像噪声估计方法及装置，目的在于提高图像的噪声水平的准确度。为了实现上述目的，本申请提供了以下技术方案：
第一方面，本申请提供一种图像噪声估计方法，方法包括：获取目标图像，目标图像是第一图像和第二图像融合得到，第一图像基于低转换增益得到，第二图像基于高转换增益得到；确定目标图像中的第一类型像素和第二类型像素，第一类型像素的像素值基于第一图像中像素的像素值得到，第二类型像素的像素值基于第二图像中像素的像素值得到；调用低转换增益噪声模型，估计第一类型像素的噪声水平；调用高转换增益噪声模型，估计第二类型像素的噪声水平。因为第一类型像素的像素值可以基于第一图像中像素的像素值得到，目标图像中第二类型像素的像素值可以基于第二图像中像素的像素值得到，使得第一类型像素的噪声与第一图像相关，第二类型像素的噪声与第二图像相关，那么在估计噪声水平时，调用与第一图像匹配的低转换增益噪声模型，估计第一类型像素的噪声水平，调用与第二图像匹配的高转换增益噪声模型，估计第二类型像素的噪声水平，提高目标图像中各类型像素的噪声水平，从而提高目标图像的噪声水平的准确度。第一类型像素的像素值可以基于第一图像中像素的像素值和预设增益比值得到，预设增益比值是低转换增益和高转换增益之间的增益比值，其过程可以参见下述说明，以使得第一图像归一化到第二图像的亮度，降低亮区域和暗区域在目标图像中交叉出现的概率，提高目标图像的质量。
第一图像和第二图像融合过程中的图像以及融合结束后的图像可以统称为目标图像，在得到目标图像中每个第一类型像素和每个第二类型像素的噪声水平后，得到目标图像的噪声水平。其中第一图像可以是下述LCG图像，第二图像可以是下述HCG图像，那么融合得到的目标图像可以是HDR图像，第一类型像素的像素值可以是下述LCG像素值，第二类型像素的像素值可以是下述HCG像素值，低转换增益和高转换增益可以是摄像头的DCG传感器的两个增益，使得摄像头一次拍摄可以得到LCG图像和HCG图像。
在一种可能的实现方式中，低转换增益噪声模型和高转换增益噪声模型的获得过程包括：获得多帧第一灰阶图像和多帧第二灰阶图像，第一灰阶图像基于低转换增益得到，第二灰阶图像基于高转换增益得到；根据多帧第一灰阶图像的图像数据，得到低转换增益噪声模型的斜率和截距，根据低转换增益噪声模型的斜率和截距，获得低转换增益噪声模型；根据多帧第二灰阶图像的图像数据，得到高转换增益噪声模型的斜率和截距，根据高转换增益噪声模型的斜率和截距，获得高转换增益噪声模型，实现根据与低转换增益相关的多帧第一灰阶图像得到低转换增益噪声模型，以及根据与高转换增益相关的多帧第二灰阶图像得到高转换增益噪声模型，由此低转换增益噪声模型可以学习到基于低转换增益得到的图像中的噪声分布，高转换增益噪声模型可以分别学习基于高转换增益得到的图像中的噪声分布，这样调用低转换增益噪声模型和高转换增益噪声模型进行噪声水平估计时可以提高准确度。LCG灰阶图像可以称为第一灰阶图像，HCG灰阶图像可以称为第二灰阶图像，低转换增益噪声模型和高转换增益噪声模型可以是泊松高斯噪声模型，泊松高斯噪声模型的公式参见下述描述。
在一种可能的实现方式中，根据多帧第一灰阶图像的图像数据，得到低转换增益噪声模型的斜率和截距包括：根据多帧第一灰阶图像的图像数据，得到每个像素在多帧第一灰阶图像中的均值和方差；根据每个像素在多帧第一灰阶图像中的均值和方差，拟合第一灰阶图像的线性关系图；根据第一灰阶图像的线性关系图，得到低转换增益噪声模型的斜率和截距；根据多帧第二灰阶图像的图像数据，得到高转换增益噪声模型的斜率和截距包括：根据多帧第二灰阶图像的图像数据，得到每个像素在多帧第二灰阶图像中的均值和方差；根据每个像素在多帧第二灰阶图像中的均值和方差，拟合第二灰阶图像的线性关系图；根据第二灰阶图像的线性关系图，得到高转换增益噪声模型的斜率和截距，从而简化低转换增益噪声模型和高转换增益噪声模型的构建。
在一种可能的实现方式中，根据多帧第一灰阶图像的图像数据，得到每个像素在多帧第一灰阶图像中的均值和方差包括：根据预设增益比值，对每帧第一灰阶图像中每个像素的像素值进行处理，预设增益比值为低转换增益和高转换增益之间的比值；根据处理后的每个像素的像素值，得到每个像素在多帧第一灰阶图像中的均值和方差。因为第一类型像素的像素值可以基于第一图像中像素的像素值和预设增益比值得到，那么在构建低转换增益噪声模型时同样对第一灰阶图像中各像素的像素值进行处理，根据处理后的每个像素的像素值来构建低转换增益噪声模型，使得低转换增益噪声模型可以更准确地估计第一类型像素的噪声水平。
在一种可能的实现方式中，确定目标图像中的第一类型像素和第二类型像素包括：在第一图像和第二图像融合结束得到目标图像后，获得目标图像的融合掩膜矩阵，融合掩膜矩阵指示目标图像包括第一区域和第二区域，第一区域中的像素为第一类型像素，第二区域中的像素为第二类型像素。在第一图像和第二图像融合结束后，通过目标图像的融合掩膜矩阵来标识目标图像中的第一类型像素和第二类型像素，相应的噪声水平估计可以在融合结束后。
在一种可能的实现方式中，在确定目标图像中的第一类型像素和第二类型像素之前，方法还包括：调用低转换增益噪声模型，估计第一图像的噪声水平；调用高转换增益噪声模型，估计第二图像的噪声水平。
在一种可能的实现方式中，调用低转换增益噪声模型，估计第一类型像素的噪声水平，以及调用高转换增益噪声模型，估计第二类型像素的噪声水平包括：根据融合掩膜矩阵，从第一图像中查找与第一类型像素匹配的第一像素，从第二图像中查找与第二类型像素匹配的第二像素；将第一像素的噪声水平确定为匹配的第一类型像素的噪声水平，将第二像素的噪声水平确定为匹配的第二类型像素的噪声水平。因为低转换增益噪声模型已经估计出第一图像的噪声水平，高转换增益噪声模型已经估计出第二图像的噪声水平，在得到目标图像后，通过噪声水平赋值方式得到目标图像中第一类型像素和第二类型像素的噪声水平，提高效率。
在一种可能的实现方式中，确定目标图像中的第一类型像素和第二类型像素包括：在根据第一图像和第二图像融合得到目标图像过程中，确定目标图像中的第一类型像素和第二类型像素，由此在融合得到目标图像过程中，调用低转换增益噪声模型和高转换增益噪声模型估计噪声水平，实现一边融合一边估计像素的噪声水平。一些示例中，每融合得到目标图像中的一个像素，调用与该像素匹配的噪声模型，估计该像素的噪声水平。
在一种可能的实现方式中，低转换增益噪声模型和高转换增益噪声模型的获得过程包括：摄像头驱动获取摄像头拍摄的第一灰阶图像的图像数据、第二灰阶图像的图像数据；摄像头驱动向硬件抽象层的第一图像处理算法模块发送第一灰阶图像的图像数据和第二灰阶图像的图像数据；硬件抽象层的第一图像处理算法模块将第一灰阶图像的图像数据和第二灰阶图像的图像数据发送给硬件抽象层的建模模块；硬件抽象层的建模模块在获得多帧第一灰阶图像的图像数据和多帧第二灰阶图像的图像数据后，根据多帧第一灰阶图像的图像数据，得到低转换增益噪声模型，根据多帧第二灰阶图像的图像数据，得到高转换增益噪声模型。
在一种可能的实现方式中，方法还包括：硬件抽象层的第二图像处理算法模块对第一图像和第二图像进行融合，得到目标图像以及目标图像的融合掩膜矩阵，融合掩膜矩阵指示目标图像包括第一区域和第二区域，第一区域中的像素为第一类型像素，第二区域中的像素为第二类型像素；硬件抽象层的第二图像处理算法模块将融合掩码矩阵发送给硬件抽象层的噪声估计模块；硬件抽象层的噪声估计模块调用低转换增益噪声模型，估计第一类型像素的噪声水平，以及调用高转换增益噪声模型，估计第二类型像素的噪声水平。
第二方面，本申请提供一种电子设备，电子设备包括：处理器和存储器；其中，存储器用于存储一个或多个计算机程序代码，计算机程序代码包括计算机指令，当处理器执行计算机指令时，处理器执行上述图像噪声估计方法。
第三方面，本申请提供一种计算机存储介质，计算机存储介质包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述图像噪声估计方法。
第四方面，本申请提供一种图像噪声估计装置，装置包括：获取模块，用于获取目标图像，目标图像是第一图像和第二图像融合得到，第一图像基于低转换增益得到，第二图像基于高转换增益得到；确定模块，用于确定目标图像中的第一类型像素和第二类型像素，第一类型像素的像素值基于第一图像中像素的像素值得到，第二类型像素的像素值基于第二图像中像素的像素值得到；估计模块，用于调用低转换增益噪声模型，估计第一类型像素的噪声水平，以及用于调用高转换增益噪声模型，估计第二类型像素的噪声水平。
在一种可能的实现方式中，获得模块，用于获得多帧第一灰阶图像和多帧第二灰阶图像，第一灰阶图像基于低转换增益得到，第二灰阶图像基于高转换增益得到；根据多帧第一灰阶图像的图像数据，得到低转换增益噪声模型的斜率和截距，根据低转换增益噪声模型的斜率和截距，获得低转换增益噪声模型；根据多帧第二灰阶图像的图像数据，得到高转换增益噪声模型的斜率和截距，根据高转换增益噪声模型的斜率和截距，获得高转换增益噪声模型。
在一种可能的实现方式中，图像噪声估计装置还包括获得模块，获得模块，用于根据多帧第一灰阶图像的图像数据，得到每个像素在多帧第一灰阶图像中的均值和方差；根据每个像素在多帧第一灰阶图像中的均值和方差，拟合第一灰阶图像的线性关系图；根据第一灰阶图像的线性关系图，得到低转换增益噪声模型的斜率和截距；根据多帧第二灰阶图像的图像数据，得到高转换增益噪声模型的斜率和截距包括：根据多帧第二灰阶图像的图像数据，得到每个像素在多帧第二灰阶图像中的均值和方差；根据每个像素在多帧第二灰阶图像中的均值和方差，拟合第二灰阶图像的线性关系图；根据第二灰阶图像的线性关系图，得到高转换增益噪声模型的斜率和截距。
在一种可能的实现方式中，获得模块，用于根据预设增益比值，对每帧第一灰阶图像中每个像素的像素值进行处理，预设增益比值为低转换增益和高转换增益之间的比值；根据处理后的每个像素的像素值，得到每个像素在多帧第一灰阶图像中的均值和方差。
在一种可能的实现方式中，确定模块，用于确定目标图像中的第一类型像素和第二类型像素包括：在第一图像和第二图像融合结束得到目标图像后，获得目标图像的融合掩膜矩阵，融合掩膜矩阵指示目标图像包括第一区域和第二区域，第一区域中的像素为第一类型像素，第二区域中的像素为第二类型像素。
在一种可能的实现方式中，估计模块，还用于调用低转换增益噪声模型，估计第一图像的噪声水平，以及用于调用高转换增益噪声模型，估计第二图像的噪声水平。
在一种可能的实现方式中，估计模块，用于根据融合掩膜矩阵，从第一图像中查找与第一类型像素匹配的第一像素，从第二图像中查找与第二类型像素匹配的第二像素；将第一像素的噪声水平确定为匹配的第一类型像素的噪声水平，将第二像素的噪声水平确定为匹配的第二类型像素的噪声水平。
在一种可能的实现方式中，确定模块，用于在根据第一图像和第二图像融合得到目标图像过程中，确定目标图像中的第一类型像素和第二类型像素。
在一种可能的实现方式中，低转换增益噪声模型和高转换增益噪声模型的获得过程包括：摄像头驱动获取摄像头拍摄的第一灰阶图像的图像数据、第二灰阶图像的图像数据；摄像头驱动向硬件抽象层的第一图像处理算法模块发送第一灰阶图像的图像数据和第二灰阶图像的图像数据；硬件抽象层的第一图像处理算法模块将第一灰阶图像的图像数据和第二灰阶图像的图像数据发送给硬件抽象层的建模模块；硬件抽象层的建模模块在获得多帧第一灰阶图像的图像数据和多帧第二灰阶图像的图像数据后，根据多帧第一灰阶图像的图像数据，得到低转换增益噪声模型，根据多帧第二灰阶图像的图像数据，得到高转换增益噪声模型。
在一种可能的实现方式中，获取模块和确定模块调用硬件抽象层的第二图像处理算法模块，由硬件抽象层的第二图像处理算法模块对第一图像和第二图像进行融合，得到目标图像以及目标图像的融合掩膜矩阵，融合掩膜矩阵指示目标图像包括第一区域和第二区域，第一区域中的像素为第一类型像素，第二区域中的像素为第二类型像素；硬件抽象层的第二图像处理算法模块将融合掩码矩阵发送给硬件抽象层的噪声估计模块；估计模块调用硬件抽象层的噪声估计模块，由硬件抽象层的噪声估计模块调用低转换增益噪声模型，估计第一类型像素的噪声水平，以及调用高转换增益噪声模型，估计第二类型像素的噪声水平。
附图说明
图1为本申请提供的图像融合和噪声变化的示意图；
图2为本申请提供的电子设备的硬件结构图；
图3为本申请提供的电子设备的软硬件架构图；
图4为本申请提供的得到噪声模型的示意图；
图5为本申请提供的线性关系图的示意图；
图6至图8为本申请提供的估计噪声水平的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例涉及的多个，是指大于或等于两个。需要说明的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
DCG传感器可以安装在电子设备中，如安装在电子设备的摄像头中，电子设备在通过摄像头拍摄图像时，摄像头中的DCG传感器可以工作在LCG模式和HCG模式下。LCG模式下DCG传感器具有更大的满阱容量(full well capacity，FWC)，DCG传感器能够积累的电荷越多，由此在LCG模式下DCG传感器在高亮场景(也称为高光量场景)下电荷不易饱和，使得DCG传感器可以改善最大可感测光量。在HCG模式下DCG传感器具有更小的FWC以及更高的敏感性(sensitivity)，使得DCG传感器在低亮场景(也称为低光量场景)下信噪比更高，可以改善最小感测光量。因DCG传感器的最大感测光量和最小感测光量被改善，所以DCG传感器的动态范围被扩展(或增大)，既能够在低光量下使用DCG传感器又能够在高光量下使用DCG传感器，低光量可以对应最小感测光量，高光量可以对应最大感测光量，最小感测光量和最大感测光量的取值不进行限定。
在LCG模式下DCG传感器的转换增益为LCG，在LCG作用下DCG传感器可以生成每个pixel的LCG像素值，电子设备可以基于每个pixel的LCG像素值生成LCG图像。在HCG模式下DCG传感器的转换增益为HCG，在HCG作用下DCG传感器可以生成每个pixel的HCG像素值，电子设备可以基于每个pixel的HCG像素值生成HCG图像。电子设备可以将LCG图像和HCG图像融合成一幅没有重影(或鬼影)的HDR图像。其中LCG和HCG的增益比值可以是1：a，a是大于1的自然数，即HCG是LCG的a倍，如a的最大值可以是4，那么，同一个pixel的LCG像素值和HCG像素值的像素值比值可以是1：a。
在一些示例中，LCG图像和HCG图像是RAW格式图像，一个pixel的LCG像素值和HCG像素值至少记录该pixel的亮度(光强)。如果同一个pixel的LCG像素值和HCG像素值的像素值比值可以是1：a，那么同一个pixel在LCG图像和HCG图像中的亮度比值可以是1：a，电子设备可以基于亮度对LCG图像和HCG图像进行融合，得到一幅HDR图像。一种可能的融合方式如图1所示，电子设备可以预先设置一个融合阈值，融合阈值与亮度相关，将HCG图像中任一pixel的HCG像素值指示的亮度与融合阈值进行比对，如果亮度小于融合阈值，电子设备采用pixel的HCG像素值；如果亮度大于或等于融合阈值，电子设备采用pixel的LCG像素值，由此HDR图像包括了LCG图像的像素信息和HCG图像的像素信息，具体的HDR图像中一部分pixel的像素值为HCG像素值，一部分pixel的像素值为LCG像素值。
申请人经研究发现，若一个pixel的像素值采用LCG像素值，电子设备可以基于该pixel的LCG像素值和增益比值，得到该pixel在HDR图像中的像素值。一种可能的实现方式是：电子设备将该pixel的LCG像素值与增益比值中的a相乘，相乘结果作为该pixel在HDR图像中的像素值，LCG增益值与增益比值中的a相乘是为了使得该pixel的亮度与该pixel在HCG图像中的亮度相同，以降低亮区域和暗区域在HDR图像中交叉出现的概率。例如假设a＝4，HCG图像中一个pixel的HCG像素值指示的亮度为200，则该pixel的LCG像素值指示的亮度为50，如果电子设备将该pixel的LCG像素值作为该pixel在HDR图像中的像素值，则HDR图像中LCG像素值所在区域的亮度小于HCG像素值所在区域的亮度，亮区域和暗区域交叉呈现在HDR图像中，降低HDR图像的质量。如果电子设备将该pixel的LCG像素值和增益比值4的相乘结果作为该pixel在HDR图像中的像素值，电子设备将LCG图像归一化到HCG图像的亮度，降低亮区域和暗区域在HDR图像中交叉出现的概率，提高HDR图像的质量。
但是申请人经研究发现，随着pixel的LCG像素值与增益比值中的a相乘，该pixel的噪声值(表示噪声强度或噪声水平)也与增益比值中的a相乘，使得电子设备融合时在融合阈值位置可以出现噪声下降(drop)现象，HDR图像的噪声分布发生变化，如图1所示。HDR图像中的噪声包括光子散粒噪声和暗噪声，暗噪声也可以称为读出噪声，出现噪声drop现象主要是因为暗噪声被放大。
然而电子设备估计HDR图像的噪声水平时，电子设备可以基于HCG图像或LCG图像来估计HDR图像的噪声水平，仅考虑HCG图像或LCG图像中噪声的影响，没有同时考虑HCG图像和LCG图像中噪声的影响，使得HDR图像的噪声水平估计有误，对HDR图像的图像降噪等预处理造成较大负面影响。
本申请提供的图像噪声估计方法预先基于HCG灰阶图像得到HCG噪声模型，基于LCG灰阶图像得到LCG噪声模型，基于HCG噪声模型估计HDR图像中HCG区域的噪声水平，以及基于LCG噪声模型估计HDR图像中LCG区域的噪声水平，使得HDR图像中HCG区域的噪声水平可以基于HCG噪声模型得到、目标图像中LCG区域的噪声水平基于LCG噪声模型得到。而HCG噪声模型考虑了HCG图像中噪声的影响，LCG噪声模型考虑了LCG图像中噪声的影响，使得HCG区域的噪声水平考虑了HCG图像的影响，LCG区域的噪声水平考虑了LCG图像的影响，提高了HDR图像的噪声水平估计的准确度，降低了对HDR图像的预处理的负面影响。
其中，图像噪声估计方法可以应用于电子设备中，图2示出了电子设备的一种硬件架构示意图，其中电子设备可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(Augmented Reality，AR)设备、虚拟现实(Virtual Reality，VR)设备、个人数字助理(personal digital assistant，PDA)、投影仪等等。
电子设备可以包括：处理器，存储器，外设接口，充电管理模块，电源管理模块，电池，天线1，天线2，移动通信模块，无线通信模块，传感器模块，按键，马达，指示器，音频模块，摄像头，显示屏以及用户标识模块(Subscriber Identification Module，SIM)卡接口等。其中音频模块可以包括扬声器，受话器，麦克风，耳机接口等，传感器模块可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器，重力传感器等。
可以理解的是，本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器可以包括一个或多个处理单元，例如：处理器可以包括应用处理器(Application Processor，AP)，调制解调处理器，图形处理器(Graphics ProcessingUnit，GPU)，图像信号处理器(Image Signal Processor，ISP)，控制器，视频编解码器，数字信号处理器(Digital Signal Processor，DSP)，基带处理器，和/或神经网络处理器(Neural-network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。又例如处理器可以是集成的控制芯片，如处理器可以是SOC。处理器是电子设备的神经中枢和指挥中心，控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
外部存储器接口可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口与处理器通信，实现数据存储功能。例如将HDR图像的噪声水平，图像数据(像素值)，噪声模型等保存在外部存储卡中。内部存储器可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器通过运行存储在内部存储器的指令，从而执行电子设备的各种功能应用以及数据处理。例如，在本申请中，处理器通过运行内部存储器中存储的指令，使得电子设备执行本申请提供的图像噪声估计方法。
天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块可以提供应用在电子设备上的包括无线局域网(Wireless Local AreaNetworks，WLAN(如无线保真(wireless fidelity，Wi-Fi)网络))，蓝牙(BlueTooth，BT)，全球导航卫星系统(Global Navigation Satellite System，GNSS)，调频(FrequencyModulation，FM)，近距离无线通信技术(Near Field Communication，NFC)，红外技术(Infrared，IR)，紫峰(ZigBee)技术等无线通信的解决方案。在一些实施例中，电子设备的天线1和移动通信模块耦合，天线2和无线通信模块耦合，使得电子设备可以通过无线通信技术与网络以及其他设备通信。
显示屏可以用于显示图像。显示屏包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)、有源矩阵有机发光二极体(active-matrix organic light-emitting diode，AMOLED)、柔性发光二极管(flex light-emitting diode，FLED)、迷你发光二极管(minilight-emitting diode，Mini LED)、微型发光二极管(micro light-emitting diode，Micro LED)、微型OLED(Micro OLED)或量子点发光二极管(quantum dot light emittingdiodes，QLED)。在一些实施例中，电子设备可以包括1个或N个显示屏，N为大于1的正整数。
另外，在上述部件之上，运行有操作系统。例如苹果公司所开发的iOS操作系统，谷歌公司所开发的Android开源操作系统，微软公司所开发的Windows操作系统等。在该操作系统上可以安装运行应用程序。
电子设备的操作系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备的软硬件结构。图3是电子设备的软硬件结构框图。软硬件结构采用分层架构，分层架构将软硬件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。以Android系统为例，在一些实施例中，将Android系统分为五层，从上至下分别为应用程序层，应用程序框架层(Framework)，硬件抽象层(hardware abstraction layer，HAL)层，内核层以及硬件层。其中，应用程序层可以包括一系列应用程序包。应用程序包可以包括相机，图库，日历，通话，地图，视频，运动等APP。应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。例如应用程序框架层可以包括窗口管理器，内容提供器，通知管理器，电话管理器，资源管理器，视图系统等。例如，应用程序框架层可以为应用程序层提供与图像降噪相关的API，以在相机应用启动时向HAL层发送指令等。
HAL层运行于用户空间(user space)，对内核层驱动进行封装，向上层(如应用程序层)提供调用接口。例如HAL层包括建模模块、第一图像处理算法模块、第二图像处理算法模块和噪声估计模块。
内核层是硬件和软件之间的层。内核层可以包括多种驱动，例如内核层包括摄像头驱动和显示驱动等。硬件层包括摄像头、显示屏和内存等，摄像头驱动可以驱动摄像头工作，摄像头采集到的图像数据可以通过摄像头驱动向上层传输，如传输给第一图像处理算法模块，再由第一图像处理算法模块传输(发送)给其他模块。
建模模块用于获得HCG噪声模型和LCG噪声模型。第一图像处理算法模块用于得到HCG图像的图像数据和LCG图像的图像数据，HCG图像的图像数据包括HCG图像中每个pixel的像素值，LCG图像的图像数据包括LCG图像中每个pixel的像素值。第二图像处理算法模块用于基于HCG图像的图像数据和LCG图像的图像数据，得到一幅HDR图像。噪声估计模块用于基于HCG噪声模型和LCG噪声模型，估计HDR图像的噪声水平。
在一些示例中，HCG噪声模型和LCG噪声模型可以是泊松高斯噪声模型，噪声模型可通过如下公式表示：
E(x)＝x*
Var(x)＝kx*+σ2。
其中，E(x)表示均值，x*表示没有噪声的图像中pixel的像素值，Var(x)表示方差，kx*表示泊松噪声(也称为光子散粒噪声)，σ2表示暗噪声。在生成HCG噪声模型和LCG噪声模型时x*通过多帧图像中同一个pixel的均值代替，通过计算出pixel的均值和方差的线性关系，得到斜率k和截距σ2，从而得到噪声模型。得到噪声模型的过程请参见图4所示，可以包括以下步骤：
S101、摄像头驱动获取摄像头拍摄的LCG灰阶图像的图像数据、HCG灰阶图像的图像数据。在一些示例中，摄像头可以拍摄多帧LCG灰阶图像和多帧HCG灰阶图像，灰阶图像也称为灰度图。拍摄多帧灰阶图像的目的在于，得到不同pixel的均值和方差，同一个pixel的均值和方差可以形成一个数据对，多个数据对能够拟合出一个线性关系图，通过线性关系图得到斜率k和截距σ2。
摄像头每次拍摄可以得到一帧HCG灰阶图像和一帧LCG灰阶图像，多帧LCG灰阶图像可以是两帧或三帧等LCG灰阶图像，多帧HCG灰阶图像可以是两帧或三帧等HCG灰阶图像，每帧灰阶图像的图像数据包括灰阶图像中各pixel的像素值，各pixel的像素值的取值范围是[0,255]，尽可能覆盖0至255。
在一些示例中，在建模模块构建HCG噪声模型和LCG噪声模型时，建模模块可以发送图像数据获取请求，图像数据获取请求指示获取灰阶图像的图像数据，图像数据获取请求可以经过第一图像处理算法模块发送给摄像头驱动，在摄像头驱动接收到该指示后获取摄像头拍摄的灰阶图像的图像数据。
摄像头驱动接收到图像数据获取请求后，摄像头驱动可以指示摄像头拍摄多帧LCG灰阶图像和多帧HCG灰阶图像，摄像头每拍摄一帧灰阶图像，摄像头驱动可以获取到一帧灰阶图像的图像数据。
在一些示例中，摄像头驱动可以在接收到拍摄指令时，获取摄像头拍摄的灰阶图像的图像数据。例如若电子设备启动相机应用，用户触发相机应用中的拍照按钮，电子设备接收到用户给出的拍照操作，相机应用可以向摄像头驱动发送拍照指令。在相机应用启动后，摄像头进入拍照预览模式，开始了拍照预览，若摄像头接收到拍照指令，摄像头驱动可以获取到与拍照指令中的拍照模式相匹配的图像。
为了能够获得灰阶图像的图像数据，摄像头除了拍摄与拍照模式相匹配的图像之外，还额外拍摄灰阶图像，这样摄像头驱动可以获取灰阶图像的图像数据。其中摄像头可以是在存在建模需求时拍摄灰阶图像，建模需求指示构建或更新噪声模型。例如建模模块可以在构建模型或更新模型发送预设请求，预设请求可以发送给相机应用或摄像头驱动等，以通过预设请求指示建模模块即将开始构建模型或更新模型，即预设请求可以指示存在建模需求，通过相机应用或摄像头驱动指示摄像头在拍摄与拍照模式相匹配的图像，还拍摄灰阶图像。又例如，相机应用或摄像头驱动等随机或周期性的指示摄像头在拍摄与拍照模式相匹配的图像，还拍摄灰阶图像。又例如，摄像头可以提前拍摄多帧灰阶图像。本实施例对摄像头拍摄灰阶图像不进行限定。图像数据可以保存在指定位置，摄像头驱动可以从指定位置中读取图像数据。
S102、摄像头驱动向第一图像处理算法模块发送LCG灰阶图像的图像数据和HCG灰阶图像的图像数据。
S103、第一图像处理算法模块将LCG灰阶图像的图像数据和HCG灰阶图像的图像数据发送给建模模块。
在一些示例中，第一图像处理算法模块可以对灰阶图像的图像数据进行格式转换后发送给建模模块，如第一图像处理算法模块将RAW格式的图像数据转换成YCbCr格式的图像数据。
摄像头驱动可以多次执行S101和S102，第一图像处理算法模块可以多次执行S103，以可以向建模模块发送多帧LCG灰阶图像的图像数据和多帧HCG灰阶图像的图像数据。在一些示例中，摄像头驱动获取到一帧灰阶图像的图像数据后，通过第一图像处理算法模块发送给建模模块；在一些示例中，摄像头驱动和/或第一图像处理算法模块可以同时发送多帧灰阶图像中至少部分图像的图像数据，对此本实施例不进行限定。
此外本实施例示出了图像数据通过摄像头驱动、第一图像处理算法模块发送给建模模块，此处仅是示例。例如图像数据保存在指定位置，第一图像处理算法模块可以从指定位置获取图像数据，然后发送给建模模块；或者，由建模模块直接获取图像数据，不需要其他模块转发。
S104、建模模块在获得多帧LCG灰阶图像的图像数据后，基于多帧LCG灰阶图像的图像数据，得到每个pixel在多帧LCG灰阶图像中的均值和方差。
S105、建模模块在获得多帧HCG灰阶图像的图像数据后，基于多帧HCG灰阶图像的图像数据，得到每个pixel在多帧HCG灰阶图像中的均值和方差。
建模模块从一帧LCG灰阶图像中读取pixel，获取该pixel在多帧LCG灰阶图像中的像素值，基于该pixel在多帧LCG灰阶图像中的像素值，得到该pixel在多帧LCG灰阶图像中的均值和方差。如果电子设备得到HDR图像时，电子设备将LCG图像中pixel的像素值与增益比值中的a相乘，那么建模模块可以基于该pixel在多帧LCG灰阶图像中的像素值与增益比值中a的相乘结果，得到该pixel在多帧LCG灰阶图像中的均值和方差。
同样的，建模模块从一帧HCG灰阶图像中读取pixel，获取该pixel在多帧HCG灰阶图像中的像素值，基于该pixel在多帧HCG灰阶图像中的像素值，得到该pixel在多帧HCG灰阶图像中的均值和方差。
S106、建模模块基于每个pixel在多帧LCG灰阶图像中的均值和方差，拟合出LCG灰阶图像的线性关系图。
S107、建模模块基于LCG灰阶图像的线性关系图，得到LCG噪声模型的斜率k和截距σ2。
同一个pixel的均值和方差可以形成一个数据对，建模模块可以在预设二维坐标系中绘制每个数据对，每个数据对为预设二维坐标系中的一个数据点，基于预设二维坐标系中的所有数据点，在预设二维坐标系下拟合经过多个数据点的直线，该直线为LCG灰阶图像的线性关系图的一种形式，预设二维坐标系以均值为横坐标，方差为纵坐标。
在拟合出直线后，建模模块可以计算该条直线的斜率以及该条直线与纵坐标的截距，从而得到LCG噪声模型的斜率k和截距σ2。如图5所示，图5示出了以均值为横坐标，方差为纵坐标的预设二维坐标系，其中每个圆点表示一个数据对，根据预设二维坐标系中的数据对，使用线性回归算法拟合出一条经过多个圆点的直线，该直线为LCG灰阶图像的线性关系图。之后，建模模块可以计算该条直线的斜率以及该条直线与纵坐标的截距。
S108、建模模块基于每个pixel在多帧HCG灰阶图像中的均值和方差，拟合出HCG灰阶图像的线性关系图。
S109、建模模块基于HCG灰阶图像的线性关系图，得到HCG噪声模型的斜率k和截距σ2。
其中，建模模块可以参照得到LCG噪声模型的斜率k和截距σ2的过程，得到HCG噪声模型的斜率k和截距σ2，如也是以HCG灰阶图像中同一个pixel的均值和方差形成一个数据对，在预设二维坐标系中绘制这些数据对，每个数据对为预设二维坐标系中的一个数据点，拟合经过这些数据点中多个数据点的直线，该条直接的斜率为HCG噪声模型的斜率k，该条直接的截距为HCG噪声模型的截距σ2。
在建模模块完成LCG噪声模型和HCG噪声模型的构建(也可以称为标定)之后，噪声估计模块可以基于LCG噪声模型和HCG噪声模型对HDR图像进行噪声估计。一些示例中，噪声估计模块进行噪声估计的流程如图6所示，可以包括以下步骤：
S201、建模模块标定LCG噪声模型和HCG噪声模型，LCG噪声模型和HCG噪声模型可以是泊松高斯噪声模型，噪声模型的标定过程请参见上述图4所示。
S202、第二图像处理算法模块可以基于融合阈值、HCG图像中的HCG像素值和LCG图像中的LCG像素值，得到HDR图像。融合阈值的作用是为了获取HCG像素值或LCG像素值，为HDR图像中的pixel赋值，第二图像处理算法模块可以从第一图像处理算法模块中获取LCG像素值或HCG像素值，一种可能的实现方式是，如果亮度大于或等于融合阈值，使用LCG像素值，如果亮度小于融合阈值使用HCG像素值。
S203、第二图像处理算法模块得到HDR图像的融合掩膜(mask)矩阵。
HDR图像是根据融合阈值由HCG图像中的HCG像素值和LCG图像中的LCG像素值融合得到，那么第二图像处理算法模块可以根据融合阈值可以将HDR图像划分为HCG区域和LCG区域。融合mask矩阵用于记录HDR图像中的HCG区域和LCG区域，一些示例中，HCG区域在融合mask矩阵中以0表示，LCG区域在融合mask矩阵中以1表示，以通过融合mask矩阵中的0和1来标识HCG区域和LCG区域。LCG区域可以称为第一区域，HCG区域可以称为第二区域。
第二图像处理算法模块可以在融合时对融合mask矩阵进行赋值，在得到HDR图像的同时得到融合mask矩阵。在建模模块标定噪声模型的同时第二图像处理算法模块可以融合LCG图像和HCG图像，即S201和S202可以并行执行，或者先执行S202再执行S201。
S204、第二图像处理算法模块保存融合mask矩阵。
S205、噪声估计模块根据融合mask矩阵、LCG噪声模型和HCG噪声模型，对HDR图像进行噪声估计，得到HDR图像的噪声水平。
噪声估计模块可以根据融合mask矩阵确定HDR图像中的HCG区域和LCG区域，基于HCG噪声模型对HCG区域进行噪声估计，得到HCG区域的噪声水平，基于LCG噪声模型对LCG区域进行噪声估计，得到LCG区域的噪声水平，HDR图像的噪声水平包括HCG区域的噪声水平和LCG区域的噪声水平。如将HCG区域中各pixel的像素值写入到HCG噪声模型中，通过HCG噪声模型中的Var(x)得到HCG区域中各pixel的噪声水平；将LCG区域中各pixel的像素值写入到LCG噪声模型中，通过LCG噪声模型中的Var(x)得到LCG区域中各pixel的噪声水平。
在一些示例中，噪声估计模块进行噪声估计的流程如图7所示，可以包括以下步骤：
S301、建模模块标定LCG噪声模型和HCG噪声模型，LCG噪声模型和HCG噪声模型可以是泊松高斯噪声模型，噪声模型的标定过程请参见上述图4所示。
S302、噪声估计模块根据HCG噪声模型对HCG图像进行噪声估计，得到HCG图像的噪声水平。
S303、噪声估计模块根据LCG噪声模型对LCG图像进行噪声估计，得到LCG图像的噪声水平。S302和S303可以同时执行，也可以先执行S303再执行S302，不进行限定。
噪声估计模块可以将HCG图像中各pixel的像素值写入到HCG噪声模型中，通过HCG噪声模型中的Var(x)得到HCG图像中各pixel的噪声水平，从而得到HCG图像的噪声水平；将LCG图像中各pixel的像素值写入到LCG噪声模型中，通过LCG噪声模型中的Var(x)得到LCG图像中各pixel的噪声水平，从而得到LCG图像的噪声水平。
S304、第二图像处理算法模块可以基于融合阈值、HCG图像中的HCG像素值和LCG图像中的LCG像素值，得到HDR图像。
S305、第二图像处理算法模块得到并保存HDR图像的融合掩膜(mask)矩阵。其中，S304和S305的说明请参见上述图6所示，在一些示例中，S301和S304可以并行执行，或者先执行S304再执行S301。在一些示例中，S302和S303中的至少一个可以和S304并行执行，或者先执行S304再执行S302和S303。
S306、噪声估计模块根据融合mask矩阵、LCG图像的噪声水平和HCG图像的噪声水平，得到HDR图像的噪声水平。
噪声估计模块可以根据融合mask矩阵确定HDR图像中的HCG区域和LCG区域，然后噪声估计模块基于HCG图像的噪声水平对HCG区域进行噪声估计替换，以及基于LCG图像的噪声水平对LCG区域进行噪声估计替换，以得到HDR图像的噪声水平。
对HCG区域进行噪声估计替换是从HCG图像的噪声水平中查找HCG区域中各pixel的噪声水平，该pixel的噪声水平查找到的HCG图像中同一个pixel的噪声水平，相当于利用HCG图像中pixel的噪声水平对HCG区域中同一个pixel进行赋值。对LCG区域进行噪声估计替换类似，是利用LCG图像中pixel的噪声水平对LCG区域中同一个pixel进行赋值。如噪声估计模型可以利用公式HCG*[1-mask]+LCG*mask得到HDR图像的噪声水平，mask表示融合mask矩阵，在融合mask矩阵中1表示LCG区域，0表示HCG区域，HCG表示HCG图像的噪声水平，LCG表示LCG图像的噪声水平，HCG图像和LCG图像的噪声水平可通过矩阵表示。
一些示例中，噪声估计模块进行噪声估计的流程如图8所示，可以包括以下步骤：
S401、建模模块标定LCG噪声模型和HCG噪声模型，LCG噪声模型和HCG噪声模型可以是泊松高斯噪声模型，噪声模型的标定过程请参见上述图4所示。
S402、第二图像处理算法模块可以基于融合阈值、HCG图像中的HCG像素值和LCG图像中的LCG像素值，得到HDR图像。其中，得到HDR图像的过程请参见上述图6所示，S401和S402可以并行执行，或先执行S402再执行S401。
S403、第二图像处理算法模块在融合HCG图像和LCG图像时，第二图像处理算法模块将当前执行赋值操作的pixel采用的像素值所属图像的图像标识发送给噪声估计模块。具体第二图像处理算法模块将当前执行赋值操作的pixel采用的像素值属于HCG图像还是LCG图像，当前执行赋值操作的pixel采用的像素值属于HCG图像或LCG图像，则第二图像处理算法模块将HCG图像标识或LCG图像标识发送给噪声估计模块。例如使用HCG图像的像素值，则发送HCG图像标识给噪声估计模块；如果使用LCG图像的像素值，则发送LCG图像标识给噪声估计模块。HCG图像标识指向HCG图像，LCG图像标识指向LCG图像。
S404、噪声估计模块从LCG噪声模型和HCG噪声模型中选择与图像标识匹配的噪声模型，利用匹配的噪声模型对当前执行赋值操作的pixel进行噪声估计。
在每个pixel完成噪声估计后，噪声估计模块完成对HDR图像的噪声估计，得到HDR图像的噪声水平，实现一边融合得到HDR图像一边得到HDR图像的噪声水平。
上述噪声估计模块对HDR图像进行噪声估计时，基于HCG噪声模型估计HDR图像中与HCG相关的pixel的噪声水平，以及基于LCG噪声模型估计HDR图像中与LCG相关的pixel的噪声水平，使得HDR图像的噪声水平可以分别HCG噪声模型和LCG噪声模型得到。而HCG噪声模型考虑了HCG图像中噪声的影响，LCG噪声模型考虑了LCG图像中噪声的影响，使得与HCG相关的pixel的噪声水平考虑了HCG图像的影响，与LCG相关的pixel的噪声水平考虑了LCG图像的影响，提高了HDR图像的噪声水平估计的准确度，降低了对HDR图像的预处理的负面影响。
噪声估计模块得到HDR图像的噪声水平后，电子设备可以利用HDR图像的噪声水平对HDR图像进行降噪处理，得到降噪后的HDR图像。一种示例中，电子设备可以利用降噪神经网络模型和HDR图像的噪声水平，对HDR图像进行降噪处理，降噪后的HDR图像可以对降噪神经网络模型进行更新。因为HDR图像的噪声水平的准确度提高，HDR图像的降噪效果更好，那么利用降噪效果更好的HDR图像对降噪神经网络模型进行更新，可以使降噪神经网络模型具有更好的降噪处理能力，取得更好的降噪(去噪)效果。
此外，本申请提供一种电子设备，电子设备包括：处理器和存储器；其中，存储器用于存储一个或多个计算机程序代码，计算机程序代码包括计算机指令，当处理器执行计算机指令时，处理器执行上述图像噪声估计方法。
本申请提供一种计算机存储介质，计算机存储介质包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述图像噪声估计方法。
本申请提供一种图像噪声估计装置，图像噪声估计装置包括：获取模块、确定模块和估计模型。获取模块，用于获取目标图像，目标图像是第一图像和第二图像融合得到，第一图像基于低转换增益得到，第二图像基于高转换增益得到；确定模块，用于确定目标图像中的第一类型像素和第二类型像素，第一类型像素的像素值基于第一图像中像素的像素值得到，第二类型像素的像素值基于第二图像中像素的像素值得到；估计模块，用于调用低转换增益噪声模型，估计第一类型像素的噪声水平，以及用于调用高转换增益噪声模型，估计第二类型像素的噪声水平。
在一种可能的实现方式中，图像噪声估计装置还包括获得模块，获得模块，用于获得多帧第一灰阶图像和多帧第二灰阶图像，第一灰阶图像基于低转换增益得到，第二灰阶图像基于高转换增益得到；根据多帧第一灰阶图像的图像数据，得到低转换增益噪声模型的斜率和截距，根据低转换增益噪声模型的斜率和截距，获得低转换增益噪声模型；根据多帧第二灰阶图像的图像数据，得到高转换增益噪声模型的斜率和截距，根据高转换增益噪声模型的斜率和截距，获得高转换增益噪声模型。
在一种可能的实现方式中，获得模块，用于根据多帧第一灰阶图像的图像数据，得到每个像素在多帧第一灰阶图像中的均值和方差；根据每个像素在多帧第一灰阶图像中的均值和方差，拟合第一灰阶图像的线性关系图；根据第一灰阶图像的线性关系图，得到低转换增益噪声模型的斜率和截距；根据多帧第二灰阶图像的图像数据，得到高转换增益噪声模型的斜率和截距包括：根据多帧第二灰阶图像的图像数据，得到每个像素在多帧第二灰阶图像中的均值和方差；根据每个像素在多帧第二灰阶图像中的均值和方差，拟合第二灰阶图像的线性关系图；根据第二灰阶图像的线性关系图，得到高转换增益噪声模型的斜率和截距。
在一种可能的实现方式中，获得模块，用于根据预设增益比值，对每帧第一灰阶图像中每个像素的像素值进行处理，预设增益比值为低转换增益和高转换增益之间的比值；根据处理后的每个像素的像素值，得到每个像素在多帧第一灰阶图像中的均值和方差。
在一种可能的实现方式中，确定模块，用于确定目标图像中的第一类型像素和第二类型像素包括：在第一图像和第二图像融合结束得到目标图像后，获得目标图像的融合掩膜矩阵，融合掩膜矩阵指示目标图像包括第一区域和第二区域，第一区域中的像素为第一类型像素，第二区域中的像素为第二类型像素。
在一种可能的实现方式中，估计模块，还用于调用低转换增益噪声模型，估计第一图像的噪声水平，以及用于调用高转换增益噪声模型，估计第二图像的噪声水平。
在一种可能的实现方式中，估计模块，用于根据融合掩膜矩阵，从第一图像中查找与第一类型像素匹配的第一像素，从第二图像中查找与第二类型像素匹配的第二像素；将第一像素的噪声水平确定为匹配的第一类型像素的噪声水平，将第二像素的噪声水平确定为匹配的第二类型像素的噪声水平。
在一种可能的实现方式中，确定模块，用于在根据第一图像和第二图像融合得到目标图像过程中，确定目标图像中的第一类型像素和第二类型像素。
在一种可能的实现方式中，低转换增益噪声模型和高转换增益噪声模型的获得过程包括：摄像头驱动获取摄像头拍摄的第一灰阶图像的图像数据、第二灰阶图像的图像数据；摄像头驱动向硬件抽象层的第一图像处理算法模块发送第一灰阶图像的图像数据和第二灰阶图像的图像数据；硬件抽象层的第一图像处理算法模块将第一灰阶图像的图像数据和第二灰阶图像的图像数据发送给硬件抽象层的建模模块；硬件抽象层的建模模块在获得多帧第一灰阶图像的图像数据和多帧第二灰阶图像的图像数据后，根据多帧第一灰阶图像的图像数据，得到低转换增益噪声模型，根据多帧第二灰阶图像的图像数据，得到高转换增益噪声模型。
在一种可能的实现方式中，获取模块和确定模块调用硬件抽象层的第二图像处理算法模块，由硬件抽象层的第二图像处理算法模块对第一图像和第二图像进行融合，得到目标图像以及目标图像的融合掩膜矩阵，融合掩膜矩阵指示目标图像包括第一区域和第二区域，第一区域中的像素为第一类型像素，第二区域中的像素为第二类型像素；硬件抽象层的第二图像处理算法模块将融合掩码矩阵发送给硬件抽象层的噪声估计模块；估计模块调用硬件抽象层的噪声估计模块，由硬件抽象层的噪声估计模块调用低转换增益噪声模型，估计第一类型像素的噪声水平，以及调用高转换增益噪声模型，估计第二类型像素的噪声水平。
Claims (11)
1.一种图像噪声估计方法，其特征在于，所述方法包括：
获取目标图像，所述目标图像是第一图像和第二图像融合得到，所述第一图像基于低转换增益得到，所述第二图像基于高转换增益得到；
确定所述目标图像中的第一类型像素和第二类型像素，所述第一类型像素的像素值基于所述第一图像中像素的像素值得到，所述第二类型像素的像素值基于所述第二图像中像素的像素值得到；
调用低转换增益噪声模型，估计所述第一类型像素的噪声水平；
调用高转换增益噪声模型，估计所述第二类型像素的噪声水平；
其中，所述低转换增益噪声模型和所述高转换增益噪声模型的获得过程包括：
获得多帧第一灰阶图像和多帧第二灰阶图像，所述第一灰阶图像基于所述低转换增益得到，所述第二灰阶图像基于所述高转换增益得到；
根据所述多帧第一灰阶图像的图像数据，得到所述第一灰阶图像的线性关系图，根据所述第一灰阶图像的线性关系图，得到所述低转换增益噪声模型的斜率和截距，根据所述低转换增益噪声模型的斜率和截距，获得所述低转换增益噪声模型；
根据所述多帧第二灰阶图像的图像数据，得到所述第二灰阶图像的线性关系图，根据所述第二灰阶图像的线性关系图，得到所述高转换增益噪声模型的斜率和截距，根据所述高转换增益噪声模型的斜率和截距，获得所述高转换增益噪声模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多帧第一灰阶图像的图像数据，得到所述第一灰阶图像的线性关系图包括：
根据所述多帧第一灰阶图像的图像数据，得到每个像素在所述多帧第一灰阶图像中的均值和方差；根据每个像素在所述多帧第一灰阶图像中的均值和方差，拟合第一灰阶图像的线性关系图；
所述根据所述多帧第二灰阶图像的图像数据，得到所述第二灰阶图像的线性关系图包括：
根据所述多帧第二灰阶图像的图像数据，得到每个像素在所述多帧第二灰阶图像中的均值和方差；根据每个像素在所述多帧第二灰阶图像中的均值和方差，拟合第二灰阶图像的线性关系图。
3.根据权利要求2所述的方法，其特征在于，所述根据所述多帧第一灰阶图像的图像数据，得到每个像素在所述多帧第一灰阶图像中的均值和方差包括：
根据预设增益比值，对每帧第一灰阶图像中每个像素的像素值进行处理，所述预设增益比值为所述低转换增益和所述高转换增益之间的比值；
根据处理后的每个像素的像素值，得到每个像素在所述多帧第一灰阶图像中的均值和方差。
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述确定所述目标图像中的第一类型像素和第二类型像素包括：
在所述第一图像和所述第二图像融合结束得到所述目标图像后，获得所述目标图像的融合掩膜矩阵，所述融合掩膜矩阵指示所述目标图像包括第一区域和第二区域，所述第一区域中的像素为所述第一类型像素，所述第二区域中的像素为所述第二类型像素。
5.根据权利要求1至3中任意一项所述的方法，其特征在于，在所述确定目标图像中的第一类型像素和第二类型像素之前，所述方法还包括：
调用所述低转换增益噪声模型，估计所述第一图像的噪声水平；
调用所述高转换增益噪声模型，估计所述第二图像的噪声水平。
6.根据权利要求5所述的方法，其特征在于，所述调用所述低转换增益噪声模型，估计所述第一类型像素的噪声水平，以及所述调用所述高转换增益噪声模型，估计所述第二类型像素的噪声水平包括：
根据融合掩膜矩阵，从所述第一图像中查找与所述第一类型像素匹配的第一像素，从所述第二图像中查找与所述第二类型像素匹配的第二像素；
将所述第一像素的噪声水平确定为匹配的所述第一类型像素的噪声水平，将所述第二像素的噪声水平确定为匹配的所述第二类型像素的噪声水平。
7.根据权利要求1至3中任意一项所述的方法，其特征在于，所述确定所述目标图像中的第一类型像素和第二类型像素包括：在根据所述第一图像和所述第二图像融合得到所述目标图像过程中，确定所述目标图像中的第一类型像素和第二类型像素。
8.根据权利要求1至3中任意一项所述的方法，其特征在于，所述低转换增益噪声模型和所述高转换增益噪声模型的获得过程包括：
摄像头驱动获取摄像头拍摄的第一灰阶图像的图像数据、第二灰阶图像的图像数据；
所述摄像头驱动向硬件抽象层的第一图像处理算法模块发送所述第一灰阶图像的图像数据和所述第二灰阶图像的图像数据；
所述硬件抽象层的第一图像处理算法模块将所述第一灰阶图像的图像数据和所述第二灰阶图像的图像数据发送给硬件抽象层的建模模块；
所述硬件抽象层的建模模块在获得多帧第一灰阶图像的图像数据和多帧第二灰阶图像的图像数据后，根据所述多帧第一灰阶图像的图像数据，得到所述低转换增益噪声模型，根据所述多帧第二灰阶图像的图像数据，得到所述高转换增益噪声模型。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
硬件抽象层的第二图像处理算法模块对所述第一图像和所述第二图像进行融合，得到所述目标图像以及所述目标图像的融合掩膜矩阵，所述融合掩膜矩阵指示所述目标图像包括第一区域和第二区域，所述第一区域中的像素为所述第一类型像素，所述第二区域中的像素为所述第二类型像素；
所述硬件抽象层的第二图像处理算法模块将所述融合掩膜矩阵发送给硬件抽象层的噪声估计模块；
所述硬件抽象层的噪声估计模块调用所述低转换增益噪声模型，估计所述第一类型像素的噪声水平，以及调用所述高转换增益噪声模型，估计所述第二类型像素的噪声水平。
10.一种电子设备，其特征在于，所述电子设备包括：处理器和存储器；其中，所述存储器用于存储一个或多个计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述处理器执行如权利要求1至9中任意一项所述的图像噪声估计方法。
11.一种计算机存储介质，其特征在于，所述计算机存储介质包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至9中任意一项所述的图像噪声估计方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210960486.8A CN116051449B (zh) | 2022-08-11 | 2022-08-11 | 图像噪声估计方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210960486.8A CN116051449B (zh) | 2022-08-11 | 2022-08-11 | 图像噪声估计方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116051449A CN116051449A (zh) | 2023-05-02 |
| CN116051449B true CN116051449B (zh) | 2023-10-24 |
Family
ID=86118812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210960486.8A Active CN116051449B (zh) | 2022-08-11 | 2022-08-11 | 图像噪声估计方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116051449B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117714895A (zh) * | 2023-06-14 | 2024-03-15 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014206503A1 (en) * | 2013-06-27 | 2014-12-31 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Automatic noise modeling for ghost-free image reconstruction |
| CN110072051A (zh) * | 2019-04-09 | 2019-07-30 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法和装置 |
| CN110121037A (zh) * | 2018-02-07 | 2019-08-13 | 豪威科技股份有限公司 | 具有双重转换增益读出的图像传感器 |
| KR20190098018A (ko) * | 2018-02-12 | 2019-08-21 | 삼성전자주식회사 | 영상 처리 장치 및 그 영상 처리 방법 |
| CN111031256A (zh) * | 2019-11-15 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN112887639A (zh) * | 2021-01-18 | 2021-06-01 | Oppo广东移动通信有限公司 | 图像处理方法、装置、系统、电子设备以及存储介质 |
| US11094039B1 (en) * | 2018-09-11 | 2021-08-17 | Apple Inc. | Fusion-adaptive noise reduction |
| CN113538223A (zh) * | 2021-07-28 | 2021-10-22 | 维沃移动通信有限公司 | 噪声图像生成方法、装置、电子设备及存储介质 |
| CN113674193A (zh) * | 2021-09-03 | 2021-11-19 | 上海肇观电子科技有限公司 | 图像融合方法、电子设备和存储介质 |
| CN113962884A (zh) * | 2021-10-10 | 2022-01-21 | 杭州知存智能科技有限公司 | Hdr视频获取方法、装置、电子设备以及存储介质 |
| CN114331893A (zh) * | 2021-12-30 | 2022-04-12 | 安谋科技（中国）有限公司 | 一种获取图像噪声的方法、介质和电子设备 |
| CN114494080A (zh) * | 2022-03-28 | 2022-05-13 | 英特灵达信息技术(深圳)有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
| KR20220064170A (ko) * | 2020-11-11 | 2022-05-18 | 삼성전자주식회사 | 이미지 센서를 포함하는 전자 장치 및 그 동작 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8346008B2 (en) * | 2009-06-09 | 2013-01-01 | Aptina Imaging Corporation | Systems and methods for noise reduction in high dynamic range imaging |
| JP6648914B2 (ja) * | 2015-06-16 | 2020-02-14 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US10432879B2 (en) * | 2018-01-16 | 2019-10-01 | Omnivision Technologies, Inc. | Dual conversion gain high dynamic range image sensor readout circuit memory storage structure |
-
2022
- 2022-08-11 CN CN202210960486.8A patent/CN116051449B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014206503A1 (en) * | 2013-06-27 | 2014-12-31 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Automatic noise modeling for ghost-free image reconstruction |
| CN110121037A (zh) * | 2018-02-07 | 2019-08-13 | 豪威科技股份有限公司 | 具有双重转换增益读出的图像传感器 |
| KR20190098018A (ko) * | 2018-02-12 | 2019-08-21 | 삼성전자주식회사 | 영상 처리 장치 및 그 영상 처리 방법 |
| US11094039B1 (en) * | 2018-09-11 | 2021-08-17 | Apple Inc. | Fusion-adaptive noise reduction |
| CN110072051A (zh) * | 2019-04-09 | 2019-07-30 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法和装置 |
| CN111031256A (zh) * | 2019-11-15 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| KR20220064170A (ko) * | 2020-11-11 | 2022-05-18 | 삼성전자주식회사 | 이미지 센서를 포함하는 전자 장치 및 그 동작 방법 |
| CN112887639A (zh) * | 2021-01-18 | 2021-06-01 | Oppo广东移动通信有限公司 | 图像处理方法、装置、系统、电子设备以及存储介质 |
| CN113538223A (zh) * | 2021-07-28 | 2021-10-22 | 维沃移动通信有限公司 | 噪声图像生成方法、装置、电子设备及存储介质 |
| CN113674193A (zh) * | 2021-09-03 | 2021-11-19 | 上海肇观电子科技有限公司 | 图像融合方法、电子设备和存储介质 |
| CN113962884A (zh) * | 2021-10-10 | 2022-01-21 | 杭州知存智能科技有限公司 | Hdr视频获取方法、装置、电子设备以及存储介质 |
| CN114331893A (zh) * | 2021-12-30 | 2022-04-12 | 安谋科技（中国）有限公司 | 一种获取图像噪声的方法、介质和电子设备 |
| CN114494080A (zh) * | 2022-03-28 | 2022-05-13 | 英特灵达信息技术(深圳)有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于一致性敏感哈希块匹配的HDR图像去伪影融合方法;朱雄泳 等;自动化学报;第46卷(第07期);第1496-1506页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116051449A (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11816775B2 (en) | Image rendering method and apparatus, and electronic device | |
| EP3410391A1 (en) | Image blurring method, electronic device and computer readable storage medium | |
| CN113660408B (zh) | 一种视频拍摄防抖方法与装置 | |
| US20220262035A1 (en) | Method, apparatus, and system for determining pose | |
| US20230364510A1 (en) | Image prediction method, electronic device, and storage medium | |
| CN113810603B (zh) | 点光源图像检测方法和电子设备 | |
| US11889386B2 (en) | Device searching method and electronic device | |
| CN116051449B (zh) | 图像噪声估计方法及装置 | |
| US20230005277A1 (en) | Pose determining method and related device | |
| CN115619858A (zh) | 一种物体重建方法以及相关设备 | |
| CN113986162A (zh) | 图层合成方法、设备及计算机可读存储介质 | |
| CN115115679A (zh) | 一种图像配准方法及相关设备 | |
| CN116723257A (zh) | 一种图像显示方法及电子设备 | |
| CN109729264B (zh) | 一种图像获取方法及移动终端 | |
| KR20190018280A (ko) | 이동 단말기 및 그의 hdr 영상 획득 방법 | |
| CN114758601A (zh) | 屏幕显示颜色调整方法及电子设备 | |
| CN115735226A (zh) | 图像处理方法及设备 | |
| CN116723410B (zh) | 调节帧间隔的方法和装置 | |
| CN116700578B (zh) | 图层合成方法、电子设备以及存储介质 | |
| CN113419929B (zh) | 测试动画效果流畅性的方法及设备 | |
| WO2022228196A1 (zh) | 一种视频处理方法及相关装置 | |
| CN114390195B (zh) | 一种自动对焦的方法、装置、设备及存储介质 | |
| CN116723264B (zh) | 确定目标位置信息的方法、设备及存储介质 | |
| WO2023160169A1 (zh) | 一种拍摄方法及电子设备 | |
| WO2024046162A1 (zh) | 一种图片推荐方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |