CN114331893A

CN114331893A - 一种获取图像噪声的方法、介质和电子设备

Info

Publication number: CN114331893A
Application number: CN202111652544.2A
Authority: CN
Inventors: 夏慧娟; 沈超
Original assignee: ARM Technology China Co Ltd
Current assignee: ARM Technology China Co Ltd
Priority date: 2021-12-30
Filing date: 2021-12-30
Publication date: 2022-04-12

Abstract

本申请涉及图像处理技术领域，公开了一种获取图像噪声的方法、介质和电子设备。该方法包括：处理装置确定与处理装置连接的传感装置中的多个图像噪声类型；处理装置根据多个图像噪声类型和灰度值的关系，对多个图像噪声类型进行分类；基于分类后的各类图像噪声类型，以及传感装置获取的至少一个样本图像数据，确定传感装置的图像总噪声和图像灰度值之间的映射关系。如此，基于上述方案获取的映射关系对图像去噪时，由于获取的图像总噪声融合了传感器中的多类图像噪声，在对图像去噪时，能够精确去除各类噪声。且与现有技术中，通过多种图像噪声函数对图像依次去噪的方式相比，能够缩短去噪时间，减小能够对图像进行去噪处理的电子设备的计算量。

Description

一种获取图像噪声的方法、介质和电子设备

技术领域

本申请涉及图像处理技术领域，特别涉及一种获取图像噪声的方法、介质和电子设备。

背景技术

在安防监控、医学图像诊断、显微成像、自动驾驶和天文观测等领域一般通过图像采集设备采集图像，图像采集设备可以为摄像头等设备,其中图像采集设备中一般包括图像传感器。

在图像采集过程中，由于受图像传感器材料属性、工作环境、电子元器件和电路结构等影响，会引入各种噪声，例如，散粒噪声、读出噪声、暂态噪声、电阻引起的热噪声、光子噪声、暗电流噪声以及光响应非均匀性噪声等，使得图像采集设备采集到的图像不可避免的与实际图像存在一定的偏差，如此，在一定程度上影响了图像质量，使得图像存在一定程度上的失真。

为了去除图像中的噪声成分，提高图像质量，现有技术中，经典图像去噪方法包括均值滤波、中值滤波、高斯低通滤波等多种滤波方法。这些滤波器限制图像中的噪声有关分量从而达到去除噪声的效果,但这种方式只能去除部分噪声。

发明内容

本申请实施例提供了一种获取图像噪声、介质和电子设备。

第一方面，本申请实施例提供了一种获取图像噪声，应用于电子系统，所述电子系统包括传感装置和处理装置，所述方法包括：

所述处理装置确定与所述处理装置连接的所述传感装置中的多个图像噪声类型；

所述处理装置根据所述多个图像噪声类型和灰度值的关系，对所述多个图像噪声类型进行分类；

基于分类后的各类图像噪声类型，以及所述传感装置获取的至少一个样本图像数据，确定所述传感装置的图像总噪声和图像灰度值之间的映射关系。

可以理解，传感装置可以为摄像头，处理装置可以为电脑、服务器、手机等，但不限于此。本申请实施例中的“获取图像噪声”可以理解为确定所述传感装置的图像总噪声和图像灰度值之间的映射关系。

本申请实施例中，基于上述方案获取的图像总噪声和图像灰度值之间的映射关系对图像去噪时，由于上述方案获取的图像总噪声融合了传感器中的多类图像噪声，在对图像去噪时，能够精确去除各类噪声。且与现有技术中，通过多种图像噪声函数对图像依次去噪的方式相比，能够缩短去噪时间，减小能够对图像进行去噪处理的电子设备的计算量。在获取图像噪声阶段，与将多个样本图像分别输入多种图像噪声函数依次获得每种图像噪声的方式相比，本申请可以仅基于样本图像数据，确定传感装置的图像总噪声和图像灰度值之间的映射关系，减小电子设备的计算量。

在上述第一方面的一种可能的实现中，所述处理装置根据所述多个图像噪声类型和灰度值的关系，对所述多个图像噪声类型进行分类，包括：

所述处理装置将图像噪声随灰度值变化的图像噪声类型分为第一类图像噪声；

所述处理装置将图像噪声不随灰度值变化的图像噪声类型分为第二类图像噪声。

可以理解，图像噪声类型和灰度值的关系可以是下文中的特征信息。暂态噪声为第一类图像噪声。散粒噪声、热噪声和读出噪声为第二类图像噪声。

在上述第一方面的一种可能的实现中，所述基于分类后的各类图像噪声类型，以及所述传感装置获取的至少一个样本图像数据，确定所述传感装置的图像总噪声和图像灰度值之间的映射关系，包括：

将所述第一类图像噪声中图像噪声和灰度值的关系进行融合，获取图像总噪声与图像灰度值的映射函数中的未知数项；

将所述第二类图像噪声中图像噪声和灰度值的关系进行融合，获取图像总噪声与图像灰度值的映射函数中的常数项；

基于所述传感装置获取的至少一个样本图像数据、所述未知数项和所述常数项，确定所述未知数项中的第一待确定函数参数和常数项，以确定所述传感装置的图像总噪声和图像灰度值的映射函数，作为所述图像总噪声和图像灰度值之间的映射关系。

在上述第一方面的一种可能的实现中，所述传感装置为包括图像传感器的装置。

在上述第一方面的一种可能的实现中，所述多个图像噪声类型包括散粒噪声、热噪声、读出噪声和暂态噪声。

在上述第一方面的一种可能的实现中，所述样本图像数据包括在同一拍摄视角对同一景物拍摄的多帧样本图像。

在上述第一方面的一种可能的实现中，所述基于所述传感装置获取的至少一个样本图像数据、所述未知数项和所述常数项，确定所述未知数项中的第一待确定函数参数和常数项，以确定所述传感装置的图像总噪声和图像灰度值的映射函数，作为所述图像总噪声和图像灰度值之间的映射关系，包括：

针对每一个样本图像数据做如下处理：

从所述多帧样本图像中获取像素灰度值集合，所述像素灰度值集合包括多个像素灰度值子集合，每个像素灰度值子集合由所述多帧样本图像中同一像素位置的像素灰度值组成；

对所述像素灰度值集合中的每个像素灰度值子集合进行平均值处理，得到像素灰度平均值集合；

对所述像素灰度值集合中的每个像素灰度值子集合进行样本标准差处理，得到像素灰度样本标准差集合；

基于至少一个样本图像数据对应的至少一个所述像素灰度平均值集合和至少一个像素灰度样本标准差集合，确定所述未知数项中的第一待确定函数参数和常数项，以确定所述传感装置的图像总噪声和图像灰度值的映射函数，作为所述图像总噪声和图像灰度值之间的映射关系。

在上述第一方面的一种可能的实现中，所述样本图像数据包括第一灰度范围的样本图像数据和第二灰度范围的样本图像数据，所述第一灰度范围的样本图像数据量与所述第二灰度范围的样本图像数据量不同。

第二方面，本申请实施例提供了一种可读介质，所述可读介质上存储有指令，该指令在电子设备上执行时使电子设备执行第一方面任一项所述的获取图像噪声的方法。

第二方面，本申请实施例提供了一种电子设备，其特征在于，包括：

存储器，用于存储由电子设备的一个或多个处理器执行的指令，以及

处理器，是电子设备的处理器之一，用于执行第一方面任一项所述的获取图像噪声的方法。

附图说明

图1根据本申请的一些实施例，示出了一种摄像头100中图像传感器的结构及原理示意图；

图2根据本申请的一些实施例，示出了电脑200使用MATLAB软件，基于样本图像拟合得到用于计算出多种图像噪声叠加值的曲线示意图；

图3根据本申请的一些实施例，示出了一种图像去噪的应用场景示意图；

图4根据本申请的一些实施例，示例性的示出了一种对待去噪图像B进行去噪的示意图；

图5根据本申请的一些实施例，示出了一种图像去噪方法的流程示意图；

图6示出了一种确定步骤602中的图像噪声函数的应用场景示意图；

图7根据本申请的一些实施例，对应于图1和6,示出了一种图像噪声函数的确定方法的流程示意图；

图8根据本申请的一些实施例，示出了一种多帧样本图像的示意图；

图9根据本申请的一些实施例，示出了一种摄像头100的结构示意图；

图10根据本申请的一些实施例，示出了一种摄像头100中的ISP102的结构示意图；

图11示出了一种通用功能模块对图像数据进行处理的过程示意图。

具体实施方式

本申请的说明性实施例包括但不限于一种图像去噪方法、介质和电子设备。

下面先对本申请实施例涉及的相关术语和概念进行介绍。

(a)灰度值，灰度值表示灰色图像中的颜色深度，可以理解，灰度值的取值范围取决于成像系统的位数，例如，12位(bit)的成像系统能提供的灰度值的取值范围一般从0到4095，4095表示白色灰度级数，0表示黑色灰度级数。8位(bit)的成像系统能提供的灰度值的取值范围一般从0到255，255表示白色灰度级数，0表示黑色灰度级数。

(b)图像噪声，图像噪声是图像采集设备采集到的图像的图像信息与实际图像的图像信息存在的偏差值。可以理解的是，本申请实施例中的图像噪声用于校准待去噪图像，因此图像噪声也可以叫做灰度校准值或者灰度去噪值。本申请实施例中，图像信息可以包括灰度值。

图像噪声可以包括散粒噪声、读出噪声、热噪声和暂态噪声，下面将一一介绍。

(c)散粒噪声(shot noise)，散粒噪声是图像传感器中的有源器件(如电真空管)中，由于电子发射不均匀性所引起的图像实际灰度值的波动，又称散弹噪声。散粒噪声与图像传感器的入射光子和暗电流有关，并且服从泊松分布，散粒噪声可通过如下公式计算得到：

其中，N表示暗电流的电子能量，P_N表示散粒噪声导致的图像噪声值。

(d)读出噪声，读出噪声是图像传感器中读出电路所引起的图像实际灰度值的波动。

(e)热噪声，热噪声是图像传感器的电阻中电子的热运动所引起的图像实际灰度值的波动，热噪声可通过如下公式计算得到：

S_v(f)＝4kTR(V²/Hz)

其中，S_v(f)表示热噪声，k是图像传感器的玻尔兹曼常数，T是图像传感器的绝对温度，R是图像传感器的电阻。

(f)暂态噪声，暂态噪声可以通过如下高斯分布公式计算得到：

其中，x是像素灰度值，m是像素灰度值的平均值,σ是灰度值样本标准差，σ表示暂态噪声，p(x)表示暂态噪声。

(g)图像失真，图像失真是指采集到的图像与实际图像存在的偏差。

本申请实施例中，图像采集过程中，由于受图像传感器材料属性、工作环境、电子元器件和电路结构等影响，会引入各种噪声，使得采集到的图像不可避免的与实际图像存在一定的偏差，如此，在一定程度上影响了图像质量，使得图像存在一定程度上的失真。

例如，图1根据本申请的一些实施例，示出了一种摄像头100中图像传感器的结构及原理示意图。如图1所示，图像传感器包括感光元件201、浮动扩散放大器(FloatingDiffusion Amplifier，FDA)202和模数转换器(Analogue-to-Digital Conversion，ADC)203。

感光元件201用于将由于拍摄的景物表面反射的光形成的入射的光子转化为电子，电子接着通过浮动扩散放大器202转化为电压，电压会被放大，并通过模数转换器203变成数字信号，如此，入射到感光元件201上的光子被转化为数字信号，并最终在电脑200上显示成图像。

上述图像成像的过程中，由于感光元件201中的电阻中自由电子的热运动和半导体中载流子的起伏变化等引起的光响应非均匀性噪声，使得采集到的图像的灰度值大于实际图像的灰度值，即采集到的图像比实际图像亮，导致采集的图像存在一定程度上的失真。

为了去除图像中的噪声成分，提高图像质量，现有技术中，经典图像去噪方法包括均值滤波、中值滤波、高斯低通滤波等多种滤波方法。这些滤波器限制图像中的噪声有关分量从而达到去除噪声的效果。但这种方式存在只能去除部分噪声的缺点。

为解决上述问题，本申请实施例中提供一种去噪方法：在电子设备中一般部署多种图像噪声函数，其中每种用于计算单一类型的图像噪声。例如，散粒噪声函数、热噪声函数、读出噪声函数和暂态噪声函数分别用于计算图像的散粒噪声、热噪声、读出噪声和暂态噪声。在图像在去噪过程中，电子设备将多个样本图像分别依次输入每种图像噪声函数，以去除图像中的各类噪声。

上述能够较为精确的去除噪声，但是，由于需要通过多个图像噪声函数依次得到去除图像噪声的灰度校准值，图像噪声去除时间较长，且电子设备的计算量较大。

为解决上述去噪方法对图像噪声去除时间较长，且电子设备的计算量较大的问题。本申请实施例提供了另一种图像噪声的获取方法，具体的，该方法通过确定图像传感器中存在的多类图像噪声，电子设备获取每一种噪声的特征信息，其中，特征信息包括噪声与相关影响因素之间的关系，上述每种噪声的特征信息可以通过相应的图像单一噪声函数表示。通过将图像传感器中的各类噪声函数进行融合处理可以获取总噪声与灰度值之间的初始映射关系，其中，总噪声与灰度值之间的初始映射关系可以用图像总噪声函数进行表示，该图像总噪声函数包括待确定的函数参数。电子设备再获取在同一拍摄视角对同一景物拍摄的多帧图像组成的样本图像，基于样本图像和图像总噪声函数得到确定的函数参数，从而得到确定函数参数的图像总噪声函数。

本申请实施例中，基于上述方案获取的图像噪声函数对图像去噪时，由于上述方案获取的图像总噪声函数融合了图像传感器中的多类图像噪声，在对图像去噪时，能够精确去除各类噪声，且可以仅通过图像总噪声函数一次便得到灰度校准值，与上述需要通过多个图像单一噪声函数依次得到去除图像噪声的灰度校准值相比，够缩短去噪时间。且与上述将多个样本图像分别输入多个图像单一噪声函数依次得到确定函数参数的图像总噪声函数的方式相比，减小电子设备的计算量。

下面对将图像传感器中的各类噪声函数进行融合处理以获取总噪声与灰度值之间的映射关系的方式进行详细说明：

可以理解，有些类型的图像噪声的大小可能受图像传感器的固有特性(例如图像传感器的电阻大小、图像传感器电路的固有结构以及图像传感器中暗电流的电子能量)的影响，图像噪声的值是固定的，而有些类型的图像噪声是随着灰度值的变化而变化的。电子设备会根据上述两种影响因素确定总噪声与灰度值之间的映射关系所对应的图像噪声。

首先，电子设备会根据待融合的图像噪声中的每个图像噪声对应的特征信息，确定表征图像噪声随灰度值的变化而变化的第一类函数集合，以及表征图像噪声不会随灰度值的变化而变化，而是仅受图像传感器固有特性值(例如图像传感器的电阻大小、图像传感器电路的固有结构以及图像传感器中暗电流的电子能量)的影响的第二类函数集合。

将第一类函数集合中各噪声的特征信息进行融合，获取图像总噪声与图像灰度值的映射函数中的未知数项；将第二类函数集合中各噪声的特征信息进行融合，获取图像总噪声与图像灰度值的映射函数中的常数项。

下面以图像传感器中的暂态噪声、散粒噪声、读出噪声和热噪声为例，对这四种图像噪声函数进行融合处理以获取总噪声与灰度值之间的映射关系的方式进行详细说明：

根据前述，暂态噪声相对于灰度值x服从高斯分布，暂态噪声随灰度值的变化而变化，散粒噪声、读出噪声和热噪声跟灰度值x没有关系，即散粒噪声、读出噪声和热噪声不会随灰度值的变化而变化。因此，根据暂态噪声可以确定图像总噪声函数中的未知数项，而根据散粒噪声、读出噪声和热噪声确定图像总噪声函数中的常数项。

具体地，电子设备根据高斯分布的特性，可以得出暂态噪声会随着灰度值的变化而变化，即暂态噪声服从高斯分布N(μ，σ^2)，其中σ^2是方差。因此σ^2和灰度值x的关系可以确定为σ^2约等于x，因此暂态噪声跟灰度值x的关系为σ约等于sqrt(x)，其中，sqrt(x)为未知项数，σ表示样本标准差。

为了进一步保证精度，因此sqrt(x)前加了系数a，进而确定暂态噪声等于系数a和平方根函数之积。

电子设备再根据散粒噪声、读出噪声和热噪声的公式可以得出，该三个图像噪声跟灰度值x没有关系，即该三个图像噪声不会随着灰度值的改变而改变，所以确定是加性噪声，因此确定上述三种图像噪声的总和为图像函数的常数项。

综上所述，电子设备融合暂态噪声对应的未知项数，以及散粒噪声、热噪声和读出噪声之和对应的常数项得到图像总噪声函数为：y＝a*sqrt(x)+b，其中，sqrt(x)表示平方根函数，a和b为待确定的函数参数。

图2根据本申请的一些实施例，示出了电脑200使用MATLAB软件，基于样本图像拟合得到用于计算出多种图像噪声叠加值的曲线示意图。

如图2所示，样本横坐标的值为多帧样本图像中同一位置的多个像素灰度值的平均值，即图1所示的摄像头100采集到的带有图像噪声的采集像素值。

样本纵坐标的值为多帧样本图像中同一位置的多个像素灰度值的样本标准差，即纵坐标的值表示由于图1所示的摄像头100受本身光学器件的物理特性的影响得到的采集像素值与实际像素值之间的偏差值，即图像噪声。

电脑200获取图1所示的摄像头100在同一拍摄视角对同一景物拍摄的多帧样本图像，根据该多帧样本图像中的多个采集像素值与图像噪声组成的样本数据，通过电子设备上的MATLAB软件拟合得到图像总噪声函数：y＝a’*sqrt(x)+b’，其中，a’h和b’为确定后的函数参数。

可以理解，用于获取图像噪声的电子设备可以为电脑、服务器、手机等，但不限于此。

下面将结合具体应用场景介绍本申请的技术方案。

图像总噪声函数可以应用在安防监控、医学图像诊断、显微成像、自动驾驶和天文观测等领域的图像采集过程中。下面介绍在安防监控场景下，基于前述确定函数参数的图像总噪声函数对图像进行去噪的过程，例如，图3根据本申请的一些实施例，示出了一种图像去噪的应用场景示意图，如图3所示，城市道路中的各个街道安装有摄像头100(图4仅示意性的示出了摄像头100-1至100-11)，摄像头100将拍摄的图像传输至道路监控室中的电脑300中，摄像头100拍摄的图像便可在监控人员的调用下，呈现在电脑300中，或者摄像头100将拍摄的图像传输至道路监控室中的电脑300中，该图像直接呈现在电脑300中。

在摄像头100拍摄图像的过程中，需要将该些图像去噪后得到较高质量的图像传输至电脑300。具体地，摄像头100中设置前述得到的确定函数参数的图像总噪声函数，该图像总噪声函数用于计算出多类图像噪声总值。摄像头100拍摄图像，该些图像作为待去噪图像被摄像头100进行图像去噪处理，摄像头100根据图像总噪声函数中每个像素的灰度值与待去噪灰度值的映射关系中确定待去噪图像中灰度值对应的图像噪声，将该些待去噪图像中每个像素的灰度值减去确定的每个灰度值对应的图像噪声，得到去噪后的图像。例如，图4根据本申请的一些实施例，示例性的示出了一种对待去噪图像B进行去噪的示意图。如图4所示，以摄像头100拍摄的图像B为例，若图像B中部分像素的灰度值为500，则根据图4中的图像噪声函数，确定摄像头100采集得到的包含图像噪声的灰度值60对应的多类图像噪声总值为25，于是，将图像B中灰度值为500的像素的灰度值减去25，得到去噪后的图像B’,图像B’中灰度值变为为58，在摄像头100将如图像B’这样去噪后的图像传输至电脑300后，电脑300便可以呈现图像B’。

图5根据本申请的一些实施例，示出了一种图像去噪方法的流程示意图。该流程的执行主体可以为图3中的摄像头100，该流程示意图包括如下步骤：

501：获取待去噪图像。

可以理解，摄像头100中设置前述得到的确定函数参数的图像总噪声函数，摄像头100拍摄的图像即为待去噪图像。

可以理解，待去噪图像可以为灰度图像，在步骤603后，对去噪后的图像数据进行插值处理便可得到彩色图像。

502：根据确定函数参数的图像总噪声函数确定待去噪图像中每个待去噪灰度值对应的图像噪声，其中，该图像噪声函数表示图像总噪声与待去噪灰度值的映射关系。

例如，如图4所示，以摄像头100拍摄的图像B为例，若图像B中部分像素的灰度值为500，则根据图2中的图像噪声函数，确定摄像头100采集到的待去噪的灰度值60对应的图像噪声为25。

可以理解，在其他一些实施例中，为了便于在如图4所示的应用场景中利用图像噪声函数，在其他一些实施例中，可以生成图像总噪声与待去噪灰度值的映射关系表。该映射关系表被设置在摄像头100中，摄像头在对待去噪图像进行去噪的过程中便可以通过查表法获取待去噪灰度值对应的图像总噪声。

503：将待去噪图像中每个待去噪灰度值减去每个灰度值对应的确定的图像总噪声，得到去噪后的图像数据。

例如，如图4所示，摄像头100将图像B中待去噪灰度值为500的像素的灰度值减去25，得到去噪后的图像B’,图像B’中灰度值变为为58，在摄像头100将如图像B’这样去噪后的图像传输至电脑300后，电脑300便可以呈现图像B’。

可以理解，摄像头100将去噪后的图像数据发送至电脑300，电脑300便可以基于去噪后的图像数据生成去噪后的图像。如此，大量摄像头100拍摄的图像便可在监控人员的调用下，将失真度较小的去噪后的图像呈现在电脑300中。

可以理解，上述实施例是摄像头100未开启高动态范围(Hige-Dynamic Range，HDR)模式的应用场景。在其他一些实施例中，摄像头100在开启HDR模式后，会在同一拍摄视角对同一景物拍摄不同曝光度的图像，然后将该瞬间拍摄的图像进行综合，让高光的区域不会过度曝光，而黑暗的区域则能够得到一定程度补光，并把所有照片进行合成，然后就能得出轮廓、层次分明的图像。

假设只有两帧图像融合，那每一帧都有自己的图像总噪声函数，融合后的图像对应的图像总噪声函数是两帧图像对应的图像总噪声函数的融合，且每帧图像对应的图像总噪声函数前面的权重可以根据曝光比和曝光增益适时调整。例如，以两帧图像融合为例，一张为长帧(即曝光时间长)，一张为短帧(即曝光时间短)，如果曝光比为4：1，那如果已经计算得到短帧的NP曲线，则长帧的图像总噪声函数(例如y＝a*sqrt(x)+b)可以直接乘4倍。

而曝光增益(gain)一般计算2的倍数的曝光增益的图像总噪声函数，例如1倍的曝光增益，2倍的曝光增益，4倍的曝光增益，8倍的曝光增益，16倍的曝光增益。如果图像传感器101的曝光增益是12倍的曝光增益，可以通过8倍的曝光增益和16倍的曝光增益线性插值得到。然后分别计算得到长帧和短帧的图像总噪声函数，再进行总噪声函数的融合。

图6示出了一种确定步骤602中的图像噪声函数的应用场景示意图。如图6所示，摄像头100为待测试设备，电脑200可以采用本申请实施例提供的图像噪声函数的确定方法确定摄像头100的图像噪声函数。

其中，电脑200获取摄像头100在同一拍摄视角对同一景物拍摄的多帧样本图像，每帧样本图像包括多个像素的像素值，将多帧样本图像中同一位置的多个像素灰度值的做平均值和样本标准差处理后的数据作为样本数据，将该样本数据与包含待确定的函数参数的预设的图像噪声函数，拟合得到符合拟合条件的函数参数，从而得到确定函数参数的图像噪声函数。如此，与将多个样本图像分别输入多个图像噪声函数，才能得到多种图像噪声函数的计算量相比，将多个样本图像输入一个本申请实施例提供的图像噪声函数，即能得到一个可以用于计算出多种图像噪声叠加值的图像噪声函数，函数训练过程中计算量较小。

图7根据本申请的一些实施例，对应于图1和6,示出了一种图像噪声函数的确定方法的流程示意图。该流程示意图的执行主体可以为电脑200，该流程示意图包括如下步骤：

701：确定图像传感器101中存在的图像噪声类型。

可以理解，图像传感器中存在散粒噪声、读出噪声、暂态噪声、电阻引起的热噪声、光子噪声、暗电流噪声以及光响应非均匀性噪声等。电脑200可以确定从图像传感器101中存在的多种图像噪声中确定几种类型的图像噪声，也可以是图像传感器101中存在的所有类型的图像噪声。

702：获取每个图像噪声类型对应的特征信息。

可以理解，特征信息包括噪声与相关影响因素之间的关系。下面以图像传感器101中的暂态噪声、散粒噪声、读出噪声和热噪声为例说明每种图像噪声对应的特征信息。

暂态噪声相对于灰度值服从高斯分布，即暂态噪声的特征信息为暂态噪声随灰度值的变化而变化。散粒噪声、读出噪声和热噪声的特征信息为散粒噪声、读出噪声和热噪声跟灰度值没有关系，即散粒噪声、读出噪声和热噪声不会随灰度值的变化而变化。

703：对每个图像噪声类型对应的特征信息进行融合处理，获取图像传感器101中图像总噪声与图像灰度值之间的初始映射关系。

可以理解，电脑200执行步骤701得到待融合的图像噪声。电脑200会根据待融合的图像噪声中的每个图像噪声对应的特征信息，确定表征图像噪声随灰度值的变化而变化的第一类函数集合，以及表征图像噪声不会随灰度值的变化而变化，而是仅受图像传感器固有特性值(例如图像传感器的电阻大小、图像传感器电路的固有结构以及图像传感器中暗电流的电子能量)的影响的第二类函数集合。将第一类函数集合中各噪声的特征信息进行融合，获取图像总噪声与图像灰度值的映射函数中的未知数项；将第二类函数集合中各噪声的特征信息进行融合，获取图像总噪声与图像灰度值的映射函数中的常数项。

704:获取样本图像数据，基于样本图像数据和初始映射关系确定图像传感器101中图像总噪声与图像灰度值之间的确定映射关系。

可以理解，电脑200可以获取待测试设备摄像头100在同一拍摄视角对同一景物拍摄的多帧样本图像。

可以理解，在一些实施例中，电脑200从多帧图像中获取像素灰度值集合，像素灰度值集合包括多个像素灰度值子集合，每个像素灰度值子集合由多帧图像中同一像素位置的像素灰度值组成；对像素灰度值集合中的每个像素灰度值子集合进行平均值处理，得到像素灰度平均值集合；对像素灰度值集合中的每个像素灰度值子集合进行样本标准差处理，得到像素灰度样本标准差集合；基于像素灰度平均值集合和像素灰度样本标准差集合，通过对图像总噪声与图像灰度值的映射函数进行拟合处理，确定未知数项中的第一待确定函数参数和常数项，以确定传感器件中图像总噪声与图像灰度值的确定映射函数。

下面以图像总噪声函数y＝a*sqrt(x)+b为例，具体介绍待确定函数参数a和b的确定过程：

电脑200获取摄像头100在同一拍摄视角对同一景物拍摄的多帧样本图像，先对多帧样本图像进行预处理，过程如下：

可以理解，由于样本标准差可以表示多帧样本图像中同一位置的多个像素灰度值与平均值的离散程度，即表示摄像头100采集到的包含图像噪声的灰度值与实际灰度值的偏差值，因此，图像总噪声可以通过计算样本标准差得到。样本标准差公式如下：

其中，

表示多帧样本图像中同一位置的多个像素的灰度值的平均值，n为样本图像中图像的数量，S表示多帧样本图像中同一位置的多个像素灰度值的样本标准差(像素灰度样本标准差)，x_i表示样本图像中第i帧的某一位置的像素灰度值。

例如，图8根据本申请的一些实施例，示出了一种多帧样本图像的示意图，将样本图像A-1、A-2和A-3中左上角的三个像素灰度值475、500和525减去其平均值500的平方和1250，所得结果除以2，再把所得值625开根号得到25，该值25就是多帧样本图像中同一位置的多个像素灰度值的样本标准差，即该样本标准差25可以作为由于摄像头100受本身光学器件的物理特性的影响得到的采集像素值与实际像素值之间的偏差值。

可以理解，由于平均值可以表示同一位置的多个像素的灰度值的集中趋势，即表示摄像头100采集到的包含图像噪声的灰度值的集中趋势，因此摄像头100采集到的带有图像噪声的采集像素值可以通过计算多帧样本图像中同一位置的多个像素灰度值的平均值得到，多帧样本图像中同一位置的多个像素灰度值可以简称为像素灰度平均值。例如，如图2所示，将样本图像A-1、A-2和A-3中左上角的三个像素灰度值的平均值500作为摄像头100采集到的带有图像噪声的采集像素值。

可以理解，图像总噪声函数y＝a*sqrt(x)+b可以称为NP(noise profile)函数。从图3所示的曲线中可以看出，低灰度区域(例如0至60)的函数更加陡峭，对待确定参数a和b的影响程度较高，为了提高拟合的精确度，可以增加采样点。而高灰度区域(例如60至255)的函数趋于平缓，对待确定参数a和b的影响程度较低，可以减少采样点，如此，通过非均匀采样的方式，可以取得比均匀采样更高的拟合精度，且既提高精度又能降低电脑200的计算量。

经过上述预处理过程得到像素灰度平均值集合和像素灰度样本标准差集合。然后电脑200再基于灰度平均值集合和灰度样本标准差集合确定函数参数a和b，过程如下：

可以理解，函数参数a和b可以由上述预处理得到的灰度平均值结合和灰度样本标准差集合以及包含待确定函数参数的图像噪声函数拟合得到，拟合准则(拟合条件)可以采用最小二乘法，但不限于此。拟合软件可以通过Matlab软件。

图9根据本申请的一些实施例，示出了一种摄像头100的结构示意图。如图9所示，摄像头100可以是定焦镜头、变焦镜头、鱼眼镜头、全景镜头等。摄像头100包括：图像传感器101、ISP102、中央处理器(central processing unit，CPU)103、存储器104、接口模块105、通信模块106和总线107。其中，图像传感器101、ISP102、中央处理器(central processingunit，CPU)103、存储器104、接口模块105和通信模块106通过总线107耦接。图像传感器101、ISP102、中央处理器(central processing unit，CPU)103、存储器104、接口模块105和通信模块106可以通过总线107耦接构成片上系统(system on chip，SOC)，在另一些实施例中，图像传感器101、ISP102、中央处理器(central processing unit，CPU)103、存储器104、接口模块105和通信模块106也可以是独立的器件。

图像传感器101用于将收集的景物反射的光信号转换为数字电信号，生成原始图像(RAW)数据，例如可以生成Bayer格式的数据。

ISP102是用于图像数据处理的专用集成电路(application-specificintegrated circuit，ASIC)，用于对图像传感器101形成的图像数据进行进一步处理，以获得更好的图像质量。在本申请实施例中，摄像头100可以将通过图像传感器101采集的原始格式图像数据，传递给ISP102，ISP102对原始格式图像数据进行一系列处理，得到较优的图像数据。例如，ISP102会采用本申请提供的图像去噪方法对从图像传感器101获得的原始图像数据进行处理，得到去噪后的图像。

CPU103可以包括一个或多个处理单元，例如，可以包括中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、数字信号处理器(Digital Signal Processor，DSP)、微处理器(Micro-programmed Control Unit，MCU)、人工智能(Artificial Intelligence，AI)处理器或可编程逻辑器件(Field ProgrammableGate Array，FPGA)等的处理模块或处理电路。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

存储器104可用于存储数据、软件程序以及模块，可以是易失性存储器(VolatileMemory)，例如随机存取存储器(Random-Access Memory，RAM)，双倍数据率同步动态随机存取存储器(Double Data Rate Synchronous Dynamic Random Access Memory，DDRSDRAM)。

接口模块105包括外部存储器接口、通用串行总线(universal serial bus，USB)接口等。其中外部存储器接口可以用于连接外部非易失性存储器(Non-Volatile Memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(Flash Memory)，硬盘(Hard DiskDrive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，或者也可以是可移动存储介质，例如安全数字(Secure Digital，SD)存储卡等，用于扩展摄像头100的存储能力。

通信模块106，例如WIFI模块、通用串行总线(Universal Serial Bus，USB)、4G和5G模块等。用于供摄像头100通过通信模块106和其他电子设备通信。

总线107用于耦接图像传感器101、ISP102、中央处理器(central processingunit，CPU)103、存储器104、接口模块105和通信模块106。总线107可以是高级高性能总线(advanced high-performance bus，AHB)，也可以是其他类型的数据总线。

可以理解，图9所示的摄像头100的结构只是一种示例，并不构成对摄像头100的具体限定，在另一些实施例中，摄像头100可以包含更多或更少的模块，还可以组合或者拆分部分模块，本申请实施例不作限制。

进一步，图10根据本申请的一些实施例，示出了一种摄像头100中的ISP102的结构示意图。如图10所示，ISP102包括处理器1031、图像传输接口1032、通用外围设备1033、图像识别模块1034和通用功能模块1035。

处理器1031用于ISP102中的逻辑控制和调度。

图像传输接口1032用于图像数据的传输。

通用外围设备1033包括但不限于：用于耦接ISP102的各个模块的总线及其控制器，用于与其他设备耦接的总线，例如高级高性能总线(advanced high-performance bus，AHB)，可以使ISP与其他设备(如DSP、CPU等)进行高性能通信；用于监控ISP工作状态的看门狗单元(WATCHDOG)。

填充模块1034，用于根据NPU中图像处理模型，例如深度学习模型，对输入数据的要求，对图像数据进行填充运算。

通用功能模块1035用于对输入ISP102的图像进行处理，包括但不限于：坏点矫正(bad pixel correction，BPC)、黑电平补偿(black level correction，BLC)、自动白平衡(automatic white balance，AWB)、伽马矫正(Gamma Correction)、颜色矫正(ColorCorrection)、降噪(Denoise)、边缘增强、亮度、对比度、色度调整等。当图像传感器将RAW格式的图像数据传递给图像信号处理器1030时，先由通过功能模块进行处理。

可以理解，图10所示的ISP102的结构只是一种示例，本领域的技术人员应当理解，其可以包含更多或更少的模块，也可以组合或者拆分部分模块，本申请实施例不作限定。

通用功能模块可以包括RAW域处理模块、YUV域处理模块和RGB域处理模块，图11示出了一种通用功能模块对图像数据进行处理的过程示意图，包括以下步骤。

RAW域处理模块对图像数据进行坏点矫正、黑电平矫正和自动白平衡。

经过RAW域处理后的图像数据经过RGB插值后得到RGB域的图像数据，再由RGB域处理模块对RGB域的图像数据进行伽马矫正和颜色校正。

经过RGB域处理的图像数据经过色域转换得到YUV域的图像数据，再由YUV域处理模块对YUV域的图像数据进行降噪、边缘增加、亮度/对比度/色度调整。本申请实施例中，对YUV域的图像数据进行降噪可以采用本申请实施例提供的图像降噪方法。

申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。

可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器(Digital Signal Processor，DSP)、微控制器、专用集成电路(Application Specific Integrated Circuit，ASIC)或微处理器之类的处理器的任何系统。

程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。

在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、可擦除可编程只读存储器(Erasable Programmable Read OnlyMemory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory，EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。

在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。

需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。

需要说明的是，在本专利的示例和说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims

1.一种获取图像噪声的方法，应用于电子系统，所述电子系统包括传感装置和处理装置，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述处理装置根据所述多个图像噪声类型和灰度值的关系，对所述多个图像噪声类型进行分类，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于分类后的各类图像噪声类型，以及所述传感装置获取的至少一个样本图像数据，确定所述传感装置的图像总噪声和图像灰度值之间的映射关系，包括：

4.根据权利要求1所述的方法，其特征在于，所述传感装置为包括图像传感器的装置。

5.根据权利要求1所述的方法，其特征在于，所述多个图像噪声类型包括散粒噪声、热噪声、读出噪声和暂态噪声。

6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述样本图像数据包括在同一拍摄视角对同一景物拍摄的多帧样本图像。

7.根据权利要求6所述的方法，其特征在于，所述基于所述传感装置获取的至少一个样本图像数据、所述未知数项和所述常数项，确定所述未知数项中的第一待确定函数参数和常数项，以确定所述传感装置的图像总噪声和图像灰度值的映射函数，作为所述图像总噪声和图像灰度值之间的映射关系，包括：

针对每一个样本图像数据做如下处理：

8.根据权利要求1所述的方法，其特征在于，所述样本图像数据包括第一灰度范围的样本图像数据和第二灰度范围的样本图像数据，所述第一灰度范围的样本图像数据量与所述第二灰度范围的样本图像数据量不同。

9.一种可读介质，其特征在于，所述可读介质上存储有指令，该指令在电子设备上执行时使电子设备执行权利要求1至8中任一项所述的获取图像噪声的方法。

10.一种电子设备，其特征在于，包括：

处理器，是电子设备的处理器之一，用于执行权利要求1至8中任一项所述的获取图像噪声的方法。