CN114697468A - 图像信号处理方法和装置、电子设备 - Google Patents

Abstract

本申请涉及图像信号处理技术领域，特别涉及图像信号处理方法和装置、电子设备。所述一种图像信号处理方法，包括：由与图像信号处理主通路并行的噪声参数通路，根据所述图像信号处理主通路产生的噪声水平获取噪声参数；在所述噪声参数通路中缓存所述噪声参数；以及响应于所述图像信号处理主通路使用所述噪声参数的指令，由所述噪声参数通路将所述噪声参数发送至所述图像信号处理主通路。通过该方法可大大降低GAIN模块的面积，减少ISP面积的消耗。

Description

图像信号处理方法和装置、电子设备

技术领域

本申请涉及图像信号处理技术领域，特别涉及图像信号处理方法和装置、电子设备。

背景技术

在图像信号处理(ISP)流程中，前级的运算模块包括HDRMGE、BAYER3DNR、ADRC、LSC、3DLUT、DEHAZE等模块，这些模块可以被统称为噪声参数(GAIN)源模块。这些前级的运算模块的很多运算都会改变像素点的噪声水平(或者叫噪声参数或者叫GAIN值)，而且每个像素点改变的值都是不一样的。因此，每一个像素点都需要有一个一一对应的GAIN值来反应该像素点经过前面处理之后的噪声水平，这些运算出来的GAIN也叫本地(Local)GAIN。相比之下，与所有像素统一变化相对应的GAIN被称为全局GAIN，比如awbGAIN属于全局GAIN。

在ISP中，做图像降噪以及其他诸如锐化等的后级处理(例如后级的YNR CNRSHARP等)时，需要前级提供图像的噪声参数(也就是GAIN值)。只有提供了每个像素点的GAIN值，针对像素点做降噪或者锐化等后处理才是自适应的，才能让降噪等效果做得更好更精准。

前级的运算模块的每一个处理都会改变每个像素点的噪声参数，有一些运算是让噪声参数变大，有一些运算让噪声参数变小(如BAYER3DNR会让GAIN值变小)。像素点每经过一个GAIN值变化的运算模块，GAIN值变化是累加的，所以需要做融合处理。在融合过程中，每一个像素对应的GAIN值需要存储的bit位会增加(变大或者精度变化等)。

理论上，每一个像素点的GAIN值需要跟着像素一起走，这样才能保证到后级使用GAIN值的时候是一一对应的，即，要求GAIN参数传递的实时性。

ISP的流程会很长，涉及上百行的存储。如果GAIN值也跟着像素点按ISP流程走，会让整个ISP装置的面积增大50％，需要付出的代价是巨大的。

发明内容

本申请提供图像信号处理方法、装置和电子设备，其能够在不损失降噪和锐化效果的前提下，大大降低了ISP装置的面积。

在第一方面，提供图像信号处理方法。该方法包括：由与图像信号处理主通路并行的噪声参数通路，根据所述图像信号处理主通路产生的噪声水平获取噪声参数；在所述噪声参数通路中缓存所述噪声参数；以及响应于所述图像信号处理主通路使用所述噪声参数的指令，由所述噪声参数通路将所述噪声参数发送至所述图像信号处理主通路。

在一些实施例中，该方法还包括：对所述噪声参数进行压缩，以缓存压缩后的所述噪声参数；以及响应于所述指令，对压缩后的所述噪声参数进行解压缩，以将所述噪声参数发送至所述图像信号处理主通路。

在一些实施例中，该方法还包括：判断所述噪声参数通路是否为首次根据所述图像信号处理主通路产生的噪声水平获取噪声参数，若为首次，则直接对所述噪声参数进行压缩，并且缓存压缩后的所述噪声参数；以及若为非首次，则所述噪声参数通路根据所述图像信号处理主通路产生的当前的噪声水平和前一次的噪声参数，通过融合计算获取当前的噪声参数，对所述噪声参数进行压缩，并且缓存压缩后的所述噪声参数。

在一些实施例中，根据所述图像信号处理主通路产生的噪声水平获取噪声参数包括：针对所述噪声水平进行N×M的下采样操作，以计算出所述噪声参数，其中N和M为自然数。

在一些实施例中，该方法还包括：响应于所述指令，针对所述噪声参数进行N×M的上采样操作，以将上采样后的所述噪声参数发送至所述图像信号处理主通路。

在一些实施例中，该方法还包括：在所述融合计算结束后，针对所述噪声参数进行垂直方向N×1上采样，其中N为自然数。

在一些实施例中，该方法还包括：响应于所述指令，针对所述噪声参数进行水平方向1×M上采样，以将上采样后的所述噪声参数发送至所述图像信号处理主通路，其中M为自然数。

在一些实施例中，对压缩后的所述噪声参数进行解压缩包括：通过科学计数法对所述噪声参数进行解压缩。

在一些实施例中，所述噪声参数通路根据所述图像信号处理主通路产生的当前的噪声水平和前一次的噪声参数通过融合计算获取当前的噪声参数包括：根据所述图像信号处理主通路产生的当前的噪声水平生成初步噪声参数；以及将所述初步噪声参数与前一次的噪声参数进行相乘，以计算出当前的噪声参数。

在第二方面，提供一种图像信号处理装置。该装置包括：图像信号处理主通路，包括第一噪声参数源模块，所述第一噪声参数源模块被配置为生成与像素点相关联的第一噪声水平；以及噪声参数通路，被设置为与所述图像信号处理主通路并行，并且包括：第一噪声参数计算模块，被配置为根据由所述第一噪声参数源模块生成的所述第一噪声水平获取第一噪声参数；以及第一缓存模块，被配置为缓存所述第一噪声参数以作为待使用噪声参数，其中所述图像信号处理主通路还包括噪声参数使用模块，所述噪声参数使用模块被配置为从所述噪声参数通路接收所述待使用噪声参数，并且根据所述待使用噪声参数执行信号处理。

在一些实施例中，所述图像信号处理主通路还包括第二噪声参数源模块，所述第二噪声参数源模块被配置为生成与像素点相关联的第二噪声水平，并且所述噪声参数通路还包括：第二噪声参数计算模块，被配置为根据所述第一噪声参数和由所述第二噪声参数源模块生成的所述第二噪声水平获取第二噪声参数；以及第二缓存模块，被配置为缓存所述第二噪声参数以作为所述待使用噪声参数。

在一些实施例中，所述第一噪声参数计算模块被配置为针对所述第一噪声水平进行N×M的下采样操作，以计算出所述第一噪声参数，其中N和M为自然数，并且所述噪声参数通路还包括第三噪声参数计算模块，所述第三噪声参数计算模块被配置为针对所述待使用噪声参数进行N×M的上采样操作，并且将上采样后的所述待使用噪声参数发送至所述噪声参数使用模块。

在一些实施例中，所述第二噪声参数计算模块被配置为针对所述第二噪声水平进行N×M的下采样操作，以根据所述第一噪声参数和下采样后的所述第二噪声水平计算出所述第二噪声参数，其中N和M为自然数，并且所述噪声参数通路还包括第三噪声参数计算模块，所述第三噪声参数计算模块被配置为针对所述待使用噪声参数进行N×M的上采样操作，并且将上采样后的所述待使用噪声参数发送至所述噪声参数使用模块。

在一些实施例中，所述图像信号处理主通路还包括第四噪声参数源模块，所述第四噪声参数源模块被配置为生成与像素点相关联的第四噪声水平，所述噪声参数通路还包括：第四噪声参数计算模块，被配置为根据所述待使用噪声参数和所述第四噪声水平获取第四噪声参数，并且针对所述第四噪声参数进行垂直方向N×1上采样，其中N为自然数；以及第四缓存模块，被配置为缓存上采样后的所述第四噪声参数以作为所述待使用噪声参数，并且针对所述待使用噪声参数进行水平方向1×M上采样，以将上采样后的所述待使用噪声参数发送至所述噪声参数使用模块，其中M为自然数。

在第三方面，提供一种电子设备。该电子设备包括：存储器，被配置为存储指令集；以及处理器，被配置为执行所述指令集以执行上述所提及的图像信号处理方法。

在一些实施例中，所述电子设备包括：芯片。

根据本发明的实施例，确保了精准地传递每一个像素点的噪声水平，保证了降噪等实时性需求，而且因为对GAIN值进行了缓存压缩处理，对应到实际的模块设计中，可大大降低GAIN模块的面积，减少ISP装置面积的消耗。

进一步地，在GAIN通路中，其整个流程是跟着图像信号处理主通路走的，每次当图像信号处理主通路中的GAIN源模块对像素点的噪声水平产生影响时，GAIN通路中都会及时进行GAIN值计算，并且当非首次GAIN值计算时，会自动获取前次的GAIN值进行融合计算，确保了每次图像信号处理主通路需要使用GAIN值时，获取的GAIN值均是对应可用的。

进一步地，在GAIN通路上进行N×M的下采样操作，可使得GAIN通路流水的存储量能压缩到正常处理的N×M分之一。

进一步地，因为后级处理需要大量使用GAIN值，在所有GAIN值融合计算结束后进行垂直方向N×1上采样，使得图像信号处理主通路后级处理中需要用到GAIN值时，均不用做垂直上采样，只需要进行对应的水平方向上采样即可，对应到实际的模块设计中，进一步减少了ISP装置的面积。此外，因为每次做垂直上采样都需要消耗一条行缓存(linebuffer)以及保持(hold)主通路，故此该方法相比于现有技术将大大缩减行缓存的开销。

进一步地，通过科学计数法对GAIN值进行解压缩，简单快速。

上述发明内容相关记载仅是本申请技术方案的概述，为了让本领域普通技术人员能够更清楚地了解本申请的技术方案，进而可以依据说明书的文字及附图记载的内容予以实施，并且为了让本申请的上述目的及其它目的、特征和优点能够更易于理解，以下结合本申请的具体实施方式及附图进行说明。

附图说明

附图仅用于示出本申请具体实施方式以及其他相关内容的原理、实现方式、应用、特点以及效果等，并不能认为是对本申请的限制。

图1是示出根据本公开的实施例的图像信号处理方法的流程图；

图2为示出根据本公开的实施例的图像信号处理方法的示意图；

图3为示出根据本公开的实施例的GAIN值融合示意图；

图4为示出根据本公开的实施例的图像信号处理方法的示意图；

图5为示出根据本公开的实施例的垂直上采样的示意图；

图6为示出根据本公开的实施例的水平上采样的示意图；

图7为示出根据本公开的实施例的图像信号处理装置的模块示意图一；

图8为示出根据本公开的实施例的图像信号处理装置的模块示意图二；

图9为示出根据本公开的实施例的电子设备的模块示意图。

具体实施方式

为详细说明本申请可能的应用场景，技术原理，可实施的具体方案，能实现目的与效果等，以下结合所列举的具体实施例并配合附图详予说明。本文所记载的实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中各个位置出现的“实施例”一词并不一定指代相同的实施例，亦不特别限定其与其它实施例之间的独立性或关联性。原则上，在本申请中，只要不存在技术矛盾或冲突，各实施例中所提到的各项技术特征均可以以任意方式进行组合，以形成相应的可实施的技术方案。

除非另有定义，本文所使用的技术术语的含义与本申请所属技术领域的技术人员通常理解的含义相同；本文中对相关术语的使用只是为了描述具体的实施例，而不是旨在限制本申请。

在本申请的描述中，用语“和/或”是一种用于描述对象之间逻辑关系的表述，表示可以存在三种关系，例如A和/或B，表示：存在A，存在B，以及同时存在A和B这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”的逻辑关系。

在本申请中，诸如“第一”和“第二”之类的用语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何实际的数量、主次或顺序等关系。

在没有更多限制的情况下，在本申请中，语句中所使用的“包括”、“包含”、“具有”或者其他类似的表述，意在涵盖非排他性的包含，这些表述并不排除在包括所述要素的过程、方法或者产品中还可以存在另外的要素，从而使得包括一系列要素的过程、方法或者产品中不仅可以包括那些限定的要素，而且还可以包括没有明确列出的其他要素，或者还包括为这种过程、方法或者产品所固有的要素。

在本申请中，“大于”、“小于”、“超过”等表述理解为不包括本数；“以上”、“以下”、“以内”等表述理解为包括本数。此外，在本申请实施例的描述中“多个”的含义是两个以上(包括两个)，与之类似的与“多”相关的表述亦做此类理解，例如“多组”、“多次”等，除非另有明确具体的限定。

在现有的图像信号处理流程中，需要大量用到GAIN值，使得ISP装置的面积变大。

本公开的核心技术思想在于设计另外一条流水线(pipeline)平行于图像信号处理主通路的像素点的运算流水线，在本公开中称之为GAIN通路。这条新的GAIN通路被配置为实现图像信号处理主通路中各种GAIN源模块的GAIN值的融合。该GAIN通路在需要使用GAIN值的地方能够及时提供与当前像素点一一对应的GAIN值。此外，为了减少ISP装置面积，对产生的GAIN值进行了解压缩操作，对应到实际的模块设计中，可大大降低GAIN模块的面积，减少ISP装置面积的消耗。

以下对本文中会涉及到的一些名词做解释说明：

GAIN源模块：图像信号处理主通路中会导致像素点噪声水平发生变化的运算模块。

非GAIN源模块：图像信号处理主通路中不会导致像素点噪声水平发生变化的(或者是整帧图像整体发生变化，此时相当于全局GAIN)运算模块。前级处理的时候会遇到很多GAIN源模块和非GAIN源模块，在某2个GAIN源模块中间可能存在多个非GAIN源模块，但因只关心这些非GAIN源模块经过的流水(包括了行缓存(linebuffer)的延迟(delay)和计算延迟以及缓存延迟)，所以把2个GAIN源模块中间可能存在多个非GAIN源模块全部合并成一个非GAIN源模块。

GAIN使用模块：在图像信号处理主通路流水过程中会遇到多个模块需要使用到当前像素点在当前模块对应的GAIN的噪声水平。这时就可以从GAIN通路把当前对应的节点的GAIN值抽出来使用。

非GAIN使用模块：和非GAIN源模块类似，这些模块只关心其流水深度。

下文中将参考示例性实施例并且结合附图详细描述根据本公开的实施例的具体实施方式。

图1是示出根据本公开的实施例的图像信号处理方法100的流程图。如图1所示，图像信号处理方法100包括步骤S101至步骤S103。

在步骤S101中，由与图像信号处理主通路并行的噪声参数通路，根据所述图像信号处理主通路产生的噪声水平获取噪声参数。所谓并行的意思即当图像信号处理主通路需要使用噪声参数时，噪声参数通路会实时提供相对应的噪声参数值。

紧接着执行步骤S102，在所述噪声参数通路中缓存所述噪声参数。

步骤S103，响应于所述图像信号处理主通路使用所述噪声参数的指令，由所述噪声参数通路将所述噪声参数发送至所述图像信号处理主通路。

在一些实施例中，图像信号处理方法100还包括：对所述噪声参数进行压缩，以缓存压缩后的所述噪声参数；以及响应于所述指令，对压缩后的所述噪声参数进行解压缩，以将所述噪声参数发送至所述图像信号处理主通路。

以上方法确保了精准地传递每一个像素点的噪声水平，保证了降噪等实时性需求，而且因为对噪声参数值进行了缓存压缩处理，对应到实际的模块设计中，可大大降低GAIN模块的面积，减少ISP装置面积的消耗。

在一些实施例中，GAIN值的计算需涉及到融合处理，图像信号处理方法100还包括：判断所述噪声参数通路是否为首次根据所述图像信号处理主通路产生的噪声水平获取噪声参数，若为首次，则直接对所述噪声参数进行压缩，并且缓存压缩后的所述噪声参数；以及若为非首次，则所述噪声参数通路根据所述图像信号处理主通路产生的当前的噪声水平和前一次的噪声参数，通过融合计算获取当前的噪声参数，对所述噪声参数进行压缩，并且缓存压缩后的所述噪声参数。

在一些实施例中，为了使得噪声参数通路流水线的存储量减少，根据所述图像信号处理主通路产生的噪声水平获取噪声参数包括：针对所述噪声水平进行N×M的下采样操作，以计算出所述噪声参数，其中N和M为自然数。

在本实施例中的N×M的下采样操作采用：水平为8，垂直为2，实现的是2×8的下采样，可以让噪声参数通路存储数据量减少16倍。在使用噪声参数值的时候，因为和像素点是一一对应的关系，在本实施例中采用双线性的方法把所有的GAIN值全部上采样回来。这里的方法当然也是可以变化的，比如最简单的是采用最近领域方法，但是效果差容易出现块效应，而复杂的三线性插值方法则会让硬件付出很大代价，经过评估双线性够用了。当然，如果这里的N和M越大，虽然噪声参数通路的存储量变更少，但是后处理的效果的损失也越大，需要折中，故此优选为2×8的下采样。

因进行了下采样，在一些实施例中，图像信号处理方法100还包括：响应于所述指令，针对所述噪声参数进行N×M的上采样操作，以将上采样后的所述噪声参数发送至所述图像信号处理主通路。

图2示出根据本公开的实施例的图像信号处理方法100的示意图。在图2中，噪声参数通路获取图像信号处理主通路的第一GAIN源模块发送的经过N×M采样后的数据进行第一GAIN值计算，并通过第一缓存运算模块将计算后的GAIN值进行压缩，通过FIFO存储，当下一级GAIN使用模块需要使用或者融合使用时再解压缩出来。在本实施例中，每一个缓存运算模块的FIFO深度是需要计算的。它的深度计算为对应主通路最恶劣情况下的流水深度，并多开一点保留一定的冗余。主通路最恶劣情况下的流水深度在某一颗具体的芯片是固定的，但是对于不同的芯片是会变化的，所以这里需要进行自适应运算，以保持合适的深度，同时不会浪费资源。FIFO深度计算方法具体如下：

假设某个非GAIN源模块的delayline是14行，计算流水是256，以及缓存深度是1024，则FIFO深度为7行+192(7行来源：14/2＝7行192来源：(256+1024+256(margin))/8＝192)。

在缓存运算模块中进行的GAIN值的压缩运算和解压缩运算，在本实施例中，通过科学计数法对GAIN值进行解压缩。可以将21bit的gain压缩到14bit(10bit整数，4bit科学计算数)。在其它实施例中，亦可以采用更复杂的算法。

当图像信号处理主通路经过第二GAIN源模块又产生噪声水平时，GAIN通路再次获取图像信号处理主通路的第二GAIN源模块发送的经过N×M采样后的数据进行第二GAIN值计算，其中在进行第二GAIN值计算时，包括了：该次GAIN源模块的GAIN值运算和GAIN值融合运算。以第二GAIN值计算为例，其首先计算出第二GAIN源模块对应的GAIN值，然后将该GAIN值与解压缩后的第一GAIN值进行融合计算得第二GAIN值。即如图3所示出的，上游输入的GAIN值与当前GAIN源模块的输出GAIN值进行GAIN融合，输出当前GAIN值。其中不同的GAIN源运算模块的GAIN值运算是不一样的。以LSC为例，该模块的每一个点输出的GAIN值就是该点的插值增益。

在本实施例中，GAIN值融合运算采用的是二者相乘，并保留一定精度的方法。

图4示出了根据本公开的实施例的图像信号处理方法100的示意图，在所述融合计算结束后，针对所述噪声参数进行垂直方向N×1上采样，其中N为自然数。因为后级处理需要大量使用GAIN值，在所有GAIN值融合计算结束后进行垂直方向N×1上采样，使得图像信号处理主通路后级处理中需要用到GAIN值时，均不用做垂直上采样，只需要进行对应的水平方向上采样即可，对应到实际的模块设计中，进一步减少了ISP的面积。由于每次做垂直上采样都需要消耗一条行缓存以及保持主通路，故此该方法相比于现有技术将大大缩减行缓存的开销。

图5示出根据本公开的实施例的垂直上采样的示意图，插值的时候需要用到下一行的GAIN值数据。这里使用的是简单的线性插值方法。垂直方向上采样选取的节点很重要，在本实施例中选取了前级处理和后级处理的连接位置，正如上面所说，因为后级处理需要大量使用GAIN值，在这里做让前级所有的GAIN通路缓存都是减少N×M倍。后级开始将直接传递垂直上采样之后的值，意味着后级所有使用点不需要再做垂直上采样。由于每次做垂直上采样都需要消耗一条行缓存以及保持主通路，所以在后续越少使用垂直上采样的地方做越好。

图6示出根据本公开的实施例的水平上采样的示意图，插值的时候需要用到右边点的GAIN值数据。图5中水平插值前只有3个点，插值之后变成了24个点。这里使用的是简单的线性插值方法。

如图6所示，在后续GAIN通路响应图像信号处理主通路的GAIN使用模块使用GAIN值指令，GAIN通路均需发送经过水平方向1×M上采样后的GAIN值至图像信号处理主通路的GAIN使用模块，其中M为自然数。

需要说明的是，不同的GAIN使用模块对本地GAIN的使用是不同的，比如对于降噪模块，当当前像素点的噪声水平比较大，则对齐进行的降噪力度可以大一些，反之则应该轻一些，这样可以实现降噪的自适应。对于锐化，如果当前像素点的噪声水平大，则锐化程度反而要小一点，否则会让噪声放大，让人眼觉得图像很脏。

上述整个流程中，做出了另外一条GAIN通路平行与主通路像素点的运算流水。并做了水平方向的1x8的均值下采样，在需要使用GAIN的地方再做1x8的上采样。这样该GAIN流水的存储量能压缩到正常处理的八分之一。接着做了一个垂直方向的1/2下采样(采用丢行的方法，如果垂直方向采用均值的方法，每个GAIN源模块都需要提供一条linebuffer)，这样该GAIN流水的存储量能压缩到正常处理的十六分之一(也就是上一步的基础上又压缩了一半)。进一步在GAIN DELAY FIFO上面进FIFO做一下压缩，出FIFO做解压缩(因为需要做下一步的GAIN融合)，这样我们可以把21bit的GAIN值压缩到14bit，相当于在上一步的基础上又压缩了33％。大大降低了GAIN模块面积的同时，实现了降噪等实时性需求，精准传递了每一个像素点的噪声水平。

图7是示出根据本公开的实施例的图像信号处理装置700的模块示意图。所述图像信号处理装置700包括图像信号处理主通路701和噪声参数通路702。图像信号处理主通路701包括第一噪声参数源模块7011，所述第一噪声参数源模块7011被配置为生成与像素点相关联的第一噪声水平。噪声参数通路702被设置为与所述图像信号处理主通路701并行，并且包括第一噪声参数计算模块7021和第一缓存模块7022。第一噪声参数计算模块7021被配置为根据由所述第一噪声参数源模块7011生成的所述第一噪声水平获取第一噪声参数。第一缓存模块7022被配置为缓存所述第一噪声参数以作为待使用噪声参数。此外，所述图像信号处理主通路701还包括噪声参数使用模块7012，所述噪声参数使用模块7012被配置为从所述噪声参数通路702接收所述待使用噪声参数，并且根据所述待使用噪声参数执行信号处理。

在一些实施例中，第一噪声参数计算模块7021还被配置为对所述噪声参数进行压缩，第一缓存模块7022还被配置为缓存压缩后的所述噪声参数，以及响应于噪声参数使用模块7012使用噪声参数指令，对压缩后的所述噪声参数进行解压缩，发送解压缩后的噪声参数至噪声参数使用模块7012。

以上装置700确保了精准地传递每一个像素点的噪声水平，保证了降噪等实时性需求，而且因为对噪声参数值进行了缓存压缩处理，对应到实际的模块设计中，可大大降低GAIN模块的面积，减少ISP装置面积的消耗。

图8是示出根据本公开的实施例的图像信号处理装置800的模块示意图。在一些实施例中，GAIN值的计算需涉及到融合处理。所述图像信号处理主通路701还包括第二噪声参数源模块7013，所述第二噪声参数源模块7013被配置为生成与像素点相关联的第二噪声水平，并且所述噪声参数通路702还包括第二噪声参数计算模块7023和第二缓存模块7024。第二噪声参数计算模块7023被配置为根据所述第一噪声参数和由所述第二噪声参数源模块7013生成的所述第二噪声水平获取第二噪声参数。第二缓存模块7024被配置为缓存所述第二噪声参数以作为所述待使用噪声参数。

在一些实施例中，为了使得噪声参数通路702流水线的存储量减少，所述第一噪声参数计算模块7021被配置为针对所述第一噪声水平进行N×M的下采样操作，以计算出所述第一噪声参数，其中N和M为自然数。此外，所述噪声参数通路702还包括第三噪声参数计算模块，所述第三噪声参数计算模块被配置为针对所述待使用噪声参数进行N×M的上采样操作，并且将上采样后的所述待使用噪声参数发送至所述噪声参数使用模块7012。

在本实施例中的N×M的下采样操作采用：水平为8，垂直为2，实现的是2×8的下采样，可以让噪声参数通路702存储数据量减少16倍。在使用噪声参数值的时候，因为和像素点是一一对应的关系，在本实施例中采用双线性的方法把所有的GAIN值全部上采样回来。这里的方法当然也是可以变化的，比如最简单的是采用最近领域方法，但是效果差容易出现块效应，而复杂的三线性插值方法则会让硬件付出很大代价，经过评估双线性够用了。当然，如果这里的N和M越大，虽然噪声参数通路702的存储量变更少，但是后处理的效果的损失也越大，需要折中，故此优选为2×8的下采样。

在本实施例中，通过科学计数法对GAIN值进行解压缩。可以将21bit的gain压缩到14bit(10bit整数，4bit科学计算数)。在其它实施例中，亦可以采用更复杂的算法。

在一些实施例中，所述第二噪声参数计算模块被配置为针对所述第二噪声水平进行N×M的下采样操作，以根据所述第一噪声参数和下采样后的所述第二噪声水平计算出所述第二噪声参数，其中N和M为自然数。此外，所述噪声参数通路702还包括第三噪声参数计算模块，所述第三噪声参数计算模块被配置为针对所述待使用噪声参数进行N×M的上采样操作，并且将上采样后的所述待使用噪声参数发送至所述噪声参数使用模块7012。

在一些实施例中，所述图像信号处理主通路701还包括第四噪声参数源模块，所述第四噪声参数源模块被配置为生成与像素点相关联的第四噪声水平。此外，所述噪声参数通路702还包括第四噪声参数计算模块和第四缓存模块。第四噪声参数计算模块被配置为根据所述待使用噪声参数和所述第四噪声水平获取第四噪声参数，并且针对所述第四噪声参数进行垂直方向N×1上采样，其中N为自然数。第四缓存模块被配置为缓存上采样后的所述第四噪声参数以作为所述待使用噪声参数，并且针对所述待使用噪声参数进行水平方向1×M上采样，以将上采样后的所述待使用噪声参数发送至所述噪声参数使用模块7012，其中M为自然数。

其中进行N×1上采样的节点很重，在本实施例中选取了前级处理和后级处理的连接位置，正如上面所说，因为后级处理需要大量使用GAIN值，在这里做让前级所有的GAIN通路缓存都是减少N×M倍。后级开始将直接传递垂直上采样之后的值，意味着后级所有使用点不需要再做垂直上采样。由于每次做垂直上采样都需要消耗一条行缓存以及保持主通路，所以在后续越少使用垂直上采样的地方做越好。

应当理解的是，根据如图7和图8所示的实施例的图像信号处理装置700和图像信号处理装置800中的各个模块可以根据需要彼此任意结合以构成不同图像信号处理装置。此外，图像信号处理装置可以包括用于执行参照图2和图4描述的方法中的各个动作或操作的对应模块。

图9是示出根据本公开的实施例的电子设备900的模块示意图。所述电子设备900包括但不限于：网络设备、嵌入式设备、可编程设备、智能移动终端等。实际产品呈现中，可呈现为芯片或独立硬件模块，其中芯片可设置在目标端设备内。在一些实施例中，目标端为可显示输入数据的硬件设备，例如，手机、平板、电视等等。

如图9所示，电子设备900包括存储器901和处理器902。存储器901被配置为存储指令集。处理器902被配置为执行以下动作：由与图像信号处理主通路并行的噪声参数通路，根据所述图像信号处理主通路产生的噪声水平获取噪声参数；在所述噪声参数通路中缓存所述噪声参数；以及响应于所述图像信号处理主通路使用所述噪声参数的指令，由所述噪声参数通路将所述噪声参数发送至所述图像信号处理主通路。

以上电子设备900确保了精准地传递每一个像素点的噪声水平，保证了降噪等实时性需求，而且因为对GAIN值进行了缓存压缩处理，对应到实际的模块设计中，可大大降低GAIN模块的面积，减少ISP装置面积的消耗。

在一些实施例中，指令集可以包括上面描述的实现图像信号处理方法的各个动作。处理器902被配置为执行上面描述的实现图像信号处理方法中的各个动作。

最后需要说明的是，尽管在本申请的说明书文字及附图中已经对上述各实施例进行了描述，但并不能因此限制本申请的专利保护范围。凡是基于本申请的实质理念，利用本申请说明书文字及附图记载的内容所作的等效结构或等效流程替换或修改产生的技术方案，以及直接或间接地将以上实施例的技术方案实施于其他相关的技术领域等，均包括在本申请的专利保护范围之内。

Claims (15)

1.一种图像信号处理方法，其特征在于，包括：

由与图像信号处理主通路并行的噪声参数通路，根据所述图像信号处理主通路产生的噪声水平获取噪声参数；

在所述噪声参数通路中缓存所述噪声参数；以及

响应于所述图像信号处理主通路使用所述噪声参数的指令，由所述噪声参数通路将所述噪声参数发送至所述图像信号处理主通路。

2.根据权利要求1所述的图像信号处理方法，其特征在于，还包括：

对所述噪声参数进行压缩，以缓存压缩后的所述噪声参数；以及

响应于所述指令，对压缩后的所述噪声参数进行解压缩，以将所述噪声参数发送至所述图像信号处理主通路。

3.根据权利要求1所述的图像信号处理方法，其特征在于，还包括：

判断所述噪声参数通路是否为首次根据所述图像信号处理主通路产生的噪声水平获取噪声参数，若为首次，则直接对所述噪声参数进行压缩，并且缓存压缩后的所述噪声参数；以及

若为非首次，则所述噪声参数通路根据所述图像信号处理主通路产生的当前的噪声水平和前一次的噪声参数，通过融合计算获取当前的噪声参数，对所述噪声参数进行压缩，并且缓存压缩后的所述噪声参数。

4.根据权利要求1所述的图像信号处理方法，其特征在于，根据所述图像信号处理主通路产生的噪声水平获取噪声参数包括：

针对所述噪声水平进行N×M的下采样操作，以计算出所述噪声参数，其中N和M为自然数。

5.根据权利要求4所述的图像信号处理方法，其特征在于，还包括：

响应于所述指令，针对所述噪声参数进行N×M的上采样操作，以将上采样后的所述噪声参数发送至所述图像信号处理主通路。

6.根据权利要求3所述的图像信号处理方法，其特征在于，还包括：

在所述融合计算结束后，针对所述噪声参数进行垂直方向N×1上采样，其中N为自然数。

7.根据权利要求6所述的图像信号处理方法，其特征在于，还包括：

响应于所述指令，针对所述噪声参数进行水平方向1×M上采样，以将上采样后的所述噪声参数发送至所述图像信号处理主通路，其中M为自然数。

8.根据权利要求2所述的图像信号处理方法，其特征在于，对压缩后的所述噪声参数进行解压缩包括：通过科学计数法对所述噪声参数进行解压缩。

9.根据权利要求3所述的图像信号处理方法，其特征在于，所述噪声参数通路根据所述图像信号处理主通路产生的当前的噪声水平和前一次的噪声参数通过融合计算获取当前的噪声参数包括：

根据所述图像信号处理主通路产生的当前的噪声水平生成初步噪声参数；以及

将所述初步噪声参数与前一次的噪声参数进行相乘，以计算出当前的噪声参数。

10.一种图像信号处理装置，其特征在于，包括：

图像信号处理主通路，包括第一噪声参数源模块，所述第一噪声参数源模块被配置为生成与像素点相关联的第一噪声水平；以及

噪声参数通路，被设置为与所述图像信号处理主通路并行，并且包括：

第一噪声参数计算模块，被配置为根据由所述第一噪声参数源模块生成的所述第一噪声水平获取第一噪声参数；以及

第一缓存模块，被配置为缓存所述第一噪声参数以作为待使用噪声参数，

其中所述图像信号处理主通路还包括噪声参数使用模块，所述噪声参数使用模块被配置为从所述噪声参数通路接收所述待使用噪声参数，并且根据所述待使用噪声参数执行信号处理。

11.根据权利要求10所述的图像信号处理装置，其特征在于，所述图像信号处理主通路还包括第二噪声参数源模块，所述第二噪声参数源模块被配置为生成与像素点相关联的第二噪声水平，并且

所述噪声参数通路还包括：

第二噪声参数计算模块，被配置为根据所述第一噪声参数和由所述第二噪声参数源模块生成的所述第二噪声水平获取第二噪声参数；以及

第二缓存模块，被配置为缓存所述第二噪声参数以作为所述待使用噪声参数。

12.根据权利要求10所述的图像信号处理装置，其特征在于，所述第一噪声参数计算模块被配置为针对所述第一噪声水平进行N×M的下采样操作，以计算出所述第一噪声参数，其中N和M为自然数，并且

所述噪声参数通路还包括第三噪声参数计算模块，所述第三噪声参数计算模块被配置为针对所述待使用噪声参数进行N×M的上采样操作，并且将上采样后的所述待使用噪声参数发送至所述噪声参数使用模块。

13.根据权利要求11所述的图像信号处理装置，其特征在于，所述第二噪声参数计算模块被配置为针对所述第二噪声水平进行N×M的下采样操作，以根据所述第一噪声参数和下采样后的所述第二噪声水平计算出所述第二噪声参数，其中N和M为自然数，并且

所述噪声参数通路还包括第三噪声参数计算模块，所述第三噪声参数计算模块被配置为针对所述待使用噪声参数进行N×M的上采样操作，并且将上采样后的所述待使用噪声参数发送至所述噪声参数使用模块。

14.根据权利要求10所述的图像信号处理装置，其特征在于，所述图像信号处理主通路还包括第四噪声参数源模块，所述第四噪声参数源模块被配置为生成与像素点相关联的第四噪声水平，

所述噪声参数通路还包括：

第四噪声参数计算模块，被配置为根据所述待使用噪声参数和所述第四噪声水平获取第四噪声参数，并且针对所述第四噪声参数进行垂直方向N×1上采样，其中N为自然数；以及

第四缓存模块，被配置为缓存上采样后的所述第四噪声参数以作为所述待使用噪声参数，并且针对所述待使用噪声参数进行水平方向1×M上采样，以将上采样后的所述待使用噪声参数发送至所述噪声参数使用模块，其中M为自然数。

15.一种电子设备，其特征在于，包括：

存储器，被配置为存储指令集；以及

处理器，被配置为执行所述指令集以执行根据权利要求1至9中任一项所述的图像信号处理方法。

Images