CN115187488A - 图像处理方法及装置、电子设备、存储介质 - Google Patents

Abstract

本公开实施例是关于一种图像处理方法及装置、电子设备、存储介质，涉及影像技术领域，该图像处理方法包括：获取待处理图像，并结合色彩传感器阵列将所述待处理图像划分为多个图像块；对所述待处理图像进行多尺度分解得到多层图像层，并获取每层图像层中各图像块的像素信息以及差异信息；对每层图像层的像素信息进行色调映射，获取目标区域的映射像素信息；结合每层图像层的映射像素信息以及差异信息获取每层图像层的目标像素信息，以生成目标图像。本公开实施例中的技术方案，能够提高图像质量。

Description

图像处理方法及装置、电子设备、存储介质

技术领域

本公开涉及影像技术领域，具体而言，涉及一种图像处理方法及装置、电子设备以及计算机可读存储介质。

背景技术

在图像处理过程中，色调映射是提高图像质量的常用方式。

相关技术中，一般通过全局色调映射与局部色调映射相结合的方式进行色调映射。这种方式中，无法对部分内容进行精细处理，且可能存在一定的突变，具有一定的局限性，图像质量较差。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种图像处理方法及装置、电子设备、计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的图像质量较差的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种图像处理方法，包括：获取待处理图像，并结合色彩传感器阵列将所述待处理图像划分为多个图像块；对所述待处理图像进行多尺度分解得到多层图像层，并获取每层图像层中各图像块的像素信息以及差异信息；对每层图像层的像素信息进行色调映射，获取目标区域的映射像素信息；结合每层图像层的映射像素信息以及差异信息获取每层图像层的目标像素信息，以生成目标图像。

根据本公开的第二方面，提供一种图像处理装置，包括：图像获取模块，用于获取待处理图像，并结合色彩传感器阵列将所述待处理图像划分为多个图像块；图像分解模块，用于对所述待处理图像进行多尺度分解得到多层图像层，并获取每层图像层中各图像块的像素信息以及差异信息；映射模块，用于对每层图像层的像素信息进行色调映射，获取目标区域的映射像素信息；图像生成模块，用于结合每层图像层的映射像素信息以及差异信息获取每层图像层的目标像素信息，以生成目标图像。

根据本公开的第三方面，提供一种电子设备，包括：影像模组，包括色彩传感器阵列；处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面所述的图像处理方法。

根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的图像处理方法。

本公开实施例中提供的技术方案中，一方面，确定出每个图像块的增益信息，进一步确定目标区域的映射像素信息，实现对目标区域表示的局部图像块的单独控制，避免了相关技术中无法针对需要的区域进行针对性处理的局限性，提高了图像处理的准确性和独立性，也提高了图像处理的针对性，能够提高色调映射的效果。另一方面，能够结合多层图像层在多尺度维度上实现对目标区域的单独控制，相比于单一尺度而言，能够消除空间区域内不同图像块之间的处理差异导致的效果突变，提高了全面性且提高了色调映射得到的图像质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本公开实施例的图像处理方法的应用场景的示意图。

图2示意性示出本公开实施例一种图像处理方法的示意图。

图3示意性示出本公开实施例中图像块的示意图。

图4示意性示出本公开实施例中多尺度分解的示意图。

图5示意性示出本公开实施例中获取像素信息的流程示意图。

图6示意性示出本公开实施例的目标区域的示意图。

图7示意性示出本公开实施例中对不同区域增益信息平滑过渡的示意图。

图8示意性示出本公开实施例中平滑过渡的方式的示意图。

图9示意性示出本公开实施例中图像信号处理器的结构示意图。

图10示意性示出本公开实施例中一种图像处理装置的框图。

图11示意性示出本公开实施例中电子设备的框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

相关技术中，通常分为全局色调映射、局部色调映射。全局色调映射计算速度快，但存在无法根据信息内容区分处理。局部色调映射可以根据空间局部信息调整映射函数处理。全局色调映射与局部色调映射相结合可以很好的处理色调映射的效果。但是随着媒体终端应用的扩展，对该子系统模块性能提出了更多的用户需求。除了对空间区域简单划分处理之外，缺少对信息内容进行更进一步细化的处理。比如在人像自拍，合影等存在更加感兴趣的内容时，需要对这些目标区域的重要内容进行更加精细的处理。某些场景下需要多这些重要信息区域进行分割提取处理。对分割出来的区域结合多窗口色彩传感器的色彩信息进行更丰富的颜色管理以求达到更有针对性的目标区域亮度和颜色的表现。

为了解决相关技术中的技术问题，本公开实施例中提供了一种图像处理方法，可以应用于拍照过程中对图像进行色调映射的应用场景。图1示出了可以应用本公开实施例的图像处理方法及装置的系统架构的示意图。

如图1所示，终端101可以为具有图像处理功能的智能设备，例如可以为智能手机、电脑、平板电脑、智能音箱、智能手表、车载设备、可穿戴设备、监控设备等智能设备。终端中可以包含摄像头，摄像头的类型可以为任意类型，只要能够进行拍照处理即可。摄像头的数量可以为至少一个，例如可以为一个、四个等等，只要能够进行拍照即可。待处理图像可以为拍摄得到的图像，也可以为拍摄得到的视频中的每一帧图像。

本公开实施例中，终端101可以包括存储器102以及处理器103。存储器用于对图像进行存储，处理器用于对图像进行处理，例如进行白平衡处理等等。存储器102中可以存储待处理图像104。终端101从存储器102中获取待处理图像104，并发送至处理器103中，在处理器103中对待处理图像进行分块处理得到多个图像块。对所述待处理图像进行多尺度分解得到多层图像层，并获取每层图像层中各图像块的像素信息以及差异信息；接下来对每层图像层的像素信息进行色调映射，获取目标区域的映射像素信息；结合每层图像层的映射像素信息以及差异信息获取每层图像层的目标像素信息，从而生成色调处理后的目标图像105。

需要说明的是，本公开实施例所提供的图像处理方法可以由终端101来执行。图像处理方法也可以设置于终端中。

接下来，参考图2对本公开实施例中的图像处理方法进行详细说明。

在步骤S210中，获取待处理图像，并结合色彩传感器阵列将所述待处理图像划分为多个图像块。

本公开实施例中，待处理图像可以为通过终端的摄像模组对待拍摄物体进行拍摄得到的图像，也可以为拍摄的视频中的每一帧图像。待处理图像也可以为从相册或其他存储位置直接获取的图像或视频中的每一帧图像。终端可以为智能手机、数码相机、智能手表、可穿戴设备、车载设备或者是监控设备的摄像头中的任意一种，只要能够对待拍摄物体进行拍照以及能够实现图像处理即可，此处以智能手机为例进行说明。摄像模组中可以包括至少一个摄像头，例如可以包括主摄像头、长焦摄像头、广角摄像头、微距摄像头中的任意一种或其组合。待处理图像可以为各种类型的图像，例如可以为动态图像或者是静态图像等等。

待处理图像可以为RGB图像，即RGB三通道图像。RGB图像的每一个像素点均是由RGB三种颜色组成的。在终端处于拍照模式时，通过摄像模组得到的拍摄图像可以为RAW图像。RAW图像为摄像模组采集到的原始的图像数据信息。在本公开实施例中，可以对终端拍摄得到的拍摄图像进行转换得到待处理图像。例如，可以对RAW格式的拍摄图像利用通用转换算法进行格式转换得到RGB格式的待处理图像，以提高后续处理的便捷性。

在获取到待处理图像之后，可以对待处理图像进行分块处理得到多个图像块。图像块可以为待处理图像的一部分，且多个图像块之间不重叠。每个图像块的大小可以相同，且图像块的数量可以根据网格数量而确定。示例性地，可以提供一个网格信息并将其作用在待处理图像上，以将待处理图像按照网格信息划分为多个图像块，划分的图像块可以和网格信息一一对应。参考图3中所示，可以包含多个图像块301。例如，网格00对应图像块00，网格01对应图像块01等等。网格信息的大小可以根据实际需求以及硬件结构共同进行设置，即在硬件结构能够支持的情况下，根据实际需求进行设置。例如可以为row行col列。基于此，可以将色彩传感器与图像块以及网格相关联，可以将待处理图像划分为row×col的图像块，且每个图像块与每一个网格相对应，在同一视场角下，网格信息表示的多窗口空间范围与待处理图像一致，以使得网格信息能够覆盖在待处理图像上。每个网格可以对应一个窗口，因此可以称为多窗口。

本公开实施例中，可以额外设置一个色彩传感器阵列，色彩传感器阵列中可以包括多个色彩传感器302，且多个色彩传感器呈阵列排布。色彩传感器的数量可以根据图像块的数量而确定。并且，色彩传感器阵列可以与多窗口信息结合，因此每个色彩传感器均可以为多窗口色彩传感器。每一个网格代表一个色彩传感器，每个色彩传感器与每个图像块相对应。由于将待处理图像划分为多个网格，因此在空间上就形成了row×col的色彩传感器(Color sensor)阵列，该阵列形成了多窗口色彩传感器。

多窗口色彩传感器阵列是一个独立的传感器，可以设置于摄像模组中任意一个摄像头的一侧并靠近摄像模组。摄像模组可以为后置摄像头模组，摄像模组可以包括至少一个摄像头，例如可以包括主摄像头、长焦摄像头、广角摄像头、微距摄像头中的任意一种或其组合。多个摄像头的具体设置位置以及排列顺序可以根据实际需求而确定，此处不做具体限定。色彩传感器阵列例如可以为长焦摄像头的左侧，或者是主摄像头的右侧或者是至少一个摄像头中最后一个摄像头的下侧等等。摄像模组与色彩传感器阵列可以相邻设置，也可以相隔一些间距。色彩传感器阵列的具体位置可以根据实际应用过程中对色彩传感器阵列进行标定的标定结果而确定，也可以根据实际需求而确定，此处不作具体限定。

在引入色彩传感器阵列后，可以通过色彩传感器阵列中的每一个色彩传感器来对关联的图像块进行检测，得到每个图像块的局部色彩信息。色彩传感器可以为用于探测场景颜色、色温、光谱等相关信息的传感器，可以用于探测每个图像块对应的物体的色彩信息以及当前场景的色温信息。物体可以为每个图像块包含的对象，可以为任何类型的对象，例如物体、人物等等。其中，光谱是不同波长，色温是不同波长的响应曲线，波长对应颜色，则光谱、色温和颜色相互关联。因此此处以局部色彩信息为每个图像块对应的物体的色彩信息为例进行说明。

接下来，在步骤S220中，对所述待处理图像进行多尺度分解得到多层图像层，并获取每层图像层中各图像块的像素信息以及差异信息。

本公开实施例中，将多窗口色彩传感器获取的网格信息以及分割模块获得需要的掩膜信息传递至后端色调映射模块。色调映射模块调用网格信息，局部色调映射采用的局部分块网格信息与多窗口色彩传感器的网格信息中的分块网格大小以及区域进行匹配对应。即，色调映射模块的网格信息与色彩传感器的网格信息匹配。此处的色调映射可以为局部色调映射。

确定色调映射模块的网格信息后，对网格信息进行多尺度分解处理，由于网格信息与待处理图像相对应，因此可以基于网格信息将待处理图像进行多尺度分解，得到多层图像层，每层图像层都可以包括至少一个图像块。具体可以通过金字塔分解方式进行分解，例如可以为高斯金字塔或拉普拉斯金字塔，此处不作具体限定。

在一些实施例中，可以将与所述多层图像层中的当前层相邻的下一层的相邻图像块进行聚合，得到所述当前层的图像块，直至所述当前层不满足分解条件为止，以将所述待处理图像分解为多层图像层。当前层可以为任意一层，例如第一层或者是第N层等等，且当前层可以根据分解过程而动态变化。下一层指的是位于当前层底部的相邻层。

图4示意性示出了进行多尺度分解的示意图，参考图4中所示，第一层为待处理图像表示的原始图像层，每个图像块代表一个最小信息数据单元。第二层在第一层的基础上对第一层的相邻图像块进行聚合，输出作为第二层上对应空间位置的图像块。即，对第一层的相邻图像块进行聚合，得到第二层的图像块。聚合可以为加权求和处理。当第一层所有图像块加权求和输出后得到第二层对应的所有图像块。第一层图像块的行数和列数分别除以2即可得第二层上的图像块的行数和列数。重复该操作过程，可以对第二层进行图像块聚合，直至当前层不满足分解条件为止。不满足分解条件可以为当前层只包括1行1列的图像块，即只包含一个图像块，无法再进行分解为止。

参考图4中所示，可以对第一层的图像块进行聚合得到第二层的图像块，对第二层的图像块进行聚合得到第三层，如此重复聚合，得到第N层图像层、第N+1层图像层、第N+2层图像层，直至得到只包含一个图像块的第N+3层为止，以基于网格信息将待处理图像分解为多层图像层。

具体地，当前层可以为任意一层，且当前层可以从第一层开始变化至最后一层。

可以从第一层开始，对每个信息单元进行下采样处理，得到与其相连的上一层(第二层)的信息单元。

进一步地，可以将第一层的上采样像素信息与第一层的原始像素信息进行差异计算，以得到相邻层之间的差异信息。举例而言，对第一层r行c列的数据阵列先做下采样得到r/2行c/2列的数据阵列，该r/2行c/2列的数据阵列即为第二层的数据阵列；对第二层的数据阵列进行上采样处理得到r行c列的数据阵列，该数据阵列与第一层的原始阵列的行数和列数相同。接下来对第一层对应的这两个相同尺寸的数据阵列进行像素逐点求差，得到一个阵列作为差异信息，并且可以将差异信息存储至对应层级位置，例如存储至第一层的对应位置。继续执行上述步骤，直至分解到的当前层不满足分解条件为止。不满足分解条件指的是达到配置的层数或者是当前层只包括一个单像素。如此一来，可以获得每一层的像素信息以及，每一层与相邻的下一层之间的差异信息。

在获取到差异信息之后，可以将每一层的上采样像素信息以及，每一层与相邻的下一层之间的差异信息进行融合，得到每一层的目标像素信息。

在图4划分的多层图像层的基础上，可以将每层的相邻图像块表示的最小信息数据单元的数据信息加权求和的结果存储到上一层对应的图像块中，例如将第一层的相邻图像块加权求和的结果存储至第二层的图像块中。相邻图像块可以为相邻的四个图像块或者是相邻的两个图像块、相邻的九个图像块等等，此处以相邻的四个图像块为例进行说明。

每层图像层中每个图像块的数据信息包括但不限于：原始像素信息、多窗口色彩传感器获取的网格信息、映射曲线以及分割模块获得需要的掩膜信息在每一层每一个图像块中掩膜信息的分布信息，其中网格信息包括每个图像块内的色温、颜色等相关信息。并且，每个图像块中的数据信息可能存在一些差异。由于将待处理图像划分为多层图像层，因此可以将掩膜信息划分为多层图像层。掩膜信息随着多层图像层而缩放，每层图像层的掩膜信息可以根据原始的掩膜信息以及多层图像图的交集或重复部分而确定。掩膜信息的分布信息指的是掩膜信息在每层图像层的每个图像块中的边界信息。可以通过每个图像块中包含的数据信息，执行对应操作。

在将待处理图像划分为多层图像层的同时，可以将待处理图像的原始像素信息分解为多层图像层的每个图像块的像素信息。图5中示意性示出了获取像素信息的流程图，参考图5中所示，主要包括以下步骤：

在步骤S510中，对与当前层相邻的下一层的每个图像块的原始像素信息进行下采样，得到所述当前层的下采样像素信息作为当前层各图像块的像素信息；

在步骤S520中，对所述当前层的下采样像素信息进行上采样，得到与当前层相邻的下一层的每个图像块的上采样像素信息；

在步骤S530中，获取所述上采样像素信息以及所述当前层相邻的下一层的原始像素信息之间的差异信息，直至不满足分解条件为止，以获取每层图像层的差异信息。

本公开实施例中，分解过程从第一层代表的底层开始。对与当前层相邻的下一层的图像块的原始像素信息进行下采样指的是，对下一层的相邻图像块的原始像素信息进行加权平均，得到当前层中每个图像块的像素信息。在计算差异信息时，可以计算每个图像块的上采样像素信息以及原始像素信息之间的差值。当前层可以为第N+1层。第N层r行c列的像素信息先做下采样得到r/2行c/2列的数据阵列，该r/2行c/2列的像素信息即为第N+1层的下采样像素信息。对第N+1层的下采样像素信息进行上采样处理得到r行c列的上采样像素信息，该上采样像素信息的尺寸与第N层原始像素信息的尺寸相同。对这两个相同尺寸的像素信息进行像素逐点求差，并存储该差异阵列。在进行下采样时，采样滤波器的权重可以为高斯分布权重或者其他低通滤波的权重分配方式。并且，上采样时采样滤波器的权重可以与相同信息单元处下采样的滤波器权重相同，此处不再进行赘述。

举例而言，当前层可以为第二层，则当前层相邻的下一层即为第一层。可以将第一层的相邻图像块的原始像素信息进行下采样，得到第二层的图像块的像素信息。进一步对第二层的图像块的像素信息进行上采样得到第一层的每个图像块的上采样像素信息，并计算第一层的每个图像块的上采样像素信息与原始像素信息之间的差值作为差异信息，并将该差异信息存储至第一层的对应位置。

重复步骤S510至步骤S530，直至不满足分解条件，即获得最后一层的像素信息以及差异信息或者是分解至最顶层的单像素或者是分解至系统配置的层数为止，以得到每层图像层的像素信息，并得到每层图像层的像素信息以及该层与下一层的差异信息。

继续参考图2中所示，在步骤S230中，对每层图像层的像素信息进行色调映射，获取目标区域的映射像素信息。

本公开实施例中，色调映射指的是压缩动态范围至输出设备的动态范围以下，使高动态范围HDR图像能够适应低动态范围LDR显示器。色调映射可以通过映射函数实现，映射函数可以用映射曲线描述，具体用于表示输入的像素信息与输出的像素信息之间的映射关系。每个图像块的映射曲线的弧度可能不同，且每个图像块的映射曲线的弧度可以根据实际需求进行配置和设置，此处不作具体限定。

进一步地，基于映射曲线，能够确定每层图像层中每个图像块的局部增益信息。具体地，可以根据每个图像块映射后输出的中间像素信息与原始像素信息的比值确定每层图像层中每个图像块的局部增益信息。

举例而言，对顶层(例如图4中第N+3层)的像素值1(pix1)进行色调映射，该色调映射采用该层数据进行计算，针对该层数据进行映射得映射后的像素值2(pix2)。通过pix2/pix1获得该顶层的局部增益分布。对于其他图像层而言，由于每个图像块中都存在相同或不同的映射曲线，因此可以根据映射曲线来获取每个图像块的原始像素信息对应的映射后的中间像素信息，进一步根据中间像素信息与原始像素信息的比值确定每层图像层中每个图像块的局部增益信息。

为了对待处理图像中的部分区域进行局部处理，可以提供一个掩膜信息来从待处理图像中选择一个目标区域来进行针对性处理，参考图6中所示，可以通过掩膜信息601从待处理图像600中选择出来一个目标区域602，并确定除目标区域之外的其他区域为参考区域603。目标区域可以为需要重点关注的区域，例如人脸区域或者是细节较多的区域等等。此处以人脸区域为例进行说明。由于对待处理图像按照金字塔原理进行了图像分层，因此同时将目标区域也进行了分层，并且，随着从底层至顶层的待处理图像的缩放，其目标区域也按照相同的比例缩放。

在得到每层图像层中每个图像块对应的局部增益信息后，对于每层图像层而言，均可以根据目标区域中包含的图像块的局部增益信息来确定该目标区域的第二增益信息lev_gain_2。其中，由于目标区域可以包含完整图像块以及部分图像块，因此每个图像块的映射曲线的弧度不同，具体根据图像块的比例而确定。示例性地，映射曲线的弧度可以与目标区域中包含的图像块的比例正相关，即完整图像块的映射曲线的弧度最大，且弧度随着图像块比例的减小而减小。此处映射曲线的弧度可以用于表示映射强度。

除此之外，还可以将待处理图像中除目标区域之外的区域确定为参考区域，并将参考区域的增益信息确定为第一增益信息lev_gain_1。第一增益信息可以为参考区域中每个图像块的局部增益信息。第一增益信息可以为局部色调映射与多窗口色彩传感器相关联计算的结果。即，根据权重参数对局部色调映射的增益信息与多窗口色彩传感器得到的色彩信息进行插值，得到的增益信息。

需要说明的是，为了区分目标区域和参考区域，第一增益信息可以大于第二增益信息，也可以小于第二增益信息，只要第一增益信息与第二增益信息不同即可，此处不作具体限定。并且，可以根据调整参数对目标区域的增益信息进行调整输出第二增益信息，但是第一增益信息可以保持不变。调整参数具体根据实际需求而确定，例如用户需求或者是系统设定等等。调整参数可以包含需要调整的图像块以及调整幅度。在进行调整时，可以按照需要调整的图像块以及调整幅度进行全部调整或部分调整，从而对目标区域的增益信息进行调整，实现对目标区域的增益信息进行精准独立控制，提高了色调映射处理的灵活性。

为了避免不同区域的增益信息之间的差异，可以将目标区域内的第二增益信息以及目标区域外参考区域的第一增益信息进行平滑过渡。平滑过渡可以为径向过渡，也可以其他过渡方式，此处以径向过渡为例进行说明。

径向过渡由它的中心定义。在径向过渡过程中，还可以指定渐变的中心、形状以及大小。形状可以为圆形或椭圆形，渐变的大小可以表示到最远的角落。本公开实施例中，以目标区域之外参考区域的第一增益信息的中心区域为径向原点，由目标区域的第二增益信息向参考区域的第一增益信息进行径向过渡，参考图7中所示。二者之间的过渡方式可以为平滑曲线权重径向分布或者是线性分布等一系列权重过渡方式，参考图8中所示，此处不作具体限定。平滑曲线权重径向分布指的是过渡方式的权重可以为平滑曲线分布，线性分布指的是过渡方式的权重的分布方式为线性分布。当为线性分布时，可以在径向距离小于第一阈值Th1时使用第一增益信息，在径向距离大于第一阈值Th1且小于第一阈值Th2时将第一增益信息与第二增益信息进行加权融合，在径向距离大于第二阈值Th2时使用第二增益信息。

在确定目标区域的第二增益信息以及参考区域的第一增益信息以后，可以基于每个位置区域的增益信息对待处理图像进行色调映射处理，具体可以根据目标区域的第二增益信息对关联的图像块的原始像素信息进行映射，得到目标区域的映射像素信息。具体地，可以将目标区域的第二增益信息与目标区域每层图像层中每个图像块的原始像素信息进行乘法操作，具体将第二增益信息与像素点的颜色子像素的数值进行乘法操作；将参考区域的第一增益信息与参考区域每层图像层中每个图像块原始像素信息进行乘法操作，具体将第一增益信息与每个像素点的颜色子像素的数值进行乘法操作，得到待处理图像中每个图像块的像素点的映射像素信息。

继续参考图2中所示，在步骤S240中，结合每层图像层的映射像素信息以及差异信息获取每层图像层的目标像素信息，以生成目标图像。

本公开实施例中，在获取到每层图像层的映射像素信息后，可以从顶层开始进行重构，以获取每层图像层的完整的像素信息，即目标像素信息。具体地，可以包含以下步骤：将与所述当前层相邻的上一层的映射像素信息以及差异信息进行融合，获取所述当前层的目标像素信息；将所述当前层的目标像素信息进行上采样，得到与所述当前层相邻的下一层的目标像素信息，直至确定所有图像层的目标像素信息为止，以确定所述待处理图像对应的目标图像。示例性地，可以将与所述当前层相邻的上一层的映射像素信息进行上采样处理，得到所述当前层的上采样像素信息，并对所述上采样像素信息以及所述当前层与所述上一层的像素信息之间的差异信息进行融合，获取当前层的目标像素信息。进一步可以将当前层的目标像素信息作为输入，根据下一层的映射曲线确定下一层的映射像素信息，并对映射像素信息进行上采样，再加上当前层与下一层之间的差异信息，得到下一层的目标像素信息。如此循环执行，直至获取到所有图像层的目标像素信息为止，即直至获取到底层的目标像素信息为止，并且可以将第一层表示的原始图像的目标像素信息作为整个待处理图像最终的像素信息，从而根据第一层的色调映射后的目标像素信息生成目标图像。

举例而言，从顶层开始，将顶层(例如图4中第N+3层)获得的映射像素信息进行上采样插值，获得下一层(第N+2层)尺寸的上采样像素信息，然后再加上之前保存的下一层(第N+2层)与顶层(第N+3层)的差异信息，就可以获得当前层的完整的像素信息。如此循环，再对当前层(第N+2层)进行上采样以及融合，得到第N+1层的目标像素信息，直至获取到底层表示的原始数据层(第1层)的目标像素信息为止，以获取通过多尺度处理后的色调映射处理的结果作为目标图像。此处的目标图像可以为对目标区域的图像内容进行针对性处理而得到的图像。

本公开实施例中，通过掩膜信息获取目标区域，进而能够对待处理图像中的目标区域表示的局部区域的图像内容进行局部色调映射，避免了相关技术中只能整体处理的局限性，提高了图像处理的灵活性和针对性，也提高了图像质量。

本公开实施例中，通过引入色彩传感器阵列，可根据色彩传感器阵列的多窗口信息获得每个图像块的局部色彩信息。并且可以根据每个图像块的局部色彩信息对全局白平衡中增益进行进一步的调整得到每个图像块的目标白平衡增益的数值。能够实现局部自适应调整，从而获得局部区域的目标白平衡增益，提高准确性。分割模块可以对图像内容更有针对性的进行更进一步的色彩增益矫正。结合色彩传感器阵列的信息可以更准确的对全局、局部、图像内容等多个维度对待处理图像进行更优的色彩处理。

图9示意性示出了图像信号处理器的结构图，参考图9中所示，图像信号处理器可以包括图像白平衡算法模块900，还可以将图像信号处理器划分为前端处理901和后端处理902。前端处理包含了白平衡模块903，后端处理包含色调映射904、色彩905等模块。图像信号处理器中还可以包含分割模块906。除此之外，还可以包含色彩传感器阵列907以及传感器908。

参考图9中所示，色彩传感器阵列获取的网格信息与色调映射模块中获取的网格相关联。传感器与分割模块相关联，将获取的信息发送至分割模块处理获得需要的掩膜信息。将色彩传感器阵列与分割模块输出的掩膜信息相关联，输出目标区域内的色彩信息。

基于上述硬件结构，色彩传感器阵列可以获取每个图像块的局部色彩信息，根据局部色彩信息以及局部色调映射加权融合获取每个图像块的增益信息，色彩传感器阵列根据分割模块获取掩膜信息，从而获取根据掩膜信息对应的目标区域的色彩信息，进而通过金字塔分解方式对待处理图像进行分解，并分别计算每层图像层中目标区域的第二增益信息，并根据后端的色调映射模块对待处理图像进行色调映射。本公开实施例中，通过引入色彩传感器阵列，可以提高后端处理中色调映射模块的能力。

本公开实施例中，通过引入色彩传感器阵列，可根据色彩传感器阵列的多窗口信息获得每个图像块的局部色彩信息。根据分割模块获取的掩膜信息来确定目标区域，并确定目标区域中的目标像素信息，进而确定每层图像层的目标像素信息以获取目标图像。能够实现目标区域的局部自适应色调映射，提高局部色调映射的准确性。并且，能够对待处理图像进行分解获得每层图像层的目标区域的目标像素信息，从而确定出目标图像，增加了图像色调映射处理的频率维度，提高了准确性和全面性。

需要补充的是，在进行图像处理过程中，对于视频或者是预览等实时处理方式，可以进行时域空间的平滑处理。每个时刻t可以将一张图像送入图像信号处理系统中进行处理，以得到Frame t-2，Frame t-1，Frame t，Frame t+1，Frame t+2对应的图像。在该过程中，可以对每张图像上的时域(image sequeneces方向)进行数据平滑滤波。对每张图像的时域进行平滑滤波可以理解为按照图像时序序列方向进行平滑滤波。具体地，平滑滤波可以采用时域空间上进行IIR滤波方式，其中输出结果的计算方式可以为I＝A*w+B*(1-w)。其中，I表示当前frame，即Frame t的输出结果，A为当前Frame的数据或参数，w是当前Frame的权重。B是时间轴上与当前Frame相邻的上一Frame-1的数据或参数，1-w是Frame-1的权重。通过该方式可以进行时域(image sequence)的平滑处理，以减小不同时间之间的差距，避免出现较为突兀的情况。本公开实施例中，可以采用多种时域平滑处理，例如对处理后的单尺度输出结果进行时域平滑处理，或者对多尺度中每层数据进行时域平滑处理，此处不作具体限定。

综上所述，本公开实施例中的技术方案，由于能够根据色彩传感器阵列确定每个图像块的局部色彩信息，从而确定出每个图像块的增益信息，进一步通过目标区域实现对局部图像块的单独控制，避免了相关技术中只能整体处理的局限性，提高了图形处理的准确性和独立性。并且，能够结合多层图像层在多尺度维度上实现对目标区域的单独控制，相比于单一尺度而言，能够消除空间区域内不同图像块之间的处理差异导致的效果突变，提高图像质量。除此之外，通过对不同区域之间的增益信息进行平滑过渡，使得整张图像上不会出现很突兀的区域，提高了平滑度和图像质量。在引入分割模块之后，可以通过掩膜信息在待处理图像中获取目标区域，进而能够对待处理图像中的目标区域表示的局部区域的图像内容进行局部的色调映射处理，避免了相关技术中只能整体处理的局限性，提高了图像处理的灵活性和针对性，也提高了图像质量。能够有效提升对图像的色彩还原的准确性，提高目标图像的图像质量。

本公开实施例中提供了一种图像处理装置，参考图10中所示，该图像处理装置1000可以包括：

图像获取模块1001，用于获取待处理图像，并结合色彩传感器阵列将所述待处理图像划分为多个图像块；

图像分解模块1002，用于对所述待处理图像进行多尺度分解得到多层图像层，并获取每层图像层中各图像块的像素信息以及差异信息；

映射模块1003，用于对每层图像层的像素信息进行色调映射，获取目标区域的映射像素信息；

图像生成模块1004，用于结合每层图像层的映射像素信息以及差异信息获取每层图像层的目标像素信息，以生成目标图像。

在本公开的一种示例性实施例中，图像分解模块包括：聚合模块，用于将与所述多层图像层中的当前层相邻的下一层的相邻图像块进行聚合，得到所述当前层的图像块，直至所述当前层不满足分解条件为止，以将所述待处理图像分解为多层图像层。

在本公开的一种示例性实施例中，聚合模块包括：加权求和模块，用于对与所述当前层相邻的下一层的所有相邻图像块进行加权求和，获取所述当前层的图像块；所述当前层的图像块的数量小于所述相邻的下一层的图像块的数量。

在本公开的一种示例性实施例中，图像分解模块包括：下采样模块，用于对与当前层相邻的下一层的图像块的原始像素信息进行下采样，得到所述当前层的下采样像素信息作为各图像块的像素信息；上采样模块，用于对所述当前层的下采样像素信息进行上采样，得到与当前层相邻的下一层的每个图像块的上采样像素信息；差异信息获取模块，用于获取所述上采样像素信息以及所述当前层相邻的下一层的原始像素信息之间的差异信息，直至不满足分解条件为止，以获取每层图像层的差异信息。

在本公开的一种示例性实施例中，差异信息获取模块包括：差异计算模块，用于对所述上采样像素信息以及原始像素信息之间进行像素逐点求差，以得到差异信息。

在本公开的一种示例性实施例中，映射模块包括：增益确定模块，用于获取除目标区域之外的参考区域的第一增益信息，并获取每层图像层的掩膜信息对应的目标区域的第二增益信息；局部映射模块，用于根据所述第二增益信息，对所述每层图像层中目标区域的原始像素信息进行映射，得到所述映射像素信息。

在本公开的一种示例性实施例中，增益确定模块包括：局部增益确定模块，用于对每层图像层的原始像素信息进行色调映射，根据色调映射得到的中间像素信息与原始像素信息的比值确定每层图像层中每个图像块的局部增益信息；目标区域的增益确定模块，用于根据所述目标区域包含的图像块的局部增益信息，确定目标区域的第二增益信息。

在本公开的一种示例性实施例中，图像生成模块包括：融合模块，用于将与所述当前层相邻的上一层的映射像素信息以及差异信息进行融合，获取所述当前层的目标像素信息；上采样模块，用于将所述当前层的目标像素信息进行上采样，得到与所述当前层相邻的下一层的目标像素信息，直至确定多层图像层的目标像素信息为止。

在本公开的一种示例性实施例中，融合模块包括：上采样模块，用于将与所述当前层相邻的上一层的映射像素信息进行上采样处理，得到所述当前层的上采样像素信息；差异融合模块，用于对所述上采样像素信息以及，所述当前层与所述上一层的像素信息之间的差异信息进行融合，获取所述当前层的目标像素信息。

需要说明的是，上述图像处理装置中各部分的具体细节在图像处理方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

本公开的示例性实施方式还提供一种电子设备。该电子设备可以是上述终端101。一般的，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述图像处理方法。

下面以图11中的移动终端1100为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图11中的构造也能够应用于固定类型的设备。

如图11所示，移动终端1100具体可以包括：处理器1101、存储器1102、总线1103、移动通信模块1104、天线1、无线通信模块1105、天线2、显示屏1106、摄像模块1107、音频模块1108、电源模块1109与传感器模块1110。

处理器1101可以包括一个或多个处理单元，例如：处理器1101可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。本示例性实施方式中的图像去噪处理方法可以由AP、GPU或DSP来执行，当方法涉及到神经网络相关的处理时，可以由NPU来执行，例如NPU可以加载神经网络参数并执行神经网络相关的算法指令。

编码器可以对图像或视频进行编码(即压缩)，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据。移动终端1100可以支持一种或多种编码器和解码器，例如：JPEG(Joint PhotographicExperts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG10、H.1063、H.1064、HEVC(High Efficiency Video Coding，高效率视频编码)等视频格式。

处理器1101可以通过总线1103与存储器1102或其他部件形成连接。

存储器1102可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器1101通过运行存储在存储器1102的指令，执行移动终端1100的各种功能应用以及数据处理。存储器1102还可以存储应用数据，例如存储图像，视频等文件。

移动终端1100的通信功能可以通过移动通信模块1104、天线1、无线通信模块1105、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块1104可以提供应用在移动终端1100上3G、4G、5G等移动通信解决方案。无线通信模块1105可以提供应用在移动终端1100上的无线局域网、蓝牙、近场通信等无线通信解决方案。

显示屏1106用于实现显示功能，如显示用户界面、图像、视频等。摄像模块1107用于实现拍摄功能，如拍摄图像、视频等，且摄像模块中可以包含色彩传感器阵列。音频模块1108用于实现音频功能，如播放音频，采集语音等。电源模块1109用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。传感器模块1110可以包括一种或多种传感器，用于实现相应的感应检测功能。例如，传感器模块1110可以包括惯性传感器，其用于检测移动终端1100的运动位姿，输出惯性传感数据。

需要说明的是，本公开实施例中还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像，并结合色彩传感器阵列将所述待处理图像划分为多个图像块；

对所述待处理图像进行多尺度分解得到多层图像层，并获取每层图像层中各图像块的像素信息以及差异信息；

对每层图像层的像素信息进行色调映射，获取目标区域的映射像素信息；

结合每层图像层的映射像素信息以及差异信息获取每层图像层的目标像素信息，以生成目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述对所述待处理图像进行多尺度分解得到多层图像层，包括：

将与所述多层图像层中的当前层相邻的下一层的相邻图像块进行聚合，得到所述当前层的图像块，直至所述当前层不满足分解条件为止，以将所述待处理图像分解为多层图像层。

3.根据权利要求2所述的图像处理方法，其特征在于，所述将与当前层相邻的下一层的相邻图像块进行聚合，得到所述当前层的图像块，包括：

对与所述当前层相邻的下一层的所有相邻图像块进行加权求和，获取所述当前层的图像块；所述当前层的图像块的数量小于所述相邻的下一层的图像块的数量。

4.根据权利要求1所述的图像处理方法，其特征在于，所述获取每层图像层中各图像块的像素信息以及差异信息，包括：

对与当前层相邻的下一层的图像块的原始像素信息进行下采样，得到所述当前层的下采样像素信息作为各图像块的像素信息；

对所述当前层的下采样像素信息进行上采样，得到与当前层相邻的下一层的每个图像块的上采样像素信息；

获取所述上采样像素信息以及所述当前层相邻的下一层的原始像素信息之间的差异信息，直至不满足分解条件为止，以获取每层图像层的差异信息。

5.根据权利要求4所述的图像处理方法，其特征在于，所述获取所述上采样像素信息以及所述当前层相邻的下一层的原始像素信息之间的差异信息，包括：

对所述上采样像素信息以及原始像素信息之间进行像素逐点求差，以得到差异信息。

6.根据权利要求1所述的图像处理方法，其特征在于，所述对每层图像层的像素信息进行色调映射，获取目标区域的映射像素信息，包括：

获取除目标区域之外的参考区域的第一增益信息，并获取每层图像层的掩膜信息对应的目标区域的第二增益信息；

根据所述第二增益信息，对所述每层图像层中目标区域的原始像素信息进行映射，得到所述映射像素信息。

7.根据权利要求6所述的图像处理方法，其特征在于，所述获取每层图像层的掩膜信息对应的目标区域的第二增益信息，包括：

对每层图像层的原始像素信息进行色调映射，根据色调映射得到的中间像素信息与原始像素信息的比值确定每层图像层中每个图像块的局部增益信息；

根据所述目标区域包含的图像块的局部增益信息，确定目标区域的第二增益信息。

8.根据权利要求1所述的图像处理方法，其特征在于，所述结合每层图像层的映射像素信息以及差异信息获取每层图像层的目标像素信息，以对所述待处理图像进行色调映射，包括：

将与所述当前层相邻的上一层的映射像素信息以及差异信息进行融合，获取所述当前层的目标像素信息；

将所述当前层的目标像素信息进行上采样，得到与所述当前层相邻的下一层的目标像素信息，直至确定多层图像层的目标像素信息为止。

9.根据权利要求8所述的图像处理方法，其特征在于，所述将与所述当前层相邻的上一层的映射像素信息以及差异信息进行融合，获取所述当前层的目标像素信息，包括：

将与所述当前层相邻的上一层的映射像素信息进行上采样处理，得到所述当前层的上采样像素信息；

对所述上采样像素信息以及，所述当前层与所述上一层的像素信息之间的差异信息进行融合，获取所述当前层的目标像素信息。

10.一种图像处理装置，其特征在于，包括：

图像获取模块，用于获取待处理图像，并结合色彩传感器阵列将所述待处理图像划分为多个图像块；

图像分解模块，用于对所述待处理图像进行多尺度分解得到多层图像层，并获取每层图像层中各图像块的像素信息以及差异信息；

映射模块，用于对每层图像层的像素信息进行色调映射，获取目标区域的映射像素信息；

图像生成模块，用于结合每层图像层的映射像素信息以及差异信息获取每层图像层的目标像素信息，以生成目标图像。

11.一种电子设备，其特征在于，包括：

影像模组，包括色彩传感器阵列；

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-9任意一项所述的图像处理方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9任意一项所述的图像处理方法。

Images