CN112351195A - 图像处理方法、装置和电子系统 - Google Patents

Abstract

本发明提供了一种图像处理方法、装置和电子系统，获取待处理图像，以及待处理图像中的目标区域；从待处理图像中提取至少一个图像区域；针对每个图像区域，确定该图像区域与目标区域的位置关系；根据位置关系，调整该图像区域中的像素值；根据调整后的至少一个图像区域，得到对待处理图像进行处理后的目标图像。该方式中，在夜晚等光照不充足的场景下，拍摄人像图像或其他包含主要目标对象的图像时，利用目标区域与图像区域之间的位置关系，调整该图像区域中的像素值，该方式能够提高包含目标对象的目标区域的图像效果，且与其他图像区域的图像效果过度平滑自然，进而提高了图像整体的效果。

Description

图像处理方法、装置和电子系统

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、装置和电子系统。

背景技术

在夜晚等光照不充足的场景下，摄像装置拍摄的图像普遍偏暗，图像质量较差。为了提高图像的质量，可以获取多个不同曝光度的图像，通过去噪、融合、以及细节增强等方法提升图像的亮度和对比度，从而提高图像质量。但是该方式具有如下缺陷：获取的多个不同曝光度的图像中，即使是最大曝光度的图像依然较暗，所以对图像亮度的提升效果有限；另外，摄像装置对拍摄场景进行测光时，容易发生测光错误，导致摄像装置在拍摄图像时的曝光度不合理。当摄像装置拍摄人像图像或其他包含主要目标对象的图像时，这些缺陷使得图像中目标对象区域的图像效果较差。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法、装置和电子系统，以提高图像中目标对象区域的图像效果。

第一方面，本发明实施例提供了一种图像处理方法，该方法包括：获取待处理图像，以及待处理图像中的目标区域；其中，目标区域包含预设目标对象；从待处理图像中提取至少一个图像区域；针对每个图像区域，确定该图像区域与目标区域的位置关系；根据位置关系，调整该图像区域中的像素值；根据调整后的至少一个图像区域，得到对待处理图像进行处理后的目标图像。

进一步的，图像区域包括多个；从待处理图像中提取至少一个图像区域的步骤，包括：通过预设尺度的滑动窗口，以预设步长在待处理图像上进行滑动；将滑动窗口在待处理图像上的初始位置对应的图像区域，以及每次滑动后滑动窗口在待处理图像上的位置对应的图像区域，确定为多个图像区域。

进一步的，该图像区域与目标区域的位置关系，包括：该图像区域与目标区域的重叠程度；根据位置关系，调整该图像区域中的像素值的步骤，包括：根据重叠程度、预设的局部色调映射曲线、以及目标区域对应的调整曲线，调整该图像区域中的像素值。

进一步的，调整曲线用于调整图像区域中的像素亮度；图像区域与目标区域的重叠程度越高，经过调整曲线调整后的图像区域中的像素亮度的提高程度越大。

进一步的，该图像区域与目标区域的重叠程度，包括：该图像区域中，属于目标区域的像素与该图像区域的总像素的比值；根据重叠程度，预设的局部色调映射曲线、以及目标区域对应的调整曲线，调整该图像区域中的像素值的步骤，包括：针对该图像区域中的每个像素，将该像素的像素值输入至局部色调映射曲线，输出该像素的第一调整值；将该像素的像素值输入至目标区域对应的调整曲线，输出该像素的第二调整值；根据比值，对第一调整值和第二调整值进行加权平均处理，得到该像素的调整后的像素值。

进一步的，根据比值，对第一调整值和第二调整值进行加权平均处理，得到该像素的调整后的像素值的步骤，包括：该像素的调整后的像素值p＝t₁*(1-w)+t₂*w；其中，p为该像素的调整后的像素值；t₁为第一调整值；t₂为第二调整值；w为比值。

进一步的，图像区域包括多个通道；根据重叠程度、预设的局部色调映射曲线、以及目标区域对应的调整曲线，调整该图像区域中的像素值的步骤，包括：针对该图像区域中多个通道中的指定通道，根据重叠程度，预设的局部色调映射曲线、以及目标区域对应的调整曲线，调整指定通道中的像素值。

进一步的，多个通道包括亮度通道、第一色度通道和第二色度通道；指定通道包括亮度通道。

进一步的，图像区域包括多个；每个图像区域包括多个通道；调整后的至少一个图像区域包括：多个图像区域的指定通道的调整后的像素值；根据调整后的至少一个图像区域，得到对待处理图像进行处理后的目标图像的步骤，包括：根据多个图像区域的指定通道的调整后的像素值，确定待处理图像中指定通道的调整后的像素值；针对指定通道中的每个像素，将该像素的调整后的像素值与该像素在调整前的像素值相除，得到指定通道的变换矩阵；通过指定通道的变换矩阵，得到对待处理图像进行处理后的目标图像。

进一步的，通过指定通道的变换矩阵，得到对待处理图像进行处理后的目标图像的步骤，包括：针对多个通道中除指定通道的每个通道，针对该通道中的每个像素，将该像素的像素值与变换矩阵中与该像素相应位置上的值相乘，得到该像素的调整后的像素值；将每个通道对应的调整后的像素值进行合并，得到对待处理图像进行处理后的目标图像。

进一步的，从待处理图像中提取至少一个图像区域的步骤之前，方法包括：对待处理图像的指定通道进行gamma校正。

第二方面，本发明实施例提供了一种图像处理装置，该装置包括：获取模块，用于获取待处理图像，以及待处理图像中的目标区域；其中，目标区域包含预设目标对象；提取模块，用于从待处理图像中提取至少一个图像区域；针对每个图像区域，确定该图像区域与目标区域的位置关系；根据位置关系，调整该图像区域中的像素值；调整模块，用于根据调整后的至少一个图像区域，得到对待处理图像进行处理后的目标图像。

第三方面，本发明实施例提供了一种电子系统，该电子系统包括：处理设备和存储装置；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如第一方面任一项的图像处理方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如第一方面任一项的图像处理方法的步骤。

本发明实施例带来了以下有益效果：

本发明提供了一种图像处理方法、装置和电子系统，获取待处理图像，以及待处理图像中的目标区域；从待处理图像中提取至少一个图像区域；针对每个图像区域，确定该图像区域与目标区域的位置关系；根据位置关系，调整该图像区域中的像素值；根据调整后的至少一个图像区域，得到对待处理图像进行处理后的目标图像。该方式中，在夜晚等光照不充足的场景下，拍摄人像图像或其他包含主要目标对象的图像时，利用目标区域与图像区域之间的位置关系，调整该图像区域中的像素值，该方式能够提高包含目标对象的目标区域的图像效果，且与其他图像区域的图像效果过度平滑自然，进而提高了图像整体的效果。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子系统的结构示意图；

图2为本发明实施例提供的一种图像处理方法的流程图；

图3为本发明实施例提供的另一种图像处理方法的流程图；

图4为本发明实施例提供的另一种图像处理方法的流程图；

图5为本发明实施例提供的一种具体的图像处理方法的流程图；

图6为本发明实施例提供的一种图像处理装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前超级夜景作为摄像装置的一项功能，能够在夜晚等光照不充足的场景下，捕捉到诸多细节；为了大幅度提升图像的质量，极大的提升用户对于夜晚等场景下摄像功能的体验，通常利用超级夜景算法，比如，基于YUV域的超级夜景算法，获取多个不同曝光度的图像，通过去噪、融合、以及细节增强等方法来提升图像的亮度和对比度，从而提高图像质量。但是该方法相比普通的夜景图像，在暗区和高光区域的细节较好，但是人像区域仍然较暗；其中，获取的多个不同曝光度的图像中，即使是最大曝光度的图像依然较暗，所以对图像亮度的提升效果有限；另外，摄像装置对拍摄场景进行测光时，容易发生测光错误，导致摄像装置在拍摄图像时的曝光度不合理。由于目标区域与背景的亮度存在差异，因而对其进行全局提亮，仍然会使目标区域相比背景较暗，无法较好的解决该问题；如果对目标区域进行局部提亮，会造成目标区域与背景存在亮度分层的问题。

基于此，本发明实施例提供的一种图像处理方法、装置和电子系统，该技术可以应用于计算机、智能手机、摄像机、平板电脑等具有摄像功能的设备中，该技术可以采用相关软件和硬件实现，下面通过实施例进行描述。为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像处理方法进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的图像处理方法、装置和电子系统的示例电子系统100。

如图1所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108，另外可以包括一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，电子系统也可以具有其他组件和结构。

处理设备102可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子系统100中的其它组件的数据进行处理，还可以控制电子系统100中的其它组件以执行期望的功能。

存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。

输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

图像采集设备110可以采集预览视频帧或图片数据(如待处理图像或目标视频帧)，并且将采集到的预览视频帧或图像数据存储在存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的图像处理方法、装置和电子系统的示例电子系统中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到图片的指定位置。当上述电子系统中的各器件集成设置时，该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端、摄像机等智能终端。

实施例二：

本实施例提供了一种图像处理方法，如图2所示，该方法包括如下步骤：

步骤S202，获取待处理图像，以及待处理图像中的目标区域；其中，目标区域包含预设目标对象；

其中，待处理图像可以包括人像或其他目标对象的图像；上述待处理图像可以是手机的前置摄像头拍摄，也可以是手机的后置摄像头拍摄，还可以是其他摄像装置拍摄等；上述目标区域可以是待处理图像中包含目标对象的区域，该区域可以是正方向、长方形、圆形、菱形等；例如，可以利用摄像装置自带的人脸检测模型，检测前置人像的人脸框，该人脸框的矩形即为待处理图像中的目标区域；上述预设目标对象可以是摄像装置预先设置的，比如，人脸、美食、动物、家具等对象。

步骤S204，从待处理图像中提取至少一个图像区域；针对每个图像区域，确定该图像区域与目标区域的位置关系；根据位置关系，调整该图像区域中的像素值；

具体的，可以从待处理图像中随机提取一个或者多个图像区域，也可以从待处理图像中按照一定的规律提取一个或者多个图像区域，还可以从待处理图像中根据图像的特征提取一个或者多个图像区域等，本实施例不限定图像区域的提取方式；上述图像区域如果包括多个，该多个图像区域之间位置关系可以重叠，可以不重叠，也可以具有一定的距离；上述图像区域可以是单通道，也可以是多通道，其中，图像通道可以是红色绿色蓝色三个通道，也可以是亮度色度两个通道；如果多个图像区域之间位置关系为重叠，可以包括：该图像区域中属于目标区域的面积与该图像区域的总面积的比值，或者，该图像区域中属于目标区域的像素与该图像区域的总像素的比值，或者，该图像区域中不属于目标区域的面积与该图像区域的总面积的比值，或者，该图像区域中不属于目标区域的像素与该图像区域的总像素的比值。

实际实现时，针对每个图像区域，根据该图像区域与目标区域的位置关系，可以根据像素调整算法，比如，gamma校正、直方图校准、视觉适应模型、局部色调映射等方法，利用统计的方式，将该图像区域中的每个像素进行相应的调整，以使该图像区域中属于目标区域的像素与不属于目标区域的像素，即目标区域与背景区域之间可以自然过渡，避免亮度分层等问题。

步骤S206，根据调整后的至少一个图像区域，得到对待处理图像进行处理后的目标图像。

具体的，如果图像区域为多通道，则调整图像区域的像素值，是多通道同时调整，调整后的多个图像区域，可以通过叠加等方式，直接得到对待处理图像进行处理后的目标图像；如果图像区域为单通道，调整图像区域的像素值，是单通道调整，则调整后的多个图像区域，可以利用矩阵变换等方式，对其他通道的图像区域进行调整，最后通过合并等方式，得到对待处理图像进行处理后的目标图像。

本发明提供了一种图像处理方法，获取待处理图像，以及待处理图像中的目标区域；从待处理图像中提取至少一个图像区域；针对每个图像区域，确定该图像区域与目标区域的位置关系；根据位置关系，调整该图像区域中的像素值；根据调整后的至少一个图像区域，得到对待处理图像进行处理后的目标图像。该方式中，在夜晚等光照不充足的场景下，拍摄人像图像或其他包含主要目标对象的图像时，利用目标区域与图像区域之间的位置关系，调整该图像区域中的像素值，该方式能够提高包含目标对象的目标区域的图像效果，且与其他图像区域的图像效果过度平滑自然，进而提高了图像整体的效果。

实施例三：

本实施例提供了另一种图像处理方法，该方法在上述实施例的基础上实现。本实施例重点描述从待处理图像中提取至少一个图像区域的步骤的具体实现过程(通过步骤S304-S306实现)，以及根据位置关系，调整该图像区域中的像素值的步骤的实现过程(通过步骤S310实现)，如图3所示，该方法包括如下步骤：

步骤S302，获取待处理图像，以及待处理图像中的目标区域；其中，目标区域包含预设目标对象；

步骤S304，通过预设尺度的滑动窗口，以预设步长在待处理图像上进行滑动；

上述预设尺度的滑动窗口可以根据实际的图像进行设置；上述预设步长也可以根据实际的图像以及滑动窗口的尺度进行设置，比如，可以设置预设步长为预设尺度的2/3大小，此时，每个滑动窗口之间是有重合的滑动。具体的，通过预设尺度的滑动窗口，以预设步长在待处理图像上可以以预设的滑动方式进行滑动，比如，可以是按照弓字形一行一行或者一列一列的进行滑动，也可以是按照之字形一行一行或者一列一列的进行滑动。

步骤S306，将滑动窗口在待处理图像上的初始位置对应的图像区域，以及每次滑动后滑动窗口在待处理图像上的位置对应的图像区域，确定为多个图像区域；

上述初始位置可以是待处理图像中四个边缘角的位置，也可以是图像中任意一个位置。具体的，在进行图像处理时，将预设尺度的滑动窗口，从待处理图像上的初始位置开始进行滑动，其中，该初始位置对应的区域即为图像区域；每次滑动窗口在待处理图像上进行滑动时，每滑动一次，滑动窗口在待处理图像上的位置对应的区域即为图像区域，直到滑动窗口在待处理图像中滑动完成，得到多个图像区域。

步骤S308，针对每个图像区域，确定该图像区域与目标区域的重叠程度；

初始状态下，滑动窗口在待处理图像上的初始位置对应的图像区域，根据待处理图像中的目标区域，确定该图像区域与目标区域的重叠程度；然后，滑动窗口每滑动一次，在待处理图像上即对应得到一个图像区域，根据待处理图像中的目标区域，确定该图像区域与目标区域的重叠程度。

步骤S310，根据重叠程度、预设的局部色调映射曲线、以及目标区域对应的调整曲线，调整该图像区域中的像素值；

上述预设的局部色调映射曲线通常根据每个像素点周围像素点的信息进行设置；比如，可以根据图像的掩膜图，即0/mask矩阵，确定当前图像区域的局部色调映射曲线；通常在不同的图像区域使用不同的局部色调映射曲线；上述局部色调映射曲线可以在降低高动态图像范围的同时着力保护捕捉到的原始图像的外观；上述调整曲线可以用于调整图像区域中的像素亮度；该调整曲线具体可以是亮度调整曲线，用于对像素的亮度值进行调整。例如，目标区域可以是人脸区域，通过该调整区域可以提高目标区域的亮度，从而提高人脸的亮度。

为了避免目标区域与其他周围区域的亮度差异较大，在调整过程中，可以设置图像区域与目标区域的重叠程度越高，经过调整曲线调整后的图像区域中的像素亮度的提高程度越大。还以目标区域为人类区域为例，从人脸区域的中间点到四周，对像素亮度的调整程度越来越小，亮度的调整程度随着像素的位置线性变化。另一种实现方式中，调整曲线中可以设置多个调整值，以目标区域的中心为基准，将目标区域划分为多个子区域，例如划分为三个子区域，中心子区域、中部子区域和边缘子区域，每个子区域对应一个调整值；中心子区域的像素亮度调整程度大于中部子区域的像素亮度调整程度；中部子区域的像素亮度调整程度大于边缘子区域的像素亮度调整程度；当目标区域为人脸区域时，可以使人脸区域的亮度值和背景区域的亮度值无明显分层，亮度过渡更自然。

实际实现时，可以首先根据图像区域中的像素信息，设置局部色调映射曲线，根据设置的局部色调映射曲线、以及目标区域对应的调整曲线，分别对该图像区域中的像素进行调整，得到对应的调整结果；通过重叠程度，利用加权的方式，进一步调整该图像区域中的像素值。

针对上述步骤S310，一种优选的实施方式：

上述图像区域与目标区域的重叠程度，包括：该图像区域中，属于目标区域的像素与该图像区域的总像素的比值；

步骤A1，针对该图像区域中的每个像素，将该像素的像素值输入至局部色调映射曲线，输出该像素的第一调整值；将该像素的像素值输入至目标区域对应的调整曲线，输出该像素的第二调整值；

步骤A2，根据比值，对第一调整值和第二调整值进行加权平均处理，得到该像素的调整后的像素值。

上述比值为小于等于1的数，可以表示图像区域中属于目标区域的像素与图像区域的占比；例如，当图像区域中一半的像素属于目标区域，则该图像区域对应的比值为0.5，当图像区域中百分之二十的像素属于目标区域，则该图像区域对应的比值为0.2。实际实现时，可以利用比值，对第一调整值进行加权，然后与第二调整值进行平均处理；也可以利用比值，对第二调整值进行加权，然后与第一调整值进行平均处理；还可以利用比值，对第一调整值和第二调整值分别进行加权，然后进行平均处理，得到该像素的调整后的像素值。

针对步骤A2，一种优选的实施方式：

该像素的调整后的像素值p＝t₁*(1-w)+t₂*w；其中，p为该像素的调整后的像素值；t₁为第一调整值；t₂为第二调整值；w为比值。

上述该像素的调整后的像素值的计算公式可以理解为，当图像区域中属于目标区域的像素占比较大时，即w较大时，可以利用加权平均处理的方式，使属于目标区域的像素可以较多的利用目标区域对应的调整曲线进行调整；当图像区域中不属于目标区域的像素占比较大时，可以利用加权平均处理的方式，使属于目标区域的像素可以较多的利用局部色调映射曲线进行调整；以使目标区域的提亮效果比背景的提亮效果更加明显，同时使目标区域与背景之间的亮度过度更加自然。

针对上述步骤S310，另一种优选的实施方式：

上述图像区域包括多个通道；该通道可以包括是红(R)、绿(G)、蓝(B)颜色的通道，即RGB色彩模式，也可以是亮度(Y)和色度(UV)的通道，即YUV(也可以称为YCrCb)一种颜色编码方法；其中，YUV三个字母中，其中"Y"表示明亮度(Luminance或Luma)，也就是灰阶值；而"U"和"V"表示的是色度(Chrominance或Chroma)，作用是描述图像色彩及饱和度，用于指定像素的颜色；如果只有Y通道而没有U、V通道，那么这样表示的图像就是黑白灰度图像。

针对该图像区域中多个通道中的指定通道，根据重叠程度，预设的局部色调映射曲线、以及目标区域对应的调整曲线，调整指定通道中的像素值。

上述指定通道可以是多个通道中的一个通道，比如，可以是亮度通道，也可以是色度通道；根据预设的局部色调映射曲线、以及目标区域对应的调整曲线，分别对该图像区域中的指定通道的像素进行调整，得到对应的调整结果；通过重叠程度，利用加权的方式，进一步调整该图像区域中的像素值。

进一步的，上述多个通道包括亮度通道、第一色度通道和第二色度通道；指定通道包括亮度通道。

具体的，获取的待处理图像可以为YUV格式数据，可以对待处理图像进行拆分，拆分为亮度通道、第一色度通道和第二色度通道；上述亮度通道可以表示为Y通道，第一色度通道可以表示为U通道、第二色度通道可以表示为V通道，第一色度通道和第二色度通道也可以表示为UV通道。

步骤S312，根据调整后的至少一个图像区域，得到对待处理图像进行处理后的目标图像。

本发明提供了另一种图像处理方法，获取待处理图像，以及待处理图像中的目标区域；从待处理图像中，通过滑动窗口的方式，提取多个图像区域；针对每个图像区域，确定该图像区域与目标区域的重叠程度；根据重叠程度、预设的局部色调映射曲线、以及目标区域对应的调整曲线，调整该图像区域中的像素值；根据调整后的至少一个图像区域，得到对待处理图像进行处理后的目标图像。该方式中，在夜晚等光照不充足的场景下，拍摄人像图像或其他包含主要目标对象的图像时，利用目标区域的与图像区域之间的重叠程度、预设的局部色调映射曲线、以及目标区域对应的调整曲线，调整该图像区域中的像素值，之间的重叠程度，调整该图像区域中的像素值，该方式能够提高包含目标对象的目标区域的图像效果，且与其他图像区域的图像效果过度平滑自然，进而提高了图像整体的效果。

实施例四：

本实施例提供了另一种图像处理方法，上述图像区域包括多个；每个图像区域包括多个通道；调整后的至少一个图像区域包括：多个图像区域的指定通道的调整后的像素值；该方法在上述实施例的基础上实现。本实施例重点描述根据调整后的至少一个图像区域，得到对待处理图像进行处理后的目标图像的步骤的具体实现过程(通过步骤S414-S418实现)，以及从待处理图像中提取多个图像区域的步骤之前步骤的实现过程(通过步骤S404实现)，如图4所示，该方法包括如下步骤：

步骤S402，获取待处理图像，以及待处理图像中的目标区域；其中，目标区域包含预设目标对象；

需要说明的是，上述待处理图像中目标区域，通常是由摄像装置自带的目标检测模型检测得到的，包括目标区域的位置信息，由于检测得到的目标区域的位置信息不够准确，不能获取完整的目标区域，根据目标区域，对待处理图像中目标区域的位置信息进行放大或者缩小；比如，检测到的人脸框较大，其中不仅包括人脸的面部，还包括头发或者部分背景，此时需要对检测得到的目标区域的位置信息进行缩小，使目标区域的位置信息仅包括人脸的面部区域；还如，检测到的人脸框较小，其中仅包括人脸的眼睛和鼻子，不包括嘴巴等，此时需要对检测得到的目标区域的位置信息进行放大，使目标区域的位置信息包括人脸的面部区域。其中，通常根据预设的比例值，对待处理图像中目标区域的位置信息进行放大或者缩小，该比例值可以根据实际应用场景进行设置。

根据获取到的待处理图像，以及待处理图像中准确的目标区域的位置信息，确定该待处理图像的掩膜图；其中，目标区域的像素的像素值为1，其他区域的像素的像素值为0，即0/1mask矩阵。

步骤S404，对待处理图像的指定通道进行gamma校正；

上述gamma校正源于CRT(显示器/电视机)的响应曲线，即其亮度与输入电压的非线性关系，可以理解为对待处理图像的指定通道进行亮度偏差的调整，以减少各灰阶的颜色误差，使图像亮度颜色一致；上述指定通道为亮度通道，即Y通道。

需要说明的是，在对待处理图像的指定通道进行gamma校正之前，为了降低后续图像处理的计算量，对指定通道进行尺度缩小；在初始状态下指定通道与待处理图像的尺度是相同的，具体尺度缩小的大小可以根据计算平台的计算能力进行设置，比如，对于手机而言，可以根据手机的计算能力将指定通道的尺度缩小6倍。

步骤S406，通过预设尺度的滑动窗口，以预设步长在待处理图像上进行滑动；

步骤S408，将滑动窗口在待处理图像上的初始位置对应的图像区域，以及每次滑动后滑动窗口在待处理图像上的位置对应的图像区域，确定为多个图像区域；

步骤S410，针对每个图像区域，确定该图像区域与目标区域的重叠程度；

步骤S412，根据重叠程度、预设的局部色调映射曲线、以及目标区域对应的调整曲线，调整该图像区域中的像素值；

步骤S414，根据多个图像区域的指定通道的调整后的像素值，确定待处理图像中指定通道的调整后的像素值；

因为一个像素可能属于多个图像区域，也可能属于一个图像区域；当多个图像区域中有重叠时，图像中的一个像素可能属于多个图像区域，比如，利用滑动窗口的形式确定多个图像区域，步长小于滑动窗口时；此时，该像素可能有多个调整后的像素值，由于多个调整后的像素值差异较小，因此，可以计算多个调整后的像素值的平均值，或取多个调整后的像素值中的最后一个值，或从多个调整后的像素值中随机取一个值，确定为该像素调整后的像素值，得到每个像素调整后的像素值，进而确定待处理图像中指定通道的调整后的像素值。

当多个图像区域中没有重叠时，图像中的一个像素属于一个图像区域，可以直接将调整后的像素值，确定为待处理图像中指定通道的调整后的像素值。

步骤S416，针对指定通道中的每个像素，将该像素的调整后的像素值与该像素在调整前的像素值相除，得到指定通道的变换矩阵；

上述指定通道可以是进行尺度缩小的图像，也可以是没有进行尺度缩小的图像；为了使除指定通道以外的其他通道中的像素也能够进行相应的调整，可以针对指定通道中的每个像素，将该像素的调整后的像素值与该像素在调整前的像素值相除，得到指定通道的变换矩阵。

步骤S418，通过指定通道的变换矩阵，得到对待处理图像进行处理后的目标图像。

如果上述指定通道是进行尺度缩小的图像，可以将上述变换矩阵进行放大，使放大后变换矩阵的尺度与原指定通道的尺度相同；可以直接根据指定通道的变换矩阵，将原指定通道中的像素的像素值与变换矩阵中相应位置上的值进行逐元素相乘，得到指定通道中的像素的调整后的像素值；可以根据得到的指定通道中的像素的调整后的像素值，直接得到对待处理图像进行处理后的目标图像；也可以将得到的指定通道中的像素的调整后的像素值与其他通道的像素的像素值进行相应计算，得到对待处理图像进行处理后的目标图像。

针对步骤S418，一种优选的实施方式：

步骤B1，针对多个通道中除指定通道的每个通道，针对该通道中的每个像素，将该像素的像素值与变换矩阵中与该像素相应位置上的值相乘，得到该像素的调整后的像素值；

上述多个通道中除指定通道的每个通道包括：第一色度通道和第二色度通道，可以表示为UV通道；其中，UV通道的高通常是指定通道的高的一半，宽通常与指定通道的宽相同；因此，在进行相乘计算之前需要对UV通道进行尺度放大，以使UV通道的尺度与的指定通道尺度相同；具体的，针对该通道中的每个像素，将该像素的像素值与变换矩阵中与该像素相应位置上的值相乘，得到该像素的调整后的像素值，以使UV通道中的像素进行与Y通道同比例的调整。

步骤B2，将每个通道对应的调整后的像素值进行合并，得到对待处理图像进行处理后的目标图像。

将Y通道和UV通道中调整后的像素值进行合并，得到最终调整过后的YUV结果，即调整后的待处理图像。

该方式中，提供了另一种对图像处理方法，该方法待处理图像，以及该待处理图像中的目标区域，通过滑动窗口的方式，提取多个图像区域；针对每个图像区域，根据目标区域的位置信息，确定该图像区域与目标区域的重叠程度；根据重叠程度、预设的局部色调映射曲线、以及目标区域对应的调整曲线，通过加权平均处理的方式，调整该图像区域中的像素值；根据多个图像区域的指定通道的调整后的像素值，确定待处理图像中指定通道的调整后的像素值；针对指定通道中的每个像素，将该像素的调整后的像素值与该像素在调整前的像素值相除，得到指定通道的变换矩阵；通过指定通道的变换矩阵，得到对待处理图像进行处理后的目标图像。就能够对比较暗的目标区域进行提亮，且提亮效果过度平滑自然，整体来说，以目标为中心，亮度提亮程度随着背景离目标区域的距离不断变小，从而解决了亮度平滑过度自然的问题，不存在任何分层的亮度差异，该算法可以适用在YUV域的绝大部分场景中，该方法在本发明中被称为YUV局部色调映射算法(简称YLTM)。

参见图5所示的一种具体的图像处理方法的流程图，本实施例提供了一种具体的实施方式，通过手机等摄像装置自带的常规超级夜景功能和人脸检测模型，获取常规超级夜景的输出图像以及人脸框；将获取到的图像进行通道拆分，分为Y通道和UV通道，即亮度通道和色度通道，并对Y通道进行尺度缩放，同时进行gamma矫正；根据人脸框，对该人脸框的大小进行调整，获取尽可能完整的人像区域，同时获取该图像的掩膜图，即0/1mask矩阵；对Y通道进行局部色调映射，具体的，可以根据该图像的掩膜图，即0/1mask矩阵，确定当前滑动窗口的图像区域的色调映射曲线，针对每个图像区域，根据人脸框，确定该图像区域与人脸区域的重叠程度；根据重叠程度，以及色调映射曲线，得到调整后的结果；将调整后的结果与算法的输入图像数据进行逐元素相除，得到变换矩阵；将原始Y通道和UV通道与变换矩阵逐元素相乘，得到相应的调整结果，最后将调整结果进行合并，得到最终的YUV结果，即调整后的待处理图像。

实施例五：

对应于上述方法实施例，参见图6所示的一种图像处理装置的结构示意图，该装置包括：

获取模块61，用于获取待处理图像，以及待处理图像中的目标区域；其中，目标区域包含预设目标对象；

提取模块62，用于从待处理图像中提取至少一个图像区域；针对每个图像区域，确定该图像区域与目标区域的位置关系；根据位置关系，调整该图像区域中的像素值；

调整模块63，用于根据调整后的至少一个图像区域，得到对待处理图像进行处理后的目标图像。

本发明提供了一种图像处理装置，获取待处理图像，以及待处理图像中的目标区域；从待处理图像中提取至少一个图像区域；针对每个图像区域，确定该图像区域与目标区域的位置关系；根据位置关系，调整该图像区域中的像素值；根据调整后的至少一个图像区域，得到对待处理图像进行处理后的目标图像。该方式中，在夜晚等光照不充足的场景下，拍摄人像图像或其他包含主要目标对象的图像时，利用目标区域与图像区域之间的重叠程度，调整该图像区域中的像素值，该方式能够提高包含目标对象的目标区域的图像效果，且与其他图像区域的图像效果过度平滑自然，进而提高了图像整体的效果。

进一步的，上述图像区域包括多个；上述提取模块还用于：通过预设尺度的滑动窗口，以预设步长在待处理图像上进行滑动；将滑动窗口在待处理图像上的初始位置对应的图像区域，以及每次滑动后滑动窗口在待处理图像上的位置对应的图像区域，确定为多个图像区域。

进一步的，上述该图像区域与目标区域的位置关系，包括：该图像区域与目标区域的重叠程度；根据位置关系；上述提取模块还用于：根据重叠程度、预设的局部色调映射曲线、以及目标区域对应的调整曲线，调整该图像区域中的像素值。

进一步的，上述调整曲线用于调整图像区域中的像素亮度；图像区域与目标区域的重叠程度越高，经过调整曲线调整后的图像区域中的像素亮度的提高程度越大。

进一步的，上述该图像区域与目标区域的重叠程度，包括：该图像区域中，属于目标区域的像素与该图像区域的总像素的比值；上述提取模块还用于：针对该图像区域中的每个像素，将该像素的像素值输入至局部色调映射曲线，输出该像素的第一调整值；将该像素的像素值输入至目标区域对应的调整曲线，输出该像素的第二调整值；根据比值，对第一调整值和第二调整值进行加权平均处理，得到该像素的调整后的像素值。

进一步的，上述提取模块还用于：该像素的调整后的像素值p＝t₁*(1-w)+t₂*w；其中，p为该像素的调整后的像素值；t₁为第一调整值；t₂为第二调整值；w为比值。

进一步的，图像区域包括多个通道；上述提取模块还用于：针对该图像区域中多个通道中的指定通道，根据重叠程度，预设的局部色调映射曲线、以及目标区域对应的调整曲线，调整指定通道中的像素值。

进一步的，上述多个通道包括亮度通道、第一色度通道和第二色度通道；指定通道包括亮度通道。

进一步的，上述图像区域包括多个；每个图像区域包括多个通道；调整后的至少一个图像区域包括：多个图像区域的指定通道的调整后的像素值；上述调整模块还用于：根据多个图像区域的指定通道的调整后的像素值，确定待处理图像中指定通道的调整后的像素值；针对指定通道中的每个像素，将该像素的调整后的像素值与该像素在调整前的像素值相除，得到指定通道的变换矩阵；通过指定通道的变换矩阵，得到对待处理图像进行处理后的目标图像。

进一步的，上述调整模块还用于：针对多个通道中除指定通道的每个通道，针对该通道中的每个像素，将该像素的像素值与变换矩阵中与该像素相应位置上的值相乘，得到该像素的调整后的像素值；将每个通道对应的调整后的像素值进行合并，得到对待处理图像进行处理后的目标图像。

进一步的，上述装置还用于：对待处理图像的指定通道进行gamma校正。

本发明实施例提供的图像处理装置，与上述实施例提供的图像处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

实施例六：

本发明实施例提供了一种电子系统，该电子系统包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取预览视频帧或图像数据；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如上述图像处理方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如上述图像处理方法的步骤。

本发明实施例所提供的图像处理方法、装置和电子系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种图像处理方法，其特征在于，所述方法包括：

获取待处理图像，以及所述待处理图像中的目标区域；其中，所述目标区域包含预设目标对象；

从所述待处理图像中提取至少一个图像区域；针对每个所述图像区域，确定该图像区域与所述目标区域的位置关系；根据所述位置关系，调整该图像区域中的像素值；

根据调整后的所述至少一个图像区域，得到对所述待处理图像进行处理后的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述图像区域包括多个；所述从所述待处理图像中提取至少一个图像区域的步骤，包括：

通过预设尺度的滑动窗口，以预设步长在所述待处理图像上进行滑动；

将所述滑动窗口在所述待处理图像上的初始位置对应的图像区域，以及每次滑动后所述滑动窗口在所述待处理图像上的位置对应的图像区域，确定为多个所述图像区域。

3.根据权利要求1所述的方法，其特征在于，该图像区域与所述目标区域的位置关系，包括：该图像区域与所述目标区域的重叠程度；

所述根据所述位置关系，调整该图像区域中的像素值的步骤，包括：

根据所述重叠程度、预设的局部色调映射曲线、以及所述目标区域对应的调整曲线，调整该图像区域中的像素值。

4.根据权利要求3所述的方法，其特征在于，所述调整曲线用于调整所述图像区域中的像素亮度；

所述图像区域与所述目标区域的重叠程度越高，经过所述调整曲线调整后的所述图像区域中的像素亮度的提高程度越大。

5.根据权利要求3所述的方法，其特征在于，该图像区域与所述目标区域的重叠程度，包括：该图像区域中，属于所述目标区域的像素与该图像区域的总像素的比值；

所述根据所述重叠程度，预设的局部色调映射曲线、以及所述目标区域对应的调整曲线，调整该图像区域中的像素值的步骤，包括：

针对该图像区域中的每个像素，将该像素的像素值输入至所述局部色调映射曲线，输出该像素的第一调整值；将该像素的像素值输入至所述目标区域对应的调整曲线，输出该像素的第二调整值；

根据所述比值，对所述第一调整值和所述第二调整值进行加权平均处理，得到该像素的调整后的像素值。

6.根据权利要求5所述的方法，其特征在于，根据所述比值，对所述第一调整值和所述第二调整值进行加权平均处理，得到该像素的调整后的像素值的步骤，包括：

该像素的调整后的像素值p＝t₁*(1-w)+t₂*w；

其中，p为该像素的调整后的像素值；t₁为所述第一调整值；t₂为所述第二调整值；w为所述比值。

7.根据权利要求3所述的方法，其特征在于，所述图像区域包括多个通道；

所述根据所述重叠程度、预设的局部色调映射曲线、以及所述目标区域对应的调整曲线，调整该图像区域中的像素值的步骤，包括：

针对该图像区域中所述多个通道中的指定通道，根据所述重叠程度，预设的局部色调映射曲线、以及所述目标区域对应的调整曲线，调整所述指定通道中的像素值。

8.根据权利要求7所述的方法，其特征在于，所述多个通道包括亮度通道、第一色度通道和第二色度通道；所述指定通道包括所述亮度通道。

9.根据权利要求1所述的方法，其特征在于，所述图像区域包括多个；每个所述图像区域包括多个通道；所述调整后的所述至少一个图像区域包括：多个所述图像区域的指定通道的调整后的像素值；

所述根据调整后的所述至少一个图像区域，得到对所述待处理图像进行处理后的目标图像的步骤，包括：

根据多个所述图像区域的指定通道的调整后的像素值，确定所述待处理图像中所述指定通道的调整后的像素值；

针对所述指定通道中的每个像素，将该像素的调整后的像素值与该像素在调整前的像素值相除，得到所述指定通道的变换矩阵；

通过所述指定通道的变换矩阵，得到对所述待处理图像进行处理后的目标图像。

10.根据权利要求9所述的方法，其特征在于，通过所述指定通道的变换矩阵，得到对所述待处理图像进行处理后的目标图像的步骤，包括：

针对所述多个通道中除所述指定通道的每个通道，针对该通道中的每个像素，将该像素的像素值与所述变换矩阵中与该像素相应位置上的值相乘，得到该像素的调整后的像素值；

将每个通道对应的调整后的像素值进行合并，得到对所述待处理图像进行处理后的目标图像。

11.根据权利要求1所述的方法，其特征在于，从所述待处理图像中提取至少一个图像区域的步骤之前，所述方法包括：对所述待处理图像的指定通道进行gamma校正。

12.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取待处理图像，以及所述待处理图像中的目标区域；其中，所述目标区域包含预设目标对象；

提取模块，用于从所述待处理图像中提取至少一个图像区域；针对每个所述图像区域，确定该图像区域与所述目标区域的位置关系；根据所述位置关系，调整该图像区域中的像素值；

调整模块，用于根据调整后的所述至少一个图像区域，得到对所述待处理图像进行处理后的目标图像。

13.一种电子系统，其特征在于，所述电子系统包括：处理设备和存储装置；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至11任一项所述的图像处理方法。

14.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行如权利要求1至11任一项所述的图像处理方法的步骤。

Images