CN116362986A - 一种图像处理方法、设备及存储介质 - Google Patents

Abstract

本公开提一种图像处理方法、设备及存储介质，方法包括：获取多帧原始图像，对多帧原始图像进行处理以得到融合帧，然后基于融合帧的像素值对融合帧进行图像处理。本公开提出的图像处理方法可以准确反映最终成片的色温，最大程度还原了色彩，保证了图像处理的精度和准确性，确保图像不失真。

Description

一种图像处理方法、设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、设备及存储介质。

背景技术

在不同的光照下，相机拍摄的照片会有不同的效果(例如，底色温光源下，白色物体会偏红)。由此通常需要对图像进行白平衡处理以还原色彩。

相关技术中，白平衡处理主要为：基于预览帧生成统计信息，然后利用算法对统计信息进行AWB(Automatic White Balance，自动白平衡)计算得到AWB结果，并根据AWB结果对最终成像进行白平衡处理。

但是，当拍摄环境为复杂光线场景(例如包含树荫和日光的高动态场景)时，通常需要多帧融合技术来解决图像的噪声、动态范围等问题，其中，由于融合后的图与预览图差异较大，则使得最终成像的融合帧与预览帧差别较大，此时若利用相关技术中的白平衡处理(即：基于预览帧生成的统计信息对融合帧进行白平衡处理)，则会导致色彩还原失真。以及，当拍摄环境为暗光环境时，若利用相关技术中的白平衡处理，则由于暗光环境下会导致预览帧的有效信息缺失，从而无法基于预览帧生成统计信息，进而导致无法在暗光环境进行白平衡处理。

发明内容

本公开提供一种图像处理方法、设备及存储介质，以至少解决相关技术中的白平衡处理不适用于极端拍摄场景的技术问题。

本公开第一方面实施例提出一种图像处理方法，包括：

获取多帧原始图像，对所述多帧原始图像进行处理以得到融合帧；

基于所述融合帧的像素值对所述融合帧进行图像处理。

本公开第二方面实施例提出一种图像处理设备，所述设备包括：

获取模块，用于获取多帧原始图像，对所述多帧原始图像进行处理以得到融合帧；

处理模块，用于基于所述融合帧的像素值对所述融合帧进行图像处理。

根据本公开的第三方面，提供了一种计算机存储介质，当所述计算机可执行指令被处理器执行后，能够如第一方面所述的图像处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

综上所述，本公开提出的图像处理方法、设备及存储介质中，会先获取多帧原始图像，并会对多帧原始图像进行处理以得到融合帧，之后，会基于融合帧的像素值对融合帧进行图像处理。其中，由于融合帧的像素值能够准确反映出融合帧的图像信息，则当基于融合帧的像素值对融合帧进行图像处理时，可以准确反映最终成片的色温，最大程度还原了色彩，保证了图像处理的精度和准确性，确保图像不失真，解决了相关技术中的“基于预览帧的统计信息对融合帧进行图像处理时，由于预览帧与融合帧相差较大，而导致处理后的融合帧色彩还原失真”这一技术问题。

此外，由于该融合帧是通过对多张原始图像进行处理所得，由此该融合帧的有效信息可以得到极大提升，基于此，即使在极端拍摄场景(例如暗光环境)下，仍然可以确保该融合帧的有效信息，从而可以确保后续对于该融合帧的像素值的准确获取，解决了相关技术中“由于暗光环境下会导致预览帧的有效信息缺失，从而无法基于预览帧生成统计信息，进而导致无法在暗光环境进行图像处理”的技术问题。

本公开附加的方面以及优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

本公开上述的和/或附加的方面以及优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本公开一个实施例提供的图像处理方法的流程示意图；

图2为根据本公开一个实施例提供的图像处理设备的结构示意图；

图3为根据本公开一个实施例提供的图像处理方法的流程示意图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。

下面参考附图描述本公开实施例的图像处理方法及设备。

实施例一

图1为根据本公开一个实施例提供的图像处理方法的流程示意图，由图像处理设备执行，如图1所示，该图像处理方法，包括以下步骤：

步骤101、获取多帧原始图像，对多帧原始图像进行处理以得到融合帧。

需要说明的是，在本公开的实施例中，多帧原始图像可以为多张raw图。其中，raw图是图像传感器将捕捉到的光源信号转化为数字信号的原始数据，以及，上述的多帧raw图可以为多张不同亮度曝光的raw图，其中，通过获取多张不同亮度曝光的raw图，可以满足了不同场景下的算法对图像的有效信息的需求。

其中，在本公开的实施例中，该多帧原始图像可以是图像处理设备通过向图像传感器发送请求以获取的。

以及，在本公开的实施例中，对原始图像进行处理以得到融合帧的方法可以包括以下步骤：

步骤a、对多帧原始图像进行raw算法计算。

步骤b、对算法计算后的多帧原始图像进行多帧融合降噪处理。

其中，本公开的实施例中，可以通过AI(Artificial Intelligence，人工智能)降噪模型对计算后的多帧原始图像进行多帧融合降噪处理。以及，在本公开的实施例中，利用AI降噪模型进行多帧融合降噪处理时，可以在抑制噪声的同时尽最大可能保留多帧原始图像中的细节。

步骤c、对降噪之后的多帧原始图像做融合处理以得到融合后的单帧。

其中，在本公开的实施例中，融合处理可以包括：将多帧原始图像中的亮度大于第一阈值的亮图的暗区和亮度小于第二阈值的暗图的亮区进行融合。例如可以截取多帧原始图像中较亮图中暗部区域和较暗图中的亮区做融合。

步骤d、对融合后的单帧进行提亮处理以得到融合帧。

以及，在本公开的实施例中，通过上述步骤a-d的处理可以得到一张噪声、亮度、动态范围、解析力均比较好的融合帧。

需要说明的是，在本公开的实施例中，当拍摄场景不同时，会获取不同的原始图像，以及上述的“对原始图像进行处理以得到融合帧”的处理方式也会有所差异。

具体而言，当拍摄场景为暗光场景(例如，光线较差的夜晚)时，所获取的多张原始图像可以为多张高曝光的raw图，并且，在基于暗光场景下获取的多张高曝光的raw图得到融合帧时，可以偏重于执行降噪处理和提亮处理，以此确保最终所得到的融合帧可以最大程度保留细节且具备足够的有效信息。

当拍摄场景为高动态场景(例如，同时包含树荫和日光的场景)时，获取的多帧原始图像可以为多帧正常曝光的raw图。以及，在基于高动态场景下获取的多张正常曝光的raw图得到融合帧时，可以偏重于执行融合处理，而忽略或者不执行降噪处理和提亮处理。并且，在对于多张正常曝光的raw图执行融合处理时，具体可以通过包围曝光的方式对该多张正常曝光的raw图进行多帧融合，以降低图片动态范围。

此外，还需要说明的是，拍摄场景不同而使得所获取的多张原始图像的曝光程度不同时，上述的raw算法的计算方式也会有所不同。

步骤102、基于融合帧的像素值对融合帧进行图像处理。

其中，在本公开的实施例中，图像处理可以包括白平衡处理。

以及，在本公开的实施例中，基于融合帧的像素值对融合帧进行图像处理的方法可以包括以下步骤：

步骤1021、计算融合帧的第一统计信息。

其中，在本公开的实施例中，第一统计信息可以用于体现融合帧的颜色偏差程度。

以及，在本公开的实施例中，计算融合帧的第一统计信息的方法可以包括以下步骤：

步骤1、将融合帧划分为N×M个区域，N和M均为正整数。

其中，在本公开的实施例中，每个区域包括至少一个像素点。

示例的，在本公开的实施例中，可以将融合帧划分为17×13个区域。

步骤2、计算每个区域的每个像素通道对应的像素值的平均值，基于每个区域的各个像素通道对应的平均值确定每个区域对应的第一统计信息。

其中，在本公开的实施例中，融合帧包括的像素通道可以为：R通道、Gr通道、Gb通道、B通道。以及，在本公开的实施例中，每个区域可能包括多个像素点，每个像素点可以对应一像素通道，且每个像素点可以对应一像素值，基于此可以计算该区域内各个像素通道对应的平均值，其中，该区域内R通道对应的平均值＝该区域内R通道对应的所有像素点的像素值总和÷该区域内R通道对应的所有像素点的个数、该区域内Gr通道对应的平均值＝该区域内Gr通道对应的所有像素点的像素值总和÷该区域内Gr通道对应的所有像素点的个数、该区域内Gb通道对应的平均值＝该区域内Gb通道对应的所有像素点的像素值总和÷该区域内Gb通道对应的所有像素点的个数、该区域内B通道对应的平均值＝该区域内B通道对应的所有像素点的像素值总和÷该区域内B通道对应的所有像素点的个数。

以及，在本公开的实施例中，上述每个区域的第一统计信息可以包括第一值和第二值，其中，第一值＝每个区域的R通道对应的平均值÷每个区域的Gr通道对应的平均值；第二值＝每个区域的B通道对应的平均值÷每个区域的Gb通道对应的平均值。

步骤1022、利用LSC(Lens Shading Correction，镜头阴影校正)算法基于第一统计信息和融合帧的图像信息计算出镜头阴影补偿系数，并基于镜头阴影补偿系数对融合帧进行阴影补偿处理。

需要说明的是，上述的“计算出镜头阴影补偿系数的具体过程、以及阴影补偿处理”均为现有技术手段，关于该部分内容的详细介绍可以参见现有技术介绍，本公开实施例在此不做赘述。

步骤1023、计算处理后的融合帧的第二统计信息，并输出第二统计信息以基于第二统计信息计算AWB(Automatic White Balance，自动白平衡)结果。

其中，在本公开的实施例中，计算处理后的融合帧的第二统计信息的方法可以包括以下步骤：

步骤一、将处理后的融合帧划分为N×M个区域，N和M均为正整数。

其中，在本公开的实施例中，每个区域包括至少一个像素点。

示例的，在本公开的实施例中，可以将处理后的融合帧划分为17×13个区域。

步骤二、计算每个区域的每个像素通道对应的像素值的平均值，基于每个区域的各个像素通道对应的平均值确定每个区域对应的第二统计信息。

其中，在本公开的实施例中，处理后的融合帧包括的像素通道为：R通道、Gr通道、Gb通道、B通道。关于计算每个区域的每个像素通道对应的像素值的平均值的详细介绍可以参考步骤1021中的计算方法，本公开在此不做赘述。

以及，在本公开的实施例中，上述每个区域对应的第二统计信息可以包括第一值和第二值，其中，第一值＝每个区域的R通道对应的平均值÷每个区域的Gr通道对应的平均值；第二值＝每个区域的B通道对应的平均值÷每个区域的Gb通道对应的平均值。

进一步地，在本公开的实施例中，得到计算处理后的融合帧的第二统计信息后，可以将得到的第二统计信息输入至AWB算法进行计算，以得到符合融合帧的AWB结果，之后，可以利用得到的AWB结果对融合帧进行白平衡处理，从而对融合帧进行色彩还原。

综上所述，本公开提出的图像处理方法中，会先获取多帧原始图像，并会对多帧原始图像进行处理以得到融合帧，之后，会基于融合帧的像素值对融合帧进行图像处理。其中，基于融合帧的像素值能够准确反映出融合帧的图像信息，则当基于融合帧的像素值对融合帧进行图像处理时，可以准确反映最终成片的色温，最大程度还原了色彩，保证了图像处理的精度和准确性，确保图像不失真，解决了相关技术中的“基于预览帧的统计信息对融合帧进行图像处理时，由于预览帧与融合帧相差较大，而导致处理后的融合帧色彩还原失真”这一技术问题。

此外，由于该融合帧是通过对多张原始图像进行处理所得，由此该融合帧的有效信息可以得到极大提升，基于此，即使在极端拍摄场景(例如暗光环境)下，仍然可以确保该融合帧的有效信息，从而可以确保后续对于该融合帧的像素值的准确获取，解决了相关技术中“由于暗光环境下会导致预览帧的有效信息缺失，从而无法基于预览帧生成统计信息，进而导致无法在暗光环境进行图像处理”的技术问题。

实施例二

图2为根据本公开一个实施例提供的图像处理设备的流程示意图，如图2所示，包括：

获取模块，用于获取多帧原始图像，对多帧原始图像进行处理以得到融合帧；

处理模块，用于基于融合帧的像素值对融合帧进行图像处理。

综上所述，本公开提出的图像处理设备中，会先获取多帧原始图像，并会对多帧原始图像进行处理以得到融合帧，之后，会基于融合帧的像素值对融合帧进行图像处理。其中，基于融合帧的像素值能够准确反映出融合帧的图像信息，则当基于融合帧的像素值对融合帧进行图像处理时，可以准确反映最终成片的色温，最大程度还原了色彩，保证了图像处理的精度和准确性，确保图像不失真，解决了相关技术中的“基于预览帧的统计信息对融合帧进行图像处理时，由于预览帧与融合帧相差较大，而导致处理后的融合帧色彩还原失真”这一技术问题。

此外，由于该融合帧是通过对多张原始图像进行处理所得，由此该融合帧的有效信息可以得到极大提升，基于此，即使在极端拍摄场景(例如暗光环境)下，仍然可以确保该融合帧的有效信息，从而可以确保后续对于该融合帧的像素值的准确获取，解决了相关技术中“由于暗光环境下会导致预览帧的有效信息缺失，从而无法基于预览帧生成统计信息，进而导致无法在暗光环境进行图像处理”的技术问题。。

可选的，多帧原始图像为多张raw图，多帧raw图为多张不同亮度曝光的raw图。

可选的，多帧原始图像为多张高曝光raw图，上述获取模块还用于：

对多帧原始图像进行raw算法计算；

对算法计算后的多帧raw图进行多帧融合降噪处理；

对降噪之后的多帧raw图做融合处理以得到融合后的单帧；融合处理包括：将多帧原始图像中的亮度大于第一阈值的亮图的暗区和亮度小于第二阈值的暗图的亮区进行融合；

对融合后的单帧进行提亮处理以得到融合帧。

可选的，上述处理模块还用于：

基于融合帧的像素值计算融合帧的第一统计信息；

利用LSC算法基于第一统计信息和融合帧的图像数据计算出镜头阴影补偿系数，并基于镜头阴影补偿系数对融合帧进行阴影补偿处理；

基于处理后的融合帧的像素值计算处理后的融合帧的第二统计信息，并输出第二统计信息以基于第二统计信息对融合帧进行图像处理。

可选的，上述处理模块还用于：

将所述融合帧划分为N×M个区域，N和M均为正整数；其中，每个区域包括至少一个像素点；

计算每个区域的每个像素通道对应的像素值的平均值，基于每个区域的各个像素通道对应的平均值确定每个区域对应的第一统计信息。

可选的，所述融合帧包括的像素通道为：R通道、Gr通道、Gb通道、B通道；

每个区域对应的第一统计信息包括：

第一值＝每个区域的R通道对应的平均值÷每个区域的Gr通道对应的平均值；

第二值＝每个区域的B通道对应的平均值÷每个区域的Gb通道对应的平均值。

可选的，上述处理模块还用于：

将处理后的融合帧划分为N×M个区域，N和M均为正整数；其中，每个区域包括至少一个像素点；

计算每个区域的每个像素通道对应的像素值的平均值，基于每个区域的各个像素通道对应的平均值确定每个区域对应的第二统计信息。

可选的，处理后的融合帧包括的像素通道为：R通道、Gr通道、Gb通道、B通道；

每个区域对应的第二统计信息包括：

第一值＝每个区域的R通道对应的平均值÷每个区域的Gr通道对应的平均值；

第二值＝每个区域的B通道对应的平均值÷每个区域的Gb通道对应的平均值。

以下对图像处理设备执行图像处理方法的具体流程图进行详细介绍，图3为根据本公开一个实施例提供的图像处理方法的流程示意图，参考图3可知，图像处理方法具体包括有Raw算法处理流程和Post-AWB处理流程，其中，该Raw算法处理流程可以包括：从图像传感器获取N张原始拍照的Raw图，然后将获取的N张Raw图进行多帧融合算法(例如raw算法)，并将计算之后的Raw图进行降噪、提亮处理后得到Raw图的融合帧，之后，将得到的融合帧输入至ISP1(Image Signal Processing，图像信号处理单元)中以对该融合帧进行Post-AWB处理流程。

其中，该Post-AWB处理流程可以包括：利用ISP1计算得到融合帧的第一统计信息(例如可以为LSC算法需要的Tintless统计信息)。然后将得到的第一统计信息和融合帧输入ISP2中，以使得ISP2利用LSC算法基于第一统计信息和融合帧的图像信息计算出镜头阴影补偿系数，并将镜头阴影补偿系数作用于融合帧，以对融合帧进行阴影补偿处理，然后计算处理后的融合帧的第二统计信息(例如可以为AWB算法所需要的AWB统计信息)，并将得到的第二统计信息输入至AWB算法进行计算，得到符合融合帧的AWB结果，之后，利用得到的AWB结果对融合帧进行图像处理(例如白平衡处理)，以对融合帧进行色彩还原。

为了实现上述实施例，本公开还提出一种计算机存储介质。

本公开实施例提供的计算机存储介质，存储有可执行程序；所述可执行程序被处理器执行后，能够实现如图1所示的方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：

获取多帧原始图像，对所述多帧原始图像进行处理以得到融合帧；

基于所述融合帧的像素值对所述融合帧进行图像处理。

2.如权利要求1所述的方法，其特征在于，所述多帧原始图像为多张raw图，所述多帧raw图为多张不同亮度曝光的raw图。

3.如权利要求1所述的方法，其特征在于，所述对所述原始图像进行处理以得到融合帧，包括：

对所述多帧原始图像进行raw算法计算；

对算法计算后的多帧原始图像进行多帧融合降噪处理；

对降噪之后的多帧原始图像做融合处理以得到融合后的单帧；所述融合处理包括：将所述多帧原始图像中的亮度大于第一阈值的亮图的暗区和亮度小于第二阈值的暗图的亮区进行融合；

对所述融合后的单帧进行提亮处理以得到融合帧。

4.如权利要求1所述的方法，其特征在于，所述基于所述融合帧的像素值对所述融合帧进行图像处理，包括：

基于所述融合帧的像素值计算所述融合帧的第一统计信息；

利用镜头阴影校正LSC算法基于所述第一统计信息和所述融合帧的图像数据计算出镜头阴影补偿系数，并基于所述镜头阴影补偿系数对所述融合帧进行阴影补偿处理；

基于处理后的融合帧的像素值计算处理后的融合帧的第二统计信息，并输出所述第二统计信息以基于所述第二统计信息对所述融合帧进行图像处理。

5.如权利要求4所述的方法，其特征在于，计算所述融合帧的第一统计信息，包括：

将所述融合帧划分为N×M个区域，N和M均为正整数；其中，每个区域包括至少一个像素点；

计算每个区域的每个像素通道对应的像素值的平均值，基于每个区域的各个像素通道对应的平均值确定每个区域对应的第一统计信息。

6.如权利要求5所述的方法，其特征在于，所述融合帧包括的像素通道为：R通道、Gr通道、Gb通道、B通道；

每个区域对应的第一统计信息包括：

第一值＝每个区域的R通道对应的平均值÷每个区域的Gr通道对应的平均值；

第二值＝每个区域的B通道对应的平均值÷每个区域的Gb通道对应的平均值。

7.如权利要求4所述的方法，其特征在于，计算处理后的融合帧的第二统计信息，包括：

将所述处理后的融合帧划分为N×M个区域，N和M均为正整数；其中，每个区域包括至少一个像素点；

计算每个区域的每个像素通道对应的像素值的平均值，基于每个区域的各个像素通道对应的平均值确定每个区域对应的第二统计信息。

8.如权利要求7所述的方法，其特征在于，所述处理后的融合帧包括的像素通道为：R通道、Gr通道、Gb通道、B通道；

每个区域对应的第二统计信息包括：

第一值＝每个区域的R通道对应的平均值÷每个区域的Gr通道对应的平均值；

第二值＝每个区域的B通道对应的平均值÷每个区域的Gb通道对应的平均值。

9.如权利要求1所述的方法，其特征在于，所述图像处理包括白平衡处理。

10.一种图像处理设备，其特征在于，所述设备包括：

获取模块，用于获取多帧原始图像，对所述多帧原始图像进行处理以得到融合帧；

处理模块，用于基于所述融合帧的像素值对所述融合帧进行图像处理。

11.一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现权利要求1-9所述的方法。

Images