CN115511740A - 图像处理方法及装置、存储介质及电子设备 - Google Patents

Abstract

本公开涉及图像处理技术领域，具体涉及一种图像处理方法及装置、计算机可读存储介质及电子设备，方法包括：获取对相同拍摄对象所采集的至少两张具有不同曝光信息的候选图像，并将候选图像划分为一张参考图像和至少一张待优化图像；获取待优化图像与参考图像之间的多组初始频率系数。基于多组初始频率系数确定待优化图像与参考图像的目标偏移量；利用目标偏移量对待优化图像进行优化处理得到目标图像。本公开实施例的技术方案提高图像处理的精度。

Description

图像处理方法及装置、存储介质及电子设备

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法及装置、计算机可读存储介质及电子设备。

背景技术

随着用户对图像质量的要求越来越高，对图像进行优化处理的技术应用的也越来越广泛，例如HDR(High Dynamic Range，高动态范围)技术、图像去噪技术等。

但是，相关技术中对图像的优化处理技术的处理精度不够，导致得到的图像的质量不能够满足用户的需求。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种图像处理方法、图像处理装置、计算机可读介质和电子设备，进而至少在一定程度上提高图像处理的精度。

根据本公开的第一方面，提供一种图像处理方法，包括：获取对相同拍摄对象所采集的至少两张具有不同曝光信息的候选图像，并将所述候选图像划分为一张参考图像和至少一张待优化图像；获取所述待优化图像与所述参考图像之间的多组初始频率系数。基于所述多组初始频率系数确定所述待优化图像与所述参考图像的目标偏移量；利用所述目标偏移量对所述待优化图像进行优化处理得到目标图像。

根据本公开的第二方面，提供一种图像处理装置，包括：划分模块，用于获取对相同拍摄对象所采集的至少两张具有不同曝光信息的候选图像，并将所述候选图像划分为一张参考图像和至少一张待优化图像；获取模块，用于获取所述待优化图像与所述参考图像之间的多组初始频率系数；确定模块，用于基于所述多组初始频率系数确定所述待优化图像与所述参考图像的目标偏移量；优化模块，用于利用所述目标偏移量对所述待优化图像进行优化处理得到目标图像。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第四方面，提供一种电子设备，其特征在于，包括：一个或多个处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。

本公开的一种实施例所提供的图像处理方法，获取对相同拍摄对象所采集的至少两张具有不同曝光信息的候选图像，并将候选图像划分为一张参考图像和至少一张待优化图像；获取待优化图像与参考图像之间的多组初始频率系数。基于多组初始频率系数确定待优化图像与参考图像的目标偏移量；利用目标偏移量对待优化图像进行优化处理得到目标图像。相较于现有技术，一方面，采用不同曝光信息的图像图像处理，能够使得得到的目标图像的信息更加丰富。另一方面，采用初始频率系数来确定待优化图像与参考图像的目标偏移量，在节约计算量的同时，能够针对不同频域进行处理，提高得到目标图像的质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；

图2示意性示出本公开示例性实施例中一种图像处理方法的流程图；

图3示意性示出本公开示例性实施例中一种确定目标偏移量的流程图；

图4示意性示出本公开示例性实施例中一种更新中间偏移量的流程图；

图5示意性示出本公开示例性实施例中另一种更新中间偏移量的流程图；

图6示意性示出本公开示例性实施例中一种图像处理方法的数据流向图；

图7示意性示出本公开示例性实施例中另一种图像处理方法的数据流向图；

图8示意性示出本公开示例性实施例中再一种图像处理方法的数据流向图；

图9示意性示出本公开示例性实施例中又一种图像处理方法的数据流向图；

图10示意性示出本公开示例性实施例中一种对图像进行优化处理的流程图；

图11示意性示出本公开示例性实施例中利用参考图像与目标图像融合的流程图；

图12示意性示出本公开示例性实施例中图像处理装置的组成示意图；

图13示出了可以应用本公开实施例的一种电子设备的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了系统架构的示意图，该系统架构100可以包括终端110与服务器120。其中，终端110可以是智能手机、平板电脑、台式电脑、笔记本电脑等终端设备，服务器120泛指提供本示例性实施方式中图像处理相关服务的后台系统，可以是一台服务器或多台服务器形成的集群。终端110与服务器120之间可以通过有线或无线的通信链路形成连接，以进行数据交互。

在一种实施方式中，可以由终端110执行上述图像处理方法。例如，用户使用终端110拍摄图像或者用户在终端110的相册中选取至少两张具有不同曝光信息的候选图像后，由终端110对该图像进行图像优化处理，输出目标图像。

在一种实施方式中，可以由服务器120可以执行上述图像处理方法。例如，用户使用终端110拍摄图像或者用户在终端110的相册中选取至少两张具有不同曝光信息的候选图像后，终端110将该图像上传至服务器120，由服务器120对该图像进行图像优化处理，向终端110返回目标图像。

由上可知，本示例性实施方式中的图像处理方法的执行主体可以是上述终端110或服务器120，本公开对此不做限定。

本公开的图像处理方法可以应用于HDR技术，即将低动态范围的图像生成为高动态范围的图像，也可以应用于图像降噪，还可以应用于其他技术领域，下面结合图2对本示例性实施方式中的图像处理方法进行说明，图2示出了该图像处理方法的示例性流程，可以包括：

步骤S210，获取对相同拍摄对象所采集的至少两张具有不同曝光信息的候选图像，并将所述候选图像划分为一张参考图像和至少一张待优化图像；

步骤S220，获取所述待优化图像与所述参考图像之间的多组初始频率系数；

步骤S230，基于所述多组初始频率系数确定所述待优化图像与所述参考图像的目标偏移量；

步骤S240，利用所述目标偏移量对所述待优化图像进行优化处理得到目标图像。

基于上述方法，一方面，采用不同曝光信息的图像图像处理，能够使得得到的目标图像的信息更加丰富。另一方面，采用初始频率系数来确定待优化图像与参考图像的目标偏移量，在节约计算量的同时，能够针对不同频域进行处理，提高得到目标图像的质量。

下面对图2中的每个步骤进行具体说明。

参考图2，在步骤S210中，获取对相同拍摄对象所采集的至少两张具有不同曝光信息的候选图像，并将所述候选图像划分为一张参考图像和至少一张待优化图像。

在本公开的一种示例实施方式中，可以通过拍照的方式获取对相同拍摄对象所采集的至少两张具有不同曝光信息的候选图像，其中，上述候选图像可以是RAW域图像，具有丰富的信息，便于实现更好地图像处理效果。候选图像也可以是如RGB域图像或者YUV域图像，在本示例实施方式中不做具体限定。

其中，上述曝光信息可以包括曝光时间和曝光增益数据。

在本示例实施方式中，在得到具有不同曝光信息的候选图像之后，可以将上述候选图像划分为一张参考图像和至少一张待优化图像。

具体的，当上述候选图像的数量为两张时，可以对比两张候选图像的曝光时间，然后将曝光时间较长的候选图像作为上述待优化图像，曝光时间较短的图像作为参考图像。

当上述候选图像的数量大于两张时，可以获取多个候选图像的曝光时间的中位数，然后将曝光时间与上述中位数的差值的绝对值最小的候选图像作为上述参考图像，举例而言，若上述候选图像的数量为奇数张，例如3张、5张等，此时，可以将曝光时间的中位数对应的候选图像作为上述参考图像，其他图像作为待优化图像。再举例而言，若上述候选图像的数量为偶数张，例如4张、6张等，此时可以获取中位数，由于中位数是两张图像的曝光时间的平均值，此时，可以将曝光时间与上述中位数的差值的绝对值最小的候选图像作为参考图像，其他图像作为待优化图像。

在步骤S220中，获取所述待优化图像与所述参考图像之间的多组初始频率系数。

在本公开的一种示例实施方式中，在对上述候选图像划分为待优化图像与参考图像之后，可以获取每一个待优化图像与参考图像之间的多组初始频率系数，具体的可以采用小波分解的方式将待优化图像与上述参考图像得到多组初始频率系数，可以采用Haar小波分解的方式来得到上述初始频率系数，具体的：

其中，

其中，X为分解的图像。

在本示例实施方式中，采用Haar小波分解能够得到四组初始频率系数，分别包括低频系数、两组中频系数以及一组高频系数。

需要说明的是，小波分解的方式还可以包括Morlet小波分解，Mexican hat小波分解，gaussian小波分解等，在本示例实施方式中不做具体限定。

需要说话的是，采用Haar小波分解能够得到四组初始频率系数，采用其他的小波分解方式得到的初始频率系数的数量不做限定，也可以将其具体的细化为高频系数、中频系数以及低频系数。

在步骤S230中，基于所述多组初始频率系数确定所述待优化图像与所述参考图像的目标偏移量。

在本公开的一种示例实施方式中，参照图3所示，上述步骤可以包括步骤S310至步骤S320。

在步骤S310中，对至少一组所述初始频率系数进行匹配算法约束得到初始偏移量。

在本示例实施方式中，在得到多组初始频率系数之后，可以针对多组中的至少一组频率表系数做匹配算法约束以得到初始偏移量。

优选的，可以选择一组低频系数进行匹配算法约束进而得到初始偏移量，具体的，以第一预设步长遍历上述低频系数中参考图像对应的图像，在当前坐标(i，j)处，取半径为R1的第一图像块。然后与步长为1遍历上述低频系数中待优化图像对应的图像中坐标(i，j)附近窗口半径为R2的图像窗口。图像窗口中的当前坐标(m，n)处取半径为R1的第二图像块，之后，针对第一图像块与第二图像块进行匹配算法约束，其中，上述匹配算法可以包括绝对值差匹配法、平方差匹配法、相关系数匹配法及其归一化匹配算法等，在本示例实施方式中不做具体限定。

将与第一图像块相似度最高的第二图像块对应的当前坐标(m，n)输出，并计算第一偏移量，具体的：

offsetY＝m

offsetX＝n

MV1_X＝offsetX-i

MV1_Y＝offsetY-j

在得到上述第一偏移量之后，可以利用过上述以不成为1遍历上述低频系数中待优化图像对应的图像中坐标(i，j)附近窗口半径分别为R2+MV1_X和R2+MV1_Y的图像窗口，图像窗口中的当前坐标(m，n)处取半径为R1的第三图像块，之后，针对第一图像块与第三图像块进行匹配算法约束，将与第一图像块相似度最高的第三图像块对应的当前坐标(m，n)输出，并计算第二偏移量，计算公式与上述第一偏移量的计算方式相同，可以重复上述过程，只是上述偏移量收敛，则将收敛后的偏移量输出，得到初始偏移量。

需要说明的是，上述频率系数均为矩阵，可以理解为像素矩阵构成的频率系数，即此处的频率系数可以表示为图像，上述匹配约束算法的输入可以是两张图像。

在另一种示例实施方式中，可以利用对上述每一组初始频率表系数进行匹配算法约束得到个初始偏移量，此时的初始偏移量可以包括多组数据，每一组数据对应一组初始频率系数，针对每一组初始频率系数对应的初始偏移量的计算过程上述已经记性了详细说明，因此，此处不再赘述。

在步骤S320中，对所述初始偏移量进行约束，并基于约束结果确定所述目标偏移量。

在本公开的一种示例实施方式中，在得到上述初始频率系数之后，可以利用多组初始频率系数中的低频系数对上述初始偏移量进行更新得到目标偏移量。

具体的，参照图4所示，更新过程可以包括步骤S410至步骤S440。

在步骤S410中，对所述低频系数进行小波分解得到第一层中间频率系数。

在本示例实时方式中，可以对上述多组初始频率系数之后，可以对上述其中的低频系数进行小波分解得到第一层中间频率系数，低频系数中包括了较多的信息，能够是的对上述初始偏移量的更新更加准确。

关于小波分解的具体内容，上述已经进行了详细说明，因此，此处不在赘述。

在步骤S420中，对第N-1层中间频率系数中的中间低频系数进行小波分解得到第N层中间频率系数。

在本示例实施方式中，可以对第N-1层中间频率系数中的中间低频系数进行小波分解得到第N层中间频率系数，具体的，每一层的中间频率系数中均包括高频系数、中频系数以及低频系数，在更新过程中，将该层对应的中间低频系数进行小波分解用来得到下一层的中间频率系数能够保留更多的信息。

关于小波分解的具体内容，上述已经进行了详细说明，因此，此处不在赘述。

在本示例实施方式中，第N-1层中间频率系数和第N层中间频率系数是任意相邻的两层中间频率系数；N为大于等于2的正整数。

在步骤S430中，基于所述第N层中间频率系数更新所述第N-1层中间频率系数对应的中间偏移量。

在本公开的一种示例实施方式中，可以对上述中间频率系数进行M次更新，参照图5所示，上述步骤可以包括步骤S510至步骤S520。

在步骤S510中，响应所述N小于M，根据所述第N层中间偏移量与所述第N-1层中间频率系数确定第N-1层中间偏移量。

在本示例实施方式中，在N小于等于M时，即N不是取最大值时，第N层不是最底层时，可以根据第N层中间偏移量与第N-1层的中间频率系数确定第N-1层的中间偏移量。

具体的，在一种示例实施方式中，可以对上述第N层中间偏移量与第N-1层的中间频率系数进行匹配算法约束得到上述第第N-1层的中间偏移量。

此时，可以得到的中间偏移量包括多组，可以包括每一组频率系数对应的多组中间偏移量。

在本示例实施方式中，第N层的中间偏移量的计算，可以是根据第N层的中间频率系数进行匹配算法约束之后得到的，在本示例实施方式中，可以对第N层中间频率系数中的多组频率系数均进行匹配算法约束，也可以只对第N层中间频率系数中的低频系数做匹配算法约束得到第N层的中间偏移量，并将其应用至第N层中的其他频率系数中。匹配约束算法的具体过程上述已经进行了详细说明，因此，此处不再赘述。

在另一种示例实施方式中，可以首先对上述第N的中间偏移量与所述第N层中间频率系数进行小波重构得到第N层中间图像，然后可以对上述第N-1层中间频率系数进行小波重构得到第N-1层中间图像，之后利用第N层中间图像与第N-1层的中间图像进行匹配算法约束得到第N-1层的中间偏移量。

匹配算法约束的具体操作可以参照对低频系数进行匹配算法约束进而得到初始偏移量的过程，此处不再赘述。

在步骤S520中，响应所述N等于M，对至少一组所述第N层中间频率系数进行匹配算法约束得到第N层中间偏移量，并对所述第N层中间偏移量进行上采样得到第N-1层中间偏移量。

在本示例实施方式中，在N等于M时，表示第N层为最底层，此时，可以对第N层的中间频率系数进行匹配算法约束得到第N层中间偏移量，然后对上述第N层中间偏移量进行上采样得到第N-1层中间偏移量。

在步骤S440中，利用第一层中间频率系数对应的中间偏移量更新所述初始偏移量得到所述目标偏移量。

在本示例实施方式中，依次向上更新，最终会更新上述第一层中间频率系数对应的中间偏移量，然后可以利用第一层对应的中间偏移量更新初始偏移量，具体的，可以利用第一层对应的中间偏移量与上述初始频率系数进行匹配算法约束以更新上述初始偏移量，并对更新后的初始偏移量进行上采样得到目标偏移量。

在本公开的另一种示例实施方式中，可以直接对上述初始偏移量进行上采样得到上述目标偏移量。

下面以上述待优化图像的数量为1张为例对上述过程进行详细说明。具体的参照图6所示，首先对待优化图像与参考图像进行小波分解得到初始频率系数，具体的，可以包括一组高频系数L-HH1和S-HH1，以及；两组中频系数，包括L-HL1和S-HL1、以及L-LH1和S-LH1，以及一组低频系数L-LL1和S-LL1，其中，L-HH1、L-HL1、L-LH1、L-LL1均为上述待优化图像对应的频率系数，S-HH1、S-HL1、S-LH1、S-LL1为参考图像对应的频率系数。

可以对上述低频系数进行再一次小波分解得到第一层中间频率系数，即对上述L-LL1和S-LL1进行小波分解得到第一层中间频率系数，具体的可以包括一组高频系数L-HH2和S-HH2，以及；两组中频系数，包括L-HL2和S-HL2、以及L-LH2和S-LH2，以及一组低频系数L-LL2和S-LL2。

然后对第一层中间频率系数对应的低频系数进行小波分解得到第二层中间频率系数，具体的可以包括一组高频系数L-HH3和S-HH3，以及；两组中频系数，包括L-HL3和S-HL3、以及L-LH3和S-LH3，以及一组低频系数L-LL3和S-LL3。

在本示例实施方式中，在本公开的一种示例实施方式中，可以对上述每一组频率系数做匹配算法约束得到第二层低频系数对应的中间偏移量，具体可以包括MV3-LL、MV3-LH、MV3-HL、MV3-HH，然后对该中间偏移量进行上采样得到第一层中间频率系数对应的候选偏移量，具体可以包括MV2-LL、MV2-LH、MV2-HL、MV2-HH。

在一种示例实施方式中，可以将上述第一层的中间偏移量应用到第一层中间频率系数中以更新上述第一层中间频率系数，具体的，更新后的第一层中间频率系数可以包括一组高频系数L-HH2+MV2-HH和S-HH2+MV2-HH，以及；两组中频系数，包括L-HL2+MV2-HL和S-HL2+MV2-HL、以及L-LH2+MV2-LH和S-LH2+MV2-LH，以及一组低频系数L-LL2+MV2-LL和S-LL2+MV2-LL。

下面以将MV2-HH应用到L-HH2得到L-HH2+MV2-HH为例对将中间偏移量应用到中间频率系数中进行详细说明，具体的，复制上述L-HH2得到第一L-HH2和第二L-HH2，以预设步长遍历上述第一L-HH2，在坐标(i+MV2-HH，j+MV2-HH)处取半径为R3的第四图像块，然后，预设步长遍历上述第二L-HH2在坐标(i，j)处取半径为R3的第五图像块，然后利用第四图像块以及第五图像块的均值更新第五图像块中的像素值，在完成对每一个像素点的遍历之后，将第二待优化图像作为上述L-HH2+MV2-HH。

然后可以对上述每一组频率系数进行匹配算法约束，得到第一层中间频率系数对应的中间偏移量，即MV20-LL、MV20-LH、MV20-HL、MV20-HH。

在完成第一层频率系数对应的中间偏移量的更新之后，可以对上述第一层中间频率系数对应的中间偏移量进行上采样得到初始候选偏移量，具体可以包括MV1-LL、MV1-LH、MV1-HL、MV1-HH并利用得到的候选偏移量更新上述初始频率系数，更新后的初始频率系数可以包括一组高频系数L-HH1+MV1-HH和S-HH1+MV1-HH，以及；两组中频系数，包括L-HL1+MV1-HL和S-HL1+MV1-HL、以及L-LH1+MV1-LH和S-LH1+MV1-LH，以及一组低频系数L-LL1+MV1-LL和S-LL1+MV1-LL。

需要说明的是，利用中间偏移量更新上述频率系数的过程可以参照对将MV2-HH应用到L-HH2得到L-HH2+MV2-HH的说明，此处不在赘述。

然后可以对上述每一组频率系数进行匹配算法约束，得到更新后初始偏移量，具体可以包括MV10-LL、MV10-LH、MV10-HL、MV10-HH，然后可以对上述更新后初始偏移量进行上采样处理得到目标偏移量，具体可以包括MV0-LL、MV0-LH、MV0-HL、MV0-HH。

在另一种示例实施方式中，参照图7所示，在得到第二层中间频率系数对应的中间偏移量之后，可以利用第二层中间频率系数更新第二层中间频率系数，更新后中间频率系数可以包括一组高频系数L-HH3+MV3-HH和S-HH3+MV3-HH，以及；两组中频系数，包括L-HL3+MV3-HL和S-HL3+MV3-HL、以及L-LH3+MV3-LH和S-LH3+MV3-LH，以及一组低频系数L-LL3+MV3-LL和S-LL3+MV3-LL，然后对更新后的第二层中间待优化图像对应的频率系数及进行小波重构得到第二层中间图像，然后利用上述第二层中间图像与第一层中的参考图像对应的低频系数即S-LL2进行匹配约束算法得到第一层对应的中间偏移量。

在得到第一层中间频率系数对应的中间偏移量MV2，可以利用上述中间偏移量MV2更新上述第一层待优化图像对应的频率系数，更新后第一层待优化图像对应的频率系数包括高频系数L-HH2+MV2中频系数L-HL2+MV2以及L-LH2+MV2以及一组低频系数L-LL2+MV2，然后对更新后的第一层待优化图像对应的频率系数进行小波重构得到第一层频率系数对应的第一层中间图像，然后基于该中间图像与初始频率系数中的参考图像对应的低频系数进行匹配算法约束得到更新后初始偏移量。

在本示例实施方式中，可以利用更新后的初始偏移量更新上述初始频率系数中的待优化图像对应的频率系数，更新后的待优化图像对应的频率系数包括L-HH1+MV1中频系数L-HL1+MV1以及L-LH1+MV1以及一组低频系数L-LL1+MV1，然后对其进行小波重构得到初始中间图像，然后利用初始中间图像与参考图像进行匹配算法约束得到上述目标偏移量。

在一种示例实施方式中，可以将上述两种方案进行嵌套使用，举例而言，在奇数层采用频率系数直接更新偏移量，即得到的中间偏移量包括了高频频率系数对应的偏移量、中频频率系数对应的偏移量以及低频频率系数对应的偏移量。偶数层可以采用将频率系数进行小波重构之后及的图像进行偏移量的计算，即得到的偏移量包括一个整体的中间偏移量。可以将整体的中间偏移量复制为四个，分别表示高频频率系数对应的偏移量、中频频率系数对应的偏移量以及低频频率系数对应的偏移量，用于实现两种方案的连接。

需要说明的是，上述每一层均可以采用上述两种方式中的任意一种，在本示例实施方式中不做具体限定。

在再一种示例实施方式中，可以直接利用初始偏移量上采样得到目标偏移量，即可以不对上述初始偏移量进行更新操作。

在本公开一种示例实施方式中，在对待优化图像与参考图像进行小波分解得到多组初始频率系数时，可以首先对上述对参考图像和待优化图像进行目标下采样得到待优化子图像和参考子图像；对参考子图像和待优化子图像进行小波分解得到初始频率系数。

具体的，参照图8所示，以上述待处理图像为一张为例对上述方案进行详细说明，首先可以根据上述曝光时间和曝光增益数据计算曝光比，然后对待优化图像进行目标下采样的得到待优化子图像，然后利用上述待优化子图像与上述曝光比的乘积作为上述参考子图像。需要说明的是，也可以直接对上述参考图像做目标下采样得到上述参考子图像，其中，上述目标下采样的倍数可以是2倍、4倍等，也可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。

在本示例实施方式中，在得到上述待优化子图像与上述参考子图像之后，可以对其进行小波分解得到上述初始频率系数，具体的，可以包括一组高频系数L-HH1和S-HH1，以及；两组中频系数，包括L-HL1和S-HL1、以及L-LH1和S-LH1，以及一组低频系数L-LL1和S-LL1，其中，L-HH1、L-HL1、L-LH1、L-LL1均为上述待优化图像对应的频率系数，S-HH1、S-HL1、S-LH1、S-LL1为参考图像对应的频率系数。

可以对上述低频系数进行再一次小波分解得到第一层中间频率系数，即对上述L-LL1和S-LL1进行小波分解得到第一层中间频率系数，具体的可以包括一组高频系数L-HH2和S-HH2，以及；两组中频系数，包括L-HL2和S-HL2、以及L-LH2和S-LH2，以及一组低频系数L-LL2和S-LL2。

然后对第一层中间频率系数对应的低频系数进行小波分解得到第二层中间频率系数，具体的可以包括一组高频系数L-HH3和S-HH3，以及；两组中频系数，包括L-HL3和S-HL3、以及L-LH3和S-LH3，以及一组低频系数L-LL3和S-LL3。

在本示例实施方式中，在本公开的一种示例实施方式中，可以对上述每一组频率系数做匹配算法约束得到第二层低频系数对应的中间偏移量，具体可以包括MV3-LL、MV3-LH、MV3-HL、MV3-HH，然后对该中间偏移量进行上采样得到第一层中间频率系数对应的候选偏移量，具体可以包括MV2-LL、MV2-LH、MV2-HL、MV2-HH。

在一种示例实施方式中，可以将上述第一层的中间偏移量应用到第一层中间频率系数种以更新上述第一层中间频率系数，具体的，更新后的第一层中间频率系数可以包括一组高频系数L-HH2+MV2-HH和S-HH2+MV2-HH，以及；两组中频系数，包括L-HL2+MV2-HL和S-HL2+MV2-HL、以及L-LH2+MV2-LH和S-LH2+MV2-LH，以及一组低频系数L-LL2+MV2-LL和S-LL2+MV2-LL。

在本示例实施方式中，下面以将MV2-HH应用到L-HH2得到L-HH2+MV2-HH为例对将中间偏移量应用到中间频率系数中进行详细说明，具体的，复制上述L-HH2得到第一L-HH2和第二L-HH2，以预设步长遍历上述第一L-HH2，在坐标(i+MV2-HH，j+MV2-HH)处取半径为R3的第四图像块，然后，预设步长遍历上述第二L-HH2在坐标(i，j)处取半径为R3的第五图像块，然后利用第四图像块以及第五图像块的均值更新第五图像块中的像素值，在完成迭代之后，将第二待优化图像作为上述L-HH2+MV2-HH。

然后可以对上述每一组频率系数进行匹配算法约束，得到第一层中间频率系数对应的中间偏移量，即MV20-LL、MV20-LH、MV20-HL、MV20-HH。

在完成第一层频率系数对应的中间偏移量的更新之后，可以对上述第一层中间频率系数对应的中间偏移量进行上采样得到初始候选偏移量，具体可以包括MV1-LL、MV1-LH、MV1-HL、MV1-HH并利用得到的候选偏移量更新上述初始频率系数，更新后的初始频率系数可以包括一组高频系数L-HH1+MV1-HH和S-HH1+MV1-HH，以及；两组中频系数，包括L-HL1+MV1-HL和S-HL1+MV1-HL、以及L-LH1+MV1-LH和S-LH1+MV1-LH，以及一组低频系数L-LL1+MV1-LL和S-LL1+MV1-LL。

需要说明的是，利用中间偏移量更新上述频率系数的过程可以参照对将MV2-HH应用到L-HH2得到L-HH2+MV2-HH的说明，此处不在赘述。

然后可以对上述每一组频率系数进行匹配算法约束，得到更新后初始偏移量，具体可以包括MV10-LL、MV10-LH、MV10-HL、MV10-HH，然后可以对上述更新后初始偏移量进行上采样处理得到目标偏移量，具体可以包括MV0-LL、MV0-LH、MV0-HL、MV0-HH。

在得到上述目标偏移量之后，可以将上述目标偏移量分别代入上述参考子图像和待优化子图像以对上述参考子图像预计上述待优化子图像进行更新，然后对上述参考子图像和待优化子图像进行匹配算法约束以更新上述目标偏移量。再此之后，可以对目标偏移量进行与上述目标下采样相适配的上采样以完成对目标偏移量的二次更新得到更新后目标偏移量，MV-LL、MV-LH、MV-HL、MVHH。

在另一种示例实施方式中，参照图9所示，在得到第二层中间频率系数对应的中间偏移量之后，可以利用第二层中间频率系数更新第二层中间频率系数，更新后中间频率系数可以包括一组高频系数L-HH3+MV3-HH和S-HH3+MV3-HH，以及；两组中频系数，包括L-HL3+MV3-HL和S-HL3+MV3-HL、以及L-LH3+MV3-LH和S-LH3+MV3-LH，以及一组低频系数L-LL3+MV3-LL和S-LL3+MV3-LL，然后对更新后的第二层中间待优化图像对应的频率系数及进行小波重构得到第二层中间图像，然后利用上述第二层中间图像与第一层中的参考图像对应的低频系数即S-LL2进行匹配约束算法得到第一层对应的中间偏移量。

在得到第一层中间频率系数对应的中间偏移量MV2，可以利用上述中间偏移量MV2更新上述第一层待优化图像对应的频率系数，更新后第一层待优化图像对应的频率系数包括高频系数L-HH2+MV2中频系数L-HL2+MV2以及L-LH2+MV2以及一组低频系数L-LL2+MV2，然后对更新后的第一层待优化图像对应的频率系数进行小波重构得到第一层频率系数对应的中间图像，然后基于该中间图像与初始频率系数中的参考图像对应的低频系数进行匹配算法约束得到更新后初始偏移量。

在本示例实施方式中，可以利用更新后的初始偏移量更新上述初始频率系数中的待优化图像对应的频率系数，更新后的待优化图像对应的频率系数包括L-HH1+MV1中频系数L-HL1+MV1以及L-LH1+MV1以及一组低频系数L-LL1+MV1，然后对其进行小波重构得到初始中间图像，然后利用初始中间图像与参考图像进行匹配算法约束得到上述目标偏移量。

在得到上述目标偏移量之后，可以直接对上述目标偏移量进行上采样处理以更新上述目标偏移量。

在得到上述目标偏移量之后，可以执行步骤S240，具体的：

在步骤S240中，利用所述目标偏移量对所述待优化图像进行优化处理得到目标图像。

在本公开的一种示例实施方式中，参照图10所示，利用所述目标偏移量对所述待优化图像进行优化处理得到目标图像可以包括步骤S1010至步骤S1030。

在步骤S1010中，利用所述目标偏移量对所述待优化图像进行对齐操作得到至少一个待融合图像；

步骤S1020中，根据所述目标偏移量中的频率信息确定各所述待融合图像的权重；

在步骤S1030中，基于各所述待融合图像的权重将至少一个所述待融合图像融合得到所述目标图像。

在本示例实施方式中，可以利用上述得到的目标偏移量对上述待优化图像进行对其操作得到带融合图像，举例而言，若上述得到的目标偏移量包括MV0，MV0包括MV0.x和MV0.y则可以将上述目标偏移量应用至待优化图像，具体的，复制上述待优化图像得到第一待优化图像和第二待优化图像，以第二预设步长遍历上述第一待优化图像，在坐标(i+MV0.x，j+MV0.y)处取半径为R3的第四图像块，然后，以第二预设步长遍历上述第二待优化图像在坐标(i，j)处取半径为R3的第五图像块，然后利用第四图像块以及第五图像块的均值更新第五图像块中的像素值，在完成迭代之后，将第二待优化图像作为上述待融合图像。

需要说明的是，上述第二预设步长以及R3均可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。

在本示例实施方式中，由于只得到一张带融合图像，因此，可以将上述待融合图像直接作为上述作为目标图像。

在另一种示例实施方式中，若得到目标偏移量包括MV-LL、MV-LH、MV-HL、MVHH，可以根据上述目标偏移量分别应用到上述待优化项中，举例而言，若待优化图像为RAWL，参考图像为RAWS，则可以将上述MV-LL、MV-LH、MV-HL、MVHH分别应用到上述待优化图像，即RAWL中得到低频待融合图像RAW_LL、第一中频待融合图像RAW_LH、第二中频待融合图像RAW_HL、高频待融合图像RAW_HH。

下面以将MV-LL应用到RAWL得到低频待融合图像RAW_LL为例进行说明，具体的，首先可以复至上述RAWL得到第一待优化图像RAWL和第二待优化图像RAWL，然后，以第二预设步长遍历上述第一待优化图像RAWL，在坐标(i+MV-LL.x，j+MV-LL.y)处取半径为R3的第四图像块，然后，以第二预设步长遍历上述第二待优化图像RAWL在坐标(i，j)处取半径为R3的第五图像块，然后利用第四图像块以及第五图像块的均值更新第五图像块中的像素值，在完成迭代之后，将第二待优化图像RAWL作为上述低频待融合图像RAW_LL。

将MV-LH、MV-HL、MVHH分别应用到上述待优化图像得到第一中频待融合图像RAW_LH、第二中频待融合图像RAW_HL、高频待融合图像RAW_HH的过程可以参考将MV-LL应用到RAWL得到低频待融合图像RAW_LL，在此不再赘述。

可以根据上述频率信息确定上述低频待融合图像RAW_LL、第一中频待融合图像RAW_LH、第二中频待融合图像RAW_HL、高频待融合图像RAW_HH对应的权重信息，可以基于先验信息确定权重，举例而言，低频待融合图像RAW_LL、第一中频待融合图像RAW_LH、第二中频待融合图像RAW_HL、高频待融合图像RAW_HH对应的权重对应的权重分别为W1＝0.5；W2＝0.2；W3＝0.2；W4＝0.1。其中，W1+W2+W3+W4＝1。

需要说明的是，上述带融合图像对应的权重还可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。

在本示例实施方式中，在得到上述权重信息之后，根据上述权重信息对待融合图像进行融合得到目标图像，以完成对待优化图像的去噪，具体的，RAW_DENOISE＝W1*RAW_LL+W2*RAW_LH+W3*RAW_HL+W4*RAW_HH，其中，RAW_DENOISE表示上述目标图像。

参照原图11所示，在得到上述目标信息之后，本公开中的图像处理方法还可以包括步骤S1110至步骤S1130。下面各个步骤进行详细说明。

在步骤S1110中，设定第一像素阈值和第二像素阈值；

在步骤S1120中，基于所述目标图像的每个像素点的像素值、所述第一像素阈值和第二像素阈值确定目标图像中各所述像素点的权重；

在步骤S1130中，利用各像素点的权重将所述目标图像与所述参考图像融合以更新所述目标图像。

在本公开的一种示例实施方式中，可以首先设定两个像素阈值，具体包括第一像素阈值和第二像素阈值，其中，第二像素阈值可以大于上述第一像素阈值，举例而言，第一像素阈值和第二像素阈值分别为TH1和TH2(TH2>TH1)。

在确定上述像素阈值之后，就可以将确定上述目标图像中每一个像素点的像素值，然后根据上述像素点的像素值以及上述第一像素阈值和第二像素阈值确定该像素点的权重，具体的，若像素值大于上述第二像素阈值，则将该像素点的权重设定为1，若该像素点的像素值小于上述第一像素阈值，则将该像素点的权重该设置为0，若该像素点的像素值大于等于第一像素阈值且小于等于第二像素阈值，则计算上述第一像素阈值与上述第二像素阈值的差值，然后将该像素点的像素值与上述差值的比值作为该像素点的权重。

在得到上述每一个像素点的权重信息之后，可以基于上述权重将上述参考图像和上述目标图像融合得到更新后目标图像。具体的：

OUTPUT＝Mask*RAWS+(1-Mask)*RAWL2S

其中，RAWL2S表示更新前目标图像，Mask表示参考图像对应的权重矩阵，(1-Mask)表示目标图像对应的权重矩阵，RAWS表示参考图像。

将参考图像融合之后，能够使得得到目标图像的动态范围更广，同时得到的目标图像的信息量更大，提升了图像处理的精度。

综上所述，本示例性实施方式中，采用不同曝光信息的图像图像处理，能够使得得到的目标图像的信息更加丰富。另一方面，采用初始频率系数来确定待优化图像与参考图像的目标偏移量，在节约计算量的同时，能够针对不同频域进行处理，提高得到目标图像的质量。可以通过首先计算初始偏移量，然后利用多次小波分解的方式对初始偏移量进行更新得到目标偏移量，是的得到的目标偏移量的精度更高，以使得对与图像的处理精度更高，进一步的，采用小波分解后的频率系数来计算目标偏移量能够降低对原图的计算量。利用目标偏移量首先对待优化图像进行了去噪操作，提升了得到目标图像的精度，进一步的将其与参考图像进行了融合，进一步提升了得到目标图像的动态特征，提升了对图像处理的精度。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图12所示，本示例的实施方式中还提供一种图像处理装置1200，包括划分模块1210、获取模块1220、确定模块1230和优化模块1240。其中：

划分模块1210可以用于获取对相同拍摄对象所采集的至少两张具有不同曝光信息的候选图像，并将所述候选图像划分为一张参考图像和至少一张待优化图像。

在一种示例实施方式中，划分模块1210可以被配置为响应所述候选图像的数量为两张，将曝光较长的候选图像作为所述待优化图像，将曝光较短的图像作为所述参考图像；响应所述候选图像的数量大于两张，获取多个所述候选图像的曝光时间的中位数，将曝光时间与中位数的差值最小的候选图像作为所述参考图像。

获取模块1220可以用于获取所述待优化图像与所述参考图像之间的多组初始频率系数。

在一种示例实施方式中，获取模块1220可以被配置为对所述待优化图像与所述参考图像进行小波分解得到多组所述初始频率系数。

确定模块1230可以用于基于所述多组初始频率系数确定所述待优化图像与所述参考图像的目标偏移量。

在一种示例实施方式中，确定模块1230可以被配置为对至少一组所述初始频率系数进行匹配算法约束得到初始偏移量；对所述初始偏移量进行约束，并基于约束结果确定所述目标偏移量。具体的，可以利用多组初始频率系数中的低频系数对所述初始偏移量进行更新得到所述目标偏移量。

在一种示例实施方式中，利用多组初始频率系数中的低频系数对所述初始偏移量进行更新得到目标偏移量，包括：对所述低频系数进行小波分解得到第一层中间频率系数；对第N-1层中间频率系数中的中间低频系数进行小波分解得到第N层中间频率系数；基于所述第N层中间频率系数更新所述第N-1层中间频率系数对应的中间偏移量；利用第一层中间频率系数对应的中间偏移量更新所述初始偏移量得到所述目标偏移量；其中，第N-1层中间频率系数和第N层中间频率系数是任意相邻的两层中间频率系数；N为大于等于2的正整数。

在本示例实施方式中，确定模块1230可以被配置为对所述中间频率系数共进行M次更新，基于所述第N层中间频率系数更新所述第N-1层中间频率系数对应的中间偏移量可以包括响应所述N小于M，根据所述第N层中间偏移量与所述第N-1层中间频率系数确定第N-1层中间偏移量；响应所述N等于M，对至少一组所述第N层中间频率系数进行匹配算法约束得到第N层中间偏移量，并对所述第N层中间偏移量进行上采样得到第N-1层中间偏移量。

在本示例实施方式中，根据所述第N层中间偏移量与所述第N-1层中间频率系数确定第N-1层中间偏移量，包括：对所述第N层中间偏移量与所述第N层待优化图像的中间频率系数进行小波重构得到第N层待优化图像对应的中间图像；对所述第N层中间图像与所述第N-1层中间频率系数中的参考图像对应的低频系数确定第N-1层中间偏移量。

在一种示例实施方式中，对所述第N层中间图像与所述第N-1层中间频率系数进行匹配算法约束确定第N-1层中间偏移量可以包括对所述第N-1层的参考图像对应的中间频率系数进行小波重构得到第N-1层参考图像对应的中间图像；对所述第N层待优化图像对应的中间图像与第N-1层中间频率系数中的参考图像对应的低频系数进行匹配算法约束确定第N-1层中间偏移量。

在一种示例实施方式中，确定模块1230可以被配置为利用第一层中间频率系数对应的中间偏移量更新上述初始频率系数；利用更新后的初始频率系数计算更新后初始偏移量；对更新后初始偏移量进行上采样操作得到所述目标偏移量。

在本示例实施方式中，利用第一层中间频率系数对应的中间偏移量更新所述初始偏移量得到所述目标偏移量可以包括利用第一层中间频率系数对应的中间偏移量更新第一层待优化图像对应的频率系数；对所述一层待优化图像对应的频率系数进行小波重构得到第一层中间图像；利用第一层中间图像与所述初始频率系数中所述参考图像对应的低频系数确定所述更新后初始偏移量；利用更新后初始偏移量所述待优化图像对应的初始频率系数进行小波重构得到初始中间图像；对所述初始值中间图像与所述参考图像进行匹配算法约束得到所述目标偏移量。

在一种示例实施方式中，对所述待优化图像与所述参考图像进行小波分解得到多组所述初始频率系数可以包括对所述参考图像和所述待优化图像进行目标下采样得到待优化子图像和参考子图像；对所述参考子图像和所述待优化子图像进行小波分解得到所述初始频率系数。

优化模块1240可以用于利用所述目标偏移量对所述待优化图像进行优化处理得到目标图像。

在一种示例实施方式中，优化模块1240可以被配置为利用所述目标偏移量对所述待优化图像进行优化处理得到目标图像，包括：利用所述目标偏移量对所述待优化图像进行对齐操作得到至少一个待融合图像；根据所述目标偏移量中的频率信息确定各所述待融合图像的权重；基于各所述待融合图像的权重将至少一个所述待融合图像融合得到所述目标图像。

在一种示例实施方式中，上述图像处理装置1200还可以用于设定第一像素阈值和第二像素阈值；基于所述目标图像的每个像素点的像素值、所述第一像素阈值和第二像素阈值确定目标图像中各所述像素点的权重；利用各像素点的权重将所述目标图像与所述参考图像融合以更新所述目标图像。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

本公开的示例性实施方式还提供一种用于执行上述图像处理方法的电子设备，该电子设备可以是上述终端110或服务器120。一般的，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述图像处理方法。

下面以图13中的移动终端1300为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图13中的构造也能够应用于固定类型的设备。

如图13所示，移动终端1300具体可以包括：处理器1301、存储器1302、总线1303、移动通信模块1304、天线1、无线通信模块1305、天线13、显示屏1306、摄像模块1307、音频模块1308、电源模块1309与传感器模块13210。

处理器1301可以包括一个或多个处理单元，例如：处理器1301可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。本示例性实施方式中的图像处理方法可以由AP、GPU或DSP来执行，当方法涉及到神经网络相关的处理时，可以由NPU来执行。

编码器可以对图像或视频进行编码(即压缩)，例如可以将目标图像编码为特定的格式，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据，如可以读取目标图像的编码数据，通过解码器进行解码，以还原出目标图像的数据，进而对该数据进行图像处理的相关处理。移动终端1300可以支持一种或多种编码器和解码器。这样，移动终端1300可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(PortableNetwork Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(MovingPicture Experts Group，动态图像专家组)1、MPEG2、H.263、H.264、HEVC(High EfficiencyVideo Coding，高效率视频编码)等视频格式。

处理器1301可以通过总线1303与存储器1302或其他部件形成连接。

存储器1302可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器1301通过运行存储在存储器1302的指令，执行移动终端1300的各种功能应用以及数据处理。存储器1302还可以存储应用数据，例如存储图像，视频等文件。

移动终端1300的通信功能可以通过移动通信模块1304、天线1、无线通信模块1305、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块1304可以提供应用在移动终端1300上2G、3G、4G、5G等移动通信解决方案。无线通信模块1305可以提供应用在移动终端200上的无线局域网、蓝牙、近场通信等无线通信解决方案。

显示屏1306用于实现显示功能，如显示用户界面、图像、视频等。摄像模块1307用于实现拍摄功能，如拍摄图像、视频等。音频模块1308用于实现音频功能，如播放音频，采集语音等。电源模块1309用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。传感器模块1310可以包括深度传感器13101、压力传感器13102、陀螺仪传感器13103、气压传感器13104等，以实现相应的感应检测功能。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (19)

1.一种图像处理方法，其特征在于，包括：

获取对相同拍摄对象所采集的至少两张具有不同曝光信息的候选图像，并将所述候选图像划分为一张参考图像和至少一张待优化图像；

获取所述待优化图像与所述参考图像之间的多组初始频率系数；

基于所述多组初始频率系数确定所述待优化图像与所述参考图像的目标偏移量；

利用所述目标偏移量对所述待优化图像进行优化处理得到目标图像。

2.根据权利要求1所述的方法，其特征在于，获取所述待优化图像与所述参考图像之间的多组初始频率系数，包括：

对所述待优化图像与所述参考图像进行小波分解得到多组所述初始频率系数。

3.根据权利要求1所述的方法，其特征在于，基于所述多组初始频率系数确定所述待优化图像与所述参考图像的目标偏移量，包括：

对至少一组所述初始频率系数进行匹配算法约束得到初始偏移量；

对所述初始偏移量进行约束，并基于约束结果确定所述目标偏移量。

4.根据权利要求3所述的方法，其特征在于，对所述初始偏移量进行约束，并基于所述约束结果确定所述目标偏移量，包括：

利用多组初始频率系数中的低频系数对所述初始偏移量进行更新得到所述目标偏移量。

5.根据权利要求4所述的方法，其特征在于，利用多组初始频率系数中的低频系数对所述初始偏移量进行更新得到目标偏移量，包括：

对所述低频系数进行小波分解得到第一层中间频率系数；

对第N-1层中间频率系数中的中间低频系数进行小波分解得到第N层中间频率系数；

基于所述第N层中间频率系数更新所述第N-1层中间频率系数对应的中间偏移量；

利用第一层中间频率系数对应的中间偏移量更新所述初始偏移量得到所述目标偏移量；

其中，第N-1层中间频率系数和第N层中间频率系数是任意相邻的两层中间频率系数；N为大于等于2的正整数。

6.根据权利要求5所述的方法，其特征在于，对所述中间频率系数共进行M次更新，基于所述第N层中间频率系数更新所述第N-1层中间频率系数对应的中间偏移量，包括：

响应所述N小于M，根据所述第N层中间偏移量与所述第N-1层中间频率系数确定第N-1层中间偏移量；

响应所述N等于M，对至少一组所述第N层中间频率系数进行匹配算法约束得到第N层中间偏移量，并对所述第N层中间偏移量进行上采样得到第N-1层中间偏移量。

7.根据权利要求6所述的方法，其特征在于，根据所述第N层中间偏移量与所述第N-1层中间频率系数确定第N-1层中间偏移量，包括：

对所述第N层中间偏移量进行上采样得到第N-1层候选偏移量；

利用所述第N-1层候选偏移量更新所述第N-1层中间频率系数，并对更新后的第N-1层中间频率系数进行匹配算法约束确定第N-1层中间偏移量。

8.根据权利要求6所述的方法，其特征在于，根据所述第N层中间偏移量与所述第N-1层中间频率系数确定第N-1层中间偏移量，包括：

对所述第N层中间偏移量与所述第N层待优化图像的中间频率系数进行小波重构得到第N层待优化图像对应的中间图像；

对所述第N层中间图像与所述第N-1层中间频率系数中的参考图像对应的低频系数确定第N-1层中间偏移量。

9.根据权利要求8所述的方法，其特征在于，对所述第N层中间图像与所述第N-1层中间频率系数进行匹配算法约束确定第N-1层中间偏移量，包括：

对所述第N-1层的参考图像对应的中间频率系数进行小波重构得到第N-1层参考图像对应的中间图像；

对所述第N层待优化图像对应的中间图像与第N-1层中间频率系数中的参考图像对应的低频系数进行匹配算法约束确定第N-1层中间偏移量。

10.根据权利要求2所述的方法，其特征在于，利用第一层中间频率系数对应的中间偏移量更新所述初始偏移量得到所述目标偏移量，包括：

利用第一层中间频率系数对应的中间偏移量更新上述初始频率系数；

利用更新后的初始频率系数计算更新后初始偏移量；

对更新后初始偏移量进行上采样操作得到所述目标偏移量。

11.根据权利要求2所述的方法，其特征在于，利用第一层中间频率系数对应的中间偏移量更新所述初始偏移量得到所述目标偏移量，包括：

利用第一层中间频率系数对应的中间偏移量更新第一层待优化图像对应的频率系数；

对所述一层待优化图像对应的频率系数进行小波重构得到第一层中间图像；

利用第一层中间图像与所述初始频率系数中所述参考图像对应的低频系数确定所述更新后初始偏移量；

利用更新后初始偏移量所述待优化图像对应的初始频率系数进行小波重构得到初始中间图像；

对所述初始值中间图像与所述参考图像进行匹配算法约束得到所述目标偏移量。

12.根据权利要求2所述的方法，其特征在于，对所述待优化图像与所述参考图像进行小波分解得到多组所述初始频率系数，包括：

对所述参考图像和所述待优化图像进行目标下采样得到待优化子图像和参考子图像；

对所述参考子图像和所述待优化子图像进行小波分解得到所述初始频率系数。

13.根据权利要求12所述的方法，其特征在于，所述方法还包括：

将所述目标偏移量代入所述待优化子图像和所述参考子图像，并对待优化子图像和所述参考子图像进行匹配算法约束，以更新所述目标偏移量；和/或

对所述目标偏移量进行与所述目标下采样处理相适配的上采样处理，以更新所述目标偏移量。

14.根据权利要求1所述的方法，其特征在于，利用所述目标偏移量对所述待优化图像进行优化处理得到目标图像，包括：

利用所述目标偏移量对所述待优化图像进行对齐操作得到至少一个待融合图像；

根据所述目标偏移量中的频率信息确定各所述待融合图像的权重；

基于各所述待融合图像的权重将至少一个所述待融合图像融合得到所述目标图像。

15.根据权利要求1至14任一项所述的方法，其特征在于，所述方法还包括：

设定第一像素阈值和第二像素阈值；

基于所述目标图像的每个像素点的像素值、所述第一像素阈值和第二像素阈值确定目标图像中各所述像素点的权重；

利用各像素点的权重将所述目标图像与所述参考图像融合以更新所述目标图像。

16.根据权利要求1-14任一项所述的方法，其特征在于，将所述候选图像划分为一张参考图像和至少一张待优化图像，包括：

响应所述候选图像的数量为两张，将曝光较长的候选图像作为所述待优化图像，将曝光较短的图像作为所述参考图像；

响应所述候选图像的数量大于两张，获取多个所述候选图像的曝光时间的中位数，将曝光时间与中位数的差值最小的候选图像作为所述参考图像。

17.一种图像处理装置，其特征在于，包括：

划分模块，用于获取对相同拍摄对象所采集的至少两张具有不同曝光信息的候选图像，并将所述候选图像划分为一张参考图像和至少一张待优化图像；

获取模块，用于获取所述待优化图像与所述参考图像之间的多组初始频率系数；

确定模块，用于基于所述多组初始频率系数确定所述待优化图像与所述参考图像的目标偏移量；

优化模块，用于利用所述目标偏移量对所述待优化图像进行优化处理得到目标图像。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至16中任一项所述的图像处理方法。

19.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至16中任一项所述的图像处理方法。

Images