CN111311532A - 图像处理方法及装置、电子设备、存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法及装置、电子设备、存储介质。该方法包括：获取第一待处理图像和第二待处理图像，其中，所述第一待处理图像的内容与所述第二待处理图像的内容相同，且所述第一待处理图像的曝光量与所述第二待处理图像的曝光量不同；对所述第一待处理图像和所述第二待处理图像进行特征提取处理，得到第一特征图像；依据所述第一特征图像，得到第一像素点的第一权重和第二像素点的第二权重；依据所述第一权重和所述第二权重，对所述第一待处理图像和所述第二待处理图像进行融合处理，得到融合后的图像。

Description

图像处理方法及装置、电子设备、存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、电子设备、存储介质。

背景技术

相较于通过胶片相机进行摄影，在数码摄影中，是否正确曝光，是决定拍摄得到的图像质量的重要因素之一。合适的曝光量(exposure values，EV)，可使图像中的被拍摄对象的明暗对比合适，而曝光量低易导致图像的亮度过低、曝光量过大易导致图像的亮度过高。因此，如何为图像确定合适的曝光量具有非常重要的意义。

发明内容

本申请提供一种图像处理方法及装置、电子设备、存储介质。

第一方面，提供了一种图像处理方法，所述方法包括：

获取第一待处理图像和第二待处理图像，其中，所述第一待处理图像的内容与所述第二待处理图像的内容相同，且所述第一待处理图像的曝光量与所述第二待处理图像的曝光量不同；

对所述第一待处理图像和所述第二待处理图像进行特征提取处理，得到第一特征图像；

依据所述第一特征图像，得到第一像素点的第一权重和第二像素点的第二权重，其中，所述第一像素点为所述第一待处理图像中的像素点，所述第二像素点为所述第二待处理图像中与所述第一像素点互为同名点的像素点；

依据所述第一权重和所述第二权重，对所述第一待处理图像和所述第二待处理图像进行融合处理，得到融合后的图像。

在该方面中，通过对第一待处理图像和第二待处理图像进行特征提取处理，得到第一待处理图像中像素点的明暗信息和第二待处理图像中像素点的明暗信息。基于第一待处理图像中像素点的明暗信息和第二待处理图像中像素点的明暗信息，得到第一待处理图像中的像素点的权重和第二待处理图像中的像素点的权重，可达到使明暗程度不同的像素点的权重不同的效果，从而在基于第一待处理图像中的像素点的权重和第二待处理图像中的像素点的权重，对第一待处理图像和第二待处理图像进行融合处理的过程中，可提高得到的融合后的图像的质量。

结合本申请任一实施方式，所述对所述第一待处理图像和所述第二待处理图像进行特征提取处理，得到特征图像，包括：

对所述第一待处理图像和所述第二待处理图像进行拼接处理，得到第三待处理图像；

提取所述第三待处理图像中的像素点的特征信息，得到第二特征图像；

对所述第二特征图像进行归一化处理，得到第三特征图像；

对所述第三特征图像进行非线性变换，得到所述第一特征图像。

结合本申请任一实施方式，在所述第一特征图像的尺寸小于所述第三待处理图像的尺寸的情况下，所述对所述第三特征图像进行非线性变换，得到所述第一特征图像，包括：

对所述第三特征图像进行非线性变换，得到第四特征图像；

对所述第四特征图像进行上采样处理，得到所述第一特征图像。

结合本申请任一实施方式，在对所述第一待处理图像和所述第二待处理图像进行拼接处理，得到第三特征图像之前，所述方法还包括：

对所述第一待处理图像中的像素值进行归一化处理，得到归一化处理后的第一待处理图像；

对所述第二待处理图像中的像素值进行归一化处理，得到归一化处理后的第二待处理图像；

所述对所述第一待处理图像和所述第二待处理图像进行拼接处理，得到第三待处理图像，包括：

对所述归一化处理后的第一待处理图像和所述归一化处理后的第二待处理图像进行拼接处理，得到所述第三待处理图像。

结合本申请任一实施方式，所述依据所述第一特征图像，得到第一像素点的第一权重和第二像素点的第二权重，包括：

依据第三像素点的像素值得到所述第一权重，其中，所述第三像素点为所述第一特征图像中的像素点，所述第三像素点在所述第一特征图像中的位置与所述第一像素点在所述第三待处理图像中的位置相同；

依据第四像素点的像素值得到所述第二权重，其中，所述第四像素点为所述第一特征图像中的像素点，所述第四像素点在所述第一特征图像中的位置与所述第二像素点在所述第三待处理图像中的位置相同。

结合本申请任一实施方式，通过图像处理网络实现所述图像处理方法；

所述图像处理网络的训练过程包括：

获取第一样本图像、第二样本图像、监督数据、待训练网络，其中，所述第一样本图像的内容与所述第二样本图像的内容相同，且所述第一样本图像的曝光量与所述第二样本图像的曝光量不同，所述监督数据通过将所述第一样本图像和所述第二样本图像融合得到；

使用所述待训练网络对所述第一样本图像和所述第二样本图像进行处理，得到融合后的样本图像；

依据所述融合后的样本图像与所述监督数据之间的差异，得到所述待训练网络的损失；

基于所述待训练网络的损失，调整所述待训练网络的参数，得到所述图像处理网络。

结合本申请任一实施方式，在所述依据所述融合后的样本图像与所述监督数据之间的差异，得到所述待训练网络的损失之前，所述训练过程还包括：

依据所述融合后的样本图像中梯度的方向和所述监督数据中梯度的方向之间的差异，得到第一差异；

所述依据所述融合后的样本图像与所述监督数据之间的差异，得到所述待训练网络的损失，包括：

依据所述融合后的样本图像与所述监督数据之间的差异，得到第二差异；

依据所述第一差异和所述第二差异，得到所述待训练网络的损失。

结合本申请任一实施方式，在所述依据所述第一差异和所述第二差异，得到所述待训练网络的损失之前，所述训练过程还包括：

确定所述融合后的样本图像中像素值大于或等于高亮像素点阈值的像素点，作为高亮像素点；

依据所述高亮像素点的梯度与所述监督数据中的第三像素点的梯度之间的差异，得到第三差异，其中，所述高亮像素点与所述第三像素点互为同名点；

所述依据所述第一差异和所述第二差异，得到所述待训练网络的损失，包括：

依据所述第一差异、所述第二差异和所述第三差异，得到所述待训练网络的损失。

结合本申请任一实施方式，在所述依据所述第一差异、所述第二差异和所述第三差异，得到所述待训练网络的损失之前，所述训练过程还包括：

依据所述融合后的样本图像中梯度和所述监督数据中梯度之间的差异，得到第四差异；

所述依据所述第一差异、所述第二差异和所述第三差异，得到所述待训练网络的损失，包括：

依据所述第一差异、所述第二差异、所述第三差异和第四差异，得到所述待训练网络的损失。

第二方面，提供了一种图像处理装置，所述装置包括：

获取单元，用于获取第一待处理图像和第二待处理图像，其中，所述第一待处理图像的内容与所述第二待处理图像的内容相同，且所述第一待处理图像的曝光量与所述第二待处理图像的曝光量不同；

第一处理单元，用于对所述第一待处理图像和所述第二待处理图像进行特征提取处理，得到特征图像；

第二处理单元，用于依据所述第一特征图像，得到第一像素点的第一权重和第二像素点的第二权重，其中，所述第一像素点为所述第一待处理图像中的像素点，所述第二像素点为所述第二待处理图像中与所述第一像素点互为同名点的像素点；

第三处理单元，用于依据所述第一权重和所述第二权重，对所述第一待处理图像和所述第二待处理图像进行融合处理，得到融合后的图像。

结合本申请任一实施方式，所述第一处理单元，用于：

对所述第一待处理图像和所述第二待处理图像进行拼接处理，得到第三待处理图像；

提取所述第三待处理图像中的像素点的特征信息，得到第二特征图像；

对所述第二特征图像进行归一化处理，得到第三特征图像；

对所述第三特征图像进行非线性变换，得到所述第一特征图像。

结合本申请任一实施方式，在所述第一特征图像的尺寸小于所述第三待处理图像的尺寸的情况下，所述第一处理单元，用于：

对所述第三特征图像进行非线性变换，得到第四特征图像；

对所述第四特征图像进行上采样处理，得到所述第一特征图像。

结合本申请任一实施方式，所述装置还包括：

第四处理单元，用于在对所述第一待处理图像和所述第二待处理图像进行拼接处理，得到第三特征图像之前，对所述第一待处理图像中的像素值进行归一化处理，得到归一化处理后的第一待处理图像，以及对所述第二待处理图像中的像素值进行归一化处理，得到归一化处理后的第二待处理图像；

所述第一处理单元，用于：

对所述归一化处理后的第一待处理图像和所述归一化处理后的第二待处理图像进行拼接处理，得到所述第三待处理图像。

结合本申请任一实施方式，所述第三处理单元，用于：

依据第三像素点的像素值得到所述第一权重，其中，所述第三像素点为所述第一特征图像中的像素点，所述第三像素点在所述第一特征图像中的位置与所述第一像素点在所述第三待处理图像中的位置相同；

依据第四像素点的像素值得到所述第二权重，其中，所述第四像素点为所述第一特征图像中的像素点，所述第四像素点在所述第一特征图像中的位置与所述第二像素点在所述第三待处理图像中的位置相同。

结合本申请任一实施方式，所述装置执行的图像处理方法应用于图像处理网络；

所述装置还包括：训练单元，用于对所述图像处理网络进行训练，所述图像处理网络的训练过程包括：

获取第一样本图像、第二样本图像、监督数据、待训练网络，其中，所述第一样本图像的内容与所述第二样本图像的内容相同，且所述第一样本图像的曝光量与所述第二样本图像的曝光量不同，所述监督数据通过将所述第一样本图像和所述第二样本图像融合得到；

使用所述待训练网络对所述第一样本图像和所述第二样本图像进行处理，得到融合后的样本图像；

依据所述融合后的样本图像与所述监督数据之间的差异，得到所述待训练网络的损失；

基于所述待训练网络的损失，调整所述待训练网络的参数，得到所述图像处理网络。

结合本申请任一实施方式，所述训练单元还用于：

在所述依据所述融合后的样本图像与所述监督数据之间的差异，得到所述待训练网络的损失之前，依据所述融合后的样本图像中梯度的方向和所述监督数据中梯度的方向之间的差异，得到第一差异；

依据所述融合后的样本图像与所述监督数据之间的差异，得到第二差异；

依据所述第一差异和所述第二差异，得到所述待训练网络的损失。

结合本申请任一实施方式，所述训练单元还用于：

在所述依据所述第一差异和所述第二差异，得到所述待训练网络的损失之前，确定所述融合后的样本图像中像素值大于或等于高亮像素点阈值的像素点，作为高亮像素点；

依据所述高亮像素点的梯度与所述监督数据中的第三像素点的梯度之间的差异，得到第三差异，其中，所述高亮像素点与所述第三像素点互为同名点；

依据所述第一差异、所述第二差异和所述第三差异，得到所述待训练网络的损失。

结合本申请任一实施方式，所述训练单元还用于：

在所述依据所述第一差异、所述第二差异和所述第三差异，得到所述待训练网络的损失之前，依据所述融合后的样本图像中梯度和所述监督数据中梯度之间的差异，得到第四差异；

依据所述第一差异、所述第二差异、所述第三差异和第四差异，得到所述待训练网络的损失。

第三方面，提供了一种处理器，所述处理器用于执行如上述第一方面及其任意一种可能实现的方式的方法。

第四方面，提供了一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。

第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。

第六方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1a和图1b为本申请实施例提供的一种包围曝光图像的示意图；

图2为本申请实施例提供的一种图像处理方法的流程示意图；

图3为本申请实施例提供的一种相同位置的像素点的示意图；

图4为本申请实施例提供的一种同名点的示意图；

图5为本申请实施例提供的另一种图像处理方法的流程示意图；

图6为本申请实施例提供的一种对图像进行通道维度上的拼接的示意图；

图7为本申请实施例提供的一种对第三待处理图像进行处理得到第一特征图像的示意图；

图8为本申请实施例提供的一种图像处理网络的结构示意图；

图9为本申请实施例提供的另一种图像处理方法的流程示意图；

图10为本申请实施例提供的一种图像处理装置的结构示意图；

图11为本申请实施例提供的一种图像处理装置的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

相较于通过胶片相机进行摄影，在数码摄影中，是否正确曝光，是决定拍摄得到的图像质量的重要因素之一。合适的EV可使图像中的被拍摄对象的明暗对比合适，而曝光量低易导致图像的亮度过低、曝光量过大易导致图像的亮度过高。因此，合适的曝光量可提高图像的高质量。

由于摄影者无法确定合适的曝光量，导致拍摄得到的图像(下文将称为参考图像)的质量低。在传统方法中，通过调整参考图像的曝光量，得到处理后的图像。对参考图像和处理后的图像进行融合处理，提升参考图像的质量，得到融合后的图像。举例来说(例1)，假设参考图像的曝光量为2EV。通过调整参考图像的曝光量，使参考图像的曝光量-1EV，得到处理后的图像，其中，处理后的图像的曝光量为1EV。对参考图像和处理后的图像进行融合处理，得到融合后的图像，其中融合后的图像的曝光量处于[1EV，2EV]之间。

为表述方便，本申请实施例中，[α，β]表示大于或等于α且小于或等于β的取值区间。

在例1中，参考图像的内容与处理后的图像的内容相同，但参考图像的曝光量与处理后的图像的曝光量不同。通过将参考图像与处理后的图像融合，得到的融合后的图像的内容与参考图像的内容相同，但融合后的图像的曝光量与参考图像的曝光量不同。这样，可通过将参考图像和处理后的图像融合，达到调整参考图像的曝光量的效果，进而提升参考图像的质量。

为表述方便，下文将内容相同、曝光量不同的至少两张图像称为包围曝光图像。例如，例1中的参考图像和处理后的图像即为包围曝光图像。又例如，图像a的内容、图像b的内容、图像c的内容均相同，图像a的曝光量为1EV、图像b的曝光量为-1EV、图像c的曝光量为2EV，则图像a、图像b、图像c为包围曝光图像。再例如，图1a所示的图像与图1b所示的图像为内容相同、曝光量不同的两张图像，即图1a所示的图像与图1b所示的图像为包围曝光图像。

在包围曝光图像融合的过程中，通过为不同的图像设置不同的权重，并基于该权重对包围曝光图像进行加权求和，可在不改变图像内容的前提下，得到曝光量合适的图像。例如(例2)，在例1中，假设参考图像的权重为0.6，处理后的图像的权重为0.4，融合后的图像的曝光量为2×0.6+1×0.4＝2.2EV。

因为包围曝光图像中不同像素点的明暗程度不一致，所以不同像素点所需的曝光量的调整幅度不同。例如，在参考图像中，由于像素点A的曝光量小导致像素点A暗、像素点B的曝光量大导致像素点B亮。显然，对于像素点A，需要将曝光量调大，以使像素点A的亮度增大，而对于像素点B，需要将曝光量调小，以使像素点AB的亮度减小。由于在对参考图像和处理后的图像进行融合的过程中，并未考虑图像中不同像素点的明暗程度，导致通过传统方法得到的融合后的图像的质量低。例如，在例2中，在对包围曝光图像进行融合的过程中，无论是亮的像素点还是暗的像素点，参考图像中的像素点的权重均为0.6，且处理后的图像中的像素点的权重均为0.4。

本申请实施例提供了一种技术方案，可在对包围曝光图像进行融合的过程中，基于像素点的明暗程度，确定像素点的权重，进而提高融合后的图像的质量。

本申请实施例的执行主体为图像处理装置，可选的，图像处理装置可以是以下中的一种：手机、计算机、服务器、平板电脑。下面结合本申请实施例中的附图对本申请实施例进行描述。

请参阅图2，图2是本申请实施例提供的一种图像处理方法的流程示意图。

201、获取第一待处理图像和第二待处理图像。

本申请实施例中，第一待处理图像和第二待处理图像为包围曝光图像。

在一种获取第一待处理图像和第二待处理图像的实现方式中，图像处理装置接收用户通过输入组件输入的第一待处理图像和第二待处理图像。上述输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。

在另一种获取第一待处理图像和第二待处理图像的实现方式中，图像处理装置接收第一终端发送的第一待处理图像和第二待处理图像。可选的，第一终端可以是以下任意一种：手机、计算机、平板电脑、服务器、可穿戴设备。

在又一种获取第一待处理图像和第二待处理图像的实现方式中，图像处理装置在获取第一待处理图像后，通过对第一待处理图像进行处理，调整第一待处理图像的曝光量，得到第二待处理图像。例如，图像处理装置获取到的第一待处理图像的EV为2。图像处理装置对第一待处理图像进行处理，使第一待处理图像的EV-1，得到第二待处理图像，其中，第二待处理图像的EV为1。

202、对上述第一待处理图像和上述第二待处理图像进行特征提取处理，得到第一特征图像。

本申请实施例中，特征提取处理可以是卷积处理，也可以是池化处理，还可以是卷积处理和池化处理的结合，或者其他可以提取特征的处理，不限于此。可选的，特征提取处理可通过卷积神经网络实现，也可通过特征提取模型实现，本申请对此不做限定。

在一种可能实现的方式中，特征提取处理通过卷积神经网络实现。通过将带有标注信息的包围曝光图像作为训练数据，对卷积神经网络进行训练，使训练后的卷积神经网络可完成对第一待处理图像和第二待处理图像的特征提取处理。训练数据中的图像的标注信息可以为包围曝光图像中的像素点的明暗信息。在使用训练数据对卷积神经网络进行训练的过程中，卷积神经网络从包围曝光图像中提取出图像的特征图像，作为训练结果。以标注信息为监督信息监督卷积神经网络在训练过程中得到的训练结果，并调整卷积神经网络的参数，完成对卷积神经网络的训练。这样，可使用训练后的卷积神经网络对第一待处理图像和第二待处理图像进行处理，得到第一特征图像，其中，第一特征图像携带第一待处理图像中的像素点的明暗信息和第二待处理图像中的像素点的明暗信息。

在另一种可能实现的方式中，通过至少两层卷积层对第一待处理图像和第二待处理图像逐层进行卷积处理，完成对第一待处理图像和第二待处理图像的特征提取处理，得到第一待处理图像和第二待处理图像的特征图像。至少两层卷积层中的卷积层依次串联，即上一层卷一层的输出为下一层卷积层的输入，在对第一待处理图像和第二待处理图像进行特征提取处理的过程中，每层卷积层提取出的内容及语义信息均不一样，具体表现为，特征提取处理一步步地将第一待处理图像的特征抽象出来，同时也将逐步丢弃相对次要的特征信息，其中，相对次要的特征信息指除像素点的明暗信息之外的特征信息。因此，越到后面提取出的特征图像的尺寸越小，但内容及语义信息更浓缩。通过多层卷积层逐级对第一待处理图像和第二待处理图像进行卷积处理，可在得到第一特征图像携带第一待处理图像中的像素点的明暗信息和第二待处理图像中的像素点的明暗信息的同时，将第一待处理图像和第二待处理图像的尺寸缩小，减小图像处理装置的数据处理量，提高图像处理装置的处理速度。

可选的，上述卷积处理的实现过程如下：通过使卷积核在第一待处理图像和第二待处理图像上滑动，并将第一待处理图像和第二待处理图像上与卷积核的中心像素点对应的像素点称为目标像素点。将第一待处理图像和第二待处理图像上的像素值与卷积核上对应的数值相乘，然后将所有相乘后的值相加得到卷积处理后的像素值。将卷积处理后的像素值作为目标像素点的像素值。最终滑动处理完第一待处理图像和第二待处理图像，更新第一待处理图像和第二待处理图像中所有像素点的像素值，完成对第一待处理图像和第二待处理图像的卷积处理，得到第一待处理图像和第二待处理图像的特征图像。示例性的，上述至少两层卷积层中的卷积核的尺寸均为3*3，卷积处理的步长为2。

203、依据上述第一特征图像，得到第一像素点的第一权重和第二像素点的第二权重。

本申请实施例中，第一像素点为第一待处理图像中的任意一个像素点，第二像素点为第二待处理图像中的像素点，且第一像素点与第二像素点互为同名点，即第一像素点所表征的物理点与第二像素点所表征的物理点相同。例如，图4所示的两张图像为包围曝光图像，其中，像素点A与像素点C互为同名点，像素点B与像素点D互为同名点。

第一权重为在后续对第一待处理图像和第二待处理图像进行融合的过程中，第一像素点的权重。第二权重为在后续对第一待处理图像和第二待处理图像进行融合的过程中，第二像素点的权重。

第一特征图像中的像素值携带像素点的明暗信息。因此，可依据第一特征图像中与第一像素点对应的像素点(下文将称为第一参考像素点)的像素值，确定第一像素点的权重，作为第一权重。依据第一特征图像中与第二像素点对应的像素点(下文将称为第二参考像素点)的像素值，确定第二像素点的权重，作为第二权重。

例如，假设第三待处理图像为将第一待处理图像和第二待处理图像进行通道维度上的拼接(concatenate)得到的图像。对第一待处理图像和第二待处理图像进行特征提取处理，可通过对第三待处理图像进行特征提取处理实现。对第三待处理图像进行特征提取处理得到的第一特征图像的尺寸，与第三待处理图像的尺寸相同。第一参考像素点在第一特征图像中的位置与第一像素点在第一待处理图像中的位置相同，第二参考像素点在第一特征图像中的位置与第二像素点在第二待处理图像中的位置相同。

又例如，第一特征图像包括第一特征子图像和第二特征子图像，其中，第一特征子图像通过对第一待处理图像进行特征提取处理得到，第二特征子图像通过对第二待处理图像进行特征提取处理得到。将第一特征图像中与第一像素点对应的像素点称为第一参考像素点，第一参考像素点在第一特征子图像中的位置与第一像素点在第一待处理图像中的位置相同，第二参考像素点在第二特征子图像中的位置与第二像素点在第二待处理图像中的位置相同。

本申请实施例中，两张图像中相同位置的像素点可参见图3，如图3所示，像素点A₁₁在图像A中的位置与像素点B₁₁在图像B中的位置相同，像素点A₁₂在图像A中的位置与像素点k在图像B₁₂中的位置相同，像素点A₁₃在图像A中的位置与像素点B₁₃在图像B中的位置相同，像素点A₂₁在图像A中的位置与像素点B₂₁在图像B中的位置相同，像素点A₂₂在图像A中的位置与像素点B₂₂在图像B中的位置相同，像素点A₂₃在图像A中的位置与像素点B₂₃在图像B中的位置相同，像素点A₃₁在图像A中的位置与像素点B₃₁在图像B中的位置相同，像素点A₃₂在图像A中的位置与像素点B₃₂在图像B中的位置相同，像素点A₃₃在图像A中的位置与像素点B₃₃在图像B中的位置相同。

假设：第一权重为w₁，第二权重为w₂，第一特征图像中与第一像素点对应的像素点的像素值为p₁，第一特征图像中与第一像素点对应的像素点的像素值为p₂。

在一种可能实现的方式中，w₁，w₂，p₁，p₂满足下式：

其中，k和q均为正数，可选的，k＝q＝1。

在另一种可能实现的方式中，w₁，w₂，p₁，p₂满足下式：

其中，k和q均为正数，a和b为实数，可选的，k＝q＝1，a＝b＝0。

204、依据上述第一权重和上述第二权重，对上述第一待处理图像和上述第二待处理图像进行融合处理，得到融合后的图像。

在得到第一权重和第二权重后，可在对第一待处理图像和第二待处理图像进行融合处理的过程中，使用第一权重和第二权重对第一像素点的像素值和第二像素点的像素值进行加权求和，以实现对第一像素点和第二像素点的融合。

举例来说，假设第一像素点的像素值为130、第二像素点的像素值为30、第一权重为0.4、第二权重为0.6。使用第一权重和第二权重对第一像素点的像素值和第二像素点的像素值进行加权求和，得到融合后的图像中的第四像素点的像素值，第四像素点与第一像素点、第二像素点互为同名点，第一像素点的像素值为：130×0.4+30×0.6＝70。

需要理解的是，本实施例以第一像素点和第二像素点为处理对象，描述了基于第一像素点的像素值和第二像素点的像素值，得到第四像素点的像素值的处理过程，而在实际应用中，可基于第一待处理图像和第二待处理图像中所有同名点的像素值，得到融合后的图像中的所有像素点的像素值。

举例来说，第一待处理图像包括像素点a、像素点b，第二待处理图像包括像素点c、像素点d，其中，像素点a和像素点c互为同名点、像素点b和像素点d互为同名点，像素点a的像素值为40、像素点b的像素值为60、像素点c的像素值为80、像素点d的像素值为30。对第一待处理图像和第二待处理图像进行特征提取处理，确定像素点a的权重为0.4、像素点b的权重为0.3、像素点c的权重为0.6、像素点d的权重为0.7。通过对第一待处理图像和第二待处理图像进行融合处理，得到融合后的图像。融合后的图像包括像素点e和像素点f，其中，像素点e与像素点a、像素点c互为同名点，像素点f与像素点b、像素点d互为同名点。像素点e的像素值为：40×0.4+80×0.6＝64，像素点f的像素值为：60×0.4+30×0.7＝45。

可选的，步骤202和步骤203均可通过卷积神经网络实现。通过将包围曝光图像作为训练数据、将监督图像作为监督数据，对卷积神经网络进行训练，使训练后的卷积神经网络可完成对第一待处理图像和第二待处理图像的特征提取处理，其中，监督图像的内容与训练数据的内容相同，但监督图像的曝光量比训练数据的曝光量更合适。在使用训练数据对卷积神经网络进行训练的过程中，卷积神经网络从包围曝光图像中提取出特征图像，并依据特征图像确定包围曝光图像中像素点的权重。基于包围曝光图像中像素点的权重，对包围曝光图像进行融合，得到训练得到的图像。基于训练得到的图像与监督图像之间的差异，确定卷积神经网络的损失，并基于该损失调整卷积神经网络的参数，完成对卷积神经网络的训练。这样，可使用训练后的卷积神经网络对第一待处理图像和第二待处理图像进行处理，得到第一像素点的第一权重和第二像素点的第二权重，并基于第一权重和第二权重，对第一待处理图像和第二待处理图像进行融合，得到融合后的图像。

需要理解的是，在本申请实施例中，包围曝光图像包括两张图像，即第一待处理图像和第二待处理，通过对第一待处理图像和第二待处理图像进行处理，可得到融合后的图像。在实际应用中，包围曝光图像还可包括三张图像或三张以上的图像，而基于本申请实施例提供的技术方案，可对三张图像或三张以上的图像进行处理，得到融合后的图像，其中，融合后的图像的曝光量比包围曝光图像中的任意一张图像的曝光量均更合适。例如，包围曝光图像包括图像a、图像b、图像c。对图像a、图像b和图像c进行特征提取处理，得到第一权重图像、第二权重图像和第三权重图像，其中，第一权重图像包括图像a中每个像素点的权重，第二权重图像包括图像b中每个像素点的权重，第三权重图像包括图像c中每个像素点的权重。依据第一权重图像、第二权重图像和第三权重图像，对图像a、图像b和图像c进行融合处理，可得到融合后的图像。

本申请实施例通过对第一待处理图像和第二待处理图像进行特征提取处理，得到第一待处理图像中像素点的明暗信息和第二待处理图像中像素点的明暗信息。基于第一待处理图像中像素点的明暗信息和第二待处理图像中像素点的明暗信息，得到第一待处理图像中的像素点的权重和第二待处理图像中的像素点的权重，可达到使明暗程度不同的像素点的权重不同的效果，从而在基于第一待处理图像中的像素点的权重和第二待处理图像中的像素点的权重，对第一待处理图像和第二待处理图像进行融合处理的过程中，可提高得到的融合后的图像的质量。

请参阅图5，图5是本申请实施例提供的步骤202的一种可能实现的方法的流程示意图。

501、对上述第一待处理图像和上述第二待处理图像进行拼接处理，得到第三待处理图像。

本实施例中，拼接处理为在通道维度上的拼接处理，即第三待处理图像的宽(即列数)为第一待处理图像的宽(即列数)和第二待处理图像的宽(即列数)的和，第三待处理图像的高(即行数)为第一待处理图像的高(即行数)和第二待处理图像的高(即行数)的和。第一待处理图像和第二待处理图像进行拼接处理的实现过程，可参见图6。

由于第一待处理图像中的像素值的取值范围，和，第二待处理图像中的像素值的取值范围可能不同，这将给图像处理装置在对第一待处理图像和第二待处理图像进行处理的过程中，带来困难。例如(例3)，第一待处理图像为通过成像设备A采集的图像，第一待处理图像的像素值的取值范围为[0,255]，第二待处理图像为通过成像设备B采集的图像，第二待处理图像的像素值的取值范围为[0,1000]，其中，成像设备A、成像设备B可以是摄像头、摄像机、相机中的一种。显然，像素值的取值范围不同，给图像处理装置处理增加了难度。接着例3继续举例，第一待处理图像中像素值为200的像素点所表征的明暗程度，与第二待处理图像中像素值为200的像素点所表征的明暗程度不同。

为减小像素值的取值范围不同给图像装置的处理带来的难度，作为一种可选的实施方式，在对第一待处理图像和第二待处理图像进行拼接处理之前，可分别对第一待处理图像和第二待处理图像的像素值进行归一化处理，将第一待处理图像的像素值和第二待处理图像的像素值归一化至[0,1]，得到归一化处理后的第一待处理图像和归一化处理后的第二待处理图像。

在一种对图像(包括第一待处理图像和第二待处理图像)的像素值进行归一化处理的实现方式中，假设图像中目标像素点的像素值为x_r，图像的像素值的取值范围为[K_b，K_w]，对目标像素点的像素值进行归一化处理后，得到的像素值为x_i，则x_i、x_r、K_b、K_w满足下式：

举例来说，第一待处理图像包括像素点a，像素点a的像素值为153，第一待处理图像中像素值的取值范围为[0,255]。对第一待处理图像进行归一化处理后，像素点a的像素值为：

再举例来说，第二待处理图像包括像素点b，像素点b的像素值为320，第二待处理图像中像素值的取值范围为[0,800]。对第二待处理图像进行归一化处理后，像素点b的像素值为：

在得到归一化处理后的第一待处理图像和归一化处理后的第二待处理图像后，步骤501具体包括：

对归一化处理后的第一待处理图像和归一化处理后的第二待处理图像进行拼接处理，得到第三待处理图像。

本步骤中，拼接处理也为在通道维度上的拼接处理，即第三待处理图像的宽(即列数)为归一化处理后的第一待处理图像的宽(即列数)和归一化处理后的第二待处理图像的宽(即列数)的和，第三待处理图像的高(即行数)为归一化处理后的第一待处理图像的高(即行数)和归一化处理后的第二待处理图像的高(即行数)的和。

502、提取上述第三待处理图像中的像素点的特征信息，得到第二特征图像。

本步骤中，可通过对第三待处理图像进行卷积处理，提取第三待处理图像中的像素点的特征信息。卷积处理的实现过程可参见步骤202中卷积处理的实现过程，其中，第三待处理图像与步骤202中的第一待处理图像和第二待处理图像对应，第二特征图像与步骤202中的第一特征图像对应。

503、对上述第二特征图像进行归一化处理，得到第三特征图像。

在对第三待处理图像进行特征提取处理的过程中，第三待处理图像经过卷积层的处理后，第三待处理图像中的数据分布都会发生变化，即第二特征图像中的数据分布与第三待处理图像中的数据分布不同，这将给接下来对第二特征图像的处理带来困难。因此，在对第二待处理图像进行接下来的处理之前，可对第二特征图像进行归一化处理，以使第二特征图像中的数据分布与第三待处理图像中的数据分布接近。

在一些可能实现的方式中，对第二特征图像进行归一化处理的过程可参见下文：

假设第二特征图像为β＝x_1→m，共m个数据，输出是y_i＝BN(x)，BN层将对第二特征图像进行如下处理：

求出第二特征图像β＝x_1→m的平均值，即

根据上述平均值μ_β，确定上述第二特征图像的方差，即

根据上述平均值μ_β和方差

对上述第二特征图像进行归一化处理，得到

基于缩放变量γ和平移变量δ，得到第三特征图像，即

其中，γ和δ均为已知。

504、对上述第三特征图像进行非线性变换，得到上述第一特征图像。

由于卷积处理以及归一化处理无法处理具有复杂映射的数据，例如图像、视频、音频、语音等等。因此，需要通过对归一化处理后的数据进行非线性变换，来处理具有复杂映射的数据。

可选的，通过激活函数对归一化后的图像进行非线性变换，以处理复杂映射。在一些可能实现的方式中，将第三特征图像代入带参数的线性整流函数(parametricrectified linear unit，PReLU)，实现对第三特征图像的非线性变换，得到第一特征图像。第一特征图像中每个像素点的像素值均包含明暗信息，依据第一特征图像中一个像素点的像素值，可得到第一待处理图像中一个像素点的权重或第二待处理图像中一个像素点的权重。由于在对第三待处理图像进行卷积处理得到第二特征图像的过程中，可能使第三待处理图像的尺寸缩小，第二特征图像的尺寸可能小于第三待处理图像的尺寸，进而使基于第三特征图像得到的第三待处理图像的权重的尺寸小于第三待处理图像的尺寸。这样，将无法确定第三待处理图像中的部分像素点的权重。

举例来说，如图7所示，通过对图6所示的第三待处理图像进行卷积处理，得到的第一特征图像的尺寸小于第三待处理图像的尺寸。如图7所示，第一特征图像包括4个像素点，依据这4个像素点的像素值，可得到4个权重，但图6所示的第一待处理图像和第二待处理图像均包括9个像素点。显然，依据第一特征图像不能确定第一待处理图像和第二待处理图像中所有像素点的权重。

作为一种可选的实施方式，在第一特征图像的尺寸小于第三待处理图像的尺寸的情况下，步骤504具体包括以下步骤：

51、对上述第三特征图像进行非线性变换，得到第四特征图像。

本步骤的实现过程可参见步骤404中“对上述第三特征图像进行非线性变换，得到上述第一特征图像”的实现过程。需要理解的是，在本步骤中，对上述第三特征图像进行非线性变换，得到是第四特征图像，而不是第一特征图像。

52、对上述第四特征图像进行上采样处理，得到上述第一特征图像。

由于第一特征图像的尺寸小于第三待处理图像，第四特征图像的尺寸与第一特征图像的尺寸相同，第四特征图像的尺寸也小于第三待处理图像。因此，需要增大第四特征图像进的尺寸，使第四特征图像的尺寸与第三待处理图像的尺寸相同。

在一种可能实现的方式中，对第四特征图像进行上采样处理，得到第一特征图像。上述下采样处理可以是以下中的一种：双线性插值处理、最邻近插值处理、高阶插值、反卷积处理。

本实施例中，通过对第三待处理图像进行卷积处理，在减小图像处理装置的数据处理量的同时，提取出第三待处理图像中像素点的特征信息，得到第二特征图像。对第二特征图像依次进行归一化处理和非线性变换，以提高得到第二特征图像中的信息的有效性。

本申请实施例还提供了一种图像处理网络，可用于实现前文所提及的技术方案。请参阅图8，图8为本申请实施例提供的一种图像处理网络的结构示意图。如图8所示，图像处理网络中的网络层依次串联，共包含十二层卷积层和一层上采样层。

在十二层卷积层中，第一层卷积层中卷积核的尺寸、第三卷积层中卷积核的尺寸、第五层卷积层中卷积核的尺寸、第七卷积层中卷积核的尺寸、第九层卷积层中卷积核的大小尺寸、第十一卷积层中卷积核的尺寸均为3×3，第二层卷积层中卷积核的尺寸、第四卷积层中卷积核的尺寸、第六层卷积层中卷积核的尺寸、第八卷积层中卷积核的尺寸、第十层卷积层中卷积核的尺寸、第十二卷积层中的卷积核的尺寸均为1×1。第一层卷积层中卷积核的数量、第二层卷积层中卷积核的数量、第四层卷积层中卷积核的数量、第六层卷积层中卷积核的数量、第八层卷积层中卷积核的数量、第十层卷积层中卷积核的数量均为6，第三层卷积层中卷积核的数量、第五层卷积层中卷积核的数量、第七层卷积层中卷积核的数量、第九层卷积层中卷积核的数量、第十一层卷积层中卷积核的数量均为6，第十二层卷积层中卷积核的数量为K，其中，K为正整数，即本申请实施例对第十二层卷积层中卷积核的数量不做限定。第一层卷积层中卷积核的步长为2，其余十一层卷积层中卷积核的步长均为1。

可选的，除第十二层卷积层之外的每一层卷积层后都连接有一个归一化(batchnorm，BN)层和激活层(图8中未示出)，其中，BN层用于对输入的数据进行归一化处理，激活层用于对输入的数据进行激活处理。例如，第一层卷积层输出的数据输入至BN层，经BN层对第一层输出的数据进行处理，得到第一中间数据。将第一中间数据输入至激活层，经激活层对第一中间数据进行处理，得到第二中间数据，将第二中间数据输入至第二层卷积层。

图像处理网络对输入的第一待处理图像和第二待处理图像进行拼接处理，得到第三待处理图像。第三待处理图像依次经第一层卷积层、第二层卷积层、…、第十二层卷积层的处理后，得到第四特征图像。将第四特征图像输入至上采样层，经上采样层对第四特征图像进行上采样处理，得到第一特征图像。基于第一特征图像，可确定第一待处理图像中每个像素点的权重，以及，确定第二待处理图像中每个像素点的权重。基于第一待处理图像中每个像素点的权重和第二待处理图像中每个像素点的权重，对第一待处理图像和第二待处理图像进行融合，得到融合后的图像。

在应用图8所示的图像处理网络对第一待处理图像和第二待处理图像进行处理之前，需对图像处理网络进行训练。为此，本申请还提供了一种图像处理网络的训练方法。

请参阅图9，图9是本申请实施例提供的一种图像处理神经网络的训练方法的流程示意图。本实施例的执行主体可以是图像处理装置，也可以不是图像装置，即图像处理神经网络的训练方法的执行主体与使用图像处理网络对待处理图像进行处理的执行主体可以相同，也可以不同，本申请实施例对本实施例的执行主体不做限定。为表述方便，下文将本实施例的执行主体称为训练装置，可选的，训练装置可以是以下任意一种：手机、计算机、平板电脑、服务器。

901、获取第一样本图像、第二样本图像、监督数据、待训练网络。

本申请实施例中，第一样本图像与第二样本图像为包围曝光图像。上述监督数据为通过将第一样本图像和第二样本图像融合得到的图像(下文将称为参考图像)，其中，参考图像的内容与第一样本图像、第二样本图像的内容相同，但参考图像的曝光量比第一样本图像、第二样本图像的曝光量更合适。

本申请实施例中，待训练网络的网络结构与图像处理网络的网络结构相同，具体可参见图8。

在一种获取待训练网络的实现方式中，训练装置接收用户通过输入组件输入的待训练网络。上述输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。

在另一种获取待训练网络的实现方式中，训练装置接收第二终端发送的待训练网络。可选的，上述第二终端可以是以下任意一种：手机、计算机、平板电脑、服务器、可穿戴设备。

902、使用上述待训练网络对上述第一样本图像和上述第二样本图像进行处理，得到融合后的样本图像。

使用待训练网络对第一样本图像和第二样本图像进行处理，可得到融合后的样本图像，其中，融合后的样本图像的内容与第一样本图像、第二样本图像相同，融合后的样本图像的曝光量与第一样本图像的曝光量、第二样本图像的曝光量不同。

903、依据上述融合后的样本图像与上述监督数据之间的差异，得到上述待训练网络的损失。

在一种确定融合后的样本图像与监督数据之间的差异的实现方式中，假设参考图像为y₁，融合后的样本图像为y₂，融合后的样本图像与监督数据之间的差异为L_c，y₁、y₂、L₁满足下式：

L_c＝||y₁-y₂||₁…公式(4)

其中，||y₁-y₂||₁为y₁-y₂的1范数。

在另一种确定融合后的样本图像与监督数据之间的差异的实现方式中，假设参考图像为y₁，融合后的样本图像为y₂，融合后的样本图像与监督数据之间的差异为L_c，y₁、y₂、L₁满足下式：

L_c＝||y₁-y₂||₂…公式(5)

其中，||y₁-y₂||₂为y₁-y₂的2范数。

在又一种确定融合后的样本图像与监督数据之间的差异的实现方式中，假设参考图像为y₁，融合后的样本图像为y₂，融合后的样本图像与监督数据之间的差异为L_c，y₁、y₂、L_c满足下式：

L₁＝||y₁-y₂||_F…公式(6)

其中，||y₁-y₂||_F为y₁-y₂的F范数。

在确定融合后的样本图像与监督数据之间的差异后，可依据融合后的样本图像与监督数据之间的差异，确定待训练网络的损失。

在一种确定待训练网络的损失的实现方式中，假设融合后的样本图像与监督数据之间的差异为L₁，待训练神经网络的损失为L_t，L_c和L_t满足下式：

L_t＝k×L_c…公式(7)

其中，k为正数，可选的，k＝1。

在另一种确定待训练网络的损失的实现方式中，假设融合后的样本图像与监督数据之间的差异为L₁，待训练神经网络的损失为L_t，L_c和L_t满足下式：

L_t＝k×L_c+m…公式(8)

其中，m为实数，k为正数，可选的，m＝0，k＝1。

在又一种确定待训练网络的损失的实现方式中，假设融合后的样本图像与监督数据之间的差异为L₁，待训练神经网络的损失为L_t，L_c和L_t满足下式：

其中，m为实数，k为正数，可选的，m＝0，k＝1。

基于融合后的样本图像与监督数据之间的差异，确定待训练网络的损失。在后续处理中，基于待训练网络的损失调整待训练网络的参数，得到图像处理网络，可减小通过图像处理网络得到的融合后的样本图像与参考图像的差异，从而提高使用图像处理网络得到的融合后的图像的质量。

作为一种可选的实施方式，在执行步骤903之前，可执行以下步骤：

91、依据融合后的样本图像中梯度的方向和监督数据中梯度的方向之间的差异，得到第一差异。

在一种得到第一差异的实现方式中，假设参考图像为梯度为

融合后的样本图像的梯度为

第一差异为L₁，

L₁满足下式：

其中，k为正数，可选的k＝1。

本申请实施例中，

在一种得到第一差异的实现方式中，假设参考图像为梯度为

融合后的样本图像的梯度为

第一差异为L₁，

L₂满足下式：

其中，m为实数，k为正数，可选的，m＝0，k＝1。

在又一种得到第一差异的实现方式中，假设参考图像为梯度为

融合后的样本图像的梯度为

第一差异为L₁，

L₂满足下式：

其中，m为实数，k为正数，可选的，m＝0，k＝1。

在得到第一差异后，步骤903具体包括以下步骤：

92、依据融合后的样本图像与监督数据之间的差异，得到第二差异。

确定融合后的样本图像与监督数据之间的差异的实现方式可参见步骤903。

在一种确定第二差异的实现方式中，假设融合后的样本图像与监督数据之间的差异为L_c，第二差异为L₂，L_c、L₂满足下式：

L₂＝k×L_c…公式(14)

其中，k为正数，可选的，k＝1。

在另一种确定第二差异的实现方式中，假设融合后的样本图像与监督数据之间的差异为L_c，第二差异为L₂，L_c、L₂满足下式：

L₂＝k×L_c+m…公式(15)

其中，m为实数，k为正数，可选的，m＝0，k＝1。

在又一种确定第二差异的实现方式中，假设融合后的样本图像与监督数据之间的差异为L_c，第二差异为L₂，L_c、L₂满足下式：

其中，m为实数，k为正数，可选的，m＝0，k＝1。

93、依据第一差异和第二差异，得到待训练网络的损失。

在一种确定待训练网络的损失的实现方式中，假设第一差异为L₁，第二差异为L₂，待训练网络的损失为L_t，L₁、L₂、L_t满足下式：

L_t＝k×L₁+r×L₂…公式(17)

其中，k和r均为正数，可选的，k＝r＝1。

在另一种确定待训练网络的损失的实现方式中，假设第一差异为L₁，第二差异为L₂，待训练网络的损失为L_t，L₁、L₂、L_t满足下式：

L_t＝k×L₁+r×L₂+m…公式(18)

其中，k和r均为正数，m为实数，可选的，m＝0，k＝r＝1。

在又一种确定待训练网络的损失的实现方式中，假设第一差异为L₁，第二差异为L₂，待训练网络的损失为L_t，L₁、L₂、L_t满足下式：

其中，k和r均为正数，m为实数，可选的，m＝0，k＝r＝1。

基于第一差异，确定待训练网络的损失。在后续处理中，基于待训练网络的损失调整待训练网络的参数，得到图像处理网络，可减小通过图像处理网络得到的融合后的样本图像与参考图像的差异。基于第二差异，确定待训练网络的损失。在后续处理中，基于待训练网络的损失调整待训练网络的参数得到图像处理网络，使用图像处理网络对第一样本图像和第二样本图像进行处理得到融合后的样本图像，可使融合后的样本图像的梯度方向与参考图像的梯度方向相同，尤其可调整反方向梯度像素点区域的梯度，使反方向梯度像素点区域的梯度与参考图像的梯度方向相同，以使融合后的样本图像中的边缘更平滑，进而使融合后的样本图像的融合效果更自然。从而提高使用图像处理网络得到的融合后的图像的质量。

作为一种可选的实施方式，在执行步骤93之前，可执行以下步骤：

94、确定上述融合后的样本图像中像素值大于或等于高亮像素点阈值的像素点，作为高亮像素点。

本申请实施例中，高亮像素点阈值为正整数，具体取值可依据用户的使用需求进行调整，可选的，高亮像素点阈值为200。

95、依据上述高亮像素点的梯度与上述监督数据中的第三像素点的梯度之间的差异，得到第三差异。

本步骤中，第三像素点为参考图像中的像素点，且第三像素点与高亮像素点互为同名点。依据高亮像素点与第三像素点之间的差异，可得到第三差异。

在一种得到第三差异的实现方式中，假设第三像素点的梯度为

高亮像素点的梯度为

第一差异为L₃，

L₃满足下式：

其中，

的1范数。

在另一种得到第三差异的实现方式中，假设第三像素点的梯度为

高亮像素点的梯度为

第一差异为L₃，

L₃满足下式：

其中，

为

的2范数。

在又一种得到第三差异的实现方式中，假设第三像素点的梯度为

高亮像素点的梯度为

第一差异为L₃，

L₃满足下式：

其中，

为

的F范数。

在得到第三差异后，步骤93具体包括以下步骤：

96、依据上述第一差异、上述第二差异和上述第三差异，得到上述待训练网络的损失。

在一种确定待训练网络的损失的实现方式中，假设第一差异为L₁，第二差异为L₂，第三差异为L₃，待训练网络的损失为L_t，L₁、L₂、L₃、L_t满足下式：

L_t＝k×L₁+r×L₂+s×L₃…公式(23)

其中，k、r和s均为正数，可选的，k＝r＝s＝1。

在另一种确定待训练网络的损失的实现方式中，假设第一差异为L₁，第二差异为L₂，第三差异为L₃，待训练网络的损失为L_t，L₁、L₂、L₃、L_t满足下式：

L_t＝k×L₁+r×L₂+s×L₃+m…公式(24)

其中，k、r和s均为正数，m为实数，可选的，m＝0，k＝r＝s＝1。

在又一种确定待训练网络的损失的实现方式中，假设第一差异为L₁，第二差异为L₂，第三差异为L₃，待训练网络的损失为L_t，L₁、L₂、L₃、L_t满足下式：

其中，k、r和s均为正数，m为实数，可选的，m＝0，k＝r＝s＝1。

基于第一差异，确定待训练网络的损失。在后续处理中，基于待训练网络的损失调整待训练网络的参数，得到图像处理网络，可减小通过图像处理网络得到的融合后的样本图像与参考图像的差异。基于第二差异，确定待训练网络的损失。在后续处理中，基于待训练网络的损失调整待训练网络的参数得到图像处理网络，使用图像处理网络对第一样本图像和第二样本图像进行处理得到融合后的样本图像，可使融合后的样本图像的梯度方向与参考图像的梯度方向相同，尤其可调整反方向梯度像素点区域的梯度，使反方向梯度像素点区域的梯度与参考图像的梯度方向相同，以使融合后的样本图像中的边缘更平滑，进而使融合后的样本图像的融合效果更自然。基于第三差异，确定待训练网络的损失，可对融合后的样本图像中高亮像素点区域的调整，这样，可使融合后的样本图像中的高亮像素点区域的质量更高。从而提高使用图像处理网络得到的融合后的图像的质量。

作为一种可选的实施方式，在执行步骤96之前，可执行以下步骤：

97、依据上述融合后的图像中梯度和上述监督数据中梯度之间的差异，得到第四差异。

在一种得到第四差异的实现方式中，假设融合后的样本图像的梯度为

参考图像的梯度为

第四差异为L₄，

L₄满足下式：

其中，

为

的1范数。

在另一种得到第四差异的实现方式中，假设融合后的样本图像的梯度为

参考图像的梯度为

第四差异为L₄，

L₄满足下式：

其中，

为

的2范数。

在又一种得到第四差异的实现方式中，假设融合后的样本图像的梯度为

参考图像的梯度为

第四差异为L₄，

L₄满足下式：

其中，

为

的2范数。

在得到第四差异后，步骤96具体包括以下步骤：

98、依据上述第一差异、上述第二差异、上述第三差异和第四差异，得到上述待训练网络的损失。

在一种确定待训练网络的损失的实现方式中，假设第一差异为L₁，第二差异为L₂，第三差异为L₃，第四差异为L₄，待训练网络的损失为L_t，L₁、L₂、L₃、L₄、L_t满足下式：

L_t＝k×L₁+r×L₂+s×L₃+u×L₄…公式(29)

其中，k、r、s和u均为正数，可选的，k＝r＝s＝u＝1。

在一种确定待训练网络的损失的实现方式中，假设第一差异为L₁，第二差异为L₂，第三差异为L₃，第四差异为L₄，待训练网络的损失为L_t，L₁、L₂、L₃、L₄、L_t满足下式：

L_t＝k×L₁+r×L₂+s×L₃+u×L₄+m…公式(30)

其中，k、r、s和u均为正数，m为实数，可选的，m＝0，k＝r＝s＝u＝1。

在又一种确定待训练网络的损失的实现方式中，假设第一差异为L₁，第二差异为L₂，第三差异为L₃，第四差异为L₄，待训练网络的损失为L_t，L₁、L₂、L₃、L₄、L_t满足下式：

其中，k、r、s和u均为正数，m为实数，可选的，m＝0，k＝r＝s＝u＝1。

基于第一差异，确定待训练网络的损失。在后续处理中，基于待训练网络的损失调整待训练网络的参数，得到图像处理网络，可减小通过图像处理网络得到的融合后的样本图像与参考图像的差异。基于第二差异，确定待训练网络的损失。在后续处理中，基于待训练网络的损失调整待训练网络的参数得到图像处理网络，使用图像处理网络对第一样本图像和第二样本图像进行处理得到融合后的样本图像，可使融合后的样本图像的梯度方向与参考图像的梯度方向相同，尤其可调整反方向梯度像素点区域的梯度，使反方向梯度像素点区域的梯度与参考图像的梯度方向相同，以使融合后的样本图像中的边缘更平滑，进而使融合后的样本图像的融合效果更自然。基于第三差异，确定待训练网络的损失，可对融合后的样本图像中高亮像素点区域的调整，这样，可使融合后的样本图像中的高亮像素点区域的质量更高。基于第四差异，确定待训练网络的损失，在后续处理中，基于待训练网络的损失调整待训练网络的参数，得到图像处理网络，不仅可使融合后的样本图像的梯度方向与参考图像的梯度方向相同，还可使融合后的样本图像的梯度大小与参考图像的梯度大小相同，进一步使融合后的样本图像中的边缘更平滑、融合效果更自然。从而提高使用图像处理网络得到的融合后的图像的质量。

904、基于上述待训练网络的损失，调整上述待训练网络的参数，得到上述图像处理网络。

基于待训练网络的损失，以反向梯度传播的方式对待训练训练网络进行训练，直至收敛，完成对待训练网络的训练，得到图像处理网络。

基于本申请实施例提供的技术方案，本申请实施例还提供了一种可能实现的应用场景。

张三在外出旅游时通过手机拍摄得到三张风景图像，这三张风景图像的内容相同、且曝光量各不相同。张三觉得这三张风景图像的曝光量均不合适，因此希望通过对这三张图像进行处理，以得到曝光量合适的图像。将本申请是实施例提供的技术方案应用于手机，手机可使用本申请实施例提供的技术方案对这三张风景图像进行处理，得到融合后的风景图像。融合后的风景图像的曝光量比上述三张风景图像的曝光量更加合适。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。

请参阅图10，图10为本申请实施例提供的一种图像处理装置的结构示意图，该装置1包括：获取单元11、第一处理单元12、第二处理单元13、第三处理单元14、第四处理单元15以及训练单元16，其中：

获取单元11，用于获取第一待处理图像和第二待处理图像，其中，所述第一待处理图像的内容与所述第二待处理图像的内容相同，且所述第一待处理图像的曝光量与所述第二待处理图像的曝光量不同；

第一处理单元12，用于对所述第一待处理图像和所述第二待处理图像进行特征提取处理，得到特征图像；

第二处理单元13，用于依据所述第一特征图像，得到第一像素点的第一权重和第二像素点的第二权重，其中，所述第一像素点为所述第一待处理图像中的像素点，所述第二像素点为所述第二待处理图像中与所述第一像素点互为同名点的像素点；

第三处理单元14，用于依据所述第一权重和所述第二权重，对所述第一待处理图像和所述第二待处理图像进行融合处理，得到融合后的图像。

结合本申请任一实施方式，所述第一处理单元12，用于：

对所述第一待处理图像和所述第二待处理图像进行拼接处理，得到三待处理图像；

提取所述第三待处理图像中的像素点的特征信息，得到第二特征图像；

对所述第二特征图像进行归一化处理，得到第三特征图像；

对所述第三特征图像进行非线性变换，得到所述第一特征图像。

结合本申请任一实施方式，在所述第一特征图像的尺寸小于所述第三待处理图像的尺寸的情况下，所述第一处理单元12，用于：

对所述第三特征图像进行非线性变换，得到第四特征图像；

对所述第四特征图像进行上采样处理，得到所述第一特征图像。

结合本申请任一实施方式，所述装置1还包括：

第四处理单元15，用于在对所述第一待处理图像和所述第二待处理图像进行拼接处理，得到第三特征图像之前，对所述第一待处理图像中的像素值进行归一化处理，得到归一化处理后的第一待处理图像，以及对所述第二待处理图像中的像素值进行归一化处理，得到归一化处理后的第二待处理图像；

所述第一处理单元12，用于：

对所述归一化处理后的第一待处理图像和所述归一化处理后的第二待处理图像进行拼接处理，得到所述第三待处理图像。

结合本申请任一实施方式，所述第三处理单元14，用于：

依据第三像素点的像素值得到所述第一权重，其中，所述第三像素点为所述第一特征图像中的像素点，所述第三像素点在所述第一特征图像中的位置与所述第一像素点在所述第三待处理图像中的位置相同；

依据第四像素点的像素值得到所述第二权重，其中，所述第四像素点为所述第一特征图像中的像素点，所述第四像素点在所述第一特征图像中的位置与所述第二像素点在所述第三待处理图像中的位置相同。

结合本申请任一实施方式，所述装置执行的图像处理方法应用于图像处理网络；

所述装置还包括：训练单元16，用于对所述图像处理网络进行训练，所述图像处理网络的训练过程包括：

获取第一样本图像、第二样本图像、所述监督数据、待训练网络，其中，所述第一样本图像的内容与所述第二样本图像的内容相同，且所述第一样本图像的曝光量与所述第二样本图像的曝光量不同，所述监督数据通过将所述第一样本图像和所述第二样本图像融合得到；

使用所述待训练网络对所述第一样本图像和所述第二样本图像进行处理，得到融合后的样本图像；

依据所述融合后的样本图像与所述监督数据之间的差异，得到所述待训练网络的损失；

基于所述待训练网络的损失，调整所述待训练网络的参数，得到所述图像处理网络。

结合本申请任一实施方式，所述训练单元16还用于：

在所述依据所述融合后的样本图像与所述监督数据之间的差异，得到所述待训练网络的损失之前，依据所述融合后的样本图像中梯度的方向和所述监督数据中梯度的方向之间的差异，得到第一差异；

依据所述融合后的样本图像与所述监督数据之间的差异，得到第二差异；

依据所述第一差异和所述第二差异，得到所述待训练网络的损失。

结合本申请任一实施方式，所述训练单元16还用于：

在所述依据所述第一差异和所述第二差异，得到所述待训练网络的损失之前，确定所述融合后的样本图像中像素值大于或等于高亮像素点阈值的像素点，作为高亮像素点；

依据所述高亮像素点的梯度与所述监督数据中的第三像素点的梯度之间的差异，得到第三差异，其中，所述高亮像素点与所述第三像素点互为同名点；

依据所述第一差异、所述第二差异和所述第三差异，得到所述待训练网络的损失。

结合本申请任一实施方式，所述训练单元16还用于：

在所述依据所述第一差异、所述第二差异和所述第三差异，得到所述待训练网络的损失之前，依据所述融合后的样本图像中梯度和所述监督数据中梯度之间的差异，得到第四差异；

依据所述第一差异、所述第二差异、所述第三差异和第四差异，得到所述待训练网络的损失。

本申请实施例通过对第一待处理图像和第二待处理图像进行特征提取处理，得到第一待处理图像中像素点的明暗信息和第二待处理图像中像素点的明暗信息。基于第一待处理图像中像素点的明暗信息和第二待处理图像中像素点的明暗信息，得到第一待处理图像中的像素点的权重和第二待处理图像中的像素点的权重，可达到使明暗程度不同的像素点的权重不同的效果，从而在基于第一待处理图像中的像素点的权重和第二待处理图像中的像素点的权重，对第一待处理图像和第二待处理图像进行融合处理的过程中，可提高得到的融合后的图像的质量。

在一些实施例中，本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

图11为本申请实施例提供的一种图像处理装置的硬件结构示意图。该图像处理装置2包括处理器21，存储器22，输入装置23，输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本申请实施例对此不作限定。应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。

处理器21可以是一个或多个图形处理器(graphics processing unit，GPU)，在处理器21是一个GPU的情况下，该GPU可以是单核GPU，也可以是多核GPU。可选的，处理器21可以是多个GPU构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本申请实施例不作限定。

存储器22可用于存储计算机程序指令，以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。

输入装置23用于输入数据和/或信号，以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件，也可以是一个整体的器件。

可理解，本申请实施例中，存储器22不仅可用于存储相关指令，还可用于存储相关数据，如该存储器22可用于存储通过输入装置23获取的第一待处理图像和第二待处理图像，又或者该存储器22还可用于存储通过处理器21得到的融合后的图像等等，本申请实施例对于该存储器中具体所存储的数据不作限定。

可以理解的是，图11仅仅示出了一种图像处理装置的简化设计。在实际应用中，图像处理装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本申请实施例的图像处理装置都在本申请的保护范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本申请各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatiledisc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，ROM)或随机存储存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

获取第一待处理图像和第二待处理图像，其中，所述第一待处理图像的内容与所述第二待处理图像的内容相同，且所述第一待处理图像的曝光量与所述第二待处理图像的曝光量不同；

对所述第一待处理图像和所述第二待处理图像进行特征提取处理，得到第一特征图像；

依据所述第一特征图像，得到第一像素点的第一权重和第二像素点的第二权重，其中，所述第一像素点为所述第一待处理图像中的像素点，所述第二像素点为所述第二待处理图像中与所述第一像素点互为同名点的像素点；

依据所述第一权重和所述第二权重，对所述第一待处理图像和所述第二待处理图像进行融合处理，得到融合后的图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一待处理图像和所述第二待处理图像进行特征提取处理，得到第一特征图像，包括：

对所述第一待处理图像和所述第二待处理图像进行拼接处理，得到第三待处理图像；

提取所述第三待处理图像中的像素点的特征信息，得到第二特征图像；

对所述第二特征图像进行归一化处理，得到第三特征图像；

对所述第三特征图像进行非线性变换，得到所述第一特征图像。

3.根据权利要求2所述的方法，其特征在于，在所述第一特征图像的尺寸小于所述第三待处理图像的尺寸的情况下，所述对所述第三特征图像进行非线性变换，得到所述第一特征图像，包括：

对所述第三特征图像进行非线性变换，得到第四特征图像；

对所述第四特征图像进行上采样处理，得到所述第一特征图像。

4.根据权利要求2或3所述的方法，其特征在于，在对所述第一待处理图像和所述第二待处理图像进行拼接处理，得到第三待处理图像之前，所述方法还包括：

对所述第一待处理图像中的像素值进行归一化处理，得到归一化处理后的第一待处理图像；

对所述第二待处理图像中的像素值进行归一化处理，得到归一化处理后的第二待处理图像；

所述对所述第一待处理图像和所述第二待处理图像进行拼接处理，得到第三待处理图像特征图像，包括：

对所述归一化处理后的第一待处理图像和所述归一化处理后的第二待处理图像进行拼接处理，得到所述第三待处理图像。

5.根据权利要求2至4中任意一项所述的方法，其特征在于，所述依据所述第一特征图像，得到第一像素点的第一权重和第二像素点的第二权重，包括：

依据第三像素点的像素值得到所述第一权重，其中，所述第三像素点为所述第一特征图像中的像素点，所述第三像素点在所述第一特征图像中的位置与所述第一像素点在所述第三待处理图像中的位置相同；

依据第四像素点的像素值得到所述第二权重，其中，所述第四像素点为所述第一特征图像中的像素点，所述第四像素点在所述第一特征图像中的位置与所述第二像素点在所述第三待处理图像中的位置相同。

6.根据权利要求1至5中任意一项所述的方法，其特征在于，通过图像处理网络实现所述图像处理方法；

所述图像处理网络的训练过程包括：

获取第一样本图像、第二样本图像、监督数据、待训练网络，其中，所述第一样本图像的内容与所述第二样本图像的内容相同，且所述第一样本图像的曝光量与所述第二样本图像的曝光量不同，所述监督数据通过将所述第一样本图像和所述第二样本图像融合得到；

使用所述待训练网络对所述第一样本图像和所述第二样本图像进行处理，得到融合后的样本图像；

依据所述融合后的样本图像与所述监督数据之间的差异，得到所述待训练网络的损失；

基于所述待训练网络的损失，调整所述待训练网络的参数，得到所述图像处理网络。

7.根据权利要求6所述的方法，其特征在于，在所述依据所述融合后的样本图像与所述监督数据之间的差异，得到所述待训练网络的损失之前，所述训练过程还包括：

依据所述融合后的样本图像中梯度的方向和所述监督数据中梯度的方向之间的差异，得到第一差异；

所述依据所述融合后的样本图像与所述监督数据之间的差异，得到所述待训练网络的损失，包括：

依据所述融合后的样本图像与所述监督数据之间的差异，得到第二差异；

依据所述第一差异和所述第二差异，得到所述待训练网络的损失。

8.根据权利要求7所述的方法，其特征在于，在所述依据所述第一差异和所述第二差异，得到所述待训练网络的损失之前，所述训练过程还包括：

确定所述融合后的样本图像中像素值大于或等于高亮像素点阈值的像素点，作为高亮像素点；

依据所述高亮像素点的梯度与所述监督数据中的第三像素点的梯度之间的差异，得到第三差异，其中，所述高亮像素点与所述第三像素点互为同名点；

所述依据所述第一差异和所述第二差异，得到所述待训练网络的损失，包括：

依据所述第一差异、所述第二差异和所述第三差异，得到所述待训练网络的损失。

9.根据权利要求8所述的方法，其特征在于，在所述依据所述第一差异、所述第二差异和所述第三差异，得到所述待训练网络的损失之前，所述训练过程还包括：

依据所述融合后的样本图像中梯度和所述监督数据中梯度之间的差异，得到第四差异；

所述依据所述第一差异、所述第二差异和所述第三差异，得到所述待训练网络的损失，包括：

依据所述第一差异、所述第二差异、所述第三差异和第四差异，得到所述待训练网络的损失。

10.一种图像处理装置，其特征在于，所述装置包括：

获取单元，用于获取第一待处理图像和第二待处理图像，其中，所述第一待处理图像的内容与所述第二待处理图像的内容相同，且所述第一待处理图像的曝光量与所述第二待处理图像的曝光量不同；

第一处理单元，用于对所述第一待处理图像和所述第二待处理图像进行特征提取处理，得到第一特征图像；

第二处理单元，用于依据所述第一特征图像，得到像素点的第一权重和第二像素点的第二权重，其中，所述第一像素点为所述第一待处理图像中的像素点，所述第二像素点为所述第二待处理图像中与所述第一像素点互为同名点的像素点；

第三处理单元，用于依据所述第一权重和所述第二权重，对所述第一待处理图像和所述第二待处理图像进行融合处理，得到融合后的图像。

11.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行权利要求1至9中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行权利要求1至9中任意一项所述的方法。

Images