CN112184876B - 图像处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开关于图像处理方法、装置、电子设备和存储介质，所述方法包括：确定初始图像中待生成头发的掩膜区域；获取初始图像的亮度通道信息；将初始图像和掩膜区域输入目标模型的第一神经网络，将亮度通道信息输入目标模型的第二神经网络；通过第一神经网络输出在初始图像中的掩膜区域生成头发的图像。根据本公开，对亮度通道信息进行编码得到的隐变量所包含的语义特征，可以单独表征亮度信息，进而将隐变量输入到第一神经网络的残差模块中，就可以使得第一神经网络的输出包含与环境光相符的光照信息，从而在生成的头发上准确地添加能够体现环境光中的光照信息，使得输出的图像中，头发的光照情况与环境光中的光照情况相符，确保良好的显示效果。

Description

图像处理方法、装置、电子设备和存储介质

技术领域

本公开涉及图像处理领域，尤其涉及图像处理方法、装置、电子设备和存储介质。

背景技术

目前手机等电子设备中的应用，提供了处理图像的功能，使得用户不仅可以剪裁图像、调整图像的颜色，还可以在图像中添加内容，例如可以在图像中的人脸上添加头发，从而使得图像中的人物具有新的发型。但是添加的头发，并不具备与图像中环境光相符的光照信息，导致添加的头发视觉效果与图像中人脸的视觉效果存在明显差异。

为了克服上述问题，相关技术中可以根据图像中人脸上的光照信息，估计出球谐光照参数来作为环境光中的光照信息，再根据得出的光照信息来渲染头发。

但是由于球谐光照参数仅仅是根据人脸上的光照信息来估计的，当环境光中的高光(亮度较高的光)区域并不位于人脸内，而是位于人的头发上，或者位于图像的背景中时，根据上述方式得出的球谐光照参数就难以准确地反映环境光中的光照信息，也就难以良好的渲染头发，使其具备与图像中环境光相符的光照信息。

发明内容

本公开提供了图像处理方法、装置、电子设备和存储介质，以至少解决相关技术中的技术问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提出一种图像处理方法，包括：

确定初始图像中待生成头发的掩膜区域；

获取所述初始图像的亮度通道信息；

将所述初始图像和所述掩膜区域输入目标模型的第一神经网络，将所述亮度通道信息输入所述目标模型的第二神经网络；

其中，所述第一神经网络包括依次相连的多个残差模块，所述第二神经网络包括编码模块，所述编码模块连接于所述多个残差模块中的至少一个残差模块，所述编码模块用于对所述亮度通道信息进行编码得到隐变量，所述编码模块用于将所述隐变量输入到所述至少一个残差模块中；

通过所述第一神经网络输出在所述初始图像中的所述掩膜区域生成头发的图像。

可选地，在将所述初始图像和所述掩膜区域输入目标模型的第一神经网络，将所述亮度通道信息输入第二神经网络之前，所述方法还包括：

构建初始模型，所述初始模型包括第一初始神经网络和第二初始神经网络，所述第一初始神经网络包括依次相连的多个初始残差模块，所述第二神经网络包括初始编码模块，所述初始编码模块连接于所述多个初始残差模块中的至少一个初始残差模块，用于对所述亮度通道信息进行编码得到隐变量，以及将所述隐变量输入所述至少一个初始残差模块；

将样本图像和所述样本图像中待生成头发的掩膜区域输入所述第一初始神经网络，将所述样本图像的亮度通道信息输入所述第二初始神经网络；

根据所述第一初始神经网络的第一损失函数和所述第二初始神经网络的第二损失函数得到目标损失函数，根据所述目标损失函数进行训练，以得到所述第一神经网络和所述第二神经网络，根据所述第一神经网络和所述第二神经网络确定所述目标模型。

可选地，所述根据所述目标损失函数进行训练，以得到所述第一神经网络和所述第二神经网络包括：

通过反向传播方法计算所述第一初始神经网络和所述第二初始神经网络中权重的梯度；

根据梯度下降法更新所述权重，直至得到训练后的所述目标损失函数收敛；

其中，所述训练后得到的所述第一初始神经网络为所述第一神经网络，所述训练后得到的所述第二初始神经网络为所述第二神经网络。

可选地，所述第二初始神经网络为自编码器。

可选地，所述第一损失函数基于所述第一初始神经网络输出的图像中头发的参数与输入所述第一初始神经网络的样本图像对应期待图像中头发的参数的差异确定；

和/或所述第二损失函数基于所述第二初始神经网络输出的亮度信息与输入所述第二初始神经网络的样本图像的亮度通道信息的差异确定。

可选地，所述至少一个残差模块包括最后一个残差模块。

可选地，所述获取所述初始图像的亮度通道信息包括：

将所述初始图像转换至Lab空间；

获取转换后的初始图像的L通道信息，并将获取到的L通道信息作为所述亮度通道信息。

根据本公开实施例的第二方面，提出一种图像处理装置，包括：

掩膜确定模块，被配置执行确定初始图像中待生成头发的掩膜区域；

信息获取模块，被配置执行获取所述初始图像的亮度通道信息；

信息输入模块，被配置执行将所述初始图像和所述掩膜区域输入目标模型的第一神经网络，将所述亮度通道信息输入所述目标模型的第二神经网络；

其中，所述第一神经网络包括依次相连的多个残差模块，所述第二神经网络包括编码模块，所述编码模块连接于所述多个残差模块中的至少一个残差模块，所述编码模块用于对所述亮度通道信息进行编码得到隐变量，所述编码模块用于将所述隐变量输入到所述至少一个残差模块中；

图像输出模块，被配置执行通过所述第一神经网络输出在所述初始图像中的所述掩膜区域生成头发的图像。

可选地，所述装置还包括：

模型构建模块，被配置执行构建初始模型，所述初始模型包括第一初始神经网络和第二初始神经网络，所述第一初始神经网络包括依次相连的多个初始残差模块，所述第二神经网络包括初始编码模块，所述初始编码模块连接于所述多个初始残差模块中的至少一个初始残差模块，用于对所述亮度通道信息进行编码得到隐变量，以及将所述隐变量输入所述至少一个初始残差模块；

机器学习模块，被配置执行将样本图像和所述样本图像中待生成头发的掩膜区域输入所述第一初始神经网络，将所述样本图像的亮度通道信息输入所述第二初始神经网络；

以及根据所述第一初始神经网络的第一损失函数和所述第二初始神经网络的第二损失函数得到目标损失函数，根据所述目标损失函数进行训练，以得到所述第一神经网络和所述第二神经网络，根据所述第一神经网络和所述第二神经网络确定所述目标模型。

可选地，所述机器学习模块，被配置执行通过反向传播方法计算所述第一初始神经网络和所述第二初始神经网络中权重的梯度；以及根据梯度下降法更新所述权重，直至得到训练后的所述目标损失函数收敛；

其中，所述训练后得到的所述第一初始神经网络为所述第一神经网络，所述训练后得到的所述第二初始神经网络为所述第二神经网络。

可选地，所述第二初始神经网络为自编码器。

可选地，所述第一损失函数基于所述第一初始神经网络输出的图像中头发的参数与输入所述第一初始神经网络的样本图像对应期待图像中头发的参数的差异确定；

和/或所述第二损失函数基于所述第二初始神经网络输出的亮度信息与输入所述第二初始神经网络的样本图像的亮度通道信息的差异确定。

可选地，所述编码模块连接至所述多个残差模块中的最后一个残差模块。

可选地，所述信息获取模块，被配置执行将所述初始图像转换至Lab空间；以及获取转换后的初始图像的L通道信息，并将获取到的L通道信息作为所述亮度通道信息。

根据本公开实施例的第三方面，提出一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如上述图像处理方法。

根据本公开实施例的第四方面，提出一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述图像处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的图像处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

根据本公开的实施例，通过第二神经网络中的编码模块，对亮度通道信息进行编码，由于亮度通道信息中并没有混合环境中色度信息、对比度信息等，因此对亮度通道信息进行编码得到的隐变量所包含的语义特征，可以单独表征亮度信息，因此可以相对准确地表征环境光中的亮度信息，也就可以相对准确地表征环境光的光照信息。

进而将隐变量输入到第一神经网络的残差模块中，就可以使得第一神经网络的输出包含与环境光相符的光照信息。第一神经网络输出在初始图像中的掩膜区域生成头发的图像，基于本实施例，就可以在生成的头发上准确地添加能够体现环境光中的光照信息，使得第一神经网络输出的图像中，头发上的光照情况与环境光中的光照情况相符，确保良好的显示效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据本公开的实施例示出的一种图像处理方法的示意流程图。

图2是根据本公开的实施例示出的一种第一神经网络和第二神经网络之间关系的示意图。

图3是根据本公开的实施例示出的一种图像的示意图。

图4是根据本公开的实施例示出的一种掩膜区域的示意图。

图5是仅采用第一神经网络输出图像的示意图。

图6是根据本公开的实施例示出的第一神经网络输出图像的示意图。

图7是根据本公开的实施例示出的另一种图像处理方法的示意流程图。

图8是根据本公开的实施例示出的又一种图像处理方法的示意流程图。

图9是根据本公开的实施例示出的一种图像处理装置的示意框图。

图10是根据本公开的实施例示出的另一种图像处理装置的示意框图。

图11是根据本公开的实施例示出的一种电子设备的示意框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据本公开的实施例示出的一种图像处理方法的示意流程图。本实施例所示的方法可以适用于终端，例如手机、平板电脑、可穿戴设备等电子设备，以手机为例，具体可以适用于手机中的应用程序。也可以适用于服务器，例如本地服务器、云端服务器等。

如图1所示，所述图像处理方法包括以下步骤：

在步骤S101中，确定初始图像中待生成头发的掩膜区域；

在步骤S102中，获取所述初始图像的亮度通道信息；

在步骤S103中，将所述初始图像和所述掩膜区域输入目标模型的第一神经网络，将所述亮度通道信息输入所述目标模型的第二神经网络；

其中，所述第一神经网络包括依次相连的多个残差模块，所述第二神经网络包括编码模块，所述编码模块连接于所述多个残差模块中的至少一个残差模块，所述编码模块用于对所述亮度通道信息进行编码得到隐变量，所述编码模块用于将所述隐变量输入到所述至少一个残差模块中；

在步骤S104中，通过所述第一神经网络输出在所述初始图像中的所述掩膜区域生成头发的图像。

在一个实施例中，目标模型可以是预先构建的，目标模型包括第一神经网络和第二神经网络。

其中，第一神经网络的输入是初始图像和掩膜区域，第一神经网络可以包括编码模块，以及依次相连的多个残差模块，还有解码模块，第一神经网络的输出为在输入的初始图像中的掩膜区域生成头发的图像，例如掩膜区域是图像中人脸的顶部，那么输出的图像就是在人脸的顶部添加了头发的图像。

第二神经网络的输入是作为第一神经网络输入的初始图像的亮度通道信息，第二神经网络包括编码模块，编码模块用于对输入第二神经网络的亮度通道信息进行编码得到隐变量，并且第二编码模块可以连接至第一神经网络的至少一个残差模块，所述编码模块用于将隐变量输入到所述至少一个残差模块。由于所述隐变量由于是对亮度通道信息进行编码得到的，因此可以表征亮度通道信息对应的语义特征。

虽然初始图像本身包括颜色通道信息，而颜色通道信息也包含一些环境光中的亮度信息，但是其中的亮度信息与环境光中的色度信息、对比度信息是混合在一起表示为颜色通道信息的，颜色通道信息在输入到第一神经网络后，会经过第一编码模块编码，那么就相当于亮度信息与色度信息、对比度信息混合在一起被编码，编码得到的语义特征需要同时表征色度信息、亮度信息、对比度信息，相对于单独表征亮度信息的表征效果较弱，也即不能精确地体现初始图像的环境光中的亮度信息，而环境光中的亮度信息与环境光的光照信息是相对应的，因此也就不能准确地表征初始图像的环境光的光照信息。

本实施例通过第二神经网络中的编码模块，对亮度通道信息进行编码，由于亮度通道信息中并没有混合环境中色度信息、对比度信息等，因此对亮度通道信息进行编码得到的隐变量所包含的语义特征，可以单独表征亮度信息，因此可以相对准确地表征环境光中的亮度信息，也就可以相对准确地表征环境光的光照信息。

进而将隐变量输入到第一神经网络的残差模块中，就可以使得第一神经网络的输出包含与环境光相符的光照信息。第一神经网络输出在初始图像中的掩膜区域生成头发的图像，基于本实施例，就可以在生成的头发上准确地添加能够体现环境光中的光照信息，使得第一神经网络输出的图像中，头发上的光照情况与环境光中的光照情况相符，确保良好的显示效果。

图2是根据本公开的实施例示出的一种第一神经网络和第二神经网络之间关系的示意图。

在一个实施例中，第一神经网络和第二神经网络都可以包括编码模块(Encoder)和解码模块(Decoder)，为了区分，将第一神经网络中的编码模块和解码模块称作第一编码模块和第一解码模块，将第二神经网络中的编码模块和解码模块称作第二编码模块和第二解码模块。

第一神经网络还可以包括依次相连的多个残差模块(resblock)，例如包括8个残差模块，具体可以是resnet的连接方式，残差模块可以对第一编码模块编码后的语义特征进行处理，得到更加高层的语义特征。

图3是根据本公开的实施例示出的一种图像的示意图。图4是根据本公开的实施例示出的一种掩膜区域的示意图。

在一个实施例中，所述初始图像可以如图3所示，其中包含人脸图像，基于该人脸图像可以确定待生成头发的掩膜区域，所述掩膜区域可以如图4所示。具体确定的掩膜区域的大小、形状本公开不作限制，可以根据需要选择。

对于图3所示的初始图像，可以将初始垧和掩膜区域输入第一神经网络。另外，可以将图3所显示的图像从RGB空间转换到Lab空间，然后获取L通道信息作为亮度通道信息，并将亮度通道信息输入第二神经网络。

图5是仅采用第一神经网络输出图像的示意图。

在一个实施例中，由于输入第一神经网络的初始图像中的颜色通道信息也包含一些环境光中的亮度信息，但是其中的亮度信息与环境光中的色度信息、对比度信息是混合在一起表示为颜色通道信息的，颜色通道信息在输入到第一神经网络后，会经过第一编码模块编码，那么就相当于亮度信息与色度信息、对比度信息混合在一起被编码，编码得到的语义特征需要同时表征色度信息、亮度信息、对比度信息，相对于单独表征亮度信息的表征效果较弱，也即不能精确地体现环境光中的亮度信息，那么也就不能准确地表征初始图像中环境光的光照信息。

仅采用第一神经网络输出的图像如图5所示，虽然在图像中的掩膜区域生成了头发，但是对比图3可知，头发上的光照信息与图3中环境光的光照信息并不相符，而人脸和背景并不是后续添加的内容，所以人脸和背景上的光照信息与图3中环境光的光照信息相符，这就导致添加在人脸头上的头发与人脸和背景都存在较大的视觉差异，影响观看效果。

图6是根据本公开的实施例示出的第一神经网络输出图像的示意图。

根据公开的实施例，通过第二神经网络中的编码模块，对亮度通道信息进行编码，由于亮度通道信息中并没有混合环境中色度信息、对比度信息等，因此对亮度通道信息进行编码得到的隐变量(latent code)所包含的语义特征，可以单独表征亮度信息，因此可以相对准确地表征环境光中的亮度信息，也就可以相对准确地表征环境光的光照信息。

进而将隐变量输入到第一神经网络的残差模块中，就可以使得第一神经网络的输出包含与环境光相符的光照信息。第一神经网络输出在初始图像中的掩膜区域生成头发的图像，基于本实施例，就可以在生成的头发上准确地添加能够体现环境光中的光照信息，使得第一神经网络输出的图像中，头发上的光照情况与环境光中的光照情况相符，从而具有良好的显示效果。

在这种情况下，通过第一神经网络输出的图像可以如图6所示，对比图3可知，头发上的光照信息与图3中环境光的光照信息相符，也与人脸和背景上的光照信息相符，从而使得添加在人脸头上的头发与人脸和背景视觉上的一致性，确保良好的观看效果。

图7是根据本公开的实施例示出的另一种图像处理方法的示意流程图。在将所述初始图像和所述掩膜区域输入目标模型的第一神经网络，将所述亮度通道信息输入第二神经网络之前，所述方法还包括：

在步骤S105中，构建初始模型，所述初始模型包括第一初始神经网络和第二初始神经网络，所述第一初始神经网络包括依次相连的多个初始残差模块，所述第二神经网络包括初始编码模块，所述初始编码模块连接于所述多个初始残差模块中的至少一个初始残差模块，用于对所述亮度通道信息进行编码得到隐变量，以及将所述隐变量输入所述至少一个初始残差模块；

在步骤S106中，将样本图像和所述样本图像中待生成头发的掩膜区域输入所述第一初始神经网络，将所述样本图像的亮度通道信息输入所述第二初始神经网络；

在步骤S107中，根据所述第一初始神经网络的第一损失函数和所述第二初始神经网络的第二损失函数得到目标损失函数，根据所述目标损失函数进行训练，以得到所述第一神经网络和所述第二神经网络，根据所述第一神经网络和所述第二神经网络确定所述目标模型。

在一个实施例中，可以在将所述初始图像和所述掩膜区域输入目标模型的第一神经网络，将所述亮度通道信息输入第二神经网络之前，预先构建初始模型，进而对初始模型进行训练，以得到所述目标模型。

其中，步骤S105至步骤S107的执行顺序可以根据需要调整，例如可以在步骤S101之前执行，也可以在步骤S101之后执行，只需保证在步骤S103之前执行即可。

第一初始神经网络可以包括依次相连的多个初始残差模块、以及初始编码模块和初始解码模块，第二初始神经网络包括初始编码模块和初始解码模块。

第二初始神经网络中的初始编码模块可以连接至第一初始神经网络中多个初始残差模块中的至少一个初始残差模块，从而第二初始神经网络中的初始编码模块可以将对亮度通道信息进行编码得到隐变量输入所连接的初始残差模块。

通过按照上述方式建立第一初始神经网络和第二初始神经网络之间的关系，两个初始神经网络整体上可以视作一个模型，也即初始模型，其中一个初始神经网络中的权重就会受到另一个初始神经网络的影响，所以可以在训练过程中同步更新第一初始神经网络和第二初始神经网络中的权重，以确保两个初始神经网络中权重相适应。

例如可以将第一初始神经网络的第一损失函数和第二初始神经网络的第二损失函数相加得到目标损失函数(也可以通过其他方式确定目标损失函数，例如加权求和等)，然后将样本图像和所述样本图像中待生成头发的掩膜区域输入所述第一初始神经网络，将所述样本图像的亮度通道信息输入所述第二初始神经网络，根据所述目标损失函数进行训练，直至目标损失函数收敛。从而将训练后的第一初始神经网络作为所述第一神经网络，将训练后的第二初始神经网络作为所述第二神经网络，进而将根据第一神经网络和第二神经网络确定目标模型。

图8是根据本公开的实施例示出的又一种图像处理方法的示意流程图。所述根据所述目标损失函数进行训练，以得到所述第一神经网络和所述第二神经网络包括：

在步骤S1071中，通过反向传播方法计算所述第一初始神经网络和所述第二初始神经网络中权重的梯度；

在步骤S1072中，根据梯度下降法更新所述权重，直至得到训练后的所述目标损失函数收敛；

其中，所述训练后得到的所述第一初始神经网络为所述第一神经网络，所述训练后得到的所述第二初始神经网络为所述第二神经网络。

在一个实施例中，根据所述目标损失函数进行训练的方式，可以是通过反向传播方法计算第一初始神经网络和第二初始神经网络中权重的梯度，并根据梯度下降法更新权重。

其中，通过反向传播方法，可以判断目标损失函数的值(可以表征第一初始神经网络输出图像中头发上的亮度和与环境光相符的目标亮度之间的差异)是否处于理想范围，例如目标损失函数的值是否足够小，并根据目标损失函数的值的变化情况，通过梯度下降法更新第一初始神经网络和所述第二初始神经网络中的权重。

通过多次训练直至目标损失函数的值处于理想范围，那么训练后更新权重得到的第一初始神经网络和第二初始神经网络，就可以分别作为所述第一神经网络和所述第二神经网络。

可选地，所述第二初始神经网络为自编码器。

在一个实施例中，构建的第二初始神经网络可以是自动编码(auto encoder)神经网络，也即自编码器。自编码器可以包括编码模块和解码模块，通过编码模块可以对输入的亮度通道信息进行编码得到隐变量，其中，自编码器的输出需要与输入相同，由于自编码器的结构相对简单，便于构建和训练。

可选地，所述第一损失函数基于所述第一初始神经网络输出的图像中头发的参数与输入所述第一初始神经网络的样本图像对应期待图像中头发的参数的差异确定；

和/或所述第二损失函数基于所述第二初始神经网络输出的亮度信息与输入所述第二初始神经网络的样本图像的亮度通道信息的差异确定。

在一个实施例中，针对输入第一初始神经网络的样本图像，可以根据需要进行标定，从而形成样本图像对应的期待图像。

例如在本实施例中，用户需要目标模型中第一初始神经网络输出的图像在样本图像基础上生成头发，并且所生成头发的光照信息与环境光中的光照信息相符，那么可以根据需要对样本图像进行标定，例如标定样本图像对应的期待图像中头发的形状、位置、亮度等多方面的参数。

进而将样本图像输入第一初始神经网络，第一初始神经网络输出的图像中头发的参数一般与输入第一初始神经网络的样本图像对应期待图像中头发的参数存在差异，而各方面参数的差异可以表征为第一损失函数。

而关于第二损失函数，在第二初始神经网络为自编码器的情况下，可以基于第二初始神经网络输出的亮度信息与输入第二初始神经网络的样本图像的亮度通道信息的差异确定。

虽然广义上来看，输入自编码器的亮度通道信息，经过编码和解码得到的输出，与亮度通道信息是相同的，但是实际上亮度通道信息经过编码和解码是会发生变化的，所以第二初始神经网络输出的亮度信息，与输入第二初始神经网络的样本图像的亮度通道信息之间存在差异。

例如针对样本图像而言，可以将其从RGB空间转换到Lab空间，然后针对每个像素获取L通道信息作为该像素对应的亮度通道信息，进而将每个像素对应的亮度通道信息输入到第二神经网络，输出每个像素对应的亮度信息。针对每个像素而言，可以计算像素对应的亮度信息与亮度通道信息的差异，然后基于全部像素对应的亮度信息与亮度通道信息的差异确定第二损失函数，具体可以基于L1、L2等方式确定。

据此，确定了与目标模型的功能相符的第一损失函数和第二损失函数，与利于基于第一损失函数和第二损失函数构成的目标损失函数训练得到满足要求的目标模型。

可选地，所述编码模块连接至所述至少一个残差模块中的最后一个残差模块。

在一个实施例中，由于每个残差模块都会对输入的信息进行处理(例如进行卷积)，以便得到更高层的语义特征，在第二神经网络中的编码模块连接到多个残差模块中较为靠前的残差模块时，隐变量也会输入较为靠前的残差模块中，那么隐变量就会经过后续较多残差模块的处理，容易与第一神经网络中原本输入的颜色通道信息对应的语义特征混合，降低对亮度信息表征的作用。

通过将编码模块连接至多个残差模块中的最后一个残差模块，隐变量也会输入最后一个的残差模块中，那么隐变量只会经过一个残差模块的处理，不会与第一神经网络中原本输入的颜色通道信息对应的语义特征过渡混合，仍可以相对准确地表征环境光中的亮度信息，便于在第一神经网络输出的图像中更加准确地体现环境光中的亮度信息。

可选地，所述获取所述初始图像的亮度通道信息包括：

将所述初始图像转换至Lab空间；

获取转换后的初始图像的L通道信息，并将获取到的L通道信息作为所述亮度通道信息。

在一个实施例中，可以将初始图像转换至Lab空间，然后获取转换后的初始图像的L通道信息，并将获取到的L通道信息作为亮度通道信息。据此，可以快速且准确地将初始图像中的亮度通道信息分离出来。

与前述图像处理方法的实施例相对应地，本公开还提出了图像处理装置的实施例。

图9是根据本公开的实施例示出的一种图像处理装置的示意框图。本实施例所示的装置可以适用于终端，例如手机、平板电脑、可穿戴设备等电子设备，以手机为例，具体可以适用于手机中的应用程序。也可以适用于服务器，例如本地服务器、云端服务器等。

如图9所示，所述图像处理装置包括以下：

掩膜确定模块101，被配置执行确定初始图像中待生成头发的掩膜区域；

信息获取模块102，被配置执行获取所述初始图像的亮度通道信息；

信息输入模块103，被配置执行将所述初始图像和所述掩膜区域输入目标模型的第一神经网络，将所述亮度通道信息输入所述目标模型的第二神经网络；

其中，所述第一神经网络包括依次相连的多个残差模块，所述第二神经网络包括编码模块，所述编码模块连接于所述多个残差模块中的至少一个残差模块，所述编码模块用于对所述亮度通道信息进行编码得到隐变量，所述编码模块用于将所述隐变量输入到所述至少一个残差模块中；

图像输出模块104，被配置执行通过所述第一神经网络输出在所述初始图像中的所述掩膜区域生成头发的图像。

图10是根据本公开的实施例示出的一种图像处理装置的示意框图。如图10所示，所述装置还包括：

模型构建模块105，被配置执行构建初始模型，所述初始模型包括第一初始神经网络和第二初始神经网络，所述第一初始神经网络包括依次相连的多个初始残差模块，所述第二神经网络包括初始编码模块，所述初始编码模块连接于所述多个初始残差模块中的至少一个初始残差模块，用于对所述亮度通道信息进行编码得到隐变量，以及将所述隐变量输入所述至少一个初始残差模块；

机器学习模块106，被配置执行将样本图像和所述样本图像中待生成头发的掩膜区域输入所述第一初始神经网络，将所述样本图像的亮度通道信息输入所述第二初始神经网络；

以及根据所述第一初始神经网络的第一损失函数和所述第二初始神经网络的第二损失函数得到目标损失函数，根据所述目标损失函数进行训练，以得到所述第一神经网络和所述第二神经网络，根据所述第一神经网络和所述第二神经网络确定所述目标模型。

可选地，所述机器学习模块，被配置执行通过反向传播方法计算所述第一初始神经网络和所述第二初始神经网络中权重的梯度；以及根据梯度下降法更新所述权重，直至得到训练后的所述目标损失函数收敛；

其中，所述训练后得到的所述第一初始神经网络为所述第一神经网络，所述训练后得到的所述第二初始神经网络为所述第二神经网络。

可选地，所述第二初始神经网络为自编码器。

可选地，所述第一损失函数基于所述第一初始神经网络输出的图像中头发的参数与输入所述第一初始神经网络的样本图像对应期待图像中头发的参数的差异确定；

和/或所述第二损失函数基于所述第二初始神经网络输出的亮度信息与输入所述第二初始神经网络的样本图像的亮度通道信息的差异确定。

可选地，所述编码模块连接至所述多个残差模块中的最后一个残差模块。

可选地，所述信息获取模块，被配置执行将所述初始图像转换至Lab空间；以及获取转换后的初始图像的L通道信息，并将获取到的L通道信息作为所述亮度通道信息。

本公开的实施例还提出一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如上述任一实施例所述的图像处理方法。

本公开的实施例还提出一种一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的图像处理方法。

本公开的实施例还提出一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的图像处理方法。

图11是根据本公开的实施例示出的一种电子设备的示意框图。例如，电子设备1100可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图11，电子设备1100可以包括以下一个或多个组件：处理组件1102，存储器1104，电源组件1106，多媒体组件1108，音频组件1110，输入/输出(I/O)的接口1112，传感器组件1114，以及通信组件1116。

处理组件1102通常控制电子设备1100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1102可以包括一个或多个处理器1120来执行指令，以完成上述图像处理方法的全部或部分步骤。此外，处理组件1102可以包括一个或多个模块，便于处理组件1102和其他组件之间的交互。例如，处理组件1102可以包括多媒体模块，以方便多媒体组件1108和处理组件1102之间的交互。

存储器1104被配置为存储各种类型的数据以支持在电子设备1100的操作。这些数据的示例包括用于在电子设备1100上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1106为电子设备1100的各种组件提供电力。电源组件1106可以包括电源管理系统，一个或多个电源，及其他与为电子设备1100生成、管理和分配电力相关联的组件。

多媒体组件1108包括在电子设备1100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1108包括一个前置摄像头和/或后置摄像头。当电子设备1100处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1110被配置为输出和/或输入音频信号。例如，音频组件1110包括一个麦克风(MIC)，当电子设备1100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1104或经由通信组件1116发送。在一些实施例中，音频组件1110还包括一个扬声器，用于输出音频信号。

I/O接口1112为处理组件1102和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1114包括一个或多个传感器，用于为电子设备1100提供各个方面的状态评估。例如，传感器组件1114可以检测到电子设备1100的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1100的显示器和小键盘，传感器组件1114还可以检测电子设备1100或电子设备1100一个组件的位置改变，用户与电子设备1100接触的存在或不存在，电子设备1100方位或加速/减速和电子设备1100的温度变化。传感器组件1114可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1114还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1114还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1116被配置为便于电子设备1100和其他设备之间有线或无线方式的通信。电子设备1100可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1116经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1116还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在本公开一实施例中，电子设备1100可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像处理方法。

在本公开一实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1104，上述指令可由电子设备1100的处理器1120执行以完成上述图像处理方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本公开实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (16)

1.一种图像处理方法，其特征在于，包括：

确定初始图像中待生成头发的掩膜区域；

获取所述初始图像的亮度通道信息；

将所述初始图像和所述掩膜区域输入目标模型的第一神经网络，将所述亮度通道信息输入所述目标模型的第二神经网络；

其中，所述第一神经网络包括第一编码模块、第一解码模块，以及位于所述编码模块和所述解码模块之间且依次相连的多个残差模块，所述第二神经网络包括第二编码模块和第二解码模块，所述第二编码模块连接于所述多个残差模块中的至少一个残差模块，所述第二编码模块用于对所述亮度通道信息进行编码得到隐变量，所述第二编码模块用于将所述隐变量输入到所述至少一个残差模块中；

通过所述第一神经网络输出在所述初始图像中的所述掩膜区域生成头发的图像。

2.根据权利要求1所述的方法，其特征在于，在将所述初始图像和所述掩膜区域输入目标模型的第一神经网络，将所述亮度通道信息输入第二神经网络之前，所述方法还包括：

构建初始模型，所述初始模型包括第一初始神经网络和第二初始神经网络，所述第一初始神经网络包括依次相连的多个初始残差模块，所述第二神经网络包括第二初始编码模块，所述第二初始编码模块连接于所述多个初始残差模块中的至少一个初始残差模块，用于对所述亮度通道信息进行编码得到隐变量，以及将所述隐变量输入所述至少一个初始残差模块；

将样本图像和所述样本图像中待生成头发的掩膜区域输入所述第一初始神经网络，将所述样本图像的亮度通道信息输入所述第二初始神经网络；

根据所述第一初始神经网络的第一损失函数和所述第二初始神经网络的第二损失函数得到目标损失函数，根据所述目标损失函数进行训练，以得到所述第一神经网络和所述第二神经网络，根据所述第一神经网络和所述第二神经网络确定所述目标模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标损失函数进行训练，以得到所述第一神经网络和所述第二神经网络包括：

通过反向传播方法计算所述第一初始神经网络和所述第二初始神经网络中权重的梯度；

根据梯度下降法更新所述权重，直至得到训练后的所述目标损失函数收敛；

其中，所述训练后得到的所述第一初始神经网络为所述第一神经网络，所述训练后得到的所述第二初始神经网络为所述第二神经网络。

4.根据权利要求2所述的方法，其特征在于，所述第二初始神经网络为自编码器。

5.根据权利要求2所述的方法，其特征在于，所述第一损失函数基于所述第一初始神经网络输出的图像中头发的参数与输入所述第一初始神经网络的样本图像对应期待图像中头发的参数的差异确定；

和/或所述第二损失函数基于所述第二初始神经网络输出的亮度信息与输入所述第二初始神经网络的样本图像的亮度通道信息的差异确定。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述第二编码模块连接于所述多个残差模块中的最后一个残差模块。

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述获取所述初始图像的亮度通道信息包括：

将所述初始图像转换至Lab空间；

获取转换后的初始图像的L通道信息，并将获取到的L通道信息作为所述亮度通道信息。

8.一种图像处理装置，其特征在于，包括：

掩膜确定模块，被配置执行确定初始图像中待生成头发的掩膜区域；

信息获取模块，被配置执行获取所述初始图像的亮度通道信息；

信息输入模块，被配置执行将所述初始图像和所述掩膜区域输入目标模型的第一神经网络，将所述亮度通道信息输入所述目标模型的第二神经网络；

其中，所述第一神经网络包括第一编码模块、第一解码模块，以及位于所述编码模块和所述解码模块之间且依次相连的多个残差模块，所述第二神经网络包括第二编码模块和第二解码模块，所述第二编码模块连接于所述多个残差模块中的至少一个残差模块，所述第二编码模块用于对所述亮度通道信息进行编码得到隐变量，所述第二编码模块用于将所述隐变量输入到所述至少一个残差模块中；

图像输出模块，被配置执行通过所述第一神经网络输出在所述初始图像中的所述掩膜区域生成头发的图像。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

模型构建模块，被配置执行构建初始模型，所述初始模型包括第一初始神经网络和第二初始神经网络，所述第一初始神经网络包括依次相连的多个初始残差模块，所述第二神经网络包括第二初始编码模块，所述第二初始编码模块连接于所述多个初始残差模块中的至少一个初始残差模块，用于对所述亮度通道信息进行编码得到隐变量，以及将所述隐变量输入所述至少一个初始残差模块；

机器学习模块，被配置执行将样本图像和所述样本图像中待生成头发的掩膜区域输入所述第一初始神经网络，将所述样本图像的亮度通道信息输入所述第二初始神经网络；

以及根据所述第一初始神经网络的第一损失函数和所述第二初始神经网络的第二损失函数得到目标损失函数，根据所述目标损失函数进行训练，以得到所述第一神经网络和所述第二神经网络，根据所述第一神经网络和所述第二神经网络确定所述目标模型。

10.根据权利要求9所述的装置，其特征在于，所述机器学习模块，被配置执行通过反向传播方法计算所述第一初始神经网络和所述第二初始神经网络中权重的梯度；以及根据梯度下降法更新所述权重，直至得到训练后的所述目标损失函数收敛；

其中，所述训练后得到的所述第一初始神经网络为所述第一神经网络，所述训练后得到的所述第二初始神经网络为所述第二神经网络。

11.根据权利要求9所述的装置，其特征在于，所述第二初始神经网络为自编码器。

12.根据权利要求9所述的装置，其特征在于，所述第一损失函数基于所述第一初始神经网络输出的图像中头发的参数与输入所述第一初始神经网络的样本图像对应期待图像中头发的参数的差异确定；

和/或所述第二损失函数基于所述第二初始神经网络输出的亮度信息与输入所述第二初始神经网络的样本图像的亮度通道信息的差异确定。

13.根据权利要求8至12中任一项所述的装置，其特征在于，所述第二编码模块连接于所述多个残差模块中的最后一个残差模块。

14.根据权利要求8至12中任一项所述的装置，其特征在于，所述信息获取模块，被配置执行将所述初始图像转换至Lab空间；以及获取转换后的初始图像的L通道信息，并将获取到的L通道信息作为所述亮度通道信息。

15.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的图像处理方法。

16.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的图像处理方法。

Images