CN113781292A - 图像处理方法和装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法和装置、电子设备及存储介质，其中，该方法包括：对待处理的原始图像执行分割操作，得到原始图像中的前景图和背景图；对前景图执行第一滤镜处理，得到第一滤镜图像，并对背景图执行第二滤镜处理，得到第二滤镜图像，第一滤镜图像和第二滤镜图像具有相同的滤镜风格类型；对第一滤镜图像和第二滤镜图像执行融合操作，得到目标图像。本公开解决了风格化的图像中边界线较突出的问题。

Description

图像处理方法和装置、电子设备及存储介质

技术领域

本公开涉及计算机领域，尤其涉及图像处理方法和装置、电子设备及存储介质。

背景技术

在移动终端特效玩法中，图像风格化广受用户的喜爱。例如，在修图、短视频等应用程序中为图像添加相应滤镜可以对图像进行风格化。

现有技术中对图像进行风格化，通常是对整张图像统一风格化。然而整张图像中不同像素之间的亮度值存在差异，例如，图像的人物作为前景和除人物之外作为背景，前景和背景的图像亮度不同，对整张图像统一进行风格化会使人物和背景的边界线较为突出，图像风格化的效果难以满足用户的需求。

因此，针对相关技术中，风格化的图像中边界线较突出的问题，目前尚未存在有效的解决方案。

公开内容

本公开提供一种图像处理方法和装置、电子设备及存储介质，以至少解决相关技术中风格化的图像中边界线较突出的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，包括：对待处理的原始图像执行分割操作，得到所述原始图像中的前景图和背景图；对所述前景图执行第一滤镜处理，得到第一滤镜图像，并对所述背景图执行第二滤镜处理，得到第二滤镜图像，其中，所述第一滤镜图像和所述第二滤镜图像具有相同的滤镜风格类型；对所述第一滤镜图像和所述第二滤镜图像执行融合操作，得到目标图像。

可选地，所述对所述第一滤镜图像和所述第二滤镜图像执行融合操作，得到目标图像，包括：调整所述第一滤镜图像的第一梯度场中与第一边界对应的梯度值，使得所述第一滤镜图像变为第三滤镜图像，并调整所述第二滤镜图像的第二梯度场中与第二边界对应的梯度值，使得所述第二滤镜图像变为第四滤镜图像，其中，所述前景图中的所述第一边界与所述背景图中的所述第二边界相接，所述第三滤镜图像的梯度场中与所述第一边界对应的梯度值，与所述第四滤镜图像的梯度场中与所述第二边界对应的梯度值之间的差值小于预定阈值；对所述第三滤镜图像和所述第四滤镜图像执行融合操作，得到所述目标图像，其中，所述第三滤镜图像中的所述第一边界与所述第四滤镜图像中的所述第二边界相接。

可选地，所述对所述前景图执行第一滤镜处理，得到第一滤镜图像，包括：在预设关系表中查找与所述前景图中的像素点的像素值对应的转换后像素值，其中，所述预设关系表中记录了多组具有对应关系的转换前像素值和与转换后像素值，所述预设关系表中的转换后像素值为所述滤镜风格类型下的像素值；将所述前景图中各个像素点的像素值替换成所述对应的转换后像素值，得到所述第一滤镜图像。

可选地，所述在预设关系表中查找与所述前景图中的像素点的像素值对应的转换后像素值，包括：在所述前景图中确定至少两个局部区域；确定所述至少两个局部区域中的每个局部区域的转换前像素值；在所述预设关系表中查找与所述每个局部区域的转换前像素值对应的转换后像素值；所述将所述前景图中各个像素点的像素值替换成所述对应的转换后像素值，得到所述第一滤镜图像，包括：将所述至少两个局部区域中的每个局部区域中的各个像素点的像素值均替换成所述对应的转换后像素值，得到所述第一滤镜图像。

可选地，所述确定所述至少两个局部区域中的每个局部区域的转换前像素值，包括：将所述每个局部区域中的各个像素点的像素值的均值，确定为所述每个局部区域的转换前像素值；或者将所述每个局部区域中随机选取的一个像素点的像素值，确定为所述每个局部区域的转换前像素值；或者将所述每个局部区域中随机选取的多个像素点的像素值的均值，确定为所述每个局部区域的转换前像素值。

可选地，所述对所述背景图执行第二滤镜处理，得到第二滤镜图像，包括：将所述背景图输入到训练好的神经网络模型，得到调整后的图像，其中，所述神经网络模型用于对所述背景图的直方图分布进行调整；在所述调整后的图像的亮度在预设亮度范围内时，将所述调整后的图像确定为所述第二滤镜图像；在所述调整后的图像的亮度不在所述预设亮度范围内时，对所述调整后的图像执行亮度修正操作，得到所述第二滤镜图像。

可选地，所述对所述调整后的图像执行亮度修正操作，得到所述第二滤镜图像，包括：将所述调整后的图像中第一像素的亮度值增加第一调整值，其中，所述第一像素是所述调整后的图像中亮度值小于或等于第一阈值的像素；将所述调整后的图像中第二像素的亮度值减小第二调整值，其中，所述第二像素是所述调整后的图像中亮度值大于或等于第二阈值的像素。

可选地，所述调整所述第一滤镜图像的第一梯度场中与所述第一边界对应的梯度值，使得所述第一滤镜图像变为第三滤镜图像，并调整所述第二滤镜图像的第二梯度场中与所述第二边界对应的梯度值，使得所述第二滤镜图像变为第四滤镜图像，包括：在所述第一梯度场中与所述第一边界对应的梯度值与所述第二梯度场中与所述第二边界对应的梯度值之间的差值大于或等于所述预定阈值的情况下，调整所述第一滤镜图像的所述第一梯度场中与所述第一边界对应的梯度值，使得所述第一滤镜图像变为所述第三滤镜图像，并调整所述第二滤镜图像的所述第二梯度场中与所述第二边界对应的梯度值，使得所述第二滤镜图像变为所述第四滤镜图像。

可选地，调整所述第一滤镜图像的所述第一梯度场中与所述第一边界对应的梯度值，并调整所述第二滤镜图像的所述第二梯度场中与所述第二边界对应的梯度值，包括：确定所述第一边界对应的梯度值与所述第二边界对应的梯度值的均值，得到平均梯度值；将所述第一边界对应的梯度值和所述第二边界对应的梯度值调整为所述平均梯度值。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：执行单元，被配置为执行对待处理的原始图像执行分割操作，得到所述原始图像中的前景图和背景图；处理单元，被配置为执行对所述前景图执行第一滤镜处理，得到第一滤镜图像，并对所述背景图执行第二滤镜处理，得到第二滤镜图像，其中，所述第一滤镜图像和所述第二滤镜图像具有相同的滤镜风格类型；融合单元，被配置为执行对所述第一滤镜图像和所述第二滤镜图像执行融合操作，得到目标图像。

可选地，上述装置还被配置为执行调整所述第一滤镜图像的第一梯度场中与第一边界对应的梯度值，使得所述第一滤镜图像变为第三滤镜图像，并调整所述第二滤镜图像的第二梯度场中与第二边界对应的梯度值，使得所述第二滤镜图像变为第四滤镜图像，其中，所述前景图中的所述第一边界与所述背景图中的所述第二边界相接，所述第三滤镜图像的梯度场中与所述第一边界对应的梯度值，与所述第四滤镜图像的梯度场中与所述第二边界对应的梯度值之间的差值小于预定阈值；对所述第三滤镜图像和所述第四滤镜图像执行融合操作，得到所述目标图像，其中，所述第三滤镜图像中的所述第一边界与所述第四滤镜图像中的所述第二边界相接。

可选地，上述装置还被配置为执行在预设关系表中查找与所述前景图中的像素点的像素值对应的转换后像素值，其中，所述预设关系表中记录了多组具有对应关系的转换前像素值和与转换后像素值，所述预设关系表中的转换后像素值为所述滤镜风格类型下的像素值；将所述前景图中各个像素点的像素值替换成所述对应的转换后像素值，得到所述第一滤镜图像。

可选地，上述装置还被配置为执行在所述前景图中确定至少两个局部区域；确定所述至少两个局部区域中的每个局部区域的转换前像素值；在所述预设关系表中查找与所述每个局部区域的转换前像素值对应的转换后像素值；将所述至少两个局部区域中的每个局部区域中的各个像素点的像素值均替换成所述对应的转换后像素值，得到所述第一滤镜图像。

可选地，上述装置还被配置为执行将所述每个局部区域中的各个像素点的像素值的均值，确定为所述每个局部区域的转换前像素值；将所述每个局部区域中随机选取的一个像素点的像素值，确定为所述每个局部区域的转换前像素值；将所述每个局部区域中随机选取的多个像素点的像素值的均值，确定为所述每个局部区域的转换前像素值。

可选地，上述装置还被配置为执行将所述背景图输入到训练好的神经网络模型，得到调整后的图像，其中，所述神经网络模型用于对所述背景图的直方图分布进行调整；在所述调整后的图像的亮度在预设亮度范围内时，将所述调整后的图像确定为所述第二滤镜图像；在所述调整后的图像的亮度不在所述预设亮度范围内时，对所述调整后的图像执行亮度修正操作，得到所述第二滤镜图像。

可选地，上述装置还被配置为执行将所述调整后的图像中第一像素的亮度值增加第一调整值，其中，所述第一像素是所述调整后的图像中亮度值小于或等于第一阈值的像素；将所述调整后的图像中第二像素的亮度值减小第二调整值，其中，所述第二像素是所述调整后的图像中亮度值大于或等于第二阈值的像素。

可选地，上述装置还被配置为执行在所述第一梯度场中与所述第一边界对应的梯度值与所述第二梯度场中与所述第二边界对应的梯度值之间的差值大于或等于所述预定阈值的情况下，调整所述第一滤镜图像的所述第一梯度场中与所述第一边界对应的梯度值，使得所述第一滤镜图像变为所述第三滤镜图像，并调整所述第二滤镜图像的所述第二梯度场中与所述第二边界对应的梯度值，使得所述第二滤镜图像变为所述第四滤镜图像。

可选地，上述装置还被配置为执行确定所述第一边界对应的梯度值与所述第二边界对应的梯度值的均值，得到平均梯度值；将所述第一边界对应的梯度值和所述第二边界对应的梯度值调整为所述平均梯度值。

根据本公开实施例的第三方面，提供一种图像处理电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述的图像处理方法。

根据本公开实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述图像处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：对图像的前景和背景进行分割，对前景和背景分别进行风格化，可以提高前景和背景风格化效果；对前景和背景的边界线的梯度值进行调整，可以避免前景和背景边界线的突出问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像处理方法的流程图；

图2是根据一示例性实施例示出的一种图像分割示意图；

图3是根据一示例性实施例示出的CCNet模型结构示意图；

图4是根据一示例性实施例示出的整体流程示意图；

图5是根据一示例性实施例示出的Mask R-CNN框架示意图；

图6是根据一示例性实施例示出的一种图像处理装置的框图；

图7是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

作为一个可选的实施方式，图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，图像处理方法包括以下步骤。

在步骤S11中，对待处理的原始图像执行分割操作，得到所述原始图像中的前景图和背景图；

其中，待处理的原始图像可以是通过移动终端的摄像头拍摄得到的图像，也可以是在应用程序中拍摄的图像，如短视频应用中拍摄的视频图像。原始图像中包括前景图和背景图，前景图中的第一边界与背景图中的第二边界相接。例如，在对人物进行拍摄时，人物可以作为前景图，图像中除人物部分的图像为背景图。如图2根据一示例性实施例示出的一种图像分割示意图，可以使用图像分割算法对原始图像进行图像分割，得到前景图和背景图。在原始图像中前景图的第一边界和背景图中的第二边界是连接在一起的。在本实施例中，通过对原始图像执行分割操作，可以得到原始图像的前景图和背景图，以便对前景图和背景图分别进行风格化，达到风格化的图像效果更好，更满足用户的需求的效果。

在步骤S12中，对所述前景图执行第一滤镜处理，得到第一滤镜图像，并对所述背景图执行第二滤镜处理，得到第二滤镜图像，其中，所述第一滤镜图像和所述第二滤镜图像具有相同的滤镜风格类型；

其中，分别为前景图和背景图添加滤镜，前景图和背景图的滤镜处理方式可以是相同的也可以是不同的，如对前景图和背景图均使用LUT查表的方式进行风格化，或则，对前景图使用LUT查表的方式进行风格化，对背景图使用直方图网络的方式进行风格化。前景图和背景图所添加的滤镜风格是相同的，如漫画风格的滤镜。在本实施例中，为前景图和背景图添加同一滤镜风格滤镜，由于对原始图像的前景图和背景图分别执行滤镜处理，所添加的滤镜更能贴合前景图和背景图，风格化的图像更符合实际，满足用户需求。

在步骤S13中，对所述第一滤镜图像和所述第二滤镜图像执行融合操作，得到目标图像。

其中，融合操作可以是将风格化后的前景图像和背景图像进行融合，也就是对第三滤镜图像和第四滤镜图像进行融合。具体地，可以将第三滤镜图像中的第一边界与第四滤镜图像中的第二边界进行拼接以得到原始图像整体风格化后的目标图像。由于原始图像的前景图和背景图是分别进行风格化的，滤镜效果更贴合前景图和背景图，风格化的效果更好，使得拼接后得到的风格化的目标图像更符合实际，满足用户需求。

可选地，调整所述第一滤镜图像的第一梯度场中与第一边界对应的梯度值，使得所述第一滤镜图像变为第三滤镜图像，并调整所述第二滤镜图像的第二梯度场中与第二边界对应的梯度值，使得所述第二滤镜图像变为第四滤镜图像，其中，所述前景图中的所述第一边界与所述背景图中的所述第二边界相接，所述第三滤镜图像的梯度场中与所述第一边界对应的梯度值，与所述第四滤镜图像的梯度场中与所述第二边界对应的梯度值之间的差值小于预定阈值；对所述第三滤镜图像和所述第四滤镜图像执行融合操作，得到所述目标图像，其中，所述第三滤镜图像中的所述第一边界与所述第四滤镜图像中的所述第二边界相接。

作为一个可选的实施方式，为了防止前景图和背景图边界突出的问题，可以对风格化的第一滤镜图像和第二滤镜图像的边界的梯度值进行调整。具体地，可以计算第一滤镜图像中与第一边界对应的梯度值，以及第二滤镜图像中与第二边界对应的梯度值。若两个梯度值的差值小于预定阈值，则可以不用调整。若差值大于预定阈值，则需要对第一滤镜图像中与第一边界对应的梯度值进行调整得到第三滤镜图像。并对第二滤镜图像中与第二边界对应的梯度值进行调整得到第四滤镜图像。预定阈值的大小可以根据实际情况而定。在本实施例中，通过对风格化的前景图和背景图的边界值进行调整，可以使得拼接得到风格图像中拼接处的边界线的与前景图和背景图更贴合，避免风格化图像的边界线突出问题，使得风格化的图像效果更好。

可选地，所述对所述前景图执行第一滤镜处理，得到第一滤镜图像，包括：在预设关系表中查找与所述前景图中的像素点的像素值对应的转换后像素值，其中，所述预设关系表中记录了多组具有对应关系的转换前像素值和与转换后像素值，所述预设关系表中的转换后像素值为所述滤镜风格类型下的像素值；将所述前景图中各个像素点的像素值替换成所述对应的转换后像素值，得到所述第一滤镜图像。

作为一个可选的实施方式，可以使用查表法对前景图进行风格化，预设关系表可以是预先设置的LUT表，LUT表中记录了某种风格滤镜下，风格化之前像素值与风格化后的像素值的对应关系。根据前景图像中像素点的像素值在LUT表中查找对应风格化的像素值，将前景图像中的像素值替换为对应风格化的像素值，得到对前景图像进行风格化后的第一滤镜图像。在本实施例中，通过对前景图像单独进行风格化，在预设关系表中查找前景图像对应风格化的像素值，可以提高前景图像的风格化的效果，提高图像风格化效率。

可选地，所述在预设关系表中查找与所述前景图中的像素点的像素值对应的转换后像素值，包括：在所述前景图中确定至少两个局部区域；确定所述至少两个局部区域中的每个局部区域的转换前像素值；在所述预设关系表中查找与所述每个局部区域的转换前像素值对应的转换后像素值；所述将所述前景图中各个像素点的像素值替换成所述对应的转换后像素值，得到所述第一滤镜图像，包括：将所述至少两个局部区域中的每个局部区域中的各个像素点的像素值均替换成所述对应的转换后像素值，得到所述第一滤镜图像。

作为一个可选的实施方式，可以对前景图像进行分割，得到多个局部区域。以前景图像为人物图像为例，可以对人物身体做分割处理。具体地，可以使用神经网络模型对人体进行分割，神经网络模型可以是CCNet。可以使用大量训练数据对神经网络模型进行训练，训练数据中可以包括人体的各个部位。使用训练好的神经网络模型可以将人体分割成不同的部位，如胳膊、头发、面部、腿部等，人体的每个部位对应于每个局部区域。如图3是根据一示例性实施例示出的CCNet模型结构示意图，将前景图像输入至神经网络模型，经过神经网络模型对前景图像的特征提取和数据处理，得到分割图像，分割图像中包括至少两个局部区域。可以根据每个局部区域的图像像素值，在LUT表中查找对应风格化的像素值，由此可以对每个局部区域进行风格化，将所有局部区域的像素值替换为风格化的像素值，可以得到对前景图进行风格化的第一滤镜图像。在本实施例中，通过将前景图像分割为不同的局部区域，分别对不同的局部区域进行风格化，使得风格化图像的各个部分与原始图像更贴合，更符合实际，效果更好。

可选地，所述确定所述至少两个局部区域中的每个局部区域的转换前像素值，包括：将所述每个局部区域中的各个像素点的像素值的均值，确定为所述每个局部区域的转换前像素值；或者将所述每个局部区域中随机选取的一个像素点的像素值，确定为所述每个局部区域的转换前像素值；或者将所述每个局部区域中随机选取的多个像素点的像素值的均值，确定为所述每个局部区域的转换前像素值。

作为一个可选的实施方式，可以对每个局部区域中的像素整体进行风格化，取每个局部区域中各个像素点的像素值均值，在LUT表中查找与该像素值均值对应的风格化像素值，将每个局部图像的整体像素点均替换为在LUT表中查找到的风格化的像素值，得到该局部区域的风格化图像。以局部区域为人体的脸部为例，可以对脸部区域的各个像素值取均值，在LUT表中查找于该均值对应的风格化像素值，将脸部区域的各个像素值替换为风格化像素值，可以得到脸部区域的风格化图像。在本实施例同，通过取局部区域像素值的均值，在LUT表查找该均值对应的风格化的像素值，可以对图像中的局部区域统一进行风格化，提高图像风格化的效率。

作为一个可选的实施方式，也可以在每个局部区域中随机选取一个像素点的像素值，在LUT表中查找与随机像素点像素值对应的风格化像素值，将每个局部图像的整体像素点均替换为风格化像素值，得到该局部区域的风格化图像。以局部区域为人体的胳膊为例，可以在前景图像的胳膊区域随机选取一个像素点，在LUT表中查找与该像素点的像素值对应的风格化像素值，将胳膊区域的各个像素值替换为风格化像素值，可以得到胳膊区域的风格化图像。在本实施例同，通过在局部区域中随机选取像素值，在LUT表查找该均值对应的风格化的像素值，可以对图像中的局部区域统一进行风格化，提高图像风格化的效率。

作为一个可选的实施方式，也可以在每个局部区域中随机选取几个像素点，对选取出的几个像素点的像素值取均值，在LUT表中查找与该均值对应的风格化像素值，将局部图像的整体像素点均替换为风格化像素值，得到该局部区域的风格化图像。以局部区域为人体的腿部为例，可以在前景图像的腿部区域随机选取几个像素点，在LUT表中查找与该平局像素值对应的风格化像素值，将腿部区域的各个像素值替换为风格化像素值，可以得到腿部区域的风格化图像。在本实施例中，可以对前景图像中的各个局部区域整体进行风格化，可以提高前景图像的风格化效率。

可选地，所述对所述背景图执行第二滤镜处理，得到第二滤镜图像，包括：将所述背景图输入到训练好的神经网络模型，得到调整后的图像，其中，所述神经网络模型用于对所述背景图的直方图分布进行调整；在所述调整后的图像的亮度在预设亮度范围内时，将所述调整后的图像确定为所述第二滤镜图像；在所述调整后的图像的亮度不在所述预设亮度范围内时，对所述调整后的图像执行亮度修正操作，得到所述第二滤镜图像。

作为一个可选的实施方式，神经网络模型可以是通过机器学习训练得到的网络模型，直方图网络可以对原始背景图像的直方图分布进行调整。将原始图像的背景图输入直方图网络，可以得到直方图网络输出调整后的背景图。可以根据直方图网络输出的调整后的背景图的亮度判断是否满足预设条件，预设条件可以是亮度是否满足预设条件。在直方图网络输出的调整后的图像的亮度满足预设条件的情况下，直方图网络输出的图像即为对背景图进行风格化的第二滤镜图像。在直方图网络输出的调整后的图像的亮度不满足预设条件的情况下，可以对调整后的图像的亮度进行调整，对于较暗的像素可以调亮，对于较亮的像素可以调暗。在本实施例中，通过直方图网络可以对原始图像的背景图进行风格化，此外基于直方图网络输出的图像进行调整，可以提高背景图风格化的效果。

可选地，所述对所述调整后的图像执行亮度修正操作，得到所述第二滤镜图像，包括：将所述调整后的图像中第一像素的亮度值增加第一调整值，其中，所述第一像素是所述调整后的图像中亮度值小于或等于第一阈值的像素；将所述调整后的图像中第二像素的亮度值减小第二调整值，其中，所述第二像素是所述调整后的图像中亮度值大于或等于第二阈值的像素。

作为一个可选的实施方式，第一阈值和第二阈值可以根据实际情况而定，第一像素可以是网络直方图输出的调整后的图像中亮度较低的像素，第二像素可以是网络直方图输出的调整后的图像中亮度较高的像素。在本实施例中，可以将直方图网络输出的调整后的图像中亮度较低的像素进行提亮，对于亮度较高的像素可以降低亮度。在本实施例中，可以将调整后的图像的直方图划分成五档(明亮、高光、正常、暗部、黑色)，明亮范围为200-255，高光范围150-199，正常范围100-149，暗部50-99，黑色范围为0-49。预先抓取某种滤镜风格的画面，然后拟合出暗部和明亮部分的直方图曲线。然后作为评价网络直接输出的直方图的判断准则。对于亮度较低的像素部分提亮，明亮部分(过曝)降低亮度。

对于直方图中黑色范围(0-49)计算像素值，可以通过如下公式进行调整：

对于直方图中明亮范围(200-255)计算像素值，可以通过如下公式进行调整：

其中，input是调整后的图像中黑色范围(0-49)的像素，output是调整后的像素。在本实施例中，通过对网络直方图输出的风格化的图像的亮度进行调整，可以防止风格化图像中出现过暗和过曝的现象，提高风格化图像的质量。

可选地，所述调整所述第一滤镜图像的第一梯度场中与所述第一边界对应的梯度值，使得所述第一滤镜图像变为第三滤镜图像，并调整所述第二滤镜图像的第二梯度场中与所述第二边界对应的梯度值，使得所述第二滤镜图像变为第四滤镜图像，包括：在所述第一梯度场中与所述第一边界对应的梯度值与所述第二梯度场中与所述第二边界对应的梯度值之间的差值大于或等于所述预定阈值的情况下，调整所述第一滤镜图像的所述第一梯度场中与所述第一边界对应的梯度值，使得所述第一滤镜图像变为所述第三滤镜图像，并调整所述第二滤镜图像的所述第二梯度场中与所述第二边界对应的梯度值，使得所述第二滤镜图像变为所述第四滤镜图像。

作为一个可选的实施方式，对前景图和背景图进行风格化得到的第一滤镜图像和第二滤镜图像可以进行泊松融合。由于风格化的第一滤镜图像的边界与第二滤镜图像的边界的像素之间可能存在较大的差异，若直接进行拼接可能出现边界突出的问题。可以分别计算第一滤镜图像和第二滤镜图像的梯度值，根据第一滤镜图像对应的第一边界梯度值，以及第二滤镜图像对应的第二边界梯度值，分别第一边界和第二边界的梯度值进行调整，以避免边界突出的问题。具体地，若第一滤镜图像对应的第一边界的梯度值与第二滤镜图像的第二边界的梯度值的差值较大，可以对第一边界的梯度值和第二边界的梯度值进行调整，减小第一边界梯度值与第二边界梯度值的差值，得到第三滤镜图像和第四滤镜图像，将第三滤镜图像和第四滤镜图像进行拼接得到风格化的图像。在本实施例中，通过对第一滤镜图像和第二滤镜图像的边界梯度值进行调整，可以避免边界突出的问题，提高风格化效果。

可选地，调整所述第一滤镜图像的所述第一梯度场中与所述第一边界对应的梯度值，并调整所述第二滤镜图像的所述第二梯度场中与所述第二边界对应的梯度值，包括：确定所述第一边界对应的梯度值与所述第二边界对应的梯度值的均值，得到平均梯度值；将所述第一边界对应的梯度值和所述第二边界对应的梯度值调整为所述平均梯度值。

作为一个可选的实施方式，对于风格化的第一滤镜图像中第一边界的梯度值，以及风格化的第二滤镜图像中第二边界的梯度值，可以取两者的均值得到平均梯度值。将第一滤镜图像的第一边界的梯度值和第二滤镜图像的第二边界的梯度值调整为平均梯度值。根据平均梯度值可以得到第一边界和第二边界的像素值，由此可以得到风格化的前景图像第三滤镜图像，和风格化的背景图像第四滤镜图像。将第三滤镜图像和第四滤镜图像进行融合，即可得到原始图像风格化后的图像。在本实施例中，通过取风格化的前景图像和背景图像边界的梯度值均值，可以避免风格化图像中边界突出的问题，提高风格化图像的效果。

下面通过一个具体实施例说明本申请，如图4是根据一示例性实施例示出的整体流程示意图，其中，包括如下步骤：

步骤S41，对原始图像进行前后背景分离，分离出前景图和背景图。具体地，可以使用神经网络模型对原始图像进行前后背景分离，可以基于Mask R-CNN做前后背景分离。如图5是根据一示例性实施例示出的Mask R-CNN框架示意图，其中，FPN是特征增长网络Feature Pyramid Network，RPN是区域候选网络Region Proposal Network。Rol是感兴趣区域Region of interest。将原始图像输出Mask R-CNN网络模型，Mask R-CNN网络模型对原始图像进行分割得到前景图和背景图。

步骤S42，前景风格化。可以先对前景图进行分割处理，将前景图分割成不同的区域。对不同区域分别进行风格化。可以基于CCNet进行区域分割。以人体分割为例，可以将前景图像人体输入CCNet，通过CCNet区分出人物身体各部分信息(胳膊、头发、面部、上半身、腿部)。根据不同的区域的像素值在LUT查表中查找到对应风格化的像素值，将前景图的像素值替换为风格化的像素值，得到风格化的前景图。

步骤S43，背景风格化。将分割出来的背景图经过一个预先训练好的直方图网络，对原始背景图像做直方图分布调整，得到直方图网络输出的调整后的背景图。直方图网络是以不同场景的照片作为训练数据，经过反复训练得到的。直方图网络修正之后的图片再进行直方图检查或者矫正。可以将调整后的背景图的直方图划分成五档(明亮、高光、正常、暗部、黑色)，明亮范围为200-255，高光范围150-199，正常范围100-149，暗部50-99，黑色范围为0-49。预先抓取新海诚风格的画面，然后拟合出暗部和明亮部分的直方图曲线。然后作为评价网络直接输出的直方图的判断准则。调整的部分主要是黑色部分提亮，明亮部分(过曝)降低亮度。

步骤S54，风格化的前后背景融合。计算风格化的前景图的梯度值，以及风格化的背景图的梯度值。将风格化的前景图和背景图的边界的梯度值进行比较，若风格化的前景图的边界和背景图边界的梯度差值较大，可以计算梯度均值。将风格化的前景图和背景图的边界梯度值替换为梯度均值，通过泊松等式可以得到梯度均值对应的像素值。由此得到风格化的前景图和背景图边界的像素值。将风格化的前景图和背景图进行拼接，得到原始图像风格化的图像。

图6是根据一示例性实施例示出的一种图像处理装置框图。参照图6，该装置包括执行单元61，处理单元62，以及融合单元63。

该执行单元61被配置为执行对待处理的原始图像执行分割操作，得到所述原始图像中的前景图和背景图；

该处理单元62被配置为执行对所述前景图执行第一滤镜处理，得到第一滤镜图像，并对所述背景图执行第二滤镜处理，得到第二滤镜图像，其中，所述第一滤镜图像和所述第二滤镜图像具有相同的滤镜风格类型；

该融合单元63，被配置为执行对所述第一滤镜图像和所述第二滤镜图像执行融合操作，得到目标图像。

可选地，上述装置还被配置为执行调整所述第一滤镜图像的第一梯度场中与第一边界对应的梯度值，使得所述第一滤镜图像变为第三滤镜图像，并调整所述第二滤镜图像的第二梯度场中与第二边界对应的梯度值，使得所述第二滤镜图像变为第四滤镜图像，其中，所述前景图中的所述第一边界与所述背景图中的所述第二边界相接，所述第三滤镜图像的梯度场中与所述第一边界对应的梯度值，与所述第四滤镜图像的梯度场中与所述第二边界对应的梯度值之间的差值小于预定阈值；对所述第三滤镜图像和所述第四滤镜图像执行融合操作，得到所述目标图像，其中，所述第三滤镜图像中的所述第一边界与所述第四滤镜图像中的所述第二边界相接。

可选地，上述装置还被配置为执行在预设关系表中查找与所述前景图中的像素点的像素值对应的转换后像素值，其中，所述预设关系表中记录了多组具有对应关系的转换前像素值和与转换后像素值，所述预设关系表中的转换后像素值为所述滤镜风格类型下的像素值；将所述前景图中各个像素点的像素值替换成所述对应的转换后像素值，得到所述第一滤镜图像。

可选地，上述装置还被配置为执行在所述前景图中确定至少两个局部区域；确定所述至少两个局部区域中的每个局部区域的转换前像素值；在所述预设关系表中查找与所述每个局部区域的转换前像素值对应的转换后像素值；将所述至少两个局部区域中的每个局部区域中的各个像素点的像素值均替换成所述对应的转换后像素值，得到所述第一滤镜图像。

可选地，上述装置还被配置为执行将所述每个局部区域中的各个像素点的像素值的均值，确定为所述每个局部区域的转换前像素值；将所述每个局部区域中随机选取的一个像素点的像素值，确定为所述每个局部区域的转换前像素值；将所述每个局部区域中随机选取的多个像素点的像素值的均值，确定为所述每个局部区域的转换前像素值。

可选地，上述装置还被配置为执行将所述背景图输入到训练好的神经网络模型，得到调整后的图像，其中，所述神经网络模型用于对所述背景图的直方图分布进行调整；在所述调整后的图像的亮度在预设亮度范围内时，将所述调整后的图像确定为所述第二滤镜图像；在所述调整后的图像的亮度不在所述预设亮度范围内时，对所述调整后的图像执行亮度修正操作，得到所述第二滤镜图像。

可选地，上述装置还被配置为执行将所述调整后的图像中第一像素的亮度值增加第一调整值，其中，所述第一像素是所述调整后的图像中亮度值小于或等于第一阈值的像素；将所述调整后的图像中第二像素的亮度值减小第二调整值，其中，所述第二像素是所述调整后的图像中亮度值大于或等于第二阈值的像素。

可选地，上述装置还被配置为执行在所述第一梯度场中与所述第一边界对应的梯度值与所述第二梯度场中与所述第二边界对应的梯度值之间的差值大于或等于所述预定阈值的情况下，调整所述第一滤镜图像的所述第一梯度场中与所述第一边界对应的梯度值，使得所述第一滤镜图像变为所述第三滤镜图像，并调整所述第二滤镜图像的所述第二梯度场中与所述第二边界对应的梯度值，使得所述第二滤镜图像变为所述第四滤镜图像。

可选地，上述装置还被配置为执行确定所述第一边界对应的梯度值与所述第二边界对应的梯度值的均值，得到平均梯度值；将所述第一边界对应的梯度值和所述第二边界对应的梯度值调整为所述平均梯度值。

图7是根据一示例性实施例示出的一种用于图像处理的电子设备的框图。如图7所示，该电子设备包括处理器720和用于存储上述处理器可执行指令的存储器710。上述处理器被配置为执行指令，以实现上述的图像处理方法。本实施例中的电子设备还可以包括传输装置730、显示器740和连接总线750。传输装置730用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置730包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装730为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。上述显示器740用于显示上述原始图像和目标图像；上述连接总线750，用于连接上述电子设备中的各个模块部件。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器710，上述指令可由电子设备的处理器720执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，包括计算机程序/指令，上述计算机程序/指令被处理器执行时实现上述的信息传输方法。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

对待处理的原始图像执行分割操作，得到所述原始图像中的前景图和背景图；

对所述前景图执行第一滤镜处理，得到第一滤镜图像，并对所述背景图执行第二滤镜处理，得到第二滤镜图像，其中，所述第一滤镜图像和所述第二滤镜图像具有相同的滤镜风格类型；

对所述第一滤镜图像和所述第二滤镜图像执行融合操作，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一滤镜图像和所述第二滤镜图像执行融合操作，得到目标图像，包括：

调整所述第一滤镜图像的第一梯度场中与第一边界对应的梯度值，使得所述第一滤镜图像变为第三滤镜图像，并调整所述第二滤镜图像的第二梯度场中与第二边界对应的梯度值，使得所述第二滤镜图像变为第四滤镜图像，其中，所述前景图中的所述第一边界与所述背景图中的所述第二边界相接，所述第三滤镜图像的梯度场中与所述第一边界对应的梯度值，与所述第四滤镜图像的梯度场中与所述第二边界对应的梯度值之间的差值小于预定阈值；

对所述第三滤镜图像和所述第四滤镜图像执行融合操作，得到所述目标图像，其中，所述第三滤镜图像中的所述第一边界与所述第四滤镜图像中的所述第二边界相接。

3.根据权利要求1所述的方法，其特征在于，所述对所述前景图执行第一滤镜处理，得到第一滤镜图像，包括：

在预设关系表中查找与所述前景图中的像素点的像素值对应的转换后像素值，其中，所述预设关系表中记录了多组具有对应关系的转换前像素值和与转换后像素值，所述预设关系表中的转换后像素值为所述滤镜风格类型下的像素值；

将所述前景图中各个像素点的像素值替换成所述对应的转换后像素值，得到所述第一滤镜图像。

4.根据权利要求3所述的方法，其特征在于，

所述在预设关系表中查找与所述前景图中的像素点的像素值对应的转换后像素值，包括：在所述前景图中确定至少两个局部区域；确定所述至少两个局部区域中的每个局部区域的转换前像素值；在所述预设关系表中查找与所述每个局部区域的转换前像素值对应的转换后像素值；

所述将所述前景图中各个像素点的像素值替换成所述对应的转换后像素值，得到所述第一滤镜图像，包括：将所述至少两个局部区域中的每个局部区域中的各个像素点的像素值均替换成所述对应的转换后像素值，得到所述第一滤镜图像。

5.根据权利要求1所述的方法，其特征在于，所述对所述背景图执行第二滤镜处理，得到第二滤镜图像，包括：

将所述背景图输入到训练好的神经网络模型，得到调整后的图像，其中，所述神经网络模型用于对所述背景图的直方图分布进行调整；

在所述调整后的图像的亮度在预设亮度范围内时，将所述调整后的图像确定为所述第二滤镜图像；

在所述调整后的图像的亮度不在所述预设亮度范围内时，对所述调整后的图像执行亮度修正操作，得到所述第二滤镜图像。

6.根据权利要求5所述的方法，其特征在于，所述对所述调整后的图像执行亮度修正操作，得到所述第二滤镜图像，包括：

将所述调整后的图像中第一像素的亮度值增加第一调整值，其中，所述第一像素是所述调整后的图像中亮度值小于或等于第一阈值的像素；

将所述调整后的图像中第二像素的亮度值减小第二调整值，其中，所述第二像素是所述调整后的图像中亮度值大于或等于第二阈值的像素。

7.根据权利要求2所述的方法，其特征在于，所述调整所述第一滤镜图像的第一梯度场中与所述第一边界对应的梯度值，使得所述第一滤镜图像变为第三滤镜图像，并调整所述第二滤镜图像的第二梯度场中与所述第二边界对应的梯度值，使得所述第二滤镜图像变为第四滤镜图像，包括：

在所述第一梯度场中与所述第一边界对应的梯度值与所述第二梯度场中与所述第二边界对应的梯度值之间的差值大于或等于所述预定阈值的情况下，调整所述第一滤镜图像的所述第一梯度场中与所述第一边界对应的梯度值，使得所述第一滤镜图像变为所述第三滤镜图像，并调整所述第二滤镜图像的所述第二梯度场中与所述第二边界对应的梯度值，使得所述第二滤镜图像变为所述第四滤镜图像。

8.一种图像处理装置，其特征在于，包括：

执行单元，被配置为执行对待处理的原始图像执行分割操作，得到所述原始图像中的前景图和背景图；

处理单元，被配置为执行对所述前景图执行第一滤镜处理，得到第一滤镜图像，并对所述背景图执行第二滤镜处理，得到第二滤镜图像，其中，所述第一滤镜图像和所述第二滤镜图像具有相同的滤镜风格类型；

融合单元，被配置为执行对所述第一滤镜图像和所述第二滤镜图像执行融合操作，得到目标图像。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的图像处理方法。

10.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得图像处理电子设备能够执行如权利要求1至7中任一项所述的图像处理方法。

Images