CN113808003A - 图像处理模型的训练方法、图像处理方法及装置 - Google Patents

Abstract

本公开关于一种图像处理模型的训练方法、图像处理方法及装置，涉及图像处理技术领域，该方法包括：采用预设的图像处理模型，对额头区域覆盖有掩码的掩码样本图像进行处理，输出四个通道的处理结果，将所述处理结果与所述掩码样本图像进行线性融合处理得到输出图像，基于计算得到的所述图像处理模型的损失值，对所述图像处理模型进行调整，确定收敛后输出完成训练的图像处理模型，采用所述图像处理模型对得到的覆盖有掩码的待处理图像进行处理，得到处理后的输出图像。这样，基于将额头区域覆盖掩码后的掩码样本图像对图像处理模型进行训练后，能够基于图像处理模型实现对待处理图像中掩码区域的快速处理，且保证最终生成的输出图像效果真实。

Description

图像处理模型的训练方法、图像处理方法及装置

技术领域

本公开涉及图像处理领域，特别涉及一种图像处理模型的训练方法、图像处理方法及装置。

背景技术

在进行图像处理的过程中，为实现个性化的设计需要，通常需要消除图像中的目标对象，进而实现对图像的个性化处理。

借助于图片编辑技术(Photoshop，PS)能够实现对图像中的目标对象进行消除处理，目前的图像处理中较多使用的图像修复inpainting技术，能够在图像中产生掩膜mask覆盖区域，并通过对图像特征的学习识别，实现对mask覆盖区域的面部特征的补全。

但是，使用PS技术对图像中的目标对象进行消除时，依赖于人工的操作，难以保证对图像中的目标对象进行快速有效的处理，无法实现批量化的处理操作，而对于现有的inpainting技术来说，仅能实对mask覆盖区域的特征补全，无法实现消除目标对象的需要。

例如，以包含人脸的图像为例，将额头上的刘海作为要消除的目标对象时，可以使用PS技术，人工实现对刘海的消除，而对于inpainting技术，仅能够针对mask覆盖的包含刘海的人脸区域进行特征补全处理，得到的处理结果中在保留了刘海部分的同时补全了所述人脸区域的面部特征，无法实现消除刘海的需要。

发明内容

本公开实施例提供一种图像处理模型的训练方法、图像处理方法及装置，用以解决现有技术中存在无法消除图像中的目标对象问题。

本公开实施例提供的具体技术方案如下：

第一方面，提出一种图像处理模型的训练方法，包括：

获取预设的训练样本集合，其中，所述训练样本集合中的每个训练样本包含一个基础样本图像和一个掩码样本图像，所述掩码样本图像是将所述基础样本图像包含的额头区域覆盖掩码后得到的；

采用预设的图像处理模型，对一个训练样本包含的掩码样本图像进行处理，输出四个通道的处理结果，其中，所述图像处理模型包括生成对抗式网络，所述四个通道的处理结果包括三个颜色通道和一个融合参数通道；

基于所述融合参数通道，对所述掩码样本图像的红绿蓝RGB通道和所述三个颜色通道分别进行线性融合处理，获得相应的输出图像；

采用预设的损失函数基于所述输出图像以及所述基础样本图像中对应的各个像素点的颜色值，计算所述图像处理模型的损失值，并基于所述损失值，调整所述图像处理模型中用于生成所述四个通道的处理结果的网络参数，并确定所述损失值满足预设的收敛条件时，输出完成训练的图像处理模型。

可选的，所述获取预设的训练样本集合之前，进一步包括：

获取多个基础样本图像，并对各个基础样本图像，分别执行以下操作：

识别出一个基础样本图像中包含的各个人脸关键点，并基于所述各个人脸关键点确定眼睛关键点的位置；

基于所述各个人脸关键点覆盖的区域，确定所述基础样本图像中的目标处理区域，并从所述目标处理区域中分割出人脸区域；

基于所述眼睛关键点的位置，在所述人脸区域中确定额头区域，将所述额头区域设置为掩码区域，设置所述掩码区域内各个像素点的颜色值，得到掩码样本图像；

将所述一个基础样本图像，以及对应得到的掩码样本图像作为训练样本集合中的一个训练样本。

可选的，所述基于所述各个人脸关键点确定眼睛关键点的位置之后，所述基于所述各个人脸关键点覆盖的区域，确定所述基础样本图像中的目标处理区域之前，进一步包括：

确定左眼中心点以及右眼中心点的位置，并基于所述左眼中心点与所述右眼中心点的连线与水平线之间的相交角度，对所述一个基础样本图像进行旋转调整，直至所述连线与水平线平行。

可选的，所述在所述人脸区域中确定额头区域，包括：

确定眼睛上边沿的连接线，并将所述连接线设置为所述额头区域的下边沿线，将所述下边沿线与所述人脸区域围成的区域确定为额头区域。

可选的，所述设置所述掩码区域内各个像素点的颜色值，包括：

选取所述人脸区域中的包含指定数目像素点的皮肤区域，计算所述皮肤区域内各个像素点的颜色均值，将所述颜色均值作为所述掩码区域内各个像素点的颜色值。

可选的，所述基于所述融合参数通道，对所述掩码样本图像的红绿蓝RGB通道和所述三个颜色通道进行线性融合处理，包括：

基于所述融合参数通道上各个像素点的融合参数值，将所述三个颜色通道上对应的各个像素点的颜色值与所述掩码样本图像的RGB通道上对应的各个像素点的颜色值进行线性融合处理。

可选的，所述确定所述损失值满足预设的收敛条件，包括：

计算当前获得的损失值与上一次计算的损失值之间的损失差值，并将所述损失差值与预设门限值进行比较，确定所述损失差值低于所述预设门限值时，将预设的连续计数值加1，否则，将所述连续计数值清0；

确定所述连续计数值大于设定阈值时，确定所述满足预设的收敛条件。

第二方面，提出一种图像处理方法，包括：

接收终端设备发送的图像处理请求，所述图像处理请求中至少包括待处理图像以及为所述待处理图像配置的掩码区域的形状；

识别出所述待处理图像的人脸区域，并基于配置的掩码区域的形状，设置所述人脸区域内的掩码区域，生成掩码待处理图像；

调用第一方面所述的图像处理模型，对所述掩码待处理图像进行处理，得到四个通道的处理结果，得到处理后的输出图像。

第三方面，提出一种图像处理模型的训练装置，包括：

获取单元，获取预设的训练样本集合，其中，所述训练样本集合中的每个训练样本包含一个基础样本图像和一个掩码样本图像，所述掩码样本图像是将所述基础样本图像包含的额头区域覆盖掩码后得到的；

处理单元，采用预设的图像处理模型，对一个训练样本包含的掩码样本图像进行处理，输出四个通道的处理结果，其中，所述图像处理模型包括生成对抗式网络，所述四个通道的处理结果包括三个颜色通道和一个融合参数通道；

输出单元，基于所述融合参数通道，对所述掩码样本图像的红绿蓝RGB通道和所述三个颜色通道分别进行线性融合处理，获得相应的输出图像；

调整单元，采用预设的损失函数基于所述输出图像以及所述基础样本图像中对应的各个像素点的颜色值，计算所述图像处理模型的损失值，并基于所述损失值，调整所述图像处理模型中用于生成所述四个通道的处理结果的网络参数，并确定所述损失值满足预设的收敛条件时，输出完成训练的图像处理模型。

可选的，所述获取预设的训练样本集合之前，所述获取单元进一步用于：

获取多个基础样本图像，并对各个基础样本图像，分别执行以下操作：

识别出一个基础样本图像中包含的各个人脸关键点，并基于所述各个人脸关键点确定眼睛关键点的位置；

基于所述各个人脸关键点覆盖的区域，确定所述基础样本图像中的目标处理区域，并从所述目标处理区域中分割出人脸区域；

基于所述眼睛关键点的位置，在所述人脸区域中确定额头区域，将所述额头区域设置为掩码区域，设置所述掩码区域内各个像素点的颜色值，得到掩码样本图像；

将所述一个基础样本图像，以及对应得到的掩码样本图像作为训练样本集合中的一个训练样本。

可选的，所述基于所述各个人脸关键点确定眼睛关键点的位置之后，所述基于所述各个人脸关键点覆盖的区域，确定所述基础样本图像中的目标处理区域之前，所述获取单元进一步用于：

确定左眼中心点以及右眼中心点的位置，并基于所述左眼中心点与所述右眼中心点的连线与水平线之间的相交角度，对所述一个基础样本图像进行旋转调整，直至所述连线与水平线平行。

可选的，所述在所述人脸区域中确定额头区域时，所述获取单元用于：

确定眼睛上边沿的连接线，并将所述连接线设置为所述额头区域的下边沿线，将所述下边沿线与所述人脸区域围成的区域确定为额头区域。

可选的，所述设置所述掩码区域内各个像素点的颜色值时，所述获取单元用于：

选取所述人脸区域中的包含指定数目像素点的皮肤区域，计算所述皮肤区域内各个像素点的颜色均值，将所述颜色均值作为所述掩码区域内各个像素点的颜色值。

可选的，所述基于所述融合参数通道，对所述掩码样本图像的红绿蓝RGB通道和所述三个颜色通道进行线性融合处理时，所述输出单元用于：

基于所述融合参数通道上各个像素点的融合参数值，将所述三个颜色通道上对应的各个像素点的颜色值与所述掩码样本图像的RGB通道上对应的各个像素点的颜色值进行线性融合处理。

可选的，所述确定所述损失值满足预设的收敛条件时，所述调整单元用于：

计算当前获得的损失值与上一次计算的损失值之间的损失差值，并将所述损失差值与预设门限值进行比较，确定所述损失差值低于所述预设门限值时，将预设的连续计数值加1，否则，将所述连续计数值清0；

确定所述连续计数值大于设定阈值时，确定所述满足预设的收敛条件。

第四方面，提出一种图像处理装置，包括：

接收单元，接收终端设备发送的图像处理请求，所述图像处理请求中至少包括待处理图像以及为所述待处理图像配置的掩码区域的形状；

生成单元，识别出所述待处理图像的人脸区域，并基于配置的掩码区域的形状，设置所述人脸区域内的掩码区域，生成掩码待处理图像；

调用单元，调用第三方面所述的图像处理模型，对所述掩码待处理图像进行处理，得到处理后的输出图像。

第五方面，提出一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于读取并执行所述存储器中存储的可执行指令，以实现上述第一方面和第二方面中的任意一种方法。

第六方面，提出一种存储介质，当所述存储介质中的指令由电子设备执行时，使得所述电子设备能够执行上述第一方面和第二方面中的任意一种方法。

本公开有益效果如下：

综上所述，本公开实施例中，提供一种图像处理模型的训练方法、图像处理方法及装置，获取预设的训练样本集合，其中，所述训练样本集合中的每个训练样本包含一个基础样本图像和一个掩码样本图像，所述掩码样本图像是将所述基础样本图像包含的额头区域覆盖掩码后得到的，然后，采用预设的图像处理模型，对一个训练样本包含的掩码样本图像进行处理，输出四个通道的处理结果，其中，所述图像处理模型包括生成对抗式网络，所述四个通道的处理结果包括三个颜色通道和一个融合参数通道，再基于所述融合参数通道，对所述掩码样本图像的红绿蓝RGB通道和所述三个颜色通道分别进行线性融合处理，获得相应的输出图像，采用预设的损失函数基于所述输出图像以及所述基础样本图像中对应的各个像素点的颜色值，计算所述图像处理模型的损失值，并基于所述损失值，调整所述图像处理模型中用于生成所述四个通道的处理结果的网络参数，并确定所述损失值满足预设的收敛条件时，输出完成训练的图像处理模型后，基于训练完成的图像处理模型对待处理图像进行处理，得到处理后的输出图像。进一步的，采用所述图像处理模型对得到的覆盖有掩码的待处理图像进行处理，得到处理后的输出图像，这样，可以通过实际的配置需要，对图像中希望消除的对象所在的区域覆盖掩码，即将额头区域覆盖掩码，并基于将额头区域覆盖掩码后的掩码样本图像完成对图像处理模型的训练后，能够基于图像处理模型实现对待处理图像中掩码区域的快速处理，且保证最终生成的输出图像效果真实。

附图说明

图1为本公开实施例中进行图像处理模型训练的流程示意图；

图2a-图2c为本公开实施例中对得到的基础样本图像进行旋转调整示意图；

图2d为本公开实施例中确定目标处理区域示意图；

图3a-图3d为本公开实施例中建立掩码样本图像的过程示意图；

图4为本公开实施例中使用训练完成的图像处理模型进行实际应用的流程示意图；

图5a-图5d为本公开实施例中基于个性化设置需要对待处理图像进行处理的过程示意图；

图6为本公开实施例中训练图像处理模型的电子设备的逻辑结构示意图；

图7为本公开实施例中用于进行图像处理的电子设备的逻辑结构示意图；

图8为本公开实施例中用于训练图像处理模型和进行图像处理的电子设备的实体结构示意图。

具体实施方式

为了解决现有技术中存在的无法消除图像中的目标对象的问题，本公开实施例中，获取预设的训练样本集合，其中，所述训练样本集合中的每个训练样本包含一个基础样本图像和一个掩码样本图像，所述掩码样本图像是将所述基础样本图像包含的额头区域覆盖掩码后得到的，然后，采用预设的图像处理模型，对一个训练样本包含的掩码样本图像进行处理，输出四个通道的处理结果，其中，所述图像处理模型包括生成对抗式网络，所述四个通道的处理结果包括三个颜色通道和一个融合参数通道，再基于所述融合参数通道，对所述掩码样本图像的红绿蓝RGB通道和所述三个颜色通道分别进行线性融合处理，获得相应的输出图像，采用预设的损失函数基于所述输出图像以及所述基础样本图像中对应的各个像素点的颜色值，计算所述图像处理模型的损失值，并基于所述损失值，调整所述图像处理模型中用于生成所述四个通道的处理结果的网络参数，并确定所述损失值满足预设的收敛条件时，输出完成训练的图像处理模型。

本公开实施例中，首先基于生成对抗网络技术搭建图像处理模型，然后对预先获得的基础样本图像进行处理，得到训练样本集合，再基于各个训练样本对搭建的图像处理模型进行训练，通过不断调整所述图像处理模型中用于生成处理结果的网络参数值，最终得到训练完成的图像处理模型，进而接收终端设备发送的待处理图像，并确定所述待处理图像中的掩码区域，调用所述图像处理模型基于覆盖掩码区域的待处理图像得到处理结果，并将所述处理结果与所述覆盖掩码区域的待处理图像进行线性融合处理，得到图像效果真实的输出图像。

需要说明的是，本公开实施例中，执行图像处理模型的训练以及图像处理的装置可以是服务器，或者，配置有高速处理器的电子设备，本公开对此不作限定，在此不再赘述。

下面结合附图对本公开优选的实施方式作出进一步详细说明。

下面结合附图1，对本公开优选的实施例中进行对图像处理模型进行训练的过程进行详细说明：

步骤101：获取预设的训练样本集合，其中，所述训练样本集合中的每个训练样本包含一个基础样本图像和一个掩码样本图像。

具体的，获取多个基础样本图像后，基于获得的基础样本图像建立相应的训练样本。

下面对本公开实施例中，基于一个基础样本图像，建立一个训练样本的过程进行说明。

S1:识别出一个基础样本图像中包含的各个人脸关键点，并基于所述各个人脸关键点确定眼睛关键点的位置。

具体的，采用人脸关键点检测技术对所述一个基础样本图像进行检测处理，识别出所述基础样本图像中包含的各个人脸关键点，并确定所述各个人脸关键点中眼睛关键点的位置。

可选的，在确定所述一个基础样本图像中包含的各个人脸关键点后，进一步的，基于眼睛关键点的位置，确定左眼中心点以及右眼中心点的位置，并基于所述左眼中心点与所述右眼中心点的连线与水平线之间的相交角度，对所述一个基础样本图像进行旋转调整，直至所述连线与水平线平行。

需要说明的是，在对所述一个基础样本图像进行旋转调整时，不仅可以基于左眼中心点和右眼中心点的连线进行调整，还可以基于人脸关键点中任意两个关于人脸中轴线对称的两个点的连线，如，左、右嘴角处关键点的连线，左、右眼角处关键点的连线等等。

例如，参阅图2a-图2c所示，对图2a所示意的基础样本图像进行人脸特征点检测，则对应可以确定图2a中人脸上各个关键点在基础样本图像中的位置，检测出的关键点包括脸部轮廓关键点、眼睛关键点、以及其他器官关键点，再基于眼睛关键点的位置，对应确定左眼中心点以及右眼中心点，如图2a中瞳孔所在的位置，进而建立如图2b所示左眼中心点与右眼中心点之间的连线，确定所述连线与水平线之间的相交角度，再基于所述相交角度，调整所述基础样本图像的位置，直至所述连线与水平线平行，得到如图2c所示的图像。

这样，通过调整得到的图像的角度，能够使图像中眼睛的连线与水平面平行，为后续确定目标处理区域以及掩码区域带来了便利，进而保证图像的有效处理，提高了图像的处理效率。

S2：基于各个人脸关键点覆盖的区域，确定基础样本图像中的目标处理区域，并从所述目标处理区域中分割出人脸区域。

具体的，基于人脸关键点检测技术确定基础样本图像中各个人脸关键点之后，基于所述各个人脸关键点覆盖的区域，确定所述基础样本图像中的目标处理区域，具体的，可以在所述各个人脸关键点覆盖的区域的基础上外扩适当的倍数，将所述基础样本图像中外扩得到的区域作为所述基础样本图像中的目标处理区域，其中，所述外扩的倍数可以根据实际的处理需要灵活设置。

例如，参阅图2d所示，基于人脸关键点可以确定各个人脸关键点覆盖的区域，在所述人脸关键点覆盖的区域的基础上外扩1.5倍，则得到目标处理区域。

进一步的，采用预设的分割技术，从所述基础样本图像中的目标区域内识别出人脸区域和头发区域。

例如，参阅图3a和3b所示，采用人脸与头发分割技术，对图3a进行分割处理，得到图3b所示意的头发区域和人脸区域，其中，图3b中白色区域为头发区域，灰色区域为人脸区域。

这样，能够准确界定出基础样本图像中的人脸区域和头发区域，且人脸区域的上边沿为所述基础样本图像的发际线位置，能够有效确定基础样本图像中的额头区域，保证后续能够有效确定掩码区域。

S3：基于眼睛关键点的位置，在人脸区域中确定额头区域，将所述额头区域设置为掩码区域，设置所述掩码区域内各个像素点的颜色值，得到掩码样本图像。

将眼睛上边沿的连接线与人脸区域围成的区域确定为额头区域，具体的，基于眼睛关键点的位置，确定眼睛上边沿的连接线，并将所述连接线设置为所述额头区域的下边沿线，将所述下边沿线与所述人脸区域围成的区域确定为额头区域。

需要说明的是，所述额头区域下边沿线的位置可以是根据眼睛关键点的位置所确定的眼睛上边沿的连线，也可以是位于眼睛之上，距离左眼中心点与右眼中心点距离相同的位置的连线。

例如，参阅3c所示，将眼睛上边沿的连线作为掩码区域的下边沿，将所述下边沿与延伸至发际线处的人脸区域边缘围成的区域确定为额头区域。

进一步的，将确定的所述额头区域设置为掩码区域，并设置所述掩码区域内各个像素点的颜色值，得到掩码样本图像。

将皮肤区域的像素点颜色均值作为掩码区域内像素点的颜色值，具体的，可以选取所述人脸区域中包含指定数目像素点的皮肤区域，计算所述皮肤区域内各个像素点的颜色均值，将所述颜色均值作为所述掩码区域内各个像素点的颜色值，进而将基础样本图像中确定的掩码区域覆盖掩码后得到掩码样本图像。

需要说明的是，在确定掩码区域像素点的颜色值时，也可以基于设定数目的人脸关键点的颜色值，计算颜色均值，并将所述颜色均值作为所述掩码区域内各个像素点的颜色值。

例如，可以设置包含指定个数像素点的处理框，并框选基础样本图像的皮肤区域，并基于位于所述处理框中的，所述基础样本图像的皮肤区域内的各个像素点的颜色值，计算像素点的颜色均值，并将所述颜色均值设置为所述掩码区域内像素点的颜色值。

需要说明的是，在确定掩码区域后，当掩码区域下边缘线位于眼部上边沿与眼眉下边沿之间的位置时，所述基础样本图像中的眼眉处于掩码区域范围内，则眼眉被覆盖有掩码。这时，一种情况下，可以选择性的使用Inpainting技术在所述掩码区域内，恢复所述基础样本图像的眼眉，另一种情况下，可以预先设置固定形状的眼眉，并设置眼眉区域像素点的颜色值为定值，或者，在基础样本图像的眼眉区域内选择一定数目的像素点计算颜色均值，并将颜色均值作为设置的眼眉区域内像素点的颜色值。

例如，参阅图3d所示，基于计算得到的颜色均值，设置掩码区域内各个像素点颜色值，并添加眉毛区域的像素点的颜色值，进而得到如图3d所示的掩码样本图像。

S4：将所述一个基础样本图像，以及对应得到的掩码样本图像作为训练样本集合中的一个训练样本。

具体的，基于一个基础样本图像，对应得到一个掩码样本图像后，将所述一个基础样本图像以及所述一个掩码样本图像作为一个训练样本。进一步的，根据得到的各个训练样本得到训练样本集合。

这样，通过对多个基础样本图像进行处理，最终建立训练样本集合，为后续的图像处理模型的训练提供训练素材，保证了图像处理模型的训练过程的顺利进行。

步骤102：采用预设的图像处理模型，对一个训练样本包含的掩码样本图像进行处理，输出四个通道的处理结果，其中，所述图像处理模型时基于生成对抗网络技术搭建的，所述四个通道的处理结果包括三个颜色通道和一个融合参数通道。

需要说明的是，对图像处理模型进行训练的过程中，可以采用批处理的方式，读取并处理训练样本，如，假设，预设的批处理大小为24，则在图像处理模型一次的训练过程中，确定读取24个训练样本进行训练。

为了便于描述，以下的叙述中，仅以读取一个训练样本为例，对图像处理模型的训练过程进行说明。

将一个训练样本中的掩码样本图像输入所述图像处理模型中，得到所述图像处理模型的输出的四个通道的处理结果，其中，所述四个通道的处理结果包括三个颜色通道和一个融合参数通道，所述一个融合参数通道，记为Alpha通道。

需要说明的是，所述图像处理模型是基于生成对抗网络技术搭建的，其中，所述神经网络对应的生成式网络结构具体为完全卷积网络U-Net，所述图像处理模型的输入是掩码样本图像，所述网络对应的完全注释真值groundtruth是基础样本图像。

步骤103：基于融合参数通道，对掩码样本图像的红绿蓝RGB通道和所述三个颜色通道分别进行线性融合处理，获得相应的输出图像。

获得图像处理模型基于一个训练样本包含的掩码样本图像输出的四个通道的处理结果后，基于所述四个通道的处理结果对掩码样本图像进行线性融合处理，具体的，基于所述融合参数通道上各个像素点的融合参数值，将所述三个颜色通道上对应的各个像素点的颜色值与所述掩码样本图像的RGB通道上对应的各个像素点的颜色值进行线性融合处理。

需要说明的是，图像处理模型输出的四个通道的处理结果中Alpha通道上每一个像素点的灰度值，表征所述三个颜色通道与掩码样本图像的RGB通道上对应的像素点进行线性融合处理时的融合参数值。

进一步的，确定所述掩码样本图像上各个像素点的颜色值后，采用如下公式，基于图像处理模型输出的四个通道的处理结果中的Alpha通道，将三个颜色通道与掩码样本图像的RGB通道上对应的各个像素点进行线性融合处理，进而获得相应的输出图像。

下面以存在于所述掩码样本图像中的任一像素点X为例进行说明：

OUT[R,G,B]＝Mout[R,G,B]*Mout[Alpha]+mask[R,G,B]*(1-Mout[Alpha])

其中，OUT[R,G,B]表征输出图像中与像素点X对应的像素点X1的颜色值，Mout[R,G,B]表示与像素点X进行线性融合的三个颜色通道的上对应像素点的色值，Mout[Alpha]表示图像处理模型输出的Alpha通道上与像素点X对应的融合参数值，mask[R,G,B]表示像素点X的颜色值。

需要说明的是，所述基于像素点X在掩码样本图像中的位置，对应确定三个颜色通道、Alpha通道，并以Alpha通道上对应像素点的灰度值为融合系数，将所述三个颜色通道上对应像素点的色值与像素点X的颜色值进行线性融合处理。

步骤104：采用预设的损失函数基于输出图像以及所述基础样本图像中对应的各个像素点的颜色值，计算图像处理模型的损失值，并基于所述损失值，调整所述图像处理模型中用于生成所述四个通道的处理结果的网络参数。

基于图像处理模型输出的四个通道的输出结果，对掩码样本图像进行线性融合处理，得到输出图像后，采用预设的损失函数，基于所述输出图像以及所述基础样本图像中对应的各个像素点的颜色值，计算所述图像处理模型的损失值。

具体的，可以采用L1LOSS损失函数，基于基础样本图像中对应的各个像素点的颜色值，计算所述图像处理模型的损失值。

需要说明的是，为保证对图像处理模型的训练结果的准确判断，还可以采用多种不同的损失函数，基于基础样本图像以及输出图像，得到对应的损失值。如，将基础样本图像以及输出图像输入VGG网络，基于感知损失函数Perceptual Loss得到损失值，或者，基于生成对抗网络损失函数GAN Loss对输出图像与基础样本图像进行判别后，得到相应的损失值。

进一步的，基于得到的损失值，采用梯度下降法调整所述图像处理模型中用于生成所述四个通道的处理结果的网络参数。

这样，通过调整图像处理模型中用于生成所述四个通道的处理结果的网络参数，能够改变所述图像处理模型输出的述四个通道的处理结果，进而影响生成的输出图像，以实现输出的图像更加接近真实图像，本公开中意在基于损失值不断调整网络参数，逐渐缩小输出图像与基础样本图像之间真实度的差异，能够使生成的图像更加真实，提升使用体验。

步骤105：计算当前获得的损失值与上一次计算的损失值之间的损失差值。

采用预设的损失函数，基于得到的输出图像，以及与所述输出图像对应的基础样本图像中对应的各个像素点的颜色值，得到损失值后，计算当前得到的损失值与上一次计算得到的损失值之间的损失差值，依次得到各个损失差值。

步骤106：判断所述损失差值是否满足预设条件，若是，执行步骤108，否则，返回执行步骤102。

基于得到的各个损失差值，判断所述各个损失差值是否满足预设条件，具体的，将所述损失差值与预设门限值进行比较，确定所述损失差值低于所述预设门限值时，将预设的连续计数值加1，否则，将所述连续计数值清0，进一步的，确定所述连续计数值大于设定阈值时，确定所述图像处理模型训练完成，执行步骤108的步骤，否则，则判定所述图像处理模型需要进一步训练，则返回执行步骤102。

例如，假设，从确定对图像处理模型进行训练时起，共得到了7个图像损失值，分别为0.75、0.57、0.42、0.32、0.26、0.23、0.21，并设置预设门限值为0.05，设定阈值为5，连续计数值的初始值为0，则对应的可以得到损失差值依次为0.18、0.15、0.10、0.06、0.03、0.02，进而可确定高于预设门限值0.05的损失差值为0.03和0.02，故连续计数值为2，未达到设定阈值，故所述图像处理模型需要进行进一步训练。

步骤107：输出完成训练的图像处理模型。

基于图像处理模型的损失差值，确定所述损失差值连续低于预设门限值的次数大于设定阈值时，则判定所述图像处理模型训练完成，进而得到训练完成的图像处理模型，用于后续对获取的待处理图像进行处理。

这样，在确定图像处理模型的损失值逐渐减小最终趋于平稳之后，则判定所述图像处理模型训练完成，实现了对图像处理模型的搭建及训练，能够将掩码处理后的样本掩码图像与图像处理模型输出的三个颜色通道进行线性融合处理后，最终得到真实性接近于原始的基础样本图像的输出图像。

下面结合图4，对本公开实施例中，基于训练完成的图像处理模型，对获取的待处理图像进行处理的过程进行说明：

图4涉及的实施例中，对应的应用场景为，接收终端设备直接拍摄的待处理图像，或者，接收终端设备选择处理的待处理图像后，将刘海作为目标对象，希望消除所述待处理图像中人物的刘海，并为所述待处理图像中的人物添加假发。

步骤401：接收图像处理请求，所述图像处理请求中至少包括待处理图像以及为所述待处理图像配置的掩码区域的形状。

接收终端设备发送的图像处理请求后，获取所述图像请求中包括的待处理图像以及为所述待处理图像配置的掩码区域的形状，所述掩码区域的形状与所述终端设备选择配置的假发类型有关。

步骤402：识别出待处理图像的人脸区域，并基于配置的掩码区域的形状，设置所述人脸区域内的掩码区域，生成掩码待处理图像。

获取待处理图像以及为所述待处理图像配置的掩码区域的形状后，进一步的，采用预设的人脸关键点检测技术以及图像分割技术识别出所述待处理图像的人脸区域，具体的，识别出所述待处理图像中的人脸关键点，并确定所述待处理图像中的各个人脸关键点覆盖的区域，进而确定目标处理区域，然后采用图像分割技术，分割出所述目标区域内的头发区域和人脸区域，并在所述人脸区域内确定眼睛关键点的位置，以及基于眼睛关键点的位置，确定掩码区域下边缘线，并基于所述掩码区域的形状，在所述目标区域内确定掩码区域。再通过计算部分皮肤区域像素点的颜色均值，或者，计算部分人脸关键点对应的颜色均值，将得到的颜色均值设置为所述掩码区域像素点的颜色值，并适应性的调整掩码区域的大小后，覆盖在得到的待处理图像中得到掩码待处理图像，具体确定目标处理区域、掩码区域下边缘线进而得到掩码待处理图像的过程已经在步骤101中进行详细说明，在此不再赘述。

例如，接收如图5a所示的图像，并确定为所述图像配置的掩码区域的形状后，首先采用人脸检测技术识别出各个人脸关键点覆盖的区域，确定目标处理区域，然后，采用人脸和头发分割技术，分割出人脸区域，并确定人脸区域内的眼睛关键点所在位置，并确定掩码区域上边缘，进而适应性的调整掩码区域的大小并设置所述掩码区域内各个像素点的颜色值，适应性的在所述掩码区域内添加眉毛区域，最终生成图5b所示的掩码待处理图像。

步骤403：调用预先完成训练的图像处理模型，对掩码待处理图像进行处理，得到四个通道的处理结果，其中，所述四个通道的处理结果包括三个颜色通道和一个融合参数通道。

调用预先完成训练的图像处理模型，对得到的掩码待处理图像进行处理，得到四个通道的处理结果，所其中，所述四个通道的处理结果包括三个颜色通道和一个融合参数通道，所述四个通道的处理结果已在图1所示的流程中进行详细说明，在此不再赘述。

步骤404：将掩码待处理图像与四个通道的处理结果进行线性融合处理，得到处理后的输出图像。

获得图像处理模型输出的四个通道的处理结果后，基于所述四个通道的处理结果中的融合参数通道，将所述四个通道的处理结果中的三个颜色通道的色值与掩码待处理图像中相对位置相同的像素点的颜色值进行线性融合处理，得到输出图像。进一步的，可以根据个性化需要，在所述输出图像中添加假发，将处理后的输出图像发送至终端设备。

例如，参阅图5c-图5d所示，图5c中是图像处理模型输出的四个通道的处理结果，图5c中左侧部分所示意的是将所述四个通道的处理结果中的三个颜色通道与掩码待处理图像进行线性融合后得到的图像，图5c中右侧部分所示意的是融合参数通道，图5d中所示意的是个性化的添加假发后的得到的输出图像。

这样，能够根据个性化的设置需要，改变掩码区域的位置，不仅实现对掩码区域内原有刘海的消除，而且能够保证得到的图像的真实性，实现了对希望消除的目标对象所在区域的掩码处理，在不影响图像质量的同时实现了对目标对象的消除，相较于现有技术下使用PS去除刘海费时费力的问题，实现了对待处理图像中刘海的快速处理，极大提升了用户体验。

基于上述实施例，参阅图6所示，本公开实施例中，提供一种图像处理模型的训练装置600，至少包括获取单元601、处理单元602、输出单元603和调整单元604，其中，

获取单元601，获取预设的训练样本集合，其中，所述训练样本集合中的每个训练样本包含一个基础样本图像和一个掩码样本图像，所述掩码样本图像是将所述基础样本图像包含的额头区域覆盖掩码后得到的；

处理单元602，采用预设的图像处理模型，对一个训练样本包含的掩码样本图像进行处理，输出四个通道的处理结果，其中，所述图像处理模型包括生成对抗式网络，所述四个通道的处理结果包括三个颜色通道和一个融合参数通道；

输出单元603，基于所述融合参数通道，对所述掩码样本图像的红绿蓝RGB通道和所述三个颜色通道分别进行线性融合处理，获得相应的输出图像；

调整单元604，采用预设的损失函数基于所述输出图像以及所述基础样本图像中对应的各个像素点的颜色值，计算所述图像处理模型的损失值，并基于所述损失值，调整所述图像处理模型中用于生成所述四个通道的处理结果的网络参数，并确定所述损失值满足预设的收敛条件时，输出完成训练的图像处理模型。

可选的，所述获取预设的训练样本集合之前，所述获取单元601进一步用于：

获取多个基础样本图像，并对各个基础样本图像，分别执行以下操作：

识别出一个基础样本图像中包含的各个人脸关键点，并基于所述各个人脸关键点确定眼睛关键点的位置；

基于所述各个人脸关键点覆盖的区域，确定所述基础样本图像中的目标处理区域，并从所述目标处理区域中分割出人脸区域；

基于所述眼睛关键点的位置，在所述人脸区域中确定额头区域，将所述额头区域设置为掩码区域，设置所述掩码区域内各个像素点的颜色值，得到掩码样本图像；

将所述一个基础样本图像，以及对应得到的掩码样本图像作为训练样本集合中的一个训练样本。

可选的，所述基于所述各个人脸关键点确定眼睛关键点的位置之后，所述基于所述各个人脸关键点覆盖的区域，确定所述基础样本图像中的目标处理区域之前，所述获取单元601进一步用于：

确定左眼中心点以及右眼中心点的位置，并基于所述左眼中心点与所述右眼中心点的连线与水平线之间的相交角度，对所述一个基础样本图像进行旋转调整，直至所述连线与水平线平行。

可选的，所述在所述人脸区域中确定额头区域时，所述获取单元601用于：

确定眼睛上边沿的连接线，并将所述连接线设置为所述额头区域的下边沿线，将所述下边沿线与所述人脸区域围成的区域确定为额头区域。

可选的，所述设置所述掩码区域内各个像素点的颜色值时，所述获取单元601用于：

选取所述人脸区域中的包含指定数目像素点的皮肤区域，计算所述皮肤区域内各个像素点的颜色均值，将所述颜色均值作为所述掩码区域内各个像素点的颜色值。

可选的，所述基于所述融合参数通道，对所述掩码样本图像的红绿蓝RGB通道和所述三个颜色通道进行线性融合处理时，所述输出单元603用于：

基于所述融合参数通道上各个像素点的融合参数值，将所述三个颜色通道上对应的各个像素点的颜色值与所述掩码样本图像的RGB通道上对应的各个像素点的颜色值进行线性融合处理。

可选的，所述确定所述损失值满足预设的收敛条件时，所述调整单元604用于：

计算当前获得的损失值与上一次计算的损失值之间的损失差值，并将所述损失差值与预设门限值进行比较，确定所述损失差值低于所述预设门限值时，将预设的连续计数值加1，否则，将所述连续计数值清0；

确定所述连续计数值大于设定阈值时，确定所述满足预设的收敛条件。

基于同一发明构思，参阅图7所示，本公开实施例中，提供一种图像处理装置700，至少包括接收单元701、生成单元702、调用单元703，其中，

接收单元701，接收终端设备发送的图像处理请求，所述图像处理请求中至少包括待处理图像以及为所述待处理图像配置的掩码区域的形状；

生成单元702，识别出所述待处理图像的人脸区域，并基于配置的掩码区域的形状，设置所述人脸区域内的掩码区域，生成掩码待处理图像；

调用单元703，调用图像处理模型的训练装置中的图像处理模型，对所述掩码待处理图像进行处理，得到处理后的输出图像。

基于同一发明构思，参阅图8所示，电子设备800包括处理组件822，其进一步包括一个或多个处理器，以及由存储器832所代表的存储器资源，用于存储可由处理组件822的执行的指令，例如应用程序。存储器832中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件822被配置为执行指令，以执行上述图像处理模型的训练方法和图像处理方法中的任意一种方法。

装置800还可以包括一个电源组件826被配置为执行装置800的电源管理，一个有线或无线网络接口850被配置为将装置800连接到网络，和一个输入输出(I/O)接口858。装置800可以操作基于存储在存储器832的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似系统。

基于同一发明构思，本公开实施例中基于训练图像处理模型的实施例中提供一种存储介质，当所述存储介质中的指令由电子设备执行时，使得所述电子设备能够执行上述图像处理模型的训练方法和图像处理方法中的任意一种方法。

综上所述，本公开实施例中，提供一种图像处理模型的训练方法、图像处理方法及装置，获取预设的训练样本集合，其中，所述训练样本集合中的每个训练样本包含一个基础样本图像和一个掩码样本图像，所述掩码样本图像是将所述基础样本图像包含的额头区域覆盖掩码后得到的，然后，采用预设的图像处理模型，对一个训练样本包含的掩码样本图像进行处理，输出四个通道的处理结果，其中，所述图像处理模型包括生成对抗式网络，所述四个通道的处理结果包括三个颜色通道和一个融合参数通道，再基于所述融合参数通道，对所述掩码样本图像的红绿蓝RGB通道和所述三个颜色通道分别进行线性融合处理，获得相应的输出图像，采用预设的损失函数基于所述输出图像以及所述基础样本图像中对应的各个像素点的颜色值，计算所述图像处理模型的损失值，并基于所述损失值，调整所述图像处理模型中用于生成所述四个通道的处理结果的网络参数，并确定所述损失值满足预设的收敛条件时，输出完成训练的图像处理模型后，基于训练完成的图像处理模型对待处理图像进行处理，得到处理后的输出图像。进一步的，采用所述图像处理模型对得到的覆盖有掩码的待处理图像进行处理，得到处理后的输出图像，这样，可以通过实际的配置需要，对图像中希望消除的对象所在的区域覆盖掩码，即将额头区域覆盖掩码，并基于将额头区域覆盖掩码后的掩码样本图像完成对图像处理模型的训练后，能够基于图像处理模型实现对待处理图像中掩码区域的快速处理，且保证最终生成的输出图像效果真实。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。

显然，本领域的技术人员可以对本公开实施例进行各种改动和变型而不脱离本公开实施例的精神和范围。这样，倘若本公开实施例的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (10)

1.一种图像处理模型的训练方法，其特征在于，包括：

获取预设的训练样本集合，其中，所述训练样本集合中的每个训练样本包含一个基础样本图像和一个掩码样本图像，所述掩码样本图像是将所述基础样本图像包含的额头区域覆盖掩码后得到的；

采用预设的图像处理模型，对一个训练样本包含的掩码样本图像进行处理，输出四个通道的处理结果，其中，所述图像处理模型包括生成对抗式网络，所述四个通道的处理结果包括三个颜色通道和一个融合参数通道；

基于所述融合参数通道，对所述掩码样本图像的红绿蓝RGB通道和所述三个颜色通道分别进行线性融合处理，获得相应的输出图像；

采用预设的损失函数基于所述输出图像以及所述基础样本图像中对应的各个像素点的颜色值，计算所述图像处理模型的损失值，并基于所述损失值，调整所述图像处理模型中用于生成所述四个通道的处理结果的网络参数，并确定所述损失值满足预设的收敛条件时，输出完成训练的图像处理模型。

2.如权利要求1所述的方法，其特征在于，所述获取预设的训练样本集合之前，进一步包括：

获取多个基础样本图像，并对各个基础样本图像，分别执行以下操作：

识别出一个基础样本图像中包含的各个人脸关键点，并基于所述各个人脸关键点确定眼睛关键点的位置；

基于所述各个人脸关键点覆盖的区域，确定所述基础样本图像中的目标处理区域，并从所述目标处理区域中分割出人脸区域；

基于所述眼睛关键点的位置，在所述人脸区域中确定额头区域，将所述额头区域设置为掩码区域，设置所述掩码区域内各个像素点的颜色值，

得到掩码样本图像；

将所述一个基础样本图像，以及对应得到的掩码样本图像作为训练样

本集合中的一个训练样本。

3.如权利要求2所述的方法，其特征在于，所述基于所述各个人脸关键点确定眼睛关键点的位置之后，所述基于所述各个人脸关键点覆盖的区域，确定所述基础样本图像中的目标处理区域之前，进一步包括：

确定左眼中心点以及右眼中心点的位置，并基于所述左眼中心点与所述右眼中心点的连线与水平线之间的相交角度，对所述一个基础样本图像进行旋转调整，直至所述连线与水平线平行。

4.如权利要求2所述的方法，其特征在于，所述在所述人脸区域中确定额头区域，包括：

确定眼睛上边沿的连接线，并将所述连接线设置为所述额头区域的下边沿线，将所述下边沿线与所述人脸区域围成的区域确定为额头区域。

5.如权利要求2所述的方法，其特征在于，所述设置所述掩码区域内各个像素点的颜色值，包括：

选取所述人脸区域中的包含指定数目像素点的皮肤区域，计算所述皮肤区域内各个像素点的颜色均值，将所述颜色均值作为所述掩码区域内各个像素点的颜色值。

6.一种图像处理方法，其特征在于，包括：

接收图像处理请求，所述图像处理请求中至少包括待处理图像以及为所述待处理图像配置的掩码区域的形状；

识别出所述待处理图像的人脸区域，并基于配置的掩码区域的形状，设置所述人脸区域内的掩码区域，生成掩码待处理图像；

调用如权利要求1-5任一项所述的图像处理模型的训练方法得到的图像处理模型，对所述掩码待处理图像进行处理，得到处理后的输出图像。

7.一种图像处理模型的训练装置，其特征在于，包括：

获取单元，获取预设的训练样本集合，其中，所述训练样本集合中的每个训练样本包含一个基础样本图像和一个掩码样本图像，所述掩码样本图像是将所述基础样本图像包含的额头区域覆盖掩码后得到的；

处理单元，采用预设的图像处理模型，对一个训练样本包含的掩码样本图像进行处理，输出四个通道的处理结果，其中，所述图像处理模型包括生成对抗式网络，所述四个通道的处理结果包括三个颜色通道和一个融合参数通道；

输出单元，基于所述融合参数通道，对所述掩码样本图像的红绿蓝RGB通道和所述三个颜色通道分别进行线性融合处理，获得相应的输出图像；

调整单元，采用预设的损失函数基于所述输出图像以及所述基础样本图像中对应的各个像素点的颜色值，计算所述图像处理模型的损失值，并基于所述损失值，调整所述图像处理模型中用于生成所述四个通道的处理结果的网络参数，并确定所述损失值满足预设的收敛条件时，输出完成训练的图像处理模型。

8.一种图像处理装置，其特征在于，包括：

接收单元，接收图像处理请求，所述图像处理请求中至少包括待处理图像以及为所述待处理图像配置的掩码区域的形状；

生成单元，识别出所述待处理图像的人脸区域，并基于配置的掩码区域的形状，设置所述人脸区域内的掩码区域，生成掩码待处理图像；

调用单元，调用如权利要求1-5任一项所述的图像处理模型的训练方法得到的图像处理模型，对所述掩码待处理图像进行处理，得到处理后的输出图像。

9.一种电子设备，其特征在于，包括：

存储器，用于存储可执行指令；

处理器，用于读取并执行所述存储器中存储的可执行指令，以实现如权利要求1至6中任一项所述的方法。

10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的方法。

Images