CN114565506B - 图像颜色迁移方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提出一种图像颜色迁移方法、装置、设备及存储介质，该方法包括：获取用户图像和待迁移图像，待迁移图像是将预设模特图像的头像替换为用户图像的头像得到的；提取用户图像中面部皮肤主颜色和第一颈部皮肤主颜色；根据面部皮肤主颜色和第一颈部皮肤主颜色，调整待迁移图像的颈部区域的颜色。应用本申请，提高了颈部颜色迁移的准确度和自然效果，即使无法从用户图像中采样到较为完整的颈部图像，也能达到较好的颈部颜色迁移效果。

Description

图像颜色迁移方法、装置、设备及存储介质

技术领域

本申请属于图像处理技术领域，具体涉及一种图像颜色迁移方法、装置、设备及存储介质。

背景技术

目前，医疗美容是一项基于医疗技术而产生的新兴消费热潮。医疗美容主要分为整形美容（包括微整形）、皮肤美容、注射美容和口腔美容等四种类型。其中，高频低价、无创抗衰的非手术类微整形项目是未来发展趋势。近年来，随着人民生活水平的不断提高和广大人民群众对医疗保险需求的不断增加，医疗整形美容行业也得到了不断发展，美容行业得到了迅猛发展，现代医美技术日益发达，可通过计算机仿真及图像处理及人工智能等技术进行效果预测和风险预防，使得微整项目的效果和安全性大大提升。而在面向用户的图像处理中，颈部的修复工作也是关键的一环，有着不可替代的作用。

在上述面向用户的图像处理中，经常会应用到颈部区域的颜色迁移技术，例如，将用户图像中的头部和颈部替换到制作好的预设模特图像中的头部和颈部时，需要将预设模特图像中颈部的颜色替换为用户图像中颈部区域的颜色。由于之前进行图像分割时，往往面部和颈部具有明显的分割界线，对于现有的颈部颜色迁移方法，直接按照像素确定用户图像中颈部的色度值，然后根据该色度值，对预设模特图像中的颈部颜色进行切换。这种方法若用户图像中能够采样到较为完整的颈部图像，则颈部颜色迁移效果较好；若无法采样到较为完整的颈部图像，则使得修复后图像的面部和颈部具有明显的分界线，不能形成自然平滑的过渡区域，颜色迁移的效果差，使整个图像的视觉效果不自然。

发明内容

本申请提出图像颜色迁移方法、装置、设备及存储介质，提高了颈部颜色迁移的准确度和自然效果，即使无法从用户图像中采样到较为完整的颈部图像，也能达到较好的颈部颜色迁移效果。

本申请第一方面实施例提出了图像颜色迁移方法，包括：

获取用户图像和待迁移图像，所述待迁移图像是将预设模特图像的头像替换为所述用户图像的头像得到的；

提取用户图像中面部皮肤主颜色和第一颈部皮肤主颜色；

根据所述面部皮肤主颜色和所述第一颈部皮肤主颜色，调整所述待迁移图像的颈部区域的颜色。

在本申请的一些实施例中，所述提取用户图像中面部皮肤主颜色和第一颈部皮肤主颜色之前，还包括：

检测所述用户图像中的第一颈部是否被遮挡；

若是，则执行所述提取用户图像中面部皮肤主颜色和第一颈部皮肤主颜色的操作；

若否，则将所述待迁移图像中预设模特图像的第二颈部替换为所述用户图像中的第一颈部。

在本申请的一些实施例中，所述提取用户图像中面部皮肤主颜色和第一颈部皮肤主颜色，包括：

通过预先训练的分区模型确定所述用户图像的面部区域和第一颈部区域；

确定所述面部区域内包含的所有色度值，以及确定所述第一颈部区域包含的所有色度值；

统计所述面部区域中各色度值对应的像素点数目，及统计所述第一颈部区域中各色度值对应的像素点数目；

将所述面部区域内像素点数目最多的色度值确定为所述面部区域对应的面部皮肤主颜色，将所述第一颈部区域内像素点数目最多的色度值确定为所述第一颈部区域对应的颈部皮肤主颜色。

在本申请的一些实施例中，根据所述面部皮肤主颜色和所述第一颈部皮肤主颜色，调整所述待迁移图像的颈部区域的颜色，包括：

计算用户图像的第一颈部面积和用户图像的面部面积的比值，并确定所述比值是否大于或等于预设阈值；

若是，则将所述面部皮肤主颜色和所述第一颈部皮肤主颜色进行融合，并根据融合后的主颜色调整所述待迁移图像的颈部区域的颜色；

若否，则根据所述面部皮肤主颜色调整所述待迁移图像的颈部区域的颜色。

在本申请的一些实施例中，将所述面部皮肤主颜色和所述第一颈部皮肤主颜色进行融合，并根据融合后的主颜色调整所述待迁移图像的颈部区域的颜色，包括：

分别将所述面部皮肤主颜色和所述第一颈部皮肤主颜色的颜色空间转换至YUV颜色空间下，并获取YUV颜色空间下所述面部皮肤主颜色的UV通道值和所述第一颈部皮肤主颜色的UV通道值；

根据所述面部皮肤主颜色的UV通道值和相应的权重系数，及所述第一颈部皮肤主颜色的UV通道值和相应的权重系数，确定融合主颜色的UV通道值；

将所述待迁移图像的颈部区域中每个像素点的UV通道值均替换为所述融合主颜色的UV通道值。

在本申请的一些实施例中，根据所述面部皮肤主颜色的UV通道值和相应的权重系数，及所述第一颈部皮肤主颜色的UV通道值和相应的权重系数，确定融合主颜色的UV通道值之前，还包括：

根据所述比值确定所述面部皮肤主颜色和所述第一颈部皮肤主颜色分别对应的权重系数；

其中，所述第一颈部皮肤主颜色对应的权重系数与所述比值正相关。

在本申请的一些实施例中，根据所述面部皮肤主颜色调整所述待迁移图像的颈部区域的颜色，包括：

将所述面部皮肤主颜色的颜色空间转换至YUV颜色空间下，并获取YUV颜色空间下所述面部皮肤主颜色的UV通道值；

将所述待迁移图像的颜色空间转换至YUV颜色空间下；

将所述待迁移图像的颈部区域中每个像素点的UV通道值均替换为所述面部皮肤主颜色的UV通道值。

在本申请的一些实施例中，根据所述面部皮肤主颜色和所述第一颈部皮肤主颜色，调整所述待迁移图像的颈部区域的颜色之前，还包括：

提取所述预设模特图像的第二颈部皮肤主颜色；

根据所述第二颈部皮肤主颜色的亮度值和所述面部皮肤主颜色的亮度值，调整所述待迁移图像的颈部区域中每个像素点的亮度。

在本申请的一些实施例中，根据所述第二颈部皮肤主颜色的亮度值和所述面部皮肤主颜色的亮度值，调整所述待迁移图像的颈部区域中每个像素点的亮度值，包括：

根据所述第二颈部皮肤主颜色的亮度值和所述面部皮肤主颜色的亮度值，确定亮度调整参数；

基于所述亮度调整参数调整所述待迁移图像的颈部区域中每个像素点的亮度。

在本申请的一些实施例中，所述根据所述第二颈部皮肤主颜色的亮度值和所述面部皮肤主颜色的亮度值，确定亮度调整参数，包括：

将所述第二颈部皮肤主颜色和所述面部皮肤主颜色的颜色空间均转换至HSV颜色空间下；

分别获取HSV颜色空间下所述面部皮肤主颜色的第一亮度值和所述第二颈部皮肤主颜色的第二亮度值；

根据所述第二亮度值和所述第一亮度值，计算亮度调整参数。

本申请第二方面的实施例提供了图像颜色迁移装置，包括：

图像获取模块，用于获取用户图像和待迁移图像，所述待迁移图像是将预设模特图像的头像替换为所述用户图像的头像得到的；

主颜色提取模块，用于提取用户图像中面部皮肤主颜色和第一颈部皮肤主颜色；

颜色调整模块，用于根据所述面部皮肤主颜色和所述第一颈部皮肤主颜色，调整所述待迁移图像的颈部区域的颜色。

本申请第三方面的实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现上述第一方面所述的方法。

本申请第四方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述第一方面所述的方法。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

在本申请实施例提供的图像颜色迁移方法，基于用户图像和预设模特图获得待迁移图像，提取用户图像中面部皮肤主颜色和第一颈部皮肤主颜色，根据面部皮肤主颜色和第一颈部皮肤主颜色，调整待迁移图像的颈部区域的颜色，从而实现用户图像的颜色迁移。且通过面部皮肤主颜色和第一颈部皮肤主颜色调整待迁移图像的颈部区域的颜色，可以达到了很好的颜色迁移效果，尤其对于用户图像中颈部区域面积相对较小的情况下，可使得待迁移图像的脸部和颈看起来更加真实自然，相较于使用Reinhard方法和Welsh方法进行图像颜色迁移，可以显著降低图像颜色迁移过程中的badcase率（出现异常的概率）。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本申请的实践了解到。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本申请一实施例所提供的一种图像颜色迁移方法的流程示意图；

图2示出了本申请一实施例所提供的另一种图像颜色迁移方法的流程示意图；

图3示出了本申请一实施例所提供的一种图像颜色迁移装置的结构示意图；

图4示出了本申请一实施例所提供的一种电子设备的结构示意图；

图5示出了本申请一实施例所提供的一种存储介质的示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

下面结合附图来描述根据本申请实施例提出的图像颜色迁移方法、装置、设备及存储介质。

目前，相关技术中需要对颈部颜色进行迁移时，通常直接按照像素确定用户图像中颈部的色度值，然后根据该色度值，对预设模特图像中的颈部颜色进行切换。由于人物图像进行分割时，往往面部和颈部具有明显的分割界线，基于现有的图像颜色迁移方法，若用户图像中能够采样到较为完整的颈部图像，则颈部颜色迁移效果较好；若无法采样到较为完整的颈部图像，则使得修复后图像的面部和颈部具有明显的分界线，不能形成自然平滑的过渡区域，颜色迁移的效果差，使整个图像的视觉效果不自然。

基于此，本申请实施例提供了一种图像颜色迁移方法，该方法根据用户图像的面部皮肤主颜色和颈部皮肤主颜色，来调整待迁移图像（将预设模特图像的头像替换为用户图像的头像所得到的图像）的颈部区域中每个像素点的UV通道值，如此，通过用户图像两个区域的主颜色调整，相较于仅采用脸部主颜色调整待迁移图像的颈部颜色更加自然，形成自然平滑的过渡区域，解决了无法采样到较为完整的颈部图像，使得修复后图像的面部和颈部具有明显的分界线，颜色迁移的效果差的问题。

如图1所示，本实施例提供的图像颜色迁移方法，具体包括以下步骤：

步骤S1，获取用户图像和待迁移图像。

其中，待迁移图像是将预设模特图像的头像替换为用户图像的头像得到的图像，即，以预设模特图像为基准，并采用获取的用户图像中的头像替换预设模特图像中的头像之后得到的合成图像，例如通过应用程序制作的证件照。头像替换时可先通过人脸识别技术（如五官点检测、face++关键技术等）进行用户图像和预设模特图像的人脸对齐操作。若用户图像中的皮肤区域包括颈部区域皮肤，则将用户图像的颈部也一并迁移至待迁移图像。

预设模特图像可理解为该图像颜色迁移方法的执行主体上预设的，供用户选择的模板图像，例如证件照模特图像、卡通模特图像、古装模特图像或其他特定造型和服饰的模特图像，用户采用这些模特图像，用自己的脸替换模特图像的脸，即可生成具有特定造型和服饰的照片。

该图像颜色迁移方法的执行主体为服务器。用户的手机或电脑等终端上安装有与服务器提供的图像颜色迁移服务（例如，证件照制作程序）相适配的客户端。当用户需要使用颜色调整迁移相关服务时，用户打开终端上的该客户端，客户端显示图像颜色迁移操作（或证件照制作）入口。用户选择该入口后，客户端显示的界面中设置有用户图像上传接口和模特图像选择接口，当检测到用户点击该用户图像上传接口时，调用终端的摄像装置拍摄用户的包括头部的上半身图像（即用户图像）。用户的终端将拍摄的该用户图像传输给服务器。或者，当检测到用户点击该图像上传接口时，显示本地文件夹目录，以使用户从本地文件中选择一个用户图像，终端将用户选择的用户图像传输给服务器。当检测到用户点击上述模特图像选择接口时，显示该服务预设的多个模特图像，用户可根据喜好在客户端进行选择，并反馈至服务器。

具体地，可以但不限于使用flask编写该该图像颜色迁移方法相关的http服务，可以但不限于使用gunicorn、docker、k8s等管理系统编写上述服务，并在服务器上进行部署，便于客户端下载相赢的客户端应用程序。

步骤S2，提取用户图像中面部皮肤主颜色和第一颈部皮肤主颜色。

上述获取待迁移图像时，利用用户图像中用户自己的第一颈部替换预设模特图像的第二颈部，得到的待迁移图像中是用户自己的面部与自己的颈部，其在颜色和亮度上都是最自然的，呈现的图像效果会很好。但在实际应用中，用户图像的第一颈部区域可能会被遮挡，则导致无法使用用户图像中的第一颈部替换预设模特图像的第二颈部，需要根据用户图像的面部皮肤主颜色和第一颈部皮肤主颜色，调整待迁移图像的颈部区域的颜色。

针对这种情况，在通过本步骤提取用户图像中面部皮肤主颜色和第一颈部皮肤主颜色之前，还需要检测所述用户图像中的颈部是否被遮挡；若所述用户图像中的第一颈部被遮挡，则执行该步骤S2；若所述用户图像中的第一颈部未被遮挡，则无需执行该步骤S2，可直接将所述待迁移图像中预设模特图像的第二颈部替换为所述用户图像中的颈部。

在确定用户图像中的第一颈部是否被遮挡时，上述第一颈部被遮挡包括第一颈部完全被遮挡，也可以当第一颈部区域的大部分皮肤被遮挡时即认为第一颈部被遮挡。也可以计算第一颈部区域的面积和面部区域的面积的比值，并确定该比值是否大于预设阈值；若是，则确定各皮肤区域包括第一颈部区域；若否，则确定各皮肤区域不包括第一颈部区域。其中预设阈值可根据实际需要进行设定，本实施例对其不做具体限定，例如可取值小于或等于0.1。另外，也可以通过其它方式判断第一颈部是否被遮挡，比如根据第一颈部区域裸露皮肤的面积，可设置面积小于一定阈值则认为被遮挡。

服务器接收到用户的终端上传的用户图像和选择的预设模特图像之后，可以对该用户图像和预设模特图像进行适当预处理，如数字转换、降噪等，以便于后续主颜色的提取。

本实施例中，服务器先识别用户图像的面部区域和第一颈部区域，再在面部区域提取用户图像中面部皮肤主颜色，在第一颈部区域提取第一颈部皮肤主颜色。

为了准确提取上述面部皮肤主颜色和第一颈部皮肤主颜色，本实施例还专门训练了能够准确区分用户图像的面部区域和第一颈部区域的分区模型。该分区模型可基于高分辨率网络，通过训练数据集的训练得到，可以准确识别用户图像和预设模特图像的各人体区域。

其中，高分辨率网络包括但不限于hrnet网络，hrnet网络使用并行连接高分辨率到低分辨率的子网，而非像大多数现有解决方案中的串行连接，因此，能够在应用过程中保持高分辨率，而非通过一个低到高的过程恢复分辨率，从而使得识别出的mask（掩膜）区域表现出更精准的预测能力。

该分区模型的具体训练步骤包括：获取训练数据集；根据训练数据集，对高分辨率网络进行训练，得到用于识别图像中各人体区域的分区模型。

其中，训练数据集可包括多个具有人脸区域的样本图像。每个样本图像均对各人体区域进行标注。

具体地，可先获取多个包括人脸的人物图像，该人物图像可从现有数据库中进行选取，也可以进行现场拍摄或通过网络搜索等。然后可通过通过人脸识别技术（如五官点检测、face++关键技术等）将获取的每个人物图像与高分辨率网络所适用的标准训练图像进行人脸对齐操作，并根据对对齐后的图像进行裁剪，以获得相应尺寸的样本图像。然后标注同学可利用现有人脸抠图模型（如hrnet模型）对每个人物图像进行皮肤特征区域的预标注，将人的头部包含人脸五官构成进行分解，得到头发、面部皮肤、眼睛、眉毛、鼻子、嘴、耳朵等区域，并进行相应标注，继而获得包括多个标注有人体各区域的样本图像的训练数据集。

为进一步提高处理速度，可训练该分区模型仅识别脸部区域和颈部区域，对于上述待迁移图像，该分区模型可准确选择出用户图像的脸部掩膜（mask）区域、用户图像的颈部掩膜（mask）区域及预设模特图像的颈部掩膜（mask）区域，以保证提取主颜色的准确度。

需要说明的是，本实施例虽针对迁移颈部皮肤颜色颈部的颜色而设计，但可不仅仅用于迁移颈部皮肤颜色，只要是用这种UV通道值替换的方式进行颜色迁移，都属于本实施例的保护范围。相应地，本实施例的训练数据集中的样本图像也可以对身体各部位，例如头发、面部皮肤、眼睛、眉毛、鼻子、嘴、耳朵等区域，均进行标注。

在训练好上述分区模型之后，可通过该训练好的分区模型对待迁移图像进行分区。上述待迁移图像可理解为包括用户图像掩膜层和预设模特图像掩膜层，用户图像掩膜层的皮肤区域包括脸部和颈部，预设模特图像掩膜层包括颈部和身体（图像中除头部和颈部以外的人体部位）。相应地，通过分区模型对待迁移图像进行分区，可准确选择出用户图像的脸部区域、颈部区域（以下称为第一颈部）及预设模特图像的颈部区域（以下称为第二颈部，与待迁移图像的颈部区域重合）。

在确定了用户图像的脸部区域和第一颈部区域之后，可基于确定的区域计算相应区域内的主颜色，即提取用户图像中面部皮肤主颜色和第一颈部皮肤主颜色。

在提取主颜色时，可先确定每个区域包含的所有色度值，然后统计每个每个色度值对应的像素点数目，并将每个区域内像素点数目最多的色度值确定为该区域的主颜色。相应地，对于用户图像的面部区域，可以先确定面部区域内包含的所有色度值，再统计面部区域中各色度值对应的像素点数目，并将面部区域内像素点数目最多的色度值确定为面部区域对应的面部皮肤主颜色。同理，对于用户区域的第一颈部区域，可以先确定第一颈部区域包含的所有色度值，再统计第一颈部区域中各色度值对应的像素点数目，然后将第一颈部区域内像素点数目最多的色度值确定为第一颈部区域对应的颈部皮肤主颜色。

步骤S3，根据面部皮肤主颜色和第一颈部皮肤主颜色，调整待迁移图像的颈部区域的颜色。

在计算了面部皮肤主颜色和第一颈部皮肤主颜色之后，为了使待迁移图像的面部颜色（即用户图像的面部颜色）和颈部区域颜色看起来更和谐，可以对待迁移图像的颈部区域颜色进行调整。

在调整待迁移图像的颈部区域的颜色时，理论上，直接将用户图像的面部区域的颜色和第一颈部区域的颜色迁移到待迁移图像上（即上述颈部未被遮挡的情况）是比较理想的状态，可以保证待迁移图像的脸部和颈部之间自然过渡。但是，实际应用中，很多情况下用户图像的第一颈部区域面积比较小，无法实现理想中的颜色迁移效果。本实施例为进一步解决这种情况，在第一颈部区域面积比较小时，基于面部皮肤主颜色和第一颈部皮肤主颜色，调整待迁移图像的颈部区域的颜色。

具体地，可以先计算用户图像的第一颈部面积和用户图像的面部面积的比值，并确定该比值是否大于或等于预设阈值；若是，则将面部皮肤主颜色和第一颈部皮肤主颜色进行融合，并根据融合后的主颜色调整待迁移图像的颈部区域的颜色；若否，则根据面部皮肤主颜色调整待迁移图像的颈部区域的颜色。

需要说明的是，本实施例对预设阈值的具体取值不作具体限定，可根据实际需要进行设定，本实施例对其不做具体限定，例如可取值小于或等于0.1。另外，也可以通过其它方式判断是否基于面部皮肤主颜色和第一颈部皮肤主颜色调整待迁移图像的颈部区域的颜色，比如根据第一颈部区域裸露皮肤的面积，若面积大于值定值，则基于面部皮肤主颜色和第一颈部皮肤主颜色调整待迁移图像的颈部区域的颜色。

对于上述皮肤主颜色，鉴于YUV颜色空间下图像的亮度信号Y和色度信号U、V是分离的，可以单独替换该颜色空间下，图像的亮度值Y或色彩值UV，从而实现对图像颜色的调整，并使得调整后的颜色更加真实自然，所以，本实施例中采用YUV颜色空间下的主颜色，并对待迁移图像的颈部区域中每个像素点的UV通道值进行调整，计算量小，既达到了很好的颜色迁移效果，使得待迁移图像的脸部和颈看起来更加真实自然，又能实现较高的处理速度，便于在客户端相关服务的运行。

上述基于面部皮肤主颜色和第一颈部皮肤主颜色调整待迁移图像的颈部区域的颜色时，可分别将面部皮肤主颜色的颜色空间和第一颈部皮肤主颜色的颜色空间转换至YUV颜色空间下，并获取YUV颜色空间下面部皮肤主颜色的UV通道值和第一颈部皮肤主颜色的UV通道值。然后，根据面部皮肤主颜色的UV通道值和相应的权重系数，及第一颈部皮肤主颜色的UV通道值和相应的权重系数，确定融合主颜色的UV通道值。

其中，面部皮肤主颜色的UV通道值对应的权重系数和第一颈部皮肤主颜色的UV通道值对应的权重系数的和可以等于1，且权重系数可与上述用户图像的第一颈部面积和面部面积的比值具有对应关系。具体地，假设面部皮肤主颜色的UV通道值对应的权重系数为a，第一颈部皮肤主颜色的UV通道值对应的权重系数为b，用户图像的第一颈部面积和面部面积的比值为k，则a+b=1，且k值越大，则b的取值越大，a的取值越小。

需要说明的是，上述权重系数的确定只是本实施的较佳实施方式，本实施例并不以此为限，只要能将面部皮肤主颜色和第一颈部皮肤主颜色进行融合即可，例如，两个权重系数也可以为定值，且二者的和也可以小于1，或稍大于1。

在确定了上述融合主颜色（即融合后的主颜色）的UV通道值之后，可以将待迁移图像的颈部区域中每个像素点的UV通道值均替换为融合主颜色的UV通道值，从而实现对待迁移图像的颈部区域的颜色调整。

上述根据面部皮肤主颜色调整待迁移图像的颈部区域的颜色时，可以先将面部皮肤主颜色的颜色空间转换至YUV颜色空间下，并获取YUV颜色空间下面部皮肤主颜色的UV通道值。然后将待迁移图像的颜色空间也转换至YUV颜色空间下，并将待迁移图像的颈部区域中每个像素点的UV通道值均替换为面部皮肤主颜色的UV通道值。

本申请一些实施例中，在根据面部皮肤主颜色和第一颈部皮肤主颜色，调整待迁移图像的颈部区域中每个像素点的UV通道值之前，可以对用户图像的整体亮度进行调整，然后基于调整亮度后的用户图像，进行YUV空间颜色转换，并获取上述面部皮肤主颜色的UV通道值和第一颈部皮肤主颜色的UV通道值，以及调整待迁移图像的颈部区域中每个像素点的UV通道值等。可使调整UV通道值之后的待迁移图像的整体亮度一致，从而使得待迁移图像的脸部颜色和颈部颜色及二者之间的过渡区域更加真实自然。

在对用户图像的整体亮度进行调整时，可先提取预设模特图像的颈部皮肤主颜色（以下称为第二颈部皮肤主颜色），然后根据第二颈部皮肤主颜色的亮度值和面部皮肤主颜色的亮度值，调整待迁移图像的颈部区域中每个像素点的亮度值。如此，基于预设模特图像的亮度和用户图像的面部皮肤的亮度对待迁移图像的颈部区域的亮度进行整体调整，可以保证整体亮度的协调性和真实性。

上述根据第二颈部皮肤主颜色的亮度值和面部皮肤主颜色的亮度值，调整待迁移图像的颈部区域中每个像素点的亮度值时，可以先根据第二颈部皮肤主颜色的亮度值和面部皮肤主颜色的亮度值，确定亮度调整参数，然后基于该亮度调整参数调整待迁移图像的颈部区域中每个像素点的亮度值。

其中，亮度参数调整可以是一个大于0的任意数值，其可以根据第二颈部皮肤主颜色的亮度值和面部皮肤主颜色的亮度值确定，本实施例对其具体取值不作具体限定。在一些实施方式中，上述亮度调整参数可以为第二颈部皮肤主颜色的亮度值和面部皮肤主颜色的亮度值的比值，也可以为与该比值相关其它参数，例如比值的平方，比值开根号等。

基于该亮度调整参数调整待迁移图像的颈部区域中每个像素点的亮度值，通常可理解为，将待迁移图像的颈部区域中每个像素点的亮度值均乘以该亮度调整参数。

本实施例通过设置亮度调整参数，对待迁移图像的颈部区域的每个像素点的亮度值进行调整时，还可通过对亮度调整参数的调整，实现对迁移图像的颈部区域的每个像素点的亮度值的进一步调整，例如，对于靠近下巴的颈部区域，在实际情况下，由于下巴对光线的遮挡，颜色通常会偏暗，则可适当减小亮度调整参数；对于远离下巴的颈部区域，在实际情况下，由于皮肤反光的原因，颜色通常会偏亮，则可适当增大亮度调整参数，以使得颈部区域的皮肤颜色更加真实。

具体地，根据第二颈部皮肤主颜色的亮度值和面部皮肤主颜色的亮度值确定亮度调整参数时，可以限将第二颈部皮肤主颜色和面部皮肤主颜色的颜色空间均转换至HSV（Hue, Saturation, Value）颜色空间下，然后分别获取HSV颜色空间下面部皮肤主颜色的第一亮度值和第二颈部皮肤主颜色的第二亮度值，并根据该HSV颜色空间下的第二亮度值和第一亮度值，计算亮度调整参数。

对于HSV颜色空间，H表示图像的色调，S表示图像的饱和度，V表示图像的亮度。HSV颜色空间是面向用户的，其模型参数（H、S、V）是根据人观察色彩的生理特征而提出的，而人的视觉系统对亮度的敏感度要强于色彩值，所以，采用HSV颜色空间下的亮度值计算亮度调整参数，可以使得调整后的结果更加准确，更便于人的视觉系统进行观察。可以理解的是，采用HSV颜色空间下的参数计算亮度调整参数只是本实施例的一种较佳实施方式，本实施例并不以此为限，只要能够通过亮度计算确定亮度调整参数即可。

需要说明的是，上述在调整待迁移图像的颈部区域中每个像素点的UV通道值之前对用户图像的整体亮度进行调整的方案，只是本实施例的较佳实施方式，本实施例并不以此为限，只要能通过亮度调整使待迁移图像的面部和颈部看起来更加真实自然即可。例如，也可以在调整待迁移图像的颈部区域中每个像素点的UV通道值之后，再根据用户图像的面部亮度和模特图像的颈部亮度，对待迁移图像的整体亮度进行调整。

为了便于理解本申请实施例提供的方法，下面结合附图进行说明。如图2所示，服务器先从用户的终端设备获取其上传的用户图像和选择的预设模特图像，然后通过人脸识别技术进行用户图像和预设模特图像的人脸对齐操作，将预设模特图像的头像替换为用户图像的头像得到待迁移图像，然后通过基于hrnet网络的分区模型对待迁移图像（包括用户图像掩膜层和预设模特图像掩膜层）进行图像分区，得到用户图像的面部区域和第一颈部区域，以及预设模特图像的第二颈部区域。然后基于该面部区域、第一颈部区域及第二颈部区域分别提取面部皮肤主颜色、第一颈部皮肤主颜色及第二颈部皮肤主颜色。并根据面部区域的颜色亮度和第二颈部区域的颜色亮度对用户图像的整体亮度进行调整，之后基于调整后用户图像的面部皮肤主颜色和第一颈部皮肤主颜色进行颜色融合，并得到融合后的主颜色UV通道值，并将待迁移图像的颈部区域中每个像素点的UV通道值均替换为该融合后的主颜色UV通道值，从而实现用户图像的颜色迁移，最后，可以将经过颜色迁移过后生成的图像，返回至服务调用方（即客户端）。其中，若服务器检测到用户图像不合格（比如图像模糊，面部不全等），可以在客户端界面显示用户图像不合格，请重新上传用户图像的字样。

本申请实施例提供的图像颜色迁移方法，基于用户图像和预设模特图获得待迁移图像，提取用户图像中面部皮肤主颜色和第一颈部皮肤主颜色，根据面部皮肤主颜色和第一颈部皮肤主颜色，调整待迁移图像的颈部区域的颜色，从而实现用户图像的颜色迁移。且通过面部皮肤主颜色和第一颈部皮肤主颜色调整待迁移图像的颈部区域的颜色，可以达到很好的颜色迁移效果，尤其对于用户图像中颈部区域面积相对较小的情况下，可使得待迁移图像的脸部和颈看起来更加真实自然，相较于使用Reinhard方法和Welsh方法进行图像颜色迁移，可以显著降低图像颜色迁移过程中的badcase率（出现异常的概率）。

基于上述图像颜色迁移方法相同的构思，本申请实施例还提供一种图像颜色迁移装置，该装置用于执行上述任一实施例提供的图像颜色迁移方法，如图3所示，该装置包括：

图像获取模块，用于获取用户图像和待迁移图像，待迁移图像是将预设模特图像的头像替换为用户图像的头像得到的；

主颜色提取模块，用于提取用户图像中面部皮肤主颜色和第一颈部皮肤主颜色；

颜色调整模块，用于根据面部皮肤主颜色和第一颈部皮肤主颜色，调整待迁移图像的颈部区域的颜色。

颜色调整模块，进一步用于计算用户图像的第一颈部面积和用户图像的面部面积的比值，并确定所述比值是否位于预设阈值；若是，则将所述面部皮肤主颜色和所述第一颈部皮肤主颜色进行融合，并根据融合后的主颜色调整所述待迁移图像的颈部区域中每个像素点的UV通道值；若否，且所述比值大于所述预设阈值的上限值，则根据所述第一颈部皮肤主颜色调整所述待迁移图像的颈部区域中每个像素点的UV通道值；若否，且所述比值小于所述预设阈值的下限值，则根据所述面部皮肤主颜色调整所述待迁移图像的颈部区域中每个像素点的UV通道值。

颜色调整模块，进一步用于分别将所述面部皮肤主颜色和所述第一颈部皮肤主颜色的颜色空间转换至YUV颜色空间下，并获取YUV颜色空间下所述面部皮肤主颜色的UV通道值和所述第一颈部皮肤主颜色的UV通道值；根据所述面部皮肤主颜色的UV通道值和相应的权重系数，及所述第一颈部皮肤主颜色的UV通道值和相应的权重系数，确定融合主颜色的UV通道值；将所述待迁移图像的颈部区域中每个像素点的UV通道值均替换为所述融合主颜色的UV通道值。

颜色调整模块，进一步用于将所述第一颈部皮肤主颜色的颜色空间转换至YUV颜色空间下，并获取YUV颜色空间下所述第一颈部皮肤主颜色的UV通道值；将所述待迁移图像的颜色空间转换至YUV颜色空间下；将所述待迁移图像的颈部区域中每个像素点的UV通道值均替换为所述第一颈部皮肤主颜色的UV通道值。

颜色调整模块，进一步用于将所述面部皮肤主颜色的颜色空间转换至YUV颜色空间下，并获取YUV颜色空间下所述面部皮肤主颜色的UV通道值；将所述待迁移图像的颜色空间转换至YUV颜色空间下；将所述待迁移图像的颈部区域中每个像素点的UV通道值均替换为所述面部皮肤主颜色的UV通道值。

该装置还包括亮度调整模块，该亮度调整模块用于提取所述预设模特图像的第二颈部皮肤主颜色；根据所述第二颈部皮肤主颜色的亮度值和所述面部皮肤主颜色的亮度值，调整所述待迁移图像的颈部区域中每个像素点的亮度。

该亮度调整模块，进一步用于根据所述第二颈部皮肤主颜色的亮度值和所述面部皮肤主颜色的亮度值，确定亮度调整参数；

基于所述亮度调整参数调整所述待迁移图像的颈部区域中每个像素点的亮度。

该亮度调整模块，进一步用于所述根据所述第二颈部皮肤主颜色的亮度值和所述面部皮肤主颜色的亮度值，确定亮度调整参数，包括：

将所述第二颈部皮肤主颜色和所述面部皮肤主颜色的颜色空间均转换至HSV颜色空间下；

分别获取HSV颜色空间下所述面部皮肤主颜色的第一亮度值和所述第二颈部皮肤主颜色的第二亮度值；

根据所述第二亮度值和所述第一亮度值，计算亮度调整参数。

主颜色提取模块，进一步用于通过预先训练的分区模型确定所述用户图像的面部区域和第一颈部区域；确定所述面部区域内包含的所有色度值，以及确定所述第一颈部区域包含的所有色度值；统计所述面部区域中各色度值对应的像素点数目，及统计所述第一颈部区域中各色度值对应的像素点数目；将所述面部区域内像素点数目最多的色度值确定为所述面部区域对应的面部皮肤主颜色，将所述第一颈部区域内像素点数目最多的色度值确定为所述第一颈部区域对应的颈部皮肤主颜色。

本申请的上述实施例提供的图像颜色迁移装置与本申请实施例提供的图像颜色迁移方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种电子设备，以执行上述图像颜色迁移方法。请参考图4，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图4所示，电子设备8包括：处理器800，存储器801，总线802和通信接口803，所述处理器800、通信接口803和存储器801通过总线802连接；所述存储器801中存储有可在所述处理器800上运行的计算机程序，所述处理器800运行所述计算机程序时执行本申请前述任一实施方式所提供的图像颜色迁移方法。

其中，存储器801可能包含高速随机存取存储器（RAM：Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口803（可以是有线或者无线）实现该装置网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线802可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器801用于存储程序，所述处理器800在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述图像颜色迁移方法可以应用于处理器800中，或者由处理器800实现。

处理器800可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器800中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器800可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器801，处理器800读取存储器801中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的图像颜色迁移方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的图像颜色迁移方法对应的计算机可读存储介质，请参考图5，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序（即程序产品），所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的图像颜色迁移方法。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的图像颜色迁移方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是：

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下示意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种图像颜色迁移方法，其特征在于，包括：

获取用户图像和待迁移图像，所述待迁移图像是将预设模特图像的头像替换为所述用户图像的头像得到的；

提取用户图像中面部皮肤主颜色和第一颈部皮肤主颜色；

根据所述面部皮肤主颜色和所述第一颈部皮肤主颜色，调整所述待迁移图像的颈部区域的颜色；

其中，所述根据所述面部皮肤主颜色和所述第一颈部皮肤主颜色，调整所述待迁移图像的颈部区域的颜色，包括：

计算用户图像的第一颈部面积和用户图像的面部面积的比值，并确定所述比值是否大于或等于预设阈值；

若是，则将所述面部皮肤主颜色和所述第一颈部皮肤主颜色进行融合，并根据融合后的主颜色调整所述待迁移图像的颈部区域的颜色；

若否，则根据所述面部皮肤主颜色调整所述待迁移图像的颈部区域的颜色。

2.根据权利要求1所述的方法，其特征在于，所述提取用户图像中面部皮肤主颜色和第一颈部皮肤主颜色之前，还包括：

检测所述用户图像中的第一颈部是否被遮挡；

若是，则执行所述提取用户图像中面部皮肤主颜色和第一颈部皮肤主颜色的操作；

若否，则将所述待迁移图像中预设模特图像的第二颈部替换为所述用户图像中的第一颈部。

3.根据权利要求1所述的方法，其特征在于，所述提取用户图像中面部皮肤主颜色和第一颈部皮肤主颜色，包括：

通过预先训练的分区模型确定所述用户图像的面部区域和第一颈部区域；

确定所述面部区域内包含的所有色度值，以及确定所述第一颈部区域包含的所有色度值；

统计所述面部区域中各色度值对应的像素点数目，及统计所述第一颈部区域中各色度值对应的像素点数目；

将所述面部区域内像素点数目最多的色度值确定为所述面部区域对应的面部皮肤主颜色，将所述第一颈部区域内像素点数目最多的色度值确定为所述第一颈部区域对应的颈部皮肤主颜色。

4.根据权利要求1所述的方法，其特征在于，将所述面部皮肤主颜色和所述第一颈部皮肤主颜色进行融合，并根据融合后的主颜色调整所述待迁移图像的颈部区域的颜色，包括：

分别将所述面部皮肤主颜色和所述第一颈部皮肤主颜色的颜色空间转换至YUV颜色空间下，并获取YUV颜色空间下所述面部皮肤主颜色的UV通道值和所述第一颈部皮肤主颜色的UV通道值；

根据所述面部皮肤主颜色的UV通道值和相应的权重系数，及所述第一颈部皮肤主颜色的UV通道值和相应的权重系数，确定融合主颜色的UV通道值；

将所述待迁移图像的颈部区域中每个像素点的UV通道值均替换为所述融合主颜色的UV通道值。

5.根据权利要求4所述的方法，其特征在于，根据所述面部皮肤主颜色的UV通道值和相应的权重系数，及所述第一颈部皮肤主颜色的UV通道值和相应的权重系数，确定融合主颜色的UV通道值之前，还包括：

根据所述比值确定所述面部皮肤主颜色和所述第一颈部皮肤主颜色分别对应的权重系数；

其中，所述第一颈部皮肤主颜色对应的权重系数与所述比值正相关。

6.根据权利要求1所述的方法，其特征在于，根据所述面部皮肤主颜色调整所述待迁移图像的颈部区域的颜色，包括：

将所述面部皮肤主颜色的颜色空间转换至YUV颜色空间下，并获取YUV颜色空间下所述面部皮肤主颜色的UV通道值；

将所述待迁移图像的颜色空间转换至YUV颜色空间下；

将所述待迁移图像的颈部区域中每个像素点的UV通道值均替换为所述面部皮肤主颜色的UV通道值。

7.根据权利要求1所述的方法，其特征在于，根据所述面部皮肤主颜色和所述第一颈部皮肤主颜色，调整所述待迁移图像的颈部区域的颜色之前，还包括：

提取所述预设模特图像的第二颈部皮肤主颜色；

根据所述第二颈部皮肤主颜色的亮度值和所述面部皮肤主颜色的亮度值，调整所述待迁移图像的颈部区域中每个像素点的亮度。

8.根据权利要求7所述的方法，其特征在于，根据所述第二颈部皮肤主颜色的亮度值和所述面部皮肤主颜色的亮度值，调整所述待迁移图像的颈部区域中每个像素点的亮度值，包括：

根据所述第二颈部皮肤主颜色的亮度值和所述面部皮肤主颜色的亮度值，确定亮度调整参数；

基于所述亮度调整参数调整所述待迁移图像的颈部区域中每个像素点的亮度。

9.根据权利要求8所述的方法，其特征在于，所述根据所述第二颈部皮肤主颜色的亮度值和所述面部皮肤主颜色的亮度值，确定亮度调整参数，包括：

将所述第二颈部皮肤主颜色和所述面部皮肤主颜色的颜色空间均转换至HSV颜色空间下；

分别获取HSV颜色空间下所述面部皮肤主颜色的第一亮度值和所述第二颈部皮肤主颜色的第二亮度值；

根据所述第二亮度值和所述第一亮度值，计算亮度调整参数。

10.一种图像颜色迁移装置，其特征在于，包括：

图像获取模块，用于获取用户图像和待迁移图像，所述待迁移图像是将预设模特图像的头像替换为所述用户图像的头像得到的；

主颜色提取模块，用于提取用户图像中面部皮肤主颜色和第一颈部皮肤主颜色；

颜色调整模块，用于根据所述面部皮肤主颜色和所述第一颈部皮肤主颜色，调整所述待迁移图像的颈部区域的颜色；

其中，所述颜色调整模块，具体用于：

计算用户图像的第一颈部面积和用户图像的面部面积的比值，并确定所述比值是否大于或等于预设阈值；

若是，则将所述面部皮肤主颜色和所述第一颈部皮肤主颜色进行融合，并根据融合后的主颜色调整所述待迁移图像的颈部区域的颜色；

若否，则根据所述面部皮肤主颜色调整所述待迁移图像的颈部区域的颜色。

11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-9任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-9中任一项所述的方法。

Images