CN113763498A - 一种面向工业制造的肖像简笔画区域自适应颜色匹配方法及系统 - Google Patents

Abstract

本申请公开了一种面向工业制造的肖像简笔画区域自适应颜色匹配方法及系统。该方法包括人物肖像训练数据预处理：负责训练数据集的创建和处理；人物肖像简笔画生成：负责利用卷积神经网络从人物肖像到肖像简笔画的风格转换；人物肖像简笔画区域自适应颜色匹配：负责在不同的应用场景下即用户通过选择图像中带有语义信息的区域自动赋予模版颜色，或者通过美学互补色原则或同色调色盘选择颜色自动为图像上色，从而达到肖像简笔画区域自适应色彩匹配的实现。本申请不仅解决了鲁棒性很差、合成效果不佳、难应用到工业中的技术问题还提高了在工业制造中产品的内容丰富性，减少了设计产品的人力资源。

Description

一种面向工业制造的肖像简笔画区域自适应颜色匹配方法及 系统

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种面向工业制造的肖像简笔画区域自适应颜色匹配方法及系统。

背景技术

将人脸照片转换为肖像简笔画，在工业制造领域具有很重要的应用价值。在工业制造领域，普遍是通过人工的方式绘制出肖像简笔画再应用在产品上，这样的方法耗时又耗力。

而在传统图像处理方法中，如果要使生成的简笔画效果好，需要图像处理方法的运算复杂度很高，这难以满足实时性的需求，随着机器学习技术的发展，基于机器学习的图像处理技术比传统的图像处理技术运算速度高且精确度也高，因此衍生出很多由人脸图像生成简笔画的机器学习模型。

目前，市场上现有技术的缺点：

(1)机器学习模型由人脸图像生成的简笔画的鲁棒性很差；

(2)人脸不同区域在图像和简笔画中的外在表达存在很大差异，合成效果不佳；

(3)很难应用到工业中的产品制造领域。

针对相关技术中鲁棒性很差、合成效果不佳、难应用到工业中的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种面向工业制造的肖像简笔画区域自适应颜色匹配方法及系统，以解决上述问题。

为了实现上述目的，根据本申请的一个方面，提供了一种面向工业制造的肖像简笔画区域自适应颜色匹配方法。

根据本申请的面向工业制造的肖像简笔画区域自适应颜色匹配方法包括：

人物肖像训练数据预处理：负责训练数据集的创建和处理；

人物肖像简笔画生成：负责利用卷积神经网络从人物肖像到肖像简笔画的风格转换；

人物肖像简笔画区域自适应颜色匹配:负责在不同的应用场景下进行肖像简笔画区域自适应色彩匹配，即用户通过选择带有语义信息的区域自动赋予模版颜色或者通过美学互补色原则或同色调色盘选择颜色自动为图像上色。

进一步的，所述人物肖像训练数据预处理包括：

训练数据预处理：对训练数据的收集和清洗；

人脸预处理：通过对图像识别检测人脸关键点及其矫正。

进一步的，所述人脸预处理，基于Openpose对人脸肖像照片进行关键点检测并人脸矫正。

进一步的，所述人物肖像简笔画生成包括：

人物肖像的语义信息解析：人物肖像的面部解析，通过面部解析方法来获得面部的各个组件作为辅助信息加入简笔画肖像生成模型中训练；人物肖像的皮肤检测，通过皮肤检测方法来获得照片中属于皮肤区域的掩码作为辅助信息加入简笔画肖像生成模型中训练；

神经网络模型的简笔画生成：以该成果所构建的训练数据集为数据驱动，以神经网络为网络模型载体，加入皮肤掩码与人脸解析掩码加以约束，训练神经网络模型。

进一步的，所述人物肖像的面部解析，以开源训练数据集为数据驱动来训练网络，将开源训练数据集中的照片及其对应的处理好的标签掩码成对输入网络中，训练得到最终的人物肖像面部解析模型。

进一步的，所述人物肖像的皮肤检测，将语义分割网络作为基准网络，将开源训练数据集及其所对应的皮肤掩码结果作为训练集训练，挑出分割结果准确率最高的一轮作为最终的人物肖像皮肤检测模型。

进一步的，所述神经网络模型的简笔画生成，将创建的数据集原照片、线稿、反色简笔画及所对应的人脸解析掩码、皮肤掩码、生成简笔画类型标签和矫正的肖像照片、线稿、反色简笔画及所对应的人脸解析掩码、皮肤掩码、生成简笔画类型标签均作为训练集，并分别输入深度网络模型中训练；

测试时，肖像照片按照人脸预处理模块裁剪出人像范围输入至预训练好的深度网络模型中，并根据用户选择生成简笔画类型的标签，深度网络模型生成线稿风格或者反色风格的肖像简笔画。

进一步的，所述人物肖像简笔画区域自适应颜色匹配为基于产品自适应匹配颜色：

根据不同的实际场景应用，肖像简笔画进行区域的自适应色彩匹配，即用户通过选择图像中带有语义信息的区域自动赋予模版颜色或者通过美学互补色原则或同色调色盘选择颜色自动为图像上色。

进一步的，用户通过实际产品场景可选择生成简笔画类型并选择是否上色：

若用户在生成的肖像简笔画类型中选择线稿，则神经网络模型生成无色块的线条肖像画；

若用户在生成的肖像简笔画类型中选择反色图，则神经网络模型生成有色块的线条肖像画，其中色块和线条为灰度色，其余为白色的结果；

若肖像简笔画应用在实际场景中，选择生成的肖像简笔画类型结果与用户选择结果的方法相同；

若用户在实际场景中选择不上色，则得到的结果图为神经网络模型生成的结果，即灰度肖像简笔画；

若用户在实际场景中选择上色，则：

根据选择带有语义信息的区域赋予模版底色，将肖像简笔画与一张或多张的底色模版，包括单一色图、渐变色图在内，相交叠，根据语义信息解析掩码标签选择简笔画区域赋予模版颜色；

根据美学互补色和同色调色盘选择合适的颜色自动上色。

为了实现上述目的，根据本申请的另一方面，提供了一种面向工业制造的肖像简笔画区域自适应颜色匹配系统。

根据本申请的面向工业制造的肖像简笔画区域自适应颜色匹配系统包括：

训练数据预处理模块，对训练数据进行收集和清洗，得到矫正肖像照片及其对应的肖像简笔画；

人像语义信息解析模块，包括人脸解析单元，通过面部解析方法来获得矫正肖像照片中面部的各个组件作为辅助信息加入简笔画肖像生成模型中训练；包括皮肤检测模块，通过皮肤检测方法来获得矫正肖像照片中具有皮肤部分的掩码作为辅助信息加入简笔画肖像生成模型中训练；还包括其它语义信息解析模块也可加入简笔画肖像生成模型中训练；

肖像简笔画区域自适应颜色匹配模块，根据不同的实际场景应用，将简笔画肖像生成模型生成的肖像简笔画进行区域的自适应色彩匹配，即用户通过选择图像中带有语义信息的区域自动赋予模版颜色或者通过美学互补色原则或同色调色盘选择颜色自动为图像上色，最终得到特定肖像简笔画。

在本申请实施例中，采用深度神经网络生成人物肖像简笔画的方式，通过构建人物肖像简笔画训练数据集，训练肖像简笔画生成模型等操作生成面向工业制造的肖像简笔画系统，使得该成果提高了在工业制造中产品的内容丰富性，能在工业制造上广泛应用，实现节省人力成本的技术效果，进而解决了鲁棒性很差、合成效果不佳、难应用到工业中的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的面向工业制造的肖像简笔画区域自适应颜色匹配方法的流程示意图；

图2是根据本申请实施例创建的训练数据集中的数据示意图；

图3是根据本申请实施例的人物肖像简笔画区域自适应颜色匹配结构示意图；

图4是根据本申请实施例的人物肖像简笔画区域自适应颜色匹配结果示意图；

图5是根据本申请实施例的人物肖像简笔画的产品应用示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的系统、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个系统、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本发明实施例，提供了一种面向工业制造的肖像简笔画区域自适应颜色匹配方法，该方法包括如下的步骤：

人物肖像训练数据预处理：主要负责训练数据集的收集和处理；

人物肖像简笔画生成：主要负责利用卷积神经网络从人物肖像到肖像简笔画的风格转换；

人物肖像简笔画区域自适应颜色匹配：主要负责在不同的应用场景下进行区域的自适应色彩匹配，即用户通过选择图像中带有语义信息的区域自动赋予模版颜色，或者通过美学互补色原则或同色调色盘选择颜色自动为图像上色，最终得到特定肖像简笔画。

在进一步的实施例中，所述人物肖像训练数据预处理，具体如下：

数据预处理：对训练数据的收集和清洗。通过收集并筛选出一批带有人脸肖像的照片P^I，照片中包含400张单人正脸/侧脸近身照、300张多人半身照、300张全身照(不计照片人数)，分别绘制线稿S^S及反色简笔画S^F的风格简笔画，并且为其分别标注0和1的生成简笔画类型(分别代表线稿和反色风格)的标签L，作为创建好的数据集。部分示例如图2所示。

人脸预处理：通过对图像识别检测人脸关键点及其矫正。基于Openpose对人脸肖像照片进行关键点检测并人脸矫正。通过Openpose得到70个人脸关键点和25 个人体关键点(人体各个关节)。根据70个人脸关键点中的眼睛相关关键点计算出眼间距，并缩放人脸照片将其眼间距等于120像素从而获得缩放后人脸照片。然后根据眼间距关键点得到两眼之间的中心坐标，根据这个中心坐标将缩放后人脸照片裁剪出512*512像素的区域，其中裁剪后照片的上边界、下边界、左边界、右边界与中心坐标的距离分别为250、262、256、256像素。裁剪后的照片也为矫正肖像照片P^IC，根据以上方法也能对应得到裁剪后的线稿S^SC及反色简笔画S^FC。此方法不仅仅是为了训练阶段增加数据量，并起到了增加对面部结构上的细节加强作用，也是为了得到高质量高准确度的面部解析的各个组件掩码。

在进一步的实施例中，所述人物肖像简笔画生成，具体如下:

人物肖像的面部解析：通过面部解析方法来获得面部的各个组件作为辅助加入肖像简笔画生成模型中训练，使得简笔画生成模型能够得到面部更为精细的结果。以开源数据集CelebAMask-HQ为数据驱动训练来BiSeNetv2网络。训练时，将CelebAMask-HQ中的照片及其对应的处理好的标签掩码，根据数据集中已有的组件标签图将其分为19通道，19通道分别代表照片中背景、面部、鼻子、左眼、右眼、左眉、右眉、左耳、右耳、口腔、上嘴唇、下嘴唇、头发、帽子、眼镜、耳环、项链、脖子和衣服组件。每一个通道代表一个子面部组件，并含有0和1 两个值，每个通道中的像素若等于1则代表这个像素属于此通道的子面部组件，等于0时则代表这个像素不属于此通道的子面部组件。然后，合并这19个通道中的左右眼睛、左右耳朵、上下嘴唇通道，最终得到所需的16通道结果，成对输入 BiSeNetv2网络中，训练100000步(steps)得到最终训练好的人物肖像面部解析模型。

测试时，将矫正肖像照片P^IC以及原人脸肖像照片P^I作为测试图像分别输入人物肖像面部解析模型，输入照片会自动缩放到512*512的尺寸，模型会输出值在0-1 之间的人脸解析掩码。最后，取阈值为0.5将值处理成0和1两个值以得到最终的面部解析掩码M_m*n*z＝{k_i,j,b＝0,1}。其中，m*n为与输入人脸解析方法中的输入图像相同的尺寸包括背景、脸部、左右眼睛等类别，k_i,j,b＝0,1为第b通道上第i行第j列上的像素的所属类别，这里z＝16。

人物肖像的皮肤检测：通过皮肤检测方法来获得照片中具有皮肤部分的掩码作为辅助信息加入肖像简笔画生成模型中训练，使得简笔画生成模型能够在皮肤区域生成更好的效果。受语义分割网络(Semantic-Segmentation)启发，将其作为基准网络，然后将开源数据集Multi-Human-Parsing(MHP)和CelebAMask-HQ数据集及其所对应的皮肤掩码结果作为训练集，训练时将人像照片随机缩放照片尺寸的 0.5～2倍，再随机裁剪512*512，并训练100轮，最终挑出分割结果准确率最高的一轮作为训练好的模型。测试时，人像照片以原始尺寸输入模型中检测皮肤区域掩码S_m*n＝{k_i,j＝0,1}。其中，m*n为与输入皮肤检测方法中的输入图像相同的尺寸，k_i,j为第i行第j列上的像素的所属类别。

深度网络模型的简笔画生成：以该成果所构建的数据集为数据驱动，以神经网络为网络模型载体，加入皮肤掩码与人脸解析掩码加以约束，训练具有鲁棒性的深度网络模型，以生成高质量的肖像简笔画。受U2net启发，将创建的数据集原照片、线稿、反色简笔画、生成简笔画类型的标签{P^I，S^S，S^F，L}及所对应的人脸解析掩码M_m*n*z、皮肤掩码S_m*n和矫正肖像照片、线稿、反色简笔画、生成简笔画类型的标签{P^IC，S^SC，S^FC，L^C}及所对应的人脸解析掩码M^C _m*n*z、皮肤掩码S^C _m*n均作为训练集，并分别成对输入模型中。训练时，将数据等比例缩放高为512的尺寸，并随机裁剪除488*488的尺寸作为训练模型的输入。测试时，按照人脸预处理将人脸照片裁剪出人像区域并生成，这样有助于生成精细的高质量肖像简笔画。

除L_BCE损失函数、风格损失L_style外，还加入边界损失函数L_b、滤波器损失函数 L_b。其中，计算边界损失的方法包括：

大多数边界或边缘检测的方法都利用加权交叉熵(Cross-Entropy)来减轻边缘预测中的类不平衡问题。但是本发明使用DiceLoss和BCELoss来优化边界学习。 DiceLoss可测量预测值与真实值之间的重叠，并且对前景/背景像素的数量不敏感，从而减轻了类别不平衡的问题，其中计算方法如下公式所示：

L_b(G(x),gt)＝L_Dice(G(x),gt)+λL_BCE(G(x),gt)，

其中，G(x)表示生成器生成结果，gt表示真实样本图像，且

其中，计算滤波器损失的方法包括：

给定一个大小为11*11的矩阵A，其中每行第六个值为1其余值为0，并对其进行旋转，每旋转10度就可得到一个卷积核，所以，最终会得到18个卷积层的核。将生成器生成图和真实图分别经过这个卷积层得到的特征之间计算L2loss。因此，FilterLoss公式如下：

其中，weight代表一层卷积。

我们将通过加权求和的方式来融合我们计算得到的各个损失，最终的损失函数的计算的表达式为：

L＝λ₁L_BCE+λ₂L_style+λ₃L_b+λ₄L_filter，

其中λ1为10，λ2为1000，λ3为1，λ4为0.001。

在测试阶段，照片通过Openpose算法裁剪出人像区域并等比例缩放至高为640 的尺寸及其所对应的人脸解析掩码、皮肤掩码输入预训练好的深度网络模型中根据用户选择的生成简笔画类型生成线稿风格或反色风格的人物肖像简笔画结果。

在进一步的实施例中，如图3所示，所述人物肖像简笔画区域自适应颜色匹配步骤，即根据不同的实际场景应用，肖像简笔画进行区域自适应颜色匹配。具体实施方式如下：

用户或者通过实际产品场景可选择生成简笔画类型并选择是否上色：

若用户在生成的肖像画类型中选择线稿，则深度网络模型会根据生成简笔画类型的标签0生成无色块的线条肖像画，若用户在生成肖像画类型中选择反色图，则深度网络模型会根据生成简笔画类型的标签1生成有黑色色块的线条肖像画，输出的线条肖像画是灰度图，其中像素值范围为0至255。若肖像简笔画应用在实际场景应用中，选择生成的肖像画类型结果与用户选择结果的方法相同。

用户以及实际场景中若选择不上色，则得到的结果图为深度网络模型生成的结果，即黑白色的肖像画。若选择上色则有以下两种方案：

方案一：通过选择图像中带有语义信息的区域自动赋予模版颜色。首先采用双阈值融合法结合皮肤掩码将像素值范围为0至255的灰度肖像简笔画转换成像素值范围为0和255的二值肖像简笔画，公示如下：

y_final＝y₅₆*S^C+y₂₂₀*(1-S^C)}，

其中，y_final为双阈值融合后的肖像简笔画结果，S^C为矫正后照片的皮肤检测掩码，y₅₆为以56为阈值，将肖像简笔画中高于阈值的像素为255，低于并等于阈值的像素为0，y₂₂₀则以220为阈值，将肖像简笔画中高于阈值的像素为255，低于并等于阈值的像素为0。

然后与一张或多张底色模版掩码(单一色图、渐变图均可)进行一个交叠，输入人脸解析掩码标签、皮肤掩码标签或其它带有语义信息的掩码标签可自动选择将输入的掩码标签通道中为1的区域所对应的肖像简笔画区域赋值为底色模版掩码中相同区域的像素值。不同的底色模版的展现结果如图4所示，图4具体为人脸及皮肤的渐变色效果，上排从左至右依次为黑色，暗红色，深紫色，以及最后从人脸到手臂为从浅紫色到绿色到黄色的渐变效果，下排从左至右依次为紫色，蓝色，橙色，黄色。

方案二：匹配色融合。通过美学色法则，提供基于互补色以及同色调选择相对合适的颜色，然后让用户或在工业制造的产品场景中选择颜色自动上色。

最终在工艺制作中，如若选择制作喜糖盒的应用场景，产品结果如图5所示。

从以上的描述中，可以看出，本发明实现了如下技术效果：

在本申请实施例中，通过构建人物肖像简笔画数据集，训练肖像简笔画生成模型等操作生成面向工业制造的肖像简笔画系统，使得该成果能在工业制造上广泛应用节省了很多人力成本。

需要说明的是，步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本发明实施例，还提供了一种用于实施上述面向工业制造的肖像简笔画区域自适应颜色匹配方法的系统，该系统的系统模块包括：

训练数据预处理模块，对训练数据进行收集和清洗，得到矫正肖像照片及其所对应的肖像简笔画；

人像语义信息解析模块：

(1)人脸解析模块。通过面部解析方法来获得矫正肖像照片中面部的各个组件作为辅助信息加入简笔画肖像生成模型中训练；

(2)皮肤检测模块。通过皮肤检测方法来获得矫正肖像照片中属于皮肤区域的掩码作为辅助信息加入简笔画肖像生成模型中训练；

(3)初次之外，其它语义信息解析模块也加入简笔画肖像生成模型中训练。

肖像简笔画区域自适应颜色匹配模块，根据不同的实际场景应用，将简笔画肖像生成模型生成的肖像简笔画进行区域的自适应色彩匹配，即用户通过选择图像中带有语义信息的区域自动赋予模版颜色，或者通过美学互补色原则或同色调色盘选择颜色自动为图像上色，最终得到特定肖像简笔画。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种面向工业制造的肖像简笔画区域自适应颜色匹配方法，其特征在于，包括：

人物肖像训练数据预处理：负责训练数据集的创建和处理；

人物肖像简笔画生成：负责利用卷积神经网络从人物肖像到肖像简笔画的风格转换；

人物肖像简笔画区域自适应颜色匹配:负责在不同的应用场景下进行肖像简笔画区域自适应色彩匹配，即用户通过选择带有语义信息的区域自动赋予模版颜色或者通过美学互补色原则或同色调色盘选择颜色自动为图像上色。

2.根据权利要求1所述的面向工业制造的肖像简笔画区域自适应颜色匹配方法，其特征在于，所述人物肖像训练数据预处理包括：

训练数据预处理：对训练数据的收集和清洗；

人脸预处理：通过对图像识别检测人脸关键点及其矫正。

3.根据权利要求2所述的面向工业制造的肖像简笔画区域自适应颜色匹配方法，其特征在于，所述人脸预处理，基于Openpose对人脸肖像照片进行关键点检测并人脸矫正。

4.根据权利要求1所述的面向工业制造的肖像简笔画区域自适应颜色匹配方法，其特征在于，所述人物肖像简笔画生成包括：

人物肖像的语义信息解析：人物肖像的面部解析，通过面部解析方法来获得面部的各个组件作为辅助信息加入简笔画肖像生成模型中训练；人物肖像的皮肤检测，通过皮肤检测方法来获得照片中属于皮肤区域的掩码作为辅助信息加入简笔画肖像生成模型中训练；

神经网络模型的简笔画生成：以该成果所构建的训练数据集为数据驱动，以神经网络为网络模型载体，加入皮肤掩码与人脸解析掩码加以约束，训练神经网络模型。

5.根据权利要求4所述的面向工业制造的肖像简笔画区域自适应颜色匹配方法，其特征在于，所述人物肖像的面部解析，以开源训练数据集为数据驱动来训练网络，将开源训练数据集中的照片及其对应的处理好的标签掩码成对输入网络中，训练得到最终的人物肖像面部解析模型。

6.根据权利要求4所述的一种面向工业制造的肖像简笔画区域自适应颜色匹配系统，其特征在于，所述人物肖像的皮肤检测，将语义分割网络作为基准网络，将开源数据集及其所对应的皮肤掩码结果作为训练集训练，挑出分割结果准确率最高的一轮作为最终的人物肖像皮肤检测模型。

7.根据权利要求4所述的一种面向工业制造的肖像简笔画区域自适应颜色匹配系统，其特征在于，所述神经网络模型的简笔画生成，将创建的数据集原照片、线稿、反色简笔画及所对应的人脸解析掩码、皮肤掩码、生成简笔画类型标签和矫正的肖像照片、线稿、反色简笔画及所对应的人脸解析掩码、皮肤掩码、生成简笔画类型标签均作为训练集，并分别输入深度网络模型中训练；

测试时，肖像照片按照人脸预处理模块裁剪出人像范围输入至预训练好的深度网络模型中，并根据用户选择生成简笔画类型的标签，深度网络模型生成线稿风格或者反色风格的肖像简笔画。

8.根据权利要求1所述的面向工业制造的肖像简笔画区域自适应颜色匹配方法，其特征在于，所述人物肖像简笔画区域自适应颜色匹配为基于产品自适应匹配颜色：

根据不同的实际场景应用，肖像简笔画进行区域的自适应色彩匹配，即用户通过选择图像中带有语义信息的区域自动赋予模版颜色或者通过美学互补色原则或同色调色盘选择颜色自动为图像上色。

9.根据权利要求8所述的一种面向工业制造的肖像简笔画区域自适应颜色匹配方法，其特征在于，用户通过实际产品场景可选择生成简笔画类型并选择是否上色：

若用户在生成的肖像简笔画类型中选择线稿，则神经网络模型生成无色块的线条肖像画；

若用户在生成的肖像简笔画类型中选择反色图，则神经网络模型生成有色块的灰度线条肖像画，其中色块和线条为灰度，其余为白色的结果；

若肖像简笔画应用在实际场景中，选择生成的肖像简笔画类型结果与用户选择结果的方法相同；

若用户在实际场景中选择不上色，则得到的结果图为神经网络模型生成的结果，即灰度肖像简笔画；

若用户在实际场景中选择上色，则：

根据选择带有语义信息的区域赋予模版底色，将肖像简笔画与一张或多张的底色模版，包括单一色图、渐变色图在内，相交叠，根据语义信息解析掩码标签选择简笔画区域赋予模版颜色；

根据美学互补色和同色调色盘选择合适的颜色自动上色。

10.一种面向工业制造的肖像简笔画区域自适应颜色匹配系统，其特征在于，系统模块包括：

训练数据预处理模块，对训练数据进行收集和清洗，得到矫正肖像照片及其对应的肖像简笔画；

人像语义信息解析模块，包括人脸解析单元，通过面部解析方法来获得矫正肖像照片中面部的各个组件作为辅助信息加入简笔画肖像生成模型中训练；包括皮肤检测模块，通过皮肤检测方法来获得矫正肖像照片中具有皮肤部分的掩码作为辅助信息加入简笔画肖像生成模型中训练；

还包括其它语义信息解析模块也可加入简笔画肖像生成模型中训练；

肖像简笔画区域自适应颜色匹配模块，根据不同的实际场景应用，将简笔画肖像生成模型生成的肖像简笔画进行区域的自适应色彩匹配，即用户通过选择图像中带有语义信息的区域自动赋予模版颜色或者通过美学互补色原则或同色调色盘选择颜色自动为图像上色，最终得到特定肖像简笔画。

Images