CN113689363A - 一种人像图处理方法、装置、电子设备、存储介质 - Google Patents

Abstract

本发明实施例公开了一种人像图处理方法、装置、电子设备、存储介质，通过步骤获取初始图整体区域，根据初始图所在的区域内容将图像生成alpha图，对初始图进行人体部位分割得到人体各部位分割图，并进行预处理；将初始图进行去色反色合并处理，且对alpha图按照相应的膨胀系数进行膨胀处理；对上述的结果图像进行叠加、深化处理形成正片叠底；调节正片叠底区域内的结构曲线得到素描图像，相比于现有技术中常规的素描图生成方法，本发明提供的素描图生成方法专门针对人像影刻图的生成，能更好地保留人像的细节，同时过滤掉多余的纹理，提供更好地视觉体验。此外，该方法可以减轻美术工作人员的负担，激发他们的创作灵感。

Description

一种人像图处理方法、装置、电子设备、存储介质

技术领域

本发明实施例涉及人像图处理技术领域，具体涉及一种人像图处理方法、装置、电子设备、存储介质。

背景技术

在个性化图像商品定制服务中，经常需要将用户提供的人像照片转换成适合刻到木版、钱包等商品上的影刻图。通常的做法是美术设计人员使用Photoshop等人像图处理工具先进行人像抠图，再通过一系列人像图处理步骤，最终得到适合印刻的影刻图。由于整个过程涉及较多环节，通常需要专业的美术设计人员花费较多时间进行操作。

虽然目前有些自动的图像转素描的人像图处理技术可以生成素描图，但都不适合用于商品影刻图处理。因为不同于简单的素描画，影刻对图案的线条深浅和粗细都有其特定的要求，否则印制到商品上后无法达到清晰的效果。除此之外，人像影刻图对人像面部、皮肤等区域有美观需求，需要对特定区域做线条的特殊处理。

发明内容

本发明实施例提供一种人像图处理方法、装置、电子设备、存储介质，以解决现有技术中由于将图片转化影刻图时需要大量的图片处理工作以及影刻图对图像特定区域的要求而导致的处理过程复杂，步骤繁琐、处理周期过长增加工作难度的问题。

为了实现上述目的，本发明的实施方式提供如下技术方案：

在本发明的实施方式的第一方面中，提供了一种人像图处理方法，包括如下步骤

获取初始图整体区域，根据初始图所在的区域内容将图像生成alpha图，对初始图进行人体部位分割得到人体各部位分割图，并进行预处理；

将初始图进行去色反色合并处理，且对alpha图按照相应的膨胀系数进行膨胀处理；

对上述的结果图像进行叠加、深化处理形成正片叠底；

调节正片叠底区域内的结构曲线得到素描图像。

进一步地，所述初始图预处理的方法包括

通过人像分割模型得到alpha图；

将要处理的图片输入人体解析模型得到对应的人体各部位分割图；

确保初始图、alpha图及分割图具有相同的分辨率；

对上述图像设置通道转化处理，对结果图像进行裁剪和比例缩放；

其中，人像分割模型是通过HRNET语义分割网络、使用人像图片训练得到的人像分割模型，人体解析模型是通过将目前表现较好的QANet的预训练权重对人体部位解析标注数据集进行迁移学习得到。

进一步地，所述通道转化处理包括对图像进行通道数限制，其中初始图保留三通道，alpha图及分割图仅保留单一通道。

进一步地，所述通道转化处理中通道数限制的方法包括

初始图的通道数小于三个，则进行通道数复制形成三通道的图片，初始图的通道数大于三个，则只取前三个通道作为新的初始图；

alpha图及分割图仅取第一个通道作为新的图像。

进一步地，所述对结果图像进行裁剪的方法包括

计算alpha图及分割图中像素值大于0的坐标，以获取初始图中包含人像的最小矩形框，对初始图、alpha图及分割图进行相同范围的裁剪。

进一步地，所述图像的比例缩放的方法包括

比较初始图的最长边是否大于阈值t，若大于阈值t，则按照如下公式将初始图、alpha图及分割图均按其原比例缩放，其中长边将缩放至阈值t；否则不进行缩放，缩放的公式如下

scale＝t÷max(h，w)h′＝scale×h

w′＝scale×w

式中，h、w、h’、w’分别为缩放前后的图片高和宽。

进一步地，所述将原始图去色合并处理的方法包括步骤

将初始图进行去色处理，得到灰色图像；

将上述步骤得到的图像进行反色操作，得到其反色图像；

将第一步中得到的去色后的图像与第三步反色操作后的图像合并，得到颜色减淡后的图像；

其中，初始图的去色处理是将每个像素取其RGB颜色中最大值与最小值的均值，其公式为

式中：I_r__des为去色后图像，r、g、b分别是图像中红、绿、蓝三通道的像素值；

对去色后图像进行反色处理得到反色图的方法为

将像素点的颜色变成与原先相反的颜色，即使用像素值的最高值255减去原先的像素值，其公式为

I_{r_inv}＝255-I_{r_des}

式中：I_{r_inv}为反色图。

在本发明的实施方式的第二方面中，提供了一种人像图处理装置，所述装置包括

初始图区域获取单元：用于检测图像并识别图像中人像所在的区域，对区域内容进行标记；

图像分割单元：用于对获取的图像中标记的区域内容按照人体各部分的图形分割处理；

图像编辑单元：用于对获取的图像进行转化，并对原始图、转化图及分割图进行去色、反色及合并编辑，叠加生成效果图；

图像曲线处理单元：用于对效果图中的影像区域内容的曲线调解，生成素描图像。

在本发明的实施方式的第三方面中，提供了一种电子设备，包括输入设备与输出设备，其特征在于，还包括

处理器，适于实现一条或者多条指令；以及

计算机存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行的过程中实现上述方法中任意一项人像图处理方法的步骤。

在本发明的实施方式的第四方面中，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行的过程中实现上述方法中任意一项人像图处理方法的步骤。

根据本发明的实施方式，该方法具有如下优点：通过步骤获取初始图整体区域，根据初始图所在的区域内容将图像生成alpha图，对alpha图中区域性分割，得到分割图，并进行预处理；将初始图进行去色合并处理，且对alpha图按照相应的膨胀系数进行膨胀处理；对上述的结果图像进行叠加、深化处理形成正片叠底；调节正片叠底区域内的结构曲线得到素描图像，相比于现有技术中常规的素描图生成方法，本发明提供的素描图生成方法专门针对人像影刻图的生成，能更好地保留人像的细节，同时过滤掉多余的纹理，提供更好地视觉体验。此外，该方法可以减轻美术工作人员的负担，激发他们的创作灵感，本方法生成的素描画可以让刻到实物电商上的素描画更加真实自然。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明实施例提供的一种人像图处理方法流程示意图；

图2为本发明实施例提供的一种人像图处理方法中原始图去色反色合并处理的流程示意图；

图3为本发明实施例提供的一种人像图处理装置的结构示意图；

图4为本发明实施例提供的一种人像图处理方法具体实施的流程示意图；

图5为本发明实施例提供的待处理图像的示意图；

图6为本发明实施例提供的处理过后生成的影刻图的示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一般情况下，随着美化或转换图像的市场增加，在个性化图像商品定制服务中，经常需要将用户提供的人像照片转换成适合刻到木版、钱包等商品上的影刻图。通常的做法是美术设计人员使用Photoshop等人像图处理工具先进行人像抠图，再通过一系列人像图处理步骤，最终得到适合印刻的影刻图。由于整个过程涉及较多环节，通常需要专业的美术设计人员花费较多时间进行操作。

虽然目前有些自动的图像转素描的人像图处理技术可以生成素描图，但都不适合用于商品影刻图处理。因为不同于简单的素描画，影刻对图案的线条深浅和粗细都有其特定的要求，否则印制到商品上后无法达到清晰的效果。除此之外，人像影刻图对人像面部、皮肤等区域有美观需求，需要对特定区域做线条的特殊处理。

为了解决这一技术问题，在本申请的实施例中，通过步骤获取初始图整体区域，根据初始图所在的区域内容将图像生成alpha图(示意为α图)，对初始图进行人体部位分割得到人体各部位分割图，并进行预处理；将初始图进行去色反色合并处理，且对alpha图按照相应的膨胀系数进行膨胀处理；对上述的结果图像进行叠加、深化处理形成正片叠底；调节正片叠底区域内的结构曲线得到素描图像，相比于现有技术中常规的素描图生成方法，本发明提供的素描图生成方法专门针对人像影刻图的生成，能更好地保留人像的细节，同时过滤掉多余的纹理，提供更好地视觉体验。此外，该方法可以减轻美术工作人员的负担，激发他们的创作灵感，本方法生成的素描画可以让刻到实物电商上的素描画更加真实自然。

下面结合附图，通过实施例来详细说明本申请实施例中人像图处理方法、装置、电子设备、存储介质的具体实现方式。

示例性方法

如图1所示，其示出了本发明实施例提供的一种人像图处理方法流程示意图。在本实施例中，所述方法例如可以包括以下步骤：

步骤101：获取初始图整体区域，根据初始图所在的区域内容将图像生成alpha图，对alpha图中区域性分割，得到分割图，并进行预处理，预处理过程可以包含前述的初始图处理。

其中，初始图的获取是通过存储设备的图像中获取的，并对原始图进行预处理的过程，预处理的方法具体还包含输入图片、通道转化、裁剪图片以及按比例缩放图片的过程。

具体的实施步骤如下：

输入图片：将原始图I_r输入到人像分割模型得到对应的alpha图I_α，其中人像分割模型可以是通过HRNET语义分割网络、使用人像图片训练得到的人像分割模型，本专利中采用的是HRNET语义分割网络、使用人像图片训练得到的人像分割模型。通过将目前表现较好的QANet(示意为深度学习代码源)的预训练权重对人体部位解析标注数据集进行迁移学习得到新的人体解析模型，将要处理的图片输入该模型得到对应的解析图，即人体各部位分割图I_h。原始图I_r、alpha图I_α和分割图I_h三张图片具有相同的分辨率。

通道转换：对这三张图进行通道数限制，其中原始图I_r只保留三通道，alpha图I_α和分割图I_h只保留单通道。

具体来说，如果原始图I_r的通道数小于三，则将其通道复制多次变为三通道的图片；如果原始图I_r大于三通道，则只取前三个通道作为新的原始图I_r；等于三通道则不复制。原始图I_r和分割图I_h则只取第一个通道。

裁剪图片：计算alpha图I_α和分割图I_h中像素值大于0的坐标，以获取原始图I_r中包含人像的最小矩形框，对原始图I_r、alpha图I_α和分割图I_h进行相同范围的裁剪以加快素描图生成速度。

按比例缩放图片，图像的比例缩放的方法包括

比较初始图的最长边是否大于阈值t(本实施例中是指为1000)，若大于阈值t，则按照如下公式将初始图、alpha图及分割图均按其原比例缩放，其中长边将缩放至阈值t；否则不进行缩放，缩放的公式如下

scale＝t÷max(h，w)

h′＝scale×h

w′＝scale×w

式中，h、w、h’、w’分别为缩放前后的图片高和宽。

步骤102：将初始图进行去色合并处理，且对alpha图I_α按照相应的膨胀系数进行膨胀处理。

如图2所示，其示出了本实施例中将原始图去色合并处理的方法的流程示意图，具体包括步骤

步骤1021：将初始图(原始图)进行去色处理，得到灰色图像；

步骤1022：将步骤1021得到的图像进行反色操作，得到其反色图像；

步骤1023：将步骤1021中得到的去色后的图像与步骤1021反色操作后的图像合并，得到颜色减淡后的图像；

其中，对原始图I_r进行去色处理，得到去色图像I_{r_des}，原始图I_r的去色处理是将每个像素取其RGB颜色中最大值与最小值的均值，其公式为

式中：I_{r_des}为去色后图像，r、g、b分别是图像中红、绿、蓝三通道的像素值；

对去色后图像I_{r_des}进行反色处理得到反色图I_{r_inv}，其的方法为

将像素点的颜色变成与原先相反的颜色，即使用像素值的最高值255减去原先的像素值，其公式为

I_{r_inv}＝255-I_{r_des}

式中：I_{r_inv}为反色图。

将步骤1021得到的去色后的图像I_{r_des}与步骤1021反色操作后的图像I_{r_inv}合并，得到颜色减淡后的图像I_{r_merge}。

具体方法包括先使用腐蚀操作将I_{r_inv}做最小值滤镜得到I_{r_inv}’，然后与I_{r_des}进行合并，其中合并公式如下

并且，对alpha图I_α进行膨胀操作得到I_{α_dil}，然后通过如下操作得到混合后的新的alpha图I_{α_mix}：

步骤103：对上述的结果图像进行叠加、深化处理形成正片叠底；

实际为多次复制图层，并做正片叠底。在“正片叠底”模式中，查看每个通道中的颜色信息，并将“基色”与“混合色”复合。“结果色”总是较暗的颜色，任何颜色与黑色复合产生黑色，任何颜色与白色复合保持不变。正片叠底的具体操作包括：

先使用如下公式将I_{r_merge}和I_{α_mix}的像素值归一化到0-1：

令I_{r_mul}＝I_{r_merge}′，I_{α_mul}＝I_{α_mix}′，执行下面的操作五次做正片叠底以加深线条：

I_{r_mul}＝I_{r_mul}×I_{r_merge}′

I_{α_mul}＝I_{α_mul}+I_{α_mix}′-I_{α_mul}×I_{α_mix}′

然后通过下式将I_{r_mul}和I_{α_mul}的像素值范围重新回到0-255得到I_{r_merge}″和I_{α_mix}″：

I_{r_merge}″＝I_{r_mul}×255

I_{α_mix}″＝I_{α_mul}×255

此外，对I_{r_des}进行sobel边缘检测得到提取了边缘的图像I_{r_sobel}，再做如下变换得到最终的混合图I_{r_merge}″′

其中，map_hair是从分割图I_h提取的只包含头发的真值矩阵，矩阵中为True的点表示该点在头发区域内，False为非头发区域。

步骤104：调节正片叠底区域内的结构曲线得到素描图像。

其过程为调节脸部和皮肤区域的曲线得到最终的素描图I_o。先使用带掩膜的大津法自适应计算最佳阈值t将脸部区域前景和背景分开，并通过如下公式调节脸部和皮肤区域的曲线：

I_{r_merge}″″＝I_{r_merge}×map_arm+I_{r_merge}″′×(1-map_arm)

I_{r_merge}＝I_{r_merge}×255×map_face+I_{r_merge}×(1

-map_face)

其中，map_face表示从分割图I_h提取的只包含脸部和脖子的真值矩阵，map_arm从分割图I_h提取的表示只包含左右手臂的真值矩阵。I_r__face由下式计算得到：

然后将I_{r_face}二值化：

最后输出的素描图I_o为：

此外，若图片在步骤101中进行了缩放处理，将会对素描图I_o进行等比例放大至原图大小得到I_o’：

h_o、w_o、h_o’、w_o’分别是放大前后输出图片的高和宽。

若在步骤101中进行了裁剪处理，将会对I_o’的边缘进行填充白色至裁切前的大小。

示例性设备

如图3所示，本发明实施例还提供了一种人像图处理装置的结构示意图，所述装置包括

初始图区域获取单元201：用于检测图像并识别图像中人像所在的区域，对区域内容进行标记；

图像分割单元202：用于对获取的图像中标记的区域内容按照人体各部分的图形分割处理；

图像编辑单元203：用于对获取的图像进行转化，并对原始图、转化图及分割图进行去色、反色及合并编辑，叠加生成效果图；

图像曲线处理单元204：用于对效果图中的影像区域内容的曲线调解，生成素描图像。

如图4所示，其示出了本发明实施例的方法具体实施的流程示意图；

其实施过程为：

开始获取照片，得到原始图，对原始图转化，并分割，将图像去色，再将去色后的图像反相，淡化图像的颜色，对结果图像进行叠加，调整面部以及皮肤的阈值曲线，最后得到影刻图。

通过本发明的具体实施方式，获取如图5所示的照片结构，通过实施本发明的方法中生成如图6所示的图片结构，示例性的，通过获取初始图图5的整体区域，抓取人像的图形，根据初始图人像所在的区域内容将图像生成alpha图，对初始图进行人体部位分割得到人体各部位分割图，并进行预处理；将初始图进行去色反色合并处理，且对alpha图按照相应的膨胀系数进行膨胀处理；对上述的结果图像进行叠加、深化处理形成正片叠底；调节正片叠底区域内的结构曲线得到素描图像图6，相比于常规的素描图生成方法，本发明提供的素描图生成方法专门针对人像影刻图的生成，能更好地保留人像的细节，同时过滤掉多余的纹理，提供更好地视觉体验。此外，该方法可以减轻美术工作人员的负担，激发他们的创作灵感，本方法生成的素描画可以让刻到实物电商上的素描画更加真实自然。

在本发明的实施例还提供了一种电子设备，包括输入设备与输出设备，还包括

处理器，适于实现一条或者多条指令；以及

计算机存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行的过程中实现上述方法中任意一项人像图处理方法的步骤。

在本发明的实施实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行的过程中实现上述方法中任意一项人像图处理方法的步骤。

上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，并不能因为硬件结构平台的限制而关联到对本发明方法实现的限制，因此本方法的实施例均适用于该电子设备及存储介质，且能够达到相同或相近的有益效果。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种人像图处理方法，其特征在于，包括如下步骤

获取初始图整体区域，根据初始图所在的区域内容将图像生成alpha图，对初始图进行人体部位分割得到人体各部位分割图，并进行预处理；

将初始图进行去色反色合并处理，且对alpha图按照相应的膨胀系数进行膨胀处理；

对上述的结果图像进行叠加、深化处理形成正片叠底；

调节正片叠底区域内的结构曲线得到素描图像。

2.如权利要求1所述的人像图处理方法，其特征在于，所述初始图预处理的方法包括

通过人像分割模型得到alpha图；

将要处理的图片输入人体解析模型得到对应的人体各部位分割图；

确保初始图、alpha图及分割图具有相同的分辨率；

对上述图像设置通道转化处理，对结果图像进行裁剪和比例缩放；

其中，人像分割模型是通过HRNET语义分割网络、使用人像图片训练得到的人像分割模型，人体解析模型是通过将目前表现较好的QANet的预训练权重对人体部位解析标注数据集进行迁移学习得到。

3.如权利要求2所述的人像图处理方法，其特征在于，所述通道转化处理包括对图像进行通道数限制，其中初始图保留三通道，alpha图及分割图仅保留单一通道。

4.如权利要求3所述的人像图处理方法，其特征在于，所述通道转化处理中通道数限制的方法包括

初始图的通道数小于三个，则进行通道数复制形成三通道的图片，初始图的通道数大于三个，则只取前三个通道作为新的初始图；

alpha图及分割图仅取第一个通道作为新的图像。

5.如权利要求2所述的人像图处理方法，其特征在于，所述对结果图像进行裁剪的方法包括

计算alpha图及分割图中像素值大于0的坐标，以获取初始图中包含人像的最小矩形框，对初始图、alpha图及分割图进行相同范围的裁剪。

6.如权利要求2所述的人像图处理方法，其特征在于，所述图像的比例缩放的方法包括

比较初始图的最长边是否大于阈值t，若大于阈值t，则按照如下公式将初始图、alpha图及分割图均按其原比例缩放，其中长边将缩放至阈值t；否则不进行缩放，缩放的公式如下

scale＝t÷max(h，w)

h′＝scale×h

w′＝scale×w

式中，h、w、h’、w’分别为缩放前后的图片高和宽。

7.如权利要求1所述的人像图处理方法，其特征在于，所述将原始图去色合并处理的方法包括步骤

将初始图进行去色处理，得到灰色图像；

将上述步骤得到的图像进行反色操作，得到其反色图像；

将步骤二得到的去色后的图像与步骤三反色操作后的图像合并，得到颜色减淡后的图像；

其中，初始图的去色处理是将每个像素取其RGB颜色中最大值与最小值的均值，其公式为

式中：I_{r_des}为去色后图像，r、g、b分别是图像中红、绿、蓝三通道的像素值；

对去色后图像进行反色处理得到反色图的方法为

将像素点的颜色变成与原先相反的颜色，即使用像素值的最高值255减去原先的像素值，其公式为

I_{r_inv}＝255-I_{r_des}

式中：I_{r_inv}为反色图。

8.一种人像图处理装置，其特征在于，所述装置包括

初始图区域获取单元：用于检测图像并识别图像中人像所在的区域，对区域内容进行标记；

图像分割单元：用于对获取的图像中标记的区域内容按照人体各部分的图形分割处理；

图像编辑单元：用于对获取的图像进行转化，并对原始图、转化图及分割图进行去色、反色及合并编辑，叠加生成效果图；

图像曲线处理单元：用于对效果图中的影像区域内容的曲线调解，生成素描图像。

9.一种电子设备，包括输入设备与输出设备，其特征在于，还包括

处理器，适于实现一条或者多条指令；以及

计算机存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行的过程中实现权利要求1-7中任意一项人像图处理方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行的过程中实现权利要求1-7中任意一项人像图处理方法的步骤。

Images