CN113781586B - 对图像中人体皮肤区域进行肤色调整的方法及系统 - Google Patents

Abstract

本申请涉及一种对图像中人体皮肤区域进行肤色调整的方法及系统，方法包括：获取待处理图像，对待处理图像进行预处理，根据预处理后的待处理图像，基于预先训练的肤色图像检测模型，得到待处理图像的灰度图。由于灰度图的强度对应着肤色变换区域的概率，本申请中根据灰度图的灰度强度确定灰度图中的肤色变换区域，相较于现有技术中通过深度学习检测肤色的算法根据原待处理图像确定肤色变换区域更加准确，速度更快延时更低，而且本申请中不需要通过颜色查找表来改变肤色，不会造成额外的空间消耗。本申请中基于预设规则对肤色变换区域的进行颜色变换，将颜色变换后的肤色变换区域与颜色变换前的肤色变换区域进行柔光混合并输出，得到处理后的图像。

Description

对图像中人体皮肤区域进行肤色调整的方法及系统

技术领域

本申请涉及图像处理技术领域，尤其涉及一种对图像中人体皮肤区域进行肤色调整的方法及系统。

背景技术

肤色变换是现代图像视频处理领域的新需求之一，要求可以让用户自由改变自己的肤色。在对图像进行肤色变换处理时要考虑两个问题，一是如何识别肤色区域，二是如何变换肤色。现有技术中在进行识别肤色区域时，大多是通过在不用的颜色空间，找到一个较好的包含肤色的范围，将落在该范围内的颜色作为肤色，进而确定肤色变换区域，但是这种方法确定肤色变换区域的准确性较低，当图像或者视频中包含和肤色相近的颜色时，会发生误判，导致对图像或者视频中非真正的皮肤区域同样进行肤色变换。并且现有技术中采用深度学习检测肤色的算法，往往速度太慢，不能达到视频实时处理的要求。现有技术中在进行肤色改变时可以通过颜色查找表来改变肤色，但是每一种肤色效果就需要一张肤色查找表，造成了额外的空间消耗。

发明内容

为至少在一定程度上克服相关技术对图像进行肤色变换处理时识别肤色速度慢，识别肤色变换区域不准确，空间消耗大的问题，本申请提供一种对图像中人体皮肤区域进行肤色调整的方法及系统。

本申请的方案如下：

根据本申请实施例的第一方面，提供一种对图像中人体皮肤区域进行肤色调整的方法，包括：

获取待处理图像；

对所述待处理图像进行预处理；

根据预处理后的待处理图像，基于预先训练的肤色图像检测模型，得到所述待处理图像的灰度图；

根据所述灰度图的灰度强度确定所述灰度图中的肤色变换区域；

基于预设规则对所述肤色变换区域的进行颜色变换；

将颜色变换后的肤色变换区域与颜色变换前的肤色变换区域进行柔光混合并输出。

优选的，在本申请一种可实现的方式中，所述对所述待处理图像进行预处理，包括：

将所述待处理图像转换为RGBA格式。

优选的，在本申请一种可实现的方式中，所述对所待处理图像进行预处理，还包括：

将转换格式后的待处理图像RGB各通道的数据像素的取值范围进行归一化。

优选的，在本申请一种可实现的方式中，所述基于预设规则对所述肤色变换区域的进行颜色变换，包括：

将所述肤色变换区域的颜色空间由RGB空间变换到HSL空间；

根据所述肤色变换区域的数据像素RGB通道归一化的数值，确定所述肤色变换区域当前的亮度值；

根据所述肤色变换区域当前的亮度值和所述肤色变换区域的数据像素RGB通道归一化的数值，对所述肤色变换区域的饱和度进行矫正；

根据所述肤色变换区域的数据像素RGB通道归一化的数值，确定所述肤色变换区域的色调值；

对所述色调值进行归一化处理。

优选的，在本申请一种可实现的方式中，所述灰度图的灰度强度取值范围为0-1。

优选的，在本申请一种可实现的方式中，所述根据所述灰度图的灰度强度确定所述灰度图中的肤色变换区域之前，所述方法还包括：对所述灰度图进行高斯模糊处理。

优选的，在本申请一种可实现的方式中，所述基于预设规则对所述肤色变换区域的进行颜色变换，包括：

根据所述灰度图的灰度强度确定所述肤色变换区域的变换强度。

根据本申请实施例的第二方面，提供一种对图像中人体皮肤区域进行肤色调整的系统，包括：

获取模块，用于获取待处理图像；

预处理模块，用于对所述待处理图像进行预处理；

灰度图生成模块，用于根据预处理后的待处理图像，基于预先训练的肤色图像检测模型，得到所述待处理图像的灰度图；

肤色变换区域确认模块，用于根据所述灰度图的灰度强度确定所述灰度图中的肤色变换区域；

颜色变换模块，用于基于预设规则对所述肤色变换区域的进行颜色变换；

柔光混合模块，用于将颜色变换后的肤色变换区域与颜色变换前的肤色变换区域进行柔光混合并输出。

本申请提供的技术方案可以包括以下有益效果：本申请中对图像中人体皮肤区域进行肤色调整的方法包括：获取待处理图像，对待处理图像进行预处理，根据预处理后的待处理图像，基于预先训练的肤色图像检测模型，得到待处理图像的灰度图。由于灰度图的强度对应着肤色变换区域的概率，本申请中根据灰度图的灰度强度确定灰度图中的肤色变换区域，相较于现有技术中通过深度学习检测肤色的算法根据原待处理图像确定肤色变换区域更加准确，并且速度更快延时更低，而且本申请中不需要通过颜色查找表来改变肤色，不会造成额外的空间消耗。本申请中基于预设规则对肤色变换区域的进行颜色变换，将颜色变换后的肤色变换区域与颜色变换前的肤色变换区域进行柔光混合并输出，得到处理后的图像。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本申请一个实施例提供的一种对图像中人体皮肤区域进行肤色调整的方法的流程示意图；

图2是本申请一个实施例提供的一种对图像中人体皮肤区域进行肤色调整的方法中基于预设规则对肤色变换区域的进行颜色变换的流程示意图；

图3是本申请一个实施例提供的进行预处理后的待处理图像的示例图；

图4是本申请一个实施例提供的待处理图像的灰度图的示例图；

图5是本申请一个实施例提供的待处理图像进行颜色变换后的示例图；

图6是本申请一个实施例提供的待处理图像处理完毕后的输出结果的示例图；

图7是本申请一个实施例提供的一种对图像中人体皮肤区域进行肤色调整的系统的结构示意图。

附图标记：获取模块-31；预处理模块-32；灰度图生成模块-33；肤色变换区域确认模块-34；颜色变换模块-35；柔光混合模块-36。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

一种对图像中人体皮肤区域进行肤色调整的方法，参照图1，包括：

S11：获取待处理图像；

本实施例中的待处理图像可以为图片，也可以为视频帧。

本实施例中的对图像中人体皮肤区域进行肤色调整的方法同样适用于视频处理领域，具体的：对用户输入的视频进行播放，视频播放同时获取到当前播放的视频帧解码后的帧图像数据作为待处理图像。

S12：对待处理图像进行预处理；

具体的，将待处理图像转换为RGBA格式，如图3所示。

RGBA是代表Red(红色)Green(绿色)Blue(蓝色)和Alpha的色彩空间。虽然RGBA被描述为一个颜色空间，但是它其实仅仅是RGB模型的附加了额外的信息，其采用的颜色是RGB，可以属于任何一种RGB颜色空间。RGB色彩就是常说的光学三原色，自然界中肉眼所能看到的任何色彩都可以由这三种色彩混合叠加而成。

S13：根据预处理后的待处理图像，基于预先训练的肤色图像检测模型，得到待处理图像的灰度图；

灰度图如图4所示。

肤色图像检测模型可以为现有技术中任意的半监督肤色视频图像检测网络，该模型无固定训练方式，可以满足根据待处理图像得到待处理图像的灰度图的基本要求即可。

由于本实施中的方法也可以应用在视频领域，需要保证肤色图像检测模型的处理速度足够快速，达到实时级别的处理速度。

S14：根据灰度图的灰度强度确定灰度图中的肤色变换区域；

灰度图的灰度强度取值范围为0-1，灰度图上某位置的取值越接近1表示该位置在待处理图像上的对应位置是肤色变换区域的概率越大。

S15：基于预设规则对肤色变换区域的进行颜色变换；

进行颜色变换后的待处理图像如图5所示。

S16：将颜色变换后的肤色变换区域与颜色变换前的肤色变换区域进行柔光混合并输出。

直接将颜色变换后的肤色变换区域作为肤色变换结果进行输出，会使得肤色的变换显得十分剧烈且不自然，优选的，本实施例中，可以通过柔光混合来达到自然改变肤色的效果。

由于图像的每个像素都是由R,G,B三个通道的数值组成，图像可以用数值进行表示。设颜色变换后的肤色变换区域图像为B，颜色变换前的肤色变换区域图像为I,则有：

O＝(I+0.5)*B,B＜0.5；

O＝1.0–((1.5–I)*(1.0–B)),B＞＝0.5。

其中O为输出结果，最终输出的图像如图6所示。

本实施例中，获取待处理图像，对待处理图像进行预处理，根据预处理后的待处理图像，基于预先训练的肤色图像检测模型，得到待处理图像的灰度图。由于灰度图的强度对应着肤色变换区域的概率，本申请中根据灰度图的灰度强度确定灰度图中的肤色变换区域，相较于现有技术中通过深度学习检测肤色的算法根据原待处理图像确定肤色变换区域更加准确，速度更快延时更低，而且本申请中不需要通过颜色查找表来改变肤色，不会造成额外的空间消耗。本实施例中，基于预设规则对肤色变换区域的进行颜色变换，将颜色变换后的肤色变换区域与颜色变换前的肤色变换区域进行柔光混合并输出，得到处理后的图像。

一些实施例中对图像中人体皮肤区域进行肤色调整的方法，对所待处理图像进行预处理，还包括：

将转换格式后的待处理图像的数据像素RGB各通道的取值范围进行归一化。

由于图像的每个像素都是由R,G,B三个通道的数值组成，一般的，R,G,B各通道的取值范围是0-255，进行归一化处理更方便后续计算，即将R,G,B各通道的数值除以255进行归一化。

进一步的，基于预设规则对肤色变换区域的进行颜色变换，参照图2，包括：

S21：将肤色变换区域的颜色空间由RGB空间变换到HSL空间；

HSL即色调H、饱和度S和亮度L。在HSL空间中可以通过改变HSL空间的H值来改变肤色的色调，改变S值来改变肤色的饱和度，改变L值来改变肤色的亮度。

S22：根据肤色变换区域的数据像素RGB通道归一化的数值，确定肤色变换区域当前的亮度值；

在HSL空间执行肤色变换时，具体的，可以基于下式得出肤色变换区域当前的亮度值：

L＝max(r,g,b)/2+min(r,g,b)/2

L为肤色变换区域当前的亮度值，r,g,b分别为数据像素R，G，B各通道归一化的数值。

S23：根据肤色变换区域当前的亮度值和肤色变换区域的数据像素RGB通道归一化的数值，对肤色变换区域的饱和度进行矫正；

由于HSL空间的特性，亮度也会在一定程度上影响饱和度。饱和度矫正可以使得在低亮度或者高亮度的情况下，颜色变换不足的缺点得到改善。

首先，基于S21中得到的亮度值L，判断L的大小，在L大于0.5时，基于下式计算饱和度的值：

S＝(max(r,g,b)–min(r,g,b))/(max(r,g,b)+min(r,g,b))；

在L小于0.5时，基于下式计算饱和度的值：

S＝(max(r,g,b)–min(r,g,b))/(2–max(r,g,b)–min(r,g,b))。

为了结果更加自然，还需要进行一定的饱和度矫正，具体的，根据当前得到的亮度值和当前得到的饱和度值，即L和S来对饱和度进行矫正。

设矫正后的饱和度值为S’，则有：

S’＝S+g(abs(L–0.5))，其中g(x)为一个在x<0时单调递减，x>0时单调递增的函数。

S24：根据肤色变换区域的数据像素RGB通道归一化的数值，确定肤色变换区域的色调值；

本实施例中，根据数据像素RGB各通道归一化的数值中的最大值来得到色调值H，具体地：

当max(r,g,b)＝r时，H＝(g–b)/(max(r,g,b)–min(r,g,b))；

当max(r,g,b)＝g时，H＝2+(b–r)/(max(r,g,b)–min(r,g,b))；

当max(r,g,b)＝b时，H＝4+(r–g)/(max(r,g,b)–min(r,g,b))；

S25：对色调值进行归一化处理。

设归一化处理后得到的色调值为H’，则H’＝H/6。

一些实施例中对图像中人体皮肤区域进行肤色调整的方法，根据灰度图的灰度强度确定所述灰度图中的肤色变换区域之前，还包括：对灰度图进行高斯模糊处理。

本实施例中对灰度图进行高斯模糊处理，可以有效地使得灰度图的过度变得更加平滑。

优选的，本实施例中采用0.02*max(灰度图宽，灰度图高)的值作为模糊半径，来达到较好的过渡效果，且尽可能减少对其他区域的影响。

一些实施例中对图像中人体皮肤区域进行肤色调整的方法，基于预设规则对所述肤色变换区域的进行颜色变换，还包括：

根据灰度图的灰度强度确定肤色变换区域的变换强度。

灰度图的灰度强度不仅和肤色变换区域的概率相关，也与肤色变换区域的变换强度相关，灰度图中灰度强度低的部分，变换强度低，灰度图中灰度强度高的部分，变换强度就高。

一种对图像中人体皮肤区域进行肤色调整的系统，参照图3，包括：

获取模块31，用于获取待处理图像；

预处理模块32，用于对待处理图像进行预处理；

灰度图生成模块33，用于根据预处理后的待处理图像，基于预先训练的肤色图像检测模型，得到待处理图像的灰度图；

肤色变换区域确认模块34，用于根据灰度图的灰度强度确定灰度图中的肤色变换区域；

颜色变换模块35，用于基于预设规则对肤色变换区域的进行颜色变换；

柔光混合模块36，用于将颜色变换后的肤色变换区域与颜色变换前的肤色变换区域进行柔光混合并输出。

本实施例中对图像中人体皮肤区域进行肤色调整的系统，获取待处理图像，对待处理图像进行预处理，根据预处理后的待处理图像，基于预先训练的肤色图像检测模型，得到待处理图像的灰度图。由于灰度图的强度对应着肤色变换区域的概率，本申请中根据灰度图的灰度强度确定灰度图中的肤色变换区域，相较于现有技术中通过深度学习检测肤色的算法根据原待处理图像确定肤色变换区域更加准确，速度更快延时更低，而且本申请中不需要通过颜色查找表来改变肤色，不会造成额外的空间消耗。本实施例中，基于预设规则对肤色变换区域的进行颜色变换，将颜色变换后的肤色变换区域与颜色变换前的肤色变换区域进行柔光混合并输出，得到处理后的图像。

一些实施例中的对图像中人体皮肤区域进行肤色调整的系统，还包括：

灰度图处理模块，用于对灰度图进行高斯模糊处理。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种对图像中人体皮肤区域进行肤色调整的方法，其特征在于，包括：

获取待处理图像；

对所述待处理图像进行预处理；

根据预处理后的待处理图像，基于预先训练的肤色图像检测模型，得到所述待处理图像的灰度图；

根据所述灰度图的灰度强度确定所述灰度图中的肤色变换区域和所述肤色变换区域的变换强度；

基于预设规则对所述肤色变换区域进行颜色变换；

将颜色变换后的肤色变换区域与颜色变换前的肤色变换区域进行柔光混合并输出；

其中，所述对所述待处理图像进行预处理，包括：

将所述待处理图像转换为RGBA格式；

所述对所待处理图像进行预处理，还包括：

将转换格式后的待处理图像RGB各通道的数据像素的取值范围进行归一化；

所述基于预设规则对所述肤色变换区域进行颜色变换，包括：

将所述肤色变换区域的颜色空间由RGB空间变换到HSL空间；

根据所述肤色变换区域的数据像素RGB通道归一化的数值，确定所述肤色变换区域当前的亮度值；

根据所述肤色变换区域当前的亮度值和所述肤色变换区域的数据像素RGB通道归一化的数值，对所述肤色变换区域的饱和度进行矫正；

根据所述肤色变换区域的数据像素RGB通道归一化的数值，确定所述肤色变换区域的色调值；

对所述色调值进行归一化处理；

将颜色变换后的肤色变换区域与颜色变换前的肤色变换区域进行柔光混合并输出，包括：

根据颜色变换后的肤色变换区域的图像数值和颜色变换前的肤色变换区域的图像数值确定输出结果：

0＝(I+0.5)*B,B＜0.5；

O＝1.0–((1.5–I)*(1.0–B)),B＞＝0.5

其中，0表示输出结果，B表示颜色变换后的肤色变换区域的图像数值，I表示颜色变换前的肤色变换区域的图像数值。

2.根据权利要求1所述的方法，其特征在于，所述灰度图的灰度强度取值范围为0-1。

3.根据权利要求1所述的方法，其特征在于，所述根据所述灰度图的灰度强度确定所述灰度图中的肤色变换区域之前，所述方法还包括：对所述灰度图进行高斯模糊处理。

4.一种对图像中人体皮肤区域进行肤色调整的系统，其特征在于，包括：

获取模块，用于获取待处理图像；

预处理模块，用于对所述待处理图像进行预处理；

灰度图生成模块，用于根据预处理后的待处理图像，基于预先训练的肤色图像检测模型，得到所述待处理图像的灰度图；

肤色变换区域确认模块，用于根据所述灰度图的灰度强度确定所述灰度图中的肤色变换区域；

颜色变换模块，用于基于预设规则对所述肤色变换区域的进行颜色变换；

柔光混合模块，用于将颜色变换后的肤色变换区域与颜色变换前的肤色变换区域进行柔光混合并输出；

其中，所述对所述待处理图像进行预处理，包括：

将所述待处理图像转换为RGBA格式；

所述对所待处理图像进行预处理，还包括：

将转换格式后的待处理图像RGB各通道的数据像素的取值范围进行归一化；

所述基于预设规则对所述肤色变换区域进行颜色变换，包括：

将所述肤色变换区域的颜色空间由RGB空间变换到HSL空间；

根据所述肤色变换区域的数据像素RGB通道归一化的数值，确定所述肤色变换区域当前的亮度值；

根据所述肤色变换区域当前的亮度值和所述肤色变换区域的数据像素RGB通道归一化的数值，对所述肤色变换区域的饱和度进行矫正；

根据所述肤色变换区域的数据像素RGB通道归一化的数值，确定所述肤色变换区域的色调值；

对所述色调值进行归一化处理；

将颜色变换后的肤色变换区域与颜色变换前的肤色变换区域进行柔光混合并输出，包括：

根据颜色变换后的肤色变换区域的图像数值和颜色变换前的肤色变换区域的图像数值确定输出结果：

0＝(I+0.5)*B,B＜0.5；

O＝1.0–((1.5–I)*(1.0–B)),B＞＝0.5

其中，0表示输出结果，B表示颜色变换后的肤色变换区域的图像数值，I表示颜色变换前的肤色变换区域的图像数值。