CN111179156B - 一种基于人脸检测的视频美化方法 - Google Patents

Abstract

本发明提出了一种基于人脸检测的视频美化方法，包括：预处理步骤；人脸检测步骤；肤色检测步骤；视频美化步骤。与现有技术相比，本发明公开的一种基于人脸检测的视频美化方法，具有如下有益效果：该方法通过对人脸的检测，针对五官和皮肤区域生成掩码图，对掩码图对应的图像区域进行单独处理，实现了对针对人脸的精细化美化，对计算过程进行了加速，实现了更优秀的效果和更高的效率，保证了该方法可以用于实时视频节目制作，甚至可以用于手机等嵌入式设备。

Description

一种基于人脸检测的视频美化方法

技术领域

本发明涉及一种计算机技术领域，尤其是涉及基于人脸检测的视频美化方法。

背景

在视频节目的制作过程中，为了得到更好的播放效果及观看体验，视频节目的参与人员往往需要花费大量时间精力进行化妆，有时甚至需要专业化妆师进行此项工作，这种方法虽然效果不错但是费时费力，对于消费领域的视频节目制作来说往往不具备此类条件，因此，在视频拍摄和制作过程中进行计算机自动美化的方法无疑在节省成本和优化体验等方面具有极大的现实意义。

以往，此类方法由于运算量巨大，通常用于视频节目的后期制作，并且由于无法区分前景与背景、皮肤与头发等导致美化后的视频观看效果不理想，有模糊感。

发明内容

本发明则通过对上述问题进行分析之后提出了一种新的解决方案，解决了实时美化和精细化美化的问题。

要实现实时美化一方面要减少不必要的运算，另一方面要把部分控制流程少但是计算量大的部分工作转移到CPU以外的设备中，比如GPU；

而要实现精细化美化就需要用一定的办法把前景和背景区分开，尤其要把皮肤和毛发、五官等区分开。

本发明提出了一种基于人脸检测的视频美化方法，包括：

A1.预处理步骤；

A2.人脸检测步骤；

A3.肤色检测步骤；

A4.视频美化步骤。

其中，所述步骤A1包括建立处理流程并初始化硬件设备。

其中，所述步骤A2包括：

捕获视频帧；

在目标图像上进行人脸检测；

获取人脸区域和五官的关键点位置；

计算出五官部位的掩码图像。

其中，所述步骤A3包括：

检测人脸皮肤区域；

生成人脸皮肤掩码图。

其中，步骤A4包括：

将上述掩码图像叠加目标图像获取待处理区域；

对所述待处理区域进行精细化美化。

其中，所述人脸皮肤区域通过计算人脸的关键点坐标得出眉毛、眼睛和嘴唇部位的掩码图，将上述掩码图与人脸区域进行叠加来获取。

其中，所述生成人脸皮肤掩码图包括：

将上述人脸皮肤区域的图像转换到YCrCb颜色空间，统计Cr和Cb分量的分布，判断其分布是否在Cr∈[140,178]，Cb∈[82,130]范围之内，获取新的阈值范围；

对所述目标图像进行YCrCb颜色空间转换，并计算所有像素是否在新的阈值范围之内，将在阈值范围之内的像素标记为皮肤区域并生成皮肤区域掩码图。

其中，所述精细化美化包括基础美化、彩妆美化和局部变形。

其中，所述彩妆美化包括：

以五官掩码图与目标图像进行叠加，获取目标图像中的待处理区域，将唇部和眼睑进行调色，并与基础美化阶段的结果进行融合。

其中，所述基础美化包括祛斑、皮肤均匀化、皮肤美白或图像融合。

其中，局部変形包括：以上述人脸检测关键点结果为准计算出眼睛、鼻子和下巴的位置，通过计算眼睛的长宽比对D2步骤获取的结果图像进行自动局部変形，或者人工指定变形程度，在GPU中进行此计算。

与现有技术相比，本发明公开的一种基于人脸检测的视频美化方法，具有如下有益效果：该方法通过对人脸的检测，针对五官和皮肤区域生成掩码图，对掩码图对应的图像区域进行单独处理，实现了对针对人脸的精细化美化，对计算过程进行了加速，实现了更优秀的效果和更高的效率，保证了该方法可以用于实时视频节目制作，甚至可以用于手机等嵌入式设备。

附图说明

附图1示出了根据本发明实施例的视频美化系统示例图；

附图2示出了根据本发明实施例的视频美化方法流程框图；

附图3示出了根据本发明实施例的视频美化方法中的人脸和肤色检测步骤的流程框图；

附图4示出了根据本发明实施例的视频美化方法中的美化步骤的流程框图；

附图5示出了根据本发明实施例的视频美化方法中的基础美化步骤的流程框图；

附图6示出了根据本发明实施例的视频美化方法的详细流程图。

具体实施例

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明公开内容的各个方面针对于用于基于区块链的停车收费方法及装置。本文所公开的方法和处理适用于使用适合性的所有无线接入技术(RAT)。适用的RAT的示例可以包括但不限于：GSM、UMTS和LTE。具体而言，本公开内容的各个方面使能够根据车辆的碳排放量来使用不同的收费标准。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明公开一种视频美化系统，包括：

预处理模块：负责建立处理流程并初始化人脸检测模块；

人脸检测模块：负责捕获视频帧，在目标图像上进行人脸检测，获取人脸区域和五官的关键点位置，并计算出五官部位的掩码图像；

肤色检测模块：负责在人脸检测的基础上检测皮肤区域，并生成皮肤掩码图；

美化模块：负责以上述掩码图像叠加目标图像获取待处理区域，并进行精细化基础美化、美妆和局部変形。

如图1所示，如上所述的视频美化系统中，所述美化模块包括：

基础美化模块：对掩码后的目标图像进行皮肤区域的平滑处理，并检测斑点以及对斑点进行模糊和融合，之后对皮肤做均匀化和美白处理；美妆模块：对五官掩码图对应的眼睑和唇部区域进行变色处理，并与原图像融合，实现彩妆效果；局部変形模块：对五官掩码图对应的眼部进行局部放大操作，即使用双线性插值对该区域像素进行重新分布，达到美化眼睛形状的目的，并以鼻子到下巴的距离为准对下巴两侧进行上述的局部変形，达到美化下巴形状的目的；

如图2所示，以上述系统实现的视频美化方法包括步骤：

A1.预处理步骤：用于建立处理流程并初始化人脸检测模块；

A2.人脸检测步骤：用于捕获视频帧，在目标图像上进行人脸检测，获取人脸区域和五官的关键点位置，并计算出五官部位的掩码图像；

A3.肤色检测步骤：用于在人脸检测的基础上检测皮肤区域，并生成皮肤掩码图；

A4.美化步骤：用于以上述掩码图像叠加目标图像获取待处理区域，并进行精细化基础美化、美妆和局部変形；

优选的，如上所述的视频美化方法中，所述肤色检测步骤如图3所示，包括：

C1.人脸皮肤区域获取步骤：通过计算人脸的关键点坐标得出眉毛、眼睛、嘴唇等部位的掩码图，将上述掩码图与人脸区域进行叠加，获取人脸皮肤区域；

C2.肤色阈值计算步骤：将上述人脸皮肤区域图像转换到YCrCb颜色空间，统计Cr和Cb分量的分布，判断其分布是否在在Cr∈[140,178]，Cb∈[82,130]范围之内，获取新的阈值范围；

C3.掩码图生成步骤：对整幅图像进行YCrCb颜色空间转换，并计算所有像素是否在新的阈值范围之内，将在阈值范围之内的像素标记为皮肤区域并生成皮肤区域掩码图；

优选的，如上所述的视频美化方法，所述美化步骤如图4所示，包括：

D1.基础美化步骤：对目标图像待处理区域进行基础美化，包括祛斑、皮肤均匀化、皮肤美白、图像融合等步骤，获得基础美化阶段的结果；

D2.彩妆美化步骤：以五官掩码图与目标图像进行叠加，获取目标图像中的待处理区域，将唇部和眼睑进行调色，并与基础美化阶段的结果进行融合；

D3.局部変形步骤：以上述人脸检测关键点结果为准计算出眼睛、鼻子和下巴的位置，通过计算眼睛的长宽比对D2步骤获取的结果图像进行自动局部変形，或者人工指定变形程度；

优选的，如上所述的视频美化方法，所述基础美化步骤如图5所示，包括：

E1.祛斑步骤：祛斑步骤通过边缘检测算法获取皮肤上颜色异常的斑点，以斑点半径为准，获取斑点周围纹理并对斑点进行模糊和融合；

E2.皮肤均匀化步骤：以3至7像素为直径构建高斯滤波器，对皮肤区域进行降噪处理，即皮肤的均匀化；

E3.皮肤美白步骤：使用直方图均衡化算法对整个图像进行美白，然后用皮肤掩码图过滤掉无关区域；

E4.图像融合步骤：将结果图像与目标图像进行融合，获得基础美化阶段的结果；

优选的，如上所述的视频美化方法中，所述D2中的彩妆采用泊松融合的方法。

图6示出了根据本发明实施例的视频美化方法的详细流程图，包括：

B1.建立处理流程并初始化人脸检测模块；

B2.输入待处理的图像序列，预处理器(相当于系统中的预处理模块)对输入的图像序列进行预处理，并进行人脸检测，如果人脸检测失败，跳转至B9，否则进行B3；

B3.在人脸检测基础上计算YCrCb颜色空间肤色阈值范围，进行肤色检测，如果计算得到的阈值范围超过经验值，即Cr∈[140,178]，Cb∈[82,130]，说明肤色检测失败，则以整个图像作为皮肤区域掩码，继续步骤B4；

B4.计算人脸和肤色区域掩码图，；

B5.叠加皮肤掩码图与原始图像获取待计算皮肤区域；

B6.对皮肤区域进行基础美化并与原始图像进行融合；

B7.对五官区域进行彩妆处理，并与B6获得的结果进行融合；

B8.基于人脸检测的关键点对B7获取的结果进行局部変形；

B9.输出美化完成后的视频帧；

B10.结束。

本发明还提出了一种视频美化处理系统，其包括：预处理模块、人脸检测模块、肤色检测模块以及美化模块。

其中所述美化模块还包括：基础美化模块、美妆模块和局部变形模块。

其中，所述预处理模块用于建立处理流程并初始化人脸检测器；

其中，所述人脸检测模块用于捕获视频帧，在目标图像上进行人脸检测，获取人脸区域和五官的关键点位置，并计算出五官部位的掩码图像；

其中，所述肤色检测模块用于在人脸检测的基础上检测皮肤区域，并生成皮肤掩码图；

其中，所述美化模块用于以上述掩码图像叠加目标图像获取待处理区域，并进行精细化基础美化、美妆和局部変形。

通过本发明的方法，得到了一种快速高效的视频美化处理方法，能够在视频美化任务中对人物与背景以及毛发之类的高频细节进行分开处理，在对人物进行美化的过程中背景基本上不受影响，得到的美化效果更佳美观、自然。并且得益于掩码图像的使用大大降低了计算量，提高了该方法的执行效率。

在本公开内容中，所使用的“示例性的”一词意味着“用作示例、例证或说明”。本文中描述为“示例性”的任何实现或者方面不应被解释为比本公开内容的其它方面更优选或更具优势。同样，词语“方面”并不需要本公开内容的所有方面都包括所讨论的特征、优点或者操作模式。本文使用“耦合”一词来指代两个对象之间的直接耦合或者间接耦合。例如，如果对象A物理地接触对象B，并且对象B接触对象C，则对象A和C可以仍然被认为是彼此之间耦合的，即使它们彼此之间并没有直接地物理接触。例如，第一芯片可以耦合到第二芯片，即使第一芯片从未直接地与第二芯片物理地接触。广义地使用术语“电路”和“电子电路”，它们旨在包括电子设备和导体的硬件实现(其中当连接和配置这些电子设备和导体时，实现本公开内容中所描述的功能的执行，而不作为对电子电路的类型的限制)以及信息和指令的软件实现(其中当这些信息和指令由处理器执行时，实现本公开内容中所描述的功能的执行)。

应当理解的是，本申请所公开方法中的特定顺序或步骤层次只是示例性处理的一个示例。应当理解的是，根据设计优先选择，可以重新排列这些方法中的特定顺序或步骤层次。所附的方法权利要求以示例顺序给出了各种步骤的元素，但并不意味着其受到给出的特定顺序或层次的限制，除非本申请进行了明确地说明。

为使本领域任何普通技术人员能够实现本文描述的各个方面，上面围绕各个方面进行了描述。对于本领域普通技术人员来说，对这些方面的各种修改都是显而易见的，并且本文定义的总体原理也可以适用于其它方面。因此，本发明并不限于本文示出的方面，而是与本发明公开的全部范围相一致，其中，除非特别说明，否则用单数形式修饰某一部件并不意味着“一个和仅仅一个”，而可以是“一个或多个”。除非另外特别说明，否则术语“一些”指代一个或多个。指代一个列表项“中的至少一个”的短语是指这些项的任意组合，其包括单一成员。举例而言，“a、b或c中的至少一个”旨在覆盖：a；b；c；a和b；a和c；b和c；a、b和c。贯穿本公开内容描述的各个方面的部件的所有结构和功能等价物以引用方式明确地并入本申请中，并且旨在由权利要求所涵盖，这些结构和功能等价物对于本领域普通技术人员来说是公知的或将要是公知的。此外，本申请中没有任何公开内容是想要奉献给公众的，不管这样的公开内容是否明确记载在权利要求书中。此外，不应依据美国专利法第112条第6款来解释任何权利要求的构成要素，除非该构成要素明确采用了“功能性模块”的措辞进行记载，或者在方法权利要求中，该构成要素是用“功能性步骤”的措辞来记载的。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (4)

1.一种基于人脸检测的视频美化方法，包括：

A1.预处理步骤；

A2.人脸检测步骤，包括：

捕获视频帧；

在目标图像上进行人脸检测；

获取人脸五官的关键点位置；

计算出五官部位的掩码图像；

A3.肤色检测步骤，包括：

检测人脸皮肤区域；

生成人脸皮肤掩码图；

A4.视频美化步骤，包括：

将上述掩码图像叠加目标图像获取待处理区域；

对所述待处理区域进行精细化美化，其中，所述精细化美化包括：基础美化、彩妆美化和局部变形；

所述基础美化包括祛斑、皮肤均匀化、皮肤美白或图像融合步骤；

所述祛斑步骤：通过边缘检测算法获取皮肤上颜色异常的斑点，以斑点半径为准，获取斑点周围纹理并对斑点进行模糊和融合；

所述皮肤均匀化步骤：以3至7像素为直径构建高斯滤波器，对皮肤区域进行降噪处理；

皮肤美白步骤：使用直方图均衡化算法对整个图像进行美白，然后用皮肤掩码图过滤掉无关区域；

所述图像融合步骤：将结果图像与目标图像进行融合，获得基础美化阶段的结果；

所述彩妆美化包括：

以五官掩码图与目标图像进行叠加，获取目标图像中的待处理区域，将唇部和眼睑进行调色，并与基础美化阶段的结果通过泊松融合的方式进行融合；

所述局部変形包括：以上述人脸检测关键点结果为准计算出眼睛、鼻子和下巴的位置，通过计算眼睛的长宽比对彩妆美化步骤获取的结果图像进行自动局部変形，或者人工指定变形程度，在GPU中进行此计算。

2.如权利要求1所述基于人脸检测的视频美化方法，其中步骤A1包括建立处理流程并初始化硬件设备。

3.如权利要求1所述基于人脸检测的视频美化方法，其中所述人脸皮肤区域通过计算人脸的关键点坐标得出眉毛、眼睛和嘴唇部位的掩码图，将上述掩码图与人脸区域进行叠加来获取。

4.如权利要求1所述基于人脸检测的视频美化方法，其中所述生成人脸皮肤掩码图包括：

将上述人脸皮肤区域的图像转换到YCrCb颜色空间，统计Cr和Cb分量的分布，判断其分布是否在Cr∈[140,178]，Cb∈[82,130]范围之内，获取新的阈值范围；

对所述目标图像进行YCrCb颜色空间转换，并计算所有像素是否在新的阈值范围之内，将在阈值范围之内的像素标记为皮肤区域并生成皮肤区域掩码图。