CN114187340A - 应用于图像视频人脸皮肤纹理质感增强的方法及装置 - Google Patents
应用于图像视频人脸皮肤纹理质感增强的方法及装置 Download PDFInfo
- Publication number
- CN114187340A CN114187340A CN202111532483.6A CN202111532483A CN114187340A CN 114187340 A CN114187340 A CN 114187340A CN 202111532483 A CN202111532483 A CN 202111532483A CN 114187340 A CN114187340 A CN 114187340A
- Authority
- CN
- China
- Prior art keywords
- texture
- face
- image
- preset
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000036548 skin texture Effects 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 230000001815 facial effect Effects 0.000 claims description 15
- 210000000697 sensory organ Anatomy 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 10
- 239000012634 fragment Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 210000001508 eye Anatomy 0.000 claims description 5
- 210000004709 eyebrow Anatomy 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 210000000214 mouth Anatomy 0.000 claims description 5
- 210000001331 nose Anatomy 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 9
- 238000002156 mixing Methods 0.000 abstract description 4
- 238000013507 mapping Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002500 effect on skin Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种应用于图像视频人脸皮肤纹理质感增强的方法及装置，所述方法包括确定图像纹理中人脸关键点信息；通过人脸预设信息提取模型，得到人脸预设信息；根据图像纹理和人脸关键点信息，计算图像纹理中人脸关键点之间的连接关系，根据连接关系将图像纹理中的人脸区域划分为多个三角区域；利用人脸预设信息，对多个三角区域进行像素处理，输出纹理增强的图像。本发明通过预先对真实人脸进行关键点检测以及皮肤纹理提取得到预设信息，进行人脸编辑时，通过对输入图像的人脸关键点进行识别，结合预设信息对预提取的皮肤纹理进行映射变形后与原人脸进行特定的混合，从而得到真实、细腻，具有自然形变的皮肤纹理增强效果的图像。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种应用于图像视频人脸皮肤纹理质感增强的方法及装置。
背景技术
随着移动端处理能力的日益增强，以及图像视频编辑类应用的大规模普及，用户对于人像的编辑需求也愈发高涨，并且对美化效果的细腻程度以及真实性也有了更高要求。除去常规的剪辑、滤镜特效、五官调整、磨皮等美化外，也会需要对脸部皮肤的纹理细节进行美化和增强处理，提升人脸质感和整体气质。
相关技术中，用户在进行人像编辑时，有时为提升人像质感和整体效果，会需要对人脸的皮肤纹理进行增强。当前市面上具有的此类编辑功能的应用，只能通过叠加一张随机噪声纹理来实现，尽管噪声纹理的生成五花八门，混合的方式也各不相同。但都有以下缺陷：一方面增强后的纹理效果不够细腻和真实，无法完美还原真实人脸的皮肤质感；另一方面，在图像中人脸有拉伸形变或是人脸朝向发生改变时，噪声纹理无法随之产生自然的形变效果。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种应用于图像视频人脸皮肤纹理质感增强的方法及装置，以解决现有技术中图像视频编辑对皮肤的纹理细节处理时存在不够真实自然的问题。
为实现以上目的，本发明采用如下技术方案：一种应用于图像视频人脸皮肤纹理质感增强的方法，包括：
获取视频流的图像纹理，确定所述图像纹理中人脸区域的人脸关键点信息；其中，所述人脸关键点信息至少包括：五官、脸部轮廓在图像中的二维坐标；
通过预训练的人脸预设信息提取模型，得到人脸预设信息；其中，所述人脸预设信息包括：预设人脸关键点信息和预设纹理细节图；
根据所述图像纹理和人脸关键点信息，计算所述图像纹理中人脸关键点之间的连接关系，根据所述连接关系将所述图像纹理中的人脸区域划分为多个三角区域；利用所述人脸预设信息，对多个三角区域进行像素处理，输出纹理增强的图像。
进一步的，所述获取视频流的图像纹理，确定所述图像纹理中人脸信息的人脸关键点信息，包括：
对所述视频流进行解码处理，得到图像纹理；
将所述图像纹理输入预训练的人脸关键点检测模型中，输出人脸关键点信息。
进一步的，所述通过预训练的人脸预设信息提取模型，得到人脸预设信息，包括：
采集人脸图像的预设人脸纹理，对所述预设人脸纹理进行关键点标注，得到预设人脸关键点信息；
根据所述预设人脸关键点信息对所述预设人脸纹理进行纹理提取，得到预设纹理细节图。
进一步的，所述根据所述预设人脸关键点信息对所述预设人脸纹理进行纹理提取，得到预设纹理细节图，包括：
对预设人脸纹理进行灰度化处理，得到灰度纹理；
对所述灰度纹理进行高斯滤波处理，得到模糊纹理；
对所述预设人脸纹理进行滤波处理，得到强模糊纹理；
获取模糊纹理与强模糊纹理的纹理差，将所述纹理差确定为纹理细节；
逐一的对所述纹理细节进行非线性校正，得到校正纹理；
对所述校正纹理中的非脸部区域进行剔除，并对剔除区域统一设置透明度，得到预设纹理细节图。
进一步的，在对人脸纹理进行灰度化处理之前，还包括：
对所述人脸图像中的非脸部区域、以及脸部区域上的眉毛、眼睛、鼻子、嘴巴进行剔除，将剔除后的区域统一设置透明度。
进一步的，所述利用所述人脸预设信息，对多个三角区域进行像素处理，输出纹理增强的图像，包括：
将预设人脸关键点信息作为纹理坐标组，预设纹理细节图作为输入纹理，图像纹理的人脸关键点信息作为顶点坐标组，图像纹理作为输入纹理，利用片段着色器对剖分出的多个三角区域逐个进行绘制。
进一步的，所述利用片段着色器对剖分出的多个三角区域逐个进行绘制，包括：
确定图像纹理当前的像素颜色、预设人脸纹理的当前像素颜色亮度以及预设人脸纹理当前的透明度；
利用图像纹理当前的像素颜色、预设人脸纹理的当前像素颜色亮度以及预设人脸纹理当前的透明度进行像素计算，得到不同颜色结果进行绘制。
进一步的，将剔除区域统一设置为渐变透明色。
进一步的，采用德洛内三角剖分法将人脸区域分割成若干个无重叠的三角形区域。
本申请实施例提供一种应用于图像视频人脸皮肤纹理质感增强的装置，包括：
人脸检测模块，用于获取视频流的图像纹理，确定所述图像纹理中人脸区域的人脸关键点信息；其中，所述人脸关键点信息至少包括：五官、脸部轮廓在图像中的二维坐标；
人脸预设信息提取模块，用于通过预训练的人脸预设信息提取模型，得到人脸预设信息；其中，所述人脸预设信息包括：预设人脸关键点信息和预设纹理细节图；
皮肤纹理增强模块，用于根据所述图像纹理和人脸关键点信息，计算所述图像纹理中人脸关键点之间的连接关系，根据所述连接关系将所述图像纹理中的人脸区域划分为多个三角区域；利用所述人脸预设信息，对多个三角区域进行像素处理；
输出模块，用于输出纹理增强的图像。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明提供一种应用于图像视频人脸皮肤纹理质感增强的方法及装置，本申请通过预先对真实人脸进行关键点检测以及皮肤纹理提取得到预设信息，进行人脸编辑时，通过对输入图像的人脸关键点进行识别，结合预设信息对预提取的皮肤纹理进行映射变形后与原人脸进行特定的混合，从而得到真实、细腻，具有自然形变的皮肤纹理增强效果的图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明应用于图像视频人脸皮肤纹理质感增强的方法的步骤示意图；
图2为本发明应用于图像视频人脸皮肤纹理质感增强的方法的流程示意图；
图3为本发明应用于图像视频人脸皮肤纹理质感增强的装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的应用于图像视频人脸皮肤纹理质感增强的方法及装置。
如图1所示，本申请实施例中提供的应用于图像视频人脸皮肤纹理质感增强的方法包括：
S101，获取视频流的图像纹理，确定所述图像纹理中人脸区域的人脸关键点信息；其中所述人脸关键点信息至少包括：五官、脸部轮廓在图像中的二维坐标；
本申请首先获取需要处理的视频，得到视频流的图像纹理，确定图像纹理中的人脸区域，并确定人脸区域的人脸关键点信息，所述人脸关键点数据应至少包含五官、脸部轮廓的在图像中的二维坐标。还可以包括其他，本申请在此不做限定。需要说明的是，本申请中确定的人脸关键点数据与真实输入人脸的贴合度越高，数量越多，后续对人脸皮肤纹理处理后产出效果就越精细。具体采用的模型和关键点数量，亦可视实际情况进行灵活设定，模型可采用现有技术实现，本申请在此不再赘述。
S102，通过预训练的人脸预设信息提取模型，得到人脸预设信息；其中，所述人脸预设信息包括：预设人脸关键点信息和预设纹理细节图；
本申请中提前训练人脸预设信息提取模型，该模型可以对输入的图像中的人脸纹理进行关键点标注，以及对人脸纹理进行纹理提取。
S103，根据所述图像纹理和人脸关键点信息，计算所述图像纹理中人脸关键点之间的连接关系，根据所述连接关系将所述图像纹理中的人脸区域划分为多个三角区域；利用所述人脸预设信息，对多个三角区域进行像素处理，输出纹理增强的图像。
本申请提供的应用于图像视频人脸皮肤纹理质感增强的方法的工作原理为：首先获取需要处理的视频，得到视频流的图像纹理，确定图像纹理中的人脸区域，并确定人脸区域的人脸关键点信息，所述人脸关键点数据应至少包含五官、脸部轮廓的在图像中的二维坐标。根据所述图像纹理和人脸关键点信息，计算所述图像纹理中人脸关键点之间的连接关系，根据所述连接关系将所述图像纹理中的人脸区域划分为多个三角区域；利用所述人脸预设信息，对多个三角区域进行像素处理，输出纹理增强的图像。
一些实施例中，所述获取视频流的图像纹理，确定所述图像纹理中人脸信息的人脸关键点信息，包括：
对所述视频流进行解码处理，得到图像纹理；
将所述图像纹理输入预训练的人脸关键点检测模型中，输出人脸关键点信息。
具体的，本申请获取视频流的图像纹理，输出图像中的人脸信息。具体地，用户输入的解码后的视频帧图像或图像纹理使用基于深度学习的人脸关键点检测模型进行检测，当且仅当人脸关键点检测模型检测到人脸关键点信息时，将人脸关键点信息输出。优选地，所述人脸关键点信息应至少包含五官、脸部轮廓的在图像中的二维坐标。可以理解的是，关键点与真实输入人脸的贴合度越高，数量越多，后续处理后产出效果就越精细。具体采用的检测模型和关键点数量，亦可视实际情况进行灵活设定，本申请在此不做限定。
一些实施例中，所述通过预训练的人脸预设信息提取模型，得到人脸预设信息，包括：
采集人脸图像的预设人脸纹理，对所述预设人脸纹理进行关键点标注，得到预设人脸关键点信息；
根据所述预设人脸关键点信息对所述预设人脸纹理进行纹理提取，得到预设纹理细节图。
优选的，所述根据所述预设人脸关键点信息对所述预设人脸纹理进行纹理提取，得到预设纹理细节图，包括：
对预设人脸纹理进行灰度化处理，得到灰度纹理；
对所述灰度纹理进行高斯滤波处理，得到模糊纹理；
对所述预设人脸纹理进行滤波处理，得到强模糊纹理；
获取模糊纹理与强模糊纹理的纹理差，将所述纹理差确定为纹理细节；
逐一的对所述纹理细节进行非线性校正，得到校正纹理；
对所述校正纹理中的非脸部区域进行剔除，并对剔除区域统一设置透明度，得到预设纹理细节图。
优选的，在对人脸纹理进行灰度化处理之前，还包括：
对所述人脸图像中的非脸部区域、以及脸部区域上的眉毛、眼睛、鼻子、嘴巴进行剔除，将剔除后的区域统一设置透明度。
具体的，作为一个具体的实施方式，人脸预设信息提取模型的训练过程包括以下步骤：
1，采集一张预设人脸纹理，也就是帧图像。其中，采集的预设人脸纹理以正脸、大图、五官端正、皮肤质感强、皮肤无瑕疵或少瑕疵为佳，人脸纹理的来源可从真实人脸中采集，也可使用建模软件等技术手段进行建模贴图获得。优选的，若采集到的人脸数据有明显瑕疵或是皮肤纹理质感不强，可采用自动或人工手段进行修瑕和增强处理。
2，对输入的人脸纹理进行关键点标注。优选的，可采用基于机器学习的人脸关键点检测模型进行检测。得到人脸区域的像素宽高，以及一组有序的归一化后的人脸关键点二维坐标，形如[width，height，x1，y1，x2，y2，x3，y3，…]，预存储下来作为人脸预设信息的第一部分。
3，对输入的人脸纹理进行纹理提取。此步骤流程如下：
1)结合前述步骤2中的预设人脸关键点信息，对脸部以外区域、以及眉毛、眼睛、鼻子、嘴巴等进行剔除，剔除后颜色统一为透明色。作为下一个步骤的输入源。
2)对输入的预设人脸纹理进行逐像素的灰度化，得到灰度纹理S1。优选地，对于未进行gamma校正的图像，本发明采用的灰度计算公式为：gray＝red*0.299+green*0.587+blue*0.114。对于gamma校正后的图像，灰度计算公式为：gray＝red*0.2126+green*0.7152+blue*0.0755。
3)对S1进行卷积核大小为3x3、sigma＝1.0高斯滤波，得到轻微模糊的纹理B1。实践表明，小尺度的高斯滤波可以在保留皮肤纹理信息的同时，平滑图像中原本存在的轻微噪声和异常值。提升最终提取出的皮肤纹理质量。
4)将输入的人脸纹理作为S2，预设对S2进行大尺度的滤波，得到强模糊的纹理B2。优选地，考虑现实中人脸皮肤细节纹理的宽度相对于人脸宽度的比例，该滤波程度不宜过大或过小，本发明中采用前述步骤2得到的人脸区域像素宽度*0.0834作为滤波半径R，最终得到的高斯滤波的卷积核大小为2*R+1，sigma＝R*0.334。
5)使用纹理B1减去纹理B2，得到纹理细节Diff＝B1–B2，Diff代表纹理细节。
6)对Diff逐像素进行非线性校正，得到校正纹理Feature。校正公式为：
此步骤可有效抑制Diff纹理中细节过强的部分，避免后续流程混合时出现纹理细节过强的问题，同时将差异归一化到0～1的范围内，方便实际生产中的储存和使用。
7)对校正纹理Feature中脸部以外区域、以及脸部内的眉毛、眼睛、鼻子、嘴巴等部分进行剔除，剔除后颜色统一为透明色。优选地，此步骤可对剔除边缘的透明度设置渐变透明度，以避免在人脸皮肤纹理增强模块产出的结果中出现纹理过渡不自然的问题。
8)存储校正纹理Feature，作为预设信息的第二部分，也就是预设纹理细节图。
优选的，本申请中将剔除区域统一设置为渐变透明色。
一些实施例中，所述利用所述人脸预设信息，对多个三角区域进行像素处理，输出纹理增强的图像，包括：
将预设人脸关键点信息作为纹理坐标组，预设纹理细节图作为输入纹理，图像纹理的人脸关键点信息作为顶点坐标组，图像纹理作为输入纹理，利用片段着色器对剖分出的多个三角区域逐个进行绘制。
优选的，所述利用片段着色器对剖分出的多个三角区域逐个进行绘制，包括：
确定图像纹理当前的像素颜色、预设人脸纹理的当前像素颜色亮度以及预设人脸纹理当前的透明度；
利用图像纹理当前的像素颜色、预设人脸纹理的当前像素颜色亮度以及预设人脸纹理当前的透明度进行像素计算，得到不同颜色结果进行绘制。
作为一个具体的实施方式，载入人脸预设信息提取模块中提取出的人脸预设，人脸预设应至少包括：预设人脸关键点信息和预设纹理细节图；
载入待处理的原始视频或图像纹理帧，以及检测出的该图像纹理帧的人脸关键点信息。使用三角剖分法，计算出原始纹理帧中关键点之间的连接关系，将人脸区域分割成若干个无重叠的三角形区域。优选的，本发明将采用德洛内三角剖分法。
将预设人脸的关键点信息作为纹理坐标组，人脸预设信息的纹理细节图作为输入纹理B1，该纹理帧的人脸关键点信息作为顶点坐标组，该图像纹理帧作为输入纹理B2。对剖分出的三角形区域逐个使用GPU进行绘制。片段着色器计算公式如下：
s2：原始图像当前像素颜色，1x3维向量；
s1：预设人脸纹理当前像素颜色亮度，1x3维向量；
a1：预设人脸纹理当前的透明度，1x3维向量；
resultRed＝s2.red+s1.red*2.0-1.0
resultGreen＝s2.green+s1.green*2.0-1.0
resultBlue＝s2.blue+s1.blue*2.0-1.0
resultColor＝s2*(1.0-a1)+(resultRed，resultGreen，resultBlue)*a1
最后，视频图像帧所有像素处理完毕，即得到皮肤纹理增强的最终结果。
本申请通过以上技术方案，通过对基于真实或是建模人脸的纹理提取，对比现有技术，可以更为完美、细腻的还原真实的皮肤质感和纹理细节。本发明通过基于关键点检测的人脸，对预设提取纹理进行形变后再与输入图片进行特定的混合。从而根据不同的人脸角度和朝向产生相应的皮肤纹理的形变拉伸，可以有效模拟真实环境下的皮肤效果。
如图3所示，本申请实施例提供一种应用于图像视频人脸皮肤纹理质感增强的装置，包括：
人脸检测模块301，用于获取视频流的图像纹理，确定所述图像纹理中人脸区域的人脸关键点信息；其中，所述人脸关键点信息至少包括：五官、脸部轮廓在图像中的二维坐标；
人脸预设信息提取模块302，用于通过预训练的人脸预设信息提取模型，得到人脸预设信息；其中，所述人脸预设信息包括：预设人脸关键点信息和预设纹理细节图；
皮肤纹理增强模块303，用于根据所述图像纹理和人脸关键点信息，计算所述图像纹理中人脸关键点之间的连接关系，根据所述连接关系将所述图像纹理中的人脸区域划分为多个三角区域；利用所述人脸预设信息，对多个三角区域进行像素处理；
输出模块304，用于输出纹理增强的图像。
本申请提供的应用于图像视频人脸皮肤纹理质感增强的装置的工作原理为，人脸检测模块301获取视频流的图像纹理，确定所述图像纹理中人脸区域的人脸关键点信息；其中，所述人脸关键点信息至少包括：五官、脸部轮廓在图像中的二维坐标；人脸预设信息提取模块302通过预训练的人脸预设信息提取模型，得到人脸预设信息；其中，所述人脸预设信息包括：预设人脸关键点信息和预设纹理细节图；皮肤纹理增强模块303根据所述图像纹理和人脸关键点信息，计算所述图像纹理中人脸关键点之间的连接关系，根据所述连接关系将所述图像纹理中的人脸区域划分为多个三角区域；利用所述人脸预设信息，对多个三角区域进行像素处理；输出模块304输出纹理增强的图像。
综上所述，本发明提供一种应用于图像视频人脸皮肤纹理质感增强的方法及装置，所述方法包括获取视频流的图像纹理，确定所述图像纹理中人脸区域的人脸关键点信息；其中，所述人脸关键点信息至少包括：五官、脸部轮廓在图像中的二维坐标；通过预训练的人脸预设信息提取模型，得到人脸预设信息；其中，所述人脸预设信息包括：预设人脸关键点信息和预设纹理细节图；根据所述图像纹理和人脸关键点信息，计算所述图像纹理中人脸关键点之间的连接关系，根据所述连接关系将所述图像纹理中的人脸区域划分为多个三角区域；利用所述人脸预设信息，对多个三角区域进行像素处理，输出纹理增强的图像。本发明通过预先对真实人脸进行关键点检测以及皮肤纹理提取得到预设信息，进行人脸编辑时，通过对输入图像的人脸关键点进行识别，结合预设信息对预提取的皮肤纹理进行映射变形后与原人脸进行特定的混合，从而得到真实、细腻，具有自然形变的皮肤纹理增强效果的图像。
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种应用于图像视频人脸皮肤纹理质感增强的方法，其特征在于，包括：
获取视频流的图像纹理，确定所述图像纹理中人脸区域的人脸关键点信息；其中，所述人脸关键点信息至少包括：五官、脸部轮廓在图像中的二维坐标；
通过预训练的人脸预设信息提取模型，得到人脸预设信息；其中，所述人脸预设信息包括：预设人脸关键点信息和预设纹理细节图；
根据所述图像纹理和人脸关键点信息，计算所述图像纹理中人脸关键点之间的连接关系，根据所述连接关系将所述图像纹理中的人脸区域划分为多个三角区域；利用所述人脸预设信息，对多个三角区域进行像素处理，输出纹理增强的图像。
2.根据权利要求1所述的方法，其特征在于，所述获取视频流的图像纹理，确定所述图像纹理中人脸信息的人脸关键点信息，包括：
对所述视频流进行解码处理，得到图像纹理；
将所述图像纹理输入预训练的人脸关键点检测模型中，输出人脸关键点信息。
3.根据权利要求1所述的方法，其特征在于，所述通过预训练的人脸预设信息提取模型，得到人脸预设信息，包括：
采集人脸图像的预设人脸纹理，对所述预设人脸纹理进行关键点标注，得到预设人脸关键点信息；
根据所述预设人脸关键点信息对所述预设人脸纹理进行纹理提取，得到预设纹理细节图。
4.根据权利要求3所述的方法，其特征在于，所述根据所述预设人脸关键点信息对所述预设人脸纹理进行纹理提取，得到预设纹理细节图，包括：
对预设人脸纹理进行灰度化处理，得到灰度纹理；
对所述灰度纹理进行高斯滤波处理，得到模糊纹理；
对所述预设人脸纹理进行滤波处理，得到强模糊纹理；
获取模糊纹理与强模糊纹理的纹理差，将所述纹理差确定为纹理细节；
逐一的对所述纹理细节进行非线性校正，得到校正纹理；
对所述校正纹理中的非脸部区域进行剔除，并对剔除区域统一设置透明度，得到预设纹理细节图。
5.根据权利要求4所述的方法，其特征在于，在对人脸纹理进行灰度化处理之前，还包括：
对所述人脸图像中的非脸部区域、以及脸部区域上的眉毛、眼睛、鼻子、嘴巴进行剔除，将剔除后的区域统一设置透明度。
6.根据权利要求1所述的方法，其特征在于，所述利用所述人脸预设信息，对多个三角区域进行像素处理，输出纹理增强的图像，包括：
将预设人脸关键点信息作为纹理坐标组，预设纹理细节图作为输入纹理，图像纹理的人脸关键点信息作为顶点坐标组，图像纹理作为输入纹理，利用片段着色器对剖分出的多个三角区域逐个进行绘制。
7.根据权利要求6所述的方法，其特征在于，所述利用片段着色器对剖分出的多个三角区域逐个进行绘制，包括：
确定图像纹理当前的像素颜色、预设人脸纹理的当前像素颜色亮度以及预设人脸纹理当前的透明度；
利用图像纹理当前的像素颜色、预设人脸纹理的当前像素颜色亮度以及预设人脸纹理当前的透明度进行像素计算，得到不同颜色结果进行绘制。
8.根据权利要求4或5所述的方法，其特征在于，
将剔除区域统一设置为渐变透明色。
9.根据权利要求1所述的方法，其特征在于，
采用德洛内三角剖分法将人脸区域分割成若干个无重叠的三角形区域。
10.一种应用于图像视频人脸皮肤纹理质感增强的装置，其特征在于，包括：
人脸检测模块，用于获取视频流的图像纹理，确定所述图像纹理中人脸区域的人脸关键点信息；其中，所述人脸关键点信息至少包括：五官、脸部轮廓在图像中的二维坐标；
人脸预设信息提取模块，用于通过预训练的人脸预设信息提取模型，得到人脸预设信息；其中，所述人脸预设信息包括：预设人脸关键点信息和预设纹理细节图；
皮肤纹理增强模块，用于根据所述图像纹理和人脸关键点信息，计算所述图像纹理中人脸关键点之间的连接关系，根据所述连接关系将所述图像纹理中的人脸区域划分为多个三角区域；利用所述人脸预设信息，对多个三角区域进行像素处理；
输出模块，用于输出纹理增强的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111532483.6A CN114187340A (zh) | 2021-12-15 | 2021-12-15 | 应用于图像视频人脸皮肤纹理质感增强的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111532483.6A CN114187340A (zh) | 2021-12-15 | 2021-12-15 | 应用于图像视频人脸皮肤纹理质感增强的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114187340A true CN114187340A (zh) | 2022-03-15 |
Family
ID=80543922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111532483.6A Pending CN114187340A (zh) | 2021-12-15 | 2021-12-15 | 应用于图像视频人脸皮肤纹理质感增强的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114187340A (zh) |
-
2021
- 2021-12-15 CN CN202111532483.6A patent/CN114187340A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805090B (zh) | 一种基于平面网格模型的虚拟试妆方法 | |
| CN110490896B (zh) | 一种视频帧图像处理方法和装置 | |
| CN104517265B (zh) | 智能磨皮方法和装置 | |
| CN113808027B (zh) | 一种人体图像处理方法、装置、电子设备及存储介质 | |
| HK1069242A1 (en) | Method and system for enhancing portrait images that are processed in a batch mode | |
| CN110782419B (zh) | 一种基于图形处理器的三维人脸融合方法及系统 | |
| CN111882627A (zh) | 图像处理方法、视频处理方法、装置、设备和存储介质 | |
| CN113838176A (zh) | 模型的训练方法、三维人脸图像生成方法及设备 | |
| CN112184585B (zh) | 一种基于语义边缘融合的图像补全方法及系统 | |
| CN112258440B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111861868B (zh) | 用于视频中人像美化的图像处理方法及装置 | |
| CN115205544A (zh) | 一种基于前景参考图像的合成图像和谐化方法及系统 | |
| CN110992247A (zh) | 一种人像照片头发拉直特效的实现方法及系统 | |
| CN111243051B (zh) | 基于肖像照片的简笔画生成方法、系统及存储介质 | |
| CN111080680A (zh) | 一种面向患者的三维胸部器官重建方法和系统 | |
| CN108346128B (zh) | 一种美颜磨皮的方法和装置 | |
| CN116612263B (zh) | 一种感知潜视觉合成一致性动态拟合的方法及装置 | |
| TW202011356A (zh) | 影像處理方法與影像處理裝置 | |
| CN109829857B (zh) | 一种基于生成对抗网络的倾斜图像的矫正方法及装置 | |
| CN114187340A (zh) | 应用于图像视频人脸皮肤纹理质感增强的方法及装置 | |
| CN113379623B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN115880748A (zh) | 人脸重建和遮挡区域识别方法、装置、设备及存储介质 | |
| CN115409950A (zh) | 一种面绘制三角网格的优化方法 | |
| CN114187202A (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
| CN115936796A (zh) | 一种虚拟换妆方法、系统、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |