CN113298698B - 一种用于非编工程中人脸关键点的祛眼袋方法 - Google Patents
一种用于非编工程中人脸关键点的祛眼袋方法 Download PDFInfo
- Publication number
- CN113298698B CN113298698B CN202110484599.0A CN202110484599A CN113298698B CN 113298698 B CN113298698 B CN 113298698B CN 202110484599 A CN202110484599 A CN 202110484599A CN 113298698 B CN113298698 B CN 113298698B
- Authority
- CN
- China
- Prior art keywords
- mask
- points
- marking
- current frame
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000009466 transformation Effects 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims abstract description 22
- 238000001914 filtration Methods 0.000 claims abstract description 19
- 238000002156 mixing Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 230000000873 masking effect Effects 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 abstract description 4
- 230000003796 beauty Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 206010016035 Face presentation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009954 braiding Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Abstract
本发明公开了一种用于非编工程中人脸关键点的祛眼袋方法，包括以下步骤：S1，获取参考人脸的标记点以及眼袋区域的蒙版；S2，当前帧进行人脸检测，并记录参考人脸的标记点；S3，将当前帧的标记点和参考帧标记点进行回归，得到最优变换矩阵；S4，将参考眼袋区域蒙版经过变换矩阵映射到当前帧，得到当前帧的眼袋区域蒙版；S5，通过蒙版裁切出眼袋区域；S6，对眼袋区域进行低频滤波；S7，对蒙版进行高斯羽化处理；S8，利用混合公式将低频图像与原图进行混合。本发明通过利用智能图形图像识别技术，建立人物脸眼袋关键点模型，能够快速有效的祛除脸部眼袋。
Description
技术领域
本发明涉及视频编辑技术领域，尤其涉及一种用于非编工程中人脸关键点的祛眼袋方法。
背景技术
随着媒体行业的不断发展，特别是通过网络的快速传播，内容传播的速度更加迅速，覆盖的受众群体更广泛。因此在公众节目中如何让人物脸部画面呈现更加美观，特别是祛眼袋功能受到广中老年用户的追捧。
目前常用的祛眼袋方法，是需要剪辑人员在非编中一帧一帧的进行修补美化，遇到小角度脸部呈现，例如斜侧面等在修过美化过程中是十分复杂且繁琐的，这种方式虽然也能满足实际应用，但精准度低下，且用户在使用过程中的体验较差。
如申请号为CN201910647166.5的专利申请公开了一种图像处理方法、装置、电子设备及存储介质，该方法包括：对待处理图像进行面部识别，确定所述待处理图像的脸部区域；获取所述待处理图像的目标场景类型；根据预先配置的场景类型与美颜参数之间的对应关系，确定与所述目标场景类型对应的目标美颜参数；根据所述目标美颜参数对所述待处理图像的脸部区域进行美颜处理。虽然该方案可以对各种场景类型调节出满意的美颜效果，但是还存在祛眼袋效果不好，处理效率不够高的问题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种用于非编工程中人脸关键点的祛眼袋方法，通过智能图形图像识别技术，建立人物脸眼袋关键点模型，此方法能够快速有效的祛除脸部眼袋。
本发明的目的是通过以下技术方案来实现的：
一种用于非编工程中人脸关键点的祛眼袋方法，包括以下步骤：
S1，获取参考人脸的标记点以及眼袋区域的蒙版；
S2，当前帧进行人脸检测，并记录参考人脸的标记点；
S3，将当前帧的标记点和参考帧标记点进行回归，得到最优变换矩阵；
S4，将参考眼袋区域蒙版经过变换矩阵映射到当前帧，得到当前帧的眼袋区域蒙版；
S5，通过蒙版裁切出眼袋区域；
S6，对眼袋区域进行低频滤波；
S7，对蒙版进行高斯羽化处理；
S8，利用混合公式将低频图像与原图进行混合。
具体的，步骤S3具体包括以下子步骤：
S31，可选标记点为左右眼的内眼角和鼻沟正中心，总共标记点数量记为N；
S32，参考点的标记点记SrcMarks，当前帧人脸的标记记为DstMarks，SrcMarks和DstMarks分别为3*N矩阵，其中每一列为一个标记点的齐次坐标；变换矩阵记为M为3*3变换矩阵，则正向变换为DStMarks＝M*SrcMarks，其中，变换矩阵M可通过最小二乘法计算获得。
具体的，步骤S6中对眼袋区域进行低频滤波具体包括：使用滤波器核h对眼袋区域进行低频滤波，滤波过程如下式所示：
Ω为核尺寸；
其中，h为滤波器核，src为原始图像，skin为肤色模板，lowpass为滤波结果，m，n为当前像素点的坐标，i，j为滤波器核的坐标。
(6.1)滤波器核h包括但不限于方框滤波器核，高斯滤波器核等。其中，方框滤波器核h(i,j)＝1.0；高斯滤波器核
(6.2)滤波过程中采用了肤色检测生成肤色蒙版skin，剔除非肤色点的影响。
(6.3)Src和lowpass可选择的颜色空间有RGB，或YUV、Lab等颜色空间的亮度相关通道。
具体的，步骤S8中的混合公式如下式所示：
dst＝(1.0-mask)*src+mask*lowpass；
其中，dst为混合结果，mask为混合蒙版。
步骤S4具体包括：参考点的标记点坐标记SrcMarks，当前帧人脸的标记点坐标为DstMarks，SrcMarks和DstMarks分别为3*N矩阵，其中每一列为一个标记点的齐次坐标；变换矩阵记为M为3*3变换矩阵，则正向变换为DStMarks＝M*SrcMarks，其中，变换矩阵M可通过最小二乘法进行求解。
本发明的有益效果：本发明通过获取参考人脸的标记点以及眼袋区域的蒙版，对当前帧进行人脸检测，并记录参考人脸的标记点，将当前帧的标记点和参考帧标记点进行回归，得到最优变换矩阵，将参考眼袋区域蒙版经过变换矩阵映射到当前帧，得到当前帧的眼袋区域蒙版；通过蒙版裁切出眼袋区域，对眼袋区域进行低频滤波；对蒙版进行高斯羽化处理；利用混合公式将低频图像与原图进行混合，获得最终的人脸图像。本发明通过利用智能图形图像识别技术，建立人物脸眼袋关键点模型，能够快速有效的祛除脸部眼袋。
附图说明
图1是本发明的方法流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
本实施例中，如图1所示，一种用于非编工程中人脸关键点的祛眼袋方法，包括以下步骤：
S1，获取参考人脸的标记点以及眼袋区域的蒙版；人脸标记包括但不限于人脸外轮廓、五官等。
S2，当前帧进行人脸检测，并记录参考人脸的标记点；
S3，当前帧的标记点和参考帧标记点进行回归，得到最优变换矩阵；
S4，将参考眼袋区域蒙版经过变换矩阵映射到当前帧，得到当前帧的眼袋区域蒙版；
S5，通过蒙版裁切出眼袋区域，眼袋区域＝蒙版&原图；
S6，对眼袋区域进行低频滤波；
S7，对蒙版进行高斯羽化处理；
S8，利用混合公式将低频图像与原图进行混合。
具体的，步骤S3具体包括以下流程：
(3.1)可选标记点为左右眼的内眼角和鼻沟正中心，总共标记点数量记为N；
(3.2)参考点的标记点记SrcMarks，当前帧人脸的标记记为DstMarks，SrcMarks和DstMarks分别为3*N矩阵，其中每一列为一个标记点的齐次坐标。变换矩阵记为M为3*3变换矩阵。则正向变换为DStMarks＝M*SrcMarks，变换矩阵M可通过最小二乘法得到。
具体的，步骤S6中使用滤波器核h对眼袋区域进行低频滤波具体包括：使用滤波器核h对眼袋区域进行低频滤波，滤波过程如下式所示：
Ω为核尺寸；
其中，h为滤波器核，src为原始图像，skin为肤色模板，lowpass为滤波结果，m，n为当前像素点的坐标，i，j为滤波器核的坐标。
(6.1)滤波器核h包括但不限于方框滤波器核，高斯滤波器核等。其中，方框滤波器核h(i,j)＝1.0；高斯滤波器核
(6.2)滤波过程中采用了肤色检测生成肤色蒙版skin，剔除非肤色点的影响。
(6.3)Src和lowpass可选择的颜色空间有RGB，或YUV、Lab等颜色空间的亮度相关通道。
具体的，步骤S8中的混合公式如下式所示：
dst＝(1.0-mask)*src+mask*lowpass；
其中，dst为混合结果，mask为混合蒙版。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。
Claims (3)
1.一种用于非编工程中人脸关键点的祛眼袋方法，其特征在于，包括以下步骤：
S1，获取参考人脸的标记点以及眼袋区域的蒙版；
S2，当前帧进行人脸检测，并记录参考人脸的标记点；
S3，将当前帧的标记点和参考帧标记点进行回归，得到最优变换矩阵，包括以下子步骤：
S31，可选标记点为左右眼的内眼角和鼻沟正中心，总共标记点数量记为N；
S32，参考点的标记点记SrcMarks，当前帧人脸的标记记为DstMarks，SrcMarks和DstMarks分别为3*N矩阵，其中每一列为一个标记点的齐次坐标；变换矩阵记为M为3*3变换矩阵，则正向变换为DstMarks＝M*SrcMarks，其中，变换矩阵M可通过最小二乘法计算获得；
S4，将参考眼袋区域蒙版经过变换矩阵映射到当前帧，得到当前帧的眼袋区域蒙版；
S5，通过蒙版裁切出眼袋区域；
S6，对眼袋区域进行低频滤波；
S7，对蒙版进行高斯羽化处理；
S8，利用混合公式将低频图像与原图进行混合。
2.根据权利要求1所述的一种用于非编工程中人脸关键点的祛眼袋方法，其特征在于，所述步骤S6中对眼袋区域进行低频滤波具体包括：使用滤波器核h对眼袋区域进行低频滤波，滤波过程如下式所示：
Ω为核尺寸；
其中，h为滤波器核，src为原始图像，skin为肤色模板，lowpass为滤波结果，m，n为当前像素点的坐标，i，j为滤波器核的坐标。
3.根据权利要求1所述的一种用于非编工程中人脸关键点的祛眼袋方法，其特征在于，所述步骤S8中的混合公式如下式所示：
dst＝(1.0-mask)*src+mask*lowpass；
其中，dst为混合结果，mask为混合蒙版。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110484599.0A CN113298698B (zh) | 2021-04-30 | 2021-04-30 | 一种用于非编工程中人脸关键点的祛眼袋方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110484599.0A CN113298698B (zh) | 2021-04-30 | 2021-04-30 | 一种用于非编工程中人脸关键点的祛眼袋方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113298698A CN113298698A (zh) | 2021-08-24 |
| CN113298698B true CN113298698B (zh) | 2024-02-02 |
Family
ID=77320787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110484599.0A Active CN113298698B (zh) | 2021-04-30 | 2021-04-30 | 一种用于非编工程中人脸关键点的祛眼袋方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113298698B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105608722A (zh) * | 2015-12-17 | 2016-05-25 | 成都品果科技有限公司 | 一种基于人脸关键点的自动去眼袋方法及系统 |
| CN105979195A (zh) * | 2016-05-26 | 2016-09-28 | 努比亚技术有限公司 | 一种视频图像处理装置和方法 |
| CN107862673A (zh) * | 2017-10-31 | 2018-03-30 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN108898546A (zh) * | 2018-06-15 | 2018-11-27 | 北京小米移动软件有限公司 | 人脸图像处理方法、装置及设备、可读存储介质 |
| EP3617937A1 (en) * | 2018-09-03 | 2020-03-04 | Toshiba Electronic Devices & Storage Corporation | Image processing device, driving assistance system, image processing method, and program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017041295A1 (en) * | 2015-09-11 | 2017-03-16 | Intel Corporation | Real-time face beautification features for video images |
| CN112149672A (zh) * | 2020-09-29 | 2020-12-29 | 广州虎牙科技有限公司 | 图像处理方法和装置、电子设备及存储介质 |
-
2021
- 2021-04-30 CN CN202110484599.0A patent/CN113298698B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105608722A (zh) * | 2015-12-17 | 2016-05-25 | 成都品果科技有限公司 | 一种基于人脸关键点的自动去眼袋方法及系统 |
| CN105979195A (zh) * | 2016-05-26 | 2016-09-28 | 努比亚技术有限公司 | 一种视频图像处理装置和方法 |
| CN107862673A (zh) * | 2017-10-31 | 2018-03-30 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN108898546A (zh) * | 2018-06-15 | 2018-11-27 | 北京小米移动软件有限公司 | 人脸图像处理方法、装置及设备、可读存储介质 |
| EP3617937A1 (en) * | 2018-09-03 | 2020-03-04 | Toshiba Electronic Devices & Storage Corporation | Image processing device, driving assistance system, image processing method, and program |
Non-Patent Citations (2)
| Title |
|---|
| Photoshop在人物照片处理中的运用;吴杰;;智库时代(第39期);全文 * |
| 基于仿射变换和线性回归的3D人脸姿态估计方法;邱丽梅;胡步发;;计算机应用(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113298698A (zh) | 2021-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9813614B2 (en) | Method and system for analog/digital image simplification and stylization | |
| Di Blasi et al. | Artificial mosaics | |
| CN111445384B (zh) | 一种通用人像照片漫画风格化方法 | |
| CN111445410A (zh) | 基于纹理图像的纹理增强方法、装置、设备和存储介质 | |
| CN109712095B (zh) | 一种快速边缘保留的人脸美化方法 | |
| CN105095857B (zh) | 基于关键点扰动技术的人脸数据增强方法 | |
| CN104282002A (zh) | 一种数字图像的快速美容方法 | |
| CN103440633B (zh) | 一种数字图像自动祛除斑点的方法 | |
| CN106056650A (zh) | 基于快速表情信息提取和泊松融合的人脸表情合成方法 | |
| CN107194869A (zh) | 一种图像处理方法及终端、计算机存储介质、计算机设备 | |
| Jung | Image contrast enhancement using color and depth histograms | |
| WO2023284738A1 (zh) | 美化图像的方法和系统 | |
| CN111243051A (zh) | 基于肖像照片的简笔画生成方法、系统及存储介质 | |
| Zhang et al. | Atmospheric perspective effect enhancement of landscape photographs through depth-aware contrast manipulation | |
| CN113298698B (zh) | 一种用于非编工程中人脸关键点的祛眼袋方法 | |
| CN111524204B (zh) | 一种人像发丝动漫化纹理生成方法 | |
| CN114862729A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Guo et al. | Saliency-based content-aware lifestyle image mosaics | |
| CN116612263A (zh) | 一种感知潜视觉合成一致性动态拟合的方法及装置 | |
| CN111402407A (zh) | 基于单幅rgbd图像的高精度肖像模型快速生成方法 | |
| CN114155569B (zh) | 一种化妆进度检测方法、装置、设备及存储介质 | |
| CN102592295B (zh) | 一种图像处理的方法和装置 | |
| CN111080667B (zh) | 一种快速人像照片的自动构图裁剪方法及系统 | |
| CN110473295B (zh) | 一种基于三维人脸模型进行美颜处理的方法和设备 | |
| CN114820340A (zh) | 基于图像处理的唇纹去除方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |