CN113298698A - 一种用于非编工程中人脸关键点的祛眼袋方法 - Google Patents
一种用于非编工程中人脸关键点的祛眼袋方法 Download PDFInfo
- Publication number
- CN113298698A CN113298698A CN202110484599.0A CN202110484599A CN113298698A CN 113298698 A CN113298698 A CN 113298698A CN 202110484599 A CN202110484599 A CN 202110484599A CN 113298698 A CN113298698 A CN 113298698A
- Authority
- CN
- China
- Prior art keywords
- eye
- points
- mask
- face
- transformation matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000009466 transformation Effects 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims abstract description 27
- 238000001914 filtration Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 8
- 230000003796 beauty Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Abstract
本发明公开了一种用于非编工程中人脸关键点的祛眼袋方法,包括以下步骤:S1,获取参考人脸的标记点以及眼袋区域的蒙版;S2,当前帧进行人脸检测,并记录参考人脸的标记点;S3,将当前帧的标记点和参考帧标记点进行回归,得到最优变换矩阵;S4,将参考眼袋区域蒙版经过变换矩阵映射到当前帧,得到当前帧的眼袋区域蒙版;S5,通过蒙版裁切出眼袋区域;S6,对眼袋区域进行低频滤波;S7,对蒙版进行高斯羽化处理;S8,利用混合公式将低频图像与原图进行混合。本发明通过利用智能图形图像识别技术,建立人物脸眼袋关键点模型,能够快速有效的祛除脸部眼袋。
Description
技术领域
本发明涉及视频编辑技术领域,尤其涉及一种用于非编工程中人脸关键点的祛眼袋方法。
背景技术
随着媒体行业的不断发展,特别是通过网络的快速传播,内容传播的速度更加迅速,覆盖的受众群体更广泛。因此在公众节目中如何让人物脸部画面呈现更加美观,特别是祛眼袋功能受到广中老年用户的追捧。
目前常用的祛眼袋方法,是需要剪辑人员在非编中一帧一帧的进行修补美化,遇到小角度脸部呈现,例如斜侧面等在修过美化过程中是十分复杂且繁琐的,这种方式虽然也能满足实际应用,但精准度低下,且用户在使用过程中的体验较差。
如申请号为CN201910647166.5的专利申请公开了一种图像处理方法、装置、电子设备及存储介质,该方法包括:对待处理图像进行面部识别,确定所述待处理图像的脸部区域;获取所述待处理图像的目标场景类型;根据预先配置的场景类型与美颜参数之间的对应关系,确定与所述目标场景类型对应的目标美颜参数;根据所述目标美颜参数对所述待处理图像的脸部区域进行美颜处理。虽然该方案可以对各种场景类型调节出满意的美颜效果,但是还存在祛眼袋效果不好,处理效率不够高的问题。
发明内容
本发明的目的在于克服现有技术的不足,提供一种用于非编工程中人脸关键点的祛眼袋方法,通过智能图形图像识别技术,建立人物脸眼袋关键点模型,此方法能够快速有效的祛除脸部眼袋。
本发明的目的是通过以下技术方案来实现的:
一种用于非编工程中人脸关键点的祛眼袋方法,包括以下步骤:
S1,获取参考人脸的标记点以及眼袋区域的蒙版;
S2,当前帧进行人脸检测,并记录参考人脸的标记点;
S3,将当前帧的标记点和参考帧标记点进行回归,得到最优变换矩阵;
S4,将参考眼袋区域蒙版经过变换矩阵映射到当前帧,得到当前帧的眼袋区域蒙版;
S5,通过蒙版裁切出眼袋区域;
S6,对眼袋区域进行低频滤波;
S7,对蒙版进行高斯羽化处理;
S8,利用混合公式将低频图像与原图进行混合。
具体的,步骤S3具体包括以下子步骤:
S31,可选标记点为左右眼的内眼角和鼻沟正中心,总共标记点数量记为N;
S32,参考点的标记点记SrcMarks,当前帧人脸的标记记为DstMarks,SrcMarks和DstMarks分别为3*N矩阵,其中每一列为一个标记点的齐次坐标;变换矩阵记为M为3*3变换矩阵,则正向变换为DStMarks=M*SrcMarks,其中,变换矩阵M可通过最小二乘法计算获得。
具体的,步骤S6中对眼袋区域进行低频滤波具体包括:使用滤波器核h对眼袋区域进行低频滤波,滤波过程如下式所示:
其中,h为滤波器核,src为原始图像,skin为肤色模板,lowpass为滤波结果,m,n为当前像素点的坐标,i,j为滤波器核的坐标。
(6.2)滤波过程中采用了肤色检测生成肤色蒙版skin,剔除非肤色点的影响。
(6.3)Src和lowpass可选择的颜色空间有RGB,或YUV、Lab等颜色空间的亮度相关通道。
具体的,步骤S8中的混合公式如下式所示:
dst=(1.0-mask)*src+mask*lowpass;
其中,dst为混合结果,mask为混合蒙版。
步骤S4具体包括:参考点的标记点坐标记SrcMarks,当前帧人脸的标记点坐标为DstMarks,SrcMarks和DstMarks分别为3*N矩阵,其中每一列为一个标记点的齐次坐标;变换矩阵记为M为3*3变换矩阵,则正向变换为DStMarks=M*SrcMarks,其中,变换矩阵M可通过最小二乘法进行求解。
本发明的有益效果:本发明通过获取参考人脸的标记点以及眼袋区域的蒙版,对当前帧进行人脸检测,并记录参考人脸的标记点,将当前帧的标记点和参考帧标记点进行回归,得到最优变换矩阵,将参考眼袋区域蒙版经过变换矩阵映射到当前帧,得到当前帧的眼袋区域蒙版;通过蒙版裁切出眼袋区域,对眼袋区域进行低频滤波;对蒙版进行高斯羽化处理;利用混合公式将低频图像与原图进行混合,获得最终的人脸图像。本发明通过利用智能图形图像识别技术,建立人物脸眼袋关键点模型,能够快速有效的祛除脸部眼袋。
附图说明
图1是本发明的方法流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图说明本发明的具体实施方式。
本实施例中,如图1所示,一种用于非编工程中人脸关键点的祛眼袋方法,包括以下步骤:
S1,获取参考人脸的标记点以及眼袋区域的蒙版;人脸标记包括但不限于人脸外轮廓、五官等。
S2,当前帧进行人脸检测,并记录参考人脸的标记点;
S3,当前帧的标记点和参考帧标记点进行回归,得到最优变换矩阵;
S4,将参考眼袋区域蒙版经过变换矩阵映射到当前帧,得到当前帧的眼袋区域蒙版;
S5,通过蒙版裁切出眼袋区域,眼袋区域=蒙版&原图;
S6,对眼袋区域进行低频滤波;
S7,对蒙版进行高斯羽化处理;
S8,利用混合公式将低频图像与原图进行混合。
具体的,步骤S3具体包括以下流程:
(3.1)可选标记点为左右眼的内眼角和鼻沟正中心,总共标记点数量记为N;
(3.2)参考点的标记点记SrcMarks,当前帧人脸的标记记为DstMarks,SrcMarks和DstMarks分别为3*N矩阵,其中每一列为一个标记点的齐次坐标。变换矩阵记为M为3*3变换矩阵。则正向变换为DStMarks=M*SrcMarks,变换矩阵M可通过最小二乘法得到。
具体的,步骤S6中使用滤波器核h对眼袋区域进行低频滤波具体包括:使用滤波器核h对眼袋区域进行低频滤波,滤波过程如下式所示:
其中,h为滤波器核,src为原始图像,skin为肤色模板,lowpass为滤波结果,m,n为当前像素点的坐标,i,j为滤波器核的坐标。
(6.2)滤波过程中采用了肤色检测生成肤色蒙版skin,剔除非肤色点的影响。
(6.3)Src和lowpass可选择的颜色空间有RGB,或YUV、Lab等颜色空间的亮度相关通道。
具体的,步骤S8中的混合公式如下式所示:
dst=(1.0-mask)*src+mask*lowpass;
其中,dst为混合结果,mask为混合蒙版。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。
Claims (5)
1.一种用于非编工程中人脸关键点的祛眼袋方法,其特征在于,包括以下步骤:
S1,获取参考人脸的标记点以及眼袋区域的蒙版;
S2,当前帧进行人脸检测,并记录参考人脸的标记点;
S3,将当前帧的标记点和参考帧标记点进行回归,得到最优变换矩阵;
S4,将参考眼袋区域蒙版经过变换矩阵映射到当前帧,得到当前帧的眼袋区域蒙版;
S5,通过蒙版裁切出眼袋区域;
S6,对眼袋区域进行低频滤波;
S7,对蒙版进行高斯羽化处理;
S8,利用混合公式将低频图像与原图进行混合。
2.根据权利要求1所述的一种用于非编工程中人脸关键点的祛眼袋方法,其特征在于,所述步骤S3具体包括以下子步骤:
S31,可选标记点为左右眼的内眼角和鼻沟正中心,总共标记点数量记为N;
S32,参考点的标记点记SrcMarks,当前帧人脸的标记记为DstMarks,SrcMarks和DstMarks分别为3*N矩阵,其中每一列为一个标记点的齐次坐标;变换矩阵记为M为3*3变换矩阵,则正向变换为DstMarks=M*SrcMarks,其中,变换矩阵M可通过最小二乘法计算获得。
4.根据权利要求1所述的一种用于非编工程中人脸关键点的祛眼袋方法,其特征在于,所述步骤S8中的混合公式如下式所示:
dst=(1.0-mask)*src+mask*lowpass;
其中,dst为混合结果,mask为混合蒙版。
5.根据权利要求1所述的一种用于非编工程中人脸关键点的祛眼袋方法,其特征在于,所述步骤S4具体包括:参考点的标记点坐标记SrcMarks,当前帧人脸的标记点坐标为DstMarks,SrcMarks和DstMarks分别为3*N矩阵,其中每一列为一个标记点的齐次坐标;变换矩阵记为M为3*3变换矩阵,则正向变换为DStMarks=M*SrcMarks,其中,变换矩阵M可通过最小二乘法进行求解。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110484599.0A CN113298698B (zh) | 2021-04-30 | 2021-04-30 | 一种用于非编工程中人脸关键点的祛眼袋方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110484599.0A CN113298698B (zh) | 2021-04-30 | 2021-04-30 | 一种用于非编工程中人脸关键点的祛眼袋方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113298698A true CN113298698A (zh) | 2021-08-24 |
CN113298698B CN113298698B (zh) | 2024-02-02 |
Family
ID=77320787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110484599.0A Active CN113298698B (zh) | 2021-04-30 | 2021-04-30 | 一种用于非编工程中人脸关键点的祛眼袋方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113298698B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105608722A (zh) * | 2015-12-17 | 2016-05-25 | 成都品果科技有限公司 | 一种基于人脸关键点的自动去眼袋方法及系统 |
CN105979195A (zh) * | 2016-05-26 | 2016-09-28 | 努比亚技术有限公司 | 一种视频图像处理装置和方法 |
US20170262970A1 (en) * | 2015-09-11 | 2017-09-14 | Ke Chen | Real-time face beautification features for video images |
CN107862673A (zh) * | 2017-10-31 | 2018-03-30 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
CN108898546A (zh) * | 2018-06-15 | 2018-11-27 | 北京小米移动软件有限公司 | 人脸图像处理方法、装置及设备、可读存储介质 |
EP3617937A1 (en) * | 2018-09-03 | 2020-03-04 | Toshiba Electronic Devices & Storage Corporation | Image processing device, driving assistance system, image processing method, and program |
CN112149672A (zh) * | 2020-09-29 | 2020-12-29 | 广州虎牙科技有限公司 | 图像处理方法和装置、电子设备及存储介质 |
-
2021
- 2021-04-30 CN CN202110484599.0A patent/CN113298698B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170262970A1 (en) * | 2015-09-11 | 2017-09-14 | Ke Chen | Real-time face beautification features for video images |
CN105608722A (zh) * | 2015-12-17 | 2016-05-25 | 成都品果科技有限公司 | 一种基于人脸关键点的自动去眼袋方法及系统 |
CN105979195A (zh) * | 2016-05-26 | 2016-09-28 | 努比亚技术有限公司 | 一种视频图像处理装置和方法 |
CN107862673A (zh) * | 2017-10-31 | 2018-03-30 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
CN108898546A (zh) * | 2018-06-15 | 2018-11-27 | 北京小米移动软件有限公司 | 人脸图像处理方法、装置及设备、可读存储介质 |
EP3617937A1 (en) * | 2018-09-03 | 2020-03-04 | Toshiba Electronic Devices & Storage Corporation | Image processing device, driving assistance system, image processing method, and program |
CN112149672A (zh) * | 2020-09-29 | 2020-12-29 | 广州虎牙科技有限公司 | 图像处理方法和装置、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
吴杰;: "Photoshop在人物照片处理中的运用", 智库时代, no. 39 * |
邱丽梅;胡步发;: "基于仿射变换和线性回归的3D人脸姿态估计方法", 计算机应用, no. 12 * |
Also Published As
Publication number | Publication date |
---|---|
CN113298698B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bhat et al. | Gradientshop: A gradient-domain optimization framework for image and video filtering | |
Jiang et al. | Unsupervised decomposition and correction network for low-light image enhancement | |
CN104978715B (zh) | 一种基于滤波窗口及参数自适应的非局部均值图像去噪方法 | |
Di Blasi et al. | Artificial mosaics | |
Yang | Semantic filtering | |
CN104517265A (zh) | 智能磨皮方法和装置 | |
CN103914699A (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
CA2424963A1 (en) | Method and system for enhancing portrait images | |
WO2001026050A2 (en) | Improved image segmentation processing by user-guided image processing techniques | |
CN104282002A (zh) | 一种数字图像的快速美容方法 | |
Kim et al. | Low-light image enhancement based on maximal diffusion values | |
CN102750671B (zh) | 一种图像彩色噪声去除方法 | |
CN109712095B (zh) | 一种快速边缘保留的人脸美化方法 | |
CN104063888B (zh) | 一种基于非真实感的波谱艺术风格绘制方法 | |
CN108986185B (zh) | 基于深度学习的图像数据扩增方法 | |
CN107194869A (zh) | 一种图像处理方法及终端、计算机存储介质、计算机设备 | |
CN103295210A (zh) | 婴儿图像合成方法及装置 | |
CN104463777A (zh) | 一种基于人脸的实时景深的方法 | |
Li et al. | A simple framework for face photo-sketch synthesis | |
CN106203428B (zh) | 基于模糊估计融合的图像显著性检测方法 | |
CN111179156B (zh) | 一种基于人脸检测的视频美化方法 | |
Zhang et al. | Atmospheric perspective effect enhancement of landscape photographs through depth-aware contrast manipulation | |
CN113298698A (zh) | 一种用于非编工程中人脸关键点的祛眼袋方法 | |
CN110660018B (zh) | 一种面向图像的非均匀风格迁移方法 | |
Guo et al. | Saliency-based content-aware lifestyle image mosaics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |