CN108062742B - 一种利用数字图像处理和变形的眉毛更换方法 - Google Patents

一种利用数字图像处理和变形的眉毛更换方法 Download PDF

Info

Publication number
CN108062742B
CN108062742B CN201711494697.2A CN201711494697A CN108062742B CN 108062742 B CN108062742 B CN 108062742B CN 201711494697 A CN201711494697 A CN 201711494697A CN 108062742 B CN108062742 B CN 108062742B
Authority
CN
China
Prior art keywords
eyebrow
value
image
eyebrows
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711494697.2A
Other languages
English (en)
Other versions
CN108062742A (zh
Inventor
容李庆
袁亚荣
罗杰
林锴
汤俊杰
陈纯敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Eryuan Technology Co ltd
Original Assignee
Guangzhou Eryuan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Eryuan Technology Co ltd filed Critical Guangzhou Eryuan Technology Co ltd
Priority to CN201711494697.2A priority Critical patent/CN108062742B/zh
Publication of CN108062742A publication Critical patent/CN108062742A/zh
Application granted granted Critical
Publication of CN108062742B publication Critical patent/CN108062742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/403—Edge-driven scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明涉及一种利用数字图像处理和变形的眉毛更换方法,利用数字图像处理技术和变形方法对基于人脸检测和五官定位系统得到的人脸眉毛标点数据对眉毛进行更换，达到眉毛的改变和上妆的效果,使得更换后的效果与人脸更加贴合，更加自然一致。

Description

一种利用数字图像处理和变形的眉毛更换方法
技术领域
本发明涉及一种利用数字图像处理和变形的眉毛更换方法。
背景技术
在当下智能化移动设备普遍普及的环境中，越来越多的使用带数字图像处理功能的软件对图像进行各种的数字化处理，其中包括数字图像的化妆功能。在数字图像的化功能中针对不同的五官部位化妆有不同的方案，如唇部和腮红部位的颜色变换，眉毛和瞳孔部位的贴图实现。通过一系列的数字图像处理，得到美妆和化妆的效果。
关于数字图像处理更换眉毛的方法中，主要方法是应用图片的裁剪和粘贴进行实现。为了更换原始数字图像中的人脸中的眉毛，一般处理方法是通过计算原始眉毛的长宽，利用数字图像的融合技术进行两种图像的融合，达到更换眉毛的效果。在这个过程中实现得到的效果往往难以达到最为理想的效果，特别是在不同的眉毛风格、不同的人脸眉毛形状结构、不同的光线环境下等。
发明内容
本发明旨在提供一种利用数字图像处理和变形的眉毛更换方法,利用数字图像处理技术和变形方法对基于人脸检测和五官定位系统得到的人脸眉毛标点数据对眉毛进行更换，达到眉毛的改变和上妆的效果。
为解决上述技术问题，本发明所采用的技术方案是：
一种利用数字图像处理和变形的眉毛更换方法，包括以下步骤：
1)原始图像输入人脸识别系统和五官定位系统，得到人脸的位置坐标信息和人脸关键点的坐标信息，其中包含左右眉毛的关键点坐标信息；
2)将原图进行归一化处理，归一化的目的是为了使得图像的像素值集中在0.0～1.0之间，以方便后续步骤的数字图像处理；
3)提取左右眉毛部分和左右眼睛部位的关键点坐标，分别组成关键点坐标集合
4)分别得到左右眉毛轮廓的拟合曲线，以及拟合曲线上的坐标合集；
5)根据眉毛的拟合曲线计算曲线每个坐标点的斜率值，对曲线进行求导数，代入曲线中每个坐标点值，得到斜率的一个合集；
6)获取需要更换的眉毛样本以及数据，眉毛样本为仅包含眉毛在内的最小化尺寸图片，每个眉毛样本又包含一份文本文件，该文本文件记录了眉毛样本的关键点坐标位置；
7)构建一个与原图尺寸大小完全一致的图像，像素值全为1.0；
8)根据五官定位中获取的眉毛坐标计算眉毛的宽度和高度，取眉毛横轴坐标最小值与最大值的差为眉毛宽度，取眉毛纵轴坐标的最小值与最大值的差为眉毛的高度；
9)计算眉毛样本中的眉毛宽度和高度；
10)根据眉毛的最高点计算与眼睛最高点之间的差距，判断眉毛样本经过等比例缩放后的高度与该差距的大小关系；当样本眉毛的高度大于该差距的三分之二时将眉毛高度通过缩放至差值的三分之二大小；
11)计算寻求原始图像中的眉毛的中心点位置，以及眉毛样本的中心点的位置坐标；
12)对眉毛样本图像进行归一化处理，通过图像剪切的方法将眉毛样本合成到该空白图像中；
13)根据眉毛样本文本中的坐标信息分别得到左右样本眉毛轮廓的拟合曲线，分别进行求导数从而求出每个曲线上的点的斜率的集合；
14)设定一个阈值，分别一一对应原始图像眉毛的曲线斜率集合与眉毛样本的曲线斜率集合之间的差值，当差值大于阈值的时候则利用原始眉毛的斜率求出眉毛样本该点新的坐标值，组合成为一个需要变形的坐标的合集；
15)对需要变形的坐标的合集进行变形；
16)去除原始图像中的眉毛，对原图像的眉毛进行去除修复操作；
17)使用图像融合方式将步骤15得到的图像与步骤16处理后的图像进行图像融合处理；
18)将融合后的图像进行还原操作，得到最终的效果图。
本发明具有的优点：
1.本发明利用样本眉毛的左右翻转，从而使左右眉毛保持一致，并使得预处理眉毛样本更为简单容易。
2.利用眉毛样本和人脸定位系统中定位眉毛坐标点一一对应的结构关系，使得在眉毛变形计算中获得更加精确的形状和变形的计算。
3.计算原始眉毛上下边缘的曲线的每个坐标点的斜率与眉毛样本上下边缘的曲线每个坐标点的斜率之间的差值，当大于阈值的时候进行相应变形操作，确保了新的眉毛的形状，又很好的拟合到原始眉毛相对于人脸的结构形状，使得更加统一和真实。
使用图像融合技术，使得变换后的效果图得到更好的效果。特别是在不同的光线和不同的环境下的变化。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例流程示意图；
图2为本发明实施例眉毛中心获取图示。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
结合图1所示，一种利用数字图像处理和变形的眉毛更换方法，详细流程如下。
1.原始图像输入人脸识别系统和五官定位系统，得到人脸的位置坐标信息和人脸关键点的坐标信息，其中包含左右眉毛的关键点坐标信息。
2.将原图进行归一化处理，归一化的目的是为了使得图像的像素值集中在0.0～1.0之间，以方便后续步骤的数字图像处理。
归一化处理公式如下所示：
C＝(A-MinValue)/(MaxValue-MinValue)
中MinValue取值为0.0，MaxValue取值为255.0
3.提取左右眉毛部分和左右眼睛部位的关键点坐标，分别组成关键点坐标集合。
4.利用道格拉斯-普克算法(Douglas–Peuckeralgorithm)分别得到左右眉毛轮廓的拟合曲线y＝f(x)(仅计算上边缘曲线和下边缘曲线)，以及曲线上的坐标合集。
5.根据眉毛的拟合曲线计算曲线每个坐标点的斜率值，对曲线进行求导数得到y＝f′(x)，代入曲线中每个坐标点值，得到斜率的一个合集。
6.获取需要更换的眉毛样本以及数据。眉毛样本为仅包含眉毛在内的最小化尺寸图片，每个眉毛样本又包含一份文本文件，该文本文件记录了眉毛样本的关键点坐标位置(相对坐标)。其中关键点位置组合与五官定位中获取的眉毛关键点进行一一的对应关系。特别地，本方法中全部的眉毛样本均为右边的眉毛，左边的眉毛利用数字图像翻转方法得到。
7.构建一个与原图尺寸大小完全一致的图像，像素值全为1.0。
8.根据五官定位中获取的眉毛坐标计算眉毛的宽度和高度，取眉毛横轴坐标最小值与最大值的差为眉毛宽度，取眉毛纵轴坐标的最小值与最大值的差为眉毛的高度。
9.使用与步骤8中的方法同样计算眉毛样本中的眉毛宽度和高度。以眉毛的宽度作为标准等比缩放眉毛样本的宽度和原始人脸中的眉毛宽度一致。
10.根据眉毛的最高点(纵轴坐标最小小)计算与眼睛(左右跟别一一对应)最高点(纵轴坐标最小)之间的差距，判断眉毛样本经过等比例缩放后的高度与该差距的大小关系，当样本眉毛的高度大于该差距的三分之二的时候则将眉毛高度通过缩放至差值的三分之二大小。
11.计算寻求原始图像中的眉毛的中心点位置，计算方式如图2所示。按照同样的方法计算眉毛样本的中心点的位置坐标。
12.由于步骤7中的图像与原始图像的尺寸大小完全一致，使用相同的方式对眉毛样本图像进行归一化处理。通过图像剪切的方法将眉毛样本合成到该空白图像中。合成的位置为眉毛图像的中心点与空白图中坐标与原图中眉毛的中心点坐标相同的点进行重合。
13.根据眉毛样本文本中的坐标信息利用道格拉斯-普克算法(Douglas–Peuckeralgorithm)分别得到左右样本眉毛轮廓的拟合曲线y＝f(x)，分别进行求导数，得到y＝f'(x)，从而求出每个曲线上的点的斜率的集合。
14.设定一个阈值，分别一一对应原始图像眉毛的曲线斜率集合与眉毛样本的曲线斜率集合(左右对应，上下曲线对应)之间的差值，当差值大于阈值的时候则利用原始眉毛的斜率求出眉毛样本该点新的坐标值(横轴和纵轴的坐标值)，组合成为一个需要变形的坐标的合集。
15.使用移动的最小二乘法对需要变形的坐标的合集进行变形。这一个步骤主要是为了实现保留新的眉毛样本的眉形结构，而又能很好的使用当前人脸的眉形结构，使之更为统一和获得更好的效果。
16.去除原始图像中的眉毛，利用FMM方法(《An Image Inpainting TechniqueBased on the Fast March Method》)对原图像的眉毛进行去除修复操作。
17.使用图像融合方式将步骤15得到的图像与步骤16处理后的图像进行图像融合处理，融合公式为：
C＝Ax B
其中C为单个像素融合后的结果，A和B分别为两张图像中坐标相同的单点像素值。
18.将融合后的图像进行还原操作，得到最终的效果图。还原公式如下
C＝Ax(MaxValue-MinValue)+MinValue
其中MinValue取值为0.0，MaxValue取值为255.0
本发明中使用的眉毛样本为右边的眉毛样本，因为左眉毛与右方的眉毛存在对称和一致的结构关系，所以左边的眉毛通过右边的眉毛样本进行水平翻转180°后得到。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种利用数字图像处理和变形的眉毛更换方法，其特征在于包括以下步骤：
1)原始图像输入人脸识别系统和五官定位系统，得到人脸的位置坐标信息和人脸关键点的坐标信息，其中包含左右眉毛的关键点坐标信息；
2)将原图进行归一化处理，归一化的目的是为了使得图像的像素值集中在0.0～1.0之间，以方便后续步骤的数字图像处理；
3)提取左右眉毛部分和左右眼睛部位的关键点坐标，分别组成关键点坐标集合；
4)分别得到左右眉毛轮廓的拟合曲线，以及拟合曲线上的坐标合集；
5)根据眉毛的拟合曲线计算曲线每个坐标点的斜率值，对曲线进行求导数，代入曲线中每个坐标点值，得到斜率的一个合集；
6)获取需要更换的眉毛样本以及数据，眉毛样本为仅包含眉毛在内的最小化尺寸图片，每个眉毛样本又包含一份文本文件，该文本文件记录了眉毛样本的关键点坐标位置；
7)构建一个与原图尺寸大小完全一致的图像，像素值全为1.0；
8)根据五官定位中获取的眉毛坐标计算眉毛的宽度和高度，取眉毛横轴坐标最小值与最大值的差为眉毛宽度，取眉毛纵轴坐标的最小值与最大值的差为眉毛的高度；
9)计算眉毛样本中的眉毛宽度和高度；
10)根据眉毛的最高点计算与眼睛最高点之间的差距，判断眉毛样本经过等比例缩放后的高度与该差距的大小关系；当样本眉毛的高度大于该差距的三分之二时将眉毛高度通过缩放至差值的三分之二大小；
11)计算寻求原始图像中的眉毛的中心点位置，以及眉毛样本的中心点的位置坐标；
12)对眉毛样本图像进行归一化处理，通过图像剪切的方法将眉毛样本合成到步骤7)所构建的图像中；
13)根据眉毛样本文本中的坐标信息分别得到左右样本眉毛轮廓的拟合曲线，分别进行求导数从而求出每个曲线上的点的斜率的集合；
14)设定一个阈值，分别一一对应原始图像眉毛的曲线斜率集合与眉毛样本的曲线斜率集合之间的差值，当差值大于阈值的时候则利用原始眉毛的斜率求出眉毛样本该点新的坐标值，组合成为一个需要变形的坐标的合集；
15)对需要变形的坐标的合集进行变形；
16)去除原始图像中的眉毛，对原图像的眉毛进行去除修复操作；
17)使用图像融合方式将步骤15得到的图像与步骤16处理后的图像进行图像融合处理；
18)将融合后的图像进行还原操作，得到最终的效果图。
2.根据权利要求1所述的一种利用数字图像处理和变形的眉毛更换方法，其特征在于：
所述步骤2)中，归一化处理公式如下所示：
C＝(A-MinValue)/(MaxValue-MinValue)
中MinValue取值为0.0，MaxValue取值为255.0，A为原图图像像素点值，C为原图归一化处理后的像素点值。
3.根据权利要求1所述的一种利用数字图像处理和变形的眉毛更换方法，其特征在于：
所述步骤4)中，利用道格拉斯-普克算法分别得到左右眉毛轮廓的拟合曲线。
4.根据权利要求1所述的一种利用数字图像处理和变形的眉毛更换方法，其特征在于：
所述步骤6)中，关键点位置组合与五官定位中获取的眉毛关键点进行一一的对应关系。
5.根据权利要求1所述的一种利用数字图像处理和变形的眉毛更换方法，其特征在于：
所述步骤12)中，合成的位置为眉毛图像的中心点与空白图中坐标与原图中眉毛的中心点坐标相同的点进行重合。
6.根据权利要求1所述的一种利用数字图像处理和变形的眉毛更换方法，其特征在于：
所述步骤13)中，根据眉毛样本文本中的坐标信息利用道格拉斯-普克算法分别得到左右样本眉毛轮廓的拟合曲线。
7.根据权利要求1所述的一种利用数字图像处理和变形的眉毛更换方法，其特征在于：
所述步骤17)中的融合公式为：
P＝MxN
其中P为单个像素融合后的结果，M和N分别为两张图像中坐标相同的单点像素值。
8.根据权利要求1所述的一种利用数字图像处理和变形的眉毛更换方法，其特征在于：
所述步骤18)中的还原操作公式为：
Z＝Y x(MaxValue-MinValue)+MinValue
其中MinValue取值为0.0，MaxValue取值为255.0，Y为融合后图像的像素点值，Z为还原处理后的像素点值。
CN201711494697.2A 2017-12-31 2017-12-31 一种利用数字图像处理和变形的眉毛更换方法 Active CN108062742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711494697.2A CN108062742B (zh) 2017-12-31 2017-12-31 一种利用数字图像处理和变形的眉毛更换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711494697.2A CN108062742B (zh) 2017-12-31 2017-12-31 一种利用数字图像处理和变形的眉毛更换方法

Publications (2)

Publication Number Publication Date
CN108062742A CN108062742A (zh) 2018-05-22
CN108062742B true CN108062742B (zh) 2021-05-04

Family

ID=62140975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711494697.2A Active CN108062742B (zh) 2017-12-31 2017-12-31 一种利用数字图像处理和变形的眉毛更换方法

Country Status (1)

Country Link
CN (1) CN108062742B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255814A (zh) * 2018-09-20 2019-01-22 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN113409185B (zh) * 2021-05-14 2024-03-05 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113689325A (zh) * 2021-07-12 2021-11-23 深圳数联天下智能科技有限公司 一种数字化美型眉毛的方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103562964A (zh) * 2011-06-07 2014-02-05 欧姆龙株式会社 图像处理装置、信息生成装置、图像处理方法、信息生成方法、控制程序及记录介质
CN103955675A (zh) * 2014-04-30 2014-07-30 上海华博信息服务有限公司 一种人脸特征提取方法
CN107153805A (zh) * 2016-03-02 2017-09-12 北京美到家科技有限公司 定制化美妆辅助装置和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208567B2 (en) * 2013-06-04 2015-12-08 Apple Inc. Object landmark detection in images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103562964A (zh) * 2011-06-07 2014-02-05 欧姆龙株式会社 图像处理装置、信息生成装置、图像处理方法、信息生成方法、控制程序及记录介质
CN103955675A (zh) * 2014-04-30 2014-07-30 上海华博信息服务有限公司 一种人脸特征提取方法
CN107153805A (zh) * 2016-03-02 2017-09-12 北京美到家科技有限公司 定制化美妆辅助装置和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Human eyebrow recognition in the matching-recognizing framework;Yujian Li等;《Computer Vision and Image Understanding》;20121102;第170-181页 *
基于人脸五官结构特征的表情识别研究;马飞等;《计算机与数字工程》;20110930;第39卷(第9期);第111-113页 *
眉毛外部特征的提取方法;纪滨等;《安徽工业大学学报(自然科学版)》;20170731;第34卷(第3期);第296-301页 *

Also Published As

Publication number Publication date
CN108062742A (zh) 2018-05-22

Similar Documents

Publication Publication Date Title
CN109376582B (zh) 一种基于生成对抗网络的交互式人脸卡通方法
CN108765273B (zh) 人脸拍照的虚拟整容方法和装置
CN104008569B (zh) 一种基于深度视频的3d场景生成方法
CN102324019B (zh) 一种视频序列中自动提取手势候选区域的方法及系统
CN107831900B (zh) 一种眼控鼠标的人机交互方法及系统
EP3839879B1 (en) Facial image processing method and apparatus, image device, and storage medium
CN108062742B (zh) 一种利用数字图像处理和变形的眉毛更换方法
CN113205040A (zh) 人脸图像处理方法、装置和电子设备
CN107730449B (zh) 一种人脸五官美化处理的方法及系统
CN106709931B (zh) 一种脸谱映射至人脸的方法、脸谱映射装置
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
KR20200027030A (ko) 얼굴 표정 합성 방법과 장치, 전자 기기, 및 저장 매체
CN106909875A (zh) 人脸脸型分类方法和系统
CN102567716B (zh) 一种人脸合成系统及实现方法
CN109801380A (zh) 一种虚拟试衣的方法、装置、存储介质及计算机设备
CN102486868A (zh) 一种基于平均脸的美丽人脸合成方法
CN105760834A (zh) 一种人脸特征点定位方法
CN104361131B (zh) 四维人脸模型数据库的建立方法
CN108734078B (zh) 图像处理方法、装置、电子设备、存储介质及程序
CN103606190A (zh) 单张人脸正面照片自动转换为三维人脸模型的方法
CN106056650A (zh) 基于快速表情信息提取和泊松融合的人脸表情合成方法
CN105718885B (zh) 一种人脸特征点跟踪方法
CN104392233B (zh) 一种基于区域的图像显著图提取方法
RU2697627C1 (ru) Способ корректировки освещенности объекта на изображении в последовательности изображений и вычислительное устройство пользователя, реализующее упомянутый способ
CN104253994B (zh) 一种基于稀疏编码融合的夜间监控视频实时增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant