CN114627003A - 人脸图像的眼部脂肪去除方法、系统、设备及存储介质 - Google Patents
人脸图像的眼部脂肪去除方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN114627003A CN114627003A CN202210122204.7A CN202210122204A CN114627003A CN 114627003 A CN114627003 A CN 114627003A CN 202210122204 A CN202210122204 A CN 202210122204A CN 114627003 A CN114627003 A CN 114627003A
- Authority
- CN
- China
- Prior art keywords
- image
- eye
- eyelid
- contour
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 210000000744 eyelid Anatomy 0.000 claims abstract description 114
- 230000011218 segmentation Effects 0.000 claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000012216 screening Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 7
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 15
- 230000003796 beauty Effects 0.000 description 11
- 238000005238 degreasing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000003702 image correction Methods 0.000 description 6
- 206010030113 Oedema Diseases 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 5
- 206010052139 Eye oedema Diseases 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 150000002632 lipids Chemical class 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 208000004130 Blepharoptosis Diseases 0.000 description 1
- 206010015967 Eye swelling Diseases 0.000 description 1
- 206010015995 Eyelid ptosis Diseases 0.000 description 1
- 206010039703 Sclerema Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000003004 ptosis Diseases 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域，具体涉及人脸图像的眼部脂肪去除方法、系统、设备及存储介质。该方法包括：获取带有用户人脸的原始图像，根据人脸检测得到的人脸关键点，获得眼睑区域的蒙版图像；对所述蒙版图像所在眼部区域肤色统计，获得肤色的平均亮度并计算得到眼部区域肤色光影平整的权重；对眼睑部分图像进行眼部轮廓分割，获得分割结果图像，转化为二值图进行连通域检测，结合人脸特征点集判断筛选出眼睑轮廓，获取初始轮廓线；将初始轮廓线进行参数化，提取离散点集进行二次曲线拟合，得到新的轮廓线，对图像进行形变，得到眼型轮廓调整的结果图。本发明可以对眼部图像进行快速精修，极大地提升了图像处理的工作效率和眼部精修的质量。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种人脸图像的眼部脂肪去除方法、系统、设备及存储介质。
背景技术
眼综合是医美行业最受欢迎的项目之一，包括眼部脂肪去除和双眼皮等。美颜软件的开发和使用，则给了用户更多的选择，一方面可以使用软件进行仿真查看自己眼部医美后的效果，另一方面对于人像的美化效果也越来越受到喜欢修图的用户青睐。眼部脂肪去除项目针对的问题主要是眼型不够顺滑，眼皮肉肿、水肿感较重等，可以改善很多肿眼泡的眼睛形态。眼部去脂方案的设计直接影响到用户的体验感以及相关软件的收益，目前的人像眼部去脂方案存在以下弊端：
(1)通过专业软件(如PS等)来实现眼部精修，需要较高的学习成本，操作繁琐，对普通用户来说门槛较高，无法满足眼部精修的智能性和简单性需求。
(2)现有的图像眼部精修算法，可以对眼部放大、叠加双眼皮特效等，但是对于眼部水肿、眼睑下垂的问题没有改善，无法满足客户日益提高的眼部精修需求。
发明内容
为解决目前的人像眼部去脂方案存在的弊端问题，本发明提供了一种人脸图像的眼部脂肪去除方法、系统、设备及存储介质，利用创新的人像眼部光影平整算法结合眼型轮廓调整算法，使得没有专业修图知识的人，也可以对眼部图像进行快速精修。
本发明采用以下技术方案实现：
一种人脸图像的眼部脂肪去除方法，包括以下步骤：
获取带有用户人脸的原始图像，根据人脸检测得到的人脸关键点，获得眼睑区域的蒙版图像；
对所述蒙版图像所在眼部区域肤色统计，获得肤色的平均亮度并计算得到眼部区域肤色光影平整的权重；
对眼睑部分图像进行眼部轮廓分割，获得分割结果图像；
将获得的分割结果图像转化为二值图，进行连通域检测，结合人脸特征点集判断筛选出眼睑轮廓，获取初始轮廓线；
将获取的初始轮廓线进行参数化，提取离散点集进行二次曲线拟合，得到新的轮廓线，并将上的点作为初始轮廓线上的点形变后的坐标，对图像进行形变，得到眼型轮廓调整的结果图。
作为本发明的进一步方案，获取上眼睑区域的蒙版图像的方法，包括以下步骤：
通过人脸检测得到所述原始图像中人脸的特征点集p，其中，获取的带有用户人脸的原始图像标记为M；
通过索引查找眼睑部分的特征点集p′，将所述特征点集p′取包围盒，得到眼睑部分图像，记为m1；
根据获取的眼睑部分图像m1，判断是否为皮肤部分，皮肤部分是需要处理的区域，非皮肤部分直接将通道都置为0，处理后得到眼部图像m2；
将眼部图像m2转化为单通道图像，并采用二值化方法，将处理区域的皮肤部分通道设为255，不需要处理的非皮肤部分通道设为0，得到蒙版图像m3。
作为本发明的进一步方案，对所述蒙版图像所在眼部区域肤色统计，获得肤色的平均亮度并计算得到眼部区域肤色光影平整的权重的方法，包括以下步骤：
对眼部图像m2上蒙版图像m3所在区域的像素，进行统计，获得肤色统计结果，所述肤色统计结果通过计算均值得到眼睑部分图像m1区域的平均亮度
利用肤色平均亮度的加权公式，对m1区域的肤色进行调整；
利用肤色调整公式，得到光影平整后的肤色；
将眼睑区域光影平整的结果图保存为M1。
作为本发明的进一步方案，所述肤色平均亮度的加权公式为：
其中，u为当前像素的亮度，w为肤色调整权重。
作为本发明的进一步方案，所述肤色调整公式为：
c＝∑ci*wi
其中，c是当前调整后的颜色，ci为周围的颜色，wi为周围颜色的肤色调整权重。
作为本发明的进一步方案，所述对所述蒙版图像所在眼部区域肤色统计，获得肤色的平均亮度的方法包括：
遍历获取的所述原始图像眼部区域每个像素点的RGB值，分别累加取平均，得到颜色的平均值，利用RGB和HSV互相转换算法，得到平均亮度；其中，获取的原始图像由RGB通道组成的数据。
作为本发明的进一步方案，对眼睑部分图像进行眼部轮廓分割，获得分割结果图像的方法，包括以下步骤：
基于Canny边缘检测算法，将眼睑部分图像m1模糊处理，模糊处理后与Prewitt滤波器做卷积处理，得到水平和竖直方向的导数图像，记为H，V；
对所述眼睑部分的当前像素计算梯度方向和幅度，当幅度超过临界值时，分配得到一条边缘，边缘内部的图像为待保留的分割结果图像m4。
作为本发明的进一步方案，所述分割结果图像转化为二值图，进行连通域检测，结合人脸特征点集判断筛选出眼睑轮廓，获取初始轮廓线的方法为：
遍历所述二值图中每个像素点，将相同颜色的相邻像素指定为同一个连通域，记为连通域Di，得到n个连通域；
根据眼睑部分的特征点集p′中的特征点pi，依次计算与每个连通域的每个轮廓点pj的距离dij，得到最小值dmin，所述最小值dmin对应的连通域的轮廓线为眼睑轮廓；
每个特征点pi找到两个最近的连通域轮廓上的点，作为上眼睑轮廓线上的点，上眼睑轮廓线上的所有点组成轮廓线l，将包含了人脸特征点的连通域D的轮廓线l指定为上眼睑的轮廓。
作为本发明的进一步方案，将轮廓线l进行参数化，按照步长0.1提取得到离散点集，对点集进行二次曲线拟合，得到新的轮廓线l′，并将l′上的点作为l上的点形变后的坐标，对图像进行形变，得到眼型轮廓调整的结果图。
本发明还包括一种人脸图像的眼部脂肪去除系统，所述人脸图像的眼部脂肪去除系统采用前述人脸图像的眼部脂肪去除方法对人像眼部去脂修图，所述人脸图像的眼部脂肪去除系统包括眼睑区域光影平整模块和眼部轮廓调整模块。
所述眼睑区域光影平整模块用于对获取的一张带有用户人脸的原始图像处理，得到眼睑区域光影平整的结果图；所述眼部轮廓调整模块用于对眼睑部分图像进行处理，得到眼型轮廓调整的结果图。
作为本发明的进一步方案，所述眼睑区域光影平整模块包括蒙版图像生成单元和权重计算单元，所述蒙版图像生成单元用于根据人脸检测得到所述原始图像的人脸关键点，获得眼睑区域的蒙版图像；所述权重计算单元用于对所述蒙版图像所在眼部区域肤色统计，获得肤色的平均亮度并计算得到眼部区域肤色光影平整的权重。
作为本发明的进一步方案，所述眼部轮廓调整模块包括图像分割单元、轮廓线筛选单元和图形轮廓形变单元，所述图像分割单元用于对眼睑部分图像进行眼部轮廓分割，获得分割结果图像；所述轮廓线筛选单元用于将获得的分割结果图像转化为二值图，进行连通域检测，结合人脸特征点集判断筛选出眼睑轮廓，获取初始轮廓线；所述图形轮廓形变单元用于将获取的初始轮廓线进行参数化，提取离散点集进行二次曲线拟合，得到新的轮廓线，并将上的点作为初始轮廓线上的点形变后的坐标，对图像进行形变，得到眼型轮廓调整的结果图。
本发明还包括一种眼部脂肪去除设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现人脸图像的眼部脂肪去除方法的步骤。
本发明还包括一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现人脸图像的眼部脂肪去除方法的步骤。
本发明提供的技术方案，具有如下有益效果：
本发明的人脸图像的眼部脂肪去除方法、系统、设备及存储介质，利用创新的人像眼部光影平整算法结合眼型轮廓调整算法，使得没有专业修图知识的人，也可以对眼部图像进行快速精修，在速度方面，远超人工修图方式，并且保留了人工修图在效果上光影自然，眼部脂肪和轮匝肌部分消肿，眉眼没有受到影响等优点，在单人及多人的环境和光线下没有违和感，极大地提升了图像处理的工作效率和眼部精修的质量。同时，由于医美手术对于用户来说，存在风险较高、不可逆的问题，而通过图像处理技术进行眼部去脂手术模拟，可以辅助消费者进行决策。
本发明的人脸图像的眼部脂肪去除方法、系统、设备及存储介质，通过使用人像眼部光影平整和眼型轮廓调整算法，能够便捷、精确地进行智能人像眼部去脂修图。首先，本发明极大的提高了用户眼部去脂精修图片的效率，满足了用户的眼部精修的智能性和简单性需求。其次，本发明的眼部精修可以改善眼部水肿、眼睑下垂的问题，满足客户眼部精修需求。同时，本发明符合医美眼综合中眼部去脂的医美要求，可以用来让用户预先体验医美眼部去脂方案。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例的一种人脸图像的眼部脂肪去除方法的流程图。
图2为本发明实施例的一种人脸图像的眼部脂肪去除方法中人像眼部光影平整前后的效果示意图。
图3为本发明实施例的一种人脸图像的眼部脂肪去除方法中人像眼型轮廓调整前后的效果示意图。
图4为本发明实施例的一种人脸图像的眼部脂肪去除系统的系统框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供的人脸图像的眼部脂肪去除方法、系统、设备及存储介质，利用创新的人像眼部光影平整算法结合眼型轮廓调整算法，使得没有专业修图知识的人，也可以对眼部图像进行快速精修，在速度方面，远超人工修图方式，并且保留了人工修图在效果上光影自然，眼部脂肪和轮匝肌部分消肿，眉眼没有受到影响等优点，在单人及多人的环境和光线下没有违和感，极大地提升了图像处理的工作效率和眼部精修的质量。同时，医美手术对于用户来说，存在风险较高、不可逆的问题，通过图像处理技术进行眼部去脂手术模拟，可以辅助消费者进行决策。
以下将结合具体实施例加以说明。
如图1所示，本发明的一个实施例提供一种人脸图像的眼部脂肪去除方法，该方法对人像眼部去脂修图，该方法主要包括眼睑区域光影平整和眼部轮廓调整两部分，具体包括如下步骤：
S1、获取带有用户人脸的原始图像，根据人脸检测得到的人脸关键点，获得眼睑区域的蒙版图像。
在本实施例中，首先，获取一张带有用户人脸的原始图像M，根据人脸检测得到的人脸关键点，获取上眼睑区域的蒙版图像。
在本实施例中，获取上眼睑区域的蒙版图像的方法，包括以下步骤：
步骤11)、通过人脸检测得到所述原始图像中人脸的特征点集p，其中，获取的带有用户人脸的原始图像标记为M；
步骤12)、通过索引查找眼睑部分的特征点集p′，将所述特征点集p′取包围盒，得到眼睑部分图像，记为m1；
步骤13)、根据获取的眼睑部分图像m1，判断是否为皮肤部分，皮肤部分是需要处理的区域，非皮肤部分直接将通道都置为0，处理后得到眼部图像m2；
步骤14)、将眼部图像m2转化为单通道图像，并采用二值化方法，将处理区域的皮肤部分通道设为255，不需要处理的非皮肤部分通道设为0，得到蒙版图像m3。
在进行处理时，人脸检测得到原始图像中人脸的特征点集p，通过索引找到眼睑部分的特征点集p′。其中，人脸检测目前可以得到130个特征点，眼睑部位的特征点的索引按顺时针为：
左眼：1，0，33，41，40，39，38，71，75，55，54，53，52，51；
右眼：32，31，65，64，63，62，61，85，71，50，49，48，47，46。
根据固定的顺序，直接按索引去取用。
在本实施例中，特征点集p′取包围盒时，所述包围盒采用方块，包围盒的四个顶点记为a，b，c，d。遍历所有上眼睑部位的特征点坐标，取x方向和y方向的最大最小值，作为包围盒对角线的两个坐标点，记为a(Xmin，Ymin)，b(Xmax，Ymin)，c(Xmin，Ymax)，d(Xmax，Ymax)。
在本实施例中，将获取的眼睑部分图像m1，判断是否是皮肤部分，皮肤部分是需要处理的区域，非皮肤部分直接将通道都置为0，处理后得到眼部图像m2。其中，判断是否是皮肤部分时，根据饱和度，色度来判断是否属于皮肤，区别开眉毛和眼睛区域。
S2、对所述蒙版图像所在眼部区域肤色统计，获得肤色的平均亮度并计算得到眼部区域肤色光影平整的权重。
在本实施例中，对原图的眼部区域肤色统计，从而可以获取肤色的平均亮度，用来计算眼部区域肤色光影平整的权重。
由于获取的原始图像由RGB通道组成的数据，因此，遍历获取的所述原始图像眼部区域每个像素点的RGB值，分别累加取平均，得到颜色的平均值，利用RGB和HSV互相转换算法，得到平均亮度。
在本实施例中，对所述蒙版图像所在眼部区域肤色统计，获得肤色的平均亮度并计算得到眼部区域肤色光影平整的权重的方法，包括以下步骤：
步骤21)、对眼部图像m2上蒙版图像m3所在区域的像素，进行统计，获得肤色统计结果，所述肤色统计结果通过计算均值得到眼睑部分图像m1区域的平均亮度
步骤22)、利用肤色平均亮度的加权公式，对m1区域的肤色进行调整；所述肤色平均亮度的加权公式为：
其中，u为当前像素的亮度，w为肤色调整权重；
步骤23)、利用肤色调整公式，得到光影平整后的肤色；所述肤色调整公式为：
c＝∑ci*wi
其中，c是当前调整后的颜色，ci为周围的颜色，wi为周围颜色的肤色调整权重；
S204、将眼睑区域光影平整的结果图保存为M1。
在本申请中，除了消除上眼睑区域的水肿问题，眼部脂肪去除还可以解决上眼睑肉肿形成的下垂现象，单一的平整效果无法完整模拟眼部脂肪去除手术的效果。需要对上眼睑轮廓做顺滑，保证弧度自然，减小瞳孔被遮盖区域，从而实现更好的去脂效果。
参见图2所示，图2为本方法的人像眼部光影平整效果示意图。图2中进行人像眼部光影平整的原图中存在上眼睑区域的水肿现象，而图3中进行人像眼部光影平整后的效果图中消除上眼睑区域的水肿问题。通过对眼睑区域的光影进行平整，可以将暗处区域进行提亮，将亮处区域压暗，使光影过度更加柔和，消除过多脂肪带来的凸起感。参见图3中原图和效果图中用户人脸图像中的左眼上眼睑区域，原图中左眼上眼睑区域的水肿问题在经过人像眼部光影平整后，明显消除。
S3、对眼睑部分图像进行眼部轮廓分割，获得分割结果图像。
在本实施例中，利用图像分割技术，对眼睑部分图像m1进行眼部轮廓分割，获得分割结果图像m4。
在本实施例中，对眼睑部分图像进行眼部轮廓分割，获得分割结果图像的方法，包括以下步骤：
基于Canny边缘检测算法，将眼睑部分图像m1模糊处理，模糊处理后与Prewitt滤波器做卷积处理，得到水平和竖直方向的导数图像，记为H，V；
对所述眼睑部分的当前像素计算梯度方向和幅度，当幅度超过临界值时，分配得到一条边缘，边缘内部的图像为待保留的分割结果图像m4.
在本申请，使用现有的Canny边缘检测算法，将图像m1模糊，然后与Prewitt滤波器做卷积，得到水平和竖直方向的导数图像，记为H，V，对当前像素(i，，)计算梯度方向和幅度，如果幅度超过临界值，就分配一条边缘，边缘内部的图像就是想留下的分割结果图像m4。
S4、将获得的分割结果图像转化为二值图，进行连通域检测，结合人脸特征点集判断筛选出眼睑轮廓，获取初始轮廓线。
在本实施例中，将分割结果图像m4转化为二值图，进行连通域检测，结合人脸特征点集p′判断筛选出眼睑轮廓，获取轮廓线l。
在本实施例中，所述分割结果图像转化为二值图，进行连通域检测，结合人脸特征点集判断筛选出眼睑轮廓，获取初始轮廓线的方法为：
步骤41)、遍历所述二值图中每个像素点，将相同颜色的相邻像素指定为同一个连通域，记为连通域Di，得到n个连通域；
步骤42)、根据眼睑部分的特征点集p′中的特征点pi，依次计算与每个连通域的每个轮廓点pj的距离dij，得到最小值dmin，所述最小值dmin对应的连通域的轮廓线为眼睑轮廓；
步骤43)、每个特征点pi找到两个最近的连通域轮廓上的点，作为上眼睑轮廓线上的点，上眼睑轮廓线上的所有点组成轮廓线l，将包含了人脸特征点的连通域D的轮廓线l指定为上眼睑的轮廓。
在本实施例中，连通区域检测的过程：遍历每个像素点，将拥有相同颜色的相邻像素(白色或黑色)指定为同一个连通域，记为连通域Di，最后可以得到n个连通域。
在本实施例中，连通域检测的目的：人脸特征点太稀疏，无法直接作为眼睑轮廓线的点。需要对眼部进行分割提取轮廓线，但是由于上眼睑有瑕疵斑点，眉毛，头发等的影响，轮廓线可能不止一条，所以需要检测连通域后，将包含了人脸特征点的连通域D的轮廓指定为上眼睑的轮廓。
由人脸特征点集p′中的特征点pi，依次去计算与每个连通域的每个轮廓点pj的距离dij，找到最小值dmin，对应的连通域的轮廓线为眼睑轮廓。然后，每个特征点pi找到2个最近的连通域轮廓上的点，作为上眼睑轮廓线上的点。这些点组成轮廓l。
S5、将获取的初始轮廓线进行参数化，提取离散点集进行二次曲线拟合，得到新的轮廓线，并将上的点作为初始轮廓线上的点形变后的坐标，对图像进行形变，得到眼型轮廓调整的结果图。
在本实施例中，将轮廓线l进行参数化，按照步长0.1提取得到离散点集，对点集进行二次曲线拟合，得到新的轮廓线l′，并将l′上的点作为l上的点形变后的坐标，对图像进行形变，得到眼型轮廓调整的结果图。
参见图3所示，图3为本方法的人像眼型轮廓调整效果示意图。图3中进行人像眼型轮廓调整的原图中存在上眼睑肉肿形成的下垂现象，而图3中进行人像眼型轮廓调整后的效果图中对上眼睑轮廓做顺滑，保证了弧度自然，减小瞳孔被遮盖区域，从而实现更好的去脂效果。
本发明的人脸图像的眼部脂肪去除方法，通过使用人像眼部光影平整和眼型轮廓调整算法，能够便捷、精确地进行智能人像眼部去脂修图。首先，该方法极大的提高了用户眼部去脂精修图片的效率，满足了用户的眼部精修的智能性和简单性需求。其次，该方法的眼部精修算法，可以改善眼部水肿，眼睑下垂的问题，满足客户眼部精修需求。同时，该方法符合医美眼综合中眼部去脂的医美要求，可以用来让用户预先体验医美眼部去脂方案。
如图4所示，在本发明的又一实施例提供了一种人脸图像的眼部脂肪去除系统，对人像眼部去脂修图，该系统包括眼睑区域光影平整模块800和眼部轮廓调整模块900。
所述眼睑区域光影平整模块800用于对获取的一张带有用户人脸的原始图像处理，得到眼睑区域光影平整的结果图；所述眼部轮廓调整模块900用于对眼睑部分图像进行处理，得到眼型轮廓调整的结果图。
在本实施例中，所述眼睑区域光影平整模块800包括蒙版图像生成单元801和权重计算单元802，所述蒙版图像生成单元801用于根据人脸检测得到所述原始图像的人脸关键点，获得眼睑区域的蒙版图像；所述权重计算单元802用于对所述蒙版图像所在眼部区域肤色统计，获得肤色的平均亮度并计算得到眼部区域肤色光影平整的权重。
在本实施例中，所述眼部轮廓调整模块900包括图像分割单元901、轮廓线筛选单元902和图形轮廓形变单元903，所述图像分割单元901用于对眼睑部分图像进行眼部轮廓分割，获得分割结果图像；所述轮廓线筛选单元902用于将获得的分割结果图像转化为二值图，进行连通域检测，结合人脸特征点集判断筛选出眼睑轮廓，获取初始轮廓线；所述图形轮廓形变单元903用于将获取的初始轮廓线进行参数化，提取离散点集进行二次曲线拟合，得到新的轮廓线，并将上的点作为初始轮廓线上的点形变后的坐标，对图像进行形变，得到眼型轮廓调整的结果图。
其中，人脸图像的眼部脂肪去除系统在执行时采用如前述实施例的一种人脸图像的眼部脂肪去除方法的步骤，因此，本实施例中对人脸图像的眼部脂肪去除系统的运行过程不再详细介绍。
在本发明的一个实施例中提供了一种眼部脂肪去除设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤：
获取带有用户人脸的原始图像，根据人脸检测得到的人脸关键点，获得眼睑区域的蒙版图像；
对所述蒙版图像所在眼部区域肤色统计，获得肤色的平均亮度并计算得到眼部区域肤色光影平整的权重；
对眼睑部分图像进行眼部轮廓分割，获得分割结果图像；
将获得的分割结果图像转化为二值图，进行连通域检测，结合人脸特征点集判断筛选出眼睑轮廓，获取初始轮廓线；
将获取的初始轮廓线进行参数化，提取离散点集进行二次曲线拟合，得到新的轮廓线，并将上的点作为初始轮廓线上的点形变后的坐标，对图像进行形变，得到眼型轮廓调整的结果图。
在本发明的又一实施例中提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤：
获取带有用户人脸的原始图像，根据人脸检测得到的人脸关键点，获得眼睑区域的蒙版图像；
对所述蒙版图像所在眼部区域肤色统计，获得肤色的平均亮度并计算得到眼部区域肤色光影平整的权重；
对眼睑部分图像进行眼部轮廓分割，获得分割结果图像；
将获得的分割结果图像转化为二值图，进行连通域检测，结合人脸特征点集判断筛选出眼睑轮廓，获取初始轮廓线；
将获取的初始轮廓线进行参数化，提取离散点集进行二次曲线拟合，得到新的轮廓线，并将上的点作为初始轮廓线上的点形变后的坐标，对图像进行形变，得到眼型轮廓调整的结果图。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。
综上所述，本发明的人脸图像的眼部脂肪去除方法、系统、设备及存储介质，利用创新的人像眼部光影平整算法结合眼型轮廓调整算法，使得没有专业修图知识的人，也可以对眼部图像进行快速精修，在速度方面，远超人工修图方式，并且保留了人工修图在效果上光影自然，眼部脂肪和轮匝肌部分消肿，眉眼没有受到影响等优点，在单人及多人的环境和光线下没有违和感，极大地提升了图像处理的工作效率和眼部精修的质量。同时，由于医美手术对于用户来说，存在风险较高、不可逆的问题，而通过图像处理技术进行眼部去脂手术模拟，可以辅助消费者进行决策。
本发明的人脸图像的眼部脂肪去除方法、系统、设备及存储介质，通过使用人像眼部光影平整和眼型轮廓调整算法，能够便捷、精确地进行智能人像眼部去脂修图。首先，本发明极大的提高了用户眼部去脂精修图片的效率，满足了用户的眼部精修的智能性和简单性需求。其次，本发明的眼部精修可以改善眼部水肿、眼睑下垂的问题，满足客户眼部精修需求。同时，本发明符合医美眼综合中眼部去脂的医美要求，可以用来让用户预先体验医美眼部去脂方案。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种人脸图像的眼部脂肪去除方法，其特征在于，包括以下步骤：
获取带有用户人脸的原始图像，根据人脸检测得到的人脸关键点，获得眼睑区域的蒙版图像；
对所述蒙版图像所在眼部区域肤色统计，获得肤色的平均亮度并计算得到眼部区域肤色光影平整的权重；
对眼睑部分图像进行眼部轮廓分割，获得分割结果图像；
将获得的分割结果图像转化为二值图，进行连通域检测，结合人脸特征点集判断筛选出眼睑轮廓，获取初始轮廓线；
将获取的初始轮廓线进行参数化，提取离散点集进行二次曲线拟合，得到新的轮廓线，并将上的点作为初始轮廓线上的点形变后的坐标，对图像进行形变，得到眼型轮廓调整的结果图。
2.如权利要求1所述的人脸图像的眼部脂肪去除方法，其特征在于：所述获取上眼睑区域的蒙版图像的方法，包括以下步骤：
通过人脸检测得到所述原始图像中人脸的特征点集p，其中，获取的带有用户人脸的原始图像标记为M；
通过索引查找眼睑部分的特征点集p′，将所述特征点集p′取包围盒，得到眼睑部分图像，记为m1；
根据获取的眼睑部分图像m1，判断是否为皮肤部分，皮肤部分是需要处理的区域，非皮肤部分直接将通道都置为0，处理后得到眼部图像m2；
将眼部图像m2转化为单通道图像，并采用二值化方法，将处理区域的皮肤部分通道设为255，不需要处理的非皮肤部分通道设为0，得到蒙版图像m3。
3.如权利要求2所述的人脸图像的眼部脂肪去除方法，其特征在于：对所述蒙版图像所在眼部区域肤色统计，获得肤色的平均亮度并计算得到眼部区域肤色光影平整的权重的方法，包括以下步骤：
对眼部图像m2上蒙版图像m3所在区域的像素，进行统计，获得肤色统计结果，所述肤色统计结果通过计算均值得到眼睑部分图像m1区域的平均亮度
利用肤色平均亮度的加权公式，对m1区域的肤色进行调整；
利用肤色调整公式，得到光影平整后的肤色；
将眼睑区域光影平整的结果图保存为M1。
4.如权利要求3所述的人脸图像的眼部脂肪去除方法，其特征在于：所述对所述蒙版图像所在眼部区域肤色统计，获得肤色的平均亮度的方法包括：
遍历获取的所述原始图像眼部区域每个像素点的RGB值，分别累加取平均，得到颜色的平均值，利用RGB和HSV互相转换算法，得到平均亮度；其中，获取的原始图像由RGB通道组成的数据。
5.如权利要求4所述的人脸图像的眼部脂肪去除方法，其特征在于：对眼睑部分图像进行眼部轮廓分割，获得分割结果图像的方法，包括以下步骤：
基于Canny边缘检测算法，将眼睑部分图像m1模糊处理，模糊处理后与Prewitt滤波器做卷积处理，得到水平和竖直方向的导数图像，记为H,V；
对所述眼睑部分的当前像素计算梯度方向和幅度，当幅度超过临界值时，分配得到一条边缘，边缘内部的图像为待保留的分割结果图像m4。
6.如权利要求5所述的人脸图像的眼部脂肪去除方法，其特征在于：所述分割结果图像转化为二值图，进行连通域检测，结合人脸特征点集判断筛选出眼睑轮廓，获取初始轮廓线的方法为：
遍历所述二值图中每个像素点，将相同颜色的相邻像素指定为同一个连通域，记为连通域Di，得到n个连通域；
根据眼睑部分的特征点集p′中的特征点pi，依次计算与每个连通域的每个轮廓点pj的距离dij，得到最小值dmin，所述最小值dmin对应的连通域的轮廓线为眼睑轮廓；
每个特征点pi找到两个最近的连通域轮廓上的点，作为上眼睑轮廓线上的点，上眼睑轮廓线上的所有点组成轮廓线l，将包含了人脸特征点的连通域D的轮廓线l指定为上眼睑的轮廓。
7.如权利要求6所述的人脸图像的眼部脂肪去除方法，其特征在于：将轮廓线l进行参数化，按照步长0.1提取得到离散点集，对点集进行二次曲线拟合，得到新的轮廓线l′，并将l′上的点作为l上的点形变后的坐标，对图像进行形变，得到眼型轮廓调整的结果图。
8.一种人脸图像的眼部脂肪去除系统，其特征在于：所述人脸图像的眼部脂肪去除系统采用权利要求1-7中任意一项所述人脸图像的眼部脂肪去除方法对人像眼部去脂修图；所述人脸图像的眼部脂肪去除系统包括：
眼睑区域光影平整模块，用于对获取的一张带有用户人脸的原始图像处理，得到眼睑区域光影平整的结果图；以及
眼部轮廓调整模块，用于对眼睑部分图像进行处理，得到眼型轮廓调整的结果图；
其中，所述眼睑区域光影平整模块包括蒙版图像生成单元和权重计算单元，所述蒙版图像生成单元用于根据人脸检测得到所述原始图像的人脸关键点，获得眼睑区域的蒙版图像；所述权重计算单元用于对所述蒙版图像所在眼部区域肤色统计，获得肤色的平均亮度并计算得到眼部区域肤色光影平整的权重；
所述眼部轮廓调整模块包括图像分割单元、轮廓线筛选单元和图形轮廓形变单元，所述图像分割单元用于对眼睑部分图像进行眼部轮廓分割，获得分割结果图像；所述轮廓线筛选单元用于将获得的分割结果图像转化为二值图，进行连通域检测，结合人脸特征点集判断筛选出眼睑轮廓，获取初始轮廓线；所述图形轮廓形变单元用于将获取的初始轮廓线进行参数化，提取离散点集进行二次曲线拟合，得到新的轮廓线，并将上的点作为初始轮廓线上的点形变后的坐标，对图像进行形变，得到眼型轮廓调整的结果图。
9.一种眼部脂肪去除设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210122204.7A CN114627003A (zh) | 2022-02-09 | 2022-02-09 | 人脸图像的眼部脂肪去除方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210122204.7A CN114627003A (zh) | 2022-02-09 | 2022-02-09 | 人脸图像的眼部脂肪去除方法、系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114627003A true CN114627003A (zh) | 2022-06-14 |
Family
ID=81897791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210122204.7A Pending CN114627003A (zh) | 2022-02-09 | 2022-02-09 | 人脸图像的眼部脂肪去除方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114627003A (zh) |
-
2022
- 2022-02-09 CN CN202210122204.7A patent/CN114627003A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7413400B2 (ja) | 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体 | |
| CN108229278B (zh) | 人脸图像处理方法、装置和电子设备 | |
| US10304166B2 (en) | Eye beautification under inaccurate localization | |
| JP5547730B2 (ja) | 顔検知を用いた顔及び肌の自動美化 | |
| US8520089B2 (en) | Eye beautification | |
| WO2022161009A1 (zh) | 图像处理方法及装置、存储介质、终端 | |
| Lai et al. | Improved local histogram equalization with gradient-based weighting process for edge preservation | |
| CN106056064A (zh) | 一种人脸识别方法及人脸识别装置 | |
| KR20050022306A (ko) | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 | |
| WO2023273247A1 (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
| CN112686800B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| KR100815209B1 (ko) | 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그방법 | |
| Zhao et al. | Color channel fusion network for low-light image enhancement | |
| CN114240743B (zh) | 一种基于高反差磨皮的人脸图像的美肤方法 | |
| CN114155569B (zh) | 一种化妆进度检测方法、装置、设备及存储介质 | |
| CN114627003A (zh) | 人脸图像的眼部脂肪去除方法、系统、设备及存储介质 | |
| CN113743243A (zh) | 一种基于深度学习的人脸美颜方法 | |
| KR100618493B1 (ko) | 3차원 영상 자동 생성 장치 및 그 방법 | |
| CN114202483B (zh) | 一种基于改进的加性lee滤波磨皮方法 | |
| JP2017158921A (ja) | 肌状態評価方法 | |
| CN113837020A (zh) | 一种化妆进度检测方法、装置、设备及存储介质 | |
| CN116612036A (zh) | 一种基于Unity实现人像磨皮和美白的方法 | |
| CN114202482A (zh) | 一种人脸图像去油光的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |