CN104850847A - 具有自动瘦脸功能的图像优化系统和方法 - Google Patents

具有自动瘦脸功能的图像优化系统和方法 Download PDF

Info

Publication number
CN104850847A
CN104850847A CN201510294637.0A CN201510294637A CN104850847A CN 104850847 A CN104850847 A CN 104850847A CN 201510294637 A CN201510294637 A CN 201510294637A CN 104850847 A CN104850847 A CN 104850847A
Authority
CN
China
Prior art keywords
face
module
region
image
thin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510294637.0A
Other languages
English (en)
Other versions
CN104850847B (zh
Inventor
喻海中
张玲
肖鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huzhou YingLie Intellectual Property Operation Co.,Ltd.
Original Assignee
Shanghai Feixun Data Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Feixun Data Communication Technology Co Ltd filed Critical Shanghai Feixun Data Communication Technology Co Ltd
Priority to CN201510294637.0A priority Critical patent/CN104850847B/zh
Publication of CN104850847A publication Critical patent/CN104850847A/zh
Application granted granted Critical
Publication of CN104850847B publication Critical patent/CN104850847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种具有自动瘦脸功能的图像优化系统,以及利用该系统实现的图像优化方法。该方法包含:S1、人脸检测模块利用人脸自动识别技术确定图像中包含人脸的人脸矩形区域,确定双眼区域位置;S2、人脸三角区域确立模块根据双眼区域位置确定人脸三角区域;S3、人脸边缘曲线确立模块对人脸外围轮廓进行确定,得到人脸两侧边缘曲线;S4、瘦脸区域像素填充模块确定人脸两侧需要削瘦的区域,并对该区域内像素进行重新填充。本发明实现人脸的自动检测,人脸需要削瘦区域的自动检测,并通过边缘检测加上曲线拟合,对瘦脸区域准确定位,同时瘦脸后区域内的像素填充自然合理,满足同区域像素连续性准则,算法复杂度较低,瘦脸效率高。

Description

具有自动瘦脸功能的图像优化系统和方法
技术领域
本发明涉及一种图像优化系统和方法,具体是指一种具有自动瘦脸功能的图像优化系统和方法,属于计算机应用技术领域。
背景技术
现今时代,人们追求以瘦为美,因此各种图像美化算法得以发展并被广泛应用,尤其是人脸的美化算法,已经在各种手机和数码相机上得以体现。
但是,现有的瘦脸技术要么自动化程度不高,要么瘦脸后填充区域的像素变化较大,又或者瘦脸算法复杂度较高,难以实施应用。
基于上述,本发明旨在提供一种高效率的自动化瘦脸系统和方法,用于对图像中的人脸进行瘦脸美化。
发明内容
本发明的目的在于提供一种具有自动瘦脸功能的图像优化系统和方法,实现人脸的自动检测,人脸需要削瘦区域的自动检测,并通过边缘检测加上曲线拟合,对瘦脸区域准确定位,同时瘦脸后区域内的像素填充自然合理,满足同区域像素连续性准则,算法复杂度较低,瘦脸效率高。
为了达到上述目的,本发明提供一种具有自动瘦脸功能的图像优化系统,包含:人脸检测模块,其利用人脸自动识别技术确定图像中包含人脸的人脸矩形区域,提取人脸矩形区域内的数据,确定双眼区域位置;人脸三角区域确立模块,其与所述的人脸检测模块相连接,在人脸矩形区域的基础上,根据双眼区域位置确定人脸三角区域;人脸边缘曲线确立模块,其与所述的人脸三角区域确立模块相连接,在人脸三角区域的基础上,对人脸外围轮廓进行确定,得到人脸两侧边缘曲线;瘦脸区域像素填充模块,其与所述的人脸边缘曲线确立模块相连接,根据人脸两侧边缘曲线以及人脸三角区域的左右两条侧边,确定人脸两侧需要削瘦的区域,并对该区域内像素进行重新填充。
所述的人脸三角区域确立模块包含:三角区域底边确立模块,其与所述的人脸检测模块相连接,基于人脸矩形区域,计算得到左右两个眼睛区域的中心位置,该左右两个眼睛区域的中心位置的连线的延长线与人脸矩形区域的两个侧边分别相交的交点为人脸三角区域的两个顶点,且这两个交点的连线为人脸三角区域的底边;三角区域侧边确立模块,其与所述的三角区域底边确立模块相连接,基于左右两个眼睛区域的中心位置,计算得到两眼之间的中点,通过该两眼之间的中点形成人脸三角区域底边的垂线,其与人脸矩形区域的底边相交的交点为人脸三角区域的第三个顶点,由此确定人脸三角区域以及人脸三角区域的左右两条侧边。
所述的人脸边缘曲线确立模块包含:人脸边缘检测模块,其与所述的三角区域顶点确立模块相连接,利用边缘检测算法对人脸矩形区域的左下三角与右下三角区域内图像进行边缘检测,获得人脸边缘轮廓像素;人脸边缘曲线拟合模块,其与所述的人脸边缘检测模块相连接,根据人脸边缘轮廓像素的坐标信息,以及人脸三角区域的三个顶点的坐标信息,采用曲线拟合方法,对人脸边缘轮廓进行曲线拟合,获得人脸左右两侧边缘轮廓曲线。
所述的瘦脸区域像素填充模块包含:瘦脸后轮廓曲线确立模块,其与所述的人脸边缘曲线拟合模块相连接,根据人脸两侧边缘曲线以及人脸三角区域的左右两条侧边,确定需要削瘦的两侧人脸区域;将人脸三角区域的右侧侧边上各点到人脸右侧边缘曲线的距离的中点所构成的曲线确定为瘦脸后右侧脸部轮廓曲线,由人脸三角区域的右侧侧边与瘦脸后右侧脸部轮廓曲线构成了瘦脸后将形成的新的右侧脸部区域;将人脸三角区域的左侧侧边上各点到人脸左侧边缘曲线的距离的中点所构成的曲线确定为瘦脸后左侧脸部轮廓曲线,由人脸三角区域的左侧侧边与瘦脸后左侧脸部轮廓曲线构成瘦脸后将形成的新的左侧脸部区域;瘦脸后脸部区域像素填充模块,其与所述的瘦脸后轮廓曲线确立模块相连接,根据需要削瘦的右侧人脸区域,以及瘦脸后将形成的新的右侧脸部区域,计算得到这两个区域的交集的补集为右侧周围区域,其是由人脸右侧边缘曲线与瘦脸后右侧脸部轮廓曲线所构成;瘦脸后将形成的新的右侧脸部区域中各个像素的新的颜色值由其原有的颜色值与右侧周围区域内的对应像素点的颜色值计算得到并进行重新填充;根据需要削瘦的左侧人脸区域,以及瘦脸后将形成的新的左侧脸部区域,计算得到这两个区域的交集的补集为左侧周围区域,其是由人脸左侧边缘曲线与瘦脸后左侧脸部轮廓曲线所构成;瘦脸后将形成的新的左侧脸部区域中各个像素的新的颜色值由其原有的颜色值与左侧周围区域内的对应像素点的颜色值计算得到并进行重新填充;瘦脸后新背景区域像素填充模块,其与所述的瘦脸后脸部区域像素填充模块相连接,对右侧周围区域和左侧周围区域分别向外侧扩充一等距离的相邻区域,利用各个相邻区域中每个像素点的颜色值结合镜像填充或复制填充分别对右侧周围区域和左侧周围区域进行背景像素填充。
本发明所述的具有自动瘦脸功能的图像优化系统,还包含图像预处理模块,其与所述的人脸检测模块相连接,对原始图像进行预先数据处理后将其传输至人脸检测模块进行人脸自动识别。
所述的图像预处理模块包含:图像去噪模块,其利用图像平滑算法对图像进行平滑去噪处理;图像增强模块,其与所述的图像去噪模块相连接,对平滑去噪后图像的色彩、对比度、亮度和直方图进行调整处理,增强图像清晰度;图像灰度化与归一化模块,其分别与所述的图像增强模块以及人脸检测模块相连接,对增强清晰度后的图像进行灰度化处理和归一化处理。
本发明所述的具有自动瘦脸功能的图像优化系统,还包含图像后处理模块,其与所述的瘦脸区域像素填充模块相连接,对重新填充像素的人脸两侧削瘦区域和新背景区域进行平滑处理。
本发明还提供一种具有自动瘦脸功能的图像优化方法,包含以下步骤:
S1、人脸检测模块利用人脸自动识别技术确定图像中包含人脸的人脸矩形区域,提取人脸矩形区域内的数据,确定双眼区域位置;
S2、人脸三角区域确立模块在人脸矩形区域的基础上,根据双眼区域位置确定人脸三角区域;
S3、人脸边缘曲线确立模块在人脸三角区域的基础上,对人脸外围轮廓进行确定,得到人脸两侧边缘曲线;
S4、瘦脸区域像素填充模块根据人脸两侧边缘曲线以及人脸三角区域的左右两条侧边,确定人脸两侧需要削瘦的区域,并对该区域内像素进行重新填充。
所述的S2中,具体包含以下步骤:
S21、三角区域底边确立模块基于人脸矩形区域,计算得到左右两个眼睛区域的中心位置,该左右两个眼睛区域的中心位置的连线的延长线与人脸矩形区域的两个侧边分别相交的交点为人脸三角区域的两个顶点,且这两个交点的连线为人脸三角区域的底边;
S22、三角区域侧边确立模块基于左右两个眼睛区域的中心位置,计算得到两眼之间的中点,通过该两眼之间的中点形成人脸三角区域底边的垂线,其与人脸矩形区域的底边相交的交点为人脸三角区域的第三个顶点,由此确定人脸三角区域以及人脸三角区域的左右两条侧边。
所述的S3中,具体包含以下步骤:
S31、人脸边缘检测模块利用边缘检测算法对人脸矩形区域的左下三角与右下三角区域内图像进行边缘检测,获得人脸边缘轮廓像素;
S32、人脸边缘曲线拟合模块根据人脸边缘轮廓像素的坐标信息,以及人脸三角区域的三个顶点的坐标信息,采用曲线拟合方法,对人脸边缘轮廓进行曲线拟合,获得人脸左右两侧边缘轮廓曲线。
所述的S4中,具体包含以下步骤:
S41、瘦脸后轮廓曲线确立模块根据人脸两侧边缘曲线以及人脸三角区域的左右两条侧边,确定需要削瘦的两侧人脸区域;将人脸三角区域的右侧侧边上各点到人脸右侧边缘曲线的距离的中点所构成的曲线确定为瘦脸后右侧脸部轮廓曲线,由人脸三角区域的右侧侧边与瘦脸后右侧脸部轮廓曲线构成了瘦脸后将形成的新的右侧脸部区域;将人脸三角区域的左侧侧边上各点到人脸左侧边缘曲线的距离的中点所构成的曲线确定为瘦脸后左侧脸部轮廓曲线,由人脸三角区域的左侧侧边与瘦脸后左侧脸部轮廓曲线构成瘦脸后将形成的新的左侧脸部区域;
S42、瘦脸后脸部区域像素填充模块根据需要削瘦的右侧人脸区域,以及瘦脸后将形成的新的右侧脸部区域,计算得到这两个区域的交集的补集为右侧周围区域,其是由人脸右侧边缘曲线与瘦脸后右侧脸部轮廓曲线所构成;瘦脸后将形成的新的右侧脸部区域中各个像素的新的颜色值由其原有的颜色值与右侧周围区域内的对应像素点的颜色值计算得到并进行重新填充;根据需要削瘦的左侧人脸区域,以及瘦脸后将形成的新的左侧脸部区域,计算得到这两个区域的交集的补集为左侧周围区域,其是由人脸左侧边缘曲线与瘦脸后左侧脸部轮廓曲线所构成;瘦脸后将形成的新的左侧脸部区域中各个像素的新的颜色值由其原有的颜色值与左侧周围区域内的对应像素点的颜色值计算得到并进行重新填充;
S43、瘦脸后新背景区域像素填充模块对右侧周围区域和左侧周围区域分别向外侧扩充一等距离的相邻区域,利用各个相邻区域中每个像素点的颜色值结合镜像填充或复制填充分别对右侧周围区域和左侧周围区域进行背景像素填充。
本发明所述的具有自动瘦脸功能的图像优化方法,在所述的S1之前,还包含:S0、图像预处理模块对原始图像进行预先数据处理,并传输至人脸检测模块进行人脸自动识别。
所述的S0中,具体包含以下步骤:
S01、图像去噪模块利用图像平滑算法对图像进行平滑去噪处理;
S02、图像增强模块对平滑去噪后图像的色彩、对比度、亮度和直方图进行调整处理,增强图像清晰度;
S03、图像灰度化与归一化模块对增强清晰度后的图像进行灰度化和归一化处理。
本发明所述的具有自动瘦脸功能的图像优化方法,在所述的S4之后,还包含:S5、图像后处理模块对重新填充像素的人脸两侧削瘦区域和新背景区域进行平滑处理。
本发明所提供的具有自动瘦脸功能的图像优化系统和方法,能实现人脸的自动检测,人脸需要削瘦区域的自动检测,并通过边缘检测加上曲线拟合,对瘦脸区域准确定位,同时瘦脸后区域内的像素填充自然合理,满足同区域像素连续性准则,算法复杂度较低,瘦脸效率高。                                                                                
附图说明
图1为本发明中具有自动瘦脸功能的图像优化系统的结构示意图;
图2为本发明中通过人脸自动识别技术确定的人脸矩形区域的示意图;
图3A~图3E为本发明中人脸两侧需削瘦区域像素重新填充的示意图;
图4为本发明中具有自动瘦脸功能的图像优化方法的流程图。
具体实施方式
以下结合图1~图4,通过详细说明一个较佳的具体实施例,对本发明做进一步阐述。
如图1所示,为本发明所提供的具有自动瘦脸功能的图像优化系统,包含:人脸检测模块2,其利用目前已经较为成熟且已经在大量不同领域应用的人脸自动识别技术确定图像中包含人脸的人脸矩形区域F,具体如图2所示,提取人脸矩形区域F内的数据,确定眼睛、鼻子和嘴巴的位置,尤其是双眼区域位置;人脸三角区域确立模块3,其与所述的人脸检测模块2相连接,在人脸矩形区域F的基础上,根据双眼区域位置确定人脸三角区域;人脸边缘曲线确立模块4,其与所述的人脸三角区域确立模块3相连接,在人脸三角区域的基础上,对人脸外围轮廓进行确定,得到人脸两侧边缘曲线;瘦脸区域像素填充模块5,其与所述的人脸边缘曲线确立模块4相连接,根据人脸两侧边缘曲线以及人脸三角区域的左右两条侧边,确定人脸两侧需要削瘦的区域,并对该区域内像素进行重新填充,达到瘦脸效果。
如图2所示,所述的人脸三角区域确立模块3包含:三角区域底边确立模块31,其与所述的人脸检测模块2相连接,基于人脸矩形区域F,计算得到左右两个眼睛区域的中心位置El和Er,该左右两个眼睛区域的中心位置的连线的延长线与人脸矩形区域F的两个侧边分别相交于点L和点R,因此这两个交点L和R即为人脸三角区域的两个顶点,且连线为人脸三角区域的底边;三角区域侧边确立模块32,其与所述的三角区域底边确立模块31相连接,基于左右两个眼睛区域的中心位置El和Er,计算得到两眼之间的中点C,也就是左右两个眼睛区域的中心位置的连线的中点C,通过C点形成人脸三角区域底边的垂线,且与人脸矩形区域F的底边相交于点B,该交点B为人脸三角区域的第三个顶点,由此确定人脸三角区域为,人脸三角区域的左右两条侧边分别为,且这两条侧边更是后续进行瘦脸处理的基准线。
如图2所示,所述的人脸边缘曲线确立模块4包含:人脸边缘检测模块41,其与所述的三角区域顶点确立模块32相连接,根据人脸区域内像素间低频,人脸区域边缘像素与背景像素之间高频的特性,利用边缘检测算法对人脸矩形区域F的左下三角与右下三角区域内图像进行边缘检测,粗略获得人脸边缘轮廓像素;人脸边缘曲线拟合模块42,其与所述的人脸边缘检测模块41相连接,根据人脸边缘轮廓像素的坐标信息,以及人脸三角区域的三个顶点L、R、B的坐标信息,采用曲线拟合方法,对人脸边缘轮廓进行曲线拟合,获得人脸左右两侧边缘轮廓曲线,进而在后续瘦脸处理中,以此两条拟合曲线来表示人脸边缘轮廓。
所述的瘦脸区域像素填充模块5包含:瘦脸后轮廓曲线确立模块51,其与所述的人脸边缘曲线拟合模块42相连接,如图2和图3A所示,根据人脸两侧边缘曲线以及人脸三角区域的左右两条侧边,确定需要削瘦的人脸区域为;如图3B所示,将人脸三角区域的右侧侧边上各点到人脸右侧边缘曲线的距离的中点所构成的曲线确定为瘦脸后右侧脸部轮廓曲线,因此,由人脸三角区域的右侧侧边与瘦脸后右侧脸部轮廓曲线构成了瘦脸后将形成的新的右侧脸部区域;而对于瘦脸后左侧脸部轮廓曲线以及瘦脸后将形成的新的左侧脸部区域可采用相同的方式得到,即将人脸三角区域的左侧侧边上各点到人脸左侧边缘曲线的距离的中点所构成的曲线(图中未示)确定为瘦脸后左侧脸部轮廓曲线,由人脸三角区域的左侧侧边与瘦脸后左侧脸部轮廓曲线构成瘦脸后将形成的新的左侧脸部区域;瘦脸后脸部区域像素填充模块52,其与所述的瘦脸后轮廓曲线确立模块51相连接,为了保持瘦脸后脸部颜色的连续性与自然,瘦脸后形成的新的左右两侧脸部区域的像素的颜色值(灰度值)必须由其周围区域的像素颜色值(灰度值)来计算并填充;根据需要削瘦的右侧人脸区域,以及瘦脸后将形成的新的右侧脸部区域,计算得到这两个区域的交集的补集,由图3C中可以看出,是由人脸右侧边缘曲线与瘦脸后右侧脸部轮廓曲线所构成的周围区域;瘦脸后将形成的新的右侧脸部区域中各个像素的新的颜色值(灰度值)由其原有的颜色值(灰度值)与周围区域内的对应像素点的颜色值(灰度值)计算得到并进行重新填充;同样的,根据需要削瘦的左侧人脸区域,以及瘦脸后将形成的新的左侧脸部区域,计算得到这两个区域的交集的补集为左侧周围区域,其是由人脸左侧边缘曲线与瘦脸后左侧脸部轮廓曲线所构成;瘦脸后将形成的新的左侧脸部区域中各个像素的新的颜色值由其原有的颜色值与左侧周围区域内的对应像素点的颜色值计算得到并进行重新填充;瘦脸后新背景区域像素填充模块53,其与所述的瘦脸后脸部区域像素填充模块52相连接,当完成瘦脸后脸部区域的像素填充时,左侧周围区域与右侧周围区域均称为瘦脸后图片的新背景区域,其中各个像素的颜色值(灰度值)需要由其相邻区域的像素进行填充;如图3D所述,对右侧周围区域向外侧扩充一等距离的相邻区域,利用相邻区域中各个像素点的颜色值结合常用填充算法(如镜像填充或复制填充等)对右侧周围区域进行背景像素填充;同样的,对左侧周围区域也进行背景像素的填充,从而得到如图3E所示的削瘦后的人脸区域。
本发明所述的具有自动瘦脸功能的图像优化系统,还包含图像预处理模块1,其与所述的人脸检测模块2相连接,对原始图像进行预先数据处理后将其传输至人脸检测模块2进行人脸自动识别。
所述的图像预处理模块1包含:图像去噪模块11,其利用图像平滑算法对图像进行平滑去噪处理,减少图像中存在的噪声对后续进行瘦脸处理的干扰;图像增强模块12,其与所述的图像去噪模块11相连接,对平滑去噪后图像的色彩、对比度、亮度和直方图进行调整处理,增强图像清晰度;图像灰度化与归一化模块13,其分别与所述的图像增强模块12以及人脸检测模块2相连接,对增强清晰度后的图像进行灰度化处理以提供图像边缘数据,为后续的人脸边缘检测做好准备,并进行归一化处理以避免图像尺寸与图像灰度范围对数据处理的影响。
本发明所述的具有自动瘦脸功能的图像优化系统,还包含图像后处理模块6,其与所述的瘦脸区域像素填充模块5相连接,对重新填充像素的人脸两侧削瘦区域和新背景区域进行平滑处理,保持该区域像素间的连续性,使得该区域内的颜色信息显得更加自然。
如图4所示,本发明还提供一种具有自动瘦脸功能的图像优化方法,包含以下步骤:
S1、人脸检测模块2利用人脸自动识别技术确定图像中包含人脸的人脸矩形区域F,具体如图2所示,提取人脸矩形区域F内的数据,确定眼睛、鼻子和嘴巴的位置,尤其是双眼区域位置;
S2、人脸三角区域确立模块3在人脸矩形区域F的基础上,根据双眼区域位置确定人脸三角区域;
S3、人脸边缘曲线确立模块4在人脸三角区域的基础上,对人脸外围轮廓进行确定,得到人脸两侧边缘曲线;
S4、瘦脸区域像素填充模块5根据人脸两侧边缘曲线以及人脸三角区域的左右两条侧边,确定人脸两侧需要削瘦的区域,并对该区域内像素进行重新填充,达到瘦脸效果。
所述的S2中,具体包含以下步骤:
S21、三角区域底边确立模块31基于人脸矩形区域F,计算得到左右两个眼睛区域的中心位置El和Er,该左右两个眼睛区域的中心位置的连线的延长线与人脸矩形区域F的两个侧边分别相交于点L和点R,这两个交点L和R即为人脸三角区域的两个顶点,且连线为人脸三角区域的底边;
S22、三角区域侧边确立模块32基于左右两个眼睛区域的中心位置El和Er,计算得到两眼之间的中点C,也就是左右两个眼睛区域的中心位置的连线的中点C,通过C点形成人脸三角区域底边的垂线,其与人脸矩形区域F的底边相交于点B,该交点B为人脸三角区域的第三个顶点,由此确定人脸三角区域为,人脸三角区域的左右两条侧边分别为
所述的S3中,具体包含以下步骤:
S31、人脸边缘检测模块41根据人脸区域内像素间低频,人脸区域边缘像素与背景像素之间高频的特性,利用边缘检测算法对人脸矩形区域F的左下三角与右下三角区域内图像进行边缘检测,粗略获得人脸边缘轮廓像素;
S32、人脸边缘曲线拟合模块42根据人脸边缘轮廓像素的坐标信息,以及人脸三角区域的三个顶点L、R、B的坐标信息,采用曲线拟合方法,对人脸边缘轮廓进行曲线拟合,获得人脸左右两侧边缘轮廓曲线
所述的S4中,具体包含以下步骤:
S41、如图2和图3A所示,瘦脸后轮廓曲线确立模块51根据人脸两侧边缘曲线以及人脸三角区域的左右两条侧边,确定需要削瘦的人脸区域为;如图3B所示,将人脸三角区域的右侧侧边上各点到人脸右侧边缘曲线的距离的中点所构成的曲线确定为瘦脸后右侧脸部轮廓曲线,由人脸三角区域的右侧侧边与瘦脸后右侧脸部轮廓曲线构成了瘦脸后将形成的新的右侧脸部区域;将人脸三角区域的左侧侧边上各点到人脸左侧边缘曲线的距离的中点所构成的曲线确定为瘦脸后左侧脸部轮廓曲线,由人脸三角区域的左侧侧边与瘦脸后左侧脸部轮廓曲线构成瘦脸后将形成的新的左侧脸部区域;
S42、瘦脸后脸部区域像素填充模块52根据需要削瘦的右侧人脸区域,以及瘦脸后将形成的新的右侧脸部区域,计算得到这两个区域的交集的补集,由图3C中可以看出,是由人脸右侧边缘曲线与瘦脸后右侧脸部轮廓曲线所构成的周围区域;瘦脸后将形成的新的右侧脸部区域中各个像素的新的颜色值(灰度值)由其原有的颜色值(灰度值)与周围区域内的对应像素点的颜色值(灰度值)计算得到并进行重新填充;同样的,根据需要削瘦的左侧人脸区域,以及瘦脸后将形成的新的左侧脸部区域,计算得到这两个区域的交集的补集为左侧周围区域,其是由人脸左侧边缘曲线与瘦脸后左侧脸部轮廓曲线所构成;瘦脸后将形成的新的左侧脸部区域中各个像素的新的颜色值由其原有的颜色值与左侧周围区域内的对应像素点的颜色值计算得到并进行重新填充;
S43、如图3D所述,瘦脸后新背景区域像素填充模块53对右侧周围区域向外侧扩充一等距离的相邻区域,利用相邻区域中各个像素点的颜色值结合常用填充算法(如镜像填充或复制填充等)对右侧周围区域进行背景像素填充;同样的,对左侧周围区域也进行背景像素的填充,从而得到如图3E所示的削瘦后的人脸区域。
本实施例中,所述的S42中,以瘦脸后将形成的新的右侧脸部区域为例,具体各个像素新的颜色值的计算方法可采用以下方法实现:对于位于人脸三角区域的右侧侧边上的其中某一点O,通过O点形成与右侧侧边相垂直的垂线且分别与人脸右侧边缘曲线以及瘦脸后右侧脸部轮廓曲线相交于点T和点T’,假设连线上任意一点的像素颜色值(灰度值)为,连线上对应的等距离的点的像素颜色值为,则连线上该像素的新颜色值(灰度值)为,其中均为一常量,且
本发明所述的具有自动瘦脸功能的图像优化方法,在所述的S1之前,还包含:S0、图像预处理模块1对原始图像进行预先数据处理,并传输至人脸检测模块2进行人脸自动识别,对图像进行预处理是为了对后续步骤提供更好的资源,提高瘦脸方法的效率和成功率。
所述的S0中,具体包含以下步骤:
S01、图像去噪模块11利用图像平滑算法对图像进行平滑去噪处理;
S02、图像增强模块12对平滑去噪后图像的色彩、对比度、亮度和直方图进行调整处理,增强图像清晰度;
S03、图像灰度化与归一化模块13对增强清晰度后的图像进行灰度化和归一化处理。
本发明所述的具有自动瘦脸功能的图像优化方法,在所述的S4之后,还包含:S5、图像后处理模块6对重新填充像素的人脸两侧削瘦区域和新背景区域进行平滑处理。
本发明所提供的具有自动瘦脸功能的图像优化系统和方法,能实现人脸的自动检测,人脸需要削瘦区域的自动检测,并通过边缘检测加上曲线拟合,对瘦脸区域准确定位,同时瘦脸后区域内的像素填充自然合理,满足同区域像素连续性准则,算法复杂度较低,瘦脸效率高。
尽管本发明的内容已经通过上述优选实施例作了详细介绍,但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后,对于本发明的多种修改和替代都将是显而易见的。因此,本发明的保护范围应由所附的权利要求来限定。

Claims (14)

1.一种具有自动瘦脸功能的图像优化系统,其特征在于,包含:
人脸检测模块(2),其利用人脸自动识别技术确定图像中包含人脸的人脸矩形区域,提取人脸矩形区域内的数据,确定双眼区域位置;
人脸三角区域确立模块(3),其与所述的人脸检测模块(2)相连接,在人脸矩形区域的基础上,根据双眼区域位置确定人脸三角区域;
人脸边缘曲线确立模块(4),其与所述的人脸三角区域确立模块(3)相连接,在人脸三角区域的基础上,对人脸外围轮廓进行确定,得到人脸两侧边缘曲线;
瘦脸区域像素填充模块(5),其与所述的人脸边缘曲线确立模块(4)相连接,根据人脸两侧边缘曲线以及人脸三角区域的左右两条侧边,确定人脸两侧需要削瘦的区域,并对该区域内像素进行重新填充。
2.如权利要求1所述的具有自动瘦脸功能的图像优化系统,其特征在于,所述的人脸三角区域确立模块(3)包含:
三角区域底边确立模块(31),其与所述的人脸检测模块(2)相连接,基于人脸矩形区域,计算得到左右两个眼睛区域的中心位置,该左右两个眼睛区域的中心位置的连线的延长线与人脸矩形区域的两个侧边分别相交的交点为人脸三角区域的两个顶点,且这两个交点的连线为人脸三角区域的底边;
三角区域侧边确立模块(32),其与所述的三角区域底边确立模块(31)相连接,基于左右两个眼睛区域的中心位置,计算得到两眼之间的中点,通过该两眼之间的中点形成人脸三角区域底边的垂线,其与人脸矩形区域的底边相交的交点为人脸三角区域的第三个顶点,由此确定人脸三角区域以及人脸三角区域的左右两条侧边。
3.如权利要求2所述的具有自动瘦脸功能的图像优化系统,其特征在于,所述的人脸边缘曲线确立模块(4)包含:
人脸边缘检测模块(41),其与所述的三角区域顶点确立模块(32)相连接,利用边缘检测算法对人脸矩形区域的左下三角与右下三角区域内图像进行边缘检测,获得人脸边缘轮廓像素;
人脸边缘曲线拟合模块(42),其与所述的人脸边缘检测模块(41)相连接,根据人脸边缘轮廓像素的坐标信息,以及人脸三角区域的三个顶点的坐标信息,采用曲线拟合方法,对人脸边缘轮廓进行曲线拟合,获得人脸左右两侧边缘轮廓曲线。
4.如权利要求3所述的具有自动瘦脸功能的图像优化系统,其特征在于,所述的瘦脸区域像素填充模块(5)包含:
瘦脸后轮廓曲线确立模块(51),其与所述的人脸边缘曲线拟合模块(42)相连接,根据人脸两侧边缘曲线以及人脸三角区域的左右两条侧边,确定需要削瘦的两侧人脸区域;将人脸三角区域的左、右侧侧边上各点到人脸左、右侧边缘曲线的距离的中点所构成的曲线确定为瘦脸后左、右侧脸部轮廓曲线,由人脸三角区域的左、右侧侧边与瘦脸后右侧脸部轮廓曲线构成了瘦脸后将形成的新的左、右侧脸部区域;
瘦脸后脸部区域像素填充模块(52),其与所述的瘦脸后轮廓曲线确立模块(51)相连接,根据需要削瘦的左、右侧人脸区域,以及瘦脸后将形成的新的左、右侧脸部区域,计算得到这两个区域的交集的补集为左、右侧周围区域,其是由人脸左、右侧边缘曲线与瘦脸后左、右侧脸部轮廓曲线所构成;瘦脸后将形成的新的左、右侧脸部区域中各个像素的新的颜色值由其原有的颜色值与左、右侧周围区域内的对应像素点的颜色值计算得到并进行重新填充;
瘦脸后新背景区域像素填充模块(53),其与所述的瘦脸后脸部区域像素填充模块(52)相连接,对右侧周围区域和左侧周围区域分别向外侧扩充一等距离的相邻区域,利用各个相邻区域中每个像素点的颜色值结合镜像填充或复制填充分别对右侧周围区域和左侧周围区域进行背景像素填充。
5.如权利要求4所述的具有自动瘦脸功能的图像优化系统,其特征在于,还包含图像预处理模块(1),其与所述的人脸检测模块(2)相连接,对原始图像进行预先数据处理后将其传输至人脸检测模块(2)进行人脸自动识别。
6.如权利要求5所述的具有自动瘦脸功能的图像优化系统,其特征在于,所述的图像预处理模块(1)包含:
图像去噪模块(11),其利用图像平滑算法对图像进行平滑去噪处理;
图像增强模块(12),其与所述的图像去噪模块(11)相连接,对平滑去噪后图像的色彩、对比度、亮度和直方图进行调整处理,增强图像清晰度;
图像灰度化与归一化模块(13),其分别与所述的图像增强模块(12)以及人脸检测模块(2)相连接,对增强清晰度后的图像进行灰度化处理和归一化处理。
7.如权利要求4所述的具有自动瘦脸功能的图像优化系统,其特征在于,还包含图像后处理模块(6),其与所述的瘦脸区域像素填充模块(5)相连接,对重新填充像素的人脸两侧削瘦区域和新背景区域进行平滑处理。
8.一种具有自动瘦脸功能的图像优化方法,其特征在于,包含以下步骤:
S1、人脸检测模块(2)利用人脸自动识别技术确定图像中包含人脸的人脸矩形区域,提取人脸矩形区域内的数据,确定双眼区域位置;
S2、人脸三角区域确立模块(3)在人脸矩形区域的基础上,根据双眼区域位置确定人脸三角区域;
S3、人脸边缘曲线确立模块(4)在人脸三角区域的基础上,对人脸外围轮廓进行确定,得到人脸两侧边缘曲线;
S4、瘦脸区域像素填充模块(5)根据人脸两侧边缘曲线以及人脸三角区域的左右两条侧边,确定人脸两侧需要削瘦的区域,并对该区域内像素进行重新填充。
9.如权利要求8所述的具有自动瘦脸功能的图像优化方法,其特征在于,所述的S2中,具体包含以下步骤:
S21、三角区域底边确立模块(31)基于人脸矩形区域,计算得到左右两个眼睛区域的中心位置,该左右两个眼睛区域的中心位置的连线的延长线与人脸矩形区域的两个侧边分别相交的交点为人脸三角区域的两个顶点,且这两个交点的连线为人脸三角区域的底边;
S22、三角区域侧边确立模块(32)基于左右两个眼睛区域的中心位置,计算得到两眼之间的中点,通过该两眼之间的中点形成人脸三角区域底边的垂线,其与人脸矩形区域的底边相交的交点为人脸三角区域的第三个顶点,由此确定人脸三角区域以及人脸三角区域的左右两条侧边。
10.如权利要求9所述的具有自动瘦脸功能的图像优化方法,其特征在于,所述的S3中,具体包含以下步骤:
S31、人脸边缘检测模块(41)利用边缘检测算法对人脸矩形区域的左下三角与右下三角区域内图像进行边缘检测,获得人脸边缘轮廓像素;
S32、人脸边缘曲线拟合模块(42)根据人脸边缘轮廓像素的坐标信息,以及人脸三角区域的三个顶点的坐标信息,采用曲线拟合方法,对人脸边缘轮廓进行曲线拟合,获得人脸左右两侧边缘轮廓曲线。
11.如权利要求10所述的具有自动瘦脸功能的图像优化方法,其特征在于,所述的S4中,具体包含以下步骤:
S41、瘦脸后轮廓曲线确立模块(51)根据人脸两侧边缘曲线以及人脸三角区域的左右两条侧边,确定需要削瘦的两侧人脸区域;将人脸三角区域的左、右侧侧边上各点到人脸左、右侧边缘曲线的距离的中点所构成的曲线确定为瘦脸后左、右侧脸部轮廓曲线,由人脸三角区域的左、右侧侧边与瘦脸后右侧脸部轮廓曲线构成了瘦脸后将形成的新的左、右侧脸部区域;
S42、瘦脸后脸部区域像素填充模块(52)根据需要削瘦的左、右侧人脸区域,以及瘦脸后将形成的新的左、右侧脸部区域,计算得到这两个区域的交集的补集为左、右侧周围区域,其是由人脸左、右侧边缘曲线与瘦脸后左、右侧脸部轮廓曲线所构成;瘦脸后将形成的新的左、右侧脸部区域中各个像素的新的颜色值由其原有的颜色值与左、右侧周围区域内的对应像素点的颜色值计算得到并进行重新填充;
S43、瘦脸后新背景区域像素填充模块(53)对右侧周围区域和左侧周围区域分别向外侧扩充一等距离的相邻区域,利用各个相邻区域中每个像素点的颜色值结合镜像填充或复制填充分别对右侧周围区域和左侧周围区域进行背景像素填充。
12.如权利要求11所述的具有自动瘦脸功能的图像优化方法,其特征在于,在所述的S1之前,还包含:S0、图像预处理模块(1)对原始图像进行预先数据处理,并传输至人脸检测模块(2)进行人脸自动识别。
13.如权利要求12所述的具有自动瘦脸功能的图像优化方法,其特征在于,所述的S0中,具体包含以下步骤:
S01、图像去噪模块(11)利用图像平滑算法对图像进行平滑去噪处理;
S02、图像增强模块(12)对平滑去噪后图像的色彩、对比度、亮度和直方图进行调整处理,增强图像清晰度;
S03、图像灰度化与归一化模块(13)对增强清晰度后的图像进行灰度化和归一化处理。
14.如权利要求11所述的具有自动瘦脸功能的图像优化方法,其特征在于,在所述的S4之后,还包含:S5、图像后处理模块(6)对重新填充像素的人脸两侧削瘦区域和新背景区域进行平滑处理。
CN201510294637.0A 2015-06-02 2015-06-02 具有自动瘦脸功能的图像优化系统和方法 Active CN104850847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510294637.0A CN104850847B (zh) 2015-06-02 2015-06-02 具有自动瘦脸功能的图像优化系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510294637.0A CN104850847B (zh) 2015-06-02 2015-06-02 具有自动瘦脸功能的图像优化系统和方法

Publications (2)

Publication Number Publication Date
CN104850847A true CN104850847A (zh) 2015-08-19
CN104850847B CN104850847B (zh) 2019-11-29

Family

ID=53850482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510294637.0A Active CN104850847B (zh) 2015-06-02 2015-06-02 具有自动瘦脸功能的图像优化系统和方法

Country Status (1)

Country Link
CN (1) CN104850847B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509140A (zh) * 2017-09-15 2019-03-22 阿里巴巴集团控股有限公司 显示方法及装置
CN110188711A (zh) * 2019-06-03 2019-08-30 北京字节跳动网络技术有限公司 用于输出信息的方法和装置
CN110290395A (zh) * 2019-06-14 2019-09-27 北京奇艺世纪科技有限公司 一种图像处理方法、装置及计算机可读存储介质
CN110399836A (zh) * 2019-07-25 2019-11-01 深圳智慧林网络科技有限公司 用户情绪识别方法、装置以及计算机可读存储介质
WO2019227916A1 (zh) * 2018-05-31 2019-12-05 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110555806A (zh) * 2018-05-31 2019-12-10 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110602390A (zh) * 2019-08-30 2019-12-20 维沃移动通信有限公司 一种图像处理方法及电子设备
US11410268B2 (en) 2018-05-31 2022-08-09 Beijing Sensetime Technology Development Co., Ltd Image processing methods and apparatuses, electronic devices, and storage media

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999929A (zh) * 2012-11-08 2013-03-27 大连理工大学 一种基于三角网格化的人物图像瘦脸处理方法
CN103208133A (zh) * 2013-04-02 2013-07-17 浙江大学 一种图像中人脸胖瘦的调整方法
CN103218835A (zh) * 2012-01-19 2013-07-24 北京千橡网景科技发展有限公司 用于变换体形或面部的图像的方法和设备
CN103413268A (zh) * 2013-08-06 2013-11-27 厦门美图移动科技有限公司 一种自动优化脸型的拍照方法
CN104159032A (zh) * 2014-08-20 2014-11-19 广东欧珀移动通信有限公司 一种实时调整相机拍照美颜效果的方法及装置
CN104299250A (zh) * 2014-10-15 2015-01-21 南京航空航天大学 基于先验模型的正面人脸图像合成方法及系统
CN104537630A (zh) * 2015-01-22 2015-04-22 厦门美图之家科技有限公司 一种基于年龄估计的图像美颜方法和装置
CN103605975B (zh) * 2013-11-28 2018-10-19 小米科技有限责任公司 一种图像处理的方法、装置及终端设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218835A (zh) * 2012-01-19 2013-07-24 北京千橡网景科技发展有限公司 用于变换体形或面部的图像的方法和设备
CN102999929A (zh) * 2012-11-08 2013-03-27 大连理工大学 一种基于三角网格化的人物图像瘦脸处理方法
CN103208133A (zh) * 2013-04-02 2013-07-17 浙江大学 一种图像中人脸胖瘦的调整方法
CN103413268A (zh) * 2013-08-06 2013-11-27 厦门美图移动科技有限公司 一种自动优化脸型的拍照方法
CN103605975B (zh) * 2013-11-28 2018-10-19 小米科技有限责任公司 一种图像处理的方法、装置及终端设备
CN104159032A (zh) * 2014-08-20 2014-11-19 广东欧珀移动通信有限公司 一种实时调整相机拍照美颜效果的方法及装置
CN104299250A (zh) * 2014-10-15 2015-01-21 南京航空航天大学 基于先验模型的正面人脸图像合成方法及系统
CN104537630A (zh) * 2015-01-22 2015-04-22 厦门美图之家科技有限公司 一种基于年龄估计的图像美颜方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SCOTT SCHAEFER 等: "Image Deformation Using Moving Least Squares", 《ACM TRANSACTIONS ON GRAPHICS》 *
张静波 等: "基于特征网格的面部图象变形算法", 《中国图象图形学报》 *
胡伟平 等: "个性化人脸图像模拟研究", 《西南大学学报(自然科学版)》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509140A (zh) * 2017-09-15 2019-03-22 阿里巴巴集团控股有限公司 显示方法及装置
WO2019227916A1 (zh) * 2018-05-31 2019-12-05 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110555806A (zh) * 2018-05-31 2019-12-10 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US11216904B2 (en) 2018-05-31 2022-01-04 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, electronic device, and storage medium
US11410268B2 (en) 2018-05-31 2022-08-09 Beijing Sensetime Technology Development Co., Ltd Image processing methods and apparatuses, electronic devices, and storage media
CN110188711A (zh) * 2019-06-03 2019-08-30 北京字节跳动网络技术有限公司 用于输出信息的方法和装置
CN110290395A (zh) * 2019-06-14 2019-09-27 北京奇艺世纪科技有限公司 一种图像处理方法、装置及计算机可读存储介质
CN110290395B (zh) * 2019-06-14 2021-05-25 北京奇艺世纪科技有限公司 一种图像处理方法、装置及计算机可读存储介质
CN110399836A (zh) * 2019-07-25 2019-11-01 深圳智慧林网络科技有限公司 用户情绪识别方法、装置以及计算机可读存储介质
CN110602390A (zh) * 2019-08-30 2019-12-20 维沃移动通信有限公司 一种图像处理方法及电子设备
CN110602390B (zh) * 2019-08-30 2021-02-02 维沃移动通信有限公司 一种图像处理方法及电子设备

Also Published As

Publication number Publication date
CN104850847B (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN104850847A (zh) 具有自动瘦脸功能的图像优化系统和方法
CN112348815B (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
CN106651938B (zh) 一种融合高分辨率彩色图像的深度图增强方法
US9483835B2 (en) Depth value restoration method and system
US9818226B2 (en) Method for optimizing occlusion in augmented reality based on depth camera
US8619074B2 (en) Rendering personalized text on curved image surfaces
US12008464B2 (en) Neural network based face detection and landmark localization
CN107507216B (zh) 图像中局部区域的替换方法、装置及存储介质
CN107564080B (zh) 一种人脸图像的替换系统
CN110866871A (zh) 文本图像矫正方法、装置、计算机设备及存储介质
CN108446694B (zh) 一种目标检测方法及装置
US10521919B2 (en) Information processing device and information processing method for applying an optimization model
US20150278589A1 (en) Image Processor with Static Hand Pose Recognition Utilizing Contour Triangulation and Flattening
WO2018082388A1 (zh) 一种肤色检测方法、装置及终端
CN106651897B (zh) 一种基于超像素分割的视差修正方法
US20220172331A1 (en) Image inpainting with geometric and photometric transformations
CN107808140B (zh) 一种基于图像融合的单目视觉道路识别算法
CN106408513A (zh) 深度图超分辨率重建方法
CN107622480A (zh) 一种Kinect深度图像增强方法
CN105389801A (zh) 人物轮廓设置方法、人物图像虚化方法、系统及拍摄终端
US9996961B2 (en) Method and apparatus for generating a composite image based on an ambient occlusion
CN107016682A (zh) 一种自然图像显著对象自适应分割方法
US9959672B2 (en) Color-based dynamic sub-division to generate 3D mesh
CN108596992B (zh) 一种快速实时的唇彩化妆方法
CN114677479A (zh) 一种基于深度学习的自然景观多视图三维重建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201118

Address after: Room 10242, No. 260, Jiangshu Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Jiji Intellectual Property Operation Co., Ltd

Address before: 201620 Shanghai city Songjiang District Sixian Road No. 3666

Patentee before: Phicomm (Shanghai) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211201

Address after: 313000 room 1019, Xintiandi commercial office, Yishan street, Wuxing District, Huzhou, Zhejiang, China

Patentee after: Huzhou YingLie Intellectual Property Operation Co.,Ltd.

Address before: Room 10242, No. 260, Jiangshu Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: Hangzhou Jiji Intellectual Property Operation Co., Ltd