CN108985132B - 一种人脸图像处理方法、装置、计算设备及存储介质 - Google Patents

一种人脸图像处理方法、装置、计算设备及存储介质 Download PDF

Info

Publication number
CN108985132B
CN108985132B CN201710400467.9A CN201710400467A CN108985132B CN 108985132 B CN108985132 B CN 108985132B CN 201710400467 A CN201710400467 A CN 201710400467A CN 108985132 B CN108985132 B CN 108985132B
Authority
CN
China
Prior art keywords
face
face image
image
polygon
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710400467.9A
Other languages
English (en)
Other versions
CN108985132A (zh
Inventor
奚驰
李斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710400467.9A priority Critical patent/CN108985132B/zh
Publication of CN108985132A publication Critical patent/CN108985132A/zh
Application granted granted Critical
Publication of CN108985132B publication Critical patent/CN108985132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种人脸图像处理方法、装置、计算设备及存储介质,该方法包括:获取用户人脸图像;从所标记的人脸特征点中确定目标脸部区域的人脸特征点;通过多边形划分技术对用户人脸图像的目标脸部区域的人脸特征点进行处理,得到目标脸部区域对应的第一多边形图形,及获取标准人脸图像中相应目标脸部区域对应的第二多边形图形,第二多边形图形为通过多边形划分技术对标准人脸图像中相应目标脸部区域的人脸特征点进行处理得到;根据第二多边形图形,对第一多边形图形中的边进行拉伸,以使第一多边形图形和所述第二多边形图形相对齐。本发明实施例可降低用户人脸图像与标准人脸图像的差异,便于用户人脸图像至三维人脸模型的导入。

Description

一种人脸图像处理方法、装置、计算设备及存储介质
技术领域
本发明涉及数据处理技术领域,具体涉及一种人脸图像处理方法、装置、计算设备及存储介质。
背景技术
相比于二维人脸图像,三维人脸图像由于能够更为生动、立体的展示用户形象,因此可以具有更多可能的应用。目前常见的三维人脸图像的生成方式是,通过支持三维的图像处理引擎将用户的二维人脸图像导入三维人脸模型上,生成相应的三维人脸图像。
三维人脸模型可以认为是对用户通用的三维形式的人脸模型,其对应有一标准人脸图像;然而由于不同用户的人脸各不相同,因此用户人脸图像往往与该标准人脸图像存在差异,致使后续的用户人脸图像导入三维人脸模型时,存在用户人脸图像与三维人脸模型不匹配的情况发生;因此如何对用户人脸图像进行处理,以降低用户人脸图像与标准人脸图像的差异,便于后续用户人脸图像至三维人脸模型的导入,一直是本领域技术人员在考虑的问题。
发明内容
有鉴于此,本发明实施例提供一种人脸图像处理方法、装置、计算设备及存储介质,以降低用户人脸图像,与三维人脸模型的标准人脸图像的差异。
为实现上述目的,本发明实施例提供如下技术方案:
一种人脸图像处理方法,包括:
获取用户人脸图像,标记所述用户人脸图像的人脸特征点;
从所标记的用户人脸图像的人脸特征点中确定设定的目标脸部区域的人脸特征点;
通过多边形划分技术对所述用户人脸图像的目标脸部区域的人脸特征点进行处理,得到该目标脸部区域对应的第一多边形图形;及获取标准人脸图像中相应目标脸部区域对应的第二多边形图形,所述第二多边形图形为通过所述多边形划分技术对标准人脸图像中相应目标脸部区域的人脸特征点进行对应处理得到;
根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸,以使所述第一多边形图形和所述第二多边形图形相对齐。
本发明实施例还提供一种人脸图像处理装置,包括:
特征点标记模块,用于获取用户人脸图像,标记所述用户人脸图像的人脸特征点;
区域人脸特征点确定模块,用于从所标记的用户人脸图像的人脸特征点中确定设定的目标脸部区域的人脸特征点;
第一图形获取模块,用于通过多边形划分技术对所述用户人脸图像的目标脸部区域的人脸特征点进行处理,得到该目标脸部区域对应的第一多边形图形;
第二图形获取模块,用于获取标准人脸图像中相应目标脸部区域对应的第二多边形图形,所述第二多边形图形为通过所述多边形划分技术对标准人脸图像中相应目标脸部区域的人脸特征点进行对应处理得到;
拉伸对齐模块,用于根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸,以使所述第一多边形图形和所述第二多边形图形相对齐。
可选的,所述多边形划分技术包括Delaunay三角划分技术;所述第一多边形图形包括第一Delaunay三角划分结果,及所述第二多边形图形包括第二Delaunay三角划分结果;
所述拉伸对齐模块,用于根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸,具体包括:
根据所述第二Delaunay三角划分结果,对所述第一Delaunay三角划分结果中的边进行拉伸,以使所述第一Delaunay三角划分结果和所述第二Delaunay三角划分结果相对齐。
可选的,所述Delaunay三角划分技术的处理过程可以包括:
确定三角网格;
从人脸特征点集合中未插入过三角网格的人脸特征点中选取一人脸特征点,插入所述三角网格;
确定所插入的人脸特征点在三角网格中的关联三角形,并构建各关联三角形的外接圆;
确定外接圆包含所插入的人脸特征点的三角形,删除该三角形的边,以形成包含所插入的人脸特征点的多边形空腔;
将所插入的人脸特征点,与所述多边形空腔的每一个端点分别相连,形成新的三角网格;
若所述人脸特征点集合当前不存在未插入过的人脸特征点,根据新的三角网格,获取到Delaunay三角划分结果;
其中,所述Delaunay三角划分技术针对所述用户人脸图像的目标脸部区域的人脸特征点进行处理时,所述人脸特征点集合包括:所述用户人脸图像的目标脸部区域的人脸特征点;所述Delaunay三角划分技术针对标准人脸图像中相应目标脸部区域的人脸特征点进行处理时,所述人脸特征点集合包括:所述标准人脸图像中相应目标脸部区域的人脸特征点。
可选的,一方面,Delaunay三角划分技术的处理过程中确定三角网格,具体包括:
从所述人脸特征点集合的周围选取设定数量的辅助人脸特征点,通过选取的辅助人脸特征点构建所确定的三角网格,该三角网格包围所述人脸特征点集合。
可选的,另一方面,Delaunay三角划分技术的处理过程中确定三角网格,具体包括:
若形成新的三角网格后,所述人脸特征点集合中当前存在未插入过的人脸特征点,将所述新的三角网格作为所确定的三角网格。
可选的,Delaunay三角划分技术的处理过程中,根据新的三角网格,获取到Delaunay三角划分结果,具体包括:
去除新的三角网格中由辅助人脸特征点连接的边,获取到Delaunay三角划分结果。
可选的,Delaunay三角划分技术的处理过程中,确定所插入的人脸特征点在三角网格中的关联三角形,具体包括:
确定所插入的人脸特征点在三角网格中所处于的三角形,及从该所处于的三角形开始,搜索邻近三角形;
将该所处于的三角形,以及搜索到的邻近三角形确定为所述关联三角形。
可选的,Delaunay三角划分技术的处理过程中,删除该三角形的边,具体包括:
确定该三角形中所述三角网格的非边缘边,删除所确定的非边缘边。
可选的,一方面,所述第二图形获取模块获取标准人脸图像中相应目标脸部区域对应的第二多边形图形之前,所述人脸图像处理装置还用于:将所述标准人脸图像的人脸特征点,映射到所述用户人脸图像;
相应的,所述第二图形获取模块,用于获取标准人脸图像中相应目标脸部区域对应的第二多边形图形,具体包括:
通过Delaunay三角划分技术,处理所述用户人脸图像中所映射的标准人脸图像中所对应的目标脸部区域的人脸特征点,得到所述第二Delaunay三角划分结果。
可选的,人脸图像处理装置用于将所述标准人脸图像的人脸特征点,映射到所述用户人脸图像,具体包括:
若所述用户人脸图像人脸识别区域与标准人脸图像的人脸识别区域相应,根据标准人脸图像的各人脸特征点在人脸识别区域的位置,将标准人脸图像的各人脸特征点映射到所述用户人脸图像中。
可选的,另一方面,第二图形获取模块,用于获取标准人脸图像中相应目标脸部区域对应的第二多边形图形,具体包括:
获取预先通过Delaunay三角划分技术,处理所述标准人脸图像中所对应目标脸部区域的人脸特征点,得到的所述第二Delaunay三角划分结果;
相应的,所述拉伸对齐模块根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸之前,所述人脸图像处理装置还可用于:将所述第二Delaunay三角划分结果添加到所述用户人脸图像中。
可选的,人脸图像处理装置用于将所述第二Delaunay三角划分结果添加到所述用户人脸图像中,具体包括:
若所述用户人脸图像人脸识别区域与标准人脸图像的人脸识别区域相应,确定第二Delaunay三角划分结果中各端点在人脸识别区域的坐标;
根据所确定的坐标,将第二Delaunay三角划分结果的各端点添加到所述用户人脸图像中,并以第二Delaunay三角划分结果的端点连接形式,连接添加到所述用户人脸图像中的第二Delaunay三角划分结果的各端点。
可选的,拉伸对齐模块,用于根据第二多边形图形,对第一多边形图形中的边进行拉伸,具体包括:
对于第一多边形图形中的任一待拉伸的边,根据该待拉伸的边的端点的特征点序号,确定第二多边形图形中与端点的特征点序号相应的参照边;
根据所确定的参照边,拉伸该待拉伸的边,使得该待拉伸的边与参照边中相同特征点序号的端点对齐。
可选的,目标脸部区域包括:至少一类五官区域,和/或,脸部轮廓区域;
若目标脸部区域的数量为多个,则分别对用户人脸图像和标准人脸图像的各目标脸部区域的人脸特征点进行对齐。
可选的,如果目标脸部区域包括:至少一类五官区域,和,脸部轮廓区域;则可先对用户人脸图像和标准人脸图像的五官类型的各目标脸部区域的人脸特征点进行对齐,并在用户人脸图像的脸部中心区域设置保护点,默认用户人脸图像设置的保护点与标准人脸图像中的人脸特征点相对齐,再对用户人脸图像和标准人脸图像的脸部轮廓区域的人脸特征点进行对齐。
可选的,如果目标脸部区域包括:脸部轮廓区域;则拉伸对齐模块在根据第二多边形图形,对第一多边形图形中的边进行拉伸前,所述人脸图像处理装置还可通过保护点设置模块,用于:在用户人脸图像的脸部中心区域设置保护点,并默认用户人脸图像设置的保护点与标准人脸图像中的人脸特征点相对齐。
可选的,所述保护点设置模块,用于在用户人脸图像的脸部中心区域设置保护点,具体包括:
从用户人脸图像的脸部中心区域的五官中分别选取人脸特征点;
将所选取的人脸特征点分别偏移设定长度,得到保护点。
可选的,所述人脸图像处理装置还可以包括:
三维图像生成模块,用于获取对所述第一多边形图形中的边进行拉伸后,由所述用户人脸图像变换成的目标用户人脸图像,将目标用户人脸图像导入三维人脸模型上,生成三维人脸图像。
本发明实施例还提供一种计算设备,包括:至少一个存储器和至少一个处理器;
所述存储器存储有程序,所述处理器调用所述存储器存储的程序,所述程序用于:
获取用户人脸图像,标记所述用户人脸图像的人脸特征点;
从所标记的用户人脸图像的人脸特征点中确定设定的目标脸部区域的人脸特征点;
通过多边形划分技术对所述用户人脸图像的目标脸部区域的人脸特征点进行处理,得到该目标脸部区域对应的第一多边形图形,及获取标准人脸图像中相应目标脸部区域对应的第二多边形图形,所述第二多边形图形为通过所述多边形划分技术对标准人脸图像中相应目标脸部区域的人脸特征点进行对应处理得到;
根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸,以使所述第一多边形图形和所述第二多边形图形相对齐。
本发明实施例还提供存储介质,所述存储介质中记录有程序,所述程序用于执行如下方法:
获取用户人脸图像,标记所述用户人脸图像的人脸特征点;
从所标记的用户人脸图像的人脸特征点中确定设定的目标脸部区域的人脸特征点;
通过多边形划分技术对所述用户人脸图像的目标脸部区域的人脸特征点进行处理,得到该目标脸部区域对应的第一多边形图形;及获取标准人脸图像中相应目标脸部区域对应的第二多边形图形,所述第二多边形图形为通过所述多边形划分技术对标准人脸图像中相应目标脸部区域的人脸特征点进行对应处理得到;
根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸,以使所述第一多边形图形和所述第二多边形图形相对齐。
基于上述技术方案,本发明实施例可确定用户人脸图像中需与标准人脸图像的人脸特征点对齐的目标脸部区域,从而获取通过多边形划分技术对所述用户人脸图像的目标脸部区域的人脸特征点进行处理,得到的该目标脸部区域对应的第一多边形图形,以及,获取通过所述多边形划分技术对标准人脸图像中相应目标脸部区域的人脸特征点进行对应处理,所得到的该目标脸部区域对应的第二多边形图形;进而可根据第二多边形图形对第一多边形图形中的边进行拉伸,以使所述第一多边形图形和所述第二多边形图形相对齐,使得用户的二维人脸图像的目标脸部区域的人脸特征点,与标准人脸图像的目标脸部区域的人脸特征点相对齐,降低用户人脸图像,与三维人脸模型的标准人脸图像的差异;同时提升了用户人脸图像和标准人脸图像的目标脸部区域的人脸特征点的对齐准确度,并降低用户人脸图像的人脸特征损失。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为计算设备的硬件结构框图;
图2为本发明实施例提供的人脸图像处理方法的流程图;
图3为用户人脸图像中的人脸特征点示意图;
图4为人脸识别区域的示意图;
图5为用户人脸图像中的人脸特征点与所映射的标准人脸图像的人脸特征点的示意图;
图6为人脸识别区域的大小差异示意图;
图7为Delaunay三角划分结果的示意图;
图8为拉伸第一Delaunay三角划分结果中的三角形边的示意图;
图9为本发明实施例提供的人脸图像处理方法的另一流程图;
图10为获取Delaunay三角划分结果的方法流程图;
图11为三角网格的示意图;
图12为在三角网格中插入人脸特征点的示意图;
图13为构建三角形的外接圆的示意图;
图14为形成的多边形空腔的示意图;
图15为重构后的新的三角网格的示意图;
图16为本发明实施例提供的人脸图像处理方法的再一流程图;
图17为人脸图像中包含脸部轮廓的Delaunay三角划分结果的示意图;
图18为用户的三维人脸头像的设置示意图;
图19为本发明实施例提供的人脸图像处理装置的结构框图;
图20为本发明实施例提供的人脸图像处理装置的另一结构框图;
图21为本发明实施例提供的人脸图像处理装置的再一结构框图。
具体实施方式
本发明的发明人在研究过程中发现,用户人脸图像与三维人脸模型的标准人脸图像存在差异,主要是体现在用户人脸图像的人脸特征点,与标准人脸图像的人脸特征点不对齐,导致用户人脸图像与标准人脸图像存在特征点错位的现象,这一现象将使得用户人脸图像在导入三维人脸模型时,存在与三维人脸模型的匹配度较差的问题,使得形成的三维人脸图像存在失真,无法覆盖所导入的用户人脸图像;
因此,本发明的发明人考虑降低用户人脸图像与标准人脸图像的差异,其首要解决的问题是,提升用户人脸图像的人脸特征点,与标准人脸图像的人脸特征点的对齐度;而这个过程中,需要进一步考虑的是,如何在对齐用户人脸图像与标准人脸图像的人脸特征点时,降低用户人脸图像的人脸特征损失(例如保持用户人脸图像的基本几何形状,和避免过多的人脸形变)。
基于此,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例提供的人脸图像处理方法可以应用于具有数据处理能力的计算设备,该计算设备可能是网络侧设置的服务器,也可能是用户侧设置的PC(个人计算机)等终端设备;该计算设备可以通过装载功能与本发明实施例提供的人脸图像处理方法相应的程序,实施本发明实施例提供的人脸图像处理方法,该程序可以存储于计算设备的存储器中,并由处理器调用实现程序功能;
可选的,图1示出了本发明实施例提供的计算设备的硬件结构框图,参照图1,该计算设备可以包括:至少一个处理器1,至少一个通信接口2,至少一个存储器3和至少一个通信总线4;
在本发明实施例中,处理器1、通信接口2、存储器3、通信总线4的数量为至少一个,且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信;
可选的,通信接口2可以为通信模块的接口,如GSM模块的接口;
处理器1可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器3可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。
其中,存储器3存储有程序,处理器1调用存储器3所存储的程序可以实现本发明实施例提供的人脸图像处理方法;
显然,图1所示计算设备的硬件结构仅是可选的,根据使用需要,计算设备还可以设置显示屏、信息输入装置(键盘、鼠标等)、图形处理器等。
下面站在计算设备的角度,对本发明实施例提供的人脸图像处理方法进行介绍,下文描述的方法步骤可以由计算设备执行相应的程序实施。
图2为本发明实施例提供的人脸图像处理方法的流程图,该方法可应用于计算设备,参照图2,该方法可以包括:
步骤S100、获取用户人脸图像,标记所述用户人脸图像的人脸特征点。
用户人脸图像可以是二维的,如当前拍摄的包含用户人脸的图像,又如从本地图像中调取的包含用户人脸的图像;
如果计算设备采用PC等终端设备,终端设备可以直接通过摄像头获取到用户人脸图像,或者从本地图像库中确定被调取的用户人脸图像;显然,终端设备还可以具有其他的方式获取到用户人脸图像,如从网络相册中下载等;
如果计算设备采用服务器实现,则服务器可获取终端设备上传的用户人脸图像,终端设备上传用户人脸图像时可由用户确定后上传。
在获取到用户人脸图像后,本发明实施例可使用人脸识别技术,识别标记出所述用户人脸图像的人脸特征点,所识别的人脸特征点如图3所示黑点;例如本发明实施例可利用开源库dlib(dlib是一个机器学习的C++库,包含了许多机器学习常用的算法)中的人脸识别算法,识别出所述用户人脸图像的人脸特征点;
可选的,人脸特征点可以使用Landmark点表示,Landmark点是人脸面部关键特征点,是人脸识别中最核心的问题,有多种标记方案(如68点方案等);较为优选的,本发明实施例可以利用开源库dlib,识别出所述用户人脸图像的Landmark点,实现所述用户人脸图像的人脸特征点的识别。
步骤S110、将标准人脸图像的人脸特征点,映射到所述用户人脸图像。
可选的,在进行人脸识别时,本发明实施例可以从包含人脸的图像中确定人脸识别区域,人脸识别区域例如图4所示矩形框;该人脸识别区域可以认为是一个二维矩阵,因此每一人脸特征点的位置可以用人脸特征点在该二维矩阵的坐标确定(如将二维矩阵划分出多个行和列,并定义行号和列号,则一人脸特征点的位置可以用人脸特征点在二维矩阵的行号和列号确定);
对于标准人脸图像的人脸特征点,各人脸特征点在标准人脸图像的人脸识别区域的位置是确定的,本发明实施例可根据标准人脸图像的各人脸特征点在人脸识别区域的位置,将标准人脸图像的各人脸特征点映射到所述用户人脸图像中;如图5所示,黑点表示用户人脸图像的人脸特征点,白点表示标准人脸图像的人脸特征点在用户人脸图像中对应映射的人脸特征点,可以看出,两者存在错位现象。
可选的,如果所述用户人脸图像的人脸识别区域尺寸与标准人脸图像的人脸识别区域尺寸不一致(例如,所述用户人脸图像的尺寸与标准人脸图像的尺寸不一致,则所述用户人脸图像的人脸大小,与标准人脸图像的人脸大小将不一致,相应的,基于人脸大小确定的所述用户人脸图像和标准人脸图像的人脸识别区域也将不一致,如图6所示),则为使得标准人脸图像的人脸特征点映射到所述用户人脸图像的位置较为准确,本发明实施例可在步骤S100获取用户人脸图像时,获取人脸识别区域与标准人脸图像的人脸识别区域相应的用户人脸图像;如原始获取的用户人脸图像的人脸识别区域,与标准人脸图像的人脸识别区域不相应,则可对原始获取的用户人脸图像进行尺寸转换,使得转换后的用户人脸图像的人脸识别区域尺寸与标准人脸图像的人脸识别区域尺寸相一致(即相应),进而实现用户人脸图像的获取,然后才进行所述用户人脸图像的人脸特征点的识别;
显然,如果获取的原始的用户人脸图像的人脸识别区域尺寸与标准人脸图像的人脸识别区域尺寸一致,则可将获取的原始的用户人脸图像,作为步骤S100所获取的用户人脸图像,并识别标记出人脸特征点。
步骤S120、从所述用户人脸图像中确定设定的目标脸部区域的人脸特征点,和,标准人脸图像在所述目标脸部区域相应映射的人脸特征点。
目标脸部区域是本发明实施例设定的需要将用户人脸图像和标准人脸图像的人脸特征点对齐的脸部区域,目标脸部区域可能是脸部五官区域(眉、眼、耳、鼻、口)中的至少一类五官区域,和/或,人脸轮廓区域;具体的目标脸部区域的设定可以根据三维人脸模型的要求而定,不同的三维人脸模型要求下,所设定的目标脸部区域也不尽相同。
在设定目标脸部区域后,本发明实施例可从所述用户人脸图像中,确定出该设定目标脸部区域相应的用户人脸图像的人脸特征点,以及标准人脸图像映射到用户人脸图像中的该目标脸部区域的人脸特征点。
步骤S130、通过Delaunay三角划分技术对所述用户人脸图像的目标脸部区域的人脸特征点进行处理,得到该目标脸部区域对应的第一Delaunay三角划分结果;及通过Delaunay三角划分技术对标准人脸图像在用户人脸图像中映射的目标脸部区域的人脸特征点进行处理,得到该目标脸部区域对应的第二Delaunay三角划分结果。
Delaunay(德洛内)三角划分是将点集中的点连接为三角形,使得所有三角形中最小角最大的一个技术,对点集中的点进行Delaunay三角划分后,所得出的Delaunay三角划分结果需满足如下要求:
三角形的端点均是点集中的点,且三角形的边不包含点集中的点;
三角划分结果中三角形的边不交叉;
三角划分结果中所有三角形的面的合集是点集的凸包。
本发明实施例在获取到所述目标脸部区域的人脸特征点后,可采用Delaunay三角划分技术,将所述用户人脸图像中的目标脸部区域的人脸特征点进行Delaunay三角划分,得到相应的Delaunay三角划分结果(为便于描述,本发明实施例称为第一Delaunay三角划分结果),使得第一Delaunay三角划分结果中三角形的端点均是用户人脸图像的目标脸部区域的人脸特征点,三角形的边不包含用户人脸图像的目标脸部区域的人脸特征点;
本发明实施例在获取到标准人脸图像在用户人脸图像中映射的目标脸部区域的人脸特征点后,可采用Delaunay三角划分技术,将标准人脸图像在用户人脸图像中映射的目标脸部区域的人脸特征点进行Delaunay三角划分,得到相应的Delaunay三角划分结果(为便于描述,本发明实施例称为第二Delaunay三角划分结果),使得第二Delaunay三角划分结果中三角形的端点均是标准人脸图像在用户人脸图像中映射的目标脸部区域的人脸特征点,三角形的边不包含标准人脸图像在用户人脸图像中映射的目标脸部区域的人脸特征点。
示例的,图7示出了Delaunay三角划分结果的一种可选示意,可参照,其中,实线表示第一Delaunay三角划分结果,虚线表示第二Delaunay三角划分结果,可以看出,两划分结果中的三角形边并不重合,这是由于目标脸部区域的用户人脸图像的人脸特征点和标准人脸图像所映射的人脸特征点错位导致。
这里需要说明的是,在进行人脸识别,标记出人脸特征点时,各人脸特征点在人脸中具有独立的特征点序号,一个特征点序号标识一个人脸特征点,且表示人脸特征的一个属性信息;例如,0号的特征点序号是从右耳朵开始,并顺着人脸轮廓逐个依序的标记出各人脸特征点的特征点序号1,2,3等;
可以理解是的,若以68点的Landmark点标记方案为例,用户人脸图像和标准人脸图像的人脸特征点集合可以分别表示为s=s1,s2...s68和t=t1,t2...t68;其中,s1可以认为是用户人脸图像中特征点序号为1的人脸特征点在人脸识别区域的二维矩阵中的行号和列号,其他参数的含义以此类推;则降低用户人脸图像,与标准人脸图像的差异可以认为是找到一种变换方式T:(i,j)→(i′,j′),使得si经过变换后离ti的距离尽可能地近(即用户人脸图像和标准人脸图像的,相同特征点序号的人脸特征点在人脸识别区域中的距离尽可能的近,以对齐重合);从而可将其变换成求解如下一个优化问题:
Figure BDA0001309600760000121
可见,本发明实施例所指的用户人脸图像的人脸特征点与标准人脸图像的人脸特征点的错位是,相同特征点序号的用户人脸图像的人脸特征点与标准人脸图像的人脸特征点存在错位,本发明实施例也即需要将用户人脸图像和标准人脸图像中相同特征点序号的人脸特征点进行对齐重合;
可选的,本发明实施例在解决这一问题时,图2后续处理方式可如如下步骤。
步骤S140、根据第二Delaunay三角划分结果,对第一Delaunay三角划分结果中的三角形边进行拉伸,以使所述第一Delaunay三角划分结果和所述第二Delaunay三角划分结果相对齐。
上文已说明第二Delaunay三角划分结果,与第一Delaunay三角划分结果的三角形并不重合,是由于用户人脸图像的人脸特征点与标准人脸图像的人脸特征点错位导致;因此本发明实施例在获取到第二Delaunay三角划分结果后,可以第二Delaunay三角划分结果为参照,对第一Delaunay三角划分结果中的三角形边进行拉伸,使得第一Delaunay三角划分结果中的三角形边,与第二Delaunay三角划分结果中相应的三角形边进行重合对齐,使得所述第一Delaunay三角划分结果和所述第二Delaunay三角划分结果相对齐,达到用户人脸图像的人脸特征点与标准人脸图像的人脸特征点对齐的目的;
可选的,在将第一Delaunay三角划分结果中的一待拉伸三角形边进行拉伸时,本发明实施例可从第二Delaunay三角划分结果中定位该待拉伸三角形边的参照三角形边,以该参照三角形边为参照,进行该待拉伸三角形边的拉伸,使得该待拉伸三角形边的端点,与该参照三角形边的相应端点重合;
可选的,本发明实施例可根据待拉伸三角形边的端点对应的特征点序号,从第二Delaunay三角划分结果中确定出端点的特征点序号,与待拉伸三角形边的端点的特征点序号相应的三角形边,从而定位出参照三角形边,以该参照三角形边为参照,进行该待拉伸三角形边的拉伸,使得该待拉伸三角形边的各端点,与参照三角形边中相应特征点序号的端点相重合。
如图8所示,待拉伸三角形边A的端点的特征点序号为11和12,相应的,可从第二Delaunay三角划分结果中,确定出端点的特征点序号为11和12的三角形边,从而定位出参照三角形边B,从而以参照三角形边B为参照,将待拉伸三角形边A进行拉伸,使得三角形边A的特征点序号11的端点,与参照三角形边B的特征点序号11的端点重合,三角形边A的特征点序号12的端点,与参照三角形边B的特征点序号12的端点重合;从而对于第一Delaunay三角划分结果中的每一待拉伸三角形边均进行如此处理,则可使得用户人脸图像和标准人脸图像的目标脸部区域的人脸特征点对齐,达到降低用户人脸图像,与三维人脸模型的标准人脸图像的差异的目的。
需要注意是的,三角形的边的拉伸将带动边所在三角形的拉伸,从而使得第一Delaunay三角划分结果拉伸后的三角形,也能与第二Delaunay三角划分结果的三角形相重合对齐。
可选的,在根据第二Delaunay三角划分结果,对第一Delaunay三角划分结果中的三角形边进行拉伸时,本发明实施例也可以对第二Delaunay三角划分结果中的每一对三角形做像素变换,对第一Delaunay三角划分结果中的每一对三角形做像素变换,然后根据第二Delaunay三角划分结果的像素变换结果,和第一Delaunay三角划分结果的像素变换结果,通过线性插值方法,将第一Delaunay三角划分结果中的三角形边进行拉伸,以使得用户人脸图像和标准人脸图像的目标脸部区域的人脸特征点对齐。
图2所示方法是通过将标准人脸图像的人脸特征点,映射到用户人脸图像中,从而在确定标准人脸图像和用户人脸图像中需要进行人脸特征点对齐的目标脸部区域后,通过Delaunay三角划分技术处理用户人脸图像中目标脸部区域的人脸特征点,得到第一Delaunay三角划分结果,以及通过Delaunay三角划分技术处理用户人脸图像的目标脸部区域中所映射的标准人脸图像的人脸特征点,得到第二Delaunay三角划分结果,从而以第二Delaunay三角划分结果为参照,对第一Delaunay三角划分结果的三角形边进行拉伸,使得第一Delaunay三角划分结果与第二Delaunay三角划分结果相对齐,达到对齐用户人脸图像和标准人脸图像的目标脸部区域的人脸特征点的目的,从而降低用户人脸图像,与三维人脸模型的标准人脸图像的差异。
可选的,图2所示方法仅是本发明实施例进行人脸图像处理的一种可选方式,由于标准人脸图像是设定的,因此对于标准人脸图像中目标脸部区域的人脸特征点的第二Delaunay三角划分结果,本发明实施例还可以提前预设,即可预先通过Delaunay三角划分技术,处理所述标准人脸图像中所对应目标脸部区域的人脸特征点,得到所述第二Delaunay三角划分结果,从而以预设的第二Delaunay三角划分结果,实现人脸图像的处理;
可选的,图9示出了本发明实施例提供的人脸图像处理方法的另一流程图,该方法可应用于计算设备,参照图9,该方法可以包括:
步骤S200、获取用户人脸图像,标记所述用户人脸图像的人脸特征点。
步骤S210、从所标记的用户人脸图像的人脸特征点中确定设定的目标脸部区域的人脸特征点。
步骤S220、通过Delaunay三角划分技术对所述用户人脸图像的目标脸部区域的人脸特征点进行处理,得到该目标脸部区域对应的第一Delaunay三角划分结果;及获取预先通过Delaunay三角划分技术,处理所述标准人脸图像中所对应目标脸部区域的人脸特征点,得到的第二Delaunay三角划分结果。
可选的,为使得第一Delaunay三角划分结果,与第二Delaunay三角划分结果能够处于同一坐标体系,具有处理的基础,本发明实施例步骤S200所获取的用户人脸图像的人脸识别区域的尺寸,可与标准人脸图像的人脸识别区域的尺寸相应。
步骤S230、将第二Delaunay三角划分结果添加到所述用户人脸图像中。
为使得后续能够基于第二Delaunay三角划分结果,对第一Delaunay三角划分结果中的三角形边进行拉伸,本发明实施例需将第二Delaunay三角划分结果添加到所述用户人脸图像中;
可选的,本发明实施例可以确定第二Delaunay三角划分结果中各端点在人脸识别区域的坐标,根据该坐标,将第二Delaunay三角划分结果的各端点添加到所述用户人脸图像中,并以第二Delaunay三角划分结果的端点连接形式,连接添加到所述用户人脸图像中的第二Delaunay三角划分结果的各端点,实现第二Delaunay三角划分结果添加到所述用户人脸图像中。
步骤S240、根据所述第二Delaunay三角划分结果,对所述第一Delaunay三角划分结果中的边进行拉伸,以使所述第一Delaunay三角划分结果和所述第二Delaunay三角划分结果相对齐。
可选的,在将第二Delaunay三角划分结果添加到所述用户人脸图像中后,步骤S240的处理方式可以参照图2所示步骤S140。
图2和图9给出了两种不同的获取第二Delaunay三角划分结果的方式,即图2可将标准人脸图像的人脸特征点映射到用户人脸图像,通过Delaunay三角划分技术处理标准人脸图像在用户人脸图像的目标脸部区域所映射的人脸特征点,来得到第二Delaunay三角划分结果,而图9所示方法可以预先通过Delaunay三角划分技术,处理所述标准人脸图像中所对应目标脸部区域的人脸特征点,实现第二Delaunay三角划分结果的预设;
可选的,这两种方式均是本发明实施例获取标准人脸图像中相应目标脸部区域对应的第二Delaunay三角划分结果,且第二Delaunay三角划分结果为通过Delaunay三角划分技术对标准人脸图像中相应目标脸部区域的人脸特征点进行对应处理得到的可选方式,本发明实施例并不排除其他能够获取到第二Delaunay三角划分结果的方式。
上文所示内容是通过获取Delaunay三角划分结果,来实现人脸图像处理,这个过程中使用到了Delaunay三角划分技术。下面对Delaunay三角划分技术的处理过程进行介绍,由于第一Delaunay三角划分结果和第二Delaunay三角划分结果均是通过Delaunay三角划分技术处理得到,因此下文描述的Delaunay三角划分技术的处理过程可以适用于得到第一Delaunay三角划分结果和第二Delaunay三角划分结果。
以第一Delaunay三角划分结果的获取为例,在给定用户人脸图像中目标脸部区域的人脸特征点的基础上,实现相应的第一Delaunay三角划分结果的获取,需要达成如下内容:
第一Delaunay三角划分结果中三角形的端点均是用户人脸图像的目标脸部区域的人脸特征点,且三角形的边不包含用户人脸图像的目标脸部区域的人脸特征点;第一Delaunay三角划分结果中三角形的边不交叉;第一Delaunay三角划分结果中所有三角形的面的合集是,用户人脸图像的目标脸部区域的人脸特征点的凸包;
可选的,本发明实施例可以使用逐人脸特征点插入的方式,实现Delaunay三角划分结果的获取;可选的,图10示出了本发明实施例提供的Delaunay三角划分技术的处理方法流程图,参照图10,该方法可以包括:
步骤S300、从人脸特征点集合的周围选取设定数量的辅助人脸特征点,通过选取的辅助人脸特征点构建三角网格,所述三角网格包围目标脸部区域的人脸特征点。
可选的,如果是获取第一Delaunay三角划分结果,则人脸特征点集合可以是用户人脸图像的目标脸部区域的人脸特征点的集合,即可从用户人脸图像的目标脸部区域的周围选取辅助人脸特征点;
如果是获取第二Delaunay三角划分结果,则人脸特征点集合可以是标准人脸图像的目标脸部区域的人脸特征点的集合,即可从标准人脸图像的目标脸部区域的周围选取辅助人脸特征点;
相应的,所述Delaunay三角划分技术针对所述用户人脸图像的目标脸部区域的人脸特征点进行处理时,所述人脸特征点集合包括:所述用户人脸图像的目标脸部区域的人脸特征点;所述Delaunay三角划分技术针对标准人脸图像中相应目标脸部区域的人脸特征点进行处理时,所述人脸特征点集合包括:所述标准人脸图像中相应目标脸部区域的人脸特征点;
本发明实施例视通过Delaunay三角划分技术处理得到第一Delaunay三角划分结果,还是第二Delaunay三角划分结果,来定义所述人脸特征点集合的内容。
可选的,本发明实施例可通过计算目标脸部区域的宽高,根据所计算的宽高,从目标脸部区域的四周选取辅助人脸特征点,从而以所选取的辅助人脸特征点构建出,包围目标脸部区域的人脸特征点的三角网格;
例如,目标脸部区域为眼睛,则可分别对各个眼睛区域(即左眼区域和右眼区域)进行人脸特征点相应的Delaunay三角划分结果获取;可选的,对于一眼睛区域,其人脸特征点可以如眼睛的内眼角点、外眼角点和上眼皮点的特征点;在选取一眼睛区域的辅助人脸特征点时,本发明实施例可以计算眼睛的宽高,通过所计算的眼睛的宽高选取眼睛四周的多个辅助人脸特征点(如四个,此处数值仅为便于描述的举例),来构建包围眼睛的人脸特征点的三角网格;
如图11所示虚线框为三角网格,虚线点a、b、c、d为从眼睛四周选取的四个辅助人脸特征点,该三角网格包围了眼睛的人脸特征点;显然,此处的目标脸部区域示例和数值描述仅是便于描述的举例说明,具体使用时可以根据实际情况调整设定。
步骤S310、选取人脸特征点集合的一人脸特征点,插入所述三角网格。
可选的,本发明实施例可根据人脸特征点集合的人脸特征点的坐标,将该人脸特征点插入到三角网格中,人脸特征点插入的三角网格的示意可如图12所示,其中点P为插入的人脸特征点。
步骤S320、确定所插入的人脸特征点在三角网格中的关联三角形,并构建各关联三角形的外接圆。
所插入的人脸特征点在三角网格中的关联三角形可以包括:所插入的人脸特征点在三角网格中所处于的三角形,以及所处于的三角形的邻近三角形;本发明实施例可确定所插入的人脸特征点在三角网格中所处于的三角形,及从该所处于的三角形开始,搜索邻近三角形,得到所插入的人脸特征点在三角网格中的关联三角形;
对于各关联三角形,本发明实施例可确定出相应的外接圆;如图13所示,插入的人脸特征点P的关联三角形为abd和abc,可构建出三角形abd和abc各自对应的外接圆。
步骤S330、确定外接圆包含所插入的人脸特征点的三角形,删除该三形的边,以形成包含所插入的人脸特征点的多边形空腔。
在构建出各关联三角形的外接圆后,本发明实施例可根据各外接圆的范围,确定包含所插入的人脸特征点的外接圆,并确定该外接圆的三角形(可能是至少一个),从而将该外接圆的三角形的至少一条边删除,以使得该外接圆的三角形被去除;如图13所示,三角形abd和abc的外接圆均包含人脸特征点P,则需要删除三角形abd和abc的边,以使得三角形abd和abc被去除,所删除的边可以是所述三角网格中的非边缘边,如图14所示,可删除ab边,从而形成包含点P的多边形空腔adbc。
步骤S340、将所插入的人脸特征点,与所述多边形空腔的每一个端点分别相连,形成新的三角网格。
如图15所示,可将点P与多边形空腔的端点a、d、b、c分别相连,形成新的三角网格。在形成新的三角网格后,若人脸特征点集合中存在未插入的人脸特征点,可再从未插入的人脸特征点中,选取一人脸特征点插入到新的三角网格,重复上述步骤S320至步骤S340,直至人脸特征点集合不存在未插入的人脸特征点,进而根据最终的新的三角网格,获取到Delaunay三角划分结果;相应的,步骤S340后的流程可选如下:
步骤S350、判断所述人脸特征点集合中是否存在未插入的人脸特征点,若否,执行步骤S360,若是,执行步骤S370。
步骤S360、去除新的三角网格中由辅助人脸特征点相互连接的边,获取到第一Delaunay三角划分结果。
步骤S370、从未插入的人脸特征点中,选取一人脸特征点插入到新的三角网格,返回步骤S320。
可选的,图10示出了通过在三角网格(初始三角网络由辅助人脸特征点构建,后续则由插入的人脸特征点重构三角网格实现)中逐步插入人脸特征点集合中的人脸特征点,以重构三角网格的方式来获取Delaunay三角划分结果的过程。
可选的,图10所示方法仅是Delaunay三角划分技术的处理过程的一种可选实现方式,在结合给定人脸特征点进行Delaunay三角划分结果确定的场景下,本发明实施例除使用图10所示方法外,还可以使用以Lawson算法等为基础的Delaunay三角划分技术;Lawson算法的基本原理为:首先建立一个大的三角形或多边形,把所有数据点(目标脸部区域的人脸特征点)包围起来,向其中插入一点,该点与包含它的三角形三个顶点相连,形成三个新的三角形,然后逐个对它们进行空外接圆检测,同时用Lawson设计的局部最优化过程LOP进行优化,集通过交换对角线的方法来保证所形成的三角网为Delaunay三角网。
可选的,本发明实施例也可以将Delaunay三角划分技术的算法程序进行封装,并提供SDK(软件开发工具包)接口,从而通过该SDK接口导入用户人脸图像,并指示生成第一Delaunay三角划分结果的用户人脸图像中目标脸部区域的人脸特征点,则可以封装的算法程序,输出相应的第一Delaunay三角划分结果;显然,针对第二Delaunay三角划分结果的生成处理,也可以与此类似,在将标准人脸图像的人脸特征点映射到用户人脸图像后,可以通过该SDK接口导入用户人脸图像,并指示生成第二Delaunay三角划分结果的用户人脸图像中目标脸部区域所映射的标准人脸图像的人脸特征点。
需要说明的,上文所示方法是通过获取Delaunay三角划分结果,来降低用户人脸图像,与标准人脸图像的差异;Delaunay三角划分结果实际是一个给定数据点构建数据点对应的多边形图形的一种可选方式,该多边形图形中端点均是给定数据点,且边不包含给定数据点;在此思路下,除通过Delaunay三角划分结果来实现人脸特征点的多边形图形构建外,本发明实施例还可以使用其他形式的多边形划分技术(如如菱形、五角星形划分技术等)来实现人脸特征点相应的多边形图形的构建;
基于此思路,上文所示的基于Delaunay三角划分的图像处理方法,仅是本发明实施例的一种可选方式,相应的,图16示出了本发明实施例提供的人脸图像处理方法的再一流程图,该方法可应用于计算设备,参照图16,该方法可以包括:
步骤S400、获取用户人脸图像,标记所述用户人脸图像的人脸特征点。
步骤S410、从所标记的用户人脸图像的人脸特征点中确定设定的目标脸部区域的人脸特征点。
步骤S420、通过多边形划分技术对所述用户人脸图像的目标脸部区域的人脸特征点进行处理,得到该目标脸部区域对应的第一多边形图形;及获取标准人脸图像中相应目标脸部区域对应的第二多边形图形,所述第二多边形图形为通过所述多边形划分技术对标准人脸图像中相应目标脸部区域的人脸特征点进行对应处理得到。
可选的,第一多边形图形的一种可选实现形式可以如上文所示的第一Delaunay三角划分结果,第二多边形图形的可选实现形式可以如上文所示的第二Delaunay三角划分结果;
可选的,第二多边形图形的获取方式可以是,将标准人脸图像的人脸特征点,映射到所述用户人脸图像,以多边形划分技术处理用户人脸图像中目标脸部区域所映射的标准人脸图像的人脸特征点,得到第二多边形图形;也可以是,预先通过多边形划分技术处理,标准人脸图像中的目标脸部区域的人脸特征点,进行第二多边形图形的预先设定。
步骤S430、根据第二多边形图形,对第一多边形图形中的边进行拉伸,以使所述第一多边形图形和所述第二多边形图形相对齐。
可选的,对于第一多边形图形中的任一待拉伸的边,本发明实施例可通过待拉伸的边的端点的特征点序号,确定第二多边形图形中端点的特征点序号相应的参照边,根据所确定的参照边,拉伸该待拉伸的边,使得待拉伸的边与参照边中相同特征点序号的端点对齐,实现用户人脸图像和标准人脸图像的目标脸部区域的人脸特征点的对齐。
图16所示方法示出了本发明实施例提供的图像处理方法的核心流程处理思路,在此思路的指导下,除通过上文所示的Delaunay三角划分方法实现,还可以具有其他形式的多边形划分技术的实现方式。
本发明实施例有选择的确定与标准人脸图像的人脸特征点对齐的目标脸部区域(所选择的脸部区域可视三维人脸模型的要求而定,例如,三维人脸模型对于人脸轮廓的尺寸要求是统一的,则需要进行用户人脸图像的人脸轮廓的人脸特征点,与标准人脸图像的人脸轮廓的人脸特征点的对齐;例如,三维人脸模型对于眼睛的尺寸要求是统一的,则需要进行用户人脸图像的眼睛的人脸特征点,与标准人脸图像的眼睛的人脸特征点的对齐,并保持用户人脸图像的其他区域的人脸特征点不变;显然,具体选择的与标准人脸图像的人脸特征点对齐的脸部区域,可以视三维人脸模型的要求调整设定),从而,本发明实施例可通过多边形划分技术处理用户人脸图像的目标脸部区域的人脸特征点,得到相应的多边形图形(如第一Delaunay三角划分结果),以及通过多边形划分技术处理标准人脸图像的目标脸部区域的人脸特征点,得到相应的多边形图形(如第二Delaunay三角划分结果),根据标准人脸图像的目标脸部区域的人脸特征点相应的多边形图形,对用户人脸图像的目标脸部区域的人脸特征点相应的多边形图形中的边进行拉伸,以使得用户的二维人脸图像的目标脸部区域的人脸特征点,与标准人脸图像中的人脸特征点相对齐,降低用户人脸图像,与三维人脸模型的标准人脸图像的差异;
这个过程在降低用户人脸图像,与三维人脸模型的标准人脸图像的差异的同时,还可提升用户人脸图像和标准人脸图像的目标脸部区域的人脸特征点的对齐准确度,并降低用户人脸图像的人脸特征损失。
需要说明的是,如果本发明实施例设定的目标脸部区域为五官区域,且对应的五官是双器官(眼睛具有一双,则一个眼睛区域认为是一个目标脸部区域,又如耳朵具有一对,则一个耳朵区域认为是一个目标脸部区域),则本发明实施例可分别将双器官中的每一器官分别作为目标脸部区域,以通过本发明实施例提供的图像处理方法分别进行每一器官的用户人脸图像和标准人脸图像的目标脸部区域的人脸特征点的对齐;
以眼睛区域作为目标脸部区域为例,则本发明实施例可将左眼区域作为目标脸部区域,通过本发明实施例提供的图像处理方法实现,用户人脸图像和标准人脸图像的左眼区域的人脸特征点的对齐;并将右眼区域作为目标脸部区域,通过本发明实施例提供的图像处理方法实现,用户人脸图像和标准人脸图像的右眼区域的人脸特征点的对齐;即对于双器官的目标脸部区域,每一器官的用户人脸图像和标准人脸图像的目标脸部区域的人脸特征点的对齐是独立实现的;
显然,耳朵等双器官的目标脸部区域的处理类似;当然,针对鼻子、嘴巴这样的单器官的目标脸部区域,则可直接进行用户人脸图像和标准人脸图像的目标脸部区域的人脸特征点的对齐。
可选的,如果目标脸部区域为脸部轮廓区域,则在进行脸部轮廓区域的拉伸,使得用户人脸图像和标准人脸图像的脸部轮廓区域的人脸特征点对齐前,本发明实施例需要对用户人脸图像的脸部中心区域增加保护点,并默认用户人脸图像的脸部中心区域设置的保护点与标准人脸图像的人脸特征点对齐,以防止在进行脸部轮廓区域的拉伸时,出现用户人脸图像的脸部中心变形的情况发生;
可选的,本发明实施例可在用户人脸图像的脸部轮廓内的脸部中心区域,设置保护点;保护点的设置方式可以是,从用户人脸图像的脸部中心区域的五官中分别选取人脸特征点(如从眉毛上侧、眼部外侧、嘴角下侧等五官部位分别选择人脸特征点),将所选取的人脸特征点分别偏移设定长度,得到保护点,且默认设置保护点与标准人脸图像的人脸特征点对齐,以在进行用户人脸图像的脸部轮廓拉伸时,用户人脸图像所设置的保护点不会被拉伸移位,防止用户人脸图像的脸部中心特征损失;可选的,设定长度可以根据用户人脸图像的两眼内眼角距离确定,当然还可以通过其他方式进行设定长度的设定;
如图17所示,在将脸部轮廓区域作为目标脸部区域,以通过用户人脸图像和标准人脸图像的目标脸部区域的人脸特征点的Delaunay三角划分结果,进行用户人脸图像的脸部轮廓区域的拉伸,使得用户人脸图像的脸部轮廓区域的人脸特征点和标准人脸图像的人脸特征点对齐的过程中,本发明实施例可以在用户人脸图像的脸部中心区域设置保护点,这些保护点连接的边可以认为是标准人脸图像的人脸特征点连接形成的边(如图17虚线所示),可以不被拉伸对齐;从而可根据标准人脸图像的脸部轮廓在用户人脸图像中对应映射的人脸特征点的第二Delaunay三角划分结果,对用户人脸图像的脸部轮廓的人脸特征点对应的第一Delaunay三角划分结果的边(实线所示)进行拉伸对齐。
可选的,目标脸部区域可以是脸部五官区域(眉、眼、耳、鼻、口)中的至少一类五官区域,和/或,人脸轮廓区域;如果目标脸部区域为至少一类五官区域,则可以分别对各目标脸部区域进行本发明实施例提供的图像处理方法的处理;如果目标脸部区域为人脸轮廓区域,则可以基于前文所示的,先对用户人脸图像的脸部中心区域设置保护点,再进行用户人脸图像的人脸轮廓区域的人脸特征点和标准人脸图像的人脸轮廓区域的人脸特征点的拉伸对齐;
而如果目标脸部区域既包含至少一类五官区域,又包含人脸轮廓区域;则本发明实施例需先对五官类型的各目标脸部区域的用户人脸图像和标准人脸图像的人脸特征点进行对齐(对齐方法可以参照上文描述的人脸图像处理方法,即对于每一目标脸部区域,根据标准人脸图像的目标脸部区域对应的人脸特征点的第二多边形图形,对用户人脸图像的目标脸部区域的人脸特征点的第一多边形图形中的边进行拉伸,此处对此不再进一步展开描述),再通过在用户人脸图像的脸部中心区域设置保护点,以本发明实施例提供的图像处理方法进行用户人脸图像和标准人脸图像的人脸轮廓区域的人脸特征点的对齐。
可选的,以目标脸部区域包括眼睛区域和人脸轮廓区域为例,本发明实施例提供的图像处理方法可以先对左眼睛区域进行处理,获取用户人脸图像的左眼睛区域的人脸特征点相应的第一Delaunay三角划分结果,和标准人脸图像的左眼睛区域所对应的人脸特征点的第二Delaunay三角划分结果,以左眼睛区域的第二Delaunay三角划分结果,对左眼睛区域的第一Delaunay三角划分结果进行拉伸,使得左眼睛区域的用户人脸图像和标准人脸图像的人脸特征点对齐;然后再对右眼睛区域进行处理,获取用户人脸图像的右眼睛区域的人脸特征点相应的第一Delaunay三角划分结果,和标准人脸图像的右眼睛区域所对应的人脸特征点的第二Delaunay三角划分结果,以右眼睛区域的第二Delaunay三角划分结果,对右眼睛区域的第一Delaunay三角划分结果进行拉伸,使得右眼睛区域的用户人脸图像和标准人脸图像的人脸特征点对齐;显然,也可以先对右眼睛区域进行处理,再处理左眼睛区域,处理顺序并没有严格限制。
在处理完眼睛区域后,本发明实施例可以设置用户人脸图像的脸部中心区域的保护点,然后对人脸轮廓区域进行处理,获取用户人脸图像的人脸轮廓区域的人脸特征点相应的第一Delaunay三角划分结果,和标准人脸图像的人脸轮廓区域的人脸特征点的第二Delaunay三角划分结果,以人脸轮廓区域的第二Delaunay三角划分结果,对人脸轮廓区域的第一Delaunay三角划分结果进行拉伸,使得用户人脸图像和标准人脸图像的人脸轮廓区域的人脸特征点对齐。
在将用户人脸图像和标准人脸图像的目标脸部区域的人脸特征点对齐后,本发明实施例可以获取到目标用户人脸图像,该目标用户人脸图像的人脸特征点与标准人脸图像的人脸特征点的差异较小;在生成目标用户人脸图像后,本发明实施例可通过将该目标用户人脸图像导入三维人脸模型上,生成三维人脸图像。
本发明实施例提供的图像处理方法的可以具有诸多的应用,如通过用户在即时通讯、通讯录等应用中设置的二维人脸头像,生成相应的三维人脸头像,使得用户的形象表示更为生动、立体。
如图18所示,本发明实施例通讯录的处理服务器,可从通讯录的用户资料服务器中调取出用户设置的二维人脸头像(即所述用户人脸图像可以为用户设置的网络头像),通过本发明实施例提供的图像处理方法,处理服务器可将该二维人脸头像处理成,与标准人脸图像的人脸特征点的差异较小的目标二维人脸头像,从而将该二维人脸头像导入到三维人脸模型上,可生成用户的三维人脸头像;通过用户的三维人脸头像替换用户设置的二维人脸头像,可将通讯录中的用户头像变换为三维形式,提升用户的形象的生动性、立体性;可选的,图18所示用户资料服务器和通讯录的处理服务器也可以集成为一个服务器或者一个服务器集群。
下面对本发明实施例提供的人脸图像处理装置进行介绍,下文描述的人脸图像处理装置可以认为是,为实现本发明实施例提供的人脸图像处理方法所需设置的程序模块架构。下文描述的人脸图像处理装置内容可与上文描述的人脸图像处理方法内容相互对应参照。
图19为本发明实施例提供的人脸图像处理装置的结构框图,参照图19,该装置可以包括:
特征点标记模块100,用于获取用户人脸图像,标记所述用户人脸图像的人脸特征点;
区域人脸特征点确定模块200,用于从所标记的用户人脸图像的人脸特征点中确定设定的目标脸部区域的人脸特征点;
第一图形获取模块300,用于通过多边形划分技术对所述用户人脸图像的目标脸部区域的人脸特征点进行处理,得到该目标脸部区域对应的第一多边形图形;
第二图形获取模块400,用于获取标准人脸图像中相应目标脸部区域对应的第二多边形图形,所述第二多边形图形为通过所述多边形划分技术对标准人脸图像中相应目标脸部区域的人脸特征点进行对应处理得到;
可选的,获取第一多边形图形和第二多边形图形所使用的多边形划分技术的处理手段可以是一致的,仅是第一多边形图形的获取是通过多边形划分技术处理用户人脸图像的目标脸部区域的人脸特征点,而第二多边形图形的获取是通过多边形划分技术处理标准人脸图像的目标脸部区域的人脸特征点。
拉伸对齐模块500,用于根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸,以使所述第一多边形图形和所述第二多边形图形相对齐。
可选的,所述多边形划分技术包括Delaunay三角划分技术;所述第一多边形图形包括第一Delaunay三角划分结果,及所述第二多边形图形包括第二Delaunay三角划分结果;
相应的,拉伸对齐模块500,用于根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸,可具体包括:
根据所述第二Delaunay三角划分结果,对所述第一Delaunay三角划分结果中的边进行拉伸,以使所述第一Delaunay三角划分结果和所述第二Delaunay三角划分结果相对齐。
可选的,第一图形获取模块300或第二图形获取模块400执行Delaunay三角划分技术的处理过程可以包括:
确定三角网格;
从人脸特征点集合中未插入过三角网格的人脸特征点中选取一人脸特征点,插入所述三角网格;
确定所插入的人脸特征点在三角网格中的关联三角形,并构建各关联三角形的外接圆;
确定外接圆包含所插入的人脸特征点的三角形,删除该三角形的边,以形成包含所插入的人脸特征点的多边形空腔;
将所插入的人脸特征点,与所述多边形空腔的每一个端点分别相连,形成新的三角网格;
若所述人脸特征点集合当前不存在未插入过的人脸特征点,根据新的三角网格,获取到Delaunay三角划分结果;
其中,所述Delaunay三角划分技术针对所述用户人脸图像的目标脸部区域的人脸特征点进行处理时,所述人脸特征点集合包括:所述用户人脸图像的目标脸部区域的人脸特征点;所述Delaunay三角划分技术针对标准人脸图像中相应目标脸部区域的人脸特征点进行处理时,所述人脸特征点集合包括:所述标准人脸图像中相应目标脸部区域的人脸特征点。
可选的,一方面,Delaunay三角划分技术的处理过程中确定三角网格,可具体包括:
从所述人脸特征点集合的周围选取设定数量的辅助人脸特征点,通过选取的辅助人脸特征点构建所确定的三角网格,该三角网格包围所述人脸特征点集合。
进一步,另一方面,Delaunay三角划分技术的处理过程中确定三角网格,还可以包括:
若形成新的三角网格后,所述人脸特征点集合中当前存在未插入过的人脸特征点,将所述新的三角网格作为所确定的三角网格。
可选的,Delaunay三角划分技术的处理过程中,根据新的三角网格,获取到Delaunay三角划分结果,可具体包括:
去除新的三角网格中由辅助人脸特征点连接的边,获取到Delaunay三角划分结果。
可选的,Delaunay三角划分技术的处理过程中,确定所插入的人脸特征点在三角网格中的关联三角形,具体包括:
确定所插入的人脸特征点在三角网格中所处于的三角形,及从该所处于的三角形开始,搜索邻近三角形;
将该所处于的三角形,以及搜索到的邻近三角形确定为所述关联三角形。
可选的,Delaunay三角划分技术的处理过程中,删除该三角形的边包括:
确定该三角形中所述三角网格的非边缘边,删除所确定的非边缘边。
需要说明的是,第二图形获取模块获取第二Delaunay三角划分结果,和第一图形获取模块获取第一Delaunay三角划分结果的方式所使用的Delaunay三角划分技术的处理过程,可均参照上文描述。
可选的,第二图形获取模块400获取标准人脸图像中相应目标脸部区域对应的第二多边形图形之前,所述人脸图像处理装置还可用于:将所述标准人脸图像的人脸特征点,映射到所述用户人脸图像;
相应的,第二图形获取模块400,用于获取标准人脸图像中相应目标脸部区域对应的第二多边形图形,可具体包括:
通过Delaunay三角划分技术,处理所述用户人脸图像中所映射的标准人脸图像中所对应的目标脸部区域的人脸特征点,得到所述第二Delaunay三角划分结果。
可选的,人脸图像处理装置用于将所述标准人脸图像的人脸特征点,映射到所述用户人脸图像,可具体包括:
若所述用户人脸图像人脸识别区域与标准人脸图像的人脸识别区域相应,根据标准人脸图像的各人脸特征点在人脸识别区域的位置,将标准人脸图像的各人脸特征点映射到所述用户人脸图像中。
可选的,另一方面,第二图形获取模块400,用于获取标准人脸图像中相应目标脸部区域对应的第二多边形图形,可具体包括:
获取预先通过Delaunay三角划分技术,处理所述标准人脸图像中所对应目标脸部区域的人脸特征点,得到的所述第二Delaunay三角划分结果;
相应的,拉伸对齐模块500根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸之前,所述人脸图像处理装置还可用于:将所述第二Delaunay三角划分结果添加到所述用户人脸图像中;
相应的,拉伸对齐模块500可根据添加到所述用户人脸图像中的第二Delaunay三角划分结果,对所述用户人脸图像中的第一Delaunay三角划分结果的三角形边进行拉伸。
可选的,人脸图像处理装置用于将所述第二Delaunay三角划分结果添加到所述用户人脸图像中,可具体包括:
若所述用户人脸图像人脸识别区域与标准人脸图像的人脸识别区域相应,确定第二Delaunay三角划分结果中各端点在人脸识别区域的坐标;
根据所确定的坐标,将第二Delaunay三角划分结果的各端点添加到所述用户人脸图像中,并以第二Delaunay三角划分结果的端点连接形式,连接添加到所述用户人脸图像中的第二Delaunay三角划分结果的各端点。
可选的,拉伸对齐模块500,用于根据第二多边形图形,对第一多边形图形中的边进行拉伸,具体包括:
对于第一多边形图形中的任一待拉伸的边,根据该待拉伸的边的端点的特征点序号,确定第二多边形图形中与端点的特征点序号相应的参照边;
根据所确定的参照边,拉伸该待拉伸的边,使得该待拉伸的边与参照边中相同特征点序号的端点对齐。
可选的,目标脸部区域包括:至少一类五官区域,和/或,脸部轮廓区域;
若目标脸部区域的数量为多个,则本发明实施例提供的人脸图像处理装置可分别针对用户人脸图像和标准人脸图像的各目标脸部区域的人脸特征点进行对齐。
可选的,如果目标脸部区域包括:至少一类五官区域,和,脸部轮廓区域;则本发明实施例提供的人脸图像处理装置可先对用户人脸图像和标准人脸图像的五官类型的各目标脸部区域的人脸特征点进行对齐,并在用户人脸图像的脸部中心区域设置保护点,默认用户人脸图像设置的保护点与标准人脸图像中的人脸特征点相对齐,再对用户人脸图像和标准人脸图像的脸部轮廓区域的人脸特征点进行对齐。
可选的,如果目标脸部区域包括:脸部轮廓区域;则拉伸对齐模块500在根据第二多边形图形,对第一多边形图形中的边进行拉伸前,所述人脸图像处理装置还可通过图20所示增加设置的保护点设置模块600在用户人脸图像的脸部中心区域设置保护点;
结合图19和图20所示,该人脸图像处理装置还可以包括:
保护点设置模块600,用于在用户人脸图像的脸部中心区域设置保护点,并默认用户人脸图像设置的保护点与标准人脸图像中的人脸特征点相对齐;
相应的,拉伸对齐模块500可在保护点设置模块600在用户人脸图像的脸部中心区域设置保护点后,对第一多边形图形中的边进行拉伸。
可选的,保护点设置模块600,用于在用户人脸图像的脸部中心区域设置保护点,具体包括:
从用户人脸图像的脸部中心区域的五官中分别选取人脸特征点;
将所选取的人脸特征点分别偏移设定长度,得到保护点。
进一步,图21示出了本发明实施例提供的人脸图像处理装置的再一结构框图,结合图19和图21所示,该装置还可以包括:
三维图像生成模块700,用于获取对所述第一多边形图形中的边进行拉伸后,由所述用户人脸图像变换成的目标用户人脸图像,将目标用户人脸图像导入三维人脸模型上,生成三维人脸图像。
可选的,所述用户人脸图像可以为用户设置的网络头像,利用本发明实施例提供的人脸图像处理装置,将该网络头像处理成相应的三维人脸图像后,本发明实施例提供的人脸图像处理装置还可以将用户设置的网络头像替换为所述三维人脸图像。
上述描述的人脸图像处理装置的模块功能可以程序形式装载在计算设备中,该计算设备可以包括:至少一个存储器和至少一个处理器;
所述存储器存储有程序,所述处理器调用所述存储器存储的程序,所述程序用于:
获取用户人脸图像,标记所述用户人脸图像的人脸特征点;
从所标记的用户人脸图像的人脸特征点中确定设定的目标脸部区域的人脸特征点;
通过多边形划分技术对所述用户人脸图像的目标脸部区域的人脸特征点进行处理,得到该目标脸部区域对应的第一多边形图形,及获取标准人脸图像中相应目标脸部区域对应的第二多边形图形,所述第二多边形图形为通过所述多边形划分技术对标准人脸图像中相应目标脸部区域的人脸特征点进行对应处理得到;
根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸,以使所述第一多边形图形和所述第二多边形图形相对齐。
上述描述的人脸图像处理装置的模块功能可以程序形式装载在存储器等存储介质中,本发明实施例还提供一种存储介质,该存储介质中记录有程序,所述程序用于执行如下方法:
获取用户人脸图像,标记所述用户人脸图像的人脸特征点;
从所标记的用户人脸图像的人脸特征点中确定设定的目标脸部区域的人脸特征点;
通过多边形划分技术对所述用户人脸图像的目标脸部区域的人脸特征点进行处理,得到该目标脸部区域对应的第一多边形图形;及获取标准人脸图像中相应目标脸部区域对应的第二多边形图形,所述第二多边形图形为通过所述多边形划分技术对标准人脸图像中相应目标脸部区域的人脸特征点进行对应处理得到;
根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸,以使所述第一多边形图形和所述第二多边形图形相对齐。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (19)

1.一种人脸图像处理方法,其特征在于,包括:
获取用户人脸图像,标记所述用户人脸图像的人脸特征点;
从所标记的用户人脸图像的人脸特征点中确定设定的目标脸部区域的人脸特征点,所述目标脸部区域包括:至少一类五官区域,和/或,脸部轮廓区域;
通过多边形划分技术对所述用户人脸图像的目标脸部区域的人脸特征点进行处理,得到该目标脸部区域对应的第一多边形图形;及获取标准人脸图像中相应目标脸部区域对应的第二多边形图形,所述第二多边形图形为通过所述多边形划分技术对标准人脸图像中相应目标脸部区域的人脸特征点进行对应处理得到;
根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸,以使所述第一多边形图形和所述第二多边形图形相对齐。
2.根据权利要求1所述的人脸图像处理方法,其特征在于,所述多边形划分技术包括德洛内Delaunay三角划分技术;所述第一多边形图形包括第一Delaunay三角划分结果,及所述第二多边形图形包括第二Delaunay三角划分结果。
3.根据权利要求2所述的人脸图像处理方法,其特征在于,所述根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸,以使所述第一多边形图形和所述第二多边形图形相对齐包括:
根据所述第二Delaunay三角划分结果,对所述第一Delaunay三角划分结果中的边进行拉伸,以使所述第一Delaunay三角划分结果和所述第二Delaunay三角划分结果相对齐。
4.根据权利要求2所述的人脸图像处理方法,其特征在于,所述Delaunay三角划分技术的处理过程包括:
确定三角网格;
从人脸特征点集合中未插入过三角网格的人脸特征点中选取一人脸特征点,插入所述三角网格;
确定所插入的人脸特征点在三角网格中的关联三角形,并构建各关联三角形的外接圆;
确定外接圆包含所插入的人脸特征点的三角形,删除该三角形的边,以形成包含所插入的人脸特征点的多边形空腔;
将所插入的人脸特征点,与所述多边形空腔的每一个端点分别相连,形成新的三角网格;
若所述人脸特征点集合当前不存在未插入过的人脸特征点,根据新的三角网格,获取到Delaunay三角划分结果;
其中,所述Delaunay三角划分技术针对所述用户人脸图像的目标脸部区域的人脸特征点进行处理时,所述人脸特征点集合包括:所述用户人脸图像的目标脸部区域的人脸特征点;所述Delaunay三角划分技术针对标准人脸图像中相应目标脸部区域的人脸特征点进行处理时,所述人脸特征点集合包括:所述标准人脸图像中相应目标脸部区域的人脸特征点。
5.根据权利要求4所述的人脸图像处理方法,其特征在于,所述确定三角网格包括:
若形成新的三角网格后,所述人脸特征点集合当前存在未插入过的人脸特征点,将所述新的三角网格作为所确定的三角网格。
6.根据权利要求4所述的人脸图像处理方法,其特征在于,所述确定三角网格包括:
从所述人脸特征点集合的周围选取设定数量的辅助人脸特征点,通过选取的辅助人脸特征点构建所确定的三角网格,该三角网格包围所述人脸特征点集合。
7.根据权利要求6所述的人脸图像处理方法,其特征在于,所述根据新的三角网格,获取到Delaunay三角划分结果包括:
去除新的三角网格中由辅助人脸特征点连接的边,获取到Delaunay三角划分结果。
8.根据权利要求4所述的人脸图像处理方法,其特征在于,所述确定所插入的人脸特征点在三角网格中的关联三角形包括:
确定所插入的人脸特征点在三角网格中所处于的三角形,及从该所处于的三角形开始,搜索邻近三角形;
将该所处于的三角形,以及搜索到的邻近三角形确定为所述关联三角形。
9.根据权利要求2-8任一项所述的人脸图像处理方法,其特征在于,所述获取标准人脸图像中相应目标脸部区域对应的第二多边形图形之前,所述方法还包括:
将所述标准人脸图像中标记的人脸特征点,映射到所述用户人脸图像;
所述获取标准人脸图像中相应目标脸部区域对应的第二多边形图形包括:
通过Delaunay三角划分技术,处理所述用户人脸图像中所映射的标准人脸图像中所对应的目标脸部区域的人脸特征点,得到所述第二Delaunay三角划分结果。
10.根据权利要求2-8任一项所述的人脸图像处理方法,其特征在于,所述获取标准人脸图像中相应目标脸部区域对应的第二多边形图形包括:
获取预先通过Delaunay三角划分技术,处理所述标准人脸图像中所对应目标脸部区域的人脸特征点,得到的所述第二Delaunay三角划分结果;
所述根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸之前,所述方法还包括:
将所述第二Delaunay三角划分结果添加到所述用户人脸图像中。
11.根据权利要求10所述的人脸图像处理方法,其特征在于,所述将所述第二Delaunay三角划分结果添加到所述用户人脸图像中包括:
若所述用户人脸图像的人脸识别区域与标准人脸图像的人脸识别区域相应,确定第二Delaunay三角划分结果中各端点在人脸识别区域的坐标;
根据所确定的坐标,将第二Delaunay三角划分结果的各端点添加到所述用户人脸图像中,并以第二Delaunay三角划分结果的端点连接形式,连接添加到所述用户人脸图像中的第二Delaunay三角划分结果的各端点。
12.根据权利要求1所述的人脸图像处理方法,其特征在于,所述根据第二多边形图形,对第一多边形图形中的边进行拉伸包括:
对于第一多边形图形中任一待拉伸的边,根据该边的端点的特征点序号,确定第二多边形图形中与端点的特征点序号相应的参照边;
根据所确定的参照边,拉伸所述待拉伸的边,使得该待拉伸的边与所述参照边中相同特征点序号的端点对齐。
13.根据权利要求1所述的人脸图像处理方法,其特征在于,若目标脸部区域的数量为多个,则分别对用户人脸图像和标准人脸图像的各目标脸部区域的人脸特征点进行对齐。
14.根据权利要求13所述的人脸图像处理方法,其特征在于,如果目标脸部区域包括:至少一类五官区域,和,脸部轮廓区域;则先对用户人脸图像和标准人脸图像的五官类型的各目标脸部区域的人脸特征点进行对齐,并在用户人脸图像的脸部中心区域设置保护点,默认用户人脸图像设置的保护点与标准人脸图像中的人脸特征点相对齐,再对用户人脸图像和标准人脸图像的脸部轮廓区域的人脸特征点进行对齐。
15.根据权利要求13所述的人脸图像处理方法,其特征在于,如果目标脸部区域包括:脸部轮廓区域;则在根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸之前,所述方法还包括:
在用户人脸图像的脸部中心区域设置保护点,并默认用户人脸图像设置的保护点与标准人脸图像中的人脸特征点相对齐。
16.根据权利要求1所述的人脸图像处理方法,其特征在于,还包括:
获取对所述第一多边形图形中的边进行拉伸后,由所述用户人脸图像变换成的目标用户人脸图像,将目标用户人脸图像导入三维人脸模型上,生成三维人脸图像。
17.一种人脸图像处理装置,其特征在于,包括:
特征点标记模块,用于获取用户人脸图像,标记所述用户人脸图像的人脸特征点;
区域人脸特征点确定模块,用于从所标记的用户人脸图像的人脸特征点中确定设定的目标脸部区域的人脸特征点,所述目标脸部区域包括:至少一类五官区域,和/或,脸部轮廓区域;
第一图形获取模块,用于通过多边形划分技术对所述用户人脸图像的目标脸部区域的人脸特征点进行处理,得到该目标脸部区域对应的第一多边形图形;
第二图形获取模块,用于获取标准人脸图像中相应目标脸部区域对应的第二多边形图形,所述第二多边形图形为通过所述多边形划分技术对标准人脸图像中相应目标脸部区域的人脸特征点进行对应处理得到;
拉伸对齐模块,用于根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸,以使所述第一多边形图形和所述第二多边形图形相对齐。
18.一种计算设备,其特征在于,包括:至少一个存储器和至少一个处理器;
所述存储器存储有程序,所述处理器调用所述存储器存储的程序,所述程序用于:
获取用户人脸图像,标记所述用户人脸图像的人脸特征点;
从所标记的用户人脸图像的人脸特征点中确定设定的目标脸部区域的人脸特征点,所述目标脸部区域包括:至少一类五官区域,和/或,脸部轮廓区域;
通过多边形划分技术对所述用户人脸图像的目标脸部区域的人脸特征点进行处理,得到该目标脸部区域对应的第一多边形图形;及获取标准人脸图像中相应目标脸部区域对应的第二多边形图形,所述第二多边形图形为通过所述多边形划分技术对标准人脸图像中相应目标脸部区域的人脸特征点进行对应处理得到;
根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸,以使所述第一多边形图形和所述第二多边形图形相对齐。
19.一种存储介质,其特征在于,所述存储介质中记录有程序,所述程序用于执行如下方法:
获取用户人脸图像,标记所述用户人脸图像的人脸特征点;
从所标记的用户人脸图像的人脸特征点中确定设定的目标脸部区域的人脸特征点,所述目标脸部区域包括:至少一类五官区域,和/或,脸部轮廓区域;
通过多边形划分技术对所述用户人脸图像的目标脸部区域的人脸特征点进行处理,得到该目标脸部区域对应的第一多边形图形;及获取标准人脸图像中相应目标脸部区域对应的第二多边形图形,所述第二多边形图形为通过所述多边形划分技术对标准人脸图像中相应目标脸部区域的人脸特征点进行对应处理得到;
根据所述第二多边形图形,对所述第一多边形图形中的边进行拉伸,以使所述第一多边形图形和所述第二多边形图形相对齐。
CN201710400467.9A 2017-05-31 2017-05-31 一种人脸图像处理方法、装置、计算设备及存储介质 Active CN108985132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710400467.9A CN108985132B (zh) 2017-05-31 2017-05-31 一种人脸图像处理方法、装置、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710400467.9A CN108985132B (zh) 2017-05-31 2017-05-31 一种人脸图像处理方法、装置、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN108985132A CN108985132A (zh) 2018-12-11
CN108985132B true CN108985132B (zh) 2021-12-14

Family

ID=64501596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710400467.9A Active CN108985132B (zh) 2017-05-31 2017-05-31 一种人脸图像处理方法、装置、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN108985132B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800638A (zh) * 2018-12-14 2019-05-24 四川远鉴科技有限公司 一种基于人脸识别技术的重点人监控方法
CN110049351B (zh) * 2019-05-23 2022-01-25 北京百度网讯科技有限公司 视频流中人脸变形的方法和装置、电子设备、计算机可读介质
CN111652791B (zh) * 2019-06-26 2024-03-08 广州虎牙科技有限公司 人脸的替换显示、直播方法、装置、电子设备和存储介质
CN110826452A (zh) * 2019-10-30 2020-02-21 平安科技(深圳)有限公司 一种掌纹验证方法、装置、计算机设备及可读存储介质
CN111246113B (zh) * 2020-03-05 2022-03-18 上海瑾盛通信科技有限公司 图像处理方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299267A (zh) * 2008-07-02 2008-11-05 北京中星微电子有限公司 一种人脸图像处理方法及装置
CN102436668A (zh) * 2011-09-05 2012-05-02 上海大学 京剧脸谱自动化妆方法
US8260039B2 (en) * 2009-02-25 2012-09-04 Seiko Epson Corporation Object model fitting using manifold constraints
CN104599325A (zh) * 2013-10-30 2015-05-06 中国科学院苏州纳米技术与纳米仿生研究所 一种三维人脸重采样方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100603602B1 (ko) * 2004-12-13 2006-07-24 한국전자통신연구원 조밀하지 않은 비정렬 3차원 측정점들을 이용한 3차원메쉬 생성 방법
US8208717B2 (en) * 2009-02-25 2012-06-26 Seiko Epson Corporation Combining subcomponent models for object image modeling
US8260038B2 (en) * 2009-02-25 2012-09-04 Seiko Epson Corporation Subdivision weighting for robust object model fitting
CN102486868A (zh) * 2010-12-06 2012-06-06 华南理工大学 一种基于平均脸的美丽人脸合成方法
CN102163330B (zh) * 2011-04-02 2012-12-05 西安电子科技大学 基于张量分解与Delaunay三角划分的多视角人脸合成方法
CN106652025B (zh) * 2016-12-20 2019-10-01 五邑大学 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299267A (zh) * 2008-07-02 2008-11-05 北京中星微电子有限公司 一种人脸图像处理方法及装置
US8260039B2 (en) * 2009-02-25 2012-09-04 Seiko Epson Corporation Object model fitting using manifold constraints
CN102436668A (zh) * 2011-09-05 2012-05-02 上海大学 京剧脸谱自动化妆方法
CN104599325A (zh) * 2013-10-30 2015-05-06 中国科学院苏州纳米技术与纳米仿生研究所 一种三维人脸重采样方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
三角剖分算法介绍;未知;《原创力文档》;20161128;正文第6-7页 *

Also Published As

Publication number Publication date
CN108985132A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN108985132B (zh) 一种人脸图像处理方法、装置、计算设备及存储介质
CN111126125B (zh) 证件中的目标文本提取方法、装置、设备及可读存储介质
JP6636154B2 (ja) 顔画像処理方法および装置、ならびに記憶媒体
KR102304674B1 (ko) 얼굴 표정 합성 방법과 장치, 전자 기기, 및 저장 매체
CN109859098B (zh) 人脸图像融合方法、装置、计算机设备及可读存储介质
KR100762670B1 (ko) 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
CN112288665B (zh) 图像融合的方法、装置、存储介质及电子设备
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
CN108463823B (zh) 一种用户头发模型的重建方法、装置及终端
US10726612B2 (en) Method and apparatus for reconstructing three-dimensional model of object
US20230252664A1 (en) Image Registration Method and Apparatus, Electronic Apparatus, and Storage Medium
US9959672B2 (en) Color-based dynamic sub-division to generate 3D mesh
WO2018039936A1 (en) Fast uv atlas generation and texture mapping
KR102391087B1 (ko) 이미지 처리 방법, 장치 및 전자 기기
CN112598611A (zh) 一种凸字体银行卡号图像的合成方法、识别方法及装置
US20090115867A1 (en) Image processing apparatus, image processing method, image processing program, and program recording medium
CN116977539A (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
CN112348069B (zh) 数据增强方法、装置、计算机可读存储介质及终端设备
JP3514373B2 (ja) 3次元情報抽出方法、装置、および3次元情報抽出プログラムを記録した記録媒体
KR20230134832A (ko) 실감형 형상 모델링 생성 방법
CN111652978B (zh) 一种网格的生成方法、装置、电子设备和存储介质
CN111651033B (zh) 一种人脸的驱动显示方法、装置、电子设备和存储介质
Huang et al. A surface approximation method for image and video correspondences
US6999618B2 (en) Object extraction device, object extraction method, and recording media for storing an object extraction program
JP7276978B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant