CN109993067A - 面部关键点提取方法、装置、计算机设备和存储介质 - Google Patents

面部关键点提取方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109993067A
CN109993067A CN201910171553.6A CN201910171553A CN109993067A CN 109993067 A CN109993067 A CN 109993067A CN 201910171553 A CN201910171553 A CN 201910171553A CN 109993067 A CN109993067 A CN 109993067A
Authority
CN
China
Prior art keywords
face
key point
region
face contour
concentric circles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910171553.6A
Other languages
English (en)
Other versions
CN109993067B (zh
Inventor
孙伟
范浩强
王春杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201910171553.6A priority Critical patent/CN109993067B/zh
Publication of CN109993067A publication Critical patent/CN109993067A/zh
Application granted granted Critical
Publication of CN109993067B publication Critical patent/CN109993067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种面部关键点提取方法、装置、计算机设备和存储介质,计算机设备从带有人脸检测框的目标图像中提取面部轮廓区域,并将该面部轮廓区域变形为矩形图像,然后从该矩形图像中提取面部轮廓关键点,该方法中,由于矩形图像的面积大于面部轮廓区域的面积,相当于将面部轮廓区域进行放大,这样在提取面部轮廓关键点时可以快速而准确的定位到关键点的位置,大大提高了面部关键点定位的精确度和速度。

Description

面部关键点提取方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像识别技术领域,特别是涉及一种面部关键点提取方法、装置、计算机设备和存储介质。
背景技术
人脸关键点定位技术是人脸相关应用中很重要的一项技术,其主要解决定位一些人脸中比较重要的点的位置,例如,日常生活中常见的手机美颜美妆技术,人脸识别技术等都会应用到人脸关键点。
人脸关键点包括人脸五官关键点和人脸轮廓关键点,其中人脸轮廓关键点由于形状复杂,特殊情况繁多的原因成为是人脸关键点定位中最复杂的一部分,但目前人脸关键点的主流定位方法通常是将人脸五官关键点和人脸轮廓关键点结合在一起进行定位,使得主流人脸关键点的定位的精度较低,为了提高定位精度,势必会影响到人脸关键点的定位速度。
因此,如何提高人脸关键点定位的精确度和速度成为亟待解决的技术问题。
发明内容
基于此,有必要针对上述如何同时保证人脸关键点定位的速度和精度成为亟待解决的技术问题,提供一种面部关键点提取方法、装置、计算机设备和存储介质。
第一方面,本申请实施例提供一种面部关键点提取方法,所述方法包括:
获取目标图像;所述目标图像包括至少一个人脸检测框;
从所述目标图像中提取面部轮廓区域,并将所述面部轮廓区域进行变形得到矩形图像;所述矩形图像的面积大于所述面部轮廓区域的面积;
从所述矩形图像中提取面部轮廓关键点。
在其中一个实施例中,所述矩形图像的面积小于或者等于所述人脸检测框的面积。
在其中一个实施例中,所述从所述目标图像中提取面部轮廓区域,包括:
采用预设的半径设定规律,从所述人脸检测框中确定两个半径不同的同心圆;所述同心圆的环部区域包括所述面部轮廓区域;
从所述同心圆的环部区域提取所述面部轮廓区域。
在其中一个实施例中,所述采用预设的半径设定规律,从所述人脸检测框中确定两个半径不同的同心圆,包括:
获取所述同心圆的圆点;
根据所述同心圆的圆点和所述预设的半径设定规律,从所述人脸检测框中确定两个半径不同的同心圆。
在其中一个实施例中,所述同心圆的外圆直径等于所述人脸检测框的边长;所述同心圆的内圆直径为所述外圆直径的二分之一。
在其中一个实施例中,所述从所述同心圆的环部区域提取所述面部轮廓区域,包括:
从所述同心圆的环部区域中确定双眼位置以下的区域;
将所述双眼位置以下的区域确定为所述面部轮廓区域。
在其中一个实施例中,所述从所述矩形图像中提取面部轮廓关键点,包括:采用预设的神经网络模型从所述矩形图像中提取所述面部轮廓关键点;所述预设的神经网络模型为根据多个已标注面部轮廓关键点的矩形图像训练得到的。
在其中一个实施例中,所述获取目标图像包括:
获取原始图像;
采用预设的人脸检测神经网络模型对所述原始图像中人脸进行检测,得到所述目标图像;所述预设的人脸检测神经网络模型为根据多个已标注人脸检测框的图像训练得到的。
在其中一个实施例中,所述方法还包括:
从所述目标图像提取面部五官关键点;
根据所述面部五官关键点和面部轮廓关键点输出所述目标图像的面部关键点。
在其中一个实施例中,所述从所述目标图像提取面部五官关键点包括:
采用预设的五官关键点提取神经网络模型,从所述目标图像中提取所述面部五官关键点;所述预设的五官关键点提取神经网络模型为根据大量已标注面部五官关键点的矩形图像训练得到的。
第二方面,本申请实施例提供一种面部关键点提取装置,所述装置包括:
目标图像获取模块,用于获取目标图像;所述目标图像包括至少一个人脸检测框;
矩形图像获取模块,用于从所述目标图像中提取面部轮廓区域,并将所述面部轮廓区域进行变形得到矩形图像;所述矩形图像的面积大于所述面部轮廓区域的面积;
轮廓关键点提取模块,用于从所述矩形图像中提取面部轮廓关键点。
第三方面,本申请实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面实施例任一项所述的方法步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面实施例任一项所述的方法步骤。
本申请实施例提供的一种面部关键点提取方法、装置、计算机设备和存储介质,计算机设备从带有人脸检测框的目标图像中提取面部轮廓区域,并将该面部轮廓区域变形为矩形图像,然后从该矩形图像中提取面部轮廓关键点,该方法中,由于矩形图像的面积大于面部轮廓区域的面积,相当于将面部轮廓区域进行了放大,这样在提取面部轮廓关键点时可以快速而准确的定位到关键点的位置,大大提高了面部关键点定位的精确度和速度。
附图说明
图1为一个实施例提供的一种面部关键点提取方法的应用环境图;
图2为一个实施例提供的一种面部关键点提取方法的流程示意图;
图3为一个实施例提供的一种面部关键点提取方法的流程示意图;
图4为一个实施例提供的一种面部关键点提取方法的流程示意图;
图5为一个实施例提供的一种面部关键点提取方法的流程示意图;
图5a为一个实施例提供的一种面部关键点提取方法的示意图;
图6为一个实施例提供的一种面部关键点提取方法的流程示意图;
图7为一个实施例提供的一种面部关键点提取方法的流程示意图;
图8为一个实施例提供的一种面部关键点提取装置的结构框图;
图9为一个实施例提供的一种面部关键点提取装置的结构框图;
图10为一个实施例提供的一种面部关键点提取装置的结构框图;
图11为一个实施例提供的一种面部关键点提取装置的结构框图;
图12为一个实施例提供的一种面部关键点提取装置的结构框图;
图13为一个实施例提供的一种面部关键点提取装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的一种面部关键点提取方法,可以应用于如图1所示的应用环境中,该计算机设备可以是服务器,该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储面部关键点提取方法的数据。该计算机设备的网络接口用于与外部的其他设备通过网络连接通信。该计算机程序被处理器执行时以实现一种面部关键点提取方法。
本申请的实施例提供一种面部关键点提取方法、装置、计算机设备和存储介质,旨在解决如何同时保证人脸关键点定位的速度和精度成为亟待解决的技术问题。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是,本发明提供的一种面部关键点提取方法,其执行主体为计算机设备,其中,该执行主体还可以是面部关键点提取装置,其中该装置可以通过软件、硬件或者软硬件结合的方式实现成为面部关键点提取的部分或者全部。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。
在一个实施例中,图2提供了一种面部关键点提取方法,本实施例涉及的是计算机设备根据目标图像提取面部轮廓区域,并将面部轮廓区域进行变形得到矩形图像,然后从矩形图像中提取面部轮廓关键点的具体过程。如图2所示,该方法包括:
S101,获取目标图像;所述目标图像包括至少一个人脸检测框。
本实施例中,目标图像表示待提取面部轮廓的图像,该目标图像中的人脸被进行了标注,即该目标图像包括至少一个人脸检测框。示例地,计算机设备获取目标图像的方式可以是将原始图像中人脸进行标注后得到该目标图像,也可以是从外部设备接收已经对人脸进行标注了的该目标图像,还可以是其他方式,本实施例对此不做限定。其中计算机设备将原始图像中人脸进行标注后得到该目标图像的方式可以是通过依照设定的程序从原始图像中检测人脸,并将检测到的人脸进行标注得到该目标图像,也可以是将原始图像输出到预先训练好的,用于输出人脸标注图像的神经网络模型中,以得到该目标图像,对此本实施例也不做限定。
S102,从所述目标图像中提取面部轮廓区域,并将所述面部轮廓区域进行变形得到矩形图像;所述矩形图像的面积大于所述面部轮廓区域的面积。
基于上述S101步骤中,计算机设备获取的目标图像,从该目标图像中提取面部轮廓区域,并将该面部轮廓区域进行变形得到矩形图像,其中,该矩形图像的面积大于所述面部轮廓区域的面积。可以理解的是,人脸检测框包括的是人脸的全部区域,面部轮廓区域包括的只是面部轮廓的区域,因此面部轮廓区域的面积是小于人脸检测框的面积的。
示例地,在实际应用中,计算机从目标图像中提取面部轮廓区域的方式可以是通过先从目标图像中确定面部轮廓的位置,然后以面部轮廓位置为中心确定面部轮廓区域,当然计算机提取面部轮廓区域的方式也可以是直接将目标图像输入到预先训练好的,用于提取面部轮廓区域的神经网络模型中,本实施例对此不做限定。其中,计算机设备将提取的面部轮廓区域进行变形,以得到大于面部轮廓区域的面积,表示的是将提取的面部轮廓区域进行拉伸或者压缩得到一个大于面部轮廓区域面积的矩形图像。
S103,从所述矩形图像中提取面部轮廓关键点。
本步骤中,基于上述S102步骤中得到的矩形图像,计算机设备从该矩形图像中提取面部轮廓关键点。示例地,在实际应用中,计算机设备从矩形图像中提取面部轮廓关键点的方式可以是依照设定的程序依次将该矩形图像中的面部轮廓关键点提取出来,也可以是直接将该矩形图像输入到预先训练好的,用于提取面部轮廓关键点的神经网络模型中,神经网络模型输出的结果即为该面部轮廓关键点,当然还可以是其他方式,本实施例对此不做限定。
本实施例提供的一种面部关键点提取方法,计算机设备从带有人脸检测框的目标图像中提取面部轮廓区域,并将该面部轮廓区域变形为矩形图像,然后从该矩形图像中提取面部轮廓关键点,该方法中,由于矩形图像的面积大于面部轮廓区域的面积,相当于将面部轮廓区域进行放大,这样在提取面部轮廓关键点时可以快速而准确的定位到关键点的位置,大大提高了面部关键点定位的精确度和速度。
另外,在上述实施例的基础上,本申请实施例还提供了一种面部关键点提取方法,所述矩形图像的面积小于或者等于所述人脸检测框的面积。
本实施例中,S102中变形得到的矩形图像不仅大于面部轮廓区域的面积,还小于或者等于人脸检测框的面积,例如:假设人脸检测框为正方形,且其边长是a,那么得到的矩形图像长小于或者等于a×2,以及宽小于或者等于a×0.5,即人脸检测框的面积为a2,矩形图像的面积小于或等于a2。这样,计算机设备从变形后的矩形图像中提取面部轮廓关键点的工作量小于或者等于计算机设备从人脸检测框中提取面部轮廓关键点的工作量,再结合矩形图像面积大于面部轮廓区域的面积,本实施例相当于在保证计算量不变大的同时,将面部轮廓区域进行放大,进一步的增加了提取面部轮廓关键点的速度和精确度。
基于上述实施例,本申请实施例还提供了一种面部关键点提取方法,该实施例涉及的是计算机设备从目标图像中提取面部轮廓区域的具体过程,如图3所示,上述S102步骤包括:
S201,采用预设的半径设定规律,从所述人脸检测框中确定两个半径不同的同心圆;所述同心圆的环部区域包括所述面部轮廓区域。
本实施例中,预设的半径设定规律表示的是用于预先根据实际情况或者经验设定的在人脸检测框中设置半径不同的同心圆的规律,例如,内圆的半径r1为外圆r2的1/2,对于该预设的半径设定规律的具体内容,本实施例不做限定。在实际应用中,计算机设备可以根据该预设的半径设定规律,从目标图像的人脸检测框中确定两个半径不同的同心圆,其中最终确定的两个同心圆的环部区域包括了面部轮廓区域。
可选地,如图4所示,上述S201的一种可实现方式包括:
S301,获取所述同心圆的圆点。
本实施例中,计算机设备获取同心圆的圆点,即先确定同心圆的圆点位置,示例地,计算机设备确定同心圆的圆点位置的方式可以是获取上述人脸检测框的中心点,并将该中心点的位置确定为该同心圆的圆点位置,也可以是提前先计算好面部五官的关键点,然后将该面部五官的关键点进行加权平均取一个中心点,将该中心点确定为该同心圆的圆点位置,当然还可以是其他方式,本实施例对此不做限定。
S302,根据所述同心圆的圆点和所述预设的半径设定规律,从所述人脸检测框中确定两个半径不同的同心圆。
基于上述S301步骤中确定的同心圆的圆点,计算机设备根据该圆点和预设的半径设定规律,从人脸检测框中确定两个半径不同的同心圆,示例地,计算机设备可以先确定该同心圆外圆和内圆的直径,继而结合圆点位置,即可确定出两个同心圆。可选地,该同心圆的外圆和内圆的直径确定方式可以是:所述同心圆的外圆直径等于所述人脸检测框的边长;所述同心圆的内圆直径为所述外圆直径的二分之一。
S202,从所述同心圆的环部区域提取所述面部轮廓区域。
基于上述S201步骤中,计算机设备确定的两个半径不同的同心圆,从该同心圆的环部区域提取面部轮廓区域,在实际应用中,本实施例对计算机设备从同心圆的环部区域提取面部轮廓区域的方式不做限定。其中,
可选地,如图5所示,上述S202的一种可实现方式包括:
S401,从所述同心圆的环部区域中确定双眼位置以下的区域。
本实施方式中,计算机设备从同心圆的环部区域中定位双眼位置,定位到双眼位置后,确定出双眼位置以下的区域。
S402,将所述双眼位置以下的区域确定为所述面部轮廓区域。
基于上述S401步骤中,计算机设备确定的双眼位置以下的区域,计算机设备将双眼位置以下的区域确定为面部轮廓区域。
示例地,如图5a所示,提供一目标图像中某个标了人脸检测框的图像,在该人脸框图像中按照预设的半径设定规律确定2个(半径分别为r1,r2)同心圆,确定的该同心圆的环部区域中包括了面部轮廓区域,根据该同心圆的环部区域,确定出双眼位置以下的区域为面部轮廓区域,最后将该面部轮廓区域进行变形(例如:拉伸、压缩)得到矩形图像,设人脸框的边长是a,那么为了保持计算量(图像面积)一致,变形后的矩形图像的长宽分别小于等于a×2、a×0.5。设圆环的圆心坐标是(cx,cy),两个同心圆的半径分别是r1,r2,那么对于矩形图像中每一个点x,y可以表示为color(x,y)=img(cx–cos(π*x/a)*(r2+(r1-r2)*y/h),cy–sin(π*x/a)*(r2+(r1-r2)*y/h))。
本实施例提供的一种面部关键点提取方法,计算机设备从人脸检测框中确定两个半径不同的同心圆,并从同心圆的环部区域提取所述面部轮廓区域,由于计算机设备确定的同心圆的环部区域中包括了面部轮廓区域,可以保证计算机设备从同心圆的环部区域中提取到面部轮廓区域,然后计算机设备是根据确定的双眼位置,将环形区域的双眼位置以下的区域确定为面部轮廓区域,使得确定的面部轮廓区域面积最小的同时,完全包括了面部轮廓的所有关键点,大大保证了计算机设备提取的面部轮廓区域为最优选择。
对于计算机设备从矩形图像中提取面部轮廓关键点的具体过程,本申请实施例提供了一种实施例,上述S103步骤包括:采用预设的神经网络模型从所述矩形图像中提取所述面部轮廓关键点;所述预设的神经网络模型为根据多个已标注面部轮廓关键点的矩形图像训练得到的。
本实施例中,基于上述S102步骤的得到的矩形图像,计算机设备从该矩形图像中提取面部轮廓关键点的方式可以是采用预设的神经网络模型从矩形图像中提取,其中该预设的神经网络模型为根据多个已标注面部轮廓关键点的矩形图像训练得到的。例如:可以是通过快速的基于区域的卷积网络方法(fastrcnn)的方法训练的该模型。示例地,计算机设备将矩形图像输入到该预设的神经网络模型中,该预设的神经网络模型输出的结果即为从矩形图像中提取的的面部轮廓关键点,这样,采用预先训练好的神经网络模型进行面部轮廓关键点提取,大大保证了面部轮廓关键点提取获取的精确度和速度。另外,由于矩形图像的面积小于或者等于目标图像中的人脸框面积一致,可以保证该预设的神经网络模型的计算量没有变大,且结合上述描述可知,矩形图像为对面部轮廓进行了放大,大大提高了该预设的神经网络模型提取的面部轮廓关键点的精确度和速度。
另外,本实施例还提供了一种面部关键点提取方法,该实施例涉及的是计算机设备根据原始图像获取目标图像的具体过程,如图6所示,上述S101步骤包括:
S501,获取原始图像。
本实施例中,原始图像表示的目标图像未经人脸标注的图像,在实际应用中,计算机设备获取该原始图像的方式可以是通过图像采集设备实时采集得到该原始图像,也可以是接收其他设备的传输得到该原始图像,还可以是从一段视频中进行截取得到该原始图像,本实施例对此不做具体限定。可以理解的是计算机设备获取该原始图像中至少包括了一个人脸,以便后续可以顺序提取到该人脸的面部关键点。
S502,采用预设的人脸检测神经网络模型对所述原始图像中人脸进行检测,得到所述目标图像;所述预设的人脸检测神经网络模型为根据多个已标注人脸检测框的图像训练得到的。
基于上述S501步骤中获取的原始图像,计算机设备采用预设的人脸检测神经网络模型对原始图像中人脸进行检测,得到目标图像,其中,预设的人脸检测神经网络模型为根据多个已标注人脸检测框的图像训练得到的。例如,可以是通过快速的基于区域的卷积网络方法(fastrcnn)的方法训练的该模型。示例地,计算机设备将该原始图像输入到该预设的人脸检测神经网络模型中,该预设的人脸检测神经网络模型输出的结果即为对原始图像中的人脸已进行了检测,即得到的为目标图像。这样,采用预先训练好的神经网络模型进行目标图像获取,大大保证了目标图像获取的准确度和速度。
考虑到面部关键点不仅包括面部轮廓关键点,还包括面部五官关键点,则本申请实施例还提供了一种面部关键点提取方法,该实施例涉及的是计算机设备从目标图像中提取面部五官关键点,并输出面部五官关键点和面部轮廓关键点的具体过程。如图7所示,所述方法还包括:
S601,从所述目标图像提取面部五官关键点。
本实施例中,计算机设备从目标图像中提取面部五官关键点,可以是从目标图像的人脸检测框中直接定位面部五官关键点的位置,并调取定位到的五官关键点。当然,计算机设备提取面部五官关键点的方式还可以是其他方式,本实施例对此不做限定。其中,
可选地,计算机设备从目标图像提取面部五官关键点的一种可实现方式包括:采用预设的五官关键点提取神经网络模型,从所述目标图像中提取所述面部五官关键点;所述预设的五官关键点提取神经网络模型为根据多个已标注面部五官关键点的人脸图像训练得到的。例如:可以是通过shufflenet的方法训练的该五官关键点提取神经网络模型。示例地,计算机设备将目标图像输入到该预设的五官关键点提取神经网络模型中,该预设的五官关键点提取神经网络模型输出的结果即提取的目标图像中的面部五官关键点,这样,采用预先训练好的神经网络模型进行面部五官关键点提取,保证了面部五官关键点提取获取的精确度和速度。
S602,根据所述面部五官关键点和面部轮廓关键点输出所述目标图像的面部关键点。
基于上述S601步骤中,计算机设备获取的面部五官关键点和上述S103步骤计算机设备提取的面部轮廓关键点,输出该目标图像的面部关键点。
本实施例提供的一种面部关键点定位方法,由于计算机设备是将从目标图像中提取的面部五官关键点和从上述103步骤提取的面部轮廓关键点结合,然后输出面部的关键点,而上述S103步骤中提取面部轮廓关键点是根据面部轮廓区域变形的矩形图像提取的,面部轮廓区域又是由目标图像的人脸检测框中提取的,因此面部轮廓区域的面积是小于人脸检测框的面积的,且将面部轮廓区域的面积变形后的矩形图像又是大于面部轮廓区域面积,小于等于人脸检测框的面积,相当于在保证计算量不增加的同时,将面部轮廓区域进行了放大,使得提取的面部轮廓关键点更加精确,进而有效的同时保证了面部关键点定位的速度和精确度。
应该理解的是,虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图8所示,提供了一种面部关键点提取装置,所述装置包括:目标图像获取模块10、矩形图像获取模块11和轮廓关键点提取模块12,其中:
目标图像获取模块10,用于获取目标图像;所述目标图像包括至少一个人脸检测框;
矩形图像获取模块11,用于从所述目标图像中提取面部轮廓区域,并将所述面部轮廓区域进行变形得到矩形图像;所述矩形图像的面积大于所述面部轮廓区域的面积;
轮廓关键点提取模块12,用于从所述矩形图像中提取面部轮廓关键点。
上述实施例提供的一种面部关键点提取方法,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,所述矩形图像的面积小于或者等于所述人脸检测框的面积。
上述实施例提供的一种面部关键点提取方法,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,如图9所示,提供了一种面部关键点提取装置,上述矩形图像获取模块11包括:环部区域确定单元111和面部轮廓区域提取单元112,其中,
环部区域确定单元111,用于采用预设的半径设定规律,从所述人脸检测框中确定两个半径不同的同心圆;所述同心圆的环部区域包括所述面部轮廓区域;
面部轮廓区域提取单元112,用于从所述同心圆的环部区域提取所述面部轮廓区域。
上述实施例提供的一种面部关键点提取方法,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,如图10所示,提供了一种面部关键点提取装置,所述环部区域确定单元111包括:圆点获取子单元1111和同心圆确定子单元1112,其中,
圆点获取子单元1111,用于获取所述同心圆的圆点;
同心圆确定子单元1112,用于根据所述同心圆的圆点和所述预设的半径设定规律,从所述人脸检测框中确定两个半径不同的同心圆。
上述实施例提供的一种面部关键点提取方法,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,所述同心圆的外圆直径等于所述人脸检测框的边长;所述同心圆的内圆直径为所述外圆直径的二分之一。
在一个实施例中,如图11所示,提供了一种面部关键点提取装置,面部轮廓区域提取单元112,包括:位置确定子单元1121和面部轮廓区域确定子单元1122,其中,
位置确定子单元1121,用于从所述同心圆的环部区域中确定双眼位置以下的区域;
面部轮廓区域确定子单元1122,用于将所述双眼位置以下的区域确定为所述面部轮廓区域。
上述实施例提供的一种面部关键点提取方法,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在其中一个实施例中,轮廓关键点提取模块12具体用于采用预设的神经网络模型从所述矩形图像中提取所述面部轮廓关键点;所述预设的神经网络模型为根据多个已标注面部轮廓关键点的矩形图像训练得到的。
上述实施例提供的一种面部关键点提取方法,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,如图12所示,提供了一种面部关键点提取装置,上述目标图像获取模块10包括:原始图像获取单元101和目标图像确定单元102,其中,
原始图像获取单元101,用于获取原始图像;
目标图像确定单元102,用于采用预设的人脸检测神经网络模型对所述原始图像中人脸进行检测,得到所述目标图像;所述预设的人脸检测神经网络模型为根据多个已标注人脸检测框的图像训练得到的。
上述实施例提供的一种面部关键点提取方法,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,如图13所示,提供了一种面部关键点提取装置,所述装置还包括:五官关键点提取模块13和面部关键点输出模块14,其中,
五官关键点提取模块13,用于从所述目标图像提取面部五官关键点;
面部关键点输出模块14,用于根据所述面部五官关键点和面部轮廓关键点输出所述目标图像的面部关键点。
上述实施例提供的一种面部关键点提取方法,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在其中一个实施例中,五官关键点提取模块13具体用于采用预设的五官关键点提取神经网络模型,从所述目标图像中提取所述面部五官关键点;所述预设的五官关键点提取神经网络模型为根据多个已定位面部五官关键点的人脸图像训练得到的。
上述实施例提供的一种面部关键点提取方法,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
关于面部关键点提取装置的具体限定可以参见上文中对于面部关键点提取方法的限定,在此不再赘述。上述面部关键点提取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如上述图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种面部关键点提取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,上述图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取目标图像;所述目标图像包括至少一个人脸检测框;
从所述目标图像中提取面部轮廓区域,并将所述面部轮廓区域进行变形得到矩形图像;所述矩形图像的面积大于所述面部轮廓区域的面积;
从所述矩形图像中提取面部轮廓关键点。
上述实施例提供的一种计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取目标图像;所述目标图像包括至少一个人脸检测框;
从所述目标图像中提取面部轮廓区域,并将所述面部轮廓区域进行变形得到矩形图像;所述矩形图像的面积大于所述面部轮廓区域的面积;
从所述矩形图像中提取面部轮廓关键点。
上述实施例提供的一种计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种面部关键点提取方法,其特征在于,所述方法包括:
获取目标图像;所述目标图像包括至少一个人脸检测框;
从所述目标图像中提取面部轮廓区域,并将所述面部轮廓区域进行变形得到矩形图像;所述矩形图像的面积大于所述面部轮廓区域的面积;
从所述矩形图像中提取面部轮廓关键点。
2.根据权利要求1所述的方法,其特征在于,所述矩形图像的面积小于或者等于所述人脸检测框的面积。
3.根据权利要求1或2所述的方法,其特征在于,所述从所述目标图像中提取面部轮廓区域,包括:
采用预设的半径设定规律,从所述人脸检测框中确定两个半径不同的同心圆;所述同心圆的环部区域包括所述面部轮廓区域;
从所述同心圆的环部区域提取所述面部轮廓区域。
4.根据权利要求3所述的方法,其特征在于,所述采用预设的半径设定规律,从所述人脸检测框中确定两个半径不同的同心圆,包括:
获取所述同心圆的圆点;
根据所述同心圆的圆点和所述预设的半径设定规律,从所述人脸检测框中确定两个半径不同的同心圆。
5.根据权利要求4所述的方法,其特征在于,所述同心圆的外圆直径等于所述人脸检测框的边长;所述同心圆的内圆直径为所述外圆直径的二分之一。
6.根据权利要求3所述的方法,其特征在于,所述从所述同心圆的环部区域提取所述面部轮廓区域,包括:
从所述同心圆的环部区域中确定双眼位置以下的区域;
将所述双眼位置以下的区域确定为所述面部轮廓区域。
7.根据权利要求1或2所述的方法,其特征在于,所述从所述矩形图像中提取面部轮廓关键点,包括:
采用预设的神经网络模型从所述矩形图像中提取所述面部轮廓关键点;所述预设的神经网络模型为根据多个已标注面部轮廓关键点的矩形图像训练得到的。
8.一种面部关键点提取装置,其特征在于,所述装置包括:
目标图像获取模块,用于获取目标图像;所述目标图像包括至少一个人脸检测框;
矩形图像获取模块,用于从所述目标图像中提取面部轮廓区域,并将所述面部轮廓区域进行变形得到矩形图像;所述矩形图像的面积大于所述面部轮廓区域的面积;
轮廓关键点提取模块,用于从所述矩形图像中提取面部轮廓关键点。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201910171553.6A 2019-03-07 2019-03-07 面部关键点提取方法、装置、计算机设备和存储介质 Active CN109993067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910171553.6A CN109993067B (zh) 2019-03-07 2019-03-07 面部关键点提取方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910171553.6A CN109993067B (zh) 2019-03-07 2019-03-07 面部关键点提取方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109993067A true CN109993067A (zh) 2019-07-09
CN109993067B CN109993067B (zh) 2022-01-28

Family

ID=67130137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910171553.6A Active CN109993067B (zh) 2019-03-07 2019-03-07 面部关键点提取方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN109993067B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991261A (zh) * 2019-11-12 2020-04-10 苏宁云计算有限公司 交互行为识别方法、装置、计算机设备和存储介质
CN112818908A (zh) * 2021-02-22 2021-05-18 Oppo广东移动通信有限公司 关键点检测方法、装置、终端及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209802A (ja) * 1999-11-15 2001-08-03 Fuji Photo Film Co Ltd 顔抽出方法および装置並びに記録媒体
CN104598936A (zh) * 2015-02-28 2015-05-06 北京畅景立达软件技术有限公司 人脸图像面部关键点的定位方法
CN105678251A (zh) * 2015-12-31 2016-06-15 Tcl海外电子(惠州)有限公司 人脸图像处理方法及装置
CN106203376A (zh) * 2016-07-19 2016-12-07 北京旷视科技有限公司 人脸关键点定位方法及装置
US20180018503A1 (en) * 2015-12-11 2018-01-18 Tencent Technology (Shenzhen) Company Limited Method, terminal, and storage medium for tracking facial critical area
CN107609519A (zh) * 2017-09-15 2018-01-19 维沃移动通信有限公司 一种人脸特征点的定位方法及装置
CN107977618A (zh) * 2017-11-28 2018-05-01 上海交通大学 一种基于双层级联神经网络的人脸对齐方法
CN108876704A (zh) * 2017-07-10 2018-11-23 北京旷视科技有限公司 人脸图像变形的方法、装置及计算机存储介质
CN108960201A (zh) * 2018-08-01 2018-12-07 西南石油大学 一种基于人脸关键点提取和稀疏表达分类的表情识别方法
CN109146774A (zh) * 2018-08-14 2019-01-04 河海大学常州校区 一种面向禁毒宣传的人脸图像处理方法
CN109376684A (zh) * 2018-11-13 2019-02-22 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质
CN109377446A (zh) * 2018-10-25 2019-02-22 北京市商汤科技开发有限公司 人脸图像的处理方法及装置、电子设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209802A (ja) * 1999-11-15 2001-08-03 Fuji Photo Film Co Ltd 顔抽出方法および装置並びに記録媒体
CN104598936A (zh) * 2015-02-28 2015-05-06 北京畅景立达软件技术有限公司 人脸图像面部关键点的定位方法
US20180018503A1 (en) * 2015-12-11 2018-01-18 Tencent Technology (Shenzhen) Company Limited Method, terminal, and storage medium for tracking facial critical area
CN105678251A (zh) * 2015-12-31 2016-06-15 Tcl海外电子(惠州)有限公司 人脸图像处理方法及装置
CN106203376A (zh) * 2016-07-19 2016-12-07 北京旷视科技有限公司 人脸关键点定位方法及装置
CN108876704A (zh) * 2017-07-10 2018-11-23 北京旷视科技有限公司 人脸图像变形的方法、装置及计算机存储介质
CN107609519A (zh) * 2017-09-15 2018-01-19 维沃移动通信有限公司 一种人脸特征点的定位方法及装置
CN107977618A (zh) * 2017-11-28 2018-05-01 上海交通大学 一种基于双层级联神经网络的人脸对齐方法
CN108960201A (zh) * 2018-08-01 2018-12-07 西南石油大学 一种基于人脸关键点提取和稀疏表达分类的表情识别方法
CN109146774A (zh) * 2018-08-14 2019-01-04 河海大学常州校区 一种面向禁毒宣传的人脸图像处理方法
CN109377446A (zh) * 2018-10-25 2019-02-22 北京市商汤科技开发有限公司 人脸图像的处理方法及装置、电子设备和存储介质
CN109376684A (zh) * 2018-11-13 2019-02-22 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEN, XU XU等: "Margin Refine of Candide-3 Model for Facial Deformation", 《ADVANCED MATERIALS RESEARCH》 *
YUE LI等: "Feature-Preserving Detailed 3D Face Reconstruction from a Single Image", 《THE 15TH ACM SIGGRAPH EUROPEAN CONFERENCE》 *
彭营营: "基于深度学习的鲁棒表情关键点定位算法设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
童晓阳等: "人脸轮廓定位和归一化的研究", 《系统仿真学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991261A (zh) * 2019-11-12 2020-04-10 苏宁云计算有限公司 交互行为识别方法、装置、计算机设备和存储介质
CN112818908A (zh) * 2021-02-22 2021-05-18 Oppo广东移动通信有限公司 关键点检测方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN109993067B (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
US9734379B2 (en) Guided fingerprint enrollment
US11386699B2 (en) Image processing method, apparatus, storage medium, and electronic device
CN110135406A (zh) 图像识别方法、装置、计算机设备和存储介质
CN111639522B (zh) 活体检测方法、装置、计算机设备和存储介质
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
US11244157B2 (en) Image detection method, apparatus, device and storage medium
CN107633526A (zh) 一种图像跟踪点获取方法及设备、存储介质
CN111915483B (zh) 图像拼接方法、装置、计算机设备和存储介质
CN110751149B (zh) 目标对象标注方法、装置、计算机设备和存储介质
CN110287836B (zh) 图像分类方法、装置、计算机设备和存储介质
CN112580660B (zh) 图像处理方法、装置、计算机设备和可读存储介质
JP7429307B2 (ja) コンピュータビジョンに基づく文字列認識方法、装置、機器及び媒体
CN109993067A (zh) 面部关键点提取方法、装置、计算机设备和存储介质
CN111080571A (zh) 摄像头遮挡状态检测方法、装置、终端和存储介质
CN111273772A (zh) 基于slam测绘方法的增强现实交互方法、装置
CN106484614A (zh) 一种核对图片处理效果的方法、装置及移动终端
CN111476151A (zh) 眼球检测方法、装置、设备及存储介质
US20160350622A1 (en) Augmented reality and object recognition device
CN117333928A (zh) 一种人脸特征点检测方法、装置、电子设备及存储介质
CN111281355A (zh) 一种用于确定脉搏采集位置的方法与设备
Cai et al. Robust gaze estimation via normalized iris center-eye corner vector
CN105913024A (zh) 基于lap算子的抵抗重放攻击的安卓手机终端检测方法
JP2019113959A (ja) 鼻紋照合システム、鼻紋照合方法及び鼻紋照合プログラム
CN110781739B (zh) 提取行人特征的方法、装置、计算机设备和存储介质
CN109814784B (zh) 图片旋转方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant