CN112613446A - 一种人脸对齐的方法、装置、电子设备及存储介质 - Google Patents

一种人脸对齐的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112613446A
CN112613446A CN202011596006.1A CN202011596006A CN112613446A CN 112613446 A CN112613446 A CN 112613446A CN 202011596006 A CN202011596006 A CN 202011596006A CN 112613446 A CN112613446 A CN 112613446A
Authority
CN
China
Prior art keywords
affine transformation
transformation matrix
face
key points
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011596006.1A
Other languages
English (en)
Other versions
CN112613446B (zh
Inventor
杨帆
马英楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beike Technology Co Ltd
Original Assignee
Beike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beike Technology Co Ltd filed Critical Beike Technology Co Ltd
Priority to CN202011596006.1A priority Critical patent/CN112613446B/zh
Publication of CN112613446A publication Critical patent/CN112613446A/zh
Application granted granted Critical
Publication of CN112613446B publication Critical patent/CN112613446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸对齐的方法、装置、电子设备及存储介质,包括:利用人脸关键点定位模型从待处理的人脸图像中检测出人脸关键点;根据检测出的人脸关键点和事先确定的标准人脸关键点确定第一仿射变换矩阵,标准人脸关键点是事先设置的人脸对齐的标准位置;从计算出的第一仿射变换矩阵中选择出第二仿射变换矩阵,第二仿射变换矩阵是符合多元高斯分布的概率密度最大的第一仿射变换矩阵;利用选择出的第二仿射变换矩阵对待处理的人脸图像进行仿射变换计算,获得人脸对齐的人脸图像。应用本申请实施例方案,由于选择出的第二仿射变换矩阵是多元高斯分布概率密度最大的,用该仿射变换矩阵对人脸图像进行仿射变换计算,可以增强人脸对齐的鲁棒性。

Description

一种人脸对齐的方法、装置、电子设备及存储介质
技术领域
本申请涉及人脸识别技术领域,尤其涉及一种人脸对齐的方法、一种人脸对齐的装置、一种计算机可读存储介质以及一种电子设备。
背景技术
在人脸识别之前,通常需要先对人脸图像进行人脸对齐的处理,即找出人脸关键点,比如眼睛、鼻子、嘴巴等。实际应用中,图像中人脸关键点可能被口罩、头发、帽子等其他物体遮挡,人脸关键点处存在较大噪声,影响人脸对齐的效果,也进一步降低人脸识别的准确性。
发明内容
针对上述现有技术,本申请实施例公开一种人脸对齐的方法,可以克服现有技术人脸对齐效果差的缺陷,在人脸关键点存在遮挡的情况下,仍然保证人脸对齐的鲁棒性。
鉴于此,本申请实施例提出一种人脸对齐的方法,该方法包括:
利用人脸关键点定位模型从待处理的人脸图像中检测出人脸关键点;
根据检测出的人脸关键点和事先确定的标准人脸关键点确定第一仿射变换矩阵,所述标准人脸关键点是事先设置的人脸对齐的标准位置;
从计算出的所述第一仿射变换矩阵中选择出第二仿射变换矩阵,所述第二仿射变换矩阵是符合多元高斯分布的概率密度最大的第一仿射变换矩阵;
利用选择出的所述第二仿射变换矩阵对所述待处理的人脸图像进行仿射变换计算,获得人脸对齐的人脸图像。
进一步地,
所述根据检测出的人脸关键点和事先确定的标准人脸关键点确定第一仿射变换矩阵的步骤包括:
从所述检测出的人脸关键点中确定N个关键点组合,其中每一组关键点组合中包含的人脸关键点是用于确定所述第一仿射变换矩阵的人脸关键点;
根据所述每一组关键点组合中的人脸关键点和对应的标准人脸关键点计算第一仿射变换矩阵,获得N个所述第一仿射变换矩阵;其中每个所述第一仿射变换矩阵对应一组第一仿射变换矩阵参数,所述第一仿射变换矩阵参数包括旋转缩放参数和平移参数,所述旋转缩放参数表示对图像进行旋转和缩放处理的参数,所述平移参数表示对图像进行平移处理的参数。
进一步地,
所述从计算出的所述第一仿射变换矩阵中选择出第二仿射变换矩阵的步骤包括:
根据计算出的N个所述的第一仿射变换矩阵建立所述多元高斯分布,所述多元高斯分布的参数包括均值向量和协方差矩阵,所述均值向量为所述第一仿射变换矩阵参数的均值向量,所述协方差矩阵为所述第一仿射变换矩阵参数的协方差矩阵;
分别根据N组第一仿射变换矩阵参数、所述均值向量和所述协方差矩阵计算相应的N个所述多元高斯分布的概率密度;
从N个所述多元高斯分布的概率密度中选择最大的概率密度,将所述最大的概率密度对应的所述第一仿射变换矩阵作为所述第二仿射变换矩阵。
进一步地,
所述检测出的人脸关键点为:左眼瞳孔、右眼瞳孔、鼻尖、左嘴角和右嘴角共5个人脸关键点;
所述从检测出的人脸关键点中确定N个关键点组合的步骤包括:从所述5个人脸关键点中按照
Figure BDA0002867868750000021
的方式进行组合,获得10个关键点组合,所述N为10。
进一步地,
所述多元高斯分布的概率密度表示为:
Figure BDA0002867868750000031
所述x表示所述第一仿射变换矩阵参数,所述μ表示所述第一仿射变换矩阵参数的均值向量,所述Σ表示所述第一仿射变换矩阵参数的协方差矩阵,所述Ti表示第i个第一仿射变换矩阵,所述f(Ti)表示所述第一仿射变换矩阵Ti出现的概率,1≤i≤N。
本申请实施例还提出一种人脸对齐的装置,可以克服现有技术人脸对齐效果差的缺陷,在人脸关键点存在遮挡的情况下,仍然保证人脸对齐的鲁棒性。
一种人脸对齐的装置,该装置包括:关键点检测单元、第一仿射变换确定单元、第二仿射变换确定单元、人脸对齐执行单元;
所述关键点检测单元,利用人脸关键点定位模型从待处理的人脸图像中检测出人脸关键点;
所述第一仿射变换确定单元,用于根据检测出的人脸关键点和事先确定的标准人脸关键点确定第一仿射变换矩阵,所述标准人脸关键点是事先设置的人脸对齐的标准位置;
所述第二仿射变换确定单元,用于从计算出的所述第一仿射变换矩阵中选择出第二仿射变换矩阵,所述第二仿射变换矩阵是符合多元高斯分布的概率密度最大的第一仿射变换矩阵;
所述人脸对齐执行单元,利用选择出的所述第二仿射变换矩阵对所述待处理的人脸图像进行仿射变换计算,获得人脸对齐的人脸图像。
进一步地,
所述第一仿射变换确定单元包括:N个关键点组合确定单元和N个第一仿射变换矩阵获取单元;
所述N个关键点组合确定单元,用于从所述检测出的人脸关键点中确定N个关键点组合,其中每一组关键点组合中包含的人脸关键点是用于确定所述第一仿射变换矩阵的人脸关键点;
所述N个第一仿射变换矩阵获取单元,用于根据所述每一组关键点组合中的人脸关键点和对应的标准人脸关键点计算第一仿射变换矩阵,获得N个所述第一仿射变换矩阵;其中每个所述第一仿射变换矩阵对应一组第一仿射变换矩阵参数,所述第一仿射变换矩阵参数包括旋转缩放参数和平移参数,所述旋转缩放参数表示对图像进行旋转和缩放处理的参数,所述平移参数表示对图像进行平移处理的参数。
进一步地,
所述第二仿射变换确定单元包括:多元高斯分布建立单元、概率密度计算单元、选择单元;
所述多元高斯分布建立单元,用于根据计算出的N个所述的第一仿射变换矩阵建立所述多元高斯分布,所述多元高斯分布的参数包括均值向量和协方差矩阵,所述均值向量为所述第一仿射变换矩阵参数的均值向量,所述协方差矩阵为所述第一仿射变换矩阵参数的协方差矩阵;
所述概率密度计算单元,用于分别根据N组第一仿射变换矩阵参数、所述均值向量和所述协方差矩阵计算相应的N个所述多元高斯分布的概率密度;
所述选择单元,从N个所述多元高斯分布的概率密度中选择最大的概率密度,将所述最大的概率密度对应的所述第一仿射变换矩阵作为所述第二仿射变换矩阵。
本申请实施例还提出一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述指令被处理器执行时可实现所述的人脸对齐的方法的步骤。
本申请实施例还提出一种电子设备,该电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述人脸对齐的方法。
综上所述,本申请实施例在人脸关键点存在遮挡等噪音情况下,根据检测出的人脸关键点和事先确定的标准人脸关键点确定第一仿射变换矩阵,从中选择出第二仿射变换矩阵。由于选择出的第二仿射变换矩阵是多元高斯分布概率密度最大的,用该仿射变换矩阵对人脸图像进行仿射变换计算,因此可以增强人脸对齐的鲁棒性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实现人脸对齐的方法实施例一的流程图。
图2是本申请实现人脸对齐的方法实施例二的流程图。
图3是本申请实现人脸对齐的方法实施例三的流程图。
图4是本申请方法实施例三中检测出人脸关键点示意图。
图5是采用本申请方法实施例三对一个待处理人脸图像进行人脸对齐的效果示意图。
图6是本申请装置实施例一的内部结构示意图。
图7是本申请装置实施例二的内部结构示意图。
图8是本申请实施例提供的一种电子设备内部结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
本申请实施例检测出人脸关键点后,先利用检测出的人脸关键点计算出仿射变换,再利用服从多元高斯分布的规律从计算的仿射变换矩阵中选择出概率密度最大的,概率密码最大的仿射变换可以认为是最为准确的仿射变换,最后根据选择出仿射变换矩阵对待处理的人脸图像进行人脸对齐,从而提高人脸对齐的效果。
图1是本申请实现人脸对齐的方法实施例一的流程图。如图1所示,本申请方法实施例一包括如下步骤:
步骤101:利用人脸关键点定位模型从待处理的人脸图像中检测出人脸关键点。
人脸关键点检测是人脸识别、表情分析、三维人脸重建、三维动画等其他人脸相关问题的前提。人脸关键点是指人脸关键区域的位置,可以为眼睛、鼻子、嘴巴等部位,通常利用人脸关键点定位模型进行检测。人脸关键点定位模型可以是基于模型的ASM(ActiveShape Model)和AAM(Active Appearnce Model)、基于级联形状回归CPR(Cascaded poseregression)、基于深度学习的模型或者基于神经网络的模型等。
本步骤可以利用上述任意一种模型从待处理的人脸图像中检测出人脸关键点,至于采取哪种具体的模型,检测出关键点的具体位置以及关键点个数则不受限制。
步骤102:根据检测出的人脸关键点和事先确定的标准人脸关键点确定第一仿射变换矩阵,所述标准人脸关键点是事先设置的人脸对齐的标准位置。
为了后续便于人脸识别等其他处理,需要将不同类型的人脸图像调整到标准位置,即:将步骤101检测出的人脸关键点调整到标准人脸关键点所在的目标位置。调整到目标位置需要将待处理人脸图像进行旋转、缩放以及平移等操作,也就是指一个向量空间进行一次线性变换以及平移,从而变换为另一个向量空间的操作方法。
由于上述步骤101检测出待处理人脸图像的人脸关键点,那么检测出的人脸关键点和标准人脸关键点之间存在一种仿射变换关系。为了区别于后续其他仿射变换,本申请实施例一以及后续实施例均将其称为“第一仿射变换矩阵”。
步骤103:从计算出的所述第一仿射变换矩阵中选择出第二仿射变换矩阵,所述第二仿射变换矩阵是符合多元高斯分布的概率密度最大的第一仿射变换矩阵。
计算1个第一仿射变换矩阵至少需要3个检测出的人脸关键点以及对应的3个标准人脸关键点。而在实际应用中,步骤101中通常会检测出3个以上的人脸关键点,如果仍然取3个人脸关键点用于计算第一仿射变换矩阵,则可以计算出大于1个(多个)的第一仿射变换矩阵。这些第一仿射变换都反应了从一个空间向量到另一个空间向量之间的变换关系,但有的可以准确反应该变换关系,而有的由于是存在遮挡情况的人脸关键点,其反应该变换关系的准确性则比较差。发明人在研究中发现,按照统计学的中心极限原理,这些第一仿射变换矩阵符合多元高斯分布,多元高斯分布概率密度最大的第一仿射变换矩阵则是反应该变换关系最为准确的第一仿射变换矩阵。
步骤104:利用选择出的所述第二仿射变换矩阵对所述待处理的人脸图像进行仿射变换计算,获得人脸对齐的人脸图像。
在人脸关键点存在遮挡等噪音情况下,由于选择出的第二仿射变换矩阵是多元高斯分布概率密度最大的,用该仿射变换矩阵对人脸图像进行仿射变换计算,可以增强人脸对齐的鲁棒性。
为了更好地说明本申请方法实施例的方案,下面再用其他实施例详细描述。
图2是本申请实现人脸对齐的方法实施例二的流程图。如图2所示,该方法包括:
步骤201:利用人脸关键点定位模型从待处理的人脸图像中检测出人脸关键点。
本步骤与方法实施例一中步骤101相同。
步骤202:从检测出的人脸关键点中确定N个关键点组合,其中每一组关键点组合中包含的人脸关键点是用于确定所述第一仿射变换矩阵的人脸关键点。
上述步骤201通常会检测出3个以上的人脸关键点,如果仍然取3个人脸关键点用于计算第一仿射变换矩阵,可以将检测出的多个人脸关键点构成N个关键点组合,每一组关键点组合中的人脸关键点就是用于后续计算第一仿射变换矩阵的人脸关键点。
步骤203:根据每一组关键点组合中的人脸关键点和对应的标准人脸关键点计算第一仿射变换矩阵,获得N个所述第一仿射变换矩阵;其中每个所述第一仿射变换矩阵对应一组第一仿射变换矩阵参数,所述第一仿射变换矩阵参数包括旋转缩放参数和平移参数,所述旋转缩放参数表示对图像进行旋转和缩放处理的参数,所述平移参数表示对图像进行平移处理的参数。
如前所述,关键点组合中的人脸关键点仅是步骤201利用人脸关键点定位模型从待处理的人脸图像中检测出的,而计算第一仿射变换矩阵,还需要对应的标准人脸关键点。假设某个关键点组合包括A1、A2、A3共3个人脸关键点,对应的标准人脸关键点为A1'、A2'、A3',即参与第一仿射变换矩阵的关键点为A1、A2、A3、A1'、A2'、A3'共6个关键点。由于构成有N个关键点组合,按照此方式,将计算出N个第一仿射变换矩阵。
第一仿射变换矩阵是用于将待检测人脸图像从一个空间向量转换到另一个空间向量的变换关系,通常需要对图像进行旋转、缩放、平移等处理过程。因此,每个第一仿射变换矩阵都对应自身的第一仿射变换矩阵参数。其中,旋转缩放参数用于对图像进行旋转处理以及缩放处理,平移参数用于对图像进行平移处理。
上述步骤202和步骤203实现了第一仿射变换矩阵的确定,是方法实施例一中步骤102较优的实施方式。实际应用中,还可以采用其他方式,比如:第一仿射变换矩阵参数还可以包括剪切、反射等其他参数,本步骤的描述并不作为本申请第一仿射变换矩阵的限制。
步骤204:根据计算出的N个所述的第一仿射变换矩阵建立多元高斯分布,所述多元高斯分布的参数包括均值向量和协方差矩阵,所述均值向量为所述第一仿射变换矩阵参数的均值向量,所述协方差矩阵为所述第一仿射变换矩阵参数的协方差矩阵。
步骤205:分别根据N组第一仿射变换矩阵参数、所述均值向量和所述协方差矩阵计算相应的N个所述多元高斯分布的概率密度。
步骤206:从N个所述多元高斯分布的概率密度中选择最大的概率密度,将所述最大的概率密度对应的所述第一仿射变换矩阵作为所述第二仿射变换矩阵。
上述步骤204~206实现了第二仿射变换矩阵的确定,是方法实施例一中步骤103较优的实施方式。在统计学中,大量独立同分布的随机变量的均值在标准化之后会按照分布收敛于高斯分布,且对于任意类型的随机对象均成立。因此,如果将步骤203计算得到的第一仿射变换矩阵作为随机对象,N个第一仿射变换矩阵也应该服从高斯分布。另外,由于本申请实施例中的第一仿射变换矩阵参数包括旋转缩放参数和平移参数等多种不同的参数,因此N个第一仿射变换矩阵应该服从多元高斯分布。本领域技术人员知道,多元高斯分布模型本身的参数至少包括均值向量和协方差矩阵两类参数。也就是说,只要估计出高斯分布模型中均值向量和协方差矩阵这两类参数,就可以完成多元高斯分布模型的建立。本申请实施例步骤204中,将第一仿射变换矩阵参数的均值向量作为多元高斯分布模型的均值向量,将第一仿射变换矩阵参数的协方差矩阵作为多元高斯分布模型的协方差矩阵,从而建立了多元高斯分布模型。本领域技术人员还应当理解,根据N组第一仿射变换矩阵参数、多元高斯分布模型的均值向量以及多元高斯分布模型的协方差矩阵可以表达出多元高斯分布的概率密度函数,其中最大的概率密度所对应的第一仿射变换矩阵应当理解为:在利用仿射变换矩阵将检测出的人脸关键点变换到对应的标准人脸关键点时,最大的概率密度所对应的第一仿射变换矩阵是其中最为可靠、准确性最高的仿射变换矩阵,即本申请实施例中所述的第二仿射变换矩阵。
步骤207:利用选择出的所述第二仿射变换矩阵对所述待处理的人脸图像进行仿射变换计算,获得人脸对齐的人脸图像。
本步骤与方法实施例一的步骤104相同。
本申请实施例利用检测出的人脸关键点和对应的标准人脸关键点计算出N个第一仿射变换矩阵,利用随机对象服从多元高斯分布的特点,为N个第一仿射变换矩阵建立多元高斯分布模型,并计算概率密度函数得到最大概率密度对应的第一仿射变换矩阵,用其对待处理人脸图像进行仿射变换,实现人脸对齐。在人脸关键点存在遮挡的情况下,由于最大概率密度对应的第一仿射变换矩阵是最为可靠、准确性最高的仿射变换矩阵,因此可以增强人脸对齐的鲁棒性。
图3是本申请实现人脸对齐的方法实施例三的流程图。在本申请方法实施例三中,假设人脸关键点定位模型采用多任务卷积神经网络(MTCNN,Multi-task convolutionalneural network),可以检测出左眼瞳孔、右眼瞳孔、鼻尖、左嘴角和右嘴角共5个人脸关键点。
如图3所示,该方法包括如下步骤:
步骤301:利用MTCNN模型从待处理的人脸图像中检测出人脸关键点。
本步骤中,将待处理的人脸图像输入MTCNN,可以检测出左眼瞳孔、右眼瞳孔、鼻尖、左嘴角和右嘴角共5个人脸关键点,具体情况如图4所示。其中,假设将检测出的左眼瞳孔标记为L1,右眼瞳孔标记为L2,鼻尖标记为L3,左嘴角标记为L4,右嘴角标记为L5。
步骤302:从检测出的人脸关键点中确定N个关键点组合,其中每一组关键点组合中包含的人脸关键点是用于确定所述第一仿射变换矩阵的人脸关键点。
本步骤在确定N个关键点组合时,可以采用
Figure BDA0002867868750000111
的方式进行组合,即从5个人脸关键点中任意取3个的组合,获得不同的10个关键点组合,即N=10。比如:本申请实施例包括L1~L5共5个人脸关键点,则可以组成{L1,L2,L3}、{L1,L2,L4},{L1,L2,L5}……共10个关键点组合。其中,每一组关键点组合中包括3个不同的人脸关键点,用于参与后续第一仿射变换矩阵的计算。
步骤303:根据每一组关键点组合中的人脸关键点和对应的标准人脸关键点计算第一仿射变换矩阵,获得N个所述第一仿射变换矩阵;其中每个所述第一仿射变换矩阵对应一组第一仿射变换矩阵参数,所述第一仿射变换矩阵参数包括旋转缩放参数和平移参数,所述旋转缩放参数表示对图像进行旋转和缩放处理的参数,所述平移参数表示对图像进行平移处理的参数。
本步骤与方法实施例二中的步骤203相似,只是其中N=10。
假设事先设置了左眼瞳孔、右眼瞳孔、鼻尖、左嘴角和右嘴角共5个标准人脸关键点,其中,左眼瞳孔标记为L1',右眼瞳孔标记为L2',鼻尖标记为L3',左嘴角标记为L4',右嘴角标记为L5'。
再假设计算仿射变换矩阵的函数表示为T=A(x),其中,x表示3个检测出的人脸关键点和3个对应的标准人脸关键点,A表示计算仿射变换矩阵的函数,T表示获得的仿射变换矩阵。按照此方式,10个关键点组合分别与对应的标准人脸关键点计算仿射变换的情况包括:
1)关键点组合{L1,L2,L3}中的人脸关键点与对应的标准人脸关键点{L1',L2',L3'},计算出第一仿射变换矩阵T1。可以理解为,关键点{L1,L2,L3}经过T1才能变换为{L1',L2',L3'}。
2)关键点组合{L1,L2,L4}中的人脸关键点与对应的标准人脸关键点{L1',L2',L4'},计算出第一仿射变换矩阵T2。可以理解为,关键点{L1,L2,L4}经过T2才能变换为{L1',L2',L4'}。
3)关键点组合{L1,L2,L5}中的人脸关键点与对应的标准人脸关键点{L1',L2',L5'},计算出第一仿射变换矩阵T3。可以理解为,关键点{L1,L2,L5}经过T3才能变换为{L1',L2',L5'}。
4)关键点组合{L1,L3,L4}中的人脸关键点与对应的标准人脸关键点{L1',L3',L4'},计算出第一仿射变换矩阵T4。可以理解为,关键点{L1,L3,L4}经过T4才能变换为{L1',L3',L4'}。
5)关键点组合{L1,L3,L5}中的人脸关键点与对应的标准人脸关键点{L1',L3',L5'},计算出第一仿射变换矩阵T5。可以理解为,关键点{L1,L3,L5}经过T5才能变换为{L1',L3',L5'}。
6)关键点组合{L1,L4,L5}中的人脸关键点与对应的标准人脸关键点{L1',L4',L5'},计算出第一仿射变换矩阵T6。可以理解为,关键点{L1,L4,L5}经过T6才能变换为{L1',L4',L5'}。
7)关键点组合{L2,L3,L4}中的人脸关键点与对应的标准人脸关键点{L2',L3',L4'},计算出第一仿射变换矩阵T7。可以理解为,关键点{L2,L3,L4}经过T7才能变换为{L2',L3',L4'}。
8)关键点组合{L2,L3,L5}中的人脸关键点与对应的标准人脸关键点{L2',L3',L5'},计算出第一仿射变换矩阵T8。可以理解为,关键点{L2,L3,L5}经过T8才能变换为{L2',L3',L5'}。
9)关键点组合{L2,L4,L5}中的人脸关键点与对应的标准人脸关键点{L2',L4',L5'},计算出第一仿射变换矩阵T9。可以理解为,关键点{L2,L4,L5}经过T9才能变换为{L2',L4',L5'}。
10)关键点组合{L3,L4,L5}中的人脸关键点与对应的标准人脸关键点{L3',L4',L5'},计算出第一仿射变换矩阵T10。可以理解为,关键点{L3,L4,L5}经过T10才能变换为{L3',L4',L5'}。
本申请实施例中的第一仿射变换矩阵T可以用如下公式1表示:
Figure BDA0002867868750000132
Figure BDA0002867868750000131
其中,t11、t12、t21、t21这4参数为旋转缩放参数,表示对图像进行旋转和缩放处理的参数;b1和b2这2个参数为平移参数,表示对图像进行平移处理的参数。也就是说,上述计算的10个第一仿射变换矩阵中,T1~T10都分别对应各自的第一仿射变换矩阵参数。每一组第一仿射变换矩阵参数都分别包括t11、t12、t21、t21、b1和b2共6个参数。
步骤304:根据计算出的N个所述的第一仿射变换矩阵建立所述多元高斯分布,所述多元高斯分布的参数包括均值向量和协方差矩阵,所述均值向量为所述第一仿射变换矩阵参数的均值向量,所述协方差矩阵为所述第一仿射变换矩阵参数的协方差矩阵。
如上所述,在统计学中,大量独立同分布的随机变量的均值在标准化之后会按照分布收敛于高斯分布,且对于任意类型的随机对象均成立。本申请实施例中T1~T10中的第一仿射变换矩阵参数(t11、t12、t21、t21、b1、b2)可以看作随机对象,服从多元高斯分布,其表示的第一仿射变换矩阵T1~T10也应该服从多元高斯分布。
假设本申请实施例中所述多元高斯分布包括均值向量μ和协方差矩阵Σ两类参数。均值向量μ可以利用公式2表示,协方差矩阵Σ可以利用公式3表示。
μ=(avg(t11),avg(t12),avg(t21),avg(t22),avg(b1),avg(b2)) 公式2
其中,avg表示求取平均值函数,比如avg(t11)表示求取T1~T10中t11的平均值,avg(t12)表示求取T1~T10中t12的平均值,其余的以此类推。
Figure BDA0002867868750000141
其中,cov表示求取协方差的函数,比如cov(t11,t12)表示求取T1~T10中t11和t12的协方差,其余的以此类推。
至此,本申请实施例已经获得10个第一仿射变换矩阵T1~T10,T1~T10对应的10组第一仿射变换矩阵参数(t11、t12、t21、t21、b1、b2),多元高斯分布的参数(均值向量μ和协方差矩阵Σ)。
步骤305:分别根据N组第一仿射变换矩阵参数、所述均值向量和所述协方差矩阵计算相应的N个所述多元高斯分布的概率密度。
由于第一仿射变换矩阵T1~T10服从多元高斯分布,其概率密度函数f可以用如下公式4表示:
Figure BDA0002867868750000142
其中,x表示第i个第一仿射变换矩阵参数(t11、t12、t21、t21、b1、b2),μ表示第i个第一仿射变换矩阵参数的均值向量,Σ表示第i个第一仿射变换矩阵参数的协方差矩阵,Ti表示第i个第一仿射变换矩阵,f(Ti)表示第一仿射变换矩阵Ti出现的概率,1≤i≤N,N=10。
从公式4可知,根据第i个第一仿射变换矩阵参数、第i个第一仿射变换矩阵参数的均值向量μ、第i个第一仿射变换矩阵参数的协方差矩阵Σ可以获得第i个第一仿射变换矩阵Ti的概率密度f(Ti)。
步骤306:从N个多元高斯分布的概率密度中选择最大的概率密度,将所述最大的概率密度对应的所述第一仿射变换矩阵作为所述第二仿射变换矩阵。
本步骤与方法实施例二中的步骤206相同。假设计算出的10个多元高斯分布的概率密度f(T1)~f(T10)中f(T5)最大,可以认为f(T5)作为将检测出人脸关键点通过T5转换为标准人脸关键点的可靠性最高,因此可以将T5作为第二仿射变换矩阵。
步骤307:利用选择出的所述第二仿射变换矩阵对所述待处理的人脸图像进行仿射变换计算,获得人脸对齐的人脸图像。
本步骤与方法实施例二中的步骤207相同。
图5是采用本方法实施例三对待处理人脸图像进行人脸对齐的效果。从图5可以看出,待处理人脸图像根据选择出的第二仿射变换矩阵,通过对图像的旋转、缩放和平移,将检测出的待处理人脸图像的5个人脸关键放置于设置的标准人脸关键点处,实现人脸对齐。
本申请方法实施例三利用MTCNN检测出待处理人脸图像的5个人脸关键点,按照
Figure BDA0002867868750000151
的方式组合为10个关键点组合,分别针对10个关键点组合与其对应的标准人脸关键点计算出各自的第一仿射变换矩阵T1~T10,再利用随机对象服从多元高斯分布的特点建立多元高斯分布模型,从中计算概率密度函数,并利用最大概率密度对应的仿射变换矩阵对待处理人脸图像进行仿射变换,实现人脸对齐。本申请实施例中,在人脸关键点存在遮挡的情况下,由于最大概率密度对应的第一仿射变换矩阵是最为可靠、准确性最高的仿射变换矩阵,可以增强人脸对齐的鲁棒性。另外,由于直接利用组合的方式分别计算多个第一仿射变换矩阵,样本数比较少,无需引入大量的训练样本,可以大大减少训练过程,提高人脸对齐的效率。
本申请还提出一种人脸对齐的装置。图6是本申请装置实施例一的内部结构示意图。如图6所示,该装置包括:关键点检测单元701、第一仿射变换确定单元702、第二仿射变换确定单元703、人脸对齐执行单元704。其中:
关键点检测单元701,利用人脸关键点定位模型从待处理的人脸图像中检测出人脸关键点。
第一仿射变换确定单元702,用于根据检测出的人脸关键点和事先确定的标准人脸关键点确定第一仿射变换矩阵,所述标准人脸关键点是事先设置的人脸对齐的标准位置。
第二仿射变换确定单元703,用于从计算出的第一仿射变换矩阵中选择出第二仿射变换矩阵,第二仿射变换矩阵是符合多元高斯分布的概率密度最大的第一仿射变换矩阵。
人脸对齐执行单元704,利用选择出的所述第二仿射变换矩阵对所述待处理的人脸图像进行仿射变换计算,获得人脸对齐的人脸图像。
也就是说,关键点检测单元701利用人脸关键点定位模型从待处理的人脸图像中检测出人脸关键点;第一仿射变换确定单元702根据检测出的人脸关键点和事先确定的标准人脸关键点确定第一仿射变换矩阵;第二仿射变换确定单元703从计算出的第一仿射变换矩阵中选择出第二仿射变换矩阵;人脸对齐执行单元704利用选择出的所述第二仿射变换矩阵对所述待处理的人脸图像进行仿射变换计算,获得人脸对齐的人脸图像。
应用本装置实施例一的方案,在人脸关键点存在遮挡等噪音情况下,由于选择出的第二仿射变换矩阵是多元高斯分布概率密度最大的,用该仿射变换矩阵对人脸图像进行仿射变换计算,可以增强人脸对齐的鲁棒性。
本申请还提出另一种人脸对齐的装置实施例。图7是本申请装置实施例二的内部结构示意图。如图7所示,该装置包括:关键点检测单元701、第一仿射变换确定单元702、第二仿射变换确定单元703、人脸对齐执行单元704,其功能与装置实施例一的相同。其中,第一仿射变换确定单元702包括N个关键点组合确定单元705和N个第一仿射变换矩阵获取单元706。第二仿射变换确定单元703包括多元高斯分布建立单元707、概率密度计算单元708、选择单元709。具体的:
关键点检测单元701,利用人脸关键点定位模型从待处理的人脸图像中检测出人脸关键点。在另一实施例中,关键点检测单元701利用MTCNN模型检测出左眼瞳孔、右眼瞳孔、鼻尖、左嘴角和右嘴角共5个人脸关键点。
第一仿射变换确定单元702,用于根据检测出的人脸关键点和事先确定的标准人脸关键点确定第一仿射变换矩阵,所述标准人脸关键点是事先设置的人脸对齐的标准位置。
在本实施例中,第一仿射变换确定单元702包括N个关键点组合确定单元705和N个第一仿射变换矩阵获取单元706,分别为:
N个关键点组合确定单元705,用于从所述检测出的人脸关键点中确定N个关键点组合,其中每一组关键点组合中包含的人脸关键点是用于确定所述第一仿射变换矩阵的人脸关键点。实际应用中,关键点检测单元701通常会检测出3个以上的人脸关键点,如果仍然取3个人脸关键点用于计算第一仿射变换矩阵,N个关键点组合确定单元705可以将检测出的多个人脸关键点构成N个关键点组合,每一组关键点组合中的人脸关键点就是用于后续计算第一仿射变换矩阵的人脸关键点。在另一实施例中,N个关键点组合确定单元705可以采用
Figure BDA0002867868750000171
的方式进行组合,即从5个人脸关键点中任意取3个的组合,获得不同的10个关键点组合,即N=10。
N个第一仿射变换矩阵获取单元706,用于根据所述每一组关键点组合中的人脸关键点和对应的标准人脸关键点计算第一仿射变换矩阵,获得N个所述第一仿射变换矩阵;其中每个所述第一仿射变换矩阵对应一组第一仿射变换矩阵参数,所述第一仿射变换矩阵参数包括旋转缩放参数和平移参数,所述旋转缩放参数表示对图像进行旋转和缩放处理的参数,所述平移参数表示对图像进行平移处理的参数。第一仿射变换矩阵是用于将待检测人脸图像从一个空间向量转换到另一个空间向量的变换关系,通常需要对图像进行旋转、缩放、平移等处理过程。因此,每个第一仿射变换矩阵都对应自身的第一仿射变换矩阵参数。其中,旋转缩放参数用于对图像进行旋转处理以及缩放处理,平移参数用于对图像进行平移处理。
上述N个关键点组合确定单元705和N个第一仿射变换矩阵获取单元706一并实现第一仿射变换确定单元702的功能。
第二仿射变换确定单元703,用于从计算出的第一仿射变换矩阵中选择出第二仿射变换矩阵,第二仿射变换矩阵是符合多元高斯分布的概率密度最大的第一仿射变换矩阵。
在本实施例中,第二仿射变换确定单元703包括多元高斯分布建立单元707、概率密度计算单元708、选择单元709,分别为:
多元高斯分布建立单元707,用于根据计算出的N个所述的第一仿射变换矩阵建立所述多元高斯分布,所述多元高斯分布的参数包括均值向量和协方差矩阵,所述均值向量为所述第一仿射变换矩阵参数的均值向量,所述协方差矩阵为所述第一仿射变换矩阵参数的协方差矩阵。在另一实施例中,第一仿射变换矩阵T如公式1所示,均值向量μ可以利用公式2表示,协方差矩阵Σ可以利用公式3表示。
概率密度计算单元708,用于分别根据N组第一仿射变换矩阵参数、所述均值向量和所述协方差矩阵计算相应的N个所述多元高斯分布的概率密度。在另一实施例中,概率密度函数f可以用公式4表示。
选择单元709,从N个所述多元高斯分布的概率密度中选择最大的概率密度,将所述最大的概率密度对应的所述第一仿射变换矩阵作为所述第二仿射变换矩阵。
上述多元高斯分布建立单元707、概率密度计算单元708和选择单元709一并实现第二仿射变换确定单元703。在统计学中,大量独立同分布的随机变量的均值在标准化之后会按照分布收敛于高斯分布,且对于任意类型的随机对象均成立。如果将第一仿射变换确定单元702计算得到的第一仿射变换矩阵作为随机对象,N个第一仿射变换矩阵也应该服从高斯分布。另外,由于本申请实施例中的第一仿射变换矩阵参数包括旋转缩放参数和平移参数等多种不同的参数,因此N个第一仿射变换矩阵应该服从多元高斯分布。本申请实施例的多元高斯分布建立单元707将第一仿射变换矩阵参数的均值向量作为多元高斯分布模型的均值向量,将第一仿射变换矩阵参数的协方差矩阵作为多元高斯分布模型的协方差矩阵,从而建立多元高斯分布模型。概率密度计算单元708表达出多元高斯分布的概率密度函数,由选择单元709将所述最大的概率密度对应的所述第一仿射变换矩阵作为所述第二仿射变换矩阵。最大的概率密度所对应的第一仿射变换矩阵应当理解为:在利用仿射变换矩阵将检测出的人脸关键点变换到对应的标准人脸关键点时,最大的概率密度所对应的第一仿射变换矩阵是其中最为可靠、准确性最高的仿射变换矩阵。
人脸对齐执行单元704,利用选择出的所述第二仿射变换矩阵对所述待处理的人脸图像进行仿射变换计算,获得人脸对齐的人脸图像。
也就是说,关键点检测单元701利用人脸关键点定位模型从待处理的人脸图像中检测出人脸关键点;N个关键点组合确定单元705从所述检测出的人脸关键点中确定N个关键点组合;N个第一仿射变换矩阵获取单元706计算第一仿射变换矩阵,获得N个所述第一仿射变换矩阵;多元高斯分布建立单元707根据计算出的N个所述的第一仿射变换矩阵建立所述多元高斯分布;概率密度计算单元708计算相应的N个所述多元高斯分布的概率密度;选择单元709选择最大的概率密度对应的第一仿射变换矩阵,将其作为第二仿射变换矩阵;人脸对齐执行单元704利用选择出的所述第二仿射变换矩阵对所述待处理的人脸图像进行仿射变换计算,获得人脸对齐的人脸图像。
由于本申请装置实施例利用检测出的人脸关键点和对应的标准人脸关键点计算出N个第一仿射变换矩阵,利用随机对象服从多元高斯分布的特点,为N个第一仿射变换矩阵建立多元高斯分布模型,并计算概率密度函数得到最大概率密度对应的第一仿射变换矩阵,用其对待处理人脸图像进行仿射变换,实现人脸对齐。在人脸关键点存在遮挡的情况下,由于最大概率密度对应的第一仿射变换矩阵是最为可靠、准确性最高的仿射变换矩阵,因此可以增强人脸对齐的鲁棒性。
本申请实施例还提供一种计算机可读介质,所述计算机可读存储介质存储指令,所述指令在由处理器执行时可执行如上所述人脸对齐的方法中的步骤。实际应用中,所述的计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的,也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或多个程序被执行时,可以实现上述各实施例描述人脸对齐的方法。根据本申请公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件,或者上述的任意合适的组合,但不用于限制本申请保护的范围。在本申请公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
如图8所示,本申请实施例还提供一种电子设备,其中可以集成本申请实施例实现方法的装置。如图8所示,其示出了本发明实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或一个以上处理核心的处理器801、一个或一个以上计算机可读存储介质的存储器802以及存储在存储器上并可在处理器上运行的计算机程序。在执行所述存储器802的程序时,可以实现人脸对齐的方法。
具体的,实际应用中,该电子设备还可以包括电源803、输入单元804、以及输出单元805等部件。本领域技术人员可以理解,图8中示出的电子设备的结构并不构成对该电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器801是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器802内的软件程序和/或模块,以及调用存储在存储器802内的数据,执行服务器的各种功能和处理数据,从而对该电子设备进行整体监控。
存储器802可用于存储软件程序以及模块,即上述计算机可读存储介质。处理器801通过运行存储在存储器802的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器802可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据服务器的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器802还可以包括存储器控制器,以提供处理器801对存储器802的访问。
该电子设备还包括给各个部件供电的电源803,可以通过电源管理系统与处理器801逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源803还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元804,该输入单元804可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该电子设备还可以包括输出单元805,该输出单元805可以用于显示由用户输入的信息或提供给用户的信息以及各种图像用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。
本申请附图中的流程图和框图,示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同附图中所标准的顺序发生。例如,两个连接地表示的方框实际上可以基本并行地执行,它们有时也可以按照相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或者流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本申请中。特别地,在不脱离本申请精神和教导的情况下,本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,所有这些组合和/或结合均落入本申请公开的范围。
本文中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思路,并不用于限制本申请。对于本领域的技术人员来说,可以依据本发明的思路、精神和原则,在具体实施方式及应用范围上进行改变,其所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (10)

1.一种人脸对齐的方法,其特征在于,该方法包括:
利用人脸关键点定位模型从待处理的人脸图像中检测出人脸关键点;
根据检测出的人脸关键点和事先确定的标准人脸关键点确定第一仿射变换矩阵,所述标准人脸关键点是事先设置的人脸对齐的标准位置;
从计算出的所述第一仿射变换矩阵中选择出第二仿射变换矩阵,所述第二仿射变换矩阵是符合多元高斯分布的概率密度最大的第一仿射变换矩阵;
利用选择出的所述第二仿射变换矩阵对所述待处理的人脸图像进行仿射变换计算,获得人脸对齐的人脸图像。
2.根据权利要求1所述的方法,其特征在于,所述根据检测出的人脸关键点和事先确定的标准人脸关键点确定第一仿射变换矩阵的步骤包括:
从所述检测出的人脸关键点中确定N个关键点组合,其中每一组关键点组合中包含的人脸关键点是用于确定所述第一仿射变换矩阵的人脸关键点;
根据所述每一组关键点组合中的人脸关键点和对应的标准人脸关键点计算第一仿射变换矩阵,获得N个所述第一仿射变换矩阵;其中每个所述第一仿射变换矩阵对应一组第一仿射变换矩阵参数,所述第一仿射变换矩阵参数包括旋转缩放参数和平移参数,所述旋转缩放参数表示对图像进行旋转和缩放处理的参数,所述平移参数表示对图像进行平移处理的参数。
3.根据权利要求2所述的方法,其特征在于,所述从计算出的所述第一仿射变换矩阵中选择出第二仿射变换矩阵的步骤包括:
根据计算出的N个所述的第一仿射变换矩阵建立所述多元高斯分布,所述多元高斯分布的参数包括均值向量和协方差矩阵,所述均值向量为所述第一仿射变换矩阵参数的均值向量,所述协方差矩阵为所述第一仿射变换矩阵参数的协方差矩阵;
分别根据N组第一仿射变换矩阵参数、所述均值向量和所述协方差矩阵计算相应的N个所述多元高斯分布的概率密度;
从N个所述多元高斯分布的概率密度中选择最大的概率密度,将所述最大的概率密度对应的所述第一仿射变换矩阵作为所述第二仿射变换矩阵。
4.根据权利要求2或3所述方法,其特征在于,
所述检测出的人脸关键点为:左眼瞳孔、右眼瞳孔、鼻尖、左嘴角和右嘴角共5个人脸关键点;
所述从检测出的人脸关键点中确定N个关键点组合的步骤包括:从所述5个人脸关键点中按照
Figure FDA0002867868740000021
的方式进行组合,获得10个关键点组合,所述N为10。
5.根据权利要求4所述的方法,其特征在于,
所述多元高斯分布的概率密度表示为:
Figure FDA0002867868740000022
所述x表示所述第一仿射变换矩阵参数,所述μ表示所述第一仿射变换矩阵参数的均值向量,所述Σ表示所述第一仿射变换矩阵参数的协方差矩阵,所述Ti表示第i个第一仿射变换矩阵,所述f(Ti)表示所述第一仿射变换矩阵Ti出现的概率,1≤i≤N。
6.一种人脸对齐的装置,其特征在于,该装置包括:关键点检测单元、第一仿射变换确定单元、第二仿射变换确定单元、人脸对齐执行单元;
所述关键点检测单元,利用人脸关键点定位模型从待处理的人脸图像中检测出人脸关键点;
所述第一仿射变换确定单元,用于根据检测出的人脸关键点和事先确定的标准人脸关键点确定第一仿射变换矩阵,所述标准人脸关键点是事先设置的人脸对齐的标准位置;
所述第二仿射变换确定单元,用于从计算出的所述第一仿射变换矩阵中选择出第二仿射变换矩阵,所述第二仿射变换矩阵是符合多元高斯分布的概率密度最大的第一仿射变换矩阵;
所述人脸对齐执行单元,利用选择出的所述第二仿射变换矩阵对所述待处理的人脸图像进行仿射变换计算,获得人脸对齐的人脸图像。
7.根据权利要求6所述的装置,其特征在于,所述第一仿射变换确定单元包括:N个关键点组合确定单元和N个第一仿射变换矩阵获取单元;
所述N个关键点组合确定单元,用于从所述检测出的人脸关键点中确定N个关键点组合,其中每一组关键点组合中包含的人脸关键点是用于确定所述第一仿射变换矩阵的人脸关键点;
所述N个第一仿射变换矩阵获取单元,用于根据所述每一组关键点组合中的人脸关键点和对应的标准人脸关键点计算第一仿射变换矩阵,获得N个所述第一仿射变换矩阵;其中每个所述第一仿射变换矩阵对应一组第一仿射变换矩阵参数,所述第一仿射变换矩阵参数包括旋转缩放参数和平移参数,所述旋转缩放参数表示对图像进行旋转和缩放处理的参数,所述平移参数表示对图像进行平移处理的参数。
8.根据权利要求7所述的装置,其特征在于,所述第二仿射变换确定单元包括:多元高斯分布建立单元、概率密度计算单元、选择单元;
所述多元高斯分布建立单元,用于根据计算出的N个所述的第一仿射变换矩阵建立所述多元高斯分布,所述多元高斯分布的参数包括均值向量和协方差矩阵,所述均值向量为所述第一仿射变换矩阵参数的均值向量,所述协方差矩阵为所述第一仿射变换矩阵参数的协方差矩阵;
所述概率密度计算单元,用于分别根据N组第一仿射变换矩阵参数、所述均值向量和所述协方差矩阵计算相应的N个所述多元高斯分布的概率密度;
所述选择单元,从N个所述多元高斯分布的概率密度中选择最大的概率密度,将所述最大的概率密度对应的所述第一仿射变换矩阵作为所述第二仿射变换矩阵。
9.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述指令被处理器执行时可实现权利要求1~5任一项所述的人脸对齐的方法的步骤。
10.一种电子设备,其特征在于,该电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1~5任一项所述的人脸对齐的方法。
CN202011596006.1A 2020-12-29 2020-12-29 一种人脸对齐的方法、装置、电子设备及存储介质 Active CN112613446B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011596006.1A CN112613446B (zh) 2020-12-29 2020-12-29 一种人脸对齐的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011596006.1A CN112613446B (zh) 2020-12-29 2020-12-29 一种人脸对齐的方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112613446A true CN112613446A (zh) 2021-04-06
CN112613446B CN112613446B (zh) 2023-03-31

Family

ID=75248890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011596006.1A Active CN112613446B (zh) 2020-12-29 2020-12-29 一种人脸对齐的方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112613446B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191255A (zh) * 2018-09-04 2019-01-11 中山大学 一种基于无监督特征点检测的商品对齐方法
CN109376618A (zh) * 2018-09-30 2019-02-22 北京旷视科技有限公司 图像处理方法、装置及电子设备
CN111080511A (zh) * 2019-11-18 2020-04-28 杭州时光坐标影视传媒股份有限公司 一种端到端的高分辨率多特征提取的人脸交换方法
CN111476709A (zh) * 2020-04-09 2020-07-31 广州华多网络科技有限公司 人脸图像处理方法、装置及电子设备
CN111563417A (zh) * 2020-04-13 2020-08-21 华南理工大学 一种基于金字塔结构卷积神经网络的人脸表情识别方法
CN111667518A (zh) * 2020-06-24 2020-09-15 北京百度网讯科技有限公司 人脸图像的显示方法、装置、电子设备及存储介质
CN112001302A (zh) * 2020-08-21 2020-11-27 无锡锡商银行股份有限公司 基于人脸感兴趣区域分割的人脸识别方法
CN112016454A (zh) * 2020-08-27 2020-12-01 云南翼飞视科技有限公司 一种人脸对齐的检测方法
CN112132044A (zh) * 2020-09-24 2020-12-25 天津锋物科技有限公司 一种基于人脸对齐及仿射变换的人脸贴纸产生方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191255A (zh) * 2018-09-04 2019-01-11 中山大学 一种基于无监督特征点检测的商品对齐方法
CN109376618A (zh) * 2018-09-30 2019-02-22 北京旷视科技有限公司 图像处理方法、装置及电子设备
CN111080511A (zh) * 2019-11-18 2020-04-28 杭州时光坐标影视传媒股份有限公司 一种端到端的高分辨率多特征提取的人脸交换方法
CN111476709A (zh) * 2020-04-09 2020-07-31 广州华多网络科技有限公司 人脸图像处理方法、装置及电子设备
CN111563417A (zh) * 2020-04-13 2020-08-21 华南理工大学 一种基于金字塔结构卷积神经网络的人脸表情识别方法
CN111667518A (zh) * 2020-06-24 2020-09-15 北京百度网讯科技有限公司 人脸图像的显示方法、装置、电子设备及存储介质
CN112001302A (zh) * 2020-08-21 2020-11-27 无锡锡商银行股份有限公司 基于人脸感兴趣区域分割的人脸识别方法
CN112016454A (zh) * 2020-08-27 2020-12-01 云南翼飞视科技有限公司 一种人脸对齐的检测方法
CN112132044A (zh) * 2020-09-24 2020-12-25 天津锋物科技有限公司 一种基于人脸对齐及仿射变换的人脸贴纸产生方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜立强等: "基于主动形状模型的人脸脸型自动分类算法", 《计算机应用》 *

Also Published As

Publication number Publication date
CN112613446B (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN109961780B (zh) 一种人机交互方法、装置、服务器和存储介质
US9639914B2 (en) Portrait deformation method and apparatus
US8593452B2 (en) Face feature vector construction
CN109086711B (zh) 人脸特征分析方法、装置、计算机设备和存储介质
JP7268071B2 (ja) バーチャルアバターの生成方法及び生成装置
CN110232373A (zh) 人脸聚类方法、装置、设备和存储介质
JP2011521355A (ja) 勾配ヒストグラムを用いた指紋表現
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
CN111476709A (zh) 人脸图像处理方法、装置及电子设备
CN110672323A (zh) 一种基于神经网络的轴承健康状态评估方法及装置
CN111382407A (zh) 用户验证方法和设备及说话者验证方法和设备
CN112381071A (zh) 一种视频流中目标的行为分析方法、终端设备及介质
CN111292262A (zh) 图像处理方法、装置、电子设备以及存储介质
CN111598087A (zh) 不规则文字的识别方法、装置、计算机设备及存储介质
CN110765843B (zh) 人脸验证方法、装置、计算机设备及存储介质
CN109635749B (zh) 基于视频流的图像处理方法及装置
WO2020199498A1 (zh) 指静脉比对方法、装置、计算机设备及存储介质
CN111444928A (zh) 关键点检测的方法、装置、电子设备及存储介质
CN112613446B (zh) 一种人脸对齐的方法、装置、电子设备及存储介质
KR20210018114A (ko) 교차 도메인 메트릭 학습 시스템 및 방법
CN117593493A (zh) 三维脸部拟合方法、装置、电子设备及存储介质
CN111639517A (zh) 人脸图像筛选方法及装置
CN110163049B (zh) 一种人脸属性预测方法、装置及存储介质
CN111461971B (zh) 图像处理方法、装置、设备及计算机可读存储介质
JP2020035290A (ja) 検出器生成装置、モニタリング装置、検出器生成方法及び検出器生成プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant