CN107463865B - 人脸检测模型训练方法、人脸检测方法及装置 - Google Patents

人脸检测模型训练方法、人脸检测方法及装置 Download PDF

Info

Publication number
CN107463865B
CN107463865B CN201610387636.5A CN201610387636A CN107463865B CN 107463865 B CN107463865 B CN 107463865B CN 201610387636 A CN201610387636 A CN 201610387636A CN 107463865 B CN107463865 B CN 107463865B
Authority
CN
China
Prior art keywords
face
key point
image
matrix
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610387636.5A
Other languages
English (en)
Other versions
CN107463865A (zh
Inventor
张默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Moshanghua Technology Co ltd
Original Assignee
Beijing Moshanghua Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Moshanghua Technology Co ltd filed Critical Beijing Moshanghua Technology Co ltd
Priority to CN201610387636.5A priority Critical patent/CN107463865B/zh
Publication of CN107463865A publication Critical patent/CN107463865A/zh
Application granted granted Critical
Publication of CN107463865B publication Critical patent/CN107463865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明实施例提供一种人脸检测模型训练方法、人脸检测方法及装置，该方法包括：确定每个样本人脸图像对应的各初始人脸关键点位置坐标；计算与每个样本人脸图像的各初始人脸关键点坐标位置分别对应的局部特征矩阵；对每个样本人脸图像对应的图像特征矩阵进行降维处理；根据每个样本人脸图像对应的降维后的图像特征矩阵，对待训练人脸关键点检测模型矩阵进行训练，得到满足预设目标函数的目标人脸关键点检测模型矩阵。由于各样本人脸图像的图像特征矩阵维数较低，使得矩阵运算量得到大大降低，一方面提高了人脸关键点检测模型矩阵的训练处理速度，另一方面也有利于提高人脸关键点检测处理速度。

Description

人脸检测模型训练方法、人脸检测方法及装置
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种人脸检测模型训练方法、人脸检测方法及装置。
背景技术
人脸关键点检测是计算机视觉的一个主要研究分支，主要指对眉毛、眼睛、鼻子、嘴和脸部轮廓等关键点进行检测，进而驱动表情识别、人脸识别和不同人脸的图像融合等基于人脸关键点检测结果的应用。
目前的人脸关键点检测方法主要是采用基于可变形模板的人脸关键点检测方法，即基于先验的关键点位置信息训练形状模型，以基于训练得到的形状模型检测待检测人脸图像中包含的人脸关键点的位置信息。其中，可变形模板可以是主动轮廓模型(ActiveContour Models，简称ACM)、主动形状模型(Active Shape Models，简称ASM)和主动外观模型(Active Appearance Models，简称AAM)。这些模型都是在寻求如下目标函数的最优解，使目标函数达到最小的权重W。
min||F-Ft||2
其中F＝WX,X是每张人脸图像的输入，即根据先验知识得到的各初始人脸关键点的特征矩阵，Ft是对应人脸图像的各真实关键点的坐标矩阵，其中，各真实关键点可以是人为标记在对应的人脸图像上的。其中，在获取上述各初始人脸关键点的特征矩阵的过程中，往往是针对每个初始人脸关键点，计算其较高维度的特征矩阵，进而在后续的矩阵运算过程中，矩阵乘法等矩阵运算的计算量将非常大，导致人脸关键点的检测处理速度较慢，当在诸如手机等计算能力相对较弱的终端设备中进行人脸关键点检测时，检测速度过慢尤为明显。
发明内容
本发明实施例提供一种人脸检测模型训练方法、人脸检测方法及装置，用以克服现有人脸检测处理速度过慢的问题。
本发明实施例提供一种人脸检测模型训练方法，包括：
确定每个样本人脸图像对应的各初始人脸关键点位置坐标；
计算与每个样本人脸图像的各初始人脸关键点坐标位置分别对应的局部特征矩阵；
对每个样本人脸图像对应的图像特征矩阵进行降维处理，其中，所述图像特征矩阵是根据对应样本人脸图像对应的各所述局部特征矩阵确定的；
根据每个样本人脸图像对应的降维后的图像特征矩阵，对待训练人脸关键点检测模型矩阵进行训练，得到满足预设目标函数的目标人脸关键点检测模型矩阵。
本发明实施例提供一种人脸关键点检测方法，包括：
确定待检测人脸图像对应的各初始人脸关键点位置坐标；
计算与所述各初始人脸关键点位置坐标分别对应的局部特征矩阵；
对所述待检测人脸图像对应的图像特征矩阵进行降维处理，其中，所述图像特征矩阵根据各所述局部特征矩阵确定；
将所述图像特征矩阵与预先训练获得的人脸关键点检测模型矩阵相乘，获得所述待检测人脸图像对应的人脸关键点检测结果，所述人脸关键点检测模型矩阵是根据如上训练方法获得的目标人脸关键点检测模型矩阵。
本发明实施例提供一种人脸检测模型训练装置，包括：
确定模块，用于确定每个样本人脸图像对应的各初始人脸关键点位置坐标；
计算模块，用于计算与每个样本人脸图像的各初始人脸关键点坐标位置分别对应的局部特征矩阵；
降维处理模块，用于对每个样本人脸图像对应的图像特征矩阵进行降维处理，其中，所述图像特征矩阵是根据对应样本人脸图像对应的各所述局部特征矩阵确定的；
训练模块，用于根据每个样本人脸图像对应的降维后的图像特征矩阵，对待训练人脸关键点检测模型矩阵进行训练，得到满足预设目标函数的目标人脸关键点检测模型矩阵。
本发明实施例提供一种人脸关键点检测装置，包括：
确定模块，用于确定待检测人脸图像对应的各初始人脸关键点位置坐标；
计算模块，用于计算与所述各初始人脸关键点位置坐标分别对应的局部特征矩阵；
降维处理模块，用于对所述待检测人脸图像对应的图像特征矩阵进行降维处理，其中，所述图像特征矩阵根据各所述局部特征矩阵确定；
检测处理模块，用于将所述图像特征矩阵与预先训练获得的人脸关键点检测模型矩阵相乘，获得所述待检测人脸图像对应的人脸关键点检测结果，所述人脸关键点检测模型矩阵是根据如上训练方法获得的目标人脸关键点检测模型矩阵。
本发明实施例提供的人脸检测模型训练方法、人脸检测方法及装置，在进行模型训练的过程中，首先确定每个样本人脸图像对应的各初始人脸关键点位置坐标，计算与每个样本人脸图像的各初始人脸关键点坐标位置分别对应的局部特征矩阵，进而针对每个样本人脸图像来说，对由各局部特征矩阵构成的图像特征矩阵进行降维处理，以降低图像特征矩阵的维数，在后续基于每个样本人脸图像的降维后的图像特征矩阵进行人脸关键点检测模型矩阵训练的过程中，由于各样本人脸图像的图像特征矩阵维数较低，使得矩阵运算量得到大大降低，从而，一方面提高了人脸关键点检测模型矩阵的训练处理速度，另一方面，在基于训练获得的人脸关键点检测模型矩阵进行人脸关键点检测时，也因为该较低维数的矩阵导致运算量大大降低，有利于提高人脸关键点检测处理速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明人脸检测模型训练方法实施例一的流程图；
图2为图1所示实施例一种步骤101的一种具体实现方式的流程图；
图3为本发明人脸检测方法实施例一的流程图；
图4为本发明人脸检测模型训练装置实施例一的结构示意图；
图5为本发明人脸检测装置实施例一的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
图1为本发明人脸检测模型训练方法实施例一的流程图，该实施例提供的人脸检测模型训练方法可以由人脸检测模型训练装置执行，该装置可以设置在诸如手机、平板电脑、PC机、笔记本电脑等终端设备中，也可以设置在一些提供人脸关键点检测功能的服务器端，该装置可以实现为软件程序，也可以是硬件与软件程序的结合。
如图1所示，该方法包括如下步骤：
步骤101、确定每个样本人脸图像对应的各初始人脸关键点位置坐标。
步骤102、计算与每个样本人脸图像的各初始人脸关键点坐标位置分别对应的局部特征矩阵。
步骤103、对每个样本人脸图像对应的图像特征矩阵进行降维处理，其中，图像特征矩阵是根据对应样本人脸图像对应的各局部特征矩阵确定的。
步骤104、根据每个样本人脸图像对应的降维后的图像特征矩阵，对待训练人脸关键点检测模型矩阵进行训练，得到满足预设目标函数的目标人脸关键点检测模型矩阵。
本实施例中，为保证训练获得的人脸关键点检测模型矩阵的可靠性，需要使用大量的样本人脸图像。这些样本人脸图像可以是JPG、PNG、TIF、BMP等各种格式的图像，可以通过网上下载的方式获得，也可以从终端设备中存储的照片中获取。
步骤101中确定每个样本人脸图像对应的各初始人脸关键点位置坐标，可以是随机或按照一定的规则标记在每个样本人脸图像上。其中，人脸关键点一般比如包括眼睛、鼻子、眉毛、嘴等人脸器官对应的关键点。由于初始人脸关键点位置的好坏对最终的训练结果有重要影响，因此。为了保证最终获得的人脸关键点检测模型矩阵的可靠性，可以参考如下图2所示方法确定每个样本人脸图像对应的各初始人脸关键点位置坐标。
图2为图1所示实施例一种步骤101的一种具体实现方式的流程图，如图2所示，包括如下步骤：
步骤201、分别对每个样本人脸图像进行人脸检测，获得每个样本人脸图像对应的人脸框标识。
假设共有1000张样本人脸图像，则分别对这1000张样本人脸图像进行人脸检测，以获得每个样本人脸图像对应的人脸框，其中，检测到的人脸框以人脸框标识来表示。
具体来说，针对任一样本人脸图像Sk来说，其对应的人脸框标识中包括人脸框参考点位置坐标(fb.x，fb.y)、人脸框宽度fb.width、人脸框高度fb.heigth这几个参数。其中，k为取自1至N的整数，N为样本人脸图像个数，对于上述举例，N＝1000。
实际应用中，每个样本人脸图像中除了包含人脸区域外，还可以包括诸如背景、身体部分以及其他物体的图像，因此，需要从每个样本人脸图像中检测出人脸所在区域，即人脸框，可以采用诸如Adboost方法进行人脸检测，以获得对应的人脸框。
实际应用中，假设每个样本人脸图像为一个矩形的图像，该矩阵的样本人脸图像的左上角像素的位置坐标定义为坐标原点(0,0)，人脸框也是一个矩形框，定义该人脸矩形框的左上角像素位置坐标为人脸框参考点位置坐标(fb.x，fb.y)，其中，人脸框参考点位置坐标(fb.x，fb.y)为其相对于坐标原点(0,0)来说的。人脸框宽度fb.width、人脸框高度fb.heigth则分别对应于人脸矩形框的宽度和长度。
步骤202、分别获取每个样本人脸图像中预先标记的各真实人脸关键点位置坐标，其中，各真实人脸关键点位置坐标是根据各预设位置属性分别对应标记在每个样本人脸图像中的。
在对人脸关键点检测模型矩阵进行训练的过程中，评价训练获得的人脸关键点检测模型矩阵性能好坏的一个度量指标即为其输出的实际检测结果与理论检测结果之间的匹配程度。因此，本实施例中，可以在进行人脸关键点检测模型矩阵训练前，对每个样本人脸图像进行各真实人脸关键点位置坐标标记，以作为上述理论检测结果。其中，对每个样本人脸图像中各真实人脸关键点位置坐标的标记可以是人工进行的。而且，值得说明的是，各真实人脸关键点位置坐标是根据各预设位置属性分别对应标记在每个样本人脸图像中的。
举例来说，假设预先设定为每个样本人脸图像标记70个真实人脸关键点位置坐标，这70个真实人脸关键点位置坐标分别对应于不同的位置属性。比如：针对每个眉毛，用8个关键点围绕眉毛的轮廓进行标记；用10个关键点标记人脸的脸颊轮廓等等。也就是说，针对任意两个样本人脸图像样本1和样本人脸图像2来说，这两个样本人脸图像中都含有70个真实人脸关键点位置坐标，而且这70个真实人脸关键点位置坐标在这两个样本人脸图像中具有对应相同的位置属性。
当人工针对每个样本人脸图像进行上述各真实人脸关键点位置坐标的标记之后，将各样本人脸图像输入到训练装置，训练装置提取获得每个样本人脸图像中包含的各真实人脸关键点位置坐标。该各真实人脸关键点位置坐标可以是相对于坐标原点来说的坐标位置。
实际应用中，上述步骤201和步骤202的执行顺序没有严格的时序限定。
步骤203、根据各真实人脸关键点位置坐标和各人脸框标识，获取分别与各预设位置属性对应的参考位置坐标。
本实施例中，为了提高各样本人脸图像中确定的各初始人脸关键点位置坐标的准确性，以便提高人脸关键点检测模型矩阵的训练效率，基于对各样本人脸图像的人脸框的检测结果，以及各样本人脸图像中标记的各真实人脸关键点位置坐标的计算处理，以得到与各真实人脸关键点位置坐标所对应的各预设位置属性对应的参考位置坐标，以根据各参考位置坐标进行初始人脸关键点位置坐标的确定。
具体来说，根据各样本人脸图像的各真实人脸关键点位置坐标和各样本人图像的人脸框标识，获取分别与各预设位置属性对应的参考位置坐标，可以通过如下方式实现：
首先，根据公式(1)和公式(2)对任一样本人脸图像Sk中预先标记的任一真实人脸关键点位置坐标
Figure BDA0001007598930000081
进行归一化处理，得到对应的归一化位置坐标
Figure BDA0001007598930000082
Figure BDA0001007598930000083
Figure BDA0001007598930000084
其中，i取自1至M中的整数，M为任一样本人脸图像Sk中预先标记的真实人脸关键点位置坐标的个数。
由于任一样本人脸图像中预先标记的各真实人脸关键点位置坐标是相对于样本人脸图像的坐标原点的位置坐标，本实施例中首先将每个真实人脸关键点位置坐标依据检测获得的对应人脸框标识进行归一化处理。
假设每个样本人脸图像中标记了70个真实人脸关键点位置坐标，则针对这70个真实人脸关键点位置坐标都分别进行归一化处理，得到70个归一化处理后的位置坐标。
假设一共有1000个样本人脸图像，每个样本人脸图像中的各真实人脸关键点位置坐标进行针对其对应的人脸框标识的如上归一化处理，则获得1000*70个归一化处理后的位置坐标。
进而，根据公式(3)和公式(4)获取与第i个预设位置属性对应的参考位置坐标(Pix-avg,Piy-avg)：
Figure BDA0001007598930000091
Figure BDA0001007598930000092
值得说明的是，由于每个样本人脸图像中都包含70个真实人脸关键点位置坐标，这70个真实人脸关键点位置坐标分别对应于不同的位置属性即具有70个位置属性，而且，各个样本人脸图像间具有相同的位置属性。实际应用中，可以对这70个位置属性预先定义一定的顺序，使得每个样本人脸图像中的第i个真实人脸关键点位置坐标都对应于相同的位置属性。
因此，针对1000张样本人脸图像来说，可以将1000个第i个真实人脸关键点位置坐标进行平均处理，得到这1000个第i个真实人脸关键点位置坐标的平均位置坐标，该平均位置坐标即为第i个预设位置属性对应的参考位置坐标(Pix-avg,Piy-avg)。
可以理解的是，在通过公式(1)和公式(2)对各个真实人脸关键点位置坐标进行归一化处理后，进行上述平均计算的位置坐标为归一化处理后的位置坐标，即1000个第i个归一化后的真实人脸关键点位置坐标进行求平均运算，得到第i个预设位置属性对应的参考位置坐标(Pix-avg,Piy-avg)。
从而，最终得到70个参考位置坐标(Pix-avg,Piy-avg)，即i的取值为1至70。
步骤204、根据各参考位置坐标分别确定每个样本人脸图像对应的各初始人脸关键点位置坐标。
具体来说，在计算获得70个参考位置坐标之后，可以针对每个样本人脸图像，进行如下的各初始人脸关键点位置坐标的确定处理：
根据公式(5)和公式(6)确定任一样本人脸图像Sk对应的第i个初始人脸关键点位置坐标(Pix-init,Piy-init)：
Pix-init＝(Pix-avg+0.5)*fb.width+fb.x (5)
Piy-init＝(Piy-avg+0.5)*fb.heigth+fb.y。 (6)
其中，上述人脸框参考点位置坐标(fb.x，fb.y)、人脸框宽度fb.width、人脸框高度fb.heigth，都是针对当前进行初始人脸关键点位置坐标的样本人脸图像来说的，每个样本人脸图像的这几个参数各不相同，但是所采用的参考位置坐标却是相同的。
通过上述处理过程，实现对每个样本人脸图像中各初始人脸关键点位置坐标的确定，而且每个样本人脸图像中包含的初始人脸关键点位置坐标的个数与其中包含的真实人脸关键点位置坐标的个数相等，比如都为70个。
之后，计算与每个样本人脸图像的各初始人脸关键点坐标位置分别对应的局部特征矩阵，其中，局部特征矩阵的维数可以根据实际需求而设定，比如为40维。在进行局部特征矩阵计算时，可以以每个初始人脸关键点坐标位置为中心，计算对应的局部特征矩阵。
实际应用中，进行局部特征矩阵时可以采用如下局部特征描述子中的至少一种：尺度不变特征转换(Scale-invariant feature transform，简称SIFT)特征、方向梯度直方图(Histogram of Oriented Gradient，简称HOG)特征、Gabor特征、局部二值模式(LocalBinary Pattern，简称LBP)特征。上述举例出的几种局部特征描述子仅为举例说明，实际应用中不限于这几种局部特征描述子。
针对一个样本人脸图像来说，假设其包括70个初始人脸关键点坐标位置，针对每个初始人脸关键点坐标位置计算获得的局部特征矩阵的维数为40维，则该样本人脸图像具有70*40维的图像特征矩阵。为了降低后续矩阵运算的计算量，比如可以采用主成分分析(Principal Component Analysis，简称PCA)方法对每个样本人脸图像对应的图像特征矩阵进行降维处理，比如采用PCA方法，将每个样本人脸图像的图像特征矩阵降到70*20维，即每个样本人脸图像可以用1400维特征表达。
继而，根据每个样本人脸图像对应的降维后的图像特征矩阵，对待训练人脸关键点检测模型矩阵进行训练，得到满足预设目标函数的目标人脸关键点检测模型矩阵。
可选的，本实施例采用的训练模型可以是如公式(7)所示：
XR＝b(7)
其中，X为输入特征矩阵，可以是任一样本人脸图像Sk对应的降维后的图像特征矩阵，此时针对上述举例来说，X为1400维；R为待训练人脸关键点检测模型矩阵，R被预先赋予有初始值，b为根据公式(7)计算获得的输出人脸关键点坐标位置矩阵。
对于上述公式(7)的求解，可以是在一定目标函数约束下求解满足最优解R。
其中，该目标函数比如可以是：min||b-bt||，其中，bt为与输入的特征矩阵对应的样本人脸图像的真实人脸关键点坐标位置矩阵。即在该目标函数的约束下求解公式(7)，得到满足该目标函数的R作为目标人脸关键点检测模型矩阵。
由于采用上述目标函数的情况下，得到的目标人脸关键点检测模型矩阵不是稀疏化的矩阵，在采用该目标人脸关键点检测模型矩阵进行后续的人脸关键点的检测处理时，虽然相比于现有技术来说，运算量得到降低，检测速度得到提高，但是还存在进一步提高的空间。
为此，本实施例中还提供了另一种目标函数：min||b-bt||+||R||，其中||R||为用于稀疏化R本身的L1范式。
实际应用中，可以将任一样本人脸图像Sk对应的降维后的图像特征矩阵X输入如下公式(7)中：
XR＝b (7)
继而，确定输出人脸关键点坐标位置矩阵b是否满足如下公式(8)所示的目标函数：
min||b-bt||2+||R|| (8)
若满足，则确定对应的待训练人脸关键点检测模型矩阵为目标人脸关键点检测模型矩阵；若不满足，则在公式(8)的约束下，求解获得目标人脸关键点检测模型矩阵。
可以理解上述计算过程为：由于R预先被赋予一定的初始值，对于第一个输入的样本人脸图像对应的输入特征矩阵来说，其与R相乘得到一个输出b，判定此输出b是否满足公式(8)，若不满足，则调整R，使其满足公式(8)。对于之后输入的另一个样本人脸图像对应的输入特征矩阵来说，若其与当前的R相乘的输出结果b满足公式(8)，则继续处理下一个输入特征矩阵，否则，调整R，使其满足公式(8)。如此反复执行，直到所有的样本人脸图像都处理完毕，得到最终的目标人脸关键点检测模型矩阵。
本实施例中，在进行模型训练的过程中，首先确定每个样本人脸图像对应的各初始人脸关键点位置坐标，计算与每个样本人脸图像的各初始人脸关键点坐标位置分别对应的局部特征矩阵，进而针对每个样本人脸图像来说，对由各局部特征矩阵构成的图像特征矩阵进行降维处理，以降低图像特征矩阵的维数，在后续基于每个样本人脸图像的降维后的图像特征矩阵进行人脸关键点检测模型矩阵训练的过程中，由于各样本人脸图像的图像特征矩阵维数较低，使得矩阵运算量得到大大降低，从而，一方面提高了人脸关键点检测模型矩阵的训练处理速度，另一方面，在基于训练获得的人脸关键点检测模型矩阵进行人脸关键点检测时，也因为该较低维数的矩阵导致运算量大大降低，有利于提高人脸关键点检测处理速度。
图3为本发明人脸检测方法实施例一的流程图，本实施例提供的人脸检测方法是用于检测待检测人脸图像中的人脸关键点的方法，其所采用的人脸关键点检测模型矩阵可以是基于图1所示实施例训练获得的目标人脸关键点检测模型矩阵，其执行主体可以是人脸检测装置，该装置可以设置在诸如智能手机、平板电脑等终端设备中。如图3所示，该方法包括如下步骤：
步骤301、确定待检测人脸图像对应的各初始人脸关键点位置坐标。
与图2所示确定每个样本人脸图像中的各初始人脸关键点位置坐标类似，本实施例中，确定待检测人脸图像对应的各初始人脸关键点位置坐标，可以通过如下过程实现：
对待检测人脸图像进行人脸检测，比如采用Adboost方法进行人脸检测，获得待检测人脸图像对应的人脸框标识。其中，待检测人脸图像J对应的人脸框标识中可以包括人脸框参考点位置坐标(fb(J).x，fb(J).y)、人脸框宽度fb(J).width、人脸框高度fb(J).heigth。
继而，根据人脸框标识和训练阶段获得的各参考位置坐标，确定待检测人脸图像对应的各初始人脸关键点位置坐标。具体来说，可以根据公式(9)和公式(10)确定待检测人脸图像对应的第i个初始人脸关键点位置坐标(Pix(J)-init,Piy(J)-init)：
Pix(J)-init＝(Pix-avg+0.5)*fb(J).width+fb(J).x (9)
Piy(J)-init＝(Piy-avg+0.5)*fb(J).heigth+fb(J).y (10)
其中，i取自1至M中的整数，M为待检测人脸图像中包含的初始人脸关键点位置坐标的个数，与每个样本人脸图像中包含的初始人脸关键点位置坐标的个数相等，也与参考位置坐标的个数相等，假设为70个，则根据上述公式(9)和公式(10)可以得到待检测人脸图像中的70个初始人脸关键点位置坐标。
步骤302、计算与各初始人脸关键点位置坐标分别对应的局部特征矩阵。
分别以每个初始人脸关键点位置坐标为中心，采用局部特征描述子计算每个初始人脸关键点位置坐标对应的预设维数(比如40维)的局部特征矩阵。其中，可以采用如下局部特征描述子中的至少一种：SIFT特征、HOG特征、Gabor特征、LBP特征。以上局部特征描述子仅为举例，不以此为限。
步骤303、对待检测人脸图像对应的图像特征矩阵进行降维处理，其中，图像特征矩阵根据各所述局部特征矩阵确定。
针对待检测人脸图像来说，假设其包括70个初始人脸关键点坐标位置，针对每个初始人脸关键点坐标位置计算获得的局部特征矩阵的维数为40维，则该待检测人脸图像具有70*40维的图像特征矩阵。为了降低后续矩阵运算的计算量，比如可以采用主成分分析(Principal Component Analysis，简称PCA)方法对该待检测人脸图像对应的图像特征矩阵进行降维处理，比如采用PCA方法，将该图像特征矩阵降到70*20维，即该待检测人脸图像可以用1400维特征表达。
步骤304、将图像特征矩阵与预先训练获得的人脸关键点检测模型矩阵相乘，获得待检测人脸图像对应的人脸关键点检测结果。
该人脸关键点检测模型矩阵即为图1所示实施例中训练得到的目标人脸关键点检测模型矩阵R，人脸关键点检测结果即为两个矩阵相乘得到的人脸关键点位置坐标矩阵，对应于上述举例，即为由70个人脸关键点位置坐标构成的矩阵。
本实施例中，在进行人脸关键点检测的过程中，首先确定待检测人脸图像对应的各初始人脸关键点位置坐标，计算与各初始人脸关键点坐标位置分别对应的局部特征矩阵，进而对由各局部特征矩阵构成的图像特征矩阵进行降维处理，以降低图像特征矩阵的维数，使得图像特征矩阵与人脸关键点检测模型矩阵的矩阵乘法运算量大大降低，提高了人脸关键点检测处理速度。
综上，在模型矩阵训练的目标函数中添加了L1范式，对训练得到的模型矩阵参数稀疏化，加快了矩阵乘法运算速度；根据实际需求进行预设特征维度的局部特征矩阵的计算，在保证特征丰富的同时，避免过多特征维数，简化矩阵运算；采用PCA对人脸图像的特征矩阵进行降维处理，大大降低了模型矩阵乘法运算量，提高了人脸关键点检测的检测速度。
图4为本发明人脸检测模型训练装置实施例一的结构示意图，如图4所示，该人脸检测模型训练装置包括：确定模块11、计算模块12、降维处理模块13、训练模块14。
确定模块11，用于确定每个样本人脸图像对应的各初始人脸关键点位置坐标。
计算模块12，用于计算与每个样本人脸图像的各初始人脸关键点坐标位置分别对应的局部特征矩阵。
降维处理模块13，用于对每个样本人脸图像对应的图像特征矩阵进行降维处理，其中，所述图像特征矩阵是根据对应样本人脸图像对应的各所述局部特征矩阵确定的。
训练模块14，用于根据每个样本人脸图像对应的降维后的图像特征矩阵，对待训练人脸关键点检测模型矩阵进行训练，得到满足预设目标函数的目标人脸关键点检测模型矩阵。
具体的，所述确定模块11包括：人脸检测子模块111、第一获取子模块112、第二获取子模块113、确定子模块114。
人脸检测子模块111，用于分别对每个样本人脸图像进行人脸检测，获得每个样本人脸图像对应的人脸框标识。
第一获取子模块112，用于分别获取每个样本人脸图像中预先标记的各真实人脸关键点位置坐标，其中，所述各真实人脸关键点位置坐标是根据各预设位置属性分别对应标记在每个样本人脸图像中的。
第二获取子模块113，用于根据所述各真实人脸关键点位置坐标和各所述人脸框标识，获取分别与所述各预设位置属性对应的参考位置坐标。
确定子模块114，用于根据各所述参考位置坐标分别确定每个样本人脸图像对应的各初始人脸关键点位置坐标。
其中，任一样本人脸图像Sk对应的人脸框标识中包括人脸框参考点位置坐标(fb.x，fb.y)、人脸框宽度fb.width、人脸框高度fb.heigth，k为取自1至N的整数，N为样本人脸图像个数。
所述第二获取子模块113包括：第一计算单元1131、第二计算单元1132。
第一计算单元1131，用于根据公式(1)和公式(2)对任一样本人脸图像Sk中预先标记的任一真实人脸关键点位置坐标
Figure BDA0001007598930000161
进行归一化处理，得到对应的归一化位置坐标
Figure BDA0001007598930000162
Figure BDA0001007598930000163
Figure BDA0001007598930000164
第二计算单元1132，用于根据公式(3)和公式(4)获取与第i个预设位置属性对应的参考位置坐标(Pix-avg,Piy-avg)：
Figure BDA0001007598930000165
Figure BDA0001007598930000166
其中，i取自1至M中的整数，M为任一样本人脸图像Sk中预先标记的真实人脸关键点位置坐标的个数。
具体的，所述确定子模块114用于：
根据公式(5)和公式(6)确定任一样本人脸图像Sk对应的第i个初始人脸关键点位置坐标(Pix-init,Piy-init)：
Pix-init＝(Pix-avg+0.5)*fb.width+fb.x (5)
Piy-init＝(Piy-avg+0.5)*fb.heigth+fb.y。 (6)
可选的，所述训练模块14具体用于：
将任一样本人脸图像Sk对应的降维后的图像特征矩阵X输入如下公式(7)中：
XR＝b (7)
其中，R为所述待训练人脸关键点检测模型矩阵，所述R被预先赋予有初始值，b为根据公式(7)计算获得的输出人脸关键点坐标位置矩阵；
确定所述输出人脸关键点坐标位置矩阵b是否满足如下公式(8)所示的目标函数：
min||b-bt||2+||R|| (8)
其中，bt为所述任一样本人脸图像Sk对应的真实人脸关键点坐标位置矩阵，由预先在所述任一样本人脸图像Sk中标记的各真实人脸关键点坐标位置组成；
若满足，则确定对应的待训练人脸关键点检测模型矩阵为所述目标人脸关键点检测模型矩阵；
若不满足，则在所述公式(8)的约束下，求解获得所述目标人脸关键点检测模型矩阵。
图4所示装置可以执行图1、图2所示实施例的方法，实现原理和技术效果参考图1、图2所示实施例，不再赘述。
图5为本发明人脸检测装置实施例一的结构示意图，如图5所示，所述人脸检测装置包括：确定模块21、计算模块22、降维处理模块23、检测处理模块24。
确定模块21，用于确定待检测人脸图像对应的各初始人脸关键点位置坐标。
计算模块22，用于计算与所述各初始人脸关键点位置坐标分别对应的局部特征矩阵。
降维处理模块23，用于对所述待检测人脸图像对应的图像特征矩阵进行降维处理，其中，所述图像特征矩阵根据各所述局部特征矩阵确定。
检测处理模块24，用于将所述图像特征矩阵与预先训练获得的人脸关键点检测模型矩阵相乘，获得所述待检测人脸图像对应的人脸关键点检测结果，所述人脸关键点检测模型矩阵是根据图1、图2所述方法实施例或者根据图4所示装置实施例获得的目标人脸关键点检测模型矩阵。
具体的，所述确定模块21包括：检测子模块211、确定子模块212。
检测子模块211，用于对所述待检测人脸图像进行人脸检测，获得所述待检测人脸图像对应的人脸框标识。
确定子模块212，用于根据所述人脸框标识和各所述参考位置坐标，确定所述待检测人脸图像对应的各初始人脸关键点位置坐标。
具体的，所述待检测人脸图像J对应的人脸框标识中包括人脸框参考点位置坐标(fb(J).x，fb(J).y)、人脸框宽度fb(J).width、人脸框高度fb(J).heigth；
所述确定子模块212具体用于：
根据公式(9)和公式(10)确定所述待检测人脸图像对应的第i个初始人脸关键点位置坐标(Pix(J)-init,Piy(J)-init)：
Pix(J)-init＝(Pix-avg+0.5)*fb(J).width+fb(J).x (9)
Piy(J)-init＝(Piy-avg+0.5)*fb(J).heigth+fb(J).y (10)
其中，i取自1至M中的整数，M为所述待检测人脸图像中包含的初始人脸关键点位置坐标的个数。
图5所示装置可以执行图3所示实施例的方法，实现原理和技术效果参考图3所示实施例，不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种人脸检测模型训练方法，其特征在于，包括：
确定每个样本人脸图像对应的各初始人脸关键点位置坐标；
计算与每个样本人脸图像的各初始人脸关键点坐标位置分别对应的局部特征矩阵；
对每个样本人脸图像对应的图像特征矩阵进行降维处理，其中，所述图像特征矩阵是根据对应样本人脸图像对应的各所述局部特征矩阵确定的；其中，采用主成分分析(PCA)方法对每个样本人脸图像对应的图像特征矩阵进行降维处理；
根据每个样本人脸图像对应的降维后的图像特征矩阵，对待训练人脸关键点检测模型矩阵进行训练，得到满足预设目标函数的目标人脸关键点检测模型矩阵；
其中，所述确定每个样本人脸图像对应的各初始人脸关键点位置坐标，包括：
分别对每个样本人脸图像进行人脸检测，获得每个样本人脸图像对应的人脸框标识；
分别获取每个样本人脸图像中预先标记的各真实人脸关键点位置坐标，其中，所述各真实人脸关键点位置坐标是根据各预设位置属性分别对应标记在每个样本人脸图像中的；
根据所述各真实人脸关键点位置坐标和各所述人脸框标识，获取分别与所述各预设位置属性对应的参考位置坐标；
根据各所述参考位置坐标分别确定每个样本人脸图像对应的各初始人脸关键点位置坐标；
其中，所述根据每个样本人脸图像对应的降维后的图像特征矩阵，对待训练人脸关键点检测模型矩阵进行训练，得到满足预设目标函数的目标人脸关键点检测模型矩阵，包括：
将任一样本人脸图像Sk对应的降维后的图像特征矩阵X输入如下公式(7)中：
XR＝b (7)
其中，R为所述待训练人脸关键点检测模型矩阵，所述R被预先赋予有初始值，b为根据公式(7)计算获得的输出人脸关键点坐标位置矩阵；
确定所述输出人脸关键点坐标位置矩阵b是否满足如下公式(8)所示的目标函数：
min||b-bt||2+||R|| (8)
其中，bt为所述任一样本人脸图像Sk对应的真实人脸关键点坐标位置矩阵，由预先在所述任一样本人脸图像Sk中标记的各真实人脸关键点坐标位置组成，||R||为用于稀疏化R本身的L1范式；
若满足，则确定对应的待训练人脸关键点检测模型矩阵为所述目标人脸关键点检测模型矩阵；
若不满足，则在所述公式(8)的约束下，求解获得所述目标人脸关键点检测模型矩阵；
由于R预先被赋予一定的初始值，对于第一个输入的样本人脸图像对应的输入特征矩阵来说，其与R相乘得到一个输出b，判定此输出b是否满足公式(8)，若不满足，则调整R，使其满足公式(8)；对于之后输入的另一个样本人脸图像对应的输入特征矩阵来说，若其与当前的R相乘的输出结果b满足公式(8)，则继续处理下一个输入特征矩阵，否则，调整R，使其满足公式(8)；如此反复执行，直到所有的样本人脸图像都处理完毕，得到最终的目标人脸关键点检测模型矩阵。
2.根据权利要求1所述的方法，其特征在于，任一样本人脸图像Sk对应的人脸框标识中包括人脸框参考点位置坐标(fb.x，fb.y)、人脸框宽度fb.width、人脸框高度fb.heigth，k为取自1至N的整数，N为样本人脸图像个数；
所述根据所述各真实人脸关键点位置坐标和各所述人脸框标识，获取分别与所述各预设位置属性对应的参考位置坐标，包括：
根据公式(1)和公式(2)对任一样本人脸图像Sk中预先标记的任一真实人脸关键点位置坐标
Figure FDA0002553590130000033
进行归一化处理，得到对应的归一化位置坐标
Figure FDA0002553590130000034
Figure FDA0002553590130000035
Figure FDA0002553590130000036
根据公式(3)和公式(4)获取与第i个预设位置属性对应的参考位置坐标(Pix-avg,Piy-avg)：
Figure FDA0002553590130000031
Figure FDA0002553590130000032
其中，i取自1至M中的整数，M为任一样本人脸图像Sk中预先标记的真实人脸关键点位置坐标的个数。
3.根据权利要求2所述的方法，其特征在于，所述根据各所述参考位置坐标分别确定每个样本人脸图像对应的各初始人脸关键点位置坐标，包括：
根据公式(5)和公式(6)确定任一样本人脸图像Sk对应的第i个初始人脸关键点位置坐标(Pix-init,Piy-init)：
Pix-init＝(Pix-avg+0.5)*fb.width+fb.x (5)
Piy-init＝(Piy-avg+0.5)*fb.heigth+fb.y (6)。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述计算与每个样本人脸图像的各初始人脸关键点坐标位置分别对应的局部特征矩阵，包括：
采用如下局部特征描述子中的至少一种，计算与每个样本人脸图像的各初始人脸关键点坐标位置分别对应的预设维数的局部特征矩阵：尺度不变特征转换SIFT特征、方向梯度直方图HOG特征、Gabor特征、局部二值模式LBP特征。
5.一种人脸检测方法，其特征在于，包括：
确定待检测人脸图像对应的各初始人脸关键点位置坐标；
计算与所述各初始人脸关键点位置坐标分别对应的局部特征矩阵；
对所述待检测人脸图像对应的图像特征矩阵进行降维处理，其中，所述图像特征矩阵根据各所述局部特征矩阵确定；
将所述图像特征矩阵与预先训练获得的人脸关键点检测模型矩阵相乘，获得所述待检测人脸图像对应的人脸关键点检测结果，所述人脸关键点检测模型矩阵是根据权利要求1至权利要求4中任一所述方法获得的目标人脸关键点检测模型矩阵。
6.根据权利要求5所述的方法，其特征在于，所述确定待检测人脸图像对应的各初始人脸关键点位置坐标，包括：
对所述待检测人脸图像进行人脸检测，获得所述待检测人脸图像对应的人脸框标识；
根据所述人脸框标识和各所述参考位置坐标，确定所述待检测人脸图像对应的各初始人脸关键点位置坐标。
7.根据权利要求6所述的方法，其特征在于，所述待检测人脸图像J对应的人脸框标识中包括人脸框参考点位置坐标(fb(J).x，fb(J).y)、人脸框宽度fb(J).width、人脸框高度fb(J).heigth；
所述根据所述人脸框标识和各所述参考位置坐标，确定所述待检测人脸图像对应的各初始人脸关键点位置坐标，包括：
根据公式(9)和公式(10)确定所述待检测人脸图像对应的第i个初始人脸关键点位置坐标(Pix(J)-init,Piy(J)-init)：
Pix(J)-init＝(Pix-avg+0.5)*fb(J).width+fb(J).x (9)
Piy(J)-init＝(Piy-avg+0.5)*fb(J).heigth+fb(J).y (10)
其中，i取自1至M中的整数，M为所述待检测人脸图像中包含的初始人脸关键点位置坐标的个数。
8.根据权利要求5至7中任一项所述的方法，其特征在于，所述计算与所述各初始人脸关键点位置坐标分别对应的局部特征矩阵，包括：
采用如下局部特征描述子中的至少一种，计算与所述各初始人脸关键点位置坐标分别对应的预设维数的局部特征矩阵：尺度不变特征转换SIFT特征、方向梯度直方图HOG特征、Gabor特征、局部二值模式LBP特征。
9.一种人脸检测模型训练装置，其特征在于，包括：
确定模块，用于确定每个样本人脸图像对应的各初始人脸关键点位置坐标；
计算模块，用于计算与每个样本人脸图像的各初始人脸关键点坐标位置分别对应的局部特征矩阵；
降维处理模块，用于对每个样本人脸图像对应的图像特征矩阵进行降维处理，其中，所述图像特征矩阵是根据对应样本人脸图像对应的各所述局部特征矩阵确定的；其中，采用主成分分析(PCA)方法对每个样本人脸图像对应的图像特征矩阵进行降维处理；
训练模块，用于根据每个样本人脸图像对应的降维后的图像特征矩阵，对待训练人脸关键点检测模型矩阵进行训练，得到满足预设目标函数的目标人脸关键点检测模型矩阵；
其中，所述确定模块包括：
人脸检测子模块，用于分别对每个样本人脸图像进行人脸检测，获得每个样本人脸图像对应的人脸框标识；
第一获取子模块，用于分别获取每个样本人脸图像中预先标记的各真实人脸关键点位置坐标，其中，所述各真实人脸关键点位置坐标是根据各预设位置属性分别对应标记在每个样本人脸图像中的；
第二获取子模块，用于根据所述各真实人脸关键点位置坐标和各所述人脸框标识，获取分别与所述各预设位置属性对应的参考位置坐标；
确定子模块，用于根据各所述参考位置坐标分别确定每个样本人脸图像对应的各初始人脸关键点位置坐标；
其中，所述训练模块具体用于：
将任一样本人脸图像Sk对应的降维后的图像特征矩阵X输入如下公式(7)中：
XR＝b (7)
其中，R为所述待训练人脸关键点检测模型矩阵，所述R被预先赋予有初始值，b为根据公式(7)计算获得的输出人脸关键点坐标位置矩阵；
确定所述输出人脸关键点坐标位置矩阵b是否满足如下公式(8)所示的目标函数：
min||b-bt||2+||R|| (8)
其中，bt为所述任一样本人脸图像Sk对应的真实人脸关键点坐标位置矩阵，由预先在所述任一样本人脸图像Sk中标记的各真实人脸关键点坐标位置组成，||R||为用于稀疏化R本身的L1范式；
若满足，则确定对应的待训练人脸关键点检测模型矩阵为所述目标人脸关键点检测模型矩阵；
若不满足，则在所述公式(8)的约束下，求解获得所述目标人脸关键点检测模型矩阵；
由于R预先被赋予一定的初始值，对于第一个输入的样本人脸图像对应的输入特征矩阵来说，其与R相乘得到一个输出b，判定此输出b是否满足公式(8)，若不满足，则调整R，使其满足公式(8)；对于之后输入的另一个样本人脸图像对应的输入特征矩阵来说，若其与当前的R相乘的输出结果b满足公式(8)，则继续处理下一个输入特征矩阵，否则，调整R，使其满足公式(8)；如此反复执行，直到所有的样本人脸图像都处理完毕，得到最终的目标人脸关键点检测模型矩阵。
10.根据权利要求9所述的装置，其特征在于，任一样本人脸图像Sk对应的人脸框标识中包括人脸框参考点位置坐标(fb.x，fb.y)、人脸框宽度fb.width、人脸框高度fb.heigth，k为取自1至N的整数，N为样本人脸图像个数；
所述第二获取子模块包括：
第一计算单元，用于根据公式(1)和公式(2)对任一样本人脸图像Sk中预先标记的任一真实人脸关键点位置坐标
Figure FDA0002553590130000073
进行归一化处理，得到对应的归一化位置坐标
Figure FDA0002553590130000074
Figure FDA0002553590130000075
Figure FDA0002553590130000076
第二计算单元，用于根据公式(3)和公式(4)获取与第i个预设位置属性对应的参考位置坐标(Pix-avg,Piy-avg)：
Figure FDA0002553590130000071
Figure FDA0002553590130000072
其中，i取自1至M中的整数，M为任一样本人脸图像Sk中预先标记的真实人脸关键点位置坐标的个数。
11.根据权利要求10所述的装置，其特征在于，所述确定子模块用于：
根据公式(5)和公式(6)确定任一样本人脸图像Sk对应的第i个初始人脸关键点位置坐标(Pix-init,Piy-init)：
Pix-init＝(Pix-avg+0.5)*fb.width+fb.x (5)
Piy-init＝(Piy-avg+0.5)*fb.heigth+fb.y (6)。
12.一种人脸检测装置，其特征在于，包括：
确定模块，用于确定待检测人脸图像对应的各初始人脸关键点位置坐标；
计算模块，用于计算与所述各初始人脸关键点位置坐标分别对应的局部特征矩阵；
降维处理模块，用于对所述待检测人脸图像对应的图像特征矩阵进行降维处理，其中，所述图像特征矩阵根据各所述局部特征矩阵确定；
检测处理模块，用于将所述图像特征矩阵与预先训练获得的人脸关键点检测模型矩阵相乘，获得所述待检测人脸图像对应的人脸关键点检测结果，所述人脸关键点检测模型矩阵是根据权利要求1至权利要求4中任一所述方法获得的目标人脸关键点检测模型矩阵。
13.根据权利要求12所述的装置，其特征在于，所述确定模块包括：
检测子模块，用于对所述待检测人脸图像进行人脸检测，获得所述待检测人脸图像对应的人脸框标识；
确定子模块，用于根据所述人脸框标识和各所述参考位置坐标，确定所述待检测人脸图像对应的各初始人脸关键点位置坐标。
14.根据权利要求13所述的装置，其特征在于，所述待检测人脸图像J对应的人脸框标识中包括人脸框参考点位置坐标(fb(J).x，fb(J).y)、人脸框宽度fb(J).width、人脸框高度fb(J).heigth；
所述确定子模块具体用于：
根据公式(9)和公式(10)确定所述待检测人脸图像对应的第i个初始人脸关键点位置坐标(Pix(J)-init,Piy(J)-init)：
Pix(J)-init＝(Pix-avg+0.5)*fb(J).width+fb(J).x (9)
Piy(J)-init＝(Piy-avg+0.5)*fb(J).heigth+fb(J).y (10)
其中，i取自1至M中的整数，M为所述待检测人脸图像中包含的初始人脸关键点位置坐标的个数。
CN201610387636.5A 2016-06-02 2016-06-02 人脸检测模型训练方法、人脸检测方法及装置 Active CN107463865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610387636.5A CN107463865B (zh) 2016-06-02 2016-06-02 人脸检测模型训练方法、人脸检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610387636.5A CN107463865B (zh) 2016-06-02 2016-06-02 人脸检测模型训练方法、人脸检测方法及装置

Publications (2)

Publication Number Publication Date
CN107463865A CN107463865A (zh) 2017-12-12
CN107463865B true CN107463865B (zh) 2020-11-13

Family

ID=60544841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610387636.5A Active CN107463865B (zh) 2016-06-02 2016-06-02 人脸检测模型训练方法、人脸检测方法及装置

Country Status (1)

Country Link
CN (1) CN107463865B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108228823A (zh) * 2017-12-29 2018-06-29 中国电子科技集团公司信息科学研究院 一种高维图像数据降维的二值编码方法及系统
CN109145737B (zh) * 2018-07-18 2022-04-15 新乡医学院 一种快速人脸识别方法、装置、电子设备及存储介质
CN109034095A (zh) * 2018-08-10 2018-12-18 杭州登虹科技有限公司 一种人脸对齐检测方法、装置和存储介质
CN109359575B (zh) * 2018-09-30 2022-05-10 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN109359206A (zh) * 2018-10-17 2019-02-19 郑称德 基于物联网校园管理的图像处理方法及系统
CN112861590A (zh) * 2019-11-28 2021-05-28 富士通株式会社 信息处理装置和方法以及图像识别设备
CN111597883B (zh) * 2020-04-03 2023-05-30 云知声智能科技股份有限公司 一种图像重采样方法及装置
CN111667403B (zh) * 2020-07-02 2023-04-18 北京爱笔科技有限公司 一种有遮挡的人脸图像的生成方法及装置
CN112528978B (zh) * 2021-02-10 2021-05-14 腾讯科技（深圳）有限公司 人脸关键点的检测方法、装置、电子设备及存储介质
CN113988991B (zh) * 2021-11-16 2022-07-08 张雨钊 基于云计算的数字化电子商务平台

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964064A (zh) * 2010-07-27 2011-02-02 上海摩比源软件技术有限公司 一种人脸比对方法
CN103824087A (zh) * 2012-11-16 2014-05-28 广州三星通信技术研究有限公司 人脸特征点的检测定位方法以及系统
CN104598936A (zh) * 2015-02-28 2015-05-06 北京畅景立达软件技术有限公司 人脸图像面部关键点的定位方法
CN105224935A (zh) * 2015-10-28 2016-01-06 南京信息工程大学 一种基于Android平台的实时人脸关键点定位方法
CN105320921A (zh) * 2014-07-31 2016-02-10 腾讯科技（深圳）有限公司 双眼定位方法及双眼定位装置
CN105404861A (zh) * 2015-11-13 2016-03-16 中国科学院重庆绿色智能技术研究院 人脸关键特征点检测模型的训练、检测方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
CN102637251B (zh) * 2012-03-20 2013-10-30 华中科技大学 基于参考特征的人脸识别方法
CN103208133B (zh) * 2013-04-02 2015-08-19 浙江大学 一种图像中人脸胖瘦的调整方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964064A (zh) * 2010-07-27 2011-02-02 上海摩比源软件技术有限公司 一种人脸比对方法
CN103824087A (zh) * 2012-11-16 2014-05-28 广州三星通信技术研究有限公司 人脸特征点的检测定位方法以及系统
CN105320921A (zh) * 2014-07-31 2016-02-10 腾讯科技（深圳）有限公司 双眼定位方法及双眼定位装置
CN104598936A (zh) * 2015-02-28 2015-05-06 北京畅景立达软件技术有限公司 人脸图像面部关键点的定位方法
CN105224935A (zh) * 2015-10-28 2016-01-06 南京信息工程大学 一种基于Android平台的实时人脸关键点定位方法
CN105404861A (zh) * 2015-11-13 2016-03-16 中国科学院重庆绿色智能技术研究院 人脸关键特征点检测模型的训练、检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于回归的人脸特征点估计算法研究;刘银;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130715;正文第13页第2段、第14页2.3.2节 *
基于稀疏级联回归的快速人脸配准方法及其在移动设备上的应用;邓健康 等;《计算机科学》;20151031;第42卷(第10期);第301-305、310页 *

Also Published As

Publication number Publication date
CN107463865A (zh) 2017-12-12

Similar Documents

Publication Publication Date Title
CN107463865B (zh) 人脸检测模型训练方法、人脸检测方法及装置
US11151363B2 (en) Expression recognition method, apparatus, electronic device, and storage medium
US11487995B2 (en) Method and apparatus for determining image quality
CN106897675B (zh) 双目视觉深度特征与表观特征相结合的人脸活体检测方法
CN107944020B (zh) 人脸图像查找方法及装置、计算机装置和存储介质
CN108701216B (zh) 一种人脸脸型识别方法、装置和智能终端
US10049262B2 (en) Method and system for extracting characteristic of three-dimensional face image
CN105335722B (zh) 一种基于深度图像信息的检测系统及方法
WO2019232866A1 (zh) 人眼模型训练方法、人眼识别方法、装置、设备及介质
CN109657554B (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN109389074B (zh) 一种基于人脸特征点提取的表情识别方法
CN111160269A (zh) 一种人脸关键点检测方法及装置
CN112232117A (zh) 一种人脸识别方法、装置及存储介质
CN108229330A (zh) 人脸融合识别方法及装置、电子设备和存储介质
CN108629336B (zh) 基于人脸特征点识别的颜值计算方法
CN109271930B (zh) 微表情识别方法、装置与存储介质
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
CN110909618A (zh) 一种宠物身份的识别方法及装置
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN111178195A (zh) 人脸表情识别方法、装置及计算机可读存储介质
CN110751069A (zh) 一种人脸活体检测方法及装置
CN111209867A (zh) 一种表情识别方法及装置
CN117197904A (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20171212

Assignee: Apple R&D (Beijing) Co., Ltd.

Assignor: BEIJING MOSHANGHUA TECHNOLOGY CO., LTD.

Contract record no.: 2019990000054

Denomination of invention: Face detection model training method and face detection method and device

License type: Exclusive License

Record date: 20190211

GR01 Patent grant
GR01 Patent grant