CN109034095A - 一种人脸对齐检测方法、装置和存储介质 - Google Patents
一种人脸对齐检测方法、装置和存储介质 Download PDFInfo
- Publication number
- CN109034095A CN109034095A CN201810910065.8A CN201810910065A CN109034095A CN 109034095 A CN109034095 A CN 109034095A CN 201810910065 A CN201810910065 A CN 201810910065A CN 109034095 A CN109034095 A CN 109034095A
- Authority
- CN
- China
- Prior art keywords
- face
- key point
- position coordinates
- model
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸对齐检测方法、装置和存储介质，用以提高人脸关键点检测的准确性。人脸对齐检测方法，包括：识别待检测图像中的人脸框；利用人脸关键点检测模型检测所述人脸框中的关键点，所述人脸关键点检测模型为利用标注了关键点位置坐标的人脸图像样本进行训练得到的；针对检测出的每一关键点，如果利用人脸关键点几何关系模型判断出该关键点偏离正确位置坐标，则利用所述人脸关键点几何模型调整该关键点的定位位置坐标，其中，所述人脸关键点几何关系模型为利用混合高斯模型进行建模得到的。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人脸对齐检测方法、装置和存储介质。
背景技术
人脸技术在安防监控和娱乐场景中都有广泛的应用，比如人脸识别、表情识别、戴眼镜、戴帽子、换脸、美颜等等。这些应用都对人脸关键点检测(即人脸对齐)有较高的要求，不仅需要快速定位关键点，更需要精确的定位。
摄像头在不同时刻采集到的人脸角度不一样，在人脸识别中，需要将人脸以一样的角度进行比对，因此需要利用关键点来调整人脸图像，使待识别的人脸与数据库中的人脸角度一致，从而能大幅提高人脸识别率；美颜娱乐领域对人脸关键点定位的精确性要求更高，需要更多的点，达到准确定位各个相应的人脸区域，使得娱乐美颜能得到顺利进行。
因此，如何提高人脸关键点检测的准确性成为现有技术中亟待解决的技术问题之一。
发明内容
本发明实施例提供一种人脸对齐检测方法、装置和存储介质，用以提高人脸关键点检测的准确性。
第一方面，提供一种人脸对齐检测方法，包括：
识别待检测图像中的人脸框；
利用人脸关键点检测模型检测所述人脸框中的关键点，所述人脸关键点检测模型为利用标注了关键点位置坐标的人脸图像样本进行训练得到的；
针对检测出的每一关键点，如果利用人脸关键点几何关系模型判断出该关键点偏离正确位置坐标，则利用所述人脸关键点几何模型调整该关键点的定位位置坐标，其中，所述人脸关键点几何关系模型为利用混合高斯模型进行建模得到的。
利用标注了关键点位置坐标的人脸图像样本按照以下流程训练得到所述人脸关键点检测模型：
识别所述人脸图像样本中的人脸框；
根据标注的人脸关键点的真实位置坐标和识别出的人脸框，确定人脸关键点的相对位置坐标；
根据人脸关键点的相对位置坐标，确定人脸平均形状；
利用人脸平均形状和人脸的真实位置坐标进行训练得到人脸关键点检测模型。
根据标注的人脸关键点的真实位置坐标和识别出的人脸框，按照以下公式确定人脸关键点的相对位置坐标：
其中：
(x′i,y′i)表示第i个关键点的相对位置坐标；
(xi,yi)表示第i个关键点的真实位置坐标；
(x0,y0)表示人脸框中左上角的位置坐标；
w表示所述人脸框的宽度；
h表示所述人脸框的高度。
根据人脸关键点的相对位置坐标，按照以下公式确定人脸平均形状：
其中：
表示人脸平均形状；
N表示人脸图像样本数量。
第二方面，提供一种人脸对齐检测装置，包括：
第一识别单元，用于识别待检测图像中的人脸框；
检测单元，用于利用人脸关键点检测模型检测所述人脸框中的关键点，所述人脸关键点检测模型为利用标注了关键点位置坐标的人脸图像样本进行训练得到的；
调整单元，用于针对检测出的每一关键点，如果利用人脸关键点几何关系模型判断出该关键点偏离正确位置坐标，则利用所述人脸关键点几何模型调整该关键点的定位位置坐标，其中，所述人脸关键点几何关系模型为利用混合高斯模型进行建模得到的。
可选地，所述人脸对齐检测装置，还包括：
第二识别单元，用于识别所述人脸图像样本中的人脸框；
第一确定单元，用于根据标注的人脸关键点的真实位置坐标和识别出的人脸框，确定人脸关键点的相对位置坐标；
第二确定单元，用于根据人脸关键点的相对位置坐标，确定人脸平均形状；
训练单元，用于利用人脸平均形状和人脸的真实位置坐标进行训练得到人脸关键点检测模型。
可选地，所述第一确定单元，用于按照以下公式确定人脸关键点的相对位置坐标：
其中：
(x′i,y′i)表示第i个关键点的相对位置坐标；
(xi,yi)表示第i个关键点的真实位置坐标；
(x0,y0)表示人脸框中左上角的位置坐标；
w表示所述人脸框的宽度；
h表示所述人脸框的高度。
可选地，所述第二确定单元，用于按照以下公式确定人脸平均形状：
其中：
表示人脸平均形状；
N表示人脸图像样本数量。
第三方面，提供一种计算装置，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行上述任一人脸对齐检测方法所述的步骤。
第四方面，提供一种计算机可读介质，其存储有可由计算装置执行的计算机程序，当所述程序在计算装置上运行时，使得所述计算装置执行上述任一人脸对齐检测方法所述的步骤。
本发明实施例提供的人脸对齐检测方法、装置和存储介质，在利用训练得到的人脸关键点检测模型检测出人脸框中的关键点之后，进一步利用人脸关键点几何关系模型对检测出的人脸关键点位置进行判断，如果判断出任一关键点偏离其正确位置，则利用人脸关键点几何关系模型对偏离的关键点位置坐标进行调整，从而提高了人脸关键点检测的准确性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例中，人脸68个关键点的位置示意图；
图2为本发明实施例中，人脸关键点检测模型训练的实施流程示意图；
图3为本发明实施例中，人脸对齐检测方法的实施流程示意图；
图4为本发明实施例中，人脸对齐检测装置的结构示意图；
图5为本发明实施例中，计算装置的结构示意图。
具体实施方式
为了提高人脸关键点检测的准确性，本发明的实施流程示意图实施例提供了一种人脸对齐检测方法、装置和存储介质。
以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
如图1所示，其为人脸68个关键点的位置示意图。本发明实施例中，为了提高人脸关键点检测的准确性，可以利用标注了关键点位置坐标的人脸图像样本进行训练得到人脸关键点检测模型。
需要说明的是，本发明实施例中以人脸关键点为68为例进行说明，具体实施时，可以根据需要设置关键点的数量，本发明实施例对此不进行限定，具体实施时，关键点数量越多，结果越精确。
具体实施时，可以收集大量的丰富的人脸图像样本，为了提高样本覆盖范围，本发明实施例中在选取图像样本时，可以包含不同种族、年龄、光照、表情、姿态等的变化图像。针对收集的人脸图像样本，标注出人脸68个关键点的位置坐标并保存。另外，以两眼角之间的距离为基础，计算相邻两个关键点之间的相对位置以及该两个关键点之间的法向量作为各关键点之间的几何关系并保存。
基于收集人脸图像样本进行训练得到人脸关键点检测模型。如图2所示，其为本发明实施例中，利用标注了关键点位置坐标的人脸图像样本训练得到所述人脸关键点检测模型的实施流程示意图，可以包括以下步骤：
S21、识别人脸图像样本中的人脸框。
具体实施时，可以利用人脸检测算法检测出人脸图像样本中人脸的位置及大小，即人脸框，其中，人脸框该可以以矩形框表示。
S22、根据标注的人脸关键点的真实位置坐标和识别出的人脸框，确定人脸关键点的相对位置坐标。
本步骤中，以人脸框左上角坐标为(x0,y0)，人脸框的宽度为w，人脸框的高度为h，第i个关键点的真实位置坐标为(xi,yi)为例，其中，1≤i≤68,为例便于描述，记人脸关键点位置坐标分别为：(x1,y1)，(x2,y2)，...，(x68,y68)，本发明实施例中，可以按照以下公式确定人脸关键点的相对位置坐标：
其中：(x′i,y′i)表示第i个关键点的相对位置坐标。
S23、根据人脸关键点的相对位置坐标，确定人脸平均形状。
具体实施时，本步骤中，可以按照以下公式确定人脸平均形状：
其中：
表示人脸平均形状；
N表示人脸图像样本数量。
S24、利用人脸平均形状和人脸的真实位置坐标进行训练得到人脸关键点检测模型。
具体地，利用人脸平均形状和各人脸关键点的真实位置可以按照以下流程进行训练：
设第i张图片为Ii，对应的人脸的真实形状为Si，初始形状为平均形状S0。设共训练T次，第t次的局部特征映射函数为Φt，全局线性回归系数为ωt，训练过程如下：
步骤一、计算
步骤二、学习局部特征映射函数：
其中，l＝1,2,3……68，将得到的级联得到Φt。
步骤三、学习全局线性回归参数：
步骤四、更新所有样本的形状：
重复上述步骤，直至达到设定的训练次数T，或者关键点真实位置和训练过程得到的关键点位置之间的差异小于等于阈值(e≤et)时，结束训练得到人脸对齐检测模型。
为了进一步提高人脸关键点检测的准确性，本发明实施例中，还利用存储的关键点几何关系对人脸关键点几何关系模型进行训练。具体地，本发明实施例中，采用混合高斯建模方法对人脸关键点几何关系进行建模。
设有随机变量X，则混合高斯模型表示如下：
其中N(x|μk,Σk)表示混合模型中的第k个分量。πk是混合系数，满足：
训练混合高斯模型，就是估计模型的参数。本发明实施例中，采用EM算法(Expectation-Maximization algorithm)。定义分量数目k,设定每个分量πk,μk和Σk的初始值，EM算法分两步进行(E step和M step)：
步骤1、每个数据xi由第k个分量生成的概率为：
步骤2、估计每个分量的参数：
重复上述两个步骤，直至收敛。
通过上述方法利用人脸关键点几何关系进行训练得到人脸关键点几何关系模型。
基于上述训练得到的人脸关键点几何关系模型和人脸关键点检测模型，本发明实施例提供了一种人脸对齐检测方法，对于一张输入图像，首先需要用人脸检测方法检测出其中的人脸框；在得到人脸框后，利用人脸关键点检测模型进行关键点检测，检测过程中，利用人脸关键点几何关系模型，检查关键点定位是否偏离正确位置。若有点位置偏离太多，则根据人脸关键点几何关系模型进行调整，使其恢复到正确的位置上；若点都在朝着正确位置拟合，则无需调整，直到所有的关键点都精确定位。具体地，如图3所示，可以包括以下步骤：
S31、识别待检测图像中的人脸框。
具体实施时，本步骤中，可以利用人脸检测算法检测出图片中人脸的位置以及大小得到人脸框。
S32、利用人脸关键点检测模型检测所述人脸框中的关键点。
S33、针对检测出的每一关键点，如果利用人脸关键点几何关系模型判断出该关键点偏离正确位置坐标，则利用所述人脸关键点几何模型调整该关键点的定位位置坐标。
具体实施时，针对每一关键点，检查该关键点是否偏离正确的拟合趋势。具体地，利用人脸关键点几何关系模型检测各关键点的几何关系，如果都在合理的范围内，则说明各关键点朝着正确位置拟合，例如，根据该关键点与相邻关键点之间的几何关系，与混合高斯模型中的均值作比较，如果差值在2倍的方差之间，则可以确定在模型范围内，否则就超出了模型范围，如果点的位置超出了混合高斯模型范围，则需要根据上一步的位置以及混合高斯模型来调整这一次的拟合位置。
本发明实施例提供的人脸对齐检测方法，在利用训练得到的人脸关键点检测模型检测出人脸框中的关键点之后，进一步利用人脸关键点几何关系模型对检测出的人脸关键点位置进行判断，如果判断出任一关键点偏离其正确位置，则利用人脸关键点几何关系模型对偏离的关键点位置坐标进行调整，从而提高了人脸关键点检测的准确性。
基于同一发明构思，本发明实施例中还提供了一种人脸对齐检测装置，由于上述装置解决问题的原理与人脸对齐检测方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。
如图4所示，其为本发明实施例提供的人脸对齐检测装置的结构示意图，包括：
第一识别单元41，用于识别待检测图像中的人脸框；
检测单元42，用于利用人脸关键点检测模型检测所述人脸框中的关键点，所述人脸关键点检测模型为利用标注了关键点位置坐标的人脸图像样本进行训练得到的；
调整单元43，用于针对检测出的每一关键点，如果利用人脸关键点几何关系模型判断出该关键点偏离正确位置坐标，则利用所述人脸关键点几何模型调整该关键点的定位位置坐标，其中，所述人脸关键点几何关系模型为利用混合高斯模型进行建模得到的。
可选地，所述人脸对齐检测装置，还包括：
第二识别单元，用于识别所述人脸图像样本中的人脸框；
第一确定单元，用于根据标注的人脸关键点的真实位置坐标和识别出的人脸框，确定人脸关键点的相对位置坐标；
第二确定单元，用于根据人脸关键点的相对位置坐标，确定人脸平均形状；
训练单元，用于利用人脸平均形状和人脸的真实位置坐标进行训练得到人脸关键点检测模型。
可选地，所述第一确定单元，用于按照以下公式确定人脸关键点的相对位置坐标：
其中：
(x′i,y′i)表示第i个关键点的相对位置坐标；
(xi,yi)表示第i个关键点的真实位置坐标；
(x0,y0)表示人脸框中左上角的位置坐标；
w表示所述人脸框的宽度；
h表示所述人脸框的高度。
可选地，所述第二确定单元，用于按照以下公式确定人脸平均形状：
其中：
表示人脸平均形状；
N表示人脸图像样本数量。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
在介绍了本发明示例性实施方式的人脸对齐检测方法和装置之后，接下来，介绍根据本发明的另一示例性实施方式的计算装置。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，根据本发明的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行本说明书上述描述的根据本发明各种示例性实施方式的人脸对齐检测方法中的步骤。例如，所述处理器可以执行如图3中所示的步骤S31、识别待检测图像中的人脸框，和步骤S32、利用人脸关键点检测模型检测所述人脸框中的关键点；以及步骤S33、针对检测出的每一关键点，如果利用人脸关键点几何关系模型判断出该关键点偏离正确位置坐标，则利用所述人脸关键点几何模型调整该关键点的定位位置坐标。
下面参照图5来描述根据本发明的这种实施方式的计算装置50。图5显示的计算装置50仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算装置50以通用计算设备的形式表现。计算装置50的组件可以包括但不限于：上述至少一个处理器51、上述至少一个存储器52、连接不同系统组件(包括存储器52和处理器51)的总线53。
总线53表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器52可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)521和/或高速缓存存储器522，还可以进一步包括只读存储器(ROM)523。
存储器52还可以包括具有一组(至少一个)程序模块524的程序/实用工具525，这样的程序模块524包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算装置50也可以与一个或多个外部设备54(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置50交互的设备通信，和/或与使得该计算装置50能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口55进行。并且，计算装置50还可以通过网络适配器56与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器56通过总线53与用于计算装置50的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置50使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本发明提供的人脸对齐检测方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的人脸对齐检测方法中的步骤，例如，所述计算机设备可以执行如图3中所示的步骤S31、识别待检测图像中的人脸框，和步骤S32、利用人脸关键点检测模型检测所述人脸框中的关键点；以及步骤S33、针对检测出的每一关键点，如果利用人脸关键点几何关系模型判断出该关键点偏离正确位置坐标，则利用所述人脸关键点几何模型调整该关键点的定位位置坐标。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本发明的实施方式的用于人脸对齐检测的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种人脸对齐检测方法，其特征在于，包括：
识别待检测图像中的人脸框；
利用人脸关键点检测模型检测所述人脸框中的关键点，所述人脸关键点检测模型为利用标注了关键点位置坐标的人脸图像样本进行训练得到的；
针对检测出的每一关键点，如果利用人脸关键点几何关系模型判断出该关键点偏离正确位置坐标，则利用所述人脸关键点几何模型调整该关键点的定位位置坐标，其中，所述人脸关键点几何关系模型为利用混合高斯模型进行建模得到的。
2.如权利要求1所述的方法，其特征在于，利用标注了关键点位置坐标的人脸图像样本按照以下流程训练得到所述人脸关键点检测模型：
识别所述人脸图像样本中的人脸框；
根据标注的人脸关键点的真实位置坐标和识别出的人脸框，确定人脸关键点的相对位置坐标；
根据人脸关键点的相对位置坐标，确定人脸平均形状；
利用人脸平均形状和人脸的真实位置坐标进行训练得到人脸关键点检测模型。
3.如权利要求2所述的方法，其特征在于，根据标注的人脸关键点的真实位置坐标和识别出的人脸框，按照以下公式确定人脸关键点的相对位置坐标：
其中：
(x′i,y′i)表示第i个关键点的相对位置坐标；
(xi,yi)表示第i个关键点的真实位置坐标；
(x0,y0)表示人脸框中左上角的位置坐标；
w表示所述人脸框的宽度；
h表示所述人脸框的高度。
4.如权利要求3所述的方法，其特征在于，根据人脸关键点的相对位置坐标，按照以下公式确定人脸平均形状：
其中：
表示人脸平均形状；
N表示人脸图像样本数量。
5.一种人脸对齐检测装置，其特征在于，包括：
第一识别单元，用于识别待检测图像中的人脸框；
检测单元，用于利用人脸关键点检测模型检测所述人脸框中的关键点，所述人脸关键点检测模型为利用标注了关键点位置坐标的人脸图像样本进行训练得到的；
调整单元，用于针对检测出的每一关键点，如果利用人脸关键点几何关系模型判断出该关键点偏离正确位置坐标，则利用所述人脸关键点几何模型调整该关键点的定位位置坐标，其中，所述人脸关键点几何关系模型为利用混合高斯模型进行建模得到的。
6.如权利要求5所述的装置，其特征在于，还包括：
第二识别单元，用于识别所述人脸图像样本中的人脸框；
第一确定单元，用于根据标注的人脸关键点的真实位置坐标和识别出的人脸框，确定人脸关键点的相对位置坐标；
第二确定单元，用于根据人脸关键点的相对位置坐标，确定人脸平均形状；
训练单元，用于利用人脸平均形状和人脸的真实位置坐标进行训练得到人脸关键点检测模型。
7.如权利要求6所述的装置，其特征在于，
所述第一确定单元，用于按照以下公式确定人脸关键点的相对位置坐标：
其中：
(x′i,y′i)表示第i个关键点的相对位置坐标；
(xi,yi)表示第i个关键点的真实位置坐标；
(x0,y0)表示人脸框中左上角的位置坐标；
w表示所述人脸框的宽度；
h表示所述人脸框的高度。
8.如权利要求7所述的装置，其特征在于，
所述第二确定单元，用于按照以下公式确定人脸平均形状：
其中：
表示人脸平均形状；
N表示人脸图像样本数量。
9.一种计算装置，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行权利要求1～4任一权利要求所述方法的步骤。
10.一种计算机可读介质，其特征在于，其存储有可由计算装置执行的计算机程序，当所述程序在计算装置上运行时，使得所述计算装置执行权利要求1～4任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810910065.8A CN109034095A (zh) | 2018-08-10 | 2018-08-10 | 一种人脸对齐检测方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810910065.8A CN109034095A (zh) | 2018-08-10 | 2018-08-10 | 一种人脸对齐检测方法、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109034095A true CN109034095A (zh) | 2018-12-18 |
Family
ID=64632770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810910065.8A Pending CN109034095A (zh) | 2018-08-10 | 2018-08-10 | 一种人脸对齐检测方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109034095A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858363A (zh) * | 2018-12-28 | 2019-06-07 | 北京旷视科技有限公司 | 一种狗鼻纹特征点的检测方法、装置、系统及存储介质 |
| CN110059637A (zh) * | 2019-04-22 | 2019-07-26 | 上海云从企业发展有限公司 | 一种人脸对齐的检测方法及装置 |
| CN110210526A (zh) * | 2019-05-14 | 2019-09-06 | 广州虎牙信息科技有限公司 | 预测被测对象的关键点的方法、装置、设备及存储介质 |
| CN111368792A (zh) * | 2020-03-18 | 2020-07-03 | 北京奇艺世纪科技有限公司 | 特征点标注模型训练方法、装置、电子设备及存储介质 |
| CN111488774A (zh) * | 2019-01-29 | 2020-08-04 | 北京搜狗科技发展有限公司 | 一种图像处理方法、装置和用于图像处理的装置 |
| CN111652918A (zh) * | 2020-06-04 | 2020-09-11 | 深圳地平线机器人科技有限公司 | 确定3d脸部模型的方法、装置、介质以及电子设备 |
| CN111738080A (zh) * | 2020-05-19 | 2020-10-02 | 云知声智能科技股份有限公司 | 一种人脸检测和对齐的方法及装置 |
| CN111854963A (zh) * | 2020-06-11 | 2020-10-30 | 浙江大华技术股份有限公司 | 温度检测的方法、装置、设备和计算机设备 |
| CN112560705A (zh) * | 2020-12-17 | 2021-03-26 | 北京捷通华声科技股份有限公司 | 人脸检测方法和装置，电子设备 |
| CN113011356A (zh) * | 2021-03-26 | 2021-06-22 | 杭州朗和科技有限公司 | 人脸特征检测方法、装置、介质及电子设备 |
| CN113723214A (zh) * | 2021-08-06 | 2021-11-30 | 武汉光庭信息技术股份有限公司 | 一种人脸关键点标注方法、系统、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598936A (zh) * | 2015-02-28 | 2015-05-06 | 北京畅景立达软件技术有限公司 | 人脸图像面部关键点的定位方法 |
| CN105354531A (zh) * | 2015-09-22 | 2016-02-24 | 成都通甲优博科技有限责任公司 | 一种面部关键点的标注方法 |
| CN107463865A (zh) * | 2016-06-02 | 2017-12-12 | 北京陌上花科技有限公司 | 人脸检测模型训练方法、人脸检测方法及装置 |
-
2018
- 2018-08-10 CN CN201810910065.8A patent/CN109034095A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598936A (zh) * | 2015-02-28 | 2015-05-06 | 北京畅景立达软件技术有限公司 | 人脸图像面部关键点的定位方法 |
| CN105354531A (zh) * | 2015-09-22 | 2016-02-24 | 成都通甲优博科技有限责任公司 | 一种面部关键点的标注方法 |
| CN107463865A (zh) * | 2016-06-02 | 2017-12-12 | 北京陌上花科技有限公司 | 人脸检测模型训练方法、人脸检测方法及装置 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858363A (zh) * | 2018-12-28 | 2019-06-07 | 北京旷视科技有限公司 | 一种狗鼻纹特征点的检测方法、装置、系统及存储介质 |
| CN111488774A (zh) * | 2019-01-29 | 2020-08-04 | 北京搜狗科技发展有限公司 | 一种图像处理方法、装置和用于图像处理的装置 |
| CN110059637B (zh) * | 2019-04-22 | 2021-03-30 | 上海云从企业发展有限公司 | 一种人脸对齐的检测方法及装置 |
| CN110059637A (zh) * | 2019-04-22 | 2019-07-26 | 上海云从企业发展有限公司 | 一种人脸对齐的检测方法及装置 |
| CN110210526A (zh) * | 2019-05-14 | 2019-09-06 | 广州虎牙信息科技有限公司 | 预测被测对象的关键点的方法、装置、设备及存储介质 |
| CN111368792A (zh) * | 2020-03-18 | 2020-07-03 | 北京奇艺世纪科技有限公司 | 特征点标注模型训练方法、装置、电子设备及存储介质 |
| CN111368792B (zh) * | 2020-03-18 | 2024-05-14 | 北京奇艺世纪科技有限公司 | 特征点标注模型训练方法、装置、电子设备及存储介质 |
| CN111738080A (zh) * | 2020-05-19 | 2020-10-02 | 云知声智能科技股份有限公司 | 一种人脸检测和对齐的方法及装置 |
| CN111652918A (zh) * | 2020-06-04 | 2020-09-11 | 深圳地平线机器人科技有限公司 | 确定3d脸部模型的方法、装置、介质以及电子设备 |
| CN111652918B (zh) * | 2020-06-04 | 2023-08-18 | 深圳地平线机器人科技有限公司 | 确定3d脸部模型的方法、装置、介质以及电子设备 |
| CN111854963A (zh) * | 2020-06-11 | 2020-10-30 | 浙江大华技术股份有限公司 | 温度检测的方法、装置、设备和计算机设备 |
| CN112560705A (zh) * | 2020-12-17 | 2021-03-26 | 北京捷通华声科技股份有限公司 | 人脸检测方法和装置，电子设备 |
| CN113011356A (zh) * | 2021-03-26 | 2021-06-22 | 杭州朗和科技有限公司 | 人脸特征检测方法、装置、介质及电子设备 |
| CN113723214A (zh) * | 2021-08-06 | 2021-11-30 | 武汉光庭信息技术股份有限公司 | 一种人脸关键点标注方法、系统、电子设备及存储介质 |
| CN113723214B (zh) * | 2021-08-06 | 2023-10-13 | 武汉光庭信息技术股份有限公司 | 一种人脸关键点标注方法、系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109034095A (zh) | 一种人脸对齐检测方法、装置和存储介质 | |
| CN109657631B (zh) | 人体姿态识别方法及装置 | |
| US20200192464A1 (en) | Gesture recognition using multi-sensory data | |
| CN111832468B (zh) | 基于生物识别的手势识别方法、装置、计算机设备及介质 | |
| WO2018028546A1 (zh) | 一种关键点的定位方法及终端、计算机存储介质 | |
| CN108227912B (zh) | 设备控制方法和装置、电子设备、计算机存储介质 | |
| US10616475B2 (en) | Photo-taking prompting method and apparatus, an apparatus and non-volatile computer storage medium | |
| CN110060274A (zh) | 基于深度稠密连接的神经网络的视觉目标跟踪方法和装置 | |
| CN109344806B (zh) | 利用多任务目标检测模型执行目标检测的方法和系统 | |
| CN109685013B (zh) | 人体姿态识别中头部关键点的检测方法及装置 | |
| CN110688929B (zh) | 一种人体骨架关节点定位方法及装置 | |
| CN109584276A (zh) | 关键点检测方法、装置、设备及可读介质 | |
| CN109348731A (zh) | 一种图像匹配的方法及装置 | |
| US11348275B2 (en) | Methods and apparatuses for determining bounding box of target object, media, and devices | |
| CN109934065A (zh) | 一种用于手势识别的方法和装置 | |
| CN107622252A (zh) | 信息生成方法和装置 | |
| CN104145296A (zh) | 头部跟踪方法、装置及计算机可读记录介质 | |
| CN108062544A (zh) | 用于人脸活体检测的方法和装置 | |
| CN110059637A (zh) | 一种人脸对齐的检测方法及装置 | |
| JPWO2018087933A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| BR112019019517A2 (pt) | método e aparelho para reconhecer atributo descritivo de característica de aparência | |
| CN110414502A (zh) | 图像处理方法及装置、电子设备和计算机可读介质 | |
| CN111368768A (zh) | 一种基于人体关键点的员工手势指引检测方法 | |
| JP2008065368A (ja) | ステレオ画像を利用した物体の位置および姿勢認識システム、物体の位置および姿勢認識方法、およびこの方法を実行するプログラム | |
| Guo et al. | Action recognition based on 3D skeleton and LSTM for the monitoring of construction workers’ safety harness usage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181218 |