CN112380978B - 基于关键点定位的多人脸检测方法、系统及存储介质 - Google Patents
基于关键点定位的多人脸检测方法、系统及存储介质 Download PDFInfo
- Publication number
- CN112380978B CN112380978B CN202011263174.9A CN202011263174A CN112380978B CN 112380978 B CN112380978 B CN 112380978B CN 202011263174 A CN202011263174 A CN 202011263174A CN 112380978 B CN112380978 B CN 112380978B
- Authority
- CN
- China
- Prior art keywords
- face
- key point
- point position
- human face
- average
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 106
- 239000013598 vector Substances 0.000 claims abstract description 60
- 238000004364 calculation method Methods 0.000 claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000001629 suppression Effects 0.000 claims abstract description 12
- 230000004807 localization Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 31
- 230000008569 process Effects 0.000 abstract description 18
- 230000000694 effects Effects 0.000 abstract description 10
- 230000004044 response Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人脸识别技术，揭露了一种基于关键点定位的多人脸检测方法，方法包括利用数据集训练基于U‑Net的多人脸检测模型；将待检测图片输入训练好的基于U‑Net的多人脸检测模型，获得热图格式的特征图；将所获得的热图格式的特征图，利用热图极大值抑制算法获取真实的人脸关键点位置和人脸平均点位置特征向量；将所获得真实的人脸关键点位置和人脸平均点位置特征向量利用关联算法确定人脸关键点位置，完成人脸检测。本发明还涉及区块链技术，数据存储于区块链中，本发明通过使用单一模型同时完成人脸检测和人脸关键点定位，节省了计算过程和步骤，实现了加快最终应用的响应时间和降低计算消耗的技术效果。
Description
技术领域
本发明涉及人脸识别技术，尤其涉及一种基于关键点定位的多人脸检测方法、系统及存储介质。
背景技术
近年来，视觉领域的深度卷积神经网络爆发式发展，人脸检测和人脸关键点定位的精度也有了很大的提升。
现有技术中需要通过两个不同的卷积神经网络模型完成人脸检测和人脸关键点定位两个任务。虽然检测任务完成效果较好，但是存在的弊端如下：
由于通过两个不同的卷积神经网络完成，对于计算资源有限的手机端等移动设备而言功耗过高。
所以，亟需一种检测效果好，功耗低的基于人脸定位的多人脸检测方法。
发明内容
本发明提供一种基于关键点定位的多人脸检测方法、系统及计算机可读存储介质，其主要解决多人脸检测功耗高的问题。
为实现上述目的，本发明提供一种基于关键点定位的多人脸检测方法，应用于电子装置，方法包括：
利用数据集训练基于U-Net的多人脸检测模型；
将待检测图片输入训练好的基于U-Net的多人脸检测模型，获得热图格式的特征图；
将所获得的热图格式的特征图，利用热图极大值抑制算法获取真实的人脸关键点位置和人脸平均点位置特征向量；
将所获得真实的人脸关键点位置数据和人脸平均点位置特征向量利用关联算法确定人脸关键点位置，完成人脸检测。
进一步，优选的，在所述将所获得的真实的人脸关键点位置和人脸平均点位置数据利用关联算法获得人脸关键点位置，完成人脸检测的步骤中，还包括：
通过所获得真实的人脸关键点位置和人脸平均点位置特征向量获得人脸框，完成人脸检测。
进一步，优选的，所述将所获得真实的人脸关键点位置数据和人脸平均点位置数据利用关联算法确定人脸关键点位置步骤，包括：
将所述人脸平均点位置的特征向量，输入人脸关键点位置预期子模型，通过回归计算获得人脸关键点到人脸平均点的偏移量向量；
通过人脸平均点位置的特征向量和人脸平均点的偏移量向量，获得预期的人脸的关键点位置；
通过欧式距离公式，选择与真实的人脸关键点位置距离最近的预期的人脸的关键点位置，作为最终输出的人脸关键点位置。
进一步，优选的，所述数据集由两组数据集组成，仅有人脸关键点标注的数据集和同时存在人脸关键点标注和人脸框标注的数据集。
进一步，优选的，所述将待检测图片输入训练好的基于U-Net的多人脸检测模型，获得热图格式的特征图的步骤中，所获得的热图格式的特征图包括5张人脸关键点特征图和1张人脸平均点特征图。
为实现上述目的，本发明提供一种基于关键点定位的多人脸检测方法系统，包括基于U-Net的多人脸检测模型训练单元、特征图获取单元、特征向量获取单元和人脸关键点位置获取单元；其中，
所述基于U-Net的多人脸检测模型训练单元，用于利用数据集训练基于U-Net的多人脸检测模型；
所述特征图获取单元，用于将待检测图片输入训练好的基于U-Net的多人脸检测模型，获得热图格式的特征图；
所述特征向量获取单元，用于将所获得的热图格式的特征图，利用热图极大值抑制算法获取真实的人脸关键点位置和人脸平均点位置特征向量；
所述人脸关键点位置获取单元，将所获得真实的人脸关键点位置数据和人脸平均点位置数据利用关联算法确定人脸关键点位置，完成人脸检测。
进一步，优选的，所述人脸关键点位置获取单元包括偏移向量获取模块、预期的人脸关键点位置获取模块，人脸关键点位置确定模块；
所述偏移向量获取模块，用于将所述人脸平均点位置的特征向量，输入人脸关键点位置预期子模型，通过回归计算获得人脸关键点到人脸平均点的偏移量向量；
所述预期的人脸关键点位置获取模块，用于通过人脸平均点位置的特征向量和人脸平均点的偏移量向量，获得预期的人脸的关键点位置；
所述人脸关键点位置确定模块，用于通过欧式距离公式，选择与真实的人脸关键点位置距离最近的预期的人脸的关键点位置，作为最终输出的人脸关键点位置。
进一步，优选的，所述特征图获取单元中所获得的热图格式的特征图包括5张人脸关键点特征图和1张人脸平均点特征图。
为实现上述目的，本发明还提供一种电子装置，该电子装置包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的程序，所述程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的基于关键点定位的多人脸检测方法。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现上述的基于关键点定位的多人脸检测方法的步骤。
本发明提出的基于关键点定位的多人脸检测方法、系统、电子装置及计算机可读存储介质，通过利用数据集训练基于U-Net的多人脸检测模型；将待检测图片输入训练好的基于U-Net的多人脸检测模型，获得热图格式的特征图；将所获得的热图格式的特征图，利用热图极大值抑制算法获取真实的人脸关键点位置和人脸平均点位置特征向量；将所获得真实的人脸关键点位置数据和人脸平均点位置数据利用关联算法获得人脸关键点位置，完成人脸检测。有益效果如下：
1)、本发明的基于关键点定位的多人脸检测方法使用单一模型同时完成人脸检测和人脸关键点定位，节省了计算过程和步骤，实现了加快最终应用的响应时间和降低计算消耗的技术效果，更加适用于计算资源有限的手机端等移动设备；
2)、本发明的基于关键点定位的多人脸检测方法直接基于人脸关键点和人脸平均点做人脸检测和人脸关键点定位，得到应用实际需要的信息。而人脸框只是附带输出结果，可以根据实际需要裁剪掉人脸框相关的子网络，进一步节省计算；
3)、本发明的基于关键点定位的多人脸检测方法与现有技术中MTCNN网络和数值回归的方式计算关键点位置的方式相比，本发明的整体模型最终输出的人脸关键点位置是使用高分辨的热图计算输出来的，达到了提高精确性和鲁棒性的技术效果。
附图说明
图1为本发明的基于关键点定位的多人脸检测方法较佳实施例的流程图；
图2为本发明的基于关键点定位的多人脸检测方法中确定人脸关键点位置的较佳实施例的流程图；
图3本发明的基于关键点定位的多人脸检测方法系统的逻辑结构示意图；
图4为本发明的电子装置的较佳实施例的结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了提高用户编码效率，本发明提供一种基于关键点定位的多人脸检测方法。图1示出了本发明基于关键点定位的多人脸检测方法较佳实施例的流程。参照图1所示，该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
现有技术中基于人脸的应用的前置步骤都是先定位出人脸的关键点位置，然后使用人脸关键点来做人脸对齐，最后进行用于实际应用的步骤——比如人脸识别、活体识别、表情识别等。现有的MTCNN包含三个级联的多任务卷积神经网络，分别是Proposal Network(P-Net)、Refine Network(R-Net)、Output Network(O-Net)，每个多任务卷积神经网络均有三个学习任务，分别是人脸分类、边框回归和关键点定位。MTCNN实现人脸检测和关键点定位分为三个阶段。首先由P-Net获得了人脸区域的候选窗口和边界框的回归向量，并用该边界框做回归，对候选窗口进行校准，然后通过非极大值抑制(NMS)来合并高度重叠的候选框。然后将P-Net得出的候选框作为输入，输入到R-Net，R-Net同样通过边界框回归和NMS来去掉那些false-positive区域，得到更为准确的候选框；最后，利用O-Net输出5个关键点的位置。
其中，其实前置步骤关键是找到人脸并定位出该人脸的关键点，至于人脸框并不是必须的。
本发明的一种基于关键点定位的多人脸检测方法通过使用单一模型同时完成人脸检测和人脸关键点定位，没有经过人脸框步骤，节省了计算过程和步骤，实现了加快最终应用的响应时间和降低计算消耗的技术效果，更加适用于计算资源有限的手机端等移动设备。
需要说明的是，本发明的一种基于关键点定位的多人脸检测方法，具体地说，所述基于关键点定位的多人脸检测方法包括步骤S110-步骤S140。
S110、利用数据集训练基于U-Net的多人脸检测模型。
在训练基于U-Net的多人脸检测模型之前首先要获取数据集，在一个具体的实施例中，所述数据集由两组数据集组成，仅有人脸关键点标注的数据集和同时存在人脸关键点标注和人脸框标注的数据集。具体地说，对于仅有人脸关键点标注的数据集而言，所述人脸关键点标注的获取方法为，所有的关键点坐标都记为(Xp，Yp)；每个人脸有5个关键点，分别为左眼、右眼、鼻尖、左嘴角、右嘴角；把所有关键点的x，y坐标分别计算平均值，得到一个平均点；把这个平均点作为人脸的位置(Xf，Yf)。对于同时存在人脸关键点标注和人脸框标注的数据集而言，其人脸关键点标注和人脸框标注的获取方法为，所有的关键点坐标都记为(Xp，Yp)；每个人脸有5个关键点，分别为左眼、右眼、鼻尖、左嘴角、右嘴角；把所有关键点的x，y坐标分别计算平均值，得到一个平均点；把这个平均点作为人脸的位置(Xf，Yf)；把人脸框左上角到平均点的偏移量记为(Xtl，Ytl)，把人脸框右下角到平均点的偏移量记为(Xrb，Yrb)。
上述数据集可以借助的数据库包括AFLW人脸数据库、COFW人脸数据库、MVFW人脸数据库或者OCFW人脸数据库中的一个或多个。其中，AFLW人脸数据库包含25993幅从Flickr采集的人脸图像，每个人脸标定21个关键点。COFW人脸数据库包含LFPW人脸数据库训练集中的845幅人脸图像以及其他500幅遮挡人脸图像，而测试集为507幅严重遮挡(同时包含姿态和表情的变化)的人脸图像，每个人脸标定29个关键点。MVFW人脸数据库为多视角人脸数据集，包括2050幅训练人脸图像和450幅测试人脸图像，每个人脸标定68个关键点。OCFW人脸数据库包含2951幅训练人脸图像(均为未遮挡人脸)和1246幅测试人脸图像(均为遮挡人脸)，每个人脸标定68个关键点。
S120、将待检测图片输入训练好的基于U-Net的多人脸检测模型，获得热图格式的特征图。
在一个具体的实施中，基于U-Net的多人脸检测模型是基于网络模型U-Net。需要说明的是，基于U-Net的多人脸检测模型的网络结构一共有四层，分别对输入的图片进行了4次下采样和4次上采样。其中，包括利用3×3的卷积核对图片进行卷积后，通过ReLU激活函数输出特征通道；对左边下采样过程中的图片进行裁剪复制；通过最大池化对图片进行下采样，池化核大小为2×2；反卷积，对图像进行上采样，卷积核大小为2×2；使用1×1的卷积核对图片进行卷积。
在一个具体的实施例中，从最左边开始，输入的是一张527×527×1的图片，然后经过64个3×3的卷积核进行卷积，再通过ReLU函数后得到64个570×570×1的特征通道。然后把这570×570×64的结果再经过64个3×3的卷积核进行卷积，同样通过ReLU函数后得到64个568×568×1的特征提取结果，这就是第一层的处理结果。第一层的处理结果是568×568×64的特征图片，通过2×2的池化核，对图片下采样为原来大小的一半：284×284×64，然后通过128个卷积核进一步提取图片特征。后面的下采样过程也是以此类推，每一层都会经过两次卷积来提取图像特征；每下采样一层，都会把图片减小一半，卷积核数目增加一倍。最终下采样部分的结果是28×28×1024，也就是一共有1024个特征层，每一层的特征大小为28×28。右边部分从下往上则是4次上采样过程。从最右下角开始，把28×28×1024的特征矩阵经过512个2×2的卷积核进行反卷积，把矩阵扩大为56×56×512(结果仅仅是右半边蓝色部分的512个特征通道，不包含左边)，由于反卷积只能扩大图片而不能还原图片，为了减少数据丢失，采取把左边降采样时的图片裁剪成相同大小后直接拼过来的方法增加特征层(这里才是左半边白色部分的512个特征通道)，再进行卷积来提取特征。由于每一次valid卷积都会使得结果变小一圈，因此每次拼接之前都需要先把左边下采样过程中的图片进行裁剪。矩阵进行拼接后，整个新的特征矩阵就变成56×56×1024，然后经过512个卷积核，进行两次卷积后得到52×52×512的特征矩阵，再一次进行上采样，重复上述过程。每一层都会进行两次卷积来提取特征，每上采样一层，都会把图片扩大一倍，卷积核数目减少一半。最后上采样的结果是388×388×64，也就是一共有64个特征层，每一层的特征大小为388×388。
在最后一步中，选择了2个1×1的卷积核把64个特征通道变成2个，也就是最后的388×388×2，其实这里就是一个二分类的操作，把图片分成背景和目标两个类别。
总之，利用了U-net实现图片像素的定位的功能，该网络对图像中的每一个像素点进行分类，最后输出的是根据像素点的类别而分割好的图像。也就是说，输入图片，经过卷积神经网络计算后，输入6张特征图，5个关键点以及一个平均点。
具体地说，所述将待检测图片输入训练好的基于U-Net的多人脸检测模型，获得热图格式的特征图的步骤中，所获得的热图格式的特征图包括5张人脸关键点特征图和1张人脸平均点特征图。其中，所述6张特征图是，5个人脸关键点对应输出5张特征图，人脸平均点输出1张特征图，输出格式都是热图，热度表示该点存在人脸关键点、或人脸的概率。
本发明的整体模型最终输出的人脸关键点位置是使用高分辨的热图计算输出来的，达到了提高精确性和鲁棒性的技术效果。
S130、将所获得的热图格式的特征图，利用热图极大值抑制算法获取真实的人脸关键点位置和人脸平均点位置特征向量。
具体地说，将图片输入基于U-Net的多人脸检测模型，输出6张特征图，包括5个关键点特征图，一个平均点特征图；然后通过热图极大值抑制算法获得人脸关键点(5个)以及人脸平均点的位置；提取人脸平均点位置的特征向量，得到人脸的关键点的预期位置；通过人脸的关键点的预期位置与前面获得的真实的人脸关键点人脸关键点位置，从而实现人脸和上述点(人脸关键点(以及人脸平均点)的相互关联。
具体地说，在具体的实施过程中，将所获得的热图格式的特征图，利用热图极大值抑制算法获取真实的人脸关键点位置和人脸平均点位置特征向量，是利用遍历每张热图的每个点，如果该点的值比周围相邻点的值都大，则保留该点；否则去除该点，即将该点的值设置为零；如果该点的值小于阈值(比如0.5)也去除该点。计算完毕后，每张特征图上剩余的点即为对应特征图的人脸关键点位置(人脸平均点位置)。
S140、将所获得真实的人脸关键点位置数据和人脸平均点位置特征向量利用关联算法确定人脸关键点位置，完成人脸检测。
图2示出了本发明基于关键点定位的多人脸检测方法中确定人脸关键点位置较佳实施例的流程。参照图2所示，
所述将所获得真实的人脸关键点位置数据和人脸平均点位置数据利用关联算法确定人脸关键点位置步骤，包括步骤S210-S230：
在实例性的实施例中，把人脸和人脸关键点关联的算法。以上计算出的人脸(平均点)位置就是所有检出的人脸；但是，所有计算出的人脸关键点还没有关联到具体的人脸归属上。
S210、将所述人脸平均点位置的特征向量，输入人脸关键点位置预期子模型，通过回归计算获得人脸关键点到人脸平均点的偏移量向量。
具体地说，提取人脸平均点位置的特征向量，输入人脸关键点位置预期子模型，做回归计算，输出10个值，分别代表该人脸的5个关键点的Xp，Yp坐标到人脸平均点位置的偏移量(每个关键点有X、Y两个方向的偏移量，5个关键点共输出10个值的偏移量)。
S220、通过人脸平均点位置的特征向量和人脸平均点的偏移量向量，获得预期的人脸的关键点位置。
人脸平均点位置加上人脸关键点位置预期子模型输出的5个关键点X、Y的偏移量，得到属于该人脸的5个关键点的预期位置。这里是通过另外一个神经网络子模型实现的。
S230、通过欧式距离公式，选择与真实的人脸关键点位置距离最近的预期的人脸的关键点位置，作为最终输出的人脸关键点位置。
把预期人脸关键点输出子模型输出的人脸5个关键点的预期位置，在步骤S210输出的多人脸关键点集合中比较，查找出距离最近的点，即为该人脸最终输出的人脸关键点位置。
总之，首先人脸平均点唯一确定了一个人脸，然后由人脸平均点找到5个关键点的预期位置，步骤2输出了真实的关键点位置，通过欧氏距离公式计算真实关键点距离预期关键点最近的就是唯一确定人脸对应关联的关键点了。也就是说，对于人脸检测和人脸关键点定位而言，而人脸框只是附带输出结果，可以根据实际需要裁剪掉人脸框相关的子网络，进一步节省计算。
本发明的一种基于关键点定位的多人脸检测方法通过使用单一模型同时完成人脸检测和人脸关键点定位，没有经过人脸框步骤，节省了计算过程和步骤，实现了加快最终应用的响应时间和降低计算消耗的技术效果，更加适用于计算资源有限的手机端等移动设备。
在一个具体的实施例中，在所述将所获得的真实的人脸关键点位置和人脸平均点位置数据利用关联算法获得人脸关键点位置，完成人脸检测的步骤中，还包括：将所获得真实的人脸关键点位置和人脸平均点位置特征向量获得人脸框，完成人脸检测。即将步骤S130中所获得的人脸关键点和人脸平均点，获得人脸框，根据所述人脸框，完成人脸检测。具体地说，根据人脸平均点位置的特征向量获得人脸矩形框的左上角坐标、右下角坐标和平均点坐标；进而确定人脸矩形框。
在具体实施过程中，为了提升精度，模型训练来说有更多维度的标注信息、更强的监督信号(带标注数据的模型训练也叫做监督学习)，理论上和实验数据都指向说可以提升精度。保留了对人脸获取矩形框(即裁剪人脸区域存档)的步骤。
在一个具体的实施例中，提取人脸平均点位置的特征向量，输入人脸关键点位置预期子模型(另一个全连接神经网络子模型)，做回归计算，输出4个值，分别代表该人脸的人脸矩形框左上角位置到人脸平均点位置X Y两个方向的偏移量(Xtl，Ytl)、和该人脸的人脸矩形框右下角位置到人脸平均点位置X Y两个方向的偏移量(Xrb，Yrb)；这个4个偏移量的值加上人脸平均点位置坐标(Xf，Yf)就得到了人脸矩形框的左上角、右下角。
总之，在计算资源充足、对人脸检测结果精度要求较高的场景中为了进一步提高检测精度会通过根据人脸平均点位置的特征向量获得人脸矩形框的左上角坐标、右下角坐标和平均点坐标；进而确定人脸矩形框，完成人脸检测。
本发明的基于关键点定位的多人脸检测方法通过使用单一模型同时完成人脸检测和人脸关键点定位，没有经过人脸框步骤，节省了计算过程和步骤，而且整体模型最终输出的人脸关键点位置是使用高分辨的热图计算输出来的，结果会更精确和更鲁棒。
图3为本发明的基于关键点定位的多人脸检测方法系统的逻辑结构示意图；参照图3所示，
为实现上述目的，本发明提供一种基于关键点定位的多人脸检测方法系统300，包括基于U-Net的多人脸检测模型训练单元310、特征图获取单元320、特征向量获取单元330和人脸关键点位置获取单元340；其中，
所述基于U-Net的多人脸检测模型训练单元310，用于利用数据集训练基于U-Net的多人脸检测模型；
所述特征图获取单元320，用于将待检测图片输入训练好的基于U-Net的多人脸检测模型，获得热图格式的特征图；
所述特征向量获取单元330，用于将所获得的热图格式的特征图，利用热图极大值抑制算法获取真实的人脸关键点位置和人脸平均点位置特征向量；
所述人脸关键点位置获取单元340，将所获得真实的人脸关键点位置数据和人脸平均点位置数据利用关联算法确定人脸关键点位置，完成人脸检测。
其中，所述特征图获取单元320中所获得的热图格式的特征图包括5张人脸关键点特征图和1张人脸平均点特征图。
在一个具体的实施例中，所述人脸关键点位置获取单元340包括偏移向量获取模块341、预期的人脸关键点位置获取模块342，人脸关键点位置确定模块343；
所述偏移向量获取模块341，用于将所述人脸平均点位置的特征向量，输入人脸关键点位置预期子模型，通过回归计算获得人脸关键点到人脸平均点的偏移量向量；
所述预期的人脸关键点位置获取模块342，用于通过人脸平均点位置的特征向量和人脸平均点的偏移量向量，获得预期的人脸的关键点位置；
所述人脸关键点位置确定模块343，用于通过欧式距离公式，选择与真实的人脸关键点位置距离最近的预期的人脸的关键点位置，作为最终输出的人脸关键点位置。
综上所述，本发明的基于关键点定位的多人脸检测方法通过使用单一模型同时完成人脸检测和人脸关键点定位，没有经过人脸框步骤，节省了计算过程和步骤，而且整体模型最终输出的人脸关键点位置是使用高分辨的热图计算输出来的，结果会更精确和更鲁棒。
本发明提供一种基于关键点定位的多人脸检测方法，应用于一种电子装置4。
图4示出了根据本发明基于关键点定位的多人脸检测方法较佳实施例的应用环境。
参照图4所示，在本实施例中，电子装置4可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
该电子装置4包括：处理器42、存储器41、通信总线43及网络接口45。
存储器41包括至少一种类型的可读存储介质。所述可读存储介质可以是非易失性的，也可以是易失性的。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器41等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述电子装置4的内部存储单元，例如该电子装置4的硬盘。在另一些实施例中，所述可读存储介质也可以是所述电子装置4的外部存储器41，例如所述电子装置4上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
在本实施例中，所述存储器41的可读存储介质通常用于存储安装于所述电子装置4的基于关键点定位的多人脸检测方法程序40等。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
处理器42在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)，微处理器或其他数据处理芯片，用于运行存储器51中存储的程序代码或处理数据，例如执行基于关键点定位的多人脸检测方法程序40等。
通信总线43用于实现这些组件之间的连接通信。
网络接口44可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子装置4与其他电子设备之间建立通信连接。
图4仅示出了具有组件41-44的电子装置4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该电子装置4还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
可选地，该电子装置4还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子装置4中处理的信息以及用于显示可视化的用户界面。
可选地，该电子装置4还可以包括射频(Radio Frequency，RF)电路，传感器、音频电路等等，在此不再赘述。
在图4所示的装置实施例中，作为一种计算机存储介质的存储器41中可以包括操作系统、以及基于关键点定位的多人脸检测方法程序40；处理器42执行存储器41中存储的基于关键点定位的多人脸检测方法程序40时实现如下步骤：利用数据集训练基于U-Net的多人脸检测模型；将待检测图片输入训练好的基于U-Net的多人脸检测模型，获得热图格式的特征图；将所获得的热图格式的特征图，利用热图极大值抑制算法获取真实的人脸关键点位置和人脸平均点位置特征向量；将所获得真实的人脸关键点位置数据和人脸平均点位置特征向量利用关联算法确定人脸关键点位置，完成人脸检测。
在其他实施例中，基于关键点定位的多人脸检测方法程序40还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器41中，并由处理器42执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序程序段。基于关键点定位的多人脸检测方法程序40可以分为包括基于U-Net的多人脸检测模型训练单元310、特征图获取单元320、特征向量获取单元330和人脸关键点位置获取单元340。
此外，本发明还提出一种计算机可读存储介质，主要包括存储数据区和存储程序区，其中，存储数据区可存储根据区块链节点的使用所创建的数据等，存储程序区可存储操作系统、至少一个功能所需的应用程序，所述计算机可读存储介质中包括基于关键点定位的多人脸检测方法程序，所述基于关键点定位的多人脸检测方法程序被处理器执行时实现如基于关键点定位的多人脸检测方法的操作。
本发明之计算机可读存储介质的具体实施方式与上述基于关键点定位的多人脸检测方法、系统、电子装置的具体实施方式大致相同，在此不再赘述。
总的来说，本发明基于关键点定位的多人脸检测方法、系统、电子装置及计算机可读存储介质，使用单一模型同时完成人脸检测和人脸关键点定位，节省了计算过程和步骤，实现了加快最终应用的响应时间和降低计算消耗的技术效果，更加适用于计算资源有限的手机端等移动设备；直接基于人脸关键点和人脸平均点做人脸检测和人脸关键点定位，得到应用实际需要的信息。而人脸框只是附带输出结果，可以根据实际需要裁剪掉人脸框相关的子网络，进一步节省计算；与现有技术中MTCNN网络和数值回归的方式计算关键点位置的方式相比，本发明的整体模型最终输出的人脸关键点位置是使用高分辨的热图计算输出来的，达到了提高精确性和鲁棒性的技术效果。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干程序用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种基于关键点定位的多人脸检测方法，应用于电子装置，其特征在于，方法包括：
利用数据集训练基于U-Net的多人脸检测模型；
将待检测图片输入训练好的基于U-Net的多人脸检测模型，获得热图格式的特征图；其中，所获得的热图格式的特征图包括5张人脸关键点特征图和1张人脸平均点特征图；
将所获得的热图格式的特征图，利用热图极大值抑制算法获取真实的人脸关键点位置和人脸平均点位置特征向量；
将所获得真实的人脸关键点位置和人脸平均点位置特征向量利用关联算法确定人脸关键点位置，完成人脸检测；
其中，所述将所获得真实的人脸关键点位置数据和人脸平均点位置数据利用关联算法确定人脸关键点位置步骤，包括：
将所述人脸平均点位置的特征向量，输入人脸关键点位置预期子模型，通过回归计算获得人脸关键点到人脸平均点的偏移量向量；
通过人脸平均点位置的特征向量和人脸平均点的偏移量向量，获得预期的人脸的关键点位置；
通过欧式距离公式，选择与真实的人脸关键点位置距离最近的预期的人脸的关键点位置，作为最终输出的人脸关键点位置。
2.根据权利要求1所述的基于关键点定位的多人脸检测方法，其特征在于，在所述将所获得的真实的人脸关键点位置和人脸平均点位置数据利用关联算法获得人脸关键点位置，完成人脸检测的步骤中，还包括：
通过所获得真实的人脸关键点位置和人脸平均点位置特征向量获得人脸框，完成人脸检测。
3.根据权利要求1所述的基于关键点定位的多人脸检测方法，其特征在于， 所述数据集由两组数据集组成，仅有人脸关键点标注的数据集和同时存在人脸关键点标注和人脸框标注的数据集。
4.一种基于关键点定位的多人脸检测方法系统，其特征在于，包括基于U-Net的多人脸检测模型训练单元、特征图获取单元、特征向量获取单元和人脸关键点位置获取单元；其中，
所述基于U-Net的多人脸检测模型训练单元，用于利用数据集训练基于U-Net的多人脸检测模型；
所述特征图获取单元，用于将待检测图片输入训练好的基于U-Net的多人脸检测模型，获得热图格式的特征图；其中，所获得的热图格式的特征图包括5张人脸关键点特征图和1张人脸平均点特征图；
所述特征向量获取单元，用于将所获得的热图格式的特征图，利用热图极大值抑制算法获取真实的人脸关键点位置和人脸平均点位置特征向量；
所述人脸关键点位置获取单元，将所获得真实的人脸关键点位置数据和人脸平均点位置数据利用关联算法确定人脸关键点位置，完成人脸检测；
其中，所述人脸关键点位置获取单元包括偏移向量获取模块、预期的人脸关键点位置获取模块，人脸关键点位置确定模块；
所述偏移向量获取模块，用于将所述人脸平均点位置的特征向量，输入人脸关键点位置预期子模型，通过回归计算获得人脸关键点到人脸平均点的偏移量向量；
所述预期的人脸关键点位置获取模块，用于通过人脸平均点位置的特征向量和人脸平均点的偏移量向量，获得预期的人脸的关键点位置；
所述人脸关键点位置确定模块，用于通过欧式距离公式，选择与真实的人脸关键点位置距离最近的预期的人脸的关键点位置，作为最终输出的人脸关键点位置。
5.一种电子装置，其特征在于，该电子装置包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的程序，所述程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至3中任一所述的基于关键点定位的多人脸检测方法。
6.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至3中任一项所述的基于关键点定位的多人脸检测方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011263174.9A CN112380978B (zh) | 2020-11-12 | 2020-11-12 | 基于关键点定位的多人脸检测方法、系统及存储介质 |
| PCT/CN2021/084307 WO2021190664A1 (zh) | 2020-11-12 | 2021-03-31 | 基于关键点定位的多人脸检测方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011263174.9A CN112380978B (zh) | 2020-11-12 | 2020-11-12 | 基于关键点定位的多人脸检测方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112380978A CN112380978A (zh) | 2021-02-19 |
| CN112380978B true CN112380978B (zh) | 2024-05-07 |
Family
ID=74583510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011263174.9A Active CN112380978B (zh) | 2020-11-12 | 2020-11-12 | 基于关键点定位的多人脸检测方法、系统及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112380978B (zh) |
| WO (1) | WO2021190664A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112380978B (zh) * | 2020-11-12 | 2024-05-07 | 平安科技（深圳）有限公司 | 基于关键点定位的多人脸检测方法、系统及存储介质 |
| CN113989568A (zh) * | 2021-10-29 | 2022-01-28 | 北京百度网讯科技有限公司 | 目标检测方法、训练方法、装置、电子设备以及存储介质 |
| CN115205951B (zh) * | 2022-09-16 | 2022-12-20 | 深圳天海宸光科技有限公司 | 一种戴口罩人脸关键点数据生成方法 |
| CN117523636B (zh) * | 2023-11-24 | 2024-06-18 | 北京远鉴信息技术有限公司 | 一种人脸检测方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858466A (zh) * | 2019-03-01 | 2019-06-07 | 北京视甄智能科技有限公司 | 一种基于卷积神经网络的人脸关键点检测方法及装置 |
| CN111914782A (zh) * | 2020-08-10 | 2020-11-10 | 河南威虎智能科技有限公司 | 人脸及其特征点的检测方法、装置、电子设备和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109684911B (zh) * | 2018-10-30 | 2021-05-11 | 百度在线网络技术（北京）有限公司 | 表情识别方法、装置、电子设备及存储介质 |
| CN110516642A (zh) * | 2019-08-30 | 2019-11-29 | 电子科技大学 | 一种轻量化人脸3d关键点检测方法及系统 |
| CN112380978B (zh) * | 2020-11-12 | 2024-05-07 | 平安科技（深圳）有限公司 | 基于关键点定位的多人脸检测方法、系统及存储介质 |
-
2020
- 2020-11-12 CN CN202011263174.9A patent/CN112380978B/zh active Active
-
2021
- 2021-03-31 WO PCT/CN2021/084307 patent/WO2021190664A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858466A (zh) * | 2019-03-01 | 2019-06-07 | 北京视甄智能科技有限公司 | 一种基于卷积神经网络的人脸关键点检测方法及装置 |
| CN111914782A (zh) * | 2020-08-10 | 2020-11-10 | 河南威虎智能科技有限公司 | 人脸及其特征点的检测方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021190664A1 (zh) | 2021-09-30 |
| CN112380978A (zh) | 2021-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112380978B (zh) | 基于关键点定位的多人脸检测方法、系统及存储介质 | |
| US20220092882A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN110348294B (zh) | Pdf文档中图表的定位方法、装置及计算机设备 | |
| CN104023249B (zh) | 电视频道识别方法和装置 | |
| CN110874594A (zh) | 基于语义分割网络的人体外表损伤检测方法及相关设备 | |
| CN110008997B (zh) | 图像纹理相似度识别方法、装置及计算机可读存储介质 | |
| CN110503682B (zh) | 矩形控件识别方法、装置、终端及存储介质 | |
| CN112699775A (zh) | 基于深度学习的证件识别方法、装置、设备及存储介质 | |
| CN110852311A (zh) | 一种三维人手关键点定位方法及装置 | |
| CN113570052B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111415373A (zh) | 基于孪生卷积网络的目标跟踪与分割方法、系统及介质 | |
| CN112581477A (zh) | 图像处理方法、图像匹配方法、设备以及存储介质 | |
| CN110781856A (zh) | 异质人脸识别模型训练方法、人脸识别方法及相关装置 | |
| CN116051575A (zh) | 图像分割方法、装置、计算机设备、存储介质程序产品 | |
| CN111709377A (zh) | 特征提取方法、目标重识别方法、装置及电子设备 | |
| CN112749576B (zh) | 图像识别方法和装置、计算设备以及计算机存储介质 | |
| WO2021179751A1 (zh) | 图像处理方法和系统 | |
| CN114758145A (zh) | 一种图像脱敏方法、装置、电子设备及存储介质 | |
| CN113936187A (zh) | 文本图像合成方法、装置、存储介质及电子设备 | |
| CN111862159A (zh) | 改良的孪生卷积网络的目标跟踪与分割方法、系统及介质 | |
| CN111695441B (zh) | 图像文档处理方法、装置及计算机可读存储介质 | |
| CN111325194B (zh) | 一种文字识别方法、装置及设备、存储介质 | |
| CN111709419A (zh) | 一种纸币冠字号的定位方法、系统、设备及可读存储介质 | |
| CN113469931B (zh) | 图像检测模型训练、修改检测方法、装置以及存储介质 | |
| CN116664604B (zh) | 图像的处理方法及装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |