CN114187634A - 一种人脸关键点定位方法、装置、终端及存储介质 - Google Patents

一种人脸关键点定位方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN114187634A
CN114187634A CN202111501969.3A CN202111501969A CN114187634A CN 114187634 A CN114187634 A CN 114187634A CN 202111501969 A CN202111501969 A CN 202111501969A CN 114187634 A CN114187634 A CN 114187634A
Authority
CN
China
Prior art keywords
face
key point
samples
point positioning
sandglass
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111501969.3A
Other languages
English (en)
Inventor
孙雨涵
陈永辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Miotone Video Signal Technology Co ltd
Original Assignee
Shenzhen Miotone Video Signal Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Miotone Video Signal Technology Co ltd filed Critical Shenzhen Miotone Video Signal Technology Co ltd
Priority to CN202111501969.3A priority Critical patent/CN114187634A/zh
Publication of CN114187634A publication Critical patent/CN114187634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机视觉领域，尤其是涉及一种人脸关键点定位方法、装置、终端及存储介质，该方法包括：实时获取人脸图像信息；采用轻量级坐标回归网络模型对所述人脸图像信息进行关键点定位并输出关键点定位信息；其中，所述轻量级坐标回归网络模型采用SE‑Sandglass结构作为主干网络。本申请基于轻量级的坐标回归网络模型实现人脸关键点定位，能够应用于计算资源受限的系统中，实现实时的人脸关键点定位并提高定位精度。

Description

一种人脸关键点定位方法、装置、终端及存储介质
技术领域
本申请涉及计算机视觉领域，尤其是涉及一种人脸关键点定位方法、装置、终端及存储介质。
背景技术
随着现代生活日益发展，汽车在生活中越来越普及，汽车数量的迅速增加给人们带来了便利，但是也导致了更多的交通事故，其中由驾驶员个人因素导致的事故比例高达70％以上。因此开发疲劳驾驶监测系统是有效降低交通事故发生率的手段，人脸关键点定位是该系统必不可少的功能。疲劳驾驶监测系统中打哈欠判断，眨眼判断，分神判断等功能模块都依赖于连续稳定的人脸关键点定位算法，依据人脸关键点定位算法，侦测驾驶员的眉毛、眼睛，嘴巴，鼻子，人脸外轮廓等具体的位置分布。通过眼睛和嘴巴的关键点坐标计算闭合程度可以分析驾驶员疲劳状态；通过人脸的鼻子，眉毛和外轮廓可以分析驾驶员的头部朝向，结合疲劳状态和头部朝向对驾驶员的驾驶行为进行监测。
相关技术中的人脸关键点定位算法大致可以分为基于手工特征的传统方法和基于深度学习的回归方法。传统方法中具有代表性的主要有基于模型的ASM，AAMs和基于约束局部模型CLMs，通过优化误差方程以达到关键点定位的目的，但是求解非线性最优化问题相对复杂，中间维度过高还会使计算成本过大。近年来，随着卷积神经网络快速发展，大量基于深度学习的方法被提出，其中基于坐标回归和基于热图回归的两大类方法由于性能优于传统方法而备受青睐。一般用比较大型的网络来最大限度地学习更多特征，以提高定位精度。
针对上述中的相关技术，发明人认为采用比较大型的网络虽然能够提高定位精度，但随之产生的就是效率问题，难以进行实时的人脸关键点定位；而采用小型网络虽然实时性较强，参数量相对较少，但算法性能有限，定位精度较低。
发明内容
为了提高人脸关键点定位的精度和效率，本申请提供了一种人脸关键点定位方法、装置、终端及存储介质。
第一方面，本申请提供一种人脸关键点定位方法，采用如下的技术方案：
一种人脸关键点定位方法，包括：
实时获取人脸图像信息；
采用轻量级坐标回归网络模型对所述人脸图像信息进行关键点定位并输出关键点定位信息；
其中，所述轻量级坐标回归网络模型采用SE-Sandglass结构作为主干网络。
通过采用上述技术方案，基于轻量级的坐标回归网络模型实现人脸关键点定位，能够应用于计算资源受限的系统中，实现实时的人脸关键点定位并提高定位精度。
可选的，所述SE-Sandglass结构包括Sandglass结构和SE结构，将所述Sandglass结构和SE结构进行串联结合。
通过采用上述技术方案，针对Sandglass与SE的优点，将两者进行结合得到SE-Sandglass结构，将Sandglass与SE进行串联结合，并将SE放在高维特征之后，有效地提高了Sandglass模块的表示能力；SE-Sandglass结构不仅具有Sandglass结构较强的提取特征能力、参数量少，同时具有SE结构的通道注意力机制来增强有用特征并抑制对人脸关键点定位用处不大的特征。
可选的，所述Sandglass结构包括依次串联的第一深度卷积、第一逐点卷积、第二逐点卷积和第二深度卷积，所述第一深度卷积和第二逐点卷积后使用非线性激活函数ReLU6，所述第一逐点卷积和第二深度卷积后使用线性激活。
通过采用上述技术方案，只在第一深度卷积和第二逐点卷积后使用非线性激活函数ReLU6，其他层后边使用线性激活，有助于避免零化现象，进而减少信息损失，解决了学习率较大时，部分神经元无法正常工作的问题。
可选的，所述SE结构包括采用GAP进行Fsq压缩操作和采用FC进行Fex捕获操作。
通过采用上述技术方案，通过Fsq操作在空间维度上进行压缩，采用GAP将每个特征通道的空间信息编码成一个具有全局感受野的通道描述符，为了利用压缩操作中的全局信息，通过Fex操作来全面捕获通道依赖性。可以在网络训练的同时学习不同通道上特征图的权重，使得有利于损失函数下降的特征图的权重变大，而对损失函数下降没有贡献或者贡献较小的特征图权重变小，从而选择性地对特征图通道进行加权来增强功能。
可选的，所述轻量级坐标回归网络模型包括依次串联的若干个第一卷积、若干个SE-Sandglass结构、若干个第二卷积、一个GDC结构、若干个第三卷积和一个FC全连接结构。
通过采用上述技术方案，增强了卷积神经网络对疲劳驾驶场景的适用性，充分发挥了深度可分离卷积在特征提取中的优势，提高了人脸关键点定位的精确度。
可选的，在获取人脸图像信息之前还包括：将训练集样本按照角度分类，并根据各个角度中的样本数量进行样本数据平衡。
通过采用上述技术方案，能够训练出更多的侧脸训练数据，尤其是大角度侧脸训练数据，从而能够适应具有较大姿势的脸部。
可选的，所述将训练集样本按照角度分类，并根据各个角度中的样本数量进行样本数据平衡，具体包括：
将若干张正脸的平均值作为预定义的标准脸；
在所述标准脸上固定若干个关键点坐标作为所有样本的固定参考点；
根据所述若干个固定参考点在每张样本上一一找出对应的对照点；
针对每张样本，利用所述若干个固定参考点和对照点通过SolvePnp估算一个旋转矩阵，并从所述旋转矩阵中解算出角度，从而获得每张样本对应的角度；
根据所述每张样本对应的角度将各个样本按角度进行分类并统计数量；
复制样本数量较少的分类中的样本来平衡训练数据。
通过采用上述技术方案，复制样本数量较少的分类中的样本来平衡训练数据，在不增加标注成本的情况下，增加大角度人脸数据。
第二方面，本申请还提供一种人脸关键点定位装置，采用如下的技术方案：
一种人脸关键点定位装置，包括：
存储器，用于存储人脸关键点定位程序；
处理器，在运行所述人脸关键点定位程序时执行上述人脸关键点定位方法的步骤。
通过采用上述技术方案，将上述人脸关键点定位方法以计算机可读代码的形式呈现并存储于存储器内，在处理器运行存储器内的计算机可读代码时，执行上述人脸关键点定位方法的步骤获得提高人脸关键点定位的精度和效率的效果。
第三方面，本申请还提供一种人脸关键点定位终端，采用如下的技术方案：
一种人脸关键点定位终端，包括：
图像采集装置，用于采集人脸图像信息；
驾驶状态检测装置，用于检测驾驶人员的驾驶状态；
上述人脸关键点定位装置，输入端连接所述图像采集装置，输出端连接所述驾驶状态检测装置。
通过采用上述技术方案，终端借助图像采集装置采集人脸图像信息、通过驾驶状态检测装置检测驾驶人员的驾驶状态，具有提高人脸关键点定位和驾驶状态检测的精度和效率的效果。
第四方面，本申请还提供一种计算机可读存储介质，采用如下的技术方案：
一种计算机可读存储介质，存储有能够被处理器加载并执行上述人脸关键点定位方法的计算机程序。
综上所述，本申请基于轻量级的坐标回归网络模型实现人脸关键点定位，能够应用于计算资源受限的系统中，实现实时的人脸关键点定位并提高定位精度。
附图说明
图1是本申请人脸关键点定位终端结构示意图。
图2是本申请轻量级坐标回归网络模型结构示意图。
图3是本申请轻量级坐标回归网络模型的网络简要结构。
图4是本申请Sandglass Block结构示意图。
图5是本申请SE Block结构示意图。
图6是本申请SE-Sandglass结构示意图。
图7是本申请72点人脸关键点定位示意图。
附图标记说明：
1、图像采集装置；2、人脸关键点定位装置；3、驾驶状态检测装置。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图1-附图7及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
近年来，随着卷积神经网络快速发展，大量基于深度学习的方法被提出，其中基于坐标回归和基于热图回归的两大类方法由于性能优于传统方法而备受青睐。坐标回归方法利用图像信息直接对人脸关键点的坐标值进行预测，而热图回归方法则将人脸关键点定位问题转换为热图估计问题进行求解。一般用比较大型的网络来最大限度地学习更多特征，以提高定位精度，虽然网络的性能在逐渐提高，但随之产生的就是效率问题。效率问题主要体现在模型的存储和前向推理时间。大型的网络往往需要存储大量的权重参数，这对系统的内存要求很高；另外无法快速完成网络的前向推导，难以进行实时的人脸关键点定位。小型网络实时性较强，参数量相对较少，但算法性能有限。因此利用轻量级卷积神经网络来开发与实际应用更为紧密的人脸关键点定位算法显得尤为重要。另外，虽然人脸关键点定位被广泛的研究，但是在表情、光照、遮挡和头部姿态变化等实际应用场景中，获取高精度人脸关键点仍是一个具有挑战性的课题。
下面结合说明书附图对本申请人脸关键点定位终端的实施例作进一步详细描述。
如图1所示，本申请实施例提供一种人脸关键点定位终端，终端包括图像采集装置1、人脸关键点定位装置2和驾驶状态检测装置3，人脸关键点定位装置2输入端连接图像采集装置1，输出端连接驾驶状态检测装置3；人脸关键点定位装置2上集成有存储器和处理器，存储器用于存储人脸关键点定位程序，处理器用于在运行人脸关键点定位程序时执行上述人脸关键点定位方法的步骤；图像采集装置1用于采集人脸图像信息，驾驶状态检测装置3用于检测驾驶人员的驾驶状态，例如，可以检测驾驶人员是否处于疲劳驾驶状态或酒驾状态等。可应用于自动驾驶领域，将人脸关键点定位终端集成于车载端进行快速准确的识别驾驶人员驾驶状态。
下面结合人脸关键点定位终端对人脸关键点定位方法的实施进行详细说明：
本申请实施例公开一种人脸关键点定位方法，包括：
一种人脸关键点定位方法，包括：
实时获取人脸图像信息；
具体来说，不同于以往的算法采用RGB的图像信息输入，本申请实施例可以采用IR图像信息输入，减小实际应用场景中的光照影响，能24小时全天候工作。
采用轻量级坐标回归网络模型对所述人脸图像信息进行关键点定位并输出关键点定位信息；其中，所述轻量级坐标回归网络模型采用SE-Sandglass结构作为主干网络。
本申请实施例采用卷积神经网络对人脸关键点进行定位，借鉴了Mobilenext分类网络中的Sandglass模块，在原有网络上进行了改进，在Sandglass Block的基础上结合了压缩激励(Squeeze-and-Excitation，SE)Block构建了SE-Sandglass作为网络的backbone(主干)；并根据人脸特征分布的空间重要性采用全局深度可分离卷积(Global DepthwiseConvolution,GDC)取代全局平均池化(Global Average Pooling,GAP)，来提取深层特征中每个节点的有效信息。
具体来说，所述轻量级坐标回归网络模型包括依次串联的若干个第一卷积、若干个SE-Sandglass结构、若干个第二卷积、一个GDC结构、若干个第三卷积和一个FC全连接结构。
如图2所示，本申请实施例的轻量级坐标回归网络模型包括依次串联的2个第一卷积(包括1个普通卷积Conv1和1个深度卷积DwiseConv2)、6个SE-Sandglass结构(包括SE-Sandglass1、SE-Sandglass2、SE-Sandglass3、SE-Sandglass4、SE-Sandglass5和SE-Sandglass6)、1个第二卷积Conv3、1个GDC结构、1个第三卷积Linear Conv4和1个FC全连接结构。
如图3所示，图3是本申请实施例经过分析设计的最终网络简要结构，为了增强卷积神经网络对疲劳驾驶场景的适用性，充分发挥深度可分离卷积在特征提取中的优势，提高人脸关键点定位的精确度。输入为112x112的IR人脸图片，在网络开始时使用快速下采样策略，包括步长s为2的普通卷积Conv1和步长s为1的深度卷积DwiseConv2；接着17个具有SE-Sandglass结构的深度分离卷积，包括3个扩张因子t为2、步长s为2、通道数C为64的SE-Sandglass1，3个扩张因子t为2、步长s为2、通道数C为128的SE-Sandglass2，6个扩张因子t为4、步长s为1、通道数C为128的SE-Sandglass3，2个扩张因子t为2、步长s为2、通道数C为256的SE-Sandglass4，2个扩张因子t为2、步长s为1、通道数C为512的SE-Sandglass5和1个扩张因子t为2、步长s为1、通道数C为512的SE-Sandglass6；在最后几个卷积层使用早期降维策略，并在线性GDC之后使用线性逐点卷积进行降维并作为特征输出层，其中，早期降维策略是针对通道数来说的，通过卷积来实现，可以理解为一种卷积策略，例如：Se-Sandglass6中通道数C为512，通过第二卷积conv3 1x1先降为256，然后再通过第三卷积Linear Conv4 1x1进行降至128；关键点回归部分使用全连接操作，从而得到每一个关键点的归一化坐标，图中的T代表预测的关键点数目，本申请实施例预测点数为72，可以根据需求进行设置。
为了进一步减少计算资源、节约内存空间，修改sandglass block中channel(通道)数量，由原来较大的通道数(576、960、1280等)变为了64、128、256、512，并将扩张因子t由6变为4或2；通过引入压缩和激励模块来学习不同特征通道之间的关系，并重估该关系对人脸关键点定位的重要性，提升人脸关键点定位精度。
卷积神经网络的参数量(Params)和理论浮点运算量(FLOPs)作为两个重要的指标，用来对算法的复杂度进行评估。参数量对应的是算法的空间复杂度，关系到模型所占用内存空间的大小；理论浮点运算量一般只考虑算法中乘加操作(Multi-Adds)的数量，对应算法的时间复杂度，通常用来衡量网络的运行速度；通过统计与计算，使用MobileNext网络模型的参数量为3305720，理论浮点运算量为298M，本申请实施例提出的网络模型参数量为1070096，理论浮点运算量为114.05M。与原网络(MobileNext网络模型)相比，参数量减少了大约2235624，理论浮点运算量减少了大约183.9M，由此可见，本申请实施例的网络复杂度有所减小，能够提高网络运算效率，进一步节约计算资源，更加适合于资源受限系统。
深度神经网络大多由基于具有瓶颈结构的经典残差块或反向残差块堆叠而成的。其中，反向残差块是专门为移动设备而设计，为了节省计算，反向残差块将低维特征作为输入，并通过逐点卷积将输入扩展到高维。然后利用深度卷积进行空间上下文编码，再进行逐点卷积，生成低维特征作为下一个模块的输入。反向残差块中先升维后降维的连接方式会削弱梯度跨层传播的能力，另外，将特征从高维空间压缩到低维空间会造成信息丢失，同时也容易引起梯度混淆问题。
如图4所示，Sandglass Block是为解决反向残差块的优化问题而提出的。该结构继承了反向残差块中的线性瓶颈(bottleneck)设计，即只在第一个深度卷积和第二个逐点卷积后使用非线性激活函数ReLU6，其他层后边使用线性激活，有助于避免零化现象，进而减少信息损失，解决了学习率较大时，部分神经元无法正常工作的问题。另外SandglassBlock中深度卷积在较高的维度进行，可用编码更丰富的空间信息，学习更有表现力的空间表示。在高维特征之间设置shortcut，“更宽”的shortcut连接保留更多的输入信息，方便梯度在层间传播。这种连接方式把梯度主要集中在较高维度的特征层，可以减少梯度混淆、加速网络收敛。Sandglass Block采用深度可分离卷积，计算量和参数数量比普通卷积会减少8到9倍。
由于注意力机制能够捕获更多信息特征来提高其表示能力，从而被广泛应用于卷积神经网络中。不同于以往的架构注意点在网络的深度和宽度上，SE Block通过建模通道之间的相互依赖关系，自适应地重新校准通道间的特征响应。
如图5所示，SE Block的核心是通过压缩和激励来挖掘卷积神经网络中特征图通道间的关系，并调整不同通道的权重。对于变换Ftr:X→U，
Figure BDA0003402033620000111
Figure BDA0003402033620000112
Ftr表示卷积操作，X表示输入特征，U表示经过Ftr卷积后的输出特征，W,H,C分别表示输入特征的宽、高和通道数。由于输出U的每个通道特征是通过卷积作用于输入X所有通道的和来产生的，所以通道依赖性被隐式地嵌入到卷积核中，尤其在网络较底的层次上感受野很小，通道依赖性的问题变得更严重。为了减轻这个问题，SE Block将输出特征U通过Fsq操作在空间维度上进行压缩，采用GAP将每个特征通道的空间信息编码成一个具有全局感受野的通道描述符。为了利用压缩操作中的全局信息，通过Fex操作来全面捕获通道依赖性。激励操作首先通过一个“门”机制产生通道权重，其次采用Sigmoid激活对生成的权重进行归一化。将该权重与输入特征U进行相乘，完成在通道维度上对原始特征的重标定。SE模块可以在网络训练的同时学习不同通道上特征图的权重，使得有利于损失函数下降的特征图的权重变大，而对损失函数下降没有贡献或者贡献较小的特征图权重变小，从而选择性地对特征图通道进行加权来增强功能。
如图6所示，所述SE-Sandglass结构包括Sandglass结构和SE结构，将所述Sandglass结构和SE结构进行串联结合；具体来说，所述Sandglass结构包括依次串联的第一深度卷积、第一逐点卷积、第二逐点卷积和第二深度卷积，所述第一深度卷积和第二逐点卷积后使用非线性激活函数ReLU6，所述第一逐点卷积和第二深度卷积后使用线性激活；所述SE结构包括采用GAP进行Fsq压缩操作和采用FC进行Fex捕获操作。
本申请实施例针对Sandglass与SE的优点，将两者进行结合得到SE-Sandglass结构，将SE放在高维特征之后，有效地提高了Sandglass模块的表示能力。在步长为1时，将该结构的输出与输入形成shortcut连接有助于减少梯度弥散。本申请实施例的人脸关键点定位网络中SE-Sandglass结构不仅具有Sandglass结构较强的提取特征能力、参数量少，同时具有SE结构的通道注意力机制来增强有用特征并抑制对人脸关键点定位用处不大的特征。
在卷积神经网络最后的7×7特征图中，虽然中心点和边角点的理论感受野大小是一样的，但是对应到输入图像中的位置不同。中心点的感受野包括了完整的图片，边角点的感受野却只有部分的图片以及背景。在卷积神经网络中通常采用GAP将深层全局信息平滑后加以使用，淡化了不同特征间的相对位置的组合关系，从而会导致网络性能下降。一种比较常规的解决办法就是，将GAP替换为全连接层，但是全连接层会给模型带来非常多的参数，有悖于轻量化模型的初衷。而GDC(Global Depthwise Convolution，全局深度卷积)对每个通道使用不同卷积核进行卷积，在每个位置赋予了可学习的权重，并且参数远小于全连接。因此本申请实施例利用GDC取代GAP，来提取深层特征中每个节点的有效信息，舍弃多通道特征融合所带来的冗余特征，从而减少模型整体复杂度，提升人脸关键点定位精度。
人脸关键点定位任务容易受到光照、表情变化、遮挡、头部姿态等因素的影响，因此选择合适的数据集训练网络，对于增强网络对这些因素的鲁棒性至关重要。本申请实施例采用的数据集为自采集与标注的数据，针对驾驶环境及场景分析采用红外摄像头进行数据采集，避免了可见光易受光照的影响，并且能24小时全天候工作。另外，本申请实施例在采集数据的过程中模拟驾驶员在驾驶环境下打哈欠、闭眼、左顾右盼、点头抬头等疲劳驾驶动作。
数据预处理方面，针对不同的需求，关键点的数量也有所不同。考虑到人脸关键点的预定义和标注阶段中人为因素的不确定性，导致关键点的定义存在一定的模糊性，标注的数据也会存在一定的偏差，可以采用5点、21点、68点、72点、98点、106点或者其他更多点数的分布，一方面，定位点数量的增加对于人脸关键点定位任务会有帮助，另一方面，定位点数更加密集，分布则更精细，应用场景更多。
如图7所示，本申请实施例不同于普遍使用的Dlib 68点，针对疲劳驾驶场景中的人脸采用更合理的72点。
在驾驶场景中，一方面，由于摄像头初始安装位置不固定，所以一般情况下摄像头不会正对着驾驶员，另一方面，驾驶员在驾驶位置会受周围环境或者自身因素的影响头部会晃动，因此侧脸的情况会多于正脸。在基于深度学习的人脸关键点定位中，数据不平衡对定位精度有很大的影响。训练集中的正脸数据的总数要远多于侧脸数据总数，而大角度侧脸的训练数据更少；如果没有额外的数据预处理，训练出的模型会过度拟合正脸姿势，无法很好地适应具有较大姿势的脸部；因此数据集在使用之前进行数据均衡很重要。
本申请实施例中，在获取人脸图像信息之前还包括：将训练集样本按照角度分类，并根据各个角度中的样本数量进行样本数据平衡，具体包括：
将若干张正脸的平均值作为预定义的标准脸；
在所述标准脸上固定若干个关键点坐标作为所有样本的固定参考点；
根据所述若干个固定参考点在每张样本上一一找出对应的对照点；
针对每张样本，利用所述若干个固定参考点和对照点通过SolvePnp估算一个旋转矩阵，并从所述旋转矩阵中解算出角度，从而获得每张样本对应的角度；
根据所述每张样本对应的角度将各个样本按角度进行分类并统计数量；
复制样本数量较少的分类中的样本来平衡训练数据。
举例来说，可以将5张正脸的平均值作为预定义的标准脸；在所述标准脸上固定14个关键点坐标作为所有样本的固定参考点，继续参照图7，所述14个关键点坐标分别为23左眉左上角、27左眉右角、40右眉左上角、44右眉右上角、14左眼左上角、18左眼右上角、31右眼左上角、35右眼右上角、51鼻子左上角、54鼻子右上角、59嘴左上角、63嘴右上角、65嘴中央下角、7下巴角；根据所述14个固定参考点在每张样本上一一找出对应的对照点；针对每张样本，利用所述14个固定参考点和对照点通过SolvePnp估算一个3x3旋转矩阵，并从所述旋转矩阵中解算出角度，从而获得每张样本对应的角度，其中，该角度指的是该样本与标准脸之间的夹角；根据所述每张样本对应的角度将各个样本按角度进行分类并统计数量；复制样本数量较少的分类中的样本来平衡训练数据，举例来说，假设角度为60度的分类中样本数量较少，则复制该60度分类中的样本来平衡训练数据，可以通过随机旋转和随机缩放的增强方法来修改重复样本，在不增加标注成本的情况下，增加大角度人脸数据。
基于上述同一发明构思，本申请实施例提供一种计算机可读存储介质，包括能够被处理器加载执行时实现人脸关键点定位方法流程中所述的各个步骤。
所述计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，本说明书(包括摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

Claims (10)

1.一种人脸关键点定位方法，其特征在于，包括：
实时获取人脸图像信息；
采用轻量级坐标回归网络模型对所述人脸图像信息进行关键点定位并输出关键点定位信息；
其中，所述轻量级坐标回归网络模型采用SE-Sandglass结构作为主干网络。
2.根据权利要求1所述的一种人脸关键点定位方法，其特征在于：所述SE-Sandglass结构包括Sandglass结构和SE结构，将所述Sandglass结构和SE结构进行串联结合。
3.根据权利要求2所述的一种人脸关键点定位方法，其特征在于：所述Sandglass结构包括依次串联的第一深度卷积、第一逐点卷积、第二逐点卷积和第二深度卷积，所述第一深度卷积和第二逐点卷积后使用非线性激活函数ReLU6，所述第一逐点卷积和第二深度卷积后使用线性激活。
4.根据权利要求2所述的一种人脸关键点定位方法，其特征在于：所述SE结构包括采用GAP进行Fsq压缩操作和采用FC进行Fex捕获操作。
5.根据权利要求1所述的一种人脸关键点定位方法，其特征在于：所述轻量级坐标回归网络模型包括依次串联的若干个第一卷积、若干个SE-Sandglass结构、若干个第二卷积、一个GDC结构、若干个第三卷积和一个FC全连接结构。
6.根据权利要求1所述的一种人脸关键点定位方法，其特征在于，在获取人脸图像信息之前还包括：将训练集样本按照角度分类，并根据各个角度中的样本数量进行样本数据平衡。
7.根据权利要求6所述的一种人脸关键点定位方法，其特征在于，所述将训练集样本按照角度分类，并根据各个角度中的样本数量进行样本数据平衡，具体包括：
将若干张正脸的平均值作为预定义的标准脸；
在所述标准脸上固定若干个关键点坐标作为所有样本的固定参考点；
根据所述若干个固定参考点在每张样本上一一找出对应的对照点；
针对每张样本，利用所述若干个固定参考点和对照点通过SolvePnp估算一个旋转矩阵，并从所述旋转矩阵中解算出角度，从而获得每张样本对应的角度；
根据所述每张样本对应的角度将各个样本按角度进行分类并统计数量；
复制样本数量较少的分类中的样本来平衡训练数据。
8.一种人脸关键点定位装置，其特征在于，包括：
存储器，用于存储人脸关键点定位程序；
处理器，在运行所述人脸关键点定位程序时执行权利要求1-8任一项所述人脸关键点定位方法的步骤。
9.一种人脸关键点定位终端，其特征在于，包括：
图像采集装置，用于采集人脸图像信息；
驾驶状态检测装置，用于检测驾驶人员的驾驶状态；
如权利要求8所述的人脸关键点定位装置，输入端连接所述图像采集装置，输出端连接所述驾驶状态检测装置。
10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行权利要求1至7中任一项所述人脸关键点定位方法的计算机程序。
CN202111501969.3A 2021-12-09 2021-12-09 一种人脸关键点定位方法、装置、终端及存储介质 Pending CN114187634A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111501969.3A CN114187634A (zh) 2021-12-09 2021-12-09 一种人脸关键点定位方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111501969.3A CN114187634A (zh) 2021-12-09 2021-12-09 一种人脸关键点定位方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN114187634A true CN114187634A (zh) 2022-03-15

Family

ID=80604152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111501969.3A Pending CN114187634A (zh) 2021-12-09 2021-12-09 一种人脸关键点定位方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN114187634A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012822A (zh) * 2022-12-26 2023-04-25 无锡车联天下信息技术有限公司 一种疲劳驾驶的识别方法、装置及电子设备
CN118486007A (zh) * 2024-07-16 2024-08-13 江苏国信瑞科系统工程有限公司 一体化数字视频管理系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012822A (zh) * 2022-12-26 2023-04-25 无锡车联天下信息技术有限公司 一种疲劳驾驶的识别方法、装置及电子设备
CN116012822B (zh) * 2022-12-26 2024-01-30 无锡车联天下信息技术有限公司 一种疲劳驾驶的识别方法、装置及电子设备
CN118486007A (zh) * 2024-07-16 2024-08-13 江苏国信瑞科系统工程有限公司 一体化数字视频管理系统及方法

Similar Documents

Publication Publication Date Title
CN110188705B (zh) 一种适用于车载系统的远距离交通标志检测识别方法
KR102224253B1 (ko) 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 및 이를 기반으로 하는 분류 방법
CN111209921A (zh) 基于改进的YOLOv3网络的车牌检测模型及构建方法
US9396415B2 (en) Neural network image representation
CN109858506B (zh) 一种面向卷积神经网络分类结果的可视化算法
CN110879982B (zh) 一种人群计数系统及方法
CN110619638A (zh) 一种基于卷积块注意模块的多模态融合显著性检测方法
CN114565655B (zh) 一种基于金字塔分割注意力的深度估计方法及装置
CN114187634A (zh) 一种人脸关键点定位方法、装置、终端及存储介质
CN113723366B (zh) 一种行人重识别方法、装置及计算机设备
CN114529982B (zh) 基于流式注意力的轻量级人体姿态估计方法及系统
CN115526935A (zh) 基于全局和局部信息的像素级抓取位姿检测方法及系统
CN112149590A (zh) 一种手部关键点检测方法
CN113642393A (zh) 基于注意力机制的多特征融合视线估计方法
CN115761393B (zh) 一种基于模板在线学习的无锚目标跟踪方法
EP3588441B1 (en) Imagification of multivariate data sequences
CN110458178A (zh) 多模态多拼接的rgb-d显著性目标检测方法
CN117456330A (zh) 一种基于MSFAF-Net的低照度目标检测方法
CN114492634B (zh) 一种细粒度装备图片分类识别方法及系统
CN109508640A (zh) 一种人群情感分析方法、装置和存储介质
CN112149662A (zh) 一种基于扩张卷积块的多模态融合显著性检测方法
CN111179212A (zh) 集成蒸馏策略和反卷积的微小目标检测片上实现方法
CN114220138A (zh) 一种人脸对齐方法、训练方法、装置和存储介质
CN113919479B (zh) 一种提取数据特征的方法和相关装置
CN117522923A (zh) 融合多模态特征的目标跟踪系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination