CN110781712A - 一种基于人脸检测与识别的人头空间定位方法 - Google Patents

一种基于人脸检测与识别的人头空间定位方法 Download PDF

Info

Publication number
CN110781712A
CN110781712A CN201910508091.2A CN201910508091A CN110781712A CN 110781712 A CN110781712 A CN 110781712A CN 201910508091 A CN201910508091 A CN 201910508091A CN 110781712 A CN110781712 A CN 110781712A
Authority
CN
China
Prior art keywords
face
human
distance
face detection
human face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910508091.2A
Other languages
English (en)
Other versions
CN110781712B (zh
Inventor
杨学军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hui Chen Mdt Infotech Ltd
Original Assignee
Shanghai Hui Chen Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hui Chen Mdt Infotech Ltd filed Critical Shanghai Hui Chen Mdt Infotech Ltd
Priority to CN201910508091.2A priority Critical patent/CN110781712B/zh
Publication of CN110781712A publication Critical patent/CN110781712A/zh
Application granted granted Critical
Publication of CN110781712B publication Critical patent/CN110781712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，包括以下步骤：获取图像；采用多层级联人脸检测方法对处理后的图像进行人脸检测；基于自编码网络进行5个面部关键特征点精确定位；基于关键特征点分析进行人脸倾斜角度估算；进行人脸距离和方位的计算；通过人脸检测和对齐获取人脸的5个关键特征点，通过这些关键特征点的位置信息计算得出人脸相对摄像机的距离和方位，最后通过性别年龄识别技术对计算结果进行修正，达到更高的距离精度；仅需要一个简单的低值摄像头即可获取人头相对摄像头的空间位置信息，可以用于低端机器人、手机智能APP、智能显示器支架等场合，具有很高的实用价值。

Description

一种基于人脸检测与识别的人头空间定位方法
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于人脸检测与识别的人头空间定位方法。
背景技术
在计算机视觉领域里，对人头进行空间定位对于机器人、基于手机的智能APP、智能显示器支架等应用场合都是一个不可或缺的功能要求。这种定位通常需要采用双目摄像机、深度摄像机、激光/微波雷达等技术实现，这往往会带来系统硬件成本和计算复杂度的提升。
由于深度学习技术的突飞猛进，人脸检测、对齐与识别的精度和速度已逐渐达到了实用化的要求。但常规的人脸检测和对齐都是为了检测和分割人脸，识别则用于确定身份。但实际上人脸的很多信息我们都可以加以综合利用，比如五官的一些变化及微表情可以得到此人的当前状态信息，比如用于驾驶员的疲劳检测等。
发明内容
鉴于目前存在的上述不足，本发明提供一种XX，能够通过人脸检测和对齐获取人脸的5个关键特征点，通过这些关键特征点的位置信息计算得出人脸相对摄像机的距离和方位。
为达到上述目的，本发明的实施例采用如下技术方案：
一种基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，所述人头空间定位方法包括以下步骤：
获取图像；
采用多层级联人脸检测方法对处理后的图像进行人脸检测；
基于自编码网络进行5个面部关键特征点精确定位；
基于关键特征点分析进行人脸倾斜角度估算；
进行人脸距离和方位的计算。
依照本发明的一个方面，所述采用多层级联人脸检测方法对处理后的图像进行人脸检测包括：先使用检测速度比较快的肤色检测对摄像头获取到的图像进行人脸区域预定位，定位到肤色区域后再对面积比较大的肤色区域进行均等多分割并行化多级联人脸检测。
依照本发明的一个方面，所述采用多层级联人脸检测方法对处理后的图像进行人脸检测包括以下步骤：
肤色过滤，输出为只包含肤色部分的图像；
快速LAB特征检测，选出一部分可能包含人脸的候选框；
基于SURF特征的多层感知机级联结构，来进一步挑选出符合人脸特征的候选框，过滤掉一部分非人脸；
优化的基于特征点的多层感知机结构，最终确定出人脸位置。
依照本发明的一个方面，所述基于自编码网络进行5个面部关键特征点精确定位包括以下步骤：
输入一个人脸区域，第一级自编码器网络直接从该人脸的低分辨率版本中快速估计大致的人脸形状S0；
提高输入人脸图像的分辨率，并抽取当前人脸形状S0各特征点位置的局部特征，输入到下一级自编码器网络来进一步优化人脸对齐结果；
基于上述方法步骤实现5个面部关键特征点的精确定位，包括两眼中心、鼻尖和两嘴角，前三个特征点的坐标分别为：左眼坐标(x0,y0)，右眼坐标(x1,y1)，鼻子坐标(x2,y2)。
依照本发明的一个方面，所述基于关键特征点分析进行人脸倾斜角度估算包括以下步骤：
人脸倾斜角度计算与校正，根据左右眼睛的坐标计算倾斜角度B：
Figure BDA0002092506080000021
求出B后，对特征点坐标绕原点进行B角度的旋转，
Figure BDA0002092506080000022
求出左右眼及鼻子的校正后坐标(x′1,y′1),(x′2,y′2),(x′3,y′3)；
人头旋转角度计算，经倾斜校正后，可以通过左眼，右眼，鼻尖的横坐标来计算出人脸的旋转角度，首先记变量G为：
旋转角度A与G的关系为：
A＝(G-1)*20 (4)。
依照本发明的一个方面，所述进行人脸距离和方位的计算包括以下步骤：
人脸离屏幕垂直距离的计算，首先通过欧氏距离公式计算图像中双眼间像素距离d0，则实际双眼像素间距为：
d＝d0/CosA (5)
设人脸离屏幕的垂直距离为L，L和d的关系应为：
L＝K/d (6)
其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：
Figure BDA0002092506080000031
人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K；
进行人脸方位的确定。
依照本发明的一个方面，所述基于人脸检测与识别的人头空间定位方法还包括以下步骤：基于卷积神经网络进行人脸的性别年龄识别。
依照本发明的一个方面，所述基于卷积神经网络进行人脸的性别年龄识别包括以下步骤：
将检测到的人脸图像归一化到48*48；
采用已训练的48*48大小的DeepID性别识别网络，进行性别识别，分为男女两类；
采用已训练的48*48大小的DeepID年龄识别网络，进行年龄识别，分成成年和儿童两类。
依照本发明的一个方面，所述进行人脸距离和方位的计算包括以下步骤：
人脸离屏幕垂直距离的计算，首先通过欧氏距离公式计算图像中双眼间像素距离d0，则实际双眼像素间距为：
d＝d0/CosA (5)
设人脸离屏幕的垂直距离为L，L和d的关系应为：
L＝K/d (6)
其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：
Figure BDA0002092506080000032
人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K；
性别年龄对距离的修正，用二个系数Kg、Ka分别表示对男女、老少的校正系数，则式(7)的修正公式为：
Figure BDA0002092506080000041
其中Kg对于男女分别为1.01、0.99，Ka对于成年、儿童分别为1.02、0.98；
进行人脸方位的确定。
本发明实施的优点：本发明所述的基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，所述人头空间定位方法包括以下步骤：获取图像；采用多层级联人脸检测方法对处理后的图像进行人脸检测；基于自编码网络进行5个面部关键特征点精确定位；基于关键特征点分析进行人脸倾斜角度估算；进行人脸距离和方位的计算；通过人脸检测和对齐获取人脸的5个关键特征点，通过这些关键特征点的位置信息计算得出人脸相对摄像机的距离和方位，最后通过性别年龄识别技术对计算结果进行修正，达到更高的距离精度。由于本方法仅需要一个简单的低值摄像头即可获取人头相对摄像头的空间位置信息，并且具有一定的定位精度，可以用于低端机器人、手机智能APP、智能显示器支架等场合，具有很高的实用价值；将普通的摄像头连接处理主机，通过基于计算机视觉的智能处理算法实现人脸检测、对齐和性别年龄识别，并据此得到人头的距离和方位。系统不仅不易受场景光线变化、阴影、透视效应及遮挡的影响，而且设备简单，能有效提高人头空间定位的精度和实时性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一所述的一种基于人脸检测与识别的人头空间定位方法示意图；
图2为本发明实施例二所述的一种基于人脸检测与识别的人头空间定位方法示意图；
图3为本发明实施例所述的提取的特征点示意图；
图4为本发明实施例二所述的基于人脸检测与识别的人头空间定位方法实现流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1、图3所示，一种基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，所述人头空间定位方法包括以下步骤：
步骤S1：获取图像；
构建图像采集与处理硬件系统，将普通的摄像头连接处理主机，主机可以是PC或任何嵌入式设备，摄像头可以是主机自带或外接的摄像头；还可通过系统的摄像头进行图像采集，摄像或者拍照，所述摄像头可以是设置在手机上的摄像头，手机上预设有本方法实现的软件程序。
步骤S2：采用多层级联人脸检测方法对处理后的图像进行人脸检测；
所述采用多层级联人脸检测方法对处理后的图像进行人脸检测包括：采用多层级联快速人脸检测方法对人脸进行精确检测，先使用检测速度比较快的肤色检测对摄像头获取到的图像进行人脸区域预定位，定位到肤色区域后再对面积比较大的肤色区域进行均等多分割并行化多级联人脸检测，从而达到加快人脸检测速度的目的。具体步骤如下：
(2-1)肤色过滤，输出为只包含肤色部分的图像；
(2-2)快速LAB特征检测，选出一部分可能包含人脸的候选框；
(2-3)基于SURF特征的多层感知机级联结构，来进一步挑选出符合人脸特征的候选框，过滤掉一部分非人脸；
(2-4)优化的基于特征点的多层感知机结构，最终确定出人脸位置。
步骤S3：基于自编码网络进行5个面部关键特征点精确定位；
基于自编码网络的5个面部关键特征点精确定位，采用由粗至细的自编码网络实现，具体步骤如下：
(3-1)输入一个人脸区域，第一级自编码器网络直接从该人脸的低分辨率版本中快速估计大致的人脸形状S0。
(3-2)提高输入人脸图像的分辨率，并抽取当前人脸形状S0(相应提升分辨率)各特征点位置的局部特征，输入到下一级自编码器网络来进一步优化人脸对齐结果。以此类推，在越来越高分辨率的人脸图像上逐步优化人脸对齐结果。
(3-3)基于上述方法步骤实现5个面部关键特征点的精确定位，包括两眼中心、鼻尖和两嘴角，前三个特征点的坐标分别为：左眼坐标(x0,y0)，右眼坐标(x1,y1)，鼻子坐标(x2,y2)。
步骤S4：基于关键特征点分析进行人脸倾斜角度估算；
基于关键特征点分析的人脸倾斜角度估算，从5个特征点的坐标位置估算旋转角度，具体步骤如下：
(4-1)人脸倾斜角度计算与校正。根据左右眼睛的坐标计算倾斜角度B：
求出B后，对特征点坐标绕原点进行B角度的旋转，
求出左右眼及鼻子的校正后坐标(x′1,y′1),(x′2,y′2),(x′3,y′3)。
(4-2)人头旋转角度计算。经倾斜校正后，可以通过左眼，右眼，鼻尖的横坐标来计算出人脸的旋转角度。首先记变量G为：
Figure BDA0002092506080000063
旋转角度A与G的关系为：
A＝(G-1)*20 (4)。
步骤S5：进行人脸距离和方位的计算。
所述进行人脸距离和方位的计算包括以下步骤：
人脸离屏幕垂直距离的计算，首先通过欧氏距离公式计算图像中双眼间像素距离d0，则实际双眼像素间距为：
d＝d0/CosA (5)
设人脸离屏幕的垂直距离为L，L和d的关系应为：
L＝K/d (6)
其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：
人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K；
进行人脸方位的确定。因为鼻尖的特征点在人脸的正中间，所以，只要知道鼻尖的坐标值，即可确定人脸在摄像头前方的具体方位。
实施例二
如图2、图3和图4所示，一种基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，所述人头空间定位方法包括以下步骤：
步骤S1：获取图像；
构建图像采集与处理硬件系统，将普通的摄像头连接处理主机，主机可以是PC或任何嵌入式设备，摄像头可以是主机自带或外接的摄像头；还可通过系统的摄像头进行图像采集，摄像或者拍照，所述摄像头可以是设置在手机上的摄像头，手机上预设有本方法实现的软件程序。
步骤S2：采用多层级联人脸检测方法对处理后的图像进行人脸检测；
所述采用多层级联人脸检测方法对处理后的图像进行人脸检测包括：采用多层级联快速人脸检测方法对人脸进行精确检测，先使用检测速度比较快的肤色检测对摄像头获取到的图像进行人脸区域预定位，定位到肤色区域后再对面积比较大的肤色区域进行均等多分割并行化多级联人脸检测，从而达到加快人脸检测速度的目的。具体步骤如下：
(2-1)肤色过滤，输出为只包含肤色部分的图像；
(2-2)快速LAB特征检测，选出一部分可能包含人脸的候选框；
(2-3)基于SURF特征的多层感知机级联结构，来进一步挑选出符合人脸特征的候选框，过滤掉一部分非人脸；
(2-4)优化的基于特征点的多层感知机结构，最终确定出人脸位置。
步骤S3：基于自编码网络进行5个面部关键特征点精确定位；
基于自编码网络的5个面部关键特征点精确定位，采用由粗至细的自编码网络实现，具体步骤如下：
(3-1)输入一个人脸区域，第一级自编码器网络直接从该人脸的低分辨率版本中快速估计大致的人脸形状S0。
(3-2)提高输入人脸图像的分辨率，并抽取当前人脸形状S0(相应提升分辨率)各特征点位置的局部特征，输入到下一级自编码器网络来进一步优化人脸对齐结果。以此类推，在越来越高分辨率的人脸图像上逐步优化人脸对齐结果。
(3-3)基于上述方法步骤实现5个面部关键特征点的精确定位，包括两眼中心、鼻尖和两嘴角，前三个特征点的坐标分别为：左眼坐标(x0,y0)，右眼坐标(x1,y1)，鼻子坐标(x2,y2)。
步骤S4：基于卷积神经网络进行人脸的性别年龄识别；
基于卷积神经网络的性别年龄识别，采用DeepID卷积神经网络对人脸图像进行性别和年龄识别，具体步骤如下：
(4-1)将检测到的人脸图像归一化到48*48。
(4-2)采用已训练的48*48大小的DeepID性别识别网络，进行性别识别，分为男女两类。
(4-3)采用已训练的48*48大小的DeepID年龄识别网络，进行年龄识别，分成成年和儿童两类。
步骤S5：基于关键特征点分析进行人脸倾斜角度估算；
基于关键特征点分析的人脸倾斜角度估算，从5个特征点的坐标位置估算旋转角度，具体步骤如下：
(5-1)人脸倾斜角度计算与校正。根据左右眼睛的坐标计算倾斜角度B：
Figure BDA0002092506080000081
求出B后，对特征点坐标绕原点进行B角度的旋转，
Figure BDA0002092506080000091
求出左右眼及鼻子的校正后坐标(x′1,y′1),(x′2,y′2),(x′3,y′3)。
(5-2)人头旋转角度计算。经倾斜校正后，可以通过左眼，右眼，鼻尖的横坐标来计算出人脸的旋转角度。首先记变量G为：
Figure BDA0002092506080000092
旋转角度A与G的关系为：
A＝(G-1)*20 (4)。
步骤S6：进行人脸距离和方位的计算。
人脸距离和方位估算，其特征在于从旋转角度和双眼像素间距计算人脸离屏幕垂直距离，并用性别年龄识别结果对距离进行修正。具体步骤如下：
(6-1)人脸离屏幕垂直距离的计算。首先通过欧氏距离公式计算图像中双眼间像素距离d0，则实际双眼像素间距为：
d＝d0/CosA (5)
设人脸离屏幕的垂直距离为L，L和d的关系应为
L＝K/d (6)
其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：
人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K。
(6-2)性别年龄对距离的修正。由于不同人的双眼实际间距并不完全相同，理论上这个K值与不同的人有关。但据文献统计，人体双眼间距统计上大致符合正态分布，平均值在6cm左右，95％以上的间距在6cm的正负10％以内，并且男、女、成年、儿童的人群平均值与总体平均值间有个基本固定的比例关系，我们用二个系数Kg、Ka分别表示对男女、老少的校正系数，则式(7)的修正公式为：
Figure BDA0002092506080000101
其中Kg对于男女分别为1.01、0.99，Ka对于成年、儿童分别为1.02、0.98。
(6-3)人脸方位确定。因为鼻尖的特征点在人脸的正中间，所以，只要知道鼻尖的坐标值，即可确定人脸在摄像头前方的具体方位。
本发明实施的优点：本发明所述的基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，所述人头空间定位方法包括以下步骤：获取图像；采用多层级联人脸检测方法对处理后的图像进行人脸检测；基于自编码网络进行5个面部关键特征点精确定位；基于关键特征点分析进行人脸倾斜角度估算；进行人脸距离和方位的计算；通过人脸检测和对齐获取人脸的5个关键特征点，通过这些关键特征点的位置信息计算得出人脸相对摄像机的距离和方位，最后通过性别年龄识别技术对计算结果进行修正，达到更高的距离精度。由于本方法仅需要一个简单的低值摄像头即可获取人头相对摄像头的空间位置信息，并且具有一定的定位精度，可以用于低端机器人、手机智能APP、智能显示器支架等场合，具有很高的实用价值。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，其特征在于，所述人头空间定位方法包括以下步骤：
获取图像；
采用多层级联人脸检测方法对处理后的图像进行人脸检测；
基于自编码网络进行5个面部关键特征点精确定位；
基于关键特征点分析进行人脸倾斜角度估算；
进行人脸距离和方位的计算。
2.根据权利要求1所述的基于人脸检测与识别的人头空间定位方法，其特征在于，所述采用多层级联人脸检测方法对处理后的图像进行人脸检测包括：先使用检测速度比较快的肤色检测对摄像头获取到的图像进行人脸区域预定位，定位到肤色区域后再对面积比较大的肤色区域进行均等多分割并行化多级联人脸检测。
3.根据权利要求2所述的基于人脸检测与识别的人头空间定位方法，其特征在于，所述采用多层级联人脸检测方法对处理后的图像进行人脸检测包括以下步骤：
肤色过滤，输出为只包含肤色部分的图像；
快速LAB特征检测，选出一部分可能包含人脸的候选框；
基于SURF特征的多层感知机级联结构，来进一步挑选出符合人脸特征的候选框，过滤掉一部分非人脸；
优化的基于特征点的多层感知机结构，最终确定出人脸位置。
4.根据权利要求1所述的基于人脸检测与识别的人头空间定位方法，其特征在于，所述基于自编码网络进行5个面部关键特征点精确定位包括以下步骤：
输入一个人脸区域，第一级自编码器网络直接从该人脸的低分辨率版本中快速估计大致的人脸形状S0；
提高输入人脸图像的分辨率，并抽取当前人脸形状S0各特征点位置的局部特征，输入到下一级自编码器网络来进一步优化人脸对齐结果；
基于上述方法步骤实现5个面部关键特征点的精确定位，包括两眼中心、鼻尖和两嘴角，前三个特征点的坐标分别为：左眼坐标(x0,y0)，右眼坐标(x1,y1)，鼻子坐标(x2,y2)。
5.根据权利要求1所述的基于人脸检测与识别的人头空间定位方法，其特征在于，所述基于关键特征点分析进行人脸倾斜角度估算包括以下步骤：
人脸倾斜角度计算与校正，根据左右眼睛的坐标计算倾斜角度B：
Figure FDA0002092506070000021
求出B后，对特征点坐标绕原点进行B角度的旋转，
求出左右眼及鼻子的校正后坐标(x′1,y′1),(x′2,y′2),(x′3,y′3)；
人头旋转角度计算，经倾斜校正后，可以通过左眼，右眼，鼻尖的横坐标来计算出人脸的旋转角度，首先记变量G为：
Figure FDA0002092506070000023
旋转角度A与G的关系为：
A＝(G-1)*20 (4)。
6.根据权利要求1所述的基于人脸检测与识别的人头空间定位方法，其特征在于，所述进行人脸距离和方位的计算包括以下步骤：
人脸离屏幕垂直距离的计算，首先通过欧氏距离公式计算图像中双眼间像素距离d0，则实际双眼像素间距为：
d＝d0/CosA (5)
设人脸离屏幕的垂直距离为L，L和d的关系应为：
L＝K/d (6)
其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：
Figure FDA0002092506070000024
人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K；
进行人脸方位的确定。
7.根据权利要求1至6之一所述的基于人脸检测与识别的人头空间定位方法，其特征在于，所述基于人脸检测与识别的人头空间定位方法还包括以下步骤：基于卷积神经网络进行人脸的性别年龄识别。
8.根据权利要求7所述的基于人脸检测与识别的人头空间定位方法，其特征在于，所述基于卷积神经网络进行人脸的性别年龄识别包括以下步骤：
将检测到的人脸图像归一化到48*48；
采用已训练的48*48大小的DeepID性别识别网络，进行性别识别，分为男女两类；
采用已训练的48*48大小的DeepID年龄识别网络，进行年龄识别，分成成年和儿童两类。
9.根据权利要求8所述的基于人脸检测与识别的人头空间定位方法，其特征在于，所述进行人脸距离和方位的计算包括以下步骤：
人脸离屏幕垂直距离的计算，首先通过欧氏距离公式计算图像中双眼间像素距离d0，则实际双眼像素间距为：
d＝d0/CosA (5)
设人脸离屏幕的垂直距离为L，L和d的关系应为：
L＝K/d (6)
其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：
Figure FDA0002092506070000031
人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K；
性别年龄对距离的修正，用二个系数Kg、Ka分别表示对男女、老少的校正系数，则式(7)的修正公式为：
Figure FDA0002092506070000032
其中Kg对于男女分别为1.01、0.99，Ka对于成年、儿童分别为1.02、0.98；
进行人脸方位的确定。
CN201910508091.2A 2019-06-12 2019-06-12 一种基于人脸检测与识别的人头空间定位方法 Active CN110781712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910508091.2A CN110781712B (zh) 2019-06-12 2019-06-12 一种基于人脸检测与识别的人头空间定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910508091.2A CN110781712B (zh) 2019-06-12 2019-06-12 一种基于人脸检测与识别的人头空间定位方法

Publications (2)

Publication Number Publication Date
CN110781712A true CN110781712A (zh) 2020-02-11
CN110781712B CN110781712B (zh) 2023-05-02

Family

ID=69383043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910508091.2A Active CN110781712B (zh) 2019-06-12 2019-06-12 一种基于人脸检测与识别的人头空间定位方法

Country Status (1)

Country Link
CN (1) CN110781712B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364777A (zh) * 2020-11-12 2021-02-12 浙江工商大学 一种基于人脸识别的人脸间距估计方法
CN113780045A (zh) * 2020-12-21 2021-12-10 北京沃东天骏信息技术有限公司 用于训练距离预测模型的方法和装置
CN113822929A (zh) * 2021-10-28 2021-12-21 中国建设银行股份有限公司 图像处理方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915656A (zh) * 2015-06-12 2015-09-16 东北大学 一种基于双目视觉测量技术的快速人脸识别方法
WO2017152649A1 (zh) * 2016-03-08 2017-09-14 珠海全志科技股份有限公司 一种自动提示人眼离屏幕距离的方法和系统
WO2018001092A1 (zh) * 2016-06-29 2018-01-04 中兴通讯股份有限公司 一种人脸识别方法及装置
CN108491784A (zh) * 2018-03-16 2018-09-04 南京邮电大学 面向大型直播场景的单人特写实时识别与自动截图方法
CN108564049A (zh) * 2018-04-22 2018-09-21 北京工业大学 一种基于深度学习的快速人脸检测识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915656A (zh) * 2015-06-12 2015-09-16 东北大学 一种基于双目视觉测量技术的快速人脸识别方法
WO2017152649A1 (zh) * 2016-03-08 2017-09-14 珠海全志科技股份有限公司 一种自动提示人眼离屏幕距离的方法和系统
WO2018001092A1 (zh) * 2016-06-29 2018-01-04 中兴通讯股份有限公司 一种人脸识别方法及装置
CN108491784A (zh) * 2018-03-16 2018-09-04 南京邮电大学 面向大型直播场景的单人特写实时识别与自动截图方法
CN108564049A (zh) * 2018-04-22 2018-09-21 北京工业大学 一种基于深度学习的快速人脸检测识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崔凯等: "基于SURF特征的栈式自编码网络人脸对齐算法", 《液晶与显示》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364777A (zh) * 2020-11-12 2021-02-12 浙江工商大学 一种基于人脸识别的人脸间距估计方法
CN112364777B (zh) * 2020-11-12 2023-05-16 浙江工商大学 一种基于人脸识别的人脸间距估计方法
CN113780045A (zh) * 2020-12-21 2021-12-10 北京沃东天骏信息技术有限公司 用于训练距离预测模型的方法和装置
CN113822929A (zh) * 2021-10-28 2021-12-21 中国建设银行股份有限公司 图像处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110781712B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN106598221B (zh) 基于眼部关键点检测的3d视线方向估计方法
CN108764071B (zh) 一种基于红外和可见光图像的真实人脸检测方法及装置
US11087169B2 (en) Image processing apparatus that identifies object and method therefor
CN109598242B (zh) 一种活体检测方法
JP5567853B2 (ja) 画像認識装置および方法
JP5766564B2 (ja) 顔認証装置及び顔認証方法
CN109583304A (zh) 一种基于结构光模组的快速3d人脸点云生成方法及装置
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
CN110781712B (zh) 一种基于人脸检测与识别的人头空间定位方法
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN108416291B (zh) 人脸检测识别方法、装置和系统
EP3241151A1 (en) An image face processing method and apparatus
JP6157165B2 (ja) 視線検出装置及び撮像装置
CN112183200B (zh) 一种基于视频图像的眼动追踪方法和系统
CN109389018B (zh) 一种人脸角度识别方法、装置及设备
KR20170080116A (ko) 깊이정보를 이용한 안면인식시스템
CN102663384A (zh) 基于贝塞尔控制点搜索的曲线识别方法及装置
CN108363964A (zh) 一种预先处理的皮肤皱纹评估方法及系统
CN103268482A (zh) 一种低复杂度的手势提取和手势深度获取方法
CN111784660B (zh) 一种用于人脸图像的正脸程度的分析方法和系统
JP6798609B2 (ja) 映像解析装置、映像解析方法およびプログラム
CN112508998A (zh) 基于全局运动的视觉目标对齐方法
JP2019027882A (ja) 物体距離検出装置
CN106406507B (zh) 图像处理方法以及电子设备
CN117372657A (zh) 关键点旋转模型的训练方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant