CN110781712B - 一种基于人脸检测与识别的人头空间定位方法 - Google Patents

一种基于人脸检测与识别的人头空间定位方法 Download PDF

Info

Publication number
CN110781712B
CN110781712B CN201910508091.2A CN201910508091A CN110781712B CN 110781712 B CN110781712 B CN 110781712B CN 201910508091 A CN201910508091 A CN 201910508091A CN 110781712 B CN110781712 B CN 110781712B
Authority
CN
China
Prior art keywords
face
human
distance
camera
steps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910508091.2A
Other languages
English (en)
Other versions
CN110781712A (zh
Inventor
杨学军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Huichen Information Technology Co ltd
Original Assignee
Shanghai Huichen Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Huichen Information Technology Co ltd filed Critical Shanghai Huichen Information Technology Co ltd
Priority to CN201910508091.2A priority Critical patent/CN110781712B/zh
Publication of CN110781712A publication Critical patent/CN110781712A/zh
Application granted granted Critical
Publication of CN110781712B publication Critical patent/CN110781712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，包括以下步骤：获取图像；采用多层级联人脸检测方法对处理后的图像进行人脸检测；基于自编码网络进行5个面部关键特征点精确定位；基于关键特征点分析进行人脸倾斜角度估算；进行人脸距离和方位的计算；通过人脸检测和对齐获取人脸的5个关键特征点，通过这些关键特征点的位置信息计算得出人脸相对摄像机的距离和方位，最后通过性别年龄识别技术对计算结果进行修正，达到更高的距离精度；仅需要一个简单的低值摄像头即可获取人头相对摄像头的空间位置信息，可以用于低端机器人、手机智能APP、智能显示器支架等场合，具有很高的实用价值。

Description

一种基于人脸检测与识别的人头空间定位方法
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于人脸检测与识别的人头空间定位方法。
背景技术
在计算机视觉领域里，对人头进行空间定位对于机器人、基于手机的智能APP、智能显示器支架等应用场合都是一个不可或缺的功能要求。这种定位通常需要采用双目摄像机、深度摄像机、激光/微波雷达等技术实现，这往往会带来系统硬件成本和计算复杂度的提升。
由于深度学习技术的突飞猛进，人脸检测、对齐与识别的精度和速度已逐渐达到了实用化的要求。但常规的人脸检测和对齐都是为了检测和分割人脸，识别则用于确定身份。但实际上人脸的很多信息我们都可以加以综合利用，比如五官的一些变化及微表情可以得到此人的当前状态信息，比如用于驾驶员的疲劳检测等。
发明内容
鉴于目前存在的上述不足，本发明提供一种XX，能够通过人脸检测和对齐获取人脸的5个关键特征点，通过这些关键特征点的位置信息计算得出人脸相对摄像机的距离和方位。
为达到上述目的，本发明的实施例采用如下技术方案：
一种基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，所述人头空间定位方法包括以下步骤：
获取图像；
采用多层级联人脸检测方法对处理后的图像进行人脸检测；
基于自编码网络进行5个面部关键特征点精确定位；
基于关键特征点分析进行人脸倾斜角度估算；
进行人脸距离和方位的计算。
依照本发明的一个方面，所述采用多层级联人脸检测方法对处理后的图像进行人脸检测包括：先使用检测速度比较快的肤色检测对摄像头获取到的图像进行人脸区域预定位，定位到肤色区域后再对面积比较大的肤色区域进行均等多分割并行化多级联人脸检测。
依照本发明的一个方面，所述采用多层级联人脸检测方法对处理后的图像进行人脸检测包括以下步骤：
肤色过滤，输出为只包含肤色部分的图像；
快速LAB特征检测，选出一部分可能包含人脸的候选框；
基于SURF特征的多层感知机级联结构，来进一步挑选出符合人脸特征的候选框，过滤掉一部分非人脸；
优化的基于特征点的多层感知机结构，最终确定出人脸位置。
依照本发明的一个方面，所述基于自编码网络进行5个面部关键特征点精确定位包括以下步骤：
输入一个人脸区域，第一级自编码器网络直接从该人脸的低分辨率版本中快速估计大致的人脸形状S0；
提高输入人脸图像的分辨率，并抽取当前人脸形状S0各特征点位置的局部特征，输入到下一级自编码器网络来进一步优化人脸对齐结果；
基于上述方法步骤实现5个面部关键特征点的精确定位，包括两眼中心、鼻尖和两嘴角，前三个特征点的坐标分别为：左眼坐标(x0,y0)，右眼坐标(x1,y1)，鼻子坐标(x2,y2)。
依照本发明的一个方面，所述基于关键特征点分析进行人脸倾斜角度估算包括以下步骤：
人脸倾斜角度计算与校正，根据左右眼睛的坐标计算倾斜角度B：
Figure BDA0002092506080000021
求出B后，对特征点坐标绕原点进行B角度的旋转，
Figure BDA0002092506080000022
求出左右眼及鼻子的校正后坐标(x′1,y′1),(x′2,y′2),(x′3,y′3)；
人头旋转角度计算，经倾斜校正后，可以通过左眼，右眼，鼻尖的横坐标来计算出人脸的旋转角度，首先记变量G为：
Figure BDA0002092506080000023
旋转角度A与G的关系为：
A＝(G-1)*20             (4)
依照本发明的一个方面，所述进行人脸距离和方位的计算包括以下步骤：
人脸离屏幕垂直距离的计算，首先通过欧氏距离公式计算图像中双眼间像素距离d0，则实际双眼像素间距为：
d＝d0/CosA              (5)
设人脸离屏幕的垂直距离为L，L和d的关系应为：
L＝K/d                 (6)
其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：
Figure BDA0002092506080000031
人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K；
进行人脸方位的确定。
依照本发明的一个方面，所述基于人脸检测与识别的人头空间定位方法还包括以下步骤：基于卷积神经网络进行人脸的性别年龄识别。
依照本发明的一个方面，所述基于卷积神经网络进行人脸的性别年龄识别包括以下步骤：
将检测到的人脸图像归一化到48*48；
采用已训练的48*48大小的DeepID性别识别网络，进行性别识别，分为男女两类；
采用已训练的48*48大小的DeepID年龄识别网络，进行年龄识别，分成成年和儿童两类。
依照本发明的一个方面，所述进行人脸距离和方位的计算包括以下步骤：
人脸离屏幕垂直距离的计算，首先通过欧氏距离公式计算图像中双眼间像素距离d0，则实际双眼像素间距为：
d＝d0/CosA              (5)
设人脸离屏幕的垂直距离为L，L和d的关系应为：
L＝K/d                 (6)
其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：
Figure BDA0002092506080000032
人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K；
性别年龄对距离的修正，用二个系数Kg、Ka分别表示对男女、老少的校正系数，则式(7)的修正公式为：
Figure BDA0002092506080000041
其中Kg对于男女分别为1.01、0.99，Ka对于成年、儿童分别为1.02、0.98；
进行人脸方位的确定。
本发明实施的优点：本发明所述的基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，所述人头空间定位方法包括以下步骤：获取图像；采用多层级联人脸检测方法对处理后的图像进行人脸检测；基于自编码网络进行5个面部关键特征点精确定位；基于关键特征点分析进行人脸倾斜角度估算；进行人脸距离和方位的计算；通过人脸检测和对齐获取人脸的5个关键特征点，通过这些关键特征点的位置信息计算得出人脸相对摄像机的距离和方位，最后通过性别年龄识别技术对计算结果进行修正，达到更高的距离精度。由于本方法仅需要一个简单的低值摄像头即可获取人头相对摄像头的空间位置信息，并且具有一定的定位精度，可以用于低端机器人、手机智能APP、智能显示器支架等场合，具有很高的实用价值；将普通的摄像头连接处理主机，通过基于计算机视觉的智能处理算法实现人脸检测、对齐和性别年龄识别，并据此得到人头的距离和方位。系统不仅不易受场景光线变化、阴影、透视效应及遮挡的影响，而且设备简单，能有效提高人头空间定位的精度和实时性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一所述的一种基于人脸检测与识别的人头空间定位方法示意图；
图2为本发明实施例二所述的一种基于人脸检测与识别的人头空间定位方法示意图；
图3为本发明实施例所述的提取的特征点示意图；
图4为本发明实施例二所述的基于人脸检测与识别的人头空间定位方法实现流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1、图3所示，一种基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，所述人头空间定位方法包括以下步骤：
步骤S1：获取图像；
构建图像采集与处理硬件系统，将普通的摄像头连接处理主机，主机可以是PC或任何嵌入式设备，摄像头可以是主机自带或外接的摄像头；还可通过系统的摄像头进行图像采集，摄像或者拍照，所述摄像头可以是设置在手机上的摄像头，手机上预设有本方法实现的软件程序。
步骤S2：采用多层级联人脸检测方法对处理后的图像进行人脸检测；
所述采用多层级联人脸检测方法对处理后的图像进行人脸检测包括：采用多层级联快速人脸检测方法对人脸进行精确检测，先使用检测速度比较快的肤色检测对摄像头获取到的图像进行人脸区域预定位，定位到肤色区域后再对面积比较大的肤色区域进行均等多分割并行化多级联人脸检测，从而达到加快人脸检测速度的目的。具体步骤如下：
(2-1)肤色过滤，输出为只包含肤色部分的图像；
(2-2)快速LAB特征检测，选出一部分可能包含人脸的候选框；
(2-3)基于SURF特征的多层感知机级联结构，来进一步挑选出符合人脸特征的候选框，过滤掉一部分非人脸；
(2-4)优化的基于特征点的多层感知机结构，最终确定出人脸位置。
步骤S3：基于自编码网络进行5个面部关键特征点精确定位；
基于自编码网络的5个面部关键特征点精确定位，采用由粗至细的自编码网络实现，具体步骤如下：
(3-1)输入一个人脸区域，第一级自编码器网络直接从该人脸的低分辨率版本中快速估计大致的人脸形状S0。
(3-2)提高输入人脸图像的分辨率，并抽取当前人脸形状S0(相应提升分辨率)各特征点位置的局部特征，输入到下一级自编码器网络来进一步优化人脸对齐结果。以此类推，在越来越高分辨率的人脸图像上逐步优化人脸对齐结果。
(3-3)基于上述方法步骤实现5个面部关键特征点的精确定位，包括两眼中心、鼻尖和两嘴角，前三个特征点的坐标分别为：左眼坐标(x0,y0)，右眼坐标(x1,y1)，鼻子坐标(x2,y2)。
步骤S4：基于关键特征点分析进行人脸倾斜角度估算；
基于关键特征点分析的人脸倾斜角度估算，从5个特征点的坐标位置估算旋转角度，具体步骤如下：
(4-1)人脸倾斜角度计算与校正。根据左右眼睛的坐标计算倾斜角度B：
Figure BDA0002092506080000061
求出B后，对特征点坐标绕原点进行B角度的旋转，
Figure BDA0002092506080000062
求出左右眼及鼻子的校正后坐标(x′1,y′1),(x′2,y′2),(x′3,y′3)。
(4-2)人头旋转角度计算。经倾斜校正后，可以通过左眼，右眼，鼻尖的横坐标来计算出人脸的旋转角度。首先记变量G为：
Figure BDA0002092506080000063
旋转角度A与G的关系为：
A＝(G-1)*20                (4)
步骤S5：进行人脸距离和方位的计算。
所述进行人脸距离和方位的计算包括以下步骤：
人脸离屏幕垂直距离的计算，首先通过欧氏距离公式计算图像中双眼间像素距离d0，则实际双眼像素间距为：
d＝d0/CosA              (5)
设人脸离屏幕的垂直距离为L，L和d的关系应为：
L＝K/d                 (6)
其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：
Figure BDA0002092506080000071
人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K；
进行人脸方位的确定。因为鼻尖的特征点在人脸的正中间，所以，只要知道鼻尖的坐标值，即可确定人脸在摄像头前方的具体方位。
实施例二
如图2、图3和图4所示，一种基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，所述人头空间定位方法包括以下步骤：
步骤S1：获取图像；
构建图像采集与处理硬件系统，将普通的摄像头连接处理主机，主机可以是PC或任何嵌入式设备，摄像头可以是主机自带或外接的摄像头；还可通过系统的摄像头进行图像采集，摄像或者拍照，所述摄像头可以是设置在手机上的摄像头，手机上预设有本方法实现的软件程序。
步骤S2：采用多层级联人脸检测方法对处理后的图像进行人脸检测；
所述采用多层级联人脸检测方法对处理后的图像进行人脸检测包括：采用多层级联快速人脸检测方法对人脸进行精确检测，先使用检测速度比较快的肤色检测对摄像头获取到的图像进行人脸区域预定位，定位到肤色区域后再对面积比较大的肤色区域进行均等多分割并行化多级联人脸检测，从而达到加快人脸检测速度的目的。具体步骤如下：
(2-1)肤色过滤，输出为只包含肤色部分的图像；
(2-2)快速LAB特征检测，选出一部分可能包含人脸的候选框；
(2-3)基于SURF特征的多层感知机级联结构，来进一步挑选出符合人脸特征的候选框，过滤掉一部分非人脸；
(2-4)优化的基于特征点的多层感知机结构，最终确定出人脸位置。
步骤S3：基于自编码网络进行5个面部关键特征点精确定位；
基于自编码网络的5个面部关键特征点精确定位，采用由粗至细的自编码网络实现，具体步骤如下：
(3-1)输入一个人脸区域，第一级自编码器网络直接从该人脸的低分辨率版本中快速估计大致的人脸形状S0。
(3-2)提高输入人脸图像的分辨率，并抽取当前人脸形状S0(相应提升分辨率)各特征点位置的局部特征，输入到下一级自编码器网络来进一步优化人脸对齐结果。以此类推，在越来越高分辨率的人脸图像上逐步优化人脸对齐结果。
(3-3)基于上述方法步骤实现5个面部关键特征点的精确定位，包括两眼中心、鼻尖和两嘴角，前三个特征点的坐标分别为：左眼坐标(x0,y0)，右眼坐标(x1,y1)，鼻子坐标(x2,y2)。
步骤S4：基于卷积神经网络进行人脸的性别年龄识别；
基于卷积神经网络的性别年龄识别，采用DeepID卷积神经网络对人脸图像进行性别和年龄识别，具体步骤如下：
(4-1)将检测到的人脸图像归一化到48*48。
(4-2)采用已训练的48*48大小的DeepID性别识别网络，进行性别识别，分为男女两类。
(4-3)采用已训练的48*48大小的DeepID年龄识别网络，进行年龄识别，分成成年和儿童两类。
步骤S5：基于关键特征点分析进行人脸倾斜角度估算；
基于关键特征点分析的人脸倾斜角度估算，从5个特征点的坐标位置估算旋转角度，具体步骤如下：
(5-1)人脸倾斜角度计算与校正。根据左右眼睛的坐标计算倾斜角度B：
Figure BDA0002092506080000081
求出B后，对特征点坐标绕原点进行B角度的旋转，
Figure BDA0002092506080000091
求出左右眼及鼻子的校正后坐标(x′1,y′1),(x′2,y′2),(x′3,y′3)。
(5-2)人头旋转角度计算。经倾斜校正后，可以通过左眼，右眼，鼻尖的横坐标来计算出人脸的旋转角度。首先记变量G为：
Figure BDA0002092506080000092
旋转角度A与G的关系为：
A＝(G-1)*20                (4)
步骤S6：进行人脸距离和方位的计算。
人脸距离和方位估算，其特征在于从旋转角度和双眼像素间距计算人脸离屏幕垂直距离，并用性别年龄识别结果对距离进行修正。具体步骤如下：
(6-1)人脸离屏幕垂直距离的计算。首先通过欧氏距离公式计算图像中双眼间像素距离d0，则实际双眼像素间距为：
d＝d0/CosA                 (5)
设人脸离屏幕的垂直距离为L，L和d的关系应为
L＝K/d                    (6)
其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：
Figure BDA0002092506080000093
人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K。
(6-2)性别年龄对距离的修正。由于不同人的双眼实际间距并不完全相同，理论上这个K值与不同的人有关。但据文献统计，人体双眼间距统计上大致符合正态分布，平均值在6cm左右，95％以上的间距在6cm的正负10％以内，并且男、女、成年、儿童的人群平均值与总体平均值间有个基本固定的比例关系，我们用二个系数Kg、Ka分别表示对男女、老少的校正系数，则式(7)的修正公式为：
Figure BDA0002092506080000101
其中Kg对于男女分别为1.01、0.99，Ka对于成年、儿童分别为1.02、0.98。
(6-3)人脸方位确定。因为鼻尖的特征点在人脸的正中间，所以，只要知道鼻尖的坐标值，即可确定人脸在摄像头前方的具体方位。
本发明实施的优点：本发明所述的基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，所述人头空间定位方法包括以下步骤：获取图像；采用多层级联人脸检测方法对处理后的图像进行人脸检测；基于自编码网络进行5个面部关键特征点精确定位；基于关键特征点分析进行人脸倾斜角度估算；进行人脸距离和方位的计算；通过人脸检测和对齐获取人脸的5个关键特征点，通过这些关键特征点的位置信息计算得出人脸相对摄像机的距离和方位，最后通过性别年龄识别技术对计算结果进行修正，达到更高的距离精度。由于本方法仅需要一个简单的低值摄像头即可获取人头相对摄像头的空间位置信息，并且具有一定的定位精度，可以用于低端机器人、手机智能APP、智能显示器支架等场合，具有很高的实用价值。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种基于人脸检测与识别的人头空间定位方法，用于包含可采集图像的摄像头的系统，其特征在于，所述人头空间定位方法包括以下步骤：
获取图像；
采用多层级联人脸检测方法对处理后的图像进行人脸检测，包括先使用检测速度比较快的肤色检测对摄像头获取到的图像进行人脸区域预定位，定位到肤色区域后再对面积比较大的肤色区域进行均等多分割并行化多级联人脸检测，还包括以下步骤，肤色过滤，输出为只包含肤色部分的图像，快速LAB特征检测，选出一部分可能包含人脸的候选框，基于SURF特征的多层感知机级联结构，来进一步挑选出符合人脸特征的候选框，过滤掉一部分非人脸，优化的基于特征点的多层感知机结构，最终确定出人脸位置；
基于自编码网络进行5个面部关键特征点精确定位；
基于关键特征点分析进行人脸倾斜角度估算，包括以下步骤，
人脸倾斜角度计算与校正，根据左右眼睛的坐标计算倾斜角度B：
Figure FDA0004127273200000011
求出B后，对特征点坐标绕原点进行B角度的旋转，
Figure FDA0004127273200000012
求出左右眼及鼻子的校正后坐标(x'1,y'1),(x'2,y'2),(x'3,y'3)；
人头旋转角度计算，经倾斜校正后，可以通过左眼，右眼，鼻尖的横坐标来计算出人脸的旋转角度，首先记变量G为：
Figure FDA0004127273200000013
旋转角度A与G的关系为：
A＝(G-1)*20            (4)；
进行人脸距离和方位的计算，包括以下步骤，
人脸离屏幕垂直距离的计算，首先通过欧氏距离公式计算图像中双眼间像素距离d0，则实际双眼像素间距为：
d＝d0/CosA               (5)设人脸离屏幕的垂直距离为L，L和d的关系应为：
L＝K/d (6)
其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：
Figure FDA0004127273200000021
人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K；
进行人脸方位的确定。
2.根据权利要求1所述的基于人脸检测与识别的人头空间定位方法，其特征在于，所述基于自编码网络进行5个面部关键特征点精确定位包括以下步骤：
输入一个人脸区域，第一级自编码器网络直接从该人脸的低分辨率版本中快速估计大致的人脸形状S0；
提高输入人脸图像的分辨率，并抽取当前人脸形状S0各特征点位置的局部特征，输入到下一级自编码器网络来进一步优化人脸对齐结果；
基于上述方法步骤实现5个面部关键特征点的精确定位，包括两眼中心、鼻尖和两嘴角，前三个特征点的坐标分别为：左眼坐标(x0,y0)，右眼坐标(x1,y1)，鼻子坐标(x2,y2)。
3.根据权利要求1或2所述的基于人脸检测与识别的人头空间定位方法，其特征在于，所述基于人脸检测与识别的人头空间定位方法还包括以下步骤：基于卷积神经网络进行人脸的性别年龄识别。
4.根据权利要求3所述的基于人脸检测与识别的人头空间定位方法，其特征在于，所述基于卷积神经网络进行人脸的性别年龄识别包括以下步骤：
将检测到的人脸图像归一化到48*48；
采用已训练的48*48大小的DeepID性别识别网络，进行性别识别，分为男女两类；
采用已训练的48*48大小的DeepID年龄识别网络，进行年龄识别，分成成年和儿童两类。
5.根据权利要求4所述的基于人脸检测与识别的人头空间定位方法，其特征在于，所述进行人脸距离和方位的计算包括以下步骤：
人脸离屏幕垂直距离的计算，首先通过欧氏距离公式计算图像中双眼间像素距离d0，则实际双眼像素间距为：
d＝d0/CosA                 (5)设人脸离屏幕的垂直距离为L，L和d的关系应为：
L＝K/d                 (6)
其中K为比例系数，决定于摄像机的镜头焦距f、传感器表面的像素间距s，和双眼实际物理间距D，可以表达为公式：
Figure FDA0004127273200000031
人双眼瞳孔间距平均值D＝6cm，当镜头焦距和传感器表面的像素间距未知时则需通过测量方法获得K；
性别年龄对距离的修正，用二个系数Kg、Ka分别表示对男女、老少的校正系数，则式(7)的修正公式为：
Figure FDA0004127273200000032
其中Kg对于男女分别为1.01、0.99，Ka对于成年、儿童分别为1.02、0.98；
进行人脸方位的确定。
CN201910508091.2A 2019-06-12 2019-06-12 一种基于人脸检测与识别的人头空间定位方法 Active CN110781712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910508091.2A CN110781712B (zh) 2019-06-12 2019-06-12 一种基于人脸检测与识别的人头空间定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910508091.2A CN110781712B (zh) 2019-06-12 2019-06-12 一种基于人脸检测与识别的人头空间定位方法

Publications (2)

Publication Number Publication Date
CN110781712A CN110781712A (zh) 2020-02-11
CN110781712B true CN110781712B (zh) 2023-05-02

Family

ID=69383043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910508091.2A Active CN110781712B (zh) 2019-06-12 2019-06-12 一种基于人脸检测与识别的人头空间定位方法

Country Status (1)

Country Link
CN (1) CN110781712B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364777B (zh) * 2020-11-12 2023-05-16 浙江工商大学 一种基于人脸识别的人脸间距估计方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915656A (zh) * 2015-06-12 2015-09-16 东北大学 一种基于双目视觉测量技术的快速人脸识别方法
WO2017152649A1 (zh) * 2016-03-08 2017-09-14 珠海全志科技股份有限公司 一种自动提示人眼离屏幕距离的方法和系统
WO2018001092A1 (zh) * 2016-06-29 2018-01-04 中兴通讯股份有限公司 一种人脸识别方法及装置
CN108491784A (zh) * 2018-03-16 2018-09-04 南京邮电大学 面向大型直播场景的单人特写实时识别与自动截图方法
CN108564049A (zh) * 2018-04-22 2018-09-21 北京工业大学 一种基于深度学习的快速人脸检测识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915656A (zh) * 2015-06-12 2015-09-16 东北大学 一种基于双目视觉测量技术的快速人脸识别方法
WO2017152649A1 (zh) * 2016-03-08 2017-09-14 珠海全志科技股份有限公司 一种自动提示人眼离屏幕距离的方法和系统
WO2018001092A1 (zh) * 2016-06-29 2018-01-04 中兴通讯股份有限公司 一种人脸识别方法及装置
CN108491784A (zh) * 2018-03-16 2018-09-04 南京邮电大学 面向大型直播场景的单人特写实时识别与自动截图方法
CN108564049A (zh) * 2018-04-22 2018-09-21 北京工业大学 一种基于深度学习的快速人脸检测识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于SURF特征的栈式自编码网络人脸对齐算法;崔凯等;《液晶与显示》(第03期);全文 *

Also Published As

Publication number Publication date
CN110781712A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
US8213690B2 (en) Image processing apparatus including similarity calculating unit, image pickup apparatus, and processing method for the apparatuses
US20180081434A1 (en) Eye and Head Tracking
US20180300589A1 (en) System and method using machine learning for iris tracking, measurement, and simulation
WO2020252910A1 (zh) 图像畸变修正方法、装置、电子设备及可读存储介质
JP2013065119A (ja) 顔認証装置及び顔認証方法
US11232586B2 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
CN109086675B (zh) 一种基于光场成像技术的人脸识别及攻击检测方法及其装置
CN111291701B (zh) 一种基于图像梯度和椭圆拟合算法的视线追踪方法
JP2004094491A (ja) 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム
CN111488775B (zh) 注视度判断装置及方法
CN109711239B (zh) 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法
JP2014194617A (ja) 視線方向推定装置、視線方向推定装置および視線方向推定プログラム
CN112232128B (zh) 基于视线追踪的老年残障人士照护需求识别方法
CN112183200B (zh) 一种基于视频图像的眼动追踪方法和系统
CN111951339A (zh) 利用异构双目相机进行视差计算的图像处理方法
CN109344758B (zh) 基于改进局部二值模式的人脸识别方法
CN110781712B (zh) 一种基于人脸检测与识别的人头空间定位方法
CN110658918A (zh) 用于视频眼镜的眼球追踪相机的定位方法、设备及介质
CN111784660B (zh) 一种用于人脸图像的正脸程度的分析方法和系统
KR20210136092A (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램
CN111738241B (zh) 基于双摄像头的瞳孔检测方法及装置
CN112508998A (zh) 基于全局运动的视觉目标对齐方法
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
US11488415B2 (en) Three-dimensional facial shape estimating device, three-dimensional facial shape estimating method, and non-transitory computer-readable medium
JP5688514B2 (ja) 視線計測システム、方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant