CN109389018B - 一种人脸角度识别方法、装置及设备 - Google Patents
一种人脸角度识别方法、装置及设备 Download PDFInfo
- Publication number
- CN109389018B CN109389018B CN201710692139.0A CN201710692139A CN109389018B CN 109389018 B CN109389018 B CN 109389018B CN 201710692139 A CN201710692139 A CN 201710692139A CN 109389018 B CN109389018 B CN 109389018B
- Authority
- CN
- China
- Prior art keywords
- point
- ear
- feature point
- distance
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Ophthalmology & Optometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种人脸角度识别方法、装置及设备,方法包括:确定图像中的人脸特征点,该人脸特征点包括眼部特征点,或者,该人脸特征点包括眼部特征点和耳部特征点;根据人脸特征点之间的位置关系,确定图像中的人脸角度;由此可见,本方案中并不基于多角度图像识别图像中人脸角度,不会受到摄像机拍摄角度的影响,基于图像中的特征点识别人脸角度,识别准确性较高。
Description
技术领域
本发明涉及人脸识别技术领域,特别涉及一种人脸角度识别方法、装置及设备。
背景技术
目前,人脸识别技术已被广泛应用,人脸识别技术通常包括:预先构建多个人脸模型;将目标人脸图像与所构建的人脸模型进行匹配;根据匹配结果,对该人脸图像进行识别。
在构建人脸模型过程、或者图像识别过程中,通常需要识别出人脸的角度。如果在同一场景中设置多台摄像机,这些摄像机的拍摄角度不同,这样,便可以针对一个人,拍摄到其不同角度的图像;对拍摄到的多角度图像进行分析处理,便可以得到这个人的人脸角度。
上述方案中,摄像机的拍摄角度对识别出的人脸角度影响较大。举例来说,构建模型阶段与使用模型阶段(图像识别阶段)摄像机的拍摄角度一般是不同的,因此,这两个阶段识别出的人脸角度差别较大,进一步地,将目标人脸图像与人脸模型进行匹配时,匹配准确性较低。
可见,利用上述方案识别出的人脸角度准确性较低。
发明内容
本发明实施例的目的在于提供一种人脸角度识别方法、装置及设备,提高识别的准确性。
为达到上述目的,本发明实施例公开了一种人脸角度识别方法,包括:
在待识别人脸图像中,确定人脸特征点,所述人脸特征点包括眼部特征点,或者,所述人脸特征点包括眼部特征点和耳部特征点;
根据所述人脸特征点之间的位置关系,确定所述图像中的人脸角度。
可选的,在所述人脸特征点包括眼部特征点和耳部特征点的情况下,所述根据所述人脸特征点之间的位置关系,确定所述图像中的人脸角度,可以包括:
确定眼部特征点与耳部特征点之间的连线;
确定所述连线与所述图像所在坐标系中一指定坐标轴的夹角;
根据所述夹角,确定所述图像中的人脸角度。
可选的,在所述人脸特征点包括眼部特征点和耳部特征点的情况下,所述根据所述人脸特征点之间的位置关系,确定所述图像中的人脸角度,可以包括:
确定特征点连线与所述特征点连线的垂线的交叉点;其中,所述特征点连线为:所述眼部特征点之间的连线或者所述耳部特征点之间的连线;
根据所述眼部特征点和/或所述耳部特征点与所述交叉点之间的距离,计算所述图像中的人脸角度。
可选的,所述眼部特征点包括左眼特征点和右眼特征点,所述耳部特征点包括左耳特征点和右耳特征点;
所述特征点连线为:所述左耳特征点与所述右耳特征点之间的连线,所述特征点连线的垂线经过眼部特征点;
或者,所述特征点连线为:所述左眼特征点与所述右眼特征点之间的连线,所述特征点连线的垂线经过耳部特征点。
可选的,所述人脸角度包括人脸偏航角;所述确定特征点连线与所述特征点连线的垂线的交叉点,可以包括:
确定第一连线与第一垂线的第一交叉点,所述第一连线为所述左耳特征点与所述右耳特征点之间的连线,所述第一垂线经过所述左眼特征点、且与所述第一连线垂直;
确定所述第一连线与第二垂线的第二交叉点,所述第二垂线经过所述右眼特征点、且与所述第一连线垂直;
所述根据所述眼部特征点和/或所述耳部特征点与所述交叉点之间的距离,计算所述图像中的人脸角度,可以包括:
确定所述第一交叉点与所述左耳特征点的第一距离、以及所述第二交叉点与所述右耳特征点的第二距离;
根据所述第一距离与所述第二距离,计算所述图像中的人脸偏航角。
可选的,所述左耳特征点包括左耳上部特征点和左耳下部特征点,所述右耳特征点包括右耳上部特征点和右耳下部特征点;
所述确定第一连线与第一垂线的第一交叉点,可以包括:
确定所述左耳上部特征点与所述右耳上部特征点的连线与第一垂线的第一子交叉点、以及所述左耳下部特征点与所述右耳下部特征点的连线与第一垂线的第二子交叉点;
所述确定第一连线与第二垂线的第二交叉点,可以包括:
确定所述左耳上部特征点与所述右耳上部特征点的连线与第二垂线的第三子交叉点、以及所述左耳下部特征点与所述右耳下部特征点的连线与第二垂线的第四子交叉点;
所述确定所述第一交叉点与所述左耳特征点的第一距离、以及所述第二交叉点与所述右耳特征点的第二距离,可以包括:
确定所述第一子交叉点与所述左耳上部特征点的第一子距离;
确定所述第二子交叉点与所述左耳下部特征点的第二子距离;
确定所述第三子交叉点与所述右耳上部特征点的第三子距离;
确定所述第四子交叉点与所述右耳下部特征点的第四子距离;
所述根据所述第一距离与所述第二距离,计算所述图像中的人脸偏航角,可以包括:
根据所述第一子距离、第二子距离、第三子距离、第四子距离,计算所述图像中的人脸偏航角。
可选的,所述根据所述第一子距离、第二子距离、第三子距离、第四子距离,计算所述图像中的人脸偏航角,可以包括:
计算所述第一子距离与所述第二子距离的和,作为第一数值;
计算所述第三子距离与所述第四子距离的和,作为第二数值;
将所述第一数值与所述第二数值的比值转换为所述图像中的人脸偏航角。
可选的,所述人脸角度包括人脸俯仰角;所述确定特征点连线与所述特征点连线的垂线的交叉点,可以包括:
确定第二连线与第三垂线的第三交叉点,所述第二连线为所述左眼特征点与所述右眼特征点之间的连线,所述第三垂线经过所述左耳特征点、且与所述第二连线垂直;
确定所述第二连线与第四垂线的第四交叉点,所述第四垂线经过所述右耳特征点、且与所述第二连线垂直;
所述根据所述特征点与所述交叉点之间的距离,计算所述图像中的人脸角度,可以包括:
确定所述第三交叉点与所述左耳特征点的第一坐标差、所述第四交叉点与所述右耳特征点的第二坐标差;
根据所述第一坐标差与所述第二坐标差,计算所述图像中的人脸俯仰角。
可选的,所述根据所述第一坐标差与所述第二坐标差,计算所述图像中的人脸俯仰角,可以包括:
计算所述第一坐标差与所述第二坐标差的和;
对所述和进行尺度归一化处理,得到归一值;
利用预设转换系数,将所述归一值转换为所述图像中的人脸俯仰角。
可选的,所述对所述和进行尺度归一化处理,得到归一值,可以包括:
以所述左眼特征点与所述右眼特征点之间的距离为尺度标准,对所述和进行尺度归一化处理,得到归一值。
可选的,所述以所述左眼特征点与所述右眼特征点之间的距离为尺度标准,对所述和进行尺度归一化处理,得到归一值,可以包括:
确定所述左眼特征点与所述右眼特征点之间的距离,作为待修正瞳孔距离;
根据所述图像中的人脸偏航角及预设修正系数,对所述待修正瞳孔距离进行偏转修正,得到修正后瞳孔距离;
以所述修正后瞳孔距离为尺度标准,对所述和进行尺度归一化处理,得到归一值。
可选的,所述根据所述图像中的人脸偏航角及预设修正系数,对所述待修正瞳孔距离进行偏转修正,得到修正后瞳孔距离,可以包括:
利用如下算式,计算得到修正后瞳孔距离:
其中,xA为所述左眼特征点A的x轴坐标值,xB为所述右眼特征点B的x轴坐标值,yA为所述左眼特征点A的y轴坐标值,yB为所述右眼特征点B的y轴坐标值,为所述待修正瞳孔距离,k1为所述预设修正系数,αyaw为所述图像中的人脸偏航角。
可选的,所述计算所述第一坐标差与所述第二坐标差的和,可以包括:
利用如下算式计算所述第一坐标差与所述第二坐标差的和:
其中,dsum为所述和,dEC为所述第一坐标差,dFD为所述第二坐标差,xA为所述左眼特征点A的x轴坐标值,xB为所述右眼特征点B的x轴坐标值,xC为所述左耳上部特征点C的x轴坐标值,xD为所述右耳上部特征点D的x轴坐标值,yA为所述左眼特征点A的y轴坐标值,yB为所述右眼特征点B的y轴坐标值,yC为所述左耳上部特征点C的y轴坐标值,yD为所述右耳上部特征点D的y轴坐标值。
为达到上述目的,本发明实施例还公开了一种人脸角度识别装置,包括:
第一确定模块,用于在待识别人脸图像中,确定人脸特征点,所述人脸特征点包括眼部特征点,或者,所述人脸特征点包括眼部特征点和耳部特征点;
第二确定模块,用于根据所述人脸特征点之间的位置关系,确定所述图像中的人脸角度。
可选的,所述第二确定模块,具体可以用于:
确定眼部特征点与耳部特征点之间的连线;
确定所述连线与所述图像所在坐标系中一指定坐标轴的夹角;
根据所述夹角,确定所述图像中的人脸角度。
可选的,所述第二确定模块,可以包括:
确定子模块,用于确定特征点连线与所述特征点连线的垂线的交叉点;其中,所述特征点连线为:所述眼部特征点之间的连线或者所述耳部特征点之间的连线;
计算子模块,用于根据所述眼部特征点和/或所述耳部特征点与所述交叉点之间的距离,计算所述图像中的人脸角度。
可选的,所述眼部特征点包括左眼特征点和右眼特征点,所述耳部特征点包括左耳特征点和右耳特征点;
所述特征点连线为:所述左耳特征点与所述右耳特征点之间的连线,所述特征点连线的垂线经过眼部特征点;
或者,所述特征点连线为:所述左眼特征点与所述右眼特征点之间的连线,所述特征点连线的垂线经过耳部特征点。
可选的,所述人脸角度包括人脸偏航角;所述确定子模块,可以包括:
第一确定单元,用于确定第一连线与第一垂线的第一交叉点,所述第一连线为所述左耳特征点与所述右耳特征点之间的连线,所述第一垂线经过所述左眼特征点、且与所述第一连线垂直;
第二确定单元,用于确定所述第一连线与第二垂线的第二交叉点,所述第二垂线经过所述右眼特征点、且与所述第一连线垂直;
所述计算子模块,可以包括:
第三确定单元,用于确定所述第一交叉点与所述左耳特征点的第一距离、以及所述第二交叉点与所述右耳特征点的第二距离;
第一计算单元,用于根据所述第一距离与所述第二距离,计算所述图像中的人脸偏航角。
可选的,所述左耳特征点包括左耳上部特征点和左耳下部特征点,所述右耳特征点包括右耳上部特征点和右耳下部特征点;
所述第一确定单元,具体可以用于:
确定所述左耳上部特征点与所述右耳上部特征点的连线与第一垂线的第一子交叉点、以及所述左耳下部特征点与所述右耳下部特征点的连线与第一垂线的第二子交叉点;
所述第二确定单元,具体可以用于:
确定所述左耳上部特征点与所述右耳上部特征点的连线与第二垂线的第三子交叉点、以及所述左耳下部特征点与所述右耳下部特征点的连线与第二垂线的第四子交叉点;
所述第三确定单元,具体可以用于:
确定所述第一子交叉点与所述左耳上部特征点的第一子距离;
确定所述第二子交叉点与所述左耳下部特征点的第二子距离;
确定所述第三子交叉点与所述右耳上部特征点的第三子距离;
确定所述第四子交叉点与所述右耳下部特征点的第四子距离;
所述第一计算单元,具体可以用于:
根据所述第一子距离、第二子距离、第三子距离、第四子距离,计算所述图像中的人脸偏航角。
可选的,所述第一计算单元,具体可以用于:
计算所述第一子距离与所述第二子距离的和,作为第一数值;
计算所述第三子距离与所述第四子距离的和,作为第二数值;
将所述第一数值与所述第二数值的比值转换为所述图像中的人脸偏航角。
可选的,所述人脸角度包括人脸俯仰角;所述确定子模块,可以包括:
第四确定单元,用于确定第二连线与第三垂线的第三交叉点,所述第二连线为所述左眼特征点与所述右眼特征点之间的连线,所述第三垂线经过所述左耳特征点、且与所述第二连线垂直;
第五确定单元,用于确定所述第二连线与第四垂线的第四交叉点,所述第四垂线经过所述右耳特征点、且与所述第二连线垂直;
所述计算子模块,可以包括:
第六确定单元,用于确定所述第三交叉点与所述左耳特征点的第一坐标差、所述第四交叉点与所述右耳特征点的第二坐标差;
第二计算单元,用于根据所述第一坐标差与所述第二坐标差,计算所述图像中的人脸俯仰角。
可选的,所述第二计算单元,可以包括:
计算子单元,用于计算所述第一坐标差与所述第二坐标差的和;
归一子单元,用于对所述和进行尺度归一化处理,得到归一值;
转换子单元,用于利用预设转换系数,将所述归一值转换为所述图像中的人脸俯仰角。
可选的,所述归一子单元,具体可以用于:
以所述左眼特征点与所述右眼特征点之间的距离为尺度标准,对所述和进行尺度归一化处理,得到归一值。
可选的,所述归一子单元,具体可以用于:
确定所述左眼特征点与所述右眼特征点之间的距离,作为待修正瞳孔距离;
根据所述图像中的人脸偏航角及预设修正系数,对所述待修正瞳孔距离进行偏转修正,得到修正后瞳孔距离;
以所述修正后瞳孔距离为尺度标准,对所述和进行尺度归一化处理,得到归一值。
可选的,所述归一子单元,具体可以用于:
确定所述左眼特征点与所述右眼特征点之间的距离,作为待修正瞳孔距离;
利用如下算式,计算得到修正后瞳孔距离:
其中,xA为所述左眼特征点A的x轴坐标值,xB为所述右眼特征点B的x轴坐标值,yA为所述左眼特征点A的y轴坐标值,yB为所述右眼特征点B的y轴坐标值,为所述待修正瞳孔距离,k1为所述预设修正系数,αyaw为所述图像中的人脸偏航角;
以所述修正后瞳孔距离为尺度标准,对所述和进行尺度归一化处理,得到归一值。
可选的,所述计算子单元,具体可以用于:
利用如下算式计算所述第一坐标差与所述第二坐标差的和:
其中,dsum为所述和,dEC为所述第一坐标差,dFD为所述第二坐标差,xA为所述左眼特征点A的x轴坐标值,xB为所述右眼特征点B的x轴坐标值,xC为所述左耳上部特征点C的x轴坐标值,xD为所述右耳上部特征点D的x轴坐标值,yA为所述左眼特征点A的y轴坐标值,yB为所述右眼特征点B的y轴坐标值,yC为所述左耳上部特征点C的y轴坐标值,yD为所述右耳上部特征点D的y轴坐标值。
为达到上述目的,本发明实施例还公开了一种电子设备,包括处理器和存储器,其中,
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一种人脸角度识别方法。
为达到上述目的,本发明实施例还公开了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种人脸角度识别方法。
应用本发明实施例,确定图像中的人脸特征点,该人脸特征点包括眼部特征点,或者,该人脸特征点包括眼部特征点和耳部特征点;根据人脸特征点之间的位置关系,确定图像中的人脸角度;由此可见,本方案中并不基于多角度图像识别图像中人脸角度,不会受到摄像机拍摄角度的影响,基于图像中的特征点识别人脸角度,识别准确性较高。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种人脸角度识别方法的流程示意图;
图2a为本发明实施例中俯仰角的示意图;
图2b为本发明实施例中偏航角的示意图;
图2c为本发明实施例中旋转角的示意图;
图3a为本发明实施例中偏航角向左旋转示意图;
图3b为本发明实施例中偏航角向右旋转示意图;
图4为本发明实施例中俯仰角参考系示意图;
图5a为本发明实施例中人脸平视示意图;
图5b为本发明实施例中人脸俯视示意图;
图5c为本发明实施例中人脸仰视示意图;
图6为本发明实施例提供的一种人脸角度识别装置的结构示意图;
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决上述技术问题,本发明实施例提供了一种人脸角度识别方法装置及设备。该方法及装置可以应用于图像采集设备、或者与图像采集设备通信连接的服务器,或者,也可以应用于各种电子设备,具体不做限定。
下面首先对本发明实施例提供的一种人脸角度识别方法进行详细说明。
图1为本发明实施例提供的一种人脸角度识别方法的流程示意图,包括:
S101:在待识别人脸图像中,确定人脸特征点,所述人脸特征点包括眼部特征点,或者,所述人脸特征点包括眼部特征点和耳部特征点。
待识别人脸图像是指需要进行人脸角度识别的图像。如果执行本方案的设备为图像采集设备,则图像采集设备可以将采集到的图像作为待识别人脸图像;如果执行本方案的设备为与图像采集设备通信连接的服务器,服务器可以从图像采集设备中获取图像,并将获取的图像确定为待识别人脸图像。执行本方案的设备也可以根据用户的指令,确定出待识别人脸图像,这都是合理的。
本领域技术人员可以理解,可以先识别图像中的人脸区域,在人脸区域中再进一步确定眼部区域及耳部区域。
作为一种实施方式,可以预先建立人脸检测模型。例如,可以基于SVM(SupportVector Machine,支持向量机)算法、或者集合分类器Boosting算法、或者其他算法,对多张人脸图像进行训练,提取训练样本的图像特征,比如颜色特征和/或纹理特征,基于提取到的图像特征,建立该人脸检测模型。
然后,针对S101中的待识别人脸图像,提取该图像的图像特征,并将该图像特征与该人脸检测模型进行匹配,匹配成功的区域即为该图像中的人脸区域。
需要说明的是,建立人脸检测模型过程中提取的图像特征、与检测人脸区域过程中提取的图像特征是相对应的,比如,利用纹理特征建立人脸检测模型,则后续也应提取S101中图像的纹理特征,与该人脸检测模型进行匹配。
举例来说,上述纹理特征可以为Haar-like特征与HOG(Histogram of OrientedGradient,方向梯度直方图)构成的综合纹理特征,这样可以提高人脸检测模型的准确度。
检测出图像中的人脸区域后,便可以在检测到的人脸区域中,确定人脸特征点。在本实施例中,人脸特征点可以仅包含眼部特征点,也可以包含眼部特征点和耳部特征点。
作为一种实施方式,可以根据面部比例,确定出眼部区域和/或耳部区域。
本领域技术人员可以理解,在眼部区域中,可以利用特征点检测的方式确定出眼部特征点,或者,也可以利用预设比例,确定出眼部特征点;在耳部区域中,可以利用特征点检测的方式确定出耳部特征点,或者,也可以利用预设比例,确定出耳部特征点。
举例来说,眼部特征点可以为瞳孔、或者眼角、或者眼框中的任意点,耳部特征点可以为耳朵最上方的点(耳尖)、或者架眼镜腿的位置(比耳尖稍靠下的位置)、或者耳朵最下方的点(耳垂),具体不做限定。
S102:根据所述人脸特征点之间之间的位置关系,确定所述图像中的人脸角度。
一般来说,通常将人脸角度分为三种:俯仰角、偏航角和旋转角;其中,俯仰角为绕x轴方向旋转的角度,也称为pitch,如图2a所示;偏航角为绕y轴旋转的角度,也称为yaw,如图2b所示;旋转角为绕z轴旋转的角度,也称为roll,如图2c所示。
如果S101中确定的人脸特征点包含眼部特征点和耳部特征点,这种情况下,根据眼部特征点和/或耳部特征点之间的位置关系,确定图像中的人脸角度。
如图2a所示,当人脸角度属于俯视时,耳尖高于眼部区域,而且随着俯角逐渐增大,耳尖与眼部区域的距离逐渐增大;当人脸角度属于仰视时,耳尖低于眼部区域,而且随着仰角逐渐增大,耳尖与眼部区域的距离逐渐增大。因此,可以统计得到该距离(耳尖与眼部区域距离)与俯仰角的转换关系,基于该转换关系、以及耳尖与眼部区域距离,便可以确定出人脸俯仰角。
如图2b所示,当人脸越向左偏转,右眼与右耳的距离越来越大,左眼与左耳的距离越来越小;相反,当人脸越向右偏转,右眼与右耳的距离越来越小,左眼与左耳的距离越来越大。因此,可以统计得到该距离(右眼与右耳的距离和/或左眼与左耳的距离)与俯仰角的转换关系,基于该转换关系、以及右眼与右耳的距离和/或左眼与左耳的距离,便可以确定出人脸偏航角。
如图2c所示,旋转角越大,左眼与右眼高度差越大。因此,可以统计得到该高度差(左眼与右眼高度差)与旋转角的转换关系,基于该转换关系、以及左眼与右眼高度差,便可以确定出人脸旋转角。
综上可见,眼部特征点与耳部特征点的位置关系可以反应人脸角度,可以根据眼部特征点与耳部特征点的位置关系,确定出人脸角度。本方案中并不基于多角度图像识别图像中人脸角度,不会受到摄像机拍摄角度的影响,基于图像中的特征点识别人脸角度,识别准确性较高。
如果S101中确定的人脸特征点仅包含眼部特征点,这种情况下,根据眼部特征点之间的位置关系,确定图像中的人脸角度。
举例来说,假设待识别人脸图像为人脸抓拍机、或者手机、平板电脑等设备采集到的仅包含人脸的图像,换句话说,整张图像基本被人脸填充。可以理解,由于人的面部比例相差不大,并且这一类图像被人脸填充,如果这一类图像中为正脸,也就是俯仰角、偏航角和旋转角均为0度,则该正脸的各特征点的位置基本固定。
因此,可以预先设定采集到的人脸为正脸时眼部特征点的位置,作为比较基准。然后将待识别人脸图像中的眼部特征点与该基准进行比较,如果吻合程度较高(大于预设阈值),则可以直接认为该待识别人脸图像中的俯仰角、偏航角和旋转角均为0度。
如果吻合程度较低,也可以粗略确定人脸角度,比如,待识别人脸图像中的眼部特征点高于该基准,则可以粗略认为人脸为仰视状态;待识别人脸图像中的眼部特征点相比于该基准偏左,则可以粗略认为人脸向左偏转。或者,也可以在吻合程度较低的情况下,继续利用本发明其他实施方式,确定人脸角度。
作为一种实施方式,在所述人脸特征点包括眼部特征点和耳部特征点的情况下,S102可以包括:
确定眼部特征点与耳部特征点之间的连线;
确定所述连线与所述图像所在坐标系中一指定坐标轴的夹角;
根据所述夹角,确定所述图像中的人脸角度。
比如,如图2a所示,假设眼部特征点为左眼瞳孔,耳部特征点为左耳最上方的点(左耳耳尖),假设该指定坐标轴为x轴。确定左眼瞳孔与左耳耳尖之间的连线,可以发现:当人脸角度属于俯视时,左耳耳尖高于左眼瞳孔,而且随着俯角逐渐增大,该连线与x轴的夹角逐渐增大;当人脸角度属于仰视时,左耳耳尖低于左眼瞳孔,而且随着仰角逐渐增大,该连线与x轴的夹角逐渐增大。因此,可以结合该连线与x轴的夹角、以及左眼瞳孔与左耳耳尖之间的上下位置关系,确定出人脸俯仰角。
或者,也可以确定左眼瞳孔与左耳耳尖之间的连线与y轴的夹角,则当人脸角度属于俯视时,左耳耳尖高于左眼瞳孔,而且随着俯角逐渐增大,该连线与y轴的夹角逐渐减小;当人脸角度属于仰视时,左耳耳尖低于左眼瞳孔,而且随着仰角逐渐增大,该连线与y轴的夹角逐渐减小。因此,可以结合该连线与y轴的夹角、以及左眼瞳孔与左耳耳尖之间的上下位置关系,确定出人脸俯仰角。
或者,也可以确定右眼瞳孔与右耳耳尖之间的连线,过程类似,不再赘述。
再比如,如图2b所示,假设眼部特征点为左眼瞳孔及右眼瞳孔,耳部特征点为左耳最下方的点(左耳耳垂)及右耳最下方的点(右耳耳垂),假设该指定坐标轴为x轴。
在图2b的左侧部分图中,确定右眼瞳孔与右耳耳垂之间的连线,可以发现:随着偏航角逐渐增大,该连线与x轴的夹角逐渐减小;在图2b的右侧部分图中,确定左眼瞳孔与左耳耳垂之间的连线,可以发现:随着偏航角逐渐增大,该连线与x轴的夹角逐渐减小;因此,可以结合该连线与x轴的夹角,确定出人脸偏航角。
或者,也可以确定左眼瞳孔与左耳耳垂之间的连线与y轴的夹角,或者,右眼瞳孔与右耳耳垂之间的连线与y轴的夹角。比如,在图2b的左侧部分图中,确定右眼瞳孔与右耳耳垂之间的连线,可以发现:随着偏航角逐渐增大,该连线与y轴的夹角逐渐增大;在图2b的右侧部分图中,确定左眼瞳孔与左耳耳垂之间的连线,可以发现:随着偏航角逐渐增大,该连线与y轴的夹角逐渐增大;因此,可以结合该连线与y轴的夹角,确定出人脸偏航角。
或者,耳部特征点也可以为左耳耳尖及右耳耳尖,确定左眼瞳孔与左耳耳尖之间的连线、确定右眼瞳孔与右耳耳尖之间的连线,过程类似,不再赘述。
作为一种实施方式,在所述人脸特征点包括眼部特征点和耳部特征点的情况下,S102可以包括:
确定特征点连线与所述特征点连线的垂线的交叉点;其中,所述特征点连线为:所述眼部特征点之间的连线或者所述耳部特征点之间的连线;
根据所述眼部特征点和/或所述耳部特征点与所述交叉点之间的距离,计算所述图像中的人脸角度。
比如,图3a中,点A、点B为眼部特征点,线段AB为眼部特征点之间的连线;点C、点D为耳部特征点,线段CD为耳部特征点之间的连线;线段L1垂直于线段AB及线段CD,线段L1为特征点连线的垂线,线段L1与线段CD的交叉点为点E。可以理解,CE越短,DE越长,则人脸向左偏转的角度越大,因此,可以基于CE、DE的比值或差值,确定人脸的偏转角度(偏航角)。
再比如,图5b中,点A、点B为眼部特征点,线段AB为眼部特征点之间的连线;点C、点D为耳部特征点,线段CD为耳部特征点之间的连线;线段CE垂直于线段AB及线段CD,线段CE与线段AB(线段AB的延长线,或者说线段AB所在直线)的交叉点为点E。如果点C位于点E的上方,则CE越长,俯角越大,如果点C位于点E的下方,则CE越长,仰角越大。因此,可以基于CE的距离及点C、点E的位置关系,确定人脸的俯仰角。
或者,图5b中,也可以由点A作CD的垂线(图中未示出),假设该垂线与线段CD的交叉点为点A’,则点A与点A’的位置关系也可以反应俯仰角的大小,与CE类似,如果点A’位于点A的上方,则AA’越长,俯角越大,如果点A’位于点A的下方,则AA’越长,仰角越大。因此,可以基于AA’的距离及点A、点A’的位置关系,确定人脸的俯仰角。
作为一种实施方式,眼部特征点可以包括左眼特征点和右眼特征点,比如,左眼中心位置和右眼中心位置;耳部特征点可以包括左耳特征点和右耳特征点,比如图3a和图3b中,左耳上部特征点C(架眼镜腿的位置)和左耳下部特征点G(耳垂),右耳上部特征点D(架眼镜腿的位置)和右耳下部特征点H(耳垂),或者,也可以如图5a、5b和5c中,左耳上部特征点C(架眼镜腿的位置)和右耳上部特征点D(架眼镜腿的位置)。
在图3a和图3b中,特征点连线可以为左耳特征点与右耳特征点之间的连线,该特征点连线的垂线经过眼部特征点。
比如,特征点连线为线段CD或线段GH,特征点连线的垂线可以为L1或L2。交叉点为点E或者点F或者点M或者点N,特征点与交叉点之间的距离可以为线段CE的长度dCE、或者线段DF的长度dDF、或者线段GM的长度dGM、或者线段NH的长度dNH。利用预设转换关系,基于这些距离中的一个或多个距离,得到人脸偏航角。
或者,在图5a、5b和5c中,特征点连线为:所述左眼特征点与所述右眼特征点之间的连线,该特征点连线的垂线经过耳部特征点。比如,特征点连线为线段AB,特征点连线的垂线可以为线段CE或线段DF。交叉点为点E或者点F,特征点与交叉点之间的距离可以为线段CE的长度dCE、或者线段DF的长度dDF。利用预设转换关系,基于这些距离中的一个或多个距离,得到人脸偏航角。
如上所述,人脸角度通常包括俯仰角、偏航角和旋转角;其中,旋转角可以在二维图像中计算得到,过程简单,本发明实施例中,着重偏航角和俯仰角的确定过程。
下面介绍确定偏航角的实施方式:
确定第一连线与第一垂线的第一交叉点,所述第一连线为所述左耳特征点与所述右耳特征点之间的连线,所述第一垂线经过所述左眼特征点、且与所述第一连线垂直;
确定所述第一连线与第二垂线的第二交叉点,所述第二垂线经过所述右眼特征点、且与所述第一连线垂直;
确定所述第一交叉点与所述左耳特征点的第一距离、以及所述第二交叉点与所述右耳特征点的第二距离;
根据第一距离与所述第二距离,计算所述图像中的人脸偏航角。
例一:
结合图3a和图3b,S101中确定出眼部特征点和耳部特征点包括:左眼特征点A、右眼特征点B、左耳特征点C、右耳特征点D。
第一连线为线段CD,第一垂线为线段L1,线段CD与线段L1的第一交叉点为点E;第二垂线为线段L2,线段CD与线段L2的第二交叉点为点F;确定第一交叉点E与左耳特征点C的第一距离为线段CE的长度dCE,确定第二交叉点F与右耳特征点D的第二距离为线段DF的长度dDF。
利用第一转换关系,将第一距离dCE与第二距离dDF转换为所述图像中的人脸偏航角。可以理解,dCE越短,dDF越长,则人脸向左偏转的角度越大,因此,可以基于dCE、dDF的比值或差值,确定人脸的偏转角度(偏航角)。
假设基于dCE、dDF的比值,确定人脸偏航角,则可以获取多张人脸图像,在每张图像中都确定出与图3a、3b中类似的特征点,统计每张图像中dCE、dDF的比值(为了方便描述,这里假设每张图像中表示特征点的字母一致)、以及每张图像中的人脸偏航角,对统计结果进行分析,便可以得到该第一转换关系。
例二、
结合图3a和图3b,S101中确定出眼部特征点和耳部特征点包括:左眼特征点A、右眼特征点B、左耳特征点G、右耳特征点H。
第一连线为线段GH,第一垂线为线段L1,线段GH与线段L1的第一交叉点为点M;第二垂线为线段L2,线段GH与线段L2的第二交叉点为点N;确定第一交叉点M与左耳特征点G的第一距离为线段GM的长度dGM,确定第二交叉点N与右耳特征点H的第二距离为线段NH的长度dNH。
利用第一转换关系,将第一距离dGM与第二距离dNH转换为所述图像中的人脸偏航角。可以理解,dGM越短,dNH越长,则人脸向左偏转的角度越大,因此,可以基于dGM、dNH的比值或差值,确定人脸的偏转角度(偏航角)。
假设基于dGM、dNH的比值,确定人脸偏航角,则可以获取多张人脸图像,在每张图像中都确定出与图3a、3b中类似的特征点,统计每张图像中dGM、dNH的比值(为了方便描述,这里假设每张图像中表示特征点的字母一致)、以及每张图像中的人脸偏航角,对统计结果进行分析,便可以得到该第一转换关系。
在本实施方式中,进一步的,左耳特征点可以包括左耳上部特征点和左耳下部特征点,右耳特征点可以包括右耳上部特征点和右耳下部特征点。
结合图3a和图3b,S101中确定出眼部特征点和耳部特征点包括:左眼特征点A、右眼特征点B、左耳上部特征点C、左耳下部特征点G、右耳上部特征点D、右耳下部特征点H。
确定左耳上部特征点C与右耳上部特征点D的连线CD与第一垂线L1的第一子交叉点E、以及左耳下部特征点G与右耳下部特征点H的连线GH与第一垂线L1的第二子交叉点M;确定左耳上部特征点C与右耳上部特征点D的连线CD与第二垂线L2的第三子交叉点F、以及左耳下部特征点G与右耳下部特征点H的连线GH与第二垂线L2的第四子交叉点N。
需要说明的是,在本发明实施例中,特征点之间的连线可以为线段,也可以为线段所在的直线,比如,左眼特征点A与右眼特征点B的连线AB可以为AB线段所在的直线,类似的,左耳上部特征点C与右耳上部特征点D的连线CD可以为CD线段所在的直线,左耳下部特征点G与右耳下部特征点H的连线GH可以为GH线段所在的直线。
确定第一子交叉点E与左耳上部特征点C的第一子距离dEC,确定第二子交叉点M与左耳下部特征点G的第二子距离dMG,确定第三子交叉点F与右耳上部特征点D的第三子距离dFD,确定第四子交叉点N与右耳下部特征点H的第四子距离dNH。
根据第一子距离dEC、第二子距离dMG、第三子距离dFD、第四子距离dNH,计算所述图像中的人脸偏航角。
作为一种实施方式,可以计算所述第一子距离与所述第二子距离的和,作为第一数值;计算所述第三子距离与所述第四子距离的和,作为第二数值;将所述第一数值与所述第二数值的比值转换为所述图像中的人脸偏航角。
具体的,可以利用如下算式,对dEC、dFD、dMG、和dNH进行运算,得到所述图像中的人脸偏航角αyaw:
上述i可以根据实际情况进行设定,作为一种实施方式,当偏航角较小时,可以将i设定为一固定值,当偏航角较大时,可以将偏航角划分为不同角度区间,每个角度区间对应一个i值。
在确定偏航角的过程中,可以发现:如图3a所示,当人脸越向左偏转,右眼特征点B与右耳特征点(右耳上部特征点D和右耳下部特征点H)的距离越来越大,左眼特征点A与左耳特征点(左耳上部特征点C和左耳下部特征点G)的距离越来越小;相反,如图3b所示,当人脸越向右偏转,右眼特征点B与右耳特征点(右耳上部特征点D和右耳下部特征点H)的距离越来越小,左眼特征点A与左耳特征点(左耳上部特征点C和左耳下部特征点G)的距离越来越大。
另外,dFD和dNH可以表示右眼特征点与右耳特征点的距离,dEC和dMG可以表示左眼特征点与左耳特征点的距离。基于此,本发明实施例利用dEC、dFD、dMG、和dNH之间的关系确定偏航角,准确度较高。
下面介绍确定俯仰角的实施方式:
在确定俯仰角时,以人脸为基准(参考系)确定出的俯仰角、与以图像采集设备(相机)为基准确定出的俯仰角是不同的。比如图4中,以人脸为基准,人脸角度属于平视;以相机为基准,由于相机备属于俯拍(俯角为α),人脸角度为俯角α,只有当人脸与相机平行时(即人脸与图中直线AB平行时),才属于平视。
在本实施例中,以图像采集设备作为基准(参考系)。另外,在本实施例中,人脸平视时(即人脸与图中直线AB平行时),俯仰角为0度,人脸俯视时,俯仰角为负值,人脸仰视时,俯仰角为正值。
确定第二连线与第三垂线的第三交叉点,所述第二连线为所述左眼特征点与所述右眼特征点之间的连线,所述第三垂线经过所述左耳特征点、且与所述第二连线垂直;
确定所述第二连线与第四垂线的第四交叉点,所述第四垂线经过所述右耳特征点、且与所述第二连线垂直;
将所述第一坐标差与所述第二坐标差,转换为所述图像中的人脸俯仰角。
结合图5a、图5b和图5c,S101中确定出眼部特征点和耳部特征点包括:左眼特征点A、右眼特征点B、左耳上部特征点C、右耳上部特征点D。
第二连线为线段AB,第三垂线为线段CE,线段AB(线段AB的延长线,或者说线段AB所在直线)与线段CE的第三交叉点为点E;第四垂线为线段DF,线段AB(线段AB的延长线,或者说线段AB所在直线)与线段DF的第四交叉点为点F。
确定第三交叉点E与左耳特征点C的第一坐标差、第四交叉点F与右耳特征点D的第二坐标差;
将所述第一坐标差与所述第二坐标差,转换为所述图像中的人脸俯仰角。
需要说明的是,特征点之间的连线可以为线段,也可以为线段所在的直线,比如,左眼特征点A与右眼特征点B的连线AB可以为AB线段所在的直线,类似的,左耳上部特征点C与右耳上部特征点D的连线CD可以为CD线段所在的直线。
假设第三交叉点E与左耳特征点C的第一坐标差为dEC,dEC有正负之分,不仅反应点C与点E的距离,还反应点C与点E的上下位置关系。假设第四交叉点F与右耳特征点D的第二坐标差dFD,同样的,dFD也有正负之分,不仅反应点C与点E的距离,还反应点C与点E的上下位置关系。
计算dEC与dFD的和dsum,dsum同样有正负之分,作为一种实施方式,可以利用如下算式计算所述dsum:
其中,xA为所述左眼特征点A的x轴坐标值,xB为所述右眼特征点B的x轴坐标值,xC为所述左耳上部特征点C的x轴坐标值,xD为所述右耳上部特征点D的x轴坐标值,yA为所述左眼特征点A的y轴坐标值,yB为所述右眼特征点B的y轴坐标值,yC为所述左耳上部特征点C的y轴坐标值,yD为所述右耳上部特征点D的y轴坐标值。
将dsum转换为所述图像中的人脸俯仰角。具体的,可以预先获取多张人脸图像,在每张图像中都确定出与图5a、5b、5c中类似的特征点,统计每张图像中的dsum、以及每张图像中的人脸俯仰角,对统计结果进行分析,确定dsum与人脸俯仰角的转换关系,然后利用该转换关系进行后续的人脸俯仰角计算。
作为一种实施方式,可以先对所述dsum进行尺归一化处理,得到归一值dscale;再利用预设转换系数,将所述归一值dscale转换为所述图像中的人脸俯仰角。
在本实施方式中,可以以S101图像中的左眼特征点与右眼特征点之间的距离为尺度标准,对上述dsum进行尺度归一化处理。比如,可以将S101图像中的瞳孔距离为尺度标准,对上述dsum进行尺度归一化处理。或者,也可以采用其他尺度标准,具体不做限定。瞳孔距离与人脸尺寸存在比例关系,以瞳孔距离作为尺度标准较准确。
具体的,可以先确定所述左眼特征点与所述右眼特征点之间的距离,作为待修正瞳孔距离;根据所述图像中的人脸偏航角及预设修正系数,对所述瞳孔距离进行偏转修正,得到修正后瞳孔距离deyes;再以所述修正后瞳孔距离deyes为尺度标准,对所述dsum进行尺度归一化处理,得到归一值。
其中,xA为所述图像中左眼特征点A的x轴坐标值,xB为所述图像中右眼特征点B的x轴坐标值,yA为所述图像中左眼特征点A的y轴坐标值,yB为所述图像中右眼特征点B的y轴坐标值。
预设修正系数k1可以根据实际情况进行设定,作为一种实施方式,当人脸偏航角较小时,可以将k1设定为一固定值,当人脸偏航角较大时,可以将人脸偏航角划分为不同角度区间,每个角度区间对应一个k1值。
可以理解,受到人脸偏航角的影响,二维图像中测量得到的瞳孔距离(左眼特征点与右眼特征点之间的距离)通常不是实际的瞳孔距离,因此,利用人脸偏航角αyaw及预设修正系数k1,对待识别人脸图像中的瞳孔距离进行偏转修正,可以提高瞳孔距离的准确度。
利用预设转换系数j,将归一值,转换为待识别人脸图像中的人脸俯仰角αpitch:αpitch=j*dscale;其中,所述j为预先设定的。
j可以根据实际情况进行设定,作为一种实施方式,当人脸俯仰角较小时,可以将j设定为一固定值,当人脸俯仰角较大时,可以将人脸俯仰角划分为不同角度区间,每个角度区间对应一个j值。
在确定俯仰角的过程中,可以发现:如图5a所示,当人脸角度属于平视时,连线CD(左耳上部特征点C与右耳上部特征点D的连线)与连线AB(左眼特征点A与右眼特征点B的连线)大致在同一直线上。眼镜腿之所以可以架在耳朵上,就是基于这个原理。如图5b所示,当人脸角度属于俯视时,连线CD在连线AB的上方,而且随着俯角逐渐增大,两条连线间距离逐渐增大。如图5c所示,当人脸角度属于仰视时,连线CD在连线AB的的下方,而且随着仰角逐渐增大,两条连线间距离逐渐增大。
也就是说,dEC与dFD的和dsum可以较准确地表示俯仰角的大小;基于此,本发明实施例利用dEC与dFD的和dsum确定俯仰角,准确度较高。
应用本发明所示实施例,确定图像中的人脸特征点,该人脸特征点包括眼部特征点,或者,该人脸特征点包括眼部特征点和耳部特征点;根据人脸特征点之间的位置关系,确定图像中的人脸角度;由此可见,本方案中并不基于多角度图像识别图像中人脸角度,不会受到摄像机拍摄角度的影响,基于图像中的特征点识别人脸角度,识别准确性较高。
与上述方法实施例相对应,本发明实施例还提供一种人脸角度识别装置。
图6为本发明实施例提供的一种人脸角度识别装置的结构示意图,包括:
第一确定模块601,用于在待识别人脸图像中,确定人脸特征点,所述人脸特征点包括眼部特征点,或者,所述人脸特征点包括眼部特征点和耳部特征点;
第二确定模块602,用于根据所述人脸特征点之间的位置关系,确定所述图像中的人脸角度。
作为一种实施方式,第二确定模块602,具体可以用于:
确定眼部特征点与耳部特征点之间的连线;
确定所述连线与所述图像所在坐标系中一指定坐标轴的夹角;
根据所述夹角,确定所述图像中的人脸角度。
作为一种实施方式,第二确定模块602,包括:确定子模块和计算子模块(图中未示出),其中,
确定子模块,用于确定特征点连线与所述特征点连线的垂线的交叉点;其中,所述特征点连线为:所述眼部特征点之间的连线或者所述耳部特征点之间的连线;
计算子模块,用于根据所述眼部特征点和/或所述耳部特征点与所述交叉点之间的距离,计算所述图像中的人脸角度。
作为一种实施方式,所述眼部特征点包括左眼特征点和右眼特征点,所述耳部特征点包括左耳特征点和右耳特征点;
所述特征点连线为:所述左耳特征点与所述右耳特征点之间的连线,所述特征点连线的垂线经过眼部特征点;
或者,所述特征点连线为:所述左眼特征点与所述右眼特征点之间的连线,所述特征点连线的垂线经过耳部特征点。
作为一种实施方式,所述人脸角度包括人脸偏航角;所述确定子模块,可以包括:
第一确定单元,用于确定第一连线与第一垂线的第一交叉点,所述第一连线为所述左耳特征点与所述右耳特征点之间的连线,所述第一垂线经过所述左眼特征点、且与所述第一连线垂直;
第二确定单元,用于确定所述第一连线与第二垂线的第二交叉点,所述第二垂线经过所述右眼特征点、且与所述第一连线垂直;
所述计算子模块,可以包括:
第三确定单元,用于确定所述第一交叉点与所述左耳特征点的第一距离、以及所述第二交叉点与所述右耳特征点的第二距离;
第一计算单元,用于根据所述第一距离与所述第二距离,计算所述图像中的人脸偏航角。
作为一种实施方式,所述左耳特征点包括左耳上部特征点和左耳下部特征点,所述右耳特征点包括右耳上部特征点和右耳下部特征点;
所述第一确定单元,具体可以用于:
确定所述左耳上部特征点与所述右耳上部特征点的连线与第一垂线的第一子交叉点、以及所述左耳下部特征点与所述右耳下部特征点的连线与第一垂线的第二子交叉点;
所述第二确定单元,具体可以用于:
确定所述左耳上部特征点与所述右耳上部特征点的连线与第二垂线的第三子交叉点、以及所述左耳下部特征点与所述右耳下部特征点的连线与第二垂线的第四子交叉点;
所述第三确定单元,具体可以用于:
确定所述第一子交叉点与所述左耳上部特征点的第一子距离;
确定所述第二子交叉点与所述左耳下部特征点的第二子距离;
确定所述第三子交叉点与所述右耳上部特征点的第三子距离;
确定所述第四子交叉点与所述右耳下部特征点的第四子距离;
所述第一计算单元,具体可以用于:
根据所述第一子距离、第二子距离、第三子距离、第四子距离,计算所述图像中的人脸偏航角。
作为一种实施方式,所述第一计算单元,具体可以用于:
计算所述第一子距离与所述第二子距离的和,作为第一数值;
计算所述第三子距离与所述第四子距离的和,作为第二数值;
将所述第一数值与所述第二数值的比值转换为所述图像中的人脸偏航角。
作为一种实施方式,所述人脸角度包括人脸俯仰角;所述确定子模块,可以包括:
第四确定单元,用于确定第二连线与第三垂线的第三交叉点,所述第二连线为所述左眼特征点与所述右眼特征点之间的连线,所述第三垂线经过所述左耳特征点、且与所述第二连线垂直;
第五确定单元,用于确定所述第二连线与第四垂线的第四交叉点,所述第四垂线经过所述右耳特征点、且与所述第二连线垂直;
所述计算子模块,可以包括:
第六确定单元,用于确定所述第三交叉点与所述左耳特征点的第一坐标差、所述第四交叉点与所述右耳特征点的第二坐标差;
第二计算单元,用于根据所述第一坐标差与所述第二坐标差,计算所述图像中的人脸俯仰角。
作为一种实施方式,所述第二计算单元,可以包括:
计算子单元,用于计算所述第一坐标差与所述第二坐标差的和;
归一子单元,用于对所述和进行尺度归一化处理,得到归一值;
转换子单元,用于利用预设转换系数,将所述归一值转换为所述图像中的人脸俯仰角。
作为一种实施方式,所述归一子单元,具体可以用于:
以所述左眼特征点与所述右眼特征点之间的距离为尺度标准,对所述和进行尺度归一化处理,得到归一值。
作为一种实施方式,所述归一子单元,具体可以用于:
确定所述左眼特征点与所述右眼特征点之间的距离,作为待修正瞳孔距离;
根据所述图像中的人脸偏航角及预设修正系数,对所述待修正瞳孔距离进行偏转修正,得到修正后瞳孔距离;
以所述修正后瞳孔距离为尺度标准,对所述和进行尺度归一化处理,得到归一值。
作为一种实施方式,所述归一子单元,具体可以用于:
确定所述左眼特征点与所述右眼特征点之间的距离,作为待修正瞳孔距离;
利用如下算式,计算得到修正后瞳孔距离:
其中,xA为所述左眼特征点A的x轴坐标值,xB为所述右眼特征点B的x轴坐标值,yA为所述左眼特征点A的y轴坐标值,yB为所述右眼特征点B的y轴坐标值,为所述待修正瞳孔距离,k1为所述预设修正系数,αyaw为所述图像中的人脸偏航角;
以所述修正后瞳孔距离为尺度标准,对所述和进行尺度归一化处理,得到归一值。
作为一种实施方式,所述计算子单元,具体可以用于:
利用如下算式计算所述第一坐标差与所述第二坐标差的和:
其中,dsum为所述和,dEC为所述第一坐标差,dFD为所述第二坐标差,xA为所述左眼特征点A的x轴坐标值,xB为所述右眼特征点B的x轴坐标值,xC为所述左耳上部特征点C的x轴坐标值,xD为所述右耳上部特征点D的x轴坐标值,yA为所述左眼特征点A的y轴坐标值,yB为所述右眼特征点B的y轴坐标值,yC为所述左耳上部特征点C的y轴坐标值,yD为所述右耳上部特征点D的y轴坐标值。
应用本发明图6所示实施例,确定图像中的人脸特征点,该人脸特征点包括眼部特征点,或者,该人脸特征点包括眼部特征点和耳部特征点;根据人脸特征点之间的位置关系,确定图像中的人脸角度;由此可见,本方案中并不基于多角度图像识别图像中人脸角度,不会受到摄像机拍摄角度的影响,基于图像中的特征点识别人脸角度,识别准确性较高。
本发明实施例还提供了一种电子设备,如图7所示,包括处理器701和存储器702,其中,
存储器702,用于存放计算机程序;
处理器701,用于执行存储器702上所存放的程序时,实现上述任一种人脸角度识别方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random AccessMemory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种人脸角度识别方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于图6所示的人脸角度识别装置实施例、图7所示的电子设备实施例、以及上述计算机可读存储介质实施例而言,由于其基本相似于图1-5所示的人脸角度识别方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (23)
1.一种人脸角度识别方法,其特征在于,包括:
在待识别人脸图像中,确定人脸特征点,所述人脸特征点包括眼部特征点,或者,所述人脸特征点包括眼部特征点和耳部特征点;
根据所述人脸特征点之间的位置关系,确定所述图像中的人脸角度;
其中,在所述人脸特征点包括眼部特征点和耳部特征点的情况下,所述根据所述人脸特征点之间的位置关系,确定所述图像中的人脸角度,包括:
确定眼部特征点与耳部特征点之间的连线;确定所述连线与所述图像所在坐标系中一指定坐标轴的夹角;根据所述夹角,确定所述图像中的人脸角度;
或者,确定特征点连线与所述特征点连线的垂线的交叉点;其中,所述特征点连线为:所述眼部特征点之间的连线或者所述耳部特征点之间的连线;根据所述眼部特征点和/或所述耳部特征点与所述交叉点之间的距离,计算所述图像中的人脸角度。
2.根据权利要求1所述的方法,其特征在于,所述眼部特征点包括左眼特征点和右眼特征点,所述耳部特征点包括左耳特征点和右耳特征点;
所述特征点连线为:所述左耳特征点与所述右耳特征点之间的连线,所述特征点连线的垂线经过眼部特征点;
或者,所述特征点连线为:所述左眼特征点与所述右眼特征点之间的连线,所述特征点连线的垂线经过耳部特征点。
3.根据权利要求2所述的方法,其特征在于,所述人脸角度包括人脸偏航角;所述确定特征点连线与所述特征点连线的垂线的交叉点,包括:
确定第一连线与第一垂线的第一交叉点,所述第一连线为所述左耳特征点与所述右耳特征点之间的连线,所述第一垂线经过所述左眼特征点、且与所述第一连线垂直;
确定所述第一连线与第二垂线的第二交叉点,所述第二垂线经过所述右眼特征点、且与所述第一连线垂直;
所述根据所述眼部特征点和/或所述耳部特征点与所述交叉点之间的距离,计算所述图像中的人脸角度,包括:
确定所述第一交叉点与所述左耳特征点的第一距离、以及所述第二交叉点与所述右耳特征点的第二距离;
根据所述第一距离与所述第二距离,计算所述图像中的人脸偏航角。
4.根据权利要求3所述的方法,其特征在于,所述左耳特征点包括左耳上部特征点和左耳下部特征点,所述右耳特征点包括右耳上部特征点和右耳下部特征点;
所述确定第一连线与第一垂线的第一交叉点,包括:
确定所述左耳上部特征点与所述右耳上部特征点的连线与第一垂线的第一子交叉点、以及所述左耳下部特征点与所述右耳下部特征点的连线与第一垂线的第二子交叉点;
所述确定第一连线与第二垂线的第二交叉点,包括:
确定所述左耳上部特征点与所述右耳上部特征点的连线与第二垂线的第三子交叉点、以及所述左耳下部特征点与所述右耳下部特征点的连线与第二垂线的第四子交叉点;
所述确定所述第一交叉点与所述左耳特征点的第一距离、以及所述第二交叉点与所述右耳特征点的第二距离,包括:
确定所述第一子交叉点与所述左耳上部特征点的第一子距离;
确定所述第二子交叉点与所述左耳下部特征点的第二子距离;
确定所述第三子交叉点与所述右耳上部特征点的第三子距离;
确定所述第四子交叉点与所述右耳下部特征点的第四子距离;
所述根据所述第一距离与所述第二距离,计算所述图像中的人脸偏航角,包括:
根据所述第一子距离、第二子距离、第三子距离、第四子距离,计算所述图像中的人脸偏航角。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第一子距离、第二子距离、第三子距离、第四子距离,计算所述图像中的人脸偏航角,包括:
计算所述第一子距离与所述第二子距离的和,作为第一数值;
计算所述第三子距离与所述第四子距离的和,作为第二数值;
将所述第一数值与所述第二数值的比值转换为所述图像中的人脸偏航角。
6.根据权利要求2所述的方法,其特征在于,所述人脸角度包括人脸俯仰角;所述确定特征点连线与所述特征点连线的垂线的交叉点,包括:
确定第二连线与第三垂线的第三交叉点,所述第二连线为所述左眼特征点与所述右眼特征点之间的连线,所述第三垂线经过所述左耳特征点、且与所述第二连线垂直;
确定所述第二连线与第四垂线的第四交叉点,所述第四垂线经过所述右耳特征点、且与所述第二连线垂直;
所述根据所述特征点与所述交叉点之间的距离,计算所述图像中的人脸角度,包括:
确定所述第三交叉点与所述左耳特征点的第一坐标差、所述第四交叉点与所述右耳特征点的第二坐标差;
根据所述第一坐标差与所述第二坐标差,计算所述图像中的人脸俯仰角。
7.根据权利要求6所述的方法,其特征在于,所述根据所述第一坐标差与所述第二坐标差,计算所述图像中的人脸俯仰角,包括:
计算所述第一坐标差与所述第二坐标差的和;
对所述和进行尺度归一化处理,得到归一值;
利用预设转换系数,将所述归一值转换为所述图像中的人脸俯仰角。
8.根据权利要求7所述的方法,其特征在于,所述对所述和进行尺度归一化处理,得到归一值,包括:
以所述左眼特征点与所述右眼特征点之间的距离为尺度标准,对所述和进行尺度归一化处理,得到归一值。
9.根据权利要求8所述的方法,其特征在于,所述以所述左眼特征点与所述右眼特征点之间的距离为尺度标准,对所述和进行尺度归一化处理,得到归一值,包括:
确定所述左眼特征点与所述右眼特征点之间的距离,作为待修正瞳孔距离;
根据所述图像中的人脸偏航角及预设修正系数,对所述待修正瞳孔距离进行偏转修正,得到修正后瞳孔距离;
以所述修正后瞳孔距离为尺度标准,对所述和进行尺度归一化处理,得到归一值。
12.一种人脸角度识别装置,其特征在于,包括:
第一确定模块,用于在待识别人脸图像中,确定人脸特征点,所述人脸特征点包括眼部特征点,或者,所述人脸特征点包括眼部特征点和耳部特征点;
第二确定模块,用于根据所述人脸特征点之间的位置关系,确定所述图像中的人脸角度;
所述第二确定模块,具体用于:确定眼部特征点与耳部特征点之间的连线;确定所述连线与所述图像所在坐标系中一指定坐标轴的夹角;根据所述夹角,确定所述图像中的人脸角度;
或者,所述第二确定模块,包括:
确定子模块,用于确定特征点连线与所述特征点连线的垂线的交叉点;其中,所述特征点连线为:所述眼部特征点之间的连线或者所述耳部特征点之间的连线;
计算子模块,用于根据所述眼部特征点和/或所述耳部特征点与所述交叉点之间的距离,计算所述图像中的人脸角度。
13.根据权利要求12所述的装置,其特征在于,所述眼部特征点包括左眼特征点和右眼特征点,所述耳部特征点包括左耳特征点和右耳特征点;
所述特征点连线为:所述左耳特征点与所述右耳特征点之间的连线,所述特征点连线的垂线经过眼部特征点;
或者,所述特征点连线为:所述左眼特征点与所述右眼特征点之间的连线,所述特征点连线的垂线经过耳部特征点。
14.根据权利要求13所述的装置,其特征在于,所述人脸角度包括人脸偏航角;所述确定子模块,包括:
第一确定单元,用于确定第一连线与第一垂线的第一交叉点,所述第一连线为所述左耳特征点与所述右耳特征点之间的连线,所述第一垂线经过所述左眼特征点、且与所述第一连线垂直;
第二确定单元,用于确定所述第一连线与第二垂线的第二交叉点,所述第二垂线经过所述右眼特征点、且与所述第一连线垂直;
所述计算子模块,包括:
第三确定单元,用于确定所述第一交叉点与所述左耳特征点的第一距离、以及所述第二交叉点与所述右耳特征点的第二距离;
第一计算单元,用于根据所述第一距离与所述第二距离,计算所述图像中的人脸偏航角。
15.根据权利要求14所述的装置,其特征在于,所述左耳特征点包括左耳上部特征点和左耳下部特征点,所述右耳特征点包括右耳上部特征点和右耳下部特征点;
所述第一确定单元,具体用于:
确定所述左耳上部特征点与所述右耳上部特征点的连线与第一垂线的第一子交叉点、以及所述左耳下部特征点与所述右耳下部特征点的连线与第一垂线的第二子交叉点;
所述第二确定单元,具体用于:
确定所述左耳上部特征点与所述右耳上部特征点的连线与第二垂线的第三子交叉点、以及所述左耳下部特征点与所述右耳下部特征点的连线与第二垂线的第四子交叉点;
所述第三确定单元,具体用于:
确定所述第一子交叉点与所述左耳上部特征点的第一子距离;
确定所述第二子交叉点与所述左耳下部特征点的第二子距离;
确定所述第三子交叉点与所述右耳上部特征点的第三子距离;
确定所述第四子交叉点与所述右耳下部特征点的第四子距离;
所述第一计算单元,具体用于:
根据所述第一子距离、第二子距离、第三子距离、第四子距离,计算所述图像中的人脸偏航角。
16.根据权利要求15所述的装置,其特征在于,所述第一计算单元,具体用于:
计算所述第一子距离与所述第二子距离的和,作为第一数值;
计算所述第三子距离与所述第四子距离的和,作为第二数值;
将所述第一数值与所述第二数值的比值转换为所述图像中的人脸偏航角。
17.根据权利要求13所述的装置,其特征在于,所述人脸角度包括人脸俯仰角;所述确定子模块,包括:
第四确定单元,用于确定第二连线与第三垂线的第三交叉点,所述第二连线为所述左眼特征点与所述右眼特征点之间的连线,所述第三垂线经过所述左耳特征点、且与所述第二连线垂直;
第五确定单元,用于确定所述第二连线与第四垂线的第四交叉点,所述第四垂线经过所述右耳特征点、且与所述第二连线垂直;
所述计算子模块,包括:
第六确定单元,用于确定所述第三交叉点与所述左耳特征点的第一坐标差、所述第四交叉点与所述右耳特征点的第二坐标差;
第二计算单元,用于根据所述第一坐标差与所述第二坐标差,计算所述图像中的人脸俯仰角。
18.根据权利要求17所述的装置,其特征在于,所述第二计算单元,包括:
计算子单元,用于计算所述第一坐标差与所述第二坐标差的和;
归一子单元,用于对所述和进行尺度归一化处理,得到归一值;
转换子单元,用于利用预设转换系数,将所述归一值转换为所述图像中的人脸俯仰角。
19.根据权利要求18所述的装置,其特征在于,所述归一子单元,具体用于:
以所述左眼特征点与所述右眼特征点之间的距离为尺度标准,对所述和进行尺度归一化处理,得到归一值。
20.根据权利要求19所述的装置,其特征在于,所述归一子单元,具体用于:
确定所述左眼特征点与所述右眼特征点之间的距离,作为待修正瞳孔距离;
根据所述图像中的人脸偏航角及预设修正系数,对所述待修正瞳孔距离进行偏转修正,得到修正后瞳孔距离;
以所述修正后瞳孔距离为尺度标准,对所述和进行尺度归一化处理,得到归一值。
23.一种电子设备,其特征在于,包括处理器和存储器,其中,
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-11任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710692139.0A CN109389018B (zh) | 2017-08-14 | 2017-08-14 | 一种人脸角度识别方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710692139.0A CN109389018B (zh) | 2017-08-14 | 2017-08-14 | 一种人脸角度识别方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109389018A CN109389018A (zh) | 2019-02-26 |
CN109389018B true CN109389018B (zh) | 2020-12-25 |
Family
ID=65415690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710692139.0A Active CN109389018B (zh) | 2017-08-14 | 2017-08-14 | 一种人脸角度识别方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109389018B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110610171A (zh) * | 2019-09-24 | 2019-12-24 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN113011230A (zh) * | 2019-12-20 | 2021-06-22 | 杭州萤石软件有限公司 | 一种人脸偏转角度的确定方法及装置 |
CN113642368B (zh) * | 2020-05-11 | 2023-08-18 | 杭州海康威视数字技术股份有限公司 | 人脸姿态的确定方法、装置、设备及存储介质 |
CN113221699B (zh) * | 2021-04-30 | 2023-09-08 | 杭州海康威视数字技术股份有限公司 | 一种提高识别安全性的方法、装置、识别设备 |
CN117135443A (zh) * | 2023-02-22 | 2023-11-28 | 荣耀终端有限公司 | 一种图像抓拍方法及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005008567A1 (en) * | 2003-07-18 | 2005-01-27 | Yonsei University | Apparatus and method for iris recognition from all direction of view |
CN101377814A (zh) * | 2007-08-27 | 2009-03-04 | 索尼株式会社 | 人脸图像处理设备、人脸图像处理方法以及计算机程序 |
CN106934364A (zh) * | 2017-03-09 | 2017-07-07 | 腾讯科技(上海)有限公司 | 人脸图片的识别方法及装置 |
CN106991367A (zh) * | 2016-01-21 | 2017-07-28 | 腾讯科技(深圳)有限公司 | 确定人脸转动角度的方法和装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7155036B2 (en) * | 2000-12-04 | 2006-12-26 | Sony Corporation | Face detection under varying rotation |
CN106203400A (zh) * | 2016-07-29 | 2016-12-07 | 广州国信达计算机网络通讯有限公司 | 一种人脸识别方法及装置 |
-
2017
- 2017-08-14 CN CN201710692139.0A patent/CN109389018B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005008567A1 (en) * | 2003-07-18 | 2005-01-27 | Yonsei University | Apparatus and method for iris recognition from all direction of view |
CN101377814A (zh) * | 2007-08-27 | 2009-03-04 | 索尼株式会社 | 人脸图像处理设备、人脸图像处理方法以及计算机程序 |
CN106991367A (zh) * | 2016-01-21 | 2017-07-28 | 腾讯科技(深圳)有限公司 | 确定人脸转动角度的方法和装置 |
CN106934364A (zh) * | 2017-03-09 | 2017-07-07 | 腾讯科技(上海)有限公司 | 人脸图片的识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109389018A (zh) | 2019-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109389018B (zh) | 一种人脸角度识别方法、装置及设备 | |
CN109359575B (zh) | 人脸检测方法、业务处理方法、装置、终端及介质 | |
CN105335722B (zh) | 一种基于深度图像信息的检测系统及方法 | |
US8577099B2 (en) | Method, apparatus, and program for detecting facial characteristic points | |
WO2021103430A1 (zh) | 活体检测方法及装置、存储介质 | |
CN111652086B (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
US9626553B2 (en) | Object identification apparatus and object identification method | |
US20070189584A1 (en) | Specific expression face detection method, and imaging control method, apparatus and program | |
CN111680588A (zh) | 一种基于可见光和红外光的人脸闸机活体检测方法 | |
US11120535B2 (en) | Image processing method, apparatus, terminal, and storage medium | |
CN105740778B (zh) | 一种改进的三维人脸活体检测方法及其装置 | |
CN107463865B (zh) | 人脸检测模型训练方法、人脸检测方法及装置 | |
TW200910223A (en) | Image processing apparatus and image processing method | |
CN111160232B (zh) | 正面人脸重建方法、装置及系统 | |
WO2021008205A1 (zh) | 图像处理 | |
WO2013122009A1 (ja) | 信頼度取得装置、信頼度取得方法および信頼度取得プログラム | |
TW201405445A (zh) | 基於雙攝影機之真實人臉識別系統及其方法 | |
WO2016165614A1 (zh) | 一种即时视频中的表情识别方法和电子设备 | |
CN111046825A (zh) | 人体姿态识别方法、装置、系统及计算机可读存储介质 | |
CN111709302A (zh) | 人脸表情检测方法、装置、头戴显示设备及存储介质 | |
WO2020164284A1 (zh) | 基于平面检测的活体识别方法、装置、终端及存储介质 | |
CN112101127A (zh) | 人脸脸型的识别方法、装置、计算设备及计算机存储介质 | |
CN109753886B (zh) | 一种人脸图像的评价方法、装置及设备 | |
CN106980818B (zh) | 一种用于人脸图像的个性化预处理方法、系统及其终端 | |
JP5048691B2 (ja) | 画像認識方法およびその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |