CN107679446B - 人脸姿态检测方法、装置及存储介质 - Google Patents
人脸姿态检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN107679446B CN107679446B CN201710707941.2A CN201710707941A CN107679446B CN 107679446 B CN107679446 B CN 107679446B CN 201710707941 A CN201710707941 A CN 201710707941A CN 107679446 B CN107679446 B CN 107679446B
- Authority
- CN
- China
- Prior art keywords
- angle
- face
- feature point
- distance
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Abstract
本发明公开了一种人脸姿态检测方法，该方法包括：通过人脸检测算法从人脸图像中提取N个人脸特征点；从所述N个人脸特征点中提取关键特征点；根据所述关键特征点的坐标值计算人脸绕坐标轴的旋转方向和角度等人脸姿态信息。本发明根据人脸特征点的坐标值计算人脸图像中人脸的姿态信息，实现对人脸姿态的实时检测。相应的，本发明还提出一种计算装置以及一种计算机可读存储介质。
Description
技术领域
本发明涉及计算机视觉处理技术领域，尤其涉及一种人脸姿态检测方法、装置及存储介质。
背景技术
计算机视觉处理技术始于20世纪60年代初，包含检测、跟踪、识别等多个研究方向。随着计算机和网络技术的飞速发展，计算机视觉处理技术已广泛地应用于工业检测、安全监控、临床诊治、交通、娱乐、军事等诸多重要领域。其中，计算机人脸姿态检测技术可用于辅助驾驶、人机交互等智能系统，具有广阔的应用前景。
现有的人脸姿态检测系统多是采用深度学习直接对不同姿态的人脸样本数据进行训练，然后使用训练后的模型对人脸姿态进行判断，但这种检测方法需要大量样本、精确度较差，且只能对已训练的姿态进行检测，无法检测所有的人脸姿态。
发明内容
本发明提供一种人脸姿态检测方法、装置及存储介质，其主要目的在于根据人体脸部关键特征点的坐标值计算人脸姿态信息，提高人脸姿态检测的速度和精度，实现任意角度的人脸姿态检测。
为实现上述目的，本发明提供一种人脸姿态检测方法，该方法包括：
人脸特征点提取步骤：通过人脸检测算法从人脸图像中提取N个人脸特征点；
关键特征点提取步骤：从所述N个人脸特征点中提取脸部轮廓特征点中靠近右耳上方的第一特征点、靠近右耳下方的第二特征点、靠近左耳下方的第三特征点、靠近左耳上方的第四特征点，并提取鼻尖特征点为第五特征点；
第一计算步骤：将所述第五特征点与第一特征点组成第一向量，第五特征点与第四特征点组成第二向量，计算第一向量与第二向量的第一夹角，根据第一夹角与初始夹角的变化判断所述人脸图像中人脸绕X轴的旋转角度；
第二计算步骤：将所述第一特征点与第四特征点组成第三向量，从第四特征点引出一条与X轴平行的直线L1，计算第三向量与直线L1的第二夹角，根据该第二夹角判断所述人脸图像中人脸绕Y轴的旋转角度；
第三计算步骤：将所述第二特征点与第五特征点的距离记为第一距离，第三特征点与第五特征点的距离记为第二距离，计算第一距离与第二距离的比值，根据第一距离与第二距离的比值判断所述人脸图像中人脸绕Z轴的旋转方向。其中，所述第一计算步骤包括：
计算人脸在初始位置时所述第一向量与第二向量的初始夹角；
当所述第一夹角大于初始夹角时，表明所述人脸图像中人脸绕X轴向上旋转，旋转角度为第一夹角与初始夹角之差；
当所述第一夹角小于初始夹角时，表明所述人脸图像中人脸绕X轴向下旋转，旋转角度为初始夹角与第一夹角之差；
当所述第一夹角等于初始夹角时，表明所述人脸图像中人脸相对于X轴处于初始位置，即未抬头或低头。
所述第二计算步骤包括：
当所述第二夹角为0°时，表明所述人脸图像中人脸相对于Y轴处于初始位置，即未向左或向右歪头；
当所述第二夹角不为0°且所述第一特征点在所述直线L1上方时，表明所述人脸图像中人脸绕Y轴向左旋转，旋转角度为第二夹角的角度值；
当所述第二夹角不为0°且所述第一特征点在所述直线L1下方时，表明所述人脸图像中人脸绕Y轴向右旋转，旋转角度为第二夹角的角度值。
所述第三计算步骤包括：
当所述第一距离与第二距离的比值等于1时，表明所述人脸图像中人脸相对于Z轴处于初始位置，即未向左或向右转头；
当所述第一距离与第二距离的比值大于1时，表明所述人脸图像中人脸绕Z轴向左旋转；
当所述第一距离与第二距离的比值小于1时，表明所述人脸图像中人脸绕Z轴向右旋转。
所述人脸检测算法为dlib人脸特征点检测算法，从人脸图像中提取68个特征点，包括17个脸部轮廓特征点，10个眉部特征点，4个鼻翼特征点，其中包括鼻尖特征点，以及其他37个鼻孔、眼部、唇部特征点。所述脸部轮廓特征点中，靠近右耳上方的第一特征点与靠近左耳上方的第四特征点对称，靠近右耳下方的第二特征点与靠近左耳下方的第三特征点对称。
为实现上述目的，本发明还提供一种计算装置，该装置包括摄像装置、存储器和处理器，所述存储器中包括人脸姿态检测程序，所述人脸姿态检测程序被所述处理器执行时遵循如下步骤：
人脸特征点提取步骤：通过人脸检测算法从人脸图像中提取N个人脸特征点；
关键特征点提取步骤：从所述N个人脸特征点中提取脸部轮廓特征点中靠近右耳上方的第一特征点、靠近右耳下方的第二特征点、靠近左耳下方的第三特征点、靠近左耳上方的第四特征点，并提取鼻尖特征点为第五特征点；
第一计算步骤：将所述第五特征点与第一特征点组成第一向量，第五特征点与第四特征点组成第二向量，计算第一向量与第二向量的第一夹角，根据第一夹角与初始夹角的变化判断所述人脸图像中人脸绕X轴的旋转角度；
第二计算步骤：将所述第一特征点与第四特征点组成第三向量，从第四特征点引出一条与X轴平行的直线L1，计算第三向量与直线L1的第二夹角，根据该第二夹角判断所述人脸图像中人脸绕Y轴的旋转角度；
第三计算步骤：将所述第二特征点与第五特征点的距离记为第一距离，第三特征点与第五特征点的距离记为第二距离，计算第一距离与第二距离的比值，根据第一距离与第二距离的比值判断所述人脸图像中人脸绕Z轴的旋转方向。
其中，所述第一计算步骤包括：
计算人脸在初始位置时所述第一向量与第二向量的初始夹角；
当所述第一夹角大于初始夹角时，表明所述人脸图像中人脸绕X轴向上旋转，旋转角度为第一夹角与初始夹角之差；
当所述第一夹角小于初始夹角时，表明所述人脸图像中人脸绕X轴向下旋转，旋转角度为初始夹角与第一夹角之差；
当所述第一夹角等于初始夹角时，表明所述人脸图像中人脸相对于X轴处于初始位置，即未抬头或低头。
所述第二计算步骤包括：
当所述第二夹角为0°时，表明所述人脸图像中人脸相对于Y轴处于初始位置，即未向左或向右歪头；
当所述第二夹角不为0°且所述第一特征点在所述直线L1上方时，表明所述人脸图像中人脸绕Y轴向左旋转，旋转角度为第二夹角的角度值；
当所述第二夹角不为0°且所述第一特征点在所述直线L1下方时，表明所述人脸图像中人脸绕Y轴向右旋转，旋转角度为第二夹角的角度值。
所述第三计算步骤包括：
当所述第一距离与第二距离的比值等于1时，表明所述人脸图像中人脸相对于Z轴处于初始位置，即未向左或向右转头；
当所述第一距离与第二距离的比值大于1时，表明所述人脸图像中人脸绕Z轴向左旋转；
当所述第一距离与第二距离的比值小于1时，表明所述人脸图像中人脸绕Z轴向右旋转。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包括人脸姿态检测程序。所述人脸姿态检测程序被所述处理器执行时，实现如上所述的人脸姿态检测方法中的任意步骤。
本发明提出的人脸姿态检测方法、装置及计算机可读存储介质，通过提取人体面部关键特征点，根据所述关键特征点的坐标值计算人脸旋转角度等姿态信息，提高人脸姿态检测的速度和精度，实现任意角度的人脸姿态检测。
附图说明
图1为本发明计算装置较佳实施例的运行环境示意图；
图2为图1中人脸姿态检测程序的功能模块图；
图3为图2中提取模块提取的人脸特征点的示意图；
图4为本发明人脸姿态检测方法较佳实施例的流程图；
图5为图4中步骤S30涉及的特征点、向量和夹角的示意图；
图6为图4中步骤S40涉及的特征点、向量、直线和夹角的示意图；
图7为图4中步骤S50涉及的特征点及特征点之间距离的示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1所示，为本发明计算装置1较佳实施例的运行环境示意图。
该计算装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
参照图1所示，该计算装置1包括摄像装置11、存储器12、处理器13、网络接口14及通信总线15。其中，摄像装置11安装于特定场所，如办公场所、监控区域、智能汽车驾驶室，对进入该特定场所的目标实时拍摄得到实时图像，通过网络将拍摄得到的实时图像传输至处理器13。网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口)。通信总线15用于实现这些组件之间的连接通信。
存储器12包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述计算装置1的内部存储单元，例如该计算装置1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述计算装置1的外部存储器，例如所述计算装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。
在本实施例中，所述存储器12的可读存储介质通常用于存储安装于所述计算装置1的人脸姿态检测程序10、摄像装置11获得的实时图像、人脸图像及初始数据等。所述存储器12还可以用于暂时地存储已经输出或者将要输出的数据。
处理器13，在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器12中存储的程序代码或处理数据，例如执行人脸姿态检测程序10等。
图1仅示出了具有组件11-15以及人脸姿态检测程序10的计算装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该计算装置1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
可选地，所述计算装置1还可以包括显示器，显示器也可以适当的称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器用于显示在计算装置1中处理的信息以及用于显示可视化的用户界面。
可选地，该计算装置1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。
此外，该计算装置1的显示器的面积可以与所述触摸传感器的面积相同，也可以不同。可选地，将显示器与所述触摸传感器层叠设置，以形成触摸显示屏。该计算装置基于触摸显示屏侦测用户触发的触控操作。
可选地，该计算装置1还可以包括RF(Radio Frequency，射频)电路，传感器、音频电路等等，在此不再赘述。
作为一种计算机可读存储介质的存储器12，可以包括操作系统、人脸姿态检测程序10、摄像装置11获得的实时图像和人脸图像等数据。处理器13执行存储器12中存储的人脸姿态检测程序10时执行如下步骤：
人脸特征点提取步骤：通过人脸检测算法从人脸图像中提取N个人脸特征点。如图3所示，当应用dlib人脸特征点检测算法时，可以从人脸图像中提取人脸特征点P1-P68(N＝68)；
关键特征点提取步骤：从所述N个人脸特征点中提取脸部轮廓特征点中靠近右耳上方的第一特征点P1、靠近右耳下方的第二特征点P3、靠近左耳下方的第三特征点P15、靠近左耳上方的第四特征点P17，并提取鼻尖特征点为第五特征点P31；
第一计算步骤：将所述第五特征点P31与第一特征点P1组成第一向量，第五特征点P31与第四特征点P17组成第二向量(参照图5所示)，计算第一向量与第二向量的第一夹角，根据第一夹角与初始夹角的变化判断所述人脸图像中人脸绕X轴的旋转角度；
第二计算步骤：将所述第一特征点P1与第四特征点P17组成第三向量，从第四特征点P17引出一条与X轴平行的直线L1(参照图6所示)，计算第三向量与直线L1的第二夹角，根据该第二夹角判断所述人脸图像中人脸绕Y轴的旋转角度；
第三计算步骤：将所述第二特征点P3与第五特征点P31的距离记为第一距离，第三特征点P15与第五特征点P31的距离记为第二距离(参照图7所示)，计算第一距离与第二距离的比值，根据第一距离与第二距离的比值判断所述人脸图像中人脸绕Z轴的旋转方向。
其中，所述第一计算步骤包括：
计算人脸在初始位置时所述第一向量与第二向量的初始夹角，可选地，若该初始夹角为120°，则：
当所述第一夹角大于120°时，表明所述人脸图像中人脸绕X轴向上旋转，旋转角度为第一夹角与初始夹角之差；
当所述第一夹角小于120°时，表明所述人脸图像中人脸绕X轴向下旋转，旋转角度为初始夹角与第一夹角之差；
当所述第一夹角等于120°时，表明所述人脸图像中人脸相对于X轴处于初始位置，即未抬头或低头。
所述第二计算步骤包括：
当所述第二夹角为0°时，表明所述人脸图像中人脸相对于Y轴处于初始位置，即未向左或向右歪头；
当所述第二夹角不为0°且所述第一特征点在所述直线L1上方时，表明所述人脸图像中人脸绕Y轴向左旋转，旋转角度为第二夹角的角度值；
当所述第二夹角不为0°且所述第一特征点在所述直线L1下方时，表明所述人脸图像中人脸绕Y轴向右旋转，旋转角度为第二夹角的角度值。
所述第三计算步骤包括：
当所述第一距离与第二距离的比值等于1时，表明所述人脸图像中人脸相对于Z轴处于初始位置，即未向左或向右转头；
当所述第一距离与第二距离的比值大于1时，表明所述人脸图像中人脸绕Z轴向左旋转；
当所述第一距离与第二距离的比值小于1时，表明所述人脸图像中人脸绕Z轴向右旋转。
在本实施例中，所述人脸检测算法为dlib人脸特征点检测算法。参照图3所示，利用dlib人脸特征点检测算法从人脸图像中提取68个特征点，包括17个脸部轮廓特征点，10个眉部特征点，4个鼻翼特征点，其中包括鼻尖特征点，以及其他37个鼻孔、眼部、唇部特征点。所述脸部轮廓特征点中，靠近右耳上方的第一特征点与靠近左耳上方的第四特征点对称，靠近右耳下方的第二特征点与靠近左耳下方的第三特征点对称。
所述X、Y、Z坐标轴的定义为：把人脸认为是一个柱面，则柱面的中心轴作为人脸数据的垂直坐标轴Z轴，取过鼻尖特征点且与柱面中心轴垂直相交的直线作为Y轴，以Z轴和Y轴的叉积方向作为X轴。
在其他实施例中，人脸姿态检测程序10还可以被分割为一个或者多个模块，该一个或者多个模块被存储于存储器12中，并由处理器13执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。
参照图2所示，为图1中人脸姿态检测程序10的功能模块图。
所述人脸姿态检测程序10可以被分割为获取模块110、提取模块120及计算模块130。
获取模块110，用于获取摄像装置11拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像。当摄像装置11拍摄到一张实时图像，摄像装置11将这张实时图像发送到处理器13，当处理器13接受到该实时图像后，所述获取模块110利用人脸识别算法提取出实时的脸部图像。
具体地，从该实时图像中提取实时脸部图像的人脸识别算法可以为基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法，等等。
提取模块120，用于将该实时脸部图像的人脸特征点和关键特征点提取出来。
例如，所述提取模块120通过dlib人脸特征点检测算法将实时脸部图像中的68个人脸特征点P1-P68提取出来，如图3所示。进一步的，从所述68个人脸特征点中提取出5个关键特征点：靠近右耳上方的第一特征点P1，靠近右耳下方的第二特征点P3，靠近左耳下方的第三特征点P15，靠近左耳上方的第四特征点P17，以及鼻尖处的第五特征点P31。
计算模块130，用于根据该实时人脸图像中5个关键特征点的坐标值计算得到该实时人脸图像中人脸旋转方向及角度。
具体地，所述计算模块130用于：
计算所述第五特征点和第一特征点组成的第一向量与第五特征点和第四特征点组成的第二向量的第一夹角，根据第一夹角与初始夹角的变化判断所述人脸图像中人脸绕X轴的旋转角度；
计算所述第一特征点和第四特征点组成的第三向量与从第四特征点引出的与X轴平行的直线L1的第二夹角，以此判断所述人脸图像中人脸绕Y轴的旋转角度；及
计算所述第二特征点和第五特征点的第一距离与第三特征点和第五特征点的第二距离的比值，以此判断所述人脸图像中人脸绕Z轴的旋转方向。
本实施例提出的计算装置1，从实时图像中提取实时脸部图像，利用dlib人脸特征点检测算法提取出该实时脸部图像中的人脸特征点，并进一步提取出关键特征点，然后根据关键特征点的坐标值计算人脸图像中人脸旋转方向和角度，实现对人脸姿态的实时检测。
此外，本发明还提供一种人脸姿态检测方法。参照图4所示，为本发明人脸姿态检测方法较佳实施例的流程图。该方法可以由一个计算装置执行，该计算装置可以由软件和/或硬件实现。
在本实施例中，人脸姿态检测方法包括：
步骤S10，提取模块120通过人脸检测算法从人脸图像中提取N个人脸特征点。摄像装置11拍摄一张实时图像并将该实时图像发送到处理器13，处理器13接受到该实时图像后，利用人脸识别算法提取出实时的脸部图像，然后通过人脸检测算法获取N个人脸特征点。可选地，从该实时图像中提取实时的脸部图像的人脸识别算法可以为基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法，等等。优选地，从该人脸图像中提取人脸特征点的人脸检测算法为dlib人脸特征点检测算法。
步骤S20，提取模块120提取人脸图像特征点中的关键特征点。提取模块120进一步提取靠近右耳上方的第一特征点P1、靠近右耳下方的第二特征点P3、靠近左耳下方的第三特征点P15、靠近左耳上方的第四特征点P17，并提取鼻尖特征点为第五特征点P31。
步骤S30，计算模块130计算所述人脸图像中人脸绕X轴的旋转角度。参照图5所示，将所述第五特征点P31与第一特征点P1组成第一向量，第五特征点P31与第四特征点P17组成第二向量，计算第一向量和第二向量的第一夹角，根据第一夹角与初始夹角的变化判断所述人脸图像中人脸绕X轴的旋转角度；
步骤S40，计算模块130计算所述人脸图像中人脸绕Y轴的旋转角度。参照图6所示，将所述第一特征点P1与第四特征点P17组成第三向量，从第四特征点P17引出一条与X轴平行的直线L1，计算第三向量与直线L1的第二夹角，根据该第二夹角判断所述人脸图像中人脸绕Y轴的旋转角度。
步骤S50，计算模块130计算所述人脸图像中人脸绕Z轴的旋转方向。参照图7所示，将所述第二特征点P3与第五特征点P31的距离记为第一距离，第三特征点P15与第五特征点P31的距离记为第二距离，计算第一距离与第二距离的比值，根据第一距离与第二距离的比值判断人脸绕Z轴的旋转方向。
本实施例提出的人脸姿态检测方法，利用dlib人脸特征点检测算法获取该实时脸部图像中的人脸特征点，并进一步提取出关键特征点，根据关键特征点的坐标值计算该实时脸部图像中人脸旋转方向和角度，实现对人脸姿态的实时检测。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中包括人脸姿态检测程序，所述人脸姿态检测程序被所述处理器执行时实现如下操作：
人脸特征点提取步骤：通过人脸检测算法从人脸图像中提取N个人脸特征点。如图3所示，当应用dlib人脸特征点检测算法时，可以从人脸图像中提取人脸特征点P1-P68(N＝68)；
关键特征点提取步骤：从所述N个人脸特征点中提取脸部轮廓特征点中靠近右耳上方的第一特征点P1、靠近右耳下方的第二特征点P3、靠近左耳下方的第三特征点P15、靠近左耳上方的第四特征点P17，并提取鼻尖特征点为第五特征点P31；
第一计算步骤：将所述第五特征点P31与第一特征点P1组成第一向量，第五特征点P31与第四特征点P17组成第二向量(参照图5所示)，计算第一向量与第二向量的第一夹角，根据第一夹角与初始夹角的变化判断所述人脸图像中人脸绕X轴的旋转角度；
第二计算步骤：将所述第一特征点P1与第四特征点P17组成第三向量，从第四特征点P17引出一条与X轴平行的直线L1(参照图6所示)，计算第三向量与直线L1的第二夹角，根据该第二夹角判断所述人脸图像中人脸绕Y轴的旋转角度；
第三计算步骤：将所述第二特征点P3与第五特征点P31的距离记为第一距离，第三特征点P15与第五特征点P31的距离记为第二距离(参照图7所示)，计算第一距离与第二距离的比值，根据第一距离与第二距离的比值判断所述人脸图像中人脸绕Z轴的旋转方向。
其中，所述第一计算步骤包括：
计算人脸在初始位置时所述第一向量与第二向量的初始夹角，若该初始夹角为120°，则：
当所述第一夹角大于120°时，表明所述人脸图像中人脸绕X轴向上旋转，旋转角度为第一夹角与初始夹角之差；
当所述第一夹角小于120°时，表明所述人脸图像中人脸绕X轴向下旋转，旋转角度为初始夹角与第一夹角之差；
当所述第一夹角等于120°时，表明所述人脸图像中人脸相对于X轴处于初始位置，即未抬头或低头。
所述第二计算步骤包括：
当所述第二夹角为0°时，表明所述人脸图像中人脸相对于Y轴处于初始位置，即未向左或向右歪头；
当所述第二夹角不为0°且所述第一特征点在所述直线L1上方时，表明所述人脸图像中人脸绕Y轴向左旋转，旋转角度为第二夹角的角度值；
当所述第二夹角不为0°且所述第一特征点在所述直线L1下方时，表明所述人脸图像中人脸绕Y轴向右旋转，旋转角度为第二夹角的角度值。
所述第三计算步骤包括：
当所述第一距离与第二距离的比值等于1时，表明所述人脸图像中人脸相对于Z轴处于初始位置，即未向左或向右转头；
当所述第一距离与第二距离的比值大于1时，表明所述人脸图像中人脸绕Z轴向左旋转；
当所述第一距离与第二距离的比值小于1时，表明所述人脸图像中人脸绕Z轴向右旋转。
本发明之人脸姿态检测计算机可读存储介质的具体实施方式与上述人脸姿态检测方法的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置或方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置或方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种人脸姿态检测方法，其特征在于，该方法包括：
人脸特征点提取步骤：通过人脸检测算法从人脸图像中提取N个人脸特征点；
关键特征点提取步骤：从所述N个人脸特征点中提取脸部轮廓特征点中靠近右耳上方的第一特征点、靠近右耳下方的第二特征点、靠近左耳下方的第三特征点、靠近左耳上方的第四特征点，并提取鼻尖特征点为第五特征点；
第一计算步骤：将所述第五特征点与第一特征点组成第一向量，第五特征点与第四特征点组成第二向量，计算第一向量与第二向量的第一夹角，根据第一夹角与初始夹角之差得到所述人脸图像中人脸绕X轴的旋转角度，所述初始夹角为人脸在初始位置时所述第一向量与第二向量的夹角；
第二计算步骤：将所述第一特征点与第四特征点组成第三向量，从第四特征点引出一条与X轴平行的直线L1，计算第三向量与直线L1的第二夹角，根据该第二夹角判断所述人脸图像中人脸绕Y轴的旋转角度；
第三计算步骤：将所述第二特征点与第五特征点的距离记为第一距离，第三特征点与第五特征点的距离记为第二距离，计算第一距离与第二距离的比值，根据第一距离与第二距离的比值判断所述人脸图像中人脸绕Z轴的旋转方向。
2.根据权利要求1所述的人脸姿态检测方法，其特征在于，所述人脸检测算法为dlib人脸特征点检测算法。
3.根据权利要求1所述的人脸姿态检测方法，其特征在于，所述N个人脸特征点包括脸部轮廓特征点、眉部特征点、鼻翼特征点、鼻孔特征点、眼部特征点和唇部特征点。
4.根据权利要求1所述的人脸姿态检测方法，其特征在于，所述脸部轮廓特征点中，靠近右耳上方的第一特征点与靠近左耳上方的第四特征点对称，靠近右耳下方的第二特征点与靠近左耳下方的第三特征点对称。
5.根据权利要求1所述的人脸姿态检测方法，其特征在于，所述第一计算步骤包括：
当所述第一夹角大于初始夹角时，表明所述人脸图像中人脸绕X轴向上旋转，旋转角度为第一夹角与初始夹角之差；
当所述第一夹角小于初始夹角时，表明所述人脸图像中人脸绕X轴向下旋转，旋转角度为初始夹角与第一夹角之差；
当所述第一夹角等于初始夹角时，表明所述人脸图像中人脸相对于X轴处于初始位置。
6.根据权利要求1所述的人脸姿态检测方法，其特征在于，所述第二计算步骤包括：
当所述第二夹角为0°时，表明所述人脸图像中人脸相对于Y轴处于初始位置；
当所述第二夹角不为0°且所述第一特征点在所述直线L1上方时，表明所述人脸图像中人脸绕Y轴向左旋转，旋转角度为第二夹角的角度值；
当所述第二夹角不为0°且所述第一特征点在所述直线L1下方时，表明所述人脸图像中人脸绕Y轴向右旋转，旋转角度为第二夹角的角度值。
7.根据权利要求1所述的人脸姿态检测方法，其特征在于，所述第三计算步骤包括：
当所述第一距离与第二距离的比值等于1时，表明所述人脸图像中人脸相对于Z轴处于初始位置；
当所述第一距离与第二距离的比值大于1时，表明所述人脸图像中人脸绕Z轴向左旋转；
当所述第一距离与第二距离的比值小于1时，表明所述人脸图像中人脸绕Z轴向右旋转。
8.一种计算装置，包括摄像装置、存储器和处理器，其特征在于，所述存储器中包括人脸姿态检测程序，所述人脸姿态检测程序被所述处理器执行时实现如下步骤：
人脸特征点提取步骤：通过人脸检测算法从人脸图像中提取N个人脸特征点；
关键特征点提取步骤：从所述N个人脸特征点中提取脸部轮廓特征点中靠近右耳上方的第一特征点、靠近右耳下方的第二特征点、靠近左耳下方的第三特征点、靠近左耳上方的第四特征点，并提取鼻尖特征点为第五特征点；
第一计算步骤：将所述第五特征点与第一特征点组成第一向量，第五特征点与第四特征点组成第二向量，计算第一向量与第二向量的第一夹角，根据第一夹角与初始夹角之差得到所述人脸图像中人脸绕X轴的旋转角度，所述初始夹角为人脸在初始位置时所述第一向量与第二向量的夹角；
第二计算步骤：将所述第一特征点与第四特征点组成第三向量，从第四特征点引出一条与X轴平行的直线L1，计算第三向量与直线L1的第二夹角，根据该第二夹角判断所述人脸图像中人脸绕Y轴的旋转角度；
第三计算步骤：将所述第二特征点与第五特征点的距离记为第一距离，第三特征点与第五特征点的距离记为第二距离，计算第一距离与第二距离的比值，根据第一距离与第二距离的比值判断所述人脸图像中人脸绕Z轴的旋转方向。
9.根据权利要求8所述的计算装置，其特征在于，所述人脸检测算法为dlib人脸特征点检测算法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括人脸姿态检测程序，所述人脸姿态检测程序被处理器执行时，实现如权利要求1至7中任一项所述的人脸姿态检测方法的步骤。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710707941.2A CN107679446B (zh) | 2017-08-17 | 2017-08-17 | 人脸姿态检测方法、装置及存储介质 |
| SG11202001403XA SG11202001403XA (en) | 2017-08-17 | 2017-10-31 | Face pose detection method, device and storage medium |
| PCT/CN2017/108803 WO2019033576A1 (zh) | 2017-08-17 | 2017-10-31 | 人脸姿态检测方法、装置及存储介质 |
| JP2019556821A JP6815707B2 (ja) | 2017-08-17 | 2017-10-31 | 顔姿勢検出方法、装置及び記憶媒体 |
| US16/632,371 US11062124B2 (en) | 2017-08-17 | 2017-10-31 | Face pose detection method, device and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710707941.2A CN107679446B (zh) | 2017-08-17 | 2017-08-17 | 人脸姿态检测方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107679446A CN107679446A (zh) | 2018-02-09 |
| CN107679446B true CN107679446B (zh) | 2019-03-15 |
Family
ID=61134676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710707941.2A Active CN107679446B (zh) | 2017-08-17 | 2017-08-17 | 人脸姿态检测方法、装置及存储介质 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11062124B2 (zh) |
| JP (1) | JP6815707B2 (zh) |
| CN (1) | CN107679446B (zh) |
| SG (1) | SG11202001403XA (zh) |
| WO (1) | WO2019033576A1 (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10867161B2 (en) * | 2017-09-06 | 2020-12-15 | Pixart Imaging Inc. | Auxiliary filtering device for face recognition and starting method for electronic device |
| CN108549487A (zh) * | 2018-04-23 | 2018-09-18 | 网易（杭州）网络有限公司 | 虚拟现实交互方法与装置 |
| EP3707644A4 (en) * | 2018-04-25 | 2020-12-23 | Beijing Didi Infinity Technology and Development Co., Ltd. | SYSTEMS AND METHODS FOR DETECTION OF SHAKES BASED ON FACIAL FEATURE POINTS |
| CN109086727B (zh) * | 2018-08-10 | 2021-04-30 | 北京奇艺世纪科技有限公司 | 一种确定人体头部的运动角度的方法、装置及电子设备 |
| CN109522863B (zh) * | 2018-11-28 | 2020-11-27 | 北京达佳互联信息技术有限公司 | 耳部关键点检测方法、装置及存储介质 |
| CN110222651A (zh) * | 2019-06-10 | 2019-09-10 | Oppo广东移动通信有限公司 | 一种人脸姿态检测方法、装置、终端设备及可读存储介质 |
| CN112307817B (zh) * | 2019-07-29 | 2024-03-19 | 中国移动通信集团浙江有限公司 | 人脸活体检测方法、装置、计算设备及计算机存储介质 |
| CN111104846B (zh) * | 2019-10-16 | 2022-08-30 | 平安科技（深圳）有限公司 | 数据检测方法、装置、计算机设备和存储介质 |
| CN113642368B (zh) * | 2020-05-11 | 2023-08-18 | 杭州海康威视数字技术股份有限公司 | 人脸姿态的确定方法、装置、设备及存储介质 |
| JPWO2022264268A1 (zh) * | 2021-06-15 | 2022-12-22 | ||
| KR102538783B1 (ko) * | 2022-09-27 | 2023-06-01 | 주식회사 미러로이드 | 가상 헤어 스타일링 체험을 위한 민머리 인물 이미지 생성 장치 및 방법 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SG91841A1 (en) * | 1999-11-03 | 2002-10-15 | Kent Ridge Digital Labs | Face direction estimation using a single gray-level image |
| JP3590321B2 (ja) * | 2000-03-28 | 2004-11-17 | 株式会社メディックエンジニアリング | 人物照合システム |
| US6671391B1 (en) * | 2000-05-26 | 2003-12-30 | Microsoft Corp. | Pose-adaptive face detection system and process |
| JP4204336B2 (ja) * | 2003-01-30 | 2009-01-07 | 富士通株式会社 | 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム |
| JP4946730B2 (ja) * | 2007-08-27 | 2012-06-06 | ソニー株式会社 | 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム |
| JP5432532B2 (ja) * | 2008-01-22 | 2014-03-05 | 株式会社 資生堂 | 化粧方法、化粧シミュレーション装置、及び化粧シミュレーションプログラム |
| CN102054291A (zh) * | 2009-11-04 | 2011-05-11 | 厦门市美亚柏科信息股份有限公司 | 一种基于单幅人脸图像实现三维人脸重建的方法及其装置 |
| CN103605965A (zh) * | 2013-11-25 | 2014-02-26 | 苏州大学 | 一种多姿态人脸识别方法和装置 |
| KR101612605B1 (ko) * | 2014-05-07 | 2016-04-14 | 포항공과대학교 산학협력단 | 얼굴 특징점 추출 방법 및 이를 수행하는 장치 |
| EP2942980A1 (en) * | 2014-05-08 | 2015-11-11 | GN Store Nord A/S | Real-time control of an acoustic environment |
| WO2015186519A1 (ja) * | 2014-06-06 | 2015-12-10 | シャープ株式会社 | 画像処理装置及び画像表示装置 |
| JP5950486B1 (ja) * | 2015-04-01 | 2016-07-13 | みずほ情報総研株式会社 | 加齢化予測システム、加齢化予測方法及び加齢化予測プログラム |
| US10330958B2 (en) * | 2015-04-10 | 2019-06-25 | Bespoke, Inc. | Systems and methods for creating eyewear with multi-focal lenses |
| CN105389570A (zh) * | 2015-11-19 | 2016-03-09 | 吴建忠 | 一种人脸角度判定方法及其系统 |
| CN106991367B (zh) * | 2016-01-21 | 2019-03-19 | 腾讯科技（深圳）有限公司 | 确定人脸转动角度的方法和装置 |
| WO2019110115A1 (en) * | 2017-12-07 | 2019-06-13 | Koninklijke Philips N.V. | A frame unit |
| JP6981325B2 (ja) * | 2018-03-22 | 2021-12-15 | 株式会社Ｊｖｃケンウッド | 処理装置、処理方法、及びプログラム |
| KR102537784B1 (ko) * | 2018-08-17 | 2023-05-30 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| CN109345253A (zh) * | 2018-09-04 | 2019-02-15 | 阿里巴巴集团控股有限公司 | 资源转移方法、装置及系统 |
| CN114730101A (zh) * | 2019-09-24 | 2022-07-08 | 贝斯普客有限公司D/B/A拓扑眼镜 | 使用面部特征的3d扫描来调整库存眼镜框架的系统和方法 |
-
2017
- 2017-08-17 CN CN201710707941.2A patent/CN107679446B/zh active Active
- 2017-10-31 JP JP2019556821A patent/JP6815707B2/ja active Active
- 2017-10-31 US US16/632,371 patent/US11062124B2/en active Active
- 2017-10-31 SG SG11202001403XA patent/SG11202001403XA/en unknown
- 2017-10-31 WO PCT/CN2017/108803 patent/WO2019033576A1/zh active Application Filing
Non-Patent Citations (1)
| Title |
|---|
| 基于多特征的疲劳驾驶检测系统的设计与实现;蒋友毅;《中国优秀硕士学位论文全文数据库-信息科技辑》;20140615(第06期);第I140-527页 |
Also Published As
| Publication number | Publication date |
|---|---|
| SG11202001403XA (en) | 2020-03-30 |
| US11062124B2 (en) | 2021-07-13 |
| JP2020518051A (ja) | 2020-06-18 |
| WO2019033576A1 (zh) | 2019-02-21 |
| US20200226354A1 (en) | 2020-07-16 |
| CN107679446A (zh) | 2018-02-09 |
| JP6815707B2 (ja) | 2021-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107679446B (zh) | 人脸姿态检测方法、装置及存储介质 | |
| Kumar et al. | A multimodal framework for sensor based sign language recognition | |
| CN107862292B (zh) | 人物情绪分析方法、装置及存储介质 | |
| EP3113114B1 (en) | Image processing method and device | |
| CN107679448B (zh) | 眼球动作分析方法、装置及存储介质 | |
| CN106104434B (zh) | 使用触摸屏设备确定用户利手和定向 | |
| WO2021120834A1 (zh) | 基于生物识别的手势识别方法、装置、计算机设备及介质 | |
| CN107679447A (zh) | 面部特征点检测方法、装置及存储介质 | |
| US20190102044A1 (en) | Depth-Based Touch Detection | |
| CN107450714A (zh) | 基于增强现实和图像识别的人机交互支撑测试系统 | |
| CN107633205B (zh) | 嘴唇动作分析方法、装置及存储介质 | |
| CN109635752B (zh) | 人脸关键点的定位方法、人脸图像处理方法和相关装置 | |
| CN110942479B (zh) | 虚拟对象控制方法、存储介质及电子设备 | |
| WO2018161893A1 (zh) | 用户身份识别方法及装置 | |
| TW201627824A (zh) | 手寫軌跡識別方法與系統 | |
| Wu et al. | Vision-based fingertip tracking utilizing curvature points clustering and hash model representation | |
| Liu et al. | Hand gesture recognition based on concentric circular scan lines and weighted K-nearest neighbor algorithm | |
| US20200204546A1 (en) | Apparatus, method and computer program product for biometric recognition | |
| CN111444488A (zh) | 一种基于动态手势的身份认证方法 | |
| CN111857334A (zh) | 人体手势字母的识别方法、装置、计算机设备及存储介质 | |
| CN112183424A (zh) | 一种基于视频的实时手部追踪方法和系统 | |
| Francis et al. | Significance of hand gesture recognition systems in vehicular automation-a survey | |
| Jiang et al. | independent hand gesture recognition with Kinect | |
| CN114937285A (zh) | 动态手势识别方法、装置、设备及存储介质 | |
| Nayakwadi et al. | Natural hand gestures recognition system for intelligent hci: A survey |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Face pose detection method, device and storage medium Effective date of registration: 20210625 Granted publication date: 20190315 Pledgee: Shenzhen hi tech investment small loan Co.,Ltd. Pledgor: PING AN TECHNOLOGY (SHENZHEN) Co.,Ltd. Registration number: Y2021980005317 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20220721 Granted publication date: 20190315 Pledgee: Shenzhen hi tech investment small loan Co.,Ltd. Pledgor: PING AN TECHNOLOGY (SHENZHEN) Co.,Ltd. Registration number: Y2021980005317 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |