CN109086727B - 一种确定人体头部的运动角度的方法、装置及电子设备 - Google Patents
一种确定人体头部的运动角度的方法、装置及电子设备 Download PDFInfo
- Publication number
- CN109086727B CN109086727B CN201810910888.0A CN201810910888A CN109086727B CN 109086727 B CN109086727 B CN 109086727B CN 201810910888 A CN201810910888 A CN 201810910888A CN 109086727 B CN109086727 B CN 109086727B
- Authority
- CN
- China
- Prior art keywords
- angle
- determining
- distance
- motion angle
- central point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种确定人体头部的运动角度的方法、装置及电子设备。所述方法包括：获取一帧人脸图像并确定人脸图像对应的人体头部运动到的位置为终止位置；确定目标运动角度的类别并基于目标运动角度的类别，确定用于计算目标运动角度所需的人脸特征点；确定人脸特征点在人脸图像中的坐标，并按照目标运动角度的类别对应的预设规则，计算人脸特征点之间距离的比值，并确定该比值为目标距离比值；基于目标运动角度的类别对应的预设对应关系，确定目标距离比值对应的运动角度为目标运动角度的类别对应的目标运动角度，从而基于该目标运动角度，确定人体头部的目标运动角度。应用本发明实施例能够降低复杂度、提高速度。
Description
技术领域
本发明涉及运动分析领域，特别是涉及一种确定人体头部的运动角度的方法、装置及电子设备。
背景技术
在运动分析领域中，常常需要对人体的运动进行分析，从而获得人体的运动信息，比如，人体头部的运动角度等等，之后，可以利用这些运动信息，进行多种应用，比如构建人体运动模型等等。
现有技术中，确定人体头部的运动角度，可以利用iPhoneX等装配了原深感摄像头系统的设备。具体的：可以利用这些设备中的点阵投影器，通过投射超过3万个肉眼不可见的光点，实时追踪并读取人脸的3D几何结构，绘制精确细致的深度脸部图，同时通过独立的神经引擎(Neural Engine)，处理深度脸部图中的数据，从而确定人体头部的运动角度。
针对未装配有原深感摄像头系统的设备来说，可以配备额外的加速传感器，由所述加速传感器根据人体运动的加速度确定人体头部的运动角度，并将确定的所述运动角度传输至所述设备，以进行后续的应用。其中，所述额外的加速传感器可以设置于头戴设备中等。
然而在实际中，往往所使用的设备中未装配有原深感摄像头，也无法使用额外的加速传感器，此时，可以通过常规的视频图像处理算法，基于至少两帧人脸图像，确定人体头部的运动角度。由于该视频图像处理算法在确定人体头部的运动角度时，需要对至少两帧人脸图像进行处理才能实现，并且，该算法在具体处理过程中，为了提高准确度，往往会对第一帧人脸图像和它前后几帧人脸图像中的预设的基准点的坐标求取平均值，来代替第一帧人脸图像的预设的基准点的坐标，可见，该算法不仅需要的人脸图像的帧数较多，导致复杂度较高，还存在前后帧数据的依赖问题；并且，该算法为了消除人脸与屏幕的距离对于预设的基准点的坐标的变化量的影响，还需要进行额外算法的处理，那么，显而易见，该算法的速度较慢。
由此可见，上述视频图像处理算法在确定人体头部的运动角度时，会存在前后帧数据的依赖问题，并且复杂度高、速度慢。
发明内容
本发明实施例的目的在于提供一种确定人体头部的运动角度的方法、装置及电子设备，以实现消除前后帧数据的依赖问题，降低复杂度、提高速度的目的。具体技术方案如下：
第一方面，本发明实施例提供了一种确定人体头部的运动角度的方法，所述方法包括：
获取一帧人脸图像，并确定所述人脸图像对应的人体头部运动到的位置为终止位置；
确定目标运动角度的类别，并基于所述目标运动角度的类别，确定用于计算所述目标运动角度所需的人脸特征点；其中，所述目标运动角度为从所述初始位置到所述终止位置的角度；
确定所述人脸图像中所确定的人脸特征点的坐标，并按照所述目标运动角度的类别对应的预设规则，计算所确定的人脸特征点之间距离的比值，确定计算得到的比值为目标距离比值；
基于所述目标运动角度的类别对应的预设对应关系，确定所述目标距离比值对应的运动角度，为所述目标运动角度的类别对应的目标运动角度，其中，所述预设对应关系包括：人脸特征点之间距离的比值与人体头部的运动角度的映射关系；
基于所述目标运动角度的类别对应的目标运动角度，确定人体头部的目标运动角度。
可选的，所确定的目标运动角度的类别包括：俯仰角、翻滚角或偏航角；
所述确定目标运动角度的类别的步骤，包括：
判断所述终止位置相对于所述初始位置的运动方向；
若判断结果为人体头部绕三维坐标系中的X轴旋转，则确定目标运动角度的类别为俯仰角；若判断结果为人体头部绕三维坐标系中的Y轴旋转，则确定目标运动角度的类别为偏航角；若判断结果为人体头部绕三维坐标系中的Z轴旋转，则确定目标运动角度的类别为翻滚角。
可选的，所述基于所述目标运动角度的类别，确定用于计算所述目标运动角度所需的人脸特征点的步骤，包括：
若所确定的目标运动角度的类别为俯仰角，则确定用于计算所述目标运动角度所需的人脸特征点至少包括：左眼中心点、右眼中心点、鼻子中心点和嘴巴中心点。
可选的，所述确定所述人脸图像中所确定的人脸特征点的坐标，并按照所述目标运动角度的类别对应的预设规则，计算所确定的人脸特征点之间距离的比值为目标距离比值的步骤，包括：
确定所述人脸图像中左眼中心点的坐标、右眼中心点的坐标、鼻子中心点的坐标和嘴巴中心点的坐标；
基于所述左眼中心点的坐标与所述右眼中心点的坐标，确定左眼中心点与右眼中心点的连接线段的中点坐标；
基于所确定的中点坐标与所述鼻子中心点的坐标，确定所确定的中点与鼻子中心点之间的距离为第一距离；
基于所述鼻子中心点的坐标与所述嘴巴中心点的坐标，确定鼻子中心点与嘴巴中心点之间的距离为第二距离；
将所述第一距离和所述第二距离的比值确定为，与俯仰角对应的目标距离比值。
可选的，所述基于所述目标运动角度的类别，确定用于计算所述目标运动角度所需的人脸特征点的步骤，包括：
若所确定的目标运动角度的类别为翻滚角，则确定用于计算所述目标运动角度所需的人脸特征点至少包括：左眼中心点和右眼中心点。
可选的，所述确定所述人脸图像中所确定的人脸特征点的坐标，并按照所述目标运动角度的类别对应的预设规则，计算所确定的人脸特征点之间距离的比值为目标距离比值的步骤，包括：
确定所述人脸图像中左眼中心点的坐标和右眼中心点的坐标；
基于所述左眼中心点的坐标和所述右眼中心点的坐标，确定左眼中心点与右眼中心点在纵轴上的距离为第一距离，左眼中心点与右眼中心点在横轴上的距离为第二距离；
将所述第一距离和所述第二距离的比值确定为，与翻滚角对应的目标距离比值。
可选的，所述基于所述目标运动角度的类别，确定用于计算所述目标运动角度所需的人脸特征点的步骤，包括：
若所确定的目标运动角度的类别为偏航角，则确定用于计算所述目标运动角度所需的人脸特征点至少包括：左眼中心点、右眼中心点和鼻子中心点。
可选的，所述确定所述人脸图像中所确定的人脸特征点的坐标，并按照所述目标运动角度的类别对应的预设规则，计算所确定的人脸特征点之间距离的比值为目标距离比值的步骤，包括：
确定所述人脸图像中左眼中心点的坐标、右眼中心点的坐标和鼻子中心点的坐标；
基于所述左眼中心点的坐标和所述鼻子中心点的坐标，确定左眼中心点与鼻子中心点之间的距离为第一距离；
基于所述右眼中心点的坐标和所述鼻子中心点的坐标，确定右眼中心点与鼻子中心点之间的距离为第二距离；
将所述第一距离和所述第二距离的比值确定为，与偏航角对应的目标距离比值。
第二方面，本发明实施例提供了一种确定人体头部的运动角度的装置，所述装置包括：
获取模块，用于获取一帧人脸图像，并确定所述人脸图像对应的人体头部运动到的位置为终止位置；
第一确定模块，用于确定目标运动角度的类别，并基于所述目标运动角度的类别，确定用于计算所述目标运动角度所需的人脸特征点；其中，所述目标运动角度为从所述初始位置到所述终止位置的角度；
第二确定模块，用于确定所述人脸图像中所确定的人脸特征点的坐标，并按照所述目标运动角度的类别对应的预设规则，计算所确定的人脸特征点之间距离的比值，确定计算得到的比值为目标距离比值；
第三确定模块，用于基于所述目标运动角度的类别对应的预设对应关系，确定所述目标距离比值对应的运动角度，为所述目标运动角度的类别对应的目标运动角度，其中，所述预设对应关系包括：人脸特征点之间距离的比值与人体头部的运动角度的映射关系；
第四确定模块，用于基于所述目标运动角度的类别对应的目标运动角度，确定人体头部的目标运动角度。
可选的，所确定的目标运动角度的类别包括：俯仰角、翻滚角或偏航角；
所述第一确定模块，包括：
判断子模块，用于判断所述终止位置相对于所述初始位置的运动方向；
确定子模块，用于若判断结果为人体头部绕三维坐标系中的X轴旋转，则确定目标运动角度的类别为俯仰角；若判断结果为人体头部绕三维坐标系中的Y轴旋转，则确定目标运动角度的类别为偏航角；若判断结果为人体头部绕三维坐标系中的Z轴旋转，则确定目标运动角度的类别为翻滚角。
可选的，所述第一确定模块，用于：
若所确定的目标运动角度的类别为俯仰角，则确定用于计算所述目标运动角度所需的人脸特征点至少包括：左眼中心点、右眼中心点、鼻子中心点和嘴巴中心点。
可选的，所述第二确定模块，用于：
确定所述人脸图像中左眼中心点的坐标、右眼中心点的坐标、鼻子中心点的坐标和嘴巴中心点的坐标；
基于所述左眼中心点的坐标与所述右眼中心点的坐标，确定左眼中心点与右眼中心点的连接线段的中点坐标；
基于所确定的中点坐标与所述鼻子中心点的坐标，确定所确定的中点与鼻子中心点之间的距离为第一距离；
基于所述鼻子中心点的坐标与所述嘴巴中心点的坐标，确定鼻子中心点与嘴巴中心点之间的距离为第二距离；
将所述第一距离和所述第二距离的比值确定为，与俯仰角对应的目标距离比值。
可选的，所述第一确定模块，用于：
若所确定的目标运动角度的类别为翻滚角，则确定用于计算所述目标运动角度所需的人脸特征点至少包括：左眼中心点和右眼中心点。
可选的，所述第二确定模块，用于：
确定所述人脸图像中左眼中心点的坐标和右眼中心点的坐标；
基于所述左眼中心点的坐标和所述右眼中心点的坐标，确定左眼中心点与右眼中心点在纵轴上的距离为第一距离，左眼中心点与右眼中心点在横轴上的距离为第二距离；
将所述第一距离和所述第二距离的比值确定为，与翻滚角对应的目标距离比值。
可选的，所述第一确定模块，用于：
若所确定的目标运动角度的类别为偏航角，则确定用于计算所述目标运动角度所需的人脸特征点至少包括：左眼中心点、右眼中心点和鼻子中心点。
可选的，所述第二确定模块，用于：
确定所述人脸图像中左眼中心点的坐标、右眼中心点的坐标和鼻子中心点的坐标；
基于所述左眼中心点的坐标和所述鼻子中心点的坐标，确定左眼中心点与鼻子中心点之间的距离为第一距离；
基于所述右眼中心点的坐标和所述鼻子中心点的坐标，确定右眼中心点与鼻子中心点之间的距离为第二距离；
将所述第一距离和所述第二距离的比值确定为，与偏航角对应的目标距离比值。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现本发明实施例所提供的确定人体头部的运动角度的方法的步骤。
本发明实施例所提供的方案中，可以先基于一帧人脸图像，确定目标运动角度的类别，再利用与目标运动角度的类别对应的人脸特征点，得到人脸特征点之间的距离比值，并利用人脸特征点之间的距离比值与人体头部的运动角度的映射关系，确定从初始位置到人脸图像所示的终止位置的目标运动角度，最终确定人体头部的运动角度。相比于现有的视频图像处理算法需要多帧人脸图像才能确定人体头部的运动角度，本发明实施例所提供的方案，基于一帧人脸图像就能够确定人体头部的运动角度，因此，应用本发明实施例能够消除前后帧数据的依赖问题，降低复杂度、提高速度。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种确定人体头部的运动角度的方法的流程示意图；
图2为本实施例提供的通过Dlib算法提取的人脸特征点的示意图；
图3(a)为与俯仰角相关的多个人脸特征点的距离关系示意图，图3(b)为属于俯仰角类别的运动角度对应的头部运动的示意图；
图4(a)为与翻滚角相关的多个人脸特征点的距离关系示意图，图4(b)为属于翻滚角类别的运动角度对应的头部运动的示意图；
图5(a)为与偏航角相关的多个人脸特征点的距离关系示意图，图5(b)为属于偏航角类别的运动角度对应的头部运动的示意图；
图6为本发明实施例所提供的一种确定人体头部的运动角度的装置的结构示意图；
图7为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
为了实现消除前后帧数据的依赖问题，降低复杂度、提高速度的目的，本发明实施例提供了一种确定人体头部的运动角度的方法、装置、电子设备及存储介质。
需要说明的是，本发明实施例所提供的一种确定人体头部的运动角度的方法的执行主体可以为一种确定人体头部的运动角度的装置，该装置可以运行于电子设备中。其中，该电子设备可以为移动终端、计算机或图像拍摄设备等，当然并不局限于此。
下面，首先对本发明实施例所提供的一种确定人体头部的运动角度的方法进行介绍。
如图1所示，本发明实施例所提供的一种确定人体头部的运动角度的方法，可以包括如下步骤：
S101，获取一帧人脸图像，并确定所述人脸图像对应的人体头部运动到的位置为终止位置。
本发明实施例中的人脸图像，可以是由任意图像拍摄设备所拍摄的含有人脸的图像，所述图像拍摄设备可以是任何包含有摄像头的设备，例如照相机或手机。在此，并不对本发明实施例中的所述图像拍摄设备进行限定。
在本发明实施例中，获取人脸图像的方式包括：直接从所述图像拍摄设备获取人脸图像、接收图像拍摄设备发送的人脸图像、从一预设存储位置获取预先存储的人脸图像、接收用户输入的人脸图像或者从视频中获取图像帧等，在此，并不对本发明实施例中获取一帧人脸图像的方式进行限定。
在获取一帧人脸图像后，可以确定所述人脸图像对应的人体头部运动到的位置为终止位置。
具体的：可以确定所述人脸图像中预设参考点的位置，比如预设参考点可以为头顶中心点或者鼻子中心点等，然后，可以将确定的所述预设参考点的位置作为终止位置。可以理解的是，所述终止位置可以表示人体头部运动到的位置。
S102，确定目标运动角度的类别，并基于所述目标运动角度的类别，确定用于计算所述目标运动角度所需的人脸特征点。
在本发明实施例中，可以结合三维笛卡尔坐标系，将弹体姿态角的类别，作为人体头部的运动角度的类别，因而，运动角度的类别可以包括：俯仰角、翻滚角和偏航角三个类别。当然，对人体头部的运动角度的分类并不局限于此。
可以基于上述三个类别，确定所述人脸图像对应的目标运动角度的类别。其中，所述确定目标运动角度的类别的步骤，包括：
步骤一：判断所述终止位置相对于所述初始位置的运动方向；
本发明实施例所提供的方法，针对人体头部相对于初始位置发生运动的情况。其中，所述初始位置为一个预设位置，所述初始位置可以为人体头部在俯仰角、翻滚角和偏航角的各个角度上，均未发生运动的位置，也就是三个角度均为0度的位置。当然，所述初始位置也可以是其他任意的位置，这都是合理的。
在本发明实施例中，可以判断所述预设参考点从所述初始位置，运动到所述终止位置的变化方向，从而判断所述终止位置相对于所述初始位置的运动方向。
步骤二：若判断结果为人体头部绕三维坐标系中的X轴旋转，则确定目标运动角度的类别为俯仰角；若判断结果为人体头部绕三维坐标系中的Y轴旋转，则确定目标运动角度的类别为偏航角；若判断结果为人体头部绕三维坐标系中的Z轴旋转，则确定目标运动角度的类别为翻滚角。
需要说明的是，所确定的目标运动角度的类别可以为俯仰角、翻滚角或偏航角中的一个或多个。
并且，在实际研究过程中还发现，人脸图像上的一些位置点之间的位置关系，与人体头部的某一运动角度的类别的运动角度有关，且所述位置关系与其他运动角度的类别的运动角度无关。具体的，各个运动角度的类别，存在一些人脸特征点。比如人脸特征点可以为左眼和右眼等等。一个运动角度的类别的人脸特征点之间的距离比值的变化，能够体现人体头部在该运动角度的类别下，相对于所述初始位置所发生的运动角度。
那么，可以基于所述目标运动角度的类别，确定人脸特征点，在后续用所述人脸特征点计算所述目标运动角度。其中，所述目标运动角度为从所述初始位置到所述终止位置的角度。
为了布局清楚，确定目标运动角度的类别之后的具体实施过程，在后文中以具体的实施例分别予以介绍。
S103，确定所述人脸图像中所确定的人脸特征点的坐标，并按照所述目标运动角度的类别对应的预设规则，计算所确定的人脸特征点之间距离的比值，确定计算得到的比值为目标距离比值。
在本发明实施例中，各个运动角度的类别具有对应的预设规则，所述预设规则表示：利用人脸特征点的坐标，计算所述人脸特征点之间距离的比值的方法。
因此，可以首先在所述人脸图像中，确定所述人脸特征点的坐标，然后按照所述目标运动角度的类别对应的预设规则，计算所述人脸特征点之间距离的比值，并将计算得到的距离的比值，作为目标距离比值。
S104，基于所述目标运动角度的类别对应的预设对应关系，确定所述目标距离比值对应的运动角度，为所述目标运动角度的类别对应的目标运动角度。
在本发明实施例中，各个运动角度的类别具有对应的预设对应关系。其中，所述预设对应关系包括：人脸特征点之间距离的比值与人体头部的运动角度的映射关系。
本发明实施例中，所述预设对应关系可以是基于研究获得的经验值预先建立的。具体的，该预设对应关系可以是一个预设对应表，其中含有一运动角度的类别的人脸特征点之间的距离比值，与该运动角度的类别的人体头部的运动角度之间的映射关系，比如俯仰角的人脸特征点之间的距离比值为0.73，对应人体头部在俯仰角的运动角度为21度等等。可以理解的是，该预设对应表中可以含有俯仰角、翻滚角或偏航角分别对应的多个距离比值及对应的运动角度。预设对应关系也可以为，利用训练库对深度学习模型进行训练得到的。
需要说明的是，本发明实施例中的预设对应关系，是基于大量人脸图像得到的。在本发明的研究过程中发现，不同的人脸图像所对应的人脸特征点之间的距离比值是非常接近的，因此，本发明实施例的所述预设对应关系对不同人脸图像具有普遍适用性。
本发明实施例中，可以基于所述目标距离比值，从所述目标角度类别对应的预设对应关系中，确定与所述目标距离比值对应的目标运动角度。
需要说明的是，有可能所述预设对应关系中记录的经验值中并未含有所述目标距离比值，那么，可以基于所述预设对应关系，利用线性关系，计算获得所述目标距离比值所对应的目标运动角度，比如利用其它的距离比值和对应的运动角度，利用线性插值法等算法，计算获得所述目标距离比值所对应的目标运动角度。或者对于翻滚角，还可以利用反正切函数计算翻滚角对应的目标距离比值，来获得翻滚角对应的运动角度。
S105，基于所述目标运动角度的类别对应的目标运动角度，确定人体头部的目标运动角度。
在本发明实施例中，可以将得到的目标运动角度的类别对应的目标运动角度，作为人体头部的目标运动角度。
需要说明的是，本发明实施例所提供的确定人体头部的运动角度的方法，利用预设对应关系确定人体头部的运动角度，适用于对运动角度的精确度要求不是很高的场景。
在本发明实施例中，可以基于一帧人脸图像，确定人体头部的运动角度。在具体实施过程中，可以实时地获得多帧人脸图像，并确定各帧人脸图像的各个目标运动角度的类别所对应的目标运动角度，然后，针对各个目标运动角度的类别，可以判断该类别的多个目标运动角度是否超出了预设的抖动范围，具体的：可以预设一目标运动角度的类别的、相邻两帧人脸图像的目标运动角度的差值，比如说为0.5度，然后判断该类别的多个目标运动角度中，相邻的两个目标运动角度的差值是否大于0.5度，如果是，则确定所述两个目标运动角度中的后者超出了预设的抖动范围。如果判定某个目标运动角度超出了预设的抖动范围，可以使用平滑滤波器对超出预设的抖动范围的目标运动角度进行修正。针对各个目标运动角度的类别的抖动判断及平滑滤波处理过程是类似的。
通过上述过程可以得到平滑稳定的各个目标运动角度，从而实时地确定每一帧人脸图像对应的人体头部的运动角度。上述对目标运动角度的抖动判断及平滑滤波处理，目的在于针对连续的多帧人脸图像，得到平滑稳定的人体头部的运动角度，以用于构造稳定的人体模型等。
本发明实施例所提供的确定人体头部的运动角度的方法，可以用于后期的模型控制及人体开关等上层应用。具体的，可以用于社交多媒体等面部模型驱动类相关产品，比如可以用于“泡泡—我拍”等产品，或者可以在UGC(User Generated Content，用户原创内容)视频中增加一些3D道具或者三维表情符号3D emoji，让模型与拍摄者之间产生关联或者交互，能够提高拍摄者参与的积极性和娱乐性。
本发明实施例所提供的方案中，可以先基于一帧人脸图像，确定目标运动角度的类别，再利用与目标运动角度的类别对应的人脸特征点，得到人脸特征点之间的距离比值，并利用人脸特征点之间的距离比值与人体头部的运动角度的映射关系，确定从初始位置到人脸图像所示的终止位置的目标运动角度，最终确定人体头部的运动角度。相比于现有的视频图像处理算法需要多帧人脸图像才能确定人体头部的运动角度，本发明实施例所提供的方案，仅需要一帧人脸图像即可确定人体头部的运动角度，该一帧人脸图像的所述运动角度的确定过程，与前后帧的人脸图像没有关联，因此，本发明实施例所提供的方法能够消除前后帧数据的依赖问题，同时本发明实施例所提供的方法逻辑简洁、速度快，能够降低复杂度。经实验验证本发明实施例所提供的方法，对应的算法时间复杂度O(f(n))可以达到最低级别O(1)。
同时，本发明实施例所提供的方法，只需要摄像头即可实现，并不需要含有加速传感器的头戴设备等额外的硬件设备的辅助，可以减少对设备的性能要求，使得该方法的应用较为简洁、方便。
现有技术中的视频图像处理算法，对预设的基准点的坐标的变化量，进行一定的算法处理，来获得这两帧人脸图像之间的人体头部的运动角度，主要过程可以是：利用两帧人脸图像中预设的基准点在某个方向上的坐标的变化量，来近似一运动角度的类别的运动角度。比如用前后两帧人脸图像中鼻子的中心点在x轴方向的位移差值来近似偏航角的运动角度，然而，在人脸面对屏幕仅进行左右的水平移动的情况下，其实并未出现头部的运动角度，那么，在该种情况下使用上述算法得出偏航角就是错误的；同样的，比如，用前后两帧人脸图像中鼻子的中心点在y轴方向的位移差值来近似俯仰角的角度，然而，在人脸面对屏幕仅进行上下的垂直移动的情况下，其实并未出现头部的运动角度，那么，在该种情况下使用上述算法得出俯仰角就是错误的。由此可见，使用上述近似法的视频图像处理算法并未考虑到人脸面对屏幕仅出现水平或者垂直方向上的运动的情况，在这些情况下使用该视频图像处理算法会出现明显的错误。
相比于上述使用近似法的视频图像处理算法，本发明实施例所提供的方案，利用一帧人脸图像中的多个人脸特征点的坐标，计算得到目标距离比值，并基于大量经验值获得的预设对应关系，确定所述目标距离比值对应的运动角度，为所述目标运动角度的类别对应的目标运动角度，并基于所述目标运动角度的类别对应的目标运动角度，确定人体头部的目标运动角度。由于所述目标距离比值是与目标运动角度的类别对应的，且所述目标距离比值是根据多个人脸特征点的坐标计算获得的，因此，本发明实施例所提供的方案，可以消除人脸在面对屏幕仅进行水平或者垂直方向上的运动所造成的影响，获得较为准确的人体头部的运动角度。
以下，针对所确定的目标运动角度的类别分别为俯仰角、翻滚角和偏航角，以三个具体实施例，分别说明本发明的确定人体头部的运动角度的方法，在确定目标运动角度的类别之后的具体实施过程。
需要说明的是，以下所述的方向，如左眼及右眼等，均为人脸图像中的视觉方向，如左眼为人脸图像中位于左侧的眼睛等。
实施例一：当所述目标运动角度的类别为俯仰角时，本发明实施所提供的确定人体头部的运动角度的方法，在确定目标运动角度的类别之后的具体实施过程可以包括如下的步骤a1-a4：
步骤a1，确定用于计算俯仰角所需的人脸特征点。
其中，该步骤a1为当类别为俯仰角时，上述的S102中的所述基于所述目标运动角度的类别，确定用于计算所述目标运动角度所需的人脸特征点的具体实现方式。
其中，用于计算俯仰角所需的人脸特征点至少包括：左眼中心点、右眼中心点、鼻子中心点和嘴巴中心点。具体地，本发明中所述的中心点的确定方法可以为：通过人脸识别算法对人脸进行识别，得到人脸特征点，再按照预设规则，基于所识别的人脸特征点确定各个区域的中心点。其中，为便于理解，本实施例提供了通过Dlib算法提取的68个人脸特征点的示意图(图2)，下面将结合图2做进一步介绍。即本实施例中的左眼中心点201为由特征点37-特征点42围成的左眼区域的几何中心点；右眼中心点202为由特征点43-特征点48围成的右眼区域的几何中心点；鼻子中心点203为特征点31；嘴巴中心点204为特征点61-特征点68围成的嘴巴区域的几何中心点。
步骤a2，确定所述人脸特征点的坐标，并按照俯仰角对应的预设规则，计算所述人脸特征点之间距离的比值为目标距离比值。
其中，该步骤a2为当类别为俯仰角时，上述的S103的具体实现方式。
可选地，在一种实现方式中，该步骤a2具体可以包括如下步骤(1)-(5)：
(1)确定所述人脸图像中左眼中心点的坐标、右眼中心点的坐标、鼻子中心点的坐标和嘴巴中心点的坐标。
具体的，确定左眼的中心点的二维坐标为(x1,y1)，右眼的中心点的二维坐标为(x2,y2)，鼻子的中心点的二维坐标为(x3,y3)及嘴巴的中心点的二维坐标为(x4,y4)。
(2)基于所述左眼中心点的坐标与所述右眼中心点的坐标，确定左眼中心点与右眼中心点的连接线段的中点坐标。
具体的，确定左眼中心点与右眼中心点的连接线段的中点坐标为(x0,y0)，其中，x0＝(x1+x2)/2，y0＝(y1+y2)/2。
(3)基于所确定的中点坐标与所述鼻子中心点的坐标，确定所确定的中点与鼻子中心点之间的距离为第一距离。
具体的，确定所述第一距离为h1，其中，
(4)基于所述鼻子中心点的坐标与所述嘴巴中心点的坐标，确定鼻子中心点与嘴巴中心点之间的距离为第二距离。
具体的，确定所述第二距离为h2，其中，
(5)将所述第一距离和所述第二距离的比值确定为，与俯仰角对应的目标距离比值。
具体的，确定所述俯仰角对应的目标距离比值为
参照图3进行理解，图3(a)为与俯仰角相关的多个人脸特征点的距离关系示意图，该图中的点1、点2、点3和点4分别代表左眼中心点、右眼中心点、鼻子中心点和嘴巴中心点；所述h1为所述人脸图像中的左右眼连接线段的中点与鼻子中心点的距离；所述h2为所述人脸图像中的鼻子中心点与嘴巴中心点的距离。图3(b)为属于俯仰角类别的运动角度对应的头部运动的示意图，结合该图可以理解，人在抬头或低头运动时，也就是人体头部的俯仰角发生变化时，h1/h2的值会发生变化，而在其他方向上单独运动时，该值不会受到影响。
步骤a3，基于俯仰角对应的预设对应关系，确定所述目标距离比值对应的运动角度，为所述俯仰角对应的目标运动角度。
其中，该步骤a3为当类别为俯仰角时，上述的S104的具体实现方式。
参见表1，表1为俯仰角对应的预设对应关系的部分表格。可以在表1中，基于目标距离比值R1，确定与R1对应的运动角度。比如R1＝0.686024，对应的运动角度为24.376346°，则确定24.376346°为俯仰角对应的目标运动角度。
表1
需要说明的是，俯仰角的目标距离比值R1均为正值；本发明实施例的俯仰角对应的预设对应关系中，俯仰角的运动角度的范围为-45°～+45°；这是由于当俯仰角的运动角度超出上述范围时，无法从人脸图像中获得人脸特征点的位置。当R1小于0度俯仰角预设值比值时，所对应的俯仰角的运动角度为正值，表示人相对于俯仰角为0度的位置做抬头运动，如图3(b)的左侧图所示；当R1大于0度俯仰角预设值比值时，所对应的俯仰角的运动角度为负值，表示人相对于俯仰角为0度的位置做低头运动，如图3(b)的右侧图所示。
步骤a4，基于俯仰角对应的目标运动角度，确定人体头部的目标运动角度。
其中，该步骤a4为当类别为俯仰角时，上述的S105的具体实现方式。
具体的，可以将俯仰角对应的目标运动角度，作为人体头部的目标运动角度。比如，确定人体头部的目标运动角度为俯仰角24.376346°。
实施例二：当所述目标运动角度的类别为翻滚角时，本发明实施所提供的确定人体头部的运动角度的方法，在确定目标运动角度的类别之后的具体实施过程可以包括如下的步骤b1-b4：
步骤b1，确定用于计算翻滚角所需的人脸特征点。
其中，该步骤b1为当类别为翻滚角时，上述的S102中的所述基于所述目标运动角度的类别，确定用于计算所述目标运动角度所需的人脸特征点的具体实现方式。
其中，用于计算翻滚角所需的人脸特征点至少包括：左眼中心点和右眼中心点。
步骤b2，确定所述人脸特征点的坐标，并按照翻滚角对应的预设规则，计算所述人脸特征点之间距离的比值为目标距离比值。
其中，该步骤b2为当类别为翻滚角时，上述的S103的具体实现方式。
可选地，在一种实现方式中，该步骤b2具体可以包括如下步骤(1)-(3)：
(1)确定所述人脸图像中左眼中心点的坐标和右眼中心点的坐标。
具体的，确定左眼的中心点的二维坐标为(x1,y1)和右眼的中心点的二维坐标为(x2,y2)。
(2)基于所述左眼中心点的坐标和所述右眼中心点的坐标，确定左眼中心点与右眼中心点在纵轴上的距离为第一距离，左眼中心点与右眼中心点在横轴上的距离为第二距离。
具体的，确定所述第一距离为dy，其中，dy＝y1-y2；确定所述第二距离为dx，其中，dx＝|x1-x2|。
(3)将所述第一距离和所述第二距离的比值确定为，与翻滚角对应的目标距离比值。
具体的，确定所述翻滚角对应的目标距离比值为
参照图4进行理解，图4(a)为与翻滚角相关的多个人脸特征点的距离关系示意图，该图中的点1和点2分别代表左眼中心点和右眼中心点；所述dy为所述人脸图像中的左眼中心点与右眼中心点在纵轴上的距离；所述dx为所述人脸图像中的左眼中心点与右眼中心点在横轴上的距离。图4(b)为属于翻滚角类别的运动角度对应的头部运动的示意图，结合该图可以理解，人体在左右摆头运动时，也就是人体头部的翻滚角发生变化时，dy/dx的值会发生变化，而在其他方向上单独运动时，该值不会受到影响。
步骤b3，基于翻滚角对应的预设对应关系，确定所述目标距离比值对应的运动角度，为所述翻滚角对应的目标运动角度。
其中，该步骤b3为当类别为翻滚角时，上述的S104的具体实现方式。
参见表2，表2为翻滚角对应的预设对应关系的部分表格。可以在表2中，基于目标距离比值R2，确定与R2对应的翻滚角的运动角度。比如R2＝0.444070，对应的翻滚角的运动角度为34.113626°，则确定
34.113626°为翻滚角对应的目标运动角度。
表2
| R2 | 翻滚角的运动角度(°) |
| -0.612252 | -44.999998 |
| -0.276847 | -34.797666 |
| -0.290919 | -24.029662 |
| -0.153948 | -14.439346 |
| -0.030935 | -4.125151 |
| 0.013822 | 0.092786 |
| 0.090137 | 4.422483 |
| 0.200242 | 14.114434 |
| 0.371913 | 24.620026 |
| 0.444070 | 34.113626 |
| 0.609242 | 44.983383 |
需要说明的是，翻滚角的目标距离比值R2有正值也有负值，R2为正值时，对应的翻滚角的运动角度为正值，R2为负值时，对应的翻滚角的运动角度为负值；当y1>y2时，R2对应的翻滚角的运动角度为正值，当y1＜y2时，R2对应的翻滚角的运动角度为负值；本发明实施例的翻滚角对应的预设对应关系中，翻滚角的运动角度的范围为-45°～+45°，这是由于当翻滚角的运动角度超出上述范围时，无法从人脸图像中获得人脸特征点的位置。当翻滚角的运动角度为正值时，表示人的左眼高于右眼，即人相对于翻滚角为0度的位置向右侧摆头运动，如图4(b)的左侧图所示；当翻滚角的运动角度为负值时，表示人的右眼高于左眼，即人相对于翻滚角为0度的位置向左侧摆头运动，如图4(b)的右侧图所示。
步骤b4，基于翻滚角对应的目标运动角度，确定人体头部的目标运动角度。
其中，该步骤b4为当类别为翻滚角时，上述的S105的具体实现方式。
具体的，可以将翻滚角对应的目标运动角度，作为人体头部的目标运动角度。比如，确定人体头部的目标运动角度为翻滚角34.113626°。
实施例三：当所述目标运动角度的类别为偏航角时，本发明实施所提供的确定人体头部的运动角度的方法，在确定目标运动角度的类别之后的具体实施过程可以包括如下的步骤c1-c4：
步骤c1，确定用于计算偏航角所需的人脸特征点。
其中，该步骤c1为当类别为偏航角时，上述的S102中的所述基于所述目标运动角度的类别，确定用于计算所述目标运动角度所需的人脸特征点的具体实现方式。
其中，用于计算偏航角所需的人脸特征点至少包括：左眼中心点、右眼中心点和鼻子中心点。
步骤c2，确定所述人脸特征点的坐标，并按照偏航角对应的预设规则，计算所述人脸特征点之间距离的比值为目标距离比值。
其中，该步骤c2为当类别为偏航角时，上述的S103的具体实现方式。
可选地，在一种实现方式中，该步骤c2具体可以包括如下步骤(1)-(4)：
(1)确定所述人脸图像中左眼中心点的坐标、右眼中心点的坐标和鼻子中心点的坐标。
具体的，确定左眼的中心点的二维坐标为(x1,y1)，右眼的中心点的二维坐标为(x2,y2)及鼻子的中心点的二维坐标为(x3,y3)。
(2)基于所述左眼中心点的坐标和所述鼻子中心点的坐标，确定左眼中心点与鼻子中心点之间的距离为第一距离。
具体的，确定所述第一距离为d1，其中，
(3)基于所述右眼中心点的坐标和所述鼻子中心点的坐标，确定右眼中心点与鼻子中心点之间的距离为第二距离。
具体的，确定所述第二距离为d2，其中，
(4)将所述第一距离和所述第二距离的比值确定为，与偏航角对应的目标距离比值。
具体的，确定所述偏航角对应的目标距离比值为
参照图5进行理解，图5(a)为与偏航角相关的多个人脸特征点的距离关系示意图，该图中的点1、点2和点3分别代表左眼中心点、右眼中心点和鼻子中心点；所述d1为所述人脸图像中的左眼中心点与鼻子中心点之间的距离；所述d2为所述人脸图像中的右眼中心点与鼻子中心点之间的距离。图5(b)为属于偏航角类别的运动角度对应的头部运动的示意图，结合该图可以理解，人体在左右转头运动时，也就是人体头部的偏航角发生变化时，d1/d2的值会发生变化，而在其他方向上单独运动时，该值不会受到影响。
步骤c3，基于偏航角对应的预设对应关系，确定所述目标距离比值对应的运动角度，为所述偏航角对应的目标运动角度。
其中，该步骤c3为当类别为偏航角时，上述的S104的具体实现方式。
参见表3，表3为偏航角对应的预设对应关系的部分表格。可以在表3中，基于目标距离比值R3，确定与R3对应的偏航角的运动角度。比如R3＝-1.126950，对应的偏航角的运动角度为-14.215737°，则确定-14.215737°为偏航角对应的目标运动角度。
表3
需要说明的是，偏航角的目标距离比值R3有正值也有负值；发明人在实际实验过程中，对R3进行了不同设定，具体是：当d1>d2时，
所对应的偏航角的运动角度为正值；当d1＜d2时，
所对应的偏航角的运动角度为负值；这样能够使得R3和偏航角的运动角度，在不同方向是对称的，可以共用一套插值公式，便于计算。当然，也可以始终利用
确定对应的偏航角的运动角度。
本发明实施例的偏航角对应的预设对应关系中，偏航角的运动角度的范围为-45°～+45°，这是由于当偏航角的运动角度超出上述范围时，无法从人脸图像中获得人脸特征点的位置。当偏航角的运动角度为正值时，表示人相对于偏航角为0度的位置向右侧转头运动，如图5(b)的右侧图所示；当偏航角为的运动角度负值时，表示人相对于偏航角为0度的位置向左侧转头运动，如图5(b)的左侧图所示。
步骤c4，基于偏航角对应的目标运动角度，确定人体头部的目标运动角度。
其中，该步骤c4为当类别为偏航角时，上述的S105的具体实现方式。
具体的，可以将偏航角对应的目标运动角度，作为人体头部的目标运动角度。比如，确定人体头部的目标运动角度为偏航角-14.215737°。
需要强调的是，在上述三种角度类别的实施例中，可以利用各个人脸特征点的中心点的二维坐标，计算目标距离比值，也可以利用人脸特征点的其他预设点的二维坐标，计算目标距离比值，比如鼻尖的二维坐标等，这都是合理的。
相应于上述方法实施例，本发明实施例还提供了一种确定人体头部的运动角度的装置，如图6所示，该装置包括：
获取模块601，用于获取一帧人脸图像，并确定所述人脸图像对应的人体头部运动到的位置为终止位置；
第一确定模块602，用于确定目标运动角度的类别，并基于所述目标运动角度的类别，确定用于计算所述目标运动角度所需的人脸特征点；其中，所述目标运动角度为从所述初始位置到所述终止位置的角度；
第二确定模块603，用于确定所述人脸图像中所确定的人脸特征点的坐标，并按照所述目标运动角度的类别对应的预设规则，计算所确定的人脸特征点之间距离的比值，确定计算得到的比值为目标距离比值；
第三确定模块604，用于基于所述目标运动角度的类别对应的预设对应关系，确定所述目标距离比值对应的运动角度，为所述目标运动角度的类别对应的目标运动角度，其中，所述预设对应关系包括：人脸特征点之间距离的比值与人体头部的运动角度的映射关系；
第四确定模块605，用于基于所述目标运动角度的类别对应的目标运动角度，确定人体头部的目标运动角度。
可选的，在本发明实施例中，所确定的目标运动角度的类别包括：俯仰角、翻滚角或偏航角；
所述第一确定模块602，包括：
判断子模块，用于判断所述终止位置相对于所述初始位置的运动方向；
确定子模块，用于若判断结果为人体头部绕三维坐标系中的X轴旋转，则确定目标运动角度的类别为俯仰角；若判断结果为人体头部绕三维坐标系中的Y轴旋转，则确定目标运动角度的类别为偏航角；若判断结果为人体头部绕三维坐标系中的Z轴旋转，则确定目标运动角度的类别为翻滚角。
可选的，在本发明实施例中，所述第一确定模块602，用于：
若所确定的目标运动角度的类别为俯仰角，则确定用于计算所述目标运动角度所需的人脸特征点至少包括：左眼中心点、右眼中心点、鼻子中心点和嘴巴中心点。
可选的，在本发明实施例中，所述第二确定模块603，用于：
确定所述人脸图像中左眼中心点的坐标、右眼中心点的坐标、鼻子中心点的坐标和嘴巴中心点的坐标；
基于所述左眼中心点的坐标与所述右眼中心点的坐标，确定左眼中心点与右眼中心点的连接线段的中点坐标；
基于所确定的中点坐标与所述鼻子中心点的坐标，确定所确定的中点与鼻子中心点之间的距离为第一距离；
基于所述鼻子中心点的坐标与所述嘴巴中心点的坐标，确定鼻子中心点与嘴巴中心点之间的距离为第二距离；
将所述第一距离和所述第二距离的比值确定为，与俯仰角对应的目标距离比值。
可选的，在本发明实施例中，所述第一确定模块602，用于：
若所确定的目标运动角度的类别为翻滚角，则确定用于计算所述目标运动角度所需的人脸特征点至少包括：左眼中心点和右眼中心点。
可选的，在本发明实施例中，所述第二确定模块603，用于：
确定所述人脸图像中左眼中心点的坐标和右眼中心点的坐标；
基于所述左眼中心点的坐标和所述右眼中心点的坐标，确定左眼中心点与右眼中心点在纵轴上的距离为第一距离，左眼中心点与右眼中心点在横轴上的距离为第二距离；
将所述第一距离和所述第二距离的比值确定为，与翻滚角对应的目标距离比值。
可选的，在本发明实施例中，所述第一确定模块602，用于：
若所确定的目标运动角度的类别为偏航角，则确定用于计算所述目标运动角度所需的人脸特征点至少包括：左眼中心点、右眼中心点和鼻子中心点。
可选的，在本发明实施例中，所述第二确定模块603，用于：
确定所述人脸图像中左眼中心点的坐标、右眼中心点的坐标和鼻子中心点的坐标；
基于所述左眼中心点的坐标和所述鼻子中心点的坐标，确定左眼中心点与鼻子中心点之间的距离为第一距离；
基于所述右眼中心点的坐标和所述鼻子中心点的坐标，确定右眼中心点与鼻子中心点之间的距离为第二距离；
将所述第一距离和所述第二距离的比值确定为，与偏航角对应的目标距离比值。
本发明实施例所提供的方案中，可以先基于一帧人脸图像，确定目标运动角度的类别，再利用与目标运动角度的类别对应的人脸特征点，得到人脸特征点之间的距离比值，并利用人脸特征点之间的距离比值与人体头部的运动角度的映射关系，确定从初始位置到人脸图像所示的终止位置的目标运动角度，最终确定人体头部的运动角度。相比于现有的视频图像处理算法需要多帧人脸图像才能确定人体头部的运动角度，本发明实施例所提供的方案，基于一帧人脸图像就能够确定人体头部的运动角度，因此，应用本发明实施例能够消除前后帧数据的依赖问题，降低复杂度、提高速度。
相应于上述方法实施例，本发明实施例还提供了一种电子设备，如图7所示，可以包括处理器701和存储器702，其中，
所述存储器702，用于存放计算机程序；
所述处理器701，用于执行所述存储器702上所存放的程序时，实现本发明实施例所提供的确定人体头部的运动角度的方法的步骤。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离于上述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
通过上述电子设备，能够实现：可以先基于一帧人脸图像，确定目标运动角度的类别，再利用与目标运动角度的类别对应的人脸特征点，得到人脸特征点之间的距离比值，并利用人脸特征点之间的距离比值与人体头部的运动角度的映射关系，确定从初始位置到人脸图像所示的终止位置的目标运动角度，最终确定人体头部的运动角度。相比于现有的视频图像处理算法需要多帧人脸图像才能确定人体头部的运动角度，本发明实施例所提供的方案，基于一帧人脸图像就能够确定人体头部的运动角度，因此，应用本发明实施例能够消除前后帧数据的依赖问题，降低复杂度、提高速度。
另外，相应于上述实施例所提供的确定人体头部的运动角度的方法，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时，实现本发明实施例所提供的确定人体头部的运动角度的方法的步骤。
上述计算机可读存储介质存储有在运行时，执行本发明实施例所提供的确定人体头部的运动角度的方法的应用程序，因此能够实现：可以先基于一帧人脸图像，确定目标运动角度的类别，再利用与目标运动角度的类别对应的人脸特征点，得到人脸特征点之间的距离比值，并利用人脸特征点之间的距离比值与人体头部的运动角度的映射关系，确定从初始位置到人脸图像所示的终止位置的目标运动角度，最终确定人体头部的运动角度。相比于现有的视频图像处理算法需要多帧人脸图像才能确定人体头部的运动角度，本发明实施例所提供的方案，基于一帧人脸图像就能够确定人体头部的运动角度，因此，应用本发明实施例能够消除前后帧数据的依赖问题，降低复杂度、提高速度。
对于电子设备以及计算机可读存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (4)
1.一种确定人体头部的运动角度的方法，其特征在于，针对人体头部相对于初始位置发生运动的情况，该方法包括：
获取一帧人脸图像，并确定所述人脸图像对应的人体头部运动到的位置为终止位置；
确定目标运动角度的类别，并基于所述目标运动角度的类别，确定用于计算所述目标运动角度所需的人脸特征点；其中，所述目标运动角度为从所述初始位置到所述终止位置的角度，所述目标运动角度的类别包括：俯仰角、翻滚角或偏航角，所述目标运动角度的类别为俯仰角时，用于计算所述目标运动角度所需的人脸特征点至少包括：左眼中心点、右眼中心点、鼻子中心点和嘴巴中心点，所述目标运动角度的类别为翻滚角时，用于计算所述目标运动角度所需的人脸特征点至少包括：左眼中心点和右眼中心点，所述目标运动角度的类别为偏航角时，用于计算所述目标运动角度所需的人脸特征点至少包括：左眼中心点、右眼中心点和鼻子中心点；
确定所述人脸图像中所确定的人脸特征点的坐标，并按照所述目标运动角度的类别对应的预设规则，计算所确定的人脸特征点之间距离的比值，确定计算得到的比值为目标距离比值；
基于所述目标运动角度的类别对应的预设对应关系，确定所述目标距离比值对应的运动角度，为所述目标运动角度的类别对应的目标运动角度，其中，所述预设对应关系包括：人脸特征点之间距离的比值与人体头部的运动角度的映射关系；
基于所述目标运动角度的类别对应的目标运动角度，确定人体头部的目标运动角度；
所述确定所述人脸图像中所确定的人脸特征点的坐标，并按照所述目标运动角度的类别对应的预设规则，计算所确定的人脸特征点之间距离的比值为目标距离比值的步骤，包括：
确定所述人脸图像中左眼中心点的坐标、右眼中心点的坐标、鼻子中心点的坐标和嘴巴中心点的坐标；基于所述左眼中心点的坐标与所述右眼中心点的坐标，确定左眼中心点与右眼中心点的连接线段的中点坐标；基于所确定的中点坐标与所述鼻子中心点的坐标，确定所确定的中点与鼻子中心点之间的距离为第一距离；基于所述鼻子中心点的坐标与所述嘴巴中心点的坐标，确定鼻子中心点与嘴巴中心点之间的距离为第二距离；将所述第一距离和所述第二距离的比值确定为，与俯仰角对应的目标距离比值；
或者，
确定所述人脸图像中左眼中心点的坐标和右眼中心点的坐标；基于所述左眼中心点的坐标和所述右眼中心点的坐标，确定左眼中心点与右眼中心点在纵轴上的距离为第一距离，左眼中心点与右眼中心点在横轴上的距离为第二距离；将所述第一距离和所述第二距离的比值确定为，与翻滚角对应的目标距离比值；
或者，
确定所述人脸图像中左眼中心点的坐标、右眼中心点的坐标和鼻子中心点的坐标；基于所述左眼中心点的坐标和所述鼻子中心点的坐标，确定左眼中心点与鼻子中心点之间的距离为第一距离；基于所述右眼中心点的坐标和所述鼻子中心点的坐标，确定右眼中心点与鼻子中心点之间的距离为第二距离；将所述第一距离和所述第二距离的比值确定为，与偏航角对应的目标距离比值。
2.根据权利要求1所述的方法，其特征在于，所确定的目标运动角度的类别包括：俯仰角、翻滚角或偏航角；
所述确定目标运动角度的类别的步骤，包括：
判断所述终止位置相对于所述初始位置的运动方向；
若判断结果为人体头部绕三维坐标系中的X轴旋转，则确定目标运动角度的类别为俯仰角；若判断结果为人体头部绕三维坐标系中的Y轴旋转，则确定目标运动角度的类别为偏航角；若判断结果为人体头部绕三维坐标系中的Z轴旋转，则确定目标运动角度的类别为翻滚角。
3.一种确定人体头部的运动角度的装置，其特征在于，包括：
获取模块，用于获取一帧人脸图像，并确定所述人脸图像对应的人体头部运动到的位置为终止位置；
第一确定模块，用于确定目标运动角度的类别，并基于所述目标运动角度的类别，确定用于计算所述目标运动角度所需的人脸特征点；其中，所述目标运动角度为从初始位置到所述终止位置的角度，所述目标运动角度的类别包括：俯仰角、翻滚角或偏航角，所述目标运动角度的类别为俯仰角时，用于计算所述目标运动角度所需的人脸特征点至少包括：左眼中心点、右眼中心点、鼻子中心点和嘴巴中心点，所述目标运动角度的类别为翻滚角时，用于计算所述目标运动角度所需的人脸特征点至少包括：左眼中心点和右眼中心点，所述目标运动角度的类别为偏航角时，用于计算所述目标运动角度所需的人脸特征点至少包括：左眼中心点、右眼中心点和鼻子中心点；
第二确定模块，用于确定所述人脸图像中所确定的人脸特征点的坐标，并按照所述目标运动角度的类别对应的预设规则，计算所确定的人脸特征点之间距离的比值，确定计算得到的比值为目标距离比值；
第三确定模块，用于基于所述目标运动角度的类别对应的预设对应关系，确定所述目标距离比值对应的运动角度，为所述目标运动角度的类别对应的目标运动角度，其中，所述预设对应关系包括：人脸特征点之间距离的比值与人体头部的运动角度的映射关系；
第四确定模块，用于基于所述目标运动角度的类别对应的目标运动角度，确定人体头部的目标运动角度；
所述第二确定模块，具体用于确定所述人脸图像中左眼中心点的坐标、右眼中心点的坐标、鼻子中心点的坐标和嘴巴中心点的坐标；基于所述左眼中心点的坐标与所述右眼中心点的坐标，确定左眼中心点与右眼中心点的连接线段的中点坐标；基于所确定的中点坐标与所述鼻子中心点的坐标，确定所确定的中点与鼻子中心点之间的距离为第一距离；基于所述鼻子中心点的坐标与所述嘴巴中心点的坐标，确定鼻子中心点与嘴巴中心点之间的距离为第二距离；将所述第一距离和所述第二距离的比值确定为，与俯仰角对应的目标距离比值；
或者，
确定所述人脸图像中左眼中心点的坐标和右眼中心点的坐标；基于所述左眼中心点的坐标和所述右眼中心点的坐标，确定左眼中心点与右眼中心点在纵轴上的距离为第一距离，左眼中心点与右眼中心点在横轴上的距离为第二距离；将所述第一距离和所述第二距离的比值确定为，与翻滚角对应的目标距离比值；
或者，
确定所述人脸图像中左眼中心点的坐标、右眼中心点的坐标和鼻子中心点的坐标；基于所述左眼中心点的坐标和所述鼻子中心点的坐标，确定左眼中心点与鼻子中心点之间的距离为第一距离；基于所述右眼中心点的坐标和所述鼻子中心点的坐标，确定右眼中心点与鼻子中心点之间的距离为第二距离；将所述第一距离和所述第二距离的比值确定为，与偏航角对应的目标距离比值。
4.一种电子设备，其特征在于，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-2任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810910888.0A CN109086727B (zh) | 2018-08-10 | 2018-08-10 | 一种确定人体头部的运动角度的方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810910888.0A CN109086727B (zh) | 2018-08-10 | 2018-08-10 | 一种确定人体头部的运动角度的方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109086727A CN109086727A (zh) | 2018-12-25 |
| CN109086727B true CN109086727B (zh) | 2021-04-30 |
Family
ID=64834180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810910888.0A Active CN109086727B (zh) | 2018-08-10 | 2018-08-10 | 一种确定人体头部的运动角度的方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109086727B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934168B (zh) * | 2019-03-13 | 2020-12-11 | 北京达佳互联信息技术有限公司 | 人脸图像映射方法及装置 |
| CN110853725A (zh) * | 2019-09-30 | 2020-02-28 | 许之敏 | 基于视觉反馈的面部功能训练方法、设备及存储介质 |
| CN110879986A (zh) * | 2019-11-21 | 2020-03-13 | 上海眼控科技股份有限公司 | 人脸识别的方法、设备和计算机可读存储介质 |
| CN113642368B (zh) * | 2020-05-11 | 2023-08-18 | 杭州海康威视数字技术股份有限公司 | 人脸姿态的确定方法、装置、设备及存储介质 |
| CN113343940B (zh) * | 2021-07-19 | 2022-05-10 | 湖南科技大学 | 一种基于面部多特征点识别的值班人员疲劳状态检测方法 |
| US20230316564A1 (en) * | 2022-03-29 | 2023-10-05 | Spinal Guides Labs, Llc | Devices, systems and methods for precise human head positioning |
| CN115082994A (zh) * | 2022-06-27 | 2022-09-20 | 平安银行股份有限公司 | 人脸活体检测方法、活体检测网络模型的训练方法及装置 |
| JP7481398B2 (ja) | 2022-07-04 | 2024-05-10 | ソフトバンク株式会社 | 判定装置、プログラム、及び判定方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104123543A (zh) * | 2014-07-23 | 2014-10-29 | 泰亿格电子（上海）有限公司 | 一种基于人脸识别的眼球运动识别方法 |
| CN105487665A (zh) * | 2015-12-02 | 2016-04-13 | 南京邮电大学 | 一种基于头部姿势识别的智能移动服务机器人控制方法 |
| US9406135B2 (en) * | 2012-10-29 | 2016-08-02 | Samsung Electronics Co., Ltd. | Device and method for estimating head pose |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4389956B2 (ja) * | 2007-04-04 | 2009-12-24 | ソニー株式会社 | 顔認識装置及び顔認識方法、並びにコンピュータ・プログラム |
| KR101257207B1 (ko) * | 2012-02-23 | 2013-04-22 | 인텔 코오퍼레이션 | 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
| JP6304999B2 (ja) * | 2013-10-09 | 2018-04-04 | アイシン精機株式会社 | 顔検出装置、方法およびプログラム |
| CN106991367B (zh) * | 2016-01-21 | 2019-03-19 | 腾讯科技（深圳）有限公司 | 确定人脸转动角度的方法和装置 |
| CN107122054A (zh) * | 2017-04-27 | 2017-09-01 | 青岛海信医疗设备股份有限公司 | 一种人脸偏转角度和俯仰角度的检测方法和装置 |
| CN107358154A (zh) * | 2017-06-02 | 2017-11-17 | 广州视源电子科技股份有限公司 | 一种头部运动检测方法和装置及活体识别方法和系统 |
| CN107679446B (zh) * | 2017-08-17 | 2019-03-15 | 平安科技（深圳）有限公司 | 人脸姿态检测方法、装置及存储介质 |
-
2018
- 2018-08-10 CN CN201810910888.0A patent/CN109086727B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9406135B2 (en) * | 2012-10-29 | 2016-08-02 | Samsung Electronics Co., Ltd. | Device and method for estimating head pose |
| CN104123543A (zh) * | 2014-07-23 | 2014-10-29 | 泰亿格电子（上海）有限公司 | 一种基于人脸识别的眼球运动识别方法 |
| CN105487665A (zh) * | 2015-12-02 | 2016-04-13 | 南京邮电大学 | 一种基于头部姿势识别的智能移动服务机器人控制方法 |
Non-Patent Citations (2)
| Title |
|---|
| Pose determination of human head using one feature point based on head movement;Ben Yip等;《2004 IEEE International Conference on Multimedia and Expo (ICME) (IEEE Cat. No.04TH8763)》;20050222;第1183-1186页 * |
| 基于面部特征点定位的头部姿态估计;闵秋莎;《计算机工程》;20180615;第44卷(第6期);第263-269页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109086727A (zh) | 2018-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109086727B (zh) | 一种确定人体头部的运动角度的方法、装置及电子设备 | |
| US11379996B2 (en) | Deformable object tracking | |
| CN106503671B (zh) | 确定人脸姿态的方法和装置 | |
| CN107392958B (zh) | 一种基于双目立体摄像机确定物体体积的方法及装置 | |
| CN110276317B (zh) | 一种物体尺寸检测方法、物体尺寸检测装置及移动终端 | |
| CN104317391B (zh) | 一种基于立体视觉的三维手掌姿态识别交互方法和系统 | |
| CN104584531B (zh) | 图像处理装置以及图像显示装置 | |
| CN107113376B (zh) | 一种图像处理方法、装置及摄像机 | |
| CN111710036B (zh) | 三维人脸模型的构建方法、装置、设备及存储介质 | |
| CN110705478A (zh) | 人脸跟踪方法、装置、设备及存储介质 | |
| CN110998659A (zh) | 图像处理系统、图像处理方法、及程序 | |
| CN110220493A (zh) | 一种双目测距方法及其装置 | |
| CN113077476B (zh) | 一种高度测量方法、终端设备以及计算机存储介质 | |
| JP7064257B2 (ja) | 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体 | |
| CN106952247B (zh) | 一种双摄像头终端及其图像处理方法和系统 | |
| CN105376484A (zh) | 一种图像处理方法及终端 | |
| CN108510520B (zh) | 一种图像处理方法、装置及ar设备 | |
| CN111415420A (zh) | 空间信息确定方法、装置及电子设备 | |
| CN112184811A (zh) | 单目空间结构光系统结构校准方法及装置 | |
| CN114385015A (zh) | 虚拟对象的控制方法及电子设备 | |
| CN107659772B (zh) | 3d图像生成方法、装置及电子设备 | |
| CN110750094A (zh) | 确定可移动设备的位姿变化信息的方法、装置和系统 | |
| CN108876704B (zh) | 人脸图像变形的方法、装置及计算机存储介质 | |
| CN105488780A (zh) | 一种用于工业生产线的单目视觉测距追踪装置及其追踪方法 | |
| CN112561915A (zh) | 图像处理方法、装置、图像采集装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |