CN113435364A - 头部转动检测方法、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供头部转动检测方法、电子设备及存储介质，涉及图像检测技术领域。其中，头部转动检测方法通过获取和检测正面人脸图像，获得基准坐标；通过获取和检测当前人脸图像，获得当前坐标；再根据所述基准坐标、当前坐标、左右转动半径、上下转动半径、第一平面几何关系和第二平面几何关系，计算得到当前头部的横向转动角度和纵向转动角度，克服了人体头部转动方向检测相关技术存在的对信息获取设备的要求比较高或对运算能力的要求比较高的问题，有利于利用简单通用的信息获取设备和较低的运算资源，实现人体头部转动方向检测，从而能够有效节省检测头部转动的设备成本和运算能力资源。

Description

头部转动检测方法、电子设备及存储介质

技术领域

本申请实施例涉及图像检测技术领域，尤其涉及头部转动检测方法、电子设备及存储介质。

背景技术

随着技术的发展，人体面部、头部、姿态等任务的检测效果得到了大幅度的提升，且在工业和生活中的很多场景中得到了应用。头部转动检测任务属于其中一个子领域，其应用场景包括：颈部运动监测、驾驶员监测、无接触操作等。

目前关于人体头部转动方向检测的方法有很多。其中，一类方法是基于特殊的辅助设备或信息，比如陀螺仪、传感器、脑电或肌电信号等，这类方法对信息获取设备的要求比较高，且专业性太强，应用场景有限；另一类方法则是基于图像的，比如使用深度相机进行三维重建，或通过二维信息映射到三维空间进行检测识别，这类方法对于运算能力的要求比较高，比较适合运行在服务器端，而对低运算能力的终端设备不适用。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本申请实施例提供头部转动检测方法、电子设备及存储介质，能够有效节省检测头部转动的设备成本和运算能力资源。

第一方面，本申请实施例提供一种头部转动检测方法，包括：

获取正面人脸图像；

检测所述正面人脸图像，得到正面第一特征部位坐标作为基准坐标；

获取当前人脸图像；

检测所述当前人脸图像，得到当前第一特征部位坐标作为当前坐标；

获取左右转动半径和上下转动半径；

根据所述基准坐标、所述当前坐标、所述左右转动半径及第一平面几何关系，计算得到当前头部的横向转动角度；其中，所述第一平面几何关系为所述基准坐标、所述当前坐标、所述左右转动半径对应的平面几何关系；

根据所述基准坐标、所述当前坐标、所述上下转动半径及第一平面几何关系，计算得到当前头部的纵向转动角度；其中，所述第一平面几何关系为所述基准坐标、所述当前坐标、所述上下转动半径对应的平面几何关系。

在一些可选的实施方式中，所述基准坐标记为原点，所述当前坐标记为(x_OC，y_OC)；所述第一平面几何关系包括左右角度计算公式；所述所述第二平面几何关系包括上下角度计算公式；

所述左右角度计算公式包括：

所述上下角度计算公式包括：

其中，α_h为横向转动角度，α_v为纵向转动角度，R_h为左右转动半径，R_v为上下转动半径。

在一些可选的实施方式中，所述获取左右转动半径和上下转动半径，包括：

获取头部向左和/或向右转动最大幅度对应的向左人脸图像和/或向右人脸图像；

检测所述向左人脸图像和/或所述向右人脸图像，计算得到左右边界点坐标；

根据所述左右边界点坐标和所述基准坐标，计算得到所述左右转动半径；

获取头部向上和/或向下转动最大幅度对应的向上人脸图像和/或向下人脸图像；

检测所述向上人脸图像和/或所述向下人脸图像，计算得到上下边界点坐标；

根据所述上下边界点坐标和所述基准坐标，计算得到所述上下转动半径。

在一些可选的实施方式中，头部转动检测方法还包括：

将所述横向转动角度和/或纵向转动角度，与预设阈值做比较，确定头部的转动方向。

在一些可选的实施方式中，所述将所述横向转动角度和/或纵向转动角度，与预设阈值做比较，确定头部的转动方向，包括：

当所述横向转动角度小于第一预设阈值，确定头部转动方向为向左；

当所述横向转动角度大于第二预设阈值，确定头部转动方向为向右；

当所述纵向转动角度小于第三预设阈值，确定头部转动方向为向上；

当所述纵向转动角度大于第四预设阈值，确定头部转动方向为向下。

在一些可选的实施方式中，头部转动检测方法还包括：

获取连续视频帧，得到多张所述当前人脸图像；

依次对多张所述当前人脸图像进行头部转动方向判断；

根据判断结果，输出对应的信号。

在一些可选的实施方式中，所述获取正面人脸图像之后，还包括：

检测所述正面人脸图像，得到正面第一参考部位坐标和正面第二参考部位坐标；

根据所述正面第一参考部位坐标和所述正面第二参考部位坐标，计算得到正面第一参考部位和正面第二参考部位之间的基准距离；

所述获取当前人脸图像之后，还包括：

检测所述当前人脸图像，得到当前第一参考部位坐标和当前第二参考部位坐标；

根据所述当前第一参考部位坐标和所述当前第二参考部位坐标，计算得到当前第一参考部位和当前第二参考部位之间的当前距离；

根据所述基准距离、所述当前距离和比例计算公式，修正所述当前坐标。

在一些可选的实施方式中，所述第一特征部位为鼻子，所述第一参考部位为左肩，所述第二参考部位为右肩。

第二方面，本申请还提供电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如第一方面所述的头部转动检测方法。

第三方面，本申请还提供计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于被处理器执行时实现：

如第一方面所述的头部转动检测方法。

本申请实施例第一方面提供一种头部转动检测方法，通过获取和检测正面人脸图像，获得基准坐标；通过获取和检测当前人脸图像，获得当前坐标；再根据所述基准坐标、当前坐标、左右转动半径、上下转动半径、第一平面几何关系和第二平面几何关系，计算得到当前头部的横向转动角度和纵向转动角度，克服了人体头部转动方向检测相关技术存在的对信息获取设备的要求比较高或对运算能力的要求比较高的问题，有利于利用简单通用的信息获取设备和较低的运算资源，实现人体头部转动方向检测，从而能够有效节省检测头部转动的设备成本和运算能力资源。

可以理解的是，上述第二方面至第三方面与相关技术相比存在的有益效果与上述第一方面与相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个实施例提供的用于执行头部转动检测方法的系统架构示意图；

图2是本申请一个实施例提供的头部转动检测方法的流程示意图；

图3是本申请一个实施例提供的正面人脸图像示意图；

图4是图3从上到下的第一视角V1对应的几何关系示意图；

图5是图3从右到左的第二视角V2对应的几何关系示意图；

图6a是本申请另一个实施例提供的头部转动检测方法的流程示意图；

图6b是本申请另一个实施例提供的头部转动检测方法的流程示意图；

图7a是本申请另一个实施例提供的头部转动检测方法的流程示意图；

图7b是本申请另一个实施例提供的头部转动检测方法的流程示意图；

图8是本申请另一个实施例提供的头部转动检测方法的流程示意图；

图9是本申请另一个实施例提供的头部转动检测方法的流程示意图；

图10是本申请另一个实施例提供的头部转动检测方法的流程示意图；

图11是本申请另一个实施例提供的头部转动检测方法的流程示意图；

图12是本申请一个实施例提供的头部无接触操作信号判定(左右方向)示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请实施例。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请实施例的描述。

需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

还应当理解，在本申请实施例说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请实施例的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

随着技术的发展，人体面部、头部、姿态等任务的检测效果得到了大幅度的提升，且在工业和生活中的很多场景中得到了应用。头部转动方向判定任务属于其中一个子领域，其应用场景包括：颈部运动监测、驾驶员监测、无接触操作等。

目前关于人体头部转动方向检测的方法有很多。其中，一类方法是基于特殊的辅助设备或信息，比如陀螺仪、传感器、脑电或肌电信号等，这类方法对信息获取设备的要求比较高，且专业性太强，应用场景有限；另一类方法则是基于图像的，比如使用深度相机进行三维重建，或通过二维信息映射到三维空间进行检测识别，这类方法对于运算能力的要求比较高，比较适合运行在服务器端，而对低运算能力的终端设备不适用。

基于此，本申请实施例提供头部转动检测方法、电子设备及存储介质，涉及图像检测技术。本申请实施例通过获取和检测正面人脸图像，获得基准坐标；通过获取和检测当前人脸图像，获得当前坐标；再根据所述基准坐标、当前坐标、左右转动半径、上下转动半径、第一平面几何关系和第二平面几何关系，计算得到当前头部的横向转动角度和纵向转动角度，克服了人体头部转动方向检测相关技术存在的对信息获取设备的要求比较高或对运算能力的要求比较高的问题，有利于利用简单通用的信息获取设备和较低的运算资源，实现人体头部转动方向检测，从而能够有效节省检测头部转动的设备成本和运算能力资源。

例如，在一些实施例中，本申请提出的基于人体关键点的头部转动角度和方向判定方法，仅通过一个鼻子关键点和两个肩部关键点，就可以近似计算出头部左右转动和上下转动的角度，进而给出头部转动的方向。在另一些实施例中，本申请还提出了基于连续帧的头部转动方向而输出动作信号的方法，可用于简单的无接触器械操作或游戏控制。与其他方法相比，本方法仅需要简单通用的信息获取设备(如RGB摄像头)，无需高算力设备，可在多个场景下使用，例如，可以无接触式地操作器械或者控制游戏。

本申请一个实施例提供的头部转动检测方法可以在终端设备中执行。终端/设备可以为移动终端设备，也可以为非移动终端设备。移动终端设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载终端设备、可穿戴设备、超级移动个人计算机、上网本、个人数字助理等；非移动终端设备可以为个人计算机、电视机、柜员机或者自助机等；本发明实施方案不作具体限定。

终端设备可以包括处理器，外部存储器接口，内部存储器，通用串行总线(universal serial bus，USB)接口，充电管理模块，电源管理模块，电池，天线，移动通信模块，无线通信模块，音频模块，扬声器，受话器，麦克风，耳机接口，传感器模块，按键，马达，指示器，摄像头，显示屏，以及用户标识模块(Subscriber Identification Module，SIM)卡接口等。

在一些实施例中，终端设备可以通过摄像头，视频编解码器，GPU，显示屏以及应用处理器等实现拍摄功能。摄像头可用于捕获静态图像或视频。在一些实施例中，终端设备可以包括1个或N个摄像头，N为大于1的正整数。摄像头可以为普通摄像头，如RGB(一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色)摄像头或YUV(一种颜色编码方法)摄像头，本申请对此不做限定。

在另一些实施例中，摄像头可以为外置摄像头。外置摄像头可通过有线或无线方式与终端设备通信连接，以将采集到的图像信号传输到终端设备。

下面结合附图，对本申请实施例作进一步阐述。

如图1所示，图1是本申请一个实施例提供的用于执行头部转动检测方法的系统架构的示意图。在图1的示例中，该系统架构包括处理器110、摄像头120。

其中，处理器110内置在终端设备中，可以包括一个或多个处理单元。不同的处理单元可以是独立的器件，也可以集成在一个或多个器件中。本申请实施例提供的头部转动检测方法可以在处理器中执行。

摄像头120，摄像头120与处理器110通信连接，用于将采集到的图像信号或视频信号传输到终端设备。摄像头可以为普通摄像头(如RGB摄像头)或高清摄像头，本申请对此不做限定。摄像头可以是终端设备的内置摄像头，也可以是外置摄像头。

本申请实施例描述的系统架构以及应用场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着系统架构的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图1中示出的系统架构并不构成对本申请实施例的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

在图1所示的系统架构中，各个部件可以分别调用其储存的头部转动检测程序，以执行头部转动检测方法。

基于上述系统架构，提出本申请实施例的头部转动检测方法的各个实施例。

需要说明的是，下列多种实施例中，第一特征部位可以是随头部转动而转动的部位，如鼻子、眼睛等；第一参考部位和第二参考部位为不随头部转动而转动的部位，如第一参考部位为左肩，第二参考部位为右肩，本申请对此不做限定。下列仅以第一特征部位为鼻子，第一参考部位为左肩，第二参考部位为右肩为例展开说明。

如图2所示，本申请实施例提供了一种头部转动检测方法，包括：

步骤S1100，获取正面人脸图像；

步骤S1200，检测正面人脸图像，得到正面第一特征部位坐标作为基准坐标；

步骤S1300，获取当前人脸图像；

步骤S1400，检测当前人脸图像，得到当前第一特征部位坐标作为当前坐标；

步骤S1500，获取左右转动半径和上下转动半径；

步骤S1601，根据所述基准坐标、所述当前坐标、所述左右转动半径及第一平面几何关系，计算得到当前头部的横向转动角度；其中，所述第一平面几何关系为所述基准坐标、所述当前坐标、所述左右转动半径对应的平面几何关系；

步骤S1602，根据所述基准坐标、所述当前坐标、所述上下转动半径及第一平面几何关系，计算得到当前头部的纵向转动角度；其中，所述第一平面几何关系为所述基准坐标、所述当前坐标、所述上下转动半径对应的平面几何关系。

在一些实施例中，本申请是针对头部转动角度判定场景，而提出的一种简单的基于人体关键点的判定方法。不同于相关技术中的头部转动检测方法(基于陀螺仪、传感器等专业设备，或深度信息、三维重建、头部姿态估计等高计算复杂度算法)，本申请仅依靠一个人体关键点信息，即可完成头部转动角度的判定，该方法对算力要求低，可以方便的部署和应用在各种终端设备上。

其中，执行步骤S1100至步骤S1600可以是电脑或手机或其他终端设备。步骤S1100和步骤S1300中，可以利用普通RGB摄像头采集正面人脸图像和当前人脸图像传输给电脑或手机或其他终端设备；也可以利用终端设备内置的摄像头采集正面人脸图像和当前人脸图像。例如，可以将摄像头(或手机)置于人脸正前方进行拍摄采集正面人脸图像；并继续采集得到当前人脸图像。

步骤S1200和步骤S1400中，可以使用软件检测人脸图像，以得到第一特征部位坐标。例如，可以利用PoseNet(一种利用深度学习进行视觉定位方法)或其他人体关键点检测器检测，以得到第一特征部位坐标(人体关键点检测网络PoseNet共输出17个点，这里我们仅使用其中1个关键点)。

步骤S1600中，左右转动半径、上下转动半径可以是通过检测计算得到，也可以是从外部直接获取得到。左右角度计算公式和上下角度计算公式均可以是描述点坐标、角度和半径之间关系的角度函数计算公式，也可以是其它变形修正的计算公式。

本申请实施例通过获取和检测正面人脸图像，获得基准坐标；通过获取和检测当前人脸图像，获得当前坐标；再根据基准坐标、当前坐标、左右转动半径、上下转动半径、左右角度计算公式和上下角度计算公式，计算得到当前头部的横向转动角度和纵向转动角度，克服了人体头部转动方向检测相关技术存在的对信息获取设备的要求比较高或对运算能力的要求比较高的问题，有利于利用简单通用的信息获取设备和较低的运算资源，实现人体头部转动方向检测，从而能够有效节省检测头部转动的设备成本和运算能力资源。

在一些可选的实施方式中，基准坐标记为原点(0，0)，当前坐标记为(x_OC，y_OC)；所述第一平面几何关系包括左右角度计算公式；所述所述第二平面几何关系包括上下角度计算公式；

左右角度计算公式包括：

上下角度计算公式包括：

其中，α_h为横向转动角度，α_v为纵向转动角度，R_h为左右转动半径，R_v为上下转动半径。

在一些实施例中，可以利用反三角函数计算得到左右转动角度和上下转动角度。

例如，头部转动角度计算方法为：

(1)左右转动角度的计算方法。如图3所示(这里不考虑尺度修正问题，或者假设已经将关键点的坐标进行了尺度修正)。其中，图4为图3从上到下的第一视角V1对应的几何关系示意图，头部的左右转动，体现为鼻子(点C)画出的半圆弧，而头部转动角度就等价于当前鼻子关键点C(当前第一特征部位)与面向正前方时的鼻子关键点O(正面第一特征部位)偏转角度，也就是图4中的左右转动角度α_h。下列为左右转动角度计算公式(1)：

其中：x_OC表示原点O(对应面向正前方时的鼻子检测点，即正面第一特征部位)到点C(当前鼻子检测点，即当前第一特征部位)的横向偏移距离，这是一个矢量，有正负之分，对应到图4，从左到右为正，从右到左为负。图中的x_OC为负；|x_OC|是点O到点C的横向偏移距离的绝对值，是一个标量，无正负之分；R_h为左右转动半径，R_h可以是从外部获取得到，也可以是在位置标定阶段的测定得到。

(2)上下转动角度的计算方法如图5所示(这里不考虑尺度修正问题，或者假设已经将3个关键点的坐标进行了尺度修正)，其中，图5为图3从右到左的第二视角V2对应的几何关系示意图，头部的上下转动，体现为鼻子(点C)画出的半圆弧，而头部转动角度就等价于当前鼻子关键点C(当前第一特征部位)与面向正前方时的鼻子关键点O(正面第一特征部位)偏转角度，也就是图5中的上下转动角度α_v。下列为上下转动角度计算公式(2)：

其中：y_OC表示原点O(对应面向正前方时的鼻子检测点，即正面第一特征部位)到点C(当前鼻子检测点，即当前第一特征部位)的纵向偏移距离(为了方便查看，对应图5用横向图示表示)，这是一个矢量，有正负之分，对应到图5，从左到右为正，从右到左为负，图中的y_OC为负；|y_OC|是点O到点C的纵向偏移距离的绝对值，是一个标量，无正负之分；Rv为上下转动半径，可以是从外部获取得到，也可以是在位置标定阶段的测定得到。

参照图6a和图6b，在一些可选的实施方式中，步骤S1500，获取左右转动半径和上下转动半径，包括：

步骤S1511，获取头部向左和/或向右转动最大幅度对应的向左人脸图像和/或向右人脸图像；

步骤S1512，检测向左人脸图像和/或向右人脸图像，计算得到左右边界点坐标；

步骤S1513，根据左右边界点坐标和基准坐标，计算得到左右转动半径R_h；

步骤S1521，获取头部向上和/或向下转动最大幅度对应的向上人脸图像和/或向下人脸图像；

步骤S1522，检测向上人脸图像和/或向下人脸图像，计算得到上下边界点坐标；

步骤S1523，根据上下边界点坐标和基准坐标，计算得到上下转动半径R_V。

在一些实施例中，在开始的阶段，可先进行五处位置标定，分别为面向正前方鼻子(第一特征部位)所处的位置以及上方、下方、左方和右方最大程度转动后，鼻子(第一特征部位)所处的位置。其中，左方最大程度转动后，获取得到头部向左转动最大幅度对应的向左人脸图像，检测得到鼻子(第一特征部位)所处的位置为左边界坐标(即左右边界坐标)，通过计算左边界坐标到基准坐标(面向正前方鼻子所处的位置)的距离，即可得到左转动半径R_L；右方最大程度转动后，获取得到头部向右转动最大幅度对应的向右人脸图像，检测得到鼻子(第一特征部位)所处的位置为右边界坐标，通过计算右边界坐标到基准坐标(面向正前方鼻子所处的位置)的距离，即可得到右转动半径R_R。可将左转动半径R_L直接作为左右转动半径R_h，也可以将右转动半径R_R直接作为左右转动半径R_h，也可以基于左转动半径R_L和右转动半径R_R经过计算处理(如平均计算)后得到左右转动半径R_h，本申请对此不做限定。上方最大程度转动后，获取得到头部向上转动最大幅度对应的向上人脸图像，检测得到鼻子(第一特征部位)所处的位置为上边界坐标(即上下边界坐标)，通过计算上边界坐标到基准坐标(面向正前方鼻子所处的位置)的距离，即可得到上转动半径R_U；下方最大程度转动后，获取得到头部向下转动最大幅度对应的向下人脸图像，检测得到鼻子(第一特征部位)所处的位置为下边界坐标，通过计算下边界坐标到基准坐标(面向正前方鼻子所处的位置)的距离，即可得到下转动半径R_D。可将上转动半径R_U直接作为上下转动半径R_v，也可以将下转动半径R_D直接作为上下转动半径R_v，也可以基于上转动半径R_U和下转动半径R_D经过计算处理(如平均计算)后得到上下转动半径R_v，本申请对此不做限定。

例如，在放置好摄像机(或手机)之后，面部正对摄像头，进行第一次位置标定，通过关键点检测模型，获取鼻子C的坐标点(如图3所示)保持身体躯干不动，头部依次向左、向右、向上、向下转动最大幅度(如图3所示)，同样通过关键点检测模型分别获取上下左右4个边界点的坐标，计算左右转动半径(即左(右)边界点和前向点的横向长度)R_h，上下转动半径(即上(下)边界点和前向点的纵向长度)R_v。

由于在长时间的运行过程中，人体难免会有前后左右移动，各关键点在图像中的坐标尺度会发生变化。为此，本申请实施例进一步提供一种尺寸修正方法，通过设置位置相对不变的第一参考部位和第二参考部位，将不同图像中两个参考部位之间的距离映射到同一水平，以实现尺度修正。以下以第一参考部位为右肩M，第二参考部位为左肩N为例进行说明。

参照图7a，在一些可选的实施方式中，获取正面人脸图像之后，还包括：

步骤S2100，检测正面人脸图像，得到正面第一参考部位坐标和正面第二参考部位坐标；

步骤S2200，根据正面第一参考部位坐标和正面第二参考部位坐标，计算得到正面第一参考部位和正面第二参考部位之间的基准距离；

参照图7b，获取当前人脸图像之后，还包括：

步骤S2300，检测当前人脸图像，得到当前第一参考部位坐标和当前第二参考部位坐标；

步骤S2400，根据当前第一参考部位坐标和当前第二参考部位坐标，计算得到当前第一参考部位和当前第二参考部位之间的当前距离；

步骤S2500，根据基准距离、当前距离和比例计算公式，修正当前坐标。

在一些实施例中，在进行角度计算之前，可先进行尺度修正。可先进行第一参考部位和第二参考部位的标定。在放置好摄像机(或手机)之后，面部正对摄像头，获得正面人脸图像，进行第一次位置标定，通过关键点检测模型，获取右肩M、左肩N的坐标点，左右肩之间的距离记为基准距离D_MN。

由于在长时间的运行过程中，人体难免会有前后左右移动，各关键点在图像中的坐标尺度会发生变化，因此需要将图像中两点之间的距离映射到同一水平。这里将第一次位置标定时的尺度水平(左右肩之间的距离为基准距离D_MN)作为参照，即每次获取到一帧新的图像(当前人脸图像)的关键点坐标时，都要对3个关键点(鼻子C、右肩M和左肩N)的坐标进行尺度修正，使得此时左右肩的距离为D_MN。例如，坐标x和y的修正公式分别为下列公式(3)和公式(4)：

其中，D_MN为参照组的左右肩距离，即基准距离；d_MN为当前图像中的左右肩距离，即当前距离。x和y为当前图像中关键点的横坐标和纵坐标，x′和y′为当前图像中修正后的关键点的横坐标和纵坐标。

例如，可根据正面人脸图像中右肩M坐标(X_M0，Y_M0)、左肩N的坐标(X_N0，Y_N0)，计算得到参考左右肩之间的距离记为基准距离D_MN。可根据当前人脸图像中右肩M坐标(X_M1，Y_M1)、左肩N的坐标(X_N1，Y_N1)，计算得到当前左右肩之间的距离记为当前距离d_MN。由此，可对当前关键点鼻子C的坐标进行修正，修正公式为：

其中，X_OC0为检测到的当前图像中关键点鼻子C的横坐标，Y_OC0为检测到的当前图像中关键点鼻子C的纵坐标；XOC1为当前图像中修正后的关键点鼻子C的横坐标，Y_OC1为当前图像中修正后的关键点鼻子C的纵坐标。

参照图8，在一些可选的实施方式中，头部转动检测方法还包括：

步骤S1700，将横向转动角度和/或纵向转动角度，与预设阈值做比较，确定头部的转动方向。

在一些实施例中，本申请是针对头部转动角度判定场景，而提出的一种简单的基于人体关键点的方法；而在另一些实施例中，本申请是针对头部转动方向判定场景，而提出的一种简单的基于人体关键点的方法。为了得到头部转动方向信号，本申请在上述实施例实现获取角度的基础上，通过设置预设阈值，将横向转动角度和/或纵向转动角度，与预设阈值做比较，以确定头部的转动方向。其中，预设阈值可根据需要设置一个或多个，多个预设阈值的数值可相等、也可以不等。下列结合示例展开说明。

参照图9，在一些可选的实施方式中，将横向转动角度和/或纵向转动角度，与预设阈值做比较，确定头部的转动方向，包括：

步骤S1710，当横向转动角度小于第一预设阈值，确定头部转动方向为向左；

步骤S1720，当横向转动角度大于第二预设阈值，确定头部转动方向为向右；

步骤S1730，当纵向转动角度小于第三预设阈值，确定头部转动方向为向上；

步骤S1740，当纵向转动角度大于第四预设阈值，确定头部转动方向为向下。

在一些实施例中，预设阈值可以设置多个，例如，可根据四个转动方向设置4个阈值，分别为第一预设阈值、第二预设阈值、第三预设阈值和第四预设阈值。第一预设阈值、第二预设阈值、第三预设阈值和第四预设阈值的数值可以相等、也可以不等。例如，可设置第一预设阈值为-20°，第二预设阈值为20°，第三预设阈值为-20°，第四预设阈值为20°。即是说，当横向转动角度小于第一预设阈值(-20°)，则判断头部转动方向为向左；当横向转动角度大于第二预设阈值(20°)，则判断头部转动方向为向右。同理，当纵向转动角度小于预设阈值(-20°)，则判断头部转动方向为向下；当纵向转动角度大于预设值(20°)，则判断头部转动方向为向上。需要说明的是，左右上下的判断顺序可以根据需要调整，例如，可以先判断上下转动方向，再判断左右转动方向，本申请对此不作限定。在一些实施例中，如果横向和纵向转动角度均超过某个阈值，则取超出对应阈值幅度最大的方向为当前头部转动方向。如果横向和纵向转动角度均没有超过阈值，则认为当前头部面向前方。

下面结合示例一详细说明本申请头部转动方向的实施过程。

示例一

参照图10，在一些实施例中，头部转动方向判定包括步骤：

步骤E101，将摄像头(或手机)置于人脸正前方。

步骤E102，进行五处位置标定，分别为面向正前方位置标定和上下左右最大程度转动位置标定，测定D_MN、R_h、R_v三个标定值。

步骤E103，完成位置标定后，开始进行实时监测。

步骤E104，从摄像头获取当前的视频帧，如果需要对当前帧进行转动角度和方向判定，则执行以下步骤，否则继续监听摄像头。

步骤E105，使用人体关键点检测模型检测当前帧的人体关键点，并提取鼻子、左肩、右肩三个点的坐标。

步骤E106，使用公式(3)和公式(4)对上述三个点或鼻子关键点的横纵坐标进行尺度修正。

步骤E107，使用公式(1)和公式(2)分别计算当前头部在横向和纵向的转动角度。

步骤E108，横向转动角度如果小于第一预设阈值(-20°)，确定头部转动方向为向左；如果大于第二预设阈值(20°)，确定头部转动方向为向右。

步骤E109，纵向转动角度如果小于第一预设阈值(-20°)，则确定头部转动方向为向下；如果大于第二预设阈值(20°)，则确定头部转动方向为向上。

步骤E110，在一些实施例中，如果横向和纵向转动角度均超过某个阈值，则取超出阈值幅度最大的方向为当前头部转动方向。

步骤E111，如果横向和纵向转动角度均没有超过阈值，则认为当前头部面向前方。

步骤E112，如果需要继续监听，则重复步骤E104至步骤E112，否则退出监听。

同时，本申请基于上述实施例的头部转动角度和方向判断方法，进一步提出了一种基于连续帧的动作信号判断方法，可实现由头部的上下左右运动作为信号，无接触式地进行动作信号输出，以实现多种场景的应用，如操作器械或者控制游戏。

参照图11，在一些可选的实施方式中，头部转动检测方法还包括：

步骤S1800，获取连续视频帧，得到多张当前人脸图像；

步骤S1900，依次对多张当前人脸图像进行头部转动方向判断；

步骤S2000，根据判断结果，输出对应的信号。

目前，无接触式操作在诸多场景中得到应用，比如操作简单的机械运动、或者控制游戏中角色的移动等。头部运动作为一个简单的操作手段，可以控制上下左右四个方向。基于前面提出的判定头部转动角度的方法，这里给出了一个用于判定头部信号(即上下左右)的方法，该方法是基于连续的视频帧进行判定的。

在一些实施例中，步骤S1900可以利用上述实施例的头部转动检测方法进行头部转动方向判断，例如，可以通过执行上述步骤S1100至S1700进行头部转动方向判断。对于连续帧对应的多张当前人脸图像，可循环执行上述实施例的头部转动检测方法进行头部转动方向判断，以不断输出方向信号。

以下以示例二为例，说明本申请实施例的头部转动检测方法，可实现头部无接触操作信号判定。

示例二

参照图12，为头部无接触操作信号判定(左右方向)示意图，图中波浪曲线表示头部左右转动时计算出来的角度变化趋势，中间0°线表示面向前方，下方-90°线和上方90°线分别表示左右最大转动幅度(左转最大幅度和右转最大幅度)；中间-20°虚线和20°虚线表示左右转动阈值(左转阈值和右转阈值)，其中，左转阈值可以为上述的第一预设阈值(如-20°)，右转阈值可以为上述的第二预设阈值(如20°)。图中从左到右表示获取到的视频帧的时间序列。

具体步骤包括：

步骤E201，不断获取视频帧；

步骤E202，计算当前帧的转动角度；

步骤E203，当转动角度由面向前方变为转向右方(即到达临界点A)时，输出“向右”信号；

步骤E204，在转动角度首次超过临界点A时，发出一次信号，其后，虽然头部一直是右转状态，但是不再输出信号，直到下一次方向变换；

步骤E205，同理，当转动角度由面向前方变为转向左方(即到达临界点B)时，输出“向左”信号；

步骤E206，向上与向下信号的判定同理；

步骤E207，保持监听状态，直到结束。

头部转动角度和方向的判断，是实际生产生活中比较常见的场景需求。不同于相关技术借助如陀螺仪或传感器等专业的设备，或者近些年借助深度相机、三维建模等计算方法，本申请实施例给出了一种基于简单二维图像和人体关键点的头部转动角度和方向判别方法，该方法既不需要专业级设备，也不需要高性能计算芯片，实现简单，可以部署在众多终端设备上。同时，基于该方法，我们又提出了一套头部信号的判定方法，用于无接触式操作场景，极大地简化了操作流程，方便快速实现、使用和部署，极具生产价值。

本申请实施例通过获取和检测正面人脸图像，获得基准坐标；通过获取和检测当前人脸图像，获得当前坐标；再根据基准坐标、当前坐标、左右转动半径、上下转动半径、左右角度计算公式和上下角度计算公式，计算得到当前头部的横向转动角度和纵向转动角度，克服了人体头部转动方向检测相关技术存在的对信息获取设备的要求比较高或对运算能力的要求比较高的问题，有利于利用简单通用的信息获取设备和较低的运算资源，实现人体头部转动方向检测，从而能够有效节省检测头部转动的设备成本和运算能力资源。

另外，本申请还提供电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现如前述的头部转动检测方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

需要说明的是，本实施例中的电子设备，可以应用为如图1所示实施例的系统架构中的电子设备；另外，本实施例中的电子设备，可以执行如图2、图6a、图6b、图7a、图7b、图8、图9、图10或图11所示实施例中的头部转动检测方法。即，本实施例中的电子设备和如图1所示实施例的系统架构中的电子设备，以及如图2、图6a、图6b、图7a、图7b、图8、图9、图10或图11所示实施例中的头部转动检测方法，均属于相同的发明构思，因此这些实施例具有相同的实现原理以及技术效果，此处不再详述。

实现上述实施例的头部转动检测方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的头部转动检测方法，例如，执行以上描述的图2中的方法步骤S1100至步骤S1600，图6a中的方法步骤S1511至步骤S1513，图6b中的方法步骤S1521至步骤S1523，图7a中的方法步骤S1100至步骤S12200，图7b中的方法步骤S1300至步骤S2500，图8中的方法步骤S1100至步骤S1700，图9中的方法步骤S1710至步骤S1740，图10中的方法步骤E101至步骤E108，图11中的方法步骤S1800至步骤S2000。

另外，本申请还提供计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于被处理器执行时实现：

如前述的头部转动检测方法。

在一些实施例中，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述诊断分析系统100实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的头部转动检测方法，例如，执行以上描述的图2中的方法步骤S1100至步骤S1600，图6a中的方法步骤S1511至步骤S1513，图6b中的方法步骤S1521至步骤S1523，图7a中的方法步骤S1100至步骤S12200，图7b中的方法步骤S1300至步骤S2500，图8中的方法步骤S1100至步骤S1700，图9中的方法步骤S1710至步骤S1740，图10中的方法步骤E101至步骤E108，图11中的方法步骤S1800至步骤S2000。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本申请实施例的较佳实施进行了具体说明，但本申请实施例并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请实施例精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请实施例权利要求所限定的范围内。

Claims (10)

1.一种头部转动检测方法，其特征在于，包括：

获取正面人脸图像；

检测所述正面人脸图像，得到正面第一特征部位坐标作为基准坐标；

获取当前人脸图像；

检测所述当前人脸图像，得到当前第一特征部位坐标作为当前坐标；

获取左右转动半径和上下转动半径；

根据所述基准坐标、所述当前坐标、所述左右转动半径及第一平面几何关系，计算得到当前头部的横向转动角度；其中，所述第一平面几何关系为所述基准坐标、所述当前坐标、所述左右转动半径对应的平面几何关系；

根据所述基准坐标、所述当前坐标、所述上下转动半径及第一平面几何关系，计算得到当前头部的纵向转动角度；其中，所述第一平面几何关系为所述基准坐标、所述当前坐标、所述上下转动半径对应的平面几何关系；

上下转动半径、左右角度计算公式和上下角度计算公式，计算得到当前头部的横向转动角度和纵向转动角度。

2.根据权利要求1所述的方法，其特征在于，以所述基准坐标记为原点，所述当前坐标记为(x_OC，y_OC)；所述第一平面几何关系包括左右角度计算公式；所述所述第二平面几何关系包括上下角度计算公式；

所述左右角度计算公式包括：

所述上下角度计算公式包括：

其中，α_h为横向转动角度，α_v为纵向转动角度，R_h为左右转动半径，R_v为上下转动半径。

3.根据权利要求2所述的方法，其特征在于，所述获取左右转动半径和上下转动半径，包括：

获取头部向左和/或向右转动最大幅度对应的向左人脸图像和/或向右人脸图像；

检测所述向左人脸图像和/或所述向右人脸图像，计算得到左右边界点坐标；

根据所述左右边界点坐标和所述基准坐标，计算得到所述左右转动半径；

获取头部向上和/或向下转动最大幅度对应的向上人脸图像和/或向下人脸图像；

检测所述向上人脸图像和/或所述向下人脸图像，计算得到上下边界点坐标；

根据所述上下边界点坐标和所述基准坐标，计算得到所述上下转动半径。

4.根据权利要求1至3任一项所述的方法，其特征在于，还包括：

将所述横向转动角度和/或纵向转动角度，与预设阈值做比较，确定头部的转动方向。

5.根据权利要求4所述的方法，其特征在于，所述将所述横向转动角度和/或纵向转动角度，与预设阈值做比较，确定头部的转动方向，包括：

当所述横向转动角度小于第一预设阈值，确定头部转动方向为向左；

当所述横向转动角度大于第二预设阈值，确定头部转动方向为向右；

当所述纵向转动角度小于第三预设阈值，确定头部转动方向为向上；

当所述纵向转动角度大于第四预设阈值，确定头部转动方向为向下。

6.根据权利要求5所述的方法，其特征在于，还包括：

获取连续视频帧，得到多张所述当前人脸图像；

依次对多张所述当前人脸图像进行头部转动方向判断；

根据判断结果，输出对应的信号。

7.根据权利要求1至3任一项所述的方法，其特征在于，所述获取正面人脸图像之后，还包括：

检测所述正面人脸图像，得到正面第一参考部位坐标和正面第二参考部位坐标；

根据所述正面第一参考部位坐标和所述正面第二参考部位坐标，计算得到正面第一参考部位和正面第二参考部位之间的基准距离；

所述获取当前人脸图像之后，还包括：

检测所述当前人脸图像，得到当前第一参考部位坐标和当前第二参考部位坐标；

根据所述当前第一参考部位坐标和所述当前第二参考部位坐标，计算得到当前第一参考部位和当前第二参考部位之间的当前距离；

根据所述基准距离、所述当前距离和比例计算公式，修正所述当前坐标。

8.根据权利要求7所述的方法，其特征在于，所述第一特征部位为鼻子，所述第一参考部位为左肩，所述第二参考部位为右肩。

9.电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任意一项所述的头部转动检测方法。

10.计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于被处理器执行时实现：

如权利要求1至8任意一项所述的头部转动检测方法。

Images