CN110598647B - 一种基于图像识别的头部姿态识别方法 - Google Patents

Abstract

本发明公开了一种基于图像识别的头部姿态识别方法，步骤S1，实时按序读取帧图像，读取的图像为当前帧图像；步骤S2，判断当前帧图像是否有运动物体，如果有则过滤掉当前帧图像并返回步骤S1，否则执行步骤S3；步骤S3，对当前帧图像进行肩部特征提取，如果没有提取到肩部特征则过滤当前帧图像并返回步骤S1，否则继续执行步骤S4；步骤S4，对当前帧图像进行脸部特征提取，如果得到稳定特征点则继续执行步骤S5，否则返回步骤S1；步骤S5，基于上述步骤S3提取的肩部特征和步骤S4提取的脸部特征，采用几何法进行头部姿态识别。本发明引入左右肩顶的两个特征点进行姿态估计，得到头部姿态相对于人身体的姿态，测量更准确。

Description

一种基于图像识别的头部姿态识别方法

技术领域

本发明涉及图像检测技术领域，具体涉及一种基于图像识别的头部姿态识别方法。

背景技术

随着计算机技术的高速发展，基于图像的识别技术已经在检测领域得到了广泛应用；现有的人脸姿态分析/识别技术采用神经网络等模型来提取待处理人脸图形的人脸姿态信息，通常是根据固定人脸数字模型的固定特征点进行匹配识别。然而现有人脸姿态分析/识别技术存在如何问题：算法复杂，计算速度慢，需要强大的计算资源；检测精度不高，且部分特征点丢失后的位姿计算误差大，稳定性不好

发明内容

为了解决现有识别技术算法复杂、检测精度不高等技术问题，本发明提供了一种基于图像识别的头部姿态识别方法。

本发明通过下述技术方案实现：

一种基于图像识别的头部姿态识别方法，该方法包括：

步骤S1，实时按序读取帧图像，读取的图像为当前帧图像；

步骤S2，判断当前帧图像是否有运动物体，如果有则过滤掉当前帧图像并返回步骤S1，否则执行步骤S3；

步骤S3，对当前帧图像进行肩部特征提取，如果没有提取到肩部特征则过滤当前帧图像并返回步骤S1，否则继续执行步骤S4；

步骤S4，对当前帧图像进行脸部特征提取，如果得到稳定特征点则继续执行步骤S5，否则返回步骤S1；

步骤S5，基于上述步骤S3提取的肩部特征和步骤S4提取的脸部特征，采用几何法进行头部姿态识别。

优选的，所述步骤S2还包括：

步骤S21，对当前帧图像进行归一化处理；

步骤S22，计算经归一化处理后的当前帧图像的几何中心；

步骤S23，计算当前帧图像的几何中心与前一帧图像的几何中心之间的距离；

步骤S24，判断上述步骤S23计算得到的距离是否超过阈值，如果超过，则当前帧图像有运动物体。

优选的，所述步骤S3采用卷积神经网络提取当前帧图像的肩顶部特征，所述卷积神经网络的结构依次包括第一卷积层、第一池化层、第二卷积层、第二池化层、全连接层和输出层，当前帧图像经卷积神经网络后输出的肩顶部特征包括左肩特征点和右肩特征点。

优选的，所述步骤S4采用dlib的人脸检测器检测当前帧图像的脸部特征，并提取稳定的脸部特征点。

优选的，提取稳定的脸部特征点具体过程为：选取鼻尖特征点作为基准特征点；计算检测到当前帧图像的其他特征点与基准特征点的欧几里得距离；如果任一个特征点与基准特征点的欧几里得距离发生突变，则认为该特征点位置发生了漂移，将该发生漂移的特征点剔除，最后得到稳定的脸部特征点。

优选的，所述步骤S5具体包括：

步骤S51，选取肩部特征和步骤S4得到的稳定的脸部特征点，包括：左肩顶特征、右肩顶特征、左眼角特征、右眼角特征、鼻尖特征、下巴特征、左唇角特征和右唇角特征；且定义如下坐标：图像中检测到的左右肩顶点的连线设为线段L1，图像中过线段L1的中点O且垂直于线段L1的直线设为直线L2，图像中检测到的左右眼角的连线设为线段L3，距离值为x₂，图像中检测到的左右唇角的连线设为线段L4，L1OL2在图像上构成平面坐标系，O为原点，原点O到右肩顶点方向为L1的正方向，原点O到左肩顶点方向为L1的负方向，原点O到头部方向为L2的正方向；

步骤S52，识别头部姿态：

(a)根据获得的图像特征，计算得到头部左右偏转角度α，并根据偏转角度α识别当前头部的偏转姿态；

(b)在(a)基础上，计算得到头部左右转动角度β，并根据转动角度β识别当前头部的转动姿态；

(c)在(a)基础上，计算得到头部俯仰角度γ，并根据俯仰角度γ识别当前头部的俯仰姿态。

优选的，所述步骤S52中(a)具体为：

利用下式计算得到头部左右偏转角度α：

α＝90°-(θ₁+θ₂)×0.5，

其中，θ₁表示在L1OL2坐标系下第二象限中L3和L2正方向的夹角，θ₂表示在L1OL2坐标系下第二象限中L4和L2正方向的夹角；

当α＝0，则识别当前头部无偏转；当α≠0，则识别当前头部偏转；

判断偏转角度值是否超出阈值，如果超出则进行报警提示。

优选的，所述步骤S52中(b)具体为：

获得鼻尖特征点与L2的连线，且该连线与L1的夹角为α，连线距离为x₁；鼻尖特征点与原点O的连线与L1负方向的夹角为θ₃；再根据下式计算得到头部左右转动角度β：

其中，sign(·)表示符号函数；

当x₁＝0，且β＝0时，则识别当前头部无转动；否则识别当前头部转动；

判断转动角度值是否超出阈值，如果超出则进行报警提示。

优选的，所述步骤S52中(c)具体为：

获得下巴特征点与L2的连线，且该连线与L1的夹角为α，则该连线与L2的交点与原点O的距离为x₃；L4与L2的交点与原点O的距离为x₄；L5与L2的交点与原点O的距离为x₅；L3与L2的交点与原点O的距离为x₆；根据下式计算得到第i帧图像表征头部俯仰的参数y_i：

y_i＝(x₃+x₄+x₅+x₆)/4；

得到头部无俯仰姿态时参数y_0.5：

y_0.5＝y_0.5(y₁，y₂，…，y_n)，其中，y_0.5(·)是将前n帧图像表征头部俯仰的参数序列去重再取中位数；最后通过下式计算头部俯仰角度γ：

当γ＝0时，则识别当前头部无俯仰；当γ≠0时，则识别当前头部俯仰

判断俯仰角度值是否超出阈值，如果超出则进行报警提示。

本发明具有如下的优点和有益效果：

1、本发明通过人像识别和运动过滤，只对视频流中的有价值图像进行姿态估计，避免了每帧图像都进行检测和分析，大大降低了计算资源的消耗。

2、本发明引入左右肩顶的两个特征点，进行姿态估计。此时计算的头部姿态为相对于人身体的姿态，测量更准确。

3、相对于传统使用迭代法求解相关参数和头部姿态，本发明在获得人脸特征点后，结合肩顶特征点，使用几何法进行姿态估计，从而在精度相似的情况下，大大加快了计算速度，可以适合到低功耗、计算资源不足的嵌入式处理器系统中完成移动式应用。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明的方法流程图。

图2为本发明的卷积神经网络结构示意图。

图3为本发明利用几何法建立的平面坐标示意图。

具体实施方式

在下文中，可在本发明的各种实施例中使用的术语“包括”或“可包括”指示所发明的功能、操作或元件的存在，并且不限制一个或更多个功能、操作或元件的增加。此外，如在本发明的各种实施例中所使用，术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

在本发明的各种实施例中，表述“或”或“A或/和B中的至少一个”包括同时列出的文字的任何组合或所有组合。例如，表述“A或B”或“A或/和B中的至少一个”可包括A、可包括B或可包括A和B二者。

在本发明的各种实施例中使用的表述(诸如“第一”、“第二”等)可修饰在各种实施例中的各种组成元件，不过可不限制相应组成元件。例如，以上表述并不限制所述元件的顺序和/或重要性。以上表述仅用于将一个元件与其它元件区别开的目的。例如，第一用户装置和第二用户装置指示不同用户装置，尽管二者都是用户装置。例如，在不脱离本发明的各种实施例的范围的情况下，第一元件可被称为第二元件，同样地，第二元件也可被称为第一元件。

应注意到：如果描述将一个组成元件“连接”到另一组成元件，则可将第一组成元件直接连接到第二组成元件，并且可在第一组成元件和第二组成元件之间“连接”第三组成元件。相反地，当将一个组成元件“直接连接”到另一组成元件时，可理解为在第一组成元件和第二组成元件之间不存在第三组成元件。

在本发明的各种实施例中使用的术语仅用于描述特定实施例的目的并且并非意在限制本发明的各种实施例。如在此所使用，单数形式意在也包括复数形式，除非上下文清楚地另有指示。除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

本实施例提出了一种基于图像识别的头部姿态识别方法，如图1所示，该方法包括以下步骤：

步骤S1，实时按序读取帧图像，读取的图像为当前帧图像。

步骤S2，判断当前帧图像是否有运动物体，如果有则过滤掉当前帧图像并返回步骤S1，否则执行步骤S3。

本实施例中，判断当前帧图像是否有运动物体，若有运动物体(包括人头像)，则不进行头像姿态检测，如此可以简化对视频帧图像的人头部姿态检测，提高运行速度。图像运动检测方法为图像几何中心偏移阈值法，具体包括：

步骤S21，对当前帧图像进行归一化处理；

步骤S22，计算经归一化处理后的当前帧图像的几何中心；

步骤S23，计算当前帧图像的几何中心与前一帧图像的几何中心之间的距离；

步骤S24，判断上述步骤S23计算得到的距离是否超过阈值，如果超过，则当前帧图像有运动物体。本实施例中几何中心的计算公式为：

x_c＝sum(x*f(x，y))/(M*N)

y_c＝sum(y*f(x，y))/(M*N)

其中，图像坐标系以左上角为原点，竖直向下为x轴，水平向右为y轴，图像在(x，y)处的像素值为f(x，y)，图像的大小为M行N列，sum(·)是求和运算，(x_c，y_c)是中心的位置。

步骤S3，对当前帧图像进行肩部特征提取，如果没有提取到肩部特征则过滤(跳过不处理)当前帧图像并返回步骤S1，否则继续执行步骤S4。

在本实施例中，利用卷积神经网络(CNN)提取当前帧图像的肩部特征，如图2所示，所示卷积神经网络的结构具体包括：输入512*512*3图像依次经过第一卷积层(卷积核为3*3*3，步长为4)处理和第一最大池化层(大小为3*3，步长为2)池化后得到63*63*32特征层，再依次经过第二卷积层(卷积核为3*3*32，步长为2)处理和最大池化层(大小为2*2，步长为2)池化得到15*15*128特征层，再经过一个有120神经元的神经层，经softmax激励函数后得到归一化后的两个点坐标，即为左肩顶特征点和右肩顶特征点。

步骤S4，对当前帧图像进行脸部特征提取，如果得到稳定特征点则继续执行步骤S5，否则返回步骤S1。

在本实施例中，使用dlib中的人脸检测器，能够检测出人脸中的68个特征点，实际选取其中稳定的特征点。实际上，在转动头部时，检测到的特征点可能发生漂移。为了解决这个问题，计算检测到的特征点与较稳定的鼻尖特征点的欧几里得距离，若当前帧的特征距离发生突变，则认为当前帧该特征点位置发生了漂移，不能作为后续处理的特征点。提取稳定的脸部特征点具体过程为：选取鼻尖特征点作为基准特征点；计算检测到当前帧图像的其他特征点与基准特征点的欧几里得距离；如果任一个特征点与基准特征点的欧几里得距离发生突变，则认为该特征点位置发生了漂移，将该发生漂移的特征点剔除，最后得到稳定的脸部特征点。

步骤S5，基于上述步骤S3提取的肩部特征和步骤S4提取的脸部特征，采用几何法进行头部姿态识别。

本实施例中选取肩部特征和步骤S4得到的稳定的脸部特征点包括：左肩顶特征、右肩顶特征、左眼角特征、右眼角特征、鼻尖特征、下巴特征、左唇角特征和右唇角特征；且定义如下坐标，如图3所示：图像中检测到的左右肩顶点的连线设为线段L1，图像中过线段L1的中点O且垂直于线段L1的直线设为直线L2，图像中检测到的左右眼角的连线设为线段L3，距离值为x₂，图像中检测到的左右唇角的连线设为线段L4，则L1OL2在图像上构成平面坐标系，O为原点，原点O到右肩顶点方向为L1的正方向(即如图3所示的L1箭头方向为正方向)，原点O到左肩顶点方向为L1的负方向，原点O到头部方向为L2的正方向(即如图3所示的L2箭头方向为正方向)。

基于上述坐标，进行头部姿态：

(a)根据获得的图像特征，识别当前头部的偏转姿态，具体过程如下：

利用下式计算得到头部左右偏转角度α：

α＝90°-(θ₁+θ₂)×0.5，

其中，θ₁表示在L1OL2坐标系下第二象限中L3和L2正方向的夹角，θ₂表示在L1OL2坐标系下第二象限中L4和L2正方向的夹角；

当α＝0，则识别当前头部无偏转；当α≠0，则识别当前头部偏转，具体在本实施例中，α＞0时，则识别当前头部右偏转，α＜0时，则识别当前头部左偏转。

当头部存在偏转时，则判断偏转角度值是否超出阈值，如果超出则进行报警提示。

(b)识别当前头部的转动姿态，具体过程如下：

获得鼻尖特征点与L2的连线，且该连线与L1的夹角为α，连线距离为x₁；鼻尖特征点与原点O的连线与L1负方向的夹角为θ₃；再根据下式计算得到头部左右转动角度β：

其中，sign(·)表示符号函数；

当x₁＝0，且β＝0时，则识别当前头部无转动；否则识别当前头部转动，具体在本实施例中，β＞0时，则识别当前头部向左转动，β＜0时，则识别当前头部向右转动。

若当前头部存在转动时，则判断转动角度值是否超出阈值，如果超出则进行报警提示。

(c)识别当前头部的俯仰姿态，具体过程如下：

获得下巴特征点与L2的连线，且该连线与L1的夹角为α，则该连线与L2的交点与原点O的距离为x₃；L4与L2的交点与原点O的距离为x₄；L5与L2的交点与原点O的距离为x₅；L3与L2的交点与原点O的距离为x₆；根据下式计算得到第i帧图像表征头部俯仰的参数y_i：

y_i＝(x₃+x₄+x₅+x₆)/4；

得到头部无俯仰姿态时参数y_0.5：

y_0.5＝y_0.5(y₁，y₂，…，y_n)，其中，y_0.5(·)是将前n帧图像表征头部俯仰的参数序列去重再取中位数；最后通过下式计算头部俯仰角度γ：

当γ＝0时，则识别当前头部无俯仰；当γ≠0时，则识别当前头部俯仰，具体在本实施例中，γ＞0时，则识别当前头部向上仰头，γ＜0时，则识别当前头部向下低头。

若当前头部存在俯仰时，判断俯仰角度值是否超出阈值，如果超出则进行报警提示。

本实施例的识别方法还包括步骤S6，对步骤S5的识别结果进行数据存储和输出。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于图像识别的头部姿态识别方法，其特征在于，该方法包括：

步骤S1，实时按序读取帧图像，读取的图像为当前帧图像；

步骤S2，判断当前帧图像是否有运动物体，如果有则过滤掉当前帧图像并返回步骤S1，否则执行步骤S3；

步骤S3，对当前帧图像进行肩部特征提取，如果没有提取到肩部特征则过滤当前帧图像并返回步骤S1，否则继续执行步骤S4；

步骤S4，对当前帧图像进行脸部特征提取，如果得到稳定特征点则继续执行步骤S5，否则返回步骤S1；

步骤S5，基于上述步骤S3提取的肩部特征和步骤S4提取的脸部特征，采用几何法进行头部姿态识别；

所述步骤S5具体包括：

步骤S51，选取肩部特征和步骤S4得到的稳定的脸部特征点，包括：左肩顶特征、右肩顶特征、左眼角特征、右眼角特征、鼻尖特征、下巴特征、左唇角特征和右唇角特征；且定义如下坐标：图像中检测到的左右肩顶点的连线设为线段L1，图像中过线段L1的中点O且垂直于线段L1的直线设为直线L2，图像中检测到的左右眼角的连线设为线段L3，距离值为x₂，图像中检测到的左右唇角的连线设为线段L4，L1OL2在图像上构成平面坐标系，O为原点，原点O到右肩顶点方向为L1的正方向，原点O到左肩顶点方向为L1的负方向，原点O到头部方向为L2的正方向；

步骤S52，识别头部姿态：

(a)根据获得的图像特征，计算得到头部左右偏转角度α，并根据偏转角度α识别当前头部的偏转姿态；

(b)在(a)基础上，计算得到头部左右转动角度β，并根据转动角度β识别当前头部的转动姿态；

(c)在(a)基础上，计算得到头部俯仰角度γ，并根据俯仰角度γ识别当前头部的俯仰姿态；

所述步骤S52中(a)具体为：

利用下式计算得到头部左右偏转角度α：

α＝90°-(θ₁+θ₂)×0.5，

其中，θ₁表示在L1OL2坐标系下第二象限中L3和L2正方向的夹角，θ₂表示在L1OL2坐标系下第二象限中L4和L2正方向的夹角；

当α＝0，则识别当前头部无偏转；当α≠0，则识别当前头部偏转；

判断偏转角度值是否超出阈值，如果超出则进行报警提示；

所述步骤S52中(b)具体为：

获得鼻尖特征点与L2的连线，且该连线与L1负方向的夹角为α，记该连线为L5且长度为x₁；鼻尖特征点与原点O的连线与L1负方向的夹角为θ₃；再根据下式计算得到头部左右转动角度β：

其中，sign(·)表示符号函数；

当x₁＝0，且β＝0时，则识别当前头部无转动；否则识别当前头部转动；

判断转动角度值是否超出阈值，如果超出则进行报警提示；

所述步骤S52中(c)具体为：

获得下巴特征点与L2的连线，且该连线与L1的夹角为α，则该连线与L2的交点与原点O的距离为x₃；L4与L2的交点与原点O的距离为x₄；L5与L2的交点与原点O的距离为x₅；L3与L2的交点与原点O的距离为x₆；根据下式计算得到第i帧图像表征头部俯仰的参数y_i：

y_i＝(x₃+x₄+x₅+x₆)/4；

得到头部无俯仰姿态时参数y_0.5：

y_0.5＝y_0.5(y₁，y₂，…，y_n)，其中，y_0.5(·)是将前n帧图像表征头部俯仰的参数序列去重再取中位数；最后通过下式计算头部俯仰角度γ：

当γ＝0时，则识别当前头部无俯仰；当γ≠0时，则识别当前头部俯仰；

判断俯仰角度值是否超出阈值，如果超出则进行报警提示。

2.根据权利要求1所述的一种基于图像识别的头部姿态识别方法，其特征在于，所述步骤S2还包括：

步骤S21，对当前帧图像进行归一化处理；

步骤S22，计算经归一化处理后的当前帧图像的灰度中心；

步骤S23，计算当前帧图像的灰度中心与前一帧图像的灰度中心之间的距离；

步骤S24，判断上述步骤S23计算得到的距离是否超过阈值，如果超过，则当前帧图像有运动物体。

3.根据权利要求1所述的一种基于图像识别的头部姿态识别方法，其特征在于，所述步骤S3采用卷积神经网络提取当前帧图像的肩顶部特征，所述卷积神经网络的结构依次包括第一卷积层、第一池化层、第二卷积层、第二池化层、全连接层和输出层，当前帧图像经卷积神经网络后输出的肩顶部特征包括左肩特征点和右肩特征点。

4.根据权利要求1所述的一种基于图像识别的头部姿态识别方法，其特征在于，所述步骤S4采用dlib的人脸检测器检测当前帧图像的脸部特征，并提取稳定的脸部特征点。

5.根据权利要求4所述的一种基于图像识别的头部姿态识别方法，其特征在于，提取稳定的脸部特征点具体过程为：选取鼻尖特征点作为基准特征点；计算检测到当前帧图像的其他特征点与基准特征点的欧几里得距离；如果任一个特征点与基准特征点的欧几里得距离发生突变，则认为该特征点位置发生了漂移，将该发生漂移的特征点剔除，最后得到稳定的脸部特征点。

Images