CN105678779B - 基于椭圆匹配的人体朝向角度实时检测方法 - Google Patents

Abstract

一种基于椭圆匹配的人体朝向角度实时检测方法，首先通过从参考图像中得到参考前景区域的非对称椭圆模型的参数，然后在任意朝向角度下采集得到肩膀横截面点集，并基于非对称椭圆模型生成非对称椭圆模型点集，最后通过匹配相邻两帧之间的肩膀横截面点集和不对称椭圆模型点集，得到人体朝向角度；根据本方法可实现实时且精确至1°的人体朝向检测。

Description

基于椭圆匹配的人体朝向角度实时检测方法

技术领域

本发明涉及的是一种计算机图形处理领域的技术，具体是一种基于椭圆匹配的人体朝向角度实时检测方法。

背景技术

在计算机视觉领域中，人体检测、人体姿态检测、人体行为识别均是非常重要的课题。这里所说的人物包括人体及其各个组成部分，如手臂、手指、躯干等都属于其中的一个部分。这些技术都可以应用在人们的日常生活中，给人们的生活带来便利。运动人物分析从包含人的图像序列中检测、跟踪与识别人或人体的某一部分，并进一步分析理解人的运动行为。对人体朝向角度的识别有非常重要的意义。其一，人体的朝向角度本身就是一种人的运动行为；其二，人体的朝向角度可以作为一种中间信息，帮助理解更复杂的人的运动行为。

经过对现有技术的文献检索发现，Shotton等人在《Communications of the ACM》2013年第56卷第1期上发表的论文“Real-time human pose recognition in parts fromsingle depth images”提出了使用随机森林的方法实时获得整体人体骨架，进而可以通过两肩膀骨架点得到人体朝向姿态。但是该方法在人体侧身或转身时骨架提取精确度较低，朝向估计不准。鹿建国在《微型机与应用》2010年第29卷第12期上发表的论文《多目及单目环境下的人体朝向分析》中采用色度分析与灰度分析相结合的方法，计算肤色区域和人体前景图的关系，得到人体的朝向。当然，该方法得到的朝向只能是大概的估计，不能得到朝向的精确角度。

因此，对上述现有技术的问题分析促使我们去寻找一种更加精确的人体朝向角度估计方法，使其能够应对复杂的场景和环境，并有较高的估计精度。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于椭圆匹配的人体朝向角度实时检测方法，通过用椭圆模型匹配人体肩膀处的景深数据来得到最佳匹配椭圆的倾斜角，该角度即为人体朝向角度；本发明可实现精确至1°的人体朝向检测。

本发明是通过以下技术方案实现的：

本发明首先通过从参考图像中得到参考前景区域的非对称椭圆模型的参数，然后在任意朝向角度下采集得到肩膀横截面点集，并基于非对称椭圆模型生成非对称椭圆模型点集，最后通过匹配相邻两帧之间的肩膀横截面点集和不对称椭圆模型点集，得到人体朝向角度。

所述方法具体包括以下步骤：

步骤一，通过深度摄像头采集人体纯正面，即没有朝向角度、双臂垂直放于人体两侧时的景深帧作为参考图像，并从中提取得到参考点集数据和参考前景区域，即人体外轮廓，计算得到非对称椭圆模型的参数。

步骤二，通过深度摄像头采集任意朝向角度的景深帧，并从中提取得到景深帧和人体前景区域及其中的肩部坐标、两个肩部坐标构成的线段上的景深点(肩膀横截面点集)，计算肩膀横截面点集的中心点，并将该中心点作为坐标系的新原点。

步骤三，根据步骤一得到的非对称椭圆模型的参数，采集非对称椭圆模型点集并与肩膀横截面点集进行基于参考图像原点和步骤二得到新原点的匹配，根据匹配结果得到人体朝向角度。

技术效果

与现有技术相比，本发明所述的方法比较精确地测量出人体朝向的角度。现有方法只能定性地估计出人体大致朝向，即向左还是向右；而本方法可以测量出人体朝向的准确角度，设置的测量精度为1°。而且可以测量360°中任意朝向，同时本发明所述的方法平均耗时仅5.6ms，可以在实时的系统中使用。

附图说明

图1是人体肩膀横截面非对称椭圆模型；

图2是提取人体肩膀宽度的示意图；

图3是提取的人体不同姿态下的人体肩膀景深数据；

图4是本发明方法流程图。

具体实施方式

如图4所示，本实施例包括以下步骤:

步骤一，通过深度摄像头采集人体纯正面，即没有朝向角度、双臂垂直放于人体两侧时的景深帧作为参考图像，并从中提取得到参考点集数据和参考前景区域，即人体外轮廓，计算得到非对称椭圆模型的参数，具体步骤为：

所述的参考图像位于的坐标系为：x轴为宽度方向、y轴为高度方向。

所述的参考前景区域在参考图像内的像素值即该点景深，参考前景区域外的像素值为0。

本实施例中，采用微软公司出品的Kinect摄像头(dev.windows.com/en-us/kinect)进行景深帧的采集，并进行景深提取。

1.1统计参考前景区域内每列像素点的个数，并找到每列像素点个数最大值l，即得参考前景区域的高度；

1.2从参考前景区域的任意一侧向中间查看每列像素点的个数，当该列个数大于阈值时，设定该列为一侧肩膀边缘点x坐标x₁；采用相同方法从另一侧进行阈值筛选，得到了另一侧肩膀边缘点x坐标x₂；在x＝x₁和x＝x₂列中各选择一个人体前景参考点，并使用Kinect SDK的函数转换到三维空间中得到该两个人体前景参考点的坐标(x_p1，y_p1，z_p1)和(x_p2，y_p2，z_p2)，计算得到参考肩膀宽度w＝|x_p1-x_p2|；

1.3在两个肩部坐标(x₁,λl)和(x₂,λl)之间的线段上寻找景深最大值dep_max和最小值dep_min，得到非对称椭圆模型的参数，即：长半轴前短半轴b₁＝1.2×|dep_max-dep_min|和后短半轴b₂＝1.5×|dep_max-dep_min|，其中：l为1.1中的参考前景区域的高度，λl为肩膀高度位置，λ是[0,1]之间的比例系数。

所述的非对称椭圆是指：以x轴为对称轴，该椭圆的两侧短半轴不相同。

本实施例中比例系数取0.75。

步骤二，通过深度摄像头采集若干任意朝向角度的景深帧，对于其中一帧I中的景深帧及人体前景区域(由摄像头直接提供)，根据步骤一中的比例系数λ计算得到任意朝向角度下的肩部坐标，以两个肩部坐标构成的线段上的景深点即为肩膀横截面点集P，使用Kinect SDK将这些点转换到三维空间中的x-z平面上；计算肩膀横截面点集P的中心点(x_m，z_m)，并将该点作为坐标系的新原点。

由于景深帧是一个二维图像，可以将其数据转换到三维空间中，因此上述景深点即为景深帧里的像素点，从而得到对应点集。

步骤二处理的景深帧与步骤一采集的景深帧源自同一拍摄对象。

步骤三，根据步骤一得到的非对称椭圆模型的参数，采集非对称椭圆模型点集并与肩膀横截面点集进行基于参考图像原点和步骤二得到新原点的匹配，根据匹配结果得到人体朝向角度，具体步骤如下：

3.1分别以a为长半轴、b₁、b₂为短半轴、中心点为原点、x轴为对称轴的非对称椭圆模型为范围进行均匀采样，得到非对称椭圆模型点集P_m；

3.2以景深帧I的前一帧检测得到的旋转角度为初始值作为静态初始旋转角度，如果当前帧是第一帧，则以0°为静态初始旋转角度进行计算，对肩膀横截面点集P和非对称椭圆模型点集P_m进行匹配，得到静态旋转角度θ_still以及静态匹配误差ε_still；

3.3取肩膀横截面点集P中距离步骤二中新原点最远的点，计算新原点到该点的向量与x轴之间的夹角θ₂，以该夹角θ₂作为动态初始旋转角度，对肩膀横截面点集P和非对称椭圆模型点集P_m进行匹配，得到动态旋转角度θ_motion以及动态匹配误差ε_motion。

所述的匹配，具体步骤包括：

i)设置旋转角度搜索范围为初始旋转角度±45°，计算以5°为搜索间隔的旋转角度下两个点集之间的匹配误差；

ii)将步骤3.1中得到的非对称椭圆模型点集P_m旋转当前搜索角度，遍历寻找肩膀横截面点集P中每个点离P_m距离最近的对应点，并计算该距离的平方和作为此旋转角度下的匹配误差；

iii)搜索最小的两个匹配误差对应的旋转角度，记为θ₁'和θ₁”，其中θ₁'＜θ₁”；

iv)将旋转角度搜索范围缩小至[θ₁'，θ₁”]，计算以1°为搜索间隔的旋转角度下两个点集之间的匹配误差，即重复ii)操作，搜索得到其中最小的匹配误差及其对应的旋转角度，即匹配结果。

3.4当ε_still＜ε_motion，则截面朝向角度为静态旋转角度θ_still，否则截面朝向角度为动态旋转角度θ_motion；

3.5在距离肩膀横截面的上方和下方λ'l位置处各取一个横截面，提取该横截面上的点，使用Kinect SDK转换到三维空间中的x-z平面上，重复3.1至3.4的操作并得到该两个横截面对应的截面朝向角度，以三个横截面的截面朝向角度平均值作为人体朝向角度，其中：λ'是[0,1]之间的比例系数。

本实施例中上述比例系数取0.05。

与现有技术相比，本方法比较精确地测量出人体朝向的角度。实验表明，鹿建国在《微型机与应用》2010年第29卷第12期上发表的论文《多目及单目环境下的人体朝向分析》的算法只能定性地估计出人体大致朝向，即向左还是向右；而本方法可以测量出人体朝向的准确角度，设置的测量精度为1°。而且可以测量360°中任意朝向，由于上述算法。同时经过测试，本方法平均耗时仅5.6ms，可以在实时的系统中使用。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (8)

1.一种基于椭圆匹配的人体朝向角度实时检测方法，其特征在于，首先通过从参考图像中得到参考前景区域的非对称椭圆模型的参数，然后在任意朝向角度下采集得到肩膀横截面点集，并基于非对称椭圆模型生成非对称椭圆模型点集，最后通过匹配相邻两帧之间的肩膀横截面点集和不对称椭圆模型点集，得到人体朝向角度；

所述方法具体步骤如下：

步骤一，通过深度摄像头采集人体纯正面，即没有朝向角度、双臂垂直放于人体两侧时的景深帧作为参考图像，并从中提取得到参考点集数据和参考前景区域，即人体外轮廓，计算得到非对称椭圆模型的参数；

步骤二，通过深度摄像头采集任意朝向角度的景深帧，并从中提取得到景深帧和人体前景区域及其中的肩部坐标、两个肩部坐标构成的线段上的景深点，即肩膀横截面点集，计算肩膀横截面点集的中心点，并将该中心点作为坐标系的新原点；

步骤三，根据步骤一得到的非对称椭圆模型的参数，采集非对称椭圆模型点集并与肩膀横截面点集进行基于参考图像原点和步骤二得到新原点的匹配，根据匹配结果得到人体朝向角度。

2.根据权利要求1所述的基于椭圆匹配的人体朝向角度实时检测方法，其特征是，所述的非对称椭圆是指：以x轴为对称轴，该椭圆的两侧短半轴不相同。

3.根据权利要求1所述的基于椭圆匹配的人体朝向角度实时检测方法，其特征是，所述的步骤一具体包括：

1.1统计参考前景区域内每列像素点的个数，并找到每列像素点个数最大值l，即得参考前景区域的高度；

1.2从参考前景区域的任意一侧向中间查看每列像素点的个数，当该列个数大于阈值时，设定该列为一侧肩膀边缘点x坐标x₁；采用相同方法从另一侧进行阈值筛选，得到了另一侧肩膀边缘点x坐标x₂；在x＝x₁和x＝x₂列中各选择一个人体前景参考点，并使用KinectSDK的函数转换到三维空间中得到该两个人体前景参考点的坐标(x_p1，y_p1，z_p1)和(x_p2，y_p2，z_p2)，计算得到参考肩膀宽度w＝|x_p1-x_p2|；

1.3在两个肩部坐标(x₁,λl)和(x₂,λl)之间的线段上寻找景深最大值dep_max和最小值dep_min，得到非对称椭圆模型的参数，即：长半轴前短半轴b₁＝1.2×|dep_max-dep_min|和后短半轴b₂＝1.5×|dep_max-dep_min|，其中：l为1.1中的参考前景区域的高度，λl为肩膀高度位置，λ是[0,1]之间的比例系数。

4.根据权利要求3所述的基于椭圆匹配的人体朝向角度实时检测方法，其特征是，所述的比例系数取0.75。

5.根据权利要求1所述的基于椭圆匹配的人体朝向角度实时检测方法，其特征是，所述的新原点，通过以下方式得到：通过深度摄像头采集若干任意朝向角度的景深帧，对于其中一帧I中的景深帧及由摄像头直接提供的人体前景区域，计算得到任意朝向角度下的肩部坐标，以两个肩部坐标构成的线段上的景深点即为肩膀横截面点集P，使用Kinect SDK将这些点转换到三维空间中的x-z平面上；计算肩膀横截面点集P的中心点(x_m，z_m)，并将该点作为坐标系的新原点。

6.根据权利要求3所述的基于椭圆匹配的人体朝向角度实时检测方法，其特征是，所述的步骤三具体包括：

3.1分别以a为长半轴、b₁、b₂为短半轴、中心点为原点、x轴为对称轴的非对称椭圆模型为范围进行均匀采样，得到非对称椭圆模型点集P_m；

3.2以景深帧I的前一帧检测得到的旋转角度为初始值作为静态初始旋转角度，如果当前帧是第一帧，则以0°为静态初始旋转角度进行计算，对肩膀横截面点集P和非对称椭圆模型点集P_m进行匹配，得到静态旋转角度θ_still以及静态匹配误差ε_still；

3.3取肩膀横截面点集P中距离步骤二中新原点最远的点，计算新原点到该点的向量与x轴之间的夹角θ₂，以该夹角θ₂作为动态初始旋转角度，对肩膀横截面点集P和非对称椭圆模型点集P_m进行匹配，得到动态旋转角度θ_motion以及动态匹配误差ε_motion；

3.4当ε_still＜ε_motion，则截面朝向角度为静态旋转角度θ_still，否则截面朝向角度为动态旋转角度θ_motion；

3.5在距离肩膀横截面的上方和下方λ'l位置处各取一个横截面，λ'为[0,1]之间的比例系数，提取该横截面上的点，使用Kinect SDK转换到三维空间中的x-z平面上，重复3.1至3.4的操作并得到该两个横截面对应的截面朝向角度，以三个横截面的截面朝向角度平均值作为人体朝向角度。

7.根据权利要求6所述的基于椭圆匹配的人体朝向角度实时检测方法，其特征是，所述的静态初始旋转角度，以景深帧I的前一帧检测得到的旋转角度为初始值进行计算。

8.根据权利要求6所述的基于椭圆匹配的人体朝向角度实时检测方法，其特征是，所述的匹配，具体步骤包括：

i)设置旋转角度搜索范围为初始旋转角度±45°，计算以5°为搜索间隔的旋转角度下两个点集之间的匹配误差；

ii)将步骤3.1中得到的非对称椭圆模型点集P_m旋转当前搜索角度，遍历寻找肩膀横截面点集P中每个点离P_m距离最近的对应点，并计算该距离的平方和作为此旋转角度下的匹配误差；

iii)搜索最小的两个匹配误差对应的旋转角度，记为θ₁'和θ₁”，其中θ₁'＜θ₁”；

iv)将旋转角度搜索范围缩小至[θ₁'，θ₁”]，计算以1°为搜索间隔的旋转角度下两个点集之间的匹配误差，即重复ii)操作，搜索得到其中最小的匹配误差及其对应的旋转角度，即匹配结果。