CN110163112B - 一种考生姿态分割与平滑方法 - Google Patents

Abstract

本发明公开了一种考生姿态分割与平滑方法，主要步骤包括姿态数据获取，获取一帧图像中所有的人体姿态的数据并初始化；确定每个姿态的质心，结合人体的位置信息，将视频中属于同一个人的姿态分割到一个序列中，以达成人体跟踪的目的；对已分割完的姿态，对姿态的变化特征和姿态的合理性进行检测，排除其中的异常姿态，有偏差的姿态，并采取滑动窗口平滑法，对纠正后的姿态序列平滑。本发明能够对视频中的人体姿态进行跟踪，将异常姿态数据进行筛除，提高视频中姿态精度，减小前后帧之间姿态的抖动，以避免异常姿态变化对后续使用造成影响。

Description

一种考生姿态分割与平滑方法

技术领域

本发明属于计算机视觉的技术领域，具体地涉及一种考生姿态分割与平滑方法。

背景技术

随着深度学习技术，计算机视觉技术的发展，人体姿态估计技术变得日渐成熟，姿态估计的准确度也在逐年增高，成为近年来较为活跃的一个研究领域。姿态估计有着广泛的应用场景，如人机交互，智能监控等等。这些应用都是建立在姿态估计的结果上，通过姿态特征对人体行为进行分析，行为分析的目的在于描述、识别、和理解人体动作，人与人之间以及人与环境之间的交互行为。行为分析过程中包含着大量数据分析和图像分析，此时数据的可靠性十分重要，是能够对行为分析进行准确分析的前提条件。

现有姿态估计方法众多，但是人员众多环境复杂的场景下，并不能保证姿态的精准度，往往会因为算法或者观测导致一些误差，影响输出姿态的结果，不能正确反映人体真实姿态，因此平滑技术常用于姿态估计的后处理阶段。

然而以往的姿态平滑技术主要针对简单场景或人员稀疏的场景，并且将关节点与关节点之间独立处理，还有部分基于穿戴设备的平滑解决方案，并不适用于如考场这种人员密集复杂的场景。传统的平滑技术在提取骨架之后，只针对每一个关节点在图像的二维位置分别进行平滑，这样会忽视一些人体异常姿态，缺乏常识性的限制，在考场这种复杂环境下无法准确处理每一个人的姿态；而另一种技术则用到了穿戴设备，是在少数人的场景下，进行实时平滑处理，这显然也无法使用于考场这种环境。因此，需要一种能够适合处理多人姿态平滑和异常姿态筛除的方法。

发明内容

本发明的技术任务是针对以上现有技术的不足，而提供一种考生姿态分割与平滑方法，根据考生位置情况，把视频中所有考生的姿态分割成序列，对每个姿态序列，检测姿态变化特征，排除异常姿态，弱化关节点的抖动。

为实现上述目的，本发明采用的技术方案是：一种考生姿态分割与平滑方法，包括如下步骤：

(1)姿态数据初始化：建立存储考生姿态数据的结构体，所述姿态数据包括姿态的关节点坐标，以及关节点对应的置信度，读取的每一帧姿态数据都暂存于一个结构体数组中；

(2)多人姿态分割：计算所有考生姿态的质心，依据质心和考生位置关系，把无序的考生姿态分割成姿态序列；

(3)多人姿态平滑：对已分割的考生姿态序列进行处理，排除修正错误异常的姿态数据，并减少由检测精度不足造成的前后帧对应姿态的数据抖动。

进一步地，所述步骤(1)中获取的姿态数据应进行标准化处理后使用。

进一步地，所述步骤(2)包括以下内容：

a.获取当前帧所有姿态质心：确定姿态的位置，获取部分可靠关节点坐标作外接矩形，计算外接矩形质心作为姿态质心；

b.多姿态序列分割：把前后帧同一考生的姿态分割到一个序列中，形成多个考生的姿态序列；

c.填补空缺姿态：考生姿态在某帧有缺失时，未匹配到姿态，为防止考生姿态序列长度不一致进行补零操作。

进一步地，所述步骤(3)包括以下内容：

a.手部异常关节点信息筛除：筛除由误检造成的手臂异常姿态连接和抖动；

b.头部异常关节点信息筛除：筛除由误检造成的头部关节点的异常姿态连接；

c.滑动窗口姿态平滑：进一步弱化姿态序列的异常抖动。

本发明涉及一种考生姿态分割与平滑方法，尤其是考场中的姿态分割和姿态平滑,适用于各类考试的考场视频的事后分析，以及其他监控场景下的行为识别应用；本发明能够对视频中的人体姿态进行跟踪，将异常姿态数据进行筛除，提高视频中姿态精度，减小前后帧之间姿态的抖动，以避免异常姿态变化对后续使用造成影响。

附图说明

图1是本发明所述一种考生姿态分割与平滑方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明提供一种考生姿态分割与平滑方法，包括如下步骤：

步骤1姿态数据初始化：具体实施时，从姿态估计得到的姿态数据中读取数据，构建包含姿态数据的结构体，所述姿态数据包括所有关节点坐标，置信度等信息，将每个姿态数据存为结构体；

步骤2.1姿态质心获取：取每个姿态中的鼻子，脖子，双肩四个关节点的坐标，由四个坐标中非零点作外接矩形，以此外接矩形质心为姿态质心；

步骤2.2多姿态序列分割：用一帧图像中得到的考生姿态质心与考生座位位置计算欧式距离，将与某位置距离最近的姿态质心分割到该位置的序列下；

步骤2.3填补空缺帧：为了保证所有姿态序列与视频帧数的一致性，对于某帧没有匹配到姿态的考生位置，需要进行填补，填补的参数设为空；

步骤3.1手臂异常关节点信息筛除：为了筛除由于姿态估计检测误差造成的手部关节点大幅跳动和错误连接，对比前后帧手腕部关节点移动幅度和手肘部角度变化幅度，由此检测前后帧姿态变化是否异常，对于手部关节点异常的姿态，将该姿态手部关节点坐标置零；

步骤3.2头部异常关节点信息筛除：为了筛除由于姿态估计检测误差造成的头部关节点大幅跳动和错误连接，将前后帧变化幅度大于阈值的关节点置零；

步骤3.3滑动窗口姿态平滑：取大小为3的滑动窗口在姿态序列上滑动，对序列中坐标非零的关节点与前后帧坐标计算平均值并以所得平均值更新坐标，对序列中坐标为零的关节点，取该关节点前帧非零点的值和后帧非零点的值计算等差序列进行填补；

步骤4标记有效姿态序列：视频所有姿态处理结束，统计每个位置出现姿态的次数，次数超过标准值的序列标记为有效姿态序列。

在本发明的另一具体实施例中，将视频中同一个考生的所有姿态以时间为序形成一个姿态数据序列，综合序列前后帧姿态的信息，分别对手臂，头部两个误检频繁，误差多的部分进行异常姿态检测，发现问题姿态，而后结合三帧平滑法与等差平滑法平滑姿态，从而起到消除误检和抖动的作用，考生姿态分割与平滑方法具体包括如下内容：

1、获取该考场每名考生的位置坐标L_i，其中i为考生序号，每名考生平均肩宽Thre_i，该坐标和平均肩宽为对整个视频的姿态数据综合统计得到的结果；

2、遍历一帧图像的所有姿态数据，取每个姿态中的鼻子，脖子，双肩的非零关节点的横坐标(X_nose，X_neck，X_leftshoulder，X_{rightshoulder})，纵坐标(Y_nose，Y_neck，Y_leftshoulder，Y_{rightshoulder})，分别取横坐标最大值和最小值X_max和X_min，纵坐标最大值最小值Y_max，Y_min，利用这四个值得出姿态n的质心

3、用当前帧得到的质心O_n和位置坐标L_i计算欧式距离，通过公式

对每一个质心O都会得到一个对位置L_i的欧式距离d_i，构成集合Dist{d₁…d_n}；

4、将每个姿态质心O_n对应的集合Dist{d₁…d_n}内的距离值由小到大排序，得到最小值d_n，记录此时d_n对应的Dist{d₁…d_n}中的下标n；

5、如果d_n＜2*Thre_i，且位置L_i在当前帧没有匹配姿态或比已匹配的姿态对应的距离值小，则将当前帧中质心O_n对应的姿态数据分割到位置L_i的序列中，替代之前匹配的数据；

6、在手部关节坐标不为零时，计算位置坐标L_i对应的序列中第j帧姿态和第j-1帧姿态手部关节点移动距离，用公式

Hand_X_j，Hand_Y_j为第j帧手部关节点坐标；

7、在手部关节坐标和肘部关节坐标都不为零时，计算姿态肘部的角度，取手部、肘部和肩部关节点坐标用向量法计算，公式：

得到θ_j∈(0，π)，将弧度转化为角度得

8、同一个考生前后帧肘部角度变化为Δα＝α_j-α_j-1；

9、如果手部移动距离Hand_dis_j＞20且手部置信度Hand_conf_j＜0.6，则将第j帧腕部点置零；如果肘部角度Δα＞5且肘部置信度Elbow_conf_j＜0.6，则将肘部和腕部同时置零；

10、检测头部关节点连接情况，计算头部相邻关节点之间距离，脖子鼻子距离，鼻子左眼距离，左眼左耳距离，鼻子右眼距离，右眼右耳距离，使用公式

如果位置L_i上的姿态序列中的姿态L_i ^j中头部关节点存在距离大于Thre_i，则将后一关节点坐标置零；

11、设置长度为3帧的滑动窗口，对每一帧姿态的每个关节点进行遍历，在关节点不为0时，对L_i的姿态序列第j-1，j，j+1帧姿态的对应关节点坐标求和取平均，令第j帧该关节点坐标值更新为平均值，弱化因检测误差帧间关节点的抖动；

12、当遍历到第j帧关节点为零时，检测该关节点的第j+1帧是否为零，为零则继续检测下一帧，若直到第j+k(k＜5)不为零，使用等差数列公式a_n＝a₁+(n-1)×d，用所得等差数列更新第j+1到j+k-1帧；

13、当所有帧数据处理结束，统计每个姿态序列有效姿态数量，对有鼻子，脖子，双肩的姿态计数，最终数量大于0.6倍总帧数的标记为有效。

以上技术方案阐述了本发明的技术思路，不能以此限定本发明的保护范围，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上技术方案所作的任何改动及修饰，均属于本发明技术方案的保护范围。

Claims (4)

1.一种考生姿态分割与平滑方法，其特征在于，包括如下步骤：

(1)姿态数据初始化：建立存储考生姿态数据的结构体，所述姿态数据包括姿态的关节点坐标，以及关节点对应的置信度，读取的每一帧姿态数据都暂存于一个结构体数组中；

(2)多人姿态分割：计算所有考生姿态的质心，依据质心和考生位置关系，把无序的考生姿态分割成姿态序列；

(3)多人姿态平滑：对已分割的考生姿态序列进行处理，排除修正错误异常的姿态数据，并减少由检测精度不足造成的前后帧对应姿态的数据抖动；

其中，所述步骤(2)包括以下内容：

a.获取当前帧所有姿态质心：确定姿态的位置，获取部分可靠关节点坐标作外接矩形，计算外接矩形质心作为姿态质心；

b.多姿态序列分割：把前后帧同一考生的姿态分割到一个序列中，形成多个考生的姿态序列；

c.填补空缺姿态：考生姿态在某帧有缺失时，未匹配到姿态，为防止考生姿态序列长度不一致进行补零操作；

所述步骤(3)包括以下内容：

a.手部异常关节点信息筛除：筛除由误检造成的手臂异常姿态连接和抖动；

b.头部异常关节点信息筛除：筛除由误检造成的头部关节点的异常姿态连接；

c.滑动窗口姿态平滑：进一步弱化姿态序列的异常抖动；

其中，考生姿态分割方法具体步骤如下：

S1获取每名考生的位置坐标L_i，其中i为考生序号，每名考生平均肩宽Thre_i；

S2遍历一帧图像的所有姿态数据，取每个姿态中的鼻子，脖子，双肩的非零关节点的横坐标(X_nose，X_neck，X_leftshoulder，X_{rightshoulder})，纵坐标(Y_nose，Y_neck，Y_leftshoulder，Y_{rightshoulder})，分别取横坐标最大值和最小值X_max和X_min，纵坐标最大值最小值Y_max，Y_min，利用这四个值得出姿态n的质心

S3用当前帧得到的质心O_n和位置坐标L_i计算欧式距离，通过公式

对每一个质心O都会得到一个对位置L_i的欧式距离d_i，构成集合Dist{d₁…d_n}；

S4将每个姿态质心O_n对应的集合Dist{d₁…d_n}内的距离值由小到大排序，得到最小值d_n，记录此时d_n对应的Dist{d₁…d_n}中的下标n；

S5如果d_n＜2*Thre_i，且位置L_i在当前帧没有匹配姿态或比已匹配的姿态对应的距离值小，则将当前帧中质心O_n对应的姿态数据分割到位置L_i的序列中，替代之前匹配的数据。

2.根据权利要求1所述的一种考生姿态分割与平滑方法，其特征在于，所述步骤(1)中获取的姿态数据应进行标准化处理后使用。

3.根据权利要求1所述的一种考生姿态分割与平滑方法，其特征在于，考生姿态平滑方法具体步骤如下：

S1在手部关节坐标不为零时，计算考生位置坐标L_i对应的序列中第j帧姿态和第j-1帧姿态手部关节点移动距离，用公式

Hand_X_j，Hand_Y_j为第j帧手部关节点坐标；

S2在手部关节坐标和肘部关节坐标都不为零时，计算姿态肘部的角度，取手部、肘部和肩部关节点坐标用向量法计算，公式：

得到θ_j∈(0，π)，将弧度转化为角度得

S3同一个考生前后帧肘部角度变化为Δα＝α_j-α_j-1；

S4如果手部移动距离Hand_dis_j＞20且手部置信度Hand_conf_j＜0.6，则将第j帧腕部点置零；如果肘部角度Δα＞5且肘部置信度Elbow_conf_j＜0.6，则将肘部和腕部同时置零；

S5检测头部关节点连接情况，计算头部相邻关节点之间距离，脖子鼻子距离，鼻子左眼距离，左眼左耳距离，鼻子右眼距离，右眼右耳距离，使用公式

如果位置L_i上的姿态序列中的姿态L_i ^j中头部关节点存在距离大于Thre_i，则将后一关节点坐标置零；

S6设置长度为3帧的滑动窗口，对每一帧姿态的每个关节点进行遍历，在关节点不为0时，对L_i的姿态序列第j-1，j，j+1帧姿态的对应关节点坐标求和取平均，令第j帧该关节点坐标值更新为平均值，弱化因检测误差帧间关节点的抖动；

S7当遍历到第j帧关节点为零时，检测该关节点的第j+1帧是否为零，为零则继续检测下一帧，若直到第j+k(k＜5)不为零，使用等差数列公式a_n＝a₁+(n-1)×d，用所得等差数列更新第j+1到j+k-1帧。

4.根据权利要求3所述的一种考生姿态分割与平滑方法，其特征在于，所述考生姿态分割与平滑方法还包括如下步骤：当所有帧数据处理结束，统计每个姿态序列有效姿态数量，对有鼻子，脖子，双肩的姿态计数，最终数量大于0.6倍总帧数的标记为有效。

Images