CN112487964B - 姿态检测识别方法、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种姿态检测识别方法、设备及介质，该方法通过选择人体上半身的多个特定关键点训练肢体跟踪模型，使得在教学场景中无需将学生容易被遮挡的下半身，以及缺乏参考价值的面部细节信息纳入检测范围，从而精简了检测的待检测目标范围，减轻了算力负担；通过第一关键点群得到的目标定位框跟踪定位运动关键点群的变化幅值，并以此判断待检测目标是否需要进一步关注，并识别其最终的目标运动姿态，使得能够精确判别出疑似进行目标姿态动作的学生是否确实完成了目标姿态动作。且实现整个检测识别过程无需额外配备其他设备，也无需使用耗费大量算力的算法，从而达到了低成本、低功耗同时高精度的效果。

Description

姿态检测识别方法、设备及计算机可读存储介质

技术领域

本发明涉及多媒体教学技术领域，尤其涉及一种姿态检测识别方法、设备及计算机可读存储介质。

背景技术

近年来全自动录播系统在教学领域得到广泛使用，系统由多机位数字摄像机及教师、学生麦克风等设备组成。全自动导播切换由教师和学生的跟踪检测算法提供支撑，而其中的学生起立检测和定位是其难点。其特点是多目标，目标相互重叠干扰，目标运动轨迹短，使得常规的运动目标检测方法难以到达良好的效果。

目前常用的检测方法主要有以下三种：第一种，采用红外跟踪、等高线辅助摄像机等硬件设备的方法。这一方法需要配备专用于起立检测的设备，增加了系统成本，同时也不便于安装使用以及管理；第二种，采用侦差、光流、角点、背景等方式进行检测和跟踪。这一方法受学生目标分布密、前后排重叠等场景因素所限，且依赖于一些基于角度的数学建模估计，精度不佳且容易误判；第三种，使用行为识别的深度学习方法。然而目前的行为识别算法都有着相当大的运算复杂度，以当前嵌入式终端的现有算力，无法将此类算法直接部署于嵌入式设备中，若是使用服务器进行运算，明显会增加实现成本以及安装、管理的复杂度。

上述种种情况均反映出现有的学生起立检测方法难以兼顾低算力要求与高检测精度的技术问题。

发明内容

本发明的主要目的在于提供一种姿态检测识别方法，旨在解决现有的运动目标检测方法难以兼顾低算力要求与高检测精度的技术问题。

为实现上述目的，本发明提供一种姿态检测识别方法，所述姿态检测识别方法包括：

确定待检测目标，并使用预训练的肢体跟踪模型定位到所述待检测目标中的第一关键点群与第二关键点群，其中，所述肢体跟踪模型基于人体上半身的多个特定关键点训练所得；

基于所述第一关键点群得到所述待检测目标的目标定位框，并利用所述目标定位框匹配跟踪运动状态下的待检测目标；

获取运动状态下所述待检测目标的第二关键点群的变化幅值，根据所述变化幅值确定所述待检测目标为疑似目标，并获取所述疑似目标的姿态数学模型值，以基于所述姿态数学模型值识别所述疑似目标的目标运动姿态。

可选地，所述第二关键点群包括躯干关键点子群，所述躯干关键点子群基于头、颈与双肩四个部位设置，

所述获取运动状态下所述待检测目标的第二关键点群的变化幅值，根据所述变化幅值确定所述待检测目标为疑似目标的步骤包括：

根据预设的权重分配规则将所述躯干关键点子群中的各个关键点进行加权平均，构建所述待检测目标的重心浓缩点；

根据所述躯干关键点子群计算所述待检测目标的两肩距离，并获取所述重心浓缩点的移动量，以基于所述两肩距离与所述移动量计算重心移动量，并将所述重心移动量作为所述第二关键点群的变化幅值；

判断所述重心移动量是否符合预设疑似目标判定条件；

若所述重心移动量符合预设疑似目标判定条件，则将所述待检测目标确定为疑似目标。

可选地，所述判断所述重心移动量是否符合预设疑似目标判定条件的步骤包括：

判断所述躯干关键点子群在预设时间段的前序时间段内的重心移动量是否大于预设第一阈值，且在后序时间段内的重心移动量是否小于预设第二阈值，其中，所述预设时间段划分为前序时间段与后序时间段；

若所述躯干关键点子群在预设时间段的前序时间段内的重心移动量大于预设第一阈值，且在后序时间段内的重心移动量小于预设第二阈值，则判定所述重心移动量符合预设疑似目标判定条件；

若所述躯干关键点子群在预设时间段的前序时间段内的重心移动量不大于预设第一阈值，和/或在后序时间段内的重心移动量不小于预设第二阈值，则判定所述重心移动量不符合预设疑似目标判定条件。

可选地，所述第二关键点群还包括手臂关键点子群，所述手臂关键点子群基于左右肩、左右肘与左右腕六个部位设置，

所述获取所述疑似目标的姿态数学模型值，以基于所述姿态数学模型值识别所述疑似目标的目标运动姿态的步骤包括：

基于所述手臂关键点群计算所述疑似目标在形成所述目标运动姿态前后的第一手臂模型值与第二手臂模型值，并基于所述躯干关键点子群计算所述疑似目标在形成所述目标运动姿态前后的第一躯干模型值与第二躯干模型值；

基于所述第一手臂模型值与所述第二手臂模型值的手臂模型差值，以及所述第一躯干模型值与所述第二躯干模型值的躯干模型差值，识别所述目标运动姿态。

可选地，所述目标运动姿态包括起立，

所述基于所述手臂关键点群计算所述疑似目标在形成所述目标运动姿态前后的第一手臂模型值与第二手臂模型值，并基于所述躯干关键点子群计算所述疑似目标在形成所述目标运动姿态前后的第一躯干模型值与第二躯干模型值的步骤包括：

使用反余弦函数分别计算所述疑似目标在疑似起立前后的稳定帧当中左手肘的第一左内夹角与第二左内夹角，以及右手肘的第一右内夹角与第二右内夹角，将所述第一左内夹角、第一右内夹角作为所述第一手臂模型值，并将所述第二左内夹角、第二右内夹角作为所述第二手臂模型值；

分别计算所述疑似目标在疑似起立前后的稳定帧当中重心浓缩点的第一上移量与第二上移量作为所述第一躯干模型值与所述第二躯干模型值；

所述基于所述第一手臂模型值与所述第二手臂模型值的手臂模型差值，以及所述第一躯干模型值与所述第二躯干模型值的躯干模型差值，识别所述目标运动姿态的步骤包括：

获取所述第二左内夹角与第一左内夹角的左夹角差值，以及第二右内夹角与第一右内夹角的右夹角差值，将所述左夹角差值与右夹角差值作为所述手臂模型差值；

取所述左内夹角与右内夹角的平均值作为夹角均差，并将所述夹角均差与预设第一影响因子系数结合，得到第一判定得分；

获取所述第二上移量与第一上移量的上移量差值作为所述躯干模型差值，并将所述上移量差值与预设第二影响因子系数结合，得到第二判定得分；

根据预设举手判定标准判断所述疑似目标在疑似起立前后的稳定帧当中是否进行举手动作；

若是，则记为第三判定得分；

获取所述第一判定得分、第二判定得分与第三判定得分的得分总和，并在所述得分总和达到预设得分阈值时，确定所述疑似目标的目标运动姿态为起立。

可选地，所述待检测目标包括多人目标，

所述基于所述第一关键点群得到所述待检测目标的目标定位框，并利用所述目标定位框匹配跟踪运动状态下的待检测目标的步骤包括：

构建所述多人目标中每一单人目标所对应第一关键点群的外接矩形，以将所述外接矩形作为每一所述单人目标的目标定位框，其中，所述第一关键点群基于左右肩、颈、鼻四个部位设置；

使用卡尔曼滤波器对每一所述单人目标的目标定位框进行跟踪，以匹配跟踪到运动状态下的每一所述单人目标。

可选地，所述使用卡尔曼滤波器对每一所述单人目标的目标定位框进行跟踪，以匹配跟踪到运动状态下的每一所述单人目标的步骤之后，还包括：

判断各所述单人目标对应的第二关键点群中是否存在关键点缺失；

若存在，则对缺失关键点进行完备化处理，其中，所述完备化处理包括对称部位补全、减小缺失关键点的对应权重和/或重新测定。

可选地，所述确定待检测目标，并使用预训练的肢体跟踪模型定位到所述待检测目标中的第一关键点群与第二关键点群的步骤之前，还包括：

设置八个所述特定关键点，并使用openpose框架基于八个所述特定关键点进行训练，以得到所述肢体跟踪模型，其中，八个所述特定关键点分别基于鼻、颈、左右肩、左右肘和左右腕八个部位设置。

此外，为实现上述目的，本发明还提供一种姿态检测识别装置，所述姿态检测识别装置包括：

关键点群定位模块，用于确定待检测目标，并使用预训练的肢体跟踪模型定位到所述待检测目标中的第一关键点群与第二关键点群，其中，所述肢体跟踪模型基于人体上半身的多个特定关键点训练所得；

检测目标跟踪模块，用于基于所述第一关键点群得到所述待检测目标的目标定位框，并利用所述目标定位框匹配跟踪运动状态下的待检测目标；

目标姿态识别模块，用于获取运动状态下所述待检测目标的第二关键点群的变化幅值，根据所述变化幅值确定所述待检测目标为疑似目标，并获取所述疑似目标的姿态数学模型值，以基于所述姿态数学模型值识别所述疑似目标的目标运动姿态。

可选地，所述第二关键点群包括躯干关键点子群，所述躯干关键点子群基于头、颈与双肩四个部位设置，

所述目标姿态识别模块包括：

重心浓缩构建单元，用于根据预设的权重分配规则将所述躯干关键点子群中的各个关键点进行加权平均，构建所述待检测目标的重心浓缩点；

重心移动计算单元们勇于根据所述躯干关键点子群计算所述待检测目标的两肩距离，并获取所述重心浓缩点的移动量，以基于所述两肩距离与所述移动量计算重心移动量，并将所述重心移动量作为所述第二关键点群的变化幅值；

疑似目标判断单元，用于判断所述重心移动量是否符合预设疑似目标判定条件；

疑似目标判定单元，用于若所述重心移动量符合预设疑似目标判定条件，则将所述待检测目标确定为疑似目标。

可选地，所述疑似目标判断单元还用于：

判断所述躯干关键点子群在预设时间段的前序时间段内的重心移动量是否大于预设第一阈值，且在后序时间段内的重心移动量是否小于预设第二阈值，其中，所述预设时间段划分为前序时间段与后序时间段；

若所述躯干关键点子群在预设时间段的前序时间段内的重心移动量大于预设第一阈值，且在后序时间段内的重心移动量小于预设第二阈值，则判定所述重心移动量符合预设疑似目标判定条件；

若所述躯干关键点子群在预设时间段的前序时间段内的重心移动量不大于预设第一阈值，和/或在后序时间段内的重心移动量不小于预设第二阈值，则判定所述重心移动量不符合预设疑似目标判定条件。

可选地，所述第二关键点群还包括手臂关键点子群，所述手臂关键点子群基于左右肩、左右肘与左右腕六个部位设置，

所述目标姿态识别模块包括：

模型数值计算单元，用于基于所述手臂关键点群计算所述疑似目标在形成所述目标运动姿态前后的第一手臂模型值与第二手臂模型值，并基于所述躯干关键点子群计算所述疑似目标在形成所述目标运动姿态前后的第一躯干模型值与第二躯干模型值；

模型差值识别单元，用于基于所述第一手臂模型值与所述第二手臂模型值的手臂模型差值，以及所述第一躯干模型值与所述第二躯干模型值的躯干模型差值，识别所述目标运动姿态。

可选地，所述目标运动姿态包括起立，

所述模型数值计算单元还用于：

使用反余弦函数分别计算所述疑似目标在疑似起立前后的稳定帧当中左手肘的第一左内夹角与第二左内夹角，以及右手肘的第一右内夹角与第二右内夹角，将所述第一左内夹角、第一右内夹角作为所述第一手臂模型值，并将所述第二左内夹角、第二右内夹角作为所述第二手臂模型值；

分别计算所述疑似目标在疑似起立前后的稳定帧当中重心浓缩点的第一上移量与第二上移量作为所述第一躯干模型值与所述第二躯干模型值；

所述模型差值识别单元还用于：

获取所述第二左内夹角与第一左内夹角的左夹角差值，以及第二右内夹角与第一右内夹角的右夹角差值，将所述左夹角差值与右夹角差值作为所述手臂模型差值；

取所述左内夹角与右内夹角的平均值作为夹角均差，并将所述夹角均差与预设第一影响因子系数结合，得到第一判定得分；

获取所述第二上移量与第一上移量的上移量差值作为所述躯干模型差值，并将所述上移量差值与预设第二影响因子系数结合，得到第二判定得分；

根据预设举手判定标准判断所述疑似目标在疑似起立前后的稳定帧当中是否进行举手动作；

若是，则记为第三判定得分；

获取所述第一判定得分、第二判定得分与第三判定得分的得分总和，并在所述得分总和达到预设得分阈值时，确定所述疑似目标的目标运动姿态为起立。

可选地，所述待检测目标包括多人目标，

所述检测目标跟踪模块包括：

目标定位构建单元，用于构建所述多人目标中每一单人目标所对应第一关键点群的外接矩形，以将所述外接矩形作为每一所述单人目标的目标定位框，其中，所述第一关键点群基于左右肩、颈、鼻四个部位设置；

定位跟踪匹配单元，用于使用卡尔曼滤波器对每一所述单人目标的目标定位框进行跟踪，以匹配跟踪到运动状态下的每一所述单人目标。

可选地，所述检测目标跟踪模块还包括：

点群缺失判断单元，用于判断各所述单人目标对应的第二关键点群中是否存在关键点缺失；

缺失完备处理单元，用于若存在，则对缺失关键点进行完备化处理，其中，所述完备化处理包括对称部位补全、减小缺失关键点的对应权重和/或重新测定。

可选地，所述姿态检测识别装置还包括：

跟踪模型训练模块，用于设置八个所述特定关键点，并使用openpose框架基于八个所述特定关键点进行训练，以得到所述肢体跟踪模型，其中，八个所述特定关键点分别基于鼻、颈、左右肩、左右肘和左右腕八个部位设置。

此外，为实现上述目的，本发明还提供一种姿态检测识别设备，所述姿态检测识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的姿态检测识别程序，所述姿态检测识别程序被所述处理器执行时实现如上述方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有姿态检测识别程序，所述姿态检测识别程序被处理器执行时实现如上述方法的步骤。

本发明提供一种姿态检测识别方法、设备及计算机可读存储介质。所述姿态检测识别方法通过选择人体上半身的多个特定关键点训练肢体跟踪模型，使得在教学场景中无需将学生容易被遮挡的下半身，以及缺乏参考价值的面部细节信息纳入检测范围，而是将检测重点集中于学生的上半身动作，从而精简了检测范围，减轻了设备的算力负担；通过第一关键点群得到的目标定位框跟踪定位运动的待检测目标，使得能够准确定位到运动状态下的每一位学生；通过分析第二关键点群的变化幅值来判断待检测目标是否需要进一步关注，并识别其最终的目标运动姿态，使得能够精确判别出疑似进行目标姿态动作的学生是否确实进行了目标姿态动作。实现上述整个检测识别过程无需额外配备其他设备，也无需使用耗费大量算力的算法，达到了低成本、低功耗同时高精度的效果，从而解决了现有的学生起立检测方法难以兼顾低算力要求与高检测精度的技术问题。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的姿态检测识别设备结构示意图；

图2为本发明姿态检测识别方法第一实施例的流程示意图；

图3为本发明姿态检测识别装置的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的姿态检测识别设备结构示意图。

本发明实施例姿态检测识别设备为应用于终端设备，尤其是嵌入式终端设备。

如图1所示，该姿态检测识别设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。可选的用户接口1003可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory）。存储器1005可选的还可以是独立于前述处理器1001的存储设备。

本领域技术人员可以理解，图1中示出的姿态检测识别设备结构并不构成对姿态检测识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

继续参照图1，图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块以及姿态检测识别程序。

在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储器1005中存储的姿态检测识别程序，并执行本发明实施例提供的姿态检测识别方法。

基于上述硬件结构，提出本发明姿态检测识别方法的各个实施例。

近年来全自动录播系统在教学领域得到广泛认同和使用，系统由录播主机和教师特写、教师全景、学生特写、学生全景、板书等多机位数字摄像机及教师、学生麦克风等设备组成。全自动导播切换由教师和学生的跟踪检测算法提供支撑，而其中的学生起立检测和定位是其难点。其特点是多目标，目标相互重叠干扰，目标运动轨迹短，使得常规的运动目标检测方法难以到达良好的效果。

目前常用的检测方法主要有以下三种：第一种，采用红外跟踪、等高线辅助摄像机等硬件设备的方法。这一方法需要配备专用于起立检测的设备，增加了系统成本，同时也不便于安装使用以及管理；第二种，采用侦差、光流、角点、背景等方式进行检测和跟踪。这一方法受学生目标分布密、前后排重叠等场景因素所限，且依赖于一些基于角度的数学建模估计，精度不佳且容易误判；第三种，使用行为识别的深度学习方法。然而目前的行为识别算法都有着相当大的运算复杂度，以当前嵌入式终端的现有算力，无法将此类算法直接部署于嵌入式设备中，若是使用服务器进行运算，明显会增加实现成本以及安装、管理的复杂度。

上述种种情况均反映出现有的运动目标检测方法难以兼顾低算力要求与高检测精度的技术问题。

为解决上述技术问题，本发明提供一种姿态检测识别方法，即通过选择人体上半身的多个特定关键点训练肢体跟踪模型，使得在教学场景中无需将学生容易被遮挡的下半身，以及缺乏参考价值的面部细节信息纳入检测范围，而是将检测重点集中于学生的上半身动作，从而精简了检测范围，减轻了设备的算力负担；通过第一关键点群得到的目标定位框跟踪定位运动的待检测目标，使得能够准确定位到运动状态下的每一位学生；通过分析第二关键点群的变化幅值来判断待检测目标是否需要进一步关注，并识别其最终的目标运动姿态，使得能够精确判别出疑似进行目标姿态动作的学生是否确实进行了目标姿态动作。实现上述整个检测识别过程无需额外配备其他设备，也无需使用耗费大量算力的算法，达到了低成本、低功耗同时高精度的效果，从而解决了现有的学生起立检测方法难以兼顾低算力要求与高检测精度的技术问题。

参照图2，图2为姿态检测识别方法第一实施例的流程示意图。

本发明第一实施例提供一种姿态检测识别方法，所述姿态检测识别方法包括：

步骤S10，确定待检测目标，并使用预训练的肢体跟踪模型定位到所述待检测目标中的第一关键点群与第二关键点群，其中，所述肢体跟踪模型基于人体上半身的多个特定关键点训练所得；

在本实施例中，本方法应用于终端设备，尤其是嵌入式终端设备。优选为带有一体双目摄像机的嵌入式终端设备，该一体双目摄像机包括学生全景镜头和学生特写镜头，全景镜头用于采集学生全景视频图像，特写镜头则由二自由度云台和光学变倍摄像头组成，可实现学生定点变倍拍摄。

待检测目标为在终端摄影范围内的摄影目标，通常为人体。待检测目标的目标个数可以为一个，也可以为多个，例如，教学场景下的一个或者多个学生，本实施例不做具体限定。特定关键点的选取范围为人体的上半身，例如，眼、鼻、嘴、颈、肩、肘、腕等。肢体跟踪模型是通过选取人体上半身的多个特定关键点预先训练完成的模型。第一关键点群为通过上述模型定位到的人体目标上的若干关键点所组成的一类关键点群，用于追踪待检测目标的位置；第二关键点群为通过上述模型定位到的人体目标上的若干关键点所组成的另一类关键点群，用于进一步判定待检测目标的动作。

终端在识别任务开启后检测到有目标进入摄影范围内时，将该目标作为上述待检测目标。终端通过预先训练好的肢体跟踪模型对该待检测目标进行姿态估计，定位到该待检测目标上的第一关键点群与第二关键点群。针对实际的教学场景，学生常见动作包括起立、坐下、举手等，第一关键点群优选选取在运动时移动方向明确，移动范围可预期的的身体部位，例如头、肩、颈等；第二关键点群优先选取运动幅度较大的身体部位，例如手臂。

步骤S20，基于所述第一关键点群得到所述待检测目标的目标定位框，并利用所述目标定位框匹配跟踪运动状态下的待检测目标；

在本实施例中，目标定位框指的是：由第一关键点群框定的，用于动态跟踪待检测目标的定位框。其形状可根据实际需求灵活设定，例如矩形、菱形、扇形、圆形等；其定位点的个数，也即是第一关键点群中关键点的个数也可灵活设置，本实施例不做具体限定。

终端根据第一关键点群中的多个关键点框定出待检测目标中的某部分身体范围作为目标定位框，并基于此对待检测目标进行目标跟踪。尤其针对教学场景下，存在有多个活动的学生目标，终端能够通过每一个学生所对应的目标定位框对不同帧中同一学生目标进行追踪定位。

步骤S30，获取运动状态下所述待检测目标的第二关键点群的变化幅值，根据所述变化幅值确定所述待检测目标为疑似目标，并获取所述疑似目标的姿态数学模型值，以基于所述姿态数学模型值识别所述疑似目标的目标运动姿态。

在本实施例中，变化幅值指的是第二关键点群中一个或者多个关键点在运动进行前后在某些参数上的变化幅度。疑似目标指的是其第二关键点群的变化幅度满足相应条件时的待检测目标，此时即可对待检测目标进行进一步的动作分析。姿态数学模型值指的是对疑似目标的某些身体部位的变化特征通过数学意义表示出来的相关数值。目标运动姿态指的是疑似目标实际所作出的确切动作姿态，例如在教学场景下，学生的目标运动姿态通常是起立、坐下、举手等等。

终端通过摄影得到待检测目标在发生运动前后的多帧图像，通过这些图像中第二关键点群所产生的变化幅度，判断待检测目标是否有进行目标运动姿态的意图，若终端判定该待检测目标确有此意图，则将其作为疑似目标以进一步计算其姿态数学模型值，并通过对姿态数学模型值进一步分析，判断其是否满足预设的判定条件，若仍满足，则可确定该疑似对象当前确实做出了目标运动姿态。

在本实施例中，通过确定待检测目标，并使用预训练的肢体跟踪模型定位到所述待检测目标中的第一关键点群与第二关键点群，其中，所述肢体跟踪模型基于人体上半身的多个特定关键点训练所得；基于所述第一关键点群得到所述待检测目标的目标定位框，并利用所述目标定位框匹配跟踪运动状态下的待检测目标；获取运动状态下所述待检测目标的第二关键点群的变化幅值，根据所述变化幅值确定所述待检测目标为疑似目标，并获取所述疑似目标的姿态数学模型值，以基于所述姿态数学模型值识别所述疑似目标的目标运动姿态。通过上述方式，本发明通过选择人体上半身的多个特定关键点训练肢体跟踪模型，使得在教学场景中无需将学生容易被遮挡的下半身，以及缺乏参考价值的面部细节信息纳入检测范围，而是将检测重点集中于学生的上半身动作，从而精简了检测范围，减轻了设备的算力负担；通过第一关键点群得到的目标定位框跟踪定位运动的待检测目标，使得能够准确定位到运动状态下的每一位学生；通过分析第二关键点群的变化幅值来判断待检测目标是否需要进一步关注，并识别其最终的目标运动姿态，使得能够精确判别出疑似进行目标姿态动作的学生是否确实进行了目标姿态动作。实现上述整个检测识别过程无需额外配备其他设备，也无需使用耗费大量算力的算法，达到了低成本、低功耗同时高精度的效果，从而解决了现有的学生起立检测方法难以兼顾低算力要求与高检测精度的技术问题。

进一步地，基于上述图2所示的第一实施例，提出本发明姿态检测识别方法的第二实施例，在本实施例中，所述第二关键点群包括躯干关键点子群，所述躯干关键点子群基于头、颈与双肩四个部位设置，

所述获取运动状态下所述待检测目标的第二关键点群的变化幅值，根据所述变化幅值确定所述待检测目标为疑似目标的步骤包括：

根据预设的权重分配规则将所述躯干关键点子群中的各个关键点进行加权平均，构建所述待检测目标的重心浓缩点；

根据所述躯干关键点子群计算所述待检测目标的两肩距离，并获取所述重心浓缩点的移动量，以基于所述两肩距离与所述移动量计算重心移动量，并将所述重心移动量作为所述第二关键点群的变化幅值；

判断所述重心移动量是否符合预设疑似目标判定条件；

若所述重心移动量符合预设疑似目标判定条件，则将所述待检测目标确定为疑似目标。

在本实施例中，以学生进行起立动作为例进行说明。颈部与双肩点作为上身躯干关键点，建立第二关键点子群，与头部通过加权平均（例如将预设的权重分配规则设置为头：肩：颈=1：4：2），构成全身重心位置的重心浓缩点。以双肩距离为基准值，所有重心移动量与其比例构成数学模型里所有位移计量的基本值。（例如，平均常规起立带来的躯干重心上移量大概是肩宽的0.9倍左右）。

预设疑似目标判定条件具体可基于重心移动量与预设的移动量阈值进行设置。对于学生起立动作的判定，重心移动量指的就是重心的上移量；而对于学生坐下动作的判定，重心移动量指的就是重心的下移量。

终端判断此时所获取到的重心移动量是否符合预设的疑似目标判定条件，例如疑似起立判定条件或是疑似坐下判定条件，若终端判定该重心移动量符合该条件，则可将此待检测目标作为疑似目标，以对疑似目标的动作进行一步进行判别；若终端判定该重心移动量不符合该条件，则无需对此待检测目标进行进一步的动作判别。

进一步地，所述判断所述重心移动量是否符合预设疑似目标判定条件的步骤包括：

判断所述躯干关键点子群在预设时间段的前序时间段内的重心移动量是否大于预设第一阈值，且在后序时间段内的重心移动量是否小于预设第二阈值，其中，所述预设时间段划分为前序时间段与后序时间段；

若所述躯干关键点子群在预设时间段的前序时间段内的重心移动量大于预设第一阈值，且在后序时间段内的重心移动量小于预设第二阈值，则判定所述重心移动量符合预设疑似目标判定条件；

若所述躯干关键点子群在预设时间段的前序时间段内的重心移动量不大于预设第一阈值，和/或在后序时间段内的重心移动量不小于预设第二阈值，则判定所述重心移动量不符合预设疑似目标判定条件。

在本实施例中，预设时间段指的是用于判断待检测目标是否能作为疑似目标的判断基准时长，而前序时间段与后序时间段是将预设时间段分为两部分，前一部分作为前序时间段，后一部分作为后序时间段。例如，预设时间段为6秒，则将前3秒作为前序时间段，后3秒作为后序时间段。预设第一阈值指的是用于在前序时间段内判断此时的重心移动量是否符合标准的阈值；预设第二阈值指的是用于在后序时间段内判断此时的重心移动量是否符合标准的阈值，二者均可基于实际需求灵活设置。

以判断学生起立动作为例，若是在前序时间内，一个学生的重心上移量超过一定阈值（例如典型值肩宽的0.6倍），且在后续时间段（例如典型值3秒钟）内重心无明显的上移或下移（也即是后序时间段内的重心移动量未超出某一阈值），则此目标疑似起立，可将其作为疑似起立目标，开始进行起立判断。反之，若在前序时间内该学生的重心上移量未超出自身肩宽的0.6倍，和/或其他后序时间段内的重心存在明显的移动，则说明此时该名学生所进行的动作并非起立动作，终端不应将该学生作为疑似起立目标。

进一步地，所述第二关键点群还包括手臂关键点子群，所述手臂关键点子群基于左右肩、左右肘与左右腕六个部位设置，

所述获取所述疑似目标的姿态数学模型值，以基于所述姿态数学模型值识别所述疑似目标的目标运动姿态的步骤包括：

基于所述手臂关键点群计算所述疑似目标在形成所述目标运动姿态前后的第一手臂模型值与第二手臂模型值，并基于所述躯干关键点子群计算所述疑似目标在形成所述目标运动姿态前后的第一躯干模型值与第二躯干模型值；

在本实施例中，第一手臂模型值指的是疑似目标在形成目标运动姿态之前从稳定帧中获取到的手臂模型值，第二手臂模型值指的是疑似目标在形成目标运动姿态后从稳定帧中获取到的手臂模型值。同理，第一躯干值指的是疑似目标在形成目标运动姿态之前，从稳定帧中获取到的躯干模型值，第二躯干值指的是疑似目标在形成目标运动姿态后，从稳定帧中获取到的躯干模型值。需要说明的是，由于手臂动作对起立分析有特殊意义，故对左臂三个点（肩、肘、腕）与右臂（肩、肘、腕）三个点分别建立为关键点群，设肩/肘/腕分别为A/B/C，角Theta=角ABC计算双手肘的内夹角cosTheta。

进一步地，所述目标运动姿态包括起立，

所述基于所述手臂关键点群计算所述疑似目标在形成所述目标运动姿态前后的第一手臂模型值与第二手臂模型值，并基于所述躯干关键点子群计算所述疑似目标在形成所述目标运动姿态前后的第一躯干模型值与第二躯干模型值的步骤包括：

使用反余弦函数分别计算所述疑似目标在疑似起立前后的稳定帧当中左手肘的第一左内夹角与第二左内夹角，以及右手肘的第一右内夹角与第二右内夹角，将所述第一左内夹角、第一右内夹角作为所述第一手臂模型值，并将所述第二左内夹角、第二右内夹角作为所述第二手臂模型值；

分别计算所述疑似目标在疑似起立前后的稳定帧当中重心浓缩点的第一上移量与第二上移量作为所述第一躯干模型值与所述第二躯干模型值；

在本实施例中，由于人体中手臂分左右两边，因此需要分别对左右两边手肘的内夹角进行计算，此时疑似目标在疑似起立之前的稳定帧中得到的左右手肘内夹角即为上述第一手臂模型值，在疑似起立之后的稳定帧中得到的左右手肘内夹角即为上述第二手臂模型值。同理，疑似目标在疑似起立之前的重心浓缩点的上移量（第一上移量）即为上述第一躯干模型值，在疑似起立之后的重心浓缩点的上移量（第二上移量）即为上述第二躯干模型值。

基于所述第一手臂模型值与所述第二手臂模型值的手臂模型差值，以及所述第一躯干模型值与所述第二躯干模型值的躯干模型差值，识别所述目标运动姿态。

在本实施例中，手臂模型差值指的是第二手臂模型值减去第一手臂模型值的差值，躯干模型差值指的是第二躯干模型值减去第一躯干模型值的差值。终端用第二手臂模型值减去第一手臂模型值得到手臂模型差值，同理还可得到躯干模型差值，基于两种差值识别当前疑似目标的运动姿态。

所述基于所述第一手臂模型值与所述第二手臂模型值的手臂模型差值，以及所述第一躯干模型值与所述第二躯干模型值的躯干模型差值，识别所述目标运动姿态的步骤包括：

获取所述第二左内夹角与第一左内夹角的左夹角差值，以及第二右内夹角与第一右内夹角的右夹角差值，将所述左夹角差值与右夹角差值作为所述手臂模型差值；

取所述左内夹角与右内夹角的平均值作为夹角均差，并将所述夹角均差与预设第一影响因子系数结合，得到第一判定得分；

获取所述第二上移量与第一上移量的上移量差值作为所述躯干模型差值，并将所述上移量差值与预设第二影响因子系数结合，得到第二判定得分；

根据预设举手判定标准判断所述疑似目标在疑似起立前后的稳定帧当中是否进行举手动作；

若是，则记为第三判定得分；

获取所述第一判定得分、第二判定得分与第三判定得分的得分总和，并在所述得分总和达到预设得分阈值时，确定所述疑似目标的目标运动姿态为起立。

在本实施例中，预设第一、第二影响因子系数具体可根据实际需求灵活设置，可设置为相同系数，也可设置为不同系数，本实施例不作具体限定。第一判定得分基于夹角均差与预设第一影响因子系数得到，通常取两者的乘积；同理，第二判定得分基于上移量差值与预设第二影响因子系数得到，通常取两者的乘积。

而对于第三判定得分，指的是满足预设举手判定条件时所预设的某一得分，若是此时的疑似目标不满足该条件，则得分总和仅由第一判定得分与第二判定得分组成，也即是此时的第三判定得分为0。

作为一具体实施例，对于学生起立判定方式如下：

终端通过反余弦函数计算双肘的内夹角Theta，对其角度制结果取差值（后帧减前帧）后取平均，得到肘内角变化值，乘以某一影响因子系数，得到得分s1。（若仅能计算单边肘内夹差，则还要乘以一个削弱因子后得到s1）；

计算浓缩重心上移的y分量值。将后帧的重心浓缩点y值减前帧重心浓缩点y值，即得重心上移量。除以肩宽，乘以某一影响因子系数，得到得分s2；

分别计算前后帧是否举手。若满足以下条件：腕部y坐标在肘部坐标上方，0.35倍肩宽至0.7倍肩宽之间，且其x轴坐标差值不大，且此臂的肘内夹角小于120度，则此臂为举手状态。若两臂有且仅有一者为举手状态，则此帧为举手状态。当且仅当前帧举手，后帧不举手，其得分s3=0.5，否则s3=0；

最终得分s=s1+s2+s3。通过预期的灵敏度设置阈值t（典型值为1.0）。当s>t时，目标满足起立判定要求，反之则不满足。

在本实施例中，进一步通过设置躯干关键点群构建重心浓缩点，并获取重心浓缩点的移动量判断待检测目标是否有疑似动作的明确意图，使得能够在同时存在多个待检测对象时，快速从中筛选出需要重点关注的对象；通过将预设时间段分为前序时间段与后序时间段，并对两个时间段的重心移动量分别进行条件判断，且仅在两个时间段的重心移动量均满足条件时才将待检测目标作为疑似目标，使得疑似目标的判定过程更加准确有效；通过设置手臂关键点子群，并结合躯干关键点子群得到两类模型差值，进而基于两类模型差值对疑似目标的运动状态进行判别，使得疑似目标的动作判别过程更加快速准确；通过取左右两手肘的内夹角均值作为手臂模型值，使得手臂模型值更加合理准确；通过综合考虑手臂模型差值、躯干模型差值以及是否举手这两类影响因子对起立动作进行判别，使得能够准确有效得判断出疑似目标是否做出起立动作。

进一步地，基于上述图2所示的第一实施例，提出本发明姿态检测识别方法的第三实施例。在本实施例中，所述待检测目标包括多人目标，步骤S20包括：

构建所述多人目标中每一单人目标所对应第一关键点群的外接矩形，以将所述外接矩形作为每一所述单人目标的目标定位框，其中，所述第一关键点群基于左右肩、颈、鼻四个部位设置；

使用卡尔曼滤波器对每一所述单人目标的目标定位框进行跟踪，以匹配跟踪到运动状态下的每一所述单人目标。

在本实施例中，作为目标定位框的外接矩形是由人体的左肩、右肩、颈与鼻这部位所在关键点所外接而成的，具体可由左右肩的距离决定该矩形的长度，肩与鼻之间的垂直距离决定该矩形的宽度。卡尔曼滤波器是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。

终端在检测到多个目标后，针对每一单人目标构建其第一关键点群的外接矩形，并根据此外接矩形的坐标位置并结合卡尔曼滤波器对每一单人目标进行定位追踪，以使得单人目标在运动过程中部分或者全部的身体位置发生变化时，终端也能够准确地从图像帧中识别出来。

进一步地，所述使用卡尔曼滤波器对每一所述单人目标的目标定位框进行跟踪，以匹配跟踪到运动状态下的每一所述单人目标的步骤之后，还包括：

判断各所述单人目标对应的第二关键点群中是否存在关键点缺失；

若存在，则对缺失关键点进行完备化处理，其中，所述完备化处理包括对称部位补全、减小缺失关键点的对应权重和/或重新测定。

在本实施例中，需要判断通过模型所检测出的第二关键点群是否完整。具体可以通过与预设标准数量的第二关键点群进行比对的方式。对于模型的检测结果存在关键点缺失的情况，也即是终端判定当前存在一个或是多个单人目标对应的第二关键点群中存在关键点缺失，则终端需要进行完备化处理，例如一只手臂关键点不全时以另一臂为准但影响因子削弱；双肩不全时本帧跳过等，以保证第二关键点群的完整性，便于后续的进一步分析判定。

另外，在终端的判断结果为当前所检测出的第二关键点群不存在缺失关键点时，则可照常进行后续步骤。

进一步地，步骤S10之前，还包括：

设置八个所述特定关键点，并使用openpose框架基于八个所述特定关键点进行训练，以得到所述肢体跟踪模型，其中，八个所述特定关键点分别基于鼻、颈、左右肩、左右肘和左右腕八个部位设置。

在本实施例中，可使用openpose（卡耐基梅隆大学（CMU））进行姿态估计。在教学场景中，学生的下半身常常被遮挡，检测效果不稳定且对判断起立价值不大；面部过多的细节也缺乏参考价值。因此仅设置8个关键点（鼻、颈、左右肩、左右肘、左右腕）进行重新训练，得到相比常用的18点、25点模型更小、更快的自定义模型。模型可使用海思Hi3519A的NNIE、瑞芯微RV1126的RKNN等神经网络处理器（NPU，Neural Network Processing Unit）调用模块，能够实现超低功耗的嵌入式端深度神经网络推理。

在本实施例中，进一步通过构造第一关键点群的外接矩形作为目标定位框，使得目标定位框能够快速构建，进而快速追踪到移动的待检测目标；通过检查第二关键点群是否有缺失情况，并在存在缺失情况时对其进行完备处理，使得能够对特殊情况下的第二关键点群进行智能化完善处理，避免了特殊情况对后续判断分析步骤的不利影响；通过设置鼻、颈、肩、肘、腕这些上半身部位为识定位对象进行模型训练，能够得到相比常用的18点、25点模型更小、更快的自定义模型。

如图3所示，本发明还提供一种姿态检测识别装置。

所述姿态检测识别装置包括：

关键点群定位模块10，用于确定待检测目标，并使用预训练的肢体跟踪模型定位到所述待检测目标中的第一关键点群与第二关键点群，其中，所述肢体跟踪模型基于人体上半身的多个特定关键点训练所得；

检测目标跟踪模块20，用于基于所述第一关键点群得到所述待检测目标的目标定位框，并利用所述目标定位框匹配跟踪运动状态下的待检测目标；

目标姿态识别模块30，用于获取运动状态下所述待检测目标的第二关键点群的变化幅值，根据所述变化幅值确定所述待检测目标为疑似目标，并获取所述疑似目标的姿态数学模型值，以基于所述姿态数学模型值识别所述疑似目标的目标运动姿态。

本发明还提供一种姿态检测识别设备。

所述姿态检测识别设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的姿态检测识别程序，其中所述姿态检测识别程序被所述处理器执行时，实现如上所述的姿态检测识别方法的步骤。

其中，所述姿态检测识别程序被执行时所实现的方法可参照本发明姿态检测识别方法的各个实施例，此处不再赘述。

本发明还提供一种计算机可读存储介质。

本发明计算机可读存储介质上存储有姿态检测识别程序，所述姿态检测识别程序被处理器执行时实现如上所述的姿态检测识别方法的步骤。

其中，所述姿态检测识别程序被执行时所实现的方法可参照本发明姿态检测识别方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台姿态检测识别设备执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种姿态检测识别方法，其特征在于，所述姿态检测识别方法包括：

确定待检测目标，并使用预训练的肢体跟踪模型定位到所述待检测目标中的第一关键点群与第二关键点群，其中，所述肢体跟踪模型基于人体上半身的多个特定关键点训练所得；

基于所述第一关键点群得到所述待检测目标的目标定位框，并利用所述目标定位框匹配跟踪运动状态下的待检测目标；

获取运动状态下所述待检测目标的第二关键点群的变化幅值，根据所述变化幅值确定所述待检测目标为疑似目标，并获取所述疑似目标的姿态数学模型值，以基于所述姿态数学模型值识别所述疑似目标的目标运动姿态；

其中，所述第二关键点群包括躯干关键点子群，所述躯干关键点子群基于头、颈与双肩四个部位设置，所述获取运动状态下所述待检测目标的第二关键点群的变化幅值，根据所述变化幅值确定所述待检测目标为疑似目标的步骤包括：

根据预设的权重分配规则将所述躯干关键点子群中的各个关键点进行加权平均，构建所述待检测目标的重心浓缩点；

根据所述躯干关键点子群计算所述待检测目标的两肩距离，并获取所述重心浓缩点的移动量，以基于所述两肩距离与所述移动量计算重心移动量，并将所述重心移动量作为所述第二关键点群的变化幅值；

判断所述重心移动量是否符合预设疑似目标判定条件；

若所述重心移动量符合预设疑似目标判定条件，则将所述待检测目标确定为疑似目标；

其中，所述第二关键点群还包括手臂关键点子群，所述手臂关键点子群基于左右肩、左右肘与左右腕六个部位设置，所述获取所述疑似目标的姿态数学模型值，以基于所述姿态数学模型值识别所述疑似目标的目标运动姿态的步骤包括：

基于所述手臂关键点子群计算所述疑似目标在形成所述目标运动姿态前后的第一手臂模型值与第二手臂模型值，并基于所述躯干关键点子群计算所述疑似目标在形成所述目标运动姿态前后的第一躯干模型值与第二躯干模型值；

基于所述第一手臂模型值与所述第二手臂模型值的手臂模型差值，以及所述第一躯干模型值与所述第二躯干模型值的躯干模型差值，识别所述目标运动姿态；

其中，所述目标运动姿态包括起立，所述基于所述手臂关键点子群计算所述疑似目标在形成所述目标运动姿态前后的第一手臂模型值与第二手臂模型值，并基于所述躯干关键点子群计算所述疑似目标在形成所述目标运动姿态前后的第一躯干模型值与第二躯干模型值的步骤包括：

使用反余弦函数分别计算所述疑似目标在疑似起立前后的稳定帧当中左手肘的第一左内夹角与第二左内夹角，以及右手肘的第一右内夹角与第二右内夹角，将所述第一左内夹角、第一右内夹角作为所述第一手臂模型值，并将所述第二左内夹角、第二右内夹角作为所述第二手臂模型值；

分别计算所述疑似目标在疑似起立前后的稳定帧当中重心浓缩点的第一上移量与第二上移量作为所述第一躯干模型值与所述第二躯干模型值；

所述基于所述第一手臂模型值与所述第二手臂模型值的手臂模型差值，以及所述第一躯干模型值与所述第二躯干模型值的躯干模型差值，识别所述目标运动姿态的步骤包括：

获取所述第二左内夹角与第一左内夹角的左夹角差值，以及第二右内夹角与第一右内夹角的右夹角差值，将所述左夹角差值与右夹角差值作为所述手臂模型差值；

取所述左内夹角与右内夹角的平均值作为夹角均差，并将所述夹角均差与预设第一影响因子系数结合，得到第一判定得分；

获取所述第二上移量与第一上移量的上移量差值作为所述躯干模型差值，并将所述上移量差值与预设第二影响因子系数结合，得到第二判定得分；

根据预设举手判定标准判断所述疑似目标在疑似起立前后的稳定帧当中是否进行举手动作；

若是，则记为第三判定得分；

获取所述第一判定得分、第二判定得分与第三判定得分的得分总和，并在所述得分总和达到预设得分阈值时，确定所述疑似目标的目标运动姿态为起立。

2.如权利要求1所述的姿态检测识别方法，其特征在于，所述判断所述重心移动量是否符合预设疑似目标判定条件的步骤包括：

判断所述躯干关键点子群在预设时间段的前序时间段内的重心移动量是否大于预设第一阈值，且在后序时间段内的重心移动量是否小于预设第二阈值，其中，所述预设时间段划分为前序时间段与后序时间段；

若所述躯干关键点子群在预设时间段的前序时间段内的重心移动量大于预设第一阈值，且在后序时间段内的重心移动量小于预设第二阈值，则判定所述重心移动量符合预设疑似目标判定条件；

若所述躯干关键点子群在预设时间段的前序时间段内的重心移动量不大于预设第一阈值，和/或在后序时间段内的重心移动量不小于预设第二阈值，则判定所述重心移动量不符合预设疑似目标判定条件。

3.如权利要求1所述的姿态检测识别方法，其特征在于，所述待检测目标包括多人目标，

所述基于所述第一关键点群得到所述待检测目标的目标定位框，并利用所述目标定位框匹配跟踪运动状态下的待检测目标的步骤包括：

构建所述多人目标中每一单人目标所对应第一关键点群的外接矩形，以将所述外接矩形作为每一所述单人目标的目标定位框，其中，所述第一关键点群基于左右肩、颈、鼻四个部位设置；

使用卡尔曼滤波器对每一所述单人目标的目标定位框进行跟踪，以匹配跟踪到运动状态下的每一所述单人目标。

4.如权利要求3所述的姿态检测识别方法，其特征在于，所述使用卡尔曼滤波器对每一所述单人目标的目标定位框进行跟踪，以匹配跟踪到运动状态下的每一所述单人目标的步骤之后，还包括：

判断各所述单人目标对应的第二关键点群中是否存在关键点缺失；

若存在，则对缺失关键点进行完备化处理，其中，所述完备化处理包括对称部位补全、减小缺失关键点的对应权重和/或重新测定。

5.如权利要求1-4中任一项所述的姿态检测识别方法，其特征在于，所述确定待检测目标，并使用预训练的肢体跟踪模型定位到所述待检测目标中的第一关键点群与第二关键点群的步骤之前，还包括：

设置八个所述特定关键点，并使用openpose框架基于八个所述特定关键点进行训练，以得到所述肢体跟踪模型，其中，八个所述特定关键点分别基于鼻、颈、左右肩、左右肘和左右腕八个部位设置。

6.一种姿态检测识别设备，其特征在于，所述姿态检测识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的姿态检测识别程序，所述姿态检测识别程序被所述处理器执行时实现如权利要求1至5中任一项所述方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有姿态检测识别程序，所述姿态检测识别程序被处理器执行时实现如权利要求1至5中任一项所述方法的步骤。