CN111368810A - 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法 - Google Patents

Abstract

本发明公开了基于人体及骨骼关键点识别的仰卧起坐检测系统及方法，该系统包括：图像采集模块，采用高清摄像头采集被测试者的视频图像；图像识别模块，提取连续帧中的被测试者的人体骨骼关键点；动作检测模块，检测连续帧中的被测试者人体骨骼关键点的以腰部关键点与肩部关键点构成的直线与相对水平位置构成的夹角变化情况来判断被测试者为躺下或者坐立或者由躺下到坐立的过程中；判断与计数模块，判断与记录被测试者在测试时间内完成的仰卧起坐的次数；以及数据显示模块，显示被测试者在测试时间内完成的仰卧起坐的次数。本发明检测速度快、成本低，同时适应单人或者多人检测，可应用于体育家庭作业以及应急响应状态下的练习检测等场景。

Description

基于人体及骨骼关键点识别的仰卧起坐检测系统及方法

技术领域

本发明涉及仰卧起坐检测技术领域，尤其涉及基于人体及骨骼关键点识别的仰卧起坐检测系统及方法。

背景技术

目前进行仰卧起坐检测的方案比较多，包括：（1）人工判断的方式，需要通过个人来判断是否完成一次仰卧起坐。（2）申请号为201820875504.1的一种仰卧起坐测试仪，包括主机和床体，所述主机与所述床体无线连接，所述床体包括床板、触压感应装置、第一支架和第二支架、红外线发射装置、红外线接收装置、勾脚板、伸缩调节，触压感应装置检测人体躺下时是否双肩触垫，双肘遮挡红外线的位置，判断被测试者是否完成了一次仰卧起坐动作。（3）申请号为201420466088.1仰卧起坐测试仪，包括主机、测试部和测试平台，所述主机中设有控制部，所述测试部和测试平台均与所述控制部相连，借助腹带等紧固装置将测试部固定在被测者的胸部，通过光电传感器记录被测者身体。

但以上现有技术中的各个仰卧起坐检测方法存在如下弊端：

（1）人工判断的方式需要耗费人力，并且精度较低；（2）红外线测试方式，普通红外线传感器反应速度慢，量子型的价格昂贵，并且所需器械多，结构复杂，还容易被身体其他部分遮挡从而造成测量不准确；（3）光电传感器方式，环境适应性差，不在密封环境下用就很容易被污染失效，并且需要大量的机械，复杂且昂贵，测试仪绑在被测试者身上会造成被测试者的不适，造成测量的不准确。

发明内容

本发明所要解决的技术问题是仰卧起坐检测人工判断的方式需要耗费人力，并且精度较低；红外线测试方式，普通红外线传感器反应速度慢，量子型的价格昂贵，并且所需器械多，结构复杂，还容易被身体其他部分遮挡从而造成测量不准确；光电传感器方式，环境适应性差，不在密封环境下用就很容易被污染失效，并且需要大量的机械，复杂且昂贵，测试仪绑在被测试者身上会造成被测试者的不适，造成测量的不准确。

本发明提供了解决上述问题的基于人体及骨骼关键点识别的仰卧起坐检测系统及方法，首先去掉笨重的、体积大的设备，单人即可完成，不会由于环境的因素而造成测试精度的影响，使用手机就可完成，也不会因为主要设备出现问题就无法测试，从而提高了检测效率，极大的降低了成本，并且增加检测结果的可溯源性，可同时对个体或群体的仰卧起坐动作进行检测，并能通过仰卧起坐行为识别模块一定程度上通过技术手段预防作弊。

本发明通过下述技术方案实现：

基于人体及骨骼关键点识别的仰卧起坐检测系统，包括：

图像采集模块，采用高清摄像头逐帧采集被测试者在测试时间段内的视频图像；

图像识别模块，提取并识别连续帧中的被测试者的人体框和人体骨骼关键点，初始化时以腰部关键点与肩部关键点构成的直线作为相对水平线；具体的初始化过程为：一个人上去后平躺，检测到的腰部、肩部关键点连成的直线作为测试的相对水平线，以后其他人测试时的线与这一条相对水平线进行比较，以此来计算角度；

动作检测模块，检测连续帧中的被测试者人体骨骼关键点中腰部关键点与肩部关键点构成的直线与相对水平线构成的夹角变化情况来判断被测试者为躺下或者坐立或者处于由躺下到坐立及坐立到躺下的过程中；

仰卧起坐行为识别模块，基于注意力机制、LSTM训练仰卧起坐行为识别深度学习模型，识别输入的一段帧序列是否为一次仰卧起坐行为；该模块的目的是避免被测试者通过某些手段（屏幕垂直，站立做动作）作弊。

判断与计数模块，判断与记录被测试者在测试时间内完成的仰卧起坐的次数；以及

数据显示模块，显示被测试者在测试时间内完成的仰卧起坐的次数。

工作原理是：仰卧起坐检测人工判断的方式需要耗费人力，并且精度较低；红外线测试方式，普通红外线传感器反应速度慢，量子型的价格昂贵，并且所需器械多，结构复杂，还容易被身体其他部分遮挡从而造成测量不准确；光电传感器方式，环境适应性差，不在密封环境下用就很容易被污染失效，并且需要大量的机械，复杂且昂贵，测试仪绑在被测试者身上会造成被测试者的不适，造成测量的不准确。本发明采用上述方案将手机（作为图像采集模块）安放于侧面拍摄视频，检测连续帧中的人体框形态变化、人体骨骼关键点的以腰部关键点与肩部关键点构成的直线与水平位置构成的夹角变化情况来综合判断其为躺下、坐立、还是在由躺下到坐立的过程中，从而完成被测试者固定时间内仰卧起坐的检测；测试场景内可以只有一个人，也可以同时对多人检测；通过综合判断人体框形变以及骨骼关键点连线角度变化进行动作标准型检测。本发明去掉笨重的、体积大的设备，单人即可完成，不会由于环境的因素而造成测试精度的影响，使用手机（作为图像采集模块）就可完成，也不会因为主要设备出现问题就无法测试，从而提高了检测效率，极大的降低了成本，并且增加检测结果的可溯源性，可同时对个体或群体的仰卧起坐动作进行检测。

本发明系统检测速度快，可实时检测，测试误差±1个；且检测的过程中人体无需佩戴设备无接触，不会给测试人带来不适感；成本低，除了毯子、手机支架的费用，测试人员使用自己的智能手机即可实现；可溯源性，在考试的检测过程中或者学生体质健康检测中，检测到结果的帧可以保留，并且还可以通过人脸识别方式来检测是否有作弊行为；携带方便，所有东西重量不超过3kg，尺寸不超过1米；且可同时检测多人，适合在考试仰卧起坐的检测过程中或者学生仰卧起坐体质健康检测中大面积推广使用；同时，适用于非接触式自主锻炼检测，可应用于体育家庭作业以及应急响应状态下的练习检测等场景。

进一步地，所述判断与计数模块包括开始状态判断单元、上升状态判断单元、计数单元和下降状态判断单元；识别被测试者人体框，计算人体框对角线与底线的夹角，记为

；检测连续帧中的被测试者人体骨骼关键点中腰部关键点与肩部关键点构成的直线与相对水平线构成的夹角，记为

，其中：

所述开始状态判断单元，当判定状态为“未开始”情况下，检测到当

且

（即V值小于等于α且V’小于α’）时，记录测试状态为“开始”；

所述上升状态判断单元，当判定状态为“开始”情况下，检测到

且

（即V值大于α小于β时且V’大于α’小于β’）时，记录测试状态为“上升”；

所述计数单元，当判定状态为“上升”情况下，检测到

且

（即V值大于或等于β且V’大于β’），认定完成了一个仰卧起坐并记录测试状态为“计数”；

所述下降状态判断单元，当判定状态为“计数”情况下，检测到

且

（即V值大于α小于β且V’大于α’小于β’）时，记录测试状态为“下降”，直至V值再次小于α且V’再次小于α’，将测试状态更新为“开始”。

进一步地，所述被测试者包括单人或者多人。

进一步地，所述被测试者为多人时，检测过程中，通过人体跟踪算法，跟踪连续帧中相同人，以区分不同的人实现同时检测多人的仰卧起坐动作并进行计数。

进一步地，所述测试时间针对学生测试是一分钟，针对其他人群的测试可以按照需要自行规定测试时间。

进一步地，所述仰卧起坐行为识别模块中基于注意力机制、LSTM的仰卧起坐行为识别深度学习模型训练过程为：采集不同年龄、性别、身材的被测试者的仰卧起坐视频图像标注为正样本，同时采集一些非仰卧起坐视频标注为负样本；以当前已公开的注意力机制、LSTM，微调相应参数构建一个端到端的具有双层结构的网络；模型的输入视频帧序列，输出当前帧序列端是否为一次仰卧起坐行为。

人体骨骼关键点检测，就是给一幅图像，标记处图像中的人体骨骼关键点，输入是一幅图像，输出是若干个骨骼关键点的位置，目前通常检测的骨骼关键点有14个，分别是右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝、头顶、脖子，通常用连线将骨骼关键点连接形成人体整体框架。

人脸检测，就是给一幅图像，找出图像中的所有人脸位置，通常用一个矩形框框起来，输入是一幅图像，输出是若干个包含人脸的矩形框位置(x,y,w,h)。

图像处理，一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。

人体检测与跟踪，从连续的图像帧中识别人体，以矩形框表示一个人体区域，通过人体框的大小、位移等实现人体跟踪，以便于区分连续帧中不同人，实现对每个人行为的识别。

另一方面，本发明还提供了一种基于人体及骨骼关键点识别的仰卧起坐检测方法，该方法包括如下步骤：

步骤1：设定四个阈值α、β、α’、β’：

所述阈值α为判定被测试者处于平躺状态时骨骼关键点连线与相对水平线的夹角

的最小值，所述阈值β为判定被测试者处于坐立状态时肩胯骨骼关键点连线与水平线的夹角

的最大值；

所述阈值α’为判定被测试者处于平躺状态下的人体框对角线与底边的夹角

的最小值，所述阈值β’为判定被测试者处于坐立状态时人体框对角线与底边的夹角

的最大值；

步骤2：初始化采集设备并设定相对水平线位置，被测试者平躺，检测到的腰部、肩部关键点连成的直线作为测试的相对水平线；其中，所述采集设备可以采用高清摄像头或者具有摄像功能的手机等；

步骤3：识别被测试者骨骼关键点，读取跨肩骨骼关键点连线与相对水平线的夹角V；识别被测试者人体框，读取人体框对角线与底边夹角V’；

步骤4：判定状态为“未开始”情况下，检测到当

且

（即V值小于等于α且V’小于α’）时，记录测试状态为“开始”；

步骤5：判定状态为“开始”情况下，检测到

且

（即V值大于α小于β时且V’大于α’小于β’）时，记录测试状态为“上升”；

步骤6：判定状态为“上升”情况下，检测到

且

（即V值大于或等于β且V’大于β’），认定完成了一个仰卧起坐并记录测试状态为“计数”，并将从“开始”状态到“上升”状态的帧序列输入仰卧起坐行为识别模块，如果识别为仰卧起坐行为，则真正计数加一，否则计数不增加；

步骤7：判定状态为“计数”情况下，检测到

且

（即V值大于α小于β且V’大于α’小于β’）时，记录测试状态为“下降”，直至V值再次小于α且V’再次小于α’，将测试状态更新为“开始”，以此循环。

进一步地，所述步骤1至步骤7的测试过程中，每次识别图像帧时，均对测试时间进行判定，若测试时间未达到，则测试继续；测试时间已达到，则测试终止并上报数据。

进一步地，所述步骤1至步骤7的测试过程中，通过人体跟踪算法，跟踪连续帧中相同人，以区分不同的人实现同时检测多人的仰卧起坐动作并进行计数。

进一步地，所述步骤1至步骤7的测试过程中，通过综合判断人体框形态变化以及人体身体骨骼关键点及其连线的角度变化，以及通过深度仰卧起坐行为识别深度学习模型识别的是否为仰卧起坐动作的结果，来进行动作标准性检测。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明基于人体及骨骼关键点识别的仰卧起坐检测系统及方法，将采集设备安放于侧面拍摄视频，检测连续帧中的人体框形态变化、人体骨骼关键点的以腰部关键点与肩部关键点构成的直线与水平位置构成的夹角变化情况来综合判断其为躺下、坐立、还是在由躺下到坐立的过程中，从而完成被测试者固定时间内仰卧起坐的检测；测试场景内可以只有一个人，也可以同时对多人检测；

2、本发明基于人体及骨骼关键点识别的仰卧起坐检测系统及方法，检测速度快，可实时检测，测试误差±1个；且检测的过程中人体无需佩戴设备无接触，不会给测试人带来不适感；成本低，除了毯子、手机支架的费用，测试人员使用自己的智能手机即可实现；可溯源性，在考试的检测过程中或者学生体质健康检测中，检测到结果的帧可以保留，并且还可以通过人脸识别方式来检测是否有作弊行为；携带方便，所有东西重量不超过3kg，尺寸不超过1米；且可同时检测多人，适合在考试仰卧起坐的检测过程中或者学生仰卧起坐体质健康检测中大面积推广使用；同时，适用于非接触式自主锻炼检测，可应用于体育家庭作业以及应急响应状态下的练习检测等场景。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明系统及方法的一人应用场景图。

图2为本发明系统及方法的多人应用场景图。

图3为本发明系统及方法的检测判定流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

如图1至图3所示，本发明基于人体及骨骼关键点识别的仰卧起坐检测系统，包括：

图像采集模块，采用高清摄像头逐帧采集被测试者在测试时间段内的视频图像；

图像识别模块，提取并识别连续帧中的被测试者的人体框和人体骨骼关键点，初始化时以腰部关键点与肩部关键点构成的直线作为相对水平线；具体的初始化过程为：一个人上去后平躺，检测到的腰部、肩部关键点连成的直线作为测试的相对水平线，以后其他人测试时的线与这一条相对水平线进行比较，以此来计算角度；

动作检测模块，检测连续帧中的被测试者人体骨骼关键点中腰部关键点与肩部关键点构成的直线与相对水平线构成的夹角变化情况来判断被测试者为躺下或者坐立或者处于由躺下到坐立及坐立到躺下的过程中；

仰卧起坐行为识别模块，基于注意力机制、LSTM训练仰卧起坐行为识别深度学习模型，识别输入的一段帧序列是否为一次仰卧起坐行为；该模块的目的是避免被测试者通过某些手段（屏幕垂直，站立做动作）作弊。

判断与计数模块，判断与记录被测试者在测试时间内完成的仰卧起坐的次数；以及

数据显示模块，显示被测试者在测试时间内完成的仰卧起坐的次数。

作为进一步地优选方案，所述判断与计数模块包括开始状态判断单元、上升状态判断单元、计数单元和下降状态判断单元；识别被测试者人体框，计算人体框对角线与底线的夹角，记为

；检测连续帧中的被测试者人体骨骼关键点中腰部关键点与肩部关键点构成的直线与相对水平线构成的夹角，记为

，其中：

所述开始状态判断单元，当判定状态为“未开始”情况下，检测到当

且

（即V值小于等于α且V’小于α’）时，记录测试状态为“开始”；

所述上升状态判断单元，当判定状态为“开始”情况下，检测到

且

（即V值大于α小于β时且V’大于α’小于β’）时，记录测试状态为“上升”；

所述计数单元，当判定状态为“上升”情况下，检测到

且

（即V值大于或等于β且V’大于β’），认定完成了一个仰卧起坐并记录测试状态为“计数”；

所述下降状态判断单元，当判定状态为“计数”情况下，检测到

且

（即V值大于α小于β且V’大于α’小于β’）时，记录测试状态为“下降”，直至V值再次小于α且V’再次小于α’，将测试状态更新为“开始”。

作为进一步地优选方案，所述被测试者包括单人或者多人。

其中，如图1所示，图1为一人应用场景图；如图2所示，图2为多人应用场景图。

作为进一步地优选方案，所述被测试者为多人时，检测过程中，通过人体跟踪算法（比如，人体框跟踪算法），跟踪连续帧中相同人，以区分不同的人实现同时检测多人的仰卧起坐动作并进行计数。

作为进一步地优选方案，所述测试时间针对学生测试是一分钟，针对其他人群的测试可以按照需要自行规定测试时间。

本实施例中，所述仰卧起坐行为识别模块中基于注意力机制、LSTM的仰卧起坐行为识别深度学习模型训练过程为：采集不同年龄、性别、身材的被测试者的仰卧起坐视频图像标注为正样本，同时采集一些非仰卧起坐视频标注为负样本；以当前已公开的注意力机制、LSTM，微调相应参数构建一个端到端的具有双层结构的网络；模型的输入视频帧序列，输出当前帧序列端是否为一次仰卧起坐行为。

另一方面，本发明实施例还提供了一种基于人体及骨骼关键点识别的仰卧起坐检测方法，该方法包括如下步骤：

步骤1：设定四个阈值α、β、α’、β’：

所述阈值α为判定被测试者处于平躺状态时骨骼关键点连线与水平线的夹角

的最小值，所述阈值β为判定被测试者处于坐立状态时肩胯骨骼关键点连线与水平线的夹角

的最大值；

所述阈值α’为判定被测试者处于平躺状态下的人体框对角线与底边的夹角

的最小值，所述阈值β’为判定被测试者处于坐立状态时人体框对角线与底边的夹角

的最大值；

步骤2：初始化采集设备并设定相对水平线位置，被测试者平躺，检测到的腰部、肩部关键点连成的直线作为测试的相对水平线；其中，所述采集设备可以采用高清摄像头或者具有摄像功能的手机等；

步骤3：识别被测试者骨骼关键点，读取跨肩骨骼关键点连线与水平线夹角V；识别被测试者人体框，读取人体框对角线与底边夹角V’；

步骤4：判定状态为“未开始”情况下，检测到当

且

（即V值小于等于α且V’小于α’）时，记录测试状态为“开始”；

步骤5：判定状态为“开始”情况下，检测到

且

（即V值大于α小于β时且V’大于α’小于β’）时，记录测试状态为“上升”；

步骤6：判定状态为“上升”情况下，检测到

且

（即V值大于或等于β且V’大于β’），认定完成了一个仰卧起坐并记录测试状态为“计数”；并将从“开始”状态到“上升”状态的帧序列输入仰卧起坐行为识别模块，如果识别为仰卧起坐行为，则真正计数加一，否则计数不增加；

步骤7：判定状态为“计数”情况下，检测到

且

（即V值大于α小于β且V’大于α’小于β’）时，记录测试状态为“下降”，直至V值再次小于α且V’再次小于α’，将测试状态更新为“开始”，以此循环。

作为进一步地优选方案，所述步骤1至步骤7的测试过程中，每次识别图像帧时，均对测试时间进行判定，若测试时间未达到，则测试继续；测试时间已达到，则测试终止并上报数据。比如，规定学生测试是一分钟，若测试时间未到一分钟，则测试继续；测试时间已达到一分钟，则测试终止并上报数据。

作为进一步地优选方案，所述步骤1至步骤7的测试过程中，通过人体跟踪算法，跟踪连续帧中相同人，以区分不同的人实现同时检测多人的仰卧起坐动作并进行计数。

作为进一步地优选方案，所述步骤1至步骤7的测试过程中，通过综合判断人体框形态变化以及人体身体骨骼关键点及其连线的角度变化，以及通过仰卧起坐行为识别模型识别的是否为仰卧起坐动作的结果，来进行动作标准性检测。

工作原理是：仰卧起坐检测人工判断的方式需要耗费人力，并且精度较低；红外线测试方式，普通红外线传感器反应速度慢，量子型的价格昂贵，并且所需器械多，结构复杂，还容易被身体其他部分遮挡从而造成测量不准确；光电传感器方式，环境适应性差，不在密封环境下用就很容易被污染失效，并且需要大量的机械，复杂且昂贵，测试仪绑在被测试者身上会造成被测试者的不适，造成测量的不准确。本发明采用上述方案将手机（作为图像采集模块）安放于侧面拍摄视频，检测连续帧中的人体框形态变化、人体骨骼关键点的以腰部关键点与肩部关键点构成的直线与水平位置构成的夹角变化情况来综合判断其为躺下、坐立、还是在由躺下到坐立的过程中，从而完成被测试者固定时间内仰卧起坐的检测；测试场景内可以只有一个人，也可以同时对多人检测；通过综合判断人体框形变以及骨骼关键点连线角度变化进行动作标准型检测。

本发明系统去掉笨重的、体积大的设备，单人即可完成，不会由于环境的因素而造成测试精度的影响，使用手机（作为图像采集模块）就可完成，也不会因为主要设备出现问题就无法测试，从而提高了检测效率，极大的降低了成本，并且增加检测结果的可溯源性，可同时对个体或群体的仰卧起坐动作进行检测。

本发明系统及方法检测速度快，可实时检测，测试误差±1个；且检测的过程中人体无接触，不会给测试人带来不适感；成本低，除了、手机支架的费用，测试人员使用自己的智能手机即可实现；可溯源性，在考试的检测过程中或者学生体质健康检测中，检测到结果的视频帧可以保留，并且还可以通过人脸识别方式来检测是否有作弊行为；携带方便，所有东西重量不超过3kg，尺寸不超过1米；且可同时检测多人，适合在考试仰卧起坐的检测过程中或者学生仰卧起坐体质健康检测中大面积推广使用；同时，适用于非接触式自主锻炼检测，可应用于体育家庭作业以及应急响应状态下的练习检测等场景。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于人体及骨骼关键点识别的仰卧起坐检测系统，其特征在于，包括：

图像采集模块，采用高清摄像头逐帧采集被测试者在测试时间段内的视频图像；

图像识别模块，提取并识别连续帧中的被测试者的人体框和人体骨骼关键点，初始化时以腰部关键点与肩部关键点构成的直线作为相对水平线；

动作检测模块，检测连续帧中的被测试者人体骨骼关键点中腰部关键点与肩部关键点构成的直线与相对水平线构成的夹角变化情况来判断被测试者为躺下或者坐立或者处于由躺下到坐立及坐立到躺下的过程中；

仰卧起坐行为识别模块，基于注意力机制、LSTM训练仰卧起坐行为识别深度学习模型，识别输入的一段帧序列是否为一次仰卧起坐行为；

判断与计数模块，判断与记录被测试者在测试时间内完成的仰卧起坐的次数；以及

数据显示模块，显示被测试者在测试时间内完成的仰卧起坐的次数。

2.根据权利要求1所述的基于人体及骨骼关键点识别的仰卧起坐检测系统，其特征在于，所述判断与计数模块包括开始状态判断单元、上升状态判断单元、计数单元和下降状态判断单元；识别被测试者人体框，计算人体框对角线与底线的夹角，记为

；检测连续帧中的被测试者人体骨骼关键点中腰部关键点与肩部关键点构成的直线与相对水平线构成的夹角，记为

，其中：

所述开始状态判断单元，当判定状态为“未开始”情况下，检测到当

且

时，记录测试状态为“开始”；

所述上升状态判断单元，当判定状态为“开始”情况下，检测到

且

时，记录测试状态为“上升”；

所述计数单元，当判定状态为“上升”情况下，检测到

且

，认定完成了一个仰卧起坐并记录测试状态为“计数”；

所述下降状态判断单元，当判定状态为“计数”情况下，检测到

且

时，记录测试状态为“下降”，直至

值再次小于

且

再次小于

，将测试状态更新为“开始”。

3.根据权利要求1所述的基于人体及骨骼关键点识别的仰卧起坐检测系统，其特征在于，所述被测试者包括单人或者多人。

4.根据权利要求3所述的基于人体及骨骼关键点识别的仰卧起坐检测系统，其特征在于，所述被测试者为多人时，检测过程中，通过人体跟踪算法，跟踪连续帧中相同人，以区分不同的人实现同时检测多人的仰卧起坐动作并进行计数。

5.根据权利要求1所述的基于人体及骨骼关键点识别的仰卧起坐检测系统，其特征在于，所述测试时间针对学生测试是一分钟。

6.根据权利要求1所述的基于人体及骨骼关键点识别的仰卧起坐检测系统，其特征在于，所述仰卧起坐行为识别模块中基于注意力机制、LSTM的仰卧起坐行为识别深度学习模型训练过程为：采集不同年龄、性别、身材的被测试者的仰卧起坐视频图像标注为正样本，同时采集一些非仰卧起坐视频标注为负样本；模型的输入视频帧序列，输出当前帧序列端是否为一次仰卧起坐行为。

7.基于人体及骨骼关键点识别的仰卧起坐检测方法，其特征在于，该方法包括如下步骤：

步骤1：设定四个阈值α、β、α’、β’：

所述阈值α为判定被测试者处于平躺状态时骨骼关键点连线与相对水平线的夹角

的最小值，所述阈值β为判定被测试者处于坐立状态时肩胯骨骼关键点连线与水平线的夹角

的最大值；

所述阈值α’为判定被测试者处于平躺状态下的人体框对角线与底边的夹角

的最小值，所述阈值β’为判定被测试者处于坐立状态时人体框对角线与底边的夹角

的最大值；

步骤2：初始化采集设备并设定相对水平线位置，被测试者平躺，检测到的腰部、肩部关键点连成的直线作为测试的相对水平线；

步骤3：识别被测试者骨骼关键点，读取跨肩骨骼关键点连线与相对水平线的夹角V；识别被测试者人体框，读取人体框对角线与底边夹角V’；

步骤4：判定状态为“未开始”情况下，检测到当

且

时，记录测试状态为“开始”；

步骤5：判定状态为“开始”情况下，检测到

且

时，记录测试状态为“上升”；

步骤6：判定状态为“上升”情况下，检测到

且

，认定完成了一个仰卧起坐并记录测试状态为“计数”，并将从“开始”状态到“上升”状态的帧序列输入仰卧起坐行为识别模块，如果识别为仰卧起坐行为，则真正计数加一，否则计数不增加；

步骤7：判定状态为“计数”情况下，检测到

且

时，记录测试状态为“下降”，直至V值再次小于α且V’再次小于α’，将测试状态更新为“开始”，以此循环。

8.根据权利要求7所述的基于人体及骨骼关键点识别的仰卧起坐检测方法，其特征在于，所述步骤1至步骤7的测试过程中，每次识别图像帧时，均对测试时间进行判定，若测试时间未达到，则测试继续；测试时间已达到，则测试终止并上报数据。

9.根据权利要求7所述的基于人体及骨骼关键点识别的仰卧起坐检测方法，其特征在于，所述步骤1至步骤7的测试过程中，通过人体跟踪算法，跟踪连续帧中相同人，以区分不同的人实现同时检测多人的仰卧起坐动作并进行计数。

10.根据权利要求7所述的基于人体及骨骼关键点识别的仰卧起坐检测方法，其特征在于，所述步骤1至步骤7的测试过程中，通过综合判断人体框形态变化以及人体身体骨骼关键点及其连线的角度变化，以及通过深度仰卧起坐行为识别网络识别的是否为仰卧起坐动作的结果，来进行动作标准性检测。

Images