CN111368810B - 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法 - Google Patents

基于人体及骨骼关键点识别的仰卧起坐检测系统及方法 Download PDF

Info

Publication number
CN111368810B
CN111368810B CN202010453303.4A CN202010453303A CN111368810B CN 111368810 B CN111368810 B CN 111368810B CN 202010453303 A CN202010453303 A CN 202010453303A CN 111368810 B CN111368810 B CN 111368810B
Authority
CN
China
Prior art keywords
sit
state
human body
test
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010453303.4A
Other languages
English (en)
Other versions
CN111368810A (zh
Inventor
韦洪雷
梁锐
张健
刘晨
李相俊
蒲茂武
甯航
申浩
邹琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Lejian Dreamer Technology Co ltd
Southwest Jiaotong University
Original Assignee
Sichuan Lejian Dreamer Technology Co ltd
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Lejian Dreamer Technology Co ltd, Southwest Jiaotong University filed Critical Sichuan Lejian Dreamer Technology Co ltd
Priority to CN202010453303.4A priority Critical patent/CN111368810B/zh
Publication of CN111368810A publication Critical patent/CN111368810A/zh
Application granted granted Critical
Publication of CN111368810B publication Critical patent/CN111368810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Abstract

本发明公开了基于人体及骨骼关键点识别的仰卧起坐检测系统及方法,该系统包括:图像采集模块,采用高清摄像头采集被测试者的视频图像;图像识别模块,提取连续帧中的被测试者的人体骨骼关键点;动作检测模块,检测连续帧中的被测试者人体骨骼关键点的以腰部关键点与肩部关键点构成的直线与相对水平位置构成的夹角变化情况来判断被测试者为躺下或者坐立或者由躺下到坐立的过程中;判断与计数模块,判断与记录被测试者在测试时间内完成的仰卧起坐的次数;以及数据显示模块,显示被测试者在测试时间内完成的仰卧起坐的次数。本发明检测速度快、成本低,同时适应单人或者多人检测,可应用于体育家庭作业以及应急响应状态下的练习检测等场景。

Description

基于人体及骨骼关键点识别的仰卧起坐检测系统及方法
技术领域
本发明涉及仰卧起坐检测技术领域,尤其涉及基于人体及骨骼关键点识别的仰卧起坐检测系统及方法。
背景技术
目前进行仰卧起坐检测的方案比较多,包括:(1)人工判断的方式,需要通过个人来判断是否完成一次仰卧起坐。(2)申请号为201820875504.1的一种仰卧起坐测试仪,包括主机和床体,所述主机与所述床体无线连接,所述床体包括床板、触压感应装置、第一支架和第二支架、红外线发射装置、红外线接收装置、勾脚板、伸缩调节,触压感应装置检测人体躺下时是否双肩触垫,双肘遮挡红外线的位置,判断被测试者是否完成了一次仰卧起坐动作。(3)申请号为201420466088.1仰卧起坐测试仪,包括主机、测试部和测试平台,所述主机中设有控制部,所述测试部和测试平台均与所述控制部相连,借助腹带等紧固装置将测试部固定在被测者的胸部,通过光电传感器记录被测者身体。
但以上现有技术中的各个仰卧起坐检测方法存在如下弊端:
(1)人工判断的方式需要耗费人力,并且精度较低;(2)红外线测试方式,普通红外线传感器反应速度慢,量子型的价格昂贵,并且所需器械多,结构复杂,还容易被身体其他部分遮挡从而造成测量不准确;(3)光电传感器方式,环境适应性差,不在密封环境下用就很容易被污染失效,并且需要大量的机械,复杂且昂贵,测试仪绑在被测试者身上会造成被测试者的不适,造成测量的不准确。
发明内容
本发明所要解决的技术问题是仰卧起坐检测人工判断的方式需要耗费人力,并且精度较低;红外线测试方式,普通红外线传感器反应速度慢,量子型的价格昂贵,并且所需器械多,结构复杂,还容易被身体其他部分遮挡从而造成测量不准确;光电传感器方式,环境适应性差,不在密封环境下用就很容易被污染失效,并且需要大量的机械,复杂且昂贵,测试仪绑在被测试者身上会造成被测试者的不适,造成测量的不准确。
本发明提供了解决上述问题的基于人体及骨骼关键点识别的仰卧起坐检测系统及方法,首先去掉笨重的、体积大的设备,单人即可完成,不会由于环境的因素而造成测试精度的影响,使用手机就可完成,也不会因为主要设备出现问题就无法测试,从而提高了检测效率,极大的降低了成本,并且增加检测结果的可溯源性,可同时对个体或群体的仰卧起坐动作进行检测,并能通过仰卧起坐行为识别模块一定程度上通过技术手段预防作弊。
本发明通过下述技术方案实现:
基于人体及骨骼关键点识别的仰卧起坐检测系统,包括:
图像采集模块,采用高清摄像头逐帧采集被测试者在测试时间段内的视频图像;
图像识别模块,提取并识别连续帧中的被测试者的人体框和人体骨骼关键点,初始化时以腰部关键点与肩部关键点构成的直线作为相对水平线;具体的初始化过程为:一个人上去后平躺,检测到的腰部、肩部关键点连成的直线作为测试的相对水平线,以后其他人测试时的线与这一条相对水平线进行比较,以此来计算角度;
动作检测模块,检测连续帧中的被测试者人体骨骼关键点中腰部关键点与肩部关键点构成的直线与相对水平线构成的夹角变化情况来判断被测试者为躺下或者坐立或者处于由躺下到坐立及坐立到躺下的过程中;
仰卧起坐行为识别模块,基于注意力机制、LSTM训练仰卧起坐行为识别深度学习模型,识别输入的一段帧序列是否为一次仰卧起坐行为;该模块的目的是避免被测试者通过某些手段(屏幕垂直,站立做动作)作弊。
判断与计数模块,判断与记录被测试者在测试时间内完成的仰卧起坐的次数;以及
数据显示模块,显示被测试者在测试时间内完成的仰卧起坐的次数。
工作原理是:仰卧起坐检测人工判断的方式需要耗费人力,并且精度较低;红外线测试方式,普通红外线传感器反应速度慢,量子型的价格昂贵,并且所需器械多,结构复杂,还容易被身体其他部分遮挡从而造成测量不准确;光电传感器方式,环境适应性差,不在密封环境下用就很容易被污染失效,并且需要大量的机械,复杂且昂贵,测试仪绑在被测试者身上会造成被测试者的不适,造成测量的不准确。本发明采用上述方案将手机(作为图像采集模块)安放于侧面拍摄视频,检测连续帧中的人体框形态变化、人体骨骼关键点的以腰部关键点与肩部关键点构成的直线与水平位置构成的夹角变化情况来综合判断其为躺下、坐立、还是在由躺下到坐立的过程中,从而完成被测试者固定时间内仰卧起坐的检测;测试场景内可以只有一个人,也可以同时对多人检测;通过综合判断人体框形变以及骨骼关键点连线角度变化进行动作标准型检测。本发明去掉笨重的、体积大的设备,单人即可完成,不会由于环境的因素而造成测试精度的影响,使用手机(作为图像采集模块)就可完成,也不会因为主要设备出现问题就无法测试,从而提高了检测效率,极大的降低了成本,并且增加检测结果的可溯源性,可同时对个体或群体的仰卧起坐动作进行检测。
本发明系统检测速度快,可实时检测,测试误差±1个;且检测的过程中人体无需佩戴设备无接触,不会给测试人带来不适感;成本低,除了毯子、手机支架的费用,测试人员使用自己的智能手机即可实现;可溯源性,在考试的检测过程中或者学生体质健康检测中,检测到结果的帧可以保留,并且还可以通过人脸识别方式来检测是否有作弊行为;携带方便,所有东西重量不超过3kg,尺寸不超过1米;且可同时检测多人,适合在考试仰卧起坐的检测过程中或者学生仰卧起坐体质健康检测中大面积推广使用;同时,适用于非接触式自主锻炼检测,可应用于体育家庭作业以及应急响应状态下的练习检测等场景。
进一步地,所述判断与计数模块包括开始状态判断单元、上升状态判断单元、计数单元和下降状态判断单元;识别被测试者人体框,计算人体框对角线与底线的夹角,记为V’;检测连续帧中的被测试者人体骨骼关键点中腰部关键点与肩部关键点构成的直线与相对水平线构成的夹角,记为V,其中:
所述开始状态判断单元,当判定状态为“未开始”情况下,检测到当V≤α且V’<α’(即V值小于等于α且V’小于α’)时,记录测试状态为“开始”;
所述上升状态判断单元,当判定状态为“开始”情况下,检测到α<V<β且α’<V’<β’(即V值大于α小于β时且V’大于α’小于β’)时,记录测试状态为“上升”;
所述计数单元,当判定状态为“上升”情况下,检测到β≤V且β’<V’(即V值大于或等于β且V’大于β’),认定完成了一个仰卧起坐并记录测试状态为“计数”;
所述下降状态判断单元,当判定状态为“计数”情况下,检测到α<V<β且α’<V’<β’(即V值大于α小于β且V’大于α’小于β’)时,记录测试状态为“下降”,直至V值再次小于α且V’再次小于α’,将测试状态更新为“开始”。
进一步地,所述被测试者包括单人或者多人。
进一步地,所述被测试者为多人时,检测过程中,通过人体跟踪算法,跟踪连续帧中相同人,以区分不同的人实现同时检测多人的仰卧起坐动作并进行计数。
进一步地,所述测试时间针对学生测试是一分钟,针对其他人群的测试可以按照需要自行规定测试时间。
进一步地,所述仰卧起坐行为识别模块中基于注意力机制、LSTM的仰卧起坐行为识别深度学习模型训练过程为:采集不同年龄、性别、身材的被测试者的仰卧起坐视频图像标注为正样本,同时采集一些非仰卧起坐视频标注为负样本;以当前已公开的注意力机制、LSTM,微调相应参数构建一个端到端的具有双层结构的网络;模型的输入视频帧序列,输出当前帧序列端是否为一次仰卧起坐行为。
人体骨骼关键点检测,就是给一幅图像,标记处图像中的人体骨骼关键点,输入是一幅图像,输出是若干个骨骼关键点的位置,目前通常检测的骨骼关键点有14个,分别是右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝、头顶、脖子,通常用连线将骨骼关键点连接形成人体整体框架。
人脸检测,就是给一幅图像,找出图像中的所有人脸位置,通常用一个矩形框框起来,输入是一幅图像,输出是若干个包含人脸的矩形框位置(x,y,w,h)。
图像处理,一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组,该数组的元素称为像素,其值称为灰度值。图像处理技术一般包括图像压缩,增强和复原,匹配、描述和识别3个部分。
人体检测与跟踪,从连续的图像帧中识别人体,以矩形框表示一个人体区域,通过人体框的大小、位移等实现人体跟踪,以便于区分连续帧中不同人,实现对每个人行为的识别。
另一方面,本发明还提供了一种基于人体及骨骼关键点识别的仰卧起坐检测方法,该方法包括如下步骤:
步骤1:设定四个阈值α、β、α’、β’:
所述阈值α为判定被测试者处于平躺状态时骨骼关键点连线与相对水平线的夹角V的最小值,所述阈值β为判定被测试者处于坐立状态时肩胯骨骼关键点连线与水平线的夹角V的最大值;
所述阈值α’为判定被测试者处于平躺状态下的人体框对角线与底边的夹角V’的最小值,所述阈值β’为判定被测试者处于坐立状态时人体框对角线与底边的夹角V’的最大值;
步骤2:初始化采集设备并设定相对水平线位置,被测试者平躺,检测到的腰部、肩部关键点连成的直线作为测试的相对水平线;其中,所述采集设备可以采用高清摄像头或者具有摄像功能的手机等;
步骤3:识别被测试者骨骼关键点,读取胯肩骨骼关键点连线与相对水平线的夹角V;识别被测试者人体框,读取人体框对角线与底边夹角V’;
步骤4:判定状态为“未开始”情况下,检测到当V≤α且V’<α’(即V值小于等于α且V’小于α’)时,记录测试状态为“开始”;
步骤5:判定状态为“开始”情况下,检测到α<V<β且α’<V’<β’(即V值大于α小于β时且V’大于α’小于β’)时,记录测试状态为“上升”;
步骤6:判定状态为“上升”情况下,检测到β≤V且β’<V’(即V值大于或等于β且V’大于β’),认定完成了一个仰卧起坐并记录测试状态为“计数”,并将从“开始”状态到“上升”状态的帧序列输入仰卧起坐行为识别模块,如果识别为仰卧起坐行为,则真正计数加一,否则计数不增加;
步骤7:判定状态为“计数”情况下,检测到α<V<β且α’<V’<β’(即V值大于α小于β且V’大于α’小于β’)时,记录测试状态为“下降”,直至V值再次小于α且V’再次小于α’,将测试状态更新为“开始”,以此循环。
进一步地,所述步骤1至步骤7的测试过程中,每次识别图像帧时,均对测试时间进行判定,若测试时间未达到,则测试继续;测试时间已达到,则测试终止并上报数据。
进一步地,所述步骤1至步骤7的测试过程中,通过人体跟踪算法,跟踪连续帧中相同人,以区分不同的人实现同时检测多人的仰卧起坐动作并进行计数。
进一步地,所述步骤1至步骤7的测试过程中,通过综合判断人体框形态变化以及人体身体骨骼关键点及其连线的角度变化,以及通过深度仰卧起坐行为识别深度学习模型识别的是否为仰卧起坐动作的结果,来进行动作标准性检测。
本发明与现有技术相比,具有如下的优点和有益效果:
1、本发明基于人体及骨骼关键点识别的仰卧起坐检测系统及方法,将采集设备安放于侧面拍摄视频,检测连续帧中的人体框形态变化、人体骨骼关键点的以腰部关键点与肩部关键点构成的直线与水平位置构成的夹角变化情况来综合判断其为躺下、坐立、还是在由躺下到坐立的过程中,从而完成被测试者固定时间内仰卧起坐的检测;测试场景内可以只有一个人,也可以同时对多人检测;
2、本发明基于人体及骨骼关键点识别的仰卧起坐检测系统及方法,检测速度快,可实时检测,测试误差±1个;且检测的过程中人体无需佩戴设备无接触,不会给测试人带来不适感;成本低,除了毯子、手机支架的费用,测试人员使用自己的智能手机即可实现;可溯源性,在考试的检测过程中或者学生体质健康检测中,检测到结果的帧可以保留,并且还可以通过人脸识别方式来检测是否有作弊行为;携带方便,所有东西重量不超过3kg,尺寸不超过1米;且可同时检测多人,适合在考试仰卧起坐的检测过程中或者学生仰卧起坐体质健康检测中大面积推广使用;同时,适用于非接触式自主锻炼检测,可应用于体育家庭作业以及应急响应状态下的练习检测等场景。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为本发明系统及方法的一人应用场景图。
图2为本发明系统及方法的多人应用场景图。
图3为本发明系统及方法的检测判定流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例
如图1至图3所示,本发明基于人体及骨骼关键点识别的仰卧起坐检测系统,包括:
图像采集模块,采用高清摄像头逐帧采集被测试者在测试时间段内的视频图像;
图像识别模块,提取并识别连续帧中的被测试者的人体框和人体骨骼关键点,初始化时以腰部关键点与肩部关键点构成的直线作为相对水平线;具体的初始化过程为:一个人上去后平躺,检测到的腰部、肩部关键点连成的直线作为测试的相对水平线,以后其他人测试时的线与这一条相对水平线进行比较,以此来计算角度;
动作检测模块,检测连续帧中的被测试者人体骨骼关键点中腰部关键点与肩部关键点构成的直线与相对水平线构成的夹角变化情况来判断被测试者为躺下或者坐立或者处于由躺下到坐立及坐立到躺下的过程中;
仰卧起坐行为识别模块,基于注意力机制、LSTM训练仰卧起坐行为识别深度学习模型,识别输入的一段帧序列是否为一次仰卧起坐行为;该模块的目的是避免被测试者通过某些手段(屏幕垂直,站立做动作)作弊。
判断与计数模块,判断与记录被测试者在测试时间内完成的仰卧起坐的次数;以及
数据显示模块,显示被测试者在测试时间内完成的仰卧起坐的次数。
作为进一步地优选方案,所述判断与计数模块包括开始状态判断单元、上升状态判断单元、计数单元和下降状态判断单元;识别被测试者人体框,计算人体框对角线与底线的夹角,记为V’;检测连续帧中的被测试者人体骨骼关键点中腰部关键点与肩部关键点构成的直线与相对水平线构成的夹角,记为V,其中:
所述开始状态判断单元,当判定状态为“未开始”情况下,检测到当V≤α且V’<α’(即V值小于等于α且V’小于α’)时,记录测试状态为“开始”;
所述上升状态判断单元,当判定状态为“开始”情况下,检测到α<V<β且α’<V’<β’(即V值大于α小于β时且V’大于α’小于β’)时,记录测试状态为“上升”;
所述计数单元,当判定状态为“上升”情况下,检测到β≤V且β’<V’(即V值大于或等于β且V’大于β’),认定完成了一个仰卧起坐并记录测试状态为“计数”;
所述下降状态判断单元,当判定状态为“计数”情况下,检测到α<V<β且α’<V’<β’(即V值大于α小于β且V’大于α’小于β’)时,记录测试状态为“下降”,直至V值再次小于α且V’再次小于α’,将测试状态更新为“开始”。
作为进一步地优选方案,所述被测试者包括单人或者多人。
其中,如图1所示,图1为一人应用场景图;如图2所示,图2为多人应用场景图。
作为进一步地优选方案,所述被测试者为多人时,检测过程中,通过人体跟踪算法(比如,人体框跟踪算法),跟踪连续帧中相同人,以区分不同的人实现同时检测多人的仰卧起坐动作并进行计数。
作为进一步地优选方案,所述测试时间针对学生测试是一分钟,针对其他人群的测试可以按照需要自行规定测试时间。
本实施例中,所述仰卧起坐行为识别模块中基于注意力机制、LSTM的仰卧起坐行为识别深度学习模型训练过程为:采集不同年龄、性别、身材的被测试者的仰卧起坐视频图像标注为正样本,同时采集一些非仰卧起坐视频标注为负样本;以当前已公开的注意力机制、LSTM,微调相应参数构建一个端到端的具有双层结构的网络;模型的输入视频帧序列,输出当前帧序列端是否为一次仰卧起坐行为。
另一方面,本发明实施例还提供了一种基于人体及骨骼关键点识别的仰卧起坐检测方法,该方法包括如下步骤:
步骤1:设定四个阈值α、β、α’、β’:
所述阈值α为判定被测试者处于平躺状态时骨骼关键点连线与水平线的夹角V的最小值,所述阈值β为判定被测试者处于坐立状态时肩胯骨骼关键点连线与水平线的夹角V的最大值;
所述阈值α’为判定被测试者处于平躺状态下的人体框对角线与底边的夹角V’的最小值,所述阈值β’为判定被测试者处于坐立状态时人体框对角线与底边的夹角V’的最大值;
步骤2:初始化采集设备并设定相对水平线位置,被测试者平躺,检测到的腰部、肩部关键点连成的直线作为测试的相对水平线;其中,所述采集设备可以采用高清摄像头或者具有摄像功能的手机等;
步骤3:识别被测试者骨骼关键点,读取胯肩骨骼关键点连线与水平线夹角V;识别被测试者人体框,读取人体框对角线与底边夹角V’;
步骤4:判定状态为“未开始”情况下,检测到当V≤α且V’<α’(即V值小于等于α且V’小于α’)时,记录测试状态为“开始”;
步骤5:判定状态为“开始”情况下,检测到α<V<β且α’<V’<β’(即V值大于α小于β时且V’大于α’小于β’)时,记录测试状态为“上升”;
步骤6:判定状态为“上升”情况下,检测到β≤V且β’<V’(即V值大于或等于β且V’大于β’),认定完成了一个仰卧起坐并记录测试状态为“计数”;并将从“开始”状态到“上升”状态的帧序列输入仰卧起坐行为识别模块,如果识别为仰卧起坐行为,则真正计数加一,否则计数不增加;
步骤7:判定状态为“计数”情况下,检测到α<V<β且α’<V’<β’(即V值大于α小于β且V’大于α’小于β’)时,记录测试状态为“下降”,直至V值再次小于α且V’再次小于α’,将测试状态更新为“开始”,以此循环。
作为进一步地优选方案,所述步骤1至步骤7的测试过程中,每次识别图像帧时,均对测试时间进行判定,若测试时间未达到,则测试继续;测试时间已达到,则测试终止并上报数据。比如,规定学生测试是一分钟,若测试时间未到一分钟,则测试继续;测试时间已达到一分钟,则测试终止并上报数据。
作为进一步地优选方案,所述步骤1至步骤7的测试过程中,通过人体跟踪算法,跟踪连续帧中相同人,以区分不同的人实现同时检测多人的仰卧起坐动作并进行计数。
作为进一步地优选方案,所述步骤1至步骤7的测试过程中,通过综合判断人体框形态变化以及人体身体骨骼关键点及其连线的角度变化,以及通过仰卧起坐行为识别模型识别的是否为仰卧起坐动作的结果,来进行动作标准性检测。
工作原理是:仰卧起坐检测人工判断的方式需要耗费人力,并且精度较低;红外线测试方式,普通红外线传感器反应速度慢,量子型的价格昂贵,并且所需器械多,结构复杂,还容易被身体其他部分遮挡从而造成测量不准确;光电传感器方式,环境适应性差,不在密封环境下用就很容易被污染失效,并且需要大量的机械,复杂且昂贵,测试仪绑在被测试者身上会造成被测试者的不适,造成测量的不准确。本发明采用上述方案将手机(作为图像采集模块)安放于侧面拍摄视频,检测连续帧中的人体框形态变化、人体骨骼关键点的以腰部关键点与肩部关键点构成的直线与水平位置构成的夹角变化情况来综合判断其为躺下、坐立、还是在由躺下到坐立的过程中,从而完成被测试者固定时间内仰卧起坐的检测;测试场景内可以只有一个人,也可以同时对多人检测;通过综合判断人体框形变以及骨骼关键点连线角度变化进行动作标准型检测。
本发明系统去掉笨重的、体积大的设备,单人即可完成,不会由于环境的因素而造成测试精度的影响,使用手机(作为图像采集模块)就可完成,也不会因为主要设备出现问题就无法测试,从而提高了检测效率,极大的降低了成本,并且增加检测结果的可溯源性,可同时对个体或群体的仰卧起坐动作进行检测。
本发明系统及方法检测速度快,可实时检测,测试误差±1个;且检测的过程中人体无接触,不会给测试人带来不适感;成本低,除了、手机支架的费用,测试人员使用自己的智能手机即可实现;可溯源性,在考试的检测过程中或者学生体质健康检测中,检测到结果的视频帧可以保留,并且还可以通过人脸识别方式来检测是否有作弊行为;携带方便,所有东西重量不超过3kg,尺寸不超过1米;且可同时检测多人,适合在考试仰卧起坐的检测过程中或者学生仰卧起坐体质健康检测中大面积推广使用;同时,适用于非接触式自主锻炼检测,可应用于体育家庭作业以及应急响应状态下的练习检测等场景。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.基于人体及骨骼关键点识别的仰卧起坐检测系统,其特征在于,包括:
图像采集模块,采用高清摄像头逐帧采集被测试者在测试时间段内的视频图像;
图像识别模块,提取并识别连续帧中的被测试者的人体框和人体骨骼关键点,初始化时以腰部关键点与肩部关键点构成的直线作为相对水平线;
动作检测模块,检测连续帧中的被测试者人体骨骼关键点中腰部关键点与肩部关键点构成的直线与相对水平线构成的夹角变化情况来判断被测试者为躺下或者坐立或者处于由躺下到坐立及坐立到躺下的过程中;
仰卧起坐行为识别模块,根据基于注意力机制、LSTM训练仰卧起坐行为识别深度学习模型和基于动作检测模块的检测结果,识别输入的一段帧序列是否为一次仰卧起坐行为;所述输入的一段帧序列即为图像采集模块采集的视频图像;
判断与计数模块,判断与记录被测试者在测试时间内完成的仰卧起坐的次数;以及
数据显示模块,显示被测试者在测试时间内完成的仰卧起坐的次数;
所述判断与计数模块包括开始状态判断单元、上升状态判断单元、计数单元和下降状态判断单元;识别被测试者人体框,计算人体框对角线与底线的夹角,记为V’;检测连续帧中的被测试者人体骨骼关键点中腰部关键点与肩部关键点构成的直线与相对水平线构成的夹角,记为V,其中:
所述开始状态判断单元,当判定状态为“未开始”情况下,检测到当V≤α且V’<α’时,记录测试状态为“开始”;
所述上升状态判断单元,当判定状态为“开始”情况下,检测到α<V<β且α’<V’<β’时,记录测试状态为“上升”;
所述计数单元,当判定状态为“上升”情况下,检测到β≤V且β’<V’,认定完成了一个仰卧起坐并记录测试状态为“计数”;
所述下降状态判断单元,当判定状态为“计数”情况下,检测到α<V<β且α’<V’<β’时,记录测试状态为“下降”,直至V值再次小于α且V’再次小于α’,将测试状态更新为“开始”;
四个阈值α、β、α’、β’,阈值α为判定被测试者处于平躺状态时骨骼关键点连线与相对水平线的夹角V的最小值,阈值β为判定被测试者处于坐立状态时肩胯骨骼关键点连线与水平线的夹角V的最大值;阈值α’为判定被测试者处于平躺状态下的人体框对角线与底边的夹角V’的最小值,阈值β’为判定被测试者处于坐立状态时人体框对角线与底边的夹角V’的最大值。
2.根据权利要求1所述的基于人体及骨骼关键点识别的仰卧起坐检测系统,其特征在于,所述被测试者包括单人或者多人。
3.根据权利要求2所述的基于人体及骨骼关键点识别的仰卧起坐检测系统,其特征在于,所述被测试者为多人时,检测过程中,通过人体跟踪算法,跟踪连续帧中相同人,以区分不同的人实现同时检测多人的仰卧起坐动作并进行计数。
4.根据权利要求1所述的基于人体及骨骼关键点识别的仰卧起坐检测系统,其特征在于,所述测试时间针对学生测试是一分钟。
5.根据权利要求1所述的基于人体及骨骼关键点识别的仰卧起坐检测系统,其特征在于,所述仰卧起坐行为识别模块中基于注意力机制、LSTM的仰卧起坐行为识别深度学习模型训练过程为:采集不同年龄、性别、身材的被测试者的仰卧起坐视频图像标注为正样本,同时采集一些非仰卧起坐视频标注为负样本;模型的输入视频帧序列,输出当前帧序列端是否为一次仰卧起坐行为。
6.基于人体及骨骼关键点识别的仰卧起坐检测方法,其特征在于,该方法包括如下步骤:
步骤1:设定四个阈值α、β、α’、β’:
所述阈值α为判定被测试者处于平躺状态时骨骼关键点连线与相对水平线的夹角V的最小值,所述阈值β为判定被测试者处于坐立状态时肩胯骨骼关键点连线与水平线的夹角V的最大值;
所述阈值α’为判定被测试者处于平躺状态下的人体框对角线与底边的夹角V’的最小值,所述阈值β’为判定被测试者处于坐立状态时人体框对角线与底边的夹角V’的最大值;
步骤2:初始化采集设备并设定相对水平线位置,被测试者平躺,检测到的腰部、肩部关键点连成的直线作为测试的相对水平线;
步骤3:识别被测试者骨骼关键点,读取胯肩骨骼关键点连线与相对水平线的夹角V;识别被测试者人体框,读取人体框对角线与底边夹角V’;
步骤4:判定状态为“未开始”情况下,检测到当V≤α且V’<α’时,记录测试状态为“开始”;
步骤5:判定状态为“开始”情况下,检测到α<V<β且α’<V’<β’时,记录测试状态为“上升”;
步骤6:判定状态为“上升”情况下,检测到β≤V且β’<V’,认定完成了一个仰卧起坐并记录测试状态为“计数”,并将从“开始”状态到“上升”状态的帧序列输入仰卧起坐行为识别模块,如果识别为仰卧起坐行为,则真正计数加一,否则计数不增加;
步骤7:判定状态为“计数”情况下,检测到α<V<β且α’<V’<β’时,记录测试状态为“下降”,直至V值再次小于α且V’再次小于α’,将测试状态更新为“开始”,以此循环。
7.根据权利要求6所述的基于人体及骨骼关键点识别的仰卧起坐检测方法,其特征在于,所述步骤1至步骤7的测试过程中,每次识别图像帧时,均对测试时间进行判定,若测试时间未达到,则测试继续;测试时间已达到,则测试终止并上报数据。
8.根据权利要求6所述的基于人体及骨骼关键点识别的仰卧起坐检测方法,其特征在于,所述步骤1至步骤7的测试过程中,通过人体跟踪算法,跟踪连续帧中相同人,以区分不同的人实现同时检测多人的仰卧起坐动作并进行计数。
9.根据权利要求6所述的基于人体及骨骼关键点识别的仰卧起坐检测方法,其特征在于,所述步骤1至步骤7的测试过程中,通过综合判断人体框形态变化以及人体身体骨骼关键点及其连线的角度变化,以及通过深度仰卧起坐行为识别网络识别的是否为仰卧起坐动作的结果,来进行动作标准性检测。
CN202010453303.4A 2020-05-26 2020-05-26 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法 Active CN111368810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010453303.4A CN111368810B (zh) 2020-05-26 2020-05-26 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010453303.4A CN111368810B (zh) 2020-05-26 2020-05-26 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法

Publications (2)

Publication Number Publication Date
CN111368810A CN111368810A (zh) 2020-07-03
CN111368810B true CN111368810B (zh) 2020-08-25

Family

ID=71207555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010453303.4A Active CN111368810B (zh) 2020-05-26 2020-05-26 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法

Country Status (1)

Country Link
CN (1) CN111368810B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814700B (zh) * 2020-07-13 2023-09-26 苏州玥林信息科技有限公司 一种基于儿童行为特征的行为动作识别方法
CN111985359A (zh) * 2020-08-04 2020-11-24 山东金东数字创意股份有限公司 基于人体骨骼运动捕捉的识别控制系统和方法
CN111862758A (zh) * 2020-09-02 2020-10-30 思迈(青岛)防护科技有限公司 一种基于人工智能的心肺复苏培训与考核系统及方法
CN112149602B (zh) * 2020-09-30 2022-03-25 广州方硅信息技术有限公司 动作计数方法、装置、电子设备及存储介质
CN112464715A (zh) * 2020-10-22 2021-03-09 南京理工大学 一种基于人体骨骼点检测的仰卧起坐计数方法
CN112464915B (zh) * 2020-12-30 2024-03-26 南京积图网络科技有限公司 一种基于人体骨骼点检测的俯卧撑计数方法
CN113011242A (zh) * 2020-12-31 2021-06-22 杭州拓深科技有限公司 一种仰卧起坐计数方法、装置、电子装置和存储介质
CN112870641B (zh) * 2021-01-20 2021-11-19 岭南师范学院 基于物联网的仰卧起坐运动信息管理系统及其检测方法
CN112861723B (zh) * 2021-02-07 2023-09-01 北京卓视智通科技有限责任公司 基于人体姿势识别的体育动作识别计数方法、装置及计算机可读存储介质
CN113065474B (zh) * 2021-04-07 2023-06-27 泰豪软件股份有限公司 行为识别方法、装置及计算机设备
CN113486757B (zh) * 2021-06-29 2022-04-05 北京科技大学 基于人体骨骼关键点检测的多人直线跑步测试计时方法
CN113440789B (zh) * 2021-06-29 2022-01-18 北京科技大学 一种多人跳绳测试智能计数方法及系统
CN113487635A (zh) * 2021-07-01 2021-10-08 盛视科技股份有限公司 一种基于图像差分的仰卧起坐计数方法
CN113255623B (zh) * 2021-07-14 2021-09-24 北京壹体科技有限公司 一种智能识别俯卧撑动作姿态完成状况的系统和方法
CN113255622B (zh) * 2021-07-14 2021-09-21 北京壹体科技有限公司 一种智能识别仰卧起坐动作姿态完成状况的系统和方法
CN113255624B (zh) * 2021-07-14 2021-09-21 北京壹体科技有限公司 一种智能识别引体向上动作姿态完成状况的系统和方法
CN113893515B (zh) * 2021-10-13 2022-12-27 恒鸿达科技有限公司 一种基于视觉技术的仰卧起坐测试计数方法、装置和介质
CN114343618A (zh) * 2021-12-20 2022-04-15 中科视语(北京)科技有限公司 训练动作检测方法及装置
CN115171208A (zh) * 2022-05-31 2022-10-11 中科海微(北京)科技有限公司 仰卧起坐姿态评估方法、装置、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101172199A (zh) * 2006-07-18 2008-05-07 孙学川 仰卧起坐智能测试系统
CN102682302A (zh) * 2012-03-12 2012-09-19 浙江工业大学 一种基于关键帧的多特征融合的人体姿态识别方法
CN105608467A (zh) * 2015-12-16 2016-05-25 西北工业大学 基于Kinect的无接触式学生体质测评方法
CN105913045A (zh) * 2016-05-09 2016-08-31 深圳泰山体育科技股份有限公司 仰卧起坐测试的计数方法及系统
CN106650590A (zh) * 2016-09-30 2017-05-10 上海斐讯数据通信技术有限公司 一种仰卧起坐计数方法及装置及智能终端
CN108764050A (zh) * 2018-04-28 2018-11-06 中国科学院自动化研究所 基于角度无关性的骨架行为识别方法、系统及设备
CN109002783A (zh) * 2018-07-02 2018-12-14 北京工业大学 救援环境中的人体检测以及姿态识别方法
CN109063568A (zh) * 2018-07-04 2018-12-21 复旦大学 一种基于深度学习的花样滑冰视频自动打分的方法
CN109815907A (zh) * 2019-01-25 2019-05-28 深圳市象形字科技股份有限公司 一种基于计算机视觉技术的仰卧起坐姿态检测与指导方法
CN110135249A (zh) * 2019-04-04 2019-08-16 华南理工大学 基于时间注意力机制和lstm的人体行为识别方法
CN110163038A (zh) * 2018-03-15 2019-08-23 南京硅基智能科技有限公司 一种基于深度卷积神经网络的人体运动计数方法
CN110929596A (zh) * 2019-11-07 2020-03-27 河海大学 一种基于智能手机和人工智能的投篮训练系统与方法
CN110941990A (zh) * 2019-10-22 2020-03-31 泰康保险集团股份有限公司 基于骨骼关键点进行人体动作评估的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203139506U (zh) * 2013-01-04 2013-08-21 安徽寰智信息科技股份有限公司 一种基于动作识别技术的仰卧起坐训练辅助系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101172199A (zh) * 2006-07-18 2008-05-07 孙学川 仰卧起坐智能测试系统
CN102682302A (zh) * 2012-03-12 2012-09-19 浙江工业大学 一种基于关键帧的多特征融合的人体姿态识别方法
CN105608467A (zh) * 2015-12-16 2016-05-25 西北工业大学 基于Kinect的无接触式学生体质测评方法
CN105913045A (zh) * 2016-05-09 2016-08-31 深圳泰山体育科技股份有限公司 仰卧起坐测试的计数方法及系统
CN106650590A (zh) * 2016-09-30 2017-05-10 上海斐讯数据通信技术有限公司 一种仰卧起坐计数方法及装置及智能终端
CN110163038A (zh) * 2018-03-15 2019-08-23 南京硅基智能科技有限公司 一种基于深度卷积神经网络的人体运动计数方法
CN108764050A (zh) * 2018-04-28 2018-11-06 中国科学院自动化研究所 基于角度无关性的骨架行为识别方法、系统及设备
CN109002783A (zh) * 2018-07-02 2018-12-14 北京工业大学 救援环境中的人体检测以及姿态识别方法
CN109063568A (zh) * 2018-07-04 2018-12-21 复旦大学 一种基于深度学习的花样滑冰视频自动打分的方法
CN109815907A (zh) * 2019-01-25 2019-05-28 深圳市象形字科技股份有限公司 一种基于计算机视觉技术的仰卧起坐姿态检测与指导方法
CN110135249A (zh) * 2019-04-04 2019-08-16 华南理工大学 基于时间注意力机制和lstm的人体行为识别方法
CN110941990A (zh) * 2019-10-22 2020-03-31 泰康保险集团股份有限公司 基于骨骼关键点进行人体动作评估的方法和装置
CN110929596A (zh) * 2019-11-07 2020-03-27 河海大学 一种基于智能手机和人工智能的投篮训练系统与方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Recognition and Repetition Counting for Complex Physical Exercises with Deep Learning;Andrea Soro 等;《sensors》;20190210;第19卷(第3期);第1-22页 *
Recognizing Exercises and Counting Repetitions in Real Time;Talal Alatiah 等;《arXiv》;20200507;第3节,图11 *
基于Bi-LSTM-Attention模型的人体行为识别算法;朱铭康 等;《激光与光电子学进展》;20190319;第56卷(第15期);摘要 *

Also Published As

Publication number Publication date
CN111368810A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111368810B (zh) 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法
CN109815907B (zh) 一种基于计算机视觉技术的仰卧起坐姿态检测与指导方法
CN111282248A (zh) 一种基于骨骼和人脸关键点的引体向上检测系统及方法
CN110969114A (zh) 一种人体动作功能检测系统、检测方法及检测仪
CN107103298A (zh) 基于图像处理的引体向上计数系统及计数方法
CN111012353A (zh) 一种基于人脸关键点识别的身高检测方法
CN113856186B (zh) 一种引体向上动作判定与计数的方法、系统及装置
CN113139962B (zh) 用于脊柱侧凸概率评估的系统和方法
CN114307117B (zh) 基于视频的立定跳远成绩测量方法和装置
CN114100103B (zh) 一种基于关键点识别的跳绳计数检测系统及方法
CN111883229A (zh) 一种基于视觉ai的智能运动指导方法及系统
CN113255622B (zh) 一种智能识别仰卧起坐动作姿态完成状况的系统和方法
CN114618142A (zh) 一种用于兵乓球运动的辅助训练系统及方法
CN116650922A (zh) 基于深度学习的青少年体适能全面测试方法和系统
CN115953834A (zh) 面向仰卧起坐的多头注意力姿态估计方法及检测系统
CN115568823A (zh) 一种人体平衡能力评估的方法、系统和装置
CN116271757A (zh) 一种基于ai技术的篮球练习的辅助系统和方法
CN116152924A (zh) 一种运动姿势评估方法、装置、系统及计算机存储介质
CN115116125A (zh) 一种俯卧撑的考核方法及其实现装置
CN115690895A (zh) 基于人体骨骼点检测的多人运动检测方法及装置
KR102369359B1 (ko) 영상기반 지능형 푸시-업 판별 방법 및 푸시-업 판별 시스템
KR20160035497A (ko) 스켈레톤 추출정보를 이용한 동작분석 기반의 체형분석 시스템
CN111012357A (zh) 一种基于图像识别的坐位体前屈检测设备及方法
TWI821772B (zh) 肌肉狀況檢測方法及應用其之肌肉狀況檢測裝置
KR102568538B1 (ko) 이동 로봇을 이용한 휴먼 자세 평가 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant