CN111401260A - 基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统 - Google Patents

基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统 Download PDF

Info

Publication number
CN111401260A
CN111401260A CN202010191868.XA CN202010191868A CN111401260A CN 111401260 A CN111401260 A CN 111401260A CN 202010191868 A CN202010191868 A CN 202010191868A CN 111401260 A CN111401260 A CN 111401260A
Authority
CN
China
Prior art keywords
sit
test
stage
quick
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010191868.XA
Other languages
English (en)
Other versions
CN111401260B (zh
Inventor
张堃
殷佳炜
朱洪堃
冯文宇
刘腾
李佩齐
孙宇翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202010191868.XA priority Critical patent/CN111401260B/zh
Publication of CN111401260A publication Critical patent/CN111401260A/zh
Application granted granted Critical
Publication of CN111401260B publication Critical patent/CN111401260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Quick‑OpenPose模型的仰卧起坐测试计数方法及系统，通过在测试区侧面放置摄像机，以一定帧率持续拍摄测试者的测试图像。使用改进的Quick‑OpenPose模型识别人体主要部位并对其编号、连线，挑选出脊柱连接线条以及头部和膝盖连接线条。将脊柱连结线条与地面间的角度作为首选判断条件，当脊柱连结线条识别不到时，选择头部到膝盖的连接线条长度作为备用判断条件。分别设定卧姿起身、坐姿、卧姿躺下三个判断条件。当3个判断条件都满足时，系统计数一次。依靠视觉识别减少干扰因素，简化设备，同时本发明还提供对应的计数系统。本发明实现自助式的仰卧起坐测试和计数，测试效率高，可以附加在现有仰卧起坐垫上，实现实时的计数。

Description

基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统
技术领域
本发明涉及深度学习、机器视觉与图像处理技术领域，尤其是一种基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统技术。
背景技术
在国家体育总局群体司于2003年发布的《国民体质测定标准手册及标准(成年人部分)》中，仰卧起坐被列入国民体质的测试项目之一。在现代生活中，亚健康现象严重，健身等运动成为热潮，仰卧起坐作为运动中的基础动作也随之兴起。
在对检测中的项目测试精度越来越高的要求和实现无人化测试需求下，目前已有的仰卧起坐测试方法尚不具备良好测试体验，测试效率、准确率、自动化程度仍有待提高。现有的仰卧起坐计数方法有如下几种：人工计数、传感器测试法、机器视觉测试法。人工计数过程中，容易出错，耗费人力，个人评判标准不同影响测试成绩；传感器测试法是通过接受安装在被测学生身上的传感器信号，经由上位机处理该信号后进行人体姿态识别计数，具有小型化和即时检测的优点。但往往不能辨别动作的标准程度，而且需要穿戴传感器会造成测试者不适，影响正常水平发挥。
市面上现有的基于机器视觉测试法的仰卧起坐测试仪器按方法分为两类：传统机器视觉测试法和卷积神经网络测试法。传统的机器视觉在进行人体姿势分析时，多采用基于模板匹配的几何计算方法对多种模板控件进行多维度建模，建立一个可以适配人体各个结构的、具备强适用性的模板。然而，这种方法目前还并没有一个令大家普遍感到满意的匹配算法，精度难以符合预期目标并且工作量大。
中国专利“仰卧起坐测试的计数方法及系统”专利申请号：201610298570.2就是基于视觉传感器的仰卧起坐检测系统。但是该方法不是检测人体，而是识别垫子上的纹理变化接进行仰卧起坐计数，对仰卧起坐的质量无法判断，并且识别精度受图像纹理干扰影响很大。而卷积神经网络测试法也同样受限于识别精度，但2017年CAO Zhe等人提出自底向上的OpenPose模型后，此种方法在识别精度上超过人类，但在识别速度与模型大小方面则有些不足。中国专利“一种基于关节点的人体动作匹配评分方法”，专利申请号：201910215317.X提出一种基于OpenPose的人体关节识别方法并判断人体动作，首先改方法为开源OpenPose模型，算法实时性很差，无法直接应用到体测实时检测中。
发明内容
发明目的：本发明的目的是为了解决现有技术中的不足，提供一种基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统。
技术方案：本发明所述的一种基于Quick-OpenPose模型的仰卧起坐测试计数方法，包括如下步骤：
S1、通过放置在测试者一侧的摄像头拍摄测试者的躯干图像，并以一定帧率持续拍摄测试者躯干的测试图像；
S2、通过建立的Quick-OpenPose模型，识别出测试图像的每帧图片的关键点并对其编号、连线：挑选出臀部和颈部的2个关键点，其连线定义为人体脊柱角度线条；并挑选头部和膝盖2个关键点，分别连接头部和膝盖，定义为头膝距离线条；
S3、仰卧起坐检测分成三个阶段：卧姿起身阶段、坐姿阶段和卧姿躺下阶段，每个阶段的检测均需要达到一定阈值，才算完成一组仰卧起做；
S4、根据识别出的关节连线图像，人体脊柱角度线条与地面间有一定角度，当初次发现某帧图像中角度值达到预设的卧姿阈值时，将该帧设置为起始帧，并记为卧姿起身阶段开始；
S5、继续提取分析后续各帧图像，当满足脊柱角度或者头膝距离达到完成坐姿动作的设定阈值时，卧姿起身阶段转为坐姿阶段；
S6、在完成坐姿动作后，判断脊柱角度达到卧姿躺下阶段设定的阈值时，坐姿阶段转为卧姿躺下阶段；
S7、当三个阶段同时满足规定阈值时，仰卧起坐计数一次。
进一步的，步骤S2中识别出测试图像每帧图片的关键关节点并对其编号、连线具体包括：
测试图像的每帧图片首先由ResNet-18模型前10层处理，得到输出特征图F；然后把特征图F作为第一个阶段的输入，后续阶段的输入则是特征图F和上一阶段的输出，每个阶段都由两个相同模块组成；最后，将经过这些阶段处理的结果输入到肢体匹配模块P中，进行肢体组装，最终输出原图像中的人体姿势识别结果。
进一步的，所述每个阶段中的两个模块，其中一个模块为关键点定位模块L，它先通过卷积神经网络获取高维信息，再使用非极大值抑制算法得到每个关键部位的置信度图；另一个模块为关键点联系模块A，它同样先通过卷积神经网络处理获取高维信息，再得出原始图像中候选肢体的集合，之后使用局部区域亲和算法，求出肢体c的置信度Ec，每个模块A和模块L的输出结果都会进行一次空间域注意力增强。
进一步的，所述局部区域亲和算法计算过程如下：
设j1、j2是两个不同的关键部位，v为从j1指向j2的单位向量，vT为向量v的垂直向量，肢体c的长度和宽度分别设为lc、σc，
Figure BDA0002416216110000031
分别表示候选关键部位j1、j2的位置坐标；首先，如公式(1)所示：
Figure BDA0002416216110000032
计算图像上某一点p在肢体c上的置信向量Ac(p)，如果点p在肢体c上，则Ac(p)就等于肢体c的单位方向向量v，否则为零向量；其中，使用公式(2)和(3)判断点p是否在肢体c上：
Figure BDA0002416216110000033
Figure BDA0002416216110000034
之后，求出肢体c的置信度Ec，它是计算关键部位j1、j2之间连线上所有点的置信向量的定积分得来的，如公式(4)所示：
Figure BDA0002416216110000035
其中，P(u)表示取遍j1、j2之间的所有点(0≤u≤1)，计算方法如公式(5)所示：
Figure BDA0002416216110000036
由公式(4)可知，如果
Figure BDA0002416216110000037
方向与Ac(p)方向一致，则Ec值将会较大，说明该位置是一个肢体的可能性比较大。
进一步的，所述的空间域注意力增强方式为：
(1)将对应模块所输出的H×W×C的特征图作为输入，对其进行基于频道的全局最大池化和全局平均池化，两者大小均为H×W×1，计算方式为：
全局最大池化：F(x,y)＝max(f(xi,yi)),i＝1,2,C
全局平均池化：F(x,y)＝avg(f(xi,yi)),i＝1,2,C
其中，f(xi,yi)是指特征图中第i个频道(x,y)处的数据值；F(x,y)是指所得结果(x,y)处的数据值；
(2)将(1)中所得全局最大池化和全局平均池化的结果拼接，此时其大小为H×W×2；
(3)使用一个1X1X2的卷积核对(2)中结果进行卷积运算，此时其大小为H×W×1；
(4)使用sigmoid函数将(3)中结果进行归一化，即可得到空间注意力特征图；
(5)将原来的特征图与空间注意力特征图相乘，所得结果就是增强了空间域注意力的特征图。
进一步的，肢体匹配模块P，采用关键部位全连接匹配方式，即将通过关键点定位模块获得的候选关键部位与通过关键点联系模块获得的候选肢体相互组合并计算该组合方式对应的置信度，在遍历所有可能的组合之后，找出其中置信度最高的组合方式，即为最可能的人体姿势，将其作为最终识别结果输出，组合方式置信度的计算方式为，该组合方式所对应的每条肢体置信度Ec的总和，记为∑Ec。
进一步的，所述的Quick-OpenPose模型包括外部结构和内部结构，外部结构包括4个阶段8个模块和模块间的跨层连接通路；内部结构中，关键点定位模块L和关键点联系模块A内部结构相同，都是由C1～C7共7个卷积块构成。
进一步的，所述C1～C7卷积块中C1～C4为4个3X3卷积层所构成的小型跨层卷积神经网络，它能在提取高维特征信息和空间纹理信息的同时保留部分底层信息，有效提高了参数共享率，降低参数冗余程度，提高检测精度；所述C5～C7卷积块是3个1X1卷积层，它能将小型跨层卷积神经网络的输出结果降维以便于作为下一阶段的输入，起到加快运算速度、缩小模型大小、缓和降维过程的作用。
进一步的，所述步骤S3中：卧姿起身阶段的阈值为脊柱角度<15°；坐姿阶段的阈值为脊柱角度>75°或者头膝距离<10个像素；卧姿躺下阶段的阈值为脊柱角度<15°。
进一步的，所述步骤S5还包括：坐姿的检测条件为首先识别脊柱线条角度，如若人体脊柱线条未能成功识别，则采用头膝距离进行辅助判断。
进一步的，所述步骤S1之前还包括采用IC卡识别和/或脸部识别技术对测试者的身份识别；若身份识别成功进行正常测试，若身份识别不成功停止测试并提示重新进行身份识别。
本发明还公开了一种基于Quick-OpenPose模型的仰卧起坐测试计数系统，包括垫子、人脸识别装置、仰卧起坐测试台，所述的人脸识别装置包括摄像杆和安装在所述摄像杆上的人脸识别摄像头；所述的仰卧起坐测试台包括语音播报系统、仰卧起坐摄像头、IC卡读卡器、体侧显示屏、仰卧起坐数据服务器，所述语音播报系统、IC卡读卡器、体侧显示屏集成设置，所述仰卧起坐摄像头安装在所述垫子的一侧，所述仰卧起坐摄像头与仰卧起坐数据服务器连接，所述仰卧起坐数据服务器与所述体侧显示屏相互通讯连接。
有益效果：本发明通过基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统能够实现仰卧起坐测试、计数、成绩记录。与现有技术相比，本发明的有益效果包括：建立Quick-OpenPose模型识别人体姿势，运算速度快，人体姿势识别的正确率高；建立仰卧起坐测试计数系统，能够辨别动作的标准程度，实现仰卧起坐个数的精准技术；减少人工干预，有效防止作弊，实现成绩的真实；测试方法简单，测试者体验感好；智能化高，能实现测试成绩自动处理。
附图说明
图1是本发明测试系统一个实施例结构示意图；
图2是本发明测试计数方法流程图；
图3是本发明Quick-OpenPose人体姿势识别流程图；
图4是本发明Quick-OpenPose模型内外结构图；
图5是本发明Quick-OpenPose模型训练得到的测试者关节连线图；
图6是本发明所检测的一个合格仰卧起坐动作完成的起始帧示意图；
图7是本发明所检测的一个合格仰卧起坐动作完成的过程帧示意图；
图8是本发明所检测的一个合格仰卧起坐动作完成的结束帧示意图。
具体实施方式
下面结合具体实施例对本发明的技术方案作进一步详细说明。
如图1所示，为本发明一个实施例的基于Quick-OpenPose模型的仰卧起坐测试计数系统，包括垫子101、人脸识别装置、仰卧起坐测试台。所述的人脸识别装置包括摄像杆201和安装在摄像杆201顶部的人脸识别摄像头202，其中人脸识别摄像头202用于对测试者的面部进行人脸识别，以确定测试者的身份。所述的仰卧起坐测试台包括语音播报系统301、仰卧起坐摄像头302、IC卡读卡器303、体侧显示屏304、仰卧起坐数据服务器305和卧起坐计数系统，仰卧起坐数据服务器305和卧起坐计数系统连接。其中语音播报系统301用于对核对后的身份进行播报，仰卧起坐摄像头302用于对测试者的仰卧起坐过程进行拍摄，以便进行计数，IC卡读卡器303用于对测试者的身份识别，体侧显示屏304可以显示测试者的身份信息以及最终的仰卧起坐计数数目，仰卧起坐数据服务器305将仰卧起坐摄像头302拍摄的图像进行储存并传输至卧起坐计数系统进行处理。
本实施例中优选地，所述的摄像杆201安装在垫子101头部一侧，人脸识别摄像头202安装在所述摄像杆201顶部，且正对测试者脸部。
本实施例中优选地，所述的仰卧起坐摄像头302设置在垫子101的某一侧，语音播报系统301、IC卡读卡器303、体侧显示屏304设置在垫子101的侧部。
本系统中的IC卡读卡器和人脸识别摄像头202均用于对测试者的身份识别，但是也可以单独采用IC卡读卡器或人脸识别摄像头202进行身份识别，不限定采用IC卡读卡器和人脸识别摄像头202进行双重识别。下面本实施例对采用IC卡读卡器和人脸识别摄像头202进行双重识别过程作进一步说明，但是具体技术方案不仅限于此：
首先，学生将学生IC卡插入IC卡读卡器303中，仰卧起坐数据服务器305识别学生身份并对预先存储在内部的学生记录文件进行检索，体测显示器304显示出学生学号，姓名，身份检验状态，仰卧起坐测试状态、仰卧起坐测试成绩与成绩确认等项。
在身份登记后，学生平躺在垫子101上做测试状，脸正面朝上，安装在垫子101上方的人脸识别摄像头202为学生的脸部摄像，通过无线电波传输到仰卧起坐数据服务器305，利用人脸识别系统，确认学生是否学生IC卡持卡者。若学生是学生IC卡持卡者，则语音播报系统301提示‘身份正确’，体侧显示器304中的身份检验状态由‘未确认’变为‘正确’；若学生不是学生IC卡持卡者，若学生是学生IC卡持卡者，则语音播报系统301提示‘身份错误’，则体测显示器304中的身份检验状态由‘未确认’变为‘错误’，之后体测显示器304清除学生IC卡的身份信息进入初始界面，重新测试。
确定学生为学生卡为本人后，待人体平躺在垫子101一定时间(比如五秒)后，语音播报系统301提示‘测试开始’。仰卧起坐计数系统将计数一分钟内学生仰卧起坐次数，在测试中每个仰卧起坐动作完成后语音播报系统301提示已做仰卧起坐数目，体测显示器305中的仰卧起坐测试成绩同步显示已做仰卧起坐数目，测试时间结束后语音播报系统301提示‘测试停止’。
仰卧起坐计数系统将成绩传入仰卧起坐数据服务器并保存，体侧显示器304中的仰卧起坐测试成绩项同步显示已做仰卧起坐数目，待学生点击体测显示器中的成绩确认项后，体测显示器304回到初始界面。转到进行下一个学生测试。
参见图2，本发明一个实施例的基于Quick-OpenPose模型的仰卧起坐测试计数方法，其步骤包括如下：
S1、单目摄像头放置在被测试者的的一侧(本实施例中选择左侧)，拍摄测试者的左侧躯干，并以一定帧率持续拍摄测试者的测试图像；
S2、通过建立的Quick-OpenPose模型，识别出测试图像的每帧图片的关键点并对其编号、连线：挑选出臀部和颈部的2个关键点，其连线定义为人体脊柱角度线条。并挑选头部和左膝2个关键点，分别连接头部和左膝，定义为头膝距离线条；
如图5所示，图5的左图展示了Quick-OpenPose模型训练得到的测试者人体关键点及其编号，连线；右图展示了测试者的真实图片与人体关键点连线的比较；脊柱角度线条为编号1和编号11的连线；头膝距离线条为编号0和编号12的连线；
S3、仰卧起坐检测分成三个阶段：卧姿起身阶段、坐姿阶段和卧姿躺下阶段。每个阶段的检测均需要达到一定阈值，才算完成一组仰卧起做；
S4、根据识别出的关节连线图像，人体脊柱角度线条与地面间有一定角度，当初次发现某帧图像中角度值达到预设的卧姿阈值时，将该帧设置为起始帧，并记为卧姿起身阶段开始；
S5、继续提取分析后续各帧图像，当满足脊柱角度或者头膝距离达到完成坐姿动作的设定阈值时，卧姿起身阶段转为坐姿阶段；
S6、在完成坐姿动作后，判断脊柱角度达到卧姿躺下阶段设定的阈值时，坐姿阶段转为卧姿躺下阶段；
S7、当三个阶段同时满足规定阈值时，仰卧起坐计数一次。
参见图3，上述步骤S2中识别出测试图像的每帧图片的关键点并对其编号、连线，其具体步骤为：
测试图像的每帧图片首先由ResNet-18模型前10层处理，得到输出特征图F；然后把特征图F作为第一个阶段的输入，后续阶段的输入则是特征图F和上一阶段的输出，每个阶段都由两个相同模块组成；最后，将经过这些阶段处理的结果输入到肢体匹配模块P中，进行肢体组装，最终输出原图像中的人体姿势识别结果。
其中一个模块为关键点定位模块L，它先通过卷积神经网络获取高维信息，再使用非极大值抑制算法得到每个关键部位的置信度图；另一个模块为关键点联系模块A，它同样先通过卷积神经网络处理获取高维信息，再得出原始图像中候选肢体的集合，之后使用局部区域亲和算法，求出肢体的置信度Ec。此外，每个模块A和模块L的输出结果都会进行一次空间域注意力增强。
局部区域亲和算法的计算过程如下：设j1、j2是两个不同的关键部位，v为从j1指向j2的单位向量，vT为向量v的垂直向量，肢体c的长度和宽度分别设为lc、σc，Xj1、Xj2分别表示候选关键部位j1、j2的位置坐标。首先，如公式(1)所示：
Figure BDA0002416216110000071
计算图像上某一点p在肢体c上的置信向量Ac(p)。如果点p在肢体c上，则Ac(p)就等于肢体c的单位方向向量v，否则为零向量。其中，使用公式(2)和(3)判断点p是否在肢体c上：
Figure BDA0002416216110000081
Figure BDA0002416216110000082
之后，就可求出肢体c的置信度Ec，它是计算关键部位j1、j2之间连线上所有点的置信向量的定积分得来的，如公式(4)所示：
Figure BDA0002416216110000083
其中，P(u)表示取遍j1、j2之间的所有点(0≤u≤1)，计算方法如公式(5)所示：
Figure BDA0002416216110000084
由公式(4)可知，如果
Figure BDA0002416216110000085
方向与Ac(p)方向一致，则Ec值将会较大，说明该位置是一个肢体的可能性比较大。
空间注意力增强方式如下：
(1)将对应模块所输出的H×W×C的特征图作为输入，对其进行基于频道的全局最大池化和全局平均池化，两者大小均为H×W×1；计算方式为：
全局最大池化：F(x,y)＝max(f(xi,yi)),i＝1,2,C
全局平均池化：F(x,y)＝avg(f(xi,yi)),i＝1,2,C
其中，f(xi,yi)是指特征图中第i个频道(x,y)处的数据值；F(x,y)是指所得结果(x,y)处的数据值。
(2)将(1)中所得全局最大池化和全局平均池化的结果拼接，此时其大小为H×W×2；
(3)使用一个1X1X2的卷积层对(2)中结果进行卷积运算，此时其大小为H×W×1；
(4)使用sigmoid函数将(3)中结果进行归一化，即可得到空间注意力特征图；
(5)将原来的特征图与空间注意力特征图相乘，所得结果就是增强了空间注意力的特征图。
其中肢体匹配模块P，采用关键部位全连接匹配方式，即将通过关键点定位模块获得的候选关键部位与通过关键点联系模块获得的候选肢体相互组合并计算该组合方式对应的置信度，在遍历所有可能的组合之后，找出其中置信度最高的组合方式，即为最可能的人体姿势，将其作为最终识别结果输出。组合方式置信度的计算方式为，该组合方式所对应的每条肢体置信度Ec的总和，记为∑Ec。
如图4所示，展示了Quick-OpenOpose模型的外、内部结构。其外部结构包括4个阶段8个模块和模块间的跨层连接通路；内部结构中，关键点定位模块L和关键点联系模块A内部结构相同，都是由C1～C7共7个卷积块构成，其中C1～C4为4个3×3卷积核所构成的小型跨层卷积神经网络，它能在提取高维特征信息和空间纹理信息的同时保留部分底层信息，有效提高了参数共享率，降低参数冗余程度，提高检测精度；其中C5～C7卷积块是3个1×1卷积核，它能将小型跨层卷积神经网络的输出结果降维以便于作为下一阶段的输入，起到加快运算速度、缩小模型大小、缓和降维过程的作用。
本实施例中优选地，步骤S3还包括：卧姿起身阶段的阈值为脊柱角度<15°，坐姿阶段的阈值为脊柱角度>75°或者头膝距离<10个像素,卧姿躺下阶段的阈值为脊柱角度<15°。
比如来测试者初次躺下判断躺平的中间值为0，坐姿预设阈值为75°，测试者达到坐姿阈值完成一次计数后，中间值变为1。当躺下过程中，关节连线的夹角度数小于15°时，满足卧姿阈值，中间值再次变为0。即达到坐姿阈值并实现成功计数一次的前提是动作标准，测试者躺下的动作实现背部与头贴合仰卧起坐垫，也体现在中间值为0是下次成功计数的前提。
本实施例中优选地，步骤S5还包括：坐姿的检测条件为首先识别脊柱线条角度，如若人体脊柱线条未能成功识别，则采用头膝距离进行辅助判断。图6-图8展示了一个合格仰卧起坐动作完成的起始帧、过程帧和结束帧。
此外，参考图2，步骤S4还包括，在设置动作起始帧的同时，计时开始；步骤S4中，提取某帧角度图像之前，先判定该帧所在时刻相对计时开始时刻是否已经到达预设时长，若是则结束本次测试，否则继续测试。
本发明通过基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统能够实现仰卧起坐测试、计数、成绩记录。与现有技术相比，本发明的有益效果包括：建立Quick-OpenPose模型识别人体姿势，运算速度快，人体姿势识别的正确率高；建立仰卧起坐测试计数系统，能够辨别动作的标准程度，实现仰卧起坐个数的精准技术；减少人工干预，有效防止作弊，实现成绩的真实；测试方法简单，测试者体验感好；智能化高，能实现测试成绩自动处理。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (12)

1.一种基于Quick-OpenPose模型的仰卧起坐测试计数方法，其特征在于：包括如下步骤：
S1、通过放置在测试者一侧的摄像头拍摄测试者的躯干图像，并以一定帧率持续拍摄测试者躯干的测试图像；
S2、通过建立的Quick-OpenPose模型，识别出测试图像的每帧图片的关键点并对其编号、连线：挑选出臀部和颈部的2个关键点，其连线定义为人体脊柱角度线条；并挑选头部和膝盖2个关键点，分别连接头部和膝盖，定义为头膝距离线条；
S3、仰卧起坐检测分成三个阶段：卧姿起身阶段、坐姿阶段和卧姿躺下阶段，每个阶段的检测均需要达到一定阈值，才算完成一组仰卧起做；
S4、根据识别出的关节连线图像，人体脊柱角度线条与地面间有一定角度，当初次发现某帧图像中角度值达到预设的卧姿阈值时，将该帧设置为起始帧，并记为卧姿起身阶段开始；
S5、继续提取分析后续各帧图像，当满足脊柱角度或者头膝距离达到完成坐姿动作的设定阈值时，卧姿起身阶段转为坐姿阶段；
S6、在完成坐姿动作后，判断脊柱角度达到卧姿躺下阶段设定的阈值时，坐姿阶段转为卧姿躺下阶段；
S7、当三个阶段同时满足规定阈值时，仰卧起坐计数一次。
2.根据权利要求1所述的一种基于Quick-OpenPose模型的仰卧起坐测试计数方法，其特征在于：步骤S2中识别出测试图像每帧图片的关键关节点并对其编号、连线具体包括：
测试图像的每帧图片首先由ResNet-18模型前10层处理，得到输出特征图F；然后把特征图F作为第一个阶段的输入，后续阶段的输入则是特征图F和上一阶段的输出，每个阶段都由两个相同模块组成；最后，将经过这些阶段处理的结果输入到肢体匹配模块P中，进行肢体组装，最终输出原图像中的人体姿势识别结果。
3.根据权利要求2所述的一种基于Quick-OpenPose模型的仰卧起坐测试计数方法，其特征在于：所述每个阶段中的两个模块，其中一个模块为关键点定位模块L，它先通过卷积神经网络获取高维信息，再使用非极大值抑制算法得到每个关键部位的置信度图；另一个模块为关键点联系模块A，它同样先通过卷积神经网络处理获取高维信息，再得出原始图像中候选肢体的集合，之后使用局部区域亲和算法，求出肢体c的置信度Ec，每个模块A和模块L的输出结果都会进行一次空间域注意力增强。
4.根据权利要求3所述的一种基于Quick-OpenPose模型的仰卧起坐测试计数方法，其特征在于：所述局部区域亲和算法计算过程如下：
设j1、j2是两个不同的关键部位，v为从j1指向j2的单位向量，vT为向量v的垂直向量，肢体c的长度和宽度分别设为lc、σc，
Figure FDA0002416216100000021
分别表示候选关键部位j1、j2的位置坐标；首先，如公式(1)所示：
Figure FDA0002416216100000022
计算图像上某一点p在肢体c上的置信向量Ac(p)，如果点p在肢体c上，则Ac(p)就等于肢体c的单位方向向量v，否则为零向量；其中，使用公式(2)和(3)判断点p是否在肢体c上：
Figure FDA0002416216100000023
Figure FDA0002416216100000024
之后，求出肢体c的置信度Ec，它是计算关键部位j1、j2之间连线上所有点的置信向量的定积分得来的，如公式(4)所示：
Figure FDA0002416216100000025
其中，P(u)表示取遍j1、j2之间的所有点(0≤u≤1)，计算方法如公式(5)所示：
Figure FDA0002416216100000026
由公式(4)可知，如果
Figure FDA0002416216100000027
方向与Ac(p)方向一致，则Ec值将会较大，说明该位置是一个肢体的可能性比较大。
5.根据权利要求3所述的一种基于Quick-OpenPose模型的仰卧起坐测试计数方法，其特征在于：所述的空间域注意力增强方式为：
(1)将对应模块所输出的H×W×C的特征图作为输入，对其进行基于频道的全局最大池化和全局平均池化，两者大小均为H×W×1，计算方式为：
全局最大池化：F(x,y)＝max(f(xi,yi)),i＝1,2,C
全局平均池化：F(x,y)＝avg(f(xi,yi)),i＝1,2,C
其中，f(xi,yi)是指特征图中第i个频道(x,y)处的数据值；F(x,y)是指所得结果(x,y)处的数据值；
(2)将(1)中所得全局最大池化和全局平均池化的结果拼接，此时其大小为H×W×2；
(3)使用一个1X1X2的卷积核对(2)中结果进行卷积运算，此时其大小为H×W×1；
(4)使用sigmoid函数将(3)中结果进行归一化，即可得到空间注意力特征图；
(5)将原来的特征图与空间注意力特征图相乘，所得结果就是增强了空间域注意力的特征图。
6.根据权利要求2所述的一种基于Quick-OpenPose模型的仰卧起坐测试计数方法，其特征在于：肢体匹配模块P，采用关键部位全连接匹配方式，即将通过关键点定位模块获得的候选关键部位与通过关键点联系模块获得的候选肢体相互组合并计算该组合方式对应的置信度，在遍历所有可能的组合之后，找出其中置信度最高的组合方式，即为最可能的人体姿势，将其作为最终识别结果输出，组合方式置信度的计算方式为，该组合方式所对应的每条肢体置信度Ec的总和，记为∑Ec。
7.根据权利要求2所述的一种基于Quick-OpenPose模型的仰卧起坐测试计数方法，其特征在于：所述的Quick-OpenPose模型包括外部结构和内部结构，外部结构包括4个阶段8个模块和模块间的跨层连接通路；内部结构中，关键点定位模块L和关键点联系模块A内部结构相同，都是由C1～C7共7个卷积块构成。
8.根据权利要求7所述的一种基于Quick-OpenPose模型的仰卧起坐测试计数方法，其特征在于：所述C1～C7卷积块中C1～C4为4个3X3卷积层所构成的小型跨层卷积神经网络，它能在提取高维特征信息和空间纹理信息的同时保留部分底层信息，有效提高了参数共享率，降低参数冗余程度，提高检测精度；所述C5～C7卷积块是3个1X1卷积层，它能将小型跨层卷积神经网络的输出结果降维以便于作为下一阶段的输入，起到加快运算速度、缩小模型大小、缓和降维过程的作用。
9.根据权利要求1所述的一种基于Quick-OpenPose模型的仰卧起坐测试计数方法，其特征在于：所述步骤S3中：卧姿起身阶段的阈值为脊柱角度<15°；坐姿阶段的阈值为脊柱角度>75°或者头膝距离<10个像素；卧姿躺下阶段的阈值为脊柱角度<15°。
10.根据权利要求1所述的一种基于Quick-OpenPose模型的仰卧起坐测试计数方法，其特征在于：所述步骤S5还包括：坐姿的检测条件为首先识别脊柱线条角度，如若人体脊柱线条未能成功识别，则采用头膝距离进行辅助判断。
11.根据权利要求1所述的一种基于Quick-OpenPose模型的仰卧起坐测试计数方法，其特征在于：所述步骤S1之前还包括采用IC卡识别和/或脸部识别技术对测试者的身份识别；若身份识别成功进行正常测试，若身份识别不成功停止测试并提示重新进行身份识别。
12.一种基于Quick-OpenPose模型的仰卧起坐测试计数系统，其特征在于：包括垫子、人脸识别装置、仰卧起坐测试台，所述的人脸识别装置包括摄像杆和安装在所述摄像杆上的人脸识别摄像头；所述的仰卧起坐测试台包括语音播报系统、仰卧起坐摄像头、IC卡读卡器、体侧显示屏、仰卧起坐数据服务器，所述语音播报系统、IC卡读卡器、体侧显示屏集成设置，所述仰卧起坐摄像头安装在所述垫子的一侧，所述仰卧起坐摄像头与仰卧起坐数据服务器连接，所述仰卧起坐数据服务器与所述体侧显示屏相互通讯连接。
CN202010191868.XA 2020-03-18 2020-03-18 基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统 Active CN111401260B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010191868.XA CN111401260B (zh) 2020-03-18 2020-03-18 基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010191868.XA CN111401260B (zh) 2020-03-18 2020-03-18 基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统

Publications (2)

Publication Number Publication Date
CN111401260A true CN111401260A (zh) 2020-07-10
CN111401260B CN111401260B (zh) 2020-09-29

Family

ID=71428850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010191868.XA Active CN111401260B (zh) 2020-03-18 2020-03-18 基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统

Country Status (1)

Country Link
CN (1) CN111401260B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464715A (zh) * 2020-10-22 2021-03-09 南京理工大学 一种基于人体骨骼点检测的仰卧起坐计数方法
CN112774112A (zh) * 2021-01-29 2021-05-11 重庆工程职业技术学院 体育训练用的仰卧起坐装置
CN112966597A (zh) * 2021-03-04 2021-06-15 山东云缦智能科技有限公司 一种基于骨骼关键点的人体运动动作计数方法
CN113011242A (zh) * 2020-12-31 2021-06-22 杭州拓深科技有限公司 一种仰卧起坐计数方法、装置、电子装置和存储介质
CN113893515A (zh) * 2021-10-13 2022-01-07 恒鸿达科技有限公司 一种基于视觉技术的仰卧起坐测试计数方法、装置和介质
CN114011026A (zh) * 2021-10-29 2022-02-08 北京林业大学 一种非接触式体能测试系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140157911A1 (en) * 2012-12-10 2014-06-12 The Regents Of The University Of California On-bed monitoring system for range of motion exercises with a pressure sensitive bed sheet
CN105608467A (zh) * 2015-12-16 2016-05-25 西北工业大学 基于Kinect的无接触式学生体质测评方法
CN106934830A (zh) * 2017-03-14 2017-07-07 北京林业大学 一种基于深度图像的非接触式体能测试系统及测试方法
CN107122798A (zh) * 2017-04-17 2017-09-01 深圳市淘米科技有限公司 基于深度卷积网络的引体向上计数检测方法及装置
CN109409994A (zh) * 2018-10-15 2019-03-01 北京京东金融科技控股有限公司 模拟用户穿戴服装饰品的方法、装置和系统
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN109815907A (zh) * 2019-01-25 2019-05-28 深圳市象形字科技股份有限公司 一种基于计算机视觉技术的仰卧起坐姿态检测与指导方法
CN110008857A (zh) * 2019-03-21 2019-07-12 浙江工业大学 一种基于关节点的人体动作匹配评分方法
CN110163038A (zh) * 2018-03-15 2019-08-23 南京硅基智能科技有限公司 一种基于深度卷积神经网络的人体运动计数方法
CN110826453A (zh) * 2019-10-30 2020-02-21 西安工程大学 一种通过提取人体关节点坐标的行为识别方法
CN110852273A (zh) * 2019-11-12 2020-02-28 重庆大学 一种基于强化学习注意力机制的行为识别方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140157911A1 (en) * 2012-12-10 2014-06-12 The Regents Of The University Of California On-bed monitoring system for range of motion exercises with a pressure sensitive bed sheet
CN105608467A (zh) * 2015-12-16 2016-05-25 西北工业大学 基于Kinect的无接触式学生体质测评方法
CN106934830A (zh) * 2017-03-14 2017-07-07 北京林业大学 一种基于深度图像的非接触式体能测试系统及测试方法
CN107122798A (zh) * 2017-04-17 2017-09-01 深圳市淘米科技有限公司 基于深度卷积网络的引体向上计数检测方法及装置
CN110163038A (zh) * 2018-03-15 2019-08-23 南京硅基智能科技有限公司 一种基于深度卷积神经网络的人体运动计数方法
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN109409994A (zh) * 2018-10-15 2019-03-01 北京京东金融科技控股有限公司 模拟用户穿戴服装饰品的方法、装置和系统
CN109815907A (zh) * 2019-01-25 2019-05-28 深圳市象形字科技股份有限公司 一种基于计算机视觉技术的仰卧起坐姿态检测与指导方法
CN110008857A (zh) * 2019-03-21 2019-07-12 浙江工业大学 一种基于关节点的人体动作匹配评分方法
CN110826453A (zh) * 2019-10-30 2020-02-21 西安工程大学 一种通过提取人体关节点坐标的行为识别方法
CN110852273A (zh) * 2019-11-12 2020-02-28 重庆大学 一种基于强化学习注意力机制的行为识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DANIIL OSOKIN: "Real-time 2D Multi-Person Pose Estimation on CPU: Lightweight OpenPose", 《ARXIV》 *
RIZA 等: "DensePose: Dense Human Pose Estimation In The Wild", 《ARXIV》 *
TAIKI SEKII: "Pose Proposal Networks", 《EUROPEAN CONFERENCE ON COMPUTER VISION 2018》 *
ZHE CAO 等: "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464715A (zh) * 2020-10-22 2021-03-09 南京理工大学 一种基于人体骨骼点检测的仰卧起坐计数方法
CN113011242A (zh) * 2020-12-31 2021-06-22 杭州拓深科技有限公司 一种仰卧起坐计数方法、装置、电子装置和存储介质
CN112774112A (zh) * 2021-01-29 2021-05-11 重庆工程职业技术学院 体育训练用的仰卧起坐装置
CN112966597A (zh) * 2021-03-04 2021-06-15 山东云缦智能科技有限公司 一种基于骨骼关键点的人体运动动作计数方法
CN113893515A (zh) * 2021-10-13 2022-01-07 恒鸿达科技有限公司 一种基于视觉技术的仰卧起坐测试计数方法、装置和介质
CN113893515B (zh) * 2021-10-13 2022-12-27 恒鸿达科技有限公司 一种基于视觉技术的仰卧起坐测试计数方法、装置和介质
CN114011026A (zh) * 2021-10-29 2022-02-08 北京林业大学 一种非接触式体能测试系统及方法

Also Published As

Publication number Publication date
CN111401260B (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN111401260B (zh) 基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统
CN111368791B (zh) 基于Quick-OpenPose模型的引体向上测试计数方法及系统
CN111368810B (zh) 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法
CN111523444B (zh) 基于改进的Openpose模型和面部微表情的课堂行为检测的方法
CN113144540A (zh) 一种智能安全健身指导装置、系统及方法
CN107392939A (zh) 基于体感技术的室内运动观测装置、方法及存储介质
CN105740780A (zh) 人脸活体检测的方法和装置
CN105740781A (zh) 一种三维人脸活体检测的方法和装置
CN112464915B (zh) 一种基于人体骨骼点检测的俯卧撑计数方法
CN111012353A (zh) 一种基于人脸关键点识别的身高检测方法
CN109117753A (zh) 部位识别方法、装置、终端及存储介质
CN110732119A (zh) 仰卧起坐测试的方法及装置
CN115035546B (zh) 三维人体姿态检测方法、装置及电子设备
CN113191200A (zh) 一种俯卧撑测试计数方法、装置、设备和介质
CN112633083A (zh) 一种基于改进的Openpose 考试多人异常行为及口罩佩戴检测方法
CN111611928B (zh) 一种基于单目视觉与关键点识别的身高及身体尺寸测量方法
CN113255623A (zh) 一种智能识别俯卧撑动作姿态完成状况的系统和方法
CN115953834A (zh) 面向仰卧起坐的多头注意力姿态估计方法及检测系统
CN115937967A (zh) 一种健身动作识别矫正方法
CN116758627A (zh) 一种挺身式跳远空中技术动作自动评测方法
CN117115922A (zh) 坐位体前屈评测方法、系统、电子设备和存储介质
CN118097765A (zh) 计数方法、装置、电子设备及存储介质
CN115690895A (zh) 基于人体骨骼点检测的多人运动检测方法及装置
CN215231970U (zh) 一种智能安全健身指导装置
CN115331304A (zh) 一种跑步识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200710

Assignee: Hangzhou lanque technology partnership (L.P.)

Assignor: NANTONG University

Contract record no.: X2021980012590

Denomination of invention: Counting method and system of sit up test based on quick openpose model

Granted publication date: 20200929

License type: Common License

Record date: 20211119