CN111368791A - 基于Quick-OpenPose模型的引体向上测试计数方法及系统 - Google Patents
基于Quick-OpenPose模型的引体向上测试计数方法及系统 Download PDFInfo
- Publication number
- CN111368791A CN111368791A CN202010191346.XA CN202010191346A CN111368791A CN 111368791 A CN111368791 A CN 111368791A CN 202010191346 A CN202010191346 A CN 202010191346A CN 111368791 A CN111368791 A CN 111368791A
- Authority
- CN
- China
- Prior art keywords
- module
- test
- human body
- posture
- pull
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims abstract description 15
- 210000000707 wrist Anatomy 0.000 claims abstract description 15
- 230000036544 posture Effects 0.000 claims description 79
- 210000003414 extremity Anatomy 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 21
- 230000001174 ascending effect Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 7
- 230000002265 prevention Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000000630 rising effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 239000011541 reaction mixture Substances 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 210000004247 hand Anatomy 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 claims 3
- 230000005764 inhibitory process Effects 0.000 claims 1
- 230000009471 action Effects 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005452 bending Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于Quick‑OpenPose模型的引体向上测试计数方法及系统,包括:进入学号认证模块;测试器上的引体向上摄像头持续拍摄测试者的测试图像,获取图像,使用人体姿态识别模块识别姿态,当初次发现某帧图像中手腕检测点与单杠距离在阈值范围内时,将该帧设置为起始帧;当识别到运动姿态达到阈值要求时,进行累计计数;人体姿态如果识别出现严重错误,则防错模块中断检测过程,返回等待重新开始并语音播报;若识别到运动姿态未达标,则同样进行语音播报但不中断识别,本次动作不计数;检测到手腕离开单杠,测试结束;计数模块计算被测人的最终有效引体向上测试计数成绩并进行语音播报。本发明检测速度快,效率高,提高了参数共享率,降低了模型冗余度。
Description
技术领域
本发明属于机器视觉与图像处理技术领域,具体涉及一种基于Quick-OpenPose模型的引体向上测试计数方法及系统。
背景技术
引体向上作为一种衡量体质的重要参考标准和项目,已经被定为国家中考体育测试项目。目前,现已有的引体向上计数方法有:人工计数、红外探头传感器计数、超声波传感器计数、分析深度图像计数等。在人工计数的过程中,耗时耗力,容易出错。利用传感器计数,结构简单,容易受外界干扰,误判率较高,实用性并不是很强。分析深度图像计数装置中,主要利用Kincet获取深度图像,需要利用到专有设备,算法上比较复杂,价格高昂,同时对计算机性能要求高,很难达到实时性的要求。所以,实现高效简单的引体向上计数是一个迫切需要思考的难题。
因此对于引体向上计数,需要一种引体向上自动化计数装置,来减轻负担,快捷高效,节省人力资源。目前已有的引体向上测试方法需要具备良好测试体验,其测试效率、自动化程度、准确率也亟需提高。
发明内容
发明目的:本发明的目的是为了解决现有技术中的不足,提供一种基于Quick-OpenPose模型的引体向上测试计数方法及系统,该方法不仅仅能实现实时引体向上测试与计数,而且装置简单,便于安装,检测速度快,检测效率高,能有效识别动作的标准程度,计数数据准确。
技术方案:本发明所述的一种基于Quick-OpenPose模型的引体向上测试计数方法,包括如下步骤:
S1、进入学号认证模块,输入待测学生的学号,在数据库中寻找数据,在显示屏上显示学生信息,在学生点击确认后进行下一项语音播报;
S2、测试器上的摄像头以一定帧率持续拍摄测试者的测试图像,获取图像,使用人体姿态识别模块识别姿态;人体姿态识别模块通过摄像头所拍摄的图像,定义人体各部位的节点信息,当初次发现某帧图像中人体手腕节点与单杠距离在阈值范围内时,开始进行引体向上测试,并将该帧设置为起始帧,同时计算人的腿长与手臂长度的初值;
S3、如果人体姿态识别出现严重错误,则防错模块中断检测过程,返回等待重新开始并语音播报;
S4、引体向上检测分成3个阶段:躯体上升阶段、头部下巴过杆阶段和躯体下降阶段,每个阶段的检测均需要达到一定阈值,才算完成一组引体向上,若识别到运动姿态未达标,则同样进行语音播报但不中断识别;
S5、检测到双手离开测试杆,测试结束;计数模块计算被测学生的最终有效引体向上测试计数成绩并进行语音播报。
进一步的,所述学号认证模块检验学生身份信息的模块,连接信息库;在受测者输入学号后,搜寻相应的身份信息,显示给受测者来判别受测者的信息正确与否。
进一步的,所述人体姿态识别模块通过摄像头所拍摄图像,基于Quick-OpenPose模型的人体姿态检测系统,对受测者的关键部位进行识别与相应连线,通过计算手腕和单杠的距离,通过下巴距离地面高度的变化程度,判断人体目前处于上升阶段还是下降阶段,然后通过计算实时腿部长度是否小于腿部长度初值的80%、头部下巴节点是否高于单杠、人体下降时臂长是否到达初始臂长的90%这三个条件分别来判别受测者的测试开始与否以及姿态是否达标。
进一步的,所述防错模块判别测试过程中是否出现人体姿态识别模块无法识别人体的情况或受测者姿态是否达标,若出现无法识别人体,则返回测试开始步骤;若不达标,则继续进行测试并且出动语音模块语音提示。
进一步的,所述计数模块用于计算受测者的姿态达标数,即受测者成绩;每当人体姿态识别模块与防错模块判别出受测者在引体向上3个阶段:躯体上升阶段、头部下巴过杆阶段和躯体下降阶段中姿态均符合要求时,计数模块计数加1。
本发明还公开了一种基于Quick-OpenPose模型的引体向上测试计数系统,包括:
学号认证模块:检验学生身份信息的模块,连接信息库;在受测者输入学号后,搜寻相应的身份信息,显示给受测者来判别受测者的信息正确与否;
语音模块:用于提示受测学生进行相应的规定动作,根据测试所进行的步骤以及在人体姿态识别模块判断受测者是否开始测试或停止测试来发出相应的语音提示;
人体姿态识别模块:通过摄像头所拍摄图像,基于Quick-OpenPose模型的人体姿态检测系统,对受测者的关键部位进行识别与相应连线,然后判别受测者的测试开始与否以及姿态是否达标:通过计算手腕和单杠的距离,通过下巴距离地面高度的变化程度,判断人体目前处于上升阶段还是下降阶段,然后通过计算实时腿部长度是否小于腿部长度初值的80%、头部下巴节点是否高于单杠、人体下降时臂长是否到达初始臂长的90%这三个条件分别来判别受测者的测试开始与否以及姿态是否达标;
防错模块:判别测试过程中是否出现人体姿态识别模块无法识别人体的情况或受测者姿态是否达标,若出现无法识别人体,则返回测试开始步骤;若出现人体姿态不达标,则继续进行测试并且出动语音模块语音提示;
计数模块:用于计算受测者的姿态达标数,即受测者成绩;每当人体姿态识别模块与防错模块判别出受测者姿态符合要求时,计数模块计数加1;
存储模块:用于储存每个学生与之相对应的成绩。
进一步的,所述的Quick-OpenPose模型包括外部结构和内部结构,外部结构包括4个阶段8个模块和模块间跨层连接通路;内部结构中,关键点定位模块L和关键点联系模块A内部结构相同,都是由C1~C7共7个卷积块构成。
进一步的,所述C1~C7卷积块中C1~C4为4个3×3卷积层所构成的小型跨层卷积神经网络,它能在提取高维特征信息和空间纹理信息的同时保留部分底层信息,有效提高了参数共享率,降低参数冗余程度,提高检测精度;所述C5~C7卷积块是3个1×1卷积层,它能将小型跨层卷积神经网络的输出结果降维以便于作为下一阶段的输入,起到加快运算速度、缩小模型大小、缓和降维过程的作用。
进一步的,所述Quick-OpenPose模型包括:关键部位定位模块、关键部位联系模块、肢体匹配模块。其中关键部位定位模块和关键部位联系模块的输出结果会进行一次空间域注意力增强。
进一步的,所述关键部位定位模块将关键部位的回归和分类,将原始图像经过ResNet-18网络的前10层处理所得的特征图F输入到进入L模块中,再使用非极大值抑制算法得到每个关键部位的置信图,最终得出离散化的候选关键部位的集合。
局部区域亲和算法的计算过程如下:设j 1 、j 2 是两个不同的关键部位,为从j 1 指向j 2 的单位向量,为向量的垂直向量,肢体c的长度和宽度分别设为,、分别表示候选关键部位j 1 、j 2 的位置坐标;首先,如公式(1)所示:
进一步的,所述的空间域注意力增强方式为:
(1)将对应模块所输出的H×W×C的特征图作为输入,对其进行基于频道的全局最大池化和全局平均池化,两者大小均为H×W×1,计算方式为:
(2) 将(1)中所得全局最大池化和全局平均池化的结果拼接,此时其大小为H×W×2;
(3)使用一个1X1X2的卷积核对(2)中结果进行卷积运算,此时其大小为H×W×1;
(4)使用sigmoid函数将(3)中结果进行归一化,即可得到空间注意力特征图;
(5)将原来的特征图与空间注意力特征图相乘,所得结果就是增强了空间域注意力的特征图。
进一步的,所述Quick-OpenPose模型中采用中继监督作为损失函数的计算方式,计算方式如下:
首先计算每个模块的损失函数,再将同一阶段对应模块的损失函数相加得出每个阶段损失函数,最后将每个阶段损失函数求平均值,得出模型的总损失函数:
其中,公式(11)、(12)分别表示t阶段时L模块、A模块损失函数的计算方式;公式(11)中,t表示当前阶段数,j表示当前样本数,J表示样本总数,表示t阶段L模块对第j个样本的预测值,表示第j个样本的真实值,的作用则是当某个样本数据标注不完全,导致计算出的损失函数特别大时,可以使从而排除有问题的样本。
有益效果:本发明的有益效果如下:
1、运用自底向上的的模型,先检测关键部位再组装还原一个人,检测的人数多少不影响检测的时间并且识别正确率高;
2、Quick-OpenPose模型加入ResNet-18模型的10层,训练速度更快;
3、损失函数的计算方式是中继监督,有效解决由于模型层数较多,产生的梯度消失现象,避免了底层网络的参数几乎不发生变化的情况,也加快了整个模型训练速度;
4、所用Quick-OpenPose模型参考DenseNet模型的连接机制,改进了原模型对底层特征的后续处理模块的连接方式,消除了人体姿态识别正确率下降的风险,有效提高了参数共享率,降低了模型冗余度,减小了模型的大小,还起到了防止训练模型时出现退化问题的作用;
5、相对于同类别引体向上测试计数装置本装置更简单,且检测速度更快,检测效率更高,计数数据准确;
6、本方法可以识别出多种不达标的姿态,如踢腿不达标、手臂弯曲不达标,下巴没有过杆不达标等情况,较现有的引体向上测试系统更加准确。
附图说明
图1是本发明一个实施例的引体向上测试计数系统结构框图;
图2是本发明一个实施例的引体向上测试计数方法流程图;
图3是本发明Quick-OpenPose模型总体结构示意图;
图4是本发明所检测的一个引体向上起始帧及关键检测点示意图;
图5是本发明所检测的一个引体向上头部下巴达标过程帧示意图;
图6是本发明所检测的一个引体向上下降达标结束帧示意图。
具体实施方式
下面结合具体实施例对本发明的技术方案作进一步详细说明。
如图1所示,本发明一个实施例的基于Quick-OpenPose模型的引体向上测试计数系统,包括:
学号认证模块3:检验学生身份信息的模块,连接信息库;在受测者输入学号后,搜寻相应的身份信息,显示给受测者来判别受测者的信息正确与否;
语音模块4:用于提示受测学生进行相应的规定动作,根据测试所进行的步骤以及在人体姿态识别模块判断受测者是否开始测试或停止测试来发出相应的语音提示;
人体姿态识别模块5:通过摄像头2拍摄测试者在单杠1上做引体向上的图像,基于Quick-OpenPose模型的人体姿态检测系统,对受测者的关键部位进行识别与相应连线,然后判别受测者的测试开始与否以及姿态是否达标:通过计算手腕和单杠的距离,通过下巴距离地面高度的变化程度,判断人体目前处于上升阶段还是下降阶段,然后通过计算实时腿部长度是否小于腿部长度初值的80%、头部下巴节点是否高于单杠、人体下降时臂长是否到达初始臂长的90%这三个条件分别来判别受测者的测试开始与否以及姿态是否达标;
防错模块6:判别测试过程中是否出现人体姿态识别模块5识别不出人体姿态或受测者姿态是否达标,若出现识别不出人体姿态,则返回测试开始步骤;若姿态不达标,则继续进行测试并且出动语音模块语音提示;
计数模块7:用于计算受测者的姿态达标数,即受测者成绩;每当人体姿态识别模块与防错模块判别出受测者姿态符合要求时,计数模块计数加1;
存储模块8:用于储存每个学生与之相对应的成绩。
本实施例中优选地,所述的Quick-OpenPose模型包括外部结构和内部结构,结构如图3所示。外部结构包括4个阶段8个模块和模块间跨层连接通路;内部结构中,关键点定位模块L和关键点联系模块A内部结构相同,都是由C1~C7共7个卷积块构成。
优选地,所述C1~C7卷积块中C1~C4为4个3×3卷积层所构成的小型跨层卷积神经网络,它能在提取高维特征信息和空间纹理信息的同时保留部分底层信息,有效提高了参数共享率,降低参数冗余程度,提高检测精度;所述C5~C7卷积块是3个1×1卷积层,它能将小型跨层卷积神经网络的输出结果降维以便于作为下一阶段的输入,起到加快运算速度、缩小模型大小、缓和降维过程的作用。
优选地,所述的Quick-OpenPose模型的底层特征使用ResNet-18模型前10层,加快运算速度,提高模型对人体姿态识别的正确率,并防止训练模型时出现退化问题。
所述的Quick-OpenPose模型包括:关键部位定位模块、关键部位联系模块、肢体匹配模块。其中关键部位定位模块和关键部位联系模块的输出结果会进行一次空间域注意力增强。
所述的关键部位定位模块将关键部位的回归和分类。将原始图像经过ResNet-18网络的前10层处理所得的特征图F输入到进入L模块中,再使用非极大值抑制算法(non-maximum suppression)得到每个关键部位的置信图,最终得出离散化的候选关键部位的集合。
局部区域亲和算法的计算过程如下:设j 1 、j 2 是两个不同的关键部位,为从j 1 指向j 2 的单位向量,为向量的垂直向量,肢体c的长度和宽度分别设为,、分别表示候选关键部位j 1 、j 2 的位置坐标。首先,如公式(1)所示,计算图像上某一点p在肢体c上的置信向量。如果点p在肢体c上,则就等于肢体c的单位方向向量,否则为零向量。其中,使用公式(2)和(3)判断点p是否在肢体c上。
由公式(4)可知,如果方向与方向一致,则值将会较大,说明该位置是一个肢体的可能性比较大。所述的肢体匹配模块是以从肢体开始找出人体的关键部位,在以有了部区域亲和算法提供的信息支撑,再很快找出每个人的与之对应的关键部位。因为同一个人的不同肢体间必有共用的关键部位,所以最终可以方便的得出每个人姿态,这种简化方法被称为最大二分图匹配法。由于最大二分图匹配法不允许多边共用一个节点的情况(例如一个手肘不可能连接两个手腕),所以有两个约束条件,如公式(6)、(7)。
公式(6)含义为:设使用表示部位1类第m个关键部位与部位2类第n个关键部位具有连接的可能性,则对于任意的部位1类第m个关键部位,所有与此关键部位相连的部位2类关键部位的置信度之和必须不超过1,否则代表与此关键部位相连的部位2类关键部位超过了1个,这种连接方式是违规的。公式(7)原理与公式(6)相同,是对部位2类第n个关键部位的约束。
再将所有满足约束条件的可能的连接方式,使用公式(8)找出最大的积分和,则其所对应的的连接方式就是最可能的连接方式,于是就找到了某一条肢体两端所对应的关键部位,对其他肢体重复以上步骤,最后将共用的同一个关键部位的肢体组装在一起,就实现了多人姿态的识别。
所述的空间域注意力增强方式为:
(1)将对应模块所输出的H×W×C的特征图作为输入,对其进行基于频道的全局最大池化和全局平均池化,两者大小均为H×W×1,计算方式为:
(2)将(1)中所得全局最大池化和全局平均池化的结果拼接,此时其大小为H×W×2;
(3)使用一个1×1×2的卷积核对(2)中结果进行卷积运算,此时其大小为H×W×1;
(4)使用sigmoid函数将(3)中结果进行归一化,即可得到空间注意力特征图;
(5)将原来的特征图与空间注意力特征图相乘,所得结果就是增强了空间域注意力的特征图。
优选地,所述的Quick-OpenPose模型中采用中继监督作为损失函数的计算方式。Quick-OpenPose的模型层数较多,采用中继监督计算方式避免了出现梯度消失现象,加快了整个模型训练速度。
所述中继监督计算方式如下:
首先计算每个模块的损失函数,再将同一阶段对应模块的损失函数相加得出每个阶段损失函数,最后将每个阶段损失函数求平均值,得出模型的总损失函数。
其中,公式(11)、(12)分别表示t阶段时L模块、A模块损失函数的计算方式。公式(11)中,t表示当前阶段数,j表示当前样本数,J表示样本总数,表示t阶段L模块对第j个样本的预测值,表示第j个样本的真实值,的作用则是当某个样本数据标注不完全,导致计算出的损失函数特别大时,可以使从而排除有问题的样本。
如图2所示,本发明的一种基于Quick-OpenPose模型的引体向上测试计数方法,包括如下步骤:
S1、进入学号认证模块,输入待测学生的学号,在数据库中寻找数据,在显示屏上显示学生信息,在学生点击确认后进行下一项语音播报;
S2、测试器上的摄像头以一定帧率持续拍摄测试者的测试图像,获取图像,使用人体姿态识别模块识别姿态,人体识别模块会通过摄像头所拍摄的图像,定义人体各部位的节点信息,当初次发现某帧图像中人体手腕节点与单杠距离在5个像素(本实施例优选)范围内时,开始进行引体向上测试,并将该帧设置为起始帧,同时计算人的腿长与手臂长度的初值;
S3、如果人体姿态识别出现严重错误,则防错模块中断检测过程,返回等待重新开始并语音播报;
S4、引体向上检测分成3个阶段:躯体上升阶段、头部下巴过杆阶段和躯体下降阶段。每个阶段的检测均需要达到一定阈值,才算完成一组引体向上。在躯体上升阶段,当下巴检测点距地面高度一直升高时,判断目前人体在上升阶段。此时,人体识别模块会计算人体腿部长度,当腿部长度小于人体腿部长度初值的80%时,判断为腿部弯曲程度过大,则认定为人体上升姿态不达标,不进行计数。在头部下巴过杆阶段,人体识别模块计算下巴检测点的高度是否高于单杠高度,如果低于单杠,则认定下巴过杆姿态不达标,不进行计数。在躯体下降阶段,当下巴检测点距地面高度一直降低时,判断目前人体在下降阶段。人体识别模块计算手臂长度是否到手臂初始长度的90%。如果没有达到,判断为手臂弯曲程度过大,则认定为下降姿态不达标,不进行计数。若识别到运动姿态未达标,则同样进行语音播报但不中断识别;
S5、检测到手腕和单杠距离超过5个像素(本实施例优选)时,判断人已经离杠,测试结束;计数模块计算被测学生的最终有效引体向上测试计数成绩并进行语音播报。
图4-图6为采用本专利方法的引体向上实例,图4为启动动作,主要选择的人体关键位置为:下巴为节点1、右手腕为节点4、左手腕为节点5、右肩为节点2、左肩为节点3、右臀为节点6、左臀7为节点、右脚踝为节点8、左脚踝为节点9共9个关键关节点。其中手腕用来识别是否上杠,手腕到肩部距离用于计算手臂长度,臀部到脚踝距离用于计算腿部长度。图5为下巴达标动作,图6为下降达标动作。
本实施例中优选地,与测试计数系统相同,所述学号认证模块检验学生身份信息的模块,连接信息库;在受测者输入学号后,搜寻相应的身份信息,显示给受测者来判别受测者的信息正确与否。
本实施例中优选地,所述人体姿态识别模块通过摄像头所拍摄图像,基于Quick-OpenPose模型的人体姿态检测系统,对受测者的关键部位进行识别与相应连线,然后判别受测者的测试开始与否以及姿态是否达标。
本实施例中优选地,所述防错模块判别测试过程中是否出现人体姿态识别模块无法识别人体的情况或受测者姿态是否达标,若出现无法识别人体,则返回测试开始步骤;若人体姿态不达标,则继续进行测试并且出动语音模块语音提示。
本实施例中优选地,所述计数模块用于计算受测者的姿态达标数,即受测者成绩;每当人体姿态识别模块与防错模块判别出受测者在引体向上3个阶段:躯体上升阶段、头部下巴过杆阶段和躯体下降阶段中姿态均符合要求时,计数模块计数加1。
本发明的基于Quick-OpenPose模型的引体向上测试计数方法的核心就是采用了基于Quick-OpenPose模型的计数方法,具体的Quick-OpenPose模型特征上述系统中进行了详细阐述。
与现有技术相比,本发明的优势在于:
1、运用自底向上的的模型,先检测关键部位再组装还原一个人,检测的人数多少不影响检测的时间并且识别正确率高;
2、Quick-OpenPose模型加入ResNet-18模型的10层,训练速度更快;
3、损失函数的计算方式是中继监督,有效解决由于模型层数较多,产生的梯度消失现象,避免了底层网络的参数几乎不发生变化的情况,也加快了整个模型训练速度;
4、所用Quick-OpenPose模型参考DenseNet模型的连接机制,改进了原模型对底层特征的后续处理模块的连接方式,消除了人体姿态识别正确率下降的风险,有效提高了参数共享率,降低了模型冗余度,减小了模型的大小,还起到了防止训练模型时出现退化问题的作用;
5、相对于同类别引体向上测试计数装置本装置更简单,且检测速度更快,检测效率更高,计数数据准确。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (13)
1.一种基于Quick-OpenPose模型的引体向上测试计数方法,其特征在于:包括如下步骤:
S1、进入学号认证模块,输入待测学生的学号,在数据库中寻找数据,在显示屏上显示学生信息,在学生点击确认后进行下一项语音播报;
S2、测试器上的摄像头以一定帧率持续拍摄测试者的测试图像,获取图像,使用人体姿态识别模块识别姿态;人体姿态识别模块通过摄像头所拍摄的图像,定义人体各部位的节点信息,当初次发现某帧图像中人体手腕节点与单杠距离在阈值范围内时,开始进行引体向上测试,并将该帧设置为起始帧,同时计算人的腿长与手臂长度的初值;
S3、如果人体姿态识别出现严重错误,则防错模块中断检测过程,返回等待重新开始并语音播报;
S4、引体向上检测分成3个阶段:躯体上升阶段、头部下巴过杆阶段和躯体下降阶段,每个阶段的检测均需要达到一定阈值,才算完成一组引体向上,若识别到运动姿态未达标,则同样进行语音播报但不中断识别;
S5、检测到双手离开测试杆,测试结束;计数模块计算被测学生的最终有效引体向上测试计数成绩并进行语音播报。
2.根据权利要求1所述的一种基于Quick-OpenPose模型的引体向上测试计数方法,其特征在于:所述学号认证模块检验学生身份信息的模块,连接信息库;在受测者输入学号后,搜寻相应的身份信息,显示给受测者来判别受测者的信息正确与否。
3.根据权利要求1所述的一种基于Quick-OpenPose模型的引体向上测试计数方法,其特征在于:所述人体姿态识别模块通过摄像头所拍摄图像,基于Quick-OpenPose模型的人体姿态检测系统,对受测者的关键部位进行识别与相应连线,通过计算手腕和单杠的距离,通过下巴距离地面高度的变化程度,判断人体目前处于上升阶段还是下降阶段,然后通过计算实时腿部长度是否小于腿部长度初值的80%、头部下巴节点是否高于单杠、人体下降时臂长是否到达初始臂长的90%这三个条件分别来判别受测者的测试开始与否以及姿态是否达标。
4.根据权利要求1所述的一种基于Quick-OpenPose模型的引体向上测试计数方法,其特征在于:所述防错模块判别测试过程中是否出现人体姿态识别模块无法识别人体的情况或受测者姿态是否达标,若出现无法识别人体,则返回测试开始步骤;若不达标,则继续进行测试并且出动语音模块语音提示。
5.根据权利要求1所述的一种基于Quick-OpenPose模型的引体向上测试计数方法,其特征在于:所述计数模块用于计算受测者的姿态达标数,即受测者成绩;每当人体姿态识别模块与防错模块判别出受测者在引体向上3个阶段:躯体上升阶段、头部下巴过杆阶段和躯体下降阶段中姿态均符合要求时,计数模块计数加1。
6.一种基于Quick-OpenPose模型的引体向上测试计数系统,其特征在于:包括:
学号认证模块:检验学生身份信息的模块,连接信息库;在受测者输入学号后,搜寻相应的身份信息,显示给受测者来判别受测者的信息正确与否;
语音模块:用于提示受测学生进行相应的规定动作,根据测试所进行的步骤以及在人体姿态识别模块判断受测者是否开始测试或停止测试来发出相应的语音提示;
人体姿态识别模块:通过摄像头所拍摄图像,基于Quick-OpenPose模型的人体姿态检测系统,对受测者的关键部位进行识别与相应连线,然后判别受测者的测试开始与否以及姿态是否达标:通过计算手腕和单杠的距离,通过下巴距离地面高度的变化程度,判断人体目前处于上升阶段还是下降阶段,然后通过计算实时腿部长度是否小于腿部长度初值的80%、头部下巴节点是否高于单杠、人体下降时臂长是否到达初始臂长的90%这三个条件分别来判别受测者的测试开始与否以及姿态是否达标;
防错模块:判别测试过程中是否出现人体姿态识别模块无法识别人体的情况或受测者姿态是否达标,若出现无法识别人体,则返回测试开始步骤;若出现人体姿态不达标,则继续进行测试并且出动语音模块语音提示;
计数模块:用于计算受测者的姿态达标数,即受测者成绩;每当人体姿态识别模块与防错模块判别出受测者姿态符合要求时,计数模块计数加1;
存储模块:用于储存每个学生与之相对应的成绩。
7.根据权利要求6所述的一种基于Quick-OpenPose模型的引体向上测试计数系统,其特征在于:所述的Quick-OpenPose模型包括外部结构和内部结构,外部结构包括4个阶段8个模块和模块间跨层连接通路;内部结构中,关键点定位模块L和关键点联系模块A内部结构相同,都是由C1~C7共7个卷积块构成。
8.根据权利要求7所述的一种基于Quick-OpenPose模型的引体向上测试计数系统,其特征在于:所述C1~C7卷积块中C1~C4为4个3×3卷积层所构成的小型跨层卷积神经网络,它能在提取高维特征信息和空间纹理信息的同时保留部分底层信息,有效提高了参数共享率,降低参数冗余程度,提高检测精度;所述C5~C7卷积块是3个1×1卷积层,它能将小型跨层卷积神经网络的输出结果降维以便于作为下一阶段的输入,起到加快运算速度、缩小模型大小、缓和降维过程的作用。
9.根据权利要求6所述的一种基于Quick-OpenPose模型的引体向上测试计数系统,其特征在于:所述Quick-OpenPose模型包括:关键部位定位模块、关键部位联系模块、肢体匹配模块,其中关键部位定位模块和关键部位联系模块的输出结果会进行一次空间域注意力增强。
10.根据权利要求9所述的一种基于Quick-OpenPose模型的引体向上测试计数系统,其特征在于:所述关键部位定位模块将关键部位的回归和分类,将原始图像经过ResNet-18网络的前10层处理所得的特征图F输入到进入L模块中,再使用非极大值抑制算法得到每个关键部位的置信图,最终得出离散化的候选关键部位的集合。
局部区域亲和算法的计算过程如下:设j 1 、j 2 是两个不同的关键部位,为从j 1 指向j 2 的单位向量,为向量的垂直向量,肢体c的长度和宽度分别设为,、分别表示候选关键部位j 1 、j 2 的位置坐标;首先,如公式(1)所示:
12.根据权利要求9所述的一种基于Quick-OpenPose模型的引体向上测试计数系统,其特征在于:所述的空间域注意力增强方式为:
将对应模块所输出的H×W×C的特征图作为输入,对其进行基于频道的全局最大池化和全局平均池化,两者大小均为H×W×1,计算方式为:
将(1)中所得全局最大池化和全局平均池化的结果拼接,此时其大小为H×W×2;
使用一个1X1X2的卷积核对(2)中结果进行卷积运算,此时其大小为H×W×1;
使用sigmoid函数将(3)中结果进行归一化,即可得到空间注意力特征图;
将原来的特征图与空间注意力特征图相乘,所得结果就是增强了空间域注意力的特征图。
13.根据权利要求6所述的一种基于Quick-OpenPose模型的引体向上测试计数系统,其特征在于:所述Quick-OpenPose模型中采用中继监督作为损失函数的计算方式,计算方式如下:
首先计算每个模块的损失函数,再将同一阶段对应模块的损失函数相加得出每个阶段损失函数,最后将每个阶段损失函数求平均值,得出模型的总损失函数:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010191346.XA CN111368791B (zh) | 2020-03-18 | 2020-03-18 | 基于Quick-OpenPose模型的引体向上测试计数方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010191346.XA CN111368791B (zh) | 2020-03-18 | 2020-03-18 | 基于Quick-OpenPose模型的引体向上测试计数方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111368791A true CN111368791A (zh) | 2020-07-03 |
CN111368791B CN111368791B (zh) | 2020-09-29 |
Family
ID=71210611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010191346.XA Active CN111368791B (zh) | 2020-03-18 | 2020-03-18 | 基于Quick-OpenPose模型的引体向上测试计数方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111368791B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112071426A (zh) * | 2020-09-09 | 2020-12-11 | 中金育能教育科技集团有限公司 | 功能性体适能测试方法、装置及设备 |
CN112800905A (zh) * | 2021-01-19 | 2021-05-14 | 浙江光珀智能科技有限公司 | 一种基于rgbd相机姿态估计的引体向上计数方法 |
CN113011344A (zh) * | 2021-03-23 | 2021-06-22 | 安徽一视科技有限公司 | 一种基于机器视觉的引体向上数量计算方法 |
CN113095461A (zh) * | 2021-04-11 | 2021-07-09 | 北京工业大学 | 一种基于机器视觉的引体向上计数器 |
CN113128337A (zh) * | 2021-03-10 | 2021-07-16 | 恒鸿达科技有限公司 | 一种斜体引身测试计数方法、装置、设备和介质 |
CN113128336A (zh) * | 2021-03-10 | 2021-07-16 | 恒鸿达科技有限公司 | 一种引体向上测试计数方法、装置、设备和介质 |
CN113158729A (zh) * | 2020-12-31 | 2021-07-23 | 杭州拓深科技有限公司 | 一种引体向上计数方法、装置、电子装置和存储介质 |
CN113856186A (zh) * | 2021-09-02 | 2021-12-31 | 中国人民解放军陆军工程大学 | 一种引体向上动作判定与计数的方法、系统及装置 |
CN114067354A (zh) * | 2021-10-13 | 2022-02-18 | 恒鸿达科技有限公司 | 一种基于视觉技术的引体向上测试计数方法、装置和介质 |
CN114870385A (zh) * | 2022-05-11 | 2022-08-09 | 安徽理工大学 | 一种基于优化的OpenPose模型的立定跳远测试方法 |
CN115138059A (zh) * | 2022-09-06 | 2022-10-04 | 南京市觉醒智能装备有限公司 | 一种引体向上的规范计数方法、系统及其存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140157911A1 (en) * | 2012-12-10 | 2014-06-12 | The Regents Of The University Of California | On-bed monitoring system for range of motion exercises with a pressure sensitive bed sheet |
CN105608467A (zh) * | 2015-12-16 | 2016-05-25 | 西北工业大学 | 基于Kinect的无接触式学生体质测评方法 |
WO2017035350A1 (en) * | 2015-08-26 | 2017-03-02 | Icon Health & Fitness, Inc. | Strength exercise mechanisms |
CN106778565A (zh) * | 2016-12-02 | 2017-05-31 | 广东小天才科技有限公司 | 引体向上的计数方法及装置 |
CN107103298A (zh) * | 2017-04-21 | 2017-08-29 | 桂林电子科技大学 | 基于图像处理的引体向上计数系统及计数方法 |
CN107122798A (zh) * | 2017-04-17 | 2017-09-01 | 深圳市淘米科技有限公司 | 基于深度卷积网络的引体向上计数检测方法及装置 |
CN109460702A (zh) * | 2018-09-14 | 2019-03-12 | 华南理工大学 | 基于人体骨架序列的乘客异常行为识别方法 |
CN110163116A (zh) * | 2019-04-26 | 2019-08-23 | 沈阳航空航天大学 | 通过加速OpenPose推理获取人体姿态的方法 |
CN110163038A (zh) * | 2018-03-15 | 2019-08-23 | 南京硅基智能科技有限公司 | 一种基于深度卷积神经网络的人体运动计数方法 |
CN110210323A (zh) * | 2019-05-09 | 2019-09-06 | 浙江大学 | 一种基于机器视觉的溺水行为在线识别方法 |
CN110298332A (zh) * | 2019-07-05 | 2019-10-01 | 海南大学 | 行为识别的方法、系统、计算机设备和存储介质 |
CN110837778A (zh) * | 2019-10-12 | 2020-02-25 | 南京信息工程大学 | 一种基于骨架关节点序列的交警指挥手势识别方法 |
-
2020
- 2020-03-18 CN CN202010191346.XA patent/CN111368791B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140157911A1 (en) * | 2012-12-10 | 2014-06-12 | The Regents Of The University Of California | On-bed monitoring system for range of motion exercises with a pressure sensitive bed sheet |
WO2017035350A1 (en) * | 2015-08-26 | 2017-03-02 | Icon Health & Fitness, Inc. | Strength exercise mechanisms |
CN105608467A (zh) * | 2015-12-16 | 2016-05-25 | 西北工业大学 | 基于Kinect的无接触式学生体质测评方法 |
CN106778565A (zh) * | 2016-12-02 | 2017-05-31 | 广东小天才科技有限公司 | 引体向上的计数方法及装置 |
CN107122798A (zh) * | 2017-04-17 | 2017-09-01 | 深圳市淘米科技有限公司 | 基于深度卷积网络的引体向上计数检测方法及装置 |
CN107103298A (zh) * | 2017-04-21 | 2017-08-29 | 桂林电子科技大学 | 基于图像处理的引体向上计数系统及计数方法 |
CN110163038A (zh) * | 2018-03-15 | 2019-08-23 | 南京硅基智能科技有限公司 | 一种基于深度卷积神经网络的人体运动计数方法 |
CN109460702A (zh) * | 2018-09-14 | 2019-03-12 | 华南理工大学 | 基于人体骨架序列的乘客异常行为识别方法 |
CN110163116A (zh) * | 2019-04-26 | 2019-08-23 | 沈阳航空航天大学 | 通过加速OpenPose推理获取人体姿态的方法 |
CN110210323A (zh) * | 2019-05-09 | 2019-09-06 | 浙江大学 | 一种基于机器视觉的溺水行为在线识别方法 |
CN110298332A (zh) * | 2019-07-05 | 2019-10-01 | 海南大学 | 行为识别的方法、系统、计算机设备和存储介质 |
CN110837778A (zh) * | 2019-10-12 | 2020-02-25 | 南京信息工程大学 | 一种基于骨架关节点序列的交警指挥手势识别方法 |
Non-Patent Citations (4)
Title |
---|
DANIIL OSOKIN: "Real-time 2D Multi-Person Pose Estimation on CPU: Lightweight OpenPose", 《ARXIV》 * |
RIZA 等: "DensePose: Dense Human Pose Estimation In The Wild", 《ARXIV》 * |
TAIKI SEKII: "Pose Proposal Networks", 《EUROPEAN CONFERENCE ON COMPUTER VISION 2018》 * |
ZHE CAO 等: "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112071426B (zh) * | 2020-09-09 | 2024-06-11 | 中金育能科技集团有限公司 | 功能性体适能测试方法、装置及设备 |
CN112071426A (zh) * | 2020-09-09 | 2020-12-11 | 中金育能教育科技集团有限公司 | 功能性体适能测试方法、装置及设备 |
CN113158729A (zh) * | 2020-12-31 | 2021-07-23 | 杭州拓深科技有限公司 | 一种引体向上计数方法、装置、电子装置和存储介质 |
CN112800905A (zh) * | 2021-01-19 | 2021-05-14 | 浙江光珀智能科技有限公司 | 一种基于rgbd相机姿态估计的引体向上计数方法 |
CN113128337A (zh) * | 2021-03-10 | 2021-07-16 | 恒鸿达科技有限公司 | 一种斜体引身测试计数方法、装置、设备和介质 |
CN113128336A (zh) * | 2021-03-10 | 2021-07-16 | 恒鸿达科技有限公司 | 一种引体向上测试计数方法、装置、设备和介质 |
CN113011344A (zh) * | 2021-03-23 | 2021-06-22 | 安徽一视科技有限公司 | 一种基于机器视觉的引体向上数量计算方法 |
CN113095461A (zh) * | 2021-04-11 | 2021-07-09 | 北京工业大学 | 一种基于机器视觉的引体向上计数器 |
CN113856186B (zh) * | 2021-09-02 | 2022-08-09 | 中国人民解放军陆军工程大学 | 一种引体向上动作判定与计数的方法、系统及装置 |
CN113856186A (zh) * | 2021-09-02 | 2021-12-31 | 中国人民解放军陆军工程大学 | 一种引体向上动作判定与计数的方法、系统及装置 |
CN114067354A (zh) * | 2021-10-13 | 2022-02-18 | 恒鸿达科技有限公司 | 一种基于视觉技术的引体向上测试计数方法、装置和介质 |
CN114067354B (zh) * | 2021-10-13 | 2024-08-09 | 恒鸿达(福建)体育科技有限公司 | 一种基于视觉技术的引体向上测试计数方法、装置和介质 |
CN114870385A (zh) * | 2022-05-11 | 2022-08-09 | 安徽理工大学 | 一种基于优化的OpenPose模型的立定跳远测试方法 |
CN115138059A (zh) * | 2022-09-06 | 2022-10-04 | 南京市觉醒智能装备有限公司 | 一种引体向上的规范计数方法、系统及其存储介质 |
CN115138059B (zh) * | 2022-09-06 | 2022-12-02 | 南京市觉醒智能装备有限公司 | 一种引体向上的规范计数方法、系统及其存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111368791B (zh) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111368791B (zh) | 基于Quick-OpenPose模型的引体向上测试计数方法及系统 | |
CN109882019B (zh) | 一种基于目标检测和动作识别的汽车电动尾门开启方法 | |
CN111401260B (zh) | 基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统 | |
WO2024051597A1 (zh) | 一种引体向上的规范计数方法、系统及其存储介质 | |
US20150092981A1 (en) | Apparatus and method for providing activity recognition based application service | |
Park et al. | Imagery based parametric classification of correct and incorrect motion for push-up counter using OpenPose | |
CN114973401A (zh) | 基于动作检测与多模态学习的标准化引体向上评估方法 | |
CN111597975A (zh) | 人员动作检测方法方法、装置及电子设备 | |
CN111047553B (zh) | 一种面向非接触式人体参数测量的特征点定位方法 | |
CN114998986A (zh) | 基于计算机视觉的引体向上动作规范智能识别方法及系统 | |
CN117542121B (zh) | 基于计算机视觉的智能化训练考核系统及方法 | |
CN111539456A (zh) | 一种目标识别方法及设备 | |
CN102148919B (zh) | 一种球类检测的方法及系统 | |
CN117746311B (zh) | 一种基于图像跟踪和深度学习的乘客手扶梯危险行为识别方法 | |
CN110414453A (zh) | 一种基于机器视觉的多重视角下人体动作状态监测方法 | |
CN116306766B (zh) | 一种基于骨骼识别技术的智慧单杠引体向上考核训练系统 | |
CN112633083A (zh) | 一种基于改进的Openpose 考试多人异常行为及口罩佩戴检测方法 | |
CN116758627A (zh) | 一种挺身式跳远空中技术动作自动评测方法 | |
CN106446837B (zh) | 一种基于运动历史图像的挥手检测方法 | |
CN107066943B (zh) | 一种人脸检测方法及装置 | |
CN111353345A (zh) | 提供训练反馈的方法、装置、系统、电子设备、存储介质 | |
Karunaratne et al. | Objectively measure player performance on Olympic weightlifting | |
CN115690895A (zh) | 基于人体骨骼点检测的多人运动检测方法及装置 | |
CN115546886A (zh) | 一种基于视觉技术的排球对墙壁垫球测试方法及装置 | |
CN114580471A (zh) | 人体动作识别方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200703 Assignee: Hangzhou lanque technology partnership (L.P.) Assignor: NANTONG University Contract record no.: X2021980012590 Denomination of invention: Pull up test counting method and system based on quick openpose model Granted publication date: 20200929 License type: Common License Record date: 20211119 |