CN114998991A - 校园智能操场系统和基于该系统的运动检测方法 - Google Patents
校园智能操场系统和基于该系统的运动检测方法 Download PDFInfo
- Publication number
- CN114998991A CN114998991A CN202210621043.6A CN202210621043A CN114998991A CN 114998991 A CN114998991 A CN 114998991A CN 202210621043 A CN202210621043 A CN 202210621043A CN 114998991 A CN114998991 A CN 114998991A
- Authority
- CN
- China
- Prior art keywords
- motion
- image
- point
- frame
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 280
- 230000033001 locomotion Effects 0.000 title claims abstract description 197
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000003709 image segmentation Methods 0.000 claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims abstract description 13
- 230000009471 action Effects 0.000 claims description 23
- 230000009191 jumping Effects 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 13
- 230000037147 athletic performance Effects 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 16
- 230000001429 stepping effect Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 230000000386 athletic effect Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000009192 sprinting Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Physical Education & Sports Medicine (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及智能操场领域,公开了一种校园智能操场系统和基于该系统的运动检测方法。该系统包括设置在每个运动项目区域处的图像采集装置、运动检测模块和成绩存储模块,运动检测模块对于每个运动项目利用图像采集装置采集运动视频,基于多目标跟踪检测模型对运动视频中的多个运动学生跟踪检测以确定学生的多个运动阶段及相应阶段的关键状态帧,基于图像分割模型对关键状态帧中的约定人体部位和规则标志进行分割并根据分割结果生成学生的运动成绩;成绩存储模块存储学生的运动成绩。本申请不仅可以针对不同运动项目的运动成绩进行自动检测识别,而且可以对同一运动项目区域内的多个运动学生进行同时跟踪检测并同时得到多个运动学生的运动成绩。
Description
技术领域
本申请涉及智能操场领域,特别涉及校园智能操场系统和运动检测方法。
背景技术
近年来,学校及家长越来越注重学生的全面发展,在保证学生成绩优异的同时也关注学生的体质健康锻炼。随着科学技术的发展,也有越来越多的运动实现了智能检测,但现有的运动项目智能检测方法仅适用单独某一种项目且检测效率低。例如公开号为CN113177476 A的中国发明专利《一种立定跳远脚后跟关键点的识别方法、系统及测试方法》,首先该识别方案仅适用于立定跳远并且仅支持单人跳远检测,面对学校人数众多的应用场景,检测效率低下。此外,当前有很多基于姿态检测的跳远检测方法,其涉及众多骨骼点参数,计算复杂度高。
另外,仅适用单独某一种项目的检测方法的弊端是通常独立运行,数据整合困难,造成往往只能采取人工方式对学生的各种运动项目分别进行考核、记录和整合。这种方式不仅耗时耗力、数据记录不便,而且记录的数据不能被智能化地利用,也无法对学生的各项锻炼及体质数据进行全面分析。
发明内容
本申请的目的在于提供一种校园智能操场系统和基于该系统的运动检测方法,不仅可以针对不同类型的运动项目的运动成绩进行自动检测识别,而且可以对同一运动项目区域内的多个运动学生进行同时跟踪检测并同时得到多个运动学生的运动成绩。
本申请公开了一种校园智能操场系统,包括:
设置在操场的每个运动项目区域处的图像采集装置;
运动检测模块,用于对于每个运动项目,利用其对应区域处的图像采集装置采集运动视频,基于多目标跟踪检测模型对所述运动视频中的多个运动学生跟踪检测以确定每个运动学生的多个运动阶段和每个运动阶段的关键状态帧图像,并基于图像分割模型对所述关键状态帧图像中的约定人体部位和规则标志进行分割,根据分割结果生成所述每个运动学生的违规情况或有效成绩的运动成绩;
成绩存储模块,用于存储学生的所述运动成绩。
在一个优选例中,所述多目标跟踪检测模型为Yolox+Deepsort模型,所述图像分割模型为Unet模型。
在一个优选例中,所述运动检测模块还用于对于跳远项目,利用多目标跟踪检测模型对所述运动视频中的多个运动学生跟踪检测得到每个运动学生的人体检测框和脚部检测框,并基于所述人体检测框和脚部检测框的位置和/或位置变化确定每个运动学生的多个运动阶段和每个运动阶段的关键状态帧。
在一个优选例中,所述运动检测模块还用于对于跳远项目,基于所述人体检测框和脚部检测框的位置和/或位置变化确定每个运动学生的起跳阶段和起跳点状态帧图像、腾空阶段和最高点状态帧图像、落地阶段和落地点状态帧图像,并利用图像分割模型对各状态帧图像进行分割得到各运动学生的起跳点脚部轮廓、落地点脚部轮廓、最高点脚部轮廓以及安全线标志轮廓,若所述起跳点脚部轮廓与所述安全线轮廓相交则判定违规踩线,否则根据所述起跳点脚部轮廓、所述最高点脚部轮廓和所述落地点脚部轮廓确定跳远高度和跳远距离,以生成违规踩线或有效跳远距离和跳远距离的运动成绩。
在一个优选例中,所述运动阶段还包括后退判断阶段;并且,所述运动检测模块还用于对于急行跳远当所述落地阶段连续M个图像帧中的人体检测框水平高度无变化且接近于起跳时的水平高度时确定当前为落地点并进入后退判断阶段,以及对于立定跳远当所述落地阶段连续γ个图像帧中的脚部检测框的移动距离均小于第一阈值距离时确定当前为落地点并进入后退判断阶段,若所述后退判断阶段中人体检测框或脚部检测框的后退距离达到第二阈值距离或脚部检测框向安全线方向的外扩范围达到阈值范围,则判定后退违规并生成后退违规的运动成绩,其中M≥2。
在一个优选例中,所述跳远项目为立定跳远或急行跳远,并且对应立定跳远项目的图像采集装置设置在立定跳远区域正面且采集视角与跳远方向相对的位置以及对应急行跳远项目的图像采集装置设置急行跳远区域侧面且采集视角与跳远方向垂直。
在一个优选例中,所述运动检测模块还用于根据所述最高点脚部轮廓确定最高点距离水平线的垂直距离并根据所述垂直距离得到跳远高度;以及,
基于所述起跳点脚部轮廓、所述落地点脚部轮廓和所述安全线标志轮廓得到图像中起跳点脚部轮廓最前点坐标、所述落地点脚部轮廓最后点坐标和所述安全线标志轮廓的安全线坐标,并根据得到的坐标利用以下公式确定立定跳远或急行跳远的跳远距离:
D1=(X0+X1);D2=(Y0-Y1);
其中,D1为急行跳远学生的跳远距离,D2为立定跳远学生的跳远距离,X0为安全线与图像采集装置的水平距离,X1为落地点脚部轮廓最后点与图像采集装置的水平距离,Y0为起跳点脚部轮廓最前点与摄像头的垂直距离,Y1为落地点脚部轮廓最后点与图像采集装置的垂直距离,Y为目标点与图像采集装置的垂直距离,X为目标点与图像采集装置的水平距离,H为图像采集装置距离地面的高度,α为图像采集装置俯仰角,β为图像采集装置水平视场角,θ为垂直视场角,Δθ为步进小角度,Dmin为图像底边距离图像采集装置的垂直距离,Dmax为图片顶边距离图像采集装置的垂直距离,x为目标点的图像横坐标,y为目标点的图像纵坐标,h为图像高度。
在一个优选例中,所述运动检测模块还用于对于急行跳远,当起跳区域内的人体检测框移动速度达到阈值速度、对应的脚部检测框与安全线之间的距离小于第三阈值距离且所述人体检测框内人体前倾角度小于阈值角度时确定当前为起跳点并获取起跳点状态帧图像且之前预设时间段为起跳阶段,之后进入腾空阶段,比较所述腾空阶段人体检测框的前后位置变化,确定并获取N个人体检测框中对应高度最高的图像帧作为最高点状态帧图像并且之后进入落地阶段,当所述落地阶段连续M个图像帧中的人体检测框水平高度无变化且接近于起跳时的水平高度时确定当前为落地点并获取落地点状态帧图像且落地阶段结束。
在一个优选例中,所述运动检测模块还用于对于立定跳远,当起跳区域内的脚部检测框与安全线检测框间的距离小于第四阈值距离时确定当前为起跳点并获取起跳点状态帧图像且进入起跳阶段,并且当之后的预设时间段内对应的人体检测框与跳远区域的相交时进入腾空阶段,比较所述腾空阶段人体检测框的前后位置变化,确定并获取N个人体检测框中对应高度最高的图像帧作为最高点状态帧图像并且之后进入落地阶段,当所述落地阶段连续γ个图像帧中的脚部检测框的移动距离小于第一阈值距离时确定当前为落地点并获取落地点状态帧图像且落地阶段结束,γ≥2;
所述运动检测模块还用于对于立定跳远,若所述起跳阶段及之前预设时间段内人体检测框移动速度超过设定阈值,则判定助跑违规以生成助跑违规的运动成绩,否则根据所述起跳阶段中所述脚部检测框的位置变化判断是否有垫跳动作,当所述脚部检测框上下移动距离超出第五阈值距离时判定垫跳违规以生成垫跳违规的运动成绩,其中一旦判定违规则停止后续运动阶段的识别。
在一个优选例中,所述系统还包括大数据中心和设备管理模块;
所述运动检测模块获取所述运动学生的所述运动项目的每个运动阶段的关键状态帧图像以形成图像帧序列,并存储所述图像帧序列到所述成绩存储模块,所述大数据中心根据所述成绩存储模块存储的图像帧序列生成所述运动学生的所述运动项目的运动轨迹线;
所述设备管理模块分别与设置于操场上的设备连接用于监测各设备的状态信息,所述设备包含所述图像采集装置、运动操作台、生物特征识别机、操场大屏、心率检测设备,所述心率检测设备在学生进入操场前分配给学生佩戴以实时监控运动学生的心率并将运动学生的心率发送到大数据中心,大数据中心将运动学生的心率与该运动学生的运动轨迹线进行时间对齐。
本申请还公开了一种基于校园智能操场系统的运动检测方法,所述系统包括设置在操场的每个运动项目区域处的图像采集装置;所述方法包括以下步骤:
对于每个运动项目,利用其对应区域处的图像采集装置采集运动视频,基于多目标跟踪检测模型对所述运动视频中的多个运动学生跟踪检测以确定每个运动学生的多个运动阶段和每个运动阶段的关键状态帧图像;
基于图像分割模型对所述关键状态帧图像中的约定人体部位和规则标志进行分割,根据分割结果生成所述每个运动学生的违规情况或有效成绩的运动成绩;
存储学生的所述运动成绩。
本申请实施方式中,至少包括以下优点和有益效果:
1.将多目标跟踪检测模型和图像分割模型相结合使用,不仅可以针对不同种类的运动项目的运动成绩进行自动检测识别,而且可以对同一运动项目区域内的多个运动学生进行同时跟踪检测并同时得到多个运动学生的运动成绩。并且,基于此统一的自动检测识别方式可以对于不同种类的运动项目得到相同类型的运动成绩数据,进而可以对不同运动项目的运动成绩进行整合,从而可以基于整合的数据对各学生的运动情况进行及时全面分析。
2.在自动检测识别过程中,基于多目标跟踪检测模型对所述运动视频中的多个运动学生跟踪检测以确定每个运动学生的多个运动阶段和相应运动阶段的关键状态帧图像,并基于图像分割模型对所述关键状态帧图像中的约定人体部位和规则标志进行分割,根据分割结果生成所述每个运动学生的违规情况或有效成绩的运动成绩。这一过程的优点包括:首先,该过程可以同时对同一运动区域中的多个人进行同时跟踪检测并同时得到多个人的运动成绩,大大提高了检测效率;尤其对于跳远项目,只需一台摄像机就可以满足自动检测需求,在降低设备成本的同时大大提高了跳远运动的检测效率;其次,该运动成绩不仅包含有效成绩还包含违规情况,实现对违规情况的跟踪记录,为后续教导学生给与一定的指导意义;再次,该过程涉及的计算参数少、计算方法简单,自动检测识别速度快。
3.可以对前述关键状态帧图像进行存储形成每个学生的图像帧序列,基于该图像帧序列可以直接得到每个学生每次运动的运动曲线,进而可以例如进行可视化呈现等。
本申请的说明书中记载了大量的技术特征,分布在各个技术方案中,如果要罗列出本申请所有可能的技术特征的组合(即技术方案)的话,会使得说明书过于冗长。为了避免这个问题,本申请上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征,都可以自由地互相组合,从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载),除非这种技术特征的组合在技术上是不可行的。例如,在一个例子中公开了特征A+B+C,在另一个例子中公开了特征A+B+D+E,而特征C和D是起到相同作用的等同技术手段,技术上只要择一使用即可,不可能同时采用,特征E技术上可以与特征C相组合,则,A+B+C+D的方案因技术不可行而应当不被视为已经记载,而A+B+C+E的方案应当视为已经被记载。
附图说明
图1是根据本申请第一实施方式的基于校园智能操场系统结构示意图。
图2是根据本申请第二实施方式的校园智能操场系统的运动检测方法流程示意图。
图3是根据本申请一个示例的校园智能操场系统结构示意图。
图4是根据本申请一个示例的跳远项目的图像采集装置的布置图。
图5是根据本申请一个示例的跳远项目的运动检测方法流程示意图。
图6是根据本申请一个示例的跳远项目的基于图像分割模型的运动成绩自动识别过程的流程示意图。
具体实施方式
在以下的叙述中,为了使读者更好地理解本申请而提出了许多技术细节。但是,本领域的普通技术人员可以理解,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的实施方式作进一步地详细描述。
本申请的第一实施方式涉及一种校园智能操场系统,其结构如图1所示,该校园智能操场系统包括设置在操场的每个运动项目区域处的图像采集装置、运动检测模块和成绩存储模块。其中,运动检测模块用于对于每个运动项目,利用其对应区域处的图像采集装置采集运动视频,基于多目标跟踪检测模型对该运动视频中的多个运动学生跟踪检测以确定每个运动学生的多个运动阶段和每个运动阶段的关键状态帧图像,并基于图像分割模型对该关键状态帧图像中的约定人体部位和规则标志进行分割,根据分割结果生成该每个运动学生的违规情况或有效成绩的运动成绩;成绩存储模块用于存储学生的该运动成绩。
该多目标跟踪检测模型预先利用标注有约定检测框的图像数据集进行训练得到,并且该图像分割模型预先利用标注有约定人体部位和规则标识的图像数据集进行训练得到。可选地,该多目标跟踪检测模型为Yolox+Deepsort模型,该图像分割模型为Unet模型。虽然只罗列了Yolox+Deepsort模型和Unet模型的组合,但是可以实现本申请自动识别运动成绩的任意多目标跟踪检测模型和图像分割模型的组合均在本申请的保护范围内。
在一个实施例中,该运动检测模块还用于对于跳远项目,基于多目标跟踪检测模型对该运动视频中的多个运动学生跟踪检测得到每个运动学生的人体检测框和脚部检测框,基于该人体检测框和脚部检测框的位置和/或位置变化确定每个运动学生的起跳阶段和起跳点状态帧图像、腾空阶段和最高点状态帧图像、落地阶段和落地点状态帧图像,并利用图像分割模型对各状态帧图像进行分割得到各运动学生的起跳点脚部轮廓、落地点脚部轮廓、最高点脚部轮廓以及安全线标志轮廓,若该起跳点脚部轮廓与该安全线轮廓相交则判定违规踩线,否则根据该起跳点脚部轮廓、该最高点脚部轮廓和该落地点脚部轮廓确定跳远高度和跳远距离,以生成违规踩线或有效跳远距离和跳远距离的运动成绩。
在跳远项目的实施例中,该运动阶段还包括后退判断阶段;并且,该运动检测模块还用于对于急行跳远当该落地阶段连续M个图像帧中的人体检测框水平高度无变化且接近于起跳时的水平高度时确定当前为落地点并进入后退判断阶段,以及对于立定跳远当该落地阶段连续γ个图像帧中的脚部检测框的移动距离均小于第一阈值距离时确定当前为落地点并进入后退判断阶段,若该后退判断阶段中人体检测框或脚部检测框的后退距离达到第二阈值距离或脚部检测框向安全线方向的外扩范围达到阈值范围,则判定后退违规并生成后退违规的运动成绩,其中M、γ≥2。
可选地,该跳远项目可以为立定跳远或急行跳远,并且对应立定跳远项目的图像采集装置设置在立定跳远区域正面且采集视角与跳远方向相对的位置以及对应急行跳远项目的图像采集装置设置急行跳远区域侧面且采集视角与跳远方向垂直。在以固定角度和距离布置图像采集装置的场景下,学生的跳远高度与跳远距离可以由该运动检测模块通过以下方法自动计算得到:(1)根据该最高点脚部轮廓确定最高点距离水平线的垂直距离并根据该垂直距离得到跳远高度;(2)基于该起跳点脚部轮廓、该落地点脚部轮廓和该安全线标志轮廓得到图像中起跳点脚部轮廓最前点坐标、该落地点脚部轮廓最后点坐标和该安全线标志轮廓的安全线坐标,并根据得到的坐标利用以下公式确定立定跳远或急行跳远的跳远距离:
D1=(X0+X1);D2=(Y0-Y1);
其中,D1为急行跳远学生的跳远距离,D2为立定跳远学生的跳远距离,X0为安全线与图像采集装置的水平距离,X1为落地点脚部轮廓最后点与图像采集装置的水平距离,Y0为起跳点脚部轮廓最前点与摄像头的垂直距离,Y1为落地点脚部轮廓最后点与图像采集装置的垂直距离,Y为目标点与图像采集装置的垂直距离,X为目标点与图像采集装置的水平距离,H为图像采集装置距离地面的高度,α为图像采集装置俯仰角,β为图像采集装置水平视场角,θ为垂直视场角,Δθ为步进小角度,Dmin为图像底边距离图像采集装置的垂直距离,Dmax为图片顶边距离图像采集装置的垂直距离,x为目标点的图像横坐标,y为目标点的图像纵坐标,h为图像高度。需要指出,目标点分别对应当前需要计算的点,如当前计算的点是脚部最前点时则该点为目标点、当前计算的点为脚部最后点时则该点为目标点。
在跳远项目的实施例中,该运动检测模块可以自动检测其各运动阶段,具体描述如下:运动检测模块可选地用于对于急行跳远,当起跳区域内的人体检测框移动速度达到阈值速度、对应的脚部检测框与安全线之间的距离小于第三阈值距离且该人体检测框内人体前倾角度小于阈值角度时确定当前为起跳点并获取起跳点状态帧图像且之前预设时间段为起跳阶段,之后进入腾空阶段,比较该腾空阶段人体检测框的前后位置变化,确定并获取N个人体检测框中对应高度最高的图像帧作为最高点状态帧图像并且之后进入落地阶段,当该落地阶段连续M个图像帧中的人体检测框水平高度无变化且接近于起跳时的水平高度时确定当前为落地点并获取落地点状态帧图像且落地阶段结束。该运动检测模块可选地用于对于立定跳远,当起跳区域内的脚部检测框与安全线检测框间的距离小于第四阈值距离时确定当前为起跳点并获取起跳点状态帧图像且进入起跳阶段,并且当之后的预设时间段内对应的人体检测框与跳远区域的相交时进入腾空阶段,比较该腾空阶段人体检测框的前后位置变化,确定并获取N个人体检测框中对应高度最高的图像帧作为最高点状态帧图像并且之后进入落地阶段,当该落地阶段连续γ个图像帧中的脚部检测框的移动距离小于第一阈值距离时确定当前为落地点并获取落地点状态帧图像且落地阶段结束。运动检测模块可选地还用于对于立定跳远,若该起跳阶段及之前预设时间段内人体检测框移动速度超过设定阈值,则判定助跑违规以生成助跑违规的运动成绩,否则根据该起跳阶段中该脚部检测框的位置变化判断是否有垫跳动作,当该脚部检测框上下移动距离超出第五阈值距离时判定垫跳违规以生成垫跳违规的运动成绩,其中一旦判定违规则停止后续运动阶段的识别,N、M、γ≥2。
本实施方式的运动检测模块还可以针对不同运动项目基于约定的不同身体部位的检测框的位置和/或位置变化确定每个运动学生的多个运动阶段和每个运动阶段的关键状态帧。并且,该运动检测模块还可以针对不同的运动项目根据违规判断和有效结果的需求约定不同的多个运动阶段,以及可以自动检测每个运动项目的各个运动阶段和自动获取各运动阶段的关键状态帧图像。例如,对于跳高项目可以约定起跳阶段、上升阶段、下降阶段和落地阶段。再例如,对于长跑项目(如800米、1000米等)可以约定起跑阶段、跑步阶段和冲刺阶段。等等。
例如,在引体向上项目的实施例中,该运动检测模块用于首先采用YOLOX目标检测模型检测出运动学生的上升阶段和下降阶段及其关键状态帧图像,然后利用基于图像分割模型对关键状态帧图像的人体部分、脚部、手部和头部以及单杠进行分割并得到各阶段的人体姿态,根据各阶段的人体姿态与单杠的位置关系判断运动对象引体向上完成情况并计数。
再例如,在长跑项目的实施例中,首先在操场跑道周围部署若干图像采集装置(包括起跑线、终点线处以及起跑线和终点线之间的若干装置,起跑线处和终点线处的装置设置在线正上方和线终端处且采集视角朝向线的方向),并且该运动检测模块用于利用图像采集装置采集运动视频,基于多目标跟踪检测模型对该运动视频中的多个运动学生跟踪检测以确定每个运动学生的起跑阶段、跑步阶段和冲刺阶段以及起跑点状态帧图像、冲线状态帧图像以及起跑线和终点线之间每圈跑步状态帧图像(例如环形跑道),并基于图像分割模型对起跑点状态帧图像中的脚部和起跑线、冲线状态帧图像中的人体部分和终点线以及每圈跑步状态帧图像的面部进行分割,根据起跑线和终点线之间被同一摄像机采集到面部次数计算跑步圈数,根据起跑阶段的脚部和起跑线的位置关系生成该每个运动学生的是否违规及违规情况,根据起跑阶段的脚部和起跑线的位置关系的变化确定起跑时间,根据冲刺阶段的人体部分和终点线的位置关系的变化情况确定冲过终点时间,根据起跑时间和冲过终点时间计算跑步时间的运动结果。
可选地,该校园智能操场系统还包括大数据中心和设备管理模块。其中该运动检测模块获取该运动学生的该运动项目的每个运动阶段的关键状态帧图像或关键帧图像前后预设数量帧图像以形成图像帧序列,并存储该图像帧序列到该成绩存储模块,该大数据中心根据该成绩存储模块存储的图像帧序列生成该运动学生的该运动项目的运动轨迹线。其中该设备管理模块分别与设置于操场上的设备连接用于监测各设备的状态信息,该设备包含该图像采集装置、运动操作台、生物特征识别机、操场大屏、心率检测设备,该心率检测设备在学生进入操场前分配给学生佩戴以实时监控运动学生的心率,并将运动学生的心率发送到大数据中心,大数据中心将运动学生的心率与该运动学生的运动轨迹线进行时间对齐。
需要指出,本申请涉及的各种阈值可以根据经验设置或基于对历史数据的分析得到。
本申请的第二实施方式涉及一种基于校园智能操场系统的运动检测方法,该系统包括设置在操场的每个运动项目区域处的图像采集装置;该运动检测方法的流程如图2所示,该方法包括以下步骤:
在步骤201中,对于每个运动项目,利用其对应区域处的图像采集装置采集运动视频,基于多目标跟踪检测模型对该运动视频中的多个运动学生跟踪检测以确定每个运动学生的多个运动阶段和每个运动阶段的关键状态帧图像。
之后,进入步骤202,基于图像分割模型对步骤201中确定的关键状态帧图像中的约定人体部位和规则标志进行分割,根据分割结果生成该每个运动学生的违规情况或有效成绩的运动成绩。
之后,进入步骤203,对步骤202中得到的违规情况或有效成绩的运动成绩进行存储。
步骤201中的多目标跟踪检测模型预先利用标注有约定检测框的图像数据集进行训练得到,并且步骤202中的图像分割模型预先利用标注有约定人体部位和规则标识的图像数据集进行训练得到。可选地,该多目标跟踪检测模型为Yolox+Deepsort模型,该图像分割模型为Unet模型。虽然只罗列了Yolox+Deepsort模型和Unet模型的组合,但是可以实现本申请自动识别运动成绩的任意多目标跟踪检测模型和图像分割模型的组合均在本申请的保护范围内。。
在一个实施例中,步骤201和步骤202进一步包括以下步骤:对于跳远项目,基于多目标跟踪检测模型对该运动视频中的多个运动学生跟踪检测得到每个运动学生的人体检测框和脚部检测框,基于该人体检测框和脚部检测框的位置和/或位置变化确定每个运动学生的起跳阶段和起跳点状态帧图像、腾空阶段和最高点状态帧图像、落地阶段和落地点状态帧图像,并利用图像分割模型对各状态帧图像进行分割得到各运动学生的起跳点脚部轮廓、落地点脚部轮廓、最高点脚部轮廓以及安全线标志轮廓,若该起跳点脚部轮廓与该安全线轮廓相交则判定违规踩线,否则根据该起跳点脚部轮廓、该最高点脚部轮廓和该落地点脚部轮廓确定跳远高度和跳远距离,以生成违规踩线或有效跳远距离和跳远距离的运动成绩。
在跳远项目的实施例中,该运动阶段还包括后退判断阶段;并且该步骤202进一步还包括以下步骤:对于急行跳远当该落地阶段连续M个图像帧中的人体检测框水平高度无变化且接近于起跳时的水平高度时确定当前为落地点并进入后退判断阶段,以及对于立定跳远当该落地阶段连续γ个图像帧中的脚部检测框的移动距离均小于第一阈值距离时确定当前为落地点并进入后退判断阶段,若该后退判断阶段中人体检测框或脚部检测框的后退距离达到第二阈值距离或脚部检测框向安全线方向的外扩范围达到阈值范围,则判定后退违规并生成后退违规的运动成绩,其中M、γ≥2。
可选地,该跳远项目可以为立定跳远或急行跳远,并且对应立定跳远项目的图像采集装置设置在立定跳远区域正面且采集视角与跳远方向相对的位置以及对应急行跳远项目的图像采集装置设置急行跳远区域侧面且采集视角与跳远方向垂直。在以固定角度和距离布置图像采集装置的场景下,学生的跳远高度与跳远距离可以由该运动检测模块通过以下方法自动计算得到:(1)根据该最高点脚部轮廓确定最高点距离水平线的垂直距离并根据该垂直距离得到跳远高度;(2)基于该起跳点脚部轮廓、该落地点脚部轮廓和该安全线标志轮廓得到图像中起跳点脚部轮廓最前点坐标、该落地点脚部轮廓最后点坐标和该安全线标志轮廓的安全线坐标,并根据得到的坐标利用以下公式确定立定跳远或急行跳远的跳远距离:
D1=(X0+X1);D2=(Y0-Y1);
其中,D1为急行跳远学生的跳远距离,D2为立定跳远学生的跳远距离,X0为安全线与图像采集装置的水平距离,X1为落地点脚部轮廓最后点与图像采集装置的水平距离,Y0为起跳点脚部轮廓最前点与摄像头的垂直距离,Y1为落地点脚部轮廓最后点与图像采集装置的垂直距离,Y为目标点与图像采集装置的垂直距离,X为目标点与图像采集装置的水平距离,H为图像采集装置距离地面的高度,α为图像采集装置俯仰角,β为图像采集装置水平视场角,θ为垂直视场角,Δθ为步进小角度,Dmin为图像底边距离图像采集装置的垂直距离,Dmax为图片顶边距离图像采集装置的垂直距离,x为目标点的图像横坐标,y为目标点的图像纵坐标,h为图像高度。需要指出,目标点分别对应当前需要计算的点,如当前计算的点是脚部最前点时则该点为目标点、当前计算的点为脚部最后点时则该点为目标点。
在跳远项目的实施例中,步骤201例如可以进一步实现为:对于急行跳远,当起跳区域内的人体检测框移动速度达到阈值速度、对应的脚部检测框与安全线之间的距离小于第三阈值距离且该人体检测框内人体前倾角度小于阈值角度时确定当前为起跳点并获取起跳点状态帧图像且之前预设时间段为起跳阶段,之后进入腾空阶段,比较该腾空阶段人体检测框的前后位置变化,确定并获取N个人体检测框中对应高度最高的图像帧作为最高点状态帧图像并且之后进入落地阶段,当该落地阶段连续M个图像帧中的人体检测框水平高度无变化且接近于起跳时的水平高度时确定当前为落地点并获取落地点状态帧图像且落地阶段结束。以及步骤201例如还可以进一步实现为:对于立定跳远,当起跳区域内的脚部检测框与安全线检测框间的距离小于第四阈值距离时确定当前为起跳点并获取起跳点状态帧图像且进入起跳阶段,并且当之后的预设时间段内对应的人体检测框与跳远区域的相交时进入腾空阶段,比较该腾空阶段人体检测框的前后位置变化,确定并获取N个人体检测框中对应高度最高的图像帧作为最高点状态帧图像并且之后进入落地阶段,当该落地阶段连续γ个图像帧中的脚部检测框的移动距离小于第一阈值距离时确定当前为落地点并获取落地点状态帧图像且落地阶段结束;并且若该起跳阶段及之前预设时间段内人体检测框移动速度超过设定阈值,则判定助跑违规以生成助跑违规的运动成绩,否则根据该起跳阶段中该脚部检测框的位置变化判断是否有垫跳动作,当该脚部检测框上下移动距离超出第五阈值距离时判定垫跳违规以生成垫跳违规的运动成绩,其中一旦判定违规则停止后续运动阶段的识别,N、M、γ≥2。
本实施方式的运动检测方法还可以针对不同运动项目基于约定的不同身体部位的检测框的位置和/或位置变化确定每个运动学生的多个运动阶段和每个运动阶段的关键状态帧。并且,该运动检测方法还可以针对不同的运动项目根据违规判断和有效结果的需求约定不同的多个运动阶段,以及可以自动检测每个运动项目的各个运动阶段和自动获取各运动阶段的关键状态帧图像。例如,对于跳高项目可以约定起跳阶段、上升阶段、下降阶段和落地阶段。再例如,对于长跑项目(如800米、1000米等)可以约定起跑阶段、跑步阶段和冲刺阶段。等等。
例如,在引体向上项目的实施例中,该步骤201和步骤202进一步实现为:首先基于目标检测模型检测出运动学生的上升阶段和下降阶段以及上升阶段最高点关键状态帧图像和下降阶段最低点关键状态帧图像,然后利用基于图像分割模型对关键状态帧图像的人体部分、脚部、手部和头部以及单杠进行分割并得到各阶段的人体姿态,根据各阶段的人体姿态与单杠的位置关系判断运动对象引体向上完成情况并计数。
再例如,在长跑项目的实施例中,首先在操场跑道周围部署若干图像采集装置(包括起跑线、终点线处以及起跑线和终点线之间的若干装置,起跑线处和终点线处的装置设置在线正上方和线终端处且采集视角朝向线的方向)。并且该步骤201和步骤202进一步实现为:用于利用图像采集装置采集运动视频,基于多目标跟踪检测模型对该运动视频中的多个运动学生跟踪检测以确定每个运动学生的起跑阶段、跑步阶段和冲刺阶段以及起跑点状态帧图像、冲线状态帧图像以及起跑线和终点线之间每圈跑步状态帧图像(例如环形跑道),并基于图像分割模型对起跑点状态帧图像中的脚部和起跑线、冲线状态帧图像中的人体部分和终点线以及每圈跑步状态帧图像的面部进行分割,根据起跑线和终点线之间被同一摄像机采集到面部次数计算跑步圈数,根据起跑阶段的脚部和起跑线的位置关系生成该每个运动学生的是否违规及违规情况,根据起跑阶段的脚部和起跑线的位置关系的变化确定起跑时间,根据冲刺阶段的人体部分和终点线的位置关系的变化情况确定冲过终点时间,根据起跑时间和冲过终点时间计算跑步时间的运动结果。
可选地,该校园智能操场系统还包括大数据中心和设备管理模块。该运动检测方法还包括以下步骤A和B:步骤A:获取该运动学生的该运动项目的每个运动阶段的关键状态帧图像或关键帧图像前后预设数量帧图像以形成图像帧序列;步骤B:根据该图像帧序列生成该运动学生的该运动项目的运动轨迹线。
可选地,该运动检测方法还包括以下步骤:在学生进入操场前分配给学生心率检测设备进行佩戴用于实时监控运动学生的心率;并将运动学生的心率与该运动轨迹线进行时间对齐。
第一实施方式是与本实施方式相对应的系统实施方式,第一实施方式中的技术细节可以应用于本实施方式,本实施方式中的技术细节也可以应用于第一实施方式。
需要说明的是,虽然第一和第二实施方式只给出了跳远项目、引体向上项目和长跑项目的三种项目的具体实施例,但其不能作为对本申请保护范围的限制,该运动检测模块可应用于基于本两个实施方式的思想可以实现的其他任何运动项目。
为了能够更好地理解本申请的技术方案,下面结合一个具体的智能操场系统及跳远项目的自动检测的例子来进行说明,该例子中罗列的细节主要是为了便于理解,不作为对本申请保护范围的限制。如图3所示的示例智能操场系统。该系统根据各类运动的考核标准设计各项运动智能检测模块,尤其设计了多人跳远运动检测模块,该模块基于多目标跟踪检测模型实现多人跳远运动的目标跟踪检测,自动识别跳远运动目标的各运动阶段,并采用Unet图像分割模型获取跳远距离和高度有效数据、以及违规无效数据;其次根据获取的各项运动数据,生成学生运动、考试等成绩报告。该系统包括运动检测模块、硬件设备管理模块以及体质健康成绩管理模块。其中运动检测模块识别并检测学生的各项运动,获取运动数据;硬件设备管理模块管理操场内各项硬件设备;体质健康成绩管理模块根据运动检测模块获取的运动数据管理学生的各项体育运动成绩及体质监测成绩。其中各模块具体描述如下:
一、布置图像采集装置:如图4所示,对应立定跳远项目的图像采集装置设置在立定跳远区域正面且采集视角与跳远方向相对的位置,以及对应急行跳远项目的图像采集装置设置急行跳远区域侧面且采集视角与跳远方向垂直。
二、运动检测模块:本模块根据中考体育项目及其考核标准,分别设计对应的运动智能检测模块,智能识别并检测学生的运动情况,根据上述获取的运动数据生成学生体育考核成绩、校园运动轨迹等。以跳远检测为例,结合了校园检测人数众多的应用需求设计多人跳远智能检测方法。
以跳远项目为例,跳远检测模块首先利用训练好的Yolox+Deepsort多目标跟踪模型检测出视频中的人体、脚部及安全线,并实现对跳远对象的人体及脚部检测框的跟踪,利用人体、脚部检测框与安全线检测框的相对位置关系判断跳远所处阶段;其次,将存储的跳远各阶段图像帧作为Unet分割模型的输入,获得各阶段的脚部及安全线轮廓;最后,根据检测与分割结果对跳远运动进行分析处理,获得学生的实际跳远距离与高度,具体的实现步骤如图5所示。
1.模型训练:采集各学校学生跳远运动的视频流数据,截取视频图像帧作为训练数据。利用CVAT标注工具对Yolox+Deepsort多目标跟踪检测模型的训练数据进行标注,利用LabelMe标注工具对Unet分割模型的训练数据进行标注,按照80%训练集,20%测试集的比例对制作好的数据集进行划分,分别对Yolox+Deepsort多目标跟踪检测模型(采用标准网络结构Yolox-Darknet53的算法模型)和Unet分割模型进行训练。
2.基于Yolox+Deepsort的多目标跟踪检测模型,判断跳远过程各阶段:①首先在跳远区域侧面及正面设置摄像头1、摄像头2,学生分区域在安全线前进行跳远运动,摄像头1、摄像头2分别拍摄学生的急行跳远与立定跳远视频,通过OpenCV获取摄像头的视频流数据。实际的跳远场景设置如下5所示。②将每帧图像按顺序传入训练好的Yolox+Deepsort多目标跟踪检测模型,检测视频中的人体、脚部及安全线位置,利用安全线检测框对跳远区域进行处理,划分急行跳远与立定跳远及其起跳与跳远区域,分别追踪各区域内的人体运动轨迹,并根据人体、脚部检测框与安全线检测框的相对位置关系对各跳远对象的跳远阶段进行判断,具体的判断方法为:
3.急行跳远各阶段判断方法如下:a.检测急行跳远起跳区域内的人体检测框移动速度,当学生的人体检测框移动速度达到设定阈值时,则根据检测框ID将图像帧存储到对应长度为nα的队列中(根据实际情况存储n秒数据,1秒对应α个图像帧);b.根据起跳区域内的脚部检测框与安全线检测框间的距离判断学生是否有跳远倾向,当起跳区域内的学生脚部检测框与安全线检测框间的距离小于设定阈值时,则判定该学生为预跳远对象;c.根据人体检测框的前倾程度{起跳框内人体的前倾程度:具体的检测方式可以是起跳框内人体躯干的角度或者头部与脚部连线的角度等等}判断预跳远对象是否起跳,当人体检测框相对安全线检测框的前倾程度达到设定阈值时,则判定预跳远对象起跳,将当前图像帧作为起跳图像帧同时进入腾空处理阶段;d.对比腾空过程中跳远对象人体检测框的前后位置变化,选取β(默认取3)个人体检测框对应高度最高的图像帧作为最高点图像帧并进入落地判断阶段;e.根据人体检测框在落地过程中的水平高度变化判断跳远对象是否落地,当连续γ个图像帧中的人体检测框水平高度无变化且接近于起跳时的水平高度时,则判定当前图像帧为落地时刻图像帧并进入后退判断阶段;f.根据落地时刻后的δ个图像帧中的人体及脚部检测框的位置变化判断跳远对象是否后退(即向安全线方向移动),若人体或脚部检测框的后退距离或脚部检测框向安全线方向的外扩范围达到设定阈值,则判定该跳远对象存在后退动作。
4.立定跳远各阶段判断方法如下:a.检测立定跳远起跳区域内的学生运动状态,排除静坐休息、站立交谈等与跳远无关人员,获取立定跳远起跳区域内的运动学生并分检测框ID存储图像帧;b.根据起跳区域内的脚部检测框与安全线检测框间的距离判断学生是否有跳远倾向,当起跳区域内的学生脚部检测框与安全线检测框间的距离小于设定阈值时,则判定该学生为预跳远对象并进入起跳判断阶段;c.根据人体检测框与跳远区域的相交程度判断预跳远对象是否起跳,当人体检测框与跳远区域的相交区域面积达到设定阈值时,则判定预跳远对象起跳并将当前图像帧作为起跳图像帧同时进入助跑及垫跳检测阶段;d.根据起跳前的人体检测框的移动速度判断跳远对象是否有助跑行为,当跳远对象人体检测框移动速度超过设定阈值时,则判定其存在助跑行为同时停止跳远阶段判断;若无助跑行为则根据预跳到起跳期间各图像帧中脚部检测框的位置变化判断跳远对象是否有垫跳动作,当脚部检测框上下移动距离超出设定阈值时,则判定该跳远对象存在垫跳动作同时停止跳远阶段判断,若无垫跳动作则进入腾空处理阶段;e.对比腾空过程中跳远对象人体检测框的前后位置变化,选取β(默认取3)个人体检测框对应高度最高的图像帧作为最高点图像帧并进入落地判断阶段;f.根据脚部检测框在落地过程中的位置变化判断当前跳远对象是否落地,当连续γ个图像帧中脚部检测框的移动距离均小于设定阈值时,则判定当前图像帧为落地图像帧并进入后退判断阶段。g.对比落地时刻后的δ个图像帧中人体及脚部检测框的位置变化判断跳远对象是否后退,若人体或脚部检测框的后退距离或脚部检测框向安全线方向的外扩范围达到设定阈值,则判定该跳远对象存在后退动作。
5.基于Unet图像分割模型,进行检测结果后处理与分析
基于上述检测及跳远阶段判断的结果,确认跳远对象身份并判断其是否存在违规动作,对无违规动作的跳远对象进行检测结果后处理与分析,计算跳远距离与高度,获得学生的最终跳远成绩。如图6所示流程图,具体步骤包括:①确定跳远对象身份:将跳远对象的人脸图片与校园人脸数据库中的数据进行对比,确定跳远对象身份。②违规动作判断:对不同跳远类型的跳远对象采用不同的判别标准进行违规动作判断,针对急行跳远的跳远对象,判断其是否存在后退动作,若存在则直接输出其成绩无效及无效原因,若无则进行检测结果后处理与分析;针对立定跳远的跳远对象,判断其是否存在助跑、垫跳或后退动作,若存在上述违规动作之一则直接输出其成绩无效及对应无效原因,若无则进行检测结果后处理与分析。③检测结果后处理与分析:将起跳时刻图像帧输入训练好的Unet图像分割模型中,获取脚部与安全线轮廓及坐标,若起跳图像帧中的脚部与安全线相交,则判定该跳远对象踩线,停止跳远高度及距离计算,输出其成绩无效及无效原因;若无踩线动作则将落地时刻图像帧与存储的腾空过程中的β个图像帧输入Unet分割模型,获取落地时刻的脚部轮廓,对比β个腾空图像帧中人体最高点,获取最高点人体坐标。计算学生的真实跳远高度与距离,在固定角度和距离布置摄像头的场景下,由图像上跳远最高点距离水平线的垂直距离和经验比率即可得到真实跳远高度。真实跳远距离根据落地时刻脚部最后点与摄像头的真实水平距离、起跳时刻脚部最前点与摄像头的真实垂直距离、落地时刻脚部最后点与摄像头的真实垂直距离计算得到。其中,图像坐标点与摄像头的真实垂直距离根据上述第一和第二实施方式中涉及的公式计算得到。
6.跳远结果可视化呈现:基于上述步骤,生成学生跳远轨迹线,具体包括:①起跳线:平行于安全线且过脚部最前点(急行跳远起跳线则是安全线最远端);②跳远距离线:垂直于起跳线且过脚部最后点;③高度线:垂直于跳远距离线且过跳远最高点;④跳远轨迹线:过起跳点、最高点、落地点的插值拟合曲线。
三、硬件设备管理模块:本模块包括运动操作台、网络摄像机、人脸识别机、操场大屏、心率监测设备、智能识别服务器等,实现管理人员对智慧操场上硬件设备的数字化管理,包括对设备进行添加、删除、定时开关机以及远程管理等,且当设备出现连接异常时可及时告警通知管理人员。
四、成绩存储模块:本模块包括平时体育运动成绩、期末专项考试成绩、体质监测成绩、健康知识问答成绩、体育竞赛成绩等,实现管理并查看整个学校、各年级、各班级、各学生体质健康总成绩以及各单项具体成绩,每项成绩对应具体的运动信息。
需要说明的是,本领域技术人员应当理解,上述校园智能操场系统的实施方式中所示的各模块的实现功能可参照前述基于校园智能操场系统的运动检测方法的相关描述而理解。上述校园智能操场系统的实施方式中所示的各模块的功能可通过运行于处理器上的程序(可执行指令)而实现,也可通过具体的逻辑电路而实现。本申请实施例上述校园智能操场系统如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
需要说明的是,在本专利的申请文件中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中,如果提到根据某要素执行某行为,则是指至少根据该要素执行该行为的意思,其中包括了两种情况:仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
在本申请提及的所有文献都被认为是整体性地包括在本申请的公开内容中,以便在必要时可以作为修改的依据。此外应理解,以上所述仅为本说明书的较佳实施例而已,并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本说明书一个或多个实施例的保护范围之内。
Claims (11)
1.一种校园智能操场系统,其特征在于,包括:
设置在操场的每个运动项目区域处的图像采集装置;
运动检测模块,用于对于每个运动项目,利用其对应区域处的图像采集装置采集运动视频,基于多目标跟踪检测模型对所述运动视频中的多个运动学生跟踪检测以确定每个运动学生的多个运动阶段和每个运动阶段的关键状态帧图像,并基于图像分割模型对所述关键状态帧图像中的约定人体部位和规则标志进行分割,根据分割结果生成所述每个运动学生的违规情况或有效成绩的运动成绩;
成绩存储模块,用于存储学生的所述运动成绩。
2.如权利要求1所述的校园智能操场系统,其特征在于,所述多目标跟踪检测模型为Yolox+Deepsort模型,所述图像分割模型为Unet模型。
3.如权利要求1所述的校园智能操场系统,其特征在于,所述运动检测模块还用于对于跳远项目,利用多目标跟踪检测模型对所述运动视频中的多个运动学生跟踪检测得到每个运动学生的人体检测框和脚部检测框,并基于所述人体检测框和脚部检测框的位置和/或位置变化确定每个运动学生的多个运动阶段和每个运动阶段的关键状态帧。
4.如权利要求3所述的校园智能操场系统,其特征在于,所述运动检测模块还用于对于跳远项目,基于所述人体检测框和脚部检测框的位置和/或位置变化确定每个运动学生的起跳阶段和起跳点状态帧图像、腾空阶段和最高点状态帧图像、落地阶段和落地点状态帧图像,并利用图像分割模型对各状态帧图像进行分割得到各运动学生的起跳点脚部轮廓、落地点脚部轮廓、最高点脚部轮廓以及安全线标志轮廓,若所述起跳点脚部轮廓与所述安全线轮廓相交则判定违规踩线,否则根据所述起跳点脚部轮廓、所述最高点脚部轮廓和所述落地点脚部轮廓确定跳远高度和跳远距离,以生成违规踩线或有效跳远距离和跳远距离的运动成绩。
5.如权利要求4所述的校园智能操场系统,其特征在于,所述运动阶段还包括后退判断阶段;并且,所述运动检测模块还用于对于急行跳远当所述落地阶段连续M个图像帧中的人体检测框水平高度无变化且接近于起跳时的水平高度时确定当前为落地点并进入后退判断阶段,以及对于立定跳远当所述落地阶段连续γ个图像帧中的脚部检测框的移动距离均小于第一阈值距离时确定当前为落地点并进入后退判断阶段,若所述后退判断阶段中人体检测框或脚部检测框的后退距离达到第二阈值距离或脚部检测框向安全线方向的外扩范围达到阈值范围,则判定后退违规并生成后退违规的运动成绩,其中M、γ≥2。
6.如权利要求3所述的校园智能操场系统,其特征在于,所述跳远项目为立定跳远或急行跳远,并且对应立定跳远项目的图像采集装置设置在立定跳远区域正面且采集视角与跳远方向相对的位置以及对应急行跳远项目的图像采集装置设置急行跳远区域侧面且采集视角与跳远方向垂直。
7.如权利要求6所述的校园智能操场系统,其特征在于,所述运动检测模块还用于根据所述最高点脚部轮廓确定最高点距离水平线的垂直距离并根据所述垂直距离得到跳远高度;以及,
基于所述起跳点脚部轮廓、所述落地点脚部轮廓和所述安全线标志轮廓得到图像中起跳点脚部轮廓最前点坐标、所述落地点脚部轮廓最后点坐标和所述安全线标志轮廓的安全线坐标,并根据得到的坐标利用以下公式确定立定跳远或急行跳远的跳远距离:
D1=(X0+X1);D2=(Y0-Y1);
其中,D1为急行跳远学生的跳远距离,D2为立定跳远学生的跳远距离,X0为安全线与图像采集装置的水平距离,X1为落地点脚部轮廓最后点与图像采集装置的水平距离,Y0为起跳点脚部轮廓最前点与摄像头的垂直距离,Y1为落地点脚部轮廓最后点与图像采集装置的垂直距离,Y为目标点与图像采集装置的垂直距离,X为目标点与图像采集装置的水平距离,H为图像采集装置距离地面的高度,α为图像采集装置俯仰角,β为图像采集装置水平视场角,θ为垂直视场角,Δθ为步进小角度,Dmin为图像底边距离图像采集装置的垂直距离,Dmax为图片顶边距离图像采集装置的垂直距离,x为目标点的图像横坐标,y为目标点的图像纵坐标,h为图像高度。
8.如权利要求4所述的校园智能操场系统,其特征在于,所述运动检测模块还用于对于急行跳远,当起跳区域内的人体检测框移动速度达到阈值速度、对应的脚部检测框与安全线之间的距离小于第三阈值距离且所述人体检测框内人体前倾角度小于阈值角度时确定当前为起跳点并获取起跳点状态帧图像且之前预设时间段为起跳阶段,之后进入腾空阶段,比较所述腾空阶段人体检测框的前后位置变化,确定并获取N个人体检测框中对应高度最高的图像帧作为最高点状态帧图像并且之后进入落地阶段,当所述落地阶段连续M个图像帧中的人体检测框水平高度无变化且接近于起跳时的水平高度时确定当前为落地点并获取落地点状态帧图像且落地阶段结束。
9.如权利要求4所述的校园智能操场系统,其特征在于,所述运动检测模块还用于对于立定跳远,当起跳区域内的脚部检测框与安全线检测框间的距离小于第四阈值距离时确定当前为起跳点并获取起跳点状态帧图像且进入起跳阶段,并且当之后的预设时间段内对应的人体检测框与跳远区域的相交时进入腾空阶段,比较所述腾空阶段人体检测框的前后位置变化,确定并获取N个人体检测框中对应高度最高的图像帧作为最高点状态帧图像并且之后进入落地阶段,当所述落地阶段连续γ个图像帧中的脚部检测框的移动距离小于第一阈值距离时确定当前为落地点并获取落地点状态帧图像且落地阶段结束,γ≥2;
所述运动检测模块还用于对于立定跳远,若所述起跳阶段及之前预设时间段内人体检测框移动速度超过设定阈值,则判定助跑违规以生成助跑违规的运动成绩,否则根据所述起跳阶段中所述脚部检测框的位置变化判断是否有垫跳动作,当所述脚部检测框上下移动距离超出第五阈值距离时判定垫跳违规以生成垫跳违规的运动成绩,其中一旦判定违规则停止后续运动阶段的识别。
10.如权利要求1-9中任一项所述的校园智能操场系统,其特征在于,所述系统还包括大数据中心和设备管理模块;
所述运动检测模块获取所述运动学生的所述运动项目的每个运动阶段的关键状态帧图像以形成图像帧序列,并存储所述图像帧序列到所述成绩存储模块,所述大数据中心根据所述成绩存储模块存储的图像帧序列生成所述运动学生的所述运动项目的运动轨迹线;
所述设备管理模块分别与设置于操场上的设备连接用于监测各设备的状态信息,所述设备包含所述图像采集装置、运动操作台、生物特征识别机、操场大屏、心率检测设备,所述心率检测设备在学生进入操场前分配给学生佩戴以实时监控运动学生的心率并将运动学生的心率发送到大数据中心,大数据中心将运动学生的心率与该运动学生的运动轨迹线进行时间对齐。
11.一种基于校园智能操场系统的运动检测方法,其特征在于,所述系统包括设置在操场的每个运动项目区域处的图像采集装置;
所述方法包括以下步骤:
对于每个运动项目,利用其对应区域处的图像采集装置采集运动视频,基于多目标跟踪检测模型对所述运动视频中的多个运动学生跟踪检测以确定每个运动学生的多个运动阶段和每个运动阶段的关键状态帧图像;
基于图像分割模型对所述关键状态帧图像中的约定人体部位和规则标志进行分割,根据分割结果生成所述每个运动学生的违规情况或有效成绩的运动成绩;
存储学生的所述运动成绩。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210621043.6A CN114998991A (zh) | 2022-06-01 | 2022-06-01 | 校园智能操场系统和基于该系统的运动检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210621043.6A CN114998991A (zh) | 2022-06-01 | 2022-06-01 | 校园智能操场系统和基于该系统的运动检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114998991A true CN114998991A (zh) | 2022-09-02 |
Family
ID=83032017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210621043.6A Pending CN114998991A (zh) | 2022-06-01 | 2022-06-01 | 校园智能操场系统和基于该系统的运动检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114998991A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115037873A (zh) * | 2022-04-13 | 2022-09-09 | 广州武穆科技有限公司 | 自动考核方法、装置、存储介质以及电子设备 |
CN115761603A (zh) * | 2023-01-09 | 2023-03-07 | 浙江大学计算机创新技术研究院 | 基于改进yolov5免标定的视频图像立定跳远测距方法 |
CN115845350A (zh) * | 2023-03-02 | 2023-03-28 | 成都谷帝科技有限公司 | 一种用于立定跳远自动测距的方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3418991A1 (en) * | 2016-01-22 | 2018-12-26 | Suzhou Ling Wei Technology Co., Ltd. | Body fall smart control system and method therefor |
CN111724414A (zh) * | 2020-06-23 | 2020-09-29 | 宁夏大学 | 一种基于3d姿态估计的篮球运动分析方法 |
CN112598709A (zh) * | 2020-12-25 | 2021-04-02 | 之江实验室 | 一种基于视频流的行人运动速度智能感知方法 |
CN114209309A (zh) * | 2021-12-14 | 2022-03-22 | 天津科技大学 | 一种基于视觉技术的运动行为分析方法 |
CN114307117A (zh) * | 2021-12-28 | 2022-04-12 | 西安交通大学 | 基于视频的立定跳远成绩测量方法和装置 |
-
2022
- 2022-06-01 CN CN202210621043.6A patent/CN114998991A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3418991A1 (en) * | 2016-01-22 | 2018-12-26 | Suzhou Ling Wei Technology Co., Ltd. | Body fall smart control system and method therefor |
CN111724414A (zh) * | 2020-06-23 | 2020-09-29 | 宁夏大学 | 一种基于3d姿态估计的篮球运动分析方法 |
CN112598709A (zh) * | 2020-12-25 | 2021-04-02 | 之江实验室 | 一种基于视频流的行人运动速度智能感知方法 |
CN114209309A (zh) * | 2021-12-14 | 2022-03-22 | 天津科技大学 | 一种基于视觉技术的运动行为分析方法 |
CN114307117A (zh) * | 2021-12-28 | 2022-04-12 | 西安交通大学 | 基于视频的立定跳远成绩测量方法和装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115037873A (zh) * | 2022-04-13 | 2022-09-09 | 广州武穆科技有限公司 | 自动考核方法、装置、存储介质以及电子设备 |
CN115761603A (zh) * | 2023-01-09 | 2023-03-07 | 浙江大学计算机创新技术研究院 | 基于改进yolov5免标定的视频图像立定跳远测距方法 |
CN115845350A (zh) * | 2023-03-02 | 2023-03-28 | 成都谷帝科技有限公司 | 一种用于立定跳远自动测距的方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11755952B2 (en) | System and method for predictive sports analytics using body-pose information | |
CN114998991A (zh) | 校园智能操场系统和基于该系统的运动检测方法 | |
Huang et al. | Tracknet: A deep learning network for tracking high-speed and tiny objects in sports applications | |
Datta et al. | Person-on-person violence detection in video data | |
US20220036052A1 (en) | Detection of kinetic events and mechanical variables from uncalibrated video | |
CN101639354B (zh) | 对象跟踪的设备和方法 | |
CN108564596B (zh) | 一种高尔夫挥杆视频的智能比对分析系统及方法 | |
US8542874B2 (en) | Videotracking | |
CN109101911B (zh) | 一种对足球比赛阵型变化及人员流动的可视分析方法 | |
CN105512618B (zh) | 视频跟踪方法 | |
CN109684919B (zh) | 一种基于机器视觉的羽毛球发球违例判别方法 | |
CN107358163A (zh) | 基于人脸识别的游客线路跟踪统计方法、电子设备及存储介质 | |
CN108363953A (zh) | 一种行人检测的方法及双目监控设备 | |
CN109409294B (zh) | 基于对象运动轨迹的停球事件的分类方法和系统 | |
Pobar et al. | Mask R-CNN and Optical flow based method for detection and marking of handball actions | |
CN114100103B (zh) | 一种基于关键点识别的跳绳计数检测系统及方法 | |
Sangüesa et al. | Identifying basketball plays from sensor data; towards a low-cost automatic extraction of advanced statistics | |
CN109460724B (zh) | 基于对象检测的停球事件的分离方法和系统 | |
US20230377336A1 (en) | Method of operating server providing sports video-based platform service | |
JPWO2018122956A1 (ja) | スポーツ動作解析支援システム、方法およびプログラム | |
Ivanova et al. | Video and sensor-based rope pulling detection in sport climbing | |
EP3179446A1 (en) | Orientation estimation method, and orientation estimation device | |
Chotimanus et al. | Real swing extraction for video indexing in golf practice video | |
CN114550071B (zh) | 田径视频动作关键帧自动识别和抓取方法、装置及介质 | |
KR102299459B1 (ko) | 중계 영상을 활용한 야구 경기 분석 장치 및 방법과 요약 비디오 생성 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |