CN114091511A - 一种基于时空信息的健身动作评分方法、系统及装置 - Google Patents
一种基于时空信息的健身动作评分方法、系统及装置 Download PDFInfo
- Publication number
- CN114091511A CN114091511A CN202111105114.9A CN202111105114A CN114091511A CN 114091511 A CN114091511 A CN 114091511A CN 202111105114 A CN202111105114 A CN 202111105114A CN 114091511 A CN114091511 A CN 114091511A
- Authority
- CN
- China
- Prior art keywords
- information
- scoring
- dimensional
- video information
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009471 action Effects 0.000 title claims abstract description 39
- 238000013077 scoring method Methods 0.000 title claims abstract description 20
- 230000000694 effects Effects 0.000 claims abstract description 24
- 238000012937 correction Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 230000005540 biological transmission Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 210000000988 bone and bone Anatomy 0.000 claims description 44
- 238000001914 filtration Methods 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 23
- 238000001514 detection method Methods 0.000 abstract description 2
- 210000003414 extremity Anatomy 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000000544 articulatio talocruralis Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000002310 elbow joint Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000004394 hip joint Anatomy 0.000 description 2
- 210000000629 knee joint Anatomy 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 210000003857 wrist joint Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
- A63B2071/0625—Emitting sound, noise or music
- A63B2071/063—Spoken or verbal instructions
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/806—Video cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于时空信息的健身动作评分方法、系统及装置，该方法包括：实时采集视频信息并以视频流传输方式上传；对实时视频信息按帧进行预处理；对预处理后的帧图像进行关键骨骼点提取；基于二维骨骼点序列中的时序信息和空间几何信息进行评分；对原始评分结果进行评分修正。该系统包括：采集模块、预处理模块、提取模块、原始评分模块和评分修正模块。该装置包括存储器以及用于执行上述基于时空信息的健身动作评分方法的处理器。通过使用本发明，能够对健身用户的动作进行实时评分，检测速度快且结果可靠。本发明作为一种基于时空信息的健身动作评分方法、系统及装置，可广泛应用于动作识别领域。
Description
技术领域
本发明涉及动作识别领域，尤其涉及一种基于时空信息的健身动作评分方法、系统及装置。
背景技术
在体育素养要求走进家庭的今天，许多家长却不知道该如何帮助自己的孩子完成体育素养的考核，仅仅依靠较少的体育知识进行指导或让孩子跟随视频训练，无法提供科学合理的建议和安全有效的监督，传统家庭健身方式存在弊端，许多中小学生运动的安全性和科学性得不到保障，缺乏指导动作不正确时训练效果无法达到预期，同时健身时缺乏与指导者的良好的交互，理解动作不够到位。
发明内容
为了解决上述技术问题，本发明的目的是提供一种基于时空信息的健身动作评分方法、系统及装置，能够对健身用户的动作进行实时评分，检测速度快且结果可靠。
本发明所采用的第一技术方案是：一种基于时空信息的健身动作评分方法，包括以下步骤：
实时采集视频信息并以视频流传输方式上传，得到实时视频信息；
对实时视频信息按帧进行预处理，得到预处理后的帧图像；
对预处理后的帧图像进行关键骨骼点提取并对提取到的骨骼点信息进行信息整合，得到二维骨骼点序列；
基于二维骨骼点序列中的时序信息和空间几何信息进行评分，得到原始评分结果；
对原始评分结果进行评分修正，得到最终评分结果。
进一步，所述实时采集视频信息并以视频流传输方式上传，得到实时视频信息这一步骤，其具体包括：
基于采集设备采集视频信息并将视频信息编码为可流式文件格式；
将编码后的视频信息以视频流传输方式上传，并解析得到实时视频信息。
进一步，所述对实时视频信息按帧进行预处理，得到预处理后的帧图像这一步骤，其具体包括：
对实时视频信息逐帧图像进行仿射变换修正，得到变换后图像；
对变换后图像进行尺寸修改，得到修改后图像；
对修改后图像进行RGB均值修正，得到修正后图像；
对修正后图像进行像素归一化，得到预处理后的帧图像。
进一步，对预处理后的帧图像进行关键骨骼点提取并对提取到的骨骼点信息进行信息整合，得到二维骨骼点序列这一步骤，其具体包括：
基于热图生成模型对预处理后的帧图像进行关键骨骼点提取，得到骨骼点信息，并记录对应的时间戳；
将骨骼点信息转换为对应摄像机平面的二维坐标信息，得到骨骼点二维坐标；
将采集设备的签名信息、骨骼点二维坐标和对应的时间戳进行整合，并以区块结构存储；
按照时间戳对区块结构进行排序，得到二位骨骼点序列。
进一步，所述基于二维骨骼点序列中的时序信息和空间几何信息进行评分，得到原始评分结果这一步骤，其具体包括：
将二维骨骼点序列中所有骨骼关键点按时间戳进行一一比对，并根据比对信息判断用户整体动作的快慢程度和幅度；
基于欧几里得距离关系计算人体肢体在摄像机平面的二维投影长度；
基于余弦距离关系计算人体肢体在摄像机平面的二维投影角度；
将用户整体动作的快慢程度和幅度、人体肢体在摄像机平面的二维投影长度、人体肢体在摄像机平面的二维投影角度按时间戳与系统内标准指标进行对比，以平均偏离幅度的百分比为指标得到原始评分。
进一步，所述将二维骨骼点序列中所有骨骼关键点按时间戳进行一一比对，并根据比对信息判断用户整体动作的快慢程度和幅度这一步骤，其具体包括：
将二维骨骼点序列中所有骨骼关键点按时间戳进行一一比对；
判断到动作开始的时间戳与动作结束的时间戳小于第一预设阈值，设定该用户的整体动作的快慢程度为快速；
在连续的两个时间戳内，判断到大于预设数量的骨骼关键点的二维坐标距离均大于第二预设阈值，设定该用户的整体动作的幅度为大幅度。
进一步，所述对原始评分结果进行评分修正，得到最终评分结果这一步骤，其具体包括：
通过滑动加权平均算法将原始评分结果转换为平滑评分结果；
对平滑评分结果进行标准差过滤，得到最终评分结果。
进一步，所述对平滑评分结果进行标准差过滤公式表示如下：
上式中，Dev(t)表示在第t帧下的平滑标准差，β表示记忆系数，
表示在第t帧下的平滑评分。
本发明所采用的第二技术方案是：一种基于时空信息的健身动作评分系统，包括：
采集模块，用于实时采集视频信息并以视频流传输方式上传，得到实时视频信息；
预处理模块，用于对实时视频信息按帧进行预处理，得到预处理后的帧图像；
提取模块，用于对预处理后的帧图像进行关键骨骼点提取并将骨骼点信息整合，得到二维骨骼点序列；
原始评分模块，基于二维骨骼点序列中的时序信息和空间几何信息进行评分，得到原始评分结果；
评分修正模块，用于对原始评分结果进行评分修正，得到最终评分结果。
本发明所采用的第三技术方案是：一种基于时空信息的健身动作评分装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种基于时空信息的健身动作评分方法。
本发明方法、系统及装置的有益效果是：本发明根据人体关键骨骼点进行了建模，并根据该模型的时空信息来得出指标，并通过与标准动作指标之间的偏差来计算出最终得分，具有较高的精度，同时基于深度学习的骨骼点提取算法使得本发明具有了较高的鲁棒性，本发明简单轻型，无需在特定环境或任何穿戴式设备进行检测，成本低，便捷性高。
附图说明
图1是本发明一种基于时空信息的健身动作评分方法的步骤流程图；
图2是本发明一种基于时空信息的健身动作评分系统的结构框图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参照图1，本发明提供了一种基于时空信息的健身动作评分方法，该方法包括以下步骤：
实时采集视频信息并以视频流传输方式上传，得到实时视频信息；
对实时视频信息按帧进行预处理，得到预处理后的帧图像；
对预处理后的帧图像进行关键骨骼点提取并对提取到的骨骼点信息进行信息整合，得到二维骨骼点序列；
基于二维骨骼点序列中的时序信息和空间几何信息进行评分，得到原始评分结果；
对原始评分结果进行评分修正，得到最终评分结果。
进一步作为本方法的优选实施例，所述实时采集视频信息并以视频流传输方式上传，得到实时视频信息这一步骤，其具体包括：
基于采集设备采集视频信息并将视频信息编码为可流式文件格式；
将编码后的视频信息以视频流传输方式上传，并解析得到实时视频信息。
具体地，系统将自动启动摄像头进行视频数据采集，传感器按24帧/秒的频率对当前摄影屏幕进行采集，为了在一定的带宽条件下完成视频传送，必须压缩视频文件的信息量，容忍一定的视频质量降级，只需能提供足够的信息即可，具体可采用动态视频压缩国际标准MPEG。视频流传输方式即一边接收，一边处理的方式，可使用户可以在没有接到完整的数据信息前就能处理那些已接收的信息。
进一步作为本方法的优选实施例，所述对实时视频信息按帧进行预处理，得到预处理后的帧图像这一步骤，其具体包括：
对实时视频信息逐帧图像进行仿射变换修正，得到变换后图像；
具体地，仿射变换处理将图像在空间中进行线性变换且进行平移，以使图像中人物特征更加明显。
对变换后图像进行尺寸修改，得到修改后图像；
具体地，修改尺寸操作分为两步：零填充与下采样处理，其中零填充即使用零像素点将图像修正为正方形形状，下采样则根据最大池化的方式来将图像转化为256x256大小。
对修改后图像进行RGB均值修正，得到修正后图像；
具体地，所述的RGB均值修正根据视频流每帧图像的R、G、B三原色通道中的平均灰度值，将图像的灰度值从[0,255]区间修改为[-127,128]区间。
对修正后图像进行像素归一化，得到预处理后的帧图像。
具体地，像素归一化将所述图像乘以系数1/255，将图像的灰度区间从[-127,128]映射为[-1,1]。
进一步作为本方法优选实施例，所述对预处理后的帧图像进行关键骨骼点提取并对提取到的骨骼点信息进行信息整合，得到二维骨骼点序列这一步骤，其具体包括：
基于热图生成模型对预处理后的帧图像进行关键骨骼点提取，得到骨骼点信息，并记录对应的时间戳；
具体地，从视频流每帧图像中提取出具有最大置信度的13个人体关键骨骼点的二维坐标，采用了一个基于热图的生成式姿态估计神经网络。所述姿态估计神经网络以带有残差连接模块的深层特征融合模型为特征提取器，将输出层特征修改为尺寸为64的66通道热图，其中1通道热图包括了图像中人体位置的置信度，13通道包括了该人体对应的关键骨骼点置信度，26通道包括了关键骨骼点在摄像机平面中的二维信息，26通道包括了骨骼点位置因降采样而导致的偏移。对上述66通道进行非极大值抑制处理，再选出上述人体位置置信度最大位置的关键骨骼点信息，即可得到一组二维关键骨骼点数据。
所述的关键骨骼点有13个，具体包括：左手肩关节、左手肘关节、左手腕关节、右手肩关节、右手肘关节、右手腕关节、左腿髋关节、左腿膝关节、左腿踝关节、右腿髋关节、右腿膝关节、右腿踝关节、鼻。
将骨骼点信息转换为对应摄像机平面的二维坐标信息，得到骨骼点二维坐标；
将采集设备的签名信息、骨骼点二维坐标和对应的时间戳进行整合，并以区块结构存储；
具体地，将采集设备的签名信息也保存到区块结构是为了实现可以同时对多个用户/采集设备的同时评分。
按照时间戳对区块结构进行排序，得到二位骨骼点序列。
具体地，缓存视频流最近连续48帧图像中的二维骨骼点数据，当缓存区满时将会将48帧图像中的二维骨骼点数据整合为一组二维骨骼点序列，并丢弃最早的二维骨骼点数据。
另外，可以采取另一种方式实现骨骼点寄存，使用一个FIFO队列实现，其中容量为48。在关键骨骼点提取单元获得每帧图像的二维骨骼点坐标信息后，将其以(N，2)形状的矩阵进行保存并放进骨骼点寄存单元，其中N为关键骨骼点数目，2代表了对应的二维坐标轴。存放完后骨骼点寄存单元的计数值加1。当计数值为48时，骨骼点寄存单元将会将队列内所有元素复制并整合为(48，N，2)的三维张量并传输到后续评分，并且将计数值减1。当系统重新启动后，寄存器计数值将会设置为0。
进一步作为本方法优选实施例，所述基于二维骨骼点序列中的时序信息和空间几何信息进行评分，得到原始评分结果这一步骤，其具体包括：
将二维骨骼点序列中所有骨骼关键点按时间戳进行一一比对，并根据比对信息判断用户整体动作的快慢程度和幅度；
基于欧几里得距离关系计算人体肢体在摄像机平面的二维投影长度；
具体地，欧几里得距离：
其中x1，x2为两个骨骼关键点的横坐标，y1，y2为两个骨骼关键点的纵坐标。
基于余弦距离关系计算人体肢体在摄像机平面的二维投影角度；
具体地，余弦公式：
其中a,b,c为三个关键点两两之间的欧几里得距离，最后使用C＝arccos(cosC)来获得以c为角的角度C。
将用户整体动作的快慢程度和幅度、人体肢体在摄像机平面的二维投影长度、人体肢体在摄像机平面的二维投影角度按时间戳与系统内标准指标进行对比，以平均偏离幅度的百分比为指标得到原始评分。
具体地，原始评分计算公式如下：
其中E为期望算子，x为对应的标准动作指标，
为时空信息计算得到的指标。所述的标准动作指标在该算法通过计算大量标准动作视频后得到若干个指标，并对上述的若干个指标求均值得出。
根据用户整体动作的快慢程度和幅度的不同，预设的标准动作指标也会不同，这样有助于根据用户的类型(资深用户和初学者)进行不同的判定标准。
进一步作为本方法优选实施例，所述将二维骨骼点序列中所有骨骼关键点按时间戳进行一一比对，并根据比对信息判断用户整体动作的快慢程度和幅度这一步骤，其具体包括：
将二维骨骼点序列中所有骨骼关键点按时间戳进行一一比对；
判断到动作开始的时间戳与动作结束的时间戳小于第一预设阈值，设定该用户的整体动作的快慢程度为快速；
具体地，判断到大于预设数量的骨骼关键点的二维坐标与之前某一时间戳的骨骼关键点的二维坐标重叠，以该时间段内的帧图像为一套动作，以该套动作的第一帧图像为动作开始的时间戳，以该套动作的最后一帧图像为动作结束的时间戳。
在连续的两个时间戳内，判断到大于预设数量的骨骼关键点的二维坐标距离均大于第二预设阈值，设定该用户的整体动作的幅度为大幅度。
进一步作为本方法优选实施例，所述对原始评分结果进行评分修正，得到最终评分结果这一步骤，其具体包括：
通过滑动加权平均算法将原始评分结果转换为平滑评分结果；
对平滑评分结果进行标准差过滤，得到最终评分结果。
具体地，评分修正环节用于将带有噪声的原始评分处理为稳定的最终评分。
进一步作为本方法优选实施例，所述平滑评分计算公式为：
其中
为在第t帧下的平滑评分，α为记忆系数，其值越大，以往评分结果的影响越深，一般设定α＝0.75。在初始状态下平滑分为0。
进一步作为本方法优选实施例，所述对平滑评分结果进行标准差过滤公式表示如下：
上式中，Dev(t)为在第t帧下的平滑标准差，β为记忆系数，其值越大，以往评分结果的影响越深，一般设定α＝0.75。在初始状态下平滑标准差为0。
最终评分的计算公式为：
如图2所示，一种基于时空信息的健身动作评分系统，包括：
采集模块，用于实时采集视频信息并以视频流传输方式上传，得到实时视频信息；
预处理模块，用于对实时视频信息按帧进行预处理，得到预处理后的帧图像；
提取模块，用于对预处理后的帧图像进行关键骨骼点提取并将骨骼点信息整合，得到二维骨骼点序列；
原始评分模块，基于二维骨骼点序列中的时序信息和空间几何信息进行评分，得到原始评分结果；
评分修正模块，用于对原始评分结果进行评分修正，得到最终评分结果。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
进一步作为本系统的优选实施例，包括人机交互单元和计算分析单元：
人机交互单元包括采集模块、显示屏和语音模块；
具体地，显示屏和语音模块用于将最终评分结果展示，通过显示屏与音频等多模态输出，提高了人机交互体验。
计算分析单元包括预处理模块、提取模块、原始评分模块和评分修正模块。
一种基于时空信息的健身动作评分装置：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种基于时空信息的健身动作评分方法。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种基于时空信息的健身动作评分方法，其特征在于，包括以下步骤：
实时采集视频信息并以视频流传输方式上传，得到实时视频信息；
对实时视频信息按帧进行预处理，得到预处理后的帧图像；
对预处理后的帧图像进行关键骨骼点提取并对提取到的骨骼点信息进行信息整合，得到二维骨骼点序列；
基于二维骨骼点序列中的时序信息和空间几何信息进行评分，得到原始评分结果；
对原始评分结果进行评分修正，得到最终评分结果。
2.根据权利要求1所述一种基于时空信息的健身动作评分方法，其特征在于，所述实时采集视频信息并以视频流传输方式上传，得到实时视频信息这一步骤，其具体包括：
基于采集设备采集视频信息并将视频信息编码为可流式文件格式；
将编码后的视频信息以视频流传输方式上传，并解析得到实时视频信息。
3.根据权利要求2所述一种基于时空信息的健身动作评分方法，其特征在于，所述对实时视频信息按帧进行预处理，得到预处理后的帧图像这一步骤，其具体包括：
对实时视频信息逐帧图像进行仿射变换修正，得到变换后图像；
对变换后图像进行尺寸修改，得到修改后图像；
对修改后图像进行RGB均值修正，得到修正后图像；
对修正后图像进行像素归一化，得到预处理后的帧图像。
4.根据权利要求3所述一种基于时空信息的健身动作评分方法，其特征在于，所述对预处理后的帧图像进行关键骨骼点提取并对提取到的骨骼点信息进行信息整合，得到二维骨骼点序列这一步骤，其具体包括：
基于热图生成模型对预处理后的帧图像进行关键骨骼点提取，得到骨骼点信息，并记录对应的时间戳；
将骨骼点信息转换为对应摄像机平面的二维坐标信息，得到骨骼点二维坐标；
将采集设备的签名信息、骨骼点二维坐标和对应的时间戳进行整合，并以区块结构存储；
按照时间戳对区块结构进行排序，得到二位骨骼点序列。
5.根据权利要求4所述一种基于时空信息的健身动作评分方法，其特征在于，所述基于二维骨骼点序列中的时序信息和空间几何信息进行评分，得到原始评分结果这一步骤，其具体包括：
将二维骨骼点序列中所有骨骼关键点按时间戳进行一一比对，并根据比对信息判断用户整体动作的快慢程度和幅度；
基于欧几里得距离关系计算人体肢体在摄像机平面的二维投影长度；
基于余弦距离关系计算人体肢体在摄像机平面的二维投影角度；
将用户整体动作的快慢程度和幅度、人体肢体在摄像机平面的二维投影长度、人体肢体在摄像机平面的二维投影角度按时间戳与系统内标准指标进行对比，以平均偏离幅度的百分比为指标得到原始评分。
6.根据权利要求5所述一种基于时空信息的健身动作评分方法，其特征在于，所述将二维骨骼点序列中所有骨骼关键点按时间戳进行一一比对，并根据比对信息判断用户整体动作的快慢程度和幅度这一步骤，其具体包括：
将二维骨骼点序列中所有骨骼关键点按时间戳进行一一比对；
判断到动作开始的时间戳与动作结束的时间戳小于第一预设阈值，设定该用户的整体动作的快慢程度为快速；
在连续的两个时间戳内，判断到大于预设数量的骨骼关键点的二维坐标距离均大于第二预设阈值，设定该用户的整体动作的幅度为大幅度。
7.根据权利要求5所述一种基于时空信息的健身动作评分方法，其特征在于，所述对原始评分结果进行评分修正，得到最终评分结果这一步骤，其具体包括：
通过滑动加权平均算法将原始评分结果转换为平滑评分结果；
对平滑评分结果进行标准差过滤，得到最终评分结果。
8.根据权利要求6所述一种基于时空信息的健身动作评分方法，其特征在于，所述对平滑评分结果进行标准差过滤公式表示如下：
上式中，Dev(t)表示在第t帧下的平滑标准差，β表示记忆系数，
表示在第t帧下的平滑评分。
9.一种基于时空信息的健身动作评分系统，其特征在于，包括：
采集模块，用于实时采集视频信息并以视频流传输方式上传，得到实时视频信息；
预处理模块，用于对实时视频信息按帧进行预处理，得到预处理后的帧图像；
提取模块，用于对预处理后的帧图像进行关键骨骼点提取并将骨骼点信息整合，得到二维骨骼点序列；
原始评分模块，基于二维骨骼点序列中的时序信息和空间几何信息进行评分，得到原始评分结果；
评分修正模块，用于对原始评分结果进行评分修正，得到最终评分结果。
10.一种基于时空信息的健身动作评分装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-8任一项所述一种基于时空信息的健身动作评分方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111105114.9A CN114091511A (zh) | 2021-09-22 | 2021-09-22 | 一种基于时空信息的健身动作评分方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111105114.9A CN114091511A (zh) | 2021-09-22 | 2021-09-22 | 一种基于时空信息的健身动作评分方法、系统及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114091511A true CN114091511A (zh) | 2022-02-25 |
Family
ID=80296176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111105114.9A Pending CN114091511A (zh) | 2021-09-22 | 2021-09-22 | 一种基于时空信息的健身动作评分方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114091511A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114827660A (zh) * | 2022-03-11 | 2022-07-29 | 华数传媒网络有限公司 | 一种基于机顶盒的ai健身系统及实现方法 |
-
2021
- 2021-09-22 CN CN202111105114.9A patent/CN114091511A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114827660A (zh) * | 2022-03-11 | 2022-07-29 | 华数传媒网络有限公司 | 一种基于机顶盒的ai健身系统及实现方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107485844B (zh) | 一种肢体康复训练方法、系统及嵌入式设备 | |
| WO2014042121A1 (ja) | 動作評価装置及びそのプログラム | |
| CN102724449A (zh) | 互动式电视机和利用显示装置实现与用户互动的方法 | |
| CN110490173B (zh) | 一种基于3d体感模型的智能动作打分系统 | |
| CN110751100A (zh) | 一种体育场馆辅助训练方法与系统 | |
| CN109274883A (zh) | 姿态矫正方法、装置、终端及存储介质 | |
| CN109117753A (zh) | 部位识别方法、装置、终端及存储介质 | |
| CN113688741A (zh) | 一种基于事件相机和视觉相机协同的运动训练评估系统及方法 | |
| CN114783001A (zh) | 游泳姿态评估方法、系统、装置及计算机可读存储介质 | |
| CN114091511A (zh) | 一种基于时空信息的健身动作评分方法、系统及装置 | |
| CN110910449A (zh) | 识别物体三维位置的方法和系统 | |
| CN111312363B (zh) | 一种基于虚拟现实的双手协调性增强系统 | |
| CN116055684B (zh) | 基于画面监控的在线体育教学系统 | |
| CN115209121B (zh) | 一种具有智能集成功能的全范围仿真系统及方法 | |
| CN114639168B (zh) | 一种用于跑步姿态识别的方法和系统 | |
| CN116189301A (zh) | 一种基于姿态估计的立定跳远动作规范性评估方法 | |
| CN116030533A (zh) | 运动场景的高速动作捕捉与识别方法及系统 | |
| CN115393963A (zh) | 运动动作纠正方法、系统、存储介质、计算机设备及终端 | |
| CN115761901A (zh) | 一种骑马姿势检测评估方法 | |
| CN112818801B (zh) | 运动计数方法、识别装置、识别系统及存储介质 | |
| CN115205737A (zh) | 基于Transformer模型的运动实时计数方法和系统 | |
| CN110309722B (zh) | 基于动作热点图的体育运动视频动作识别方法 | |
| CN113255450A (zh) | 一种基于姿态估计的人体运动节奏比对系统及方法 | |
| CN112364818A (zh) | 动作的纠正方法、装置、电子设备及存储介质 | |
| CN113100755A (zh) | 一种基于视觉追踪控制的肢体康复训练与评估系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zheng Bingbing Inventor after: Yu Zhaoqin Inventor after: Li Jianwei Inventor after: Liang Zixi Inventor after: Zhou Mingyue Inventor after: Huang Shangying Inventor after: Li Renkai Inventor before: Liang Zixi Inventor before: Yu Zhaoqin Inventor before: Li Jianwei Inventor before: Zheng Bingbing Inventor before: Zhou Mingyue Inventor before: Huang Shangying Inventor before: Li Renkai |
|
| CB03 | Change of inventor or designer information |