CN108256433A - 一种运动姿态评估方法及系统 - Google Patents
一种运动姿态评估方法及系统 Download PDFInfo
- Publication number
- CN108256433A CN108256433A CN201711408821.9A CN201711408821A CN108256433A CN 108256433 A CN108256433 A CN 108256433A CN 201711408821 A CN201711408821 A CN 201711408821A CN 108256433 A CN108256433 A CN 108256433A
- Authority
- CN
- China
- Prior art keywords
- user
- service
- information
- athletic posture
- comparing result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000386 athletic effect Effects 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000011156 evaluation Methods 0.000 claims abstract description 17
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 27
- 238000013136 deep learning model Methods 0.000 claims description 19
- 230000009471 action Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 9
- 230000002452 interceptive effect Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 abstract description 12
- 230000005021 gait Effects 0.000 description 24
- 238000012549 training Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 235000013399 edible fruits Nutrition 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012797 qualification Methods 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000037147 athletic performance Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种运动姿态评估方法及系统。所述方法包括：采集使用人员的运动视频图像；从所述运动视频图像中提取出所述使用人员在预定时长内的运动姿态信息；将所述运动姿态信息和姿态特征库进行对比，获得第一对比结果；基于所述第一对比结果，输出针对所述运动姿态信息的反馈信息。本发明从使用人员的运动视频图像中提取出使用人员的运动姿态信息，将运动姿态信息和姿态特征库对比，获得对比结果，基于对比结果，输出反馈信息，可以制定不同的姿态评估标准，并且基于人体运动姿态特征，综合考虑人体整体形态，能够提供更加全面可靠的评估结果和矫正建议。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种运动姿态评估方法及系统。
背景技术
在健身锻炼、部队新兵训练等实际场景中，相关参与人员如运动员、教练、教官等希望对运动姿态进行精准的量化评估，给出科学的反馈意见，以便运动对象及时调整和优化运动姿态。
录制运动视频，借助一些辅助软件进行事后分析的做法，目前在职业运动员及教练中比较常见。但这种方法实时性较差，不利于及时采取措施，并且需要专业人员的辅助，不利于大规模普及应用。
目前在线的运动姿态评估方法，一般基于人工规则，定义标准的姿态的属性，如动作执行速率，关节形成的角度等，然后用计算机图像分析技术，提取和估计用户姿态相关属性数据，与标准姿态属性数据进行比对，得出分析结果。
然而，现有的在线运动姿态评估方法，所有评估都是基于一套预先定义的规则，只能针对某种比较简单的特定运动姿态进行评估，不具有通用性，不能适应各种教学风格的姿态评估。
发明内容
针对现有技术中的缺陷，本发明提供了一种运动姿态评估方法及系统。
第一方面，本发明提供一种运动姿态评估方法，包括：
采集使用人员的运动视频图像；
从所述运动视频图像中提取出所述使用人员在预定时长内的运动姿态信息；
将所述运动姿态信息和姿态特征库进行对比，获得第一对比结果；
基于所述第一对比结果，输出针对所述运动姿态信息的反馈信息。
第二方面，本发明提供一种运动姿态评估系统，包括：
采集模块，用于采集使用人员的运动视频图像使用；
特征提取模块，用于从所述运动视频图像中提取出所述使用人员在预定时长内的运动姿态信息；
第一评估模块，将所述运动姿态信息和姿态特征库进行对比，获得第一对比结果；
第一反馈模块，用于基于所述第一对比结果，输出针对所述运动姿态信息的反馈信息。
第三方面，本发明提供一种电子设备，包括：
存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：采集使用人员的运动视频图像；从所述运动视频图像中提取出所述使用人员在预定时长内的运动姿态信息；将所述运动姿态信息和姿态特征库进行对比，获得第一对比结果；基于所述第一对比结果，输出针对所述运动姿态信息的反馈信息。
本发明提供的运动姿态评估方法，从使用人员的运动视频图像中提取出使用人员的运动姿态信息，将使用人员的运动姿态信息和姿态特征库进行对比，计算量化的评估结果，可以制定不同的姿态评估标准，具有很强的通用性和个性化定制能力，并且基于人体运动姿态特征综合考虑人体整体形态，能够提供更加全面可靠的评估结果和矫正建议。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的运动姿态评估方法流程示意图；
图2为本发明又一实施例提供的运动姿态评估方法流程示意图；
图3为本发明实施例提供的运动姿态评估系统的结构示意图；
图4为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的运动姿态评估方法流程示意图，如图1所示，该运动姿态评估方法包括：
步骤S11、采集使用人员的运动视频图像；
具体地，运动姿态评估是度量使用人员的运动姿态与标准运动姿态的相似程度，运动姿态包括：走、跑、下蹲等动作，以及进行各种动作时的频率、前后关系、关节角度、身体倾斜度等信息。当需要对某个人的运动姿态进行评估时，首先通过图像采集设备采集使用人员的运动视频图像，记为第一运动视频图像，第一运动视频图像中包括了使用人员的所有运动信息，例如，动作姿势、动作频率、动作前后关系等。
步骤S12、从所述运动视频图像中提取出所述使用人员在预定时长内的运动姿态信息；
具体地，对第一运动视频图像的每一帧图像进行分析，提取出使用人员在预定时长内的运动姿态信息，记为第一运动姿态信息，例如提取使用人员的步态特征，步态特征包括使用人员的身体轮廓信息、动作姿势、动作频率和动作前后关系等，这些信息能够综合反映待评估人员的身体运动状态，使运动姿态评估结果更加准确。其中预定时长可以根据实际情况设置，例如10min等。
步骤S13、将所述运动姿态信息和姿态特征库进行对比，获得第一对比结果；
具体地，在对使用人员的运动姿态评估之前，需要预先提取姿态特征库，姿态特征库可以为使用人员本人的设定时长内的运动姿态特征，也可以为与使用人员相对应的教练人员、教官人员或其他参考人员的设定时长内的运动姿态特征。以教练人员的姿态特征为例，为了使运动姿态评估方法适应使用人员的个性需求，以同样的方式采集教练人员的运动视频图像，记为第二运动视频图像，然后根据同样的方法从第二运动视频图像中提取出教练人员的运动姿态信息，记为第二运动姿态信息，将第二运动姿态信息和教练人员信息存储到该教练人员的姿态特征库中。
在获取使用人员的第一运动视频图像后，可以根据使用人员的选择，确定与该使用人员相对应的姿态特征库。这样，对于不同的使用人员，可以对比不同的姿态特征库，从而可以满足多种运动姿态评估。然后从第一运动视频图像中提取出使用人员的第一运动姿态信息，基于计算机视觉技术将运动姿态信息与姿态特征库进行比较，获得对比结果，记为第一对比结果。这样，就可以针对不同的教练，提取出不同的姿态特征库，定制个性化评估标准。
步骤S14、基于所述第一对比结果，输出针对所述运动姿态信息的反馈信息。
具体地，基于第一对比结果，输出反馈信息，例如，计算出待评估运动姿态与姿态特征库中对应类型的运动姿态特征的相似度，若相似度大于预设阈值，则向使用人员反馈评估结果为合格，否则为不合格。在实际应用中，还可以向使用人员具体指出哪部分运动姿态不合格以及不合格的部位，以供使用人员进行运动姿态矫正。
例如，预先采集用户A的运动视频图像，从运动视频图像中提取出5min内的步态特征，将这些步态特征保存，以此作为姿态特征库。然后再采集用户A的运动视频图像，从运动视频图像中提取出5min内的步态特征，将这些步态特征与保存的运动姿态特征进行对比，获得对比结果，并向用户A反馈对比结果，这样，用户A就可以获得本次运动与之前的运动有何差别。
本发明实施例提供的运动姿态评估方法，从使用人员的运动视频图像中提取出使用人员的运动姿态信息，将使用人员的运动姿态信息和姿态特征库存储的相关运动姿态特征进行比对，计算量化的评估结果，可以制定不同的姿态评估标准，具有很强的通用性和个性化定制能力，并且基于人体运动姿态特征综合考虑人体整体形态，能够提供更加全面可靠的评估结果和矫正建议。
在上述实施例的基础上，进一步地，所述输出针对所述运动姿态信息的反馈信息，包括：
通过交互界面向所述使用人员显示所述第一对比结果。
具体地，获得对比结果之后，可以通过交互界面向使用人员显示对比结果，例如，评估结果是否合格，或者哪些动作不合格，导致不合格的动作发生的关键部位等，使用人员通过交互界面可以直观地看到姿态评估结果，进而主动更改相应的运动姿态，达到运动姿态矫正的目的。
本发明实施例提供的运动姿态评估方法，通过交互界面向使用人员显示评估结果，使得使用人员可以直观地查看姿态评估结果，进而达到运动姿态矫正的目的。
在上述各实施例的基础上，进一步地，所述输出针对所述运动姿态信息的反馈信息，包括：
关联所述第一结果和所述使用人员所使用的运动设备，根据所述第一结果调整所述运动设备的参数，矫正所述使用人员的动作。
具体地，如果用户的运动视频图像采集的是用户使用运动设备进行的动作，那么在获得第一结果之后，还可以将第一结果和运动设备进行关联，根据第一结果调整运动设备的参数，例如，第一结果显示使用人员动作频率较慢，可以调整运动设备的运行速度，或者第一结果显示使用人员胳膊与腿的角度过大，则调整运动设备中与使用人员胳膊或腿接触的部件的角度，以此达到被动矫正的目的。
本发明实施例提供的运动姿态评估方法，根据评估结果调整运动设备的参数，矫正使用人员的动作，使姿态评估与矫正相结合，进一步提高了姿态评估和矫正的效率。
在上述各实施例的基础上，进一步地，所述从所述运动视频图像中提取出所述使用人员在预定时长内的运动姿态信息使用，包括：
根据预先训练的深度学习模型，从所述运动视频图像中提取出每帧图像的人形区域；
对所述人形区域进行分割，确定人体轮廓图像；
从所述人体轮廓图像中提取出每帧图像的运动姿态特征；
根据所述运动姿态信息和所述运动视频图像中每帧图像的时序关系，确定所述使用人员在预定时长内的运动姿态特征序列。
具体地，预先训练深度学习模型，例如，深度卷积神经网络模型，采集大量运动视频图像，对运动视频图像中的每帧图像进行标注，圈出人形区域，例如以矩形框方式标注出人形所在的图像区域，将标注后的图像作为训练样本，基于第一深度学习模型，进行训练，得到每帧图像的人形区域检测模型。这样，经过深度学习算法获得的人形区域检测模型在检测运动图像中的人形区域时，能够有效降低将像人的物体误检成人的概率。预先采集大量人形区域图像，在图像中标注出人体轮廓，将标注后的图像作为训练样本，基于第二深度学习模型，进行训练，得到人体轮廓分割模型，人体分割模型对图像进行了灰度、二值化处理，得到的是二值化的人体轮廓图像，这样，经过深度学习算法获得的人体轮廓分割模型，可以精准的从图像中分割出人体轮廓，能够减少衣着颜色、环境背景对运动姿态信息提取的干扰。预先采集运动视频中提取出二值化人体轮廓图像序列，标注出图像序列中人员的身份信息，例如给图像序列中的所有同一个人的人体轮廓分配一个唯一标识符，将标注后的人体轮廓图像序列作为训练样本，基于第三深度学习模型，进行训练，得到运动姿态特征模型。经过第三深度学习模型获取的运动姿态特征，能够很好地从整体和局部两个方面反映使用人员的运动信息。
当获取到使用人员、教练人员或其他参考人员的运动视频图像之后，将运动视频图像输入到人形区域检测模型中，得到每帧图像的人形区域图像，将人形区域图像输入到人体轮廓分割模型，对图像进行分割，得到二值化的人体轮廓图像，将人体轮廓图像序列输入到运动姿态特征模型中，得到使用人员或者教练人员的运动关键帧图像的运动姿态特征。之后根据运动视频图像中运动关键帧图像的时序关系，确定使用人员在预定时长内的运动姿态特征序列。
对于使用人员的运动姿态特征序列，与姿态特征库中的姿态特征序列进行比较，确定评估结果。在实际应用中，可以在采集运动视频图像之前，通过用户输入确定人员身份是使用人员还是教练人员，对于使用人员，还需要选择对应的姿态特征库。
本发明实施例提供的运动姿态评估方法，基于深度学习模型从使用人员的运动视频图像中提取出运动姿态特征序列，减少衣着以及背景对运动姿态信息提取的干扰，提高了运动姿态特征提取的准确性，将使用人员的运动姿态特征序列与姿态特征库进行对比，确定评估结果，可以根据不同的教练人员，制定不同的姿态评估标准，基于人体的运动姿态特征综合考虑人体整体形态，能够提供更加全面可靠的评估结果和矫正建议。
在上述各实施例的基础上，进一步地，所述运动姿态评估方法还包括：
从所述运动视频图像中筛选出运动关键帧图像；
从所述运动关键帧图像中提取出所述使用人员在预定时长内的关键点信息；
基于所述第一对比结果，将所述关键点信息和关键点特征库进行对比，获得第二对比结果；
基于所述第二对比结果，输出针对所述关键点信息的反馈信息。
具体地，运动姿态特征可以从整体上反映使用人员与姿态特征库是否匹配，为了提高姿态评估的精度，在实际应用中，还可以提取使用人员的关键点信息，例如使用人员的关节点坐标，以及各关节点之间的位置关系，关节点连线的角度关系等。具体地，预先采集二值化的人体轮廓图像，标注人体关节点信息，例如人体关节中心点、身体部位(头、躯干、四肢等)中心点的坐标及名称，将标注后的图像作为训练样本，基于第四深度学习模型，进行训练，得到人体关键点提取模型。另外，预先采集二值化的人体轮廓图像序列，标注图像序列中的运动关键帧，例如运动中关键动作发生或者完成所在的帧，将标注后的图像序列作为训练样本，基于第五深度学习模型，进行训练，得到运动视频关键帧提取模型。
在获取到使用人员或者教练人员的人体轮廓图像序列之后，将人体轮廓图像序列输入到运动视频关键帧提取模型中，获取运动关键帧信息，然后将相应的运动关键帧的人体轮廓图像输入人体关键点提取模型，获取运动关键帧图像中的人体关键点。根据运动视频图像中每帧图像的时序关系，确定使用人员在预定时长内的第一关键点信息序列和教练人员的第二关键点信息序列。
将教练人员的第二关键点信息序列存储到教练人员的关键点特征库中，基于通过运动姿态信息确定的第一对比结果，将使用人员的第一关键点信息序列与关键点特征库进行比对，例如，将第一对比结果中不合格的运动姿态信息，再进行关键点对比，得到更加精细的评估结果。
例如，通过步态特征对比，确定出使用人员的运动视频图像中与姿态特征库相似度低于阈值的视频图像序列，提取该段视频图像序列的运动关键帧，然后从运动关键帧图像中提取人体关键点，对比关键点特征库中保存的标准姿态视频图像序列对应的关键点信息，例如对比待评估图像中关键点间形成的角度、方向、倾斜度等信息与标准图像相应信息之间的差异，以及根据两组对比图像序列中同一运动动作关键帧在各自图像序列中的间隔，对比动作速率等，向使用人员提供更加精准的姿态评估结果。
例如，对比姿态特征库的方法可以为，计算使用人员的运动视频图像对应的第一步态特征序列中的第一个第一步态特征与姿态特征库中的第二步态特征序列中的每一个第二步态特征的相似度，，然后计算第一步态特征序列中第二个第一步态特征与第二步态特征序列中，与第一个第一步态特征对应的第二步态特征之后的每个第二步态特征的相似度，，以此类推，计算出第一步态特征序列中每个第一步态特征与第二步态特征序列的相似度，然后进行累加，确定使用人员的第一对比结果。
由于第一运动姿态特征序列和第一关键点信息序列都是基于使用人员的运动视频图像中每帧图像的时序关系确定的，因此可以将第一对比结果中不合格的第一运动姿态特征对应的第一关键点信息和第二运动姿态特征对应的第二关键点信息进行匹配，确定出关键点相似度，作为第二对比结果，基于第二对比结果，输出针对关键点信息的反馈信息。例如，通过交互界面向使用人员显示对比结果，例如关节角度是否合格，关节位置关系是否合格，具体是哪一部分的关节信息不合格，哪一部分关节信息合格等。在实际应用中，也可以将反馈信息与运动设备关联，当获得第二对比结果之后，调整运动设备的参数，例如，采集的用户关键点信息与关键点特征库对比，得到的对比结果是腿部关节点位置较低，则调整运动设备与腿部相接触的部件的高度，以达到使用人员被动矫正的目的。
在实际应用中，还可以对第一关键点信息和第二关键点信息进行归一化处理，避免使用人员与教练人员身高差异、胖瘦差异等造成的对比偏差，进一步提高评估精度。
图2为本发明又一实施例提供的运动姿态评估方法流程示意图，如图2所示，该运动姿态评估方法包括：
步骤S21、采集人体运动视频图像；
步骤S22、根据人形检测模型检测运动视频图像中的人形区域；
步骤S23、根据人形分割模型确定人体轮廓图像，之后分别执行步骤S24、步骤S25、步骤S26；
步骤S24、从人体轮廓图像序列中提取运动关键帧；
步骤S25、从运动关键帧中提取出人体关键点信息；
步骤S26、从人体轮廓图像序列中提取出步态特征；
步骤S27、通过姿态矫正交互界面的输入信息判断是否为使用人员，若是，则执行步骤S29，否则执行步骤S28；
步骤S28、将人体关键点信息和步态特征存储到标准姿态特征库中；
步骤S29、对比步态特征和关键点信息，进行姿态评估；
步骤S210、通过姿态矫正交互界面输出评估结果。
本发明实施例提供的运动姿态评估方法，基于深度学习模型从使用人员的运动视频图像中提取出关键点信息序列和运动姿态特征序列，将使用人员的关键点信息序列和运动姿态特征序列与关键点特征库和姿态特征库进行对比，获得对比结果，并向使用人员反馈关键点信息对比结果，提高了评估结果的精度，可以制定不同的姿态评估标准，基于人体的运动姿态综合考虑人体整体形态，能够提供更加全面可靠的评估结果和矫正建议。
在上述各实施例的基础上，进一步地，所述运动姿态评估方法还包括：
从所述运动视频图像中筛选出运动关键帧图像；
从所述运动关键帧图像中提取出所述使用人员在预定时长内的关键点信息；
将所述关键点信息和关键点特征库进行对比，获得第三对比结果；
基于所述第一对比结果和所述第三对比结果，输出针对所述使用人员的反馈信息。
具体地，从运动视频图像中提取出使用人员在预定时长内每帧图像的运动姿态信息，将每帧图像的运动姿态信息与姿态特征库中每帧图像的运动姿态特征进行对比，获得第一对比结果；从运动视频图像中筛选出运动关键帧图像，从运动关键帧图像中提取出使用人员在预定时长内的关键点信息，将运动关键帧图像的关键点信息与关键点特征库中每帧图像的关键点特征进行对比，获得第三对比结果，之后，结合每帧图像的第一对比结果和第三对比结果，输出针对使用人员的反馈信息。在实际应用中可以为第一对比结果和第三对比结果设置不同的权重，加权之后输出针对使用人员的反馈信息，例如，第一对比结果权重为0.3，第二对比结果为0.7，对第一对比结果和第二对比结果加权之后，确定针对使用人员的反馈信息，该反馈信息中既包括了运动姿态评估结果，又包括了关键点信息评估结果，通过交互界面输出后，使用人员能够获取更加全面的运动姿态评估结果，有利于进行矫正运动姿态。
本发明实施例提供的运动姿态评估方法，结合运动姿态评估结果和关键点信息评估结果，提供了更加丰富的运动姿态评估信息，使用人员能够获取更加全面的运动姿态评估结果，有利于进行矫正运动姿态。
图3为本发明实施例提供的运动姿态评估系统的结构示意图，如图3所示，该系统包括：采集模块31、特征提取模块32、评估模块33和反馈模块34，其中：
采集模块31用于采集使用人员的运动视频图像；特征提取模块32用于从所述运动视频图像中提取出所述使用人员在预定时长内的运动姿态信息；评估模块33用于将所述运动姿态信息和姿态特征库进行对比，获得第一对比结果，反馈模块34用于基于所述第一对比结果，输出针对所述运动姿态信息的反馈信息。
具体地，采集模块31通过图像采集设备采集使用人员的运动视频图像，记为第一运动视频图像，第一运动视频图像中包括了使用人员的所有运动信息，例如，动作姿势、动作频率、动作前后关系等。特征提取模块32对第一运动视频图像的每一帧图像进行分析，提取出使用人员的运动姿态信息，运动姿态信息包括使用人员的轮廓信息、动作姿势、动作频率、动作前后关系等，这些信息能够综合反映使用人员的身体的运动姿态及体型等信息，使运动姿态评估结果更加准确。在对使用人员的运动姿态评估之前，特征提取模块32需要预先提取姿态特征库，在获取使用人员的运动视频图像后，特征提取模块32可以根据使用人员的选择，确定与该使用人员相对应的姿态特征库。这样，对于不同的使用人员，可以对比不同的姿态特征库，从而可以满足多种运动姿态评估。然后从第一运动视频图像中提取出使用人员的运动姿态信息，基于计算机视觉技术将运动姿态信息与姿态特征库进行比较，评估模块33计算出运动姿态信息与姿态特征库相似度，确定对比结果，记为第一对比结果，反馈模块34基于第一对比结果，输出针对运动姿态信息的反馈信息。本发明实施例提供的系统，用于实现上述方法，其功能具体参照上述方法实施例，此处不再赘述。
本发明实施例提供的运动姿态评估系统，从使用人员的运动视频图像中提取出使用人员的运动姿态信息，将使用人员的运动姿态信息和姿态特征库进行对比，确定评估结果，可以制定不同的姿态评估标准，具有很强的通用性和个性化定制能力，并且基于人体运动姿态特征综合考虑人体整体形态，能够提供更加全面可靠的评估结果和矫正建议。在上述实施例的基础上，进一步地，所述特征提取模块包括：
人形区域检测单元，用于根据预先训练的深度学习模型，从所述运动视频图像中提取出每帧图像的人形区域；
人形分割单元，用于对所述人形区域进行分割，确定人体轮廓图像；
特征提取单元，用于从所述人体轮廓图像中提取出每帧图像的运动姿态特征。
具体地，人形区域检测单元预先训练深度学习模型，例如，深度卷积神经网络模型，采集大量运动视频图像，对运动视频图像中的图像进行标注，框出人形区域，基于第一深度学习模型，进行训练，得到人形区域检测模型。人形分割单元预先采集大量人形区域图像，在图像中标注出人体轮廓，将标注后的图像作为训练样本，基于第二深度学习模型，进行训练，得到人体轮廓分割模型。人体分割模型对图像进行了灰度、二值化处理，得到的是二值化的人体轮廓图像。特征提取单元预先采集二值化的人体轮廓图像序列，标注出图像序列中人员的身份信息，例如给图像序列中的所有同一个人的人体轮廓分配一个唯一标识符，将标注后的图像序列作为训练样本，基于第三深度学习模型，进行训练，得到运动姿态特征模型。
当获取到使用人员或者教练人员的运动视频图像之后，人形区域检测单元将运动视频图像输入到人形区域模型中，得到每帧图像的人形区域图像，人形分割单元将人形区域图像输入到人体轮廓分割模型，对图像进行分割，得到二值化的人体轮廓图像，特征提取单元将人体轮廓图像序列分组输入到运动姿态特征模型中，得到使用人员或者教练人员的运动姿态特征。之后根据运动视频图像中每帧图像的时序关系，确定使用人员的第一运动姿态特征序列和教练人员的第二运动姿态特征序列。
对于教练人员的第二运动姿态特征序列和教练人员信息存储到该教练人员的姿态特征库中，对于使用人员的第一运动姿态特征序列，与姿态特征库中的第二运动姿态特征序列进行比较，确定评估结果。本发明实施例提供的系统，用于实现上述方法，其功能具体参照上述方法实施例，此处不再赘述。
本发明实施例提供的运动姿态评估系统，基于深度学习模型从使用人员的运动视频图像中提取出运动姿态特征序列，减少衣着以及背景对运动姿态信息提取的干扰，提高了运动姿态特征提取的准确性，将使用人员的运动姿态特征序列与姿态特征库进行对比，确定评估结果，可以制定不同的姿态评估标准，基于人体的步态特征分析使用人员的运动姿态，综合考虑人体整体形态，能够提供更加全面可靠的评估结果和矫正建议。
在上述各实施例的基础上，进一步地，所述系统还包括：
运动关键帧提取模块，用于从所述运动视频图像中筛选出运动关键帧图像；
关键点提取模块，用于从所述运动关键帧图像中提取出所述使用人员在预定时长内的关键点信息；
第二评估模块，用于基于所述第一对比结果，将所述关键点信息和关键点特征库进行对比，获得第二对比结果；
第二反馈模块，用于基于所述第二对比结果，输出针对所述关键点信息的反馈信息。
具体地，运动姿态特征可以从整体上反映使用人员与姿态特征库是否匹配，为了提高姿态评估的精度，在实际应用中，还可以提取使用人员的人体关键点信息，例如使用人员的关节中心点坐标，以及各关键点之间的位置关系，关键点连线的角度关系等。具体地，预先采集二值化的人体轮廓图像序列，标注关键点信息，例如运动关节中心点的坐标及名称，将标注后的图像作为训练样本，基于第四深度学习模型，进行训练，得到关键点提取模型。另外，预先采集二值化的人体轮廓图像序列，标注图像序列中的运动关键帧，例如运动中关键动作发生或者完成所在的帧，将标注后的图像序列作为训练样本，基于第五深度学习模型，进行训练，得到运动视频关键帧提取模型。
在获取到使用人员或者教练人员的人体轮廓图像之后，运动关键帧提取模块将人体轮廓图像序列输入到运动视频关键帧提取模型中，获取运动关键帧信息，关键点提取模块在运动关键帧中通过人体关键点模型提取关键帧图像中人体关键点信息。根据运动视频图像中每帧图像的时序关系，确定使用人员的第一关键点信息序列和教练人员的第二关键点信息序列。
第二评估模块将教练人员的第二关键点信息序列存储到教练人员的关键点特征库中，将使用人员的第一关键点信息序列与关键点特征库进行比对，例如，将第一对比结果中不合格的运动姿态信息，再进行关键点对比，得到第二对比结果，，第二反馈模块基于第二对比结果，输出针对所述关键点信息的反馈信息，确定更加精确的评估结果。本发明实施例提供的系统，用于实现上述方法，其功能具体参照上述方法实施例，此处不再赘述。
本发明实施例提供的运动姿态评估系统，基于深度学习模型从使用人员的运动视频图像中提取运动关键帧，以及人体关键点信息序列和运动姿态特征序列，将使用人员的关键点信息序列和运动姿态特征序列与关键点特征库和姿态特征库进行对比，获得对比结果，并向使用人员反馈对比结果，提高了评估结果的精度，可以制定不同的姿态评估标准，基于人体的运动姿态特征分析使用人员的运动姿态，综合考虑人体整体形态，能够提供更加全面可靠的评估结果和矫正建议。
图4为本发明实施例提供的电子设备的结构示意图，如图4所示，所述设备包括：处理器(processor)41、存储器(memory)42和总线43；
其中，处理器41和存储器42通过所述总线43完成相互间的通信；
处理器41用于调用存储器42中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：采集使用人员的运动视频图像；从所述运动视频图像中提取出所述使用人员在预定时长内的运动姿态信息；将所述运动姿态信息和姿态特征库进行对比，获得第一对比结果；基于所述第一对比结果，输出针对所述运动姿态信息的反馈信息。
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：采集使用人员的运动视频图像；从所述运动视频图像中提取出所述使用人员在预定时长内的运动姿态信息；将所述运动姿态信息和姿态特征库进行对比，获得第一对比结果；基于所述第一对比结果，输出针对所述运动姿态信息的反馈信息。
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：采集使用人员的运动视频图像；从所述运动视频图像中提取出所述使用人员在预定时长内的运动姿态信息；将所述运动姿态信息和姿态特征库进行对比，获得第一对比结果；基于所述第一对比结果，输出针对所述运动姿态信息的反馈信息。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的系统等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。
Claims (10)
1.一种运动姿态评估方法，其特征在于，包括：
采集使用人员的运动视频图像；
从所述运动视频图像中提取出所述使用人员在预定时长内的运动姿态信息；
将所述运动姿态信息和姿态特征库进行对比，获得第一对比结果；
基于所述第一对比结果，输出针对所述运动姿态信息的反馈信息。
2.根据权利要求1所述的方法，其特征在于，所述输出针对所述运动姿态信息的反馈信息，包括：
通过交互界面向所述使用人员显示所述第一对比结果。
3.根据权利要求1所述的方法，其特征在于，所述输出针对所述运动姿态信息的反馈信息，包括：
关联所述第一对比结果和所述使用人员所使用的运动设备，根据所述第一对比结果调整所述运动设备的参数，矫正所述使用人员的动作。
4.根据权利要求1所述的方法，其特征在于，所述从所述运动视频图像中提取出所述使用人员在预定时长内的运动姿态信息，包括：
根据预先训练的深度学习模型，从所述运动视频图像中提取出每帧图像的人形区域；
对所述人形区域进行分割，确定人体轮廓图像；
从所述人体轮廓图像中提取出每帧图像的运动姿态特征。
5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：
从所述运动视频图像中筛选出运动关键帧图像；
从所述运动关键帧图像中提取出所述使用人员在预定时长内的关键点信息；
基于所述第一对比结果，将所述关键点信息和关键点特征库进行对比，获得第二对比结果；
基于所述第二对比结果，输出针对所述关键点信息的反馈信息。
6.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：
从所述运动视频图像中筛选出运动关键帧图像；
从所述运动关键帧图像中提取出所述使用人员在预定时长内的关键点信息；
将所述关键点信息和关键点特征库进行对比，获得第三对比结果；
基于所述第一对比结果和所述第三对比结果，输出针对所述使用人员的反馈信息。
7.一种运动姿态评估系统，其特征在于，包括：
采集模块，用于采集使用人员的运动视频图像使用；
特征提取模块，用于从所述运动视频图像中提取出所述使用人员在预定时长内的运动姿态信息；
第一评估模块，将所述运动姿态信息和姿态特征库进行对比，获得第一对比结果；
第一反馈模块，用于基于所述第一对比结果，输出针对所述运动姿态信息的反馈信息。
8.根据权利要求7所述的系统，其特征在于，所述特征提取模块包括：
人形区域检测单元，用于根据预先训练的深度学习模型，从所述运动视频图像中提取出每帧图像的人形区域；
人形分割单元，用于对所述人形区域进行分割，确定人体轮廓图像；
特征提取单元，用于从所述人体轮廓图像中提取出每帧图像的运动姿态特征。
9.根据权利要求7或8所述的系统，其特征在于，所述系统还包括：
运动关键帧提取模块，用于从所述运动视频图像中筛选出运动关键帧图像；
关键点提取模块，用于从所述运动关键帧图像中提取出所述使用人员在预定时长内的关键点信息；
第二评估模块，用于基于所述第一对比结果，将所述关键点信息和关键点特征库进行对比，获得第二对比结果；
第二反馈模块，用于基于所述第二对比结果，输出针对所述关键点信息的反馈信息。
10.一种电子设备，其特征在于，包括：
存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711408821.9A CN108256433B (zh) | 2017-12-22 | 2017-12-22 | 一种运动姿态评估方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711408821.9A CN108256433B (zh) | 2017-12-22 | 2017-12-22 | 一种运动姿态评估方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108256433A true CN108256433A (zh) | 2018-07-06 |
| CN108256433B CN108256433B (zh) | 2020-12-25 |
Family
ID=62723529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711408821.9A Active CN108256433B (zh) | 2017-12-22 | 2017-12-22 | 一种运动姿态评估方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108256433B (zh) |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108853953A (zh) * | 2018-09-03 | 2018-11-23 | 合肥智慧龙图腾知识产权股份有限公司 | 一种形体训练方法、装置、系统、计算机设备及存储介质 |
| CN109190607A (zh) * | 2018-10-30 | 2019-01-11 | 维沃移动通信有限公司 | 一种动作图像处理方法、装置和终端 |
| CN109344692A (zh) * | 2018-08-10 | 2019-02-15 | 华侨大学 | 一种运动质量评价方法及系统 |
| CN109469968A (zh) * | 2018-10-22 | 2019-03-15 | 珠海格力电器股份有限公司 | 一种基于图像识别的空调控制的方法及装置 |
| CN109583363A (zh) * | 2018-11-27 | 2019-04-05 | 湖南视觉伟业智能科技有限公司 | 基于人体关键点检测改进演讲者姿体动作的方法及系统 |
| CN109635644A (zh) * | 2018-11-01 | 2019-04-16 | 北京健康有益科技有限公司 | 一种用户动作的评价方法、装置和可读介质 |
| CN109887016A (zh) * | 2019-03-25 | 2019-06-14 | 北京奇艺世纪科技有限公司 | 一种相似度计算方法及装置 |
| CN110096616A (zh) * | 2019-04-25 | 2019-08-06 | 南京邮电大学 | 一种基于二维姿态估计的运动训练姿态分析方法 |
| CN110427900A (zh) * | 2019-08-07 | 2019-11-08 | 广东工业大学 | 一种智能指导健身的方法、装置和设备 |
| CN110705491A (zh) * | 2019-10-10 | 2020-01-17 | 青岛大学 | 一种电力工人铁塔辅助作业的方法及系统 |
| CN110781777A (zh) * | 2019-10-10 | 2020-02-11 | 深圳市牧爵电子科技有限公司 | 体育训练中人体动作的判定方法、系统和存储介质 |
| CN110996149A (zh) * | 2019-12-23 | 2020-04-10 | 联想(北京)有限公司 | 一种信息处理方法、装置和系统 |
| CN111223102A (zh) * | 2018-11-23 | 2020-06-02 | 银河水滴科技（北京）有限公司 | 一种图像分割模型训练方法、图像分割方法及装置 |
| CN111275032A (zh) * | 2020-05-07 | 2020-06-12 | 西南交通大学 | 基于人体关键点的深蹲检测方法、装置、设备及介质 |
| CN111310655A (zh) * | 2020-02-13 | 2020-06-19 | 蒋营国 | 基于关键帧和组合注意力模型的人体动作识别方法和系统 |
| CN111347438A (zh) * | 2020-02-24 | 2020-06-30 | 五邑大学 | 一种学习式机器人及基于其的学习矫正方法 |
| CN111709365A (zh) * | 2020-06-17 | 2020-09-25 | 成都工业学院 | 一种基于卷积神经网络的人体运动姿态自动检测方法 |
| CN111985393A (zh) * | 2020-08-18 | 2020-11-24 | 深圳市瓴鹰智能科技有限公司 | 一种纠正运动姿态的智能镜子及其运动姿态纠正方法 |
| CN112348942A (zh) * | 2020-09-18 | 2021-02-09 | 当趣网络科技(杭州)有限公司 | 一种健身交互方法和系统 |
| CN112370045A (zh) * | 2020-10-15 | 2021-02-19 | 北京大学 | 基于人工智能的功能性动作检测方法及系统 |
| CN112488071A (zh) * | 2020-12-21 | 2021-03-12 | 重庆紫光华山智安科技有限公司 | 提取行人特征的方法、装置、电子设备和存储介质 |
| CN112587903A (zh) * | 2020-11-30 | 2021-04-02 | 珠海大横琴科技发展有限公司 | 一种基于深度学习的短跑运动员起跑训练方法及系统 |
| CN112733605A (zh) * | 2020-12-11 | 2021-04-30 | 上海明略人工智能(集团)有限公司 | 基于机器视觉的泳姿训练方法及系统 |
| CN112784667A (zh) * | 2019-11-08 | 2021-05-11 | 欧姆龙株式会社 | 动作分析装置、动作分析方法及计算机可读取存储介质 |
| WO2021098616A1 (zh) * | 2019-11-21 | 2021-05-27 | 中国科学院深圳先进技术研究院 | 运动姿态识别方法、运动姿态识别装置、终端设备及介质 |
| WO2021047315A3 (zh) * | 2020-07-20 | 2021-06-17 | 南京智金科技创新服务中心 | 一种人体异常姿态的提示方法及系统 |
| CN112999616A (zh) * | 2021-04-16 | 2021-06-22 | 北京万觉科技有限公司 | 姿态检测系统、方法、装置以及可存储介质 |
| CN113113110A (zh) * | 2021-04-16 | 2021-07-13 | 郑州大学第一附属医院 | 一种基于图像识别的鼻咽癌放疗患者吞咽护理系统 |
| CN113128354A (zh) * | 2021-03-26 | 2021-07-16 | 中山大学中山眼科中心 | 一种洗手质量检测方法及装置 |
| CN113537128A (zh) * | 2021-07-29 | 2021-10-22 | 广州中金育能教育科技有限公司 | 一种基于深度学习姿态评估对连续动作的比对和分析方法、系统以及设备 |
| CN113850248A (zh) * | 2021-12-01 | 2021-12-28 | 中科海微(北京)科技有限公司 | 运动姿态评估方法、装置、边缘计算服务器及存储介质 |
| CN113944396A (zh) * | 2021-10-25 | 2022-01-18 | 上海网车科技有限公司 | 一种车辆前后备箱门自动打开的系统及方法 |
| CN114627560A (zh) * | 2022-05-13 | 2022-06-14 | 浙江大华技术股份有限公司 | 一种动作识别方法、动作识别模型训练方法及相关装置 |
| US20220230437A1 (en) * | 2020-09-25 | 2022-07-21 | Sparrow Vision, Inc. | System and method for real-time automatic video key frame analysis for critical motion in complex athletic movements |
| CN116264965A (zh) * | 2021-12-14 | 2023-06-20 | 中国人民解放军空军军医大学 | 一种基于视频的体能训练方法和系统 |
| CN117216313A (zh) * | 2023-09-13 | 2023-12-12 | 中关村科学城城市大脑股份有限公司 | 姿态评价音频输出方法、装置、电子设备和可读介质 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1933880A (zh) * | 2004-01-26 | 2007-03-21 | 莫德高尔夫有限责任公司 | 用于测量和评估身体技能的动作和用于完成身体技能的设备的系统和方法 |
| CN101251894A (zh) * | 2008-01-28 | 2008-08-27 | 天津大学 | 基于红外热成像的步态特征提取方法和步态识别方法 |
| CN101794384A (zh) * | 2010-03-12 | 2010-08-04 | 浙江大学 | 一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法 |
| US20100202687A1 (en) * | 2007-05-03 | 2010-08-12 | Ucl Business Plc | Image registration method |
| US20100278231A1 (en) * | 2009-05-04 | 2010-11-04 | Imagine Communications Ltd. | Post-decoder filtering |
| CN102132227A (zh) * | 2008-03-26 | 2011-07-20 | 艾登特技术股份公司 | 用于对姿势的多维评估的系统和方法 |
| CN102682302A (zh) * | 2012-03-12 | 2012-09-19 | 浙江工业大学 | 一种基于关键帧的多特征融合的人体姿态识别方法 |
| CN103390174A (zh) * | 2012-05-07 | 2013-11-13 | 深圳泰山在线科技有限公司 | 基于人体姿态识别的体育教学辅助系统和方法 |
| CN104200491A (zh) * | 2014-08-15 | 2014-12-10 | 浙江省新华医院 | 一种人体运动姿态校正系统 |
| CN105453128A (zh) * | 2013-05-30 | 2016-03-30 | 阿特拉斯维拉伯斯公司 | 便携式计算设备以及对从其捕捉的个人数据的分析 |
| CN105477828A (zh) * | 2016-01-21 | 2016-04-13 | 湖南理工学院 | 基于物联网技术的便携式跑步机 |
| CN105808169A (zh) * | 2016-03-14 | 2016-07-27 | 联想(北京)有限公司 | 用于数据去重的方法、装置和系统 |
| CN105879305A (zh) * | 2016-04-12 | 2016-08-24 | 中国科学院合肥物质科学研究院 | 一种基于视频的跑步机自适应调速系统 |
| CN105999670A (zh) * | 2016-05-31 | 2016-10-12 | 山东科技大学 | 基于kinect的太极拳动作判定和指导系统及其指导方法 |
| CN106983991A (zh) * | 2017-05-22 | 2017-07-28 | 北京小米移动软件有限公司 | 跑步机的控制方法、装置及跑步机 |
| CN107122048A (zh) * | 2017-04-21 | 2017-09-01 | 甘肃省歌舞剧院有限责任公司 | 一种动作评估系统 |
| CN107239728A (zh) * | 2017-01-04 | 2017-10-10 | 北京深鉴智能科技有限公司 | 基于深度学习姿态估计的无人机交互装置与方法 |
| CN107243141A (zh) * | 2017-05-05 | 2017-10-13 | 北京工业大学 | 一种基于运动识别的动作辅助训练系统 |
| CN107335192A (zh) * | 2017-05-26 | 2017-11-10 | 深圳奥比中光科技有限公司 | 运动辅助训练方法、装置及存储装置 |
| CN107392086A (zh) * | 2017-05-26 | 2017-11-24 | 深圳奥比中光科技有限公司 | 人体姿态的评估装置、系统及存储装置 |
-
2017
- 2017-12-22 CN CN201711408821.9A patent/CN108256433B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1933880A (zh) * | 2004-01-26 | 2007-03-21 | 莫德高尔夫有限责任公司 | 用于测量和评估身体技能的动作和用于完成身体技能的设备的系统和方法 |
| US20100202687A1 (en) * | 2007-05-03 | 2010-08-12 | Ucl Business Plc | Image registration method |
| CN101251894A (zh) * | 2008-01-28 | 2008-08-27 | 天津大学 | 基于红外热成像的步态特征提取方法和步态识别方法 |
| CN102132227A (zh) * | 2008-03-26 | 2011-07-20 | 艾登特技术股份公司 | 用于对姿势的多维评估的系统和方法 |
| US20100278231A1 (en) * | 2009-05-04 | 2010-11-04 | Imagine Communications Ltd. | Post-decoder filtering |
| CN101794384A (zh) * | 2010-03-12 | 2010-08-04 | 浙江大学 | 一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法 |
| CN102682302A (zh) * | 2012-03-12 | 2012-09-19 | 浙江工业大学 | 一种基于关键帧的多特征融合的人体姿态识别方法 |
| CN103390174A (zh) * | 2012-05-07 | 2013-11-13 | 深圳泰山在线科技有限公司 | 基于人体姿态识别的体育教学辅助系统和方法 |
| CN105453128A (zh) * | 2013-05-30 | 2016-03-30 | 阿特拉斯维拉伯斯公司 | 便携式计算设备以及对从其捕捉的个人数据的分析 |
| CN104200491A (zh) * | 2014-08-15 | 2014-12-10 | 浙江省新华医院 | 一种人体运动姿态校正系统 |
| CN105477828A (zh) * | 2016-01-21 | 2016-04-13 | 湖南理工学院 | 基于物联网技术的便携式跑步机 |
| CN105808169A (zh) * | 2016-03-14 | 2016-07-27 | 联想(北京)有限公司 | 用于数据去重的方法、装置和系统 |
| CN105879305A (zh) * | 2016-04-12 | 2016-08-24 | 中国科学院合肥物质科学研究院 | 一种基于视频的跑步机自适应调速系统 |
| CN105999670A (zh) * | 2016-05-31 | 2016-10-12 | 山东科技大学 | 基于kinect的太极拳动作判定和指导系统及其指导方法 |
| CN107239728A (zh) * | 2017-01-04 | 2017-10-10 | 北京深鉴智能科技有限公司 | 基于深度学习姿态估计的无人机交互装置与方法 |
| CN107122048A (zh) * | 2017-04-21 | 2017-09-01 | 甘肃省歌舞剧院有限责任公司 | 一种动作评估系统 |
| CN107243141A (zh) * | 2017-05-05 | 2017-10-13 | 北京工业大学 | 一种基于运动识别的动作辅助训练系统 |
| CN106983991A (zh) * | 2017-05-22 | 2017-07-28 | 北京小米移动软件有限公司 | 跑步机的控制方法、装置及跑步机 |
| CN107335192A (zh) * | 2017-05-26 | 2017-11-10 | 深圳奥比中光科技有限公司 | 运动辅助训练方法、装置及存储装置 |
| CN107392086A (zh) * | 2017-05-26 | 2017-11-24 | 深圳奥比中光科技有限公司 | 人体姿态的评估装置、系统及存储装置 |
Non-Patent Citations (2)
| Title |
|---|
| 文龙等: ""帕金森病患步态测量与定量分析"", 《中国康复医学杂志》 * |
| 黄鲜萍等: ""视频中关键人体姿态的识别"", 《小型微型计算机系统》 * |
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344692B (zh) * | 2018-08-10 | 2020-10-30 | 华侨大学 | 一种运动质量评价方法及系统 |
| CN109344692A (zh) * | 2018-08-10 | 2019-02-15 | 华侨大学 | 一种运动质量评价方法及系统 |
| CN108853953A (zh) * | 2018-09-03 | 2018-11-23 | 合肥智慧龙图腾知识产权股份有限公司 | 一种形体训练方法、装置、系统、计算机设备及存储介质 |
| CN109469968A (zh) * | 2018-10-22 | 2019-03-15 | 珠海格力电器股份有限公司 | 一种基于图像识别的空调控制的方法及装置 |
| CN109190607A (zh) * | 2018-10-30 | 2019-01-11 | 维沃移动通信有限公司 | 一种动作图像处理方法、装置和终端 |
| CN109635644A (zh) * | 2018-11-01 | 2019-04-16 | 北京健康有益科技有限公司 | 一种用户动作的评价方法、装置和可读介质 |
| CN111223102B (zh) * | 2018-11-23 | 2024-03-01 | 银河水滴科技（北京）有限公司 | 一种图像分割模型训练方法、图像分割方法及装置 |
| CN111223102A (zh) * | 2018-11-23 | 2020-06-02 | 银河水滴科技（北京）有限公司 | 一种图像分割模型训练方法、图像分割方法及装置 |
| CN109583363A (zh) * | 2018-11-27 | 2019-04-05 | 湖南视觉伟业智能科技有限公司 | 基于人体关键点检测改进演讲者姿体动作的方法及系统 |
| CN109583363B (zh) * | 2018-11-27 | 2022-02-11 | 湖南视觉伟业智能科技有限公司 | 基于人体关键点检测改进演讲者姿体动作的方法及系统 |
| CN109887016A (zh) * | 2019-03-25 | 2019-06-14 | 北京奇艺世纪科技有限公司 | 一种相似度计算方法及装置 |
| CN110096616A (zh) * | 2019-04-25 | 2019-08-06 | 南京邮电大学 | 一种基于二维姿态估计的运动训练姿态分析方法 |
| CN110096616B (zh) * | 2019-04-25 | 2023-05-26 | 南京邮电大学 | 一种基于二维姿态估计的运动训练姿态分析方法 |
| CN110427900A (zh) * | 2019-08-07 | 2019-11-08 | 广东工业大学 | 一种智能指导健身的方法、装置和设备 |
| CN110781777A (zh) * | 2019-10-10 | 2020-02-11 | 深圳市牧爵电子科技有限公司 | 体育训练中人体动作的判定方法、系统和存储介质 |
| CN110705491A (zh) * | 2019-10-10 | 2020-01-17 | 青岛大学 | 一种电力工人铁塔辅助作业的方法及系统 |
| CN112784667A (zh) * | 2019-11-08 | 2021-05-11 | 欧姆龙株式会社 | 动作分析装置、动作分析方法及计算机可读取存储介质 |
| WO2021098616A1 (zh) * | 2019-11-21 | 2021-05-27 | 中国科学院深圳先进技术研究院 | 运动姿态识别方法、运动姿态识别装置、终端设备及介质 |
| CN110996149A (zh) * | 2019-12-23 | 2020-04-10 | 联想(北京)有限公司 | 一种信息处理方法、装置和系统 |
| CN111310655A (zh) * | 2020-02-13 | 2020-06-19 | 蒋营国 | 基于关键帧和组合注意力模型的人体动作识别方法和系统 |
| CN111347438A (zh) * | 2020-02-24 | 2020-06-30 | 五邑大学 | 一种学习式机器人及基于其的学习矫正方法 |
| CN111275032B (zh) * | 2020-05-07 | 2020-09-15 | 西南交通大学 | 基于人体关键点的深蹲检测方法、装置、设备及介质 |
| CN111275032A (zh) * | 2020-05-07 | 2020-06-12 | 西南交通大学 | 基于人体关键点的深蹲检测方法、装置、设备及介质 |
| CN111709365A (zh) * | 2020-06-17 | 2020-09-25 | 成都工业学院 | 一种基于卷积神经网络的人体运动姿态自动检测方法 |
| WO2021047315A3 (zh) * | 2020-07-20 | 2021-06-17 | 南京智金科技创新服务中心 | 一种人体异常姿态的提示方法及系统 |
| CN111985393A (zh) * | 2020-08-18 | 2020-11-24 | 深圳市瓴鹰智能科技有限公司 | 一种纠正运动姿态的智能镜子及其运动姿态纠正方法 |
| CN112348942A (zh) * | 2020-09-18 | 2021-02-09 | 当趣网络科技(杭州)有限公司 | 一种健身交互方法和系统 |
| CN112348942B (zh) * | 2020-09-18 | 2024-03-19 | 当趣网络科技(杭州)有限公司 | 一种健身交互方法和系统 |
| US20220230437A1 (en) * | 2020-09-25 | 2022-07-21 | Sparrow Vision, Inc. | System and method for real-time automatic video key frame analysis for critical motion in complex athletic movements |
| CN112370045A (zh) * | 2020-10-15 | 2021-02-19 | 北京大学 | 基于人工智能的功能性动作检测方法及系统 |
| CN112587903A (zh) * | 2020-11-30 | 2021-04-02 | 珠海大横琴科技发展有限公司 | 一种基于深度学习的短跑运动员起跑训练方法及系统 |
| CN112733605A (zh) * | 2020-12-11 | 2021-04-30 | 上海明略人工智能(集团)有限公司 | 基于机器视觉的泳姿训练方法及系统 |
| CN112488071A (zh) * | 2020-12-21 | 2021-03-12 | 重庆紫光华山智安科技有限公司 | 提取行人特征的方法、装置、电子设备和存储介质 |
| CN112488071B (zh) * | 2020-12-21 | 2021-10-26 | 重庆紫光华山智安科技有限公司 | 提取行人特征的方法、装置、电子设备和存储介质 |
| CN113128354B (zh) * | 2021-03-26 | 2022-07-19 | 中山大学中山眼科中心 | 一种洗手质量检测方法及装置 |
| CN113128354A (zh) * | 2021-03-26 | 2021-07-16 | 中山大学中山眼科中心 | 一种洗手质量检测方法及装置 |
| CN113113110A (zh) * | 2021-04-16 | 2021-07-13 | 郑州大学第一附属医院 | 一种基于图像识别的鼻咽癌放疗患者吞咽护理系统 |
| CN112999616A (zh) * | 2021-04-16 | 2021-06-22 | 北京万觉科技有限公司 | 姿态检测系统、方法、装置以及可存储介质 |
| CN113537128A (zh) * | 2021-07-29 | 2021-10-22 | 广州中金育能教育科技有限公司 | 一种基于深度学习姿态评估对连续动作的比对和分析方法、系统以及设备 |
| CN113944396A (zh) * | 2021-10-25 | 2022-01-18 | 上海网车科技有限公司 | 一种车辆前后备箱门自动打开的系统及方法 |
| CN113850248A (zh) * | 2021-12-01 | 2021-12-28 | 中科海微(北京)科技有限公司 | 运动姿态评估方法、装置、边缘计算服务器及存储介质 |
| CN113850248B (zh) * | 2021-12-01 | 2022-02-22 | 中科海微(北京)科技有限公司 | 运动姿态评估方法、装置、边缘计算服务器及存储介质 |
| CN116264965A (zh) * | 2021-12-14 | 2023-06-20 | 中国人民解放军空军军医大学 | 一种基于视频的体能训练方法和系统 |
| CN114627560A (zh) * | 2022-05-13 | 2022-06-14 | 浙江大华技术股份有限公司 | 一种动作识别方法、动作识别模型训练方法及相关装置 |
| CN117216313A (zh) * | 2023-09-13 | 2023-12-12 | 中关村科学城城市大脑股份有限公司 | 姿态评价音频输出方法、装置、电子设备和可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108256433B (zh) | 2020-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108256433A (zh) | 一种运动姿态评估方法及系统 | |
| CN109191588B (zh) | 运动教学方法、装置、存储介质及电子设备 | |
| CN111881705B (zh) | 数据处理、训练、识别方法、装置和存储介质 | |
| KR102097190B1 (ko) | 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러 | |
| CN105426827B (zh) | 活体验证方法、装置和系统 | |
| WO2021051579A1 (zh) | 形体姿态识别方法、系统、装置及存储介质 | |
| KR102377561B1 (ko) | 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법 | |
| CN111263953A (zh) | 动作状态评估系统、动作状态评估装置、动作状态评估服务器、动作状态评估方法以及动作状态评估程序 | |
| US9715622B2 (en) | System and method for predicting neurological disorders | |
| Chaudhari et al. | Yog-guru: Real-time yoga pose correction system using deep learning methods | |
| KR102320960B1 (ko) | 사용자 신체 맞춤형 홈 트레이닝 동작 안내 및 교정 시스템 | |
| Avola et al. | Deep temporal analysis for non-acted body affect recognition | |
| CN107153812A (zh) | 一种基于机器视觉的运动辅助方法及系统 | |
| CN109621331A (zh) | 辅助健身方法、装置及存储介质、服务器 | |
| CN109815776A (zh) | 动作提示方法和装置、存储介质及电子装置 | |
| CN113255522B (zh) | 基于时间一致性的个性化运动姿态估计与分析方法及系统 | |
| CN105844100A (zh) | 通过电视和体感配件进行康复训练及系统 | |
| CN114022512B (zh) | 运动辅助方法、装置及介质 | |
| KR20130043366A (ko) | 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법 | |
| US11869200B2 (en) | ML model arrangement and method for evaluating motion patterns | |
| US20220262010A1 (en) | Biomechanical tracking and feedback system | |
| Yang et al. | Research on face recognition sports intelligence training platform based on artificial intelligence | |
| Razzaq et al. | Unskem: unobtrusive skeletal-based emotion recognition for user experience | |
| WO2016021152A1 (ja) | 姿勢推定方法および姿勢推定装置 | |
| JP7248137B2 (ja) | 評価方法、評価プログラムおよび情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Room 18F-1802 (01), Building 11, the Taihu Lake Photon Science Park, No. 198, Jialingjiang Road, High tech Zone, Suzhou City, Jiangsu Province, 215000 Patentee after: Galaxy Water Drop Technology (Jiangsu) Co.,Ltd. Country or region after: China Address before: Room 501-1753, office building, development zone, 8 Xingsheng South Road, Miyun District Economic Development Zone, Beijing Patentee before: Watrix Technology (Beijing) Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |