CN110321754A - 一种基于计算机视觉的人体运动姿态纠正方法及系统 - Google Patents
一种基于计算机视觉的人体运动姿态纠正方法及系统 Download PDFInfo
- Publication number
- CN110321754A CN110321754A CN201810265981.0A CN201810265981A CN110321754A CN 110321754 A CN110321754 A CN 110321754A CN 201810265981 A CN201810265981 A CN 201810265981A CN 110321754 A CN110321754 A CN 110321754A
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- standard
- frequency band
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000012937 correction Methods 0.000 claims description 49
- 238000005520 cutting process Methods 0.000 claims description 26
- 230000000386 athletic effect Effects 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 8
- 230000008030 elimination Effects 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims description 6
- 230000000052 comparative effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 150000001875 compounds Chemical class 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 230000036544 posture Effects 0.000 description 41
- 238000005452 bending Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010060820 Joint injury Diseases 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000037147 athletic performance Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于计算机视觉的人体运动姿态纠正方法及系统，通过多个摄像头从多个角度录得的视频获得用户姿态信息，结合标准动作进行对比，发现用户动作不规范处并给予指导。可以使用户无需佩戴额外设备便可得到智能的运动技能指导。本发明使用深度学习中卷积神经网络模型来检测摄像头所捕获的人体关键点在图像中的位置，其精度可通过对上述模型的训练提升，可达到动作指导所需精度。同时由于多个摄像头的位置可根据实际环境设置，相比使用kinect设备，该方式对于用户的各种复杂动作的捕捉效果较好。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于计算机视觉的人体运动姿态纠正方法及系统。
背景技术
健身或学习运动技能是一种专业性较强的体育运动，肢体的动作做得不对或运动量太大或太小都会对其效果带来较大的影响，甚至可能带来相反的效果。例如，可出现肌肉拉伤或关节受伤等等消极的后果。目前，可以为用户健身或学习运动技能提供较为完备指导的电子设备较少，多为使用内带加速度传感器，重力传感器等传感器的电子设备记录下来的用户的心率，运动时长，距离等数据以此来指导用户的运动时长，运动强度等。也有在衣服上增设包括弯曲传感器，惯性传感器等传感器用于记录用户身体姿态，并给予动作指导。目前有推出含有各种传感器的健身设备（如Move it），其可以做到通过内置的传感器获得的数据检测用户是否完成一个标准的运动动作，并且将运动次数等数据记录，便于日后专业人员通过分析数据给予指导。但是由于传感器仅在健身设备中，故获得的数据相对有限，且无法针对用户动作不标准给予鉴别和指导。无法避免用户因动作不标准造成的锻炼效果不佳甚至劳损。并且其所能记录的数据受到不同健身设备的限制，所记录的数据对于用户的帮助也十分有限。现有技术中也有通过将传感器植入衣服内已到达获得用户姿态，并给予指导（如Enflux智能健身衣），但是该衣物价格昂贵，衣物上传感器易受到磨损，使用者穿着时动作受限，舒适度不高等问题。
在计算机视觉技术领域，人体关键点检测技术，目前较为被青睐的方法便是使用机器学习算法和经过训练的模型先在图片中使用寻找出人体，然后再在寻找出的人体处检测肢体（如手臂），再细化到关节，最终得到各个关节点在图片中的位置。三维重建是指根据基于一个视图或者多个视图所获得的物体或者场景的图像重建三维模型的过程。由于单视图的信息很单一,因此三维重建需要更复杂的算法和过程。多视图的三维重建(模仿人类观察世界的方式)就比较容易实现,其方法是先对摄像机进行标定,即计算出摄像机的图像坐标系与世界坐标系的关系，然后利用多个二维图像中的信息重建出三维信息。
中国发明专利申请201410401905.X公开了一种人体运动姿态校正系统，影像采集模块为kinect 摄像头，用于采集具有深度信息的人体影像，并对采集的影像进行分析，构建人体骨架数据和人体关节点欧氏距离数据，以得出人体运动姿态信息；影像标准库模块中存储有人体标准运动姿态数据，人体标准运动姿态数据包括人体骨架数据和人体关节点数据；影像对比模块将kinect 摄像头构建的人体骨架和人体关节点欧式距离数据与标准库中的标准运动姿态数据进行比对，得出姿态是否正确的结果，并且得出人体姿态相对正确的姿态之间的误差；影像校正输出模块，将采集的人体姿态与影像标准库中的标准运动姿态对比的结果及误差信息输出。该现有技术存在以下缺陷：Kinect设备使用的是结构光技术来测定景深，从而确定关节点空间位置，由于结构光方法本身限制，其仅在室内且人距离设置较近时能达到较好效果，对于稍远距离的人其精度大大下降。且由于kinect本身设备限制，仅在人正面面对该设备时有较好的检测效果，对于人的复杂动作则无法识别。且该方法对于待测动作与标准动作的时间差异没有较好的描述如动作做快了或慢了，或者相较标准动作该人动作有些许延时等造成的动作不匹配的问题。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于计算机视觉的人体运动姿态纠正方法及系统。本发明要解决的技术问题通过以下技术方案实现：一种基于计算机视觉的人体运动姿态纠正方法，包括以下步骤：
步骤1，首先建立标准动作库，标准动作库中包含多个标准动作视频段、标准动作的关节点的标准角度和标准角度的标准角速度；
步骤2，通过多个摄像头获取人体多个运动姿态视频图像，然后通过训练完成的RCNN模型获取人体关节点在所述人体运动姿态的图像上的二维坐标；再通过SFM对所述二维坐标进行三角变换重构人体运动姿态三维图像，并获取所述各个关节点的三维坐标，然后通过所述三维坐标获取各个关节的角度；
步骤3，将所述角度按时序进行排列，并通过卡尔曼算法进行消除误差后获取修正角度；
步骤4，获取每个标准动作视频段的首帧和尾帧，将首帧和尾帧与所述运动姿态视频图像进行匹配，并获取匹配后的匹配视频段；
步骤5，若所述匹配视频段和标准动作视频段的时长差值大于阈值，则对匹配视频段进行插帧或删帧，使匹配视频段和标准动作视频段的帧数相同；
步骤6，将所述匹配视频段中每一帧各个关节点的修正角度与匹配视频段中每一帧对应的所述标准动作视频段中每一帧各个关节点的标准角度进行余弦相似度计算，并获取相应的余弦值作为误差；
步骤7，获取所述匹配视频段中误差最大值的一帧通过音频和视频输出纠正信息进行动作纠正。
进一步的， 所述步骤1中的具体步骤为：
步骤1.1，获取标准动作视频图像，通过标准动作视频图像获取标准动作的关节点的标准角度和标准角度的标准角速度；
步骤1.2，在标准角速度中根据切分阈值获取多个首帧和尾帧；所述切分阈值为标准动作视频图像抖动量平均值的两倍；
所述首帧为标准角速度中由小变大时大于所述抖动阈值时的一帧，所述尾帧为在首帧后标准角速度由大变小时小于所述抖动阈值时的一帧；首帧和尾帧之间形成标准动作视频段；
步骤1.3，计算相邻的首帧和尾帧的时间长度，若大于10s，则以前一次抖动量平均值增加一倍再次获取首帧和尾帧，若小于10s，则停止切分。
进一步的，所述步骤2中，SFM算法将所述多个运动姿态的视频图像重构人体运动姿态三维图像中通过训练完成的RCNN模型获取人体关节点在所述人体运动姿态的图像上的二维坐标，对所述二维坐标进行三角变换重构人体运动姿态三维图像。
进一步的，所述步骤4的具体步骤为：
步骤4.1，获取每个标准动作视频段的首帧和尾帧；
步骤4.2，通过余弦相似度将首帧和尾帧分别与所述运动姿态视频图像的每一帧进行匹配，获取匹配后的匹配视频段。
进一步的，所述步骤7的具体步骤为：
步骤7.1，获取所述匹配视频段中误差最大值的一帧；
步骤7.2，获取所述误差最大值的一帧中的关节点以及对应的修正角度，并获取误差最大值的一帧对应的标准动作视频段中的一帧的关节点和标准角度，该标准角度和修正角度的差值为待纠正值；
步骤7.3，通过音频和视频将待纠正值输出。
一种基于计算机视觉的人体运动姿态纠正系统，包括标准动作建立模块，用于建立标准动作库，标准动作库中包含多个标准动作视频段、标准动作的关节点的标准角度和标准角度的标准角速度；
图像采集模块，用于通过多个摄像头获取人体多个运动姿态视频图像；
三维模型生成模块，用于通过训练完成的RCNN模型获取人体关节点在所述人体运动姿态的图像上的二维坐标；再通过SFM对所述二维坐标进行三角变换重构人体运动姿态三维图像，并获取所述各个关节点的三维坐标，然后通过所述三维坐标获取各个关节的角度；
角度修正模块，用于将所述角度按时序进行排列，并通过卡尔曼算法进行消除误差后获取修正角度；
匹配模块，用于获取每个标准动作视频段的首帧和尾帧，将首帧和尾帧与所述运动姿态视频图像进行匹配，并获取匹配后的匹配视频段；
判断模块，用于判断对所述匹配视频段和标准动作视频段的时长差值是否大于阈值；
视频处理模块，对匹配视频段进行插帧或删帧，使匹配视频段和标准动作视频段的帧数相同；
识别模块，用于将所述匹配视频段中每一帧各个关节点的修正角度与匹配视频段中每一帧对应的所述标准动作视频段中每一帧各个关节点的标准角度进行余弦相似度计算，并获取相应的余弦值作为误差；
反馈模块，用于获取所述匹配视频段中误差最大值的一帧通过音频和视频输出纠正信息进行动作纠正。
进一步的，所述标准动作建立模块包括图像处理子模块，用于获取标准动作视频图像，通过标准动作视频图像获取标准动作的关节点的标准角度和标准角度的标准角速度；
切分子模块，用于在标准角速度中根据切分阈值获取多个首帧和尾帧；所述切分阈值为标准动作视频图像抖动量平均值的两倍；
所述首帧为标准角速度中由小变大时大于所述抖动阈值时的一帧，所述尾帧为在首帧后标准角速度由大变小时小于所述抖动阈值时的一帧；首帧和尾帧之间形成标准动作视频段；
判断子模块，用于计算相邻的首帧和尾帧的时间长度，若大于10s，则以前一次抖动量平均值增加一倍再次获取首帧和尾帧，若小于10s，则停止切分。
进一步的，所述匹配模块包括第一获取子模块，用于获取每个标准动作视频段的首帧和尾帧；
第二获取子模块，用于通过余弦相似度将首帧和尾帧分别与所述运动姿态视频图像的每一帧进行匹配，获取匹配后的匹配视频段。
进一步的，所述反馈模块包括比较子模块，用于获取所述匹配视频段中误差最大值的一帧；
生成子模块，用于获取所述误差最大值的一帧中的关节点以及对应的修正角度，并获取误差最大值的一帧对应的标准动作视频段中的一帧的关节点和标准角度，该标准角度和修正角度的差值为待纠正值；
输出模块，用于通过音频和视频将待纠正值输出。
与现有技术相比，本发明的有益效果：1、本发明使用深度学习中卷积神经网络模型来检测摄像头所捕获的人体关键点在图像中的位置，采用人体关键点检测技术，可以有针对性的三维重建，减少计算量，其精度可通过对上述模型的训练提升，可达到动作指导所需精度。
2、Structure from Motion算法受到环境下光线强弱影响较小，对于人距离摄像头位置要求不高，具有较高的鲁棒性，同时由于多个摄像头的位置可根据实际环境设置，相比使用kinect设备，该方式对于用户的各种复杂动作的捕捉效果较好。
3、本发明在保证指导精度与效果的前提下，仅通过多个摄像头从多个角度录得的视频获得用户姿态信息，结合标准动作进行对比，发现用户动作不规范处并给予指导。可以使用户无需佩戴额外设备便可得到智能的运动技能指导。结合人体关键点检测技术与三维重建技术，获得用户身体运动信息，对比之前经过处理的标准动作，寻找出用户动作不到位的地方，在用户完成动作后给予提醒。已到达动作纠正的目的。
附图说明
图1是本发明人体关节点识别示意图。
图2是本发明获取标准动作视频段示意图。
图3是本发明获取匹配视频段示意图。
图4是本发明纠正指导流程示意图。
图5是本发明系统结构框图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。
此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。
术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明创造中的具体含义。
如图1、图2、图3和图4所示，本实施例提供一种基于计算机视觉的人体运动姿态纠正方法，包括以下步骤：
步骤1，首先建立标准动作库，标准动作库中包含多个标准动作视频段、标准动作的关节点的标准角度和标准角度的标准角速度。
步骤1中的具体步骤为：
步骤1.1，获取标准动作视频图像，通过标准动作视频图像获取标准动作的关节点的标准角度和标准角度的标准角速度。
通过多个摄像头从不同的角度获取指导者多个运动姿态视频图像，通过SFM算法将多个运动姿态的视频图像重构指导者运动姿态三维图像中通过训练完成的RCNN模型获取指导者身体关节点在运动姿态的图像上的二维坐标，对二维坐标进行三角变换重构运动姿态三维图像，获取标准动作的关节点的标准角度和标准角度的标准角速度。
步骤1.2，我们在动作开始前需要采集对象（指导者）做一个标定，记录下抖动量的峰值，目前拍摄静止图片时的抖动的平均值因为设备不同，抖动会不同，所以一开始在输入动作时会计算这个切分阈值。在标准角速度中根据切分阈值获取多个首帧和尾帧；切分阈值为标准动作视频图像抖动量平均值的两倍；
首帧为标准角速度中由小变大时大于抖动阈值时的一帧，尾帧为在首帧后标准角速度由大变小时小于抖动阈值时的一帧；首帧和尾帧之间形成标准动作视频段；
步骤1.3，计算相邻的首帧和尾帧的时间长度，若大于10s，则以前一次抖动量平均值增加一倍再次获取首帧和尾帧，若小于10s，则停止切分。具体的若大于10s，则以抖动量3倍再次划分这两帧间的视频，若切分后切分帧中还有大于10秒，则以4倍再次切分，循环进行切分。
简单说就是把速度相似的部分切分成一块，比如说静止的部分就切成一整段，比如下蹲，不会在蹲一半时做切分。如图2所示。
步骤2，通过多个摄像头获取人体多个运动姿态视频图像，然后通过训练完成的RCNN模型获取人体关节点在所述人体运动姿态的图像上的二维坐标；再通过SFM（Structure-from-Motion，运动恢复结构）对所述二维坐标进行三角变换重构人体运动姿态三维图像，并获取所述各个关节点的三维坐标，然后通过所述三维坐标获取各个关节的角度；
我们使用多个摄像机从多个角度拍下这个人，得到多张照片然后使用Rcnn模型进行处理，寻找到比如手腕处的关节点在多个照片中的二维坐标，在安装设备时知道每个摄像机的相对位置(通过摄像机标定)，然后已知每个摄像机的位置，知道每个摄像机所拍照片中该点的坐标，就可以得到该点的空间坐标。传统SFM算法可参考https://blog.csdn.net/AIchipmunk/article/details/48132109。RCNN模型采用公开的训练集或自定义训练集进行深度卷积神经网络训练。
如图1所示，人体关节点和角度计算，关节点4弯曲角度（使用3，4，5计算出），关节点5弯曲角度1（水平方向上的，使用4，5，6夹角计算出），关节点7弯曲角度(用于计算腰的垂直弯曲程度，使用5，6，9计算出)，关节点8弯曲角度（垂直方向 ，使用5，8，10计算出），关节点10弯曲角度（使用8,10,11计算出），关节点6弯曲角度1（使用0，5，6计算出），弯曲角度2（使用0，6，7计算出），关节点9通过8，R8的中值点计算出。
步骤3，将角度按时序进行排列，并通过卡尔曼算法进行消除误差后获取修正角度；由于数据存在噪声，直接使用原始数据参与运算会有很大误差，采用了卡尔曼滤波，一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。在某些关节点运动速度较低的情况，我们同时采用了均值滤波。通过滤波，原始数据可以求出更精确，波动更小的关节速度变化，进而有利于划分视频切分段。
步骤4，获取每个标准动作视频段的首帧和尾帧，将首帧和尾帧与运动姿态视频图像进行匹配，并获取匹配后的匹配视频段。如图3所示：
步骤4的具体步骤为：
步骤4.1，获取每个标准动作视频段的首帧和尾帧；
步骤4.2，通过余弦相似度将首帧和尾帧分别与运动姿态视频图像的每一帧进行匹配，获取匹配后的匹配视频段。
步骤5，若匹配视频段和标准动作视频段的时长差值大于阈值，则对匹配视频段进行插帧或删帧，使匹配视频段和标准动作视频段的帧数相同。
每处理一帧会记录下这一帧是什么时间拍摄的，单位是毫秒，所以只需前后两帧时间一减就知道二者做该段动作的时长，得到一个是否应该指导学员加快或减慢该段动作的信息，接着，按照帧数差别进行放缩被指导者视频段，比如教练有10帧，学员有15帧，那么就抽样删除5帧，如果学员只有五帧，那么就补到10帧。
步骤6，将匹配视频段中每一帧各个关节点的修正角度与匹配视频段中每一帧对应的标准动作视频段中每一帧各个关节点的标准角度进行余弦相似度计算，并获取相应的余弦值作为误差；
步骤7，获取匹配视频段中误差最大值的一帧通过音频和视频输出纠正信息进行动作纠正。如图4所示：
步骤7的具体步骤为：
步骤7.1，获取匹配视频段中误差最大值的一帧；
步骤7.2，获取误差最大值的一帧中的关节点以及对应的修正角度，并获取误差最大值的一帧对应的标准动作视频段中的一帧的关节点和标准角度，该标准角度和修正角度的差值为待纠正值；
步骤7.3，通过音频和视频将待纠正值输出。
比如说肘部关节角度相较标准动作差了30度，通过语音提示将肘略微弯曲。
如图5所示，本实施例还提供一种基于计算机视觉的人体运动姿态纠正系统，包括标准动作建立模块10，用于建立标准动作库，标准动作库中包含多个标准动作视频段、标准动作的关节点的标准角度和标准角度的标准角速度；
图像采集模块20，用于通过多个摄像头获取人体多个运动姿态视频图像；
三维模型生成模块30，用于通过训练完成的RCNN模型获取人体关节点在所述人体运动姿态的图像上的二维坐标；再通过SFM对所述二维坐标进行三角变换重构人体运动姿态三维图像，并获取所述各个关节点的三维坐标，然后通过所述三维坐标获取各个关节的角度；
角度修正模块40，用于将角度按时序进行排列，并通过卡尔曼算法进行消除误差后获取修正角度；
匹配模块50，用于获取每个标准动作视频段的首帧和尾帧，将首帧和尾帧与运动姿态视频图像进行匹配，并获取匹配后的匹配视频段；
判断模块60，用于判断对匹配视频段和标准动作视频段的时长差值是否大于阈值；
视频处理模块70，对匹配视频段进行插帧或删帧，使匹配视频段和标准动作视频段的帧数相同；
识别模块80，用于将匹配视频段中每一帧各个关节点的修正角度与匹配视频段中每一帧对应的标准动作视频段中每一帧各个关节点的标准角度进行余弦相似度计算，并获取相应的余弦值作为误差；
反馈模块90，用于获取匹配视频段中误差最大值的一帧通过音频和视频输出纠正信息进行动作纠正。
进一步的，标准动作建立模块包括图像处理子模块，用于获取标准动作视频图像，通过标准动作视频图像获取标准动作的关节点的标准角度和标准角度的标准角速度；
切分子模块，用于在标准角速度中根据切分阈值获取多个首帧和尾帧；切分阈值为标准动作视频图像抖动量平均值的两倍；
首帧为标准角速度中由小变大时大于抖动阈值时的一帧，尾帧为在首帧后标准角速度由大变小时小于抖动阈值时的一帧；首帧和尾帧之间形成标准动作视频段；
判断子模块，用于计算相邻的首帧和尾帧的时间长度，若大于10s，则以前一次抖动量平均值增加一倍再次获取首帧和尾帧，若小于10s，则停止切分。
进一步的，匹配模块包括第一获取子模块，用于获取每个标准动作视频段的首帧和尾帧；
第二获取子模块，用于通过余弦相似度将首帧和尾帧分别与运动姿态视频图像的每一帧进行匹配，获取匹配后的匹配视频段。
进一步的，反馈模块包括比较子模块，用于获取匹配视频段中误差最大值的一帧；
生成子模块，用于获取误差最大值的一帧中的关节点以及对应的修正角度，并获取误差最大值的一帧对应的标准动作视频段中的一帧的关节点和标准角度，该标准角度和修正角度的差值为待纠正值；
输出模块，用于通过音频和视频将待纠正值输出。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于计算机视觉的人体运动姿态纠正方法，其特征在于：包括以下步骤：
步骤1，首先建立标准动作库，标准动作库中包含多个标准动作视频段、标准动作的关节点的标准角度和标准角度的标准角速度；
步骤2，通过多个摄像头获取人体多个运动姿态视频图像，然后通过训练完成的RCNN模型获取人体关节点在所述人体运动姿态的图像上的二维坐标；再通过SFM对所述二维坐标进行三角变换重构人体运动姿态三维图像，并获取所述各个关节点的三维坐标，然后通过所述三维坐标获取各个关节的角度；
步骤3，将所述角度按时序进行排列，并通过卡尔曼算法进行消除误差后获取修正角度；
步骤4，获取每个标准动作视频段的首帧和尾帧，将首帧和尾帧与所述运动姿态视频图像进行匹配，并获取匹配后的匹配视频段；
步骤5，若所述匹配视频段和标准动作视频段的时长差值大于阈值，则对匹配视频段进行插帧或删帧，使匹配视频段和标准动作视频段的帧数相同；
步骤6，将所述匹配视频段中每一帧各个关节点的修正角度与匹配视频段中每一帧对应的所述标准动作视频段中每一帧各个关节点的标准角度进行余弦相似度计算，并获取相应的余弦值作为误差；
步骤7，获取所述匹配视频段中误差最大值的一帧通过音频和视频输出纠正信息进行动作纠正。
2.根据权利要求1所述的一种基于计算机视觉的人体运动姿态纠正方法，其特征在于：所述步骤1中的具体步骤为：
步骤1.1，获取标准动作视频图像，通过标准动作视频图像获取标准动作的关节点的标准角度和标准角度的标准角速度；
步骤1.2，在标准角速度中根据切分阈值获取多个首帧和尾帧；所述切分阈值为标准动作视频图像抖动量平均值的两倍；
所述首帧为标准角速度中由小变大时大于所述抖动阈值时的一帧，所述尾帧为在首帧后标准角速度由大变小时小于所述抖动阈值时的一帧；首帧和尾帧之间形成标准动作视频段；
步骤1.3，计算相邻的首帧和尾帧的时间长度，若大于10s，则以前一次抖动量平均值增加一倍再次获取首帧和尾帧，若小于10s，则停止切分。
3.根据权利要求1或2所述的一种基于计算机视觉的人体运动姿态纠正方法，其特征在于： 所述步骤4的具体步骤为：
步骤4.1，获取每个标准动作视频段的首帧和尾帧；
步骤4.2，通过余弦相似度将首帧和尾帧分别与所述运动姿态视频图像的每一帧进行匹配，获取匹配后的匹配视频段。
4.根据权利要求1或2所述的一种基于计算机视觉的人体运动姿态纠正方法，其特征在于：所述步骤7的具体步骤为：
步骤7.1，获取所述匹配视频段中误差最大值的一帧；
步骤7.2，获取所述误差最大值的一帧中的关节点以及对应的修正角度，并获取误差最大值的一帧对应的标准动作视频段中的一帧的关节点和标准角度，该标准角度和修正角度的差值为待纠正值；
步骤7.3，通过音频和视频将待纠正值输出。
5.根据权利要求或3所述的一种基于计算机视觉的人体运动姿态纠正方法，其特征在于：所述步骤7的具体步骤为：
步骤7.1，获取所述匹配视频段中误差最大值的一帧；
步骤7.2，获取所述误差最大值的一帧中的关节点以及对应的修正角度，并获取误差最大值的一帧对应的标准动作视频段中的一帧的关节点和标准角度，该标准角度和修正角度的差值为待纠正值；
步骤7.3，通过音频和视频将待纠正值输出。
6.一种基于计算机视觉的人体运动姿态纠正系统，其特征在于：包括标准动作建立模块，用于建立标准动作库，标准动作库中包含多个标准动作视频段、标准动作的关节点的标准角度和标准角度的标准角速度；
图像采集模块，用于通过多个摄像头获取人体多个运动姿态视频图像；
三维模型生成模块，用于通过训练完成的RCNN模型获取人体关节点在所述人体运动姿态的图像上的二维坐标，再通过SFM对所述二维坐标进行三角变换重构人体运动姿态三维图像，并获取所述各个关节点的三维坐标，然后通过所述三维坐标获取各个关节的角度；
角度修正模块，用于将所述角度按时序进行排列，并通过卡尔曼算法进行消除误差后获取修正角度；
匹配模块，用于获取每个标准动作视频段的首帧和尾帧，将首帧和尾帧与所述运动姿态视频图像进行匹配，并获取匹配后的匹配视频段；
判断模块，用于判断对所述匹配视频段和标准动作视频段的时长差值是否大于阈值；
视频处理模块，对匹配视频段进行插帧或删帧，使匹配视频段和标准动作视频段的帧数相同；
识别模块，用于将所述匹配视频段中每一帧各个关节点的修正角度与匹配视频段中每一帧对应的所述标准动作视频段中每一帧各个关节点的标准角度进行余弦相似度计算，并获取相应的余弦值作为误差；
反馈模块，用于获取所述匹配视频段中误差最大值的一帧通过音频和视频输出纠正信息进行动作纠正。
7.根据权利要求6所述的一种基于计算机视觉的人体运动姿态纠正系统，其特征在于：所述标准动作建立模块包括图像处理子模块，用于获取标准动作视频图像，通过标准动作视频图像获取标准动作的关节点的标准角度和标准角度的标准角速度；
切分子模块，用于在标准角速度中根据切分阈值获取多个首帧和尾帧；所述切分阈值为标准动作视频图像抖动量平均值的两倍；
所述首帧为标准角速度中由小变大时大于所述抖动阈值时的一帧，所述尾帧为在首帧后标准角速度由大变小时小于所述抖动阈值时的一帧；首帧和尾帧之间形成标准动作视频段；
判断子模块，用于计算相邻的首帧和尾帧的时间长度，若大于10s，则以前一次抖动量平均值增加一倍再次获取首帧和尾帧，若小于10s，则停止切分。
8.根据权利要求6或7所述的一种基于计算机视觉的人体运动姿态纠正系统，其特征在于：所述匹配模块包括第一获取子模块，用于获取每个标准动作视频段的首帧和尾帧；
第二获取子模块，用于通过余弦相似度将首帧和尾帧分别与所述运动姿态视频图像的每一帧进行匹配，获取匹配后的匹配视频段。
9.根据权利要求6或7所述的一种基于计算机视觉的人体运动姿态纠正系统，其特征在于：所述反馈模块包括比较子模块，用于获取所述匹配视频段中误差最大值的一帧；
生成子模块，用于获取所述误差最大值的一帧中的关节点以及对应的修正角度，并获取误差最大值的一帧对应的标准动作视频段中的一帧的关节点和标准角度，该标准角度和修正角度的差值为待纠正值；
输出模块，用于通过音频和视频将待纠正值输出。
10.根据权利要求8所述的一种基于计算机视觉的人体运动姿态纠正系统，其特征在于：所述反馈模块包括比较子模块，用于获取所述匹配视频段中误差最大值的一帧；
生成子模块，用于获取所述误差最大值的一帧中的关节点以及对应的修正角度，并获取误差最大值的一帧对应的标准动作视频段中的一帧的关节点和标准角度，该标准角度和修正角度的差值为待纠正值；
输出模块，用于通过音频和视频将待纠正值输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810265981.0A CN110321754B (zh) | 2018-03-28 | 2018-03-28 | 一种基于计算机视觉的人体运动姿态纠正方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810265981.0A CN110321754B (zh) | 2018-03-28 | 2018-03-28 | 一种基于计算机视觉的人体运动姿态纠正方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110321754A true CN110321754A (zh) | 2019-10-11 |
| CN110321754B CN110321754B (zh) | 2024-04-19 |
Family
ID=68110211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810265981.0A Active CN110321754B (zh) | 2018-03-28 | 2018-03-28 | 一种基于计算机视觉的人体运动姿态纠正方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110321754B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110765946A (zh) * | 2019-10-23 | 2020-02-07 | 北京卡路里信息技术有限公司 | 一种跑姿评估方法、装置、设备和存储介质 |
| CN110782482A (zh) * | 2019-10-21 | 2020-02-11 | 深圳市网心科技有限公司 | 运动评估方法、装置、计算机设备及存储介质 |
| CN111083524A (zh) * | 2019-12-17 | 2020-04-28 | 北京理工大学 | 一种人群表演评测系统 |
| CN111260967A (zh) * | 2020-02-25 | 2020-06-09 | 湖南科技学院 | 一种基于图像处理的武术教学用姿势纠正系统 |
| CN111420345A (zh) * | 2020-03-31 | 2020-07-17 | 常州市金坛区人民医院 | 姿态训练动态交互系统 |
| CN111898519A (zh) * | 2020-07-28 | 2020-11-06 | 武汉大学 | 便携式的特定区域内运动训练辅助视觉伺服机器人系统及姿态评估方法 |
| CN111985393A (zh) * | 2020-08-18 | 2020-11-24 | 深圳市瓴鹰智能科技有限公司 | 一种纠正运动姿态的智能镜子及其运动姿态纠正方法 |
| CN112288771A (zh) * | 2020-10-14 | 2021-01-29 | 华南农业大学 | 群体环境中多猪体运动轨迹提取和行为分析方法 |
| CN112487965A (zh) * | 2020-11-30 | 2021-03-12 | 重庆邮电大学 | 一种基于3d重构的智能健身动作指导方法 |
| CN112990011A (zh) * | 2021-03-15 | 2021-06-18 | 上海工程技术大学 | 基于机器视觉和深度学习的健身动作识别评估方法 |
| CN112990089A (zh) * | 2021-04-08 | 2021-06-18 | 重庆大学 | 一种判断人体运动姿态的方法 |
| CN113128448A (zh) * | 2021-04-29 | 2021-07-16 | 平安国际智慧城市科技股份有限公司 | 基于肢体识别的视频匹配方法、装置、设备及存储介质 |
| CN113392745A (zh) * | 2021-06-04 | 2021-09-14 | 北京格灵深瞳信息技术股份有限公司 | 异常动作纠正方法、装置、电子设备和计算机存储介质 |
| CN113657278A (zh) * | 2021-08-18 | 2021-11-16 | 成都信息工程大学 | 一种运动姿态识别方法、装置、设备及存储介质 |
| CN114283447A (zh) * | 2021-12-13 | 2022-04-05 | 凌云光技术股份有限公司 | 一种动作捕捉系统及方法 |
| CN114529980A (zh) * | 2020-11-03 | 2022-05-24 | 财团法人资讯工业策进会 | 动作姿势的指导系统及方法 |
| CN111145256B (zh) * | 2019-12-27 | 2023-08-11 | 山东大学 | 一种肿瘤穿刺中人体姿态的定位装置及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012073852A (ja) * | 2010-09-29 | 2012-04-12 | Kddi Corp | 人体姿勢推定装置、人体姿勢推定方法、およびコンピュータプログラム |
| CN103390174A (zh) * | 2012-05-07 | 2013-11-13 | 深圳泰山在线科技有限公司 | 基于人体姿态识别的体育教学辅助系统和方法 |
| CN104123007A (zh) * | 2014-07-29 | 2014-10-29 | 电子科技大学 | 一种多维加权的3d动态手势识别方法 |
| CN106730771A (zh) * | 2017-01-05 | 2017-05-31 | 大连理工大学 | 一种基于单元动作划分的篮球动作数据处理方法 |
| CN107392086A (zh) * | 2017-05-26 | 2017-11-24 | 深圳奥比中光科技有限公司 | 人体姿态的评估装置、系统及存储装置 |
| CN107392097A (zh) * | 2017-06-15 | 2017-11-24 | 中山大学 | 一种单目彩色视频的三维人体关节点定位方法 |
-
2018
- 2018-03-28 CN CN201810265981.0A patent/CN110321754B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012073852A (ja) * | 2010-09-29 | 2012-04-12 | Kddi Corp | 人体姿勢推定装置、人体姿勢推定方法、およびコンピュータプログラム |
| CN103390174A (zh) * | 2012-05-07 | 2013-11-13 | 深圳泰山在线科技有限公司 | 基于人体姿态识别的体育教学辅助系统和方法 |
| CN104123007A (zh) * | 2014-07-29 | 2014-10-29 | 电子科技大学 | 一种多维加权的3d动态手势识别方法 |
| CN106730771A (zh) * | 2017-01-05 | 2017-05-31 | 大连理工大学 | 一种基于单元动作划分的篮球动作数据处理方法 |
| CN107392086A (zh) * | 2017-05-26 | 2017-11-24 | 深圳奥比中光科技有限公司 | 人体姿态的评估装置、系统及存储装置 |
| CN107392097A (zh) * | 2017-06-15 | 2017-11-24 | 中山大学 | 一种单目彩色视频的三维人体关节点定位方法 |
Non-Patent Citations (2)
| Title |
|---|
| DA.ROSS等: "Learning Articulated Structure and Motion", 《BING》, pages 42 - 46 * |
| 石曼银;: "基于Kinect深度图像信息的手势轨迹识别及应用", 赤峰学院学报(自然科学版), no. 18 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110782482A (zh) * | 2019-10-21 | 2020-02-11 | 深圳市网心科技有限公司 | 运动评估方法、装置、计算机设备及存储介质 |
| CN110765946A (zh) * | 2019-10-23 | 2020-02-07 | 北京卡路里信息技术有限公司 | 一种跑姿评估方法、装置、设备和存储介质 |
| CN111083524A (zh) * | 2019-12-17 | 2020-04-28 | 北京理工大学 | 一种人群表演评测系统 |
| CN111145256B (zh) * | 2019-12-27 | 2023-08-11 | 山东大学 | 一种肿瘤穿刺中人体姿态的定位装置及方法 |
| CN111260967A (zh) * | 2020-02-25 | 2020-06-09 | 湖南科技学院 | 一种基于图像处理的武术教学用姿势纠正系统 |
| CN111420345A (zh) * | 2020-03-31 | 2020-07-17 | 常州市金坛区人民医院 | 姿态训练动态交互系统 |
| CN111898519A (zh) * | 2020-07-28 | 2020-11-06 | 武汉大学 | 便携式的特定区域内运动训练辅助视觉伺服机器人系统及姿态评估方法 |
| CN111985393A (zh) * | 2020-08-18 | 2020-11-24 | 深圳市瓴鹰智能科技有限公司 | 一种纠正运动姿态的智能镜子及其运动姿态纠正方法 |
| CN112288771A (zh) * | 2020-10-14 | 2021-01-29 | 华南农业大学 | 群体环境中多猪体运动轨迹提取和行为分析方法 |
| CN112288771B (zh) * | 2020-10-14 | 2022-03-25 | 华南农业大学 | 群体环境中多猪体运动轨迹提取和行为分析方法 |
| CN114529980A (zh) * | 2020-11-03 | 2022-05-24 | 财团法人资讯工业策进会 | 动作姿势的指导系统及方法 |
| CN112487965A (zh) * | 2020-11-30 | 2021-03-12 | 重庆邮电大学 | 一种基于3d重构的智能健身动作指导方法 |
| CN112487965B (zh) * | 2020-11-30 | 2023-01-31 | 重庆邮电大学 | 一种基于3d重构的智能健身动作指导方法 |
| CN112990011A (zh) * | 2021-03-15 | 2021-06-18 | 上海工程技术大学 | 基于机器视觉和深度学习的健身动作识别评估方法 |
| CN112990089A (zh) * | 2021-04-08 | 2021-06-18 | 重庆大学 | 一种判断人体运动姿态的方法 |
| CN112990089B (zh) * | 2021-04-08 | 2023-09-26 | 重庆大学 | 一种判断人体运动姿态的方法 |
| CN113128448A (zh) * | 2021-04-29 | 2021-07-16 | 平安国际智慧城市科技股份有限公司 | 基于肢体识别的视频匹配方法、装置、设备及存储介质 |
| CN113128448B (zh) * | 2021-04-29 | 2024-05-24 | 平安国际智慧城市科技股份有限公司 | 基于肢体识别的视频匹配方法、装置、设备及存储介质 |
| CN113392745A (zh) * | 2021-06-04 | 2021-09-14 | 北京格灵深瞳信息技术股份有限公司 | 异常动作纠正方法、装置、电子设备和计算机存储介质 |
| CN113657278A (zh) * | 2021-08-18 | 2021-11-16 | 成都信息工程大学 | 一种运动姿态识别方法、装置、设备及存储介质 |
| CN114283447A (zh) * | 2021-12-13 | 2022-04-05 | 凌云光技术股份有限公司 | 一种动作捕捉系统及方法 |
| CN114283447B (zh) * | 2021-12-13 | 2024-03-26 | 北京元客方舟科技有限公司 | 一种动作捕捉系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110321754B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110321754A (zh) | 一种基于计算机视觉的人体运动姿态纠正方法及系统 | |
| CN111144217B (zh) | 一种基于人体三维关节点检测的动作评价方法 | |
| CN108597578B (zh) | 一种基于二维骨架序列的人体运动评估方法 | |
| Dikovski et al. | Evaluation of different feature sets for gait recognition using skeletal data from Kinect | |
| CN108717531A (zh) | 基于Faster R-CNN的人体姿态估计方法 | |
| CN103745474A (zh) | 基于惯性传感器和摄像机的图像配准方法 | |
| CN106846372B (zh) | 人体运动质量视觉分析与评价系统及其方法 | |
| US9990857B2 (en) | Method and system for visual pedometry | |
| CN113856186B (zh) | 一种引体向上动作判定与计数的方法、系统及装置 | |
| CN109248428A (zh) | 一种网球运动轨迹处理系统的动态分析方法 | |
| US11461905B2 (en) | Determining a kinematic sequence | |
| Hamidi Rad et al. | A novel macro-micro approach for swimming analysis in main swimming techniques using IMU sensors | |
| CN111388987A (zh) | 游泳监测系统 | |
| Zecha et al. | Swimmer detection and pose estimation for continuous stroke-rate determination | |
| CN107404626A (zh) | 一种基于机器人的视频直播系统 | |
| CN116343325A (zh) | 一种居家健身智能辅助系统 | |
| CN113361333B (zh) | 一种非接触式骑行运动状态监测方法及其系统 | |
| CN115424341A (zh) | 打架行为识别方法、装置及电子设备 | |
| CN112494915A (zh) | 一种羽毛球机器人及其系统和控制方法 | |
| JP2021184540A (ja) | モーションキャプチャ・カメラシステム、及び、当該カメラシステムを用いた動画データ取得方法。 | |
| JP6869205B2 (ja) | 生体の拍動を検出する生体情報検出装置、プログラム及び方法 | |
| CN113962247B (zh) | 一种基于标准库匹配的步态预测方法及系统 | |
| Li et al. | Recognizing badminton hitting movements Based on Multi-sensor trajectory recognition algorithm | |
| JP7526468B2 (ja) | 動作計測装置およびプログラム | |
| US20240169560A1 (en) | Method and system for generating a training dataset for keypoint detection, and method and system for predicting 3d locations of virtual markers on a marker-less subject |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |