CN111883229A - 一种基于视觉ai的智能运动指导方法及系统 - Google Patents

Abstract

本发明公开了一种基于视觉AI的智能运动指导方法，其特征在于，包括步骤1：运动图像数据采集；步骤2：先验判定：所述先验判定包括垫板检测和直杆检测，步骤3：定位FMS运动图像中的观测位置，步骤4：根据角度量、距离度量对FMS动作定位；步骤5：综合角度量、距离度量及位置度量，分析FMS运动的完成情况；步骤6：基于步骤5的动作达成情况，统计运动指标的分值及权重加权获得动作指标值；将FMS动作涉及的各运动指标得分相加作为动作的最终评分。达到综合人体关键位置的角度、距离及相对位置，度量功能性运动测试中每个运动完成情况，减少单一度量方式的不准确性，提高判定精确度的效果。

Description

一种基于视觉AI的智能运动指导方法及系统

技术领域

本发明涉及人工智能应用领域，特别是涉及基于视觉AI的智能运动指导方法和系统。

背景技术

合理的运动方式和运动量，是保持身体健康的重要方法之一。运动能力，是体育学的范畴，通俗说就是为更好的完成训练目标，个体所需要具备的运动素质，是人体生理功能在运动方面的外在表现，主要衡量指标是时间、距离，表现为组数、次数、动作的结合。而我们的锻炼目标，通常是围绕健康需求出发的人体生理功能的表述，是生物学的范畴，指的是人体生理功能、结构的变化水平，衡量标准是医学指标，因此和人体健康有着密切的关系。如何制定合理、有效的运动方案是建立一种智能运动指导系统的主要目标。

功能性运动测试(Functional movement screen，简称：FMS)包含过顶深蹲(DeepSquat)、单腿跨栏步(Hurdle Step)、直线弓箭步(Inline Lunge)、肩关节灵活性(ShoulderMobility)、直腿抬高(Active Straight-Leg Raising)、躯干屈伸稳定性(TrunkStability Push-up)及旋转稳定性(Rotary Stability)共7个FMS动作，可以广泛用于各类人群的基本运动功能的评价，能有效对个体的动作控制稳定性、身体平衡能力、柔软度以及本体感觉等能力进行检测，识别其功能限制和不对称发展。关于运动能力和人体健康之间的联系，在实践中已经被大量的运用，但现有技术中缺少具体、量化的测量工具，相应的指导方法也多为从事体育、健康工作人员的一种经验积累。如今，在互联网技术和移动互联网的基础上，各种健身软件纷纷出现，帮助用户完成各类健身和训练计划。不少健身软件内都添加了计算热量等功能，设定相关锻炼动作，安排锻炼计划的功能，看似非常科学，但在缺乏对用户的身体基本状况了解的前提下，这样的设定的准确性是存疑的。每个人的身体情况不一样，不可能对每个人都设定一样的锻炼动作。如果想进行科学系统的锻炼，尤其是对肌肉锻炼有需求，则需要专业的测试和指导，最后制定针对性的健身计划。

因此，需要一种能结合FMS的内容，准确分析用户身体基本情况，特别是各关键部位运动能力的方法和系统，用于获取用户身体各部位的健康状况、运动能力等级，为用户提供针对性的健身方案或训练指导。

发明内容

为解决上述技术问题，本发明提供一种基于视觉AI的智能运动指导方法及系统。

本发明技术方案如下：

一种基于视觉AI的智能运动指导方法，具体过程包括：

步骤1：运动图像数据采集：通过图像获取装置获取人体的指定方位的FMS运动图像，所述FMS运动图像包括关键人体点；所述关键人体点包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手腕、左肘关节、右手腕、右肘关节、左髋部、右髋部、左膝、右膝、左脚踝、右脚踝；所述图像获取装置分别与不同FMS动作的指定方位绑定，具体为：针对过顶深蹲动作，获取人体正前和右侧的运动图像；针对单腿跨栏步动作，获取人体正前、左侧和右侧的运动图像；针对直线弓箭步动作，获取人体正前、正后、左侧和右侧的运动图像；针对肩关节灵活性，获取人体正后的运动图像；针对直腿抬高动作，获取人体左侧和右侧的运动图像；针对躯干屈伸稳定性动作，获取人体左侧和右侧的运动图像；针对旋转稳定性动作，获取人体左侧和右侧的运动图像；

步骤2：先验判定：所述先验判定包括垫板检测和直杆检测，所述垫板检测用于判断过顶深蹲动作中是否存在垫板；所述直杆检测用于判断直线弓箭步动作中的直杆位置；所述垫板检测通过颜色过滤方法检测运动图像中是否存在指定颜色的标志，如若存在，表示有垫板；否则表示没有垫板；所述直杆检测通过直线检测分析获取运动图像中的直线集合，取直线集合中的最长直线位置为直杆位置；

步骤3：定位FMS运动图像中的观测位置，所述观测位置包括人体双手位置和每个FMS 动作的指定方位观测的人体关键点，所述人体双手通过预先训练好的双手识别模型在FMS运动图像中获取左拳中心点和右拳中心点的位置分布；所述双手识别模型通过选用手部图片作为训练数据集，利用深度学习算法模型学习拳中心点的位置信息；所述人体关键点通过预先训练好的人体关键点识别模型在FMS运动图像中获取人体关键点的位置分布，以二维坐标(X, Y)表示；所述人体关键点识别模型通过选用标有人体关键点的人体动作图片作为训练数据集，利用深度学习算法模型学习人体的关键点的位置信息；

所述FMS动作的指定方位观测的人体关键点具体为：过顶深蹲动作观测的人体关键点包括：左肩、右肩、左手肘关节、右手肘关节、左手腕、右手腕、右髋、左膝、右膝、左脚踝、右脚踝；单腿跨栏步动作观测的人体关键点包括：左肩、右肩、左手腕、右手腕、左髋、右髋、左膝、右膝、左脚踝、右脚踝；直线弓箭步动作观测的人体关键点包括：鼻子、左耳、右耳、左肩、右肩、左手肘关节、右手肘关节、左手腕、右手腕、左髋、右髋、左膝、右膝、左脚踝、右脚踝；肩关节灵活性观测的人体关键点包括：左肩、右肩、左手腕、右手腕、左髋、右髋；直腿抬高动作观测的人体关键点包括：左髋、右髋、左膝、右膝、左脚踝、右脚踝；躯干屈伸稳定性动作观测的人体关键点包括：鼻子、左肩、右肩、右手肘关节、左手腕、右手腕、右髋、右膝、右脚踝；旋转稳定性动作观测的人体关键点包括：左肩、右肩、左手肘关节、右手肘关节、左手腕、右手腕、左髋、右髋、左膝、右膝、左脚踝、右脚踝；

步骤4：根据角度量、距离度量对FMS动作定位；将包含人体关键点间的角度、距离及相对高低位置的指标选取为动作指标集合；所述动作指标按照动作完成难易程度赋予权重，动作指标对应的动作越难则权重越大；基于已获取的FMS动作图像中人体关键点的二维坐标，计算FMS运动图像中的人体关键点二维坐标间的距离及角度；根据夹角度量公式计算指定的人体关键点位置坐标间的角度，按照距离度量公式计算指定的人体关键点位置坐标间的距离；

距离度量公式：

向量公式：V_i＝(x_i+1-x_i,y_i+1-y_i)；

夹角度量公式：Angle_ij＝V_i·V_j/|D_i|×|D_j|；

步骤5：综合角度量、距离度量及位置度量，分析FMS运动的完成情况：将步骤4计算获得的动作指标与预设的相应阈值比对，判断动作达成情况，如若动作指标满足阈值要求，表示动作完成，获得相应的分值；否则表示动作没有完成，不获得分值；在过顶深蹲动作中，根据检测垫板的结果，以无垫板高于有垫板的原则，对于动作完成的动作指标给予加分；

步骤6：基于步骤5的动作达成情况，统计运动指标的分值及权重加权获得动作指标值；将FMS动作涉及的各运动指标得分相加作为动作的最终评分。

特别地，所述步骤1中，FMS运动图像的格式包含图片和视频，如若采集的图像格式是视频，以帧为单位，通过计算比对相邻两帧的关键人体位置变动值，选取关键人体位置变动值最低的帧为运动图像存入本地；

特别地，所述步骤2中的垫板检测的过程包括：利用OpenCV的颜色检测功能，根据指定颜色的HSV值得到与图像大小一致的图像掩模,对图像掩模和图像进行像素级运算，标注图像中的指定颜色区域为白色，其他区域为黑色，若存在白色则表示有垫板，否则表示无垫板；

特别地，所述步骤2中的直杆检测的过程包括：FMS运动图像经灰度化处理后,通过边缘检测算法对灰度图像进行Canny边缘检测，得到灰度图像包含的边缘图像，对边缘图像进行霍夫直线检测得到图像中可能存在的直线集，在直线集中取与水平线夹角满足[30°,150°]的直线子集，在直线子集中取剩余最长的直线为直杆的位置。

特别地，所述步骤3中双手识别模型学习手部中心点的位置信息，具体过程包括：将训练数据集中的人手图片的人手框中心点、人手框尺寸转换为Guassian图作为训练参考标注数据；通过DlaDcnNet网络结构的深度学习模型得到热度图，所述热度图包括：人手框中心点、人手框中心点偏置值、人手框尺寸；采用3*3大小池化处理人手框中心点对应的热度图，取热度图中最大的前100个峰值点作为候选人手框中心点位置的置信度，所述置信度表示候选人手框中心点位置为目标框中心点的概率，值越大表示此点越可能为目标框中心点，峰值点对应的index作为候选的人体框中心点位置，根据峰值点对应的index获取其余2组热度图中对应的人手框中心点偏置值及人手框尺寸，计算出100组5维数据，所述5维数据包含人手框位置左上角的二维坐标和右下角的二维坐标、一维人手框位置置信度，过滤置信度得到数值最大组，根据数值最大组中人手框位置左上角的二维坐标和右下角的二维坐标，计算获得人手框中心点位置，以人手框中心点作为拳中心点位置；

特别地，所述步骤3中人体关键点识别模型学习人体的关键点的位置信息，具体过程包括：将训练数据集中的人体动作图片的人体框中心点、人体框尺寸、17个人体关键点及其与人体框中心点的相对位置转换为Guassian图作为训练参考标注数据；通过HourglassNet网络结构的深度学习模型得到热度图，所述热度图包括：人体框中心点、人体框中心点偏置值、人体框尺寸、17个人体关键点与人体框中心点的相对位置、17个人体关键点的偏置值；采用 3*3大小池化处理人体框中心点对应的热度图，从热度图中取前100个最大峰值点作为候选人体框位置的置信度，所述置信度是一维人体框位置置信度，峰值点对应的index为人体框中心点候选值；根据峰值点对应的index获取其余4组热度图中对应的人体框中心点偏置值、人体框尺寸、17个人体关键点的位置及17个人体关键点的偏置值，计算出100组39维数据，所述39维数据包含人体框位置左上角的二维坐标和右下角的二维坐标、一维人体框位置置信度、17个人体关键点的二维坐标，过滤置信度得到数值最大组，选取数值最大组中的人体关键点作为FMS动作对应的人体关键点。

特别地，所述步骤4中FMS动作指标集合具体为：

过顶深蹲的动作指标集合内的动作指标按照权重值从高到低排序，依次包含：左、右膝关键点与脚踝的所连向量与水平向量的夹角；右髋与右膝的相对高低；右手腕和右脚踝的所连向量与垂直于水平向量的夹角；；双手的手腕关键点所连向量与水平向量的夹角；左、右手腕、肘关节及肩部以肘关节的关键点为顶点形成的夹角；；

单腿跨栏动作指标集合由右腿跨栏运动指标集合和左腿跨栏运动指标集合组成，其中右腿跨栏指标集合内的动作指标按照权重值从高到低排序，依次包含：右膝关键点和右髋关键点的所连向量与水平向量的夹角；右髋、右膝、右脚踝三点以右膝的关键点为顶点形成的夹角，及相互连线后与水平向量的夹角；鼻子、髋部中点、左脚踝三点以髋部中点为顶点形成的夹角，所述髋部中点为左髋和右髋连线的中点；右肩、髋部中点、左脚踝三点以髋部中点为顶点形成的夹角；左、右手腕连线与水平向量的夹角；左腿跨栏指标集合内的动作指标按照权重值从高到低排序，依次包含：左膝关键点和左髋关键点所连向量与水平向量的夹角；左髋、左膝、左脚踝三点以左膝为顶点形成的夹角，及相互连线后与水平向量的夹角；鼻子、髋部中点、右脚踝三点以髋部中点为顶点形成的夹角及左肩、髋部中点、右脚踝三点以髋部中点为顶点形成的夹角；左、右手腕连线与水平向量的夹角；

直线弓箭步动作指标集合由右腿弓箭步运动指标集合和左腿弓箭步指标集合组成，其中右腿弓箭步运动指标集合内的动作指标按照权重值从高到低排序，依次包括：左脚踝、左膝的连线与水平向量的夹角，右膝与右脚踝的相对高低；鼻子、右肩、右膝的以右肩为顶点形成的夹角，右肩、右髋、左膝的以右髋为顶点形成的夹角；直杆与水平向量的夹角，鼻子与髋部中点的连线和直杆的夹角；左腿弓箭步运动指标集合内的动作指标按照权重值从高到低排序，依次包括：右脚踝、右膝的连线与水平向量的夹角，左膝与左脚踝相对高低；鼻子、左肩、左膝的以左肩为顶点形成的夹角，左肩、左髋、右膝的以左髋为顶点形成的夹角；直杆与水平向量的夹角，鼻子与髋部中点的连线和直杆的夹角；

肩关节灵活性动作指标集合内的动作指标包含：两个拳头的最短距离取左拳中心点到右拳中心点间距离减去两个拳头长度的平均值，其中手长取拳头长度平均值的1.6倍；

直腿抬高动作指标集合右腿抬高运动指标集合和左腿抬高指标集合组成，其中右腿抬高运动指标集合内的动作指标按照权重值从高到低排序，依次包括：右脚踝与左大腿中点的相对高低，所述左大腿中点取左膝和左髋的连线的中点；右脚踝与左膝的相对高低；左腿抬高运动指标集合内的动作指标按照权重值从高到低排序，依次包括：左脚踝与右大腿中点的相对高低，所述右大腿中点取右膝和右髋的连线的中点；左脚踝与右膝的相对高低；

躯干屈伸稳定性动作指标集合内的动作指标按照权重值从高到低排序，依次包含：右肩、右髋、右脚踝三点以右髋为顶点形成的夹角、右脚踝、右膝、右髋三点以右膝为顶点形成的夹角和右手腕、右手肘关节、右肩三点以右手肘关节为顶点形成的夹角，性别区分的动作指标；所述性别区分的动作指标指：若为男性，则动作指标为手腕与鼻子的相对高低；若为女性，则动作指标为手腕与肩膀的相对高低；

旋转稳定性动作指标集合包含左侧旋转稳定性运动指标集合和右侧旋转稳定性运动指标集合，左侧旋转稳定性运动指标集合内的动作指标按照权重值从高到低排序，依次包含左手腕、左肘、左肩、左髋、左膝和左脚踝中每3个相邻关键点形成的夹角；左肘关节与左膝间距离和左肩与左髋间距离的比值；左髋、右肩、右髋、右膝、右脚踝中每3个相邻关键点形成的夹角；左肘与右膝间距离和左肩与左髋间距离的比值；右侧旋转稳定性运动指标集合内的动作指标按照权重值从高到低排序，依次包括右手腕、右肘关节、右肩、右髋、右膝和右脚踝中每3个相邻关键点形成的夹角；右肘关节与右膝点间距离和右肩与右髋间距离的比值；右髋、左肩、左髋、左膝、左脚踝中每3个相邻关键点形成的夹角；右肘关节与左膝间距离和右肩与右髋距离的比值。

特别地，所述步骤5中，预设的相应阈值具体为：

所述过顶深蹲的运动指标阈值包括：左、右膝关键点与脚踝所连向量与水平向量的夹角阈值[75°,105°]；右髋关键点低于右膝的关键点；右手腕和右脚踝的所连向量与垂直于水平的向量夹角阈值为[0°,15°]；双手的手腕关键点所连向量与水平向量的夹角阈值[0°,10°]；左、右手腕、肘关节，肩部以肘关节的关键点为顶点形成的夹角阈值[160°,180°]；

单腿跨栏运动指标阈值由右腿跨栏运动指标阈值和左腿跨栏运动指标阈值组成，右腿跨栏运动指标阈值包含：右膝关键点和右髋关键点所连向量与水平向量的夹角阈值[0°,20°]；右髋、右膝、右脚踝三点以右膝的关键点为顶点形成的夹角阈值[167°,180°]及相互连线后与水平向量的夹角阈值[78°,90°]；鼻子、髋部中点、左脚踝三点以髋部中点为顶点形成的夹角阈值[170°,180°]，右肩、髋部中点、左脚踝三点以髋部中点为顶点形成的夹角阈值[170°,180°]；左、右手腕连线与水平向量的夹角[0°,10°]；左腿跨栏运动指标集合按照权重值从高到低排序，包含：左膝关键点和左髋关键点所连向量与水平向量的夹角阈值[0°,20°]；左髋、左膝、左脚踝三点以左膝的关键点为顶点形成的夹角阈值[167°,180°]及相互连线后与水平向量的夹角阈值[78°,90°]；鼻子、髋部中点、右脚踝三点以髋部中点为顶点形成的夹角阈值[170°,180°]，左肩、髋部中点、右脚踝三点以髋部中点为顶点形成的夹角阈值[170°,180°]；左、右手腕连线与水平向量的夹角[0°,10°]；

直线弓箭步运动指标阈值由右腿弓箭步运动指标阈值和左腿弓箭步运动指标阈值组成，其中右腿弓箭步运动指标阈值包括：左脚踝、左膝的连线与水平向量的夹角阈值[0°,15°]，右膝低于右脚踝；鼻子、右肩、右膝三点以右肩为顶点形成的夹角阈值[165°,180°]，右肩、右髋、左膝三点以右髋为顶点形成的夹角阈值[165°,180°]；直杆与水平向量的夹角阈值 [80°,100°]；鼻子与髋部中点的连线和直杆的夹角阈值[0°,15°]；左腿弓箭步运动指标阈值包括：右脚踝、右膝的连线与水平向量的夹角阈值[0°,15°]，左膝低于左脚踝；鼻子、左肩、左膝三点以左肩为顶点形成的夹角阈值[165°,180°]，左肩、左髋、右膝三点以左髋为顶点形成的夹角阈值[165°,180°]；直杆与水平向量的夹角阈值[80°,100°]；鼻子与髋部中点的连线和直杆的夹角阈值[0°,15°]；

肩关节灵活性的运动指标阈值包括赋予从高到低排序的分数值的：双拳中心点位置间最短距离与手长的比值阈值(0,1]；双拳中心点位置间最短距离与手长的比值阈值(1,1.5]；双拳中心点位置间最短距离与手长的比值大于1.5；

直腿抬高的运动指标阈值由右腿抬高运动指标阈值和左腿抬高指标阈值组成，分别包括赋予从高到低排序的分数值的第一阈值和第二阈值，所述右腿抬高运动指标的第一阈值为右脚踝高于左大腿中点，第二阈值为右脚踝高于左膝且低于左大腿中点，所述左腿抬高运动指标的第一阈值为左脚踝高于高大腿中点，第二阈值为左脚踝高于右膝且低于右大腿中点；

躯干屈伸稳定性的运动指标阈值包含：右肩、右髋、右脚踝三点连线夹角阈值[154°,180°] 以及右脚踝、右膝、右髋三点连线夹角阈值[154°,180°]和右手腕、右手肘关节、右肩三点连线夹角阈值[160°,180°]；手腕关键点坐标高于鼻子关键点坐标；手腕关键点高于肩膀关键点坐标；

躯干屈伸稳定性动作指标阈值包含：右肩、右髋、右脚踝三点以右髋为顶点形成的连线夹角阈值[154°,180°]，右脚踝、右膝、右髋三点以右膝为顶点形成的夹角阈值[154°,180°]和右手腕、右手肘关节、右肩三点以右手肘关节为顶点形成的夹角阈值[160°,180°]；还根据性别进行区分，若为男性，还包括手腕关键点坐标高于鼻子关键点坐标、手腕关键点坐标低于鼻子关键点坐标；若为女性，还包括手腕关键点高于肩膀关键点坐标、手腕关键点低于肩膀关键点坐标；

旋转稳定性的运动指标阈值包含左侧旋转稳定性运动指标阈值和右侧旋转稳定性运动指标阈值，左侧旋转稳定性运动指标阈值包含：左手腕、左肘关节、左肩、左髋、左膝和左脚踝依次每3个相邻关键点的夹角阈值[160°,180°]；左肘关节点与左膝间距离与左肩和左髋间距离的比值阈值(0,0.2)；左手腕、左肘关节、左肩的夹角及左髋、右肩、右髋、右膝、右脚踝中相邻3个关键点形成的夹角阈值[160°,180°]；左肘关节点和右膝距离与左肩和左髋距离的比值阈值(0,0.2)；右侧旋转稳定性运动指标阈值包含：右手腕、右肘关节、右肩、右髋、右膝和右脚踝依次每3个相邻关键点的夹角阈值[160°,180°]；右肘关节点与右膝间距离与右肩和右髋间距离的比值阈值(0，0.2)；右手腕、右肘关节、右肩的夹角及右髋、左肩、左髋、左膝、左脚踝的相邻3个关键点的夹角阈值[160°,180°]；右肘关节点和左膝距离与右肩和右髋距离的比值阈值(0，0.2)。

一种基于视觉AI的智能运动指导系统，包括：相连的交互运动模块和运动判别分析模块，所述交互运动模块，对于满足排除测试的动作进行跟踪和记录各个动作数据，并存入运动数据库中，其中包括用户交互模块和交互内容数据库；

用户交互模块，用于为用户提供数据采集模块和运动追踪模块；

数据采集模块用于场景中动作数据的采集；

运动追踪模块用于采集的视频数据中动作帧序列追踪与获取；

交互内容数据库主要由用户数据库和运动数据库构成；

用户数据库用于存储用户信息；运动数据库用于存储运动场景的图像及分析结果数据；

运动判别分析模块主要用于先验信息的判别分析、人手部分和人体姿态的检测、定位和分析，其中包括先验分析模块和运动分析模块；

先验分析模块用于是否垫板和直杆是否贴背先验信息的检测分析；

运动分析模块用于人手部位及人体关键点的检测和定位，并基于关键点的距离和角度的运动参数，结合相应的判断逻辑进行判定动作的度量和分析。

本发明所达到的有益效果:

(1)本发明通过综合人体关键位置的角度、距离及相对位置，度量功能性运动测试中每个运动完成情况，减少单一度量方式的不准确性，提高判定精确度；

(2)本发明通过将数据采集与每个功能性测试运动绑定，根据运动观测标准采集关键方位的用户运动图像，既避免单一方位运动图像导致的数据不完整，也避免搜集全方位运动图像导致的数据冗余；

(3)本发明通过在用户运动过程中自动采集并判断功能性测试中各动作的标准程度，无需依赖专家，也能高效准确的完成动作评估；

(4)数据采集设备与智能推断系统部署在不同机器上，可进行远程云端计算，便于移植。

附图说明

图1为本发明实施例中基于视觉AI的智能运动指导过程示意图；

图2为本发明实施例中基于视觉AI的智能运动指导方法实现流程示意图；

图3为本发明实施例中基于视觉AI的智能运动指导系统的功能模块组成示意图；

图4为本发明实施例中的基于视觉AI的智能运动指导系统结构示意图；

图5为本发明的示例性实施例中基于视觉AI的智能运动指导系统部署效果图。

具体实施方式

下面结合附图和示例性实施例对本发明作进一步的说明：

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1为本发明实施例中基于视觉AI的智能运动指导过程示意图，参阅图1，具体过程包括：

步骤101：通过图像获取装置获取关键方位的FMS运动图像；所述获取装置主要包括树莓派(Raspberry Pi,简写为RPi，或者RasPi/RPI是为学习计算机编程教育而设计)、摄像头以及显示设备；所述FMS运动图像格式包含图片和视频，如若采集的图像格式是视频，以帧为单位，选取关键人体位置变动值最低的帧为运动图像存入本地；所述FMS运动图像以人体为中心，覆盖双手位置及关键人体点，人体在图像中占据的高度不低于整个图像的1/3；所述关键人体点包括鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手腕、左肘关节、右手腕、右肘关节、左髋部、右髋部、左膝盖、右膝盖、左脚踝、右脚踝；所述图像获取装置与每一个FMS动作的关键方位绑定，具体为：针对过顶深蹲动作，获取人体正前和右侧的运动图像；针对单腿跨栏步动作，获取采集人体正前、左侧和右侧的运动图像；针对直线弓箭步动作，获取人体正前、正后、左侧和右侧的运动图像；肩关节灵活性采集人体正后的运动图像；直腿抬高动作采集人体左侧和右侧的运动图像；躯干屈伸稳定性动作采集人体左侧和右侧的运动图像；旋转稳定性动作采集人体左侧和右侧的运动图像。

步骤102：对FMS运动图像进行垫板检测和直杆检测，所述垫板检测用于判断过顶深蹲动作中是否存在垫板；所述直杆检测用于判断直线弓箭步动作中的直杆位置；除过顶深蹲动作和直线弓箭步动作，其他FMS动作不需经先验判定；所述垫板检测是通过颜色过滤方法检测运动图像中是否存在指定颜色的标志，具体是利用OpenCV的颜色检测功能，根据指定颜色的HSV值得到与图像大小一致的图像掩模,对图像掩模和图像进行像素级运算，标注图像中的指定颜色区域为白色，其他区域为黑色，若存在白色则表示有垫板，否则表示无垫板；所述直杆检测是对FMS运动图像灰度化处理后,通过边缘检测算法对灰度图像进行Canny边缘检测，得到灰度图像包含的边缘图像，对边缘图像进行霍夫直线检测得到图像中可能存在的直线集，在直线集中取与水平线夹角满足[30°,150°]的直线子集，在直线子集中取剩余最长的直线为直杆的位置。

步骤103：定位FMS运动图像中的观测位置，所述观测位置包括人体双手位置和每个FMS 动作的指定方位观测的人体关键点，所述人体双手通过预先训练好的双手识别模型在FMS运动图像中获取左拳中心点和右拳中心点的位置分布；所述双手识别模型通过选用手部图片作为训练数据集，利用深度学习算法模型学习拳中心点的位置信息；目前人体关键点检测只能检测到左、右手腕的位置，无法代表双手之间的距离，且无法得到手掌在图片中对应的长度。而根据实践中对数据采集的分析，得出手掌与拳头的比例约为1.6。因此对双手单独检测，提高准确性。所述人体关键点通过预先训练好的人体关键点识别模型在FMS运动图像中获取人体关键点的位置分布，以二维坐标(X,Y)表示；所述人体关键点识别模型通过选用标有人体关键点的人体动作图片作为训练数据集，利用深度学习算法模型学习人体的关键点的位置信息；

所述步骤3中双手识别模型学习手部中心点的位置信息，具体过程包括：将训练数据集中的人手图片的人手框中心点、人手框尺寸转换为Guassian图作为训练参考标注数据；通过 DlaDcnNet网络结构的深度学习模型得到热度图，所述热度图包括：人手框中心点、人手框中心点偏置值、人手框尺寸；采用3*3大小池化处理人手框中心点对应的热度图，取热度图中最大的前100个峰值点作为候选人手框中心点位置的置信度，所述置信度表示候选人手框中心点位置为目标框中心点的概率，值越大表示此点越可能为目标框中心点，峰值点对应的 index作为候选的人体框中心点位置，根据峰值点对应的index获取其余2组热度图中对应的人手框中心点偏置值及人手框尺寸，计算出100组5维数据，所述5维数据包含人手框位置左上角的二维坐标和右下角的二维坐标、一维人手框位置置信度，过滤置信度得到数值最大组，根据数值最大组中人手框位置左上角的二维坐标和右下角的二维坐标，计算获得人手框中心点位置，以人手框中心点作为拳中心点位置；

所述人体识别模型事先学习人体的关键位置信息，具体包括：将标注数据中的人体框中心点、人体框尺寸及17个人体关键点与人体框中心点的相对位置转换为Guassian图作为 GroundTruth；其次通过HourglassNet网络结构的深度学习模型得到人体框中心点及其偏置值、尺寸、17个人体关键点与人体框中心点的相对位置及其偏置值的5组热度图；然后采用3*3 池化处理人体框中心点对应的热度图，得到top-K＝100峰值点作为候选的人体框中心点，根据峰值点对应的index获取其余4组热度图中对应的中心点偏置值、人体框尺寸、17个人体关键点的位置及偏置值，计算出100组包含人体框位置左上角2维坐标和右下角2维坐标、1 维人体框位置置信度及17个人体关键点2维坐标的39维数据，最后根据置信度过滤得到数值最大组，选取数值最大组中的人体关键点作为最终的人体关键位置。表1为FMS动作观测的人体关键位置明细。

表1：FMS动作观测的人体关键位置明细

步骤104：将包含人体关键点间的角度、距离及相对高低位置的指标选取为动作指标集合；所述动作指标按照动作完成难易程度赋予权重，动作指标对应的动作越难则权重越大；基于已获取的FMS动作图像中人体关键点的二维坐标，计算FMS运动图像中的人体关键点二维坐标间的距离及角度；根据夹角度量公式计算指定的人体关键点位置坐标间的角度，按照距离度量公式计算指定的人体关键点位置坐标间的距离；

距离度量公式：

向量公式：V_i＝(x_i+1-x_i,y_i+1-y_i)；

夹角度量公式：Angle_ij＝V_i·V_j/|D_i|×|D_j|；

所述FMS运动指标集合具体包括：

过顶深蹲的动作指标集合按照权重值从高到低排序，依次包含：左、右膝盖关键点与脚踝所连向量与水平向量的夹角；右髋与右膝盖的相对高低；右手腕和右脚踝的所连向量与垂直于水平的向量夹角；双手的手腕关键点所连向量与水平的夹角；左、右手腕、肘关节，肩部关键点形成的夹角；

单腿跨栏动作指标集合由右腿跨栏运动指标集合和左腿跨栏运动指标集合组成，其中右腿跨栏指标集合按照权重值从高到低排序，依次包含：右膝关键点和右髋关键点所连向量与水平线夹角；右髋、右膝、右脚踝三点夹角及两两连线与地面夹角；鼻子、髋部中点、左脚踝三点夹角；右肩、髋部中点、左脚踝三点夹角；左手腕、右手腕连线与地面夹角；左腿跨栏指标集合按照权重值从高到低排序，依次包含：左膝关键点和左髋关键点所连向量与水平线夹角；左髋、左膝、左脚踝三点夹角且两两连线与地面夹角；鼻子、髋部中点、右脚踝三点夹角及左肩、髋部中点、右脚踝三点夹角；左手腕、右手腕连线与地面的夹角；

直线弓箭步动作指标集合由右腿弓箭步运动指标集合和左腿弓箭步指标集合组成，其中右腿弓箭步运动指标集合按照权重值从高到低排序，依次包括跪地胫骨与地面夹角及右膝与右脚踝的相关高低；鼻子、右肩、右膝的夹角及右肩、右髋、左膝的夹角；直杆与地面夹角；直杆与躯干的夹角；左腿弓箭步运动指标集合按照权重值从高到低排序，依次包括跪地胫骨与地面夹角及左膝与左脚踝相对高低；鼻子、左肩、左膝的夹角及左肩、左髋、右膝的夹角；直杆与地面夹角；直杆与躯干的夹角；

肩关节灵活性动作指标集合内的动作指标包含：两个拳头的最短距离取左拳中心点到右拳中心点间距离减去两个拳头长度的平均值，其中手长取拳头长度平均值的1.6倍；

直腿抬高动作指标集合右腿抬高运动指标集合和左腿抬高指标集合组成，其中右腿抬高运动指标集合按照权重值从高到低排序，依次包括：右脚踝在左腿水平投影点与左大腿中点的相对高低；右脚踝在左腿水平投影点与左膝的相对高低；左腿抬高运动指标集合按照权重值从高到低排序，依次包括：左脚踝在右腿水平投影点与右大腿中点的相对高低；左脚踝在右腿水平投影点与右膝的相对高低；

躯干屈伸稳定性动作指标集合根据性别区分指标，若为男性，躯干屈伸稳定性动作指标集合按照权重值从高到低排序，依次包含：右肩、右髋、右脚踝三点连线夹角以及右脚踝、右膝、右髋三点连线夹角和右手腕、右手肘关节、右肩三点连线的夹角；手腕与鼻子的相对高低；若为女性，躯干屈伸稳定性动作指标集合由按照权重值从高到低排序，依次包含：右肩、右髋、右脚踝三点连线夹角以及右脚踝、右膝、右髋三点连线夹角和右手腕、右手肘关节、右肩三点连线的夹角；手腕与肩膀的相对高低；

旋转稳定性动作指标集合包含左侧旋转稳定性运动指标集合和右侧旋转稳定性运动指标集合，其中左侧旋转稳定性运动指标集合按照权重值从高到低排序，依次包含左手腕、左肘关节、左肩、左髋、左膝盖和左脚踝依次每3个相邻关键点的夹角；左肘关节点与左膝盖关节点间距离与左肩和左髋间距离的比值；左手腕、左肘关节、左肩的夹角及左髋、右肩、右髋、右膝盖、右脚踝中相邻3个关键点形成的夹角；左肘关节点和右膝盖关节距离与左肩和左髋距离的比值；其中右侧旋转稳定性运动指标集合按照权重值从高到低排序，依次包括右手腕、右肘关节、右肩、右髋、右膝盖和右脚踝依次每3个相邻关键点的夹角；右肘关节点与右膝盖关节点间距离与右肩和右髋间距离的比值；右手腕、右肘关节、右肩的夹角及右髋、左肩、左髋、左膝盖、左脚踝的相邻3个关键点的夹角；右肘关节点和左膝盖关节距离与右肩和右髋距离的比值；

步骤105：基于标准FMS运动指标阈值比对每个FMS运动的角度量结果、距离度量结果及相对位置结果，分析每个FMS运动的完成情况：将步骤4计算获得的动作指标与预设的相应阈值比对，判断动作达成情况，如若动作指标满足阈值要求，表示动作完成；否则表示动作没有完成；所述阈值是通过获取真实场景中每个FMS动作评分及动作图片，包括失败动作图片和成功动作图片，利用人体识别模型学习成功动作与关键人体位置角度及距离之间的关系，学习失败动作与关键人体位置角度及距离之间的关系，选取最能区分成功与失败动作的关键人体位置的角度范围及距离范围作为阈值；

步骤106：基于步骤105的动作达成情况，按照运动指标的权重加权获得动作指标值；根据设置的总分值，将总分值与动作指标值相乘获得数值作为动作指标得分；将FMS动作涉及的各运动指标得分相加作为动作的最终评分。

图2为本发明实施例中一种基于视觉AI的智能运动指导方法实现流程示意图，具体过程包括：

步骤201：部署一套运动图像获取装置，获取用户7个FMS运动图像；所述装置获取以人体中心点为中心位置的图像，并可覆盖需要测试的所有人体关键部位。采集装置共有四个机位，分别采集用户的前左后右，对应序号为[0,1,2,3]，方位是用户视角；

步骤202，采集不同动作所需的多个方位运动图片并保存；对肩关节灵活性、躯干屈伸稳定性、旋转稳定性三个动作进行排除测试，排除测试为阴性，则对应动作可采集，排除测试为阳性则对应动作不采集。排除测试结束，根据选择的对应动作采集多个方位的运动图像，当用户在完成运动或测试项目时，使用四个方位摄像头获取运动图片，视频图片根据运动跟踪模块自动化地获取所需要的图片并存储在本地，具体为在滑动窗口T帧中，计算人体关键点的变动值，取变动值最低的帧为采集的标准图像。由于分析各个动作分析判断时，所需关键点不同，因此不同动作所需摄像头的序列也不同。具体来说，FMS中过顶深蹲在完全下蹲时，用摄像头[0,3]采集正前、右侧的两张图像；单腿跨栏步在脚抬到最高点时，抬左脚摄像头[0,1]采集正前、左侧的两张图像，而抬右脚时摄像头[0,2]采集正前、右侧的两张图像；直线弓箭步在完全下蹲时，左弓步时摄像头[0,1,2]采集正前、左侧、正后的三张图像，右弓步时用摄像头[0,3,2]采集正前、右侧、正后的三张图像；肩关节灵活性若排除测试通过，则在双拳靠拢至最近点时，左手在上时用摄像头[3]采集正后的一张图像，右手在上时用摄像头[2]采集正后的一张图像；直腿抬高在抬脚到最高点时，抬左腿时用摄像头[1]采集左侧的一张图像，抬右腿时用摄像头[3]采集右侧的一张图像；躯干屈伸稳定性若排除测试通过，则在身体抬起到最高点时用摄像头[3]采集右侧的一张图像；旋转稳定性若排除测试通过，伸右手时用摄像头[3]分别在手腿伸直到最远处及手腿收拢到最近处时采集一张图像(共两张), 伸左手时用摄像头[1]分别在手腿伸直到最远处及手腿收拢到最近处时采集一张图像(共两张)。所述采集的图像中，用户人体中心点位于图像中心，包含所需测试的人体关键部位，且人体在图像中占据的高度不低于整个图像的1/3。

步骤203：获取先验信息，根据运动图像中人体的关键点计算人体关键点之间的距离和角度关系，获得对应动作的运动参数；其中，先验信息检测包括基于OpenCV中颜色检测来判断有无垫板，以及基于直线检测判断直杆是否存在；关键点的检测是基于AI的人体关键点定位模型CenterNet，采用关键点估计找到人体中心，并回归出人体目标的位置以及人体姿态；

所述关键点的位置是图像中的关键点的二维坐标(X,Y)，所述关键点间的距离、角度关系为关键点所在空间中的相对距离和角度，所述距离及角度度量公式包括：

向量方向:V_i＝(x_i+1-x_i,y_i+1-y_i)

向量长度:

两向量夹角:Angle_ij＝V_i·V_j/|D_i|×|D_j|

所述夹角度量公式主要是计算V_i和V_j两个向量之间的夹角。

步骤204，根据步骤3中的先验信息以及运动参数，结合对应的判断和打分逻辑，按规定的动作要求进行比对，分析用户动作的到位情况，进而为用户提供达成标准动作的改进方法。不同FMS动作的规范要求存在差异，本发明针对所涉及的7种FMS动作设计对应的判断逻辑和打分逻辑；

每个动作所需满足的要求如下：

过顶深蹲动作：判断是否垫板，通过所述步骤3中的算法实现，所述是否垫板主要影响该动作中每个细则的打分分值，该动作相同的要求细则，垫板的分值低于未垫板的分值，垫板表示用户不能按照标准要求完成，垫板与否是互斥操作。用户的侧面右侧视角的图像下，判断胫骨是否低于水平面，该细则主要分析用户的右侧视角的侧面图像，满足右髋关键点低于右膝盖的关键点即可，满足所述要求下有垫板得2分，无垫板得4分，否则0分；判断直杆的垂线是否在脚范围内，即尽可能满足手腕关键点在脚踝点的正上方，主要是分析右手腕和右脚踝的所连向量与垂直于水平的向量夹角，夹角在[0,15]度之间则满足要求，满足所述要求下有垫板得2分，无垫板得4分，否则0分；用户正面视角的图像下，判断所举直杆平行于地面，该细则主要分析所举双手的手腕关键点所连向量与水平的夹角，夹角在10度之内则满足要求，满足所述要求有、无垫板均得2分，否则0分；判断手臂伸直，该细则分析用户左、右手腕、肘关节，肩部关键点形成的夹角，左右夹角均在[160,180]之间则满足要求，满足所述要求有、无垫板均得2分，否则0分；判断双膝在双脚正上方，主要分析左、右膝盖关键点与脚踝所连向量与水平向量的夹角，左右夹角均在[75,105]之间则满足要求，满足所述要求有板得2分，无板得6分，否则0分；所述该动作的每项得分的和组成总得分；

单腿跨栏步动作：该动作的判断逻辑区分抬不同的腿；抬右腿则选择用户正前方、右侧的图像，抬左脚选择用户正前方、左侧的图像。以抬右腿为例，判断脚不碰到栏架，右侧视角图像下，判断右膝及髋部连线与水平线夹角在[0,20]之间满足要求得5分；判断髋、膝、踝在矢状面上保持平齐，在侧面视角图像下右髋、右膝、右脚踝三点夹角在[167,180]度之间，且两两连线与地面夹角在[78,90]之间，则满足要求得2分；判断腰椎保持不动，在正面视角图像下鼻子、髋部中点、左脚踝三点夹角在[170,180]之间，且在右侧视角图像下右肩、髋部中点、左脚踝三点夹角在[170,180]之间，则满足要求得1分；判断长杆与栏架保持平行，在正前方视角图像下，左手腕、右手腕连线与地面的夹角在[0,10]之间，则满足要求得1分。抬左腿同理可得。所述该动作的每项得分的和组成总得分；

直线弓箭步动作：该动作的判断逻辑区分不同的弓箭步；右弓步则选择用户正前方、右侧、正后方的图像，左弓步选择用户正前方、左侧、正后方的图像。以右弓步为例，判断后膝触碰前脚脚后跟后方平板，右侧视角图像下，若跪地胫骨与地面夹角大于15度，且跪地膝盖低于脚踝，则满足要求得2分，否则0分；判断长杆与双脚保存同一矢状面，正前方视角图像下鼻子、右肩、右膝的夹角在[165,180]之间且右侧视角下右肩、右髋、左膝的夹角在[165,180]之间则满足要求得2分，否则0分；判断长杆保持垂直，在正后方视角图像下，则用步骤3中方法判断直杆的位置，计算其与地面夹角，在[80,100]之间满足要求得2分，否则 0分；长杆始终与身体接触，在右侧视角图像下，用步骤3中方法判断直杆的位置，计算直杆与躯干的夹角，在[0,15]度之间满足要求得2分，否则0分；躯干没有移动则在步骤2图像采集过程中得到，若最小变动小于阈值(实验获取)则满足要求得2分，否则0分。左弓步同理可得。所述该动作的每项得分的和组成总得分；

肩关节灵活性动作：此动作有排除测试，排除测试为阴性，则可以继续完成此动作。此动作区分右手在上及左手在上，均选择用户的正后方的图像。以右手在上为例，在正后方图像视角下，检测到双拳的位置，两个拳头的最短距离取左拳中心点到右拳中心点间距离减去两个拳头长度的平均值，其中手长取拳头长度平均值的1.6倍，若双手距离小于1倍手长得分为满分4分，若双手距离小于1.5倍手长得2分，若双手距离大于1.5倍手长得0分；单侧每项得分为互斥得分；左手在上同理可得。动作的左、右得分的和组成最终该动作的总得分；

直腿抬高动作：所述该动作的判断逻辑区分抬不同的腿；抬右腿则选取对应用户右侧视角图像，判断抬腿右脚踝在左腿水平方向的投影位置，若投影位置在左腿膝关节以下得分0 分，若在膝盖与大腿中部之间得2分；高于大腿中部则满分，即6分；同样抬左腿则选取左侧视角图像，判断左脚踝点在另一只腿上的投影位置，满足上述的位置要求获得相同的得分分值；动作的左、右得分的和组成最终该动作的总得分；

躯干屈伸稳定性动作：此动作有排除测试，排除测试为阴性，则可以继续完成此动作。所述该动作的判断逻辑依赖于性别。判断躯干是否挺直，右侧视角图像下，右肩、右髋、右脚踝夹角在[154,180]之间则满足要求；判断腰是否塌陷，右侧视角图像下，右髋在右脚踝及肩膀的连线上方满足要求；判断腿部伸直，右侧视角下，右脚踝、右膝、右髋三点连线夹角在[159,180]之间；判断手臂是否伸直，右手腕、右肘、右肩三点连线的夹角在[160,180]之间。用户为男性，若以上条件有一个不满足则认为未完成拇指与下巴平齐的姿势得分0分，若以上条件均满足且若手腕的x坐标小于鼻子则认为完成拇指与下巴平齐得5分，若以上条件均满足且若手腕的x坐标大于鼻子则认为拇指与额顶端平齐得12分；用户为女性，若以上条件有一个不满足则认为未完成拇指与锁骨平齐的姿势得0分，若以上条件均满足且手腕的x坐标小于肩膀则认为拇指与锁骨平齐得5分，若以上条件均满足且手腕的x坐标大于肩膀则认为拇指与下巴平齐得12分。每项得分为互斥得分；

旋转稳定性动作：此动作有排除测试，排除测试为阴性，则可以继续完成此动作。该动作区分用户视角的左、右视图；左面视图中又分为同侧和异侧视图，所述左面同侧表示同时伸左手及左腿，保持伸直及弯曲两个状态；所述伸直状态下，即左手臂和左腿完全伸直状态，右手及右腿侧身支撑，判断逻辑涉及左手腕、左肘关节、左肩、左髋部、左膝盖和左脚踝，依次每3个相邻的关键点组成向量的夹角均需要满足在[160,180]之间，不满足则得0分；所述弯曲状态下，左手、左腿弯曲，使左肘关节点与膝盖关节点靠近，距离与左肩和左髋之间距离的比值需满足小于0.2，不满足得0分，所述同侧两个状态均满足要求，则左面同侧动作的得分为满分6分，否则得0分；若左边同侧得为0分则进行所述左边异侧的动作判断，同时伸左手和右腿，同样保持伸直和弯曲两个状态；所述伸直状态即左手臂和右腿完全伸直状态，右手和左腿作为支撑，涉及左手腕、左肘关节、左肩和左髋，右肩、右髋、右膝盖和右脚踝两组关键点，每组中相邻的3个关键点形成的夹角均满足在[160,180]之间，不满足则得 0分；所述弯曲状态下，左手和右腿弯曲，使左肘关节点和膝盖关节靠近，距离与左肩和左髋距离的比值小于0.2，不满足得0分，所述两个状态均满足要求，则左边异侧动作的得分满分为2分，否则得0分；所述左边同侧和异侧得分均为0时，此时判断左边视图下，不满足动作要求，最终得为0；同样，右边视图中也存在同侧和异侧视图，所述右边同侧同时伸右手和右脚，涉及右手腕、右肘关节、右肩、右髋部、右膝盖和右脚踝，同样分为伸直和弯曲两个状态，所述满足的要求及得分情况与上述左边同侧一致；当右边同侧得为0分则进行右边异侧的动作判定，伸右手和左脚，涉及右手腕、右肘关节、右肩和右髋，左肩、左髋、左膝盖和左脚踝两组关键点，同样分为伸直和弯曲状态，所述满足的要求及得分情况与上述左边异侧一致；所述右边同侧和异侧得分均为0分时，此时判断右边视图下，不满足动作要求，最终得分为0分；所述得分最终组成该动作的左、右视图的总得分；

如图3所示的本发明实施例中的基于视觉AI的智能运动指导系统的功能模块组成示意图，包括相连的交互运动模块21和运动分析模块22；所述交互运动模块21，用于采集用户的数据，并跟踪和记录运动数据存入运动数据库中，其中包括用户交互模块211和交互内容数据库212；所述用户交互模块211由数据采集设备2111与运动追踪模块2112构成；所述数据采集设备2111用于场景中动作数据的采集；所述运动追踪模块2112用于对用户运动视频进行分析，获得可分析的运动图像；所述交互内容数据库212由用户数据库2121与运动数据库 2122构成；所述用户数据库2121用于提供用户数据，如用户名、性别等；所述运动数据库 2122用于记录用户运动场景下的运动数据以及运动的分析结果；

所述运动判别分析模块22，用于根据用户数据库中的用户信息及运动数据库中的运动数据，分析得到先验信息及运动信息，其中包括先验分析模块221和运动分析模块222；；所述先验分析模块221，用于根据运动数据，分析得到有无垫板及直杆是否贴背，包含垫板检测模块2211和直杆检测模块2212；所述垫板检测模块2211，用于根据运动数据，通过传统的颜色过滤方法计算得到垫板的位置；所述直杆检测模块2212，用于根据运动数据，通过直线检测分析得到直杆的位置及与地面的夹角信息；所述运动分析模块222，用于根据用户信息与运动数据，检测并分析得到用户的运动结果，包含用人手检测模块2221与关键点检测模块 2222；所述人手检测模块2221，用于根据运动数据检测双手的位置，分析得到肩关节灵活性信息；所述关键点检测模块2222，用于根据用户信息及运动数据进行人体关键点的检测，使用几何方法对关键点的距离、角度进行度量分析，得到用户的动作分析结果；

如图4所示本发明实施例中一种基于视觉AI的智能运动指导系统结构示意图，本发明实施例中使用python、js、html、css等语言，及树莓派与摄像头平台实现的系统结构示意图，该系统架构由软件系统、软件平台和硬件平台组成；软件系统包含用户信息输入模块31、交互场景调用模块32、先验模块221和检测模块222；软件平台包含运动追踪模块2112、展示平台35和交互内容数据库212；硬件平台包含摄像头33和树莓派34；

用户信息输入模块31，是将用户参数输入到用户参数库2121中，将用户的参数发送给交互场景调用模块32；

交互场景调用模块32使用python、html等制作，根据输入的用户名及采集的动作名称，来调用运动追踪模块2112进行运动追踪；

用户数据库2121记录来自用户信息输入模块31的用户信息；

运动跟踪模块2112接受到交互场景调用模块32的信息后，将从运动视频中截取的运动数据记录到运动数据库2122中，将结果输出到展示平台35中；

先验分析模块221，读取交互内容数据库212中的运动数据，使用直杆检测模块2211及垫板检测模块获取FMS运动的先验信息，输入到运动分析模块222中，分析结果存储在运动数据库2122中；

运动分析模块222，根据用户数据库2221和交互内容数据库212中的数据，使用深度学习模型获取人体的手掌及各关键点的位置，分析得到FMS动作的判断结果及分值。

如图5所示的本发明实施例中一种基于视觉AI的智能运动指导系统部署示意图：

采用树莓派525与四个摄像头521/522/523/524根据动作要求采集运动数据，树莓派将实时采集的数据传送到服务器51中，使用运动跟踪模块采集各动作对应的标准图像，保存在服务器端，传入先验分析及运动分析模块，对运动数据分析得到运动结果及其分值评价。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

Claims (7)

1.一种基于视觉AI的智能运动指导方法，其特征在于，包括如下步骤：

步骤1：运动图像数据采集：通过图像获取装置获取人体的指定方位的FMS运动图像，所述FMS运动图像包括关键人体点；所述关键人体点包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手腕、左肘关节、右手腕、右肘关节、左髋部、右髋部、左膝、右膝、左脚踝、右脚踝；所述图像获取装置分别与不同FMS动作的指定方位绑定，具体为：针对过顶深蹲动作，获取人体正前和右侧的运动图像；针对单腿跨栏步动作，获取人体正前、左侧和右侧的运动图像；针对直线弓箭步动作，获取人体正前、正后、左侧和右侧的运动图像；针对肩关节灵活性，获取人体正后的运动图像；针对直腿抬高动作，获取人体左侧和右侧的运动图像；针对躯干屈伸稳定性动作，获取人体左侧和右侧的运动图像；针对旋转稳定性动作，获取人体左侧和右侧的运动图像；

步骤2：先验判定：所述先验判定包括垫板检测和直杆检测，所述垫板检测用于判断过顶深蹲动作中是否存在垫板；所述直杆检测用于判断直线弓箭步动作中的直杆位置；所述垫板检测通过颜色过滤方法检测运动图像中是否存在指定颜色的标志，如若存在，表示有垫板；否则表示没有垫板；所述直杆检测通过直线检测分析获取运动图像中的直线集合，取直线集合中的最长直线位置为直杆位置；

步骤3：定位FMS运动图像中的观测位置，所述观测位置包括人体双手位置和每个FMS动作的指定方位观测的人体关键点，所述人体双手通过预先训练好的双手识别模型在FMS运动图像中获取左拳中心点和右拳中心点的位置分布；所述双手识别模型通过选用手部图片作为训练数据集，利用深度学习算法模型学习拳中心点的位置信息；所述人体关键点通过预先训练好的人体关键点识别模型在FMS运动图像中获取人体关键点的位置分布，以二维坐标(X,Y)表示；所述人体关键点识别模型通过选用标有人体关键点的人体动作图片作为训练数据集，利用深度学习算法模型学习人体的关键点的位置信息；

所述FMS动作的指定方位观测的人体关键点具体为：过顶深蹲动作观测的人体关键点包括：左肩、右肩、左手肘关节、右手肘关节、左手腕、右手腕、右髋、左膝、右膝、左脚踝、右脚踝；单腿跨栏步动作观测的人体关键点包括：左肩、右肩、左手腕、右手腕、左髋、右髋、左膝、右膝、左脚踝、右脚踝；直线弓箭步动作观测的人体关键点包括：鼻子、左耳、右耳、左肩、右肩、左手肘关节、右手肘关节、左手腕、右手腕、左髋、右髋、左膝、右膝、左脚踝、右脚踝；肩关节灵活性观测的人体关键点包括：左肩、右肩、左手腕、右手腕、左髋、右髋；直腿抬高动作观测的人体关键点包括：左髋、右髋、左膝、右膝、左脚踝、右脚踝；躯干屈伸稳定性动作观测的人体关键点包括：鼻子、左肩、右肩、右手肘关节、左手腕、右手腕、右髋、右膝、右脚踝；旋转稳定性动作观测的人体关键点包括：左肩、右肩、左手肘关节、右手肘关节、左手腕、右手腕、左髋、右髋、左膝、右膝、左脚踝、右脚踝；

步骤4：根据角度量、距离度量对FMS动作定位；将包含人体关键点间的角度、距离及相对高低位置的指标选取为动作指标集合；所述动作指标按照动作完成难易程度赋予权重，动作指标对应的动作越难则权重越大；基于已获取的FMS动作图像中人体关键点的二维坐标，计算FMS运动图像中的人体关键点二维坐标间的距离及角度；根据夹角度量公式计算指定的人体关键点位置坐标间的角度，按照距离度量公式计算指定的人体关键点位置坐标间的距离；

距离度量公式：

向量公式：V_i＝(x_i+1-x_i,y_i+1-y_i)；

夹角度量公式：Angle_ij＝V_i·V_j/|D_i|×|D_j|；

步骤5：综合角度量、距离度量及位置度量，分析FMS运动的完成情况：将步骤4计算获得的动作指标与预设的相应阈值比对，判断动作达成情况，如若动作指标满足阈值要求，表示动作完成，获得相应的分值；否则表示动作没有完成，不获得分值；在过顶深蹲动作中，根据检测垫板的结果，以无垫板高于有垫板的原则，对于动作完成的动作指标给予加分；

步骤6：基于步骤5的动作达成情况，统计运动指标的分值及权重加权获得动作指标值；将FMS动作涉及的各运动指标得分相加作为动作的最终评分。

2.根据权利要求1所述的一种基于视觉AI的智能运动指导方法，其特征在于，所述步骤1中，FMS运动图像的格式包含图片和视频，如若采集的图像格式是视频，以帧为单位，

通过计算比对相邻两帧的关键人体位置变动值，选取关键人体位置变动值最低的帧为运动图像存入本地。

3.根据权利要求2所述的一种基于视觉AI的智能运动指导方法，其特征在于，所述步骤2中的垫板检测的过程包括：利用OpenCV的颜色检测功能，根据指定颜色的HSV值得到与图像大小一致的图像掩模,对图像掩模和图像进行像素级运算，标注图像中的指定颜色区域为白色，其他区域为黑色，若存在白色则表示有垫板，否则表示无垫板；

所述步骤2中的直杆检测的过程包括：FMS运动图像经灰度化处理后,通过边缘检测算法对灰度图像进行Canny边缘检测，得到灰度图像包含的边缘图像，对边缘图像进行霍夫直线检测得到图像中可能存在的直线集，在直线集中取与水平线夹角满足[30°,150°]的直线子集，在直线子集中取剩余最长的直线为直杆的位置。

4.根据权利要求2所述的一种基于视觉AI的智能运动指导方法，所述步骤3中双手识别模型学习手部中心点的位置信息，具体过程包括：将训练数据集中的人手图片的人手框中心点、人手框尺寸转换为Guassian图作为训练参考标注数据；通过DlaDcnNet网络结构的深度学习模型得到热度图，所述热度图包括：人手框中心点、人手框中心点偏置值、人手框尺寸；采用3*3大小池化处理人手框中心点对应的热度图，取热度图中最大的前100个峰值点作为候选人手框中心点位置的置信度，所述置信度表示候选人手框中心点位置为目标框中心点的概率，值越大表示此点越可能为目标框中心点，峰值点对应的index作为候选的人体框中心点位置，根据峰值点对应的index获取其余2组热度图中对应的人手框中心点偏置值及人手框尺寸，计算出100组5维数据，所述5维数据包含人手框位置左上角的二维坐标和右下角的二维坐标、一维人手框位置置信度，过滤置信度得到数值最大组，根据数值最大组中人手框位置左上角的二维坐标和右下角的二维坐标，计算获得人手框中心点位置，以人手框中心点作为拳中心点位置；

所述步骤3中人体关键点识别模型学习人体的关键点的位置信息，具体过程包括：将训练数据集中的人体动作图片的人体框中心点、人体框尺寸、17个人体关键点及其与人体框中心点的相对位置转换为Guassian图作为训练参考标注数据；通过HourglassNet网络结构的深度学习模型得到热度图，所述热度图包括：人体框中心点、人体框中心点偏置值、人体框尺寸、17个人体关键点与人体框中心点的相对位置、17个人体关键点的偏置值；采用3*3大小池化处理人体框中心点对应的热度图，从热度图中取前100个最大峰值点作为候选人体框位置的置信度，所述置信度是一维人体框位置置信度，峰值点对应的index为人体框中心点候选值；根据峰值点对应的index获取其余4组热度图中对应的人体框中心点偏置值、人体框尺寸、17个人体关键点的位置及17个人体关键点的偏置值，计算出100组39维数据，所述39维数据包含人体框位置左上角的二维坐标和右下角的二维坐标、一维人体框位置置信度、17个人体关键点的二维坐标，过滤置信度得到数值最大组，选取数值最大组中的人体关键点作为FMS动作对应的人体关键点。

5.根据权利要求4所述的一种基于视觉AI的智能运动指导方法，所述步骤4中FMS动作指标集合具体为：

过顶深蹲的动作指标集合内的动作指标按照权重值从高到低排序，依次包含：左、右膝关键点与脚踝的所连向量与水平向量的夹角；右髋与右膝的相对高低；右手腕和右脚踝的所连向量与垂直于水平向量的夹角；；双手的手腕关键点所连向量与水平向量的夹角；左、右手腕、肘关节及肩部以肘关节的关键点为顶点形成的夹角；；

单腿跨栏动作指标集合由右腿跨栏运动指标集合和左腿跨栏运动指标集合组成，其中右腿跨栏指标集合内的动作指标按照权重值从高到低排序，依次包含：右膝关键点和右髋关键点的所连向量与水平向量的夹角；右髋、右膝、右脚踝三点以右膝的关键点为顶点形成的夹角，及相互连线后与水平向量的夹角；鼻子、髋部中点、左脚踝三点以髋部中点为顶点形成的夹角，所述髋部中点为左髋和右髋连线的中点；右肩、髋部中点、左脚踝三点以髋部中点为顶点形成的夹角；左、右手腕连线与水平向量的夹角；左腿跨栏指标集合内的动作指标按照权重值从高到低排序，依次包含：左膝关键点和左髋关键点所连向量与水平向量的夹角；左髋、左膝、左脚踝三点以左膝为顶点形成的夹角，及相互连线后与水平向量的夹角；鼻子、髋部中点、右脚踝三点以髋部中点为顶点形成的夹角及左肩、髋部中点、右脚踝三点以髋部中点为顶点形成的夹角；左、右手腕连线与水平向量的夹角；

直线弓箭步动作指标集合由右腿弓箭步运动指标集合和左腿弓箭步指标集合组成，其中右腿弓箭步运动指标集合内的动作指标按照权重值从高到低排序，依次包括：左脚踝、左膝的连线与水平向量的夹角，右膝与右脚踝的相对高低；鼻子、右肩、右膝的以右肩为顶点形成的夹角，右肩、右髋、左膝的以右髋为顶点形成的夹角；直杆与水平向量的夹角，鼻子与髋部中点的连线和直杆的夹角；左腿弓箭步运动指标集合内的动作指标按照权重值从高到低排序，依次包括：右脚踝、右膝的连线与水平向量的夹角，左膝与左脚踝相对高低；鼻子、左肩、左膝的以左肩为顶点形成的夹角，左肩、左髋、右膝的以左髋为顶点形成的夹角；直杆与水平向量的夹角，鼻子与髋部中点的连线和直杆的夹角；

肩关节灵活性动作指标集合内的动作指标包含：两个拳头的最短距离取左拳中心点到右拳中心点间距离减去两个拳头长度的平均值，其中手长取拳头长度平均值的1.6倍；

直腿抬高动作指标集合右腿抬高运动指标集合和左腿抬高指标集合组成，其中右腿抬高运动指标集合内的动作指标按照权重值从高到低排序，依次包括：右脚踝与左大腿中点的相对高低，所述左大腿中点取左膝和左髋的连线的中点；右脚踝与左膝的相对高低；左腿抬高运动指标集合内的动作指标按照权重值从高到低排序，依次包括：左脚踝与右大腿中点的相对高低，所述右大腿中点取右膝和右髋的连线的中点；左脚踝与右膝的相对高低；

躯干屈伸稳定性动作指标集合内的动作指标按照权重值从高到低排序，依次包含：右肩、右髋、右脚踝三点以右髋为顶点形成的夹角、右脚踝、右膝、右髋三点以右膝为顶点形成的夹角和右手腕、右手肘关节、右肩三点以右手肘关节为顶点形成的夹角，性别区分的动作指标；所述性别区分的动作指标指：若为男性，则动作指标为手腕与鼻子的相对高低；若为女性，则动作指标为手腕与肩膀的相对高低；

旋转稳定性动作指标集合包含左侧旋转稳定性运动指标集合和右侧旋转稳定性运动指标集合，左侧旋转稳定性运动指标集合内的动作指标按照权重值从高到低排序，依次包含左手腕、左肘、左肩、左髋、左膝和左脚踝中每3个相邻关键点形成的夹角；左肘关节与左膝间距离和左肩与左髋间距离的比值；左髋、右肩、右髋、右膝、右脚踝中每3个相邻关键点形成的夹角；左肘与右膝间距离和左肩与左髋间距离的比值；右侧旋转稳定性运动指标集合内的动作指标按照权重值从高到低排序，依次包括右手腕、右肘关节、右肩、右髋、右膝和右脚踝中每3个相邻关键点形成的夹角；右肘关节与右膝点间距离和右肩与右髋间距离的比值；右髋、左肩、左髋、左膝、左脚踝中每3个相邻关键点形成的夹角；右肘关节与左膝间距离和右肩与右髋距离的比值。

6.根据权利要求5所述的一种基于视觉AI的智能运动指导方法，其特征在于，所述步骤5中，预设的相应阈值具体为：

所述过顶深蹲的运动指标阈值包括：左、右膝关键点与脚踝所连向量与水平向量的夹角阈值[75°,105°]；右髋关键点低于右膝的关键点；右手腕和右脚踝的所连向量与垂直于水平的向量夹角阈值为[0°,15°]；双手的手腕关键点所连向量与水平向量的夹角阈值[0°,10°]；左、右手腕、肘关节，肩部以肘关节的关键点为顶点形成的夹角阈值[160°,180°]；

单腿跨栏运动指标阈值由右腿跨栏运动指标阈值和左腿跨栏运动指标阈值组成，右腿跨栏运动指标阈值包含：右膝关键点和右髋关键点所连向量与水平向量的夹角阈值[0°,20°]；右髋、右膝、右脚踝三点以右膝的关键点为顶点形成的夹角阈值[167°,180°]及相互连线后与水平向量的夹角阈值[78°,90°]；鼻子、髋部中点、左脚踝三点以髋部中点为顶点形成的夹角阈值[170°,180°]，右肩、髋部中点、左脚踝三点以髋部中点为顶点形成的夹角阈值[170°,180°]；左、右手腕连线与水平向量的夹角[0°,10°]；左腿跨栏运动指标集合按照权重值从高到低排序，包含：左膝关键点和左髋关键点所连向量与水平向量的夹角阈值[0°,20°]；左髋、左膝、左脚踝三点以左膝的关键点为顶点形成的夹角阈值[167°,180°]及相互连线后与水平向量的夹角阈值[78°,90°]；鼻子、髋部中点、右脚踝三点以髋部中点为顶点形成的夹角阈值[170°,180°]，左肩、髋部中点、右脚踝三点以髋部中点为顶点形成的夹角阈值[170°,180°]；左、右手腕连线与水平向量的夹角[0°,10°]；

直线弓箭步运动指标阈值由右腿弓箭步运动指标阈值和左腿弓箭步运动指标阈值组成，其中右腿弓箭步运动指标阈值包括：左脚踝、左膝的连线与水平向量的夹角阈值[0°,15°]，右膝低于右脚踝；鼻子、右肩、右膝三点以右肩为顶点形成的夹角阈值[165°,180°]，右肩、右髋、左膝三点以右髋为顶点形成的夹角阈值[165°,180°]；直杆与水平向量的夹角阈值[80°,100°]；鼻子与髋部中点的连线和直杆的夹角阈值[0°,15°]；左腿弓箭步运动指标阈值包括：右脚踝、右膝的连线与水平向量的夹角阈值[0°,15°]，左膝低于左脚踝；鼻子、左肩、左膝三点以左肩为顶点形成的夹角阈值[165°,180°]，左肩、左髋、右膝三点以左髋为顶点形成的夹角阈值[165°,180°]；直杆与水平向量的夹角阈值[80°,100°]；鼻子与髋部中点的连线和直杆的夹角阈值[0°,15°]；

肩关节灵活性的运动指标阈值包括赋予从高到低排序的分数值的：双拳中心点位置间最短距离与手长的比值阈值(0,1]；双拳中心点位置间最短距离与手长的比值阈值(1,1.5]；双拳中心点位置间最短距离与手长的比值大于1.5；

直腿抬高的运动指标阈值由右腿抬高运动指标阈值和左腿抬高指标阈值组成，分别包括赋予从高到低排序的分数值的第一阈值和第二阈值，所述右腿抬高运动指标的第一阈值为右脚踝高于左大腿中点，第二阈值为右脚踝高于左膝且低于左大腿中点，所述左腿抬高运动指标的第一阈值为左脚踝高于高大腿中点，第二阈值为左脚踝高于右膝且低于右大腿中点；

躯干屈伸稳定性的运动指标阈值包含：右肩、右髋、右脚踝三点连线夹角阈值[154°,180°]以及右脚踝、右膝、右髋三点连线夹角阈值[154°,180°]和右手腕、右手肘关节、右肩三点连线夹角阈值[160°,180°]；手腕关键点坐标高于鼻子关键点坐标；手腕关键点高于肩膀关键点坐标；

躯干屈伸稳定性动作指标阈值包含：右肩、右髋、右脚踝三点以右髋为顶点形成的连线夹角阈值[154°,180°]，右脚踝、右膝、右髋三点以右膝为顶点形成的夹角阈值[154°,180°]和右手腕、右手肘关节、右肩三点以右手肘关节为顶点形成的夹角阈值[160°,180°]；还根据性别进行区分，若为男性，还包括手腕关键点坐标高于鼻子关键点坐标、手腕关键点坐标低于鼻子关键点坐标；若为女性，还包括手腕关键点高于肩膀关键点坐标、手腕关键点低于肩膀关键点坐标；

旋转稳定性的运动指标阈值包含左侧旋转稳定性运动指标阈值和右侧旋转稳定性运动指标阈值，左侧旋转稳定性运动指标阈值包含：左手腕、左肘关节、左肩、左髋、左膝和左脚踝依次每3个相邻关键点的夹角阈值[160°,180°]；左肘关节点与左膝间距离与左肩和左髋间距离的比值阈值(0,0.2)；左手腕、左肘关节、左肩的夹角及左髋、右肩、右髋、右膝、右脚踝中相邻3个关键点形成的夹角阈值[160°,180°]；左肘关节点和右膝距离与左肩和左髋距离的比值阈值(0,0.2)；右侧旋转稳定性运动指标阈值包含：右手腕、右肘关节、右肩、右髋、右膝和右脚踝依次每3个相邻关键点的夹角阈值[160°,180°]；右肘关节点与右膝间距离与右肩和右髋间距离的比值阈值(0，0.2)；右手腕、右肘关节、右肩的夹角及右髋、左肩、左髋、左膝、左脚踝的相邻3个关键点的夹角阈值[160°,180°]；右肘关节点和左膝距离与右肩和右髋距离的比值阈值(0，0.2)。

7.一种根据权利要求1-6之一所述方法运行的基于视觉AI的智能运动指导系统，其特征在于：包括：相连的交互运动模块和运动判别分析模块，所述交互运动模块，对于满足排除测试的动作进行跟踪和记录各个动作数据，并存入运动数据库中，其中包括用户交互模块和交互内容数据库；

用户交互模块，用于为用户提供数据采集模块和运动追踪模块；

数据采集模块用于场景中动作数据的采集；

运动追踪模块用于采集的视频数据中动作帧序列追踪与获取；

交互内容数据库主要由用户数据库和运动数据库构成；

用户数据库用于存储用户信息；运动数据库用于存储运动场景的图像及分析结果数据；

运动判别分析模块主要用于先验信息的判别分析、人手部分和人体姿态的检测、定位和分析，其中包括先验分析模块和运动分析模块；

先验分析模块用于是否垫板和直杆是否贴背先验信息的检测分析；

运动分析模块用于人手部位及人体关键点的检测和定位，并基于关键点的距离和角度的运动参数，结合相应的判断逻辑进行判定动作的度量和分析。

Images