CN112464918A - 健身动作纠正方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种健身动作纠正方法、装置、计算机设备和存储介质。所述方法通过采集位于跑步机上目标用户不同角度的图像数据，对目标用户不同角度的图像数据进行融合处理，得到目标用户的三维健身动作图像，基于预设的健身动作标准图像库确定与目标用户的三维健身动作图像匹配的目标健身动作标准图像，进而根据目标健身动作标准图像的关键点特征，获取目标用户的三维健身动作图像的评分，若评分低于目标评分，则输出对目标用户的三维健身动作图像的纠正信息，以实现对用户的不规范健身动作进行及时纠正，且整个过程用户无感。

Description

健身动作纠正方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种健身动作纠正方法、装置、计算机设备和存储介质。

背景技术

随着人们生活水平的提高，人们对生活质量的要求也不断提高，各种健身项目也成为高品质生活的一部分。而跑步机作为一种体育用品也深入到大多数家庭中，人们可以通过跑步机达到足不出户而锻炼身体的目的。

然而，在通过跑步机进行跑步锻炼的过程中，动作的规范性也至关重要，不规范的动作不仅达不到锻炼健身的效果，而且还可能导致用户受伤。而聘请专业的健身教练进行现场指导则花费太高；通过传统的可穿戴设备采用接触式方式监测用户的健身动作，不仅繁琐，对用户也存在一定的限制，且成本问题得不到解决。因此，目前亟需一种对用户无感、且成本较低的能够对用户不规范的健身动作进行及时纠正的手段。

发明内容

基于此，有必要针对上述技术问题，提供一种健身动作纠正方法、装置、计算机设备和存储介质。

一种健身动作纠正方法，所述方法包括：

采集位于跑步机上目标用户不同角度的图像数据；

对所述目标用户不同角度的图像数据进行融合处理，得到所述目标用户的三维健身动作图像；

基于预设的健身动作标准图像库确定与所述目标用户的三维健身动作图像匹配的目标健身动作标准图像；

根据所述目标健身动作标准图像的关键点特征，获取所述目标用户的三维健身动作图像的评分；

若所述评分低于目标评分，则输出对所述目标用户的三维健身动作图像的纠正信息。

在其中一个实施例中，所述关键点特征包括所述目标健身动作标准图像中至少一个关键动作对应的关键点、所述关键点的角度范围以及分值范围；所述根据所述目标健身动作标准图像的关键点特征，获取所述目标用户的三维健身动作图像的评分，包括：根据所述目标健身动作标准图像中至少一个关键动作对应的关键点，识别所述目标用户的三维健身动作图像中的目标关键点位置；根据所述目标关键点位置获取所述目标关键点的角度；根据所述目标关键点的角度以及所述关键点的角度范围和分值范围，确定所述目标用户的三维健身动作图像的评分。

在其中一个实施例中，所述根据所述目标关键点的角度以及所述关键点的角度范围和分值范围，确定所述目标用户的三维健身动作图像的评分，包括：根据所述关键点的角度范围和分值范围，获取所述关键点的每一个角度对应的分值；基于所述目标关键点的角度，获取与所述角度匹配的分值，将与所述角度匹配的分值作为所述目标用户的三维健身动作图像的评分。

在其中一个实施例中，所述基于所述目标关键点的角度，获取与所述角度匹配的分值之后，所述方法还包括：根据与所述角度匹配的分值以及预设的权重系数，计算所述目标用户的三维健身动作图像的评分。

在其中一个实施例中，所述根据所述目标健身动作标准图像的关键点特征，获取所述目标用户的三维健身动作图像的评分，包括：根据所述关键点特征，获取所述目标用户的三维健身动作图像与所述目标健身动作标准图像的相似度，将所述相似度确定为所述目标用户的三维健身动作图像的评分。

在其中一个实施例中，所述基于预设的健身动作标准图像库确定与所述目标用户的三维健身动作图像匹配的目标健身动作标准图像，包括：采集不同身高、体重以及年龄的样本用户位于所述跑步机上的健身动作标准图像，建立所述健身动作标准图像库；将所述目标用户的三维健身动作图像与所述健身动作标准图像库中的健身动作标准图像进行匹配；若匹配上任一健身动作标准图像，则将匹配上的健身动作标准图像确定为与所述目标用户的三维健身动作图像匹配的目标健身动作标准图像。

在其中一个实施例中，所述采集位于跑步机上目标用户不同角度的图像数据，包括：通过设置在跑步机上的人脸检测摄像头，采集位于跑步机上目标用户的人脸图像数据；通过设置在跑步机上的肢体检测摄像头，采集位于跑步机上目标用户的肢体图像数据；以及，通过设置在跑步机上的脚部检测摄像头，采集位于跑步机上目标用户的脚部图像数据。

在其中一个实施例中，所述对所述目标用户不同角度的图像数据进行融合处理，得到所述目标用户的三维健身动作图像，包括：分别识别不同视角下的人脸图像数据、肢体图像数据和脚部图像数据，获取对应视角下各图像数据的二维关键点坐标；基于透视投影法，将所述二维关键点坐标投影到对应图像采集设备坐标系所在的三维空间中，得到对应视角下的三维关键点坐标；根据预先设定的各视角下的图像采集设备坐标系与世界坐标系之间的转换关系，将对应视角下的三维关键点坐标进行坐标转换；将转换后的各视角下的三维关键点坐标进行整合，得到所述目标用户的三维健身动作图像。

一种健身动作纠正装置，所述装置包括：

图像数据采集模块，用于采集位于跑步机上目标用户不同角度的图像数据；

图像数据融合模块，用于对所述目标用户不同角度的图像数据进行融合处理，得到所述目标用户的三维健身动作图像；

图像匹配模块，用于基于预设的健身动作标准图像库确定与所述目标用户的三维健身动作图像匹配的目标健身动作标准图像；

评分模块，用于根据所述目标健身动作标准图像的关键点特征，获取所述目标用户的三维健身动作图像的评分；

纠正信息输出模块，用于若所述评分低于目标评分，则输出对所述目标用户的三维健身动作图像的纠正信息。

一种应用于上述健身动作纠正方法的跑步机，所述跑步机包括：

呈一定角度设置的控制面板和跑步机跑台，所述跑步机跑台上设置有重力传感器，在所述跑步机跑台两侧且与所述跑步机跑台位于同一平面内设置有脚部检测摄像头；

所述控制面板上设置有电子显示屏，在所述电子显示屏的上边缘设置有人脸检测摄像头、人体传感器以及语音模块，在所述电子显示屏下边缘的两侧分别设置有肢体检测摄像头；

在所述跑步机的内部设置有中央处理模块，所述中央处理模块分别与所述重力传感器、脚部检测摄像头、电子显示屏、人脸检测摄像头、人体传感器、语音模块以及肢体检测摄像头电连接。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。

上述健身动作纠正方法、装置、计算机设备和存储介质，通过采集位于跑步机上目标用户不同角度的图像数据，对目标用户不同角度的图像数据进行融合处理，得到目标用户的三维健身动作图像，基于预设的健身动作标准图像库确定与目标用户的三维健身动作图像匹配的目标健身动作标准图像，进而根据目标健身动作标准图像的关键点特征，获取目标用户的三维健身动作图像的评分，若评分低于目标评分，则输出对目标用户的三维健身动作图像的纠正信息，以实现对用户的不规范健身动作进行及时纠正，且整个过程用户无感。

附图说明

图1为一个实施例中健身动作纠正方法的流程示意图；

图2为一个实施例中对图像数据进行融合处理步骤的流程示意图；

图3为一个实施例中人体关键点示意图；

图4为一个实施例中匹配目标健身动作标准图像步骤的流程示意图；

图5为一个实施例中对目标用户的三维健身动作图像进行评分步骤的流程示意图；

图6为一个实施例中健身动作纠正装置的结构框图；

图7为一个实施例中跑步机的结构示意图；

图8为一个实施例中计算机设备的内部结构图；

图9为另一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种健身动作纠正方法，包括以下步骤：

步骤102，采集位于跑步机上目标用户不同角度的图像数据。

其中，目标用户是在跑步机上进行跑步锻炼的用户。不同角度的图像数据是指从不同的视角采集的目标用户的图像数据。在本实施例中，为了能够对目标用户的健身动作进行监测，并在监测到不规范动作时及时纠正，则需要从不同的视角采集位于跑步机上目标用户的图像数据。

步骤104，对目标用户不同角度的图像数据进行融合处理，得到目标用户的三维健身动作图像。

其中，融合处理是指将多个不同视角采集的同一目标用户的图像数据经过图像处理和计算机技术等，最大限度的提取各个视角中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。在本实施例中，通过对从不同的视角采集的目标用户的图像数据进行融合处理，从而得到目标用户的三维健身动作图像。

步骤106，基于预设的健身动作标准图像库确定与目标用户的三维健身动作图像匹配的目标健身动作标准图像。

其中，预设的健身动作标准图像库是利用健身动作标准图像数据，并通过AI（Artificial Intelligence，人工智能）标注训练得到。目标健身动作标准图像则是健身动作标准图像库中与目标用户的三维健身动作图像匹配的健身动作标准图像数据。在本实施例中，基于预先设置的健身动作标准图像库，将其与目标用户的三维健身动作图像进行匹配，从而确定与目标用户的三维健身动作图像匹配的目标健身动作标准图像。

步骤108，根据目标健身动作标准图像的关键点特征，获取目标用户的三维健身动作图像的评分。

其中，关键点特征是与目标健身动作标准图像相对应的，且能够反应该目标健身动作标准图像所对应的关键动作的特征信息。例如，关键点特征可以是目标健身动作标准图像的关键动作所对应的关键点及其相关信息。评分则是基于目标用户的三维健身动作图像与目标健身动作标准图像进行比对后，得到的用于衡量目标用户的健身动作规范程度的分数。具体地，在本实施例中，根据目标健身动作标准图像的关键点特征，识别目标用户的三维健身动作图像中对应关键动作的关键点，进而根据识别的关键点与目标健身动作标准图像的关键点特征进行比对，从而得到目标用户的三维健身动作图像的评分。

步骤110，若评分低于目标评分，则输出对目标用户的三维健身动作图像的纠正信息。

其中，目标评分是预先设置的合格健身动作的最低分数。纠正信息则是用于纠正目标用户不规范动作的提示信息。在本实施例中，当上述获取的目标用户的三维健身动作图像的评分低于目标评分时，则表示该目标用户的健身动作不规范，从而输出对目标用户的三维健身动作图像的纠正信息，以提示用户纠正不规范的健身动作。

上述健身动作纠正方法，通过采集位于跑步机上目标用户不同角度的图像数据，对目标用户不同角度的图像数据进行融合处理，得到目标用户的三维健身动作图像，基于预设的健身动作标准图像库确定与目标用户的三维健身动作图像匹配的目标健身动作标准图像，进而根据目标健身动作标准图像的关键点特征，获取目标用户的三维健身动作图像的评分，若评分低于目标评分，则输出对目标用户的三维健身动作图像的纠正信息，以实现对用户的不规范健身动作进行及时纠正，且整个过程用户无感。

在一个实施例中，采集位于跑步机上目标用户不同角度的图像数据，具体包括：通过设置在跑步机上的人脸检测摄像头，采集位于跑步机上目标用户的人脸图像数据；通过设置在跑步机上的肢体检测摄像头，采集位于跑步机上目标用户的肢体图像数据；以及，通过设置在跑步机上的脚部检测摄像头，采集位于跑步机上目标用户的脚部图像数据。在本实施例中，通过设置在跑步机上不同位置处的摄像头，从而从不同角度采集目标用户的图像数据。

在一个实施例中，如图2所示，对目标用户不同角度的图像数据进行融合处理，得到目标用户的三维健身动作图像，具体包括：

步骤202，分别识别不同视角下的人脸图像数据、肢体图像数据和脚部图像数据，获取对应视角下各图像数据的二维关键点坐标。

其中，关键点是指用于表征人体关键部位的特征点，例如，包括但不限于双目部、双耳部、双肩部、双肘部、双手首部、双腰部、双膝部、双足首部、鼻部以及头部等特征点。在本实施例中，各关键点的位置可以参考如图3所示的人体关键点示意图，其包括鼻部0、首部1、右肩部2、右肘部3、右手首4、左肩部5、左肘部6、左手首7、右腰8、右膝9、右足首10、左腰11、左膝12、左足首13、右目14、左目15、右耳16以及左耳17等。在本实施例中，通过对不同视角下的人脸图像数据、肢体图像数据和脚部图像数据进行关键点识别，从而确定各关键点位于图像中的位置，以得到各图像数据中关键点对应的二维坐标，即二维关键点坐标。

步骤204，基于透视投影法，将二维关键点坐标投影到对应图像采集设备坐标系所在的三维空间中，得到对应视角下的三维关键点坐标。

其中，透视投影属于中心投影，透视投影图简称为透视图或透视，它是从某个投射中心将物体投射到单一投影面上所得到的图形。在本实施例中，基于透视投影法，将上述二维关键点坐标投影到对应图像采集设备坐标系所在的三维空间中，从而得到对应视角下的三维关键点坐标。具体地，对于识别的人脸图像数据中的关键点，可以将其投影到人脸检测摄像头所在坐标系的三维空间中，从而得到该视角下对应的三维关键点坐标。对于识别的肢体图像数据中的关键点，可以将其投影到肢体检测摄像头所在坐标系的三维空间中，从而得到该视角下对应的三维关键点坐标。对于识别的脚部图像数据中的关键点，可以将其投影到脚部检测摄像头所在坐标系的三维空间中，从而得到该视角下对应的三维关键点坐标。

步骤206，根据预先设定的各视角下的图像采集设备坐标系与世界坐标系之间的转换关系，将对应视角下的三维关键点坐标进行坐标转换。

通常情况下，假设已知某一图像采集设备位于世界坐标系中的位置，则基于这种位置关系即可得到该图像采集设备坐标系与世界坐标系之间的转换关系。因此，在本实施例中，基于预先设定的各视角下的图像采集设备坐标系与世界坐标系之间的转换关系，将对应视角下的三维关键点坐标进行坐标转换，即将对应视角下图像采集设备坐标系的三维关键点坐标转换至世界坐标系中，以得到转换后的对应于同一坐标系的三维关键点坐标。

步骤208，将转换后的各视角下的三维关键点坐标进行整合，得到目标用户的三维健身动作图像。

其中，三维健身动作图像是指目标用户整体的健身动作图像。在本实施例中，将上述转换后的各视角下的三维关键点坐标进行整合，从而得到目标用户的三维健身动作图像。

上述实施例中，通过分别识别不同视角下的人脸图像数据、肢体图像数据和脚部图像数据，获取对应视角下各图像数据的二维关键点坐标，基于透视投影法，将二维关键点坐标投影到对应图像采集设备坐标系所在的三维空间中，得到对应视角下的三维关键点坐标，根据预先设定的各视角下的图像采集设备坐标系与世界坐标系之间的转换关系，将对应视角下的三维关键点坐标进行坐标转换，将转换后的各视角下的三维关键点坐标进行整合，得到目标用户的三维健身动作图像，从而便于对目标用户的健身动作是否规范进行判断。

在一个实施例中，如图4所示，基于预设的健身动作标准图像库确定与目标用户的三维健身动作图像匹配的目标健身动作标准图像，具体包括如下步骤：

步骤402，采集不同身高、体重以及年龄的样本用户位于跑步机上的健身动作标准图像，建立健身动作标准图像库。

其中，健身动作标准图像是指合格的健身动作所对应的图像。在本实施例中，通过采集不同身高、体重以及年龄的样本用户位于跑步机上的健身动作标准图像，从而建立健身动作标准图像库。可以理解的是，健身动作标准图像库中包括了对应于各种健身动作的健身动作标准图像。

步骤404，将目标用户的三维健身动作图像与健身动作标准图像库中的健身动作标准图像进行匹配。

具体地，通过将目标用户的三维健身动作图像与健身动作标准图像库中的健身动作标准图像进行匹配，从而确定目标用户的三维健身动作图像属于哪一种健身动作。

步骤406，若匹配上任一健身动作标准图像，则将匹配上的健身动作标准图像确定为与目标用户的三维健身动作图像匹配的目标健身动作标准图像。

在本实施例中，若匹配上任一健身动作标准图像，则将匹配上的健身动作标准图像确定为与目标用户的三维健身动作图像匹配的目标健身动作标准图像，进而采用后续步骤对目标用户的三维健身动作图像进行评分。

在一个实施例中，上述关键点特征可以包括目标健身动作标准图像中至少一个关键动作对应的关键点、关键点的角度范围以及分值范围。则如图5所示，上述根据目标健身动作标准图像的关键点特征，获取目标用户的三维健身动作图像的评分，具体包括：

步骤502，根据目标健身动作标准图像中至少一个关键动作对应的关键点，识别目标用户的三维健身动作图像中的目标关键点位置。

其中，目标关键点是指目标用户的三维健身动作图像中关键动作所对应的关键点。通常来说，一个目标健身动作标准图像对应一个标准健身动作，而一个标准健身动作中则可以包括一个或多个要领，也即关键动作，而每一个关键动作则具有对应的关键点及要求。举例来说，对于标准健身动作为下蹲动作的目标健身动作标准图像，若其存在三个关键动作，其中关键动作一为脚部下蹲，关键动作二为腰部挺直，关键动作三为手臂垂直。而对于脚部下蹲的关键动作，其对应的关键点为左、右腰和左、右膝盖与左、右足首部。对于腰部挺直的关键动作，其对应的关键点为头部和左、右腰与左、右膝部。对于手臂垂直的关键动作，其对应的关键点为左、右肘和左、右肩与左、右腰部。可以理解的是，对于不同的标准健身动作，则其对应的关键动作和关键点都不同。在本实施例中，根据目标健身动作标准图像中至少一个关键动作对应的关键点，识别目标用户的三维健身动作图像中的目标关键点位置，即在目标用户的三维健身动作图像中找到相应关键动作所对应的关键点的位置。

步骤504，根据目标关键点位置获取目标关键点的角度。

具体地，对于脚部下蹲的关键动作，其对应的关键点为左、右腰和左、右膝盖与左、右足首部，则可以获取对应的关键点为左、右腰和左、右膝盖的连线与左、右足首连线之间的角度。对于腰部挺直的关键动作，其对应的关键点为头部和左、右腰与左、右膝部，则可以获取对应的关键点为头部和左、右腰与左、右膝的角度。对于手臂垂直的关键动作，其对应的关键点为左、右肘和左、右肩与左、右腰部，则可以获取对应的关键点为左、右肘和左、右肩连线与左、右腰连线之间的角度。以此类推，获取目标关键点的角度。

步骤506，根据目标关键点的角度以及关键点的角度范围和分值范围，确定目标用户的三维健身动作图像的评分。

其中，关键点的角度范围是指标准健身动作合格时其对应的关键点的角度范围，分值范围则是角度范围所对应的评分范围。举例来说，对于脚部下蹲的关键动作，其对应的关键点为左、右腰和左、右膝盖的连线与左、右足首连线之间的角度应低于120度，且大于60度时为动作合格，即60度或120度时为60分，而越靠近90度分值越高，即90度为100分，则其对应的角度范围为60度-120度，分值范围为60分-100分。对于腰部挺直的关键动作，其对应的关键点为头部和左、右腰与左、右膝的角度应低于120度，且大于60度时为动作合格，即60度或120度时为60分，而越靠近90度分值越高，即90度为100分，则其对应的角度范围为60度-120度，分值范围为60分-100分。对于手臂垂直的关键动作，其对应的关键点为左、右肘和左、右肩连线与左、右腰连线之间的角度应低于120度，且大于60度时为动作合格，即60度或120度时为60分，而越靠近90度分值越高，即90度为100分，则其对应的角度范围为60度-120度，分值范围为60分-100分。因此，根据目标关键点的角度以及关键点的角度范围和分值范围，通过换算可以得到目标用户的三维健身动作图像的评分。

具体地，可以根据关键点的角度范围和分值范围，通过换算获取关键点的每一个角度对应的分值，进而基于目标关键点的角度，获取与角度匹配的分值，将与角度匹配的分值作为目标用户的三维健身动作图像的评分。举例来说，对于角度范围为60度-120度，分值范围为60分-100分，而60度或120度时为60分，90度为100分，且越靠近90度分值越高，则可以基于此规则以及分值区间与角度区间进行换算，从而得到每一个角度对应的分值。例如，通过换算可以得到角度为100度或80度时，其大概对应87分，而角度为110度或70度时，其大概对应73分，以此类推，可以计算得到每一个角度对应的分值。因此，根据每一个角度对应的分值以及目标关键点的角度，则可以将与目标关键点的角度匹配的分值作为目标用户的三维健身动作图像的评分。

在一个实施例中，若一个标准健身动作中包括有多个关键动作时，还可以根据每一个关键动作的重要程度为其设置对应的权重系数，进而根据每一个关键动作的角度匹配的分值以及对应的权重系数，计算目标用户的三维健身动作图像的评分。举例来说，还是以标准健身动作为下蹲动作来说，其包括三个关键动作，分别为脚部下蹲、腰部挺直以及手臂垂直，则可以基于每一个关键动作的重要程度为其设置对应的权重系数，例如，若脚部下蹲的权重系数为a，其对应的分值为A1；腰部挺直的权重系数为b，其对应的分值为B1；手臂垂直的权重系数为c，其对应的分值为C1，则对应下蹲动作的三维健身动作图像的评分S1=a*A1+b* B1+c* C1。

在一个实施例中，在根据目标健身动作标准图像的关键点特征，获取目标用户的三维健身动作图像的评分时，还可以根据关键点特征，获取目标用户的三维健身动作图像与目标健身动作标准图像的相似度，将相似度确定为目标用户的三维健身动作图像的评分。具体地，通过比对目标用户的三维健身动作图像与目标健身动作标准图像之间的相似度，从而将相似度作为目标用户的三维健身动作图像的评分。为了使得输出的纠正信息能够更加直观地指导目标用户，还可以基于目标用户的三维健身动作图像中的局部图像（如手部图像、脚部图像等）与目标健身动作标准图像中对应的局部图像进行相似度比对，当比对的相似度低于设定阈值时，则提示用户注意局部动作的规范，例如，若局部图像为手部图像，则提示用户注意手部动作的规范，并基于目标用户的手部图像与目标健身动作标准图像中对应的手部图像，输出手部的规范动作，从而实现对目标用户的不合格健身动作进行纠正。

在一个实施例中，还可以基于上述确定的目标用户的三维健身动作图像中关键动作的评分以及该三维健身动作图像与目标健身动作标准图像的相似度，综合确定目标用户的三维健身动作图像的评分。举例来说，若确定的目标用户的三维健身动作图像中关键动作的评分为S1，该三维健身动作图像与目标健身动作标准图像的相似度为S2，则目标用户的三维健身动作图像的评分可以是S1+S2。进一步地，还可以为上述相似度S2设置相应的权重系数，例如，若相似度S2的权重系数为d，则目标用户的三维健身动作图像的评分可以是S1+S2*d。

应该理解的是，虽然图1-图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种健身动作纠正装置，包括：A模块、B模块和C模块，其中：

图像数据采集模块602，用于采集位于跑步机上目标用户不同角度的图像数据；

图像数据融合模块604，用于对所述目标用户不同角度的图像数据进行融合处理，得到所述目标用户的三维健身动作图像；

图像匹配模块606，用于基于预设的健身动作标准图像库确定与所述目标用户的三维健身动作图像匹配的目标健身动作标准图像；

评分模块608，用于根据所述目标健身动作标准图像的关键点特征，获取所述目标用户的三维健身动作图像的评分；

纠正信息输出模块610，用于若所述评分低于目标评分，则输出对所述目标用户的三维健身动作图像的纠正信息。

在一个实施例中，所述关键点特征包括所述目标健身动作标准图像中至少一个关键动作对应的关键点、所述关键点的角度范围以及分值范围；则评分模块具体用于：根据所述目标健身动作标准图像中至少一个关键动作对应的关键点，识别所述目标用户的三维健身动作图像中的目标关键点位置；根据所述目标关键点位置获取所述目标关键点的角度；根据所述目标关键点的角度以及所述关键点的角度范围和分值范围，确定所述目标用户的三维健身动作图像的评分。

在一个实施例中，评分模块还用于：根据所述关键点的角度范围和分值范围，获取所述关键点的每一个角度对应的分值；基于所述目标关键点的角度，获取与所述角度匹配的分值，将与所述角度匹配的分值作为所述目标用户的三维健身动作图像的评分。

在一个实施例中，评分模块还用于：根据与所述角度匹配的分值以及预设的权重系数，计算所述目标用户的三维健身动作图像的评分。

在一个实施例中，评分模块还用于：根据所述关键点特征，获取所述目标用户的三维健身动作图像与所述目标健身动作标准图像的相似度，将所述相似度确定为所述目标用户的三维健身动作图像的评分。

在一个实施例中，图像匹配模块具体用于：采集不同身高、体重以及年龄的样本用户位于所述跑步机上的健身动作标准图像，建立所述健身动作标准图像库；将所述目标用户的三维健身动作图像与所述健身动作标准图像库中的健身动作标准图像进行匹配；若匹配上任一健身动作标准图像，则将匹配上的健身动作标准图像确定为与所述目标用户的三维健身动作图像匹配的目标健身动作标准图像。

在一个实施例中，图像数据采集模块具体用于：通过设置在跑步机上的人脸检测摄像头，采集位于跑步机上目标用户的人脸图像数据；通过设置在跑步机上的肢体检测摄像头，采集位于跑步机上目标用户的肢体图像数据；以及，通过设置在跑步机上的脚部检测摄像头，采集位于跑步机上目标用户的脚部图像数据。

在一个实施例中，图像数据融合模块具体用于：分别识别不同视角下的人脸图像数据、肢体图像数据和脚部图像数据，获取对应视角下各图像数据的二维关键点坐标；基于透视投影法，将所述二维关键点坐标投影到对应图像采集设备坐标系所在的三维空间中，得到对应视角下的三维关键点坐标；根据预先设定的各视角下的图像采集设备坐标系与世界坐标系之间的转换关系，将对应视角下的三维关键点坐标进行坐标转换；将转换后的各视角下的三维关键点坐标进行整合，得到所述目标用户的三维健身动作图像。

关于健身动作纠正装置的具体限定可以参见上文中对于健身动作纠正方法的限定，在此不再赘述。上述健身动作纠正装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种应用于上述健身动作纠正方法的跑步机，如图7所示，所述跑步机包括：呈一定角度设置的控制面板10和跑步机跑台20，所述跑步机跑台20上设置有重力传感器21，在所述跑步机跑台20两侧且与所述跑步机跑台20位于同一平面内设置有脚部检测摄像头22；所述控制面板10上设置有电子显示屏11，在所述电子显示屏11的上边缘设置有人脸检测摄像头12、人体传感器13以及语音模块14，在所述电子显示屏11下边缘的两侧分别设置有肢体检测摄像头15；在所述跑步机的内部设置有中央处理模块（图中未示出），所述中央处理模块分别与所述重力传感器21、脚部检测摄像头22、电子显示屏11、人脸检测摄像头12、人体传感器13、语音模块14以及肢体检测摄像头15电连接。其中，所述重力传感器在检测到目标用户位于所述跑步机上时，通知所述中央处理模块，所述中央处理模块唤醒所述电子显示屏，以启动人脸检测摄像头采集目标用户的人脸图像数据，并基于历史数据确定与采集的目标用户的人脸图像数据匹配的相关信息，例如，包括但不限于目标用户的体重、身高、运动偏好等信息。中央处理模块基于目标用户的历史数据为目标用户推荐本次运动计划，并同步通过语音模块向目标用户播报，也可以同步通过电子显示屏向目标用户展示，以使目标用户确认是否开始本次运动。

当目标用户通过语音模块或电子显示屏确认开始本次运动后，中央处理模块则控制启动跑步机，并同时启动脚部检测摄像头、肢体检测摄像头以及人脸检测摄像头以采集目标用户不同角度的图像数据，进而采用上述方法对目标用户的健身动作进行纠正，且当监测到目标用户意外摔倒时则控制跑步机停止运行，从而提高了目标用户通过上述跑步机进行跑步健身的安全性。

上述跑步机中的各个摄像头可以隐藏在跑步机原有结构位置，并采用熏黑玻璃隐藏，从而不需要单独远距离采用支架捕捉，具有美观实用的优点。且通过多摄像头捕捉目标用户不同角度的图像数据以重建3D人体姿态，解决了单摄像头近距离捕捉人体信息平面单一且准确度不高的问题。而通过重力传感器触发系统唤醒的方式，可以节省系统功耗。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储健身动作标准图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种健身动作纠正方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种健身动作纠正方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8或图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

采集位于跑步机上目标用户不同角度的图像数据；

对所述目标用户不同角度的图像数据进行融合处理，得到所述目标用户的三维健身动作图像；

基于预设的健身动作标准图像库确定与所述目标用户的三维健身动作图像匹配的目标健身动作标准图像；

根据所述目标健身动作标准图像的关键点特征，获取所述目标用户的三维健身动作图像的评分；

若所述评分低于目标评分，则输出对所述目标用户的三维健身动作图像的纠正信息。

在一个实施例中，所述关键点特征包括所述目标健身动作标准图像中至少一个关键动作对应的关键点、所述关键点的角度范围以及分值范围；处理器执行计算机程序时还实现以下步骤：根据所述目标健身动作标准图像中至少一个关键动作对应的关键点，识别所述目标用户的三维健身动作图像中的目标关键点位置；根据所述目标关键点位置获取所述目标关键点的角度；根据所述目标关键点的角度以及所述关键点的角度范围和分值范围，确定所述目标用户的三维健身动作图像的评分。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据所述关键点的角度范围和分值范围，获取所述关键点的每一个角度对应的分值；基于所述目标关键点的角度，获取与所述角度匹配的分值，将与所述角度匹配的分值作为所述目标用户的三维健身动作图像的评分。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据与所述角度匹配的分值以及预设的权重系数，计算所述目标用户的三维健身动作图像的评分。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据所述关键点特征，获取所述目标用户的三维健身动作图像与所述目标健身动作标准图像的相似度，将所述相似度确定为所述目标用户的三维健身动作图像的评分。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：采集不同身高、体重以及年龄的样本用户位于所述跑步机上的健身动作标准图像，建立所述健身动作标准图像库；将所述目标用户的三维健身动作图像与所述健身动作标准图像库中的健身动作标准图像进行匹配；若匹配上任一健身动作标准图像，则将匹配上的健身动作标准图像确定为与所述目标用户的三维健身动作图像匹配的目标健身动作标准图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过设置在跑步机上的人脸检测摄像头，采集位于跑步机上目标用户的人脸图像数据；通过设置在跑步机上的肢体检测摄像头，采集位于跑步机上目标用户的肢体图像数据；以及，通过设置在跑步机上的脚部检测摄像头，采集位于跑步机上目标用户的脚部图像数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：分别识别不同视角下的人脸图像数据、肢体图像数据和脚部图像数据，获取对应视角下各图像数据的二维关键点坐标；基于透视投影法，将所述二维关键点坐标投影到对应图像采集设备坐标系所在的三维空间中，得到对应视角下的三维关键点坐标；根据预先设定的各视角下的图像采集设备坐标系与世界坐标系之间的转换关系，将对应视角下的三维关键点坐标进行坐标转换；将转换后的各视角下的三维关键点坐标进行整合，得到所述目标用户的三维健身动作图像。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

采集位于跑步机上目标用户不同角度的图像数据；

对所述目标用户不同角度的图像数据进行融合处理，得到所述目标用户的三维健身动作图像；

基于预设的健身动作标准图像库确定与所述目标用户的三维健身动作图像匹配的目标健身动作标准图像；

根据所述目标健身动作标准图像的关键点特征，获取所述目标用户的三维健身动作图像的评分；

若所述评分低于目标评分，则输出对所述目标用户的三维健身动作图像的纠正信息。

在一个实施例中，所述关键点特征包括所述目标健身动作标准图像中至少一个关键动作对应的关键点、所述关键点的角度范围以及分值范围；计算机程序被处理器执行时还实现以下步骤：根据所述目标健身动作标准图像中至少一个关键动作对应的关键点，识别所述目标用户的三维健身动作图像中的目标关键点位置；根据所述目标关键点位置获取所述目标关键点的角度；根据所述目标关键点的角度以及所述关键点的角度范围和分值范围，确定所述目标用户的三维健身动作图像的评分。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述关键点的角度范围和分值范围，获取所述关键点的每一个角度对应的分值；基于所述目标关键点的角度，获取与所述角度匹配的分值，将与所述角度匹配的分值作为所述目标用户的三维健身动作图像的评分。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据与所述角度匹配的分值以及预设的权重系数，计算所述目标用户的三维健身动作图像的评分。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述关键点特征，获取所述目标用户的三维健身动作图像与所述目标健身动作标准图像的相似度，将所述相似度确定为所述目标用户的三维健身动作图像的评分。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：采集不同身高、体重以及年龄的样本用户位于所述跑步机上的健身动作标准图像，建立所述健身动作标准图像库；将所述目标用户的三维健身动作图像与所述健身动作标准图像库中的健身动作标准图像进行匹配；若匹配上任一健身动作标准图像，则将匹配上的健身动作标准图像确定为与所述目标用户的三维健身动作图像匹配的目标健身动作标准图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过设置在跑步机上的人脸检测摄像头，采集位于跑步机上目标用户的人脸图像数据；通过设置在跑步机上的肢体检测摄像头，采集位于跑步机上目标用户的肢体图像数据；以及，通过设置在跑步机上的脚部检测摄像头，采集位于跑步机上目标用户的脚部图像数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：分别识别不同视角下的人脸图像数据、肢体图像数据和脚部图像数据，获取对应视角下各图像数据的二维关键点坐标；基于透视投影法，将所述二维关键点坐标投影到对应图像采集设备坐标系所在的三维空间中，得到对应视角下的三维关键点坐标；根据预先设定的各视角下的图像采集设备坐标系与世界坐标系之间的转换关系，将对应视角下的三维关键点坐标进行坐标转换；将转换后的各视角下的三维关键点坐标进行整合，得到所述目标用户的三维健身动作图像。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种健身动作纠正方法，其特征在于，所述方法包括：

采集位于跑步机上目标用户不同角度的图像数据；

对所述目标用户不同角度的图像数据进行融合处理，得到所述目标用户的三维健身动作图像；

基于预设的健身动作标准图像库确定与所述目标用户的三维健身动作图像匹配的目标健身动作标准图像；

根据所述目标健身动作标准图像的关键点特征，获取所述目标用户的三维健身动作图像的评分；

若所述评分低于目标评分，则输出对所述目标用户的三维健身动作图像的纠正信息。

2.根据权利要求1所述的方法，其特征在于，所述关键点特征包括所述目标健身动作标准图像中至少一个关键动作对应的关键点、所述关键点的角度范围以及分值范围；所述根据所述目标健身动作标准图像的关键点特征，获取所述目标用户的三维健身动作图像的评分，包括：

根据所述目标健身动作标准图像中至少一个关键动作对应的关键点，识别所述目标用户的三维健身动作图像中的目标关键点位置；

根据所述目标关键点位置获取所述目标关键点的角度；

根据所述目标关键点的角度以及所述关键点的角度范围和分值范围，确定所述目标用户的三维健身动作图像的评分。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标关键点的角度以及所述关键点的角度范围和分值范围，确定所述目标用户的三维健身动作图像的评分，包括：

根据所述关键点的角度范围和分值范围，获取所述关键点的每一个角度对应的分值；

基于所述目标关键点的角度，获取与所述角度匹配的分值，将与所述角度匹配的分值作为所述目标用户的三维健身动作图像的评分。

4.根据权利要求3所述的方法，其特征在于，所述基于所述目标关键点的角度，获取与所述角度匹配的分值之后，所述方法还包括：

根据与所述角度匹配的分值以及预设的权重系数，计算所述目标用户的三维健身动作图像的评分。

5.根据权利要求1所述的方法，其特征在于，所述根据所述目标健身动作标准图像的关键点特征，获取所述目标用户的三维健身动作图像的评分，包括：

根据所述关键点特征，获取所述目标用户的三维健身动作图像与所述目标健身动作标准图像的相似度，将所述相似度确定为所述目标用户的三维健身动作图像的评分。

6.根据权利要求1所述的方法，其特征在于，所述基于预设的健身动作标准图像库确定与所述目标用户的三维健身动作图像匹配的目标健身动作标准图像，包括：

采集不同身高、体重以及年龄的样本用户位于所述跑步机上的健身动作标准图像，建立所述健身动作标准图像库；

将所述目标用户的三维健身动作图像与所述健身动作标准图像库中的健身动作标准图像进行匹配；

若匹配上任一健身动作标准图像，则将匹配上的健身动作标准图像确定为与所述目标用户的三维健身动作图像匹配的目标健身动作标准图像。

7.根据权利要求1所述的方法，其特征在于，所述采集位于跑步机上目标用户不同角度的图像数据，包括：

通过设置在跑步机上的人脸检测摄像头，采集位于跑步机上目标用户的人脸图像数据；

通过设置在跑步机上的肢体检测摄像头，采集位于跑步机上目标用户的肢体图像数据；以及，

通过设置在跑步机上的脚部检测摄像头，采集位于跑步机上目标用户的脚部图像数据。

8.根据权利要求7所述的方法，其特征在于，所述对所述目标用户不同角度的图像数据进行融合处理，得到所述目标用户的三维健身动作图像，包括：

分别识别不同视角下的人脸图像数据、肢体图像数据和脚部图像数据，获取对应视角下各图像数据的二维关键点坐标；

基于透视投影法，将所述二维关键点坐标投影到对应图像采集设备坐标系所在的三维空间中，得到对应视角下的三维关键点坐标；

根据预先设定的各视角下的图像采集设备坐标系与世界坐标系之间的转换关系，将对应视角下的三维关键点坐标进行坐标转换；

将转换后的各视角下的三维关键点坐标进行整合，得到所述目标用户的三维健身动作图像。

9.一种健身动作纠正装置，其特征在于，所述装置包括：

图像数据采集模块，用于采集位于跑步机上目标用户不同角度的图像数据；

图像数据融合模块，用于对所述目标用户不同角度的图像数据进行融合处理，得到所述目标用户的三维健身动作图像；

图像匹配模块，用于基于预设的健身动作标准图像库确定与所述目标用户的三维健身动作图像匹配的目标健身动作标准图像；

评分模块，用于根据所述目标健身动作标准图像的关键点特征，获取所述目标用户的三维健身动作图像的评分；

纠正信息输出模块，用于若所述评分低于目标评分，则输出对所述目标用户的三维健身动作图像的纠正信息。

10.一种应用于权利要求1至8任意一项所述的健身动作纠正方法的跑步机，其特征在于，所述跑步机包括：

呈一定角度设置的控制面板和跑步机跑台，所述跑步机跑台上设置有重力传感器，在所述跑步机跑台两侧且与所述跑步机跑台位于同一平面内设置有脚部检测摄像头；

所述控制面板上设置有电子显示屏，在所述电子显示屏的上边缘设置有人脸检测摄像头、人体传感器以及语音模块，在所述电子显示屏下边缘的两侧分别设置有肢体检测摄像头；

在所述跑步机的内部设置有中央处理模块，所述中央处理模块分别与所述重力传感器、脚部检测摄像头、电子显示屏、人脸检测摄像头、人体传感器、语音模块以及肢体检测摄像头电连接。

11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images