CN113033526A - 基于计算机实现的方法、电子设备和计算机程序产品 - Google Patents

Abstract

本公开的实施例提供了基于计算机实现的方法、电子设备和计算机程序产品。该方法包括：获取取景图像；将其输入已经训练的机器学习系统，实时检测人体关键点；将其输入已经训练的医学分析层，以检测代表人体姿态部位的人体姿态关键点和代表动作部位的人体动作关键点；当人体姿态关键点位于第一预定空间范围内时，开始录制用户人体的运动视频；提示用户将动作部位运动至第二预定空间范围；基于医学分析层，更新人体动作关键点的位置数据；基于人体姿态关键点确定运动参考系；确定人体动作关键点相对于参考系的相对角度；基于运动、相对角度和预定标准，对用户的运动进行分类。以此方式，可以在没有专业人员在场的情况下使用户了解自身运动状况。

Description

基于计算机实现的方法、电子设备和计算机程序产品

技术领域

本公开的实施例主要涉及计算机领域，并且更具体地，涉及基于人体关键点对运动分类的方法、电子设备和计算机程序产品。

背景技术

在现有技术中，有多种可以在移动设备上实现的人体关键点识别应用。这种应用可以检测人体关键点，并通过对人体关键点数据对人体姿势、人脸关键点和手部追踪进行实时同步感知，可以实现各种有趣的应用，如健身和运动分析、手势控制和手语识别、增强现实效果等。

发明内容

本公开的实施例提供了一种基于人体关键对运动进行分类的方案。

在本公开的第一方面中，提供了一种基于计算机实现的方法，包括：获取取景图像；将取景图像输入已经训练的机器学习系统，实时检测人体部位的人体关键点；将人体关键点输入已经训练的医学分析层，以检测代表人体姿态部位的人体姿态关键点和代表动作部位的人体动作关键点；当人体姿态关键点位于第一预定空间范围内时，开始录制用户人体的运动视频；提示用户进行运动以将动作部位运动至第二预定空间范围；基于医学分析层，更新人体动作关键点的位置数据；基于人体姿态关键点确定运动参考系；确定人体动作关键点相对于运动参考系的相对角度；基于运动、相对角度和预定标准，对用户的运动进行分类。

在本公开的第二方面中，提供了一种电子设备。该电子设备包括：相机；处理器；以及与处理器耦合的存储器，存储器具有存储于其中的指令，指令在被处理器执行时使设备执行动作，操作包括：通过相机获取取景图像；将取景图像输入已经训练的机器学习系统，实时检测人体部位的人体关键点；将人体关键点输入已经训练的医学分析层，以检测代表人体姿态部位的人体姿态关键点和代表动作部位的人体动作关键点；当人体姿态关键点位于第一预定空间范围内时，开始录制用户人体的运动视频；提示用户进行运动以将动作部位运动至第二预定空间范围；基于医学分析层，更新人体动作关键点的位置数据；基于人体姿态关键点确定运动参考系；确定人体动作关键点相对于运动参考系的相对角度；基于运动、相对角度和预定标准，对用户的运动进行分类。

在本公开的第三方面中，提供了一种计算机程序产品，计算机程序产品被有形地存储在计算机可读介质上并且包括机器可执行指令，机器可执行指令在被执行时使机器执行根据第一方面的方法。

提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。在附图中：

图1示出了可以在其中实施本公开的实施例的示例环境的示意框图；

图2示出了根据本公开的一些实施例的用户运动的分类的示例过程200的流程图；

图3A和3B分别示出了根据本公开的一些实施例的用户处于不同状态时在计算设备340上所显示的示意图；

图4示出了根据本公开的一些实施例的运动参考系的示意图；

图5示出了根据本公开第二方面的实施例的电子设备500的示意框图；以及

图6示出了适合实现本公开一些实施例的示例设备的简化框图。

具体实施方式

下面将参考附图中示出的若干示例实施例来描述本公开的原理。虽然附图中显示了本公开的优选实施例，但应当理解，描述这些实施例仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

得益于技术的发展，现代生活越来越便利，而人们的需求也因此越来越高。在很多时候，人们希望能够得到更专业的建议和指导，例如了解自身在医学意义上的运动能力。通常，这是需要有医学专业知识的人员在观察了运动之后才能判断的。然而这尤其对于行动不便而又迫切需要建议和指导的人来说，几乎是无法实现的。

针对上述问题，本公开旨在提供一种基于人体关键点对运动进行分类的方案。通过该方案，可以在专业人员不在场的情况下提供相关专业的建议和指导。尤其是在一定医疗场景下，实现自动记录患者或行动不便者的运动状态，并给出其运动在医学意义上的分类。

示例环境

图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。如图1所示，环境100包括相机模块120、计算设备140。相机模块120例如可以是具有拍照和/或摄像能力的设备。计算设备140例如可以是具有较强计算能力的设备，其示例包括但不限于：云侧服务器、智能手机、笔记本电脑、平板电脑、台式机或边缘计算设备等。相机模块120和计算设备140可以是各自独立的设备也可以是集成在一起的设备。在图1的示例中，相机模块120集成在计算设备140中，计算设备140例如包括智能手机。

根据本公开的实施例，计算设备140可以通过相机模块120来获取取景图像，将取景图像输入到已经训练的机器学习系统中，并且机器学习系统实时地输出人体部位的人体关键点的位置数据。

在一些实施例中，计算设备140通过相机来获取包括用户110的取景图像，并且计算设备140还包括屏幕141。在图1的示例中，可以看到在屏幕141上显示出了灰色的蒙版。蒙版中部具有人形留空。在与人形留空相对应的位置，显示出了用户110的人体图像130。计算设备140将根据由机器学习系统输出的人体关键点的位置数据，将人体关键点显示在屏幕上。在图1中，示例性地示出了8个人体关键点131。这8个人体关键点分别代表了两个肩部、两个腕部和两个腰部以及两个踝部。

在一些实施例中，当用户110的人体图像130进入到蒙版中的相应位置时，便可以有相机模块120开始录制视频，同时用户110可以按预设的动作开始运动，而用户110的运动也被记录在视频中。

根据本公开的实施例，录制的视频被提供至计算设备140，由计算设备140处理后输出对用户110的运动的分类判断。例如，由计算设备140识别出是什么部位的动作，并将该运动的划分到与所识别的部位相关的医学运动等级中。

用户运动的分类

根据本公开的各种实施例，提供一种基于人体关键点对运动进行分类的方案。

在本公开第一方面的实施例中，提供了一个基于计算机实现的方法，该方法包括：获取取景图像；将取景图像输入已经训练的机器学习系统，实时检测人体部位的人体关键点；将人体关键点输入已经训练的医学分析层，以检测代表人体姿态部位的人体姿态关键点和代表动作部位的人体动作关键点；当人体姿态关键点位于第一预定空间范围内时，开始录制用户人体的运动视频；提示用户进行运动以将动作部位运动至第二预定空间范围；基于医学分析层，更新人体动作关键点的位置数据；基于人体姿态关键点确定运动参考系；确定人体动作关键点相对于运动参考系的相对角度；基于运动、相对角度和预定标准，对用户的运动进行分类。

根据本公开第一方面的方法，为了能够使用户了解自身运动状况，尤其设置了与一般性的机器学习系统关联使用的专用的医学分析层。在此，机器学习系统可以是基于现有计算机视觉或图像识别技术而实现的一般性的机器学习系统。例如机器学习系统包括基于卷积神经网络（CNN）的模型。基于CNN的模型通常具有输入层、隐含层和输出层。根据本公开的医学分析层可以理解为在机器学习系统的输出层之后设置的专用数据处理层，在此例如是专门针对医学相关数据的医学分析层。根据由医学分析层输出的相关信息，用户便可以在没有专业人员在场的情况下了解自身运动状况。

以下将参考图2至图4来描述根据本公开的一些实施例的用户运动的分类的过程。图2示出了根据本公开的一些实施例的用户运动的分类的示例过程200的流程图。过程200例如可以由上文所讨论的计算设备来执行，例如图1中的计算设备140。为了方便描述，以下以计算设备作为示例来描述过程200。

如图2所示，在框202，获取取景图像。

在本公开的实施例中，取景图像例如是相机模块将要拍摄的景物的图像，可供拍摄者进行实时预览。在一些实施例中，取景图像是实时获取的。该步骤例如可以由图1中的相机模块120来执行。尤其在计算设备140例如是智能手机的情况下，可以利用其后置摄像头或者前置摄像头来执行对取景图像的获取。

在框204，将取景图像输入已经训练的机器学习系统，实时检测人体部位的人体关键点。

已经训练的机器学习系统可以是任意的具有检测人体关键点的能力的一般性的机器学习系统。机器学习系统例如可以检测出于人体部位或关节相关的一般性的人体关键点。机器学习系统可以包括由多组数据训练的机器学习模型。

在一些实施例中，机器学习系统的一个实例例如是MediaPipe，其是一款由谷歌公司开发的并开源的数据流处理机器学习应用开发框架。MediaPipe是一个基于图的数据处理管线，用于构建使用了多种形式的数据源，如视频、音频、传感器数据以及任何时间序列数据。MediaPipe是跨平台的，可以运行在嵌入式平台（树莓派等）、移动设备（iOS和Android）、工作站和服务器上，并支持移动端GPU加速。使用MediaPipe，可以实时地检测人体关键点。

在框206，将人体关键点输入已经训练的医学分析层，以检测代表人体姿态部位的人体姿态关键点和代表动作部位的人体动作关键点。

如上所讨论的机器学习系统所输出的是一般性的人体关键点，例如由MediaPipe检测并输出33个关键点，其中每个关键点代表人体的一个部位。然而，为了在特定场景下提供专业的建议和指导，并非所有关键点都是必须的，因此它们不能直接被应用到特定场景中。例如，在骨科医学相关的场景中，需要从由机器学习系统输出的人体关键点中选取出在医学上有意义的关键点，并基于这些关键点来进行后续处理。

为此，提供了根据本公开的医学分析层，医学分析层从机器学习系统所输出的是一般性的人体关键点中选取出在骨科医学上有意义的关键点。在用户的部位运动时，用户通常会在一个相对固定的姿态中进行动作部位的运动。据此，医学分析层从一般性的人体关键点中选取了代表人体姿态的部位的人体关键点，以及代表进行运动的动作部位的人体动作关键点。由此提升了效率并实现了标准化。

在框208，当人体姿态关键点位于第一预定空间范围内时，开始录制用户人体的运动视频。下面结合图3A和图3B进一步描述框208中步骤的细节。

在一些实施例中，当用户到达相机模块的取景范围中的特定区域时，相机模块自动开始录制人体的运动视频。由于相机模块的取景范围有限，为了保证能够捕捉到全部动作，需要用户到达特定区域后才开始录制视频。图3A和图3B分别示出了根据本公开的一些实施例的用户处于不同状态时在计算设备340上所显示的示意图，其中图3A示出了用户的人体姿态关键点处于第一预定空间范围的状态301。

如图3A所示，在计算设备340上显示由蒙版341，蒙版341例如是对应于人体站姿姿态的蒙版，并且所要记录的是上肢的运动。也就是说，用户将在站定的情况下，使上肢运动，例如抬起手腕。在该场景下，当用户站定后，双肩和脚踝保持静止。那么在该示例中，例如肩部关键点332和脚踝关键点331可以被视为人体姿态关键点，而手腕关键点333可以被视为人体动作关键点。在该示例中，第一预定空间范围包括肩部预定空间范围311以及脚踝预定空间范围312。当作为人体姿态关键点的两个肩部关键点332位于肩部预定空间范围311中，并且两个脚踝关键点331位于脚踝预定空间范围312中时，可以确定用户已经站定并准备可以开始运动了，此时相机模块便开始录制视频。

返回图2，继续描述示例过程200。在框210，提示用户进行运动以将动作部位运动至第二预定空间范围。

用户在到达预定空间区域后便可以开始运动。在一些实施例中，可以提示用户做出特定的动作，以使动作部位运动至第二预定空间范围。下面以图3B为例进一步描述框210。图3B示出了用户的人体姿态关键点向第二预定空间范围运动的状态302。图3B所示的场景是在图3A所示的场景之后发生的。

如图3B所示，在计算设备340上显示由蒙版342，蒙版342例如是对应于人体目标动作的蒙版，该蒙版的人形留空对应于右侧上肢向上抬的运动。当作为人体姿态关键点的两个肩部关键点332位于肩部预定空间范围311中，并且两个脚踝关键点331位于脚踝预定空间范围312中时，提示用户开始运动，用户抬起手腕，可以看到在图3B中，用户的作为人体动作关键点的手腕关键点333已经到达第二预定空间范围333中。在此需要指出，虽然第二预定空间范围333是人体动作部位的目标位置，但人体动作关键点并不必须运动到第二预定空间范围中。也就是说，第二预定空间范围仅作为指引。

返回图2，继续描述示例过程200。在框212，基于医学分析层，更新人体动作关键点的位置数据。

当用户开始运动后，继续通过医学分析层来检查人体动作关键点，并实时更新动作部位的人体动作关键点的位置数据，同时医学分析层也对录制的视频做综合性的分析。

在框214，基于人体姿态关键点确定运动参考系。

在用户运动期间，人体姿态关键点的位置基本不变，因此可以通过人体关键点来构建参考系。下面以图4为例进一步描述框214。图4示出了运动参考系442的示意图。

如图4所示，用户处于与图3B中所示的状态相同的状态。在图4所示的示例中，由于人体姿态为站姿，此时通常选取人体中心线为参考，通常可以通过人体姿态关键点来算出人体中心线，例如可以先计算出左肩的人体关键点433与右肩的人体关键点434的第一连线410，然后计算出左踝的人体关键点431与右踝的人体关键点432的第二连线420，然后再计算出第一连线410的中点与第二连线420的中点的连线，便得到了人体中线441，得到的人体中线441可以是运动参考系的示例。在一些实施例中，为了便于计算，通常将运动参考系平移至与人体动作部位相对应的关节处。在图4所示的示例中，人体动作部位为手腕，那么其所对应的关节是肩部，在该场景下，便可以将人体中线441移至右肩部的人体关键点434处，从而得到运动参考系442。

在一些实施例中，可以由第一连线410的中点坐标P1（x1,y1）、第二连线420的中点P2（x2,y2）以及人体关键点434的坐标P3（x3,y3），通过一下公式来计算出过渡点436的坐标P4（x4,y4）：

x4=x2+x3-x1；y4=y2+y3-y1。

然后再计算出人体关键点434与过渡点436的连线，便可以得到运动参考系442。

返回图2，继续描述示例过程200。在框216，确定人体动作关键点相对于运动参考系的相对角度。

根据本公开的一些实施例，医学分析层能够分辨出用户运动并确定人体动作关键点与人体姿态关键点的关系。下面以图4为例进一步描述框216。在图4所示的示例中，相对角度是上肢抬起后与躯干的夹角

。如上所讨论的，夹角

就是手腕的人体关键点435与肩部的人体关键点434的连线与运动参考系442之间的夹角。

根据本公开的一个实施例，确定人体动作关键点相对于运动参考系的相对角度包括：

利用下式计算相对角度

：

其中（

）是动作部位的坐标，（

）是参考系中的一个人体姿态关键点的坐标，（

）是参考坐标系与动作部位的交点的坐标。

如图4所示，动作部位的人体关键点435的坐标为A（

），肩部的人体关键点434的坐标为M（

），过渡点436的坐标为C（

）。

相对角度的算法例如如下：

1. 计算A点和M点连线与竖直线的夹角弧度，即

；

2. 计算C点和M点连线与竖直线的夹角弧度，即

；

3. 计算总夹角弧度

；

4. 将弧度转成角度。

返回图2，继续描述示例过程200。在框218，基于运动、相对角度和预定标准，对用户的运动进行分类。

在一些实施例中，基于所录制的视频，可以由医学分析层获得用户运动的在医学上有意义的相关信息，同时基于实时的人体动作关键点的位置数据实时地计算相对角度。预定标准可以是与用户运动对应的，并且是关于相对角度的。

以此方式，可以基于所录制的用户运动视频来对用户的运动进行分类，从而可以在没有专业人员在场的情况下，使用户了解自身的运动状况，尤其是其运动状况属于哪个医学等级。

根据本公开的一个实施例，方法还包括：从医学分析层获取运动的运动信息，其中医学分析层已经被训练以识别动作部位是哪个人体部位并且运动属于哪种预设动作，从医学分析层获取的运动信息包括动作部位名称和预设动作名称。

在一些实例中，可以设置一套标准的预设动作视频库，通过实时进行关键点的分析绘制动作曲线，将其与预设动作视频库中的预设动作进行对比，从而根据最匹配的预设动作曲线确定预设运动名称。

例如在图3A和图3B的示例中，可以从医学分析层获取如下的运动信息：

1. 人体站立方向分析：正方位/侧方位

2. 人体姿态分析：站立位

3. 动作部位分析：肩关节

4. 动作名称分析：外展。

根据本公开的一个实施例，基于运动、相对角度和预定标准，对用户的运动进行分类包括：基于动作部位名称和预设动作名称，从多个预定标准中选择对应的预定标准，其中预定标准包括通过多个相对角度范围界定的多个分类；确定相对角度所在的相对角度范围以对运动进行分类。

例如，根据获得的相对角度以及预设的相对角度范围，给出对分类的相应判断，比如：

当相对角度 <=20°时，则用户的运动被分类为第2医学等级或2级以下，并且在一些实施例中可以给出提示：“您的运动分类结果为2级或2级以下”。

当相对角度 > 20°时，则用户的运动被分类为第2级医学等级以上，并且在一些实施例中可以给出提示“您的运动分类结果为2级以上”。

以此方式，可以得到明确的运动分类。

根据本公开的一个实施例，方法还包括：在获取取景图像之前，从多种拍摄模式中选择与人体基础姿态和观察方向相关的拍摄模式，其中多种功能拍摄模式中的每种拍摄模式都包括对第一预定空间范围和第二预定空间范围的限定。

以此方式，通过预先根据用户运动来选择与之相关的拍摄模式，从而对一些必要信息进行了预先设定，使得医学运动层不必再确定这些必要信息，从而减少了医学运动层的计算负荷。

根据本公开的一个实施例，方法还包括：显示针对拍摄模式的蒙版并且实时地显示人体姿态关键点和人体动作关键点，其中蒙版指示第一预定空间范围和第二预定空间范围。

以此方式，可以使用户清楚地知道自己的运动状态，并根据现实来进行运动。

根据本公开的一个实施例，其中提示包括以视觉方式进行提示和/或以听觉方式进行提示。

例如，可以通过显示特定的指示标记，或者通过输出特定的语音来实现对用户的提示。

根据本公开的一个实施例，方法还包括：当相对角度在预定的时间段内保持不变时，停止录制运动视频。

当相对角度在预定时间段（例如10秒）内保持不变时，便可以断定用户已经达到了能够运动的极限位置，因此已经获取了对于分类来说所需要的数据并且可以结束录制。

以此方式，可以使用户在不进行主动操作的情况下完成录制，并且保证录制了所需要的完整视频。

根据本公开的一个实施例，其中医学分析层是使用多组数据训练得出的，多组数据包括观察方位数据、人体的基础姿态数据、动作部位数据和标准动作数据。

根据本公开的一个实施例，其中观察方位数据包括正面观察和侧面观察；人体的基础姿态数据包括：站姿、坐姿和侧卧姿；动作部位数据包括：肩关节、肘关节、膝关节、髋关节和颈；标准动作数据包括：内展、外收、屈曲、伸展、旋内、旋外、侧屈。

在一些实施例中，骨科医学分析层的构建过程例如如下。

计算包含观察方位、基础姿态、动作部位、标准动作的不同组合。在此，例如肩关节具有6种活动度，肘关节具有4种活动度，膝关节具有2种活动度，髋关节具有4种活动度，颈具有4种活动度，此外具有2个观察方位以及3种基础姿态，那么共有（6+4+2+4+4）*3*2=120种组合。之后，为每个组合拍摄不同体态（3种，如胖、中、瘦）和运动到不同程度（3种，如初步外展，外展中，全面外展）的样例照片，共9张。在此过程中，需要保证每张样例照片都符合相应的医学规范。

之后，将120*9=1080张样例照片通过机器学习系统（例如MediaPipe）来进行计算，得到每个照片的“医学标准化关键点训练集”。“医学标准化关键点训练集”包含了1080个样本，每个样本有33个坐标值，而且每个样本都有明确的医学特征。

将该训练集用机器学习（如CNN）的方式进行训练，得到一个从33个原始关键点到4个医学特征输出的模型。以这样的方式，构建了医学分析层。通过医学分析层，显著提升了现有的关键点识别算法在特定场景中的可应用性。

根据本公开的一个实施例，方法还包括：经由网络将运动视频和对应的相对角度数据上报至网络服务器。

以此方式，用户可以将录制的视频上传给其他装置或者专业人员，用以进行进一步的处理。

示例系统与设备

图5示出了根据本公开第二方面的实施例的电子设备500的框图，电子设备500可以包括多个单元，以用于执行如图2中所讨论的过程200中的对应步骤。如图5所示，电子设备500，包括：相机510，其中相机510可以是集成在电子设备500中的，或者是；处理器520；以及与处理器耦合的存储器530，存储器具有存储于其中的指令，指令在被处理器执行时使设备执行动作，操作包括：通过相机获取取景图像；将取景图像输入已经训练的机器学习系统，实时检测人体部位的人体关键点；将人体关键点输入已经训练的医学分析层，以检测代表人体姿态部位的人体姿态关键点和代表动作部位的人体动作关键点；当人体姿态关键点位于第一预定空间范围内时，开始录制用户人体的运动视频；提示用户进行运动以将动作部位运动至第二预定空间范围；基于医学分析层，更新人体动作关键点的位置数据；基于人体姿态关键点确定运动参考系；确定人体动作关键点相对于运动参考系的相对角度；基于运动、相对角度和预定标准，对用户的运动进行分类。

根据本公开的一个实施例，操作还包括：从医学分析层获取运动的运动信息，其中医学分析层已经被训练以识别动作部位是哪个人体部位并且运动属于哪种预设动作，从医学分析层获取的运动信息包括动作部位名称和预设动作名称。

根据本公开的一个实施例，基于运动、相对角度和预定标准，对用户的运动进行分类包括：基于动作部位名称和预设动作名称，从多个预定标准中选择对应的预定标准，其中预定标准包括通过多个相对角度范围界定的多个分类；确定相对角度所在的相对角度范围以对运动进行分类。

根据本公开的一个实施例，操作还包括：在获取取景图像之前，从多种拍摄模式中选择与人体基础姿态和观察方向相关的拍摄模式，其中多种功能拍摄模式中的每种拍摄模式包括对第一预定空间范围和第二预定空间范围的限定。

根据本公开的一个实施例，电子设备500还包括显示器540，并且操作还包括：在显示器上显示针对拍摄模式的蒙版并且实时地显示人体姿态关键点和人体动作关键点，其中蒙版指示第一预定空间范围和第二预定空间范围。

根据本公开的一个实施例，电子设备500还包括显示器540和/或扬声器550，其中提示包括通过显示器进行提示和/或通过扬声器进行提示。

根据本公开的一个实施例，操作还包括：当相对角度在预定的时间段内保持不变时，停止录制运动视频。

根据本公开的一个实施例，医学分析层是使用多组数据训练得出的，多组数据包括观察方位数据、人体的基础姿态数据、动作部位数据和标准动作数据。

根据本公开的一个实施例，观察方位数据包括正面观察和侧面观察；人体的基础姿态数据包括：站姿、坐姿和侧卧姿；动作部位数据包括：肩关节、肘关节、膝关节、髋关节和颈；标准动作数据包括：内展、外收、屈曲、伸展、旋内、旋外、侧屈。

根据本公开的一个实施例，电子设备500还包括网络接口560，操作还包括：经由网络接口560将运动视频和对应的相对角度数据上报至网络服务器。在一些实施例中，网络接口560可以连接至云端，并与其进行通信。

根据本公开的一个实施例，其中确定人体动作关键点相对于运动参考系的相对角度包括：

利用下式计算相对角度

：

其中（

）是动作部位的坐标，（

）是参考系中的一个人体姿态关键点的坐标，（

）是参考坐标系与动作部位相交的点的坐标。

应当理解，电子设备500可以利用专用集成电路、一个或多个FPGA（现场可编程门阵列）、PLD（可编程逻辑器件）、控制器、状态机、门逻辑、分立硬件部件、任何其它适合的电路、或者能够执行本公开各种过程的电路的任意组合、芯片、单板或通信设备等来实现。

可以理解地，上述提供的第二方面的电子设备、第三方面的计算机可读介质均用于执行第一方面所提供的方法。因此，关于第一方面的解释或者说明同样适用于第二方面和第三方面。此外，第二方面和第三方面所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。

图6示出了可以用来实施本公开内容的实施例的示例设备600的示意性框图。例如，根据本公开实施例的计算设备（例如，图1中的计算设备130可以由设备600来实施。如图所示，设备600包括中央处理单元（CPU）601，其可以根据存储在只读存储器（ROM）602中的计算机程序指令或者从存储单元608加载到随机访问存储器（RAM）603中的计算机程序指令，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

上文所描述的各个过程和处理，例如过程200，可由处理单元601执行。例如，在一些实施例中，过程200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序被加载到RAM 603并由CPU 601执行时，可以执行上文描述的过程500和/或过程1200的一个或多个动作。

本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网（LAN）或广域网（WAN）—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施方式，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施方式。在不偏离明确的各实施方式的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。

Claims (23)

1.一种基于计算机实现的方法，包括：

获取取景图像；

将所述取景图像输入已经训练的机器学习系统，实时检测人体部位的人体关键点；

将所述人体关键点输入已经训练的医学分析层，以检测代表人体姿态部位的人体姿态关键点和代表动作部位的人体动作关键点；

当所述人体姿态关键点位于第一预定空间范围内时，开始录制用户人体的运动视频；

提示用户进行运动以将所述动作部位运动至第二预定空间范围；

基于所述医学分析层，更新所述人体动作关键点的位置数据；

基于所述人体姿态关键点确定运动参考系；

确定所述人体动作关键点相对于所述运动参考系的相对角度；

基于运动、所述相对角度和预定标准，对用户的运动进行分类。

2.根据权利要求1所述的方法，还包括：从所述医学分析层获取运动的运动信息，其中所述医学分析层已经被训练以识别所述动作部位是哪个人体部位并且运动属于哪种预设动作，从所述医学分析层获取的所述运动信息包括动作部位名称和预设动作名称。

3.根据权利要求2所述的方法，其中基于运动、相对角度和预定标准，对用户的运动进行分类包括：

基于所述动作部位名称和所述预设动作名称，从多个所述预定标准中选择对应的预定标准，其中所述预定标准包括通过多个相对角度范围界定的多个分类；

确定所述相对角度所在的相对角度范围以对运动进行分类。

4.根据权利要求1所述的方法，还包括：

在获取所述取景图像之前，从多种拍摄模式中选择与人体基础姿态和观察方向相关的拍摄模式，其中所述多种拍摄模式中的每种拍摄模式都包括对所述第一预定空间范围和所述第二预定空间范围的限定。

5.根据权利要求4所述的方法，还包括：

显示针对所述拍摄模式的蒙版并且实时地显示所述人体姿态关键点和所述人体动作关键点，其中所述蒙版指示所述第一预定空间范围和所述第二预定空间范围。

6.根据权利要求1所述的方法，其中提示包括以视觉方式进行提示和以听觉方式进行提示。

7.根据权利要求1所述的方法，还包括：

当所述相对角度在预定的时间段内保持不变时，停止录制所述运动视频。

8.根据权利要求2所述的方法，其中所述医学分析层是使用多组数据训练得出的，多组数据包括观察方位数据、人体的基础姿态数据、动作部位数据和标准动作数据。

9.根据权利要求8所述的方法，其中所述观察方位数据包括正面观察和侧面观察；所述人体的基础姿态数据包括：站姿、坐姿和侧卧姿；所述动作部位数据包括：肩关节、肘关节、膝关节、髋关节和颈；所述标准动作数据包括：内展、外收、屈曲、伸展、旋内、旋外、侧屈。

10.根据权利要求1所述的方法，还包括：

经由网络将所述运动视频和对应的相对角度数据上报至网络服务器。

11.根据权利要求1所述的方法，其中确定所述人体动作关键点相对于所述运动参考系的相对角度包括：

利用下式计算相对角度

：

其中（

）是所述动作部位的坐标，（

）是所述运动参考系中的一个人体姿态关键点的坐标，（

）是所述运动参考系与动作部位的交点的坐标。

12.一种电子设备，包括：

相机；

处理器；以及

与处理器耦合的存储器，存储器具有存储于其中的指令，指令在被处理器执行时使设备执行动作，操作包括：

通过相机获取取景图像；

将所述取景图像输入已经训练的机器学习系统，实时检测人体部位的人体关键点；

将所述人体关键点输入已经训练的医学分析层，以检测代表人体姿态部位的人体姿态关键点和代表动作部位的人体动作关键点；

当所述人体姿态关键点位于第一预定空间范围内时，开始录制用户人体的运动视频；

提示用户进行运动以将所述动作部位运动至第二预定空间范围；

基于所述医学分析层，更新所述人体动作关键点的位置数据；

基于所述人体姿态关键点确定运动参考系；

确定所述人体动作关键点相对于所述运动参考系的相对角度；

基于运动、所述相对角度和预定标准，对用户的运动进行分类。

13.根据权利要求12所述的电子设备，操作还包括：从所述医学分析层获取运动的运动信息，其中所述医学分析层已经被训练以识别所述动作部位是哪个人体部位并且运动属于哪种预设动作，从所述医学分析层获取的所述运动信息包括动作部位名称和预设动作名称。

14.根据权利要求13所述的电子设备，其中基于运动、所述相对角度和预定标准，对用户的运动进行分类包括：

基于所述动作部位名称和所述预设动作名称，从多个所述预定标准中选择对应的预定标准，其中所述预定标准包括通过多个相对角度范围界定的多个分类；

确定所述相对角度所在的相对角度范围以对运动进行分类。

15.根据权利要求12所述的电子设备，操作还包括：

在获取取景图像之前，从多种拍摄模式中选择与所述人体基础姿态和观察方向相关的拍摄模式，其中所述多种拍摄模式中的每种拍摄模式包括对所述第一预定空间范围和所述第二预定空间范围的限定。

16.根据权利要求15所述的电子设备，其中所述电子设备还包括显示器，并且操作还包括：

在所述显示器上显示针对所述拍摄模式的蒙版并且实时地显示所述人体姿态关键点和所述人体动作关键点，其中所述蒙版指示所述第一预定空间范围和所述第二预定空间范围。

17.根据权利要求12所述的电子设备，其中所述电子设备还包括显示器和扬声器，其中提示包括通过所述显示器进行提示和通过所述扬声器进行提示。

18.根据权利要求12所述的电子设备，操作还包括：

当所述相对角度在预定的时间段内保持不变时，停止录制所述运动视频。

19.根据权利要求13所述的电子设备，其中所述医学分析层是使用多组数据训练得出的，所述多组数据包括观察方位数据、人体的基础姿态数据、动作部位数据和标准动作数据。

20.根据权利要求19所述的电子设备，其中所述观察方位数据包括正面观察和侧面观察；所述人体的基础姿态数据包括：站姿、坐姿和侧卧姿；所述动作部位数据包括：肩关节、肘关节、膝关节、髋关节和颈；所述标准动作数据包括：内展、外收、屈曲、伸展、旋内、旋外、侧屈。

21.根据权利要求12所述的电子设备，其中所述电子设备还包括网络接口，操作还包括：

经由所述网络接口将所述运动视频和对应的相对角度数据上报至网络服务器。

22.根据权利要求12所述的电子设备，其中确定人体动作关键点相对于运动参考系的相对角度包括：

利用下式计算相对角度

：

其中（

）是所述动作部位的坐标，（

）是所述运动参考系中的一个人体姿态关键点的坐标，（

）是所述运动参考系与所述动作部位相交的点的坐标。

23.一种计算机可读介质，其中在计算机可读介质上存储有机器可执行指令，机器可执行指令在被执行时使机器执行根据权利要求1至11中任一项的方法。

Images