CN117373107A - 身体活动评估系统 - Google Patents

Abstract

一种身体活动评估系统。该系统包括：一个或多个摄像机，其被配置为捕获执行活动的对象，其中，该对象的运动被捕获为视频流或一个或多个图像；计算设备，该计算设备包括处理单元和存储器单元，其中，该处理单元与该一个或多个摄像机通信并且被配置为接收所捕获的运动；其中该处理单元被进一步配置为：通过应用三维姿态估计处理，处理所捕捉的运动，以计算对象的关键点的三维位置，以及基于所计算的对象的关键点在三维中的位置，生成三维帧模型，其中，三维帧模型代表对象。

Description

身体活动评估系统

技术领域

本发明涉及一种身体活动评估系统，可识别对象执行的活动，并评估所识别的活动。

背景技术

计算机视觉用于分析对象的图像，其中，图像通过动态捕捉获取。动态捕捉的常见使用场景为体能测试，例如，远程体能测试。远程体能测试通常包括对运动中的对象进行视频捕捉。将捕捉的视频传输至评估者，例如，教练，其将视频作为体能测试的一部分。

目前，体能测试通常是人工进行和评估的。这会耗费大量的时间和人力。特别地，当试图对例如学校或体育馆或团体健身课的大团体进行体能测试时，这可能是非常耗费时间和人力的。

发明内容

根据本发明的第一方面，提供了一种身体活动评估系统。所述系统包括：

一个或多个摄像机，其被配置为捕获执行活动的对象，其中，所述对象的运动被捕获为视频流或一个或多个图像；

计算设备，所述计算设备包括处理单元和存储器单元，其中，所述处理单元与所述一个或多个摄像机通信并且被配置为接收所捕获的运动，所述处理单元还被配置为：

通过应用三维姿态估计处理，处理所捕捉的运动，以计算对象的关键点的三维位置，以及

基于所计算的所述对象的关键点在三维中的位置，生成三维帧模型，其中，所述三维帧模型代表所述对象。

在第一方面的实施例中，所述身体活动评估系统还包括：显示器，其中，所述三维帧模型显示在所述显示器上，并且所述三维帧模型可由用户基于由所述计算设备接收的用户输入来操纵。

在第一方面的实施例中，在所述身体活动评估系统中，每个关键点对应于对象的关节；所述三维帧模型还包括对象肢体中的至少一个或多个的至少一种表示。

在第一方面的实施例中，在所述身体活动评估系统中，所述处理单元被配置为确定所述关键点和所述三维帧模型的所述关键点的三维空间位置中至少一者的移动。

在第一方面的实施例中，在所述身体活动评估系统中，所述处理单元被配置为在所述对象处于静态位置时和/或在所述对象移动时确定多个关键点之间的函数。

在第一方面的实施例中，在所述身体活动评估系统中，所述计算设备被配置为基于确定所述关键点的移动和多个关键点之间的函数确定所述对象正在执行的活动的类型。

在第一方面的实施例中，所述身体活动评估系统被配置为计算对象执行所确定的活动类型的次数。

在第一方面的实施例中，所述身体活动评估系统被配置为对正在进行的所述对象的活动进行评分，其中，所述评分是定性和/或定量评分，并且所述评分指示所述对象进行所述活动的程度。

在第一方面的实施例中，所述身体活动评估系统被配置为通过将所识别的活动与定义理想化活动表现的参考模型进行自动比较自动生成所述评分，并且其中，所述系统被配置为基于所述比较来生成所述评分。

在第一方面的实施例中，所述计算设备的存储器单元包括存储在其上的定义神经网络的计算机可执行指令，所述处理单元被配置为通过将每一帧发送到神经网络中来处理所接收的图像或视频的每一帧，其中所述神经网络被训练以执行每一帧中的对象的三维姿态估计，并且其中，所述神经网络的输出是表示所述对象的三维帧。

在第一方面的实施例中，在所述身体活动评估系统中，所述计算设备被配置为基于所述三维帧模型生成所述对象的化身，并且所述计算设备还被配置为在虚拟世界中呈现所述化身。

根据本发明的第二方面，提供了一种身体活动评估系统。所述系统包括：多个摄像机，所述摄像机被配置为捕获对象的运动的视频流；计算设备，包括被配置为执行处理步骤的处理单元，被配置为显示信息并接收来自用户的输入的显示器，以及定义所述处理步骤的计算机可执行指令的存储器单元。所述计算设备被配置为与所述摄像机通信，并接收所述对象的运动的视频流。所述计算设备还被配置为：通过对每一帧应用三维姿态估计处理，从视频流中提取帧来处理每一帧，其中，所述三维姿态估计预测所述对象的多个关键点的空间位置，通过由所述处理单元执行的卷积神经网络处理每一帧来执行所述三维姿态估计处理，三维帧模型的每个关键点对应于对象身体的关节，并且三维帧模型还包括对象肢体中的一个或多个的表示；确定所述一个或多个肢体中的每一个的空间位置；确定所述关键点和所述一个或多个肢体在三维空间中的移动；当对象处于静止位置时和当对象正在移动时，确定所述对象的肢体之间的函数并且可选地确定所述关键点与肢体之间的函数；基于所述关键点和肢体的移动来确定所述对象正在执行的活动的类型；自动对所述对象执行的活动进行评分，其中，所述评分是定性的和/或定量的，并且所述评分指示对象执行所述活动的质量；将所识别的活动与定义理想化活动的参考模型进行比较。所述处理单元被配置成将所述关键点之间的所确定的函数与定义所述关键点之间的一组理想函数的所述参考模型进行比较，其中，基于所识别的活动与在显示器上呈现三维帧的参考模型的比较来确定评分，使得三维帧表示对象的运动，并且在显示器上呈现评分，由此允许用户评估由对象执行的活动的质量。

根据本发明的第三方面，提供了一种身体活动评估方法，其中，所述方法由身体活动评估系统的计算设备来实现。所述方法包括以下步骤：

-接收执行活动的对象的视频流或一个或多个图像；

-通过应用三维姿态估计处理，处理所捕捉的运动以计算对象的关键点的三维位置，以及基于所计算的所述对象的关键点在三维中的位置生成三维帧模型，其中，所述三维帧模型代表所述对象。

在第三方面的实施例中，所述身体活动评估方法包括以下步骤：在显示器上显示所述三维帧模型的；并且，其中所述三维帧模型可由用户基于所述计算设备接收的用户输入来操纵。

在第三方面的实施例中，在所述身体活动评估方法中，每个所述关键点对应于所述对象的关节；三维帧模型还包括对象肢体中的至少一个或多个的至少一种表示。

在第三方面的实施例中，所述身体活动评估方法包括以下步骤：确定至少一个所述关键点的移动，并确定所述三维帧模型的所述关键点的三维空间位置。

在第三方面的实施例中，所述身体活动评估方法包括以下步骤：当对象处于静止位置和/或当对象正在移动时，确定多个关键点之间的函数。

在第三方面的实施例中，所述身体活动评估方法包括以下步骤：通过确定所述关键点的移动和多个关键点之间的函数，确定所述对象正在执行的活动的类型。

在第三方面的实施例中，所述身体活动评估方法包括以下步骤：计算所述对象执行所确定的活动类型的次数。

在第三方面的实施例中，所述身体活动评估方法包括以下步骤：采用得分对正在进行的所述对象的活动进行评分，其中，所述得分是定性和/或定量得分，并且所述得分指示所述对象进行所述活动的质量。

在第三方面的实施例中，所述身体活动评估方法包括以下步骤：通过将所识别的活动与定义理想化活动表现的参考模型进行自动比较，自动生成所述得分；并且其中，所述系统被配置为基于所述比较生成所述得分。

在第三方面的实施例中，所述身体活动评估方法包括以下步骤：通过将每一帧馈送到神经网络中，处理所接收的图像或视频的每一帧，其中，训练所述神经网络以在每一帧中执行对象的三维姿态估计，以及；从神经网络输出代表所述对象的三维帧。

在第三方面的实施例中，所述身体活动评估方法包括以下步骤：基于所述三维帧模型生成所述对象的化身，并在虚拟世界中呈现所述化身。

附图说明

下文将参照附图以举例的方式描述本发明的实施例。其中：

图1为根据本发明一实施例的身体活动评估系统的示意图；

图2为图1的身体活动评估系统中的计算设备的示意图；

图3为身体活动评估方法的示例方法；以及

图4至7示出了作为身体活动评估系统的一部分的计算设备的显示。

具体实施方式

目前，体能测试通常是人工进行和人工评估的。这会耗费大量的时间和人力。另外，目前在体能测试中使用的机器视觉系统较为复杂，而且仍然需要用户(即评估者)手动检查来自机器视觉系统的数据并评估由对象执行的锻炼。这一过程耗时，过程缓慢，并且需要大量的人工劳动。

其它几种常见的体能测试需要评估者(例如，健身教练)观看进行锻炼的对象的视频(或实时观看)，并通过视觉评估来确定锻炼是否正确。此外，该方法可能是耗时的，并且限制了评估者(例如，健身教练)可以查看的对象的数量。另外，基于视觉评估的评估技术也可能不准确，并且常常会忽略技术中的错误。类似地，当前，某些用于评估身体活动的系统通常需要对象佩戴传感器或活动记录设备。这样就增加了对象的锻炼成本。

参考图1，示出了本发明的实施例。该实施例用于提供一种身体活动评估系统和方法。身体活动评估系统用于自动确定由对象执行的活动的类型，并通过分配定性和/或定量评分来评估活动的执行。

该身体活动评估系统包括：

一个或多个摄像机，配置为用于捕获对象的运动，其中该运动是作为视频流或作为一个或多个图像来捕获的；计算设备，包括一个处理单元和一个存储器单元，该处理单元与该一个或多个摄像机通信并且被配置为接收所捕获的运动。

该处理单元被进一步配置为：

通过应用三维姿态估计处理，处理所捕捉的运动，以计算对象的关键点的三维位置；以及

基于所计算的对象的关键点在三维中的空间位置，生成三维帧模型，其中，三维帧模型代表对象。

在该实施例中，身体活动评估系统包括显示器，其中，三维帧模型显示在该显示器上。该系统被配置为对执行的活动进行评分，并在显示器上呈现该评分。该系统还被配置为显示关于由对象执行的活动的反馈。

在该实施例中，该系统和方法被配置为提供用于评估由对象执行的活动的质量的自动系统和方法。该系统和方法利用三维姿态估计过程来生成对象的帧模型，该帧模型包括关键点。该帧模型的位置和/或移动被自动地与参考模型(或参考数据)进行比较，并生成指示对象执行活动的质量的评分。

该身体活动评估系统和方法被配置为检测由对象执行的各种身体活动，例如舞蹈、武术、锻炼(如，俯卧撑、引体向上、波比跳等)、击剑、瑜伽或任何其他活动。本发明还自动评估对象执行特定活动的质量。术语“对象”指执行该活动的人。

图1为身体活动评估系统10的示意图。该身体活动评估系统包括：计算设备100和一个或多个用于捕捉执行身体活动的对象的摄像机200。所示实施例示出了多个摄像机202、204、206，其用于在对象执行活动时捕捉对象的运动。该系统可用于记录和评估由多个对象执行的活动，如图1所示，两个对象12、14正在进行俯卧撑。

优选地，该多个摄像机捕获对象的多个角度。优选地，摄像机200被配置为捕获对象的视频，并且，例如，可以被布置为围绕对象。因此，一个示例可以被设置为使得所有的摄像机被放置在围绕对象的圆中，使得摄像机将从上方指向对象。这将是优选的设置。这是因为对象的每个关键点将更可能对至少两个摄像机可见(以立体视觉方式)，以便允许更精确地估计深度信息(z坐标)。在一些示例性实施例中，在需要获得人体对象的所有四肢的位置的情况下，优选的方式为使用四个摄像机来围绕该人体，从而可以捕获四肢中的每一个的立体视觉。这个例子可具有一定优势。这是因为多个摄像机可以关键点的捕获无死角，每个关键点由至少两个摄像机捕获，以便于计算z坐标。根据应用，附加的摄像机可能是更优选的。尽管增加了费用，但也将允许捕捉更精确的关键点位置。

可替换地，摄像机可以捕获多个图像。每个摄像机202、204、206还可以包括适当的无线通信接口，例如，蓝牙模块。每个摄像机可以被配置为将对象的视频无线地传送到计算设备100。

可替换地，摄像机可以被配置为将捕获的视频(即，视频流)传输到服务器(例如，基于云的服务器)用于存储，并且计算设备100被配置为从服务器(未示出)访问该视频流。如图1所示，服务器是可选的，如虚线通信线路所示。在另一个可选方案中，每个摄像机可以具有本地存储器以存储所捕获的视频。通过将捕获的视频下载到USB或SD卡或硬盘驱动器上，然后将USD或SD卡或硬盘驱动器连接到计算设备100，可以将捕获的视频传送到计算设备进行处理。

计算设备100被配置为使用神经网络来处理所捕获的视频，以应用三维姿态估计过程。该三维姿态估计过程由人工智能(AI)图像处理器实现，其应用于视频流的帧，以生成帧模型。当然，几种合适的姿态估计过程都可以应用。

图2为图1的身体活动评估系统的计算设备的示意图。在该实施例中，计算设备100包括接收、存储和执行适当计算机指令所必需的适当组件。该组件可包括：处理单元102，其包括中央处理单元(Central Processing Unit,CPU)，数学共处理单元(Math Co-processing Unit,Math Processor)，图形处理单元(Graphics Processing Unit,GPU)，现场可编程门阵列(Field Programmable Gate Array,FPGA)，张量处理单元(TensorProcessing Unit,TPU)或用于张量或多维阵列计算或操纵操作的其它硬件加速器；只读存储器(Read-Only Memory,ROM)104；随机存取存储器(Random-Access Memory,RAM)106；输入/输出(Input/Output,I/O)设备(例如，磁盘驱动器108)；输入设备110(例如，以太网端口，USB端口等)；显示器112，例如，液晶显示器，发光显示器或任何其它合适的显示器；和通信链路114。显示器112可以与计算设备100集成在一起，如图2所示。可替换地，显示器112可以是远程显示器，其可以与处理单元102和/或计算设备的其它组件有线或无线通信。

计算设备100可包括可存储在ROM 104，RAM 106或磁盘驱动器108中并可由处理单元102执行的指令。可以提供多个通信链路114，其可以各自连接到一个或多个计算设备，诸如服务器、个人计算机、终端、无线或手持计算设备、物联网(Internet of Things,IoT)设备、智能设备和边缘计算设备。多个通信链路中的至少一个可以通过电话线或其它类型的通信链路连接到外部计算网络。计算设备100可包括蓝牙模块或Wi-Fi模块或可用作通信链路以允许计算设备100与其它设备通信的任何其它通信模块。例如，通信链路114可以被配置为与多个摄像机202～206通信,并从摄像机接收记录的视频流。

计算设备100可包括诸如磁盘驱动器108等存储设备，磁盘驱动器108可包括固态驱动器、硬盘驱动器、光驱动器、磁带驱动器或远程或基于云的存储设备。计算设备100可使用单个磁盘驱动器或多个磁盘驱动器，或远程存储服务。计算设备100还可以具有驻留在盘驱动器上或计算设备100的ROM中的适当操作系统116。计算设备100可以被实现为基于云的服务器。计算设备100可以是台式电脑(Personal Computer,PC)(如图2所示的示例)或膝上型计算机。在另一替换形式中，计算设备及其组件可以以智能手机的形式来实现。

计算设备100还可以提供必要的计算能力，来操作或与诸如神经网络的机器学习单元进行接口，以提供各种功能和输出。神经网络可以在本地实现，或者它也可以经由服务器或基于云的服务被访问或被部分地访问。机器学习网络也可以是未经训练的，部分训练的或完全训练的，和/或也可以随时间重新训练、修改或更新。在一个示例中，计算设备100被配置为实现卷积神经网络。

计算设备100包括一个或多个数据库120。数据库120为存储一个或多个参考模型的物理活动数据库。参考模型表示活动的理想化运动，例如，理想俯卧撑或理想引体向上或理想瑜伽姿态或任何其它类似活动。数据库120还可以包括评分方案，其定义了应当如何对每个活动进行评分。评分方案可以存储在单独的数据库中。计分方案可以包括预定义的计分系统，例如，政府定义的学校体测要求、或专业运动队体测要求、或体测指导认证要求、或任何其它定义的计分系统。评分方案定义了评估对象执行的活动时，可由处理单元应用的一组规则。

可选地，一个或多个用户还可以定义定制评分方案，并将该方案存储在数据库120中或存储在单独的评分数据库中。

计算设备100还可包括存储一个或多个训练集的训练数据库，训练集可用于进一步训练卷积神经网络。训练集可以涉及特定活动，例如各种锻炼，如俯卧撑、引体向上或其他活动，如武术、舞蹈等。

计算设备(即，计算机)可以由任何计算架构来实现，包括：便携式计算机、平板计算机、独立个人计算机(PC)、智能设备、物联网(Internet of Things,IoT)设备、边缘计算设备、客户端/服务器架构、“哑”终端/主机架构、基于云计算的架构、或任何其他适当的架构。计算设备100可以被适当地编程以实现本发明。

图3示出了身体活动评估300的示例方法。身体活动评估方法300在计算设备100上实现，如图2所示。身体活动评估方法300开始于步骤302。步骤302包括：接收执行活动的对象的视频(或多个图像)。优选地，视频由多个摄像机捕获，使得在对象进行活动时捕获对象的不同角度。优选地，所捕获的视频是显示对象的不同角度的全景视频流。计算设备100接收视频(或多个图像)。

该方法在步骤302之后进行到步骤304。步骤304包括：识别所接收的视频的每个帧内的对象。优选地，接收来自不同角度的多个视频流，并且在每个接收到的视频流中识别对象。每个视频流来自不同的角度，因此可以在每个图像中识别对象。对象通过使用任何合适的图像识别算法来识别。

方法300包括应用AI图像处理器。更具体地，该方法包括：将三维姿态估计过程(即，三维姿态估计算法)应用于接收到的视频流，并且优选地应用于每个视频流的每个帧。步骤306至314示出三维姿态估计的一些步骤。三维姿态估计过程(即，三维姿态估计算法)可包含已知的额外步骤。

步骤306包括：识别每个帧内对象的多个关键点。对象的关键点可以在每个接收到的视频流的每个帧中被识别。

步骤308包括：在接收到的视频流的每个帧内识别对象的一个或多个肢体。

步骤310包括：生成三维帧模型。三维帧模型是对象的代表，并且可以包括被表示为线的一个或多个已识别的肢体，和连接在线之间的关键点。关键点对应于对象的关节。以此方式，三维帧模型看起来可类似于由连接到关节以呈现对象的线组成的帧，从而三维帧模型可以采用或者包括对象的骨架帧或棒形图的形式。出于本文的目的，术语三维帧模型还可包括三维线帧模型，因此上述术语可互换地使用。应当理解，三维线框模型可以包括附加的关键点、轮廓或表面模型或表面点数据，其可以允许渲染对象的皮肤(作为化身或任何其他动画)，而轮廓或表面模型或皮肤数据对于身体活动评估系统或方法的实施例的操作可能不是必需的。这是因为代表肢体的关键点和线对于身体活动评估系统和方法的操作的大多数计算而言是足够的。在有足够的数据和资源可用或需要的情况下，也可以创建和使用三维线框模型。在显示器112上呈现三维帧模型或三维线帧模型的示例。

步骤312包括预测对象的多个识别的关键点的空间位置。空间位置在三维中确定。通过从不同角度处理对象的视频流,确定每个关键点的三维(Three Dimensional,3D)空间位置。步骤312包括：通过跟踪关键点的空间位置来确定对象的关键点的移动。

步骤314包括：预测对象肢体的空间位置。肢体的三维空间位置通过处理视频来确定。步骤314包括：确定对象肢体的运动。

步骤316包括：当对象处于静止位置时或者当对象移动时，确定对象的关键点之间或肢体之间的函数，并且可选地确定关键点和肢体之间的函数。这些函数为三维帧模型中对象的关键点和/或肢体之间的关系。一些示例函数可以为关节之间的角度或肢体之间的角度、姿态的正确性等。

步骤318包括：基于关键点和/或肢体的运动以及一个或多个上述函数来确定对象正在执行的活动的类型。活动的类型可以通过将关键点和肢体的运动与存储在数据库120中的参考活动模型进行比较来确定。

步骤320包括：对由对象执行的活动进行自动评分，其中，该评分是定性的和/或定量的，并且该评分指示对象执行该活动的质量。通过将所识别的活动与定义理想化活动的参考模型进行比较来对活动进行评分。也可以使用数据库120或单独的评分数据库中定义的评分方案对活动评分。评分方案定义了如何对活动或活动的一部分进行评分。该方法自动地将预定义的评分方案应用于所确定的运动，即由对象执行的活动。

处理单元被配置为将所确定的关键点之间的函数与可以存储在数据库120中的参考模型进行比较。参考模型定义了定义活动的理想化运动的关键点之间的一组理想函数(例如，用于理想俯卧撑或理想引体向上的函数等)。得分通过对所确定的活动与参考模型进行比较来确定。得分可以是数字，或者可以是指示符，例如颜色或箭头或其它标记。

步骤322包括：在显示器112上呈现三维帧，使得三维帧表示对象的运动，并在显示器上呈现得分，从而允许用户评估对象正在执行的活动的质量。得分也可以自动生成，并且该方法自动评估对象执行活动的质量。

图4中示出了显示器的示例。参照图4，对象的多个窗口对应于来自多个摄像机中的每个摄像机的视频流。显示器还呈现三维帧模型。

优选地，三维帧模型或三维线帧模型以动画形式显示。三维帧或线框模型的动画表示由对象执行的活动。上述得分可以与三维帧模型的动画一起呈现在显示器上。

可选地，系统被配置为呈现针对所执行的活动的反馈。反馈可以包括多个标记。例如，反馈可以是文本或者可以是可听反馈或者可以包括符号。该反馈可以帮助对象改善对象正在进行的活动。另外地或可替换地，该反馈可以被引导到评估正被执行的身体活动的评估者(即，用户)。引导到评定者的反馈可以是关于对象执行活动的质量，或者对象可以如何做的更好以改善正在执行的活动。

如所讨论的，三维姿态估计算法用于处理对象的视频并以图形格式(即，作为三维帧模型)表示对象的取向。三维姿态估计算法可应用自顶而下法或自底而上法。自顶而下法被配置为先应用人检测器，随后估计对象的部分(例如关键点和肢体)，然后计算对象的位置和姿态。对象检测器可以是任何已知的对象检测算法。

自底向上法通常检测图像(例如，视频帧)中的所有部分(例如，关键点和肢体)。对图像中的每个对象执行该关键点和肢体检测。在此之后，对属于不同人的关键点和肢体进行分组或进行彼此关联。

可选地，可以应用已知的三维姿态估计算法。例如，OpenPose或DeepCut是可用于姿态估计的两个自底而上法。Alphapose(RMPE)是可以应用于姿态估计的自顶而下法的示例。

三维姿态估计算法由神经网络执行，特别是由处理单元102执行的卷积神经网络。三维姿态估计输出每个对象和其部分的三维位置，并且以6个自由度预测对象的运动。优选地，所使用的神经网络是多层卷积神经网络。可以用与正在执行的特定活动对应的若干训练集来训练所使用的神经网络。训练数据用于训练神经网络以识别由对象执行的活动。

在一个实施例中，三维姿态估计的输出可用于呈现化身。具体地，三维帧模型可用于渲染和动画化虚拟世界(例如，元视图)中使用的化身。如上所述，基于三维姿态估计将对象在真实世界中的运动转换为化身。

本发明的一个示例应用是对高中生进行体能测试，以基于一组预定义的要求来评估他们的体能。身体活动评估系统10用于对中学生进行自动体质评估。图4至7示出了作为身体活动评估系统的一部分的计算设备的显示。身体评估系统用于执行自动体能测试。体能测试要求每个对象进行多次俯卧撑。该活动评估系统被配置为自动评估由对象执行的俯卧撑的质量和次数。

参照图4，显示器112呈现用户界面400。用户界面400被配置为呈现执行俯卧撑的对象的视频流。使用四个摄像机拍摄对象12。每个摄像机流在单独的窗口402、404、406、408中示出。每个窗口显示在显示器112上。在用户界面400中，信息字段410、412、414中包括关于对象的信息。信息字段包括学生ID 410、学生姓名412和教练姓名414。在该示例中，教练是评估者。教练在对象进行体能测试的过程中，对对象进行评估。界面上呈现任务选择字段420。当前被选择的任务是处理视频(Process videos)。

按照前面描述的方法300处理视频。(在数据允许的情况下)三维姿态估计产生三维帧模型440或三维线帧模型。将帧模型覆盖到对象的图像上。三维线框模型也单独呈现在显示器的框区域430中。

如图4至7所示，关键点是帧模型中的红点。每个点对应于对象的关节。框架模型还指示肢体和其它身体部分。例如，背部、颈部、臂部、腿部由线表示。

计算每个关键点和肢体的空间位置。基于所识别的关键点、肢体和各自的空间位置，构建三维帧模型。可以通过调整按钮450、452、454，改变每个帧模型的取向。调整按钮，允许评估者操纵帧模型440的空间取向。每个按钮450、452、454控制帧模型在一个轴(例如，x、y或z轴)上的取向。在所示的示例中，按钮是可以被操纵的虚拟拨号盘。每个按钮控制2个自由度。改变框架模型的取向，允许用户(即，评估者)以各种取向查看模型。可变取向还允许进行各种分析，例如，特定的用户定义函数，如肢体之间的角度或对象的角度。

在该示例中，START和STOP按钮可以允许用户控制视频流的处理。在一示例中，以每秒30帧对视频流进行处理。这样，可以对所执行的俯卧撑的质量进行非常快速的分析。

参考图5，教练(即评估者)可以选择任务。例如，可以在“任务”信息字段410中选择分析函数。

图6示出了当对象执行俯卧撑时肢体之间正在计算的函数。如图6所示，手肘460的角度由处理单元计算。可以显示该角度。另外，如图6所示，同时，也计算躯干和上臂462之间的角度。计算的角度可以如图6所示显示。

基于确定关键点的移动和多个关键点之间的一个或多个函数，来识别由对象执行的活动的类型。另外，肢体的运动和肢体之间的一个或多个函数用于确定正在执行的活动的类型。在所示的示例中，计算设备被配置为确定从90度变化到180度的角度460。计算设备还被配置成确定在0度和90度之间变化的角度462。此外，检查髋关节“肢体”位置，确定髋关节水平大约等于踝关节水平。这表示对象一直下蹲到了地面。上述函数的改变表示俯卧撑中的上下运动。这些函数和函数中的变化用于确定正在进行往上撑的动作。

对计算的角度460、462进行评分。可以基于所计算的角度的得分对俯卧撑质量进行评分。可替换地，所执行的俯卧撑的质量可以基于从三维帧模型计算的多个函数(即，参数)来评估。可以将所确定的帧模型的运动与俯卧撑的理想运动进行比较。此外，可以将所计算的角度与理想角度进行比较，以确定由对象执行的俯卧撑的质量。并且，从函数中计算出重复次数，即执行的俯卧撑的数量。

与图6所示的俯卧撑相比，图7示出了由对象执行的更高质量的俯卧撑。在图7所示的示例中，角度464表示图6和图7之间的俯卧撑的质量。参照图7，角度464应大于170度。这表明对象的双腿是直的。图6中的角度464小于170度，表明对象的双腿是弯曲的。与图6所示的俯卧撑相比，图7中的俯卧撑的质量更好。

身体活动评估系统可以识别不满足高质量俯卧撑要求的函数。系统可以在用户界面400上提供关于如何改善俯卧撑的反馈。不满足质量要求的函数(例如，角度)可被突出显示并呈现于界面400上。

在图4至图7所示的示例中，评估被配置为评估执行的俯卧撑的次数和执行重复次数的质量。评估标准可以是预定义的标准，例如，教育局体育课程。该课程要求可以存储在数据库120中。身体活动评估系统可以被配置为评估由体育课程定义的俯卧撑。

上述的俯卧撑评估系统的优势在于，其可以实现俯卧撑的自动评估。该系统的另一优势在于，其可以减少人工输入。该系统允许体育教师在学生进行俯卧撑时，快速且自动地评估多个学生。与传统评估方法相比，由于对俯卧撑质量的自动评估和自动评分，该系统可以对更多的学生进行体育测试。该系统还可以以游戏化的方式，生成和呈现评分和反馈。该系统可以跟踪多个对象俯卧撑或其他活动的表现，并且可以呈现他们的评分，达到相互竞争的态势。这种游戏化方式可以提高参与度，并且进一步改善对象的技术。该系统还允许对象基于由身体活动评估系统10提供的评分和反馈进行自我评估。

身体活动评估系统10可用于检测和确定任何身体活动，例如，舞蹈或武术技术等。该系统还可由个人使用，来对锻炼技术的进行自我评估或对其他身体活动中的进行技术评估。这是因为该系统是自动化系统，并且所需的专业人员(例如，健身教练)的输入最小。

系统10提供了快速、低成本和简单的身体活动评估。系统10还可以自动生成并提供反馈，以帮助对象改善其活动。如果姿态或技术不正确或可以改进，则系统10可以生成警报或告警。这减少了对教练的需要。对象的帧模型还可用于在虚拟环境(例如元视图)中动画化化身。通过记录活体对象生成的帧模型或线框模型可用于创建虚拟体育馆中使用的化身。上述系统10可用于允许多人在虚拟环境中一起执行活动。

该身体活动评估系统可用于识别健康问题。例如，所生成的三维姿态帧模型可以用于与各种存储的数据集进行比较，以确定各种函数，诸如姿态的正确性、以及肢体(例如腿、髋、肩、头等)之间的角度的正确性。该系统还可以被配置为基于所检测到的对象的运动来识别肌肉组中的肌肉无力。所识别的肌肉群中的肌肉无力可用于诊断健康状况，例如，肌肉或骨骼的健康问题。

虽然不是必需的，但是参考附图描述的实施例可以被实现为应用编程接口(API)或由开发者使用的一系列库，或者可以被包括在另一软件应用中，诸如终端或个人计算机操作系统或便携式计算设备操作系统。通常，由于程序模块包括帮助执行特定功能的例程、程序、对象、组件和数据文件，本领域技术人员将理解，软件应用程序的功能可分布于多个例程、对象或组件之间以实现本文所需的相同功能。

还应当理解，在本发明的方法和系统全部由计算系统实现或部分由计算系统实现的情况下，可以使用任何适当的计算系统体系结构。这将包括独立计算机，网络计算机和专用硬件设备。在使用术语“计算系统”和“计算设备”的情况下，这些术语旨在覆盖能够实现所描述的功能的计算机硬件的任何适当布置。

本领域的技术人员将理解，在不脱离如广泛描述的本发明的精神或范围的情况下，可以对如具体实施例中所示的本发明进行许多变化和/或修改。因此，本实施例在所有方面都被认为是说明性的而不是限制性的。

除非另外指明，否则本文所包含的对现有技术的任何引用不应被视为承认该信息是公知常识。

Claims (10)

1.一种身体活动评估系统，其特征在于，包括：

一个或多个摄像机，其被配置为捕获执行活动的对象，其中，所述对象的运动被捕获为视频流或一个或多个图像；

计算设备，所述计算设备包括处理单元和存储器单元，其中，所述处理单元与所述一个或多个摄像机通信并且被配置为接收所捕获的运动；其中

所述处理单元被进一步配置为：

通过应用三维姿态估计处理，处理所捕捉的运动，以计算对象的关键点的三维位置，以及

基于所计算的所述对象的关键点在三维中的位置，生成三维帧模型，其中，所述三维帧模型代表所述对象。

2.根据权利要求1所述的身体活动评估系统，其特征在于，还包括：显示器，其中，所述三维帧模型显示在所述显示器上，并且所述三维帧模型可由用户基于由所述计算设备接收的用户输入来操纵。

3.根据权利要求2所述的身体活动评估系统，其特征在于，其中，每个所述关键点对应于所述对象的关节；以及

所述三维帧模型还包括对象肢体中的至少一个或多个的至少一种表示。

4.根据权利要求3所述的身体活动评估系统，其特征在于，其中，所述处理单元被配置为：

确定所述关键点和所述三维帧模型的所述关键点的三维空间位置中的至少一者的移动。

5.根据权利要求4所述的身体活动评估系统，其特征在于，其中，所述处理单元被配置为在所述对象处于静态位置时和/或在所述对象移动时确定多个关键点之间的函数。

6.根据权利要求5所述的身体活动评估系统，其特征在于，其中，所述计算设备被配置为基于确定所述关键点的移动和多个关键点之间的函数来确定所述对象正在执行的活动的类型。

7.根据权利要求6所述的身体活动评估系统，其特征在于，其中，所述计算设备还被配置为计算所述对象执行所确定的活动类型的次数。

8.根据权利要求6所述的身体活动评估系统，其特征在于，其中，所述计算设备还被配置为对正被执行的所述对象的活动进行评分，并且，其中，所述评分是定性和/或定量评分，且所述评分指示所述对象执行所述活动的程度。

9.根据权利要求8所述的身体活动评估系统，其特征在于，其中，所述计算设备还被配置为通过将所识别的活动与定义理想化活动表现的参考模型进行自动比较来自动生成所述评分，并且，其中，所述系统被配置为基于所述比较来生成所述评分，并且，其中，所述计算设备的存储器单元包括存储在其上的定义神经网络的计算机可执行指令；

其中，所述处理单元被配置为通过将每一帧馈送到神经网络中来处理所接收的图像或视频的每一帧；

其中，对所述神经网络进行训练，以在每个帧中执行对象的三维姿态估计；以及

其中，所述神经网络的输出是表示所述对象的三维帧。

10.根据权利要求9所述的身体活动评估系统，其特征在于，其中，所述计算设备被配置为基于所述三维帧模型生成所述对象的化身，并且所述计算设备还被配置为在虚拟世界中呈现所述化身。