CN114120204A - 仰卧起坐姿态评估方法、装置及存储介质 - Google Patents

Abstract

本发明实施例提供了一种仰卧起坐姿态评估方法、装置及存储介质，所述方法包括：获取第一视频，并根据第一视频，判断用户是否进入预设的仰卧起坐区域；在用户进入仰卧起坐区域的情况下，触发对用户的仰卧起坐姿态检测事件；获取第二视频，针对第二视频中每帧第二图像，识别第二图像中用户的关键部位的骨骼关节点位置；根据用户的关键部位的骨骼关节点位置，确定第二图像对应的姿态数据；从用户仰卧起坐过程中的姿态数据中选取目标姿态数据，与预设标准姿态数据进行比较，以评估用户的仰卧起坐姿态。如此在仰卧起坐过程中进行视频采集和分析，可以客观、准确的确定仰卧起坐姿态的标准程度，指导用户进行姿态的纠正，极大地方便了用户的训练。

Description

仰卧起坐姿态评估方法、装置及存储介质

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种仰卧起坐姿态评估方法、装置及存储介质。

背景技术

仰卧起坐是一种常见的体育运动方式，并且也是在中小学体育教育课程、中高考体育测试中必选的体育项目；传统的体育教学活动中，运动者在仰卧起坐运动过程中，其自身很难做到对自己动作的有效的评估，需要老师或者教练通过认真的观察、记录给出评估和指导。

相关技术中，也缺少一种专门针对仰卧起坐运动项目的客观、有效地评估方案。

发明内容

为了解决上述现有技术无法客观、有效地对仰卧起坐运动进行有效评估的技术问题，本发明实施例提供了一种仰卧起坐姿态评估方法、装置、边缘计算服务器及存储介质。

在本发明实施例的第一方面，首先提供了一种仰卧起坐姿态评估方法，应用于边缘计算服务器，所述方法包括：

获取第一视频，并根据所述第一视频，判断用户是否进入预设的仰卧起坐区域；

在所述用户进入所述仰卧起坐区域的情况下，触发对所述用户的仰卧起坐姿态检测事件；

获取第二视频，针对所述第二视频中每帧第二图像，识别所述第二图像中所述用户的关键部位的骨骼关节点位置；

根据所述用户的关键部位的所述骨骼关节点位置，确定所述第二图像对应的姿态数据，由所述第二视频中各所述第二图像各自对应的所述姿态数据组成所述用户仰卧起坐过程中的姿态数据；

从所述用户仰卧起坐过程中的所述姿态数据中选取目标姿态数据，与预设标准姿态数据进行比较，以评估所述用户的仰卧起坐姿态；

以及将所述姿态数据标注于所述第二图像，输出所述第二图像至显示屏上进行呈现。

在一个可选的实施方式中，所述获取第一视频，包括：

在仰卧起坐检测模式下，获取第一视频；

所述根据所述第一视频，判断用户是否进入预设的仰卧起坐区域，包括：

针对所述第一视频中的第一图像，将所述第一图像输入至预设的人体位置检测模型，得到所述人体位置检测模型输出的所述第一图像中的用户位置；

将所述用户位置与预设的仰卧起坐区域位置进行比较，判断所述用户是否进入预设的仰卧起坐区域。

在一个可选的实施方式中，所述人体位置检测模型具体通过以下方式得到：

获取多个目标用户各自对应的仰卧起坐视频，并对所述仰卧起坐视频进行抽帧处理，得到预设数量的仰卧起坐图像；

采用矩形框标注方式对所述预设数量的所述仰卧起坐图像进行人体目标标注，生成人体检测训练样本；

基于所述人体检测训练样本，对人体位置检测初始模型进行有监督训练，得到人体位置检测模型。

在一个可选的实施方式中，所述识别所述第二图像中所述用户的关键部位的骨骼关节点位置，包括：

将所述第二图像输入至预设的人体姿态评估模型，获取所述人体姿态评估模型输出的所述第二图像中所述用户的关键部位的骨骼关节点位置。

在一个可选的实施方式中，所述人体姿态评估模型具体通过以下方式得到：

获取多个目标用户各自对应的仰卧起坐视频，并对所述仰卧起坐视频进行抽帧处理，得到预设数量的仰卧起坐图像；

采用骨骼关节点标注方式对所述预设数量的所述仰卧起坐图像进行人体关节点标注，生成仰卧起坐姿态评估训练样本；

基于所述仰卧起坐姿态评估训练样本，对人体姿态评估初始模型进行有监督训练，得到人体姿态评估模型。

在一个可选的实施方式中，所述根据所述用户的关键部位的所述骨骼关节点位置，确定所述第二图像对应的姿态数据，包括：

根据仰卧起坐方向，从所述骨骼关节点位置中选择多个目标骨骼关节点位置；

基于所述目标骨骼关节点位置，组成所述用户的目标关键部位对应的向量；

计算所述用户的目标关键部位对应的所述向量之间的夹角，确定所述夹角为所述第二图像对应的所述用户的目标关键部位对应的夹角。

在一个可选的实施方式中，所述从所述用户仰卧起坐过程中的所述姿态数据中选取目标姿态数据，与预设标准姿态数据进行比较，以评估所述用户的仰卧起坐姿态，包括：

从各所述第二图像中选取目标时刻的所述第二图像对应的夹角，作为目标夹角，所述目标时刻包括仰卧时刻、起坐时刻以及仰卧复位时刻；

将所述目标夹角与预设标准夹角进行比较，以评估所述用户的仰卧起坐姿态。

在一个可选的实施方式中，所述从各所述第二图像中选取目标时刻的所述第二图像对应的夹角，作为目标夹角，包括：

在检测开始后，计算第二图像各自对应的夹角的第一夹角和，确定所述第一夹角和最大的所述夹角，获取首个所述第一夹角和最大的所述夹角对应的所述第二图像的采集时刻，作为仰卧时刻；

获取所述仰卧时刻至第一目标时刻的第一时间段内所述第二图像对应的所述夹角，确定所述夹角和最小的所述夹角，获取所述夹角和最小的所述夹角对应的所述第二图像的采集时刻，作为起坐时刻；

选取每个仰卧起坐周期内所述仰卧时刻、所述起坐时刻的所述第二图像对应的夹角，作为目标夹角。

在一个可选的实施方式中，所述从各所述第二图像中选取目标时刻的所述第二图像对应的夹角，作为目标夹角，包括：

在检测开始后，计算第二图像各自对应的夹角的第一夹角和，确定所述第一夹角和最大的所述夹角，获取首个所述第一夹角和最大的所述夹角对应的所述第二图像的采集时刻，作为仰卧时刻；

获取所述仰卧时刻至第一目标时刻的第一时间段内所述第二图像对应的所述夹角，确定所述夹角和最小的所述夹角，获取所述夹角和最小的所述夹角对应的所述第二图像的采集时刻，作为起坐时刻；

获取所述起坐时刻至第二目标时刻的第二时间段内所述第二图像对应的所述夹角，确定第二夹角和最大的所述夹角，获取所述第二夹角和最大的所述第二图像的采集时刻，作为仰卧复位时刻；

选取所述仰卧时刻、所述起坐时刻以及所述仰卧复位时刻的所述第二图像对应的夹角，作为目标夹角。

在一个可选的实施方式中，所述方法还包括：

获取所述仰卧时刻与所述仰卧复位时刻之间的时间差，确定所述时间差为所述用户完成一次仰卧起坐的时间；

获取预设的仰卧起坐时间段，根据所述时间差确定所述用户所述仰卧起坐时间段内所述用户仰卧起坐完成的次数；

或者，

获取预设的仰卧起坐时间段，根据在所述时间段内一个完整的仰卧起坐周期的重复次数，得到所述用户的仰卧起坐完成的次数；

其中，所述一个完整的仰卧起坐周期包括：仰卧时刻、起坐时刻和仰卧复位时刻。

在本发明实施例的第二方面，提供了一种仰卧起坐姿态评估装置，应用于边缘计算服务器，所述装置包括：

视频获取模块，用于获取第一视频；

用户判断模块，用于根据所述第一视频，判断用户是否进入预设的仰卧起坐区域；

事件触发模块，用于在所述用户进入所述仰卧起坐区域的情况下，触发对所述用户的仰卧起坐姿态检测事件；

位置识别模块，用于获取第二视频，针对所述第二视频中每帧第二图像，识别所述第二图像中所述用户的关键部位的骨骼关节点位置；

数据确定模块，用于根据所述用户的关键部位的所述骨骼关节点位置，确定所述第二图像对应的姿态数据，由所述第二视频中各所述第二图像各自对应的所述姿态数据组成所述用户仰卧起坐过程中的姿态数据；

姿态评估模块，用于从所述用户仰卧起坐过程中的所述姿态数据中选取目标姿态数据，与预设标准姿态数据进行比较，以评估所述用户的仰卧起坐姿态；

输出模块，用于将所述姿态数据标注于所述第二图像，输出所述第二图像至显示屏上进行呈现。

在本发明实施例的第三方面，还提供了一种边缘计算服务器，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第一方面中所述的仰卧起坐姿态评估方法。

在本发明实施例的第四方面，还提供了一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面中所述的仰卧起坐姿态评估方法。

在本发明实施例的第五方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面中所述的仰卧起坐姿态评估方法。

本发明实施例提供的技术方案，获取第一视频，并根据第一视频，判断用户是否进入预设的仰卧起坐区域，在用户进入仰卧起坐区域的情况下，触发对用户的仰卧起坐姿态检测事件，获取第二视频，针对第二视频中每帧第二图像，识别第二图像中用户的关键部位的骨骼关节点位置，根据用户的关键部位的骨骼关节点位置，确定第二图像对应的姿态数据，由第二视频中各第二图像各自对应的姿态数据组成用户仰卧起坐过程中的姿态数据，从用户仰卧起坐过程中的姿态数据中选取目标姿态数据，与预设标准姿态数据进行比较，以评估用户的仰卧起坐姿态，并且将姿态数据标注于第二图像上，输出第二图像至显示屏上进行呈现，。如此，在仰卧起坐过程中进行视频采集和分析，以实现对用户在仰卧起坐过程中仰卧起坐姿态的检测，对用户的仰卧起坐姿态通过数据进行量化，将得到的目标姿态数据与标准的姿态数据进行比较，并且将姿态数据标注于第二图像上，输出第二图像至显示屏上进行呈现，可以客观、准确的确定仰卧起坐姿态的标准程度，进而指导用户进行姿态的纠正，极大地方便了用户的训练。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中示出的一种仰卧起坐姿态评估方法的实施流程示意图；

图2为本发明实施例中示出的一种人体位置检测模型的训练方法的实施流程示意图；

图3为本发明实施例中示出的一种人体姿态评估模型的训练方法的实施流程示意图；

图4为本发明实施例中示出的一种骨骼关节点标注方式的示意图；

图5为本发明实施例中示出的一种第二图像对应的姿态数据的确定方法的实施流程示意图；

图6为本发明实施例中示出的一种用户的仰卧起坐姿态的评估系统的架构示意图；

图7为本发明实施例中示出的一种用户的仰卧起坐姿态的评估方法的实施流程示意图；

图8为本发明实施例中示出的一种仰卧时刻t0时刻对应的第二图像；

图9为本发明实施例中示出的一种起坐时刻t1时刻的第二图像；

图10为本发明实施例中示出的一种仰卧复位时刻t2时刻对应的第二图像；

图11为本发明实施例中示出的一种仰卧起坐姿态评估装置的结构示意图；

图12为本发明实施例中示出的一种边缘计算服务器的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，为本发明实施例提供的一种仰卧起坐姿态评估方法的实施流程示意图，该方法应用于边缘计算服务器，具体可以包括以下步骤：

S101，获取第一视频，并根据所述第一视频，判断用户是否进入预设的仰卧起坐区域。

在本发明实施例中，可以将图像采集设备，比如摄像头、相机等，部署在(体育)场地，用于实时采集该场地中的视频；其中，在后台(即图像采集设备的画面中)标注仰卧起坐区域和仰卧起坐方向。

需要说明的是，对于图像采集设备的部署，图像采集设备的视角可以面向用户的侧方，即可以拍摄用户的左侧方或者右侧方，本发明实施例对此不作限定。

在仰卧起坐检测模式下，用户仰卧起坐过程中，可以通过图像采集设备实时捕获仰卧起坐画面，并将采集的画面传输至边缘计算服务器。由此在仰卧起坐检测模式下，边缘计算服务器获取图像采集设备所传输的第一视频。

对于第一视频，可以根据该第一视频，判断用户是否进入预设的仰卧起坐区域。例如，在仰卧起坐检测模式下，对于第一视频，根据该第一视频，判断学生是否进入预设的仰卧起坐区域。

其中，针对第一视频中的第一图像，将第一图像输入至预设的人体位置检测模型，得到人体位置检测模型输出的第一图像中的用户位置；将用户位置与预设的仰卧起坐区域位置进行比较，判断用户是否进入预设的仰卧起坐区域。

需要说明的是，对于人体位置检测模型，具体可以是peoplenet模型，当然还可以是其它算法，本发明实施例对此不作限定。

如图2所示，为本发明实施例提供的一种人体位置检测模型的训练方法的实施流程示意图，该方法具体可以包括以下步骤：

S201，获取多个目标用户各自对应的仰卧起坐视频，并对所述仰卧起坐视频进行抽帧处理，得到预设数量的仰卧起坐图像。

在本发明实施例中，模型训练阶段，召集多个目标用户，针对每个目标用户分别进行仰卧起坐视频的采集。如此可以获取多个目标用户各自对应的仰卧起坐视频。

例如，模型训练阶段，召集4000名学生，其中男女各2000人，每个学生分别进行仰卧起坐视频的采集。如此可以获取4000个学生的仰卧起坐视频。

对于获取的多个目标用户各自对应的仰卧起坐视频，在本发明实施例中进行抽帧处理，如此可以得到预设数量的仰卧起坐图像。其中，可以随机抽帧，本发明实施例对此不作限定。

例如，对于获取的4000个学生各自对应的仰卧起坐视频，在本发明实施例中进行抽帧处理，其中可以利用脚本随机抽帧，如此可以得到大约50000张仰卧起坐图像。

S202，采用矩形框标注方式对所述预设数量的所述仰卧起坐图像进行人体目标标注，生成人体检测训练样本。

对于预设数量的仰卧起坐图像，在本发明实施例中可以采用矩形框标注方式对该预设数量的仰卧起坐图像进行人体目标标注，如此可以生成人体检测训练样本，意味着对于每一张仰卧起坐图像，使用一个矩形框把仰卧起坐图像中的人框住。

S203，基于所述人体检测训练样本，对人体位置检测初始模型进行有监督训练，得到人体位置检测模型。

对于人体检测训练样本，在本发明实施例中可以基于人体检测训练样本，对人体位置检测初始模型进行有监督训练，得到人体位置检测模型。

需要说明的是，在本发明实施例中，当损失函数收敛，或者迭代次数达到阈值时，可以视为模型训练终止，本发明实施例对此不作限定。

S102，在所述用户进入所述仰卧起坐区域的情况下，触发对所述用户的仰卧起坐姿态检测事件。

S103，获取第二视频，针对所述第二视频中每帧第二图像，识别所述第二图像中所述用户的关键部位的骨骼关节点位置。

S104，根据所述用户的关键部位的所述骨骼关节点位置，确定所述第二图像对应的姿态数据，由所述第二视频中各所述第二图像各自对应的所述姿态数据组成所述用户仰卧起坐过程中的姿态数据。

在本发明实施例中，图像采集设备可以是实时采集用户整个仰卧起坐过程中的视频，并将该视频传输至边缘计算服务器进行处理，边缘计算服务器在用户进入仰卧起坐区域的情况下，开启对用户的仰卧起坐姿态的检测，此时可以通过目标跟踪算法跟踪该用户，图像采集设备实时捕获运动画面，边缘计算服务器获取到第二视频。

需要说明的是，本发明实施例中第一视频以及第二视频可以是仰卧起坐姿态评估完整视频码流中的子片段，由第一视频和第二视频构成仰卧起坐姿态评估完整视频码流，这里仰卧起坐姿态评估完整视频码流指的是用户自进入(摄像头)画面，然后进入到仰卧起坐区域，紧接着完成仰卧起坐之后，退出(摄像头)画面整个过程采集的视频码流。

在本发明实施例中，针对第二视频中每帧第二图像，识别第二图像中用户的关键部位的骨骼关节点位置，由此根据用户的关键部位的骨骼关节点位置，确定第二图像对应的姿态数据，从而由第二视频中各第二图像各自对应的姿态数据组成用户仰卧起坐过程中的姿态数据。

例如，在本发明实施例中，针对第二视频中第i(i＝1，2，3，4……)帧第二图像，识别第i帧第二图像中用户的关键部位的骨骼关节点位置，由此根据用户的关键部位的骨骼关节点位置，确定第i帧第二图像对应的姿态数据，如下表1所示，从而由第二视频中各第二图像各自对应的姿态数据组成用户仰卧起坐过程中的姿态数据。

表1

需要说明的是，对于关键部位，在本发明实施例中具体指的是肩关节、肘关节、膝关节和/或脚关节等。此外，用户的关键部位的骨骼关节点位置，可以如下所示：

{P_i(x_i，y_i，c_i)}，i∈0，......，21；其中(x_i，y_i)代表骨骼关节点在图像中的横纵坐标，c_i表示置信度，代表这个骨骼关节点位置的可信程度，如果较低的话，可以弃用，保留置信度较高的骨骼关节点位置。

其中，在本发明实施例中，可以通过人体姿态评估模型，识别第二图像中用户的关键部位的骨骼关节点位置，具体可以将第二图像输入至预设的人体姿态评估模型，获取人体姿态评估模型输出的第二图像中用户的关键部位的骨骼关节点位置。

需要说明的是，对于人体姿态评估模型，具体可以是HRNET模型，当然还可以是其它算法，本发明实施例对此不作限定。

如图3所示，为本发明实施例提供的一种人体姿态评估模型的训练方法的实施流程示意图，该方法具体可以包括以下步骤：

S301，获取多个目标用户各自对应的仰卧起坐视频，并对所述仰卧起坐视频进行抽帧处理，得到预设数量的仰卧起坐图像。

在本发明实施例中，模型训练阶段，召集多个目标用户，针对每个目标用户分别进行仰卧起坐视频的采集。如此可以获取多个目标用户各自对应的仰卧起坐视频。

例如，模型训练阶段，召集4000名学生，其中男女各2000人，每个学生分别进行仰卧起坐视频的采集。如此可以获取4000个学生的仰卧起坐视频。

对于获取的多个目标用户各自对应的仰卧起坐视频，在本发明实施例中进行抽帧处理，如此可以得到预设数量的仰卧起坐图像。其中，可以随机抽帧，本发明实施例对此不作限定。

例如，对于获取的4000个学生各自对应的仰卧起坐视频，在本发明实施例中进行抽帧处理，其中可以利用脚本随机抽帧，如此可以得到大约50000张仰卧起坐图像。

S302，采用骨骼关节点标注方式对所述预设数量的所述仰卧起坐图像进行人体关节点标注，生成仰卧起坐姿态评估训练样本。

对于预设数量的仰卧起坐图像，在本发明实施例中可以采用骨骼关节点标注方式对该预设数量的仰卧起坐图像进行人体关节点标注，如此可以生成仰卧起坐姿态评估训练样本，意味着对于每一张仰卧起坐图像，标注其中的骨骼关节点。

例如，对于50000张仰卧起坐图像，采用骨骼关节点标注方式进行人体关节点标注，共计标注22个骨骼关节点，如图4所示，其中，每个骨骼关节点含义如下表2所示。

表2

本发明实施例中中，为提高计算效率，上述骨骼关键点的标注也可以是只标注上躯干包含的全部关节点或者部分关节点，也可以是包含上躯干和下躯干中的全部关节点或者部分关节点，比如如下表3所示。

表3

S303，基于所述仰卧起坐姿态评估训练样本，对人体姿态评估初始模型进行有监督训练，得到人体姿态评估模型。

对于仰卧起坐姿态评估训练样本，在本发明实施例中可以基于仰卧起坐姿态评估训练样本，对人体姿态评估初始模型进行有监督训练，得到人体姿态评估模型。

需要说明的是，在本发明实施例中，当损失函数收敛，或者迭代次数达到阈值时，可以视为模型训练终止，本发明实施例对此不作限定。

此外，在本发明实施例中，如图5所示，为本发明实施例提供的一种第二图像对应的姿态数据的确定方法的实施流程示意图，具体可以包括以下步骤：

S501，根据仰卧起坐方向，从所述骨骼关节点位置中选择多个目标骨骼关节点位置。

S502，基于所述目标骨骼关节点位置，组成所述用户的目标关键部位对应的向量。

S503，计算所述用户的目标关键部位对应的所述向量之间的夹角，确定所述夹角为所述第二图像对应的所述用户的目标关键部位对应的夹角。

对于第二图像中用户的关键部位的骨骼关节点位置，在本发明实施例中可以根据仰卧起坐方向，从骨骼关节点位置中选择多个目标骨骼关节点位置，得到骨骼关节点位置集。

例如，具体而言，图像采集设备拍摄用户左侧，当仰卧起坐从右向左时，对于第二图像中用户的关键部位的骨骼关节点位置，从骨骼关节点位置中选择目标骨骼关节点位置，组合成骨骼关节点位置集，即(P₇、P₉、P₁₁、P₁₃、P₁₅、P₁₇)。

例如，具体而言，图像采集设备拍摄用户右侧，当仰卧起坐方向从左向右时，对于第二图像中用户的关键部位的骨骼关节点位置，从骨骼关节点位置中选择目标骨骼关节点位置，组合成骨骼关节点位置集，即(P₆、P₈、P₁₀、P₁₂、P₁₄、P₁₆)。

需要说明的是，上述P₇、P₉、P₁₁、P₁₃、P₁₅、P₁₇等可以参考图4以及上述表2所示的含义，本发明实施例在此不再一一赘述。

对于骨骼关节点位置集，在本发明实施例中可以基于骨骼关节点位置集，确定第二图像对应的用户的目标关键部位对应的夹角，即姿态数据可以看作是用户的目标关键部位对应的夹角。

图像采集设备拍摄用户身体侧面，目标关键部位与仰卧起坐方向息息相关。例如，当仰卧起坐方向从右向左时，这里目标关键部位可以是右肩、右肘、右膝盖等，当仰卧起坐方向从左向右时，这里目标关键部位可以是左肩、左肘、左膝盖等，本发明实施例对此不作限定。

其中，本发明实施例可以获取骨骼关节点位置集中的目标骨骼关节点位置，组成用户的目标关键部位对应的向量，计算用户的目标关键部位对应的向量之间的夹角，确定该夹角为第二图像对应的用户的目标关键部位对应的夹角。

例如，以仰卧起坐方向从右向左为例，获取骨骼关节点位置集中的P₇、P₉、P₁₃，组成用户的目标关键部位对应的向量，即用户左肩关节对应的2个向量，即

参考图4以及上述表2所示的含义，计算这2个向量之间的夹角，确定夹角为第二图像对应的用户的左肩关节对应的夹角，记为angle_shoulder。

同理，获取骨骼关节点位置集中其余目标骨骼关节点位置，组成用户的左腰关节对应的2个向量、左膝关节对应的2个向量、左肘关节对应的2个向量，然后计算2个向量之间的夹角，确定夹角为第二图像对应的用户的左腰关节对应的夹角、左膝关节对应的夹角、左肘关节对应的夹角，分别记为angle_waist、angle_knee、angle_elbow，如下表4所示。如此可以确定第二图像对应的用户的上述关节分别对应的夹角。

表4

S105，从所述用户仰卧起坐过程中的所述姿态数据中选取目标姿态数据，与预设标准姿态数据进行比较，以评估所述用户的仰卧起坐姿态。

在本发明实施例中，对于第二视频中各第二图像各自对应的姿态数据，组成用户仰卧起坐过程中的姿态数据，从用户仰卧起坐过程中的姿态数据中选取目标姿态数据，即从各第二图像各自对应的姿态数据中选取目标姿态数据，并与预设标准姿态数据进行比较，以评估用户的仰卧起坐姿态，即对应运动专家知识库，评估如膝关节角度是否合理、起坐姿势是否存在问题，仰卧姿势问题(腰背部是否与地面平行)，并给出对应专家库中训练指导意见。

S106，将所述姿态数据标注于所述第二图像，输出所述第二图像至显示屏上进行呈现。

本申请实施例中，上述在得到第二图像中用户的姿态数据以后，同时将该姿态数据在第二图像上进行呈现，进而可以直观的得到用户在仰卧起坐运动过程的姿态。

其中，对于目标姿态数据(例如右肩关节夹角、右膝关节夹角等)，将目标姿态数据与预设标准姿态数据(例如标准的右肩关节夹角、右膝关节夹角等)进行比对，检测用户的仰卧起坐姿态是否标准，或者是给出标准程度，并且在用户的仰卧起坐姿态不标准的情况下，在显示屏上回放用户的仰卧起坐姿态，并在不标准的位置进行标记；如图6所示，该边缘计算服务器分别与摄像头、显示屏进行连接。

如图7所示，为本发明实施例提供的一种用户的仰卧起坐姿态的评估方法的实施流程示意图，该方法应用于边缘计算服务器，具体可以包括以下步骤：

S701，从各所述第二图像中选取目标时刻的所述第二图像对应的夹角，作为目标夹角，所述目标时刻包括仰卧时刻、起坐时刻以及仰卧复位时刻。

对于仰卧起坐，整个仰卧起坐过程按照状态分为仰卧、起坐、仰卧复位等三个阶段，由此从各第二图像中选取目标时刻的第二图像对应的夹角，作为目标夹角，其中，目标时刻包括仰卧时刻、起坐时刻以及仰卧复位时刻。

例如，从各第二图像中选取目标时刻的第二图像，其中，目标时刻包括仰卧时刻t0、起坐时刻t1、仰卧复位时刻t2，确定目标时刻的第二图像对应的夹角为目标夹角，即后续将t0、t1、t2时刻的第二图像对应的用户的目标关键部位对应的夹角与预设标准夹角进行比较，以评估用户的仰卧起坐姿态。

具体地，在本发明实施例中，在检测开始后，计算第二视频中各第二图像各自对应的夹角的第一夹角和，确定第一夹角和最大的夹角，获取首个第一夹角和最大的夹角对应的第二图像的采集时刻，作为仰卧时刻。

例如，获取第二视频中各第二图像各自对应的夹角的第一夹角和，确定第一夹角和(即angle_waist+angle_knee+angle_elbow+angle_shoulder)最大的夹角，获取首个第一夹角和最大的夹角对应的第二图像的采集时刻，作为仰卧时刻，记为t0。

获取仰卧时刻至第一目标时刻的第一时间段内第二图像对应的夹角，确定夹角和最小的夹角，获取夹角和最小的夹角对应的第二图像的采集时刻，作为起坐时刻。

例如，获取(t0，t0+T1(s))的第一时间段内第二图像对应的夹角，确定夹角和(即angle_waist+angle_knee+angle_elbow+angle_shoulder)最小的夹角，获取夹角和最小的夹角对应的第二图像的采集时刻，作为起坐时刻，记为t1。这里T1(s)是一个经验值，可以根据实际情况进行设置。

获取起坐时刻至第二目标时刻的第二时间段内第二图像对应的夹角，确定第二夹角和最大的夹角，获取第二夹角和最大的第二图像的采集时刻，作为仰卧复位时刻。

例如，获取(t1，t1+T2(s))的第二时间段内第二图像对应的夹角，确定第二夹角和(即angle_waist+angle_knee+angle_elbow+angle_shoulder)最大的夹角，获取第二夹角和最大的第二图像的采集时刻，作为仰卧复位时刻，记为t2。这里T2是一个经验值，可以根据实际情况进行设置。

如此经过上述处理，可以得到仰卧时刻、起坐时刻以及仰卧复位时刻等3个时刻，从而可以从各第二图像中，选取仰卧时刻、起坐时刻以及仰卧复位时刻的第二图像对应的夹角，作为目标夹角。

需要说明的是，鉴于用户进行仰卧起坐需要完成多次，则可以重复执行上述起坐时刻和仰卧复位时刻的获取步骤，重复执行的时候，获取仰卧复位时刻至第一目标时刻的第一时间段内第二图像对应的夹角，确定夹角和最小的夹角，获取夹角和最小的夹角对应的第二图像的采集时刻，作为起坐时刻，获取起坐时刻至第二目标时刻的第二时间段内第二图像对应的夹角，确定第二夹角和最大的夹角，获取第二夹角和最大的第二图像的采集时刻，作为仰卧复位时刻，如此可以得到1个仰卧时刻和多个起坐时刻与仰卧复位时刻，从而选取仰卧时刻、起坐时刻以及仰卧复位时刻的第二图像对应的夹角，作为目标夹角。

例如，从各第二图像中，选取仰卧时刻，即t0对应的第二图像，如图8所示；选取起坐时刻，即t1对应的第二图像，如图9所示；选取仰卧复位时刻，即t2对应的第二图像，如图10所示等对应的夹角，作为目标夹角。

S702，将所述目标夹角与预设标准夹角进行比较，以评估所述用户的仰卧起坐姿态。

在本发明实施例中，对于目标时刻的第二图像，即仰卧时刻、起坐时刻以及仰卧复位时刻的第二图像对应的夹角，作为目标夹角，将目标夹角与预设标准夹角进行比较，以评估用户的仰卧起坐姿态。意味着将t0、t1、t2的第二图像对应的用户的目标关键部位对应的夹角与预设标准夹角进行比较，以评估用户的仰卧起坐姿态。

在本发明实施例中，上述边缘计算服务器可以是在得到用户的仰卧起坐过程中的姿态数据后，将该姿态数据在相应的第二图像上进行标注，并传输至显示屏呈现标注后的第二图像。

在本发明实施例中，也可以是对目标时刻的第二图像进行标注用户的姿态数据，比如对于仰卧时刻、起坐时刻以及仰卧复位时刻的第二图像对应的夹角，作为目标夹角，在本发明实施例中，可以将目标夹角在相应的第二图像上进行标注，例如仰卧时刻的第二图像对应的夹角在仰卧时刻的第二图像上进行标注，如此经过标注之后可以在显示屏上进行展示。

此外，在本发明实施例还可以计算用户完成一次仰卧起坐的时间。具体地，获取仰卧时刻与仰卧复位时刻之间的时间差，确定时间差为用户完成一次仰卧起坐的时间。由此获取预设的仰卧起坐时间段，根据时间差确定用户仰卧起坐时间段内用户仰卧起坐完成的次数。

例如，获取仰卧时刻t0与仰卧复位时刻t2之间的时间差D，可以确定该时间差D为用户完成一次仰卧起坐的时间。由此获取预设的仰卧起坐时间段，比如1分钟，由此可以根据时间差D可以确定用户1分钟内用户仰卧起坐完成的次数。

本发明实施例中，设置一个完整的仰卧起坐周期包括：仰卧时刻和起坐时刻。在检测开始后，计算第二图像各自对应的夹角的第一夹角和，确定第一夹角和最大的夹角，获取首个第一夹角和最大的夹角对应的第二图像的采集时刻，作为仰卧时刻。

获取仰卧时刻至第一目标时刻的第一时间段内第二图像对应的夹角，确定夹角和最小的夹角，获取夹角和最小的夹角对应的第二图像的采集时刻，作为起坐时刻；选取每个仰卧起坐周期内所述仰卧时刻、所述起坐时刻的所述第二图像对应的夹角，作为目标夹角。

在上述起坐时刻以后出现的第一夹角和最大的夹角对应的第二图像的采集时刻，作为下一个仰卧起坐周期的仰卧时刻。

本实施例中，计算用户在规定时间段内仰卧起坐周期的重复次数，得到用户在规定时间段内完成仰卧起坐的次数。

通过上述对本发明实施例提供的技术方案的描述，获取第一视频，并根据第一视频，判断用户是否进入预设的仰卧起坐区域，在用户进入仰卧起坐区域的情况下，触发对用户的仰卧起坐姿态检测事件，获取第二视频，针对第二视频中每帧第二图像，识别第二图像中用户的关键部位的骨骼关节点位置，根据用户的关键部位的骨骼关节点位置，确定第二图像对应的姿态数据，由第二视频中各第二图像各自对应的姿态数据组成用户仰卧起坐过程中的姿态数据，从用户仰卧起坐过程中的姿态数据中选取目标姿态数据，与预设标准姿态数据进行比较，以评估用户的仰卧起坐姿态，并且将姿态数据标注于第二图像上，输出第二图像至显示屏上进行呈现，。

如此，在仰卧起坐过程中进行视频采集和分析，以实现对用户在仰卧起坐过程中仰卧起坐姿态的检测，对用户的仰卧起坐姿态通过数据进行量化，将得到的目标姿态数据与标准的姿态数据进行比较，并且将姿态数据标注于第二图像上，输出第二图像至显示屏上进行呈现，可以客观、准确的确定仰卧起坐姿态的标准程度，进而指导用户进行姿态的纠正，极大地方便了用户的训练。

本发明实施例中所提供的一种仰卧起坐姿态评估方法应用于边缘计算服务器，在具体应用场景中，该边缘计算服务器与摄像头、显示屏可以是独立设置，并且边缘计算服务器与摄像头、显示屏分别进行通信；或者该边缘计算服务器(处理器)与摄像头、显示屏为一体机式设置，本发明实施例对此不作限定。

与上述方法实施例相对应，本发明实施例还提供了一种仰卧起坐姿态评估装置，如图11所示，该装置应用于边缘计算服务器，可以包括：视频获取模块1110、用户判断模块1120、事件触发模块1130、位置识别模块1140、数据确定模块1150、姿态评估模块1160、输出模块1170。

视频获取模块1110，用于获取第一视频；

用户判断模块1120，用于根据所述第一视频，判断用户是否进入预设的仰卧起坐区域；

事件触发模块1130，用于在所述用户进入所述仰卧起坐区域的情况下，触发对所述用户的仰卧起坐姿态检测事件；

位置识别模块1140，用于获取第二视频，针对所述第二视频中每帧第二图像，识别所述第二图像中所述用户的关键部位的骨骼关节点位置；

数据确定模块1150，用于根据所述用户的关键部位的所述骨骼关节点位置，确定所述第二图像对应的姿态数据，由所述第二视频中各所述第二图像各自对应的所述姿态数据组成所述用户仰卧起坐过程中的姿态数据；

姿态评估模块1160，用于从所述用户仰卧起坐过程中的所述姿态数据中选取目标姿态数据，与预设标准姿态数据进行比较，以评估所述用户的仰卧起坐姿态；

输出模块1170，用于将所述姿态数据标注于所述第二图像，输出所述第二图像至显示屏上进行呈现。

本发明实施例还提供了一种边缘计算服务器，如图12所示，包括处理器121、通信接口122、存储器123和通信总线124，其中，处理器121，通信接口122，存储器123通过通信总线124完成相互间的通信，

存储器123，用于存放计算机程序；

处理器121，用于执行存储器123上所存放的程序时，实现如下步骤：

获取第一视频，并根据所述第一视频，判断用户是否进入预设的仰卧起坐区域；在所述用户进入所述仰卧起坐区域的情况下，触发对所述用户的仰卧起坐姿态检测事件；获取第二视频，针对所述第二视频中每帧第二图像，识别所述第二图像中所述用户的关键部位的骨骼关节点位置；根据所述用户的关键部位的所述骨骼关节点位置，确定所述第二图像对应的姿态数据，由所述第二视频中各所述第二图像各自对应的所述姿态数据组成所述用户仰卧起坐过程中的姿态数据；从所述用户仰卧起坐过程中的所述姿态数据中选取目标姿态数据，与预设标准姿态数据进行比较，以评估所述用户的仰卧起坐姿态；以及将所述姿态数据标注于所述第二图像，输出所述第二图像至显示屏上进行呈现。

上述边缘计算服务器提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述边缘计算服务器与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的仰卧起坐姿态评估方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的仰卧起坐姿态评估方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在存储介质中，或者从一个存储介质向另一个存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种仰卧起坐姿态评估方法，其特征在于，应用于边缘计算服务器，所述方法包括：

获取第一视频，并根据所述第一视频，判断用户是否进入预设的仰卧起坐区域；

在所述用户进入所述仰卧起坐区域的情况下，触发对所述用户的仰卧起坐姿态检测事件；

获取第二视频，针对所述第二视频中每帧第二图像，识别所述第二图像中所述用户的关键部位的骨骼关节点位置；

根据所述用户的关键部位的所述骨骼关节点位置，确定所述第二图像对应的姿态数据，由所述第二视频中各所述第二图像各自对应的所述姿态数据组成所述用户仰卧起坐过程中的姿态数据；

从所述用户仰卧起坐过程中的所述姿态数据中选取目标姿态数据，与预设标准姿态数据进行比较，以评估所述用户的仰卧起坐姿态；

以及将所述姿态数据标注于所述第二图像，输出所述第二图像至显示屏上进行呈现。

2.根据权利要求1所述的方法，其特征在于，所述获取第一视频，包括：

在仰卧起坐检测模式下，获取第一视频；

所述根据所述第一视频，判断用户是否进入预设的仰卧起坐区域，包括：

针对所述第一视频中的第一图像，将所述第一图像输入至预设的人体位置检测模型，得到所述人体位置检测模型输出的所述第一图像中的用户位置；

将所述用户位置与预设的仰卧起坐区域位置进行比较，判断所述用户是否进入预设的仰卧起坐区域。

3.根据权利要求2所述的方法，其特征在于，所述人体位置检测模型具体通过以下方式得到：

获取多个目标用户各自对应的仰卧起坐视频，并对所述仰卧起坐视频进行抽帧处理，得到预设数量的仰卧起坐图像；

采用矩形框标注方式对所述预设数量的所述仰卧起坐图像进行人体目标标注，生成人体检测训练样本；

基于所述人体检测训练样本，对人体位置检测初始模型进行有监督训练，得到人体位置检测模型。

4.根据权利要求1所述的方法，其特征在于，所述识别所述第二图像中所述用户的关键部位的骨骼关节点位置，包括：

将所述第二图像输入至预设的人体姿态评估模型，获取所述人体姿态评估模型输出的所述第二图像中所述用户的关键部位的骨骼关节点位置。

5.根据权利要求4所述的方法，其特征在于，所述人体姿态评估模型具体通过以下方式得到：

获取多个目标用户各自对应的仰卧起坐视频，并对所述仰卧起坐视频进行抽帧处理，得到预设数量的仰卧起坐图像；

采用骨骼关节点标注方式对所述预设数量的所述仰卧起坐图像进行人体关节点标注，生成仰卧起坐姿态评估训练样本；

基于所述仰卧起坐姿态评估训练样本，对人体姿态评估初始模型进行有监督训练，得到人体姿态评估模型。

6.根据权利要求1所述的方法，其特征在于，所述根据所述用户的关键部位的所述骨骼关节点位置，确定所述第二图像对应的姿态数据，包括：

根据仰卧起坐方向，从所述骨骼关节点位置中选择多个目标骨骼关节点位置；

基于所述目标骨骼关节点位置，组成所述用户的目标关键部位对应的向量；

计算所述用户的目标关键部位对应的所述向量之间的夹角，确定所述夹角为所述第二图像对应的所述用户的目标关键部位对应的夹角。

7.根据权利要求6所述的方法，其特征在于，所述从所述用户仰卧起坐过程中的所述姿态数据中选取目标姿态数据，与预设标准姿态数据进行比较，以评估所述用户的仰卧起坐姿态，包括：

从各所述第二图像中选取目标时刻的所述第二图像对应的夹角，作为目标夹角，所述目标时刻包括仰卧时刻、起坐时刻以及仰卧复位时刻；

将所述目标夹角与预设标准夹角进行比较，以评估所述用户的仰卧起坐姿态。

8.根据权利要求7所述的方法，其特征在于，所述从各所述第二图像中选取目标时刻的所述第二图像对应的夹角，作为目标夹角，包括：

在检测开始后，计算第二图像各自对应的夹角的第一夹角和，确定所述第一夹角和最大的所述夹角，获取首个所述第一夹角和最大的所述夹角对应的所述第二图像的采集时刻，作为仰卧时刻；

获取所述仰卧时刻至第一目标时刻的第一时间段内所述第二图像对应的所述夹角，确定所述夹角和最小的所述夹角，获取所述夹角和最小的所述夹角对应的所述第二图像的采集时刻，作为起坐时刻；

选取每个仰卧起坐周期内所述仰卧时刻、所述起坐时刻的所述第二图像对应的夹角，作为目标夹角。

9.根据权利要求7所述的方法，其特征在于，所述方法还包括：

获取所述仰卧时刻与所述仰卧复位时刻之间的时间差，确定所述时间差为所述用户完成一次仰卧起坐的时间；

获取预设的仰卧起坐时间段，根据所述时间差确定所述用户所述仰卧起坐时间段内所述用户仰卧起坐完成的次数；

或者，

获取预设的仰卧起坐时间段，根据在所述时间段内一个完整的仰卧起坐周期的重复次数，得到所述用户的仰卧起坐完成的次数；

其中，所述一个完整的仰卧起坐周期包括：仰卧时刻、起坐时刻和仰卧复位时刻。

10.一种仰卧起坐姿态评估装置，其特征在于，应用于边缘计算服务器，所述装置包括：

视频获取模块，用于获取第一视频；

用户判断模块，用于根据所述第一视频，判断用户是否进入预设的仰卧起坐区域；

事件触发模块，用于在所述用户进入所述仰卧起坐区域的情况下，触发对所述用户的仰卧起坐姿态检测事件；

位置识别模块，用于获取第二视频，针对所述第二视频中每帧第二图像，识别所述第二图像中所述用户的关键部位的骨骼关节点位置；

数据确定模块，用于根据所述用户的关键部位的所述骨骼关节点位置，确定所述第二图像对应的姿态数据，由所述第二视频中各所述第二图像各自对应的所述姿态数据组成所述用户仰卧起坐过程中的姿态数据；

姿态评估模块，用于从所述用户仰卧起坐过程中的所述姿态数据中选取目标姿态数据，与预设标准姿态数据进行比较，以评估所述用户的仰卧起坐姿态；

输出模块，用于将所述姿态数据标注于所述第二图像，输出所述第二图像至显示屏上进行呈现。

11.一种边缘计算服务器，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1至9中任一项所述的方法步骤。

12.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至9中任一项所述的方法。

Images