CN113469113A - 动作计数方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种动作计数方法、装置、电子设备和存储介质。用于有效的判定动作的规范并实现完全自动化计数。本申请实施例中，首先对视频图像进行人体关键点检测，并确定各帧视频图像的人体关键点信息，人体关键点信息包括对应的视频图像中目标人体的至少一个人体关键点；然后基于各帧图像的人体关键点信息，从各帧视频图像中确定出满足目标动作的预设起始条件的第一视频图像，以及从各帧视频图像中确定出满足目标动作的预设结束条件的第二视频图像；最后基于第一视频图像、第二视频图像和各帧图像的人体关键点信息，确定多帧视频图像中目标人体执行目标动作的数量。

Description

动作计数方法、装置、电子设备和存储介质

技术领域

本申请涉及视频检测技术领域，尤其涉及一种动作计数方法、装置、电子设备和存储介质。

背景技术

引体向上是一项较为常见的健身和锻炼运动，主要锻炼人体的上肢力量，是目前各类体育考核和体能测试项目之一，目前针对引体向上的动作计数和动作规范评判通常需要人工参与，并借助一些红外、超声波等引体向上装置，但是这些方法测试精度不高，比较浪费人力物力和时间。

目前采取的智能计数方法主要有：使用安装在单杠主体或水平两侧的压力传感器、红外传感器、超声波传感器的计数装置，这些计数装置仅能供单人单次使用，利用人体是否越线判断计数，无法有效判别动作的规范性且无法完全实现自动化测量。

发明内容

本申请的目的是提供一种动作计数方法、装置、电子设备和存储介质，用于有效的判定动作的规范实现完全自动化计数。

第一方面，本申请实施例提供了一种动作计数方法，包括：

对连续多帧视频图像中各帧视频图像中的目标人体进行人体关键点检测，确定所述各帧视频图像的人体关键点信息，所述人体关键点信息包括对应的视频图像中所述目标人体的至少一个人体关键点；

基于所述各帧图像的人体关键点信息，从所述各帧视频图像中确定出满足目标动作的预设起始条件的第一视频图像，以及从所述各帧视频图像中确定出满足所述目标动作的预设结束条件的第二视频图像；

基于所述第一视频图像、所述第二视频图像和所述各帧图像的人体关键点信息，确定所述多帧视频图像中所述目标人体执行所述目标动作的数量。

本申请中根据目标部位是否满足预设起始条件和预设结束条件实现了对动作的计数，同时可以根据目标部位的位置确定动作是否符合规范，并且在本申请实施例中，可以通过回溯视频图像指导测试人员的动作规范，在动作的过程中，无需人工参与，大大节省了人力物力。

在一些实施例中，所述对连续多帧视频图像中各帧视频图像中的目标人体进行人体关键点检测之前，包括：

将所述连续多帧视频图像输入人体检测模型，检测各帧视频图像上的各个候选人体，以及确定各个候选人体对应的频次；其中所述频次是基于所述连续多帧视频图像中检测到对应的候选人体的次数确定的；

将确定的各个频次中的最高值对应的候选人体，确定为所述目标人体。

本申请中通过根据候选人体出现的频次得到目标人体，可以大大提高后续对动作进行判别及计数的准确性。

在一些实施例中，所述对连续多帧视频图像中各帧视频图像中的目标人体进行人体关键点检测，确定所述各帧视频图像的人体关键点信息之前，所述方法还包括：

从所述连续多帧视频图像中去除符合干扰条件的视频图像；

其中，所述干扰条件包括以下中的任一种或组合：

所述目标人体在所述视频图像中所占比例小于第一预设值；

所述目标人体位于所述视频图像的边缘位置；

所述视频图像的交并比IOU小于第二预设值。

本申请中，对连续多帧视频图像进行了过滤，去除了不符合要求的视频图像，避免了对不符合要求的视频图像进行后续步骤造成的资源的浪费，且进一步提高了对动作识别和计数的准确性。

在一些实施例中，每个所述人体关键点对应一个目标部位，所述目标动作的预设起始条件包括以下中的至少一种：

所述目标人体的每组目标部位中，任意两个目标部位对应的人体关键点的横坐标之差在对应的误差范围内，其中每组包括至少两个目标部位；

所述目标人体的两组指定目标部位中，第一组指定目标部位对应的人体关键点之间的横坐标之差大于等于第二组指定目标部位对应的人体关键点之间的横坐标之差，其中每组包括两个目标部位。

在本申请实施例中，针对不同的动作可以设定不同的预设起始条件，大大增加本申请提供的动作计数方法的普适性。

在一些实施例中，所述动作为引体向上时，所述目标人体包括第一左侧组、第二左侧组、第一右侧组、第二右侧组，第一组指定目标部位，第二组指定目标部位；其中：

所述第一左侧组包括下列目标部位中的部分或全部：手腕、手肘、肩膀；

所述第二左侧组包括下列目标部位中的部分或全部：肩膀、臀部、膝盖；

所述第一右侧组包括下列目标部位中的部分或全部：手腕、手肘、肩膀；

所述第二右侧组包括下列目标部位中的部分或全部：肩膀、臀部、膝盖；

所述第一组指定目标部位包括：左侧手腕、右侧手腕；

所述第二组指定目标部位包括：左侧肩膀、右侧肩膀。

在本申请实施例中，针对不同的动作预设起始条件中的目标部位不同，在动作为引体向上时可以根据需求设定目标部位，并通过目标部位的位置确定是否满足预设起始条件；通过该方法可以精准的判定目标人体是否处于准备状态。

在一些实施例中，所述人体关键点均对应一个目标部位，所述目标动作的预设结束条件包括以下中的部分或全部：

所述目标人体的第三指定部位对应的人体关键点的纵坐标大于指定参照物的纵坐标；

所述目标人体的第四指定部位对应的人体关键点的纵坐标与指定高度的差值满足预设条件；

所述目标人体的两组指定目标部位中，第三组指定目标部位对应的人体关键点之间的横坐标之差大于等于第四组指定目标部位对应的人体关键点之间的横坐标之差，其中每组包括两个目标部位。

在本申请实施例中，针对不同的动作可以设定不同的预设结束条件，大大增加本申请提供的动作计数方法的普适性。

在一些实施例中，所述动作为引体向上时，所述指定参照物为单杠，所述第三指定部位为下巴，所述目标人体包括：第三组指定目标部位，第四组指定目标部位，其中：

所述第三组指定目标部位包括：左侧手腕、右侧手腕；

所述第四组指定目标部位包括：左侧肩膀、右侧肩膀。

在本申请实施例中，针对不同的动作预设结束条件中的目标部位不同，在动作为引体向上时可以根据需求设定目标部位，并通过目标部位的位置确定是否满足预设结束条件；通过该方法可以精准的判定目标人体的引体向上姿势是否标准。

第二方面本申请还提供了一种动作计数装置，所述装置包括：

人体关键点检测模块，用于对连续多帧视频图像中各帧视频图像中的目标人体进行人体关键点检测，确定所述各帧视频图像的人体关键点信息，所述人体关键点信息包括对应的视频图像中所述目标人体的至少一个人体关键点；

确定模块，用于基于所述各帧图像的人体关键点信息，从所述各帧视频图像中确定出满足目标动作的预设起始条件的第一视频图像，以及从所述各帧视频图像中确定出满足所述目标动作的预设结束条件的第二视频图像；

计数模块，用于基于所述第一视频图像、所述第二视频图像和所述各帧图像的人体关键点信息，确定所述多帧视频图像中所述目标人体执行所述目标动作的数量。

在一个实施例中，执行对连续多帧视频图像中各帧视频图像中的目标人体进行人体关键点检测之前，所述装置还包括：

目标人体检测模块，用于将所述连续多帧视频图像输入人体检测模型，检测各帧视频图像上的各个候选人体，以及确定各个候选人体对应的频次；其中所述频次是基于所述连续多帧视频图像中检测到对应的候选人体的次数确定的；

目标人体确定模块，用于将确定的各个频次中的最高值对应的候选人体，确定为所述目标人体。

在一个实施例中，所述对连续多帧视频图像中各帧视频图像中的目标人体进行人体关键点检测，确定所述各帧视频图像的人体关键点信之前，所述装置还包括：

去除模块，用于从所述连续多帧视频图像中去除符合干扰条件的视频图像；

其中，所述干扰条件包括以下中的任一种或组合：

所述目标人体在所述视频图像中所占比例小于第一预设值；

所述目标人体位于所述视频图像的边缘位置；

所述视频图像的交并比IOU小于第二预设值。

在一个实施例中，每个所述人体关键点对应一个目标部位，所述预设起始条件包括以下中的至少一种：

所述目标人体的每组目标部位中，任意两个目标部位对应的关键点的横坐标之差在对应的误差范围内，其中每组包括至少两个目标部位；

所述目标人体的两组指定目标部位中，第一组指定目标部位对应的关键点之间的横坐标之差大于等于第二组指定目标部位对应的关键点之间的横坐标之差，其中每组包括两个目标部位。

在一个实施例中，所述动作为引体向上时，所述目标人体包括第一左侧组、第二左侧组、第一右侧组、第二右侧组，第一组指定目标部位，第二组指定目标部位；其中：

所述第一左侧组包括下列目标部位中的部分或全部：手腕、手肘、肩膀；

所述第二左侧组包括下列目标部位中的部分或全部：肩膀、臀部、膝盖；

所述第一右侧组包括下列目标部位中的部分或全部：手腕、手肘、肩膀；

所述第二右侧组包括下列目标部位中的部分或全部：肩膀、臀部、膝盖；

所述第一组指定目标部位包括：左侧手腕、右侧手腕；

所述第二组指定目标部位包括：左侧肩膀、右侧肩膀。

在一个实施例中，每个所述人体关键点对应一个目标部位，所述预设结束条件包括以下中的部分或全部：

所述目标人体的第三指定部位对应的关键点的纵坐标大于指定参照物的纵坐标；

所述目标人体的第四指定部位对应的关键点的纵坐标与指定高度的差值满足预设条件；

所述目标人体的两组指定目标部位中，第三组指定目标部位对应的关键点之间的横坐标之差大于等于第四组指定目标部位对应的关键点之间的横坐标之差，其中每组包括两个目标部位。

在一个实施例中，所述动作为引体向上时，所述指定参照物为单杠，所述第三指定部位为下巴，所述目标人体包括：第三组指定目标部位，第四组指定目标部位，其中：

所述第三组指定目标部位包括：左侧手腕、右侧手腕；

所述第四组指定目标部位包括：左侧肩膀、右侧肩膀。

第三方面，本申请另一实施例还提供了一种电子设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面实施例提供的任一方法。

第四方面，本申请另一实施例还提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行本申请第一方面实施例提供的任一方法。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的动作计数方法的应用场景图；

图2本申请实施例提供的动作计数方法的整体流程图；

图3为本申请实施例提供的动作计数方法的人体框对应的概率值示意图；

图4为本申请实施例提供的动作计数方法的目标人体在视频图像中所占比例示意图；

图5为本申请实施例提供的动作计数方法的目标人体位于视频图像的示意图；

图6为本申请实施例提供的动作计数方法的目标部位对应一个关键点的示意图；

图7为本申请实施例提供的动作计数方法的目标人体为双臂伸直的示意图；

图8为本申请实施例提供的动作计数方法的目标人体身体为垂直状态的示意图；

图9A为本申请实施例提供的动作计数方法的目标人体的两脚之间的关键点大于等于两个肩膀对应的关键点的示意图；

图9B为本申请实施例提供的动作计数方法的目标部位关键点集示意图；

图10为本申请实施例提供的动作计数方法的目标人体双手握住单杠的示意图；

图11为本申请实施例提供的动作计数方法的识别人体头部框的示意图；

图12为本申请实施例提供的动作计数方法的整体流程图；

图13为本申请实施例提供的动作计数装置示意图；

图14为本申请实施例提供的动作计数方法的电子设备示意图。

具体实施方式

为了使本领域普通人员更好地理解本申请的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本申请的说明书和权利要求书的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

发明人研究发现，引体向上是一项较为常见的健身和锻炼运动，主要锻炼人体的上肢力量，是目前各类体育考核和体能测试项目之一，目前针对引体向上的动作计数和动作规范评判通常需要人工参与，并借助一些红外、超声波等引体向上装置，测试精度不高，比较浪费人力物力和时间。

目前采取的智能计数方法主要有：使用安装在单杠主体或水平两侧的压力传感器、红外传感器、超声波传感器的计数装置，这些计数装置仅能供单人单次使用，利用人体是否越线判断计数，无法有效判别动作的规范性且无法完全实现自动化测量。

有鉴于此，本申请提出了一种动作计数方法、装置、电子设备和存储介质，用于解决上述问题。本申请的发明构思可概括为：首先对连续多帧视频图像中各帧视频图像中的目标人体进行人体关键点检测，确定各帧视频图像的人体关键点信息，人体关键点信息包括对应的视频图像中目标人体的至少一个人体关键点；然后基于各帧图像的人体关键点信息，从各帧视频图像中确定出满足目标动作的预设起始条件的第一视频图像，以及从各帧视频图像中确定出满足目标动作的预设结束条件的第二视频图像；最后基于第一视频图像、第二视频图像和各帧图像的人体关键点信息，确定多帧视频图像中目标人体执行目标动作的数量。

如图1所示，为本申请实施例中的动作计数方法的应用场景图。图中包括：至少一个终端设备10、服务器20、存储器30；其中：

服务器20可以同时对终端设备101、终端设备102、终端设备103……采集的包含目标人体的连续多帧视频图像分别进行人体关键点检测，确定各帧视频图像的人体关键点信息，人体关键点信息包括对应的视频图像中目标人体的至少一个人体关键点；然后基于各帧图像的人体关键点信息，从各帧视频图像中确定出满足目标动作的预设起始条件的第一视频图像，以及从各帧视频图像中确定出满足目标动作的预设结束条件的第二视频图像；基于第一视频图像、第二视频图像和各帧图像的人体关键点信息，确定多帧视频图像中目标人体执行目标动作的数量。

采集的视频图像存储在存储器30中，在测试人员需要查看视频图像时，可以从存储器中获取视频图像进行回溯。

在另一实施例中，可以由终端设备10采集包含目标人体的连续多帧视频图像并进行人体关键点检测，并确定各帧视频图像的人体关键点信息，人体关键点信息包括对应的视频图像中目标人体的至少一个人体关键点；然后基于各帧图像的人体关键点信息，从各帧视频图像中确定出满足目标动作的预设起始条件的第一视频图像，以及从各帧视频图像中确定出满足目标动作的预设结束条件的第二视频图像；最后基于第一视频图像、第二视频图像和各帧图像的人体关键点信息，确定多帧视频图像中目标人体执行目标动作的数量。

本申请中的描述中仅就单个服务器或终端设备加以详述，但是本领域技术人员应当理解的是，示出的终端设备10、服务器20和存储器30旨在表示本申请的技术方案涉及的终端设备、服务器以及存储器的操作。对单个服务器和存储器加以详述至少为了说明方便，而非暗示对终端设备和服务器的数量、类型或是位置等具有限制。应当注意，如果向图示环境中添加附加模块或从其中去除个别模块，不会改变本申请的示例实施例的底层概念。另外，虽然为了方便说明而在图1中示出了从存储器30到服务器20的双向箭头，但本领域技术人员可以理解的是，上述数据的收发也可以通过网络实现的。

需要说明的是，本申请实施例中的存储器例如可以是缓存系统、也可以是硬盘存储、内存存储等等。此外，本申请提出的动作计数方法不仅适用于图1所示的应用场景，还适用于任何有动作计数需求的装置。

为了便于理解本申请提出的动作计数方法，下面结合附图对本申请实施例提供的动作计数方法进行详细说明。

如图2所示，本申请实施例提供的动作计数方法包括下列步骤：

步骤201：对连续多帧视频图像中各帧视频图像中的目标人体进行人体关键点检测，确定各帧视频图像的人体关键点信息，人体关键点信息包括对应的视频图像中目标人体的至少一个人体关键点；

步骤202：基于各帧图像的人体关键点信息，从各帧视频图像中确定出满足目标动作的预设起始条件的第一视频图像，以及从各帧视频图像中确定出满足目标动作的预设结束条件的第二视频图像；

步骤203：基于第一视频图像、第二视频图像和各帧图像的人体关键点信息，确定多帧视频图像中目标人体执行目标动作的数量。

在一些实施例中，为了避免其他人员对实验数据的影响，所以在对视频图像进行人体关键点检测之前；可实施以下方法：将连续多帧视频图像输入人体检测模型，检测各帧视频图像上的各个候选人体，以及确定各个候选人体对应的频次；其中频次是基于连续多帧视频图像中检测到对应的候选人体的次数确定的；将确定的各个频次中的最高值对应的候选人体，确定为目标人体。例如：如图3所示，在第一帧中出现了人体A和人体B，在第二帧中出现了人体A和人体C，在第三帧中出现了人体A和人体B，在第四帧中出现了人体A和人体D；则人体A的频次为4次，人体B的频次为2次，人体C的频次为1次，人体D的频次为1次；则可以确定人体A为目标人体。

通过该方法可以有效的识别视频图像中的目标人体，避免了对多个人体进行后续步骤造成的不必要的资源的浪费。

在一些实施例中，由于视频图像中包含多帧视频图像，但是有的视频图像不具有参考价值，所以为了减少资源的浪费，所以在进行关键点检测之前要先从连续多帧视频图像中去除符合干扰条件的视频图像；其中，干扰条件可以包括以下中的任一种或组合：

1、目标人体在视频图像中所占比例小于第一预设值。

在一些实施例中，目标人体可能距离相机较远，进而导致识别到的该目标人体的动作不具有参考价值，所以在本申请实施例中会去除距离相机较远的视频图像，具体可实施为：如图4所示，第一预设值设定为50％，目标人体A在第一帧中所占比例为80％，目标人体A在第二帧中所占的比例为30％，目标人体A在第三帧中所占比例为90％，目标人体A在第四帧中所占比例为40％；则将第二帧、第四帧去除。

2、目标人体位于视频图像的边缘位置。

在一些实施例中，目标人体可能处于视频图像的边缘位置，会导致识别到的动作不准确或识别到的动作不全，所以在进行动作识别之前要先剔除处于目标人体处于边缘的视频图像，具体可实施为：如图5所示，以视频图像的中心点建立平面坐标系，设定目标人体框上边缘距离中心点大于5则认定目标人体处于边缘位置；则根据识别的人体框确定该人体框上边缘与中心点的距离，如图5中所示，第一帧中人体框上边缘到中心点距离为4，第二帧中人体框上边缘到中心点的距离为6，第三帧中人体框上边缘到中心点的距离为3，第四帧中人体框上边缘到中心点的距离为6；则从连续多帧视频图像中去除第二帧和第四帧。

需要知道的是，上述举例中设定的数值，以及选取的中心点和上边缘均为一个实施例，其他数据、视频图像的其他点，人体框的任一位置均适用于本申请。

3、视频图像的交并比(Intersection-over-Union，IOU)小于第二预设值。

在一些实施例中，目标人体可能在移动，从而会导致识别到的目标人体模糊，动作识别错误，所以要剔除目标人体在移动的视频图像；在本申请实施例中，采用IOU值来确定目标人体是否在移动，其中IOU值越小说明目标人体在该视频图像中处于移动状态的可能性越高；具体可实施为：例如，将第二预设值设置为5，第一帧视频图像的IOU为4，第二帧视频图像中的IOU为8，第三帧视频图像的IOU为9，第四帧视频图像的IOU为3；则从连续多帧视频图像中去除第一帧和第四帧。

在一些实施例中，如图6所示，每个人体关键点对应一个目标部位；不同的动作可能包括不同的预设起始条件，在本申请实施例中，预设起始条件可包括以下中的至少一种：1、目标人体的每组目标部位中，任意两个目标部位对应的关键点的横坐标之差在对应的误差范围内，其中每组包括至少两个目标部位；2、目标人体的两组指定目标部位中，第一组指定目标部位对应的关键点之间的横坐标之差大于等于第二组指定目标部位对应的关键点之间的横坐标之差，其中每组包括两个目标部位。

为了便于理解下面举例说明不同动作的不同预设起始条件：

1、引体向上。

引体向上动作起始标准动作定义为：两手正握单杠，略宽于肩，两脚离地，两臂自然下垂伸直。

所以动作为引体向上时，要确定目标人体双臂为伸直状态，身体为垂直状态，同时双手间距大于等于间距。所以，目标人体包括第一左侧组、第二左侧组、第一右侧组、第二右侧组，第一组指定目标部位，第二组指定目标部位；其中：第一左侧组包括下列目标部位中的部分或全部：手腕、手肘、肩膀；第二左侧组包括下列目标部位中的部分或全部：肩膀、臀部、膝盖；第一右侧组包括下列目标部位中的部分或全部：手腕、手肘、肩膀；第二右侧组包括下列目标部位中的部分或全部：肩膀、臀部、膝盖；第一组指定目标部位包括：左侧手腕、右侧手腕；第二组指定目标部位包括：左侧肩膀、右侧肩膀。

首先确定目标人体为双臂伸直的状态，如图7所示，目标人体的左侧手腕、手肘、肩膀对应的关键点的横坐标之差在第一误差范围内，即左侧手腕、手肘、肩膀对应的关键点近似在一条直线上。同理，右侧手腕、手肘、肩膀对应的关键点的横坐标之差在第二误差范围内，即右侧手腕、手肘、肩膀对应的关键点近似在一条直线上。

然后确定目标人体身体为垂直状态，如图8所示，目标人体的左侧肩膀、臀部、膝盖对应的关键点的横坐标之差在第三误差范围内，右侧肩膀、臀部、膝盖对应的关键点的横坐标之差在第四误差范围内。

其中，上述第一误差范围、第二误差范围、第三误差范围、第四误差范围可以相同，也可以不同。

最后确定目标人体的两手之间的间距大于等于肩宽，可实施为，确定目标人体左右两侧手腕对应的关键点的横坐标的差值大于等于两个肩膀对应的关键点的横坐标的差值。

在本申请实施例中，为了使得动作信息可回溯，所以在目标人体满足预设起始条件时开始进行存储目标人体的关键点信息，直至满足预设结束条件时结束存储。通过存储目标人体的动作信息，可以指导训练测试人员的动作规范。

2、蹲起。

蹲起动作起始标准动作定义为：双手置于脑后，两脚之间间距略大于肩宽，身体站直。

所以，动作为蹲起时，第一组指定目标部位包括：左侧膝盖、右侧膝盖；第二组指定目标部位包括：左侧肩膀、右侧肩膀。

需要知道的是，在对其他动作进行计数时，本领域的技术人员可根据需求设定预设起始条件和预设结束条件中的目标部位。

如图9A所示，目标人体的两脚之间的关键点对应的横坐标的差值大于等于两个肩膀对应的关键点的横坐标的差值。

在一个实施例中，目标部位均对应一个关键点，不同的动作可能包括不同的预设结束条件，在本申请实施例中，预设结束条件可包括以下中的部分或全部：1、目标人体的第三指定部位对应的关键点的纵坐标大于指定参照物的纵坐标；2、目标人体的第四指定部位对应的关键点的纵坐标与指定高度的差值满足预设条件；3、目标人体的两组指定目标部位中，第三组指定目标部位对应的关键点之间的横坐标之差大于等于第四组指定目标部位对应的关键点之间的横坐标之差，其中每组包括两个目标部位。

在另一实施例中，如图9B所示(以下巴为例)，每个目标部位可对应一个关键点集，可以根据确定该关键点集中的中心点，并将该中心点作为该目标部位的关键点。

为了便于理解下面举例说明不同动作的不同预设起始条件：

1、引体向上。

引体向上动作起始标准动作定义为：两手正握单杠，略宽于肩，两脚离地，利用身体力量将身体往上拉起，使下巴超过单杠。

即在引体向上动作中，预设结束条件为：下巴超过单杠、双手间距略大于肩宽。在一个实施例中，动作为引体向上时，指定参照物为单杠，第三指定部位为下巴，目标人体包括：第三组指定目标部位，第四组指定目标部位，其中：第三组指定目标部位包括：左侧手腕、右侧手腕；第四组指定目标部位包括：左侧肩膀、右侧肩膀。其中，单杠的位置可以根据目标人体的手部关键点的位置确定，如图10所示，在目标人体双手握住单杠时，两手对应的关键点的纵坐标即为单杠的高度。

首先确定下巴对应的关键点的纵坐标大于单杠对应的纵坐标，然后确定目标人体的两手腕对应的关键点的横坐标和两个肩膀对应的关键点的横坐标，确定目标人体两手之间的间距大于等于两个肩膀之间的间距。

其中，下巴的位置除了根据关键点识别得到下巴的关键点外，如图11所示，还可以在识别人体框的时候同时识别人体头部框，根据人体头部框的下边缘和单杠的位置确定下巴是否超过单杠。

在一些实施例中，由于目标人体在引体向上过程中可能存在左右摇摆的过程，进而导致动作不标准，所以在本申请实施例中，可以根据用户满足预设结束条件时确定用户此时的双手的位置并和目标用户满足预设起始条件时的双手的位置进行比较，若位置发生了改变，则确定用户发生了左右摇摆，则本次引体向上动作不标准，并不进行计数。

2、蹲起。

动作为蹲起时，预设结束条件为：目标人体的第四指定部位对应的关键点的纵坐标与指定高度的差值满足预设条件；双手间距略大于肩宽。

例如：将目标人体的头顶作为指定部位，指定高度为n，预设条件为x，则目标人体的头顶的纵坐标与n的差值为x时，确定目标人体满足预设结束条件。

在一个实施例中，计数方式可实施为：依次累加计数，即在目标人体进行动作的过程中，确定目标人体满足一次预设起始条件和预设结束条件则加1；还可实施为：待目标人体结束运动后，统计目标人体满足预设起始条件和预设结束条件的次数，将次数少的作为目标人体的动作次数。

为了便于理解，下面对以引体向上为例，对本申请的整体流程进行详细说明，如图12所示：

步骤1201：持续采集视频图像；

步骤1202：每采集一帧视频图像，则对采集的连续多帧视频图像进行人体识别，得到每帧图像的目标人体框；

步骤1203：对目标人体框进行关键点检测，得到目标人体的目标部位；

步骤1204：判断是否满足预设起始条件，如果是，则执行步骤1205，否则执行步骤1202；

步骤1205：确定单杠位置；

步骤1206：开始存储目标人体的动作信息；

步骤1207：判断是否满足预设结束条件，如果是，则执行步骤1208，否则执行步骤1204；

步骤1208：对动作累加计数；

步骤1209：在预设时长内是否检测到目标人体满足预设起始条件的视频图像，如果是，则进入步骤1204，否则执行1210；

步骤1210：判断是否还有未识别的视频图像，如果是，则执行步骤1203，否则执行步骤1211；

步骤1211：确定此次运动计数结束，并输出对动作计数的结果。

本申请实施例通过人体识别和关键点识别确定目标人体的位置及动作，能够适应不同的运动速度；根据双手的关键点位置能够自动确定单杠位置，鲁棒性强，使用过程更加便捷。利用人体关键点位置及坐标和目标人体框的坐标等的同步变化信息进一步判断，可以过滤一定程度的误报，保证了测量效果的准确性；同时利用多个条件综合判断引体向上动作的标准性，提高了计数结果的准确率，全程无需人为干预，实现真正意义的智能化测量。

如图13所示，基于相同的发明构思，提出一种动作计数装置1300，包括：

人体关键点检测模块13001，用于对连续多帧视频图像中各帧视频图像中的目标人体进行人体关键点检测，确定所述各帧视频图像的人体关键点信息，所述人体关键点信息包括对应的视频图像中所述目标人体的至少一个人体关键点；

确定模块13002，用于基于所述各帧图像的人体关键点信息，从所述各帧视频图像中确定出满足目标动作的预设起始条件的第一视频图像，以及从所述各帧视频图像中确定出满足所述目标动作的预设结束条件的第二视频图像；

计数模块13003，用于基于所述第一视频图像、所述第二视频图像和所述各帧图像的人体关键点信息，确定所述多帧视频图像中所述目标人体执行所述目标动作的数量。

在一个实施例中，执行对连续多帧视频图像中各帧视频图像中的目标人体进行人体关键点检测之前，所述装置还包括：

目标人体检测模块，用于将所述连续多帧视频图像输入人体检测模型，检测各帧视频图像上的各个候选人体，以及确定各个候选人体对应的频次；其中所述频次是基于所述连续多帧视频图像中检测到对应的候选人体的次数确定的；

目标人体确定模块，用于将确定的各个频次中的最高值对应的候选人体，确定为所述目标人体。

在一个实施例中，所述对连续多帧视频图像中各帧视频图像中的目标人体进行人体关键点检测，确定所述各帧视频图像的人体关键点信之前，所述装置还包括：

去除模块，用于从所述连续多帧视频图像中去除符合干扰条件的视频图像；

其中，所述干扰条件包括以下中的任一种或组合：

所述目标人体在所述视频图像中所占比例小于第一预设值；

所述目标人体位于所述视频图像的边缘位置；

所述视频图像的交并比IOU小于第二预设值。

在一个实施例中，每个所述人体关键点对应一个目标部位，所述预设起始条件包括以下中的至少一种：

所述目标人体的每组目标部位中，任意两个目标部位对应的关键点的横坐标之差在对应的误差范围内，其中每组包括至少两个目标部位；

所述目标人体的两组指定目标部位中，第一组指定目标部位对应的关键点之间的横坐标之差大于等于第二组指定目标部位对应的关键点之间的横坐标之差，其中每组包括两个目标部位。

在一个实施例中，所述动作为引体向上时，所述目标人体包括第一左侧组、第二左侧组、第一右侧组、第二右侧组，第一组指定目标部位，第二组指定目标部位；其中：

所述第一左侧组包括下列目标部位中的部分或全部：手腕、手肘、肩膀；

所述第二左侧组包括下列目标部位中的部分或全部：肩膀、臀部、膝盖；

所述第一右侧组包括下列目标部位中的部分或全部：手腕、手肘、肩膀；

所述第二右侧组包括下列目标部位中的部分或全部：肩膀、臀部、膝盖；

所述第一组指定目标部位包括：左侧手腕、右侧手腕；

所述第二组指定目标部位包括：左侧肩膀、右侧肩膀。

在一个实施例中，每个所述人体关键点对应一个目标部位，所述预设结束条件包括以下中的部分或全部：

所述目标人体的第三指定部位对应的关键点的纵坐标大于指定参照物的纵坐标；

所述目标人体的第四指定部位对应的关键点的纵坐标与指定高度的差值满足预设条件；

所述目标人体的两组指定目标部位中，第三组指定目标部位对应的关键点之间的横坐标之差大于等于第四组指定目标部位对应的关键点之间的横坐标之差，其中每组包括两个目标部位。

在一个实施例中，所述动作为引体向上时，所述指定参照物为单杠，所述第三指定部位为下巴，所述目标人体包括：第三组指定目标部位，第四组指定目标部位，其中：

所述第三组指定目标部位包括：左侧手腕、右侧手腕；

所述第四组指定目标部位包括：左侧肩膀、右侧肩膀。

在介绍了本申请示例性实施方式的动作计数方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本申请的电子设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的动作计数方法中的步骤。

下面参照图14来描述根据本申请的这种实施方式的电子设备130。图14显示的电子设备130仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图14所示，电子设备130以通用电子设备的形式表现。电子设备130的组件可以包括但不限于：至少一个处理器131、至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。其中，处理器131被配置为执行本申请实施例提出的动作计数方法，存储器132用于存储采集的连续多帧视频图像。

总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。

存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备130交互的设备通信，和/或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。需要知道的是，上述各个电子设备130被配置为对动作进行计数时，可根据具体实施情况不连接网络适配器。上述各个电子器件均可根据具体的实施情况进行适当的增加或删除。

在一些可能的实施方式中，本申请提供的一种动作计数方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种动作计数方法中的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的用于动作计数的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务端上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种动作计数方法，其特征在于，所述方法包括：

对连续多帧视频图像中各帧视频图像中的目标人体进行人体关键点检测，确定所述各帧视频图像的人体关键点信息，所述人体关键点信息包括对应的视频图像中所述目标人体的至少一个人体关键点；

基于所述各帧图像的人体关键点信息，从所述各帧视频图像中确定出满足目标动作的预设起始条件的第一视频图像，以及从所述各帧视频图像中确定出满足所述目标动作的预设结束条件的第二视频图像；

基于所述第一视频图像、所述第二视频图像和所述各帧图像的人体关键点信息，确定所述多帧视频图像中所述目标人体执行所述目标动作的数量。

2.根据权利要求1所述的方法，其特征在于，所述对连续多帧视频图像中各帧视频图像中的目标人体进行人体关键点检测之前，所述方法还包括：

将所述连续多帧视频图像输入人体检测模型，检测各帧视频图像上的各个候选人体，以及确定各个候选人体对应的频次；其中所述频次是基于所述连续多帧视频图像中检测到对应的候选人体的次数确定的；

将确定的各个频次中的最高值对应的候选人体，确定为所述目标人体。

3.根据权利要求1所述的方法，其特征在于，所述对连续多帧视频图像中各帧视频图像中的目标人体进行人体关键点检测，确定所述各帧视频图像的人体关键点信息之前，所述方法还包括：

从所述连续多帧视频图像中去除符合干扰条件的视频图像；

其中，所述干扰条件包括以下中的任一种或组合：

所述目标人体在所述视频图像中所占比例小于第一预设值；

所述目标人体位于所述视频图像的边缘位置；

所述视频图像的交并比IOU小于第二预设值。

4.根据权利要求1所述的方法，其特征在于，每个所述人体关键点对应一个目标部位，所述目标动作的预设起始条件包括以下中的至少一种：

所述目标人体的每组目标部位中，任意两个目标部位对应的人体关键点的横坐标之差在对应的误差范围内，其中每组包括至少两个目标部位；

所述目标人体的两组指定目标部位中，第一组指定目标部位对应的人体关键点之间的横坐标之差大于等于第二组指定目标部位对应的人体关键点之间的横坐标之差，其中每组包括两个目标部位。

5.根据权利要求4所述的方法，其特征在于，所述动作为引体向上时，所述目标人体包括第一左侧组、第二左侧组、第一右侧组、第二右侧组，第一组指定目标部位，第二组指定目标部位；其中：

所述第一左侧组包括下列目标部位中的部分或全部：手腕、手肘、肩膀；

所述第二左侧组包括下列目标部位中的部分或全部：肩膀、臀部、膝盖；

所述第一右侧组包括下列目标部位中的部分或全部：手腕、手肘、肩膀；

所述第二右侧组包括下列目标部位中的部分或全部：肩膀、臀部、膝盖；

所述第一组指定目标部位包括：左侧手腕、右侧手腕；

所述第二组指定目标部位包括：左侧肩膀、右侧肩膀。

6.根据权利要求1所述的方法，其特征在于，所述人体关键点均对应一个目标部位，所述目标动作的预设结束条件包括以下中的部分或全部：

所述目标人体的第三指定部位对应的人体关键点的纵坐标大于指定参照物的纵坐标；

所述目标人体的第四指定部位对应的人体关键点的纵坐标与指定高度的差值满足预设条件；

所述目标人体的两组指定目标部位中，第三组指定目标部位对应的人体关键点之间的横坐标之差大于等于第四组指定目标部位对应的人体关键点之间的横坐标之差，其中每组包括两个目标部位。

7.根据权利要求6所述的方法，其特征在于，所述动作为引体向上时，所述指定参照物为单杠，所述第三指定部位为下巴，所述目标人体包括：第三组指定目标部位，第四组指定目标部位，其中：

所述第三组指定目标部位包括：左侧手腕、右侧手腕；

所述第四组指定目标部位包括：左侧肩膀、右侧肩膀。

8.一种动作计数装置，其特征在于，所述装置包括：

人体关键点检测模块，用于对连续多帧视频图像中各帧视频图像中的目标人体进行人体关键点检测，确定所述各帧视频图像的人体关键点信息，所述人体关键点信息包括对应的视频图像中所述目标人体的至少一个人体关键点；

确定模块，用于基于所述各帧图像的人体关键点信息，从所述各帧视频图像中确定出满足目标动作的预设起始条件的第一视频图像，以及从所述各帧视频图像中确定出满足所述目标动作的预设结束条件的第二视频图像；

计数模块，用于基于所述第一视频图像、所述第二视频图像和所述各帧图像的人体关键点信息，确定所述多帧视频图像中所述目标人体执行所述目标动作的数量。

9.一种电子设备，其特征在于，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任何一项所述的方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序用于使计算机执行权利要求1-7任何一项所述的方法。

Images