CN113850160A

CN113850160A - 重复动作的计数方法及装置

Info

Publication number: CN113850160A
Application number: CN202111050497.4A
Authority: CN
Inventors: 付文艳
Original assignee: Orange Lion Sports Beijing Co Ltd
Current assignee: Orange Lion Sports Beijing Co Ltd
Priority date: 2021-09-08
Filing date: 2021-09-08
Publication date: 2021-12-28

Abstract

本说明书一个或多个实施例提供一种重复动作的计数方法及装置。该方法包括：从待检测视频中获得多张视频图像帧，并将获得的视频图像帧按照时间顺序排列以生成图像帧序列；针对所述图像帧序列中的视频图像帧所包含的预设目标对象，识别所述预设目标对象在所述视频图像帧中对应的对象关键点；基于所述对象关键点确定所述图像帧序列的时间自相似度，并根据所述时间自相似度确定所述预设目标对象的动作重复次数。

Description

重复动作的计数方法及装置

技术领域

本说明书一个或多个实施例涉及图像识别领域，尤其涉及一种重复动作的计数方法及装置。

背景技术

在对视频进行智能分析的过程中，通常存在对视频中拍摄对象做出的动作进行识别和计数的需求。例如在对人体运动视频中的人体可能连续做出重复性动作，如仰卧起坐、跳绳、开合跳等，此时需要识别上述重复性动作并对其进行计数。

在相关技术中，常通过动作识别模型对视频中出现的重复性动作进行计数。例如，要对视频中拍摄对象做出的某一重复性动作的重复次数进行统计，需要预先采集大量包含该动作的样本视频对动作识别模型进行训练，以使该模型能够识别出该动作，进而实现对该动作的计数。但这类模型通常仅能够对部分简单的基础动作进行识别和计数。

发明内容

有鉴于此，本说明书一个或多个实施例提供一种重复动作的计数方法及装置，以解决相关技术中存在的问题。

为实现上述目的，本说明书一个或多个实施例提供技术方案如下：

根据本说明书一个或多个实施例的第一方面，提出了一种重复动作的计数方法，包括：

从待检测视频中获得多张视频图像帧，并将获得的视频图像帧按照时间顺序排列以生成图像帧序列；

针对所述图像帧序列中的视频图像帧所包含的预设目标对象，识别所述预设目标对象在所述视频图像帧中对应的对象关键点；

基于所述对象关键点确定所述图像帧序列的时间自相似度，并根据所述时间自相似度确定所述预设目标对象的动作重复次数。

根据本说明书一个或多个实施例的第二方面，提出了另一种重复动作的计数方法，包括：

序列生成单元，用于从待检测视频中获得多张视频图像帧，并将获得的视频图像帧按照时间顺序排列以生成图像帧序列；

关键点识别单元，用于针对所述图像帧序列中的视频图像帧所包含的预设目标对象，识别所述预设目标对象在所述视频图像帧中对应的对象关键点；

次数确定单元，用于基于所述对象关键点确定所述图像帧序列的时间自相似度，并根据所述时间自相似度确定所述预设目标对象的动作重复次数。

根据本说明书一个或多个实施例的第三方面，提出了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如第一方面所述的方法。

根据本说明书一个或多个实施例的第四方面，提出了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。

附图说明

图1是一示例性实施例提供的一种动作识别系统的架构示意图。

图2是一示例性实施例提供的一种重复动作的计数方法的流程图。

图3是一示例性实施例提供的一种待检测视频中视频图像帧的示意图。

图4是一示例性实施例提供的一种人体关键点的示意图。

图5是一示例性实施例提供的一种关键点矩阵的示意图。

图6是一示例性实施例提供的一种时间自相似度矩阵的示意图。

图7是一示例性实施例提供的一种周期长度预测结果的示意图。

图8是一示例性实施例提供的一种动作重复次数计算过程的示意图。

图9是一示例性实施例提供的一种设备的结构示意图。

图10是一示例性实施例提供的重复动作的计数装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

图1是一示例性实施例提供的一种动作识别系统的架构示意图。如图1所示，该系统可以包括网络10、服务器11、若干电子设备，如手机12、手机13和手机14等。

服务器11可以为包含一独立主机的物理服务器，或者该服务器11可以为主机集群承载的虚拟服务器、云服务器等。手机12-14只是用户可以使用的一种类型的电子设备。实际上，用户显然还可以使用诸如下述类型的电子设备：平板设备、笔记本电脑、掌上电脑(PDAs，Personal Digital Assistants)、可穿戴设备(如智能眼镜、智能手表等)等，本说明书一个或多个实施例并不对此进行限制。网络10可以包括多种类型的有线或无线网络。

在一实施例中，服务器11可以与手机12-14进行配合；其中，可由手机12-14进行视频采集，并将采集到的视频通过网络10上传至服务器11，然后由服务器11基于本说明书的计数方案对接收到的视频进行处理，以实现对重复动作的计数。在另一实施例中，手机12-14可以独立实现本说明书的计数方案；其中，由手机12-14进行视频采集，并基于本说明书的计数方案对接收到的待检测视频进行处理，以实现对重复动作的计数。

下面结合附图对本说明书的重复动作的计数方案进行详细说明。

图2是一示例性实施例提供的一种重复动作的计数方法的流程图。如图2所示，该方法应用于检测设备，该检测设备例如可以为图1所示的服务器11或手机12-14等。该方法可以包括以下步骤：

步骤202，从待检测视频中获得多张视频图像帧，并将获得的视频图像帧按照时间顺序排列以生成图像帧序列。

本说明书所述的待检测视频是针对至少一个对象拍摄(即将至少一个对象作为拍摄对象进行拍摄)得到的视频。例如，视频画面中可以同时包含多个做重复动作的人；再例如，视频画面的前景可以为做重复动作的人、背景的墙上可以挂有摆动的挂钟等。本说明书的技术方案支持对于对象的选取，尤其是当视频画面包含多个做重复动作的对象时，可以仅针对所选取的对象(即下文中的预设目标对象)进行重复动作的计数，从而实现对象可控的重复动作计数方案。其中，所选取的对象可以为一个或多个，且所选取的对象可以为视频画面中的部分或全部对象，本说明书并不对此进行限制。

其中，本说明书所述的重复动作，即为待检测视频中的任一预设目标对象多次做出的相同或相似的动作，本说明书对于重复动作的具体形式并不进行限制。例如，在该预设目标对象为人体的情况下，重复动作可以为仰卧起坐、引体向上、跳绳、奔跑、开合跳、踩自行车踏板等多种形式。再例如，在预设目标对象为钟表的情况下，重复动作可以为钟表的钟摆做出的摆动动作。上述重复动作的重复周期可以为固定值，如上述钟摆按照每秒一次的固定周期摆动；或者，上述重复动作的重复周期也可以为非固定值，如人体在跳绳过程中由于体力消耗速度逐渐变慢等。本说明书所述的重复动作的计数方法，即用于识别待检测视频中预设目标对象所做出的重复动作，并对该动作的动作重复次数进行统计。

针对待检测视频，检测设备可以从待检测视频的视频图像帧中获得多张视频图像帧，并将获得的视频图像帧按照时间顺序排列以生成图像帧序列。其中，上述时间顺序即为各张视频图像帧在待检测视频中对应的时间顺序，即对应于各张视频图像帧在待检测视频中的先后顺序。检测设备可以通过多种方式从待检测视频中获得多种视频图像帧。例如，检测设备可以将待检测视频中的所有视频图像帧作为所述多张视频图像帧；或者，也可以按照预设间隔从待检测视频的所有视频图像帧中抽取所述多张视频图像帧。

如图3所示，待检测视频中包含P1、P2、…、PM共M张视频图像帧，各张视频图像帧中均包含预设目标对象，如P_M中的人体301。针对这一待检测视频，检测设备可以将全部M张视频图像帧按照原有顺序排列生成图像帧序列，此时生成的该图像帧序列中包含M张视频图像帧，且各张视频图像帧即图3所示的P1、P2、…、PM的顺序排列。或者，为减少后续处理过程中的计算量，检测设备也可以按照预设间隔从M张视频图像帧中抽取多张视频图像帧，并按照原有顺序排列生成图像帧序列。其中，上述预设间隔可以为间隔时间或者间隔图像帧个数，如可以间隔1张图像帧抽取一张，抽取P1、P3、…，共M/2张视频图像帧生成图像帧序列。另外，上述预设间隔可以根据重复动作的动作类型或速度进行调整，如对于相同帧率的两个待检测视频，若第一待检测视频和第二待检测视频对应的重复动作分别为跳绳和引体向上，则因为跳绳的时间周期通常小于和引体向上的时间周期(跳绳过程中绳子转一圈的耗时通常小于做完一个引体向上动作的耗时)，所以可以设置第一待检测视频对应的预设间隔小于第二待检测视频对应的预设间隔。其中，无论具体的预设间隔如何，均应当保证该预设间隔对应的图像帧张数小于一个完整重复动作对应的图像帧张数，以避免对重复动作计数出现遗漏。

另外，上述图像帧序列可以针对一个完整的待检测视频生成。或者，检测设备也可以将待检测视频拆分为多个视频片段，并针对每个片段分别生成相应的图像帧序列，相应地，后续可以针对各个图像帧序列分别确定出相应的动作重复次数。进而，检测设备可以将各个图像帧序列分别对应的动作重复次数的累加值，作为该待检测视频中预设目标对象所作出重复动作的总的动作重复次数。可以理解的是，视频片段越短，图像帧序列中的视频图像帧数量也越少，相应的处理耗时越短，越能够尽快确定出该视频片段对应的动作重复次数，计算过程的实时性越好。但是，也应当保证图像帧序列中的视频图像帧对应的时间长度不得小于重复动作的一个动作周期，以避免动作遗漏。所以在方案实践中，应当根据周期长度、实时性要求等实际情况设置合适的视频片段长度，不再赘述。

对于上述动作周期，需要说明的是：某一视频图像帧处于动作周期中，即表明在拍摄该图像帧的时刻，该图像帧中的预设目标对象正在做出重复动作。

步骤204，针对所述图像帧序列中的视频图像帧所包含的预设目标对象，识别所述预设目标对象在所述视频图像帧中对应的对象关键点。

如前所述，待检测视频中可能包含一个或多个做出重复动作的对象。检测设备可以在生成上述图像帧序列之前或之后确定相应的预设目标对象，以便识别图像帧序列的各张视频图像帧中的对象关键点。检测设备可以通过多种方式确定待检测视频中的预设目标对象。例如，检测设备可以预先识别待检测视频中的各个对象，并通过用户使用的展示设备展示任一视频图像帧中识别出的各个对象，以便用户从中选取需要进行识别的预设目标对象。其中，为便于用户选取，可以显示出各个对象的画面轮廓或、对象编号、对象名称等标识。在用户选取任一对象之后，该对象即被检测设备确定为预设目标对象。再例如，检测设备也可以指示用户使用的展示设备展示任一视频图像帧，以便用户在该视频图像帧中通过滑动手指或拖动鼠标等方式绘制某对象的轮廓或其对应的展示区域。相应地，检测设备可以将上述轮廓或展示区域指定的至少一个对象确定为预设目标对象。需要说明的是，上述展示设备可以为前述手机12-14，相应地，用户可以为手机12-14对应的普通用户。或者，上述展示设备也可以为前述服务器11对应的前端设备，此时的用户可以为服务器11对应的技术人员等。

如前所述，待检测视频是针对待检测视频拍摄得到的视频，所以待检测视频的每一张视频图像帧中都包含待检测视频。通常情况下，多张相邻视频图像帧中的预设目标对象构成一个完整的动作。要识别待检测视频中预设目标对象所做出的重复动作，需要先识别出每一张视频图像帧中的对象关键点。在一实施例中，若预设目标对象的画面中包含定位点，则检测设备可以通过识别各张视频图像帧中的定位点确定相应的对象关键点。如在预设目标对象为人体的情况下，人体所穿衣服的衣服可以为第一颜色，而衣服表面可以预先设置有多个定位点，从而检测设备可以通过识别各张视频图像帧中的定位点确定对象关键点的位置，将定位点作为对象关键点。

当然，通过定位点的方式识别对象关键点，需要预设目标对象在拍摄时即已预先设置有定位点，因而条件较为严苛。为识别不包含定位点的视频图像帧中的对象关键点，检测设备可以预先获取经过预训练的关键点识别模型，进而通过该模型识别图像帧序列中各张视频图像帧所包含预设目标对象的对象关键点。通过针对不同预设目标对象预先训练得到的关键点识别模型，检测设备可以识别出不同形式的预设目标对象的关键点。例如，通过包含人、宠物、自行车、钟表等不同对象的样本视频预先训练模型，能够分别得到针对上述不同对象的关键点识别模型，从而对于待检测视频，检测设备可以根据需要识别的动作对应的预设目标对象，使用相应的关键点识别模型识别出相应预设目标对象的对象关键点。其中，确定出的任一对象关键点为视频图像帧中的一个像素点。

例如，在所述预设目标对象为人体的情况下，检测设备可以通过人体关键点识别算法识别预设目标对象在视频图像帧中对应的对象关键点。以预设目标对象为人体为例，如图4所示，任一视频图像帧401中包含人体402，通过人体关键点识别算法，检测设备能够识别出人体402的人体关键点403。其中，任一人体402中共包含十三个人体关键点403：如头部一个、肩膀两侧各一个、两胳膊肘部各一个、两手部各一个、腰部两侧各一个、两腿膝部各一个、两脚部各一个。当然，上述人体关键点的个数可以在通过人体关键点识别算法训练人体关键点识别模型时即通过样本预先设置。其中，上述人体关键点识别算法可以包括下述之一：OpenPose、HRNet、HigherHRNet、CPM、MaskRCNN。通过这类算法识别视频图像帧中对象关键点的具体过程可以参见相关技术中的记载，此处不再赘述。

步骤206，基于所述对象关键点确定所述图像帧序列的时间自相似度，并根据所述时间自相似度确定所述预设目标对象的动作重复次数。

在识别出图像帧序列中各张视频图像帧所包含预设目标对象的对象关键点之后，检测设备可以基于识别出的对象关键点确定图像帧序列的时间自相似度，继而根据该时间自相似度确定待检测视频中预设目标对象的动作重复次数。

在一实施例中，可以通过图像帧序列中各个视频图像帧所包含对象关键点的坐标生成关键点矩阵，并通过关键点矩阵生成图像帧序列的时间自相似度矩阵，以用该矩阵表征图像帧序列的时间自相似度。例如，通过上述方式识别出的各个视频图像帧中的对象关键点个数相同，此时检测设备可以根据各张视频图像帧中所含的对象关键点生成待检测视频的关键点矩阵K_mn，其中，该矩阵的矩阵行数m为图像帧序列中视频图像帧的张数、矩阵列数n对应于任一视频图像帧中所包含对象关键点的个数，K_mn中任一行的各个元素值分别用于表征该行所对应视频图像帧中各个对象关键点的坐标。进一步的，检测设备可以根据上述K_mn生成图像帧序列的时间自相似度矩阵S_mm，该S_mm中的任一相似度值s_ij表征图像帧序列中第i张视频图像帧所包含对象关键点与第j张视频图像帧所包含对象关键点之间的相似程度，其中i，j∈[1,m]。

如图5所示的m×2n维的关键点矩阵K_mn，其中，m行元素分别对应于图像帧序列中的m张视频图像帧，2n列元素分别对应于各张视频图像帧中的n个对象关键点。其中，任一矩阵元素的元素值可以为任一对象关键点在相应视频图像帧中的坐标，如其中的“x23”和“y23”为图像帧序列中第二张视频图像帧的第三个对象关键点在该图像帧中的坐标值，其中的“x_mn”和“y_mn”为图像帧序列中第m张视频图像帧中的第n个对象关键点在该图像帧中的坐标值，不再一一赘述。可以理解的是，该关键点矩阵的列数之所以为2n，是因为图像帧序列中的各张视频图像帧均为二维的平面图像，对于任一视频图像帧中的任一对象关键点，需要x和y两个数值表示该关键点在该图像帧中的坐标。当然，在将本说明书方案应用在三维场景下，如待检测视频为全息影像构成的立体视频的情况下，任意对象关键点的坐标可以使用x、y和z三个数值表示，此时相应关键点矩阵的列数应当为任一视频图像帧中对象关键点个数的3倍。当然，任一对象关键点在关键点矩阵中对应的矩阵元素的表示方式，以及关键点矩阵的具体行数和列数可以根据方案应用过程中的实际情况进行设置，本说明书并不对此进行限制。

相应地，检测设备可以基于上述关键点矩阵K_mn生成时间自相似度矩阵S_mm。具体的，可以由关键点矩阵K_mn中的任一行与该矩阵中的其他各行依次计算行间相似度。可以理解的是，矩阵中的任一行可以视为一个一维行向量，所以关键点矩阵K_mn中的第i行与第j行的行间相似度，即可以为第i行向量与第j行向量之间的向量相似度。其中，任意两行对应的向量相似度，可以为两行各自对应行向量之间的余弦(cosine)相似度、欧氏距离、曼哈顿距离等，具体计算方式可以参见相关技术中的详细记载，此处暂不赘述。当然，对于任一关键点矩阵K_mn，在生成相应的时间自相似度矩阵S_mm的过程中，任意两行之间的相似度都应该使用同一算法计算得到，如均使用余弦相似度或者均使用欧式距离进行计算，特此说明。可见，在关键点矩阵的行数为m的情况下，通过上述方式计算得到的时间自相似度矩阵为m×m的矩阵。

承接于图5所示的关键点矩阵，相应的时间自相似度矩阵如图6所示。其中，时间自相似度矩阵S_mm中的任一元素s_ij的取值，即为关键点矩阵中第i行向量与第j行向量的向量相似度。以余弦相似度为例，元素s₂₃的取值为图5所示关键点矩阵中第2行与第3行之间的余弦相似度、元素s_mm的取值为图5所示关键点矩阵中第m行与自身的余弦相似度(即为1)，不再一一赘述。

由上述计算方式可知，通过关键点矩阵计算得到的时间自相似度矩阵中包含关键点矩阵中任一行与其他各行之间的相似度结果，而关键点矩阵中各行的取值分别为图像帧序列中各张视频图像帧内对象关键点的坐标值，所以时间自相似度矩阵中记录了图像帧序列中任意两张视频图像帧各自包含的对象关键点之间的相似度。显然，时间自相似度矩阵中s_ij的取值越大，表明图像帧序列中第i张视频图像帧所包含各个对象关键点和第j张视频图像帧所包含各个对象关键点之间越相似，进而表明两视频图像帧所包含预设目标对象对应的动作越相似。基于上述规律，检测设备可以根据时间自相似度矩阵确定预设目标对象的动作重复次数。

本说明书上述实施例均以关键点矩阵的行数对应图像帧序列中视频图像帧的张数、关键点矩阵的列数对应任一视频图像帧中对象关键点的个数为例进行说明。但可以理解的是，在方案实施过程中，完全可以令关键点矩阵的列数对应图像帧序列中视频图像帧的张数、关键点矩阵的行数对应任一视频图像帧中对象关键点的个数。如在图像帧序列中包括m张视频图像帧，任一视频图像帧中包含n个对象关键点的情况下，生成关键点矩阵Snm。相应的，可以依次计算关键点矩阵Snm中各列之间的时间似相似度，从而得到时间似相似度矩阵Kmm。具体处理过程与前述各实施例并不存在本质区别，不再赘述。

在预设目标对象做出重复动作的情况下，待检测视频中的某些视频图像帧所包含的预设目标对象可能正在做出重复动作，即在该视频图像帧对应的拍摄时刻预设目标对象正在做重复动作，这类视频图像帧即为处于动作周期内的周期图像帧。当然，待检测视频中通常除了包含预设目标对象做出的重复动作之外，还可能包含非重复动作，如预设目标对象在做出重复动作之前的准备阶段、多个重复动作中间的休息阶段、重复动作结束之后的休息阶段等做出的非重复动作。因此，图像帧序列中的任一视频图像帧所包含的预设目标对象可能并未在做出重复动作，即在该视频图像帧对应的拍摄时刻预设目标对象可能并未在做重复动作，将待检测视频中除上述周期图像帧之外的图像帧称为非周期图像帧。图像帧序列中任一图像帧可能为周期图像帧，也可能为非周期图像帧。另外如前所述，待检测视频中的预设目标对象做出重复动作的重复周期可能为非固定值(即预设目标对象作出重复动作的过程可能并非匀速)，因此任一视频图像帧所处动作周期的周期长度也并不固定。对此，检测设备可以根据上述时间自相似度矩阵确定各张视频图像帧中处于动作周期内的周期图像帧，以及各张周期图像帧所处动作周期的周期长度，进而可以根据各张周期图像帧所处动作周期的周期长度确定预设目标对象的动作重复次数。

其中，对于图像帧序列中的周期图像帧和各个周期图像帧分别所处动作周期的周期长度，检测设备可以将上述时间自相似度矩阵作为模型输入，利用经过预训练的周期预测模型预测各张视频图像帧中处于动作周期内的周期图像帧，以及各张周期图像帧所处动作周期的周期长度。其中，上述周期预测模型可以基于卷积神经网络搭建，并利用大量样本训练得到，如可以采用预先标注有真实结果的训练样本通过有监督学习过程训练得到。其中，该模型可以由检测设备训练；也可以由其他设备训练得到并部署在检测设备中；还可以部署在其他设备中，从而检测设备可以将上述时间自相似度矩阵发送至该设备，以由该设备利用本地部署的上述周期预测模型对时间自相似度矩阵进行处理，并将相应的预测结果返回至检测设备。

在一实施例中，为确定图像帧序列中的周期图像帧，检测设备可以依次确定各张视频图像帧分别处于动作周期内的概率值，进而根据该概率值对各张视频图像帧是否为周期图像帧作出判断：对于任一视频图像帧，若该视频图像帧对应的上述概率值大于概率阈值，则可以确定该视频图像帧为处于动作周期内的周期图像帧。通过该方式，能够较为准确地确定出图像帧序列中的各个周期图像帧。例如，上述概率阈值可以预先设置，如在上述概率值的取值范围为[0,1]的情况下，概率阈值可以为0.5，则若某视频图像帧对应的概率值小于0.5，则可以确定该图像帧为非周期图像帧；否则，若某视频图像帧对应的概率值不小于0.5，则可以确定该图像帧为周期图像帧。当然，上述概率阈值可以根据实际情况合理设置，本说明书并不对此进行限制。

在另一实施例中，检测设备可以通过图像帧序列中各张周期图像帧分别所处动作周期的周期长度确定待检测视频中预设目标对象的动作重复次数。例如，检测设备可以根据各张周期图像帧分别对应的预设特征值与各张周期图像帧所处动作周期的周期长度，依次确定各张周期图像帧在相应动作周期内的周期占比，进而按照各张周期图像帧在图像帧序列中的排列顺序，依次计算上述各张周期图像帧对应的周期占比累加值，最终分别对各张周期图像帧对应的周期占比累加值进行取整运算，并将运算结果作为待检测视频中的预设目标对象在相应周期图像帧处的动作重复次数。

以采用上述周期预测模型对图像帧序列中的周期图像帧和相应的周期长度进行预测为例，结合图7-8进行说明。将对应于m张视频图像帧的时间自相似度矩阵S_mm作为周期预测模型的入参输入周期预测模型后，该模型可以输出针对m张视频图像帧的预测结果，例如可以包括分别处于动作周期中的概率值class_conf和分别处于不同周期长度的动作周期中的多个概率值。

例如，对于任一视频图像帧Pi，该模型可以输出该视频图像帧处于动作周期中的概率值class_conf_i。该概率值用于表征视频图像帧Pi处于动作周期中的概率大小，如该值越大，可以表示视频图像帧Pi越有可能处于某一动作周期中；该值越小，可以表示视频图像帧Pi越有可能不处于任何动作周期中。可以理解的是，周期预测模型输出的各张视频图像帧对应的概率值class_conf_i往往并不相同，而且在待检测视频中存在重复动作的情况下，该概率值可能具有周期性——任一概率值周期可以对应于相应的动作周期。

对于上述视频图像帧Pi，该模型还可以输出该视频图像帧分别处于多个不同周期长度的动作周期中的概率值，如图7所示。其中，视频图像帧Pi处于周期长度为1的动作周期中的概率值为0、处于周期长度为2的动作周期中的概率值为0.01、…、处于周期长度为32的动作周期中的概率值为0.11。可见，该视频图像帧处于周期长度为4的动作周期中的概率最大，将相应的概率值0.80记为P4的max_len_conf_4，同时，4即为Pi的周期长度预测值。可以理解的是，上述最大周期长度32仅是示例性的，可以根据方案的实际应用场景进行调整。例如，该值可以与待检测周期的时间长度呈正相关，也可以与待检测视频的帧率呈负相关等。

另外，也可以预先设置最小周期长度，并根据该最小周期长度调整模型预测结果。承接于图7所示实施例，不妨假设设置最小周期长度为3。进而，若上述方式确定出的最大概率值对应的上述max_len_conf_i不大于3(如为1、2或3)，则可以在周期长度4-32分别对应的概率值中确定出最大概率值，并将该值对应的周期长度作为视频图像帧Pi的周期长度预测值。此时的该最大概率值作为视频图像帧Pi的max_len_conf_i。上述处理能够避免误判：预设目标对象为人体、待检测视频的帧率为30fps，则3张视频图像帧对应的时间长度也仅为0.1s左右。考虑到人体通常无法在0.1s左右完成一个周期性动作，所以进行上述调整，能够避免采用明显偏离实际情况的预测误差参与后续计算，以保证最终的动作计数结果具有较高的准确度。当然，上述最小周期长度可以根据预设目标对象的类型进行设置，如在预设目标对象为快速转动的齿轮的情况下，可以将上述最小周期长度设置为1(甚至不设置该值)，本说明书实施例对此并不进行限制。

基于周期预测模型输出的上述预测值，检测设备可以计算视频图像帧Pi对应的周期图像帧概率conf_i。由上述概率值的含义可知，各个概率值均与视频图像帧Pi处于动作周期中的可能性大小有关，因此可以通过下式(1)计算class_conf_i与max_len_conf_i之间的联合置信度，以作为视频图像帧Pi对应的周期图像帧概率conf_i：

conf_i＝(class_conf_i*max_len_conf1)^1/2 (1)

与视频图像帧Pi类似的，利用周期预测模型对于其他各张视频图像帧的预测结果(即其他各张视频图像帧分别处于动作周期中的概率值class_conf和分别处于不同周期长度的动作周期中的多个概率值)，检测设备可以依次计算各张视频图像帧的周期图像帧概率conf_2、conf_3、…conf_m。

以包含P1～P12共12张视频图像帧的视频片段为例。如图8所示，通过上述方式对12张视频图像帧分别计算得到的周期图像帧概率参见第1行.例如，假设模型输出的P4对应的class_conf_4＝0.60，而由图7可见max_len_conf_4＝0.80，所以通过上式(1)计算得到P4的周期图像帧的概率为0.65。不妨假设周期图像帧概率对应的预设阈值为0.5，则对第1行所示的周期图像帧概率进行二值化处理所得的二值化周期概率可参见图8中第2行。其中，二值化周期概率为0的视频图像帧即为非周期图像帧、二值化周期概率为1的视频图像帧即为周期图像帧。可见，在图8所示视频片段包含的12张视频图像帧中，P1(重复动作开始前)和P12(重复动作完成后)的二值化周期概率均为0，即二者均为非周期图像帧；其余视频图像帧的二值化周期概率均为1，即图像帧P2～P11均为周期图像帧。

对12张视频图像帧分别计算得到的周期长度预测值参见第3行，如预测P4(即第3张周期图像帧)所在动作周期的周期长度为4，该长度对应于前述max_len_conf_4＝0.80

进一步的，可以依次计算各个周期图像帧对应的周期占比，计算结果参见图8中第4行。其中，任一周期图像帧x的周期占比即用于表征该图像帧在自身所处动作周期对应的全部周期图像帧中的时间(或图像帧数)比重，可通过下述式(2)计算该值：

周期图像帧x的周期占比＝x的二值化周期概率*(1/x的周期长度预测值) (2)

例如，P2的周期占比＝P2的二值化周期概率*(1/P2的周期长度预测值)，即0.25＝1*(1/4)。可以理解的是，因为图像帧序列中的非周期图像帧对应的二值化周期概率均为0，所以各个非周期图像帧的周期占比均为0，并不会对后续周期图像帧的周期占比累加值产生影响。基于此，为保证计算过程的连续性，可以根据上述式(2)依次计算图像帧序列中各个视频图像帧的周期占比，而不必单独计算周期图像帧的周期占比。

进而，检测设备可以按照时间顺序依次计算各个视频图像帧对应的周期占比累加值，即将图像帧序列中各个视频图像帧的周期占比进行累加求和，结果参见图8中第5行。然后，检测设备可以对各个视频图像帧对应的周期占比累加值进行取整运算，结果参见第6行。其中，任一周期图像帧对应的累加值取整结果即为预设目标对象在该图像帧处的动作重复次数。例如，P4的累加值取整结果为0，表明目标对象在P4对应的时刻尚未做出重复动作，实际上，因为P4的二值化周期概率为1，所以可以确定在该视频片段中，P4对应的拍摄时刻预设目标对象正处于首次做出重复动作的过程中，如人体尚未完成一次完整的跳绳动作。再例如，P7的累加值取整结果为1，表明目标对象在P7时已经完成一次重复动作，P4对应的拍摄时刻预设目标对象正处于第二次做出重复动作的过程中，如人体已经完成第一次完整的跳绳动作，正在第二次做出跳绳动作。实际上，P2～P5对应预设目标对象首次做出重复动作的过程(已重复0次)、P6～P9对应预设目标对象第二次做出重复动作的过程(已重复1次)、P10～P11对应预设目标对象第三次做出重复动作的过程(已重复2次)。

需要说明的是，虽然P12的累加值取整结果为2，但是因为P2的二值化周期概率为0，所以应当确定该图像帧并不处于动作周期中，而不应视为该图像帧处于第三个动作周期中。通过上述方式可见，因为通过周期占比累加值确定预设目标对象对应的动作重复次数，即该结果考虑了相邻视频图像帧之间的累加效应，所以即便相邻动作周期长度不固定(如跳绳速度时快时慢)，应用该方案仍然能够较为准确的确定出预设目标对象对应的动作重复次数。

通过上述实施例，检测设备能够通过图像帧序列中各张视频图像帧内的对象关键点确定出图像帧序列的时间自相似度，进而根据该时间自相似度确定出预设目标对象的动作重复次数。在该方案中，并不需要预先对待识别的重复动作进行建模，方案处理过程简单高效。而且因为该方案基于预设目标对象的对象关键点识别重复动作，进而确定出相应的动作重复次数，所以对于预设目标对象和重复动作的具体形式并无特殊要求，因此能够方便地实现任意重复动作的识别与计数，而不仅限于简单动作。

图9是一示例性实施例提供的一种设备的示意结构图。请参考图9，在硬件层面，该设备包括处理器902、内部总线904、网络接口906、内存908以及非易失性存储器910，当然还可能包括其他业务所需要的硬件。本说明书一个或多个实施例可以基于软件方式来实现，比如由处理器902从非易失性存储器910中读取对应的计算机程序到内存909中然后运行。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

请参考图10，在一软件实施方式中，该重复动作的计数装置可以包括：

序列生成单元1001，用于从待检测视频中获得多张视频图像帧，并将获得的视频图像帧按照时间顺序排列以生成图像帧序列；

关键点识别单元1002，用于针对所述图像帧序列中的视频图像帧所包含的预设目标对象，识别所述预设目标对象在所述视频图像帧中对应的对象关键点；

次数确定单元1003，用于基于所述对象关键点确定所述图像帧序列的时间自相似度，并根据所述时间自相似度确定所述预设目标对象的动作重复次数。

可选地，所述序列生成单元1001还用于：

将待检测视频中的所有视频图像帧作为所述多张视频图像帧；或者，

按照预设间隔从所述待检测视频的所有视频图像帧中抽取所述多张视频图像帧。

可选地，所述预设目标对象为人体，所述关键点识别单元1002还用于：

通过人体关键点识别算法识别所述预设目标对象在所述视频图像帧中对应的对象关键点。

可选地，各张视频图像帧中的对象关键点个数相同，

所述装置还包括矩阵生成单元1004，用于根据各张视频图像帧中所含的对象关键点生成所述待检测视频的关键点矩阵K_mn，所述K_mn的矩阵行数m为所述图像帧序列中视频图像帧的张数、矩阵列数n对应于任一视频图像帧中所包含对象关键点的个数，所述K_mn中任一行的各个元素值分别用于表征该行所对应视频图像帧中各个对象关键点的坐标；

所述次数确定单元1003还用于：根据所述K_mn生成所述图像帧序列的时间自相似度矩阵S_mm，所述S_mm中的任一相似度值s_ij表征所述图像帧序列中第i张视频图像帧所包含对象关键点与第j张视频图像帧所包含对象关键点之间的相似程度，其中i，j∈[1,m]。

可选地，所述次数确定单元1003还用于：

根据所述S_mm确定各张视频图像帧中处于动作周期内的周期图像帧，以及各张周期图像帧所处动作周期的周期长度；

根据各张周期图像帧所处动作周期的周期长度确定所述预设目标对象的动作重复次数。

可选地，所述次数确定单元1003还用于：

依次确定各张视频图像帧分别处于动作周期内的概率值；

在任一视频图像帧对应的所述概率值大于概率阈值的情况下，确定该视频图像帧为处于动作周期内的周期图像帧。

可选地，所述次数确定单元1003还用于：

将所述S_mm作为模型输入，利用经过预训练的周期预测模型预测各张视频图像帧中处于动作周期内的周期图像帧，以及各张周期图像帧所处动作周期的周期长度。

可选地，各张周期图像帧分别对应于预设特征值，所述次数确定单元1003还用于：

根据各张周期图像帧分别对应的预设特征值与各张周期图像帧所处动作周期的周期长度，依次确定各张周期图像帧在相应动作周期内的周期占比；

按照各张周期图像帧在所述图像帧序列中的排列顺序，依次计算所述各张周期图像帧对应的周期占比累加值；

分别对各张周期图像帧对应的周期占比累加值进行取整运算，并将运算结果作为所述预设目标对象在相应周期图像帧处的动作重复次数。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

在一个典型的配置中，计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在本说明书一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims

1.一种重复动作的计数方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述从待检测视频中获得多张视频图像帧，包括：

3.根据权利要求1所述的方法，其特征在于，所述预设目标对象为人体，所述识别所述预设目标对象在所述视频图像帧中对应的对象关键点，包括：

4.根据权利要求1所述的方法，其特征在于，各张视频图像帧中的对象关键点个数相同，

所述方法还包括：根据各张视频图像帧中所含的对象关键点生成所述待检测视频的关键点矩阵K_mn，所述K_mn的矩阵行数m为所述图像帧序列中视频图像帧的张数、矩阵列数n对应于任一视频图像帧中所包含对象关键点的个数，所述K_mn中任一行的各个元素值分别用于表征该行所对应视频图像帧中各个对象关键点的坐标；

所述基于所述对象关键点确定所述图像帧序列的时间自相似度，包括：根据所述K_mn生成所述图像帧序列的时间自相似度矩阵S_mm，所述S_mm中的任一相似度值s_ij表征所述图像帧序列中第i张视频图像帧所包含对象关键点与第j张视频图像帧所包含对象关键点之间的相似程度，其中i，j∈[1,m]。

5.根据权利要求4所述的方法，其特征在于，所述根据所述时间自相似度确定所述预设目标对象的动作重复次数，包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述S_mm确定各张视频图像帧中处于动作周期内的周期图像帧，包括：

依次确定各张视频图像帧分别处于动作周期内的概率值；

7.根据权利要求5所述的方法，其特征在于，所述根据所述S_mm确定各张视频图像帧中处于动作周期内的周期图像帧，以及各张周期图像帧所处动作周期的周期长度，包括：

8.根据权利要求5所述的方法，其特征在于，各张周期图像帧分别对应于预设特征值，所述根据各张周期图像帧所处动作周期的周期长度确定所述预设目标对象的动作重复次数，包括：

9.一种重复动作的计数装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如权利要求1-8中任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，该指令被处理器执行时实现如权利要求1-8中任一项所述方法的步骤。