CN108664896A

CN108664896A - 基于OpenPose的击剑动作获取方法及计算机存储介质

Info

Publication number: CN108664896A
Application number: CN201810338998.4A
Authority: CN
Inventors: 彭友; 张其顺; 徐圣泽
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-04-16
Filing date: 2018-04-16
Publication date: 2018-10-16

Abstract

本发明提供一种基于OpenPose的击剑动作获取方法及计算机存储介质，其中，方法包括：利用OpenPose技术对训练人员击剑视频的每帧图像进行骨架识别得到训练人员动作骨架序列；根据所述训练人员动作骨架序列计算训练人员肢体躯干关节的训练人员角度集合序列。本发明能够在训练人员不佩戴传感器的情况下分析训练人员的击剑动作、速度方位、角度等与教练人员的差别。

Description

基于OpenPose的击剑动作获取方法及计算机存储介质

技术领域

本发明涉及视频图像处理技术领域，尤其涉及击剑动作视频帧的比对方法，具体来说就是一种基于OpenPose的击剑动作获取方法及计算机存储介质。

背景技术

随着人民生活水平的提高，身体健康、精神提升成为人们更高层面的追求。击剑运动是一种高雅的健身运动，同时也是一项国际竞技体育运动，对于提高身体素质和综合反应，提升心理素质都有很大的帮助。对于新手运动员来说，常常不能准确把握击剑时的距离、角度和时机。为了帮助击剑爱好者和击剑运动员提高击剑水平，需要有真人教练监督辅导击剑人员，击剑不同于拳击、跆拳道、体操等体育项目，击剑人员需要准确掌握出剑时机和正确的出剑距离，击剑人员还需要培养击剑距离感，只有这样，击剑人员才能提高击剑水平。因此，真人教练需要训练击剑人员出剑时机和出剑距离，矫正击剑人员的动作姿势，并传授一些击剑动作和技巧。

但是击剑的动作迅速，而且击剑人员还手持武器，教练很难通过肉眼分辨击剑人员的运动细节，也很难跟踪击剑人员身体动作细微的变化，出剑的方位、角度、速度、动作细节和击中点等都很难捕捉，而且专业的真人教练价格很高，并且需要协商时间，预定场地才能给予击剑人员专业指导，因而导致初入门击剑人员的水平很难提高。

为了追踪击剑人员身体动作的变化，现有技术在击剑人员身上安装体感传感器或者可穿戴传感器，通过体感传感器或者可穿戴传感器的位移来获取击剑人员身体动作的变化。但是，在击剑人员身上安装体感传感器或者可穿戴传感器，会给击剑人员训练过程中带来不适，甚至会影响击剑人员(尤其是击剑运动员)击剑水平的正常发挥。

因此，本领域技术人员亟需研发一种不需要击剑人员穿戴传感器即可获得击剑人员动作细节的方法，从而获取击剑人员的出剑时机和出剑距离。

发明内容

有鉴于此，本发明要解决的技术问题在于提供一种基于OpenPose的击剑动作获取方法及计算机存储介质，解决了现有技术中击剑人员身上不佩带传感器时，无法获取击剑人员出剑时机和出剑距离的问题。

为了解决上述技术问题，本发明的具体实施方式提供一种基于OpenPose的击剑动作获取方法，包括：利用OpenPose技术对训练人员击剑视频的每帧图像进行骨架识别得到训练人员动作骨架序列；根据所述训练人员动作骨架序列计算训练人员肢体躯干关节的训练人员角度集合序列。

本发明的具体实施方式还提供一种包含计算机执行指令的计算机存储介质，所述计算机执行指令经由数据处理设备处理时，该数据处理设备执行基于OpenPose的击剑动作获取方法。

根据本发明的上述具体实施方式可知，基于OpenPose的击剑动作获取方法及计算机存储介质至少具有以下有益效果：利用OpenPose技术对训练人员击剑视频的每帧图像进行骨架识别得到训练人员的动作骨架序列，计算训练人员肢体躯干关节的角度集合序列，结合动态时间归整(Dynamic Time Warping，DTW)算法将训练人员的角度集合序列与教练人员的角度集合序列进行自动比较发现差异，最后利用回溯算法去求解最优匹配动作，本发明不需要训练人员身上佩戴传感器就能够分析训练人员的击剑动作、速度、方位、角度等与教练人员的差别，帮助训练人员寻找差异，并纠正动作，提高训练效果。

应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本发明所欲主张的范围。

附图说明

下面的所附附图是本发明的说明书的一部分，其绘示了本发明的示例实施例，所附附图与说明书的描述一起用来说明本发明的原理。

图1为本发明具体实施方式提供的一种基于OpenPose的击剑动作获取方法的实施例一的流程图。

图2为本发明具体实施方式提供的一种基于OpenPose的击剑动作获取方法的实施例二的流程图。

图3为本发明具体实施方式提供的一种基于OpenPose的击剑动作获取方法的实施例三的流程图。

图4为本发明具体实施方式提供的一种基于OpenPose的击剑动作获取方法的实施例四的流程图。

图5为本发明具体实施方式提供的一种基于OpenPose的击剑动作获取系统的结构示意图。

图6为本发明具体实施方式提供的一种骨架识别结果肢体关节角度集合计算示意图。

图7为本发明具体实施方式提供的一种DTW动作角度集合序列计算结果示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述清楚说明本发明所揭示内容的精神，任何所属技术领域技术人员在了解本发明内容的实施例后，当可由本发明内容所教示的技术，加以改变及修饰，其并不脱离本发明内容的精神与范围。

本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。

关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，也非用以限定本发明，其仅为了区别以相同技术用语描述的元件或操作。

关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本创作。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。

关于本文中的“多个”包括“两个”及“两个以上”；关于本文中的“多组”包括“两组”及“两组以上”。

关于本文中所使用的用语“大致”、“约”等，用以修饰任何可以微变化的数量或误差，但这些微变化或误差并不会改变其本质。一般而言，此类用语所修饰的微变化或误差的范围在部分实施例中可为20％，在部分实施例中可为10％，在部分实施例中可为5％或是其他数值。本领域技术人员应当了解，前述提及的数值可依实际需求而调整，并不以此为限。

某些用以描述本申请的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本申请的描述上额外的引导。

图1为本发明具体实施方式提供的一种基于OpenPose的击剑动作获取方法的实施例一的流程图，如图1所示，先对训练人员击剑视频的每帧图像进行骨架识别，然后计算训练人员肢体躯干关节的训练人员角度集合序列。

该附图所示的具体实施方式中，基于OpenPose的击剑动作获取方法包括：

步骤101：利用OpenPose技术对训练人员击剑视频的每帧图像进行骨架识别得到训练人员动作骨架序列。本发明的实施例中，OpenPose技术将人体姿态作为一个整体来处理，用来实时地追踪和检测击剑人员的多个关键特征点。训练人员击剑视频由多个视频帧组成，利用OpenPose技术识别一张视频帧得到一个训练人员动作骨架，识别多张视频帧得到训练人员动作骨架序列。

步骤102：根据所述训练人员动作骨架序列计算训练人员肢体躯干关节的训练人员角度集合序列。本发明的实施例中，以训练人员动作骨架中某个关键特征点(通常为人体关节点)作为参考点，可以得到其它关键特征点相对于该参考点的角度及位置关系。

参见图1，不需要训练人员身上佩戴传感器就能够分析训练人员的训练动作和击剑方位、角度等与教练人员的差别，帮助训练人员寻找差异，并纠正动作，提高训练效果。

图2为本发明具体实施方式提供的一种基于OpenPose的击剑动作获取方法的实施例二的流程图，如图2所示，同样利用上述方案处理教练人员击剑视频，比对训练人员角度集合序列和教练人员角度集合序列之间的相似度。

该附图所示的具体实施方式中，在步骤102之后，基于OpenPose的击剑动作获取方法还包括：

步骤103：利用OpenPose技术对教练人员击剑视频的每帧图像进行骨架识别得到教练人员动作骨架序列。本发明的实施例中，教练人员击剑视频是标准动作视频，是训练人员模仿的对象。

步骤104：根据所述教练人员动作骨架序列计算教练人员肢体躯干关节的教练人员角度集合序列。

步骤105：利用动态时间归整算法(Dynamic Time Warping，DTW)比对所述训练人员角度集合序列和所述教练人员角度集合序列之间的相似度。本发明的实施例中，动态时间归整算法基于动态规划的思想，可以解决序列时间长短不一的模板匹配问题，从而找到最大匹配。

参见图2，将训练人员角度集合序列和教练人员角度集合序列进行比对，找出二者之间的相似度，与教练人员的动作相比，可以轻易查找出训练人员动作、速度、角度、方位的不足。

图3为本发明具体实施方式提供的一种基于OpenPose的击剑动作获取方法的实施例三的流程图，如图3所示，利用回溯算法求解训练人员和教练人员之间的最优匹配动作。

该附图所示的具体实施方式中，在步骤105之后，基于OpenPose的击剑动作获取方法还包括：

步骤106：根据所述相似度利用回溯算法求解训练人员和教练人员之间的最优匹配动作。本发明的实施例中，步骤106具体包括：利用最优路径回溯算法求解训练人员和教练人员之间的最优匹配动作。求解出训练人员和教练人员之间的最优匹配动作，方便训练人员发现自己与教练人员之间的差异，针对性进行动作纠正。

参见图3，求解出训练人员和教练人员之间的最优匹配动作，训练人员能够与教练人员的标准动作进行比较分析，发现动作差异，提高动作质量。

图4为本发明具体实施方式提供的一种基于OpenPose的击剑动作获取方法的实施例四的流程图，如图4所示，利用回溯算法求解训练人员和教练人员之间的匹配时间间隔。

该附图所示的具体实施方式中，基于OpenPose的击剑动作获取方法还包括：

步骤107：根据所述相似度利用回溯算法求解训练人员和教练人员之间的匹配时间间隔。本发明的实施例中，求解训练人员和教练人员之间的匹配时间间隔，能够让训练人员把握出剑时机。

参见图4，求解出训练人员和教练人员之间的匹配时间间隔，能够培养训练人员的距离感，让训练人员把握出剑时机，纠正不规范动作，提高击剑训练质量；能够按照训练人员的训练状况给出训练建议、制定训练计划，用户体验度好。

本发明的具体实施例中，所述训练人员角度集合序列θ_t的具体计算公式为：

θ_t＝{θ_i}

其中，i＝1,2,…,14。

所述相似度DTW[n,m]的具体计算公式为：

其中，为训练人员角度集合序列；为教练人员角度集合序列；m和n为长度。

本发明的具体实施例中，步骤101具体包括：利用OpenPose技术从训练人员击剑视频中抽取图像帧；根据所述图像帧获取骨架动作和关节点索引；根据所述骨架动作得到所述训练人员动作骨架序列。

本发明的具体实施例中，步骤102具体包括：根据所述关节点索引计算关节点之间的向量角度；根据所述训练人员动作骨架序列和所述向量角度计算训练人员肢体躯干关节的训练人员角度集合序列。

图5为本发明具体实施方式提供的一种基于OpenPose的击剑动作获取系统的结构示意图，如图5所示，训练人员(击剑人员)在剑道1中，对准靶位2进行击剑动作，采集单元3(例如摄像头)记录训练人员的击剑视频，采集单元3将记录的训练人员击剑视频传送给处理器4(例如计算机、服务器等)，处理器4根据训练人员击剑视频得到训练人员角度集合序列；数据库5中存储有教练人员击剑视频，处理器4从数据库5中获取教练人员击剑视频，并根据教练人员击剑视频得到教练人员角度集合序列；处理器4利用动态时间归整算法比对训练人员角度集合序列和教练人员角度集合序列之间的相似度，进而利用回溯算法求解训练人员和教练人员之间的最优匹配动作。

图6为本发明具体实施方式提供的一种骨架识别结果肢体关节角度集合计算示意图，如图6所示，肢体关节点组成人身骨架，肢体关节点之间的距离即为骨架长度，为得到骨架动作和关节点索引，通过肢体关节点之间的坐标信息，计算各个肢体关节点间的向量角度。

图7为本发明具体实施方式提供的一种DTW动作角度集合序列计算结果示意图，如图7所示，象限内上面的线段C1为训练人员的骨架视频序列，下面的线段C2为教练人员的骨架视频序列，按照最优路径进行回溯，得到最优的骨架对应关系，让训练人员直观看到自己与教练人员击剑动作、速度、方位和角度的差异，纠正训练人员的动作，提高训练效果。

本发明具体实施方式提供一种包含计算机执行指令的计算机存储介质，所述计算机执行指令经由数据处理设备处理时，该数据处理设备执行基于OpenPose的击剑动作获取方法。该方法包括以下步骤：

步骤101：利用OpenPose技术对训练人员击剑视频的每帧图像进行骨架识别得到训练人员动作骨架序列。

步骤102：根据所述训练人员动作骨架序列计算训练人员肢体躯干关节的训练人员角度集合序列。

本发明具体实施方式还提供一种包含计算机执行指令的计算机存储介质，所述计算机执行指令经由数据处理设备处理时，该数据处理设备执行基于OpenPose的击剑动作获取方法。该方法包括以下步骤：

步骤103：利用OpenPose技术对教练人员击剑视频的每帧图像进行骨架识别得到教练人员动作骨架序列。

步骤105：利用动态时间归整算法比对所述训练人员角度集合序列和所述教练人员角度集合序列之间的相似度。

步骤106：根据所述相似度利用回溯算法求解训练人员和教练人员之间的最优匹配动作。

本发明具体实施例提供一种基于OpenPose的击剑动作获取方法及计算机存储介质，利用OpenPose技术对训练人员击剑视频的每帧图像进行骨架识别得到训练人员的动作骨架序列，计算训练人员肢体躯干关节的角度集合序列，结合动态时间归整算法将训练人员的角度集合序列与教练人员的角度集合序列进行自动比较发现差异，最后利用回溯算法去求解最优匹配动作，本发明不需要训练人员身上佩戴传感器就能够分析训练人员的击剑动作、速度、方位、角度等与教练人员的差别，帮助训练人员寻找差异，并纠正动作，提高训练效果。

上述的本发明实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本发明的实施例也可为在数据信号处理器(Digital Signal Processor，DSP)中执行上述方法的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable GateArray，FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。

以上所述仅为本发明示意性的具体实施方式，在不脱离本发明的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与修改，均应属于本发明保护的范围。

Claims

1.一种基于OpenPose的击剑动作获取方法，其特征在于，该方法包括：

利用OpenPose技术对训练人员击剑视频的每帧图像进行骨架识别得到训练人员动作骨架序列；以及

根据所述训练人员动作骨架序列计算训练人员肢体躯干关节的训练人员角度集合序列。

2.如权利要求1所述的基于OpenPose的击剑动作获取方法，其特征在于，该方法还包括：

利用OpenPose技术对教练人员击剑视频的每帧图像进行骨架识别得到教练人员动作骨架序列；

根据所述教练人员动作骨架序列计算教练人员肢体躯干关节的教练人员角度集合序列；以及

利用动态时间归整算法比对所述训练人员角度集合序列和所述教练人员角度集合序列之间的相似度。

3.如权利要求2所述的基于OpenPose的击剑动作获取方法，其特征在于，该方法还包括：

根据所述相似度利用回溯算法求解训练人员和教练人员之间的最优匹配动作。

4.如权利要求3所述的基于OpenPose的击剑动作获取方法，其特征在于，利用回溯算法求解训练人员和教练人员之间的最优匹配动作的步骤，具体包括：

利用最优路径回溯算法求解训练人员和教练人员之间的最优匹配动作。

5.如权利要求3所述的基于OpenPose的击剑动作获取方法，其特征在于，该方法还包括：

根据所述相似度利用回溯算法求解训练人员和教练人员之间的匹配时间间隔。

6.如权利要求2所述的基于OpenPose的击剑动作获取方法，其特征在于，所述训练人员角度集合序列θ_t的具体计算公式为：

θ_t＝{θ_i}

其中，i＝1,2,…,14。

7.如权利要求6所述的基于OpenPose的击剑动作获取方法，其特征在于，所述相似度DTW[n,m]的具体计算公式为：

8.如权利要求1所述的基于OpenPose的击剑动作获取方法，其特征在于，利用OpenPose技术对训练人员击剑视频的每帧图像进行骨架识别得到训练人员动作骨架序列的步骤，具体包括：

利用OpenPose技术从训练人员击剑视频中抽取图像帧；

根据所述图像帧获取骨架动作和关节点索引；以及

根据所述骨架动作得到所述训练人员动作骨架序列。

9.如权利要求8所述的基于OpenPose的击剑动作获取方法，其特征在于，根据所述训练人员动作骨架序列计算训练人员肢体躯干关节的训练人员角度集合序列的步骤，具体包括：

根据所述关节点索引计算关节点之间的向量角度；以及

根据所述训练人员动作骨架序列和所述向量角度计算训练人员肢体躯干关节的训练人员角度集合序列。

10.一种包含计算机执行指令的计算机存储介质，所述计算机执行指令经由数据处理设备处理时，该数据处理设备执行权利要求1～9任一所述的基于OpenPose的击剑动作获取方法。