CN114708660A - 基于平均序列求法的网球动作评分方法、系统及设备 - Google Patents

基于平均序列求法的网球动作评分方法、系统及设备 Download PDF

Info

Publication number
CN114708660A
CN114708660A CN202210356818.1A CN202210356818A CN114708660A CN 114708660 A CN114708660 A CN 114708660A CN 202210356818 A CN202210356818 A CN 202210356818A CN 114708660 A CN114708660 A CN 114708660A
Authority
CN
China
Prior art keywords
sequence
action
average
video
evaluated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210356818.1A
Other languages
English (en)
Inventor
周升儒
陈雪晨
冯锦祥
陈志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202210356818.1A priority Critical patent/CN114708660A/zh
Publication of CN114708660A publication Critical patent/CN114708660A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例中提供了一种基于平均序列求法的网球动作评分方法、系统及设备，属于图像处理技术领域，具体包括：获取标准动作视频和待评分动作视频；识别标准动作视频中的人体关节点，得到二维的标准动作坐标点序列，以及，识别待评分动作视频中的人体关节点，得到二维的待评分动作坐标点序列；利用平均序列求法将待评分动作坐标点序列进行迭代压缩，得到平均序列；利用动态时间规整算法将平均序列和标准动作坐标点序列进行比对，得到待评分动作视频对应的评分值。通过本公开的方案，将人体姿态识别、平均序列求法和动态时间规整算法结合，将标准动作的人体姿态点序列和平均序列求法压缩后的动作序列进行比对得到评分，提高了评分效率和精准度。

Description

基于平均序列求法的网球动作评分方法、系统及设备
技术领域
本公开实施例涉及图像处理技术领域，尤其涉及一种基于平均序列求法的网球动作评分方法、系统及设备。
背景技术
目前，随着中国的网球运动员在国际赛场上大放异彩，国内的网球运动越来越收到国家与高校的重视，网球的科学训练方法也变得越来越重要。网球训练评估主要依赖于人为实践经验，没有统一的评估标准，这样不但对教师的相关网球经验要求较高，并且在网球的训练过程中，采用人为的评估并且单一地通过人眼来对网球动作的标准性进行识别无疑会耗费大量的人力与物力，并且网球训练的实际模式，网球训练的动作往往是多个重复动作的序列，那么每个动作进行标准度的判断无疑会耗费大量的时间与算力。
可见，亟需一种高效精准的基于平均序列求法的网球动作评分方法。
发明内容
有鉴于此，本公开实施例提供一种基于平均序列求法的网球动作评分方法、系统及设备，至少部分解决现有技术中存在评分效率和精准度较差的问题。
第一方面，本公开实施例提供了一种基于平均序列求法的网球动作评分方法，包括：
获取标准动作视频和待评分动作视频；
识别所述标准动作视频中的人体关节点，得到二维的标准动作坐标点序列，以及，识别所述待评分动作视频中的人体关节点，得到二维的待评分动作坐标点序列；
利用平均序列求法将所述待评分动作坐标点序列进行迭代压缩，得到平均序列；
利用动态时间规整算法将所述平均序列和所述标准动作坐标点序列进行比对，得到所述待评分动作视频对应的评分值。
根据本公开实施例的一种具体实现方式，所述识别所述待评分动作视频中的人体关节点，得到二维的待评分动作坐标点序列的步骤，包括：
利用CMP方法将所述待评分动作视频的每一帧输入卷积神经网络，通过非极大值抑制的方法获得身体关节点的候选区域直到收敛得到每一帧的置信图；
将所述待评分动作视频的每一帧输入所述卷积神经网络得到人体关节点之间的向量场集合并进行重复迭代，直到收敛得到关节点亲和场；
根据全部所述置信图和所述关节点亲和场，将所述待评分动作视频中的多人检测问题转化为二分图匹配问题，并采用匈牙利算法求得相连关键点最优匹配，得到所述待评分动作坐标点序列。
根据本公开实施例的一种具体实现方式，所述利用平均序列求法将所述待评分动作坐标点序列进行迭代压缩，得到平均序列的步骤，包括：
以所述待评分动作坐标点序列中第一个序列点作为初始序列；
利用所述动态时间规整算法将所述初始序列依次与所述待评分动作坐标点序列中的每个序列点计算，得到每个所述序列点对应的新序列并计算全部新序列的平均值；
依次以所述待评分动作坐标点序列中的下一个序列点作为所述初始序列并重复计算平均值，得到所述平均序列。
根据本公开实施例的一种具体实现方式，所述利用动态时间规整算法将所述平均序列和所述标准动作坐标点序列进行比对，得到所述待评分动作视频对应的评分值的步骤，包括：
根据所述平均序列和所述标准动作坐标点序列的长度构建目标矩阵并将所述目标矩阵左下角作为起点位置，将所述目标矩阵右上角作为终点位置；
使用所述动态时间规整算法计算从所述起点位置到所述终点位置距离的最小路径和；
将所述最小路径和进行百分制转化，得到所述待评分动作视频对应的评分值。
根据本公开实施例的一种具体实现方式，所述使用所述动态时间规整算法计算从所述起点位置到所述终点位置距离的最小路径和的步骤，包括：
计算所述平均序列和所述标准动作坐标点序列中每个点相应的距离；
根据所述目标矩阵中每个元素的代价计算一条距离最短的路径，得到所述最小路径和。
第二方面，本公开实施例提供了一种基于平均序列求法的网球动作评分系统，包括：
获取模块，用于获取标准动作视频和待评分动作视频；
识别模块，用于识别所述标准动作视频中的人体关节点，得到二维的标准动作坐标点序列，以及，识别所述待评分动作视频中的人体关节点，得到二维的待评分动作坐标点序列；
压缩模块，用于利用平均序列求法将所述待评分动作坐标点序列进行迭代压缩，得到平均序列；
评分模块，用于利用动态时间规整算法将所述平均序列和所述标准动作坐标点序列进行比对，得到所述待评分动作视频对应的评分值。
第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：
至少一个处理器；以及，
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述第一方面或第一方面的任一实现方式中的基于平均序列求法的网球动作评分方法。
本公开实施例中的基于平均序列求法的网球动作评分方案，包括：获取标准动作视频和待评分动作视频；识别所述标准动作视频中的人体关节点，得到二维的标准动作坐标点序列，以及，识别所述待评分动作视频中的人体关节点，得到二维的待评分动作坐标点序列；利用平均序列求法将所述待评分动作坐标点序列进行迭代压缩，得到平均序列；利用动态时间规整算法将所述平均序列和所述标准动作坐标点序列进行比对，得到所述待评分动作视频对应的评分值。
本公开实施例的有益效果为：通过本公开的方案，将人体姿态识别、平均序列求法和动态时间规整算法结合，将标准动作的人体姿态点序列和平均序列求法压缩后的动作序列进行比对得到评分，提高了评分效率和精准度。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本公开实施例提供的一种基于平均序列求法的网球动作评分方法的流程示意图；
图2为本公开实施例提供的一种基于平均序列求法的网球动作评分方法的视频数据处理流程示意图；
图3为本公开实施例提供的一种基于平均序列求法的网球动作评分系统的结构示意图；
图4为本公开实施例提供的电子设备示意图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
本公开实施例提供一种基于平均序列求法的网球动作评分方法，所述方法可以应用于体育考试、体育训练或体育比赛等场景的动作评分流程。
参见图1，为本公开实施例提供的一种基于平均序列求法的网球动作评分方法的流程示意图。如图1和图2所示，所述方法主要包括以下步骤：
S101，获取标准动作视频和待评分动作视频；
具体实施时，当评分场景为网球动作时，可以对目标人员或者目标区域内的人员采集其对应的动作视频，作为所述待评分动作视频，然后可以将测试人员进行网球训练或打击动作时的动作视频作为所述标准动作视频。
S102，识别所述标准动作视频中的人体关节点，得到二维的标准动作坐标点序列，以及，识别所述待评分动作视频中的人体关节点，得到二维的待评分动作坐标点序列；
在上述实施例的基础上，步骤S102所述的，识别所述待评分动作视频中的人体关节点，得到二维的待评分动作坐标点序列，包括：
利用CMP方法将所述待评分动作视频的每一帧输入卷积神经网络，通过非极大值抑制的方法获得身体关节点的候选区域直到收敛得到每一帧的置信图；
将所述待评分动作视频的每一帧输入所述卷积神经网络得到人体关节点之间的向量场集合并进行重复迭代，直到收敛得到关节点亲和场；
根据全部所述置信图和所述关节点亲和场，将所述待评分动作视频中的多人检测问题转化为二分图匹配问题，并采用匈牙利算法求得相连关键点最优匹配，得到所述待评分动作坐标点序列。
具体实施时，可以通过cmu的openpose对所述标准动作视频和所述待评分动作视频中的人体骨架进行识别，从而得到精准的人体关节点以判断视频中人体部位的位置。
具体步骤可以如下所示：
首先将第一帧的网球姿态动作视频作为VGG-19网络的输入，以联合预测用于身体部位检测的置信图和用于身体部位关联的PAF。
第一个分支是关节点预测，使用CMP的方法(confidence maps for part)将网球姿态动作视频的图像输入到卷积神经网络中，通过非极大值抑制的方法来获得身体关节点的候选区域，然后再将上一个阶段卷积神经网络得到的所有置信图，重复以上的步骤直致收敛。
c.另外一个分支使用人体关节点亲和场进行身体部分组合，通过对整个区域所有像素的编码向量(一个像素可能对应多个躯体部位)求和平均组成了PAF。首先将网球姿态动作视频的图像输入到卷积神经网络中，得到第一阶段的人体关节点之间的向量场集合，再将第一阶段得到的结果输入到卷积神经网络中，重复以上步骤直致收敛。在PAF的早期阶段左右身体部位和四肢之间存在混淆，但在后期阶段，通过整体推断，估计值会越来越精确。
d.根据以上两个分支得到的人体关节点置信图与人体关节点亲和场，最后将多人检测问题转化为二分图匹配问题，并用匈牙利算法求得相连关键点最有匹配。从而得到最终得人体关节点二维坐标作为所述待评分动作坐标点序列。
S103，利用平均序列求法将所述待评分动作坐标点序列进行迭代压缩，得到平均序列；
进一步的，步骤S103所述的，利用平均序列求法将所述待评分动作坐标点序列进行迭代压缩，得到平均序列，包括：
以所述待评分动作坐标点序列中第一个序列点作为初始序列；
利用所述动态时间规整算法将所述初始序列依次与所述待评分动作坐标点序列中的每个序列点计算，得到每个所述序列点对应的新序列并计算全部新序列的平均值；
依次以所述待评分动作坐标点序列中的下一个序列点作为所述初始序列并重复计算平均值，得到所述平均序列。
所述平均序列求法(DTW barycenter Averaging，简称DBA)，包含一种神经策略，设计为一种全局平均法。DBA是一种平均方法，它包括迭代细化初始(可能是任意)平均序列，以使其与平均序列的平方距离(DTW)最小。DBA的机制的目的是最小化平均序列到序列集的DTW距离平方和。该和由平均序列的每个坐标和与其相关的序列坐标之间的单个距离构成。DBA的原理是计算平均序列的每个坐标作为序列集相关坐标的重心。因此，每个坐标将最小化其在总WGSS中的部分，以最小化总WGSS。计算所有重心后，定义更新的平均序列。
具体实施时，DBA代表动态时间扭曲重心平均。DBA是一种与动态时间扭曲一致的平均方法。
DBA的算法思想如下：
计算每个单独时间序列与待细化的临时平均序列之间的DTW，为了找出平均序列的坐标与时间序列集合的坐标之间的关系。
在第一步中，将平均序列的每个坐标更新为与之关联的重心坐标。
DBA主要是通过公式
Figure BDA0003583378930000081
来求得平均序列T。
DBA的每一次迭代的步骤如下：
设S＝{s1,...,sn},设s1为初始的平均序列，利用动态时间规整算法(DTW)的特性，即一个动作序列的坐标点可以对应另外一个序列的一个或多个点，将s1与s2使用DTW算法得到新的序列s2new。
如上所示将s1与s3进行计算，得到新的序列s3new,并将s1的坐标与s1自己进行计算得到s1new。
对s1new与s2new、s3new进行平均值计算，得到第一次迭代所得到的序列T1。
重复如上步骤，从而得到最终的平均序列T。
S104，利用动态时间规整算法将所述平均序列和所述标准动作坐标点序列进行比对，得到所述待评分动作视频对应的评分值。
进一步的，步骤S104所述的，利用动态时间规整算法将所述平均序列和所述标准动作坐标点序列进行比对，得到所述待评分动作视频对应的评分值，包括：
根据所述平均序列和所述标准动作坐标点序列的长度构建目标矩阵并将所述目标矩阵左下角作为起点位置，将所述目标矩阵右上角作为终点位置；
使用所述动态时间规整算法计算从所述起点位置到所述终点位置距离的最小路径和；
将所述最小路径和进行百分制转化，得到所述待评分动作视频对应的评分值。
可选的，所述使用所述动态时间规整算法计算从所述起点位置到所述终点位置距离的最小路径和的步骤，包括：
计算所述平均序列和所述标准动作坐标点序列中每个点相应的距离；
根据所述目标矩阵中每个元素的代价计算一条距离最短的路径，得到所述最小路径和。
例如，利用所述动态时间规整算法将所述平均序列和所述标准动作坐标点序列进行比对，得到所述待评分动作视频对应的评分值具体步骤可以如下所示：
输入长度为n的经过DBA得到压缩后得网球动作人体关节点序列即所述待评分动作坐标点序列A＝{a1,...,an}与长度为m的网球标准动作的人体关节点模版序列即所述标准动作坐标点序列B＝{b1,...,bm}，我们将网球动作分为发球、正手、反手、高压球、削球、网前截击，相同的网球动作人体关节点序列根据相同的网球动作人体关节点模版序列进行匹配输入。当然，也可以根据实际需要将网球动作分为不同的类型并将相同的待评分动作坐标点序列与所述标准动作坐标点序列进行匹配输入。
b.建立一个n×m的矩阵M，左下角是起点位置(1,1)，右上角的终点位置为(m,n)。元素M(i,j)代表xi和yj的距离d(ai,bj)(即先把所述标准动作坐标点序列和所述待评分动作坐标点序列的每个点相对应的距离算出来，构成一个mxn的矩阵。然后根据每个元素的代价计算一条最短路径)，所代表的是测试序列与模版序列所对应的相似度，d我们使用欧式距离
Figure BDA0003583378930000091
求得，距离越小表示相似度越高。
c.使用动态规划的方法来求的一条从起点位置(1,1)到达终点位置(m,n)的路径，其中路径的所经过d的距离总和需要最小。
d.经过如上步骤的计算可获得最小距离之和的路径W,所述待评分动作坐标点序列和所述标准动作坐标点序列所对齐的帧就是在矩阵M中最短路径通过的位置。从而得到的规整代价最小的路径
Figure BDA0003583378930000092
e.将最小路径之和W进行百分制的转化从而得到所述待评分动作视频的评分。
本发明构建的网球动作视频数据集专业性较强，作为模版网球动作的二维坐标序列的数据是由专业的网球运动员或教练的网球视频动作经过cmu的openpose模型转化而来，网球动作的二维坐标序列经过单一的dtw算法和对序列进行压缩的dba算法进行计算得出网球动作的标准度较高。
本发明的实时性与稳定性较强，本发明所使用的openpose模型在rtx3080ti的gpu环境下能够达到30以上的帧率，并且本发明的方法在openpose的基础上实现了websocket接口，使得本发明的方法可在移动端设备配置相关的客户端，在网球场上使用手机或笔记本等移动电子设备连接云服务器便可对网球训练动作进行评判和打分。
本发明的方法参照了网球训练的实际模式，网球训练的动作往往是多个重复动作的序列，那么每个动作进行标准度的判断无疑会耗费大量的时间与算力。本方法使用DBA的方法将一组网球训练的动作进行压缩，可以将网球动作分为发球、正手、反手、高压球、削球、网前截击，相同的网球动作人体关节点序列根据相同的网球动作人体关节点模版序列进行匹配。再使用DTW的算法将标准动作的人体姿态点序列和DBA压缩后的动作序列进行比对，从而得到最终的对这一组动作的评分。并且在时间序列相似性度量中，如果进行点对点匹配求得的相似性容易受到序列的移位、错位等影响。使用动态时间规整(DTW)的方法避免了这一个问题。
本实施例提供的基于平均序列求法的网球动作评分方法，通过将人体姿态识别、平均序列求法和动态时间规整算法结合，将标准动作的人体姿态点序列和平均序列求法压缩后的动作序列进行比对得到评分，提高了评分效率和精准度。
与上面的方法实施例相对应，参见图3，本公开实施例还提供了一种基于平均序列求法的网球动作评分系统30，包括：
获取模块301，用于获取标准动作视频和待评分动作视频；
识别模块302，用于识别所述标准动作视频中的人体关节点，得到二维的标准动作坐标点序列，以及，识别所述待评分动作视频中的人体关节点，得到二维的待评分动作坐标点序列；
压缩模块303，用于利用平均序列求法将所述待评分动作坐标点序列进行迭代压缩，得到平均序列；
评分模块304，用于利用动态时间规整算法将所述平均序列和所述标准动作坐标点序列进行比对，得到所述待评分动作视频对应的评分值。
图3所示系统可以对应的执行上述方法实施例中的内容，本实施例未详细描述的部分，参照上述方法实施例中记载的内容，在此不再赘述。
参见图4，本公开实施例还提供了一种电子设备40，该电子设备包括：至少一个处理器以及与该至少一个处理器通信连接的存储器。其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述方法实施例中的基于平均序列求法的网球动作评分方法。
本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述方法实施例中的基于平均序列求法的网球动作评分方法。
本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述方法实施例中的基于平均序列求法的网球动作评分方法。
下面参考图4，其示出了适于用来实现本公开实施例的电子设备40的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图4所示，电子设备40可以包括处理装置(例如中央处理器、图形处理器等)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储装置408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有电子设备40操作所需的各种程序和数据。处理装置401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408；以及通信装置409。通信装置409可以允许电子设备40与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种装置的电子设备40，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置408被安装，或者从ROM 402被安装。在该计算机程序被处理装置401执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备可以执行上述方法实施例的相关步骤。
或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备可以执行上述方法实施例的相关步骤。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种基于平均序列求法的网球动作评分方法，其特征在于，包括：
获取标准动作视频和待评分动作视频；
识别所述标准动作视频中的人体关节点，得到二维的标准动作坐标点序列，以及，识别所述待评分动作视频中的人体关节点，得到二维的待评分动作坐标点序列；
利用平均序列求法将所述待评分动作坐标点序列进行迭代压缩，得到平均序列；
利用动态时间规整算法将所述平均序列和所述标准动作坐标点序列进行比对，得到所述待评分动作视频对应的评分值。
2.根据权利要求1所述的方法，其特征在于,所述识别所述待评分动作视频中的人体关节点，得到二维的待评分动作坐标点序列的步骤，包括：
利用CMP方法将所述待评分动作视频的每一帧输入卷积神经网络，通过非极大值抑制的方法获得身体关节点的候选区域直到收敛得到每一帧的置信图；
将所述待评分动作视频的每一帧输入所述卷积神经网络得到人体关节点之间的向量场集合并进行重复迭代，直到收敛得到关节点亲和场；
根据全部所述置信图和所述关节点亲和场，将所述待评分动作视频中的多人检测问题转化为二分图匹配问题，并采用匈牙利算法求得相连关键点最优匹配，得到所述待评分动作坐标点序列。
3.根据权利要求1所述的方法，其特征在于,所述利用平均序列求法将所述待评分动作坐标点序列进行迭代压缩，得到平均序列的步骤，包括：
以所述待评分动作坐标点序列中第一个序列点作为初始序列；
利用所述动态时间规整算法将所述初始序列依次与所述待评分动作坐标点序列中的每个序列点计算，得到每个所述序列点对应的新序列并计算全部新序列的平均值；
依次以所述待评分动作坐标点序列中的下一个序列点作为所述初始序列并重复计算平均值，得到所述平均序列。
4.根据权利要求1所述的方法，其特征在于,所述利用动态时间规整算法将所述平均序列和所述标准动作坐标点序列进行比对，得到所述待评分动作视频对应的评分值的步骤，包括：
根据所述平均序列和所述标准动作坐标点序列的长度构建目标矩阵并将所述目标矩阵左下角作为起点位置，将所述目标矩阵右上角作为终点位置；
使用所述动态时间规整算法计算从所述起点位置到所述终点位置距离的最小路径和；
将所述最小路径和进行百分制转化，得到所述待评分动作视频对应的评分值。
5.根据权利要求4所述的方法，其特征在于,所述使用所述动态时间规整算法计算从所述起点位置到所述终点位置距离的最小路径和的步骤，包括：
计算所述平均序列和所述标准动作坐标点序列中每个点相应的距离；
根据所述目标矩阵中每个元素的代价计算一条距离最短的路径，得到所述最小路径和。
6.一种基于平均序列求法的网球动作评分系统，其特征在于，包括：
获取模块，用于获取标准动作视频和待评分动作视频；
识别模块，用于识别所述标准动作视频中的人体关节点，得到二维的标准动作坐标点序列，以及，识别所述待评分动作视频中的人体关节点，得到二维的待评分动作坐标点序列；
压缩模块，用于利用平均序列求法将所述待评分动作坐标点序列进行迭代压缩，得到平均序列；
评分模块，用于利用动态时间规整算法将所述平均序列和所述标准动作坐标点序列进行比对，得到所述待评分动作视频对应的评分值。
7.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述权利要求1-5中任一项所述的基于平均序列求法的网球动作评分方法。
CN202210356818.1A 2022-04-06 2022-04-06 基于平均序列求法的网球动作评分方法、系统及设备 Pending CN114708660A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210356818.1A CN114708660A (zh) 2022-04-06 2022-04-06 基于平均序列求法的网球动作评分方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210356818.1A CN114708660A (zh) 2022-04-06 2022-04-06 基于平均序列求法的网球动作评分方法、系统及设备

Publications (1)

Publication Number Publication Date
CN114708660A true CN114708660A (zh) 2022-07-05

Family

ID=82172393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210356818.1A Pending CN114708660A (zh) 2022-04-06 2022-04-06 基于平均序列求法的网球动作评分方法、系统及设备

Country Status (1)

Country Link
CN (1) CN114708660A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078976A (zh) * 2023-10-16 2023-11-17 华南师范大学 动作评分方法、装置、计算机设备以及存储介质
CN117173789A (zh) * 2023-09-13 2023-12-05 北京师范大学 一种实心球动作评分方法、系统、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173789A (zh) * 2023-09-13 2023-12-05 北京师范大学 一种实心球动作评分方法、系统、设备及存储介质
CN117078976A (zh) * 2023-10-16 2023-11-17 华南师范大学 动作评分方法、装置、计算机设备以及存储介质
CN117078976B (zh) * 2023-10-16 2024-01-30 华南师范大学 动作评分方法、装置、计算机设备以及存储介质

Similar Documents

Publication Publication Date Title
US20210029305A1 (en) Method and apparatus for adding a video special effect, terminal device and storage medium
CN109462776B (zh) 一种视频特效添加方法、装置、终端设备及存储介质
CN108615248B (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN110058685B (zh) 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
CN114708660A (zh) 基于平均序列求法的网球动作评分方法、系统及设备
CN106250938B (zh) 目标跟踪方法、增强现实方法及其装置
CN109525891B (zh) 多用户视频特效添加方法、装置、终端设备及存储介质
CN107077738B (zh) 用于跟踪对象的系统和方法
CN111597975B (zh) 人员动作检测方法、装置及电子设备
WO2019100754A1 (zh) 人体动作的识别方法、装置和电子设备
CN111488824A (zh) 运动提示方法、装置、电子设备和存储介质
CN111556278A (zh) 一种视频处理的方法、视频展示的方法、装置及存储介质
CN110298220B (zh) 动作视频直播方法、系统、电子设备、存储介质
CN110738211A (zh) 一种对象检测的方法、相关装置以及设备
CN109600559B (zh) 一种视频特效添加方法、装置、终端设备及存储介质
CN108491804B (zh) 一种棋局展示的方法、相关装置及系统
CN110555337B (zh) 一种指示对象的检测方法、装置以及相关设备
KR102466526B1 (ko) 경기 영상에 대한 이벤트의 태깅을 위한 전자 장치 및 그의 동작 방법
CN110070063A (zh) 目标对象的动作识别方法、装置和电子设备
CN111104964B (zh) 音乐与动作的匹配方法、设备及计算机存储介质
CN113409651B (zh) 直播健身方法、系统、电子设备、存储介质
CN111950570A (zh) 目标图像提取方法、神经网络训练方法及装置
CN110276404B (zh) 模型训练方法、装置及存储介质
CN111191553A (zh) 人脸跟踪方法、装置及电子设备
CN111160308A (zh) 手势动作识别方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination