CN113705536B - 连续动作打分方法、装置及存储介质 - Google Patents

Abstract

本发明提供了一种连续动作打分方法、装置及存储介质，包括以下步骤：获取多个第一图像信息，并同时获取多个第二图像信息，确定多个第一目标图像信息，确定多个第二目标图像信息，构建网格矩阵，计算动作匹配度，确定最优匹配路径，将计算出的所有网格对应的动作匹配度的总和作为用户动作得分输出。本发明能够对用户自身的连续动作、显示屏所显示的视频动作分别识别出属于关键帧的多个具有先后顺序的第一目标图像信息以及第二目标图像信息，并以此构建网格矩阵，并计算各网格中所对应的动作匹配度，从而在网格矩阵中确定最优匹配路径，消除因为节奏不同带来的匹配度不准确，从而在远程跟练过程中对于用户的连续动作的进行准确打分。

Description

连续动作打分方法、装置及存储介质

技术领域

本发明涉及动作识别技术领域，具体涉及连续动作打分方法、装置及存储介质。

背景技术

目前，随着生活水平提升，用户的健身需求也大量增加。存在以下健身方式：第一种是现场健身方式，即用户需要去到现场通过面对面的方式向老师学习舞蹈，瑜伽，体操，广场舞等动作，但这种健身方式大多是时间、场地固定，对于用户的时间要求比较高，且路上所花费时间也多。第二种是居家健身方式，即用户通过视频教学装置所播放的动作来进行模仿，由于对场地要求很低，逐渐流行起来，但是大多数用户仅仅跟着网络视频进行动作模仿，用户自身无法判断自己的动作是否标准，也就无法持续的改进自己的动作。而现阶段的打分方式，其仅对于用户的某一个动作进行打分，但无法对于用户的整套、连续动作进行综合打分，即用户的连续动作无法得到全面评价，导致对于用户的连续动作的打分不准确。

因此，现有技术有待于改善。

发明内容

本发明的主要目的在于提出一种连续动作打分方法、装置及存储介质，以至少解决远程动作跟练过程中对于连续动作的打分不准确的技术问题。

本发明的第一方面，提供了一种连续动作打分方法，应用于自动打分装置，自动打分装置设置有摄像头和显示屏，该方法包括以下步骤：

获取摄像头所拍摄的包含用户动作的多个连续帧对应的多个第一图像信息，并同时获取显示屏上所显示的包含有视频动作的多个连续帧对应的多个第二图像信息；

从多个连续帧对应的多个第一图像信息中确定与关键帧相关的具有先后顺序的多个第一目标图像信息，从多个连续帧对应的多个第二图像信息中确定与关键帧相关的具有先后顺序的多个第二目标图像信息；

根据多个第一目标图像信息和多个第二目标图像信息构建网格矩阵；

计算网格矩阵中每个网格所对应的动作匹配度；

在网格矩阵中确定最优匹配路径，计算最优匹配路径上所经过的所有网格对应的动作匹配度的总和，将总和作为用户动作得分输出。

本发明的第二方面，提供了一种电子装置，包括存储器、处理器及总线；

所述总线用于实现所述存储器、处理器之间的连接通信；

所述处理器用于执行存储在所述存储器上的计算机程序；

所述处理器执行所述计算机程序时，实现如第一方面的连续动作打分方法中的步骤。

本发明的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至8中的任意一项所述方法中的步骤。

本发明提供的连续动作打分方法、装置及存储介质，通过获取摄像头所拍摄的包含用户动作的多个连续帧对应的多个第一图像信息，并同时获取显示屏上所显示的包含有视频动作的多个连续帧对应的多个第二图像信息，从多个连续帧对应的多个第一图像信息中确定与关键帧相关的具有先后顺序的多个第一目标图像信息，从多个连续帧对应的多个第二图像信息中确定与关键帧相关的具有先后顺序的多个第二目标图像信息，根据多个第一目标图像信息和多个第二目标图像信息构建网格矩阵，计算网格矩阵中每个网格所对应的动作匹配度，在网格矩阵中确定最优匹配路径，计算最优匹配路径上所经过的所有网格对应的动作匹配度的总和，将总和作为用户动作得分输出。则本发明能够对用户自身的连续动作、显示屏所显示的视频动作分别识别出属于关键帧的多个具有先后顺序的第一目标图像信息以及第二目标图像信息，并以此构建网格矩阵，并计算各网格中所对应的动作匹配度，从而在网格矩阵中确定最优匹配路径，消除因为节奏不同带来的匹配度不准确，从而在远程跟练过程中对于用户的连续动作的进行准确打分。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例提供的连续动作打分方法的流程示意图；

图2为本发明中网格矩阵的示意图；

图3为本发明第二实施例提供的连续动作打分方法的流程示意图；

图4为本发明第三实施例提供的连续动作打分方法的流程示意图；

图5为本发明第四实施例提供的连续动作打分方法的流程示意图；

图6为本发明中第一目标图像信息中多个第一特征点的示意图；

图7为本发明中第五实施例提供的电子装置的模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要注意的是，相关术语如“第一”、“第二”等可以用于描述各种组件，但是这些术语并不限制该组件。这些术语仅用于区分一个组件和另一组件。例如，不脱离本发明的范围，第一组件可以被称为第二组件，并且第二组件类似地也可以被称为第一组件。术语“和/或”是指相关项和描述项的任何一个或多个的组合。

本发明的连续动作打分方法应用于自动打分装置，该自动打分装置设置有摄像头、显示屏、计算模块和存储模块，显示屏用于显示视频动作，比如显示有远程的包含有教练的直播画面，教练会在直播画面内进行视频动作施展。而此时用户会根据显示屏所显示的视频动作进行跟练，同时摄像头会将用户在显示屏前所施展的用户动作进行拍摄，计算模块模块提供计算功能，存储模块提供存储功能，从而自动打分装置可以通过视频动作、用户动作对于用户动作进行自动打分。

图1示出了本发明第一实施例所提供的连续动作打分方法，该方法包括以下步骤：

步骤S10，获取摄像头所拍摄的包含用户动作的多个连续帧对应的多个第一图像信息，并同时获取显示屏上所显示的包含有视频动作的多个连续帧对应的多个第二图像信息；

在本实施例中，当用户对着显示屏的视频动作进行跟练时会施加用户动作，该用户动作可以是持续时间至少为1秒的动作，则摄像头会对用户进行拍摄，也即摄像头采集到包含用户动作的多个连续帧对应的多个第一图像信息。此时自动打分装置获取摄像头所拍摄的包含用户动作的多个连续帧对应的多个第一图像信息，例如，获取的是长达20秒的涵盖有200帧所对应的200个第一图像信息，这里的200帧是连续帧(200个帧数且是连续的，每一帧所对应的图像都是静止的)，则所对应的200个第一图像信息则为连续帧所对应的多个第一图像信息。该自动打分装置同时获取显示屏上所显示的包含有视频动作的多个连续帧对应的多个第二图像信息，例如，同样获取长达20秒的涵盖有200帧所对应的200个第二图像信息。其中，第一图像信息可以是图片，第二图像信息可以是图片。

步骤S20，从多个连续帧对应的多个第一图像信息中确定与关键帧相关的具有先后顺序的多个第一目标图像信息，从多个连续帧对应的多个第二图像信息中确定与关键帧相关的具有先后顺序的多个第二目标图像信息；

在本实施例中，关键帧表示关键图像所对应的帧数，关键图像可以预存于存储模块内，关键图像可以是一个视频动作中多个图像中显示有关键动作所对应的图像。比如，一个打拳的视频中有100张图(假设是5秒视频)，即每秒有20帧对应的20张图像，其中显示有关键动作(出拳动作)的图像有10张图像，而这10张图像基于帧的先后顺序则表示图像本身所对应的先后顺序，则这10张具有先后顺序的图像为关键图像。所以可以通过与关键图像进行对比以确定与关键帧相关的具有先后顺序的多个第一目标图像信息，而对于确定第二目标图像信息是相同的，这里不再赘述。

步骤S30，根据多个第一目标图像信息和多个第二目标图像信息构建网格矩阵；

在本实施例中，假设得到第一目标图像信息的数量为10(这10个第一目标图像信息是具有先后顺序的)，得到的第二目标图像信息为10(这10个第二目标图像信息是具有先后顺序的)，则可以以这10个具有先后顺序的第一目标图像信息作为横向方向建立作为底边的10个网格(每个网格对应一个第一目标图像信息)，以10个具有先后顺序的第二目标图像信息作为纵向方向建立作为一个侧边的10个网格，在所建立的20个网格之间进行填充以构建网格矩阵(如图2所示)，则该网格矩阵会涵盖有100个网格。

步骤S40，计算网格矩阵中每个网格所对应的动作匹配度；

在本实施例中，在计算网格矩阵中每个网格所对应的动作匹配度时，先确定每个网格所在位置，根据所在位置确定对应的第一目标图像信息、第二目标图像信息。比如，所计算的网格的位置为横向方向的第五列，纵向方向的第五行，则根据第五行、第五列的位置确定10个第一目标图像信息中的第五个第一目标图像信息、10个第二目标图像信息中的第五个第二目标图像信息，然后根据所确定出的第五个第一目标图像信息、第五个第二目标图像信息计算动作匹配度。显然，不同的第一目标图像信息、第二目标图像信息一般会有不同的动作匹配度，所以一般来讲网格矩阵中的每个网格都有其所对应的动作匹配度。这里可以利用现有的重合度对比来确定具体的百分占比，并将百分占比作为动作匹配度，当然不局限于上述动作匹配度计算方式。

步骤S50，在网格矩阵中确定最优匹配路径，计算最优匹配路径上所经过的所有网格对应的动作匹配度的总和，将总和作为用户动作得分输出。

在本实施例中，由于网格矩阵中每个网格都具有对应的动作匹配度，该动作匹配度是数值。该动作匹配度反映每个网格所对应的第一目标图像信息与第二目标图像信息之间的动作差异度，比如，动作匹配度为1％-99％，对应的数值为0.01-0.99。数值越低表示第一目标图像信息与第二目标图像信息之间的动作差异度越低，即用户动作与视频动作越接近，相应的就越标准。

在网格矩阵中可以基于动态时间规整(DTW，Dynamic Time Warping，译动态时间扭曲)算法确定最优匹配路径。其中，该最优匹配路径为从网格矩阵的初始端网格进入并到达末端网格的路径，初始端网格的位置为横向方向的第一列和纵向方向的第一行，末端网格的位置为横向方向的最后一行和纵向方向的最后一行。具体的，可以根据最优匹配路径上所经过的网格对应的动作匹配度的总和是最低的确定原则来确定这个最优匹配路径，当确定出最优匹配路径后，将最优匹配路径中每个网格所对应的动作匹配度进行计算得到总和。例如，所得到最优匹配路径上的所有网格所对应的多个动作匹配度为0.4、0.5、0.8(假设最优匹配路径仅包含3个网格)，则总和为将这三个动作匹配度进行相加所得到的值，为1.7。最后将总和作为用户动作得分输出，这个分数的输出可以通过显示屏输出分数的方式进行输出。

本发明能够对用户自身的连续动作、显示屏所显示的视频动作分别识别出属于关键帧的多个具有先后顺序的第一目标图像信息以及第二目标图像信息，并以此构建网格矩阵，并计算各网格中所对应的动作匹配度，从而在网格矩阵中确定最优匹配路径，消除因为节奏不同带来的匹配度不准确，从而对于用户的连续动作的进行准确打分。

图3示出了本发明第二实施例所提供的连续动作打分方法，该第二实施来自对于第一实施例中的从多个连续帧对应的多个所述第一图像信息中确定与关键帧相关的具有先后顺序的多个第一目标图像信息进行具体限定，其包括：

步骤S301，在多个连续帧对应的多个第一图像信息中，按照帧的先后排序逐一将各第一图像信息分别与关键帧对应的关键图像进行重合对比，得到各对比结果；

步骤S302，逐一将重合度比例大于预设比例阈值的第一图像信息确定为第一目标图像信息，得到具有先后顺序的多个第一目标图像信息。

在本实施例中，在多个连续帧对应的多个第一图像信息中，按照帧的先后排序逐一将各第一图像信息分别与关键帧对应的关键图像进行重合对比。例如，在连续的200帧对应的200个第一图像信息中，先将第一帧(第1帧)对应的第一图像信息与存储模块中的关键图像进行重合对比得到一个对比结果，然后继续将第二帧对应的第一图像信息与存储模块中的关键图像进行重合对比得到一个对比结果，直到将最后一帧(第200帧)对应的第一图像信息与存储模块中的关键图像进行重合对比得到一个对比结果，也就是说会得到200个对比结果，这个对比结果可以是重合度比例，比如60％、70％、88％等。再将每个重合度比例与预设比例阈值进行大小对比，将重合度比例大于预设比例阈值的第一图像信息确定为第一目标图像信息，则可以得到具有先后顺序的多个第一目标图像信息。例如，从200帧的第一图像信息中最终得到5帧第一目标图像信息，该5帧第一目标图像信息分别为第4帧、第30帧、第45帧、第88帧和第90帧的第一图像信息。显然，这些第一目标图像信息是与关键帧对应的关键图像匹配度更高的图像，这些确定出的第一目标图像信息是多个第一图像信息中重要程度较高的图像信息，可以这样认为，第一目标图像信息是连续动作中的关键动作所对应的图像(是用于后续与第二目标图像信息进行图像对比)。

同样的，在本实施例中，从多个连续帧对应的多个第二图像信息中确定与关键帧相关的具有先后顺序的多个第二目标图像信息包括：在多个连续帧对应的多个第二图像信息中，按照帧的先后排序逐一将各第二图像信息分别与关键帧对应的关键图像进行重合对比，得到各对比结果，逐一将重合度比例大于预设比例阈值的第二图像信息确定为第二目标图像信息，得到具有先后顺序的多个第二目标图像信息。例如，从200帧的第二图像信息中最终得到7帧第二目标图像信息，该7帧第二目标图像信息分别为第8帧、第25帧、第28帧、第30帧、第44帧、第50帧、第91帧所对应的第二图像信息，则所确定出的这些第二目标图像信息是与关键帧对应的关键图像匹配度更高的图像，这些确定出的二目标图像信息是多个第二图像信息中重要程度较高的图像信息，可以这样认为，第二目标图像信息是连续动作中的关键动作所对应的图像(是后续与第一目标图像信息进行图像对比)。

从上述所得的第一目标图像信息的数量、第二目标图像信息的数量是有所不同的，所以可以利用动态时间规整(DTW)算法，该算法是衡量两个长度不同的序列相似度的方法，将不同长度的时间序列进行伸缩后再比较相似度。在整体动作匹配中，跟练者的动作速度和节奏可能和视频不相同，获取关键帧所对应的第一目标图像信息、第二目标图像信息后，跟练者和视频的关键帧序列长度不相同，可以采用动态时间规整算法将两个序列对齐，以便于后续的对比。

图4示出本发明第三实施例所提供的连续动作打分方法，第三实施例是对上述各实施例中的根据多个第一目标图像信息和多个第二目标图像信息构建网格矩阵步骤进行具体限定，其包括：

步骤S401，根据多个第一目标图像信息所对应的帧的先后顺序生成第一序列；

在本实施例中，当得到具有先后顺序的多个第一目标图像信息后，可以根据多个第一目标图像信息的帧的先后顺序生成第一序列，则该第一序列上包括多个具有先后顺序的帧。例如，第一序列为X＝{x_1,x_2,…,x_n}，x_n表示第一序列中的第n个帧。当所得到的5帧第一目标图像信息分别为第4帧、第30帧、第45帧、第88帧和第90帧的第一图像信息时，对应的第一序列中x_n为x_5，则在第一序列中x_1为第4帧，x_2为第30帧，第一序列中x_3为第45帧，第一序列中x_4为第88帧，第一序列中x_5为第90帧。

步骤S402，根据多个第二目标图像信息所对应的帧的先后顺序生成第二序列；

在本实施例中，当得到具有先后顺序的多个第二目标图像信息后，可以根据多个第二目标图像信息的帧的先后顺序生成第二序列，则该第二序列上包括多个具有先后顺序的帧。例如，第二序列为Y＝{y_1,y_2,…,y_m}，y_m表示第二序列中的第m个帧。当所得到的7帧第二目标图像信息分别为第8帧、第25帧、第28帧、第30帧、第44帧、第50帧、第91帧所对应的第二图像信息时，对应的第二序列中y_n为y_7，则在第二序列中y_1为第8帧，y_2为第25帧，y_3为第28帧，y_4为第30帧，y_5为第44帧，y_6为第50帧，y_7为第91帧。

步骤S403，根据第一序列中帧的数量、排序以及第二序列中帧的数量、排序建立网格矩阵；其中，网格矩阵中网格在横向方向的排序为第一序列中帧的排序，网格矩阵中网格在纵向方向的顺序为第二序列中帧的排序，网格矩阵中的网格数量为第一序列中帧的数量与第二序列中帧的数量的乘积。

在本实施例中，得到第一序列、第二序列后，可以在横向方向上将第一序列中所有帧按照排序进行排列，以及在纵向方向上将第二序列中所有帧照排序进行排列，并计算第一序列中帧的数量与第二序列中帧的数量的乘积，由此在第一序列中所有帧、第二序列中所有帧之间建立网格矩阵。例如图2所示，第一序列中帧数量为n个，第二序列中帧数量为m个，将第一序列中所有帧按照排序进行排列得到x_1,x_2,…,x_n，将第二序列中所有帧按照排序进行排列得到y_1,y_2,…,y_m，在两个序列所围成的两个边之间进行网格填充，按照m乘以n等于mn个网格，则将mn个网格进行填充以建立网格矩阵。所建立的网格矩阵用于后续的两个序列的动作序列对齐，以及方便确定最优匹配序列。

图5示出了第四实施例所提供的连续动作打分方法，第四实施例对于上述各实施例中的计算网格矩阵中每个网格所对应的动作匹配度步骤进行具体限定，其包括：

步骤S501，根据每个网格的所在位置确定多组具有匹配关系的第一序列中对应的帧和第二序列中对应的帧；

在网格矩阵中，网格一般为方形，相邻网格间没有较大相交区域，则每个网格都会有其独立位置，比如，网格的位置为第5行、第5列，则可以确定该网格所对应的第一序列中的帧为x_5以及第二序列中的帧为y_5。同理，可以得到所有网格所对应的第一序列中对应的帧和第二序列中对应的帧。

步骤S502，根据各组中的第一序列中对应的帧和第二序列中对应的帧，确定对应的多个第一目标图像信息和多个第二目标图像信息；

如果网格矩阵中的网格数量为mn个，则可以得到mn组具有匹配关系的第一序列中对应的帧和第二序列中对应的帧，根据第一序列中对应的帧和第二序列中对应的帧确定对应的第一目标图像信息和第二目标图像信息。例如，当得到具有匹配关系的一组帧x_5、y_5后，可根据帧x_5、y_5分别在目标图像信息中排序确定对应的第一目标图像信息以及第二目标图像信息，也就是帧x_5可以确定多个第一目标图像信息中的第五个第一目标图像信息，帧y_5可以确定多个第二目标图像信息中的第五个第二目标图像信息，所确定出的第五个第一目标图像信息、第五个第二目标图像信息是起到后续进行单独对比从而得出这个网格的动作匹配的作用。

步骤S503，从各第一目标图像信息中分别识别多个第一特征点，从各第二图像信息中分别识别多个第二特征点；

参见图6，在第一目标图像信息中，即在这个类似人的图像中分别识别多个第一特征点，一般而言，可以通过调用openpose姿态识别程序对于人的整个身体图像进行识别，以识别出各第一目标图像信息中的第一个特征点A0、第二个特征点A1、第三个特征点A2、第四个特征点A3……第十八个特征点A17(共18个特征点)，第一个特征点A0可以是鼻子所在的位点，第二个特征点A1可以是胸口上方所在的位点，其余特征点这里不再赘述(一般表示人体的某个部位所在的位点)。同理，也可以从第二图像信息中分别识别多个第二特征点B0、B1、B2、B3……B17，其识别原理与调用openpose姿态识别程序相近，这里不再赘述。

步骤S504，根据多个第一特征点计算多个第一关节角度，根据多个第二特征点计算多个第二关节角度；

其中，多个第一特征点坐标为aⁱ，i＝0,1,...,17；即总共18个第一特征点会有18个坐标值，可以根据坐标值之间进行计算得到相应的第一关节角度。同样的，可以根据多个第二特征点坐标bⁱ，i＝0,1,...,17；即总共18个第二特征点会有18个坐标值，从而计算多个第二关节角度。

步骤S505，根据多个第一关节角度和多个第二关节角度计算多个动作匹配度，得到每个网格所对应的动作匹配度。

在一组相匹配的第一目标图像信息、第二目标图像信息中分别得到多个第一关节角度和多个第二关节角度后，将各第一关节角度与对应的第二关节角度进行差值对比，得到多个差值结果，这多个差值结果可以作为一个网格的动作匹配度。同理，则可以得到各组第一目标图像信息、第二目标图像信息所对应的动作匹配度，将每组动作匹配度作为每个网格的动作匹配度。

在本实施例中，根据多个第一特征点计算多个第一关节角度，根据多个第二特征点计算多个第二关节角度步骤之前，包括：建立坐标系以获取多个第一特征点所对应的多个第一坐标值，对各第一特征点的第一坐标值进行透视变换处理，以获取对应的第二坐标值，其中，根据多个第一特征点计算多个第一关节角度包括：根据多个第一特征点及对应的多个第二坐标值计算多个第一关节角度。

具体的，可以在第一目标图像信息中以图像的中心点作为原点建立坐标系，则得到多个第一特征点所对应的多个第一坐标值aⁱ，i＝0,1,...,17。对各第一特征点的第一坐标值进行透视变换处理，该透视变换处理可以将第一目标图像信息中的第一坐标值转换为第二坐标值，然后利用第二坐标值计算第一目标图像信息中的多个第一特征点及对应的多个第二坐标值计算多个第一关节角度。因为摄像头拍摄用户的用户动作时，由于用户有时不是正对摄像头，导致拍摄的图片发生了透视变换，因此需要进行透视变换，把涵盖有用户动作的第一目标图像信息中的各特征点校正为正对。也就是说，通过上述透视变换处理后，消除拍摄角度所带来的影响，保证所得出的多个第一关节角度的准确性。

在本实施例中，对各第一特征点的第一坐标值进行透视变换处理，以获取对应的第二坐标值步骤具体包括：

建立透视矩阵m；透视矩阵为：

通过第一计算公式和第二计算公式将第一坐标值转换为第二坐标值；

其中，第一计算公式为x表示第一坐标值中横轴的坐标值，x'表示第二坐标值中横轴的坐标值；

其中，第二计算公式为y表示第一坐标值中纵轴的坐标值，y'表示第二坐标值中纵轴的坐标值。

具体的，对各第一特征点的第一坐标值都可以利用透视矩阵m进行透视变换处理，透视矩阵m有9个参数(m₁₁,m₁₂,m₁₃,m₂₁,m₂₂,m₂₃,m₃₁,m₃₂,m₃₃)，一个第一特征点能够提供2个方程(1个第一计算公式、1个第二计算公式)，再加上一个归一化条件(例如我们可以令m₁₁＝1)，还需要选择4个对应的矫正关键点来校正用户动作的方向，使得用户动作和视频动作的方向一致。例如，可以选取躯干的4个校正关键点：A2，A5，A8，A11。即第一个校正关键点为第一特征点中的A2(右肩部位所在的位点)，第二个校正关键点为第一特征点中的A5(左肩部位所在的位点)，第三个校正关键点为第一特征点中的A8(右胯部所在的位点)，第四个校正关键点为第一特征点中的A11(左胯部所在的位点)。

对于第一个校正关键点(A2)，得到以下方程：

其中，为第二目标图像信息中第二特征点中的B2(右肩部位所在的位点)的x坐标和y坐标，/>为第一目标图像信息中第一特征点中的A2(右肩部位所在的位点)的x坐标和y坐标。

类似地，对于第二个校正关键点(A5)、第三个校正关键点(A8)以及第四个校正关键点(A11)，总共可以得到8个方程，联立这八个方程，解出透视矩阵m的8个参数(1,m₁₂,m₁₃,m₂₁,m₂₂,m₂₃,m₃₁,m₃₂,m₃₃)，对于第一目标图像中的18个第一特征点对应的18个第一坐标值(a¹,...,a¹⁸)通过透镜矩阵m，分别得到18个校正后的第二坐标值(a^1',....,a^18')，然后通过这18个校正后的第二坐标值计算多个第一关节角度。由于透视矩阵m中的四个校正关键点选取的是左肩、右肩、左胯部、右胯部所对应的位点，因此能够排除拍摄角度所带来的影响，保证所得出的第二坐标值是准确的。

在本实施例中，根据多个第一特征点及对应的多个第二坐标值计算多个第一关节角度步骤包括：

利用第三计算公式、第四计算公式和第五计算公式分别计算第一关节角度，得到多个第一关节角度；

其中，第三计算公式为θ表示第一关节角度，v^m,n表示形成第一关节角度对应的第一矢量，v^m,p表示形成第一关节角度对应的第二矢量；

其中，第四计算公式为其中，/>和/>分别为第一特征点中n点的第二坐标值中横轴的坐标值以及第二坐标值中纵轴的坐标值，/>和/>分别为第一特征点中m点的第二坐标值中横轴的坐标值以及第二坐标值中纵轴的坐标值，/>和/>分别为第一特征点中n点的第二坐标值中横轴的坐标值以及第二坐标值中纵轴的坐标值；

其中，第五计算公式为其中，/>和/>分别为第一特征点中p点的第二坐标值中横轴的坐标值以及第二坐标值中纵轴的坐标值。

具体的，在计算一个第一关节角度时，由于形成一个第一关节角度需要两个矢量，该两个矢量为v＝(v_x,v_y),w＝(w_x,w_y)，两个矢量外积为v×w＝|v|*|w|*sin(<v,w>)＝(v_x*w_y-v_y*w_x)，则两个矢量的夹角<v,w>为

比如，计算第一个第一关节角度θ₁＝θ_2,3,4(多个第一关节角度中的一个)，这个角度由两个矢量v^3,2、v^3,4形成，其中，/>分别为第一目标图像信息中第一特征点中A2的x坐标和y坐标，/>分别为第一特征点中A3的x坐标和y坐标，/>分别为第一特征点中A4的x坐标和y坐标。

其中，θ₁＝θ_2,3,4表示第一个第一关节角度θ₁由第一特征点中A2、A3和A4所构成的两个矢量v^3,2、v^3,4所形成，则该第一关节角度表示左肘弯曲度。

在实际计算多个第一关节角度过程中，需要总共计算以下10个第一关节角度：上肢部分的四个角度：左肘弯曲度：θ₁＝θ_2,3,4，左臂弯曲度：θ₂＝θ_5,2,3，右肘弯曲度：θ₃＝θ_5,6,7，右臂弯曲度：θ₄＝θ_2,5,6；下肢部分的四个角度：左膝弯曲度：θ₅＝θ_8,9,10，左大腿弯曲度：θ₆＝θ_2,8,9，右膝弯曲度：θ₇＝θ_11,12,13，右大腿弯曲度(关节11)：θ₈＝θ_5,11,12；头部偏离的角度：身体偏离的角度：/>显然，可通过第三计算公式、第四计算公式、第五计算公式分别计算出10个第一关节角度。该10个第一关节角度需要参与到后续的动作匹配度计算过程中。同样的，对于第二目标图像信息中的多个第二特征点B0、B1、B2、B3……B17所对应的第二特征点坐标bⁱ，i＝0,1,...,17，利用第三计算公式、第四计算公式、第五计算公式也可以计算出上述10个第二关节角度，这里不再赘述。

在本实施例中，根据多个第一关节角度和多个第二关节角度计算多个动作匹配度，得到每个网格所对应的动作匹配度的步骤具体包括：

利用第六计算公式分别计算各动作匹配度，分别将各动作匹配度作为对应网格中的动作匹配度d(θ,θ')；

其中，第六计算公式为θ表示第一关节角度，θ'表示第二关节角度，E表示第一关节角度、第二关节角度的数量，θ_i表示第i个第一关节角度，θ'_i表示第i个第二关节角度。

具体的，E可以为10，也就是说将所计算出的10个第一关节角度以及10个第二关节角度都应用于第六计算公式中以计算各网格中的动作匹配度，这时所计算出的动作匹配度为10个第一关节角度中每一个关节角度与10个第二关节角度中对应的一个关节角度的差的绝对值之和的平均值，也就是说该动作匹配度其能够综合反映每一组相匹配的第一目标图像信息中多个第一关节角度、第二目标图像信息中多个第二关节角度之间的动作差异度，也就是每一个网格的动作匹配度。显然，动作差异度越低，则用户动作与视频动作越接近，则表明用户动作是越标准的。

当网格矩阵中每个网格都具有对应的动作匹配度之后，在网格矩阵中确定最优匹配路径，计算最优匹配路径上所经过的所有网格对应的动作匹配度的总和，将总和作为用户动作得分输出。其中，对齐动作序列需要构造n＊m的网格矩阵(假设第一序列中帧数量为n，第二序列中帧数量为m)，两个序列中两个帧x＿i，y＿j的相似度d(x＿i，y＿j)，相似度d(x＿i，y＿j)即为两个帧对应的图像的动作匹配度d(θ,θ')，相似度d(x＿i，y＿j)表示网格中与帧x＿i、y＿j对应的两个点的距离。寻找这两个序列的最优匹配路径，即找到一条从(0，0)到(n，m)的路径(网格矩阵的初始端网格进入并到达末端网格的路径)并使得这个路径的距离最短(这里的距离最短是指动作匹配度的总和最小)。假设点(0，0)到(x＿i，y＿j)的累计距离记为r(x＿i，y＿j)，累计距离可以表示为当前点距离d(x＿i，y＿j)与可以达到该点的最小的邻居元素的累计距离之和。为使得r(n，m)的值为最小，可采用递归调用函数如下：

r(i，j)＝d(i，j)+min{r(i－1，j－1)，r(i－1，j)，r(i，j－1)}，采用动态规划的方法可以得到累计的最优匹配r(n，m)，也就是找到最优匹配路径。

图7示出了本发明第五实施例所提供的电子装置，该电子装置可用于实现前述任一实施例中的连续动作打分方法。该电子装置包括：

存储器701、处理器702、总线703及存储在存储器701上并可在处理器702上运行的计算机程序，存储器701和处理器702通过总线703连接。处理器702执行该计算机程序时，实现前述实施例中的连续动作打分方法。其中，处理器的数量可以是一个或多个。

存储器701可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non－volatile memory)，例如磁盘存储器。存储器701用于存储可执行程序代码，处理器702与存储器701耦合。

进一步的，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子装置中，该计算机可读存储介质可以是存储器。

该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述实施例中的连续动作打分方法。进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read－Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种连续动作打分方法，其特征在于，应用于自动打分装置，所述自动打分装置设置有摄像头和显示屏，所述方法包括以下步骤：

获取所述摄像头所拍摄的包含用户动作的多个连续帧对应的多个第一图像信息，并同时获取所述显示屏上所显示的包含有视频动作的多个连续帧对应的多个第二图像信息；

从多个连续帧对应的多个所述第一图像信息中确定与关键帧相关的具有先后顺序的多个第一目标图像信息，从多个连续帧对应的多个所述第二图像信息中确定与所述关键帧相关的具有先后顺序的多个第二目标图像信息；

根据多个所述第一目标图像信息和多个所述第二目标图像信息构建网格矩阵；

计算所述网格矩阵中每个网格所对应的动作匹配度；

在所述网格矩阵中确定最优匹配路径，计算所述最优匹配路径上所经过的所有网格对应的动作匹配度的总和，将所述总和作为用户动作得分输出；

所述根据多个所述第一目标图像信息和多个所述第二目标图像信息构建网格矩阵包括：根据多个所述第一目标图像信息所对应的帧的先后顺序生成第一序列；根据多个所述第二目标图像信息所对应的帧的先后顺序生成第二序列；根据所述第一序列中帧的数量、排序以及所述第二序列中帧的数量、排序建立网格矩阵；其中，所述网格矩阵中网格在横向方向的排序为所述第一序列中帧的排序，所述网格矩阵中网格在纵向方向的顺序为所述第二序列中帧的排序，所述网格矩阵中的网格数量为所述第一序列中帧的数量与所述第二序列中帧的数量的乘积；

所述计算所述网格矩阵中每个网格所对应的动作匹配度包括：根据每个网格的所在位置确定多组具有匹配关系的第一序列中对应的帧和第二序列中对应的帧；根据各组中的第一序列中对应的帧和第二序列中对应的帧，确定对应的多个所述第一目标图像信息和多个所述第二目标图像信息；从各所述第一目标图像信息中分别识别多个第一特征点，从各所述第二图像信息中分别识别多个第二特征点；根据多个所述第一特征点计算多个第一关节角度，根据多个所述第二特征点计算多个第二关节角度；根据多个所述第一关节角度和多个所述第二关节角度计算多个动作匹配度，得到每个网格所对应的动作匹配度。

2.如权利要求1所述连续动作打分方法，其特征在于，所述自动打分装置还设置有存储模块，所述存储模块存储有与关键帧对应的关键图像；

所述从多个连续帧对应的多个所述第一图像信息中确定与关键帧相关的具有先后顺序的多个第一目标图像信息包括：

在多个连续帧对应的多个所述第一图像信息中，按照帧的先后排序逐一将各所述第一图像信息分别与所述关键帧对应的关键图像进行重合对比，得到各对比结果；其中，所述对比结果为重合比例；

逐一将所述重合比例大于预设比例阈值的第一图像信息确定为第一目标图像信息，得到具有先后顺序的多个第一目标图像信息。

3.如权利要求1所述连续动作打分方法，其特征在于，所述根据多个所述第一特征点计算多个第一关节角度，根据多个所述第二特征点计算多个第二关节角度之前，包括：

获取多个所述第一特征点所对应的多个第一坐标值；

对各所述第一特征点的第一坐标值进行透视变换处理，得到对应的第二坐标值；

其中，所述根据多个所述第一特征点计算多个第一关节角度包括：

根据多个所述第一特征点及对应的多个所述第二坐标值计算多个第一关节角度。

4.如权利要求3所述连续动作打分方法，其特征在于，所述对各所述第一特征点的第一坐标值进行透视变换处理，以获取对应的第二坐标值包括：

建立透视矩阵m；其中，所述透视矩阵为：

通过第一计算公式和第二计算公式将第一坐标值转换为第二坐标值；

其中，所述第一计算公式为x表示第一坐标值中横轴的坐标值，x'表示第二坐标值中横轴的坐标值；

其中，所述第二计算公式为y表示第一坐标值中纵轴的坐标值，y'表示第二坐标值中纵轴的坐标值。

5.如权利要求4所述连续动作打分方法，其特征在于，所述根据多个所述第一特征点及对应的多个所述第二坐标值计算多个第一关节角度包括：

利用第三计算公式、第四计算公式和第五计算公式分别计算第一关节角度，得到多个第一关节角度；

其中，所述第三计算公式为θ表示第一关节角度，v^m,n表示形成所述第一关节角度对应的第一矢量，v^m,p表示形成所述第一关节角度对应的第二矢量；

其中，所述第四计算公式为其中,/>和/>分别为第一特征点中n点的第二坐标值中横轴的坐标值以及第二坐标值中纵轴的坐标值，/>和/>分别为所述第一特征点中m点的第二坐标值中横轴的坐标值以及第二坐标值中纵轴的坐标值，/>和/>分别为所述第一特征点中n点的第二坐标值中横轴的坐标值以及第二坐标值中纵轴的坐标值；

其中，所述第五计算公式为其中,/>和/>分别为第一特征点中p点的第二坐标值中横轴的坐标值以及第二坐标值中纵轴的坐标值。

6.如权利要求5所述连续动作打分方法，其特征在于，所述根据多个所述第一关节角度和多个所述第二关节角度计算多个动作匹配度，得到每个网格所对应的动作匹配度包括：

利用第六计算公式分别计算各动作匹配度，分别将各所述动作匹配度作为对应网格中的动作匹配度；

其中，第六计算公式为θ表示第一关节角度，θ'表示第二关节角度，E表示所述第一关节角度或者第二关节角度的数量。

7.一种电子装置，其特征在于，包括存储器、处理器及总线；

所述总线用于实现所述存储器、处理器之间的连接通信；

所述处理器用于执行存储在所述存储器上的计算机程序；

所述处理器执行所述计算机程序时，实现权利要求1至6中任意一项所述方法中的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至6中的任意一项所述方法中的步骤。