CN117666788A - 一种基于穿戴式交互设备的动作识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于穿戴式交互设备的动作识别方法及系统，包括：首先，响应于目标用户输入的启动指令，将基础动作校准任务显示在与穿戴式交互设备通信连接的显示屏中。在完成基础动作校准任务后，进入预设业务场景，通过穿戴式交互设备采集目标用户的当前采集动作。接着，根据当前采集动作，调用训练完成的虚拟动作识别模型对当前采集动作进行识别，得到当前采集动作的动作指令。这个虚拟动作识别模型是结合虚拟动作描述子抽取模型训练得到的。最后，基于动作指令，在预设业务场景中执行相应的虚拟动作。如此设计，可以实现精确、稳定的动作识别，并且有利于提高人机交互的自然性和流畅性。

Description

一种基于穿戴式交互设备的动作识别方法及系统

技术领域

本发明涉及智能交互领域，具体而言，涉及一种基于穿戴式交互设备的动作识别方法及系统。

背景技术

随着虚拟现实、增强现实等新兴技术的发展，人机交互方式越来越丰富。其中，基于动作识别的人机交互方法受到了广泛的关注。穿戴式交互设备如智能手环、智能手表等，通过内置的各种传感器采集用户的动作数据，可以用于诸如游戏控制、健康监测等多种场景中。然而，当前的动作识别技术通常需要大量的样本数据进行训练，并且对动作的精度和稳定性要求较高，这在一定程度上限制了其在实际应用中的效果。

发明内容

本发明的目的在于提供一种基于穿戴式交互设备的动作识别方法及系统。

第一方面，本发明实施例提供一种基于穿戴式交互设备的动作识别方法，包括：

响应于目标用户输入的穿戴式交互设备启动指令，生成基础动作校准任务显示至与所述穿戴式交互设备通信连接的显示屏中；

在所述基础动作校准任务完成的情况下，进入预设业务场景；

通过所述穿戴式交互设备采集所述目标用户的当前采集动作；

根据所述当前采集动作，调用训练完成的虚拟动作识别模型对所述当前采集动作进行识别，得到所述当前采集动作的动作指令，所述虚拟动作识别模型是结合虚拟动作描述子抽取模型训练得到的；

基于所述动作指令，在所述预设业务场景中执行相应的虚拟动作。

第二方面，本发明实施例提供一种服务器系统，包括服务器，所述服务器用于执行第一方面所述的方法。

相比现有技术，本发明提供的有益效果包括：采用本发明公开的一种基于穿戴式交互设备的动作识别方法及系统，通过响应于目标用户输入的启动指令，将基础动作校准任务显示在与穿戴式交互设备通信连接的显示屏中。在完成基础动作校准任务后，进入预设业务场景，通过穿戴式交互设备采集目标用户的当前采集动作。接着，根据当前采集动作，调用训练完成的虚拟动作识别模型对当前采集动作进行识别，得到当前采集动作的动作指令。这个虚拟动作识别模型是结合虚拟动作描述子抽取模型训练得到的。最后，基于动作指令，在预设业务场景中执行相应的虚拟动作。如此设计，可以实现精确、稳定的动作识别，并且有利于提高人机交互的自然性和流畅性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。针对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的基于穿戴式交互设备的动作识别方法的步骤流程示意图；

图2为本发明实施例提供的计算机设备的结构示意框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

为了解决前述背景技术中的技术问题，图1为本公开实施例提供的基于穿戴式交互设备的动作识别方法的流程示意图，下面对该基于穿戴式交互设备的动作识别方法进行详细介绍。

步骤S201，响应于目标用户输入的穿戴式交互设备启动指令，生成基础动作校准任务显示至与所述穿戴式交互设备通信连接的显示屏中；

步骤S202，在所述基础动作校准任务完成的情况下，进入预设业务场景；

步骤S203，通过所述穿戴式交互设备采集所述目标用户的当前采集动作；

步骤S204，根据所述当前采集动作，调用训练完成的虚拟动作识别模型对所述当前采集动作进行识别，得到所述当前采集动作的动作指令，所述虚拟动作识别模型是结合虚拟动作描述子抽取模型训练得到的；

步骤S205，基于所述动作指令，在所述预设业务场景中执行相应的虚拟动作。

在本发明实施例中，用户戴上穿戴式设备后，在设备上按下启动按钮或通过语音命令发出启动指令。系统收到启动指令后，在设备连接的显示屏上展示一个基础动作校准任务，例如显示一个人在站立、行走和跳跃等动作的示范视频。用户按照显示屏上的示范视频进行动作校准，完成后系统会自动进入预设的业务场景，比如体育训练场景、虚拟现实游戏场景等。用户在预设业务场景中进行各种不同的动作，例如做俯卧撑、跳舞、慢跑等。穿戴式设备通过内置的传感器和摄像头等技术，能够准确地采集用户全身动作的细节和姿势。穿戴式设备将采集到的用户动作数据传输给系统，系统使用事先经过训练的虚拟动作识别模型来分析这些数据。例如，用户可能做了一个向前跳跃的动作，虚拟动作识别模型会识别并生成相应的动作指令，比如在游戏中代表角色向前跳跃或触发特定功能。系统根据动作指令来操作虚拟环境中的人物或对象，执行与目标用户动作相关的虚拟动作。例如，在虚拟现实游戏中，如果用户做出挥舞武器的动作指令，游戏中的角色会相应地挥舞武器，产生相应的效果或触发特定事件。

在本发明实施例中提供的具体场景中，假设的目标用户是一位使用虚拟现实(VR)游戏的玩家。他穿戴了一套可以采集全身动作的VR设备，并通过该设备发送启动指令。系统接收到这个指令后，在玩家的VR眼镜的显示屏上展示出一个基础动作校准任务。例如，这个任务可能需要玩家执行一系列基本动作(如跳跃、挥手等)，以便设备能够校准并理解玩家的动作。在玩家完成了基础动作校准任务后，系统将玩家引导进入预设的VR游戏场景，例如一个虚拟的森林环境，玩家需要在这个环境中探险。在游戏中，玩家可能会做出各种动作，如跑步、跳跃、挥剑等。穿戴设备会实时采集这些动作的数据。系统会将采集到的动作数据输入到已经训练好的虚拟动作识别模型中。例如，当玩家挥剑时，系统将识别出这个动作，并将其转换为一个“挥剑”动作指令。系统接收到“挥剑”动作指令后，将在VR游戏中生成相应的虚拟动作。例如，玩家的游戏角色会执行一个挥剑动作，攻击前方的敌人。

在本发明实施例中，前述虚拟动作识别模型是通过以下方式训练得到的。

(1)获取预置虚拟动作和多个待定动作类型，其中，所述预置虚拟动作配置有多个预置动作类型；

(2)基于所述虚拟动作描述子抽取模型确定各个所述待定动作类型的待定动作类型向量，根据所述待定动作类型向量对多个所述待定动作类型执行群落分析得到多个待定动作类型群落，基于所述预置动作类型确定各个所述待定动作类型群落的预测动作类型；

(3)将所述预置虚拟动作输入虚拟动作识别模型，基于所述虚拟动作识别模型从多个所述待定动作类型群落中确定预测动作类型群落，再从所述预测动作类型群落中确定与所述预置虚拟动作对应的所述待定动作类型；

(4)根据所述预测动作类型群落的输出结果和所述预测动作类型确定初级代价，根据与所述预置虚拟动作对应的所述待定动作类型的输出结果和所述预置动作类型确定次级代价；

(5)根据所述初级代价和所述次级代价，对所述虚拟动作描述子抽取模型和所述虚拟动作识别模型进行协同优化，得到训练完成的所述虚拟动作识别模型。

在本发明实施例中，示例性的，在一个虚拟现实训练系统中，预置虚拟动作可以包括基本的体育动作，如跳跃、踢球、投篮等。待定动作类型可以是用户自定义的新动作或者从其他来源获取的未分类动作。采用深度学习算法，通过虚拟动作描述子抽取模型将待定动作类型转化为向量表示。然后应用聚类算法，如K-means算法，对待定动作类型向量进行群落分析，将相似的动作类型归类到同一个群落。根据与预置动作类型的相似性，为每个群落确定一个预测动作类型，即将该群落中的动作类型预测为与预置动作类型相似的类型。将预置虚拟动作的数据输入到虚拟动作识别模型中，模型通过学习和匹配的方式对输入的动作进行分类。模型会根据输入的动作特征与训练数据中的动作类型进行比较，并确定预测动作类型群落。然后，从预测动作类型群落中找到与预置虚拟动作相似的动作类型，将其作为与预置虚拟动作对应的待定动作类型。使用已知标注的数据集来评估预测动作类型群落的输出结果和实际预测动作类型之间的差异，并计算初级代价。同时，根据与预置虚拟动作对应的待定动作类型的输出结果和实际预置动作类型之间的差异，计算次级代价。初级代价和次级代价用于衡量虚拟动作描述子抽取模型和虚拟动作识别模型的性能。利用初级代价和次级代价作为目标函数，采用反向传播算法对虚拟动作描述子抽取模型和虚拟动作识别模型中的参数进行调整。通过多次迭代优化过程，不断更新模型参数。

在本发明实施例中，所述虚拟动作识别模型包括抽象单元和决策单元；前述将所述预置虚拟动作输入虚拟动作识别模型，基于所述虚拟动作识别模型从多个所述待定动作类型群落中确定预测动作类型群落的步骤，可以通过以下方式执行实施。

(1)将所述预置虚拟动作输入所述抽象单元，得到观测向量；

(2)将所述观测向量输入所述决策单元，确定各个所述待定动作类型群落的评估值；

(3)对各个所述评估值分别执行标准化转换，得到各个所述待定动作类型群落的第一置信度；

(4)在所述第一置信度不超过预设的第一预置置信度阈值的基础上，将所述第一置信度对应的所述待定动作类型群落作为预测动作类型群落。

在本发明实施例中，示例性的，用户在虚拟健身应用中选择了一个预置的虚拟动作，比如平板支撑。这个选择会被传递给虚拟动作识别模型的抽象单元。抽象单元根据该预置虚拟动作，将其转换为一个描述动作特征的观测向量。得到观测向量后，将其传递给虚拟动作识别模型的决策单元。决策单元通过学习和匹配的方式，对观测向量进行分析，并给出对各个待定动作类型群落的评估值，表示每个群落与观测向量的相似度或匹配程度。对于每个待定动作类型群落的评估值，采用标准化的方法将其转换为一个介于0和1之间的值，表示相对置信度。较高的值表示该群落与观测向量的匹配更好，而较低的值表示匹配程度较低。根据预设的第一预置置信度阈值，筛选出第一置信度高于该阈值的待定动作类型群落。在这些符合条件的群落中，选择具有最高置信度的群落作为预测动作类型群落。例如，在分析用户执行平板支撑动作时，确定了多个待定动作类型群落，其中一个群落被识别为"核心训练"，其第一置信度高于预设的置信度阈值，因此将该群落作为预测动作类型群落。

在本发明实施例中，所述预测动作类型群落的输出结果包括各个所述待定动作类型群落的第一置信度；前述根据所述预测动作类型群落的输出结果和所述预测动作类型确定初级代价的步骤，可以通过以下示例执行实施。

(1)根据各个所述待定动作类型群落的所述预测动作类型，确定各个所述待定动作类型群落的分类置信度；

(2)计算各个所述分类置信度和对应的所述第一置信度之间的均方误差代价，得到多个分类代价；

(3)将所有所述分类代价之和作为初级代价。

示例性的，在虚拟健身应用中识别了多个待定动作类型群落，并为每个群落计算了第一置信度。例如，在执行平板支撑动作时，可以有两个待定动作类型群落被识别为"核心训练"和"上肢训练"，并分别具有不同的第一置信度。已经确定了待定动作类型群落的预测动作类型。在此步骤中，为每个待定动作类型群落计算分类置信度。例如，在一个待定动作类型群落中，如果其预测动作类型与实际执行的动作类型匹配，则其分类置信度较高。对于每个待定动作类型群落，将其分类置信度与对应的第一置信度进行比较，并计算均方误差代价。例如，如果某个待定动作类型群落的分类置信度与第一置信度相差较大，则其均方误差代价会较高。将所有待定动作类型群落的分类代价加总，得到初级代价。这个初级代价反映了预测动作类型群落与实际执行动作类型之间的差异程度。较低的初级代价意味着模型的预测结果与实际情况更接近。

在本发明实施例中，前述从所述预测动作类型群落中确定与所述预置虚拟动作对应的所述待定动作类型的步骤，可以通过以下示例执行实施。

(1)遍历所述预测动作类型群落中的各个所述待定动作类型，计算所述观测向量和所述待定动作类型的待定动作类型向量之间的相似度；

(2)对所述相似度执行标准化转换，得到所述待定动作类型的第二置信度；

(3)在所述第二置信度不超过预设的第二预置置信度阈值的基础上，将所述第二置信度对应的所述待定动作类型作为与所述预置虚拟动作对应的所述待定动作类型。

在本发明实施例中，示例性的，假设在虚拟健身应用中选择了一个预置虚拟动作，比如俯卧撑。根据之前的步骤，已经识别出多个预测动作类型群落。在这一步骤中，遍历每个预测动作类型群落中的待定动作类型(如"核心训练"、"上肢训练"等)，并计算其观测向量与待定动作类型的待定动作类型向量之间的相似度。针对每个待定动作类型，通过标准化转换将其相似度转换为介于0和1之间的值，表示第二置信度。较高的值表示观测向量与待定动作类型的匹配程度较好，而较低的值则表示匹配程度较低。根据预设的第二预置置信度阈值，筛选出第二置信度高于该阈值的待定动作类型。在这些符合条件的待定动作类型中，选择具有最高置信度的待定动作类型作为与预置虚拟动作对应的待定动作类型。例如，在分析用户执行俯卧撑动作时，识别了多个待定动作类型，并计算了它们的第二置信度。如果其中一个待定动作类型被确定为"上肢训练"，其第二置信度高于预设的置信度阈值，那么将"上肢训练"作为与预置虚拟动作(俯卧撑)对应的待定动作类型。如此设计，通过计算观测向量与待定动作类型之间的相似度和标准化转换，确定与预置虚拟动作相对应的待定动作类型。第二置信度可以用来评估观测向量与待定动作类型的匹配程度，并选择具有最高置信度的待定动作类型作为与预置虚拟动作对应的动作类型。

在本发明实施例中，与所述预置虚拟动作对应的所述待定动作类型的输出结果包括所述预测动作类型群落中的各个所述待定动作类型的第二置信度；前述根据与所述预置虚拟动作对应的所述待定动作类型的输出结果和所述预置动作类型确定次级代价的步骤，可以通过以下示例执行实施。

(1)根据所述预置动作类型，确定所述预测动作类型群落中各个所述待定动作类型的目标动作类型置信度；

(2)计算各个所述目标动作类型置信度和对应的所述第二置信度之间的均方误差代价，得到多个动作类型代价；

(3)将所有所述动作类型代价之和作为次级代价。

在本发明实施例中，示例性的，在虚拟健身应用中，选择了一个预置虚拟动作，如俯卧撑。根据之前的步骤，已经计算了预测动作类型群落中每个待定动作类型的第二置信度。在这一步骤中，将这些第二置信度作为与预置虚拟动作对应的待定动作类型的输出结果。根据预设的预置动作类型(如俯卧撑)，确定预测动作类型群落中每个待定动作类型的目标动作类型置信度。然后，计算每个目标动作类型置信度与对应的第二置信度之间的均方误差代价，得到多个动作类型代价。将每个待定动作类型的动作类型代价加总，得到次级代价。这个次级代价反映了预测动作类型群落中各个待定动作类型与预置动作类型之间的差异程度。较低的次级代价意味着模型的预测结果与预置动作类型更接近。如此设计，通过计算待定动作类型的第二置信度、目标动作类型置信度和均方误差代价，确定次级代价来评估虚拟动作识别模型的性能。次级代价反映了模型对待定动作类型的准确性和与预置动作类型之间的差异程度，可用于模型的优化和改进。

在本发明实施例中，前述将所述预置虚拟动作输入所述抽象单元，得到观测向量的步骤，可以通过以下示例执行实施。

(1)对所述预置虚拟动作执行切割操作，得到动作集合，其中，所述动作集合包括多个分解动作；

(2)为所述动作集合的初始位置配置初始指示符，以及为动作集合的结束位置配置终止指示符，得到指示符划分集合；

(3)对所述指示符划分集合进行降维处理，得到指示符动作向量集合；

(4)基于长短期记忆网络，利用所述抽象单元对所述指示符动作向量集合进行编码处理，得到分解动作向量集合，其中，所述分解动作向量集合包括所述指示符划分集合中各个分解动作的分解动作向量；

(5)基于长短期记忆网络，对各个所述分解动作向量进行合并操作，得到观测向量。

在本发明实施例中，示例性的，假设选择的预置虚拟动作是一个完整的健身运动视频，比如俯卧撑。在这一步骤中，需要将该视频切割成多个离散的动作片段，例如下蹲、上体抬起等。这样可以将复杂的预置虚拟动作分解成更小的动作单元，以便进行进一步的处理和识别。对于每个切割得到的动作片段，为其初始位置配置一个初始指示符，并为其结束位置配置一个终止指示符。这些指示符用于标记每个动作片段的开始和结束。将这些初始和终止指示符组成指示符划分集合，用于后续的处理步骤。对指示符划分集合进行降维处理。降维可以通过使用特征提取算法、主成分分析等技术来实现。这样，可以将每个动作片段表示为一个更低维度的向量，即指示符动作向量。使用LSTM这种递归神经网络结构，对指示符动作向量集合进行编码处理。LSTM能够捕捉动作序列之间的时序关系和依赖关系。通过LSTM的学习和记忆机制，将指示符动作向量集合转换为分解动作向量集合，其中分解动作向量表示了每个动作片段的特征。再次利用LSTM，对各个分解动作向量进行合并操作。通过LSTM的综合学习和整合机制，将所有分解动作向量合并成一个观测向量。这个观测向量包含了整个预置虚拟动作的特征，用于进一步的动作识别和分析。如此设计，通过切割、配置指示符、降维处理和利用LSTM编码与合并操作，将预置虚拟动作转化为观测向量，以便后续的动作识别和分析任务。应当理解的是，“指示符划分集合”就像是一种索引，将复杂的动作分解为更小的单元，然后用指示符来明确标注这些单元的起始和结束位置。通过这样的方式，可以更有效地理解和处理这些动作片段。之后，这个"指示符划分集合"会经过降维处理，变成更低维度的向量，即指示符动作向量。这主要是为了减少数据的复杂性和提高处理效率。接下来，使用LSTM(长短期记忆)神经网络对这些指示符动作向量进行编码处理。LSTM能够捕捉动作序列之间的时序关系和依赖关系，将指示符动作向量集合转换为分解动作向量集合，其中每个分解动作向量表示了一个动作片段的特征。最后，再次利用LSTM，对这些分解动作向量进行合并操作，得到一个观测向量。这个观测向量包含了整个预置虚拟动作的特征，可以用于进一步的动作识别和分析。总结起来，"指示符划分集合"是将复杂动作分解、标记、降维、编码和合并的一种重要工具，能有效地帮助理解和处理动作数据。

在本发明实施例中，前述基于长短期记忆网络，对各个所述分解动作向量进行合并操作，得到观测向量的步骤，可以通过以下示例执行实施。

(1)根据预设的隐藏状态和所述分解动作向量，计算得到各个所述分解动作向量的门控单元状态；

(2)根据预设的Sigmoid激活函数和所述门控单元状态，计算得到各个所述分解动作向量的门控权重；

(3)基于所述门控权重，对各个所述分解动作向量实施加权合并，得到观测向量。

在本发明实施例中，示例性的，通过LSTM模型，结合预设的隐藏状态和分解动作向量，来计算每个分解动作向量的门控单元状态。隐藏状态可以理解为LSTM网络中的内部记忆，它能够捕捉历史信息和上下文依赖关系。通过门控单元状态，可以了解每个分解动作向量与隐藏状态之间的相关性，从而更好地表示动作特征。使用预设的Sigmoid激活函数对门控单元状态进行处理，以计算每个分解动作向量的门控权重。Sigmoid函数可以将输入值映射到0和1之间的范围，表示门控单元状态对观测向量的重要程度。通过调整Sigmoid激活函数的参数，可以控制不同分解动作向量在最终观测向量中的权重分配。根据计算得到的门控权重，对每个分解动作向量进行加权合并。具体地说，将每个分解动作向量与其对应的门控权重相乘，然后将所有加权结果相加。通过这样的加权合并过程，高权重的分解动作向量将对最终观测向量的形成产生更大的影响。最终得到的观测向量包含了来自各个分解动作向量的信息，用于进一步的动作识别、分析和反馈。如此设计，通过计算门控单元状态、使用Sigmoid激活函数计算门控权重以及基于权重的加权合并操作，能够生成具有丰富动作信息的观测向量。这个观测向量将用于后续的动作识别、分析和反馈，以实现更准确、智能化的虚拟健身训练体验。

在本发明实施例中，前述根据所述初级代价和所述次级代价，对所述虚拟动作描述子抽取模型和所述虚拟动作识别模型进行协同优化的步骤，可以通过以下方式执行实施。

(1)将所述初级代价和所述次级代价实施加权合并，得到最终代价；

(2)根据所述最终代价，对所述虚拟动作描述子抽取模型、所述抽象单元和所述决策单元进行协同优化。

在本发明实施例中，示例性的，假设的虚拟健身应用中有一个优化器模块，用于根据用户反馈和动作识别结果对模型进行优化。在这一步骤中，将初级代价和次级代价进行加权合并，以获得最终的代价。初级代价可以是根据用户反馈计算的误差值，而次级代价可以是基于动作识别准确率等指标计算的代价。通过加权合并这两个代价，获得了一个综合考量用户满意度和模型性能的最终代价。根据计算得到的最终代价，对虚拟动作描述子抽取模型、抽象单元和决策单元进行协同优化。虚拟动作描述子抽取模型负责从输入数据中提取有意义的特征表示，抽象单元负责将这些特征进行编码和整合，而决策单元负责根据特征进行动作识别和决策。通过协同优化这些模型和单元，可以使它们更好地适应用户需求和模型性能要求，提高虚拟健身应用的准确性和智能化程度。如此设计，通过加权合并初级代价和次级代价获得最终代价，然后利用最终代价对虚拟动作描述子抽取模型、抽象单元和决策单元进行协同优化，可以实现对模型和单元的整体优化和调整。这样，虚拟健身应用能够更好地满足用户需求，提供准确、个性化的动作识别和反馈，从而改善用户体验和训练效果。

在本发明实施例中，所述虚拟动作描述子抽取模型是通过以下方式训练得到的。

(1)获取动作实例、所述动作实例的目标类别实例与非目标类别实例，所述目标类别实例通过对所述动作实例执行数据扩充操作得到，所述非目标类别实例是与所述动作实例不同的实例；

(2)利用虚拟动作描述子抽取模型分别对所述动作实例、所述目标类别实例与所述非目标类别实例进行虚拟动作描述子抽取，得到所述动作实例、所述目标类别实例与所述非目标类别实例数据增广别对应的样本虚拟动作描述子、目标类别实例虚拟动作描述子与非目标类别实例虚拟动作描述子；

(3)根据所述样本虚拟动作描述子与所述目标类别实例虚拟动作描述子间的目标类别实例亲和性、所述样本虚拟动作描述子与所述非目标类别实例虚拟动作描述子间的非目标类别实例亲和性，设置亲和性代价，根据所述样本虚拟动作描述子、所述目标类别实例虚拟动作描述子分别与界限值间的误差，设置描述子差异代价，根据所述目标类别实例亲和性，设置目标类别实例相似性代价，联合所述亲和性代价、所述描述子差异代价和所述目标类别实例相似性代价优化模型参数，以得到完成训练的虚拟动作描述子抽取模型。

在本发明实施例中，示例性的，假设的虚拟健身应用中有一个坐姿矫正功能，通过识别用户的坐姿并发出提醒来帮助改善坐姿。在这一步骤中，需要收集坐姿正确和错误的动作实例作为训练数据。目标类别实例可以是仅包含正确坐姿的样本，而非目标类别实例则是包含各种错误坐姿的样本。通过准备这些不同类别的动作实例，可以训练虚拟动作描述子抽取模型来区分正确和错误的坐姿。在坐姿矫正功能中，已经训练好了虚拟动作描述子抽取模型。在这一步骤中，使用该模型对用户的坐姿进行虚拟动作描述子的抽取。通过将用户的坐姿数据输入到模型中，可以得到与用户坐姿对应的虚拟动作描述子。这些描述子能够捕捉到坐姿中的关键特征，例如脊柱的曲度、头部的倾斜等。在坐姿矫正功能中，使用目标类别实例和非目标类别实例来衡量虚拟动作描述子的质量。通过计算样本虚拟动作描述子与目标类别实例虚拟动作描述子之间的亲和性以及与非目标类别实例虚拟动作描述子之间的差异，可以设置相应的亲和性代价和描述子差异代价。亲和性代价可以衡量样本虚拟动作描述子与目标类别实例的相似度，帮助优化模型使其更好地区分正确和错误的坐姿。描述子差异代价则可以促使模型生成与非目标类别实例虚拟动作描述子有较大差异的样本虚拟动作描述子，以避免将错误的坐姿误判为正确。在坐姿矫正功能中，期望通过训练虚拟动作描述子抽取模型来提高对不良坐姿的准确识别。在这一步骤中，将亲和性代价、描述子差异代价和目标类别实例相似性代价结合起来，进行模型参数的优化。可以使用一种优化算法，例如梯度下降法，来调整虚拟动作描述子抽取模型的参数，以使得总体代价函数最小化。通过迭代优化过程，模型可以学习到更有效地区分正确和错误坐姿的虚拟动作描述子。如此设计，通过获取动作实例、利用虚拟动作描述子抽取模型进行虚拟动作描述子抽取，并根据样本虚拟动作描述子间的亲和性设置代价，并联合这些代价进行模型参数优化。通过这一系列步骤，可以训练出一个有效的虚拟动作描述子抽取模型。

在本发明实施例中，前述获取动作实例、所述动作实例的目标类别实例与非目标类别实例的步骤，可以通过以下示例执行实施。

(1)获取动作实例数组，所述动作实例数组包括多个动作实例；

(2)针对所述动作实例数组中的目标动作实例，对所述目标动作实例执行数据扩充操作，得到所述目标动作实例对应的目标类别实例；

(3)将所述目标类别实例放置到所述动作实例数组中，得到更新实例数组；

(4)将所述更新实例数组中除所述目标动作实例以外的实例、除所述目标动作实例以外的实例所对应的目标类别实例，确定为所述目标动作实例的非目标类别实例。

在本发明实施例中，示例性的，假设的虚拟健身应用中提供了一项瑜伽训练功能。在这一步骤中，从一个瑜伽训练数据集中获取多个不同的瑜伽动作实例。这些动作实例可以包括各种不同的瑜伽姿势，例如下犬式、树式等。通过收集多个动作实例，可以构建一个动作实例数组，用于后续的操作。在瑜伽训练功能中，期望能够识别用户是否正确执行了特定的瑜伽姿势。因此，在这一步骤中，选择一些目标动作实例，例如下犬式，并执行数据扩充操作来生成更多的与下犬式相关的实例。数据扩充操作可以包括对图像进行旋转、缩放、平移等变换，以及对视频进行剪辑和增强。通过这样的操作，可以得到更多的下犬式的样本，这些样本将被用作目标类别实例。在瑜伽训练功能中，将生成的目标类别实例(即下犬式的变体)添加到之前构建的动作实例数组中。通过将这些新的目标类别实例与原有的动作实例组合在一起，得到了一个更新后的实例数组，其中包含了更多样本来表示不同的下犬式姿势。这将为后续的步骤提供更多的训练数据。在瑜伽训练功能中，除了下犬式外，还有许多其他的瑜伽姿势，如树式等。在这一步骤中，从更新后的实例数组中选择除了下犬式以外的实例，并将它们视为下犬式的非目标类别实例。这些非目标类别实例可以代表其他不同的瑜伽姿势，用于帮助模型区分下犬式和其他姿势。如此设计，通过获取动作实例数组、对目标动作实例执行数据扩充操作得到目标类别实例，将目标类别实例放置到动作实例数组中，并确定非目标类别实例，可以获得更丰富的训练数据集，用于后续模型训练和分类任务。

在本发明实施例中，执行数据扩充操作之前，还可以先执行下述方案。

(1)对每个动作实例分别执行特征提取操作与特征提重构操作，得到多个类型的动作实例。

在本发明实施例中，示例性的，考虑的虚拟健身应用中的瑜伽训练功能。在这一步骤中，针对每个动作实例，例如下犬式或树式等，执行特征提取操作。特征提取可以包括使用计算机视觉技术从图像或视频中提取关键特征，例如姿势的角度、关节的运动范围等。通过特征提取，可以将每个动作实例转化为一组代表其特征的向量形式。在瑜伽训练功能中，期望能够更好地表示和区分不同类型的瑜伽姿势。因此，在这一步骤中，对每个动作实例执行特征重构操作。特征重构可以通过降维、变换或其他方法来重新构造原始特征向量，以获得更有效的表示方式。通过特征重构，可以获得每个动作实例的不同类型特征，这有助于后续的数据扩充操作和分类任务。在瑜伽训练功能中，在执行数据扩充操作之前，需要对特征提取和特征重构后的动作实例进行准备工作。这可以包括归一化、标准化以及其他预处理步骤，以确保不同类型的动作实例具有相似的数据分布和统计特性。通过准备工作，可以使得数据扩充操作更加稳定和可靠。在瑜伽训练功能中，期望增加针对不同类型瑜伽姿势的样本数量，以提高模型的分类性能。在这一步骤中，对特征提取和特征重构后的每个动作实例执行数据扩充操作。数据扩充可以采用各种方法，例如图像旋转、平移、缩放等变换，或者视频剪辑和增强。通过数据扩充操作，可以生成更多样本来表示不同类型的瑜伽姿势，以丰富训练数据集。

在本发明实施例中，还提供了以下实施方式。

(1)获取参考动作实例数组；

(2)对所述参考动作实例数组中的每个参考动作实例，获取各自的动作持续时间；

(3)针对动作持续时间超过预设时长的参考动作实例，从所述参考动作实例的目标时间点开始，切割预设时间区间的虚拟动作内容，确定为当做训练数据的动作实例；

(4)针对动作持续时间小于预设时长且大于预设时间区间的参考动作实例，切割所述参考动作实例的后预设时间区间的虚拟动作内容，确定为当做训练数据的动作实例；

(5)针对动作持续时间小于预设时间区间的参考动作实例，获取所述参考动作实例后组合，在组合后的动作持续时间大于预设时间区间时，切割前预设时间区间的虚拟动作内容，确定为当做训练数据的动作实例。

在本发明实施例中，示例性的，在虚拟健身应用中的瑜伽训练功能中，期望能够为用户提供参考的动作实例。在这一步骤中，从一个瑜伽动作库中获取多个不同的参考动作实例，例如下犬式、树式等。这些参考动作实例可以是专业教练或演示者在视频中演示的标准姿势。通过收集多个参考动作实例，可以构建一个参考动作实例数组，用于后续的操作。在瑜伽训练功能中，需要了解每个参考动作实例的持续时间以进行后续处理。例如，可能需要知道下犬式和树式分别持续的时间长度。通过获取每个参考动作实例的持续时间，可以进一步处理数据并制定相应的切割策略。假设在瑜伽训练功能中，预设了一个时间区间，例如30秒，作为训练数据的标准时间长度。在这一步骤中，对于持续时间超过预设时长的参考动作实例(如下犬式)，从目标时间点开始，切割出预设时间区间的虚拟动作内容，将其确定为训练数据的动作实例。这样可以确保训练数据具有相同的时间长度，方便模型的处理和训练。在瑜伽训练功能中，某些参考动作实例的持续时间可以小于预设时长，但仍大于预设时间区间。例如，某个动作只需要15秒就能完成。在这种情况下，从参考动作实例的后部分开始，切割出后预设时间区间的虚拟动作内容，将其确定为训练数据的动作实例。这样做可以确保训练数据的长度符合预设时间区间，以便进行统一处理。在瑜伽训练功能中，某些参考动作实例的持续时间可以小于预设时间区间。例如，某个动作只需要10秒。在这种情况下，可以获取该参考动作实例的后续参考动作实例，并将它们组合在一起。如果组合后的动作持续时间大于预设时间区间(30秒)，则从组合动作的前部分开始，切割出前预设时间区间的虚拟动作内容，并将其确定为训练数据的动作实例。通过这种方式，可以生成符合预设时长的训练数据。

在本发明实施例中，还提供了以下实施方式。

(1)计算所述动作实例的动作强度；

(2)若根据所述动作强度确定所述动作实例属于微弱活动实例，则判定所述虚拟动作描述子中的每个分量为零。

在本发明实施例中，示例性的，在虚拟健身应用中的运动训练功能中，期望能够评估每个动作实例的动作强度。例如，在一个跑步训练应用中，通过计算用户完成一次跑步动作时的速度、步频、步幅等指标来衡量动作的强度。通过这些指标的组合，可以得出该动作实例的动作强度值。继续以跑步训练应用为例，假设用户进行了一段缓慢而轻松的慢跑。在这种情况下，通过动作强度的计算，可以判断该动作实例属于微弱的活动实例。根据技术方案，当确定动作实例属于微弱活动实例时，可以将虚拟动作描述子中的每个分量设置为零。这意味着在生成虚拟动作内容时，对于微弱活动实例，其描述子中的特征分量将被认为是零，从而减少对于该动作的生成。通过计算动作实例的动作强度，可以评估动作的强度级别。如果根据动作强度确定该动作实例属于微弱活动实例，即较低强度的动作，可以根据技术方案中的要求将虚拟动作描述子中的每个分量置零。这样可以在生成虚拟动作内容时对微弱活动实例进行适当的处理，以提供更准确和有针对性的训练体验。

在本发明实施例中，前述利用所述虚拟动作描述子抽取模型对所述动作实例进行虚拟动作描述子抽取的步骤，可以通过以下示例执行实施。

(1)将所述动作实例的频率空间向量输入至所述虚拟动作描述子抽取模型；

(2)利用所述虚拟动作描述子抽取模型的多个串联的联合结构，对所述动作实例的频率空间向量进行描述子抽取，得到所述样本虚拟动作描述子，所述联合结构包括基础分析层和关联映射层，所述基础分析层是提取时间维度上的特征和频率空间上的特征的架构单元，所述关联映射层是基于所述动作实例的频率空间向量中时域内频谱特性的相互作用进行描述子抽取的架构单元。

在本发明实施例中，示例性的，在虚拟健身应用中的手势识别功能中，用户进行了一个抬手的动作。为了描述这个动作实例，需要将其频率空间向量作为输入传递给虚拟动作描述子抽取模型。频率空间向量可以通过对用户动作的加速度、角速度或其他传感器数据进行傅里叶变换等方式得到。在手势识别功能中，使用虚拟动作描述子抽取模型来对抬手动作实例的频率空间向量进行描述子抽取。该模型包含多个串联的联合结构，其中基础分析层和关联映射层是两个重要的架构单元。基础分析层负责提取时间维度上和频率空间上的特征，例如动作的幅度、频率等。关联映射层则根据动作实例的频率空间向量中时域内频谱特性的相互作用，进行描述子抽取。通过这些架构单元的组合，可以得到样本的虚拟动作描述子。如此设计，通过将动作实例的频率空间向量输入虚拟动作描述子抽取模型，利用该模型的基础分析层和关联映射层提取动作实例的关键特征，并生成相应的虚拟动作描述子。这些描述子可以用于后续的手势识别、动作分析和虚拟动作内容生成，以提供精准、细致和个性化的虚拟健身体验。

在本发明实施例中，所述多个串联的联合结构包括多个串联的联合结构，前述利用所述虚拟动作描述子抽取模型的多个串联的联合结构，对所述动作实例的频率空间向量进行描述子抽取，得到所述样本虚拟动作描述子的步骤，可以通过以下步骤执行实施。

(1)将所述动作实例的频率空间向量输入至所述虚拟动作描述子抽取模型中第一个联合结构，分别通过第一个联合结构中的基础分析层和关联映射层进行描述子抽取，得到第一个联合结构的处理结果；

(2)从第二个联合结构开始，顺序地将目标联合结构的处理结果输入至下一个目标联合结构，分别通过下一个目标联合结构中的基础分析层和关联映射层进行描述子抽取，得到下一个目标联合结构的处理结果，直至得到最终联合结构的处理结果时终止输入操作；

(3)基于最终联合结构的处理结果，确定所述样本虚拟动作描述子。

在本发明实施例中，示例性的，在虚拟健身应用中的动作识别功能中，用户进行了一个跳跃的动作。将该动作实例的频率空间向量作为输入传递给虚拟动作描述子抽取模型的第一个联合结构。这个联合结构包含基础分析层和关联映射层，它们负责提取该动作实例的时域特征和频谱特征。当跳跃动作的频率空间向量通过第一个联合结构进行描述子抽取后，得到了第一个联合结构的处理结果。然后，这个处理结果被顺序地传递给下一个目标联合结构。每个目标联合结构都包含基础分析层和关联映射层，用于进一步提取动作实例的特征。当跳跃动作的频率空间向量经过多个串联的联合结构进行描述子抽取后，最终达到了最后一个联合结构。该联合结构产生了最终的处理结果，即包含了从动作实例中提取的所有关键特征。基于这个最终联合结构的处理结果，可以确定并生成样本的虚拟动作描述子。通过多个串联的联合结构，逐步对动作实例的频率空间向量进行描述子抽取。从第一个联合结构开始，依次将处理结果传递给下一个目标联合结构，直至最终联合结构产生最终的处理结果。基于这个最终结果，可以确定样本的虚拟动作描述子，以供后续的动作识别、分析和生成使用。这种串联的结构设计有助于充分提取动作实例的特征，提高了虚拟健身应用的准确性和效果。

在本发明实施例中，前述根据所述样本虚拟动作描述子与所述目标类别实例虚拟动作描述子间的目标类别实例亲和性、所述样本虚拟动作描述子与所述非目标类别实例虚拟动作描述子间的非目标类别实例亲和性，设置亲和性代价的步骤，可以通过以下示例执行实施。

(1)计算所述样本虚拟动作描述子与所述目标类别实例虚拟动作描述子的目标类别实例亲和性；

(2)计算所述样本虚拟动作描述子分别与各所述非目标类别实例虚拟动作描述子间的非目标类别实例亲和性，统计各所述非目标类别实例亲和性的总和；

(3)根据所述目标类别实例亲和性与所述总和的误差，设置亲和性代价，所述亲和性代价与所述目标类别实例亲和性存在反向联动，所述亲和性代价与所述总和存在正向联动。

在本发明实施例中，示例性的，在一个虚拟健身应用中的动作分类功能中，用户进行了一个深蹲的动作。已经通过之前的步骤提取出了样本的虚拟动作描述子，并拥有多个目标类别实例(例如其他不同类型的深蹲动作)的虚拟动作描述子。现在，计算样本虚拟动作描述子与目标类别实例虚拟动作描述子之间的目标类别实例亲和性。这个亲和性度量可以根据两者之间的相似度或距离来确定。还有其他非目标类别实例的虚拟动作描述子(例如抬手、踢腿等)。通过计算样本虚拟动作描述子与每个非目标类别实例虚拟动作描述子之间的非目标类别实例亲和性，可以得到各个非目标类别实例亲和性的度量值。然后，将这些度量值进行统计求和，得到所有非目标类别实例亲和性的总和。在动作分类功能中，期望样本的虚拟动作描述子与目标类别实例的亲和性高于与非目标类别实例的亲和性。通过计算目标类别实例亲和性与总和的误差，可以确定亲和性代价。如果误差较小，说明样本更可能属于目标类别；如果误差较大，说明样本更可能属于非目标类别。亲和性代价可以根据误差的大小来设置，以反映目标类别实例亲和性和总和之间的关系。如此设计，通过计算样本虚拟动作描述子与目标类别实例虚拟动作描述子之间的目标类别实例亲和性，以及样本虚拟动作描述子与非目标类别实例虚拟动作描述子之间的非目标类别实例亲和性，并统计各非目标类别实例亲和性的总和，可以根据目标类别实例亲和性与总和之间的误差来设置亲和性代价。这个代价可以用于反映样本虚拟动作描述子与不同类别实例之间的相似度和关联程度，进一步优化动作分类的准确性和效果。

在本发明实施例中，前述根据所述样本虚拟动作描述子、所述目标类别实例虚拟动作描述子分别与界限值间的误差，设置描述子差异代价的步骤，可以通过以下示例执行实施。

(1)计算所述样本虚拟动作描述子的标量值与所述界限值间的主要偏差；

(2)计算所述目标类别实例虚拟动作描述子的标量值与所述界限值间的辅助偏差；

(3)融合所述主要偏差和所述辅助偏差，设置描述子差异代价。

在本发明实施例中，示例性的，在一个虚拟健身应用中，用户进行了一个深蹲的动作，并且已经提取了样本虚拟动作描述子。假设该样本动作描述子的标量值为0.8，而该动作的界限值为1.0。通过计算这两个数值之间的差异，得到主要偏差为0.2。有多个目标类别实例的虚拟动作描述子，对应不同水平的深蹲动作表现。假设其中一个目标类别实例的描述子的标量值为0.9，而界限值仍为1.0。通过计算这两个数值之间的差异，得到辅助偏差为0.1。在动作评估功能中，期望根据样本虚拟动作描述子与界限值之间的差异来评估深蹲动作的质量。假设将主要偏差乘以2，辅助偏差乘以1，然后将这两个值进行加权求和。通过融合主要偏差0.2和辅助偏差0.1，可以得到描述子差异代价为0.4。如此设计，通过计算样本虚拟动作描述子与界限值之间的主要偏差和目标类别实例虚拟动作描述子与界限值之间的辅助偏差，并通过融合这些偏差来设置描述子差异代价，可以更准确地评估用户的深蹲动作表现，并提供相应的反馈和指导。需要注意的是，实际应用中的具体数值和计算方式可以根据实际需求和算法设计进行调整。

在本发明实施例中，前述根据所述目标类别实例亲和性，设置目标类别实例相似性代价的步骤，可以通过以下示例执行实施。

(1)计算所述目标类别实例亲和性与亲和性阈值的相对偏离度；

(2)根据所述相对偏离度，设置目标类别实例相似性代价，所述目标类别实例相似性代价与相对偏离度存在正向联动。

在本发明实施例中，示例性的，在一个虚拟健身应用中的动作分类功能中，已经计算得到了样本虚拟动作描述子与各个目标类别实例虚拟动作描述子之间的亲和性。现在，需要评估这些目标类别实例的相似性程度。首先，计算目标类别实例亲和性与亲和性阈值之间的相对偏离度。假设某个目标类别实例的亲和性为0.8，而亲和性阈值为0.9。通过计算这两个数值之间的差异，得到相对偏离度为-0.1。继续以动作分类功能为例，期望根据目标类别实例的亲和性与亲和性阈值之间的相对偏离度来设置相应的相似性代价。假设将相对偏离度乘以2，并加上一个常数作为偏离度的权重。通过对相对偏离度-0.1进行运算，可以得到目标类别实例相似性代价为-0.2。在动作分类功能中，期望目标类别实例的相似性代价与相对偏离度之间存在正向联动关系。这意味着当相对偏离度增大时，相似性代价也会相应增大。例如，在前面的示例中，当相对偏离度为-0.1时，相似性代价为-0.2。如果相对偏离度变为-0.2，则相似性代价可能会相应变为-0.4。这样的设定可以使得模型更好地区分不同的目标类别实例，并将相似性代价与相对偏离度的变化保持一致。如此设计，通过计算目标类别实例亲和性与亲和性阈值之间的相对偏离度，并根据这个偏离度设置目标类别实例相似性代价，可以量化目标类别实例之间的相似度程度。同时，将相似性代价与相对偏离度之间设置正向联动关系，可以更好地反映目标类别实例之间的差异和相似性。这样的处理方式可以用于调整模型的分类准确性和对目标类别实例的区分能力。请注意，实际应用中的具体数值和计算方式可以根据实际需求和算法设计进行调整。

在本发明实施例中，还提供了以下实施方式。

(1)获取目标动作数据与待处理动作数据数组；

(2)利用所述完成训练的虚拟动作描述子抽取模型，分别对所述目标动作数据与所述待处理动作数据数组中的各待处理动作数据进行虚拟动作描述子抽取，得到各自的虚拟动作描述子；

(3)将各所述虚拟动作描述子中的每个分量重定向至固定数值间隔的目标量，得到相应的虚拟动作链；

(4)基于所述目标动作数据与所述待处理动作数据数组中的待处理动作数据各自的虚拟动作链，从所述待处理动作数据数组中确定与所述目标动作数据对应的动作数据。

在本发明实施例中，示例性的，在一个虚拟健身应用中，需要比较用户的待处理动作数据与已有的目标动作数据。目标动作数据是事先定义好的标准动作，而待处理动作数据是用户实时采集到的动作数据。例如，有一个目标动作数据数组，其中包含了深蹲、俯卧撑和平板支撑等多个动作数据。同时，还获取了用户待处理的动作数据数组，其中包含了用户自己进行的深蹲、俯卧撑和平板支撑等动作数据。在虚拟健身应用中，已经完成了一个训练模型，该模型可以从动作数据中提取出虚拟动作描述子。现在，使用这个训练好的虚拟动作描述子抽取模型，分别对目标动作数据和待处理动作数据数组中的每个待处理动作数据进行虚拟动作描述子的提取。假设提取了目标动作数据中深蹲动作的虚拟动作描述子为[0.7，0.9，0.6]，待处理动作数据数组中某个深蹲动作的虚拟动作描述子为[0.6，0.8，0.5]。在虚拟健身应用中，为了更好地比较各个动作的相似性，将虚拟动作描述子中的每个分量重定向至固定的数值间隔，并以此得到相应的虚拟动作链。假设将虚拟动作描述子中的每个分量重定向至0-10的数值范围内，并保留一位小数。通过对之前的示例进行处理，目标动作数据中深蹲动作的虚拟动作链为[7.0，9.0，6.0]，待处理动作数据数组中某个深蹲动作的虚拟动作链为[6.0，8.0，5.0]。在虚拟健身应用中，期望确定待处理动作数据数组中与目标动作数据对应的动作数据。通过比较待处理动作数据数组中每个动作的虚拟动作链与目标动作数据的虚拟动作链，可以找到最匹配的动作数据。在之前的示例中，根据虚拟动作链的比较，可以确定待处理动作数据数组中某个深蹲动作与目标动作数据中的深蹲动作相对应。

在本发明实施例中，前述基于所述目标动作数据与所述待处理动作数据数组中的待处理动作数据各自的虚拟动作链，从所述待处理动作数据数组中确定与所述目标动作数据对应的动作数据的步骤，可以通过以下步骤执行实施。

(1)将所述目标动作数据的虚拟动作链中各分量的目标量变换为等效的布尔值，得到所述目标动作数据的变换链；

(2)将所述待处理动作数据数组中的待处理动作数据的虚拟动作链中各分量的目标量变换为等效的布尔值，得到所述待处理动作数据的变换链；

(3)根据所述目标动作数据的变换链和所述待处理动作数据数组中各所述待处理动作数据的变换链，从所述待处理动作数据数组中确定与所述目标动作数据对应的动作数据。

在本发明实施例中，示例性的，在一个虚拟游戏应用中，期望根据目标动作数据的虚拟动作链来匹配待处理动作数据数组中的动作数据。首先，需要将目标动作数据的虚拟动作链中的各个分量转换为等效的布尔值。例如，假设目标动作数据的虚拟动作链为[7.0，9.0，6.0]，可以将大于等于7.0的分量转换为True，小于7.0的分量转换为False，得到目标动作数据的变换链为[True，True，False]。在虚拟游戏应用中，待处理动作数据数组中的每个待处理动作数据也需要进行类似的操作，将其虚拟动作链中的各个分量转换为布尔值。假设待处理动作数据数组中某个动作数据的虚拟动作链为[6.0，8.0，5.0]，将大于等于7.0的分量转换为True，小于7.0的分量转换为False，得到该动作数据的变换链为[False，True，False]。在虚拟游戏应用中，根据之前的布尔值变换链，可以比较目标动作数据的变换链和待处理动作数据数组中每个动作数据的变换链，以确定与目标动作数据对应的动作数据。例如，在待处理动作数据数组中，某个动作数据的变换链为[True，True，False]，与目标动作数据的变换链[True，True，False]完全匹配，则可以确定这个动作数据与目标动作数据相对应。如此设计，通过将目标动作数据和待处理动作数据的虚拟动作链变换为等效的布尔值，并根据变换链的比较确定与目标动作数据对应的动作数据。这样可以更加精确地匹配和识别用户的动作数据，提供更好的交互和游戏体验。

在本发明实施例中，前述根据所述目标动作数据的变换链和所述待处理动作数据数组中各所述待处理动作数据的变换链，从所述待处理动作数据数组中确定与所述目标动作数据对应的动作数据的步骤，可以通过以下示例执行实施。

(1)针对所述待处理动作数据数组中每个待处理动作数据的变换链，比较所述目标动作数据的变换链和所述待处理动作数据的变换链中相同分量位置处的布尔值是否相同；

(2)若所述目标动作数据的变换链和所述待处理动作数据的变换链中相同分量位置处的布尔值均相同，则确定所述待处理动作数据是与所述目标动作数据对应的动作数据。

在本发明实施例中，示例性的，在一个虚拟现实游戏中，期望根据目标动作数据的变换链来匹配待处理动作数据数组中的动作数据。针对待处理动作数据数组中的每个待处理动作数据，逐个比较其变换链与目标动作数据的变换链。假设目标动作数据的变换链为[True，True，False]，待处理动作数据数组中某个动作数据的变换链为[False，True，False]。在虚拟现实游戏中，需要比较目标动作数据的变换链和待处理动作数据的变换链中对应位置上的布尔值是否相同。通过逐个比较变换链中相同位置上的布尔值，可以判断它们是否一致。例如，在之前的示例中，比较目标动作数据的变换链[True，True，False]与待处理动作数据的变换链[False，True，False]，发现它们在第一个和第三个位置上的布尔值不一致。在虚拟现实游戏中，如果目标动作数据的变换链和待处理动作数据的变换链在所有相同位置上的布尔值都一致，那么可以确定待处理动作数据与目标动作数据是对应的。例如，在之前的示例中，如果目标动作数据的变换链[True，True，False]与待处理动作数据的变换链[True，True，False]完全匹配，则可以确定这个待处理动作数据与目标动作数据相对应。如此设计，通过比较目标动作数据的变换链和待处理动作数据的变换链中相同位置上的布尔值，可以确定待处理动作数据是否与目标动作数据对应。这样可以实现更准确的动作匹配和识别，提供更流畅和精准的虚拟现实交互体验。

本发明实施例提供一种计算机设备100，计算机设备100包括处理器及存储有计算机指令的非易失性存储器，计算机指令被处理器执行时，计算机设备100执行前述的基于穿戴式交互设备的动作识别方法。如图2所示，图2为本发明实施例提供的计算机设备100的结构框图。计算机设备100包括存储器111、处理器112及通信单元113。为实现数据的传输或交互，存储器111、处理器112以及通信单元113各元件相互之间直接或间接地电性连接。例如，可通过一条或多条通讯总线或信号线实现这些元件相互之间电性连接。

出于说明目的，前面的描述是参考具体实施例而进行的。但是，上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导，众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用，从而使本领域技术人员最佳地利用本公开，并利用具有不同修改的各种实施例以适于预期的特定应用。出于说明目的，前面的描述是参考具体实施例而进行的。但是，上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导，众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用，从而使本领域技术人员最佳地利用本公开，并利用具有不同修改的各种实施例以适于预期的特定应用。

Claims (10)

1.一种基于穿戴式交互设备的动作识别方法，其特征在于，包括：

响应于目标用户输入的穿戴式交互设备启动指令，生成基础动作校准任务显示至与所述穿戴式交互设备通信连接的显示屏中；

在所述基础动作校准任务完成的情况下，进入预设业务场景；

通过所述穿戴式交互设备采集所述目标用户的当前采集动作；

根据所述当前采集动作，调用训练完成的虚拟动作识别模型对所述当前采集动作进行识别，得到所述当前采集动作的动作指令，所述虚拟动作识别模型是结合虚拟动作描述子抽取模型训练得到的；

基于所述动作指令，在所述预设业务场景中执行相应的虚拟动作。

2.根据权利要求1所述的方法，其特征在于，所述虚拟动作识别模型是通过以下方式训练得到的，包括：

获取预置虚拟动作和多个待定动作类型，其中，所述预置虚拟动作配置有多个预置动作类型；

基于所述虚拟动作描述子抽取模型确定各个所述待定动作类型的待定动作类型向量，根据所述待定动作类型向量对多个所述待定动作类型执行群落分析得到多个待定动作类型群落，基于所述预置动作类型确定各个所述待定动作类型群落的预测动作类型；所述虚拟动作识别模型包括抽象单元和决策单元；

对所述预置虚拟动作执行切割操作，得到动作集合，其中，所述动作集合包括多个分解动作；

为所述动作集合的初始位置配置初始指示符，以及为动作集合的结束位置配置终止指示符，得到指示符划分集合；

对所述指示符划分集合进行降维处理，得到指示符动作向量集合；

基于长短期记忆网络，利用所述抽象单元对所述指示符动作向量集合进行编码处理，得到分解动作向量集合，其中，所述分解动作向量集合包括所述指示符划分集合中各个分解动作的分解动作向量；

根据预设的隐藏状态和所述分解动作向量，计算得到各个所述分解动作向量的门控单元状态；

根据预设的Sigmoid激活函数和所述门控单元状态，计算得到各个所述分解动作向量的门控权重；

基于所述门控权重，对各个所述分解动作向量实施加权合并，得到观测向量；

将所述观测向量输入所述决策单元，确定各个所述待定动作类型群落的评估值；

对各个所述评估值分别执行标准化转换，得到各个所述待定动作类型群落的第一置信度；

在所述第一置信度不超过预设的第一预置置信度阈值的基础上，将所述第一置信度对应的所述待定动作类型群落作为预测动作类型群落，再遍历所述预测动作类型群落中的各个所述待定动作类型，计算所述观测向量和所述待定动作类型的待定动作类型向量之间的相似度；

对所述相似度执行标准化转换，得到所述待定动作类型的第二置信度；

在所述第二置信度不超过预设的第二预置置信度阈值的基础上，将所述第二置信度对应的所述待定动作类型作为与所述预置虚拟动作对应的所述待定动作类型；

根据所述预测动作类型群落的输出结果和所述预测动作类型确定初级代价，根据与所述预置虚拟动作对应的所述待定动作类型的输出结果和所述预置动作类型确定次级代价；

将所述初级代价和所述次级代价实施加权合并，得到最终代价；

根据所述最终代价，对所述虚拟动作描述子抽取模型、所述抽象单元和所述决策单元进行协同优化，得到训练完成的所述虚拟动作识别模型。

3.根据权利要求2所述的方法，其特征在于，所述预测动作类型群落的输出结果包括各个所述待定动作类型群落的第一置信度；所述根据所述预测动作类型群落的输出结果和所述预测动作类型确定初级代价，包括：

根据各个所述待定动作类型群落的所述预测动作类型，确定各个所述待定动作类型群落的分类置信度；

计算各个所述分类置信度和对应的所述第一置信度之间的均方误差代价，得到多个分类代价；

将所有所述分类代价之和作为初级代价。

4.根据权利要求2所述的方法，其特征在于，与所述预置虚拟动作对应的所述待定动作类型的输出结果包括所述预测动作类型群落中的各个所述待定动作类型的第二置信度；所述根据与所述预置虚拟动作对应的所述待定动作类型的输出结果和所述预置动作类型确定次级代价，包括：

根据所述预置动作类型，确定所述预测动作类型群落中各个所述待定动作类型的目标动作类型置信度；

计算各个所述目标动作类型置信度和对应的所述第二置信度之间的均方误差代价，得到多个动作类型代价；

将所有所述动作类型代价之和作为次级代价。

5.根据权利要求1所述的方法，其特征在于，所述虚拟动作描述子抽取模型是通过以下方式训练得到的，包括：

获取动作实例数组，所述动作实例数组包括多个动作实例；

针对所述动作实例数组中的目标动作实例，对所述目标动作实例执行数据扩充操作，得到所述目标动作实例对应的目标类别实例；

将所述目标类别实例放置到所述动作实例数组中，得到更新实例数组；

将所述更新实例数组中除所述目标动作实例以外的实例、除所述目标动作实例以外的实例所对应的目标类别实例，确定为所述目标动作实例的非目标类别实例，所述目标类别实例通过对所述动作实例执行数据扩充操作得到，所述非目标类别实例是与所述动作实例不同的实例；

利用虚拟动作描述子抽取模型分别对所述动作实例、所述目标类别实例与所述非目标类别实例进行虚拟动作描述子抽取，得到所述动作实例、所述目标类别实例与所述非目标类别实例数据增广别对应的样本虚拟动作描述子、目标类别实例虚拟动作描述子与非目标类别实例虚拟动作描述子；

计算所述样本虚拟动作描述子与所述目标类别实例虚拟动作描述子的目标类别实例亲和性；

计算所述样本虚拟动作描述子分别与各所述非目标类别实例虚拟动作描述子间的非目标类别实例亲和性，统计各所述非目标类别实例亲和性的总和；

根据所述目标类别实例亲和性与所述总和的误差，设置亲和性代价，所述亲和性代价与所述目标类别实例亲和性存在反向联动，所述亲和性代价与所述总和存在正向联动，计算所述样本虚拟动作描述子的标量值与界限值间的主要偏差；

计算所述目标类别实例虚拟动作描述子的标量值与所述界限值间的辅助偏差；

融合所述主要偏差和所述辅助偏差，设置描述子差异代价，计算所述目标类别实例亲和性与亲和性阈值的相对偏离度；

根据所述相对偏离度，设置目标类别实例相似性代价，所述目标类别实例相似性代价与相对偏离度存在正向联动，联合所述亲和性代价、所述描述子差异代价和所述目标类别实例相似性代价优化模型参数，以得到完成训练的虚拟动作描述子抽取模型。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取参考动作实例数组；

对所述参考动作实例数组中的每个参考动作实例，获取各自的动作持续时间；

针对动作持续时间超过预设时长的参考动作实例，从所述参考动作实例的目标时间点开始，切割预设时间区间的虚拟动作内容，确定为当做训练数据的动作实例；

针对动作持续时间小于预设时长且大于预设时间区间的参考动作实例，切割所述参考动作实例的后预设时间区间的虚拟动作内容，确定为当做训练数据的动作实例；

针对动作持续时间小于预设时间区间的参考动作实例，获取所述参考动作实例后组合，在组合后的动作持续时间大于预设时间区间时，切割前预设时间区间的虚拟动作内容，确定为当做训练数据的动作实例；

所述方法还包括：

计算所述动作实例的动作强度；

若根据所述动作强度确定所述动作实例属于微弱活动实例，则判定所述虚拟动作描述子中的每个分量为零。

7.根据权利要求5所述的方法，其特征在于，利用所述虚拟动作描述子抽取模型对所述动作实例进行虚拟动作描述子抽取的步骤包括：

将所述动作实例的频率空间向量输入至所述虚拟动作描述子抽取模型；

利用所述虚拟动作描述子抽取模型的多个串联的联合结构，对所述动作实例的频率空间向量进行描述子抽取，得到所述样本虚拟动作描述子，所述联合结构包括基础分析层和关联映射层，所述基础分析层是提取时间维度上的特征和频率空间上的特征的架构单元，所述关联映射层是基于所述动作实例的频率空间向量中时域内频谱特性的相互作用进行描述子抽取的架构单元。

8.根据权利要求7所述的方法，其特征在于，所述利用所述虚拟动作描述子抽取模型的多个串联的联合结构，对所述动作实例的频率空间向量进行描述子抽取，得到所述样本虚拟动作描述子，包括：

将所述动作实例的频率空间向量输入至所述虚拟动作描述子抽取模型中第一个联合结构，分别通过第一个联合结构中的基础分析层和关联映射层进行描述子抽取，得到第一个联合结构的处理结果；

从第二个联合结构开始，顺序地将目标联合结构的处理结果输入至下一个目标联合结构，分别通过下一个目标联合结构中的基础分析层和关联映射层进行描述子抽取，得到下一个目标联合结构的处理结果，直至得到最终联合结构的处理结果时终止输入操作；

基于最终联合结构的处理结果，确定所述样本虚拟动作描述子。

9.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取目标动作数据与待处理动作数据数组；

利用所述完成训练的虚拟动作描述子抽取模型，分别对所述目标动作数据与所述待处理动作数据数组中的各待处理动作数据进行虚拟动作描述子抽取，得到各自的虚拟动作描述子；

将各所述虚拟动作描述子中的每个分量重定向至固定数值间隔的目标量，得到相应的虚拟动作链；

将所述目标动作数据的虚拟动作链中各分量的目标量变换为等效的布尔值，得到所述目标动作数据的变换链；

将所述待处理动作数据数组中的待处理动作数据的虚拟动作链中各分量的目标量变换为等效的布尔值，得到所述待处理动作数据的变换链；

针对所述待处理动作数据数组中每个待处理动作数据的变换链，比较所述目标动作数据的变换链和所述待处理动作数据的变换链中相同分量位置处的布尔值是否相同；

若所述目标动作数据的变换链和所述待处理动作数据的变换链中相同分量位置处的布尔值均相同，则确定所述待处理动作数据是与所述目标动作数据对应的动作数。

10.一种服务器系统，其特征在于，包括服务器，所述服务器用于执行权利要求1-9中任一项所述的方法。