CN113849065A - 一种利用健身动作触发客户端操作指令的方法及装置 - Google Patents

Abstract

本说明书一个或多个实施例提供一种利用健身动作触发客户端操作指令的方法及装置，通过获取用户的运动姿态数据，并识别运动姿态数据对应的健身动作，根据预设的操作指令与健身动作之间的对应关系，确定健身动作对应的操作指令，并执行相应的操作指令。本说明书实施例利用健身动作来触发操作指令，增加了用户和客户端的交互方式，提升了用户体验。

Description

一种利用健身动作触发客户端操作指令的方法及装置

技术领域

本说明书实施例涉及计算机应用领域，尤其涉及一种利用健身动作触发客户端操作指令的方法及装置。

背景技术

客户端也称为用户端，是指与服务器相对应，为用户提供本地服务的应用程序，需要与服务端互相配合运行。

客户端一般安装在用户终端上，用户一般通过触摸屏幕或者按下移动终端上的特定按钮，来触发客户端的操作指令。而目前的交互方式过于单一，影响用户的使用体验。

发明内容

有鉴于此，本说明书实施例提供一种利用健身动作触发客户端操作指令的方法及装置。

根据本说明书实施例的第一方面，提出了一种利用健身动作触发客户端操作指令的方法，包括：

确定预设的操作指令与健身动作的对应关系；其中，每个操作指令对应于至少一个健身动作，任意两个操作指令对应的健身动作不重合；

获取用户当前的运动姿态数据；

识别获取的运动姿态数据对应的健身动作；

根据预设的操作指令与健身动作的对应关系，确定并执行健身动作对应的操作指令。

根据本说明书第二方面，提出了一种利用健身动作触发客户端操作指令的装置，包括：

对应关系确定模块，用于确定预设的操作指令与健身动作的对应关系；其中，每个操作指令对应于至少一个健身动作，任意两个操作指令对应的健身动作不重合；

运动姿态数据获取模块，用于获取用户当前的运动姿态数据；

健身动作识别模块，用于识别获取的运动姿态数据对应的健身动作；

操作指令执行模块，用于根据预设的操作指令与健身动作的对应关系，确定并执行健身动作对应的操作指令。

根据本说明书实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述利用健身动作触发客户端操作指令的方法。

根据本说明书实施例的第四方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现上述利用健身动作触发客户端操作指令的方法。

本说明书实施例中，通过获取用户的运动姿态数据，并识别运动姿态数据对应的健身动作，根据预设的操作指令与健身动作之间的对应关系，确定健身动作对应的操作指令，并执行相应的操作指令。本说明书实施例利用健身动作来触发操作指令，增加了用户和客户端的交互方式，提升了用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。

图1是本说明书根据一示例性实施例示出的一种利用健身动作触发客户端操作指令的方法的流程图。

图2是本说明书根据一实施例示出的一种识别用户健身动作的示意图。

图3是本说明书根据一示例性实施例示出的一种利用健身动作触发客户端操作指令的装置的框图。

图4是本说明书根据一示例性实施例示出的一种利用健身动作触发客户端操作指令的装置所在计算机设备的一种硬件结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

相关技术中，对于移动终端上所安装的客户端软件而言，一般是用户通过触摸屏幕或者按下移动终端上的特定按钮与客户端软件进行交互，换言之，用户通过上述方式来触发客户端软件的操作指令，以完成与客户端软件的交互。对于其他用户终端(比如计算机、电视等)上所安装的客户端软件而言，一般是用户通过辅助工具(比如鼠标键盘或遥控器等)完成与客户端软件的交互，换言之，用户通过使用辅助工具，对页面上的特定按钮进行选取，以触发操作指令，完成交互。

可见，当前的交互方法相对单一，影响用户的使用体验。为了提升用户的使用体验，考虑到可以将健身动作与触发操作指令结合起来，使得用户在使用客户端的同时可以健身锻炼。具体而言，通过获取用户的运动姿态数据，并识别运动姿态数据对应的健身动作，根据预设的操作指令与健身动作之间的对应关系，确定健身动作对应的操作指令，并执行相应的操作指令。本说明书实施例利用健身动作来触发操作指令，增加了用户和客户端的交互方式，提升了用户体验。

接下来将对本说明书的提供的一种利用健身动作触发客户端操作指令的方法进行详细说明。

如图1所示，本说明书提供一种利用健身动作触发客户端操作指令的方法，包括以下步骤：

步骤101，确定预设的操作指令与健身动作的对应关系；其中，每个操作指令对应于至少一个健身动作，任意两个操作指令对应的健身动作不重合。

其中，该方法的执行主体可以是移动终端上所安装的客户端软件，比如应用于智能手机、平板电脑、智能手表等穿戴设备等。在某些情况下，也可以是应用于非移动的用户终端上所安装的客户端软件，比如应用于个人计算机、电视等、

用户使用客户端的情况下，可自由选择是通过传统触摸的方法来触发客户端的操作指令，还是通过健身动作来触发客户端的操作指令。开启通过健身动作来触发操作指令后，客户端除了需要执行步骤101之外，如果客户端所在的用户终端存在扬声器或者可以连接无线耳机，还可以通过语音提醒用户，比如提醒用户的动作标准或者提醒用户手机的摆放等；如果客户端所在的用户终端的画面可以使得健身中的用户看到，还可以通过画面提醒用户。

用户开启通过健身动作来触发操作指令，可以是在客户端的设置页面进行设置；也可以是通过特定的手势进行控制，比如将当前页面下拉到底即为开启通过健身动作来触发操作指令，或者在页面上画个大的三角形即为开启通过健身动作来触发操作指令；如果客户端或者用户终端内置了语音助手，还可以是用户通过与语音助手对话来开启通过健身动作来触发操作指令；如果用户终端上有至少一个按键的情况下，还可以是通过按下指定按键或者指定的按键组合的方式来开启通过健身动作来触发操作指令，当然指定按键或者指定按键组合事先没有被赋予其他功能。用户终端的本说明书对于开启通过健身动作来触发客户端的操作指令的方法不做限制。

用户开启通过健身动作来触发操作指令，可以是在整个客户端内开启通过健身动作来触发操作指令，也可以是只在客户端的某个模块内开启通过健身动作触发操作指令，比如在客户端内嵌的某个小程序内开启，或者在客户端的某些界面内开启。比如对于某电子钱包客户端来说，可以在该客户端某统计节碳量的界面开启。当然，在哪些界面开启，用户是可以选择的。

用户开启通过健身动作来触发操作指令后，为了能确定用户当前做该健身动作究竟是为了触发什么样的操作指令，客户端需要执行步骤101，来确定预设的操作指令与健身动作的对应关系，以通过该对应关系来确定操作指令。

如果一个健身动作对应于多个操作指令的话，在用户做该健身动作的情况下，将会无法确定用户究竟想触发哪个操作指令，因此，一个健身动作只会对应于一个操作指令。此外，为了进一步提升用户的使用体验，可以选择一个操作指令对应于多个健身动作。

其中，每个操作指令除了对应于健身动作之外，还对应于该健身动作的标准。健身动作标准可以是健身动作的执行频率，或者动作幅度等，比如健身动作是高抬腿的情况下，可以设置健身动作执行的频率为一秒2下，在健身动作是深蹲的情况下，可以设置深蹲的动作幅度。

健身动作的标准可以根据用户的年龄、身体状况等进行设置，对于年龄更大的用户来说，健身动作的频率不易过高，以防止用户在完成健身动作的过程中出现意外；对于身体状况不佳的用户来说，健身动作的频率和幅度都不易过高，以防出现意外。

在用户执行了一个健身动作，但是该健身动作的频率或者幅度不符合对应的健身动作的标准的情况下，可以通过语音、振动或者其他形式来提示用户当前的健身动作不标准。具体而言，客户端在检测到用户执行了某个健身动作的情况下，判断用户所执行的健身动作是否符合该健身动作的标准，并在不符合健身动作标准的情况下，通过一种方式来提醒用户当前的健身动作不标准。

此外，具体的操作指令与及健身动作之间的对应关系是如何获取的，将在下文进行详细描述，在此暂不赘述。

步骤103，获取用户当前的运动姿态数据。

步骤105，识别获取的运动姿态数据对应的健身动作。

接下来将对步骤103-步骤105进行统一说明。具体的获取用户的运动姿态数据和识别用户的健身动作的方法，本说明书提供了以下两种获取方法，当然这两种方法并不表示对于本说明书的限定，如果其他的方法也可以获取运动姿态数据并识别到健身动作的话，使用其他获取方法进行获取识别也可以。

第一种方法是通过用户终端的摄像模块进行获取，并通过机器学习的方法来识别用户所执行的健身动作。

换言之，步骤103具体为：获取用户终端的摄像模块所拍摄的运动姿态数据。步骤105具体为：获取预先训练的特征提取模型和预先训练的动作识别模型；将所述用户的运动姿态数据输入所述特征提取模型，提取所述运动姿态数据的动作特征；将所述动作特征输入所述动作识别模型，确定所述用户的运动姿态数据对应的健身动作。

其中，用户终端的摄像模块，可以是用户终端所自带的摄像模块，也可以是用户终端外接的摄像模块。在用户开启通过健身动作触发操作指令，且摄像模块已经就位后，可以通过声音、振动或者图像来提醒用户站到摄像模块可以拍摄到全身的位置，且在健身过程中，如果用户出了摄像模块所能拍摄到的范围，也可以通过声音、振动或者显示界面上的文字或者图像来提醒用户已经超出范围，并提示用户进行移动，以进入摄像模块拍摄范围内。

此外，由于用户是通过健身动作与客户端进行交互，如果是利用移动终端自带的摄像模块的话，可能为了拍摄到用户的全身，使得用户离移动终端太远，而无法看到移动终端上的内容，无法很好的进行交互。因此，在移动终端的屏幕较小的情况下，可以在用户开启健身动作触发操作指令后，提示用户使用投屏的方式，将移动终端客户端的内容投屏到更大的屏幕；或者提示用户使用外接摄像头进行拍摄；或者提示用户站在镜子前面，让屏幕朝向用户，并用移动终端的后置摄像头去拍摄镜子中用户的镜像动作。通过以上方式，使得在摄像模块得到用户完整图像的基础上，用户还能看到移动终端屏幕上的内容，以使得用户有较好的体验。

其中，所获取的运动姿态数据，是用户实时的运动姿态数据，并不是过去录制的运动姿态数据。为了确保获取到的运动姿态数据是真实的实时数据，还可以在获取运动姿态数据时，增加活体检测功能，比如可以在拍摄数据的同时使用活体检测，检测当前所拍摄到的视频是否是用户的实时运动姿态数据。在当前所拍摄的视频并不包括活体的情况下，不对当前数据进行分析，并通过语音或者其他方法提示用户当前不存在活体。

用户的运动姿态数据的特征提取可以通过多种方法实现，所提取的动作特征也可以包括多种形式，比如，动作特征，为每一帧图像中人体关键点的位置特征，所述人体关键点用于标识人体动作，这种情况下，所提取的动作特征可以如图2所示。可见，人体关键点可以包括脚腕、膝盖、肩膀、胳膊肘和胯骨、手肘等关节点，还有用于标识面部动作的关键点。

识别关键点可以通过姿态检测模型MoveNet、BlazePose或PoseNet来识别。当然为了减少客户端集成的功能数量，也可以通过辅助工具来检测关键点，比如可以在关键点上贴上特殊贴纸，通过设备特殊贴纸的位置来确定用户的姿态。

此外，除了上述通过拍摄的方式来获取运动姿态数据外，在用户终端是移动终端或者可穿戴设备的情况下，还可以根据移动终端上的传感器来检测用户的运动，以获取用户的运动姿态数据。

具体而言，步骤103包括：获取预设时间内移动终端的运动传感器的测量序列，将所述测量序列作为运动姿态数据；所述运动传感器为用于检测移动终端的动态移动的传感器。步骤105包括：获取预先训练的动作识别模型；将所述测量序列输入所述动作识别模型，确定所述测量序列对应的动作标识。

其中，运动传感器可以为加速度传感器、陀螺仪等移动终端自身已经安装的传感器，目前大部分智能移动终端和可穿戴设备都装有加速度传感器和陀螺仪等。通过运动传感器的测量序列，就能通过速度公式计算出速度的大小和方向，再通过位移公式得到移动终端或可穿戴设备的运动轨迹，其中测量序列可以是直接获取的传感器的测量值，也可以是根据速度公式和位移公式等获取的运动轨迹。

在用户终端是移动终端的情况下，为了使得运动传感器可以得到测量序列，需要把客户端固定在身体的某个部位上，比如如果用户的大臂、小臂或者大腿等部位。固定的话，可以通过绑带来固定，如果移动终端体积不大，还可以将移动终端放在用户的较为紧的兜里(防止在兜里乱晃，影响最终的测量结果)，当然也可以将移动终端拿在手上进行测量。

此外，考虑到本说明书提供的方法是一种用户和客户端进行交互的方法，而在通过移动终端或者可穿戴设备上的运动传感器来测量的时候，用户无法看到移动终端或者可穿戴设备的显示界面，为了能使得用户可以和客户端进行交互，可以提示用户进行投屏，将移动终端或者可穿戴设备的显示界面进行投屏显示，或者通过语音播报的形式取代视觉交互，以完成用户和客户端的交互。

上述方法中，动作识别模型是预先训练的用于识别健身动作的神经网络模型。不同的用户，所做的动作有一定差别，对于每个用户来说，为了使得动作识别模型都能成功识别该用户的健身动作具体是什么，可以在进行识别前，预先提示用户进行录制，录制用户做不同健身动作的视频/测量序列，并通过这些视频对动作/传感器序列识别模型进行更新，以使得每个用户的客户端的动作识别模型能更适用于该用户。

步骤107，根据预设的操作指令与健身动作的对应关系，确定并执行健身动作对应的操作指令。

完成指令后，还可以通过语音提示用户已经完成该操作指令，以使得用户得到反馈。

此外，为了提升用户使用该功能的意愿，可以设置一些奖励，来吸引用户使用该功能，比如，如果在某电子钱包客户端的外卖小程序中使用该功能，可以每当用户完成1000个深蹲动作(这里只是举例，并不表示对于健身动作的限定)，奖励用户一定积分(积分可以换取红包)。如果在某电子钱包客户端的某统计节碳量的界面使用该功能，用户可以通过健身动作来增加“偷能量”中所偷能量的大小。

为了提升用户使用该功能的意愿，还可以：在该功能中增加排行功能，每个用户可以看到的排行中，包括与该用户具有朋友关系的其他用户，及该用户和这些其他用户的每日运动时间/运动次数，比如，可以让该用户看到的排行中，可以包括与其具有朋友关系的用户们的每日深蹲数量。

进一步地为了得到排行，需要实时统计每个用户的运动时间/运动次数，但是为了减轻客户端的通信压力，可以让客户端每隔一定时间去获取排行需要的数据，或者只在用户打开该排行时获取用户的数据。

此外，还需要说明的是，操作指令与健身动作的对应关系的获取方法可以包括以下几种。

确定预设的操作指令与健身动作的对应关系，可以是：确定用户自定义设置的操作指令与健身动作的对应关系。换言之，操作指令与健身动作的对应关系是用户预先自定义设置的，确定预设的操作指令与健身动作的对应关系，是获取了用户预设的操作指令与健身动作的对应关系。

用户自定义设置，可以是用户从可以选择的所有操作指令，和所有健身动作中，选取若干个健身动作，并选取若干个操作指令，并设置操作指令和健身动作之间的对应关系。

用户自定义设置，还可以是根据客户端所推荐的内容进行选择。对于客户端来说，客户端推荐，可以基于用户的操作指令使用需求进行推荐，也可以基于用户的锻炼需求进行推荐，还可以基于用户的朋友关系进行推荐。

如果根据用户的操作指令使用需求或者锻炼需求(统称为使用需求)进行推荐，则客户端需要向用户优先推荐符合用户使用需求的操作指令、健身动作或操作指令与健身动作的对应关系，以使用户优先选择客户端所推荐的。换言之，自定义设置的方法包括：确定用户的使用需求；所述使用需求包括以下至少一个：操作指令的执行需求，用户的锻炼需求；根据用户的使用需求，在对应关系选择页面向用户优先推荐和使用需求相对应的操作指令、健身动作或操作指令与健身动作之间的对应关系；确定用户选择的操作指令与健身动作之间的对应关系。

根据用户的使用需求，进行优先推荐，也就是说，将符合用户使用需求的操作指令、健身动作或两者的对应关系进行优先展示，以使得用户优先选择所优先推荐的。此外，由于操作指令与健身动作的对应关系是用户自定义设置的，那么不同用户所自定义设置的操作指令与健身动作的对应关系也可能是不同的。

客户端如果是基于用户的操作指令使用需求进行推荐，那么确定用户的使用需求，包括：确定用户执行频率大于预设频率阈值的常用操作指令，即确定用户最常用的若干个操作指令。根据用户的使用需求，向用户优先推荐和使用需求相对应的操作指令、健身动作或操作指令与健身动作之间的对应关系，包括：在对应关系选择页面向用户优先展示常用操作指令，即在对应关系选择页面中，常用操作指令在其他操作指令的前面。

客户端如果是基于用户的锻炼需求进行推荐，那么确定用户的使用需求，包括：确定用户的锻炼需求。其中，用户的锻炼需求，可以是根据用户填写的问卷确定的，也可以是根据用户的锻炼类型选择所确定的，锻炼类型可以包括，减脂、塑性、增肌等等，具体的还可以选择减脂、塑性和增肌等的部位。此外，根据用户的使用需求，向用户优先推荐和使用需求相对应的操作指令、健身动作或操作指令与健身动作之间的对应关系，包括：根据用户的锻炼需求，确定预设数量的推荐动作；所述预设数量大于可设置的操作指令的数量；在对应关系选择页面向用户优先展示推荐动作。推荐动作和用户的锻炼需求相符，比如用户想要针对腹部增肌，那么推荐动作可以包括平板支撑、仰卧起坐等等。

此外，在用户设置的健身动作存在健身动作的标准的情况下，用户的锻炼需求还可以包括锻炼等级，锻炼等级可以是用户根据自身情况进行选择的，也可以是根据用户填写的问卷所确定的。健身动作的标准可以根据用户锻炼等级、年龄和性别等综合进行考虑。

客户端如果是基于用户的使用需求来进行综合推荐，那么根据用户的使用需求，向用户优先推荐和使用需求相对应的操作指令、健身动作或操作指令与健身动作之间的对应关系，包括：根据用户的使用需求，确定与用户具有相似使用需求的用户群；确定该用户群的常用对应关系；在对应关系选择页面向用户优先展示常用对应关系。

其中，用户的使用需求可以包括用户的锻炼需求和操作指令使用需求，这里的锻炼需求可以是锻炼类型，比如减脂、塑性或增肌，操作指令使用需求可以是用户使用客户端的某个页面或者小程序的需求。相似使用需求可以指的是锻炼类型相同，操作指令使用需求相似。

该用户群常用对应关系可以指的是，该用户群中已经自定义设置操作指令与健身动作的对应关系中，使用人数大于预设阈值的对应关系。在向用户推荐的时候，还可以对推荐的对应关系进行标注，比如增加“人气TPO1”等的标注，以使得用户优先选择这些对应关系，提升用户的使用体验。

其中，常用对应关系可以是从用户上传的自身推荐的对应关系中获取，也可以是从客户端在确定对应关系后，将该对应关系上传至服务端，常用对应关系从服务端存储的对应关系中获取。

此外，客户端如果是基于用户的朋友关系进行推荐，那么客户端可以向用户推荐，与该用户具有朋友关系的用户中，使用最多的对应关系。具体而言，客户端需要先确认该用户的朋友关系，在确定与该用户具有朋友关系的用户使用过的对应关系，并将使用过的对应关系进行计数，计算与该用户具有朋友关系的用户使用数最多的几组对应关系，并将这些对应关系优先推荐给用户。

通过上述方式可以实现用户自定义设置操作指令与健身动作的对应关系，将健身和日常使用客户端相结合，使得用户可以在使用客户端的同时完成健身。此外，由于客户端会考虑用户的使用需求或用户的朋友关系并进行推荐，用户可以优先选择客户端所推荐的操作指令、健身动作或者操作指令与健身动作的对应关系，这样用户所选取的操作指令与健身动作的对应关系，是符合用户的操作指令使用需求或者健身需求的，提升了用户的使用体验。

确定预设的操作指令与健身动作的对应关系，除了可以根据用户的自定义设置来确定，还可以是确定系统预设的操作指令与健身动作的对应关系。换言之，客户端预先设置有操作指令与健身动作的对应关系，用户开启通过健身动作来触发操作指令后，客户端会获取预先写在客户端内的操作指令与健身动作的对应关系。

预先设置的操作指令与健身动作的对应关系可以是，能够增强趣味性的对应关系，具体而言，对应关系中健身动作的实现效果与操作指令触发后的效果相对应。比如，对于某电子钱包客户端的统计节碳量的界面而言，其常用的功能有给别人浇水，及偷能量，和切换到下一个朋友用户。那么由于浇水需要较大的力气，可以通过力量型动作(比如深蹲、俯卧撑)来触发浇水；由于能量像果子一样长在树上较高的位置，需要跳起来才能摘到，可以通过跳跃性动作(比如高抬腿)来触发偷能量，由于切换到下一个朋友需要左右滑动，那么可以通过向左侧弯腰或者向右侧弯腰来进行切换。比如，对于某新闻浏览客户端而言，可以通过下蹲进行向下翻页，通过跳跃进行向上翻页，再比如，对于某电子钱包客户端的捐爱心的界面来说，可以增加跟着小鸡做五禽戏的内容。这样的设置，增加了用户使用的趣味性。

接下来将通过一具体实施例来对本说明书提供的一种利用健身动作触发客户端操作指令的方法进行详细说明。

比如在某电子钱包客户端的统计节碳量的界面(以蚂蚁森林为例)，可以通过健身动作来触发操作指令。用户在客户端的设置页面开启通过健身动作来触发客户端的操作指令后，客户端获取预设的操作指令与健身动作的对应关系具体的对应关系可以包括：

偷能量-高抬腿，

浇水-深蹲/俯卧撑/仰卧起坐，

切换下一个用户-侧弯腰，

进入自己参与的合种-单腿提腹。

其中，每个动作都可以设定健身动作标准，具体的健身动作标准根据用户的性别及年龄进行设置，比如该用户年龄30，性别男，设置的健身动作标准为：高抬腿，十秒钟15次，仰卧起坐，10秒钟10个，俯卧撑10秒钟10个，侧弯腰角度大于60°，单腿提腹连续做15个。为了提升用户的锻炼效果，还可以在用户执行的健身动作超过健身动作标准一定程度的情况下，给予用户一定奖励，比如用户在十秒钟做了20个高抬腿，可以提高该用户获取其他用户的能量的比例。

在用户开启后，该客户端是智能手机，通过语音提示用户将智能手机竖放在桌子和地上，并用语音提示用户走远，客户端通过智能手机的摄像模块获取拍摄到的图像，并检测摄像模块中用户的位置，在用户的位置合适时，通过语音提示用户已经到达合适位置。

在用户到达合适位置后，客户端获取摄像模块拍摄的视频，将拍摄的视频输入预先训练的特征提取模型，提取该视频的动作特征，并将动作特征输入动作识别模型，识别是否存在预设的健身动作(上述的高抬腿、深蹲、俯卧撑、仰卧起坐、侧弯腰、单腿提腹等)。

在确定存在预设的健身动作的情况下，比如确定存在高抬腿动作，进一步确定用户执行高抬腿动作的频率，如果用户频率超过设定的高抬腿标准(十秒钟15个)，则执行高抬腿动作对应的偷能量。在偷取能量后，通过语音提示用户已经完成偷能量的动作，比如可以提示用户“恭喜您，您已经获取了用户A10g能量”，此外，还可以对页面内容进行一定提示，可以提示用户当前用户是否还有未偷取的能量球等，比如可以提示用户，“当前页面还有5个未摘取的能量球”。

如果用户执行的动作是向左侧弯腰，且符合预设的向左侧弯腰标准，则可以在切换到下一个用户的界面后，通过语音提示用户，“已经切换到用户B的页面”。如果用户执行的动作是单腿提腹，且符合预设的单腿提腹标准，则可以通过语音提示用户，“已进入您的合种xx树”。在进入合种后，如果用户执行的动作是仰卧起坐，且符合仰卧起坐的标准，则可以通过语音提示用户“您已向xx树浇水10g”。

与前述利用健身动作触发客户端操作指令的方法的实施例相对应，本说明书还提供了一种利用健身动作触发客户端操作指令的装置及其所应用的终端的实施例。

如图3所示，图3是本说明书根据一示例性实施例示出的一种利用健身动作触发客户端操作指令的装置的框图，所述装置包括：

对应关系确定模块310，用于确定预设的操作指令与健身动作的对应关系；其中，每个操作指令对应于至少一个健身动作，任意两个操作指令对应的健身动作不重合。

运动姿态数据获取模块320，用于获取用户当前的运动姿态数据。

健身动作识别模块330，用于识别获取的运动姿态数据对应的健身动作。

操作指令执行模块340，用于根据预设的操作指令与健身动作的对应关系，确定并执行健身动作对应的操作指令。

其中，对应关系确定模块310具体用于：确定用户自定义设置的操作指令与健身动作的对应关系。

在对应关系是用户自定义设置的情况下，该装置还可以包括自定义设置模块300，用于：确定用户的使用需求；所述使用需求包括以下至少一个：操作指令的执行需求，用户的锻炼需求；根据用户的使用需求，在对应关系选择页面向用户优先推荐和使用需求相对应的操作指令、健身动作或操作指令与健身动作之间的对应关系；确定用户选择的操作指令与健身动作之间的对应关系。

自定义设置模块300中，所述确定用户的使用需求，可以包括：确定用户执行频率大于预设频率阈值的常用操作指令；所述根据用户的使用需求，向用户优先推荐和使用需求相对应的操作指令、健身动作或操作指令与健身动作之间的对应关系，可以包括：在对应关系选择页面向用户优先展示常用操作指令。

此外，自定义设置模块300中，所述确定用户的使用需求，还可以包括：确定用户的锻炼需求；所述根据用户的使用需求，向用户优先推荐和使用需求相对应的操作指令、健身动作或操作指令与健身动作之间的对应关系，还可以包括：根据用户的锻炼需求，确定预设数量的推荐动作；所述预设数量大于可设置的操作指令的数量；在对应关系选择页面向用户优先展示推荐动作。

自定义设置模块300中，根据用户的使用需求，向用户优先推荐和使用需求相对应的操作指令、健身动作或操作指令与健身动作之间的对应关系，还可以包括：根据用户的使用需求，确定与用户具有相似使用需求的用户群；确定该用户群的常用对应关系；在对应关系选择页面向用户优先展示常用对应关系。

其中，运动姿态数据获取模块320，具体用于获取用户终端的摄像模块所拍摄的运动姿态数据。健身动作识别模块330，具体用于获取预先训练的特征提取模型和预先训练的动作识别模型；将所述用户的运动姿态数据输入所述特征提取模型，提取所述运动姿态数据的动作特征；将所述动作特征输入所述动作识别模型，确定所述用户的运动姿态数据对应的健身动作。其中，动作特征，可以为每一帧图像中人体关键点的位置特征；所述人体关键点用于标识人体动作。

此外，运动姿态数据获取模块320，还可以具体用于获取预设时间内移动终端的运动传感器的测量序列，将所述测量序列作为运动姿态数据；所述运动传感器为用于检测移动终端的动态移动的传感器。健身动作识别模块330，还可以具体用于获取预先训练的动作识别模型；将所述测量序列输入所述动作识别模型，确定所述测量序列对应的动作标识。

上述一种利用健身动作触发客户端操作指令的装置中各个模块的功能和作用的实现过程具体详见上述一种利用健身动作触发客户端操作指令的方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

如图4所示，图4示出了实施例＝利用健身动作触发客户端操作指令的装置所在计算机设备的一种硬件结构图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的利用健身动作触发客户端操作指令的方法。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

Claims (12)

1.一种利用健身动作触发客户端操作指令的方法，包括：

确定预设的操作指令与健身动作的对应关系；其中，每个操作指令对应于至少一个健身动作，任意两个操作指令对应的健身动作不重合；

获取用户当前的运动姿态数据；

识别获取的运动姿态数据对应的健身动作；

根据预设的操作指令与健身动作的对应关系，确定并执行健身动作对应的操作指令。

2.根据权利要求1所述方法，所述确定预设的操作指令与健身动作的对应关系，包括：

确定用户自定义设置的操作指令与健身动作的对应关系。

3.根据权利要求2所述方法，自定义设置的方法包括：

确定用户的使用需求；所述使用需求包括以下至少一个：操作指令的执行需求，用户的锻炼需求；

根据用户的使用需求，在对应关系选择页面向用户优先推荐和使用需求相对应的操作指令、健身动作或操作指令与健身动作之间的对应关系；

确定用户选择的操作指令与健身动作之间的对应关系。

4.根据权利要求3所述方法，

所述确定用户的使用需求，包括：确定用户执行频率大于预设频率阈值的常用操作指令；

所述根据用户的使用需求，向用户优先推荐和使用需求相对应的操作指令、健身动作或操作指令与健身动作之间的对应关系，包括：在对应关系选择页面向用户优先展示常用操作指令。

5.根据权利要求3所述方法，

所述确定用户的使用需求，包括：确定用户的锻炼需求；

所述根据用户的使用需求，向用户优先推荐和使用需求相对应的操作指令、健身动作或操作指令与健身动作之间的对应关系，包括：根据用户的锻炼需求，确定预设数量的推荐动作；所述预设数量大于可设置的操作指令的数量；在对应关系选择页面向用户优先展示推荐动作。

6.根据权利要求3所述方法，所述根据用户的使用需求，向用户优先推荐和使用需求相对应的操作指令、健身动作或操作指令与健身动作之间的对应关系，包括：

根据用户的使用需求，确定与用户具有相似使用需求的用户群；

确定该用户群的常用对应关系；

在对应关系选择页面向用户优先展示常用对应关系。

7.根据权利要求1所述方法，

所述获取用户的运动姿态数据，包括：获取用户终端的摄像模块所拍摄的运动姿态数据；

所述识别获取的运动姿态数据对应的健身动作，包括：

获取预先训练的特征提取模型和预先训练的动作识别模型；

将所述用户的运动姿态数据输入所述特征提取模型，提取所述运动姿态数据的动作特征；

将所述动作特征输入所述动作识别模型，确定所述用户的运动姿态数据对应的健身动作。

8.根据权利要求7所述方法，所述动作特征，为每一帧图像中人体关键点的位置特征；所述人体关键点用于标识人体动作。

9.根据权利要求1所述方法，

所述获取用户的运动姿态数据，包括：获取预设时间内移动终端的运动传感器的测量序列，将所述测量序列作为运动姿态数据；所述运动传感器为用于检测移动终端的动态移动的传感器；

所述识别获取的运动姿态数据对应的健身动作，包括：

获取预先训练的动作识别模型；

将所述测量序列输入所述动作识别模型，确定所述测量序列对应的动作标识。

10.一种利用健身动作触发客户端操作指令的装置，包括：

对应关系确定模块，用于确定预设的操作指令与健身动作的对应关系；其中，每个操作指令对应于至少一个健身动作，任意两个操作指令对应的健身动作不重合；

运动姿态数据获取模块，用于获取用户当前的运动姿态数据；

健身动作识别模块，用于识别获取的运动姿态数据对应的健身动作；

操作指令执行模块，用于根据预设的操作指令与健身动作的对应关系，确定并执行健身动作对应的操作指令。

11.一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如权利要求1-9中任一项所述的方法。

12.一种计算机可读存储介质，存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-9中任一项所述的方法。

Images