CN117930989A - 一种手势交互方法和电子设备 - Google Patents

Abstract

本申请公开一种手势交互方法和电子设备，涉及终端领域，该方法包括：显示虚拟乐器的第一弹奏界面，根据识别到用户佩戴可穿戴设备的手做出弹奏虚拟乐器的第一手指动作，根据第一手指动作对应的虚拟乐器的第一弹奏单元，播放第一弹奏单元对应的声音，显示第一弹奏单元被弹奏的第一效果。还可以通过对比用户弹奏的音调和节拍与标准的音调和节拍，识别用户的弹奏错误，并进行提示，进而帮助用户纠错。还可以通过多设备连接，将弹奏过程显示在屏幕尺寸更大的设备上，便于用户查看。实现与虚拟乐器的弹奏交互，模拟真实的音乐的弹奏场景，提升用户的交互体验。

Description

一种手势交互方法和电子设备

技术领域

本申请涉及终端领域，尤其涉及一种手势交互方法和电子设备。

背景技术

手势交互是一种常见的人机交互方式，相比于触摸、语音交互，手势交互具有更好的互动性。

目前，在一些手势交互的应用场景中，设备通过识别用户的拍手动作来确定用户的拍手频率是否与音乐的节拍匹配，这种交互方式过于简单和基础，仅实现与音乐的节拍交互，不能模拟真实的音乐的场景，用户的体验感较差。

发明内容

本申请实施例提供一种手势交互方法和电子设备，通过识别用户佩戴可穿戴设备的手做出弹奏虚拟乐器的第一手指动作，播放弹奏虚拟乐器的声音，显示弹奏虚拟乐器的特效，实现弹奏虚拟乐器的交互。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供了一种手势交互方法，该方法包括：

显示虚拟乐器的第一弹奏界面，根据识别到用户佩戴可穿戴设备的手做出弹奏虚拟乐器的第一手指动作，根据第一手指动作对应的虚拟乐器的第一弹奏单元，播放第一弹奏单元对应的声音，显示第一弹奏单元被弹奏的第一效果。

在该实施方式中，通过识别用户弹奏虚拟乐器的第一手指动作，实现与虚拟乐器的弹奏交互，可以模拟真实的音乐的弹奏场景，提升用户的交互体验。

一种可能的实施方式中，可穿戴设备部署有肌电传感器，可以通过表面肌电信号检测用户做出的第一手指动作。

在该实施方式中，利用肌电传感器可以实现对用户的手指动作的检测，进而能够识别用户是否做出第一手指动作。

一种可能的实施方式中，根据第一手指动作对应的手指、手指与第一弹奏界面中弹奏单元的对应关系，确定第一弹奏单元。

在该实施方式中，通过手指与弹奏单元的对应关系，确定与用户做出第一手指动作的手指对应的第一弹奏单元，进而实现播放第一弹奏单元的声音，显示第一弹奏单元被弹奏的特效。

一种可能的实施方式中，响应于用户佩戴可穿戴设备做出的第一手腕动作，显示第二弹奏界面；第二弹奏界面包括有未在第一弹奏界面显示的第二弹奏单元。

在该实施方式中，第一弹奏界面包括响应于用户佩戴可穿戴设备做出第一手腕动作前显示的弹奏界面，在第一弹奏界面中，包括虚拟乐器的第一弹奏单元；第二弹奏界面包括响应于用户佩戴可穿戴设备做出第一手腕动作后显示的弹奏界面，在第二弹奏界面中，包括未在第一弹奏界面显示的第二弹奏单元，通过识别用户做出的第一手腕动作，改变显示出的虚拟乐器的弹奏单元，实现模拟在弹奏真实乐器时手腕在乐器的不同弹奏单元的移动。

一种可能的实施方式中，可穿戴设备部署有惯性测量单元，可以通过惯性测量单元检测用户做出的第一手腕动作。

在该实施方式中，利用惯性测量单元可以实现对用户的手腕动作的检测，进而能够识别用户是否做出第一手腕动作。

一种可能的实施方式中，根据第一手腕动作的移动距离和旋转角度确定虚拟乐器的弹奏单元的移动距离和旋转角度，在得到虚拟乐器的弹奏单元的移动距离和旋转角度后，根据第一弹奏界面中弹奏单元对应的位姿，以及虚拟乐器的弹奏单元的移动距离和旋转角度，确定第二弹奏界面。

在该实施方式中，可以实现根据用户的手腕动作改变显示的虚拟乐器的弹奏单元。

一种可能的实施方式中，显示包括用户弹奏第一乐曲过程中生成的音调和节拍的第一乐谱，和包括第一乐曲的标准音调和标准节拍的第二乐谱。

在该实施方式中，用户可以通过显示的第一乐谱和第二乐谱发现自身的弹奏错误。

一种可能的实施方式中，识别第一乐谱和第二乐谱，如果第一乐谱中第一音调与第二乐谱中第二音调不同，或者，第一乐谱中第一节拍与第二乐谱中第二节拍不同，发出第一弹奏错误信息。

在该实施方式中，第一乐谱中第一音调与第二乐谱中第二音调不同可以表征为弹奏指法错误，第一乐谱中第一节拍与第二乐谱中第二节拍不同可以表征为弹奏节拍错误，可以通过识别第一乐谱和第二乐谱，发现用户弹奏错误，并发出第一弹奏错误信息提示用户出现弹奏错误，帮助用户纠正弹奏错误，实现弹奏虚拟乐器的教学。

一种可能的实施方式中，第一弹奏错误提示信息包括：显示第一弹奏错误提示信息，播放第一弹奏错误提示信息，或震动。

在该实施方式中，通过显示第一弹奏错误提示信息，播放第一弹奏错误提示信息，或震动，多维度的提示用户弹奏错误，可以强化用户对弹奏错误的感知。

一种可能的实施方式中，从可穿戴设备接收第一数据，根据第一数据确定用户佩戴可穿戴设备做出第一手指动作。

在该实施方式中，第一数据包括惯性测量单元和肌电传感器检测到的信号，从可穿戴设备接收第一数据，可穿戴设备可以仅作为输入设备使用，无需占用可穿戴设备的运算资源。

一种可能的实施方式中，从可穿戴设备接收第二数据，根据第二数据，播放虚拟乐器被弹奏的视频。

在该实施方式中，第二数据包括视频流数据，从可穿戴设备接收第二数据，播放虚拟乐器被弹奏的视频，用户无需在可穿戴设备较小尺寸的显示屏上观看虚拟乐器被弹奏的视频。

第二方面，提供了一种电子设备，包括：处理器和存储器；该存储器用于存储计算机执行指令，当该电子设备运行时，该处理器执行该存储器存储的该计算机执行指令，以使该电子设备执行如上述第一方面中任一项所述的方法。

第三方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机可以执行上述第一方面中任一项所述的方法。

第四方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面中任一项所述的方法。

其中，第二方面至第四方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果，此处不再赘述。

其中，第二方面至第四方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果，此处不再赘述。

附图说明

图1为本申请实施例提供的方法所适用的一种识别手势动作的示意图；

图2为本申请实施例提供的方法所适用的又一种识别手势动作的示意图；

图3为本申请实施例提供的方法所适用的场景示例图；

图4为本申请实施例提供的方法所适用的场景示例图；

图5为本申请实施例提供的方法流程图；

图6为本申请实施例提供的方法所适用的可穿戴设备的显示示意图；

图7为本申请实施例提供的方法所适用的可穿戴设备的显示示意图；

图8为本申请实施例提供的方法所适用的弹奏错误示意图；

图9为本申请实施例提供的方法所适用的可穿戴设备的显示示意图；

图10为本申请实施例提供的方法所适用的大尺寸设备的显示示意图；

图11为本申请实施例提供的方法所适用的多设备连接示意图；

图12为本申请实施例提供的一种电子设备的硬件结构示意图；

图13为本申请实施例提供的一种电子设备的芯片系统示意图。

具体实施方式

在本申请实施例的描述中，以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上（包含两个）。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

人机交互（human-computer interaction，HCI）是指人与电子设备之间的信息交换，手势识别作为一种便捷的人机交互方式在越来越多的场景得到应用。随着终端技术的发展，智能手表、手环等佩戴在用户手腕或者手臂部位的可穿戴设备，由于其佩戴的部位较为灵活，用户可以较为方便的输入手势动作，更容易进行手势交互。

为了便于说明，本申请实施例以佩戴在用户手腕部位的智能手表为例进行示例说明，对于其他的可穿戴设备同样适用。针对佩戴部位，根据实际应用也可以佩戴在用户的脚腕、小腿，头部、颈部等等部位，不再特别说明。

手势识别根据检测原理的不同主要分为机器视觉检测、运动检测、肌电信号检测等，其中：

机器视觉检测是利用图像采集设备拍摄得到包括手势动作的图像或者视频数据，然后通过神经网络和深度学习算法识别图像或者视频数据中的手部关节点，通过识别手部关节点之间的位置关系确定用户的手势动作。

运动检测主要使用惯性测量单元（inertial measurement unit，IMU）检测设备的加速度和角速度，IMU包括：加速度计（Accelerometer）和陀螺仪（Gyroscope），加速度计和陀螺仪的组合也常常被称为A+G传感器。IMU能够检测到设备的位姿（位置和姿态）发生变化的加速度和角速度，对加速度和角速度进行积分可以得到设备的位移距离和旋转角度，进而根据设备的位移和旋转角度可以识别用户的手势动作。例如，如图1的（a）所示，为用户按照转动方向转动手腕前手表的位姿，图1的（b）为用户按照转动方向转动手腕后手表的位姿，可以看到，在用户转动手腕时，手表的位姿发生了变化，IMU能够检测手表位姿变化产生的信号，设备根据这些信号识别用户做出了转动手腕的动作。如图1的（c）所示，为用户按照抬起方向抬起手腕前手表的位姿，图1的（d）为用户按照抬起方向抬起手腕后手表的位姿，可以看到，用户在抬起手腕时，手表的位姿发生了变化，且与用户转动手腕时位姿的变化不同，IMU检测到的信号也不同，设备通过识别这些信号的差异，能够识别用户不同的手势动作。

肌电信号检测主要使用肌电传感器检测用户手部运动产生的表面肌电信号，根据表面肌电信号识别用户的手势动作。表面肌电信号是人体表面肌肉通过收缩产生的生物电流，神经系统控制肌肉活动时（收缩或放松），在表面皮肤不同的肌肉纤维运动单元在同一时间产生不同强度的表面肌电信号。当手部发生运动，在手腕部位的表面皮肤的不同位置产生不同强度的表面肌电信号。利用这个特征，在进行识别前，可以预先根据不同位置产生的不同强度的表面肌电信号对手部运动进行分类，得到多组手势动作类型，进而通过比较采集到的表面肌电信号，与手势动作类型对应的表面肌电信号的特征相似度来识别用户做出的手势动作。如图2所示，肌电传感器包括有若干个采集电极，若干个采集电极被配置在手表的背部，与用户的手腕不同位置的皮肤接触，当手部运动时，若干个采集电极可以采集不同位置产生的表面肌电信号，通过对采集到的表面肌电信号，与手势动作类型对应的表面肌电信号进行相似度匹配，识别用户做出的手势动作。

目前，在一些手势交互的应用场景中，可穿戴设备通过识别用户的拍手动作来确定用户的拍手频率是否与音乐的节拍匹配，这种交互方式过于简单和基础，仅实现与音乐的节拍交互，不能模拟真实的音乐的弹奏场景，用户的体验感较差。

本申请实施例提供一种手势交互方法，可应用于可穿戴设备，可穿戴设备显示虚拟乐器的弹奏界面，在虚拟乐器的弹奏界面中显示可进行手势交互的虚拟乐器的弹奏单元，通过识别用户的手指动作，与这些弹奏单元进行手势交互，播放这些弹奏单元对应的声音，显示这些弹奏单元被弹奏的特效。实现与虚拟乐器的弹奏交互，可以模拟真实的音乐的弹奏场景，提升用户的交互体验。

示例性的，虚拟乐器的弹奏单元表示为虚拟乐器与用户的手指动作交互，发出单个特定音调的声音的基本单元，例如，以虚拟乐器为钢琴为例，弹奏单元表示为钢琴的琴键，不同的琴键对应发出不同音调的声音。

另外，在本申请实施例提供的手势交互方法中，可穿戴设备根据用户做出的弹奏虚拟乐器的手势动作，在显示屏上显示弹奏乐谱，用户可以在弹奏过程中，和弹奏后，查看弹奏乐谱。

进一步地，可穿戴设备可以在显示屏上显示原曲乐谱和弹奏乐谱，以及弹奏错误提示信息，指示用户弹奏错误，帮助用户纠正弹奏错误，提升弹奏水平。

示例性的，用户的手势动作包括手腕运动、手指运动等，显示屏上显示的虚拟乐器的弹奏界面包括虚拟乐器的多个弹奏单元，多个弹奏单元可以是虚拟乐器的全部弹奏单元，也可以是虚拟乐器的部分弹奏单元。具体的，根据显示屏的尺寸、虚拟乐器的种类、用户的实际观感设置，本申请实施例不做限制。

在本申请实施例提供的手势交互方法中，如图3所示，在可穿戴设备的显示屏上显示虚拟乐器（钢琴）的部分琴键。可穿戴设备通过识别用户的手指按下的动作，根据手指按下的动作对应的琴键，可穿戴设备发出该琴键对应的声音。

进一步地，如果在显示屏上显示的是钢琴的部分琴键，那么可穿戴设备还可以通过识别用户的手腕移动，改变在显示屏上显示的钢琴的琴键，也就是说，可穿戴设备可以通过识别用户的手腕移动距离，确定在显示屏上显示的钢琴的琴键，模拟弹奏真实钢琴时的手腕移动切换音区。

可以知道的是，上述示例仅是以虚拟乐器为钢琴进行示例说明，虚拟乐器还可以是吉他、小号、琵琶等乐器，不同的乐器弹奏指法也不相同，这里不再一一举例说明。

在一种实现方式中，可穿戴设备设置有惯性测量单元。可以利用惯性测量单元检测可穿戴设备的加速度和角速度，通过对加速度和角速度进行积分可以得到可穿戴设备的位移距离和旋转角度。由于可穿戴设备佩戴在用户的手腕部位，根据可穿戴设备的位移距离和旋转角度可以识别用户移动手腕、抬起、放下手腕、转动手腕等手腕运动。

在一种实现方式中，可穿戴设备设置有肌电传感器，可以利用肌电传感器检测用户手部的表面肌电信号，根据这些表面肌电信号可以识别出用户的手指做出按下、抬起、外展、内收等动作，也就是上述手指运动。

可穿戴设备利用惯性测量单元可以检测到可穿戴设备的位移和旋转角度，进而识别用户的手腕部位的运动。随着用户手腕部位的运动，在可穿戴设备的显示屏上显示的乐器的弹奏单元也随之发生变化，模拟在弹奏真实乐器时手腕在乐器的不同弹奏单元的移动。可穿戴设备利用肌电传感器可以识别用户做出的手指动作，通过识别用户的手指动作，可以确定是否与弹奏真实乐器时的指法相匹配，若匹配，则根据用户的手部与虚拟乐器的相对位置，播放用户弹奏虚拟乐器的声音，并在显示屏上显示用户弹奏虚拟乐器的弹奏乐谱。

在一些实施例中，受限于可穿戴设备的显示屏的尺寸等因素的影响，显示屏显示虚拟乐器的部分弹奏单元，还有部分弹奏单元未在显示屏中显示，在显示屏显示的这部分弹奏单元与用户的手部存在对应关系，表示用户的手部目前所能弹奏的虚拟乐器的弹奏单元，随着用户的手腕移动，显示屏显示的虚拟乐器的弹奏单元也发生改变，由未显示的弹奏单元替换显示的弹奏单元，以实现模拟在弹奏真实乐器时手腕在乐器的不同弹奏单元的移动。可穿戴设备利用惯性测量单元检测自身的位姿信号，确定可穿戴设备的移动距离和旋转角度，由于可穿戴设备佩戴在用户的手腕部，根据确定的可穿戴设备的移动距离和旋转角度，可以识别用户手腕的移动距离和旋转角度。根据用户的手腕的移动距离和旋转角度，确定虚拟乐器的弹奏单元的移动距离和旋转角度。根据识别用户的手腕发生位姿变化前，显示屏显示的虚拟乐器的弹奏单元，以及根据用户的手腕的移动距离和旋转角度，确定的虚拟乐器的弹奏单元的移动距离和旋转角度，在显示屏显示识别到用户的手腕发生位姿变化后，与用户的手腕的移动距离和旋转角度对应的虚拟乐器的弹奏单元。

示例性的，以虚拟乐器为钢琴为例。钢琴共有88个琴键，每一个琴键对应一个弹奏单元，这些琴键被分为高中低三个音区，每个音区又各自对应三个音组，共9个音组，从低音区到高音区依次为大字2组：A2、B2，大字1组：C1、D1、E1、F1、G1、A1、B2，大字组：C、D、E、F、G、A、B，然后是小字组c、d、e、f、g、a、b，小字1组：c1、d1、e1、f1、g1、a1、b1，小字2组到小字4组与小字1组类似在小写的字母后加上组别对应的数字，这里不做过多赘述，小字5组：c5。

如图4的（a）所示，以用户左手佩戴手表（也即为可穿戴设备）为例，在手表的显示屏上显示钢琴的部分琴键。显示屏显示的钢琴的琴键包括d键、c键、B键、A键、G键、F键和E键。其中，在用户的手指自然摆放（不外展）的情况下，用户的大拇指对应钢琴的c键，用户的食指对应B键，中指对应A键，无名指对应G键、小拇指对应F键。

如图4的（b）所示，当手表根据惯性测量单元识别用户做出手腕向右移动了d距离，根据手腕的移动距离d确定更新后的琴键，在手表的显示屏上显示更新后的琴键。在图4的（b）中，用户的手指自然摆放（不外展）时，用户的大拇指对应的琴键是f键，食指对应e键，中指对应d键，无名指对应c键，小拇指对应B键。也就是说，手表通过惯性测量单元识别出用户的左手向右移动了d距离，对应的在显示屏上显示的钢琴向右移动三个键位。手表通过改变显示屏上显示的琴键，模拟用户在弹奏真实的钢琴时，移动手腕到钢琴的不同的音区，以使得可以弹奏不同的音区对应的琴键。

在一些实施例中，可穿戴设备利用肌电传感器检测到的表面肌电信号，识别用户做出弹奏虚拟乐器的手指动作，根据做出弹奏虚拟乐器的手指动作所对应的手指与显示屏显示的虚拟乐器的弹奏单元的对应关系，确定被弹奏的弹奏单元，播放被弹奏的弹奏单元对应的声音，在显示屏显示被弹奏的弹奏单元的特效。手指与显示屏显示的虚拟乐器的弹奏单元的对应关系可以是预先确定的，根据手指与虚拟乐器的弹奏单元的对应关系，在可穿戴设备的显示屏显示虚拟乐器的弹奏单元。

示例性的，如图4的（c）所示，以虚拟乐器为钢琴为例，弹奏单元对应的是琴键，手指与弹奏单元对应的关系为：用户的大拇指对应钢琴的c键，用户的食指对应B键，中指对应A键，无名指对应G键、小拇指对应F键。手表根据肌电传感器检测到的表面肌电信号识别用户的中指有按下的动作，根据用户中指按下的动作，以及中指对应的钢琴的A键，控制扬声器发出弹奏A键的音调。并且，在显示屏上显示A键被按下的特效。可以理解的，按下不同的琴键会发出频率不同的音调，通过识别用户的手指动作，确定用户弹奏的琴键来播放该琴键对应的音调。

如图4的（d）所示，手表根据肌电传感器检测到的表面肌电信号识别用户的小拇指有横向外展后按下的动作，根据用户的小拇指横向外展的幅度，确定用户的小拇指对应的是E键（图中虚线为手表识别用户的小拇指横向外展后对应的琴键）。控制扬声器发出与E键对应的声音。需要说明的是，这是钢琴指法中的“扩指”，此外，钢琴指法还包括：“顺指”、“穿指”、“跨指”、“缩指”、“换指”等指法。不同的指法，其手部的不同位置的肌肉组织的兴奋程度不同，检测到的表面肌电信号也不同。实际上无论何种指法都可以归类为特定的手势动作类型，通过对这些指法进行分类，根据检测到的表面肌电信号与这些指法的手势动作类型所对应的表面肌电信号的特征相似度，手表能够识别用户做出了何种指法。

结合上述图4的示例，手表可以利用惯性测量单元识别用户的手腕运动，利用肌电传感器识别用户的手指运动，当用户移动手腕时，手表的显示屏上显示的钢琴的琴键也随着手腕的移动发生改变，可以模拟用户弹奏真实的钢琴时手腕在钢琴的琴键上的移动，以调整手指能够按到的琴键，手表通过识别到用户的手指按下动作后，根据手指对应的琴键，发出模拟该琴键的音调，将识别用户的手腕运动和手指运动结合，就可以实现模拟弹奏真实的钢琴时的指法，播放弹奏钢琴的声音。

在一些实施方式中，如图5所示，本申请实施例提供的手势交互方法可以包括：

S501、响应于触发指令，手表启动乐器弹奏应用。

示例性的，手表可以根据用户的触摸指令、语音指令、手势指令等启动乐器弹奏应用。其中，启动乐器弹奏应用的手势指令例如可以是翻转两次手腕；手表根据惯性测量单元检测到手表的位姿发生变化，通过检测手表的位姿变化识别用户做出翻转手腕的动作。在识别到用户做出了翻转两次手腕的动作后，手表启动乐器弹奏应用。乐器弹奏应用可以是游戏应用，或者是教学应用，互动应用等。

可以知道的是，翻转两次手腕手表启动乐器弹奏应用是一种示例说明，在实际应用中，还可以设置其他的手势指令，例如，用户用手臂画一个圆等等能够被手表检测到的手势动作。本申请实施例不再一一举例。

S502、响应于选择指令，手表显示乐器弹奏应用的模拟弹奏界面。

示例性的，手表在启动乐器弹奏应用后，在手表的显示屏上选择界面，手表通过识别用户的手势动作进行乐器选择、左右手选择、曲目、音量选择等操作。识别用户的手势动作包括识别用户的手势动作类型，手势动作幅度，以及手势动作频率等。

在一种示例中，针对识别用户的手势动作类型，在识别用户的手势动作时，例如，抬高手腕表示查看下一种乐器，压低手腕表示查看上一种乐器，握拳表示选择乐器。在进行曲目选择时，手表的显示屏循环显示弹奏曲目，手势动作类型可以包括顺时针转动手腕、逆时针转动手腕和握拳等；例如，顺时针转动手腕表示查看下一曲目，逆时针转动手腕表示查看上一曲目，握拳表示选择曲目。

在一种示例中，针对识别用户的手势动作幅度，在识别用户的手势动作时，例如，用户做出小幅度的抬高手腕和压低手腕的动作表示调节音量的大小，用户做出大幅度的抬高手腕和压低手腕的动作表示进行乐器的选择。

在一种示例中，针对识别用户的手势动作频率，在识别用户的手势动作时，例如，用户以特定的频率抖动手腕，表示选择与用户抖动手腕的频率对应的曲目、乐器等。

在一些实施方式中，可以采用上述一种或多种组合进行手势动作的识别，例如，在选择乐器时，将手势动作类型与手势动作频率组合，用户以较快的频率做出抬高手腕的动作，表示切换到下一页（一页中显示一种以上的乐器），用户以较快的频率做出压低手腕的动作，表示切换到上一页，用户以较慢的频率做出抬高手腕的动作，表示切换下一种乐器，用户以较慢的频率做出压低手腕的动作，表示切换上一种乐器。

在一种实现方式中，上述示例中对手势动作类型的识别、手势动作幅度的识别以及动作频率的识别均可以通过惯性测量单元和肌电传感器实现，这里不再过多赘述。

在选择界面选择了乐器、左右手、曲目等后，手表显示模拟弹奏界面，模拟弹奏界面例如上述图3、图4所示，显示乐器的弹奏单元，还可以是如图6所示，不仅显示虚拟乐器，还显示原曲乐谱，原曲乐谱随着标准的节拍滚动显示，用户可以通过观察显示屏上显示的原曲乐谱进行弹奏。

S503、根据识别到用户弹奏虚拟乐器的手势动作，播放弹奏虚拟乐器的音调，显示该音调对应的音符。

示例性的，手表显示虚拟乐器的弹奏单元，手表显示的虚拟乐器的弹奏单元用于向用户显示用户的手指与弹奏单元的对应关系。也就是说，手表显示的虚拟乐器的弹奏单元可以作为用户判断弹奏虚拟乐器时的位置参考。随着用户的手腕的移动，手表识别到用户的手腕移动距离，根据用户的手腕移动距离，改变显示的虚拟乐器的弹奏单元。

示例性的，以上述示例中的虚拟乐器为钢琴为例，弹奏钢琴一般都有一个起始手位，也就是在准备弹奏钢琴之前的手指在钢琴上的摆放位置。一般地，一种常见的钢琴的左手起始手位是大拇指对应钢琴的c键，用户的食指对应B键，中指对应A键，无名指对应G键、小拇指对应F键。该起始手位可以表示为虚拟乐器的弹奏单元与用户的手指的对应关系。

在一些实施方式中，手表显示虚拟乐器的弹奏单元可以根据该乐器的起始手位确定，而乐器的起始手位有很多种，可以按照弹奏水平，弹奏曲目等进行划分，这些是预先确定的，可以由用户自定义选择，在用户选择了虚拟乐曲的起始手位后，手表显示模拟弹奏界面时，可以根据用户自定义显示虚拟乐器对应的弹奏单元。

在手表显示虚拟乐器的弹奏单元后，手表利用惯性测量单元以及肌电传感器识别用户的手腕动作和手指动作，随着用户的手腕移动，在手表上显示的虚拟乐器的弹奏单元也相应的移动，随着用户的手指按下，或者外展、内收，识别用户的弹奏指法，若用户的弹奏指法与虚拟乐器的弹奏指法相匹配，手表显示弹奏虚拟乐器的特效，该特效例如，钢琴琴键被按下，吉他琴弦被拨动等等；并且，手表播放与弹奏虚拟乐器的弹奏单元对应的声音，该声音例如，按下的钢琴琴键发出的音调，波动吉他琴弦的音调等。

在一些实施方式中，如图7所示，在手表的显示屏显示两行乐谱，靠上的第一行为原曲乐谱，第二行为用户弹奏乐谱，随着用户弹奏虚拟乐器，在手表上滚动显示原曲乐谱，以及用户弹奏虚拟乐器生成的弹奏乐谱，用户可以随时查看原曲乐谱和弹奏乐谱，对比其中的差异。

通过惯性测量单元和肌电传感器识别用户的手势动作，结合手表的显示屏和扬声器，可以通过识别用户的手势动作启动乐器弹奏应用，以及进行乐器、曲目、左右手的选择等，还可以识别用户的手势动作是否与弹奏的虚拟乐器的指法匹配，如果匹配则控制显示屏显示弹奏虚拟乐器的乐谱，以及控制扬声器发出弹奏虚拟乐器的声音，实现模拟弹奏真实乐器时的指法和声音，并且通过显示屏显示的原曲乐谱和弹奏乐谱，辅助用户对比弹奏乐谱与原曲乐谱的差异，帮助用户提升弹奏水平。

在一些实施方式中，手表可以根据采集到的表面肌电信号，识别用户的手势动作是否与弹奏虚拟乐器的指法相匹配，如果匹配，则根据采集表面肌电信号的时间，确定弹奏节拍，在弹奏节拍处生成弹奏的音符。

进一步地，手表还可以对原曲乐谱与弹奏乐谱进行识别，生成弹奏错误提示信息，用户可以更轻易的发现弹奏错误。

示例性的，弹奏错误提示信息可以包括弹奏节拍错误和弹奏指法错误，弹奏节拍错误包括：用户弹奏的节拍快于原曲的节拍或者慢于原曲的节拍；弹奏指法错误包括：用户弹奏的音符相较于原曲的音符不同。

节拍是乐曲中衡量节奏的单位，节拍由慢到快一般分为单拍、二分之一拍、四分之一拍、八分之一拍等，单拍就是指在一个标准时间内需要弹奏一个音符，二分之一拍就是在一个标准时间内弹奏两个音符，以此类推。示例性的，如图8的（a）所示，手表的显示屏上的第一行显示的是原曲的音符和节拍，第二行显示的是用户弹奏的音符和节拍，原曲的节拍与弹奏的节拍在时间上是同步的，在弹奏节拍正确的情况下，用户弹奏的音符与原曲的音符上下是对齐的。数字表示音符，其中，1、2、3、4、5、6、7分别对应的音调为：多（do）、来（re）、米（mi）、发（fa）、梭（sol）、拉（la）、西（si），以乐器为钢琴为例，1、2、3、4、5、6、7分别对应钢琴的音组中的C、D、E、F、G、A、B这几个琴键，数字上的加点标注的是音的高低，例如数字上没有点表示为中音，数字上有一个点表示为高音，两个点表示为倍高音，数字下一个点表示为低音，数字下两个点表示为倍低音。数字上的不同数量的加点分别对应钢琴不同的音区，这里不再过多介绍。

可以知道的是，本申请上述图8以及其他关于乐谱的示例中，仅是以数字简谱作为示例说明，在实际应用中，手表还可以展示完整的乐谱，本申请实施例不再特别说明。

针对用户弹奏节拍错误，在图8的（a）的示例中，可以看到在弹奏区间41中，弹奏节拍明显快于标准节拍。因此手表在弹奏区间41中识别到出现弹奏节拍错误。在手表识别到弹奏节拍错误后，可以根据弹奏节拍的错误类型（与标准节拍相比过快或者过慢）控制震动马达发出震动提示。示例性的，如果手表识别弹奏节拍相比于标准节拍过快，则可以控制震动马达发出震动频率较高的震动提示，如果手表识别弹奏节拍相比于标准节拍过慢，则可以控制震动马达发出震动频率较低的震动提示。

在具体的实现过程中，手表根据识别出用户的手势动作为弹奏虚拟乐器时的指法后，例如手表识别出用户做出按下手指的手势动作，再根据获取该手势动作的表面肌电信号的时间确定弹奏节拍，在弹奏节拍处生成用户弹奏的音调对应的音符。例如，若弹奏虚拟乐器时的指法所对应的手势动作类型包括按下、抬起时，若识别出用户做出握拳等非弹奏虚拟乐器时的指法时，则不会在对应的节拍处生成音符，也就是说，在确定弹奏节拍时，识别用户做出的手势动作是否为弹奏虚拟乐器时所对应的指法，若是则根据获取表面肌电信号的时间，在对应的节拍处生成音符，若否，则不生成音符。需要说明的是，生成的音符不一定要与原曲的音符一致，若生成的音符不一致，则表示为用户弹奏指法错误，并不是做出非弹奏虚拟乐器时的指法。

针对用户弹奏指法错误，手表可以根据采集到的表面肌电信号，识别用户的手势动作与弹奏虚拟乐器时的指法的匹配度确定弹奏指法，根据弹奏指法生成音符，将用户弹奏虚拟乐器生成的音符与原曲的音符进行对比，若音符不一致，则表示用户弹奏指法错误，如图8的（b）所示，在弹奏区间42中，原曲的标准指法弹奏的音符为高音sol，手表识别到的用户的弹奏指法弹奏的音符为高音do，因此手表识别到在弹奏区间42中出现弹奏指法错误。在手表识别到弹奏指法错误后，可以控制震动马达发出震动提示，提示用户在此处出现弹奏指法的错误。

在具体的实现过程中，用户的手部与虚拟乐器的相对位置不同，在识别到用户的手指做出相同的动作时，生成的音符也不同，而用户的手部与虚拟乐器的相对位置体现为手表的显示屏显示的虚拟乐器的弹奏单元，例如，手表显示钢琴的琴键是高音区的，c3键、d3键、e3键、f3键、g3键、a3键、b3键，那么根据识别到用户的手指按下，生成的音符同样是高音音符，如果手表显示钢琴的琴键是低音区的，C键、D键、E键、F键、G键、A键、B键，那么根据识别到用户的手指按下，生成的音符为低音音符。

可以知道的是，由于弹奏虚拟乐器时的指法所对应的手势动作类型比较复杂，且不同的乐器其指法也各有不同，这里仅以识别到用户的手指按下和抬起的手势动作作为示例说明，其他的指法与上述示例的识别过程类似，这里不再一一举例说明。

在本申请实施例提供的手势交互方法中，可以在弹奏虚拟乐器的过程中，将识别到的弹奏节拍和弹奏指法与原曲的标准节拍和标准指法进行对比，若出现弹奏节拍错误或者弹奏指法错误，可以产生提示信息提醒用户，实现在弹奏过程中纠错，有助于提升用户的弹奏水平。

进一步地，手表根据识别到的弹奏节拍和弹奏音符生成弹奏乐谱，并将用户的弹奏乐谱与原曲乐谱以及弹奏节拍错误和弹奏指法错误的标记信息对应的弹奏内容进行展示。

在一些实施方式中，如图9所示，在手表的显示屏滚动展示用户的弹奏乐谱，原曲乐谱以及弹奏节拍错误和弹奏指法错误的标记信息，用户可以通过滑动手指查看乐谱的其他部分内容。

在另一些实施方式中，在与手表连接的大尺寸设备的显示屏上显示，大尺寸设备例如可以是手机、平板电脑、显示器等相比于手表具有更大显示屏的电子设备。手表可以通过蓝牙、云端等方式将弹奏内容传至大尺寸设备，如图10所示，手表与平板电脑建立蓝牙连接，通过蓝牙传输图像或者视频数据，平板电脑在收到图像或者视频数据后，展示弹奏内容。

在本申请实施例提供的手势交互方法中，可以在弹奏虚拟乐器结束后，通过屏幕展示弹奏内容，使用户可以直观的发现弹奏节拍错误或者弹奏指法错误，有助于提升用户的弹奏水平。进一步地，通过多设备交互，还可以将弹奏内容在显示尺寸更大的大尺寸设备上展示，提升用户的体验。

在一些实施方式中，本申请实施例的执行主体可以为大尺寸设备，在大尺寸设备的显示屏上显示虚拟乐器的弹奏界面，通过获取部署在可穿戴设备上的惯性测量单元和肌电传感器采集到的信号，识别用户弹奏虚拟乐器的手势动作，播放弹奏虚拟乐器的声音，显示弹奏虚拟乐器的特效。

示例性的，如图11的（a）所示，通过多设备连接，可以在大尺寸设备上运行乐器弹奏应用，可穿戴设备作为输入设备，将惯性测量单元和肌电传感器采集到的信号发送给大尺寸设备处理。大尺寸设备根据惯性测量单元和肌电传感器采集到的信号识别用户弹奏虚拟乐器的手势动作，播放弹奏虚拟乐器的声音，显示弹奏虚拟乐器的特效。

在另一些实施方式中，本申请实施例的执行主体可以为可穿戴设备，可穿戴设备根据惯性测量单元和肌电传感器采集到的信号，识别用户弹奏虚拟乐器的手势动作，生成视频流数据，将视频流数据发送给大尺寸设备，在大尺寸设备的显示屏上显示弹奏虚拟乐器的特效，播放弹奏虚拟乐器的声音。

示例性的，如图11的（b）所示，可穿戴设备作为处理设备，根据惯性测量单元和肌电传感器采集到的信号，识别用户的手势动作，进行模拟弹奏，将弹奏内容对应的视频流数据发送给大尺寸设备，大尺寸设备在得到视频流数据后，播放弹奏虚拟乐器的声音，显示弹奏虚拟乐器的特效。

在一些实施方式中，由于大多数乐器都需要双手弹奏，可以在用户的左右手分别佩戴一个可穿戴设备，两个可穿戴设备分别识别用户的左右手的手势动作，实现双手弹奏虚拟乐器。

示例性的，两个可穿戴设备可以是同规格的设备，例如，相同型号的手表，也可以是不同规格的设备。例如，以其中一个可穿戴设备为主设备，也就是智能手表；另一个可穿戴设备为辅助设备，辅助设备可以是具有惯性测量单元和肌电传感器的手环。该辅助设备还应具有蓝牙通信功能。如图11的（c）所示，辅助设备与主设备之间通过蓝牙建立通信连接，辅助设备将惯性测量单元和肌电传感器检测到的信号通过蓝牙连接发送给主设备进行处理。主设备处理部署在本体的惯性测量单元和肌电传感器检测到的信号，以及处理辅助设备的惯性测量单元和肌电传感器检测到的信号，进而识别用户的左右手的手势动作，实现双手弹奏虚拟乐器。

在实际的应用中，由于辅助设备仅需要具有采集信号和传递信号的功能，相比于主设备成本较低，因此选择一个主设备一个辅助设备实现双手弹奏乐器具有较好的经济性。

在一些实施方式中，双设备还可以识别用户的手势动作，切换左右手单独弹奏，以虚拟乐器为钢琴为例，左手通常用于弹奏和弦，旋律和低音，右手弹奏高音和旋律，左右手的分工不同，在弹奏虚拟乐器的过程中，如果为左手单独弹奏，则播放曲目中右手弹奏部分的标准旋律，如果为右手单独弹奏，则播放曲目中左手弹奏部分的标准旋律。实现针对单个手的强化练习。在弹奏过程中，手表通过识别用户做出翻转手腕等切换左右手的手势动作，切换左右手弹奏，在成功切换左右手弹奏后，手表控制震动马达发出提示信息，提示用户此时已经进行了左右手切换。

通过多设备交互，可以实现双手弹奏虚拟乐器，以及自由的切换左右手弹奏，可以针对性的对单个手进行训练，增加手势识别的交互性，提升用户弹奏虚拟乐器的交互体验。

在本申请实施例中，电子设备可以是可穿戴设备（如：智能手表、智能手环）等。本申请实施例对于电子设备的具体设备形态不作特殊限制。

示例地，以电子设备为智能手表为例，图12示出了本申请实施例提供的一种电子设备的结构示意图。

如图12所示，电子设备400可以包括处理器410，外部存储器接口420，内部存储器421，电源接口430，充电管理模块440，电源管理模块441，电池442，天线1，无线通信模块460，音频模块470，传感器模块480，按键490，马达491，指示器492，显示屏494等，其中，传感器模块480可以包括陀螺仪传感器480A，加速度传感器480B，肌电传感器480C，触摸传感器480D等。

可以理解的是，本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器410可以包括一个或多个处理单元，例如：处理器410可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器410中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器410中的存储器为高速缓冲存储器。该存储器可以保存处理器410刚用过或循环使用的指令或数据。如果处理器410需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器410的等待时间，因而提高了系统的效率。

在一些实施例中，处理器410可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

电子设备的无线通信功能可以通过天线1，无线通信模块460，调制解调处理器以及基带处理器等实现。

电子设备通过GPU，显示屏494，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏494和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器410可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏494用于显示图像，视频等。显示屏494包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备可以包括1个或N个显示屏494，N为大于1的正整数。

内部存储器421可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器410通过运行存储在内部存储器421的指令，从而执行电子设备的各种功能应用以及数据处理。内部存储器421可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器421可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

陀螺仪传感器480A，又称为角速度传感器，应用在电子设备的陀螺仪传感器480A一般为微机电陀螺仪，微机电陀螺仪采用的是相互正交的震动和转动引起的交变科里奥利力，识别设备的角速度，在本申请实施例中，陀螺仪传感器480A与加速度传感器480B组合成A+G传感器，用于识别设备的位移距离和旋转角度，也就是确定设备的位姿。

加速度传感器480B，又称为加速度计，应用在电子设备的加速度传感器480B一般为微机电加速度计，微机电加速度计由上电容板、可移动的中电容板，下电容板组成，当设备移动时，中电容板会移动，与上、下电容板的距离发生变化，从而引起电容变化，通过对电容变化进行数字处理，输出数字化信号，得到设备的位移方向和位移距离，在本申请实施例中，加速度传感器480B与陀螺仪传感器480A组合成A+G传感器，用于确定设备的位姿。

肌电传感器480C，包括多个采集电极，采集电极与皮肤接触，用于检测不同位置皮肤的表面肌电信号，在本申请实施例中，肌电传感器480C的采集电极部署在智能手表的后盖处，并与用户的皮肤接触，检测用户的手势动作时产生的表面肌电信号。

对应于前述实施例中的方法，本申请实施例还提供一种交互装置。该装置可以应用于上述的电子设备用于实现前述实施例中的方法。该装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。例如，该装置包括：采集模块，处理模块以及识别模块等。采集模块，处理模块以及识别模块可以配合用于实现上述实施例中相关的方法。

通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在又一种实现中，该装置实现以上方法中各个步骤的单元可以是被配置成一个或多个处理元件，这些处理元件可以设置于对应上述的电子设备上，这里的处理元件可以为集成电路，例如：一个或多个ASIC或一个或多个DSP或一个或者多个FPGA，或者这些类集成电路的组合。这些集成电路可以集成在一起，构成芯片。

例如，本申请实施例还提供一种芯片系统（例如，片上系统（system on a chip，SoC）），如图13所示，该芯片系统包括至少一个处理器1101和至少一个接口电路1102。处理器1101和接口电路1102可通过线路互联。例如，接口电路1102可用于从其它装置（例如电子设备的存储器）接收信号。又例如，接口电路1102可用于向其它装置（例如处理器1101或者电子设备的摄像头）发送信号。示例性的，接口电路1102可读取存储器中存储的指令，并将该指令发送给处理器1101。当所述指令被处理器1101执行时，可使得电子设备执行上述实施例中的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。

本申请实施例还提供一种计算机程序产品，包括电子设备，如上述电子设备运行的计算机指令。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种手势交互方法，其特征在于，所述方法包括：

显示虚拟乐器的第一弹奏界面；所述第一弹奏界面包括多个弹奏单元，每个所述弹奏单元分别对应一个音符；

响应于用户佩戴可穿戴设备做出的第一手指动作，播放所述第一弹奏界面中第一弹奏单元的声音，在所述第一弹奏界面显示第一效果；所述第一效果表示所述虚拟乐器的第一弹奏单元被弹奏。

2.根据权利要求1所述的方法，其特征在于，所述可穿戴设备包括肌电传感器，所述第一手指动作是通过所述肌电传感器检测到的。

3.根据权利要求2所述的方法，其特征在于，在播放所述第一弹奏界面中第一弹奏单元的声音，在所述第一弹奏界面显示第一效果之前，所述方法还包括：

根据所述第一手指动作对应的手指、所述手指与所述第一弹奏界面中弹奏单元的对应关系，确定所述第一弹奏单元。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述显示虚拟乐器的第一弹奏界面之后，所述方法还包括：

响应于用户佩戴可穿戴设备做出的第一手腕动作，显示第二弹奏界面；所述第二弹奏界面包括第二弹奏单元，所述第二弹奏单元未包括在所述第一弹奏界面。

5.根据权利要求4所述的方法，其特征在于，所述可穿戴设备包括惯性测量单元，所述第一手腕动作是通过所述惯性测量单元检测到的。

6.根据权利要求5所述的方法，其特征在于，所述显示第二弹奏界面之前，所述方法还包括：

根据所述第一手腕动作的移动距离和旋转角度确定所述虚拟乐器的弹奏单元的移动距离和旋转角度；

根据所述第一弹奏界面中弹奏单元对应的位姿，以及所述虚拟乐器的弹奏单元的移动距离和旋转角度，确定所述第二弹奏界面。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

显示第一乐谱和第二乐谱；

所述第一乐谱包括根据用户佩戴所述可穿戴设备弹奏第一乐曲过程中的手势动作生成的音调和节拍；所述手势动作包括手腕动作和手指动作中至少一项；所述第二乐谱包括所述第一乐曲的标准音调和标准节拍。

8.根据权利要求7所述的方法，其特征在于，所述第一乐曲包括第一音符，所述方法还包括：

如果所述第一乐谱中第一音调与所述第二乐谱中第二音调不同，或者，所述第一乐谱中第一节拍与所述第二乐谱中第二节拍不同，发出第一弹奏错误提示信息；所述第一音调是用户佩戴所述可穿戴设备弹奏所述第一音符产生的音调，所述第二音调是所述第一音符对应的标准音调，所述第一节拍是用户佩戴所述可穿戴设备弹奏所述第一音符产生的节拍，所述第二节拍是所述第一音符对应的标准节拍。

9.根据权利要求8所述的方法，其特征在于，所述发出第一弹奏错误提示信息包括：显示第一弹奏错误提示信息，播放第一弹奏错误提示信息，或震动。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从所述可穿戴设备接收第一数据；

根据所述第一数据确定用户佩戴可穿戴设备做出所述第一手指动作。

11.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从所述可穿戴设备接收第二数据；

根据所述第二数据，播放所述虚拟乐器被弹奏的视频。

12.一种电子设备，其特征在于，所述电子设备包括：处理器和存储器，所述处理器与所述存储器耦合；所述存储器用于存储计算机程序代码；所述计算机程序代码包括计算机指令，当所述处理器执行上述计算机指令时，使得所述电子设备执行如权利要求1-11中任意一项所述的方法。

13.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-11中任意一项所述的方法。

14.一种计算机程序产品，其特征在于，所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如上所述权利要求1-11中任意一项所述的方法。