CN107924278A - 用于弹奏虚拟乐器的方法和用于支持其的电子设备 - Google Patents

Abstract

本发明提供一种电子设备。所述电子设备包括：触摸屏显示器；扬声器和声音接口中的至少一者；处理器，其被配置为电连接到触摸屏显示器、扬声器和声音接口；以及存储器，其被配置为电连接到处理器。所述存储器存储指令，所述指令当被执行时致使所述处理器：在触摸屏显示器上显示包括乐器形状的至少一个项目，通过触摸屏显示器接收触摸输入，基于触摸输入来加载与至少一个项目对应的声音数据，至少部分地基于与触摸输入相关联的信息处理声音数据，且通过扬声器或声音接口输出处理的声音数据。

Description

用于弹奏虚拟乐器的方法和用于支持其的电子设备

技术领域

本公开涉及电子设备的虚拟乐器。

背景技术

最近，电子设备可以向它们的用户提供各种功能。

发明内容

技术问题

每个电子设备可以仅提供触摸功能作为输入装置。

以上信息仅作为背景信息呈现以帮助理解本公开。关于上述内容中的任何一个是否可用作关于本公开的现有技术，没有做出确定，也没有做出断言解决方案

根据本公开的一个方面，提供一种电子设备。所述电子设备包括：触摸屏显示器(或触摸屏接口)；扬声器和声音接口中的至少一者；处理器，其被配置为电连接到所述触摸屏显示器、所述扬声器和所述声音接口；以及存储器，其被配置为电连接到所述处理器。所述存储器存储指令，所述指令当被执行时致使所述处理器：在所述触摸屏显示器上显示包括乐器形状的至少一个项目，通过所述触摸屏显示器接收触摸输入，基于所述触摸输入来加载与所述至少一个项目对应的声音数据，至少部分地基于与所述触摸输入相关联的信息处理所述声音数据，并且通过所述扬声器或所述声音接口输出处理后的声音数据。

根据本公开的另一个方面，提供一种电子设备。所述电子设备包括：显示器；扬声器和声音接口中的至少一者；处理器，其被配置为电连接到所述显示器、所述扬声器和所述声音接口；以及存储器，其被配置为电连接到所述处理器。存储器存储指令，所述指令当被执行时致使处理器：通过与电子设备可操作地连接的至少一个传感器获得电子设备的用户的手势，如果手势是与至少一个乐器对应的手势，则通过与电子设备可操作地连接的输出设备输出与至少一个乐器对应的声音数据，并且如果手势是与至少一个乐器不对应的手势，则不输出声音数据。

根据本公开的又一个方面，提供一种用于在电子设备中弹奏虚拟乐器的方法，所述电子设备包括用于存储对应于至少一个乐器的至少一个声音数据的存储器。所述方法包括：存储器存储指令，所述指令当被执行时致使处理器：通过与电子设备可操作地连接的至少一个传感器获得电子设备的用户的手势，如果手势是与至少一个乐器对应的手势，则通过与电子设备可操作地连接的输出设备输出至少一个声音数据，并且如果手势是与至少一个乐器不对应的手势，则不输出声音数据。

根据本公开的又一个方面，提供一种计算机可读记录介质。所述介质存储体现在其上的指令，所述指令当被至少一个处理器执行时致使所述处理器执行至少一个操作。所述至少一个操作被配置为：通过与电子设备可操作地连接的至少一个传感器获得电子设备的用户的手势，所述电子设备包括存储器，所述存储器用于存储与至少一个乐器对应的至少一个声音数据，如果手势是与至少一个乐器对应的手势，则通过与电子设备可操作地连接的输出设备输出与至少一个乐器对应的声音数据，并且如果手势是与至少一个乐器不对应的手势，则不输出声音数据。

从以下结合附图公开本公开的各种实施方式的详细描述，本公开的其他方面，优点和显着特征对于本领域技术人员将变得显而易见。

有益效果

本公开的方面旨在解决至少上述问题和/或缺点，并且提供至少下述优点。因此，本公开的一方面在于提供一种用于在生成手势(例如，触摸输入、动作识别、语音识别等)时弹奏虚拟乐器以确定输入工具的方法，并且基于输入工具和触摸或手势状态提供一种自适应输出变化，以及提供用于支持该方法的电子设备。

附图说明

在结合附图进行以下详述时，本公开的某些实施方案的上述和其他方面、特征和优点将变得更为显而易见，在附图中：

图1是示意性地示出根据本公开的实施方案的电子设备的配置的框图；

图2a是示出根据本公开的实施方案的基于与输入工具的接触的触摸面板状态的图；

图2b是示出根据本公开的实施方案的基于触摸面板的触摸识别的建模的图；

图3是示出根据本公开的实施方案的虚拟乐器的弹奏手势方法的流程图；

图4是示出根据本公开的实施方案的声压缩放的图；

图5a是示出根据本公开的实施方案的与基于手势位置的输出变化相关联的屏幕接口的图；

图5b是示出根据本公开的实施方案的用于针对手势输入(例如，触摸或动作输入)的每个位置弹奏虚拟乐器的方法的流程图；

图6a是示出根据本公开的实施方案的与基于手势输入变化的输出变化相关联的屏幕接口的图；

图6b是示出根据本公开的实施方案的用于基于手势输入变化来处理手势输入的方法的流程图；

图6c是示出根据本公开的实施方案的利用虚拟乐器的伴随演奏动作的图；

图7a是示出根据本公开的实施方案的输出状态优化的图表；

图7b是示出根据本公开的实施方案的用于弹奏包括琴弦的虚拟乐器的方法的流程图；

图8a是示出根据本公开的实施方案的基于手势输入或输出强度的屏幕变化的图；

图8b是示出根据本公开的实施方案的基于手势输入强度的屏幕变化方法的流程图；

图9是示出根据本公开的另一个实施方案的基于手势输入或输出强度的屏幕变化的图；

图10是示出根据本公开的实施方案的基于手势位置和速度的输出变化的屏幕接口；

图11是示出根据本公开的实施方案的电子设备的操作环境的实例的图示；

图12是示出根据本公开实施方案的电子设备的框图；并且

图13是示出根据本公开的实施方案的程序模块的框图。

在整个附图中，应当注意，相同的附图标记用于描绘相同或相似的元件、特征和结构。

具体实施方式

提供关于参照附图的以下描述来帮助全面理解由权利要求书及其等同物限定的本公开的各种实施方式。它包括各种特定细节以帮助理解，但这些细节仅被视为示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文所描述的各种实施方式进行各种改变和修改。此外，为了清楚和简明起见，可以省略对公知功能和构造的描述。

在以下描述和权利要求书中使用的术语和词语不限于书面意义，而是仅由发明人使用以使得能够清楚且一致地理解本公开。因此，对于本领域技术人员应当显而易见的是，提供本公开的各种实施方式的以下描述仅用于说明目的，而不是为了限制由所附权利要求书及其等同物限定的本公开的目的。

应当理解，除非上下文另有明确规定，单数形式“一”、“一个”和“所述”包括复数指示物。因此，例如，对“部件表面”的引用包括对一个或多个这样的表面的引用。

本文使用的术语“具有”、“可以具有”、“包括”、“可以包括”或“包括”等表示存在相应的特征(例如，数字、功能、操作或元件)，并且不排除存在附加功能。

术语“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或多个”可以包括一起列出的所有可能的项目组合。例如，术语“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可以指示以下所有情况：(1)包括至少一个A，(2)包括至少一个B，以及(3)包括至少一个A和至少一个B。

本文所使用的术语“第一”、“第二”等可以修饰各种元件，而不管其顺序和/或优先级，并且仅用于区分一个元件与另一个元件，而不限制这些元件。例如，“第一用户装置”和“第二用户装置”可以指示不同的用户装置，而不管顺序或优先级。例如，在不脱离本公开的范围的情况下，第一元件可被称为第二元件，反之亦然。

将理解，当某个元件(例如，第一元件)被称为与另一元件(例如，第二元件)“操作地或通信地耦合/连接”或“连接到”另一元件(例如，第二元件)时，所述某个元件可以是直接地或通过另一元件(例如，第三元件)耦合到另一元件。然而，当某个元件(例如，第一元件)被称为“直接耦合”或“直接连接”到另一元件(例如，第二元件)时，在所述元件与另一元件之间可以不存在中间元件(例如，第三元件)。

本文所使用的术语“配置(或设置)”可以与以下术语互换使用，例如“适合”、“具有能力”、“设计为”、“适于”、“制成”或“能够”。术语“配置(或设置)”可能不一定具有“专门设计为”的含义。在某些情况下，术语“被配置为…的设备”可以指示设备“可以与其他设备或部件一起执行”。例如，术语“被配置(或设置)为执行A、B和C的处理器”可以表示用于执行相应操作的专用处理器(例如，嵌入式处理器)，或用于执行存储在存储器设备中的至少一个软件程序以执行相应的操作的通用处理器(例如，中央处理单元(CPU)或应用程序处理器(AP))。

本文所使用的术语仅用于描述具体实施方案，并不旨在限制其他实施方案的范围。除非另外说明，否则单数形式的术语可以包括复数形式。本文所使用的术语，包括技术或科学术语，具有与本领域技术人员所理解的相同的含义。在本文所使用的术语中，词典中定义的术语可被解释为具有与相关领域中定义的上下文含义相同或类似的含义，并且不应以理想化或过度正式意义来解释，除非另有明确定义。根据情况，即使本文定义的术语也不应被解释为排除本公开的各种实施方案。

根据本公开的各种实施方案的电子设备可以包括以下各项中的至少一者：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体弹奏器(PMP)、运动图像专家组相1或相2(MPEG-1或MPEG-2)音频层3(MP3)弹奏器、移动医疗设备、相机以及可穿戴设备。根据本公开的各种实施方案，可穿戴设备可以包括以下各项中的至少一者：附件类型设备(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜、头戴式设备(HMD))、织物或衣服集成型设备(例如，电子服装)、身体附接型设备(例如，皮肤垫或纹身)、以及生物可植入型设备(例如，可植入电路)。

在本公开的各种实施方案中，电子设备可以是家用电器。家用电器可以包括以下各项中的至少一者：例如电视(TV)、数字通用盘(DVD)播放器、音响、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，三星云存储TM、苹果电视TM或谷歌电视TM)、游戏控制台(例如，微软游戏机TM或游戏机TM)、电子词典、电子钥匙、摄像机或电子相框。

在本公开的各种实施方案中，电子设备可以包括以下各项中的至少一者：各种医疗设备(例如，各种便携式医疗测量设备(例如，血糖测量设备、心率测量设备、血压测量设备、体温测量设备等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层摄影(CT)、扫描仪、超声波设备等)、导航设备、全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、用于船舶的电子设备(例如，导航系统、陀螺罗盘等)、航空电子设备、安全设备、汽车的头单元、工业或家用机器人、自动取款机(ATM)、商店销售点(POS)、以及物联网设备(例如，灯泡、各种传感器、电气或燃气表、喷水灭火器、火灾报警器、恒温器、路灯、烤面包机、运动器材、热水箱、加热器、锅炉等)。

根据本公开的各种实施方案，电子设备可以包括以下各项中的至少一者：家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪、以及测量仪器(例如，水仪表、电表、燃气表、波表等)。在本公开的各种实施方案中，电子设备可以是上述设备的一个或多个组合。根据本公开的一些各种实施方案的电子设备可以是灵活的设备。根据本公开的实施方案的电子设备不限于上述设备，并且可以包括随着技术发展的新型电子设备。

在下文中，将参照附图描述根据本公开的各种实施方案的电子设备。本文所使用的术语“用户”可以指使用电子设备的人或可以指使用电子设备的设备(例如，人造电子设备)。

图1是示意性地示出根据本公开的实施方案的电子设备的配置的框图。

参照图1，电子设备100可以包括总线110、处理器120(例如，AP)、存储器130、输入和输出接口150以及用户接口(UI)，例如显示器160。电子设备100可以用例如便携式电子设备来实现。便携式电子设备可以用例如以下各项来实现：移动电话、智能电话、台式PC、PDA、企业数字助理(EDA)、数字静态照相机、数字视频照相机、PMP、个人导航设备或便携式导航设备(PND)、手持式游戏控制台、移动互联网设备(MID)、互联网平板电脑PC或电子书(e书)终端。

响应于执行指定的应用程序，电子设备100可以在显示器160的显示面板163上输出指定对象。如果通过传感器(例如，与指定对象相关联的触摸面板161)感测到手势事件(例如，触摸事件或移动事件(或动作事件))，则电子设备100可以收集关于手势输入状态的信息。根据一个实施方案，电子设备100可以收集对应于与接近指定传感器(例如，触摸面板161)的手势输入的形式相关联的电变化(例如，电容变化)的信息，所述手势输入例如以下各项中的至少一者：指定的输入工具在发生触摸接触之前和之后的特定时间段内的接近、与输入工具的接触以及与输入工具的接触的解除。电子设备100可以检测与所收集的信息对应的建模信息，并且可以确定与检测到的建模信息对应的输入工具。电子设备100可以输出所确定的输入工具和基于触摸状态调整的音频信息。根据各种实施方案，输入工具的确定可以由用户输入来执行。在这方面，电子设备100可以提供用于选择各种类型的输入工具的列表。如上所述，电子设备100可以输出更真实且感性的音频信息。根据各种实施方案，可以用在应用于虚拟乐器的过程中配置的特定输入工具来替换真实输入工具。例如，电子设备100的用户的手指可以用棒替换。另外，特定材料的电子笔可以用小提琴弓替换。

总线110可以支持例如电子设备100的部件的信号传输系统。例如，处理器120可以通过总线110向显示器160发送控制信号。触摸面板161的触摸事件可以通过总线110被发送到处理器120。另外，处理器120可以通过总线110将指定的音频信息发送到输入和输出接口150。

处理器120可以控制电子设备100的整体操作。根据一个实施方案，处理器120可以用集成电路(IC)、片上系统(SoC)或移动AP来实现。处理器120可以将由指定传感器(例如，触摸面板161)感测到的触摸状态信息与建模信息131相比较，并且可以选择与比较结果对应的输入工具(例如，手指、触笔等)。处理器120可以参考输出表133基于触摸事件来控制音频信息的输出，所述输出表存储被配置为响应于所选择的输入工具来调整输出的音频信息。在这个操作中，处理器120可以基于触摸位置、触摸强度、触摸速度、触摸距离、触摸面积以及触摸压力中的至少一者来改变输出音频信息的大小、频率和音调中的至少一者。根据各种实施方案，处理器120可以基于移动手势的位置、移动手势的速度、移动手势离传感器的距离、移动手势的方向、移动手势的变化量以及移动手势的移动时间中的至少一者来改变输出音频信息的大小、频率和音调中的至少一者。根据各种实施方案，处理器120可以基于触摸的位置、强度、时间、方向、面积、速度、变化量以及压力中的至少一者来改变输出对象的显示变化。根据各种实施方案，处理器120可以基于移动手势输入的位置、时间、方向、速度以及变化量中的至少一者来改变输出对象的显示变化。

存储器130可以存储与操作电子设备100相关联的至少一个程序以及与操作所述程序相关联的数据。根据一个实施方案，存储器130可以存储电子设备100的操作系统(OS)。另外，存储器130可以存储与操作指定传感器(例如，触摸面板161或用于感测移动的传感器)相关联的传感器操作程序。如果生成了手势事件(例如，触摸事件或移动事件)，则传感器操作程序可以包括被配置为收集触摸面板161在生成手势事件的时刻之前和之后的指定时间内的电变化的指令集(或例程、功能、类等)，以及被配置为检测与所收集的电变化对应的建模信息的指令集。

根据一个实施方案，存储器130可以存储关于通过诸如接近传感器、手势传感器和陀螺仪传感器的传感器获得的用户手势的信息。另外，存储器130可以包括被配置为收集手势变化的指令集和被配置为检测与所收集的手势变化对应的建模信息的指令集。根据一个实施方案，手势可以基于从与电子设备100可操作地连接的外部设备或外部传感器获得的传感器信息来生成。根据另一个实施方案，电子设备100可以基于除了手势之外的电子设备100的用户的语音或生理信息来执行与弹奏虚拟乐器的功能相关联的动作。

另外，存储器130可以包括：被配置为选择与检测到的建模信息对应的输入工具的指令集，被配置为基于所选择的输入工具和触摸状态确定将要输出的音频信息的特性的指令集，以及被配置为输出具有所确定的特性的音频信息的指令集。

存储器130可以包括基于传感器操作程序的执行来选择输入工具而引用的建模信息131和结合输出具有指定特性的音频信息而引用的输出表133。建模信息131可以包括例如以下信息，其中与接近触摸面板161并提供电变化的至少一个输入工具相关联的电变化值被建模。例如，建模信息131可以包括：与基于用户的手指的接近的电变化对应的建模信息、与基于触笔的接近的电变化对应的建模信息、与基于可以提供电变化的指定对象的接近的电变化对应的建模信息等。根据各种实施方案，建模信息131可以包括：与基于具有硬性质的材料的触笔的接近的电变化对应的建模信息、与基于具有软性质的材料的触笔的接近的电变化对应的建模信息等。根据各种实施方案，建模信息131可以包括基于移动手势的建模信息。例如，建模信息131可以包括基于指定的移动方向、移动位置、移动速度、传感器与移动发生处之间的距离、移动变化量、移动时间等的映射到不同模型的多个建模信息。例如，建模信息131可以包括：与笔划移动对应的模型信息、与抚摸钢琴的键的移动对应的模型信息、与吹喇叭的移动对应的模型信息、与弹奏弦乐器的弦的移动对应的模型信息、与敲击鼓的移动对应的模型信息等。根据各种实施方案，电子设备100可以测量具有导电性的对象或手指的独特电容，并且可以将测得的电容建模为特定乐器的工具。根据一个实施方案，假定成人的真实手指作为鼓槌，电子设备100可以将鼓槌的最大值建模为10phi的强度。

输出表133可以包括将要由输入工具输出的映射到建模信息的音频信息的特性值。例如，如果在输出指定对象的状态下将输入工具选择为手指，则输出表133可以包括特性值，所述特性值被配置为响应于手指的触摸强度、触摸位置、触摸变化速度以及触摸距离中的至少一者以不同的方式输出可以由对应对象提供的音频信息的水平、频率和音调中的至少一者。因此，在输出指定对象的状态下可以不同的方式输出按照手指触摸的位置、强度、时间、方向、面积、速度以及压力输出的音频信息的水平、频率以及音调中的至少一者。根据各种实施方案，输出表133可以包括：被配置为输出映射到指定移动的虚拟乐器的信息、在输出指定的虚拟乐器的状态下基于特定移动而输出的音频信息等。根据一个实施方案，可以不同的方式输出由用户的手势的模式、动作或移动、速度、方向、强度或大小等而导致的音频信息的大小、音调、声效或持续时间等。

根据各种实施方案，输出表格133可以具有被配置为针对每个对象输出关于输入工具的不同音频信息的特性值。例如，输出表133可以具有特性值，所述特性值被配置为输出与第一输入工具在输出第一对象的状态下的第一触摸输入对应的音频信息以及与第二输入工具在以不同方式输出第一对象的状态下的第二触摸输入对应的音频信息。

输入和输出接口150可以起到例如可以将从用户或另一个外部设备输入的命令或数据发送到电子设备100的另一个部件(其他部件)的接口的作用。另外，输入和输出接口150可以将从电子设备100的另一个部件(其他部件)接收到的命令或数据输出给用户或另一个外部设备。输入和输出接口150可以包括例如至少一个物理按钮或触摸按钮、触摸垫或触摸屏等。另外，输入和输出接口150可以包括通过电子笔等的输入装置。另外，输入和输出接口150可以包括可以收集音频信号的音频收集设备。根据一个实施方案，输入和输出接口150可以包括输出与操作指定对象相关地配置的音频信息的音频输出设备(例如，扬声器、声音接口等)。音频输出设备可以在显示指定对象的状态下基于触摸对象的输入工具的类型、触摸强度、触摸位置、触摸变化速度以及触摸距离中的至少一者来输出例如不同音调或水平的音频信息。

显示器160可以包括触摸面板161和显示面板163。显示面板163可以用薄膜晶体管液晶显示器(TFT-LCD)面板、发光二极管(LED)面板、有机LED(OLED)面板、有源矩阵OLED(AMOLED)面板或柔性面板来实现。显示面板163可以基于执行指定应用来输出执行屏幕。例如，显示面板163可以与执行指定应用相关地输出指定对象。根据各种实施方案，显示面板163可以显示用于选择至少一个对象(例如，乐器)的菜单屏幕。显示面板163可以输出与特定乐器对应的对象，或者可以将输出对象改变为不同类型的对象，并且可以基于用户输入或用户设置来显示改变的对象。可替代地，显示面板163可以显示与多个乐器对应的对象。

触摸面板161可以周期性地接收扫描信号，并且可以基于触摸对象(或输入工具)的接近来收集电变化(例如，电容变化)。触摸面板161可以将所收集的电变化发送到处理器120。

图2a是示出根据本公开的实施方案的基于与输入工具的接触的触摸面板状态的图。

参照图2a，如果手指50与触摸面板161接触，如图2a所示，可能在触摸面板161的X轴分布和Y轴分布上发生电容变化。例如，触摸面板161可以检测与手指50接触的中心部分上的相对较高的电容变化，并且当距离与手指50接触的中心部分更远时可以检测到相对较低的电容变化。因此，触摸面板161可以基于由X轴分布和Y轴分布计算的二维电容变化来计算与手指50接触的接触点、强度等。根据一个实施方案，触摸面板161可以基于X和Y轴分布面积来计算电子设备的用户按压触摸面板161的强度。例如，如果用户用力按压触摸面板161，由于与手指50接触的面积从与手指50接触的中心点开始变大，所以中心点处和外部部分的电容变化可以小于他或她轻轻按压触摸面板161时的电容变化。根据一个实施方案，触摸面板161可以基于中心点和外部部分处的电容变化及其大小来计算用户的触摸强度。

图2b是示出根据本公开的实施方案的基于触摸面板的触摸识别的建模的图。

参照图2b，在状态201下，如图2b所示，触摸面板161在没有输入工具(例如，可以生成触摸面板161的电变化的触摸对象)接近的情况下可能没有检测到电变化。例如，如果输入工具不接近，则触摸面板161可以从用于识别触摸的多个点中检测到与先前状态(或初始状态)相同的电容。

在状态203下，如图2b所示，如果输入工具(例如手指)在触摸面板161的某个点(例如，形成某个电容的点)的方向上接近并处于悬停状态，则触摸面板161可以检测到第一水平的电变化。例如，触摸面板161可以检测到与先前状态检测到的电容相比相对更小的区域。

在状态205下，如图2b所示，如果输入工具与触摸面板161的某个点接触，触摸面板161可以检测到第二水平的电变化。例如，触摸面板161可以检测到与状态203检测到的电容相比相对更小的区域。

根据各种实施方案，触摸面板161可以检测状态201至205的变化量。例如，如果具有某一形状的输入工具接近触摸面板161的表面，则在触摸面板161上检测到的电变化可以基于输入工具的形状而改变。根据一个实施方案，手指接近状态下的电变化量可以不同于触笔接近状态下的电变化量。图1的电子设备100可以检测在输入工具接近触摸面板161并且与触摸面板161接触时的电变化，可以对检测到的电变化建模，并且可以将建模后的信息存储在图1的存储器130中。结合收集建模信息，电子设备100可以提供建模生成功能。例如，电子设备100可以通过特定菜单项等提供未经注册的输入工具或已注册的输入工具的建模校正功能。如果建模生成功能被执行，则电子设备100可以提供用于输入一个输入工具名称的项目，并且可以为将要由输入工具触摸的输入点提供屏幕接口。电子设备100可以收集基于输入工具的接近指定次数的电变化量，可以针对所收集的电变化量执行均衡任务(或平均任务等)，并且可以生成关于特定输入工具的建模信息或可以校正先前已注册的建模信息。根据各种实施方案，电子设备100可以从外部电子设备或服务器设备接收基于关于每个输入工具的电变化的建模信息，并且可以将接收到的建模信息存储在存储器130中。

根据各种实施方案，电子设备可以包括：UI，其被配置为输出与虚拟乐器对应的至少一个指定对象，并且接收基于至少一个指定对象的触摸的事件；存储器，其被配置为存储与触摸至少一个指定对象的输入工具相关联的建模信息；以及处理器，其被配置为电连接到UI和存储器。存储器可以存储指令，所述指令被配置为当被执行时致使处理器基于与触摸的电变化对应的建模信息来选择输入工具，以便响应于输入工具的类型和触摸状态来调整输出音频的特性并且以及输出调整后的音频。

根据各种实施方案，存储器可以存储指令，所述指令被配置为当被执行时致使处理器基于悬停状态下的电容变化、触摸面积、触摸面积变化、以及触摸在发生触摸接触的时刻之前和之后指定时间内的电变化中的至少一者来选择输入工具的类型。

根据各种实施方案，存储器可以存储指令，所述指令被配置为当被执行时致使处理器基于触摸面积、触摸面积变化以及触摸的电变化中的至少一者来检测触摸强度。

根据各种实施方案，存储器可以存储指令，所述指令被配置为当被执行时致使处理器基于触摸强度的水平以不同的方式输出音频水平或音频输出持续时间。

根据各种实施方案，存储器可以存储指令，所述指令被配置为当被执行时致使处理器基于触摸强度、触摸位置以及输入工具类型中的至少一者来输出对象的显示变化量。

根据各种实施方案，存储器可以存储指令，所述指令被配置为当被执行时致使处理器在触摸强度大于或等于指定水平的情况下将对象的显示变化量显示为相对较大并且在触摸强度小于指定水平的情况下将对象的显示变化量显示为相对较小。

根据各种实施方案，存储器可以存储指令，所述指令被配置为当被执行时致使处理器响应于对象上的触摸位置以不同的方式输出音频的音调或频率。

根据各种实施方案，存储器可以存储指令，所述指令被配置为当被执行时致使处理器响应于对象上的触摸位置以不同的方式输出音频的输出水平。

根据各种实施方案，存储器可以存储指令，所述指令被配置为当被执行时致使处理器通过以下方式来输出音频：将电容水平映射到施加到虚拟弦乐器的琴弦的力，将触摸面积映射到处于与虚拟弦乐器的琴弦接触的面积，并且将触摸速度映射到弹奏虚拟弦乐器琴弦的速度或弹奏虚拟弦乐器的速度。

根据各种实施方案，存储器可以存储指令，所述指令被配置为当被执行时致使处理器通过以下方式来输出音频：将电容水平映射到施加到虚拟旋转输入乐器的一侧的力并且将触摸速度映射到虚拟旋转输入乐器的演奏速度。

根据各种实施方案，电子设备可以包括：存储器，其被配置为存储与触摸指定对象的输入工具相关联的建模信息；以及处理器，其被配置为电连接到存储器。处理器可以基于与触摸的电变化对应的建模信息来选择输入工具，可以选择与输入工具的类型对应的音频，可以响应于触摸形式来调整所选择的音频的特性，并且可以输出调整后的音频。

根据各种实施方案，电子设备可以包括：触摸屏接口(或触摸屏显示器)；扬声器；声音接口；处理器，其被配置为电连接到触摸屏显示器、扬声器和声音接口；以及存储器，其被配置为电连接到处理器，其中存储器存储指令，所述指令当被执行时致使处理器：在触摸屏显示器上显示乐器形状的至少一个项目，通过触摸屏显示器接收触摸输入，基于触摸输入来加载与至少一个项目对应的声音数据，基于与触摸输入相关联的信息的至少一部分处理声音数据，并且通过扬声器或声音接口输出处理后的声音数据。

根据各种实施方案，信息包括以下各项中的至少一者：触摸输入的位置、强度、时间、方向、面积、速度以及压力。

根据各种实施方案，存储器可以存储指令，所述指令被配置成当被执行时致使处理器：基于与触摸输入相关联的信息的至少一部分来改变至少一个显示的项目，并且在触摸屏显示器上显示所述至少一个改变的项目。

根据各种实施方案，电子设备包括：显示器；扬声器；声音接口；处理器，其被配置为电连接到显示器、扬声器和声音接口；以及存储器，其被配置为电连接到处理器，其中存储器存储指令，所述指令当被执行时致使处理器：通过与电子设备可操作地连接的至少一个传感器获得电子设备的用户的手势，如果手势是与至少一个乐器对应的手势，则通过与电子设备可操作地连接的输出设备输出与至少一个乐器对应的声音数据，并且如果手势是与至少一个乐器不对应的手势，则不输出声音数据。

根据各种实施方案，存储器可以存储指令，所述指令被配置为当被执行时致使处理器输出声音数据，同时至少基于手势的性质改变声音数据的至少一部分性质。

根据各种实施方案，存储器可以存储指令，所述指令被配置为当被执行时致使处理器通过与电子设备可操作地连接的显示器显示与至少一个乐器对应的项目，并且其中致使处理器至少基于手势的性质显示与所述项目的至少一个声音对应的区域，所述区域实际上被按压。

根据各种实施方案，至少一个乐器包括第一乐器和第二乐器，其中至少一个声音包括第一声音和第二声音，并且其中手势对应于第一乐器。

根据各种实施方案，存储器可以存储指令，所述指令被配置为当被执行时致使处理器在另一手势是与第二乐器对应的手势的情况下获得另一手势并输出第二声音。

根据各种实施方案，第一声音(或第二声音)与第二声音(或第一声音)的至少一部分同时输出。

根据各种实施方案，存储器可以存储指令，所述指令被配置为当被执行时致使处理器在至少部分时间期间与对应于第二乐器的第二项目同时显示对应于第一乐器的第一项目。

根据各种实施方案，电子设备还包括第一显示器和第二显示器，其中处理器被配置为通过第一显示器显示第一项目并且通过第二显示器显示第二项目。

图3是示出根据本公开的实施方案的虚拟乐器的弹奏手势方法的流程图。

参考图3，在根据实施方案的触摸处理方法中，如果生成事件，则在操作301中，图1的电子设备100的处理器120可以确定所生成的事件是否是与执行虚拟乐器功能相关联的事件。如果所生成的事件不是与执行虚拟乐器功能相关联的事件，则在操作303中，处理器120可以基于所生成事件的类型来执行对应功能。例如，处理器120可以基于事件类型来执行文件编辑功能、文件搜索功能、网上冲浪功能等。

如果所生成的事件是与执行虚拟乐器功能相关联的事件，则在操作305中，处理器120可以执行选择乐器菜单的功能。选择乐器菜单的功能菜单可以用于例如提供与虚拟钢琴、虚拟小提琴、虚拟鼓和虚拟吉他中的每一个对应的项目，以选择虚拟钢琴、虚拟小提琴、虚拟鼓和虚拟吉他中的至少一个。根据各种实施方案，如果虚拟乐器功能将基于默认设置仅提供特定虚拟乐器，则可以省略操作305。

如果选择了虚拟乐器，则在操作307中，处理器120可以确定图1的触摸面板161是否检测到触摸。如果没有检测到触摸，则处理器120可以分支到操作317并且可以从操作317再次执行操作。如果检测到触摸，则在操作309中，处理器120可以收集触摸强度和触摸面积中的至少一个。在此操作中，处理器120可以基于在触摸情形中发生的触摸强度或触摸面积等收集关于触摸的电变化的信息。触摸强度可以通过例如触摸面积变化、触摸面积变化速度、触摸的电变化速度等来确定。根据一个实施方案，如果从相同的输入工具检测到相对较大的触摸面积，则处理器120可以识别出相对较高的触摸强度的发生。另外，如果触摸的电变化速度相对较快，则处理器120可以识别出相对较高的触摸强度的发生。

在操作311中，处理器120可以基于在操作309中所收集的信息来选择建模信息(例如，图1的建模信息131)。例如，电子设备100可以选择与所收集的关于触摸的电变化的信息对应的建模信息。根据一个实施方案，电子设备100可以首先选择具有相同或相似触摸面积的建模信息(例如，手指、具有指定大小的笔尖的触笔等)，并且可以在首先选择的建模信息中选择具有相似触摸强度的建模信息。

在操作313中，处理器120可以基于建模信息来确定每个触摸区域的输出效果。根据一个实施方案，如果选择了建模信息，则处理器120可以选择与建模信息对应的输入工具的类型(例如，手指、触笔等)。另外，处理器120可以参考来自图1的输出表133的与输入工具对应的输出特性值。处理器120可以参照输出特性值来响应于当前生成的触摸状态而选择将要输出的特性值作为输出效果。

在操作315中，处理器120可以基于输出效果(例如，音量水平等)输出音频信息。例如，处理器120可以通过在使用所选择的输入工具触摸所选择的虚拟乐器的操作中应用输出效果来生成与触摸强度和触摸面积对应的音频信息。电子设备100可以输出所生成的音频信息。

在操作317中，处理器120可以确定是否生成与结束虚拟乐器功能相关联的事件。例如，处理器120可以确定是否生成与结束虚拟乐器功能相关联的事件或与虚拟乐器相关联的应用程序。如果没有生成与结束虚拟乐器相关联的事件，则电子设备100可以分支到操作307并且可以从操作307再次执行操作。如果生成了与结束虚拟乐器相关联的事件，则电子设备100可以结束虚拟乐器功能，并且可以分支到指定状态(例如，主屏幕或虚拟乐器功能被执行之前的状态)。

图4是示出根据本公开的实施方案的声压缩放的图。

参照图4，图1的电子设备100可以响应于电容变化来确定指定的声压。例如，电子设备100可以使用下面的等式1来计算与电容对应的声压。

R＝-0.0039H2+0.3754H-0.1279...等式1

在此，H表示电容值，并且R表示声压。对应于等式1的曲线图由附图标记410表示。假定成人的真实手指是鼓的棒，如果棒的最大值被建模为10phi的强度，则在图4中，可以通过连接菱形形状的线表示声压曲线(图4的附图标记420)。另外，电子设备100可以提供基于所弹奏的环境设置来调整效果的功能作为给定功能。例如，电子设备100可以提供演播室环境设置项目。如果选择了对应项目，则电子设备100可以基于与所选择的项目相关联的用户输入对图4中的声压曲线上的低音乐器的参数值进行相对更强的强化。另外，电子设备100可以提供室外背景环境设置项目。如果选择了对应项目，则电子设备100可以通过将室外参数添加到建模值来将白噪声的水平和声压的强度提高指定水平，并且可以输出提高的音频。在图4中，由虚线表示的部分可以指示基于环境设置变化提高的区域。

图5a是示出根据本公开的实施方案的与基于手势位置的输出变化相关联的屏幕接口的图。

参照图5a，例如，图1的电子设备100可以在图1的显示器160上输出指定对象500(例如，乐器形状的项目)。指定对象500可以是例如具有鼓形状的对象。对象500可以包括例如中心部分、外部部分和边缘壳体。根据一个实施方案，乐器形状的项目可以被配置有至少一个或多个项目。例如，乐器形状的项目可以被配置有包括多个乐器或乐器配件的项目。根据一个实施方案，乐器形状的项目可以被配置有多个图像。例如，乐器形状的项目可以被配置有多个图像，并且可以显示乐器的移动、动作、振动、聚焦等。电子设备100可以基于手势输入的位置(例如，触摸输入、移动输入、动作输入等)来改变建模值。例如，如果手势输入是触摸输入，则电子设备100可以以不同方式调整基于在对象500的中心部分上发生的触摸输入将要输出的音频信息、基于在对象500的外部部分上发生的触摸输入将要输出的音频信息、以及基于在边缘壳体上发生的触摸输入将要输出的音频信息。根据一个实施方案，如果手势输入对应于指定动作或移动输入，则电子设备100可以确定动作或移动输入，并且可以显示与动作或移动输入相关联的乐器。

根据一个实施方案，电子设备100可以从与电子设备100可操作地连接的至少一个传感器(例如，手势传感器、照相机模块等)或通过电子设备100的通信模块可操作地连接的外部传感器获得用户的手势(例如，移动或动作)。电子设备100可以基于所获得的用户手势以不同的方式调整乐器或与乐器相关联的音频信息。

根据一个实施方案，电子设备100可以获得用户的触摸输入、用户的移动(例如，手动作)等作为手势输入。例如，电子设备100可以确定在三维(3D)空间上输入的用户的手的手势移动。根据一个实施方案，电子设备100可以使用可操作地连接到电子设备100的照相机、加速度传感器等来检测用户的手的移动手势(或动作模式或移动速度)，并且可以基于检测到的移动手势、动作模式或移动速度来提供与乐器对应的音阶或音调。例如，如果用户在虚拟乐器项目上快速地移动他或她的手，则当手势的移动速度较快时，电子设备100可以提供较尖锐的音调。相比之下，当手势的移动速度较慢时，电子设备100可以提供刻板的音调。

根据一个实施方案，电子设备100可以将乐器形状的图像改变为与所获得的用户手势相关联的乐器。例如，如果用户采取弹奏吉他的手势，则电子设备100可以识别弹奏吉他的用户的手势并且可以显示吉他形状的项目。电子设备100可以周期性地识别用户手势的变化，并且可以替换与用户手势相关联的乐器形状的图像。根据一个实施方案，如果用户的手势是敲击钢琴琴键的手势，则电子设备100可以显示钢琴形状的图像。如果用户采取吹奏长笛的手势，则电子设备100可以显示长笛图像。如果用户采取敲鼓的手势，则电子设备100可以显示鼓。电子设备100可以基于手势变化来改变图像。根据一个实施方案，电子设备100可以允许一位用户通过各种手势以多种方式弹奏或执行各种乐器。

电子设备100可以基于用户的手势改变乐器形状的图像，并且可以输出改变的图像。电子设备100可以基于手势的性质(例如，速度、水平、离电子设备100的距离、时间、位置以及压力)来改变与乐器相关联的声音数据的至少一部分性质并且可以输出改变的声音数据。

根据一个实施方案，手势可以包括通过用户或笔的触摸、悬停、空间上的手势、电子设备100的移动、动作或语音。

根据一个实施方案，电子设备100可以基于手势输入(例如，触摸或手势动作识别)来提供不同的声音效果，所述手势输入是基于乐器形状的对象500的图像位置而获得的。例如，如果通过手势输入(例如，触摸或动作手势)从用户接收到鼓形状的对象500的中间位置520上的输入，则电子设备100可以基于在位置520上发生的触摸或手势输出在对象500中设置的最大声音。响应于发生在位置510上的触摸，电子设备100可以输出具有比位置520中的声音相对更低的声压的声音。根据各种实施方案，响应于发生在位置530上的触摸或手势，电子设备100可以输出与位置520中的声音相比具有更低声压和不同音调的声音。在这方面，电子设备100可以改变对象500的每个部分的建模值。

图5b是示出根据本公开的实施方案的用于针对手势输入(例如，触摸或动作输入)的每个位置弹奏虚拟乐器的方法的流程图。

参照图5b，在用于弹奏虚拟乐器的方法的操作501中，图1的电子设备100可以输出被配置为基于手势的状态(例如，触摸或移动)来改变输出的指定对象。例如，电子设备100可以响应于执行虚拟乐器的请求而基于默认设置来输出指定对象，或者可以在图1的显示器160上输出与用户选择对应的对象。

在操作503中，电子设备100可以确定是否接收到手势(例如，触摸或移动)。如果没有接收到手势，则电子设备100可以分支到操作509以从操作509执行操作。如果接收到手势(例如，触摸或移动)，则在操作505中，电子设备100可以验证手势的位置。如果接收到手势，则电子设备100可以使用图1的建模信息131来选择与手势的状态对应的输入工具。根据一个实施方案，手势可以通过从与电子设备100可操作地连接的外部设备或外部传感器获得。根据一个实施方案，电子设备100可以接收通过其用户穿戴的可穿戴设备(例如，手表电话)生成的手势输入(例如，触摸或移动输入)，并且可以验证手势的发生。

在操作507中，电子设备100也可以基于手势输入和位置来调整输出。例如，电子设备100可以响应于手势输入工具来选择由指定对象提供的音调。可替代地，电子设备100可以响应于手势输入(例如，触摸或移动输入)的强度、速度、压力、方向、变化量和面积来选择将要输出的声音水平。可替代地，电子设备100可以响应于触摸位置来选择将要输出的声音的变化水平。电子设备100可以基于电子设备100中所包括的触摸传感器、加速度传感器、速度传感器、红外传感器、照相机传感器、声学传感器或接近传感器等获得手势的强度、速度、压力、方向、变化量以及面积中的至少一者。例如，如果手势是触摸手势，则电子设备100可以通过触摸传感器或触摸面板来获得与触摸面积、触摸强度、触摸大小、触摸方向等相关联的信息。如果手势是移动(或动作)，则电子设备100可以通过与电子设备100可操作地连接的照相机传感器来获得用户的动作，并且可以基于所获得的信息来确定移动的基于大小变化的强度、速度和方向中的至少一者。例如，如果用户执行演奏乐器(例如，鼓)的动作，则电子设备100可以通过与电子设备100可操作地连接的照相机来识别用户的动作，并且可以计算动作的速度等以供用户敲鼓。

根据一个实施方案，如果用户使用可穿戴设备以及与可穿戴设备连接的电子设备，则电子设备可以显示乐器，并且可以通过可穿戴设备接收用于控制在电子设备上显示的乐器的动作。例如，如果电子设备显示钢琴，则用户可以在可穿戴设备上生成手势输入(例如，触摸或移动输入)，并且可以弹奏在电子设备上显示的钢琴。在这种情况下，可穿戴设备可以将由可穿戴设备获得的手势输入发送给电子设备。根据一个实施方案，多个可穿戴设备可以连接到电子设备。多个可穿戴设备可以识别用户的手势(例如，触摸或移动)，并且可以将识别出的手势(例如，识别出的触摸或移动)发送到电子设备以弹奏在电子设备上显示的乐器。

根据各种实施方案，虽然用户使用相同的触摸强度和相同的面积触摸相同的对象，但是电子设备100可以基于触摸位置输出具有不同音调或水平的声音。当选择了触摸输入工具时，电子设备100可以选择实际输入工具(例如，手指)，或者可以选择被实际输入工具替换的另一个输入工具(例如，被配置为执行虚拟乐器的棒或镐等)。

根据各种实施方案，电子设备100可以跟踪用户处于悬停状态的手指移动，并且可以实时显示输入工具(例如，棒和镐)或者可以基于移动状态显示图像效果。例如，电子设备100可以在用户弹奏吉他时拾取真正的吉他之后将手动作识别为悬停动作。电子设备100可以继续提供与识别出的悬停动作相关联的声音效果，或者可以改变声音效果。

在操作509中，电子设备100可以确定是否生成功能结束事件。如果没有生成功能结束事件，则电子设备100可以分支到操作501以从操作501再次执行操作。如果生成了功能结束事件，则电子设备100可以结束与输出对象相关联的输出调整功能，并且可以分支到指定状态(例如，睡眠状态、主屏幕、执行前一个功能的状态等)。

图6a是示出根据本公开的实施方案的与基于手势输入变化的输出变化相关联的屏幕接口的图。

参照图6a，响应于执行虚拟乐器功能，图1的电子设备100可以输出指定对象600。对象500可以是例如与大提琴(或诸如小提琴、中提琴或低音提琴的弦乐器)对应的虚拟对象。为了弹奏弦乐器，电子设备100可以在对象600的某个位置上输出弓(bow)。电子设备100可以基于选择弓的触摸或手势的位置、强度、面积、压力、动作模式(或移动模式)、速度、方向或变化量等处于轻轻握住弓的状态或强力握住弓的状态等。另外，电子设备100可以基于弓的移动速度处于缓慢弹奏琴弦的状态或快速弹奏琴弦的状态等。电子设备100可以生成对应于与弓相关联的手势(或触摸或移动)的输入状态的建模信息，并且可以基于手势(例如，触摸或移动)的状态值输出不同的声音。

根据一个实施方案，如果电子设备100的用户在位置610上生成手势输入(例如，触摸或移动输入)，并且如果他或她以第一速度弹奏琴弦，则电子设备100可以输出具有相对较低的声压的声音。如果用户在位置620上生成手势输入(例如，触摸或移动输入)，并且如果他或她以第一速度弹奏琴弦，则电子设备100可以输出与位置610中的声音相比具有相对更高的声压的声音。

根据一个实施方案，电子设备100可以识别多个手势并且可以组合或连接多个手势中的至少一些以生成特定声音效果。例如，电子设备100可以在触摸动作之后获得手势移动，并且可以将触摸动作与手势移动关联，以便以不同的方式提供声音效果。例如，电子设备100可以在他或她在位置610上触摸弓之后基于其中用户拉弓的形式(例如，向上拉弓的手势、强有力地上下拉弓的手势、轻轻地上下拉弓的手势、或者在特定方向上缓慢或快速地拉弓的手势)以不同方式来提供乐器的声音效果。根据各种实施方案，如果用户在位置630上生成触摸并且如果他或她以第二速度弹奏琴弦，则电子设备100可以输出声音，所述声音具有比位置610中的声音相对更高的声压并且高于位置610中的声音。如上所述，电子设备100可以将触摸的电容水平应用于到施加到弓的力的水平，并且可以将触摸速度应用于声音的水平。因此，电子设备100可以基于被拉的弓按压到琴弦上的强度、弓与琴弦接触的面积以及用户拉弓的速度来生成除了独特音阶值之外的一个音阶上的各种效果。

图6b是示出根据本公开的实施方案的用于基于手势输入变化来处理手势输入的方法的流程图。

参照图6b，在用于弹奏虚拟乐器的方法的操作601中，图1的电子设备100可以输出指定对象。指定对象可以是响应于虚拟乐器功能来基于默认设置指定的与乐器对应的对象，或者可以是通过用户选择的与指定乐器对应的对象。例如，对象可以是与弦乐器对应的对象。

在操作603中，电子设备100可以确定是否检测到手势输入(例如，触摸或移动输入)。如果没有检测到手势输入，则电子设备100可以分支到操作609并且可以从操作609执行操作。如果检测到手势输入，则在操作605中，电子设备100可以验证手势输入的位置、变化量、大小、压力、速度和距离中的至少一者。在此操作中，电子设备100可以通过建模信息来选择与检测到的手势输入的状态对应的手势输入的输入工具。

在操作607中，电子设备100可以基于输入工具、手势输入的位置、速度和距离来调整输出。例如，电子设备100可以通过手势输入的所选择的输入工具来调整指定对象的每个位置的声音值、基于手势输入的输入工具的速度的声音变化值、基于手势输入的移动距离的声音输出的持续时间等。电子设备100可以基于指定对象的位置、手势输入(例如，触摸或移动输入)的速度、移动距离、压力以及移动模式(或动作模式)的方向中的至少一者来对将要输出的声音进行建模。如果检测到或获得与指定输入工具对应的手势输入，则电子设备100可以改变模型化的声音以适合该输入工具，并且可以输出改变的声音。

在操作609中，电子设备100可以确定是否生成功能结束事件。如果没有生成功能结束事件，则电子设备100可以分支到操作601并且可以从操作601再次执行操作。如果生成了功能结束事件，则电子设备100可以分支到指定状态。

图6c是示出根据本公开的实施方案的利用虚拟乐器的伴随演奏动作的图。

参照图6c，响应于执行虚拟乐器功能，图1的电子设备100可以输出对象691和对象693。根据一个实施方案，对象691可以是响应于在电子设备100中接收到的手势输入(或触摸或移动输入)而输出指定音频信息的对象。对象693可以是响应于从外部电子设备输入的手势输入(例如，触摸或移动输入)而输出指定音频信息的对象。响应于电子设备100与外部电子设备可操作地连接的状态，可以显示多个对象。例如，如果电子设备100和外部电子设备彼此连接，则电子设备100(或外部电子设备)可以显示与两个大提琴对应的对象691和693。对象691和693中的至少一个可以由外部电子设备控制。

根据各种实施方案，如果外部电子设备是由指导者弹奏的大提琴，则电子设备100可以响应于从指导者接收到的手势输入值(例如，触摸或移动输入值)来弹奏大提琴。在此操作中，电子设备100可以响应于从外部电子设备接收到的手势输入(例如，触摸或移动输入)来输出对象693的显示变化。例如，对象693可以响应于手势输入来基于弓的移动而改变。

在图6c中，显示了两个对象691和693的实施方案。然而，本公开的各种实施方案不限于此。例如，电子设备100(或外部电子设备)可以输出多个相同类型的虚拟乐器或多个不同类型的虚拟乐器。每个对象可以被配置为响应于从电子设备100和通过网络连接的外部电子设备接收到的手势输入(例如，触摸或移动输入)来输出指定音频信息。因此，电子设备100可以响应于从外部电子设备或另一个电子设备接收到的手势输入来通过输出基于操作对象的音频信息提供合成和伴随演奏效果。

图7a是示出根据本公开的实施方案的输出状态优化的图表。

参考图7a，结合操作弦乐器，图1的电子设备100可以提供与电容、面积和速度相关的最佳声音输出区域。在图7a中，P可以表示功率并且可以是与触摸的电容对应的值。W可以是与触摸面积对应的值。在图7a中，阴影部分可以是与演奏时的最佳声音输出间隔对应的间隔。在这方面，电子设备100可以将在触摸时发生的电容、触摸面积和移动速度映射到与弦乐器等相关联的弓的强度、弓与琴弦接触的面积、弓的速度等，以便引导数字乐器从而改变声音。当电子设备100的用户拾取吉他琴弦并弹奏吉他时，可以相同的方式应用上述功能。根据各种实施方案，电子设备100可以使用等式2将建模值应用于所有乐器，诸如键盘乐器、弦乐器、打击乐器和鼓，以便将建模值数字化并且在用户弹奏乐器时可以使用数字化的值。

P＝-0.0039W²+0.3754W-0.1279±S...等式2

在此，P可以表示施加到演奏的乐器的演奏工具的力并且可以与电容对应。W可以表示演奏工具与特定对象(或乐器)接触的面积，并且可以与触摸面积对应。S可以表示演奏工具的移动速度并且可以与触摸的移动速度对应。琴弦的移动速度可以调整声音的长度。弓与琴弦接触的面积和强度可能会对声音产生影响。例如，如果弓与琴弦接触的面积和强度较大，则琴弦的振动可以进一步减小，并且可以输出较重的声音(例如，接近低音的声音)。如果弓与琴弦接触的面积和强度较小，则可以输出具有大振动的声音(例如，强烈的颤音)。电子设备100可以通过与上述特性对应的建模来优化基于面积、强度和速度生成的声音。

图7b是示出根据本公开的实施方案的用于弹奏包括琴弦的虚拟乐器的方法的流程图。

参照图7b，在用于弹奏虚拟乐器的方法中的操作701中，电子设备100可以确定是否检测到指定手势。例如，如果生成了事件，则在操作701中，电子设备100可以确定所生成的事件是否是与指定手势输入(例如，触摸或移动输入)对应的事件。如果所生成的事件不是与指定手势输入对应的事件，则在操作703中，电子设备100可以基于所生成的事件执行功能。如果没有生成特定事件，则电子设备100可以维持先前的状态或者可以改变为睡眠状态。

如果检测到指定事件，则在操作705中，电子设备100可以输出与指定手势对应的对象。例如，电子设备100可以在图1的显示器160上输出对应于与指定触摸输入对应的至少一个虚拟乐器的对象。

在操作707中，电子设备100可以确定是否检测到第一手势。第一手势可以包括在对象的指定的第一位置(例如，用于确定声音的位置，例如用于确定弦乐器的音阶的特定位置)上生成的触摸或移动事件。

如果检测到第一手势，则在操作709中，电子设备100可以基于第一声音来确定声音。在此操作中，电子设备100可以参考输出表来基于第一手势确定声音。输出表可以存储用于基于与指定对象相关的第一手势的位置或形式来确定声音的信息。如果未检测到第一手势，则电子设备100可以跳过操作709。

在操作711中，电子设备100可以确定是否检测到第二手势。如果检测到第二手势，则电子设备100可以基于第二手势改变声音，并且可以输出改变的声音。第二手势可以对应于例如在特定的第二位置(例如，用于弹奏琴弦的弓的位置、由手指拾取的琴弦的位置等)上发生的触摸或移动。输出表可以包括与基于第二手势改变声音相关联的建模信息并且输出改变的声音。如果未检测到第二手势，则电子设备100可以跳过操作713。

在操作715中，电子设备100可以确定是否生成了与结束弹奏虚拟乐器的功能相关联的输入事件。当生成输入事件时，电子设备100可以结束弹奏虚拟乐器的功能。如果没有生成输入事件，则电子设备100可以分支到操作707并且可以从操作707再次执行操作。根据各种实施方案，如果接收到与指定手势对应的输入，则电子设备100可以分支到操作701并且可以输出对应于与指定手势对应的虚拟乐器的对象。在此操作中，电子设备100可以输出与不同于先前对象的虚拟乐器对应的对象，或者可以基于建模信息(诸如指定手势的类型或形式)输出对应于与比先前对象数量更多的对象对应的虚拟乐器的对象。

在图7b中，实施方案被举例为在检测到第一手势之后检测到第二手势。各种实施方案不限于此。例如，检测到第一手势并基于第一手势确定声音的操作以及检测到第二手势并基于第二手势确定声音的操作可以并行或彼此独立地执行。如果第一手势输入发生在指定的第一位置上，则电子设备100的处理器120可以将基于第一手势的声音的确定实时应用于第一手势输入。另外，如果第二手势输入发生在指定的第二位置上，则电子设备100可以基于第二手势输入来改变在发生第二手势输入时确定的声音，并且可以输出改变的声音。

如上所述，在弦乐器(例如弓的必要弦乐器)的情况下，处理器120可以将弓的动作映射到基于多次触摸中的每一者的位置确定音阶的一部分的触摸和移动的动作。例如，如果用户使用第一触摸(或第一手势)来触摸琴弦，则处理器120可以确定声音的音符并且可以将第二触摸和移动动作(或第二手势)映射到拉弓的动作。处理器120可以处理以下各项中的每一者的音符：当用户在第二触摸和移动动作时重重地按压触摸并拉弓的声音(例如，沉重且华丽的声音)，以及当他或她轻轻地按压触摸，例如当他或她将弓轻轻地置于琴弦上以具有不同声音的声音(例如，具有薄且高的音符的声音)。

根据各种实施方案，在弦乐器(例如，伽倻琴、玄琴等)未用弓演奏的情况下，如果用户使用第一触摸(或第一手势)触摸琴弦(例如，如果他或她确定音符)，则处理器120可以使用第二触摸(或第二手势)执行从第一触摸选取不同位置的琴弦的动作。在这种情况下，处理器120可以使用以下动作来调整第一触摸的电容强度：重重地按压第一触摸并且然后轻轻地按压第一触摸，以调整真正的伽倻琴或玄琴的音符振动。

图8a是示出根据本公开的实施方案的基于手势输入或输出强度的屏幕变化的图。

参照图8a，响应于执行虚拟乐器功能，图1的电子设备100可以输出指定对象。例如，在状态801下，电子设备100可以提供以某一间隔布置与鼓或钹对应的对象的屏幕接口。如果接收到手势输入，则电子设备100可以基于根据手势输入引起的电变化选择的输入工具、由手势输入选择的对象、以及所选择对象上的手势输入的位置、速度、面积以及强度中的至少一者来确定将要输出的音频信息的特性。例如，电子设备100可以基于输入工具的类型和所选择对象上的手势输入的位置来确定将要输出的音频信息的音调。另外，电子设备100可以基于手势输入的面积、强度和速度中的至少一者来确定将要输出的音频信息的声压、输出水平和输出持续时间中的至少一者。电子设备100可以通过图1的输入和输出接口150输出所确定的音频信息。

根据一个实施方案，电子设备100可以基于手势输入(例如，触摸或移动输入)的强度来改变所选择对象的显示变化程度。例如，电子设备100可以使用第一强度来检测用于在对象811的某个点810上提供手势输入的事件。在这种情况下，在状态803下，电子设备100可以将用于展示对象811的变化程度的显示效果830施加成相对较大。显示效果830例如可以对应于将外线的晃动的大小显示得相对较大的效果。在这方面，电子设备100可以通过具有与对象811的晃动对应的指定的第一数量的对象(或帧)(例如，5至8个对象或帧)并且交替地输出第一数量的对象来实现与第一强度对应的对象811的晃动。

根据各种实施方案，电子设备100可以检测对象811的某个点810上的具有第二强度的手势输入(例如，触摸或移动输入)的事件。在这种情况下，在状态805下，电子设备100可以将用于展示对象811的变化程度的显示效果850施加成比状态803相对更小。显示效果850例如可以对应于将对象811的外线的晃动的大小显示得相对较小的效果。在这方面，电子设备100可以通过具有与对象811的晃动对应的指定的第二数量的对象(或帧)(例如，小于第一数量的对象)并且交替地输出第二数量的对象来实现与第二强度对应的对象811的晃动。

如上所述，电子设备100可以通过响应于手势输入的强度改变对象的显示形式来将触摸强度表示为在视觉上不同。根据各种实施方案，电子设备100可以基于与输入工具和所选择对象的类型相关联的手势输入(例如，触摸或移动输入)的位置来改变所显示的形式。例如，如果输入工具或手势输入(例如，触摸或移动输入)的位置不同，则电子设备100可以改变对象被改变和显示的范围。根据一个实施方案，电子设备100可以在手指触摸时在相对于触摸点的第一范围内改变和显示对象，并且可以在触笔触摸时在相对于触摸点的第二范围(例如，不同于第一范围的范围)内改变和显示对象。

根据各种实施方案，电子设备100可以响应于手势输入(例如，触摸或移动输入)的速度以不同方式表示对象。例如，如果接收到相对较快的手势输入(例如，相对较快的触摸或移动输入)，则电子设备100可以施加在相对较长持续时间内相对较快变化的显示效果。如果接收到相对较慢的手势输入(例如，相对缓慢的触摸或移动输入)，则电子设备100可以施加在相对较短持续时间(例如，比快速触摸状态下的持续时间短)内相对较慢(例如，比快速触摸状态下的变化速度慢)变化的显示效果。如上所述，电子设备100可以基于手势输入(例如，触摸或移动输入)的强度、输入工具的类型和触摸形式中的至少一者来表示速度变化。

图8b是示出根据本公开的实施方案的基于手势输入强度的屏幕变化方法的流程图。

参照图8b，在基于手势输入的强度的屏幕变化方法的操作861中，图1的电子设备100可以输出指定对象。例如，电子设备100可以基于执行虚拟乐器来输出与演奏乐器对应的至少一个对象。

在操作863中，电子设备100可以确定是否接收到手势输入(例如，触摸或移动输入)。如果没有接收到手势输入(例如，触摸或移动输入)，则电子设备100可以分支到操作869并且可以从操作869执行操作。如果接收到手势输入(例如，触摸或移动输入)，则在操作865中，电子设备100可以验证手势输入的强度。例如，电子设备100可以基于对手势的电变化进行建模的建模信息来选择手势输入工具，并且可以响应于手势状态(例如，触摸面积、触摸变化速度、移动速度、移动方向、移动距离等)来验证手势输入的强度。

在操作867中，电子设备100可以基于手势输入的强度来调整对象变化量并且可以显示调整后的对象。例如，如果手势输入的强度大于或等于指定的第一强度，则电子设备100可以将对象变化量的大小显示为第一大小。另外，如果手势输入的强度小于指定的第一强度，则电子设备100可以将对象变化量的大小显示为小于第一大小的第二大小。

根据各种实施方案，电子设备100可以基于输入工具和手势输入的强度来调整对象变化量，并且可以显示调整后的对象。例如，虽然手势输入(例如，触摸或移动输入)具有相同的强度，但是电子设备100可以基于手势输入的输入工具的类型以不同的方式来表示对象变化量。根据一个实施方案，在指定的对象是鼓时，尽管通过与触笔或手势装置(例如，手或其他对象等)对应的手势输入工具(例如，棒)的手势输入(例如，触摸或移动输入)的强度类似于通过与手指对应的手势输入工具(例如，手掌)的手势输入(例如，触摸或移动输入)的强度，但是电子设备100可以不同方式表示对象变化量。例如，电子设备100可以通过手掌输入工具将对象变化量表示为大于通过棒输入工具的对象变化量。

在操作869中，电子设备100可以确定是否生成功能结束事件。如果没有生成功能结束事件，则电子设备100可以分支到操作861并且可以从操作861再次执行操作。如果生成了功能结束事件，则电子设备100可以分支到指定状态。

根据各种实施方案，一种触摸处理方法可以包括：输出与虚拟乐器对应的至少一个指定对象；接收对象上的手势输入；基于手势输入的电变化、软件计算的结果值和预测值或与编程算法对应的建模信息来选择输入工具；以及响应于输入工具的类型和手势输入的状态来调整输出音频的特性，并且输出调整后的音频。

根据各种实施方案，输入工具的选择可以包括基于手势输入的触摸面积、触摸面积变化、以及触摸在发生触摸接触的时刻之前和之后的指定时间内的电变化中的至少一者来选择输入工具的类型。

根据各种实施方案，所述方法还可以包括基于手势输入的触摸面积、触摸面积变化和触摸的电变化中的至少一者来检测触摸强度。

根据各种实施方案，调整后的音频的输出可以包括基于手势输入的强度水平以不同方式输出音频水平或音频输出持续时间。

根据各种实施方案，所述方法还可以包括基于手势输入的触摸强度、手势输入的触摸位置以及输入工具的类型中的至少一者来输出对象的显示变化量。

根据各种实施方案，显示变化量的输出可以包括以下各项中的至少一者：如果手势输入的强度大于或等于指定水平，则将对象的显示变化量显示为相对较大；如果手势输入的强度小于指定水平，则将对象的显示变化量显示为相对较小。

根据各种实施方案，调整后的音频的输出可以包括响应于对象上的手势输入的位置以不同方式输出音频的音调或频率。

根据各种实施方案，调整后的音频的输出可以包括响应于对象上的手势输入的位置以不同方式输出音频的输出水平。

根据各种实施方案，调整后的音频的输出可以包括以下各项中的至少一者：通过将电容水平映射到施加到弦乐器的琴弦的力来输出音频；通过将触摸面积映射到与虚拟乐器的琴弦接触的面积来输出音频；以及通过将手势输入的速度映射到虚拟乐器的弹奏琴弦速度或弹奏虚拟乐器的速度来输出音频。

根据各种实施方案，调整后的音频的输出可以包括以下各项中的至少一者：通过将电容水平映射到施加到虚拟旋转乐器的一侧的力来输出音频；以及通过将手势输入的速度映射到弹奏虚拟旋转乐器的速度来输出音频。

根据各种实施方案，一种在包括存储器电子设备(所述存储器用于存储与至少一个乐器对应的至少一个声音数据)中弹奏虚拟乐器的方法可以包括：通过与电子设备可操作地连接的至少一个传感器获得电子设备的用户的手势，如果手势是与至少一个乐器对应的手势，则通过与电子设备可操作地连接的输出设备输出与至少一个乐器对应的声音数据，并且如果手势是与至少一个乐器不对应的手势，则不输出声音数据。

根据各种实施方案，声音数据的输出包括输出声音数据，同时至少基于手势的性质改变声音数据的至少一部分性质。

根据各种实施方案，声音数据的输出包括通过与电子设备可操作地连接的显示器显示与至少一个乐器对应的项目，并且其中项目的显示包括至少基于手势的性质显示与所述项目的至少一个声音对应的区域，所述区域被实际上按压。

根据各种实施方案，声音数据的不输出包括：响应于手势执行另一功能或应用程序。

根据各种实施方案，至少一个乐器包括第一乐器和第二乐器，其中至少一个声音包括第一声音和第二声音，并且声音数据的输出包括：如果手势是与第一乐器对应的手势，则输出第一声音，并且如果手势是与第二乐器对应的手势，则输出第二声音。

根据各种实施方案，至少一个乐器包括第一乐器和第二乐器，至少一个声音包括第一声音和第二声音，并且手势与第一乐器对应，所述方法还包括：如果另一手势是与第二乐器对应的手势，则获得另一手势并输出第二声音。

根据各种实施方案，第一声音(或第二声音)与第二声音(或第一声音)的至少一部分同时输出。

根据各种实施方案，所述方法还包括输出对应于与电子设备连接的外部设备的乐器。

根据各种实施方案，所述方法还包括：从外部设备接收另一用户手势以及响应于接收到的其他用户手势来输出乐器演奏声音。

根据各种实施方案，一种计算机可读记录介质，其上存储有指令，所述指令当被至少一个处理器执行时致使所述处理器执行至少一个操作，所述至少一个操作被配置为：通过与电子设备可操作地连接的至少一个传感器获得电子设备的用户的手势，如果手势是与至少一个乐器对应的手势，则通过与电子设备可操作地连接的输出设备输出与至少一个乐器对应的声音数据，并且如果手势是与至少一个乐器不对应的手势，则不输出声音数据，所述电子设备包括存储器，所述存储器用于存储与至少一个乐器对应的至少一个声音数据。

图9是示出根据本公开的另一个实施方案的基于手势输入或输出强度的屏幕变化的图。

参照图9，在状态901下，响应于执行虚拟乐器功能，图1的电子设备100可以在图1的显示器160上输出指定对象，例如，键盘对象。例如，可以在键盘对象上布置多个键盘。如果选择了特定的键盘，则电子设备100可以输出与对应的键盘相对应的音阶的音频信息。在此操作中，电子设备100可以检测手势输入工具的手势强度，并且可以响应于手势强度来调整音频信息的水平。

根据各种实施方案，电子设备100可以响应于手势强度来改变键盘的显示变化量。例如，如果在特定键盘上生成小于第一强度的手势事件(例如，触摸或移动事件)，则电子设备100可以显示所选择键盘的按压状态。在状态903下，电子设备100可以使用第一大小的变化量来显示键盘变化。

根据各种实施方案，如果在特定键盘上生成第一强度或更高强度的手势事件，则电子设备100可以显示所选择键盘的按压状态。在状态905下，电子设备100可以使用第二大小(例如，大于第一大小的大小)的变化量来显示键盘变化。

图10是示出根据本公开的实施方案的基于手势位置和速度的输出变化的屏幕接口。

参照图10，响应于执行虚拟乐器功能，图1的电子设备100可以输出指定对象。指定对象可以包括具有充满第一高度的水形式的杯子对象1001、具有充满第二高度的水形式的杯子对象1003、具有充满第三高度的水形式的杯子对象1005以及具有充满第四高度的水形式的杯子对象1007。杯子对象1001至1007可以被配置为响应于手势(例如，触摸或移动)来输出不同频带的音频信息。根据一个实施方案，如果在每个杯子对象1001至1007中的每一个的某一位置(例如，杯子对象1001至1007中的每一个的开口的周边)上生成与手势输入对象1050相关联的手势，则电子设备100可以输出对应频带的音频信息。

根据各种实施方案，电子设备100可以组合手势强度、杯子对象中设置的水量以及手势速度，并且可以输出与组合信息对应的音频信息。手势强度可以是按压杯子的强度，并且可以与基于手势(例如，触摸或移动)的电容对应。电子设备100可以使用诸如手势输入强度、触摸方向和触摸形式的用户输入来提供更类似于真实情况的乐器演奏效果。

如上所述，根据一个实施方案，一种用于弹奏虚拟乐器的方法可以包括：获得虚拟乐器的信息；接收至少一个手势输入；通过获得所接收到的至少一个手势输入信息的值来确定手势输入工具；以及针对每个手势输入，基于获得的与手势输入工具对应的手势输入信息的值输出音频和UI效果。

根据各种实施方案，手势输入工具可以包括手指或具有导电性的附件。音频功能可以响应于触摸来改变音量、声压、速度等。音频功能可以基于触摸输入位置、触摸强度、触摸面积、触摸速度和触摸旋转来输出不同的音频信息。UI效果可以包括虚拟乐器的晃动、振动、按压等。虚拟乐器可以包括打击乐器、弦乐器、键盘乐器、旋转器输入乐器等。虚拟乐器可以被表示为可互换使用，并且可以指示每个乐器的不同输出。

根据各种实施方案，电子设备可以在以软件形式提供的乐器功能中提供适合于用户的手势输入(例如，触摸输入、移动输入(或动作输入)等)的自适应输入变化。

图11是示出根据本公开的本公开的实施方案的电子设备操作环境的图。

参照图11，在电子设备操作环境1100中，本公开的各种实施方案的电子设备1101、1102或1104或服务器1106可以经由网络1162或短距离通信彼此连接。电子设备1101可包括总线1110、处理器1120、存储器1130、输入/输出接口1150、显示器1160和通信接口1170。在本公开的一些各种实施方案中，可以省略上述元件中的至少一个，或者可以将另一元件添加到电子设备1101。

总线1110可以包括用于将上述元件1110至1170彼此连接并且在上述元件之间传送通信(例如，控制消息和/或数据)的电路。

处理器1120可以包括CPU、AP以及通信处理器(CP)中的至少一个。处理器1120可以执行数据处理、或与对电子设备1101的至少一个其他元件进行通信和/或控制相关的操作。

存储器1130可以包括易失性存储器和/或非易失性存储器。存储器1130可以存储与电子设备1101的至少一个其他元件相关的指令或数据。存储器1130可以存储软件和/或程序1140。程序1140可以包括例如内核1141、中间件1143、应用程序编程接口(API)1145和/或应用程序(或应用程序)1147。内核1141、中间件1143或API 1145的至少一部分可以被称为OS。

内核1141可以控制或管理用于执行其他程序(诸如中间件1143、API1145或应用程序1147)的操作或功能的系统资源(例如，总线1110、处理器1120或存储器1130等)。此外，内核1141可以提供接口，其用于允许中间件1143、API 1145、或应用程序1147访问电子设备1101的单独元件以便控制或管理系统资源。

中间件1143可以充当中介，使得API 1145或应用程序1147与内核1141进行通信和交换数据。

此外，中间件1143可以根据优先级顺序来处理从应用程序1147接收到的一个或多个任务请求。例如，中间件1143可以将使用电子设备1101的系统资源(例如，总线1110、处理器1120、存储器1130等)的优先级分配给至少一个应用程序1147。例如，中间件1143可以根据分配给至少一个应用的优先级来处理一个或多个任务请求，从而针对一个或多个任务请求执行调度或负载平衡。

API 1145可以包括例如用于文件控制、窗口控制、图像处理或字符控制等的至少一个接口或功能(例如，指令)，所述API是用于允许应用程序1147控制由内核1141或中间件1143提供的功能的接口。

输入/输出接口1150可以用来将从用户或另一外部设备输入的指令或数据传送到电子设备1101的另一元件。此外，输入/输出接口1150可以向用户或另一外部设备输出从电子设备1101的另一元件接收的指令或数据。

显示器1160可以包括例如LCD、LED显示器、OLED显示器、微机电系统(MEMS)显示器或电子纸显示器。显示器1160可以向用户呈现各种内容(例如，文本、图像、视频、图标、符号等)。显示器1160可以包括触摸屏，并且可以接收来自电子笔或用户身体的一部分的触摸、手势、接近或悬停输入。

通信接口1170可以设置电子设备1101与外部电子设备(例如，第一外部电子设备1102、第二外部电子设备1102、或服务器1106)之间的通信。例如，通信接口1170可以经由无线或有线通信连接到网络1162，以便与外部设备(例如，服务器1106)进行通信。例如，通信接口1170可以经由有线或无线连接1164直接连接到第一电子设备1102。

无线通信可以采用以下各项中的至少一者：长期演进(LTE)、LTE高级(ATE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动通信系统(UMTS)、无线宽带(WiBro)以及全球移动通信系统(GSM)。此外，无线通信可以包括例如短距离通信。短距离通信可以包括Wi-Fi、蓝牙、近场通信(NFC)、磁条传输(MST)以及GNSS中的至少一者。

MST可以根据使用电磁信号的传输数据来生成脉冲，并且所述脉冲可以生成磁信号。电子设备1101可以将磁信号传输到POS，并且POS可以使用MST读取器来检测磁信号，并且可以将检测到的磁信号转换成电信号，从而恢复数据。

例如，GNSS根据使用区域或带宽可以包括以下各项中的至少一者：全球定位系统(GPS)、全球导航卫星系统(格洛纳斯)、北斗导航卫星系统(以下称为“北斗”)、欧洲全球卫星导航系统。在下文中，术语“GPS”和术语“GNSS”可以互换使用。有线通信可以包括以下各项中的至少一者：通用串行总线(USB)、高分辨率多媒体接口(HDMI)、推荐标准232(RS-232)以及普通老式电话服务(POTS)。网络1162可以包括以下各项中的至少一者：例如计算机网络(例如，局域网(LAN)或广域网(WAN))的电信网络、互联网、以及电话网络。

第一外部电子设备1102和第二外部电子设备1104的类型可以与电子设备1101的类型相同或不同。在一些情况下，服务器1106可以包括一个或多个服务器的群组。在各种实施方案中，可以在一个或多个其他电子设备(例如，电子设备1102、1104或服务器1106)中执行在电子设备1101中执行的部分或全部操作。在需要电子设备1101自动地或响应于请求来执行某个功能或服务的情况下，电子设备1101可以代替或除了为自身执行功能或服务，从另一设备(例如，电子设备1102、1104或服务器1106)请求与功能或服务相关的功能的至少一部分。另一电子设备(例如，电子设备1102、1104或服务器1106)可以执行所请求的功能或附加功能，并且可以将执行的结果传送到电子设备1101。电子设备1101完全可以使用或附加地处理所接收的结果以便提供所请求的功能或服务。为此，例如，可以使用云计算技术、分布式计算技术或客户端-服务器计算技术。

图12是示出根据本公开实施方案的电子设备的框图。

参照图12，电子设备1201可以包括例如图11所示的电子设备1101的一部分或全部。电子设备1201可以包括至少一个处理器(例如，AP)1210、通信模块1220、用户识别模块(SIM)1224、存储器1230、传感器模块1240、输入设备1250、显示器1260、接口1270、音频模块1280、照相机模块1291、电源管理模块1295、电池1296、指示器1297和电机1298。

处理器1210可以运行OS或应用程序，以便控制连接到处理器1210的多个硬件或软件元件，并且可以处理各种数据并且执行操作。处理器1210可以用例如SoC来实现。根据本公开的实施方案，处理器1210还可以包括图形处理单元(GPU)和/或图像信号处理器(ISP)。处理器1210可以包括图12所示的元件的至少一部分(例如，蜂窝模块1221)。处理器1210可以在易失性存储器上加载从其他元件(例如，非易失性存储器)中的至少一个接收的指令或数据来处理指令或数据，并且可以将各种数据存储在非易失性存储器中。

通信模块1220可以具有与图11的通信接口1170相同或类似的配置。通信模块1220可以包括例如蜂窝模块1221(例如，调制解调器)、Wi-Fi模块1223、蓝牙模块1225、GNSS模块1227(例如，GPS模块、格洛纳斯模块、北斗模块或伽利略模块)、NFC模块1228、以及射频(RF)模块1229。

蜂窝模块1221可以通过通信网络提供例如语音呼叫服务、视频呼叫服务、文本消息服务或互联网服务。蜂窝模块1221可以使用SIM 1224(例如，SIM卡)在通信网络中识别并认证电子设备1201。蜂窝模块1221可以执行可由处理器1210提供的功能的至少一部分。蜂窝模块1221可以包括CP。

Wi-Fi模块1223、蓝牙模块1225、GNSS模块1227和NFC模块1228中的每一个可以包括例如用于处理通过模块发射/接收的数据的处理器。根据本公开的一些各种实施方案，蜂窝模块1221、Wi-Fi模块1223、蓝牙模块1225、GNSS模块1227和NFC模块1228的至少一部分(例如，两个或更多个)可以包括在单个集成芯片(IC)或IC封装中。

RF模块1229可以发射/接收例如通信信号(例如，RF信号)。RF模块1229可以包括例如收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)、天线等。根据本公开的另一个实施方案，蜂窝模块1221、Wi-Fi模块1223、蓝牙模块1225、GNSS模块1227以及NFC模块1228中的至少一个可通过独立RF模块发射/接收RF信号。

SIM 1224可以包括例如嵌入式SIM卡和/或包含用户识别模块的卡，并且可以包括唯一的识别信息(例如，集成电路卡标识符(ICCID))或用户信息(例如，国际移动用户身份(IMSI))。

存储器1230(例如，存储器1130)可以包括例如内部存储器1232或外部存储器1234。内部存储器1232可以包括易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)、非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪速存储器(例如，NAND闪存、NOR闪存等))、硬盘驱动器以及固态驱动器(SSD)。

外部存储器1234可以包括闪存驱动器，诸如紧凑闪存(CF)、安全数字(SD)、微型SD、迷你SD、极限数字(xD)、多媒体卡(MMC)、记忆棒等。外部存储器1234可以通过各种接口可操作地和/或在物理上连接到电子设备1201。

例如，传感器模块1240可以测量物理量或检测电子设备1201的操作状态，以将测量的或检测到的信息转换为电信号。传感器模块1240可以包括以下各项中的至少一者：例如手势传感器1240A、陀螺仪传感器1240B、大气压力传感器1240C、磁性传感器1240D、加速度传感器1240E、夹持传感器1240F、接近传感器1240G、彩色传感器1240H(例如，红色/绿色/蓝色(RGB)传感器)、生物测定传感器1240I、温度/湿度传感器1240J、照明传感器1240K以及紫外线(UV)传感器1240M。另外或替代地，传感器模块1240可以包括例如嗅觉传感器(E-nose传感器)、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜识别传感器和/或指纹传感器。传感器模块1240还可包括用于控制包括在其中的至少一个传感器的控制电路。在本公开的一些各种实施方案中，电子设备1201还可以包括被配置为将传感器模块1240作为处理器1210的一部分或单独地控制的处理器，使得在处理器1210处于睡眠状态期间控制传感器模块1240。

输入设备1250可包括例如触摸面板1252、(数字)笔传感器1254、键1256、或超声输入设备12512。触摸面板1252可以采用电容、电阻、红外和紫外线感测方法中的至少一种。触摸面板1252还可以包括控制电路。触摸面板1252还可以包括触觉层，以便向用户提供触觉反应。

(数字)笔传感器1254可以包括例如用于识别的片材，其是触摸面板的一部分或是单独的。键1256可以包括例如物理按钮、光学按钮或键盘。超声输入设备1258可以通过麦克风(mic)1288感测由输入工具生成的超声波，以便识别与感测到的超声波对应的数据。

显示器1260(例如，显示器1160)可以包括面板1262、全息设备1264或投影仪1266。面板1262可以具有与图2a和图2b显示器260相同或类似的配置。面板1262可以是例如柔性的、透明的或可穿戴的。面板1262和触摸面板1252可以集成到单个模块中。全息设备1264可以使用光干涉现象在空间中显示立体图像。投影仪1266可将光投射到屏幕上以显示图像。屏幕可以设置在电子设备1201的内部或外部。根据本公开的实施方案，显示器1260还可以包括用于控制面板1262、全息设备1264或投影仪1266的控制电路。

接口1270可以包括例如HDMI 1272、USB 1274、光学接口1276或D超小型(D-sub)1278。例如，接口1270可以包括在图11所示的通信接口1170中。另外地或可替代地，接口1270可以包括例如移动高清链接(MHL)接口、SD卡/MMC接口或红外数据关联(IrDA)接口。

音频模块1280可以将例如声音转换成电信号，或反之亦然。音频模块1280的元件的至少一部分可以包括在图11所示的输入/输出接口750中。音频模块1280可以处理通过扬声器1282、接收器1284、耳机1286或麦克风(mic)1288输入或输出的声音信息。

照相机模块1291例如是用于拍摄静止图像或视频的设备。根据本公开的实施方案，照相机模块1291可以包括至少一个图像传感器(例如，前传感器或后传感器)、镜头、ISP或闪光灯(例如，LED或氙气灯)。

电源管理模块1295管理电子设备1201的电力。根据本公开的实施方案，电源管理模块1295可以包括电源管理IC(PMIC)、充电器IC或电池或电量计。PMIC可以采用有线和/或无线充电方法。无线充电方法可以包括例如磁共振法、磁感应法、电磁法等。可以进一步包括用于无线充电的附加电路，例如线圈环路、谐振电路、整流器等。例如，当电池充电时，电池计量器可以测量电池1296的剩余容量及其电压、电流或温度。电池1296可以包括例如可充电电池和/或太阳能电池。

指示器1297可以显示电子设备1201或其一部分(例如，处理器1210)的特定状态，诸如引导状态、消息状态、充电状态等。电机1298可以将电信号转换成机械振动，并且可以生成振动或触觉效果。尽管未示出，但是用于支持移动电视的处理设备(例如，GPU)可以包括在电子设备1201中。用于支持移动电视的处理设备可以根据数字多媒体广播(DMB)、数字视频广播(DVB)或mediaFLO^TM等的标准处理媒体数据。

每个上述元件可以被配置有一个或多个部件，并且可以根据电子设备的类型来改变元件的名称。在本公开的各种实施方案中，电子设备可以包括上述元件中的至少一个，并且可以省略一些元件或者可以添加其他附加元件。此外，电子设备的一些元件可以彼此组合以形成一个实体，使得可以与组合之前相同的方式执行元件的功能。

图13是示出根据本公开的实施方案的程序模块的框图。

参照图13，程序模块1310(例如，程序1140)可以包括用于控制与电子设备(例如，电子设备1101)相关的资源的OS和/或在OS上运行的各种应用程序(例如，应用程序1147)。OS可以是例如Android、iOS、Windows、Symbian、Tizen等。

程序模块1310可以包括内核1320、中间件1330、API 1360和/或应用程序1370。程序模块1310中的至少一部分可以预先加载在电子设备上，或者可以从外部电子设备(例如，电子设备1102或1104或服务器1106)下载。

例如，内核1320(例如，内核1141)可以包括系统资源管理器1321或设备驱动器1323。系统资源管理器1321可以执行系统资源的控制、分配或检索。根据本公开的实施方案，系统资源管理器1321可包括进程管理单元、存储器管理单元、文件系统管理单元等。设备驱动器1323可以包括：例如显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、小键盘驱动器、Wi-Fi驱动器、音频驱动器、或进程间通信(IPC)驱动器。

例如，中间件1330可以提供应用程序1370共同需要的功能，或可以通过API 1360向应用程序1370提供各种功能，使得允许应用程序1370有效地使用电子设备中的有限系统资源。根据本公开的实施方案，中间件1330(例如，中间件1143)可包括以下中的至少一个：运行时库1335、应用程序管理器1341、窗口管理器1342、多媒体管理器1343、资源管理器1344、电源管理器1345、数据库管理器1346、数据包管理器1347、连接性管理器1348、通知管理器1349、位置管理器1350、图形管理器1351以及安全管理器1352。

运行时库1335可以包括例如用于在应用程序1370运行时通过编程语言添加新功能的库模块，即编译器。运行时库1335可以执行用于输入/输出管理、存储器管理或算术功能的功能。

应用程序管理器1341可以管理例如至少一个应用程序1370的生命周期。窗口管理器1342可以管理在屏幕中使用的GUI资源。多媒体管理器1343可以识别播放各种媒体文件所需的格式，并且可以使用与所述格式匹配的编解码器对媒体文件进行编码或解码。资源管理器1344可以管理诸如源代码、存储器或应用程序1370中的至少一个的存储空间的资源。

电源管理器1345例如可以与基本输入/输出系统(BIOS)一起操作以便管理电池或电力，并且可以提供操作电子设备所需的电力信息。数据库管理器1346可以生成、搜索或修改将要在至少一个应用程序1370中使用的数据库。数据包管理器1347可以管理以数据包文件格式分发的应用程序的安装或更新。

连接性管理器1348可以管理Wi-Fi、蓝牙等的无线连接。通知管理器1349可以不干扰用户的方式显示或通知诸如消息到达、约会和接近警报的事件。位置管理器1350可以管理电子设备的位置信息。图形管理器1351可以管理将要提供给用户的图形效果或与其相关的UI。安全管理器1352可以提供系统安全或用户认证所需的各种安全功能。根据本公开的实施方案，在电子设备(例如，电子设备1101)包括电话功能的情况下，中间件1330还可以包括用于管理电子设备的语音或视频呼叫功能的电话管理器。

中间件1330可以包括用于形成上述元件的各种功能的组合的中间件模块。中间件1330可以提供专用于每种类型的OS的模块以提供区分的功能。此外，中间件1330可以删除现有元件的一部分或者可以动态地添加新元件。

作为例如一组API编程功能的API 1360(例如，API 1145)可以根据OS以不同的配置提供。例如，在Android或iOS的情况下，可以为每个平台提供一个API集，并且在Tizen的情况下，可以为每个平台提供至少两个API集。

应用程序1370(例如，应用程序1147)例如可以包括能够执行以下功能的至少一个应用程序：诸如主页1371、拨号器1372、短消息服务(SMS)/多媒体消息服务(MMS)1373、即时消息(IM)1374、浏览器1375、照相机1376、闹钟1377、联系人1378、语音拨号1379、电子邮件1380、日历1381、媒体播放器1382、相册1383、时钟1384、保健(例如，测量运动量或血糖)或环境信息提供(例如提供空气压力、湿度或温度信息)。

根据本公开的实施方案，应用程序1370可以包括信息交换应用程序，其用于支持电子设备(例如，电子设备1101)与外部电子设备(例如，电子设备1102、1104)之间的信息交换。信息交换应用程序可包括例如用于将特定信息中继到外部电子设备的通知中继应用程序、或用于管理外部电子设备的设备管理应用程序。

例如，通知中继应用程序可以具有一种功能，其用于将电子设备的另一应用程序(例如，SMS/MMS应用程序、电子邮件应用程序、医疗保健应用程序、环境信息应用程序等)中生成的通知信息中继到外部电子设备(例如，电子设备1102或1104)。此外，通知中继应用程序可以从外部电子设备接收通知信息，并且可以向用户提供所接收的通知信息。

例如，设备管理应用程序可以管理(例如，安装、删除或更新)与电子设备通信的外部电子设备(例如，电子设备1102或1104)的至少一个功能(例如，外部电子设备本身(或一些元件)的打开/关闭、或显示器的亮度(或分辨率)调整)、在外部电子设备中运行的应用程序、或从外部电子设备提供的服务(例如，呼叫服务、消息服务等)。

根据本公开的实施方案，应用程序1370可以根据外部电子设备(例如，电子设备1102或1104)的属性包括指定的应用程序(例如，移动医疗设备的医疗保健应用程序)。应用程序1370可包括从外部电子设备(例如，服务器1106、或电子设备1102或1104)接收的应用程序。应用程序1370可包括预加载应用程序、或可从服务器下载的第三方应用程序。所示的程序模块1310的元件的名称可以随着OS的类型而变化。

根据本公开的各种实施方案，程序模块1310的至少一部分可以用软件、固件、硬件或其组合来实现。例如，可以由处理器(例如，处理器1210)实现(例如，执行)编程模块1310的至少一部分。编程模块1310的至少一部分可以包括例如模块、程序、例程、指令集或用于执行至少一个功能的过程。

本文所使用的术语“模块”可以表实例如包括硬件、软件和固件之一或其组合的单元。术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“部件”和“电路”互换使用。“模块”可以是集成部件的最小单位，也可以是其一部分。“模块”可以是用于执行一个或多个功能或其一部分的最小单位。“模块”可以机械地或电子地实现。例如，“模块”可以包括应用专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和用于执行某些操作的可编程逻辑设备中的至少一个，这些操作是已知的或将发展的。

根据本公开的各种实施方案的设备(例如，其模块或功能)或方法(例如，操作)的至少一部分可以被实现为以程序模块的形式存储在计算机可读存储介质中的指令。在由处理器(例如，处理器1120)执行指令的情况下，处理器可以执行与指令相对应的功能。计算机可读存储介质可以是例如存储器1130。

计算机可读记录介质可以包括硬盘、软盘、磁介质(例如磁带)、光介质(例如，光盘(CD)-ROM、DVD)、磁光介质(例如，光盘)或硬件设备(例如，ROM、RAM、闪速存储器等)。程序指令可以包括由编译器生成的机器语言代码以及可由使用解释器的计算机执行的高级语言代码。上述硬件设备可以被配置为作为用于执行本公开的各种实施方案的操作的一个或多个软件模块来操作，反之亦然。

根据本公开的各种实施方案的模块或程序模块可以包括上述元件中的至少一个，并且可以省略一些元件或者可以添加其他附加元件。根据本公开的各种实施方案的由模块、程序模块或其他元件执行的操作可以按照顺序、并行、迭代或启发式方式来执行。此外，一些操作可以以另一顺序执行或可以被省略，或者可以添加其他操作。

虽然已参照本发明的各种实施方式展示并描述了本发明，但是本领域技术人员将理解，在不脱离由随附权利要求书和其同等物界定的本发明的范围和精神的情况下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种电子设备，其包括：

触摸屏显示器；

扬声器和声音接口中的至少一者；

处理器，其被配置为电连接到所述触摸屏显示器、所述扬声器和所述声音接口；以及

存储器，其被配置为电连接到所述处理器，

其中所述存储器存储指令，所述指令当被执行时致使所述处理器：

在所述触摸屏显示器上显示包括乐器形状的至少一个项目，

通过所述触摸屏显示器接收触摸输入，

基于所述触摸输入来加载与所述至少一个项目对应的声音数据，

至少部分地基于与所述触摸输入相关联的信息处理所述声音数据，并且

通过所述扬声器或所述声音接口输出处理后的声音数据。

2.根据权利要求1所述的电子设备，其中与所述触摸输入相关联的信息包括以下各项中的至少一者：所述触摸输入的位置、强度、时间、方向、面积、速度以及压力。

3.根据权利要求1所述的电子设备，其中所述指令被配置为进一步致使所述处理器：

至少部分地基于与所述触摸输入相关联的信息来改变至少一个显示的项目；并且

在所述触摸屏显示器上显示至少一个改变的项目。

4.一种电子设备，其包括：

显示器；

扬声器和声音接口中的至少一者；

处理器，其被配置为电连接到所述显示器、所述扬声器和所述声音接口；以及

存储器，其被配置为电连接到所述处理器，

其中所述存储器存储指令，所述指令当被执行时致使所述处理器：

通过与所述电子设备可操作地连接的至少一个传感器来获得所述电子设备的用户的手势，

如果所述手势是与至少一个乐器对应的手势，则通过与所述电子设备可操作地连接的输出设备来输出与至少一个乐器对应的声音数据，并且

如果手势不是与所述至少一个乐器对应的手势，则不输出所述声音数据。

5.根据权利要求4所述的电子设备，其中所述指令被配置为进一步致使所述处理器：

输出所述声音数据，同时至少部分地基于所述手势的性质来改变所述声音数据的至少一部分性质，

通过与所述电子设备可操作地连接的另一显示器来显示与所述至少一个乐器对应的项目，或者

当与所述项目的至少一个声音对应的区域接收到输入时，至少部分地基于所述手势的性质来显示与所述项目的至少一个声音对应的区域。

6.根据权利要求5所述的电子设备，其中所述至少一个乐器包括第一乐器和第二乐器，

其中所述至少一个声音包括第一声音和第二声音，

其中所述手势与所述第一乐器对应，并且

其中所述指令被配置为进一步控制所述处理器以获得另一手势，并且如果另一手势是与所述第二乐器对应的手势，则输出第二声音，并且

其中第二声音与第一声音的至少一部分同时输出。

7.根据权利要求6所述的电子设备，其中所述指令被配置为进一步致使所述处理器在至少部分时间期间与对应于所述第二乐器的第二项目同时显示对应于所述第一乐器的第一项目。

8.根据权利要求7所述的电子设备，还包括：

第二显示器，

其中所述指令被配置为进一步致使所述处理器通过所述显示器显示所述第一项目并且通过所述第二显示器显示所述第二项目。

9.一种用于在电子设备中弹奏虚拟乐器的方法，所述电子设备包括用于存储对应于至少一个乐器的至少一个声音数据的存储器，所述方法包括：

通过与所述电子设备可操作地连接的至少一个传感器来获得所述电子设备的用户的手势；

如果所述手势是与所述至少一个乐器对应的手势，则通过与所述电子设备可操作地连接的输出设备来输出所述至少一个声音数据；并且

如果所述手势不是与所述至少一个乐器相对应的手势，则不输出所述至少一个声音数据。

10.根据权利要求9所述的方法，其中声音数据的输出包括；

输出所述声音数据，同时至少部分地基于所述手势的性质来改变所述声音数据的至少一部分性质，

其中所述声音数据的输出包括通过与所述电子设备可操作地连接的显示器来显示与所述至少一个乐器对应的项目，或者

其中所述项目的显示包括：当区域接收到输入时，至少部分地基于所述手势的性质来显示与所述项目的至少一个声音对应的区域。

11.根据权利要求10所述的方法，其中所述声音数据的不输出包括响应于所述手势而执行另一功能或应用程序；或者

其中所述至少一个乐器包括第一乐器和第二乐器，

其中所述至少一个声音包括第一声音和第二声音，并且

其中所述声音数据的输出包括：

如果所述手势是与所述第一乐器对应的手势，则输出第一声音，并且

如果所述手势是与所述第二乐器对应的手势，则输出第二声音。

12.根据权利要求11所述的方法，还包括：

获得另一手势；以及

如果所述另一手势是与第二乐器对应的手势，则输出第二声音，

其中所述手势与所述第一乐器对应。

13.根据权利要求12所述的方法，其中所述第二声音与所述第一声音的至少一部分同时输出。

14.根据权利要求12所述的方法，还包括：

输出对应于与电子设备连接的外部设备的乐器，

从所述外部设备接收另一用户手势并且响应于从所述外部设备接收的另一用户手势而输出乐器演奏声音。

15.一种计算机可读记录介质，其存储嵌入在其上的指令，所述指令当被至少一个处理器执行时致使所述处理器执行至少一个操作，所述至少一个操作被配置为：

通过与电子设备可操作地连接的至少一个传感器来获得所述电子设备的用户的手势，所述电子设备包括用于存储对应于至少一个乐器的至少一个声音数据的存储器；

如果所述手势是与至少一个乐器对应的手势，则通过与所述电子设备可操作地连接的输出设备来输出与所述至少一个乐器对应的至少一个声音数据；并且

如果手势不是与所述至少一个乐器对应的手势，则不输出所述声音数据。