CN116129709A - 一种辅助训练的方法、系统及相关设备 - Google Patents
一种辅助训练的方法、系统及相关设备 Download PDFInfo
- Publication number
- CN116129709A CN116129709A CN202210601053.3A CN202210601053A CN116129709A CN 116129709 A CN116129709 A CN 116129709A CN 202210601053 A CN202210601053 A CN 202210601053A CN 116129709 A CN116129709 A CN 116129709A
- Authority
- CN
- China
- Prior art keywords
- electronic device
- user
- music score
- beat
- hand motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
- G09B15/001—Boards or like means for providing an indication of chords
- G09B15/002—Electrically operated systems
- G09B15/003—Electrically operated systems with indication of the keys or strings to be played on instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Telephone Function (AREA)
Abstract
本申请提供了一种辅助训练的方法、系统及相关设备,该辅助训练的方法通过第二电子设备采集用户在练习的第一乐曲时的手部运动数据,并将该手部运动数据发送至第一电子设备,由第一电子设备解析该手部运动数据,生成用户弹奏的曲谱。并且,第一电子设备的显示屏中显示该用户弹奏的曲谱。其中,第一电子设备可以是手机,第二电子设备可以是智能手环。这样,用户只需要使用手机和智能手环便可以生成用户弹奏的曲谱,并显示该用户弹奏的曲谱。这样,用户可以将用户弹奏的曲谱与目标曲谱进行对比,可以很好的帮助用户找出错误,高效的训练。并且不需要用户购买专门用于辅助训练的穿戴设备。
Description
技术领域
本申请涉及终端及通信技术领域,尤其涉及一种辅助训练的方法、系统及相关设备。
背景技术
目前,弦乐器(例如吉他、琵琶等)越来越受欢迎。对于学习弦乐器来说,扫弦是一门基本功。扫弦可以表现欢快、激昂的音乐情绪,具有很强的音乐感染力。对于刚开始接触扫弦的初学者来说,对于曲谱的节奏的掌握都比较差,在练习扫弦的时候很难做到按照曲谱节奏把每一节拍的时间都分配好,可能导致在弹奏时拍子之间的时长变得不一致。并且对于初学者来说,无法把握训练准确度,缺乏正确的反馈指导,无法了解自己是否弹奏出错以及错在哪里,容易产生错误的演奏习惯。
由此,如何通过相关设备辅助用户学习弦乐器如亟待解决的问题。
发明内容
本申请提供了一种辅助训练的方法、系统及相关设备,实施该方法能够通过辅助用户学习弦乐器。
第一方面,本申请实施例提供了一种辅助训练的方法,该方法应用于辅助训练系统,该辅助训练系统包括第一电子设备和第二电子设备,第一电子设备和第二电子设备建立有通信连接,该方法包括:第二电子设备采集用户练习的第一乐曲的手部运动数据,并将手部运动数据发送至第一电子设备;第一电子设备接收手部运动数据,并解析手部运动数据,生成用户弹奏的曲谱;第一电子设备显示用户弹奏的曲谱。
其中,第一电子设备可以是手机,第二电子设备可以是智能手环。
这样,用户只需要使用手机和智能手环便可以生成用户弹奏的曲谱,并显示该用户弹奏的曲谱。这样,用户可以将用户弹奏的曲谱与目标曲谱进行对比,可以很好的帮助用户找出错误,高效的训练。并且不需要用户购买专门用于辅助训练的穿戴设备。
结合第一方面的内容,在一些实现方式中,第一电子设备接收手部运动数据,并解析手部运动数据得到用户弹奏的曲谱,具体包括:第一电子设备确定第一乐曲的节拍速度;第一电子设备基于手部运动数据生成第一手部运动轨迹;第一电子设备基于节拍速度和第一手部运动轨迹的第一时长,确定节拍数以及N个节拍的第二时长,其中N个节拍包括第一节拍,第一节拍的时长为第三时长,第一时长大于或等于第二时长,第二时长为第三时长的N倍;第一电子设备基于节拍数和第二时长、以及第一手部运动轨迹,生成用户弹奏的曲谱。
结合第一方面的内容,在一些实现方式中,第一电子设备基于节拍数和第二时长、以及第一手部运动轨迹,生成用户弹奏的曲谱,具体包括:第一电子设备基于第三时长内的第二手部运动轨迹,确定第一节拍的扫弦方式;第二手部运动轨迹为第一手部运动轨迹的一部分;第一电子设备基于第一节拍的扫弦方式和第三时长,确定第一节拍包含的一个或多个音符以及一个或多个音符的时值;
第一电子设备基于节拍数、第一节拍包含的一个或多个音符以及一个或多个音符的时值,生成用户弹奏的曲谱。
这样,通过识别出用户练习的曲谱中的手部运动轨迹,并将该手部运动轨迹生成用户弹奏的曲谱,方便用户基于弹奏的曲谱找出与目标曲谱之间的差距,快速查找到自己弹奏出错的地方。
结合第一方面的内容,在一些实现方式中,扫弦方式包括上扫弦和下扫弦;第一电子设备基于第三时长内的第二手部运动轨迹,确定第一节拍的扫弦方式,具体包括:在第二手部运动轨迹的幅度持续增长的情况下,第一电子设备确定扫弦方式为上扫弦;或者,在第二手部运动轨迹的幅度持续减小的情况下,第一电子设备确定扫弦方式为下扫弦。
这样,可以通过用户的手部运动轨迹就可以确定出用户是上扫弦还是下扫弦。
结合第一方面的内容,在一些实现方式中,在第一电子设备接收手部运动数据,并解析手部运动数据生成用户弹奏的曲谱之前,该方法还包括:第二电子设备采集用户的练习第一乐曲时的声音信息;第二电子设备将声音信息发送至第一电子设备。
这样,采集到用户弹奏时的声音信息,可以使得生成用户弹奏的曲谱更为准确。
结合第一方面的内容,在一些实现方式中,第一电子设备基于手部运动数据生成第一手部运动轨迹,具体包括:第一电子设备基于手部运动数据,生成第三手部运动轨迹;第一电子设备基于声音信息,对第三手部运动轨迹进行修正,得到第一手部运动轨迹。
这样,基于声音信息对用户手部运动轨迹进行修正,可以避免识别用户手部扫弦动作出错问题。
结合第一方面的内容,在一些实现方式中,该方法还包括:第一电子设备接收用户选择的目标曲谱;第一电子设备基于节拍速度和目标曲谱,确定目标曲谱对应的提醒信息,并将提醒信息发送至第二电子设备;第二电子设备接收提醒信息,并基于提醒信息进行执行提醒动作。
这样,在用户只需要在第一电子设备上选择需要练习的乐曲,在用户弹奏该乐曲时,第二电子设备即可在该乐曲的每一个节拍以及每一音符等节奏点提醒用户。可以帮助用户在弹奏时准确地掌握节奏点。
结合第一方面的内容,在一些实现方式中,提醒信息为目标曲谱中每一个音符的提醒时间;第一电子设备基于节拍速度和目标曲谱,确定目标曲谱对应的提醒信息,具体包括:
第一电子设备识别目标曲谱中的节拍信息和音符信息;节拍信息包括目标曲谱中的节拍数,音符信息包括每一拍中的音符数和每个音符的时值;
第一电子设备基于节拍速度、节拍信息以及音符信息,确定目标曲谱中每一个音符的提醒时间。
结合第一方面的内容,在一些实现方式中,提醒动作包括震动提醒动作、闪光提醒动作、振铃提醒动作。
这样,在用户使用可穿戴设备进行训练时,可以通过震动或振铃的方式提醒用户节奏点,帮助用户快速准确地找到一首曲谱中的节奏点,有效辅助用户弹奏的准确度,提升用户体验。
结合第一方面的内容,在一些实现方式中,第一电子设备显示用户弹奏的曲谱,具体包括:第一电子设备显示用户弹奏的曲谱和目标曲谱,目标曲谱为第一乐曲的曲谱。
这样,在电子设备的显示屏上同时显示目标曲谱和用户弹奏的曲谱,可以使得用户很容易找到弹奏出错的地方。
第二方面,提供一种辅助训练系统,包括:第二电子设备用于,采集用户练习的第一乐曲的手部运动数据,并将手部运动数据发送至第一电子设备;
第一电子设备用于,接收手部运动数据,并解析手部运动数据,生成用户弹奏的曲谱;第一电子设备还用于,显示用户弹奏的曲谱。
其中,第一电子设备可以是手机,第二电子设备可以是智能手环。
这样,用户只需要使用手机和智能手环便可以生成用户弹奏的曲谱,并显示该用户弹奏的曲谱。这样,用户可以将用户弹奏的曲谱与目标曲谱进行对比,可以很好的帮助用户找出错误,高效的训练。并且不需要用户购买专门用于辅助训练的穿戴设备。
结合第二方面的内容,在一些实现方式中,第一电子设备用于:确定第一乐曲的节拍速度;基于手部运动数据生成第一手部运动轨迹;基于节拍速度和第一手部运动轨迹的第一时长,确定节拍数以及N个节拍的第二时长,其中N个节拍包括第一节拍,第一节拍的时长为第三时长,第一时长大于或等于第二时长,第二时长为第三时长的N倍;基于节拍数和第二时长、以及第一手部运动轨迹,生成用户弹奏的曲谱。
结合第二方面的内容,在一些实现方式中,第一电子设备具体用于:基于第三时长内的第二手部运动轨迹,确定第一节拍的扫弦方式;第二手部运动轨迹为第一手部运动轨迹的一部分;
基于第一节拍的扫弦方式和第三时长,确定第一节拍包含的一个或多个音符以及一个或多个音符的时值;
基于节拍数、第一节拍包含的一个或多个音符以及一个或多个音符的时值,生成用户弹奏的曲谱。
这样,通过识别出用户练习的曲谱中的手部运动轨迹,并将该手部运动轨迹生成用户弹奏的曲谱,方便用户基于弹奏的曲谱找出与目标曲谱之间的差别,快速查找到自己弹奏出错的地方。
结合第二方面的内容,在一些实现方式中,第一电子设备具体用于:在第二手部运动轨迹的幅度持续增长的情况下,确定扫弦方式为上扫弦;或者,在第二手部运动轨迹的幅度持续减小的情况下,确定扫弦方式为下扫弦
这样,可以通过用户手部运动轨迹就可以确定出用户是上扫弦还是下扫弦。
结合第二方面的内容,在一些实现方式中,第二电子设备用于:采集用户的练习第一乐曲时的声音信息;将声音信息发送至第一电子设备。
这样,采集到用户弹奏时的声音信息,可以使得生成用户弹奏的曲谱更为准确。
结合第二方面的内容,在一些实现方式中,第一电子设备具体用于:基于手部运动数据,生成第三手部运动轨迹;
第一电子设备基于声音信息,对第三手部运动轨迹进行修正,得到第一手部运动轨迹。
这样,基于声音信息对用户手部运动轨迹进行修正,可以避免识别用户手部扫弦动作出错问题。
结合第二方面的内容,在一些实现方式中,第一电子设备还用于:接收用户选择的目标曲谱;
基于节拍速度和目标曲谱,确定目标曲谱对应的提醒信息,并将提醒信息发送至第二电子设备;
第二电子设备还用于:接收提醒信息,并基于提醒信息进行执行提醒动作。
这样,在用户只需要在第一电子设备上选择需要练习的乐曲,在用户弹奏该乐曲时,第二电子设备即可在该乐曲的每一个节拍以及每一音符等节奏点提醒用户。可以帮助用户在弹奏时准确地掌握节奏点。
结合第二方面的内容,在一些实现方式中,提醒信息为目标曲谱中每一个音符的提醒时间;
第一电子设备具体用于:识别目标曲谱中的节拍信息和音符信息;节拍信息包括目标曲谱中的节拍数,音符信息包括每一拍中的音符数和每个音符的时值;
基于节拍速度、节拍信息以及音符信息,确定目标曲谱中每一个音符的提醒时间。
结合第二方面的内容,在一些实现方式中,提醒动作包括震动提醒动作、闪光提醒动作、振铃提醒动作。
这样,在用户使用可穿戴设备进行训练时,可以通过震动或振铃的方式提醒用户节奏点,帮助用户快速准确地找到一首曲谱中的节奏点,有效辅助用户弹奏的准确度,提升用户体验。
结合第二方面的内容,在一些实现方式中,第一电子设备具体用于:显示用户弹奏的曲谱和目标曲谱,目标曲谱为第一乐曲的曲谱。
这样,在电子设备的显示屏上同时显示目标曲谱和用户弹奏的曲谱,可以使得用户很容易找到弹奏出错的地方。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括一个或多个处理器和一个或多个存储器;其中,一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法中第一电子设备所执行的方法。
第四方面,本申请实施例提供了一种电子设备,该电子设备包括一个或多个处理器和一个或多个存储器;其中,一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法中第二电子设备所执行的方法。
第五方面,本申请实施例提供了一种芯片系统,该芯片系统应用于电子设备,该芯片系统包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法第一电子设备所执行的方法。
第六方面,本申请实施例提供了一种芯片系统,该芯片系统应用于电子设备,该芯片系统包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法第二电子设备所执行的方法。
第七方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行第一方面以及第一方面中任一可能的实现方式描述的方法。
第八方面,本申请实施例提供一种计算机可读存储介质,包括指令,当上述指令在电子设备上运行时,使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
可以理解地,上述第二方面提供的辅助训练系统、第三方面提供的电子设备、第四方面提供的电子设备、第五方面提供的芯片系统、第六方面提供的芯片系统、第七方面提供的计算机程序产品和第八方面提供的计算机存储介质均用于执行本申请实施例所提供的方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。
附图说明
图1是现有技术提供的一种辅助弦乐器训练的穿戴设备的示意图;
图2是本申请实施例提供的一种辅助训练系统10的示意图;
图3是本申请实施例提供一种辅助训练的方法的流程示意图;
图4是本申请实施例提供输入节拍信息的用户界面示意图;
图5是本申请实施例提供的一段曲谱示意图;
图6是本申请实施例提供的用户在4秒时长内的手部运动轨迹示意图;
图7是本申请实施例提供的电子设备100基于手部运动轨迹生成用户弹奏的曲谱的示意图;
图8是本申请实施例提供的电子设备100基于修正后的手部运动轨迹生成用户弹奏的曲谱的示意图;
图9是本申请实施例提供的电子设备100显示用户弹奏的曲谱和目标曲谱的用户界面910的示意图;
图10是本申请实施例提供的电子设备100的硬件结构示意图;
图11是本申请实施例提供的装置110的结构示意图;
图12是本申请实施例提供的可穿戴设备200的硬件结构示意图;
图13是本申请实施例提供的装置210的结构示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请以下实施例中的术语“用户界面(user interface,UI)”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面是通过java、可扩展标记语言(extensible markuplanguage,XML)等特定计算机语言编写的源代码,界面源代码在电子设备上经过解析,渲染,最终呈现为用户可以识别的内容。用户界面常用的表现形式是图形用户界面(graphicuser interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的文本、图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
在一些实现方式中,提出一种辅助弦乐器训练的穿戴设备。如图1所示,该穿戴设备为一种类似手套的设备,可以穿戴在手上进行弹奏训练。每根手指处都有传感器,这样可以识别到每一根手指的动作、力度,也就是说可以识别到哪跟手指在拨弦,手指拨弦的力度等。并且,辅助训练设备可以将采集到的用户拨弦数据反馈到云端服务器。但是,用户需要购买这样的穿戴设备用于辅助练习弦乐器,该穿戴设备成本高昂,只能用于辅助练习弦乐器,且不方便携带。
针对上述问题,本申请实施例提供一种辅助训练的方法,该辅助训练的方法,通过第二电子设备采集用户在练习的第一乐曲时的手部运动数据,并将该手部运动数据发送至第一电子设备,由第一电子设备解析该手部运动数据,生成用户弹奏的曲谱。并且,第一电子设备的显示屏中显示该用户弹奏的曲谱。
这样,用户只需要使用相关设备(例如,第一电子设备可以是手机和第二电子设备可以是智能手环)便可以生成用户弹奏的曲谱,并显示该用户弹奏的曲谱。这样,用户可以将用户弹奏的曲谱与目标曲谱进行对比,可以很好的帮助用户找出错误,高效的训练。并且不需要用户购买专门用于辅助训练的穿戴设备。
在一些可选的实施例中,第一电子设备获取用户选择的目标曲谱和用户设置的节拍速度,基于目标曲谱和节拍速度确定出目标曲谱对应的提醒信息,即目标曲谱中每一个节拍和每一个音符的提醒时间。第一电子设备可以将该提醒信息发送至第二电子设备。在用户练习该目标曲谱时,由第二电子设备在曲谱的节奏点处进行提醒。
这样,在用户只需要在第一电子设备上选择需要练习的乐曲,在用户弹奏该乐曲时,第二电子设备即可在该乐曲的每一个节拍以及每一音符等节奏点提醒用户。可以帮助用户在弹奏时准确地掌握节奏点。
接下来,介绍本申请实施例提供的一种辅助训练系统。
参见图2,图2示例性示出了本申请实施例涉及的一种辅助训练系统10。如图2所示,辅助训练系统10中可以包括电子设备100和可穿戴设备200。其中,电子设备100和可穿戴设备200之间可以建立有通信连接,例如,电子设备100和可穿戴设备200之间可以通过蓝牙建立通信连接。本申请实施例对电子设备100和可穿戴设备200建立通信连接的方式不作限定。其中:
可穿戴设备200可以采集用户在练习目标乐曲扫弦时的手部的运动数据,并将采集的手部运动数据发送至电子设备100。
电子设备100接收该手部运动数据,并可以解析手部运动数据生成手部运动轨迹。之后,电子设备100可以基于该手部运动轨迹,生成用户弹奏的曲谱。电子设备100可以显示该用户弹奏的曲谱。
具体地,电子设备100首先基于该手部运动轨迹的时长和节拍速度,确定节拍数和每一个节拍的时长。然后,电子设备100可以基于每一个节拍的时长内的手部运动轨迹,确定每一个节拍内的扫弦方式。其中,扫弦方式分为上扫弦和下扫弦。例如,当电子设备100解析到手部运动轨迹的幅度持续增长的情况下,则确定对应的扫弦方式为上扫弦。当电子设备100解析到手部运动轨迹的幅度持续减少的情况下,则确定对应的扫弦方式为下扫弦。接着,电子设备100可以基于每一节拍的扫弦方式和每一节拍的时长,确定出每一个节拍包含的一个或多个音符以及一个或多个音符的时值。最后,电子设备100可以基于节拍数、每一个节拍包含的一个或多个音符以及一个或多个音符的时值,生成用户弹奏的曲谱。
在一些可选的实现方式中,可穿戴设备200采集用户的手部运动数据后,可以解析该手部运动数据,生成用户的手部运动轨迹。然后将该手部运动轨迹发送至电子设备100,由电子设备100解析该手部运功轨迹,生成用户弹奏的曲谱。
进一步地,电子设备100可以在显示屏上同时显示用户弹奏的曲谱和目标曲谱,方便用户进行对比。
可以理解的是,目标曲谱是目标乐曲的曲谱,用户弹奏的曲谱是用户基于目标曲谱进行自己弹奏生成的曲谱。对于不同的人来说,对于目标乐曲的掌握程度不同,弹奏的曲谱是不同的。例如,对于目标乐曲的熟练度越高的人来说,弹奏的曲谱更接近目标曲谱,甚至可以和目标曲谱相同。对于初学者来说,熟练度不高,则弹奏的曲谱可能与目标曲谱相差较大。
在一些可选的实现方式中,可穿戴设备200还可以采集用户在练习目标乐曲时的声音信息。并该声音信息用于对用户的手部运动轨迹进行修正,避免识别出错。
值得说明的是,对于用户手部运动轨迹的修正,可以是可穿戴设备200基于声音信息对手部运动轨迹进行修正后,将修正后的手部运动轨迹发送至电子设备100。还可以是可穿戴设备200将采集声音信息发送至电子设备100,由电子设备100基于该声音信息对用户的手部运动轨迹进行修正,得到修正后的手部运动轨迹。本申请对此不作任何限定。
在一些可选的实施例中,电子设备100可以接收用户设置的节拍速度和选择的目标曲谱。也就是说,用户可以在电子设备100上选择需要练习的目标曲谱,以及在电子设备100上设置该目标曲谱对应的节拍速度,例如,每分钟60拍、120拍等。
电子设备100可以根据用户设置的节拍速度和目标曲谱,计算目标曲谱中每一个节奏点的提醒时间。之后,电子设备100可以将该提醒时间发送至可穿戴设备200,可穿戴设备200则可以在用户练习该目标曲谱时,在目标曲谱的节奏点处提醒用户。
值得说明的是,本申请实施例涉及的电子设备100可以但不限于是手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、手持计算机、上网本、个人数字助理(personal digital assistant,PDA)等电子设备。可穿戴设备200可以是智能手环、智能手表等电子设备。
在一些场景中,用户使用电子设备100和可穿戴设备200进行制作曲谱。
具体地,可穿戴设备200可以采集用户在弹奏的手部运动数据,电子设备100可以基于该手部运动数据,生成用户弹奏的曲谱,也就是说,电子设备100可以将用户弹奏的曲子制作成曲谱。
在一些可选的实施例中,该辅助训练的系统还可以包括服务器300。其中,电子设备100和服务器300之间可以建立有通信连接,例如,电子设备100和服务器300之间可以通过蓝牙建立通信连接。本申请实施例对电子设备100和服务器300建立通信连接的方式不作限定。
电子设备100生成用户弹奏的曲谱后,电子设备100可以将该用户弹奏的曲谱上传至服务器300。例如,用户在自己作曲时,用户可以在音乐应用程序中的社区分享自己创作的曲谱。
可以理解的是,在本申请实施例中,电子设备100也可以被称为第一电子设备,可穿戴设备200也可以被称为第二电子设备。
接下来,结合图3介绍本申请实施例的一种辅助训练方法。
参见图3,图3是本申请实施例涉及的一种辅助训练方法的流程示意图。如图3所示,该辅助训练方法包括步骤S101-S108。
本申请实施例提供的辅助训练方法中,可穿戴设备200采集用户的手部运动数据,并将该用户的手部运动数据发送至电子设备100,由电子设备100解析该手部运动数据,生成用户弹奏的曲谱。下面分别进行描述:
S101,电子设备100获取目标曲谱和目标曲谱对应的节拍速度。
具体地,用户可以在电子设备100上选择需要练习的目标乐曲。电子设备100可以基于目标乐曲获取对应的目标曲谱。其中,目标曲谱可以是记录目标乐曲中的节拍信息和音符信息。
可以理解的是,目标曲谱可以是用户自行上传的,例如用户自行制作曲谱,并在电子设备100客户端上传,也可以是电子设备100上预先存储的,还可以是用户从服务器下载的,例如,可以是华为音乐等应用程序中下载的,本申请对此不作限定。
用户可以在电子设备100上设置节拍速度。例如,可以设置为每分钟60拍,每分钟120拍等,本申请对此不作限定。
示例性地,如图4所示,图4中示例性示出了设置节拍的用户界面。如图4所示,可穿戴设备200可用于显示用户界面410,用户可以在用户界面410中设置或者输入节拍信息。
可以理解的是,图4中示出的用于设置节拍的用户界面仅为示例。本申请实施例对用于设置节拍的用户界面中包含的内容(例如,控件、文字、图标等等)不作限定。
在本申请实施例中,目标乐曲可以被称为第一乐曲。
S102,电子设备100基于目标曲谱,确定出目标曲谱中的音符信息。
具体地,电子设备100可以识别目标曲谱文件中的节拍信息和音符信息,确定该目标曲谱对应的节奏点。其中,节拍信息包括目标曲谱中的节拍数,音符信息包括每一拍中的音符数和每一个音符的时值。例如,该目标曲谱中有多少节拍、每个节拍中有多少音符以及每个音符的时值等。
示例性地,参见图5,图5示例性示出了一首曲谱中的两拍音符。如图5所示,一个箭头代表一个音符。其中,第一拍有两个音符,即音符1和音符2,第二拍有四个音符,音符3-音符6。可以看出,在第一拍中存在一个附点音符1,附点音符用于延长该附点音符之前的音符的时值,即增加该附点音符之前的音符的时长。因此,如图5中示出的附点音符1,可以延长其前面一个音符的时值,即增加音符1的时长。也就是说,音符1可以占用四分之三节拍的时长,音符2可以占用四分之一节拍的时长。例如,如果第一节拍的时长为2S,则第一节拍中的第一个音符1占用的时长为1.5秒,第二个音符2占用的时长为0.5秒。第二节拍中没有附点音符,第二节拍中的音符3-音符6均分四分之一节拍时间。例如,如果第二节拍的时长为2S,则第二节拍中的音符3、音符4、音符5以及音符6分别占用的时长均为0.5秒。
S103,电子设备100基于节拍速度和目标曲谱中的音符信息,确定目标曲谱对应的提醒信息。
可以理解的是,目标曲谱对应的提醒信息可以是目标曲谱中每一个节奏点对应的提醒时间,即每一个音符对应的提醒时间。
具体地,电子设备100获取节拍速度后,可以得到一拍占用的时长。例如,当用户将节拍设置为每分钟60拍,则每一拍为1秒时长。电子设备100可以计算目标曲谱中每一拍中音符占用的时长,确定每一个音符对应的提醒时间。
示例性地,用户将节拍速度设置为每分钟30拍,也就是说,一拍的时长为2秒。如图5中所示的第一拍中第一个音符为四分之三拍,则第一拍中第一个音符占用的时长为1.5秒,第二音符占用的时长为0.5秒。在第二拍中四个音符均为四分之一拍,则第二拍中第四个音符占用的时长为0.5秒。电子设备100可以确定在第0秒时提醒一次,在第1.5秒提醒一次,以及在2秒,2.5秒,3秒,3.5秒分别提醒一次。
这样,通过目标曲谱的音符信息和用户设置的节拍速度确定提醒信息,在用户进行弹奏训练时在关键的节奏点发出震动动作进行提醒,能够使得用户更好的跟着音乐的拍子弹奏曲子,达到辅助训练的效果。
S104,电子设备100检测到用户操作,将提醒信息发送至可穿戴设备200。
其中,用户操作可以是用户点击电子设备100中界面的确定提醒按钮,也可以是点击电子设备100上的实体按键,还可以是通过语音进行控制,例如,用户可以输入“我要开启提醒”等。本申请对此不作限定。
S105,可穿戴设备200接收提醒信息,并基于提醒信息执行提醒动作。
可以理解的是,可穿戴设备200接收提醒信息后,可穿戴设备200可以在预设时长后再进行提醒。例如,30秒时长为一个缓冲期,可穿戴设备200可以在30秒后开启提醒,这样可以方便用户准备。
可以理解的是,可穿戴设备200可以配置有马达等,可穿戴设备200可以通过按照特定频率震动马达来提醒用户。具体地,可穿戴设备200接收到电子设备100发送的提醒信息,在用户练习该目标曲谱时,在目标曲谱的节奏点处震动马达来提醒用户。
在一些可选的实现方式中,可穿戴设备200还可以以振铃提醒或者闪烁指示灯提醒等,本申请对此不作限定。这样,在用户使用可穿戴设备进行训练时,可以通过震动或振铃的方式提醒用户节奏点,帮助用户快速准确地找到一首曲谱中的节奏点,有效辅助用户弹奏的准确度,提升用户体验。
可以理解的是,在本申请实施例中,用户需要携带可穿戴设备200进行辅助训练。电子设备100可用于确定目标曲谱对应的提醒信息,可穿戴设备200可用于执行该提醒信息对应的提醒动作。
在一些实施例中,可穿戴设备200还可以采集用户弹奏时的运动数据,例如用户手部运动的轨迹、用户弹奏时的声音信息等。然后由电子设备100解析该手部的运动数据和声音信息,得到解析曲谱。下面具体介绍:
S106,可穿戴设备200采集到用户练习时的手部运动数据,并发送手部运动数据至电子设备100。
具体的,可穿戴设备200可以配置有运动传感器,例如加速度计、陀螺仪和磁力计等等。可穿戴设备200可以基于该运动传感器采集用户的手部运动数据。例如,运动传感器可以识别用户的手部在水平轴方向和Z轴方向的运动轨迹,并记录用户的手部在水平轴方向和Z轴方向的运动轨迹。
可选地,可穿戴设备200可以配置有麦克风,可以采集用户弹奏时的声音信息。即,可穿戴设备200可以采集到用户在弹奏时的扫弦的声音信息。
在一些实现方式中,电子设备100还可以向可穿戴设备200发送请求,以请求获得用户的手部运动数据。相应地,可穿戴设备200接收该请求,并响应该请求,采集用户的实际手部运动数据。然后,可穿戴设备200将手部运动数据发送给电子设备100,以供电子设备100进行解析,并输出曲谱。
S107,电子设备100接收手部运动数据,并解析该手部运动数据,生成用户弹奏的曲谱。
具体地,电子设备100可以基于用户的手部运动数据生成手部运动轨迹。接着,电子设备100可以解析该手部运动轨迹,生成用户弹奏的曲谱。在本申请实施例中,该手部运动轨迹也可以被称为第一手部运动轨迹。
下面结合图6-图8,具体介绍本申请实施例中解析手部运动轨迹生成用户弹奏的曲谱的具体过程。
步骤1、电子设备100基于节拍速度和手部运动轨迹的持续时长,确定节拍数以及一拍的持续时长。例如,假设节拍速度为每分钟60拍,修正后手部运动轨迹的持续时长为2分钟,则可以认为节拍数为120拍,每一拍的持续时长为1秒。在本申请实施例中,手部运动轨迹的持续时长可以被称为第一时长。
步骤2、电子设备100基于每一节拍时长内的手部运动轨迹,确定每一节拍内的用户的扫弦方式。
其中,用户的扫弦方式包括上扫弦和下扫弦。具体地,在一节拍的时长内,用户手部的运动轨迹是幅度持续增长的情况下,即用户的手部是向上挥动的情况下,表示用户向上扫弦,用户手部的运动轨迹的幅度持续减小的情况下,即用户的手部是向下挥动的情况下,表示用户是向下扫弦。示例性地,如图6中(a)所示,在第0秒时长到第1秒的时长内,用户的手部运动轨迹的幅度持续减小,表示用户的扫弦方式是下扫弦。在第1秒到第2秒时长内,用户的手部运动轨迹的幅度持续增加,表示用户的扫弦方式是上扫弦。
可以理解的是,在本申请实施例中,第一节拍可以是目标曲谱中的任一节拍,曲谱中一拍的时长可以被称为第三时长,曲谱中所有节拍的时长的总和时长可以被称为第二时长。例如,曲谱包括N个节拍,一节拍的时长为2秒,则曲谱中所有节拍的时长的总和为2*N秒。也就是说,第三时长可以是2秒,第二时长可以是2*N秒。
在本申请实施例中,一节拍时长内的手部运动轨迹可以被称为第二手部运动轨迹。
步骤3、电子设备100基于每一节拍的时长内的扫弦方式以及扫弦的时长,确定每一节拍中包括的一个或多个音符以及一个或多个音符的时值。
具体地,用户一次扫弦对应于一个音符,扫弦的时长对应该音符的时长,即音符的时值。也就是说,在一个节拍的时长内,用户的手部挥动的次数可以为一个节拍内的音符数,用户手部每一次挥动的时长为该音符的时长。
步骤4、电子设备100基于节拍数、每一节拍中包括的一个或多个音符以及该一个或多个音符的时值,生成用户弹奏的曲谱。
示例性地,图6中示例性示出了电子设备100基于手势运动轨迹生成用户弹奏的曲谱的示意图。其中,图6中(a)示出了在6秒时长内用户手部在Z轴方向的运动轨迹,图6中(b)示出了在6秒时长内用户手部在水平轴方向的运动轨迹。如果用户设置节拍速度为每分钟30拍,即2秒为一拍。如图6中(a)所示,则6秒时长内存在3个节拍,第一节拍为第0秒到第2秒,第二个节拍为第2秒到第4秒,第三个节拍为第4秒到第6秒。
可以看出,在第0秒到第1秒时长内,用户的手部轨迹的幅度是持续减小的过程,即用户的手部是一个向下挥动的动作。电子设备100可以识别到在第05秒到第1秒内的扫弦方式是下扫弦,扫弦的时长为1秒。在第1到第2秒时长内,用户的手部轨迹的幅度是持续增长的过程,用户的手部是一个向上挥动的动作。电子设备100可以识别到第1到第2秒时长内的扫弦方式为上扫弦,扫弦的时长为1秒。因此,电子设备100可以确定在第一节拍内用户的扫弦分别为下扫弦和上扫弦,每一次扫弦的时长为1秒。因此,电子设备100可以确定在第一节拍内有两个音符,两个音符均分第一节拍,即两个音符的时长为二分之一节拍时长。也就是说,第一节拍的时长为2秒,第一节拍中的两个音符的时长均为1秒。第二个节拍和第三个节拍的动作基于第一个节拍中的动作类似,可以参见第一个节拍中的分析,此处不在赘述。
如图6中(b)所示,在第2秒到第3秒时长,用户的手部运动轨迹在水平轴方向上幅度有一个持续增长再持续减小的过程,即用户的手部在水平轴方向有一个拍弦的动作。在第2秒到第3秒时长位于第二节拍内。从图6中(a)中可以看出,在第2秒的时长到第3秒时长内,用户的扫弦为下扫弦。因此,可以知道,用户在第2秒到第3秒时长,在进行下扫弦的同时进行了拍弦。
参见图6中(c),图6中(c)示出了生成的用户弹奏的曲谱。如图6中(c)所示,第一节拍中有两个音符,即音符7和音符8。音符7和音符8均占二分之一节拍的时长。其中,音符7的箭头向上,表示下扫弦,音符8的箭头向下,表示上扫弦。在第二节拍中,有两个音符,即音符9和音符10。音符9处有一个圆点符号,该圆点符号表示在音符处有一个扫弦动作。
可以理解的是,本申请实施例以吉他的曲谱为例进行说明,在实际实现中,曲谱还可以是其他弦乐器的曲谱等,本申请对此不作任何限定。
在一些可选的实施例中,在电子设备100解析用户的手部运动轨迹之前,电子设备100还可以基于用户练习时的声音信息对用户的手部运动轨迹进行修正。然后,电子设备100解解析修正后的手部运动轨迹,生成用户弹奏的曲谱。
在本申请实施例中,修正之前的手部运动轨迹可以被称为第三手部运动轨迹,修正后的手部运动轨迹可以被称为第一手部运动轨迹。
可以理解的是,在用户进行扫弦的过程中,假设用户需要进行下扫弦,首先用户得抬起手部到一定的程度的高度,然后在下扫弦,这样可穿戴设备200的运动传感器可以识别到用户的手部的运动轨迹为向上挥动,再向下挥动。在基于用户的手部运动轨迹识别为曲谱时,容易识别到用户进行了上扫弦和下扫弦两个动作。而实际情况中用户只进行了下扫弦,这样可能导致在基于运动轨迹图解析得到曲谱时会导致出错。因此,可穿戴设备200可以采集用户弹奏时的扫弦的声音信息,基于该声音信息,确定在用户手部抬起的时间内,是否扫弦了。
示例性地,参见图7中(a),图7中(a)示例性示出了用户在4秒时长内的手部运动轨迹图。如图7中(a)所示,在第0秒到第4秒时长内,用户的手部的运动轨迹为:第0秒到1秒时长内向上挥动、第1秒到2秒时长内向下挥动、第2秒到3秒时长内向上挥动、第3秒到4秒时长内向下挥动。其中,对应的声音信息为在第1秒到2秒时长内和第3秒到4秒时长内的声音的强度大于声音预设值,在第0秒到1秒时长内和第2秒到3秒时长内的声音的强度小于声音预设值。因此,可以确定用户在第0秒到1秒时长内和第2秒到3秒时长内没有扫弦。这样可以删除第0秒到1秒时长内和第2秒到3秒时长内的运动轨迹,得到纠正后的运动轨迹图可以如图7中(b)所示。
在电子设备100得到修正后的手部运动轨迹后,电子设备100可以解析该修正后的手部运动轨迹,生成用户弹奏的曲谱。
示例性地,图8中示例性示出了电子设备100基于修正后的手部运动轨迹生成用户弹奏的曲谱的示意图。图8中(a)示出了8秒时长内用户手部运动轨迹。如果用户设置节拍速度为每分钟30拍,即2秒为一拍。如图8中(a)所示,则8秒时长存在4个节拍,第一节拍为第0秒到第2秒,第二个节拍为第2秒到第4秒,第三个节拍为第4秒到第6秒,第四节拍为第6秒到第8秒。
可以看出,在第0秒到第1.5秒秒时长内,手部运动轨迹的幅度为持续增长,即用户的手部是一个向下挥动的动作。电子设备100可以识别在第0秒到第1.5秒时长内的扫弦方式为下扫弦。在第1.5秒到第2秒时长内,手部运动轨迹的幅度为持续减小,即用户是一个向上挥动的动作。电子设备100可以识别到在第1.5秒到第2秒时长内的扫弦方式为上扫弦。电子设备100可以确定在第一节拍内用户的扫弦分别为下扫弦和上扫弦,第一次扫弦的时长为1.5秒,占用四分之三节拍时长;第二次扫弦的时长为0.5秒,占用四分之一节拍时长。因此,电子设备100可以确定在第一节拍中有两个音符,即音符13和音符14。由于音符13的时长大于音符14,音符13相对于音符14是一个延长的音符。因此,在音符13处有一个附点音符2,用于延长音符13的时长。第0秒到第2秒时长的手部运动轨迹可以生成如图8中(b)所示的第一节拍。
在第2秒到第2.5秒时长内,手部运动轨迹的幅度为持续增长,即用户的手部是一个向下挥动的动作。电子设备100可以识别在第2秒到第2.5秒时长内的扫弦方式为下扫弦。在第2.5秒到第3秒时长内,手部运动轨迹的幅度为持续减小,即用户是一个向上挥动的动作。电子设备100可以识别到在第2.5秒到第3秒时长内的扫弦方式为上扫弦。同样,在第3秒到第3.5秒时长内,电子设备100可以确定扫弦方式为下扫弦。在第3.5秒到第4秒时长内,电子设备100可以确定扫弦方式为上扫弦。因此,电子设备100可以确定在第二节拍内,用户的扫弦分别为下扫弦、上扫弦、下扫弦、上扫弦,且每一次扫弦的时长均为0.5秒。因此,电子设备100可以确定在第二节拍内有四个音符,即音符15、音符16、音符17以及音符18。音符15、音符16、音符17以及音符18均分第二节拍,即音符15、音符16、音符17以及音符18的时长为二分之一节拍时长。第2秒到第4秒时长的手部运动轨迹可以生成如图8中(b)所示的第二节拍。在第4秒到第8秒时长与第0秒到第4秒时长的动作相同,因此对应的扫弦方式也是相同,具体可参见第0秒到第4秒时长的扫弦方式,此处不在赘述。
进一步地,可穿戴设备200还可以基于用户手势挥动的幅度,确定用户扫了几根弦。例如,当用户的手部向上或者向下挥动的幅度小于第一阈值,则可以认为用户只扫了上三根弦和下三根弦。
在一些可选的实施例中,对于用户手部运动数据的修正可以是可穿戴设备200执行的。具体地,可穿戴设备200采集到用户练习时的手部运动数据和声音数据之后,可穿戴设备200基于声音数据对用户的手部运动数据进行修正,得到修正后的手部运动数据,可穿戴设备200将该修正后的手部运动数据发送至电子设备100,电子设备100解析该修正后的手部运动数据,得到用户弹奏的曲谱。
S108,电子设备100显示用户弹奏的曲谱和目标曲谱。
具体地,电子设备100可以在显示屏上显示用户弹奏的曲谱和目标曲谱。这样,用户可以将用户弹奏的曲谱与目标曲谱进行对比,找出弹奏出错的地方。
在一些可选的实施例中,电子设备100还可以识别用户弹奏的曲谱和目标曲谱中的节拍信息和音符信息,并对比用户弹奏的曲谱和目标曲谱的节拍信息和音符信息,确定出用户弹奏的曲谱和目标曲谱中节拍信息和音符信息不一致的地方,并可以在显示屏中显示。例如,在用户弹奏的曲谱和目标曲谱中的一拍中的一个音符不同时,电子设备100可以在显示的用户弹奏的曲谱和目标曲谱中圈出该音符,这样,用户一眼就可以看出是哪个地方弹奏出错。
示例性地,参见图9,图9示例性示出了电子设备100显示用户弹奏的曲谱和目标曲谱的用户界面910。如图9所示,用户界面910可以包括用户弹奏的曲谱和目标曲谱。其中,目标曲谱包含节拍31和节拍32。在节拍31中,包括音符20和音符21。音符20和音符21均占用二分之一节拍。在用户弹奏的曲谱中也包含节拍33和节拍34,在节拍33中包括音符22和音符23,在音符22之后存在附点音符2,表示音符22的时长延长。音符22占用四分之三节拍,音符23占用四分之节拍。因此可以知道用户在弹奏节拍31时出现弹奏错误。并且,电子设备100还可以在弹奏出错的地方进行标识,例如图9中的虚线框等。这样,用户可以很容易看出自己在哪个地方弹奏出错。
可以理解的是,图9中示出的用于显示目标曲谱和用户弹奏的曲谱的用户界面仅为示例。本申请实施例对用于显示目标曲谱和用户弹奏的曲谱的用户界面中包含的内容(例如,控件、文字、图标等等)以及内容的排列方式不作限定。
一般来说,在用户进行制作曲谱时,用户需要反复弹奏,反复回忆,然后自己基于回忆进行绘制,才能能够制作成曲谱。在本申请实施例中,在用户进行制谱时,可以使用可穿戴设备200识别用户的手部运动轨迹,电子设备100解析该手部运动轨迹,得到用户弹奏的曲谱,即制作的曲谱。
在一些可选的实施例中,用户还可以对得到的曲谱进行编辑。例如,电子设备100可以在显示屏上显示该节奏谱,用户在显示屏上输入相应的指令对其进行修改。
具体地,对于电子设备100初步识别的曲谱可能还存在一些错误,电子设备100还可以提供曲谱编辑,用户可以在对电子设备100初步识别的曲谱进行编辑,对一些识别出错的地方进行纠正。例如,在用户扫弦过程中,当连续的两个扫弦动作都是向上扫弦时,这时,用户的手势轨迹分别为向上挥动、向下挥动、再次向上挥动和再次向下挥动。可穿戴设备200识别到的动作轨迹是两次向上挥动和两次向下挥动的动作,这样,电子设备100在识别为初步的曲谱时,会出现四个扫弦动作,分别是两次向上扫弦和两次向下扫弦,因此,导致识别出错。这样,电子设备100可以提供对曲谱进行编辑,可以修正识别出错的问题,
需要说明的是,对于上述方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明所必须的。
参见图10,图10示出了电子设备100的硬件结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号解调以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
内部存储器121可以包括一个或多个随机存取存储器(random access memory,RAM)和一个或多个非易失性存储器(non-volatile memory,NVM)。
随机存取存储器可以包括静态随机存储器(static random-access memory,SRAM)、动态随机存储器(dynamic random access memory,DRAM)、同步动态随机存储器(synchronous dynamic random access memory,SDRAM)、双倍资料率同步动态随机存取存储器(double data rate synchronous dynamic random access memory,DDR SDRAM,例如第五代DDR SDRAM一般称为DDR5 SDRAM)等;非易失性存储器可以包括磁盘存储器件、快闪存储器(flash memory)。
快闪存储器按照运作原理划分可以包括NOR FLASH、NAND FLASH、3D NAND FLASH等,按照存储单元电位阶数划分可以包括单阶存储单元(single-level cell,SLC)、多阶存储单元(multi-level cell,MLC)、三阶储存单元(triple-level cell,TLC)、四阶储存单元(quad-level cell,QLC)等,按照存储规范划分可以包括通用闪存存储(英文:universalflash storage,UFS)、嵌入式多媒体存储卡(embedded multi media Card,eMMC)等。
随机存取存储器可以由处理器110直接进行读写,可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令),还可以用于存储用户及应用程序的数据等。
非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等,可以提前加载到随机存取存储器中,用于处理器110直接进行读写。
外部存储器接口120可以用于连接外部的非易失性存储器,实现扩展电子设备100的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部的非易失性存储器中。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
图11为本申请实施例提供的装置110的结构示意图。
如图11所示,该装置110可以包括:存储模块111、输入模块112、确定模块113、解析模块114、通信模块115。其中:
存储模块111可用于存储有乐曲对应的曲谱等,该曲谱可以是用户自己手动上传,也可以是从服务器下载的,本申请对此不作限定。
输入模块112可用于接收用户设置的节拍速度(例如,每分钟60拍等)以及选择练习的目标曲谱。
确定模块113可用于识别目标曲谱中的节拍信息以及音符信息。例如,可以是目标曲谱中包括几个节拍,每个节拍中包含几个音符以及每个音符的时值等。并基于用户设置的节拍速度(例如,每分钟60拍等)、目标曲谱中的节拍信息以及音符信息,确定目标曲谱对应的提醒信息。即确定目标曲谱中每个节拍、每个音符对应的提醒时间。
通信模块115可用于接收可穿戴设备200发送的用户的手部运动数据。通信模块115还可以用于向可穿戴设备200发送提醒信息,以供可穿戴设备200在用户弹奏训练时对用户进行节奏提醒。
解析模块114可用于基于用户在弹奏时的手部运动数据生成用户的手部运动轨迹,然后对该用户的手部运动进行解析,生成用户弹奏的曲谱。
在一些可选的实现方式中,解析模块114还用于基于用户弹奏时的声音信息对用户的手部运动轨迹进行修正,得到修正后的手部运动轨迹,并解析该手部运动轨迹,生成用户弹奏的曲谱。
应理解的是,本申请实施例的装置110可以通过专用集成电路(application-specific integrated circuit,ASIC)实现,或可编程逻辑器件(programmable logicdevice,PLD)实现,上述PLD可以是复杂程序逻辑器件(complex programmable logicaldevice,CPLD),现场可编程门阵列(field-programmable gate array,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。也可以通过软件实现图2至图13中所示的电子设备100执行的方法时,装置110及其各个模块也可以为软件模块。
可以理解的是,本申请实施例的装置110可对应于上述实施例中的电子设备100,并可执行上述方法实施例中电子设备100执行的操作,在此不再赘述。
参见图12,图12示出了可穿戴设备200的硬件结构示意图。
可穿戴设备200可包括:处理器201、存储器202(一个或多个计算机可读存储介质)、通信模块203、输入输出系统205。这些部件可在一个或多个通信总线204上通信。
输入输出系统205主要用于实现可穿戴设备200和用户/外部环境之间的交互功能,主要包括可穿戴设备200的输入输出装置。具体实现中,输入输出系统205可包括触摸屏控制器2051、传感器控制器2053。其中,各个控制器可与各自对应的外围设备耦合。需要说明的,输入输出系统205还可以包括其他I/O外设。
在本申请实施例中,运动传感器2056可以包括加速度计、陀螺仪磁力计等,该运动传感器可以采集用户的手部运动数据。例如,可以识别用户在水平轴方向和Z轴方向的动作轨迹,并记录用户的手部动作在水平轴方向和Z轴方向的运动轨迹。
处理器201可集成包括:一个或多个CPU、时钟模块以及电源管理模块。所述时钟模块主要用于为处理器201产生数据传输和时序控制所需要的时钟。所述电源管理模块主要用于为处理器201、通信模块203、输入输出系统205等提供稳定的、高精确度的电压。
通信模块203用于接收和发送射频信号,主要集成了可穿戴设备200的接收器和发射器。通信模块203通过射频信号与通信网络和其他通信设备通信。具体实现中,通信模块203可包括但不限于:移动通信模块(例如3G模块)、Wi-Fi模块、蓝牙模块等等。具体实现中,Wi-Fi模块、蓝牙模块可分别用于与其他通信设备,例如电子设备100,建立Wi-Fi、蓝牙等通信连接,以实现近距离的数据通信(可如图2所示)。在一些实施例中,可在单独的芯片上实现通信模块203。
存储器202与处理器201耦合,用于存储各种软件程序和/或多组指令。具体实现中,存储器202可包括高速随机存取的存储器,并且也可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器202可以存储操作系统(下述简称系统),例如ANDROID,IOS,WINDOWS,或者LINUX等嵌入式操作系统。存储器202还可以存储网络通信程序,该网络通信程序可用于与一个或多个附加设备,一个或多个终端设备,一个或多个网络设备进行通信。存储器202还可以存储用户接口程序,该用户接口程序可以通过图形化的操作界面将应用程序的内容形象逼真的显示出来,并通过菜单、对话框以及按键等输入控件接收用户对应用程序的控制操作。
图13为本申请实施例提供的装置210的示意图。
如图13所示,该装置210可以包括:通信模块211、提醒模块212、采集模块213。其中:
通信模块211可用于接收用于将采集模块213采集的用户的手部运动数据发送至电子设备100。该通信模块211还用于接收电子设备100发送的目标曲谱对应的提醒信息。
提醒模块212可用于基于提醒信息在合适的节奏点对用户进行提醒。例如震动、闪光灯提醒等。
采集模块213可用于采集用户的手部的运动数据。例如,用户的手部动作在水平轴或Z轴的运动轨迹等。
进一步地,采集模块213还可以用于采集用户扫弦训练时的声音信息。该声音信息可以用于对采集的运动轨迹进行修正等。
在一些可选的实施例中,采集模块213还用于基于声音信息对采集的用户手部的运动数据进行修正,得到修正后的手部运动数据。由通信模块211将该修正后的手部运动数据发送至电子设备100。
应理解的是,本申请实施例的装置210可以通过专用集成电路(application-specific integrated circuit,ASIC)实现,或可编程逻辑器件(programmable logicdevice,PLD)实现,上述PLD可以是复杂程序逻辑器件(complex programmable logicaldevice,CPLD),现场可编程门阵列(field-programmable gate array,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。也可以通过软件实现图2至图9中所示的可穿戴设备200执行的方法时,装置210及其各个模块也可以为软件模块。
可以理解的是,本申请实施例的装置210可对应于上述实施例中的可穿戴设备200,并可执行上述方法实施例中可穿戴设备200执行的操作,在此不再赘述。
本申请实施例还提供一种非瞬态计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当计算机程序在处理器上运行时,可以实现上述方法实施例中电子设备执行的方法步骤,所述计算机存储介质的处理器在执行上述方法步骤的具体实现可参照上述方法实施例中电子设备的具体操作,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘(solid state drive,SSD)。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并或删减;本申请实施例装置中的模块可以根据实际需要进行划分、合并或删减。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (17)
1.一种辅助训练的方法,所述方法应用于辅助训练系统,所述辅助训练系统包括第一电子设备和第二电子设备,所述第一电子设备和所述第二电子设备建立有通信连接,其特征在于,所述方法包括:
所述第二电子设备采集用户练习的第一乐曲的手部运动数据,并将所述手部运动数据发送至所述第一电子设备;
所述第一电子设备接收所述手部运动数据,并解析所述手部运动数据,生成用户弹奏的曲谱;
所述第一电子设备显示所述用户弹奏的曲谱。
2.根据权利要求1所述的方法,其特征在于,所述第一电子设备接收所述手部运动数据,并解析所述手部运动数据得到用户弹奏的曲谱,包括:
所述第一电子设备确定所述第一乐曲的节拍速度;
所述第一电子设备基于所述手部运动数据生成第一手部运动轨迹;
所述第一电子设备基于所述节拍速度和所述第一手部运动轨迹的第一时长,确定节拍数以及N个节拍的第二时长,其中N个节拍包括第一节拍,第一节拍的时长为第三时长,所述第一时长大于或等于所述第二时长,所述第二时长为所述第三时长的N倍;
所述第一电子设备基于所述节拍数和所述第二时长、以及所述第一手部运动轨迹,生成所述用户弹奏的曲谱。
3.根据权利要求2所述的方法,其特征在于,所述第一电子设备基于所述节拍数和所述第二时长、以及所述第一手部运动轨迹,生成所述用户弹奏的曲谱,包括:
所述第一电子设备基于所述第三时长内的第二手部运动轨迹,确定所述第一节拍的扫弦方式;所述第二手部运动轨迹为所述第一手部运动轨迹的一部分;
所述第一电子设备基于所述第一节拍的扫弦方式和所述第三时长,确定所述第一节拍包含的一个或多个音符以及所述一个或多个音符的时值;
所述第一电子设备基于所述节拍数、所述第一节拍包含的一个或多个音符以及所述一个或多个音符的时值,生成所述用户弹奏的曲谱。
4.根据权利要求3中所述的方法,其特征在于,所述扫弦方式包括上扫弦和下扫弦;
所述第一电子设备基于所述第三时长内的所述第二手部运动轨迹,确定所述第一节拍的扫弦方式,包括:
在所述第二手部运动轨迹的幅度持续增长的情况下,所述第一电子设备确定所述扫弦方式为上扫弦;或者,在所述第二手部运动轨迹的幅度持续减小的情况下,所述第一电子设备确定所述扫弦方式为下扫弦。
5.根据权利要求1-4中任一项所述的方法,其特征在于,在所述第一电子设备接收所述手部运动数据,并解析所述手部运动数据生成用户弹奏的曲谱之前,所述方法还包括:
所述第二电子设备采集用户的练习所述第一乐曲时的声音信息;
所述第二电子设备将所述声音信息发送至所述第一电子设备。
6.根据权利要求5所述的方法,其特征在于,所述第一电子设备基于所述手部运动数据生成第一手部运动轨迹,包括:
所述第一电子设备基于所述手部运动数据,生成第三手部运动轨迹;
所述第一电子设备基于所述声音信息,对所述第三手部运动轨迹进行修正,得到所述第一手部运动轨迹。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述方法还包括:
所述第一电子设备接收用户选择的目标曲谱;
所述第一电子设备基于所述节拍速度和所述目标曲谱,确定所述目标曲谱对应的提醒信息,并将所述提醒信息发送至第二电子设备;
所述第二电子设备接收所述提醒信息,并基于所述提醒信息进行执行提醒动作。
8.根据权利要求7所述的方法,其特征在于,所述提醒信息为所述目标曲谱中每一个音符的提醒时间;
所述第一电子设备基于所述节拍速度和所述目标曲谱,确定所述目标曲谱对应的提醒信息,包括:
所述第一电子设备识别所述目标曲谱中的节拍信息和音符信息;所述节拍信息包括所述目标曲谱中的节拍数,所述音符信息包括每一拍中的音符数和每个音符的时值;
所述第一电子设备基于所述节拍速度、所述节拍信息以及所述音符信息,确定所述目标曲谱中每一个音符的提醒时间。
9.根据权利要求7或8所述的方法,其特征在于,所述提醒动作包括震动提醒动作、闪光提醒动作、振铃提醒动作。
10.根据权利要求1-9中任一项所述的方法,其特征在于,所述第一电子设备显示所述用户弹奏的曲谱,包括:
所述第一电子设备显示所述用户弹奏的曲谱和所述目标曲谱,所述目标曲谱为所述第一乐曲的曲谱。
11.一种辅助训练的系统,其特征在于,包括:
第二电子设备用于,采集用户练习的第一乐曲的手部运动数据,并将所述手部运动数据发送至第一电子设备;
所述第一电子设备用于,接收所述手部运动数据,并解析所述手部运动数据,生成用户弹奏的曲谱;
所述第一电子设备还用于,显示所述用户弹奏的曲谱。
12.一种电子设备,其特征在于,所述电子设备包括一个或多个处理器和一个或多个存储器;其中,所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-10任一项所述的方法中第一电子设备所执行的方法。
13.一种电子设备,其特征在于,所述电子设备包括一个或多个处理器和一个或多个存储器;其中,所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-10任一项所述的方法中第二电子设备所执行的方法。
14.一种芯片系统,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1-10中任一项所述的方法中第一电子设备所执行的方法。
15.一种芯片系统,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1-10中任一项所述的方法中第二电子设备所执行的方法。
16.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得计算机执行如权利要求1至10任一项所述的辅助练习的方法。
17.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-10任一项所述的辅助练习的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111342620X | 2021-11-12 | ||
CN202111342620 | 2021-11-12 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116129709A true CN116129709A (zh) | 2023-05-16 |
Family
ID=86299600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210601053.3A Pending CN116129709A (zh) | 2021-11-12 | 2022-05-30 | 一种辅助训练的方法、系统及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116129709A (zh) |
-
2022
- 2022-05-30 CN CN202210601053.3A patent/CN116129709A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110134316B (zh) | 模型训练方法、情绪识别方法及相关装置和设备 | |
EP3905246A1 (en) | Song recording method, sound correction method and electronic device | |
CN113827185B (zh) | 穿戴设备佩戴松紧程度的检测方法、装置及穿戴设备 | |
CN111819533B (zh) | 一种触发电子设备执行功能的方法及电子设备 | |
CN111742539B (zh) | 一种语音控制命令生成方法及终端 | |
WO2021052139A1 (zh) | 手势输入方法及电子设备 | |
CN112447273A (zh) | 辅助健身的方法和电子装置 | |
CN114242037A (zh) | 一种虚拟人物生成方法及其装置 | |
CN115589051B (zh) | 充电方法和终端设备 | |
WO2022062884A1 (zh) | 文字输入方法、电子设备及计算机可读存储介质 | |
CN111104295A (zh) | 一种页面加载过程的测试方法及设备 | |
CN115359156B (zh) | 音频播放方法、装置、设备和存储介质 | |
CN115641867B (zh) | 语音处理方法和终端设备 | |
WO2022007757A1 (zh) | 跨设备声纹注册方法、电子设备及存储介质 | |
US20230402150A1 (en) | Adaptive Action Evaluation Method, Electronic Device, and Storage Medium | |
CN113509145B (zh) | 睡眠风险监测方法、电子设备及存储介质 | |
CN116391212A (zh) | 一种防止手势误识别的方法及电子设备 | |
CN116129709A (zh) | 一种辅助训练的方法、系统及相关设备 | |
CN115700538A (zh) | 生理检测信号质量评估方法、电子设备及存储介质 | |
CN115730091A (zh) | 批注展示方法、装置、终端设备及可读存储介质 | |
CN115700847A (zh) | 绘本阅读方法及相关设备 | |
CN111586236A (zh) | 电子设备标记方法及装置、计算机可读介质及电子设备 | |
CN116450026B (zh) | 用于识别触控操作的方法和系统 | |
CN113380374B (zh) | 基于运动状态感知的辅助运动方法、电子设备及存储介质 | |
CN113470638B (zh) | 槽位填充的方法、芯片、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |