CN112802439A - 一种演奏数据识别方法、装置、设备及存储介质 - Google Patents
一种演奏数据识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112802439A CN112802439A CN202110163901.2A CN202110163901A CN112802439A CN 112802439 A CN112802439 A CN 112802439A CN 202110163901 A CN202110163901 A CN 202110163901A CN 112802439 A CN112802439 A CN 112802439A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- bow
- fingering
- performance data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 243
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 98
- 238000003825 pressing Methods 0.000 claims description 54
- 230000001133 acceleration Effects 0.000 claims description 42
- 230000033001 locomotion Effects 0.000 claims description 41
- 238000004891 communication Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 12
- 239000012634 fragment Substances 0.000 claims description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 17
- 238000001514 detection method Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 34
- 238000011156 evaluation Methods 0.000 description 20
- 238000009527 percussion Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 15
- 238000007664 blowing Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 208000023514 Barrett esophagus Diseases 0.000 description 4
- 238000010079 rubber tapping Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
- G09B15/001—Boards or like means for providing an indication of chords
- G09B15/002—Electrically operated systems
- G09B15/003—Electrically operated systems with indication of the keys or strings to be played on instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/005—Data structures for use in electrophonic musical devices; Data structures including musical parameters derived from musical analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本申请实施例提供了一种演奏数据识别方法、装置、设备及存储介质,涉及人工智能技术领域,该方法具体为:获取目标用户演奏目标曲目过程中产生的目标演奏数据,然后将目标演奏数据与目标曲目的标准演奏数据进行对比。若目标演奏数据中存在与标准演奏数据不同的差异演奏数据时,在显示界面中展示差异演奏数据,故目标用户可以及时从展示的差异演奏数据中发现演奏过程中出现的错误演奏技法,并及时纠正错误演奏技法以及加强练习,从而提升练习效率以及演奏能力,另一方面,可以将出现的错误演奏技法发送给专业老师,以便专业老师进行针对性地指导,提高教学效率。
Description
技术领域
本发明实施例涉及人工智能技术领域,尤其涉及一种演奏数据识别方法、装置、设备及存储介质。
背景技术
随着社会经济的不断发展,对于乐器的学习也逐渐变成一种主流趋势。越来越多的小朋友在学校不断推进的素质教育和艺术教育的指导下开始接触并学习乐器的演奏。另外也有越来越多的成人加入到乐器的业余学习中来,使得如何能够学好乐器成为一个大家持续关注,并成为一个大的需求。
由于多年来的音乐艺术类学习的缺失,除了专业老师外,大多数的人都缺少最基本的乐器演奏知识和乐理知识,因此在学员学习和练习乐器时很难做出指导,并及时纠正练习演奏中错误的地方,从而导致错误练习纠正不及时,练习效率不高,演奏能力提升慢等问题。
发明内容
本申请实施例提供了一种演奏数据识别方法、装置、设备及存储介质,用于及时纠正用户演奏过程中的错误部分,进而提升用户练习乐器的效率以及演奏能力。
一方面,本申请实施例提供了一种演奏数据识别方法,该方法具体为:
获取目标用户演奏目标曲目过程中产生的目标演奏数据,所述目标演奏数据包括目标指法数据和目标弓法数据,所述目标指法数据是通过对目标用户演奏目标曲目过程中手指的运动模式进行检测获得的,所述目标指法数据包括手指按压琴弦的位置信息以及手指按压琴弦的时长信息,所述目标弓法数据是通过对目标用户演奏目标曲目过程中琴弓的运动模式进行检测获得的,所述目标弓法数据包括所述琴弓的姿态信息和琴弓的加速度信息;
将所述目标演奏数据与所述目标曲目的标准演奏数据进行对比;
若所述目标演奏数据中存在与所述标准演奏数据不同的差异演奏数据,则在显示界面中展示所述差异演奏数据。
一方面,本申请实施例提供了一种演奏数据识别方法,该方法具体为:
获取目标用户演奏目标曲目过程中产生的目标演奏数据,所述目标演奏数据包括目标指法数据和目标弓法数据,其中,所述目标指法数据展示在显示界面的指法展示区域,所述目标弓法数据展示在所述显示界面的弓法展示区域;
将所述目标演奏数据与所述目标曲目的标准演奏数据进行对比;
若所述目标指法数据与所述标准演奏数据中的标准指法数据不同,则在所述指法展示区域中展示指法错误提示消息;
若所述目标指法数据与所述标准演奏数据中的标准指法数据相同,则在所述指法展示区域中展示指法正确提示消息;
若所述目标弓法数据与所述标准演奏数据中的标准弓法数据不同,则在所述弓法展示区域中展示弓法错误提示消息;
若所述目标弓法数据与所述标准演奏数据中的标准弓法数据相同,则在所述弓法展示区域中展示弓法正确提示消息。
一方面,本申请实施例提供了一种演奏数据识别装置,该装置具体包括:
第一获取模块,用于获取目标用户演奏目标曲目过程中产生的目标演奏数据,所述目标演奏数据包括目标指法数据和目标弓法数据,所述目标指法数据是通过对目标用户演奏目标曲目过程中手指的运动模式进行检测获得的,所述目标指法数据包括手指按压琴弦的位置信息以及手指按压琴弦的时长信息,所述目标弓法数据是通过对目标用户演奏目标曲目过程中琴弓的运动模式进行检测获得的,所述目标弓法数据包括所述琴弓的姿态信息和琴弓的加速度信息;
第一对比模块,用于将所述目标演奏数据与所述目标曲目的标准演奏数据进行对比;
第一显示模块,用于若所述目标演奏数据中存在与所述标准演奏数据不同的差异演奏数据,则在显示界面中展示所述差异演奏数据。
可选地,所述第一获取模块具体用于:
通过电容触摸薄膜,对所述目标用户演奏目标曲目过程中手指按压琴弦的位置和手指按压琴弦的时长进行检测,获得所述目标用户演奏目标曲目过程中手指按压琴弦的位置信息以及手指按压琴弦的时长信息。
可选地,所述第一获取模块具体用于:
通过六轴传感器,对所述目标用户演奏目标曲目过程中琴弓的运动姿态进行检测,获得所述琴弓的姿态信息;
通过加速度传感器,对所述目标用户演奏目标曲目过程中琴弓的运动速度进行检测,获得所述琴弓的加速度信息。
可选地,还包括第一发送模块;
所述第一发送模块具体用于:
将所述差异演奏数据发送给服务器,以使所述服务器对接收的各个用户演奏所述目标曲目过程中产生的历史差异演奏数据进行统计,获得所述目标曲目中的演奏易错片段;
所述第一获取模块还用于:
接收所述服务器发送的所述目标曲目中的演奏易错片段,并在显示界面中展示所述目标曲目中的演奏易错片段。
可选地,所述第一发送模块还用于:
将所述差异演奏数据发送给服务器,以使所述服务器基于所述差异演奏数据以及所述目标用户演奏所述目标曲目产生的历史差异演奏数据,预测所述目标用户演奏所述目标曲目时的目标演奏易错片段;
所述第一获取模块还用于:
接收所述服务器发送的所述目标演奏易错片段,并在显示界面中展示所述目标演奏易错片段。
一方面,本申请实施例提供了一种演奏数据识别装置,该装置具体包括:
第二获取模块,获取目标用户演奏目标曲目过程中产生的目标演奏数据,所述目标演奏数据包括目标指法数据和目标弓法数据,其中,所述目标指法数据展示在显示界面的指法展示区域,所述目标弓法数据展示在所述显示界面的弓法展示区域;
第二对比模块,将所述目标演奏数据与所述目标曲目的标准演奏数据进行对比;
第二显示模块,若所述目标指法数据与所述标准演奏数据中的标准指法数据不同,则在所述指法展示区域中展示指法错误提示消息;若所述目标指法数据与所述标准演奏数据中的标准指法数据相同,则在所述指法展示区域中展示指法正确提示消息;若所述目标弓法数据与所述标准演奏数据中的标准弓法数据不同,则在所述弓法展示区域中展示弓法错误提示消息;若所述目标弓法数据与所述标准演奏数据中的标准弓法数据相同,则在所述弓法展示区域中展示弓法正确提示消息。
可选地,所述第二显示模块还用于:
所述获取目标用户演奏目标曲目过程中产生的目标演奏数据之前,在所述指法展示区域展示标准指法提示信息,所述标准指法提示信息是根据所述标准指法数据确定的;
在所述弓法展示区域展示标准弓法提示信息,所述标准弓法提示信息是根据所述标准弓法数据确定的。
可选地,还包括统计模块;
所述统计模块具体用于:
统计展示指法错误提示消息的第一次数以及展示弓法错误提示消息的第二次数;
所述第二显示模块,还用于:
若所述第一次数大于所述第二次数,且所述第一次数与所述第二次数的差值大于第一阈值,则将所述指法展示区域扩大为第一预设区域,将所述弓法展示区域缩小为第二预设区域;
若所述第二次数大于所述第一次数,且所述第二次数与所述第一次数的差值大于所述第一阈值,则将所述指法展示区域缩小为第三预设区域,将所述弓法展示区域扩大为第四预设区域。
可选地,所述第二获取模块还用于:
所述获取目标用户演奏目标曲目过程中产生的目标演奏数据之前,获取所述目标用户演奏所述目标曲目时的目标演奏易错片段;
所述第二显示模块还用于:
在所述显示界面中展示所述目标演奏易错片段,所述目标演奏易错片段是基于所述目标用户演奏所述目标曲目产生的历史差异演奏数据预测获得的。
可选地,所述第二获取模块还用于:
所述获取目标用户演奏目标曲目过程中产生的目标演奏数据之前,获取所述目标曲目中的演奏易错片段;
所述第二显示模块还用于:
在所述显示界面中展示所述目标曲目中的演奏易错片段,所述目标曲目中的演奏易错片段是对各个用户演奏所述目标曲目过程中产生的历史差异演奏数据进行统计获得的。
一方面,本申请实施例提供了一种拉弦乐器,包括:
琴体和琴弓,所述琴体上设有电容触摸薄膜和第一通信模块,所述电容触摸薄膜用于检测所述目标用户演奏目标曲目过程中手指按压琴弦的位置和手指按压琴弦的时长,获得手指按压琴弦的位置信息以及手指按压琴弦的时长信息;所述第一通信模块用于将所述手指按压琴弦的位置信息以及所述手指按压琴弦的时长信息发送给终端设备;
所述琴弓上设有六轴传感器、加速度传感器和第二通信模块,所述六轴传感器用于检测所述目标用户演奏目标曲目过程中琴弓的运动姿态,获得琴弓的姿态信息;所述加速度传感器用于检测所述目标用户演奏目标曲目过程中琴弓的运动速度,获得琴弓的加速度信息;所述第二通信模块用于将所述琴弓的姿态信息以及所述琴弓的加速度信息发送给所述终端设备,以使所述终端设备将包括所述手指按压琴弦的位置信息、所述手指按压琴弦的时长信息、所述琴弓的姿态信息以及所述琴弓的加速度信息的目标演奏数据与所述目标曲目的标准演奏数据进行对比;若所述目标演奏数据中存在与所述标准演奏数据不同的差异演奏数据,则在显示界面中展示所述差异演奏数据。
一方面,本申请实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述演奏数据识别方法的步骤。
一方面,本申请实施例提供了一种计算机可读存储介质,其存储有可由计算机设备执行的计算机程序,当所述程序在计算机设备上运行时,使得所述计算机设备执行上述演奏数据识别方法的步骤。
本申请实施例中,在目标用户演奏目标曲目过程中实时采集产生的目标演奏数据,然后将目标演奏数据与目标曲目的标准演奏数据进行对比,确定差异演奏数据并展示,便于目标用户及时发现演奏过程中出现的错误演奏技法,从而一方面可以让用户及时纠正错误演奏技法并加强练习,提升用户的练习效率以及演奏能力,另一方面,可以将出现的错误演奏技法发送给专业老师,以便专业老师进行针对性地指导,提高教学效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种系统架构示意图;
图2为本申请实施例提供了一种演奏数据识别方法的流程示意图;
图3为本申请实施例提供了弓法和指法的示意图;
图4为本申请实施例提供了提琴上电容触摸薄膜的粘贴位置的示意图;
图5为本申请实施例提供了一种推弓以及拉弓的示意图;
图6为本申请实施例提供了琴弓的姿态信息的示意图;
图7为本申请实施例提供了一种标识错误指法的示意图;
图8为本申请实施例提供了一种演奏数据识别方法的流程示意图;
图9为本申请实施例提供了一种显示界面的示意图;
图10为本申请实施例提供了一种显示界面的示意图;
图11为本申请实施例提供了一种显示界面的示意图;
图12为本申请实施例提供了一种显示界面的示意图;
图13为本申请实施例提供了一种显示界面的示意图;
图14为本申请实施例提供了一种显示界面的示意图;
图15为本申请实施例提供了一种显示界面的示意图;
图16为本申请实施例提供了一种显示界面的示意图;
图17为本申请实施例提供了一种显示界面的示意图;
图18为本申请实施例提供了一种显示界面的示意图;
图19为本申请实施例提供了一种显示界面的示意图;
图20为本申请实施例提供了一种演奏数据识别方法的流程示意图;
图21为本申请实施例提供了一种拉弦乐器的结构示意图;
图22为本申请实施例提供了一种演奏数据识别装置的结构示意图;
图23为本申请实施例提供了一种演奏数据识别装置的结构示意图;
图24为本申请实施例提供了一种计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了方便理解,下面对本发明实施例中涉及的名词进行解释。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请实施例中采用人工智能技术将目标用户演奏目标曲目过程中产生的目标演奏数据与目标曲目的标准演奏数据进行对比,识别出差异演奏数据,然后将差异演奏数据展示给目标用户,以使目标用户及时发现并纠正演奏过程中的技法错误,进而快速提高演奏能力。
演奏技法数据:乐器演奏的技巧数据,不同乐器的演奏方式不同,故对应的演奏技法数据不同。具体地,按照演奏方式可以将乐器划分为四类,分别为吹管乐器(比如笛子)、拉弦乐器(比如小提琴)、弹拨乐器(比如钢琴)以及敲击乐器(比如鼓),其中,吹管乐器的演奏技法数据包括指法数据和吹奏气流数据,拉弦乐器的演奏技法数据包括指法数据和弓法数据,弹拨乐器的演奏技法数据包括指法数据,敲击乐器的演奏技法数据包括敲击数据。
乐音:指乐器发出的声音。
下面对本申请实施例的设计思想进行介绍。
在乐器学习过程中,由于多年来的音乐艺术类学习的缺失,除了专业老师外,大多数的人都缺少最基本的乐器演奏知识和乐理知识,因此在用户学习和练习乐器时很难做出指导,并及时纠正练习演奏中错误的地方,从而导致错误练习纠正不及时,练习效率不高,演奏能力提升慢等问题。
考虑到若在用户练习乐器的过程中,实时采集用户的演奏数据,然后通过分析演奏数据及时发现并记录演奏发生错误的位置,以便用户对错误的位置加强练习,专业老师对错误的位置重点指导,这样将有效提高练习效率,快速提升演奏能力。鉴于此,本申请实施例提供了一种演奏数据识别方法,该方法具体为:获取目标用户演奏目标曲目过程中产生的目标演奏数据,其中,目标演奏数据包括目标指法数据和目标弓法数据,目标指法数据是通过对目标用户演奏目标曲目过程中手指的运动模式进行检测获得的,目标指法数据包括手指按压琴弦的位置信息以及手指按压琴弦的时长信息,目标弓法数据是通过对目标用户演奏目标曲目过程中琴弓的运动模式进行检测获得的,目标弓法数据包括所述琴弓的姿态信息和琴弓的加速度信息。然后将目标演奏数据与目标曲目的标准演奏数据进行对比。若目标演奏数据中存在与标准演奏数据不同的差异演奏数据时,在显示界面中展示差异演奏数据。
本申请实施例中,在目标用户演奏目标曲目过程中实时采集产生的目标演奏数据,然后将目标演奏数据与目标曲目的标准演奏数据进行对比,确定差异演奏数据并展示,便于目标用户及时发现演奏过程中出现的错误演奏技法,从而一方面可以让用户及时纠正错误演奏技法并加强练习,提升用户的练习效率以及演奏能力,另一方面,可以将出现的错误演奏技法发送给专业老师,以便专业老师进行针对性地指导,提高教学效率。
参考图1,其为本申请实施例适用的一种系统架构图,该系统架构至少包括乐器101、终端设备102和服务器103。
乐器101上设置有用于采集演奏数据的检测装置。针对不同的乐器,设置的检测装置不同,检测装置可以是具备特定功能的传感器、电容等。按照演奏方式可以将乐器划分为四类,分别为吹管乐器(比如笛子)、拉弦乐器(比如小提琴)、弹拨乐器(比如钢琴)以及敲击乐器(比如鼓),其中,吹管乐器的演奏数据包括指法数据和吹奏气流数据。为了采集吹管乐器的演奏数据,在吹管乐器上设置的检测装置包括手指检测装置和气流检测装置。拉弦乐器的演奏数据包括指法数据和弓法数据。为了采集拉弦乐器的演奏数据,在拉弦乐器上设置的检测装置包括手指检测装置和琴弓检测装置。弹拨乐器的演奏数据包括指法数据。为了采集弹拨乐器的演奏技法数据,在弹拨乐器上设置的检测装置包括手指检测装置。敲击乐器的演奏数据包括敲击数据,为了采集敲击乐器的演奏技法数据,在敲击乐器本体上设置的检测装置包括敲击检测装置。
终端设备102预先安装目标应用,该目标应用的功能至少包括识别演奏数据中与标准演奏数据不同的差异演奏数据。目标应用可以是预先安装的客户端应用、网页版应用、小程序等。终端设备102可以包括一个或多个处理器1021、存储器1022、与服务器103交互的I/O接口1023以及显示面板1024等。终端设备102可以是智能电视、智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此。乐器101上的检测装置与终端设备102通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
服务器103为目标应用对应的后台服务器,为目标应用提供服务。服务器103可以包括一个或多个处理器1031、存储器1032以及与终端设备102交互的I/O接口1033等。此外,服务器103还可以配置数据库1034。服务器103可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备102与服务器103可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
本申请实施例中演奏数据识别方法可以由终端设备102执行,也可以由终端设备102和服务器103交互执行。
第一种情况,本申请实施例中演奏数据识别方法由终端设备102执行,具体过程为:终端设备102接收乐器101上的检测装置发送的目标用户演奏目标曲目过程中产生的目标演奏数据,目标演奏数据包括目标指法数据和目标弓法数据,目标指法数据是通过对目标用户演奏目标曲目过程中手指的运动模式进行检测获得的,目标指法数据包括手指按压琴弦的位置信息以及手指按压琴弦的时长信息,目标弓法数据是通过对目标用户演奏目标曲目过程中琴弓的运动模式进行检测获得的,目标弓法数据包括琴弓的姿态信息和琴弓的加速度信息。然后将目标演奏数据与目标曲目的标准演奏数据进行对比。若目标演奏数据中存在与标准演奏数据不同的差异演奏数据时,在显示界面中展示差异演奏数据。
第二种情况,本申请实施例中演奏数据识别方法由终端设备102和服务器103交互执行,具体过程为:终端设备102接收乐器101上的检测装置发送的目标用户演奏目标曲目过程中产生的目标演奏数据,目标演奏数据包括目标指法数据和目标弓法数据,目标指法数据是通过对目标用户演奏目标曲目过程中手指的运动模式进行检测获得的,目标指法数据包括手指按压琴弦的位置信息以及手指按压琴弦的时长信息,目标弓法数据是通过对目标用户演奏目标曲目过程中琴弓的运动模式进行检测获得的,目标弓法数据包括琴弓的姿态信息和琴弓的加速度信息。然后将目标演奏数据发送给服务器103。服务器103将目标演奏数据与目标曲目的标准演奏数据进行对比。若目标演奏数据中存在与标准演奏数据不同的差异演奏数据时,将差异演奏数据发送给终端设备102。终端设备102在显示界面中展示差异演奏数据。
基于图1所示的系统架构图,本申请实施例提供了一种演奏数据识别方法的流程,如图2所示,该方法由计算机设备执行,计算机设备可以是图1所示的终端设备102或服务器103,包括以下步骤:
步骤S201,获取目标用户演奏目标曲目过程中产生的目标演奏数据。
具体地,目标演奏数据包括乐器演奏的演奏技巧数据,不同乐器的演奏方式不同,故对应的演奏技巧数据不同,演奏技巧数据可以是指法数据、弓法数据、吹奏气流数据以及敲击数据中的一种数据或多种数据的组合。
以拉弦乐器举例来说,目标演奏数据包括目标指法数据和目标弓法数据,其中,目标指法数据是通过对目标用户演奏目标曲目过程中手指的运动模式进行检测获得的,目标指法数据包括手指按压琴弦的位置信息以及手指按压琴弦的时长信息,目标弓法数据是通过对目标用户演奏目标曲目过程中琴弓的运动模式进行检测获得的,目标弓法数据包括所述琴弓的姿态信息和琴弓的加速度信息;
为了采集目标演奏数据,本申请在目标用户演奏的乐器上设置检测装置。在目标用户演奏目标曲目的过程中,检测装置实时采集目标演奏数据并通过有线或无线的方式发送给终端设备。
目标演奏数据还包括目标用户演奏目标曲目过程中产生的目标乐音数据,目标乐音数据可以通过设置在乐器上的检测装置检测获得,也可以通过终端设备直接采集获得,对此,本申请不做具体限定。另外,目标演奏数据不仅限于演奏技巧数据和目标乐音数据,还可以是目标用户演奏目标曲目过程中产生的其他数据,比如,目标用户演奏目标曲目过程终端设备拍摄的演奏视频、照片等,此处不再一一举例。
步骤S202,将目标演奏数据与目标曲目的标准演奏数据进行对比。
具体地,目标曲目的标准演奏数据可以是前期录入的五线谱标准演奏技法要求,也可以是专业老师前期录制的标准演奏技法。
步骤S203,若目标演奏数据中存在与标准演奏数据不同的差异演奏数据,则在显示界面中展示差异演奏数据。
具体地,若目标演奏数据中存在与标准演奏数据不同的差异演奏数据时,标记目标演奏数据中的差异演奏数据。在展示差异演奏数据时,可以仅仅展示差异演奏数据,也可以展示标记出差异演奏数据的目标演奏数据。
本申请实施例中,在目标用户演奏目标曲目过程中实时采集产生的目标演奏数据,然后将目标演奏数据与目标曲目的标准演奏数据进行对比,确定差异演奏数据并展示,便于目标用户及时发现演奏过程中出现的错误演奏技法,从而一方面可以让用户及时纠正错误演奏技法并加强练习,提升用户的练习效率以及演奏能力,另一方面,可以将出现的错误演奏技法发送给专业老师,以便专业老师进行针对性地指导,提高教学效率。
可选地,在上述步骤S201中,目标演奏数据至少包括目标指法数据。通过手指检测装置,对目标用户演奏目标曲目过程中手指的运动模式进行检测,获得相应的目标指法数据。
具体实施中,很多乐器都是通过手指进行演奏,因此演奏技法数据中指法数据是比较重要的技法数据。比如弹拨乐器、拉弦乐器以及吹管乐器等乐器的演奏技法数据中都包括指法数据。手指检测装置可以是电容触摸薄膜、传感器等。手指检测装置采集指法数据后,通过有线或无线的方式将指法数据发送给终端设备,其中,无线的方式包括但不限于蓝牙、wifi。
以弹拨乐器中的钢琴举例来说,手指检测装置包括电容触摸薄膜和蓝牙模块,电容触摸薄膜为柔性电容膜,电容触摸薄膜贴附在钢琴的黑白键上。目标用户在演奏目标曲目时,手指与电容触摸薄膜接触,带来信号变化,然后对照电容触摸薄膜的位置,获得手指按压的位置。由于电容触摸薄膜有较高的刷新频率,故可以在手指在按压过程中,基于手指按压的位置被侦测到的次数获得按压时长。将手指按压位置和按压时长结合起来,获得目标指法数据,然后通过蓝牙模块将目标指法数据发送给终端设备。终端设备将接收的目标指法数据与目标曲目的标准指法数据进行对比,判断手指是否按压了正确的音节以及按压不同节奏音节时是否满足时长要求。若目标指法数据中存在与标准指法数据不同的差异指法数据时,在显示界面中展示差异指法数据。
本申请实施例中,在目标用户使用弹拨乐器演奏目标曲目过程中,实时采集产生的目标指法数据,然后将目标指法数据与目标曲目的标准指法数据进行对比,确定差异演指法数据并展示,便于目标用户及时发现演奏过程中出现的指法错误,从而及时纠正错误演奏指法并加强练习,提升用户的练习效率以及演奏能力,同时可以将出现的错误演奏指法发送给专业老师,以便专业老师进行针对性地指导,提高教学效率。
可选地,在上述步骤S201中,对于拉弦乐器来说,目标演奏数据除了目标指法数据之外,还包括目标弓法数据。具体通过琴弓检测装置,对目标用户演奏目标曲目过程中琴弓的运动模式进行检测,获得相应的目标弓法数据。
拉弦乐器包括小提琴、大提琴、二胡等具备琴弓的弦乐器。拉线乐器需要一只手按压琴弦,一只手拉动琴弓来配合演奏,因此拉弦乐器的目标演奏数据中包括目标指法数据和目标弓法数据。示例性地,如图3所示,用户在演奏大提琴时,一只手按压大提琴的琴弦,一只手拉动大提琴的琴弓,结合指法和弓法进行演奏。
手指检测装置位于拉弦乐器的琴体上,具体可以是琴体的琴把上,手指检测装置可以采用电容触摸薄膜技术检测手指的运动模式,获得目标指法数据,其中,电容触摸薄膜技术包括电容触摸检测技术、压电薄膜技术等位置侦测技术。
具体实施中,手指检测装置包括电容触摸薄膜和第一通信模块,电容触摸薄膜为柔性电容膜,电容触摸薄膜贴附在拉弦乐器的琴把上。具体地,按照拉弦乐器的音阶分布划分对应的区域(划分的区域不少于音阶的数量),然后在每个区域贴附一个电容触摸薄膜,从而保证当手指按压琴把上的正确位置时电容触摸薄膜能准确侦测。示例性地,设定提琴的琴把上包括32个音阶,按照音阶分布从琴把中划分出32个音阶分别对应的圆形区域,如图4所示,然后在每个区域上贴附一个电容触摸薄膜。
对于拉弦乐器来说,目标指法数据包括目标用户演奏目标曲目过程中手指按压琴弦的位置信息以及手指按压琴弦的时长信息。通过电容触摸薄膜,对目标用户演奏目标曲目过程中手指按压琴弦的位置和手指按压琴弦的时长进行检测,获得目标用户演奏目标曲目过程中手指按压琴弦的位置信息以及手指按压琴弦的时长信息,然后通过第一通讯模块将手指按压琴弦的位置信息以及手指按压琴弦的时长信息发送给终端设备。
具体实施中,手指与电容触摸薄膜接触时会带来信号变化,然后基于电容触摸薄膜的位置,获得手指按压琴弦的位置信息。由于电容触摸薄膜有较高的刷新频率,故可以在手指按压琴弦的过程中,根据手指按压的位置被侦测到的次数,获得手指按压琴弦的时长信息。电容触摸薄膜采集目标指法数据后,第一通讯模块通过有线或无线的方式将目标指法数据发送给终端设备。
琴弓检测装置位于拉弦乐器的琴弓上,琴弓检测装置包括六轴传感器、加速度传感器和第二通信模块,目标弓法数据包括目标用户演奏目标曲目过程中琴弓的姿态信息和琴弓的加速度信息。通过六轴传感器,对目标用户演奏目标曲目过程中琴弓的运动姿态进行检测,获得琴弓的姿态信息。通过加速度传感器,对目标用户演奏目标曲目过程中琴弓的运动速度进行检测,获得琴弓的加速度信息。第二通信模块通过有线或无线的方式将目标弓法数据发送给终端设备。
具体实施中,加速度传感器贴附在琴弓的尾端并跟随琴弓一起运动,在提琴演奏时,弓法主要分为推弓及拉弓两部分。为了便于理解,图5示出了推弓以及拉弓的示意图。在演奏过程中,控制琴弓采用不同的速度和节奏与琴弦接触发出声音。加速度传感器用于侦测琴弓的运动速度和运动方向,区分琴弓的推弓方向及拉弓方向,同时结合连弓变化,获得琴弓的加速度信息。
另外,拉弦乐器一般包括多根琴弦,为了使琴弓准确与特定琴弦接触,琴弓需要与拉弦乐器本体保持一定的角度关系。为此引入六轴传感器对琴弓姿态进行侦测,从而得到琴弓的姿态信息。具体地,六轴传感器用于侦测琴弓相对拉弦乐器本体的角度变化情况,从而确定与琴弓接触的琴弦以及是否因为接触角度不对而造成蹭弦。
示例性地,如图6所示,琴弓至少包括4种姿态,分别为姿态A(琴弓与1弦接触)、姿态B(琴弓与2弦接触)、姿态C(琴弓与3弦接触)、姿态D(琴弓与4弦接触)。
终端设备接收到目标弓法数据和目标指法数据之后,可以将目标弓法数据和目标指法数据合成为同步的目标演奏数据,然后将合成的目标演奏数据与标准演奏数据进行对比。也可以直接将接收的目标弓法数据与目标曲目中的标准弓法数据进行对比,将接收的目标指法数据与目标曲目中的标准指法数据进行对比。当目标指法数据和/或目标弓法数据与标准演奏数据对比出现差异时,将差异部分标识出来并视觉化的表现在显示设备上,使得目标用户可以在演奏练习后迅速查看相关错误及改正办法。
示例性地,如图7所示,设定在标准指法数据中,目标用户需要按压位置701,若此时目标用户实际按压的位置为位置702或位置703,通过对比可以获知目标用户的目标指法数据与标准指法数据之间存在差异,故采用错误标识符标识出位置702或位置703。为了方便目标用户改正错误的指法,本申请中同时采用正确标识符标识出位置701并展示。
由于详细记录每次练习的错误情况和后续练习的改善状况,因此可以有效提高用户的练习效率以及演奏能力。另外,识别出的差异部分也可以同步给专业老师,使专业老师可以进行针对性的教学指导,从而提升教学质量和进度。
可选地,在上述步骤S201中,对于吹管乐器来说,目标演奏数据除了目标指法数据之外,还包括吹奏气流数据。具体通过气流检测装置,对目标用户吹奏目标曲目过程中产生的气流进行检测,获得相应的吹奏气流数据。
具体地,吹管乐器包括笛子、箫、埙、唢呐等。在使用吹管乐器演奏目标曲目时,需要通过吹管乐器上的吹孔吹气以及手指按压吹管乐器上的按音孔来配合演奏,因此吹管乐器的目标演奏数据中包括目标指法数据和吹奏气流数据。
手指检测装置位于吹管乐器上,具体可以是按音孔的内壁或周围。手指检测装置包括电容触摸薄膜。通过电容触摸薄膜,对目标用户演奏目标曲目过程中手指按压按音孔的位置和手指按压按音孔的时长进行检测,获得目标用户演奏目标曲目过程中手指按压按音孔的位置信息以及手指按压按音孔的时长信息。手指检测装置采集目标指法数据后,通过有线或无线的方式将指法数据发送给终端设备。
气流检测装置位于吹管乐器内,气流检测装置包括气流传感器,通过气流传感器,对目标用户吹奏目标曲目过程中产生的吹奏气流的运动速度和运动方向进行检测,获得相应的吹奏气流数据。气流检测装置采集吹奏气流数据后,通过有线或无线的方式将吹奏气流数据发送给终端设备。
终端设备接收到吹奏气流数据和目标指法数据之后,可以将吹奏气流数据和目标指法数据合成为同步的目标演奏数据,然后将合成的目标演奏数据与标准演奏数据进行对比。也可以直接将接收的吹奏气流数据与目标曲目中的标准吹奏气流数据进行对比,将接收的目标指法数据与目标曲目中的标准指法数据进行对比。当目标指法数据和/或吹奏气流数据与标准演奏数据对比出现差异时,将差异部分标识出来并视觉化的表现在显示设备上,使得目标用户可以在演奏练习后迅速查看相关错误及改正办法。由于详细记录每次练习的错误情况,和后续练习的改善状况,因此可以有效提高用户的练习效率以及演奏能力。另外,识别出的差异部分也可以同步给专业老师,使专业老师可以进行针对性的教学指导,从而提升教学质量和进度。
可选地,在上述步骤S201中,对于敲击乐器来说,目标演奏数据包括敲击数据,通过敲击检测装置,对目标用户演奏目标曲目过程中敲击乐器本体产生的振动进行检测,获得相应的敲击数据。
具体地,敲击检测装置位于敲击乐器本体上,敲击检测装置可以是振动传感器。通过振动传感器,对目标用户演奏目标曲目过程中敲击乐器本体产生的振动频率和振动幅度进行检测,获得相应的敲击数据。另外,当敲击乐器本体上不同的区域对应不同的音阶时,可以在每个区域均设置一个敲击检测装置,然后通过多个敲击检测装置,对目标用户演奏目标曲目过程中敲击乐器本体产生的振动进行检测,获得相应的敲击数据。敲击检测装置采集敲击数据后,通过有线或无线的方式将敲击数据发送给终端设备。
终端设备将接收的敲击数据与目标曲目的标准敲击数据进行对比,当接收的敲击数据与标准敲击数据对比出现差异时,将差异部分标识出来并视觉化的表现在显示设备上,使得目标用户可以在演奏练习后迅速查看相关错误及改正办法,从而提高用户的练习效率以及演奏能力。
可选地,终端设备获得差异演奏技法数据之后,可以将差异演奏数据发送给服务器,以使服务器对接收的各个用户演奏目标曲目过程中产生的历史差异演奏数据进行统计,获得目标曲目中的演奏易错片段。终端设备接收服务器发送的目标曲目中的演奏易错片段,并在显示界面中展示目标曲目中的演奏易错片段。
具体地,差异演奏数据中包括用户演奏过程中的技法错误,服务器获取大量用户的历史差异演奏数据之后,引入大数据分析和人工智能分析系统对常见错误及练习难点做出统计及整理,获得目标曲目中的演奏易错片段以及演奏易错片段中的指法数据和弓法数据。具体实施中,可以对各个用户演奏目标曲目过程中产生的历史差异演奏数据进行统计,确定各个用户演奏目标曲目时出现过的演奏出错片段,以及各个演奏出错片段的错误次数,将错误次数大于第一阈值的演奏出错片段,作为目标曲目中易错或练习困难的演奏易错片段。进一步地,服务器也可以将目标曲目中易错或练习困难的演奏易错片段发送给终端设备,终端设备及时向用户(特别是刚开始学习乐器的用户)展示目标曲目中的演奏易错片段以及演奏易错片段中的指法数据和弓法数据。
可选地,终端设备获得差异演奏数据之后,可以将差异演奏数据发送给服务器,以使服务器基于差异演奏数据以及目标用户演奏目标曲目产生的历史差异演奏数据,预测目标用户演奏目标曲目时的目标演奏易错片段。终端设备接收服务器发送的目标演奏易错片段,并在显示界面中展示目标演奏易错片段。
具体地,可以对目标用户当前演奏目标曲目产生的差异演奏数据以及目标用户演奏目标曲目产生的历史差异演奏数据进行统计,确定目标用户演奏目标曲目时出现过的演奏出错片段,以及各个演奏出错片段的错误次数。然后将错误次数大于第二阈值的演奏出错片段,作为目标用户演奏目标曲目时的目标演奏易错片段。然后将目标演奏易错片段发送给终端设备,终端设备在显示界面中显示各个目标演奏易错片段以及目标演奏易错片段中的指法数据和弓法数据。具体展示时,可以按照各个目标演奏易错片段在目标曲目中的演奏顺序进行展示,也可以按照目标用户演奏各个目标演奏易错片段时的出错次数进行排序,然后按照出错次数从大到小的顺序进行展示等。
结合用户过往练习的习惯数据,预测用户可能出错或存在掌握困难的部分,并提示用户多加练习,同时将可能出错或存在掌握困难的部分推送给专业老师,以使专业老师针对性增加该部分难点教学时间,从而保证用户能更好的掌握此部分的知识点,提升用户的练习效率以及演奏能力。
基于图1所示的系统架构图,本申请实施例提供了一种演奏数据识别方法的流程,如图8所示,该方法可以由终端设备执行,包括以下步骤:
步骤S801,获取目标用户演奏目标曲目过程中产生的目标演奏数据。
具体地,目标演奏数据包括目标指法数据和目标弓法数据,目标指法数据和目标弓法数据在前文已有介绍,此处不再赘述。
目标指法数据展示在显示界面的指法展示区域,目标弓法数据展示在显示界面的弓法展示区域。具体实施中,指法展示区域和弓法展示区域可以是显示界面中不相交的两个区域,也可以是部分相交的两个区域,指法展示区域和弓法展示区域的形状可以根据实际需要进行设置,比如,正方向、长方形、椭圆等。
示例性地,显示界面如图9所示,显示界面包括指法展示区域901和弓法展示区域902,指法展示区域901用于展示目标用户演奏目标曲目过程中产生的目标指法数据,弓法展示区域902用于展示目标用户演奏目标曲目过程中产生的目标弓法数据。
步骤S802,将目标演奏数据与目标曲目的标准演奏数据进行对比。
具体地,标准演奏数据包括标准指法数据和标准弓法数据,将目标指法数据与标准指法数据进行比对,将目标弓法数据与标准弓法数据进行比对。
步骤S803,若目标指法数据与标准演奏数据中的标准指法数据不同,则在指法展示区域中展示指法错误提示消息。
步骤S804,若目标指法数据与标准演奏数据中的标准指法数据相同,则在指法展示区域中展示指法正确提示消息。
具体地,指法错误提示消息和指法正确提示消息可以采用提示窗口、动画、震动、语音等形式进行展示。
一种可能的实施方式,在获取目标用户演奏目标曲目过程中产生的目标演奏数据之前,先在指法展示区域展示标准指法提示信息,其中,标准指法提示信息是根据标准指法数据确定的,这样目标用户可以按照标准指法提示信息演奏目标曲目,从而提高目标用户演奏目标曲目的准确性。
示例性地,显示界面如图10所示,显示界面包括指法展示区域901和弓法展示区域902,指法展示区域901展示了琴身上的音阶位置示意图。根据标准指法数据确定当前时刻的标准指法为按压琴身上的位置1001,则在指法展示区域901中以颜色加深的形式标记位置1001。
若根据目标用户演奏目标曲目过程中产生的目标演奏数据,确定目标用户当前按压的位置为1002,则判定目标指法数据与标准演奏数据中的标准指法数据不同,然后在指法展示区域901展示提示窗口1003,提示窗口1003中显示文本“指法错误”,具体如图11所示。
若根据目标用户演奏目标曲目过程中产生的目标演奏数据,确定目标用户当前按压的位置为1001,则判定目标指法数据与标准演奏数据中的标准指法数据相同,然后在指法展示区域901展示提示窗口1003,提示窗口1003中显示文本“指法正确”,具体如图12所示。
步骤S805,若目标弓法数据与标准演奏数据中的标准弓法数据不同,则在弓法展示区域中展示弓法错误提示消息。
步骤S806,若目标弓法数据与标准演奏数据中的标准弓法数据相同,则在弓法展示区域中展示弓法正确提示消息。
具体地,弓法错误提示消息和弓法正确提示消息可以采用提示窗口、动画、震动、语音等形式进行展示。
一种可能的实施方式,在获取目标用户演奏目标曲目过程中产生的目标演奏数据之前,先在弓法展示区域展示标准弓法提示信息,标准弓法提示信息是根据标准弓法数据确定的,这样目标用户可以按照标准弓法提示信息演奏目标曲目,从而提高目标用户演奏目标曲目的准确性。
示例性地,显示界面如图13所示,显示界面包括指法展示区域901和弓法展示区域902,指法展示区域901展示了琴身上的音阶位置示意图,弓法展示区域902展示了琴把、琴弓与琴弦之间的关系示意图。
根据标准指法数据确定当前时刻的标准指法为按压琴身上的位置1001,则在指法展示区域901中以颜色加深的形式标记位置1001。根据标准弓法数据确定当前时刻的标准弓法为琴弓与1弦接触,则在弓法展示区域902中以颜色加深的形式标记琴弓的标准位置1301。
情况一、如图14所示,若根据目标用户演奏目标曲目过程中产生的目标演奏数据,确定目标用户当前按压的位置为1002,则判定目标指法数据与标准演奏数据中的标准指法数据不同,然后在指法展示区域901展示提示窗口1003,提示窗口1003中显示文本“指法错误”。若根据目标用户演奏目标曲目过程中产生的目标演奏数据,确定当前琴弓与2弦接触,即图14中琴弓的位置1401,则判定目标弓法数据与标准演奏数据中的标准弓法数据不同,然后在弓法展示区域902展示提示窗口1402,提示窗口1402中显示文本“弓法错误”。
情况二、如图15所示,若根据目标用户演奏目标曲目过程中产生的目标演奏数据,确定目标用户当前按压的位置为1001,则判定目标指法数据与标准演奏数据中的标准指法数据相同,然后在指法展示区域901展示提示窗口1003,提示窗口1003中显示文本“指法正确”。若根据目标用户演奏目标曲目过程中产生的目标演奏数据,确定当前琴弓与1弦接触,即图15中琴弓的位置1301,则判定目标弓法数据与标准演奏数据中的标准弓法数据相同,然后在弓法展示区域902展示提示窗口1402,提示窗口1402中显示文本“弓法正确”。
需要说明的是,本申请实施例中并仅限于上述举例的两种情况,还可以是“指法错误”与“弓法正确”的组合情况、“指法正确”与“弓法错误”的组合情况等,此处不再一一例举。
本申请实施例中,将乐器练习和游戏结合,在游戏中设置相关的游戏任务来督促用户练习乐器,提升了乐器练习趣味性,实现在游戏中提升特定技巧的熟练程度,促进学员整体演奏技巧的全面提升。
可选地,统计展示指法错误提示消息的第一次数以及展示弓法错误提示消息的第二次数。若第一次数大于第二次数,且第一次数与第二次数的差值大于第一阈值,则将指法展示区域扩大为第一预设区域,将弓法展示区域缩小为第二预设区域。若第二次数大于第一次数,且第二次数与第一次数的差值大于第一阈值,则将指法展示区域缩小为第三预设区域,将弓法展示区域扩大为第四预设区域。
具体实施中,当第一次数大于第二次数,且第一次数与第二次数的差值大于第一阈值时,说明目标用户更容易出现指法错误,且已经出现了较多的指法错误,为了让目标用户及时纠正演奏指法,降低指法错误,本申请实施例中扩大指法展示区域,这样就能更清楚地向用户展示标准指法提示信息以及指法错误提示消息,从而提高目标用户演奏的准确性。
相应的,当第二次数大于第一次数,且第二次数与第一次数的差值大于第一阈值时,说明目标用户更容易出现弓法错误,且已经出现了较多的弓法错误,为了让目标用户及时纠正演奏弓法,降低弓法错误,本申请实施例中扩大弓法展示区域,这样就能更清楚地向用户展示标准弓法提示信息以及弓法错误提示消息,从而提高目标用户演奏的准确性。
示例性地,如图16所示,显示界面包括指法展示区域901和弓法展示区域902,指法展示区域901展示了琴身上的音阶位置示意图,弓法展示区域902展示了琴把、琴弓与琴弦之间的关系示意图。设定第一阈值为10次。
情况一、如图17所示,若展示指法错误提示消息的第一次数为15次,展示弓法错误提示消息的第二次数为2次,由于第一次数大于第二次数,且第一次数与第二次数的差值大于第一阈值,则将指法展示区域901扩大为第一预设区域903,将弓法展示区域缩小为第二预设区域904。
情况二、如图18所示,若展示指法错误提示消息的第一次数为2次,展示弓法错误提示消息的第二次数为15次,由于第二次数大于第一次数,且第二次数与第一次数的差值大于第一阈值,则将指法展示区域901缩小为第三预设区域905,将弓法展示区域扩大为第四预设区域906。
本申请实施例中,基于目标用户演奏目标曲目过程中出现的指法错误和弓法错误的情况,调整指法展示区域和弓法展示区域的大小,使得目标用户及时发现并纠正容易出现的弓法错误或指法错误,从而提升用户演奏的准确度以及演奏能力。
可选地,获取目标用户演奏目标曲目过程中产生的目标演奏数据之前,还可以先获取目标用户演奏目标曲目时的目标演奏易错片段,并在显示界面中展示目标演奏易错片段,其中,目标演奏易错片段是基于目标用户演奏目标曲目产生的历史差异演奏数据预测获得的。
具体地,在显示界面中展示目标演奏易错片段时,可以在指法展示区域展示目标演奏易错片段中的指法数据,在弓法展示区域展示目标演奏易错片段中的弓法数据;也可以在演奏至目标演奏易错片段时,在指法展示区域展示易错指法提示信息,在弓法展示区域展示易错弓法提示信息。获得目标演奏易错片段的过程在前文已有介绍,此处不再赘述。
示例性地,如图19所示,显示界面包括指法展示区域901和弓法展示区域902。指法展示区域901展示了琴身上的音阶位置示意图,弓法展示区域902展示了琴把、琴弓与琴弦之间的关系示意图。设定当前演奏至目标演奏易错片段,则在指法展示区域901展示易错指法提示窗口1901,易错指法提示窗口1901内的易错指法提示信息为“当前进入易错指法部分”。在弓法展示区域902展示易错弓法提示窗口1902,易错弓法提示窗口1902内的易错弓法提示信息为“当前进入易错弓法部分”。
本申请实施例中,结合用户过往练习的习惯数据,预测用户可能出错或存在掌握困难的部分,并提示用户多加注意,从而保证用户能更好的掌握此部分的知识点,提升用户的练习效率以及演奏能力。
可选地,对于一些演奏目标曲目的新用户来说,服务器中没有保存新用户演奏目标曲目时产生的差异演奏数据,故不能预测新用户在演奏目标曲目时会出现的技法错误。为了提高新用户演奏目标曲目的准确性,本申请实施例中,在获取目标用户演奏目标曲目过程中产生的目标演奏数据之前,先获取目标曲目中的演奏易错片段,并在显示界面中展示目标曲目中的演奏易错片段,目标曲目中的演奏易错片段是对各个用户演奏目标曲目过程中产生的历史差异演奏数据进行统计获得的。
具体实施中,在显示界面中展示目标曲目中的演奏易错片段时,可以在指法展示区域展示演奏易错片段中的指法数据,在弓法展示区域展示演奏易错片段中的弓法数据;也可以在演奏至演奏易错片段时,在指法展示区域展示易错指法提示信息,在弓法展示区域展示易错弓法提示信息。获得目标曲目中的演奏易错片段的过程在前文已有介绍,此处不再赘述。
本申请实施例中,结合多个用户演奏目标曲目时产生的差异演奏数据确定目标曲目中的演奏易错片段,并提示用户多加注意目标曲目中的演奏易错片段,从而保证用户(特别是新用户)更好地掌握演奏易错片段,提升用户的练习效率以及演奏能力。
可选地,在目标用户演奏结束后,基于目标演奏数据与目标曲目的标准演奏数据的对比结果数据,确定目标用户演奏目标曲目获得的演奏评估值。若目标用户的演奏评估值大于目标曲目对应的虚拟演奏任务的评估阈值,则确定目标用户完成虚拟演奏任务。
具体地,虚拟演奏任务可以是与乐器练习相关的曲目通关游戏中的通关任务。在曲目通关游戏中,结合不同难度的曲目设置对应的通关任务,每个通关任务对应一个评估阈值。针对任意一个通关任务,目标用户演奏相应的目标曲目,终端设备获取目标用户演奏目标曲目过程中产生的目标演奏数据,然后将目标演奏数据与目标曲目的标准演奏数据进行对比,从目标演奏数据中确定出与标准演奏数据不同的差异演奏数据。
差异演奏数据可以表示目标用户演奏目标曲目的准确程度,故可以基于差异演奏数据对目标用户进行打分,获得目标用户演奏目标曲目获得的演奏评估值,其中,演奏评估值越大,说明目标用户演奏目标曲目的准确度越高,演奏评估值越小,说明目标用户演奏目标曲目的准确度越低。当目标用户的演奏评估值大于目标曲目对应的通关任务的评估阈值,则确定目标用户完成通关任务。
可选地,除了引入乐器练习的虚拟演奏任务之外,还可以引入虚拟对战。若目标用户的演奏评估值大于对战用户演奏目标曲目时获得的演奏评估值,则确定目标用户在虚拟对战中获得胜利。
具体地,可以邀请多名用户共同发起虚拟对战,虚拟对战可以是一对一、一对多、多对多等。虚拟对战的形式可以是多个用户分别演奏同一首曲目,获得每个用户的演奏评估值,演奏评估值高的用户在虚拟对战中获得胜利;也可以是多个用户组成一个团队合作演奏同一首曲目,获得团队的演奏评估值,演奏评估值高的团队在虚拟对战中获得胜利。
需要说明的是,为了提升乐器练习趣味性,本申请实施例并不仅限于采用上述几种实施方式,还可以是针对各不同专业级别需要掌握的演奏技巧生成针对性的专项练习任务;对特定演奏技巧设置重复性的强化练习任务等。
本申请实施例中,将乐器练习和游戏结合,在游戏中设置相关的游戏任务来督促用户练习乐器,提升了乐器练习趣味性,实现在游戏中提升特定技巧的熟练程度,促进学员整体演奏技巧的全面提升。
可选地,由于目标演奏数据不仅限于目标用户演奏目标曲目过程中产生的目标指法数据和目标弓法数据,还包括目标用户演奏目标曲目过程中产生的目标乐音数据。故可以从目标乐音数据中确定出与目标曲目的标准乐音数据不同的差异乐音数据,然后基于差异演奏数据和差异乐音数据,确定目标用户演奏目标曲目获得的演奏评估值。
具体实施中,目标乐音数据可以是由设置在乐器上的检测装置采集获得,也可以由终端设备直接采集获得。另外,也可以预先设定差异演奏数据和差异乐音数据分别对应的权重,然后基于差异演奏数据、差异乐音数据以及预先设定的权重,确定目标用户演奏目标曲目获得的演奏评估值。
需要说明的是,目标演奏数据不仅限于目标指法数据、目标弓法数据和目标乐音数据,还可以是目标用户演奏目标曲目过程中产生的其他数据,比如,目标用户演奏目标曲目过程拍摄的演奏视频、照片等,因此可以根据需要结合目标演奏数据中的各个类型的数据,确定目标用户演奏目标曲目获得的演奏评估值,对此,本申请不做具体限定。
本申请实施例中,结合多维度的目标演奏数据对目标用户演奏目标曲目的准确程度进行评估,获得目标用户的演奏评估值,从而提升演奏评估的准确性。
为了更好的解释本申请实施例,下面以提琴为例描述本申请实施例提供的一种演奏数据识别方法的流程,该方法由终端设备执行,如图20所示,包括以下步骤:
提琴的琴把上每个音阶所在区域对应贴附一个电容触摸薄膜,电容触摸薄膜用于检测目标指法数据,其中,目标指法数据包括目标用户演奏目标曲目过程中手指按压琴弦的位置信息以及手指按压琴弦的时长信息。通过电容触摸薄膜,对目标用户演奏目标曲目过程中手指按压琴弦的位置和手指按压琴弦的时长进行检测,获得目标用户演奏目标曲目过程中手指按压琴弦的位置信息以及手指按压琴弦的时长信息。具体实施中,手指与电容触摸薄膜接触时会带来信号变化,然后根据电容触摸薄膜的位置,获得手指按压琴弦的位置信息。由于电容触摸薄膜有较高的刷新频率,故可以根据手指按压琴弦的过程中,手指按压的位置被侦测到的次数获得手指按压琴弦的时长信息。通过蓝牙模块将目标指法数据发送给终端设备。
提琴的琴弓上设置有六轴传感器和加速度传感器,通过六轴传感器和加速度传感器检测目标弓法数据,其中,目标弓法数据包括目标用户演奏目标曲目过程中琴弓的姿态信息和琴弓的加速度信息。通过六轴传感器,对目标用户演奏目标曲目过程中琴弓的运动姿态进行检测,获得琴弓的姿态信息。通过加速度传感器,对目标用户演奏目标曲目过程中琴弓的运动速度进行检测,获得琴弓的加速度信息。通过蓝牙模块将弓法数据发送给终端设备。
终端设备通过蓝牙模块接收目标指法数据和目标弓法数据,终端设备的处理器将目标弓法数据和目标指法数据融合为同步的目标演奏数据,将合成的目标演奏数据与标准演奏数据进行对比。当目标指法数据和/或目标弓法数据与标准演奏数据对比出现差异时,将差异部分标识出来并视觉化的展示在显示器上。
目标用户通过查看显示器展示的差异部分,获知演奏中出现的技法错误,从而再次练习时,及时改正错误。目标用户再次练习时,提琴的电容触摸薄膜、六轴传感器和加速度传感器再次采集目标指法数据和目标弓法数据,终端设备也会再次基于采集的目标指法数据和目标弓法数据确定目标用户在演奏过程中的技法错误,依次循环。
终端设备将差异演奏数据发送给服务器,服务器对接收的各个用户演奏目标曲目过程中产生的差异演奏数据进行统计,获得目标曲目中的演奏易错片段。服务器基于目标用户演奏目标曲目过程中产生的差异演奏数据以及目标用户演奏目标曲目产生的历史差异演奏数据,预测目标用户演奏目标曲目时的目标演奏易错片段,然后将目标演奏易错片段发送给终端设备,终端设备在显示界面中展示目标演奏易错片段。
本申请实施例中,在目标用户演奏目标曲目过程中实时采集产生的目标演奏数据,然后将目标演奏数据与目标曲目的标准演奏数据进行对比,确定差异演奏数据并展示,便于目标用户及时发现演奏过程中出现的错误演奏技法,从而一方面可以让用户及时纠正错误演奏技法并加强练习,提升用户的练习效率以及演奏能力,也弥补了不具备专业知识和能力的人的陪练问题。另一方面,可以将出现的错误演奏技法发送给专业老师,以便专业老师进行针对性地指导,提高教学效率,也为后续的AI陪练和AI教学奠定硬件基础。结合用户过往练习的习惯数据,预测用户可能出错或存在掌握困难的部分,并提示用户多加练习,同时将可能出错或存在掌握困难的部分推送给专业老师,以使专业老师针对性增加该部分难点教学时间,从而保证用户能更好的掌握此部分的知识点,提升用户的练习效率以及演奏能力。
基于相同的技术构思,本申请实施例提供了一种拉弦乐器,如图21所示,包括:
琴体2101和琴弓2102,所述琴体2101上设有电容触摸薄膜21011和第一通信模块21012,所述电容触摸薄膜21011用于检测所述目标用户演奏目标曲目过程中手指按压琴弦的位置和手指按压琴弦的时长,获得手指按压琴弦的位置信息以及手指按压琴弦的时长信息;所述第一通信模块21012用于将所述手指按压琴弦的位置信息以及手指按压琴弦的时长信息发送给终端设备2103;
所述琴弓2102上设有六轴传感器21021、加速度传感器21022和第二通信模块21023,所述六轴传感器21021用于检测所述目标用户演奏目标曲目过程中琴弓的运动姿态,获得所述琴弓的姿态信息,所述加速度传感器21022用于检测所述目标用户演奏目标曲目过程中琴弓的运动速度,获得所述琴弓的加速度信息;所述第二通信模块21023用于将所述琴弓的姿态信息以及所述琴弓的加速度信息发送给所述终端设备2103。
所述终端设备2103将包括所述手指按压琴弦的位置信息、所述手指按压琴弦的时长信息、所述琴弓的姿态信息以及所述琴弓的加速度信息的目标演奏数据与所述目标曲目的标准演奏数据进行对比;若所述目标演奏数据中存在与所述标准演奏数据不同的差异演奏数据时,在显示界面中展示所述差异演奏数据。
本申请实施例中,在目标用户演奏目标曲目过程中实时采集产生的目标演奏数据,然后将目标演奏数据与目标曲目的标准演奏数据进行对比,确定差异演奏数据并展示,便于目标用户及时发现演奏过程中出现的错误演奏技法,从而一方面可以让用户及时纠正错误演奏技法并加强练习,提升用户的练习效率以及演奏能力,也弥补了不具备专业知识和能力的人的陪练问题。另一方面,可以将出现的错误演奏技法发送给专业老师,以便专业老师进行针对性地指导,提高教学效率,也为后续的AI陪练和AI教学奠定硬件基础。
基于相同的技术构思,本申请实施例提供了一种演奏数据识别装置,如图22所示,该装置2200包括:
第一获取模块2201,用于获取目标用户演奏目标曲目过程中产生的目标演奏数据;
第一对比模块2202,用于将所述目标演奏数据与所述目标曲目的标准演奏数据进行对比;
第一显示模块2203,用于若所述目标演奏数据中存在与所述标准演奏数据不同的差异演奏数据,则在显示界面中展示所述差异演奏数据。
可选地,所述第一获取模块2201具体用于:
通过电容触摸薄膜,对所述目标用户演奏目标曲目过程中手指按压琴弦的位置和手指按压琴弦的时长进行检测,获得所述目标用户演奏目标曲目过程中手指按压琴弦的位置信息以及手指按压琴弦的时长信息。
可选地,所述第一获取模块2201具体用于:
通过六轴传感器,对所述目标用户演奏目标曲目过程中琴弓的运动姿态进行检测,获得所述琴弓的姿态信息;
通过加速度传感器,对所述目标用户演奏目标曲目过程中琴弓的运动速度进行检测,获得所述琴弓的加速度信息。
可选地,还包括第一发送模块2204;
所述第一发送模块2204具体用于:
将所述差异演奏数据发送给服务器,以使所述服务器对接收的各个用户演奏所述目标曲目过程中产生的历史差异演奏数据进行统计,获得所述目标曲目中的演奏易错片段;
所述第一获取模块2201还用于:
接收所述服务器发送的所述目标曲目中的演奏易错片段,并在显示界面中展示所述目标曲目中的演奏易错片段。
可选地,所述第一发送模块2204还用于:
将所述差异演奏数据发送给服务器,以使所述服务器基于所述差异演奏数据以及所述目标用户演奏所述目标曲目产生的历史差异演奏数据,预测所述目标用户演奏所述目标曲目时的目标演奏易错片段;
所述第一获取模块2201还用于:
接收所述服务器发送的所述目标演奏易错片段,并在显示界面中展示所述目标演奏易错片段。
本申请实施例中,在目标用户演奏目标曲目过程中实时采集产生的目标演奏数据,然后将目标演奏数据与目标曲目的标准演奏数据进行对比,确定差异演奏数据并展示,便于目标用户及时发现演奏过程中出现的错误演奏技法,从而一方面可以让用户及时纠正错误演奏技法并加强练习,提升用户的练习效率以及演奏能力,也弥补了不具备专业知识和能力的人的陪练问题。另一方面,可以将出现的错误演奏技法发送给专业老师,以便专业老师进行针对性地指导,提高教学效率,也为后续的AI陪练和AI教学奠定硬件基础。
基于相同的技术构思,本申请实施例提供了一种演奏数据识别装置,如图23所示,该装置2300包括:
第二获取模块2301,获取目标用户演奏目标曲目过程中产生的目标演奏数据,所述目标演奏数据包括目标指法数据和目标弓法数据,其中,所述目标指法数据展示在显示界面的指法展示区域,所述目标弓法数据展示在所述显示界面的弓法展示区域;
第二对比模块2302,将所述目标演奏数据与所述目标曲目的标准演奏数据进行对比;
第二显示模块2303,若所述目标指法数据与所述标准演奏数据中的标准指法数据不同,则在所述指法展示区域中展示指法错误提示消息;若所述目标指法数据与所述标准演奏数据中的标准指法数据相同,则在所述指法展示区域中展示指法正确提示消息;若所述目标弓法数据与所述标准演奏数据中的标准弓法数据不同,则在所述弓法展示区域中展示弓法错误提示消息;若所述目标弓法数据与所述标准演奏数据中的标准弓法数据相同,则在所述弓法展示区域中展示弓法正确提示消息。
可选地,所述第二显示模块2303还用于:
所述获取目标用户演奏目标曲目过程中产生的目标演奏数据之前,在所述指法展示区域展示标准指法提示信息,所述标准指法提示信息是根据所述标准指法数据确定的;
在所述弓法展示区域展示标准弓法提示信息,所述标准弓法提示信息是根据所述标准弓法数据确定的。
可选地,还包括统计模块2304;
所述统计模块2304具体用于:
统计展示指法错误提示消息的第一次数以及展示弓法错误提示消息的第二次数;
所述第二显示模块2303,还用于:
若所述第一次数大于所述第二次数,且所述第一次数与所述第二次数的差值大于第一阈值,则将所述指法展示区域扩大为第一预设区域,将所述弓法展示区域缩小为第二预设区域;
若所述第二次数大于所述第一次数,且所述第二次数与所述第一次数的差值大于所述第一阈值,则将所述指法展示区域缩小为第三预设区域,将所述弓法展示区域扩大为第四预设区域。
可选地,所述第二获取模块2301还用于:
所述获取目标用户演奏目标曲目过程中产生的目标演奏数据之前,获取所述目标用户演奏所述目标曲目时的目标演奏易错片段;
所述第二显示模块2303还用于:
在所述显示界面中展示所述目标演奏易错片段,所述目标演奏易错片段是基于所述目标用户演奏所述目标曲目产生的历史差异演奏数据预测获得的。
可选地,所述第二获取模块2301还用于:
所述获取目标用户演奏目标曲目过程中产生的目标演奏数据之前,获取所述目标曲目中的演奏易错片段;
所述第二显示模块2303还用于:
在所述显示界面中展示所述目标曲目中的演奏易错片段,所述目标曲目中的演奏易错片段是对各个用户演奏所述目标曲目过程中产生的历史差异演奏数据进行统计获得的。
基于相同的技术构思,本申请实施例提供了一种计算机设备,如图24所示,包括至少一个处理器2401,以及与至少一个处理器连接的存储器2402,本申请实施例中不限定处理器2401与存储器2402之间的具体连接介质,图24中处理器2401和存储器2402之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本申请实施例中,存储器2402存储有可被至少一个处理器2401执行的指令,至少一个处理器2401通过执行存储器2402存储的指令,可以执行上述演奏数据识别方法的步骤。
其中,处理器2401是计算机设备的控制中心,可以利用各种接口和线路连接计算机设备的各个部分,通过运行或执行存储在存储器2402内的指令以及调用存储在存储器2402内的数据,从而识别演奏数据中的错误技法数据。可选的,处理器2401可包括一个或多个处理单元,处理器2401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器2401中。在一些实施例中,处理器2401和存储器2402可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器2401可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器2402作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器2402可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器2402是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器2402还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
基于同一发明构思,本申请实施例提供了一种计算机可读存储介质,其存储有可由计算机设备执行的计算机程序,当程序在计算机设备上运行时,使得所述计算机设备执行上述演奏数据识别方法的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (15)
1.一种演奏数据识别方法,其特征在于,包括:
获取目标用户演奏目标曲目过程中产生的目标演奏数据,所述目标演奏数据包括目标指法数据和目标弓法数据,所述目标指法数据是通过对目标用户演奏目标曲目过程中手指的运动模式进行检测获得的,所述目标指法数据包括手指按压琴弦的位置信息以及手指按压琴弦的时长信息,所述目标弓法数据是通过对目标用户演奏目标曲目过程中琴弓的运动模式进行检测获得的,所述目标弓法数据包括所述琴弓的姿态信息和琴弓的加速度信息;
将所述目标演奏数据与所述目标曲目的标准演奏数据进行对比;
若所述目标演奏数据中存在与所述标准演奏数据不同的差异演奏数据,则在显示界面中展示所述差异演奏数据。
2.如权利要求1所述的方法,其特征在于,所述目标指法数据是通过对目标用户演奏目标曲目过程中手指的运动模式进行检测获得的,包括:
通过电容触摸薄膜,对所述目标用户演奏目标曲目过程中手指按压琴弦的位置和手指按压琴弦的时长进行检测,获得所述目标用户演奏目标曲目过程中手指按压琴弦的位置信息以及手指按压琴弦的时长信息。
3.如权利要求1所述的方法,其特征在于,所述目标弓法数据是通过对目标用户演奏目标曲目过程中琴弓的运动模式进行检测获得的,包括:
通过六轴传感器,对所述目标用户演奏目标曲目过程中琴弓的运动姿态进行检测,获得所述琴弓的姿态信息;
通过加速度传感器,对所述目标用户演奏目标曲目过程中琴弓的运动速度进行检测,获得所述琴弓的加速度信息。
4.如权利要求1至3任一所述的方法,其特征在于,还包括:
将所述差异演奏数据发送给服务器,以使所述服务器对接收的各个用户演奏所述目标曲目过程中产生的历史差异演奏数据进行统计,获得所述目标曲目中的演奏易错片段;
接收所述服务器发送的所述目标曲目中的演奏易错片段,并在显示界面中展示所述目标曲目中的演奏易错片段。
5.如权利要求1至3任一所述的方法,其特征在于,还包括:
将所述差异演奏数据发送给服务器,以使所述服务器基于所述差异演奏数据以及所述目标用户演奏所述目标曲目产生的历史差异演奏数据,预测所述目标用户演奏所述目标曲目时的目标演奏易错片段;
接收所述服务器发送的所述目标演奏易错片段,并在显示界面中展示所述目标演奏易错片段。
6.一种演奏数据识别方法,其特征在于,包括:
获取目标用户演奏目标曲目过程中产生的目标演奏数据,所述目标演奏数据包括目标指法数据和目标弓法数据,其中,所述目标指法数据展示在显示界面的指法展示区域,所述目标弓法数据展示在所述显示界面的弓法展示区域;
将所述目标演奏数据与所述目标曲目的标准演奏数据进行对比;
若所述目标指法数据与所述标准演奏数据中的标准指法数据不同,则在所述指法展示区域中展示指法错误提示消息;
若所述目标指法数据与所述标准演奏数据中的标准指法数据相同,则在所述指法展示区域中展示指法正确提示消息;
若所述目标弓法数据与所述标准演奏数据中的标准弓法数据不同,则在所述弓法展示区域中展示弓法错误提示消息;
若所述目标弓法数据与所述标准演奏数据中的标准弓法数据相同,则在所述弓法展示区域中展示弓法正确提示消息。
7.如权利要求6所述的方法,其特征在于,所述获取目标用户演奏目标曲目过程中产生的目标演奏数据之前,还包括:
在所述指法展示区域展示标准指法提示信息,所述标准指法提示信息是根据所述标准指法数据确定的;
在所述弓法展示区域展示标准弓法提示信息,所述标准弓法提示信息是根据所述标准弓法数据确定的。
8.如权利要求6所述的方法,其特征在于,还包括:
统计展示指法错误提示消息的第一次数以及展示弓法错误提示消息的第二次数;
若所述第一次数大于所述第二次数,且所述第一次数与所述第二次数的差值大于第一阈值,则将所述指法展示区域扩大为第一预设区域,将所述弓法展示区域缩小为第二预设区域;
若所述第二次数大于所述第一次数,且所述第二次数与所述第一次数的差值大于所述第一阈值,则将所述指法展示区域缩小为第三预设区域,将所述弓法展示区域扩大为第四预设区域。
9.如权利要求6至8任一所述的方法,其特征在于,所述获取目标用户演奏目标曲目过程中产生的目标演奏数据之前,还包括:
获取所述目标用户演奏所述目标曲目时的目标演奏易错片段,并在所述显示界面中展示所述目标演奏易错片段,所述目标演奏易错片段是基于所述目标用户演奏所述目标曲目产生的历史差异演奏数据预测获得的。
10.如权利要求6至8任一所述的方法,其特征在于,所述获取目标用户演奏目标曲目过程中产生的目标演奏数据之前,还包括:
获取所述目标曲目中的演奏易错片段,并在所述显示界面中展示所述目标曲目中的演奏易错片段,所述目标曲目中的演奏易错片段是对各个用户演奏所述目标曲目过程中产生的历史差异演奏数据进行统计获得的。
11.一种拉弦乐器,其特征在于,包括:
琴体和琴弓,所述琴体上设有电容触摸薄膜和第一通信模块,所述电容触摸薄膜用于检测所述目标用户演奏目标曲目过程中手指按压琴弦的位置和手指按压琴弦的时长,获得手指按压琴弦的位置信息以及手指按压琴弦的时长信息;所述第一通信模块用于将所述手指按压琴弦的位置信息以及所述手指按压琴弦的时长信息发送给终端设备;
所述琴弓上设有六轴传感器、加速度传感器和第二通信模块,所述六轴传感器用于检测所述目标用户演奏目标曲目过程中琴弓的运动姿态,获得琴弓的姿态信息;所述加速度传感器用于检测所述目标用户演奏目标曲目过程中琴弓的运动速度,获得琴弓的加速度信息;所述第二通信模块用于将所述琴弓的姿态信息以及所述琴弓的加速度信息发送给所述终端设备,以使所述终端设备将包括所述手指按压琴弦的位置信息、所述手指按压琴弦的时长信息、所述琴弓的姿态信息以及所述琴弓的加速度信息的目标演奏数据与所述目标曲目的标准演奏数据进行对比;若所述目标演奏数据中存在与所述标准演奏数据不同的差异演奏数据,则在显示界面中展示所述差异演奏数据。
12.一种演奏数据识别装置,其特征在于,包括:
第一获取模块,用于获取目标用户演奏目标曲目过程中产生的目标演奏数据,所述目标演奏数据包括目标指法数据和目标弓法数据,所述目标指法数据是通过对目标用户演奏目标曲目过程中手指的运动模式进行检测获得的,所述目标指法数据包括手指按压琴弦的位置信息以及手指按压琴弦的时长信息,所述目标弓法数据是通过对目标用户演奏目标曲目过程中琴弓的运动模式进行检测获得的,所述目标弓法数据包括所述琴弓的姿态信息和琴弓的加速度信息;
第一对比模块,用于将所述目标演奏数据与所述目标曲目的标准演奏数据进行对比;
第一显示模块,用于若所述目标演奏数据中存在与所述标准演奏数据不同的差异演奏数据,则在显示界面中展示所述差异演奏数据。
13.一种演奏数据识别装置,其特征在于,包括:
第二获取模块,获取目标用户演奏目标曲目过程中产生的目标演奏数据,所述目标演奏数据包括目标指法数据和目标弓法数据,其中,所述目标指法数据展示在显示界面的指法展示区域,所述目标弓法数据展示在所述显示界面的弓法展示区域;
第二对比模块,将所述目标演奏数据与所述目标曲目的标准演奏数据进行对比;
第二显示模块,若所述目标指法数据与所述标准演奏数据中的标准指法数据不同,则在所述指法展示区域中展示指法错误提示消息;若所述目标指法数据与所述标准演奏数据中的标准指法数据相同,则在所述指法展示区域中展示指法正确提示消息;若所述目标弓法数据与所述标准演奏数据中的标准弓法数据不同,则在所述弓法展示区域中展示弓法错误提示消息;若所述目标弓法数据与所述标准演奏数据中的标准弓法数据相同,则在所述弓法展示区域中展示弓法正确提示消息。
14.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1~5任一权利要求所述方法的步骤,或者权利要求6~10任一权利要求所述方法的步骤。
15.一种计算机可读存储介质,其特征在于,其存储有可由计算机设备执行的计算机程序,当所述程序在计算机设备上运行时,使得所述计算机设备执行权利要求1~5任一所述方法的步骤,或者权利要求6~10任一权利要求所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110163901.2A CN112802439B (zh) | 2021-02-05 | 2021-02-05 | 一种演奏数据识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110163901.2A CN112802439B (zh) | 2021-02-05 | 2021-02-05 | 一种演奏数据识别方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112802439A true CN112802439A (zh) | 2021-05-14 |
CN112802439B CN112802439B (zh) | 2024-04-12 |
Family
ID=75814417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110163901.2A Active CN112802439B (zh) | 2021-02-05 | 2021-02-05 | 一种演奏数据识别方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112802439B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113625873A (zh) * | 2021-08-05 | 2021-11-09 | 重庆智域智联科技有限公司 | 一种基于音频识别和多轨序列表示的交互学习方法及系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011002731A2 (en) * | 2009-07-02 | 2011-01-06 | The Way Of H, Inc. | Music instruction system |
CN105976800A (zh) * | 2015-03-13 | 2016-09-28 | 三星电子株式会社 | 电子装置和在电子装置中识别弦乐器演奏的方法 |
KR20170115030A (ko) * | 2015-03-13 | 2017-10-16 | 삼성전자주식회사 | 전자 장치, 전자 장치의 현악기 연주 인식 방법 및 전자 장치의 현악기 연주 피드백 방법 |
WO2018052272A1 (ko) * | 2016-09-19 | 2018-03-22 | 주식회사 잼이지 | 악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템, 장치, 방법, 및 컴퓨터 판독가능 기록매체 |
CN109035968A (zh) * | 2018-07-12 | 2018-12-18 | 杜蘅轩 | 钢琴学习辅助系统和钢琴 |
CN109102784A (zh) * | 2018-06-14 | 2018-12-28 | 森兰信息科技(上海)有限公司 | 一种ar辅助乐器练习方法、系统以及一种智能设备 |
CN109446952A (zh) * | 2018-10-16 | 2019-03-08 | 赵笑婷 | 一种钢琴监督方法、装置、计算机设备及存储介质 |
CN110379253A (zh) * | 2019-07-03 | 2019-10-25 | 王菲 | 小提琴综合辅助学习的方法、装置、软件与系统 |
CN110585705A (zh) * | 2019-09-23 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 一种网络游戏控制方法、装置和存储介质 |
CN110689866A (zh) * | 2019-09-18 | 2020-01-14 | 江西昕光年智能科技有限公司 | 基于增强现实的小提琴辅助教学方法及系统 |
CN111433831A (zh) * | 2017-12-27 | 2020-07-17 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
CN111862700A (zh) * | 2020-07-14 | 2020-10-30 | 上海积跬教育科技有限公司 | 一种乐器智能纠音陪练方法 |
-
2021
- 2021-02-05 CN CN202110163901.2A patent/CN112802439B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011002731A2 (en) * | 2009-07-02 | 2011-01-06 | The Way Of H, Inc. | Music instruction system |
CN105976800A (zh) * | 2015-03-13 | 2016-09-28 | 三星电子株式会社 | 电子装置和在电子装置中识别弦乐器演奏的方法 |
KR20170115030A (ko) * | 2015-03-13 | 2017-10-16 | 삼성전자주식회사 | 전자 장치, 전자 장치의 현악기 연주 인식 방법 및 전자 장치의 현악기 연주 피드백 방법 |
WO2018052272A1 (ko) * | 2016-09-19 | 2018-03-22 | 주식회사 잼이지 | 악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템, 장치, 방법, 및 컴퓨터 판독가능 기록매체 |
CN111433831A (zh) * | 2017-12-27 | 2020-07-17 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
CN109102784A (zh) * | 2018-06-14 | 2018-12-28 | 森兰信息科技(上海)有限公司 | 一种ar辅助乐器练习方法、系统以及一种智能设备 |
CN109035968A (zh) * | 2018-07-12 | 2018-12-18 | 杜蘅轩 | 钢琴学习辅助系统和钢琴 |
CN109446952A (zh) * | 2018-10-16 | 2019-03-08 | 赵笑婷 | 一种钢琴监督方法、装置、计算机设备及存储介质 |
CN110379253A (zh) * | 2019-07-03 | 2019-10-25 | 王菲 | 小提琴综合辅助学习的方法、装置、软件与系统 |
CN110689866A (zh) * | 2019-09-18 | 2020-01-14 | 江西昕光年智能科技有限公司 | 基于增强现实的小提琴辅助教学方法及系统 |
CN110585705A (zh) * | 2019-09-23 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 一种网络游戏控制方法、装置和存储介质 |
CN111862700A (zh) * | 2020-07-14 | 2020-10-30 | 上海积跬教育科技有限公司 | 一种乐器智能纠音陪练方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113625873A (zh) * | 2021-08-05 | 2021-11-09 | 重庆智域智联科技有限公司 | 一种基于音频识别和多轨序列表示的交互学习方法及系统 |
CN113625873B (zh) * | 2021-08-05 | 2024-02-06 | 重庆智域智联科技有限公司 | 一种基于音频识别和多轨序列表示的交互学习方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112802439B (zh) | 2024-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9839852B2 (en) | Interactive guitar game | |
Johansson | Rhythm into style: studying assymmetrical grooves in Norwegian folk music | |
US9492756B2 (en) | System and method for analyzing a digitalized musical performance | |
US20110146477A1 (en) | String instrument educational device | |
CN104200716A (zh) | 钢琴和钢琴互动练习装置 | |
Dalmazzo et al. | Bowing gestures classification in violin performance: a machine learning approach | |
US9299264B2 (en) | Sound assessment and remediation | |
US20150242797A1 (en) | Methods and systems for evaluating performance | |
Taele et al. | Maestoso: An intelligent educational sketching tool for learning music theory | |
US20240212519A1 (en) | Musical instrument teaching system and method, and readable storage medium | |
CN106097830A (zh) | 一种乐谱识别方法及装置 | |
CN112802439B (zh) | 一种演奏数据识别方法、装置、设备及存储介质 | |
Wikarsa et al. | Using technology acceptance model to evaluate the utilization of kolintang instruments application | |
Barreto et al. | A stylus-driven intelligent tutoring system for music education instruction | |
Syukur et al. | Immersive and challenging experiences through a virtual reality musical instruments game: an approach to gamelan preservation | |
KR102433890B1 (ko) | 인공지능 기반 악기 연주 보조 시스템 및 방법 | |
US20140260903A1 (en) | System, platform and method for digital music tutoring | |
CN117151548A (zh) | 以手部动作判断为基础的音乐线上学习方法及系统 | |
Fonteles et al. | User experience in a kinect-based conducting system for visualization of musical structure | |
US20150000505A1 (en) | Techniques for analyzing parameters of a musical performance | |
CN114677431A (zh) | 钢琴指法识别方法及计算机可读存储介质 | |
CN114510617A (zh) | 在线课程学习行为确定方法及装置 | |
Kumaki et al. | Design and implementation of a positioning learning support system for violin beginners, using true, vague and false information | |
CN112019910A (zh) | 一种乐器演奏方法、装置、电视及存储介质 | |
CN111695777A (zh) | 教学方法、装置、电子设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40043933 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |