CN115240620A - 一种多功能乐器同步互动方法及系统 - Google Patents

一种多功能乐器同步互动方法及系统 Download PDF

Info

Publication number
CN115240620A
CN115240620A CN202210775027.2A CN202210775027A CN115240620A CN 115240620 A CN115240620 A CN 115240620A CN 202210775027 A CN202210775027 A CN 202210775027A CN 115240620 A CN115240620 A CN 115240620A
Authority
CN
China
Prior art keywords
information
musical instrument
playing
target
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210775027.2A
Other languages
English (en)
Inventor
何海峰
王金权
叶龙海
郭湧
张绍志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Rantion Technology Co Ltd
Original Assignee
Guangzhou Rantion Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Rantion Technology Co Ltd filed Critical Guangzhou Rantion Technology Co Ltd
Priority to CN202210775027.2A priority Critical patent/CN115240620A/zh
Publication of CN115240620A publication Critical patent/CN115240620A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • G10H2210/245Ensemble, i.e. adding one or more voices, also instrumental voices

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明提供了一种多功能乐器同步互动方法及系统,涉及乐器技术领域,采集获取当前需要进行演奏的乐曲信息与当前目标用户需要进行演奏的目标乐器,构建获得乐器同步互动分析模型,将乐曲信息和目标乐器输入乐器同步互动分析模型,获得乐器集合中除目标乐器以外的其他乐器演奏乐曲信息的伴奏信息,以及采用目标乐器演奏乐曲信息的指示信息,基于指示信息,采用目标乐器进行互动演奏,对演奏过程进行评分获取评分结果,解决了现有技术中存在的由于设备智能度不足,只能基于预设内容进行相应的互动,且不能给予相对完整、精确的反馈,使得演奏效果与结果复盘无法完美实现的技术问题,实现了多功能乐器的自动识别与互动评估,并保证评估结果准确度。

Description

一种多功能乐器同步互动方法及系统
技术领域
本发明涉及乐器技术领域,具体涉及一种多功能乐器同步互动方法及系统。
背景技术
随着人类生活水平的提高,乐器已经成为了休闲娱乐主要方向,包括儿童、成年人与老人多个不同年龄段,然而,受到乐器基础知识与乐感的限制,使得部分演奏着进行乐器演奏时需要精通乐器者进行指导或者指挥,为了消除对于乐器教学、自学与排练进程中受到的诸多局限性,可通过进行远程互动、设备示教等方式,甚至可通过进行多设备的模拟指导,然而,现有技术不能完全消弭演奏进程中的局限性,还存在着一定的不足。
在进行多种乐器互动时,由于设备智能度不足,只能基于预设内容进行相应的互动,且不能给予相对完整、精确的反馈,使得演奏效果与结果复盘无法完美实现。
发明内容
本申请提供了一种多功能乐器同步互动方法及系统,用于针对解决现有技术中存在的由于设备智能度不足,只能基于预设内容进行相应的互动,且不能给予相对完整、精确的反馈,使得演奏效果与结果复盘无法完美实现的技术问题。
鉴于上述问题,本申请提供了一种多功能乐器同步互动方法及系统。
第一方面,本申请提供了一种多功能乐器同步互动方法,所述方法包括:采集获取当前需要进行演奏的乐曲信息,其中,所述乐曲信息需要通过多种乐器进行演奏,多种乐器形成乐器集合;采集获取当前目标用户需要进行演奏的目标乐器;构建获得乐器同步互动分析模型;将所述乐曲信息和所述目标乐器输入乐器同步互动分析模型,获得输出结果;根据所述输出结果,获得由所述乐器集合中除所述目标乐器以外的其他乐器演奏所述乐曲信息的伴奏信息,以及采用所述目标乐器演奏所述乐曲信息的指示信息;根据所述指示信息,在所述伴奏信息下,采用所述目标乐器进行互动演奏;在所述互动演奏的过程中,对所述目标用户的演奏进行评分,获得评分结果。
第二方面,本申请提供了一种多功能乐器同步互动系统,所述系统包括:信息采集模块,所述信息采集模块用于采集获取当前需要进行演奏的乐曲信息,其中,所述乐曲信息需要通过多种乐器进行演奏,多种乐器形成乐器集合;目标获取模块,所述目标获取模块用于采集获取当前目标用户需要进行演奏的目标乐器;模型构建模块,所述模型构建模块用于构建获得乐器同步互动分析模型;模型分析模块,所述模型分析模块用于将所述乐曲信息和所述目标乐器输入乐器同步互动分析模型,获得输出结果;信息获取模块,所述信息获取模块用于根据所述输出结果,获得由所述乐器集合中除所述目标乐器以外的其他乐器演奏所述乐曲信息的伴奏信息,以及采用所述目标乐器演奏所述乐曲信息的指示信息;互动演奏模块,所述互动演奏模块用于根据所述指示信息,在所述伴奏信息下,采用所述目标乐器进行互动演奏;演奏评分模块,所述演奏评分模块用于在所述互动演奏的过程中,对所述目标用户的演奏进行评分,获得评分结果。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
本申请实施例提供的一种多功能乐器同步互动方法,采集获取当前需要进行演奏的乐曲信息,其中,所述乐曲信息需要通过多种乐器进行演奏,多种乐器形成乐器集合;采集获取当前目标用户需要进行演奏的目标乐器;构建获得乐器同步互动分析模型,将所述乐曲信息和所述目标乐器输入乐器同步互动分析模型以获取输出结果,获得由所述乐器集合中除所述目标乐器以外的其他乐器演奏所述乐曲信息的伴奏信息,以及采用所述目标乐器演奏所述乐曲信息的指示信息;根据所述指示信息,在所述伴奏信息下,采用所述目标乐器进行互动演奏,对所述目标用户的演奏过程进行评分,获得评分结果,解决了现有技术中存在的由于设备智能度不足,只能基于预设内容进行相应的互动,且不能给予相对完整、精确的反馈,使得演奏效果与结果复盘无法完美实现的技术问题,实现了多功能乐器的自动识别与互动评估,并保证评估结果准确度。
附图说明
图1为本申请提供了一种多功能乐器同步互动方法流程示意图;
图2为本申请提供了一种多功能乐器同步互动方法中乐器同步互动分析模型构建流程示意图;
图3为本申请提供了一种多功能乐器同步互动方法中乐曲演奏评分结果获取流程示意图;
图4为本申请提供了一种多功能乐器同步互动系统结构示意图。
附图标记说明:信息采集模块a,目标获取模块b,模型构建模块c,模型分析模块d,信息获取模块e,互动演奏模块f,演奏评分模块g。
具体实施方式
本申请通过提供一种多功能乐器同步互动方法及系统,用于解决现有技术中存在的由于设备智能度不足,只能基于预设内容进行相应的互动,且不能给予相对完整、精确的反馈,使得演奏效果与结果复盘无法完美实现的技术问题。
实施例一
如图1所示,本申请提供了一种多功能乐器同步互动方法,所述方法包括:
步骤S100:采集获取当前需要进行演奏的乐曲信息,其中,所述乐曲信息需要通过多种乐器进行演奏,多种乐器形成乐器集合;
步骤S200:采集获取当前目标用户需要进行演奏的目标乐器;
具体而言,本申请提供的一种多功能乐器同步互动方法,通过基于乐曲信息与目标乐器进行同步互动分析,获取相应的指示信息以进行演奏,进一步进行演奏评分获取评分结果,首先,对当前需要进行演奏的乐曲信息进行采集,包括了待演奏乐曲的类型、具体内容、节奏、和声、旋律等,乐曲信息作为演奏的基础信息,是完成乐曲演奏的依据,一般而言,乐曲需多种乐器联合进行演奏,方能达到演奏的理想效果。
进一步的,对当前目标用户需要进行演奏的目标乐器进行采集,所述目标乐器指演奏所述乐曲需要用到的相关乐器集合,不同类型乐曲需用到的乐器不尽相同,例如,流行音乐一般用弦乐器、木管乐器、铜管乐器等,其中又包括了多种具体乐器,基于乐曲类型,对进行乐曲演奏所需的所述目标乐器进行分析获取,确定进行完整演奏所使用的多个目标乐器,以获取所述目标乐器集合,通过获取所述乐曲信息与所述目标乐器集合,为后续进行乐器的同步互动分析夯实了基础。
步骤S300:构建获得乐器同步互动分析模型;
具体而言,构建所述乐器同步互动分析模型,所述乐器同步互动分析模型用于对伴奏信息与所述目标乐器演奏的指示信息进行分析确定,进而进行结果输出的模型,通过获取样本信息,并将其划分为训练样本、演奏样本与测试样本,基于上述样本集合对构建的所述乐器互动分析模型进行训练测试,使得所述乐器同步互动分析模型的模拟结果达到预定标准,可最大限度的提高模型的模拟准确度,进而获取最终确定的所述乐器同步互动分析模型,进一步将所述乐器同步互动分析模型作为分析工具进行所述乐曲信息与所述目标乐器的演奏分析。
进一步而言,如图2所示,所述构建获得乐器同步互动分析模型,本申请步骤S300还包括:
步骤S310:采集获得构建样本集合;
步骤S320:对所述构建样本集合进行划分和标识,获得训练样本集合、演奏样本集合和测试样本集合;
步骤S330:基于前馈神经网络模型,构建所述乐器同步互动分析模型;
步骤S340:采用所述训练样本集合、演奏样本集合和测试样本集合对所述乐器同步互动分析模型进行监督训练、演奏和测试;
步骤S350:直到所述乐器同步互动分析模型的准确率达到预设要求,获得所述乐器同步互动分析模型。
具体而言,进行所述乐器同步互动分析模型的构建,对所述构建样本集合进行采集,所述构建样本集合指用于进行模型训练测试的多个样本信息,包括了多个乐曲信息与不同乐曲信息的多个不同乐器的伴奏信息,对所述构建样本信息进行划分,基于多个乐曲信息分别进行训练样本、演奏样本与测试样本的划分,进一步采用不同序列号分别对相应的样本信息进行标识,示例性的,对多个乐曲信息采用阿拉伯数字进行标识区分,对不同乐曲信息的训练样本、演奏样本与测试样本分别采用英文字母进行标注,例如,1a,1b,1c,以获取所述训练样本集合、所述演奏样本集合与所述测试样本集合。
进一步基于所述前馈神经网络模型进行所述乐器同步互动分析模型的构建,所述前馈神经网络模型为各神经元分层排列,不存在反馈的一种逻辑门模型,所述乐器同步互动分析模型指用于获取多乐器伴奏信息与所述目标乐器演奏指示信息的虚拟模型,基于所述训练样本集合、所述演奏样本集合与所述吧、测试样本集合进行所述乐器同步互动分析模型的监督训练、演奏与测试,以确保所述乐器同步分析模型模拟的完备性,提高模拟结果与实际操作的贴合度,直至所述乐器同步互动分析模型的准确率达到预设要求,所述预设要求指模型模拟准确度的限定标准,当准确率达到限定标准时,停止进行模型的监督训练、演奏与测试,并将此时的模型作为最终确定的所述乐器同步互动分析模型。
进一步而言,所述采集获得构建样本集合,本申请步骤S310还包括:
步骤S311:采集获得所述目标用户需要进行演奏的多个乐曲信息,获得乐曲信息集合;
步骤S312:采集获取所述乐曲信息集合内各乐曲信息内由多种不同乐器演奏获得的伴奏信息,获得多个伴奏信息集合;
步骤S313:采集获取采用不同乐器演奏所述乐曲信息集合中多个乐曲信息的指示信息,获得多个指示信息集合;
步骤S314:将所述乐曲信息集合、多个所述伴奏信息集合和多个所述指示信息集合作为所述构建样本集合。
具体而言,采集获得所述构建样本集合,对所述目标用户需要进行演奏的多个乐曲信息进行采集,获取所述乐曲信息集合,针对所述乐曲信息集合中的多个乐曲信息,分别对每个乐曲信息分别由多种不同乐器进行演奏对应的伴奏信息进行采集,获取多个伴奏信息并基于乐曲信息进行所述多个伴奏信息的归类整合处理,获取所述多个伴奏信息集合,对采用不同乐器演奏所述乐曲信息集合中多个乐曲信息的指示信息进行采集,所述指示信息为基于不同乐器进行乐曲信息演奏时的要点指挥信息,包括节奏信息与动作信息,获取所述多个指示信息集合,进一步的,将所述乐曲信息集合、多个所述伴奏信息与多个所述指示信息集合作为所述构建样本集合进行系统存储,为进行所述乐器互动分析模型的训练测试提供了信息支撑。
进一步而言,所述采集获取采用不同乐器演奏所述乐曲信息集合中多个乐曲信息的指示信息,本申请步骤S313还包括:
步骤S3131:采集获取采用不同乐器演奏所述乐曲信息集合中多个乐曲信息时的节奏信息,获得多个节奏信息集合;
步骤S3132:采集获取采用不同乐器演奏所述乐曲信息集合中多个乐曲信息时的动作信息,获得多个动作信息集合;
步骤S3133:根据多个所述节奏信息集合和多个所述动作信息集合,获得多个所述指示信息集合。
具体而言,针对所述乐曲信息集合中的多个乐曲信息,对采用不同乐器进行演奏时的节奏信息进行采集,所述节奏信息表述用强弱组织起来的音与音之间的长短关系,包括乐曲信息中的布局、段落、快慢等,获取所述多个节奏信息集合,同时,对采用不同乐器进行演奏时的动作信息进行采集,所述动作信息指代不同乐器演奏时的动作幅度、调整速度、重复频率等,获取所述多个动作信息集合,进一步的,基于获取的所述节奏信息集合与所述动作信息集合,通过进行同一乐曲信息下多个乐器的节奏信息与动作信息的对应映射,获取多个所述指示信息集合,以进行后续乐曲演奏指示。
步骤S400:将所述乐曲信息和所述目标乐器输入乐器同步互动分析模型,获得输出结果;
步骤S500:根据所述输出结果,获得由所述乐器集合中除所述目标乐器以外的其他乐器演奏所述乐曲信息的伴奏信息,以及采用所述目标乐器演奏所述乐曲信息的指示信息;
步骤S600:根据所述指示信息,在所述伴奏信息下,采用所述目标乐器进行互动演奏;
具体而言,获取所述乐器同步互动分析模型,将所述乐曲信息与所述目标乐器输入所述乐器同步互动分析模型中进行分析模拟,通过对所述乐曲信息与所述目标乐器进行识别,进一步进行所述乐曲信息的相关信息的匹配对应,获取所述乐曲信息的多个演奏乐器的伴奏信息与演奏指示信息,作为输出结果进行输出,进一步对所述输出结果进行整合筛选,获取除所述目标乐器外所述乐器集合中的其他乐器演奏所述乐曲信息的伴奏信息与所述目标乐器演奏所述乐曲信息的指示信息,基于所述指示信息,可进行所述目标乐器演奏时的指挥提醒,进而对演奏效果进行把控,基于所述指示信息,以其他乐器演奏所述乐曲信息的伴奏信息为基准,通过进行所述目标乐器与所述伴奏信息的联合互动,以完成所述乐曲信息的互动演奏。
步骤S700:在所述互动演奏的过程中,对所述目标用户的演奏进行评分,获得评分结果。
具体而言,基于所述互动演奏过程,通过进行实时演奏信息采集,获取所述目标用户采用所述目标乐器演奏所述乐曲信息的音频信息与动作信息,进一步进行所述音频信息与所述指示信息、所述音频信息与所述伴奏信息、所述动作信息与所述指示信息之间对应信息的符合度评分,获取对应评分并基于权重值进行加权计算,通过进行综合评分获取所述评分结果,所述评分结果较于直观评价更加精确,更具完备性。
进一步而言,如图3所示,所述对所述目标用户的演奏进行评分,本申请步骤S700还包括:
步骤S710:采集获取所述目标用户在采用目标乐器进行互动演奏的过程中,演奏产生的音频信息;
步骤S720:采集获取所述目标用户在采用目标乐器进行互动演奏的过程中,产生的动作信息;
步骤S730:结合所述指示信息和所述伴奏信息,对所述音频信息和所述动作信息进行评分,获得所述评分结果。
具体而言,通过进行所述多乐器伴奏信息与所述目标乐器间的互动演奏,进一步对所述目标乐器的演奏效果进行评分,通过对所述目标用户采用所述目标乐器进行演奏过程中产生的音频信息与动作信息进行采集,进而结合所述指示信息与所述伴奏信息,进行所述音频信息与所述动作信息的评分,其中,所述目标乐器的音频信息和动作信息与所述指示信息与伴奏信息一一对应,分别对所述音频信息与所述动作信息分别进行评分,进而进行综合演奏评分,以确定最终的所述目标乐器的演奏评分结果。
进一步而言,所述结合所述指示信息和所述伴奏信息,对所述音频信息进行评分,本申请步骤S730还包括:
步骤S731:分析判断所述音频信息符合所述指示信息的符合度,获得第一评分;
步骤S732:分析判断所述音频信息符合所述伴奏信息的匹配度,获得第二评分;
步骤S733:分析判断所述动作信息符合所述指示信息的符合度,获得第三评分;
步骤S734:对所述第一评分、第二评分和第三评分进行加权计算,获得所述评分结果。
具体而言,获取所述目标乐器进行所述乐曲信息演奏的音频信息与动作信息,进一步进行所述音频信息与所述动作信息和获取的所述指示信息之间的信息映射,预设评分等级标准,所述预设评分等级标准为设定的对多种信息类型进行分析评估的限定标准,对所述音频信息与所述指示信息进行信息符合度的分析判断,获取分析结果作为所述第一评分,对所述音频信息与所述伴奏信息进行信息匹配度的分析判断,获取分析结果作为所述第二评分,对所述动作信息与所述指示信息的信息符合度进行分析判断,获取分析结果作为所述第三评分,进一步进行所述第一评分、所述第二评分与所述第三评分的权重值分析,通过进行多个评分结果的加权计算,获取综合评分结果作为最终的演奏评分结果。
进一步而言,对所述第一评分、第二评分和第三评分进行加权计算,本申请步骤S734还包括:
步骤S7341:根据所述第一评分、所述第二评分和所述第三评分的重要程度,进行权重分配,获得权重分配结果;
步骤S7342:采用所述权重分配结果对所述第一评分、第二评分和第三评分进行加权求和计算,获得所述评分结果。
具体而言,通过进行所述音频信息、所述动作信息与所述指示信息、所述伴奏信息间符合度的对应评分,确定所述第一评分、所述第二评分与所述第三评分,进一步确定所述第一评分、所述第二评分与所述第三评分的重要程度,以此为基础进行权重分配,权重值越高,对于综合评分结果的影响度越高,获取对应的权重分配结果,以所述权重分配结果为基准,进行所述第一评分、所述第二评分与所述第三评分之间的加权求和计算,获取计算结果作为所述评分结果,通过进行评分之间的权重分配,可有效提升评分结果精确度,使得所述评分结果与所述目标乐器的演奏效果贴合度更高。
实施例二
基于与前述实施例中一种多功能乐器同步互动方法相同的发明构思,如图4所示,本申请提供了一种多功能乐器同步互动系统,所述系统包括:
信息采集模块a,所述信息采集模块a用于采集获取当前需要进行演奏的乐曲信息,其中,所述乐曲信息需要通过多种乐器进行演奏,多种乐器形成乐器集合;
目标获取模块b,所述目标获取模块b用于采集获取当前目标用户需要进行演奏的目标乐器;
模型构建模块c,所述模型构建模块c用于构建获得乐器同步互动分析模型;
模型分析模块d,所述模型分析模块d用于将所述乐曲信息和所述目标乐器输入乐器同步互动分析模型,获得输出结果;
信息获取模块e,所述信息获取模块e用于根据所述输出结果,获得由所述乐器集合中除所述目标乐器以外的其他乐器演奏所述乐曲信息的伴奏信息,以及采用所述目标乐器演奏所述乐曲信息的指示信息;
互动演奏模块f,所述互动演奏模块f用于根据所述指示信息,在所述伴奏信息下,采用所述目标乐器进行互动演奏;
演奏评分模块g,所述演奏评分模块g用于在所述互动演奏的过程中,对所述目标用户的演奏进行评分,获得评分结果。
进一步而言,所述系统还包括:
样本采集模块,所述样本采集模块用于采集获得构建样本集合;
样本划分模块,所述样本划分模块用于对所述构建样本集合进行划分和标识,获得训练样本集合、演奏样本集合和测试样本集合;
模型构建模块,所述模型构建模块用于基于前馈神经网络模型,构建所述乐器同步互动分析模型;
模型训练模块,所述模型训练模块用于采用所述训练样本集合、演奏样本集合和测试样本集合对所述乐器同步互动分析模型进行监督训练、演奏和测试;
模型获取模块,所述模型获取模块用于直到所述乐器同步互动分析模型的准确率达到预设要求,获得所述乐器同步互动分析模型。
进一步而言,所述系统还包括:
乐曲信息采集模块,所述乐曲信息采集模块用于采集获得所述目标用户需要进行演奏的多个乐曲信息,获得乐曲信息集合;
伴奏信息采集模块,所述伴奏信息采集模块用于采集获取所述乐曲信息集合内各乐曲信息内由多种不同乐器演奏获得的伴奏信息,获得多个伴奏信息集合;
指示信息采集模块,所述指示信息采集模块用于采集获取采用不同乐器演奏所述乐曲信息集合中多个乐曲信息的指示信息,获得多个指示信息集合;
样本集合构建模块,所述样本集合构建模块用于将所述乐曲信息集合、多个所述伴奏信息集合和多个所述指示信息集合作为所述构建样本集合。
进一步而言,所述系统还包括:
节奏信息采集模块,所述节奏信息采集模块用于采集获取采用不同乐器演奏所述乐曲信息集合中多个乐曲信息时的节奏信息,获得多个节奏信息集合;
动作信息采集模块,所述动作信息采集模块用于采集获取采用不同乐器演奏所述乐曲信息集合中多个乐曲信息时的动作信息,获得多个动作信息集合;
指示信息获取模块,所述指示信息获取模块用于根据多个所述节奏信息集合和多个所述动作信息集合,获得多个所述指示信息集合。
进一步而言,所述系统还包括:
音频信息采集模块,所述音频信息采集模块用于采集获取所述目标用户在采用目标乐器进行互动演奏的过程中,演奏产生的音频信息;
动作信息获取模块,所述动作信息获取模块用于采集获取所述目标用户在采用目标乐器进行互动演奏的过程中,产生的动作信息;
信息评分模块,所述信息评分模块用于结合所述指示信息和所述伴奏信息,对所述音频信息和所述动作信息进行评分,获得所述评分结果。
进一步而言,所述系统还包括:
第一评分获取模块,所述第一评分获取模块用于分析判断所述音频信息符合所述指示信息的符合度,获得第一评分;
第二评分获取模块,所述第二评分获取模块用于分析判断所述音频信息符合所述伴奏信息的匹配度,获得第二评分;
第三评分获取模块,所述第三评分获取模块用于分析判断所述动作信息符合所述指示信息的符合度,获得第三评分;
评分结果获取模块,所述评分结果获取模块用于对所述第一评分、第二评分和第三评分进行加权计算,获得所述评分结果。
进一步而言,所述系统还包括:
权重分配模块,所述权重分配模块用于根据所述第一评分、所述第二评分和所述第三评分的重要程度,进行权重分配,获得权重分配结果;
评分计算模块,所述评分计算模块用于采用所述权重分配结果对所述第一评分、第二评分和第三评分进行加权求和计算,获得所述评分结果。
本说明书通过前述对一种多功能乐器同步互动方法的详细描述,本领域技术人员可以清楚的知道本实施例中一种多功能乐器同步互动方法及系统,对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种多功能乐器同步互动方法,其特征在于,所述方法包括:
采集获取当前需要进行演奏的乐曲信息,其中,所述乐曲信息需要通过多种乐器进行演奏,多种乐器形成乐器集合;
采集获取当前目标用户需要进行演奏的目标乐器;
构建获得乐器同步互动分析模型;
将所述乐曲信息和所述目标乐器输入乐器同步互动分析模型,获得输出结果;
根据所述输出结果,获得由所述乐器集合中除所述目标乐器以外的其他乐器演奏所述乐曲信息的伴奏信息,以及采用所述目标乐器演奏所述乐曲信息的指示信息;
根据所述指示信息,在所述伴奏信息下,采用所述目标乐器进行互动演奏;
在所述互动演奏的过程中,对所述目标用户的演奏进行评分,获得评分结果。
2.根据权利要求1所述的方法,其特征在于,所述构建获得乐器同步互动分析模型,包括:
采集获得构建样本集合;
对所述构建样本集合进行划分和标识,获得训练样本集合、演奏样本集合和测试样本集合;
基于前馈神经网络模型,构建所述乐器同步互动分析模型;
采用所述训练样本集合、演奏样本集合和测试样本集合对所述乐器同步互动分析模型进行监督训练、演奏和测试;
直到所述乐器同步互动分析模型的准确率达到预设要求,获得所述乐器同步互动分析模型。
3.根据权利要求2所述的方法,其特征在于,所述采集获得构建样本集合,包括:
采集获得所述目标用户需要进行演奏的多个乐曲信息,获得乐曲信息集合;
采集获取所述乐曲信息集合内各乐曲信息内由多种不同乐器演奏获得的伴奏信息,获得多个伴奏信息集合;
采集获取采用不同乐器演奏所述乐曲信息集合中多个乐曲信息的指示信息,获得多个指示信息集合;
将所述乐曲信息集合、多个所述伴奏信息集合和多个所述指示信息集合作为所述构建样本集合。
4.根据权利要求3所述的方法,其特征在于,所述采集获取采用不同乐器演奏所述乐曲信息集合中多个乐曲信息的指示信息,包括:
采集获取采用不同乐器演奏所述乐曲信息集合中多个乐曲信息时的节奏信息,获得多个节奏信息集合;
采集获取采用不同乐器演奏所述乐曲信息集合中多个乐曲信息时的动作信息,获得多个动作信息集合;
根据多个所述节奏信息集合和多个所述动作信息集合,获得多个所述指示信息集合。
5.根据权利要求1所述的方法,其特征在于,所述对所述目标用户的演奏进行评分,包括:
采集获取所述目标用户在采用目标乐器进行互动演奏的过程中,演奏产生的音频信息;
采集获取所述目标用户在采用目标乐器进行互动演奏的过程中,产生的动作信息;
结合所述指示信息和所述伴奏信息,对所述音频信息和所述动作信息进行评分,获得所述评分结果。
6.根据权利要求5所述的方法,其特征在于,所述结合所述指示信息和所述伴奏信息,对所述音频信息进行评分,包括:
分析判断所述音频信息符合所述指示信息的符合度,获得第一评分;
分析判断所述音频信息符合所述伴奏信息的匹配度,获得第二评分;
分析判断所述动作信息符合所述指示信息的符合度,获得第三评分;
对所述第一评分、第二评分和第三评分进行加权计算,获得所述评分结果。
7.根据权利要求6所述的方法,其特征在于,对所述第一评分、第二评分和第三评分进行加权计算,包括:
根据所述第一评分、所述第二评分和所述第三评分的重要程度,进行权重分配,获得权重分配结果;
采用所述权重分配结果对所述第一评分、第二评分和第三评分进行加权求和计算,获得所述评分结果。
8.一种多功能乐器同步互动系统,其特征在于,所述系统包括:
信息采集模块,所述信息采集模块用于采集获取当前需要进行演奏的乐曲信息,其中,所述乐曲信息需要通过多种乐器进行演奏,多种乐器形成乐器集合;
目标获取模块,所述目标获取模块用于采集获取当前目标用户需要进行演奏的目标乐器;
模型构建模块,所述模型构建模块用于构建获得乐器同步互动分析模型;
模型分析模块,所述模型分析模块用于将所述乐曲信息和所述目标乐器输入乐器同步互动分析模型,获得输出结果;
信息获取模块,所述信息获取模块用于根据所述输出结果,获得由所述乐器集合中除所述目标乐器以外的其他乐器演奏所述乐曲信息的伴奏信息,以及采用所述目标乐器演奏所述乐曲信息的指示信息;
互动演奏模块,所述互动演奏模块用于根据所述指示信息,在所述伴奏信息下,采用所述目标乐器进行互动演奏;
演奏评分模块,所述演奏评分模块用于在所述互动演奏的过程中,对所述目标用户的演奏进行评分,获得评分结果。
CN202210775027.2A 2022-07-01 2022-07-01 一种多功能乐器同步互动方法及系统 Pending CN115240620A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210775027.2A CN115240620A (zh) 2022-07-01 2022-07-01 一种多功能乐器同步互动方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210775027.2A CN115240620A (zh) 2022-07-01 2022-07-01 一种多功能乐器同步互动方法及系统

Publications (1)

Publication Number Publication Date
CN115240620A true CN115240620A (zh) 2022-10-25

Family

ID=83671208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210775027.2A Pending CN115240620A (zh) 2022-07-01 2022-07-01 一种多功能乐器同步互动方法及系统

Country Status (1)

Country Link
CN (1) CN115240620A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117636900A (zh) * 2023-12-04 2024-03-01 广东新裕信息科技有限公司 一种基于音频特征形状匹配的乐器演奏质量评价方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117636900A (zh) * 2023-12-04 2024-03-01 广东新裕信息科技有限公司 一种基于音频特征形状匹配的乐器演奏质量评价方法
CN117636900B (zh) * 2023-12-04 2024-05-07 广东新裕信息科技有限公司 一种基于音频特征形状匹配的乐器演奏质量评价方法

Similar Documents

Publication Publication Date Title
CN106340286B (zh) 一种通用的实时乐器演奏评价系统
CN107767847B (zh) 一种智能钢琴演奏测评方法及系统
CN103594087B (zh) 提高口语评测性能的方法及系统
US9613542B2 (en) Sound source evaluation method, performance information analysis method and recording medium used therein, and sound source evaluation apparatus using same
Wu et al. Towards the objective assessment of music performances
CN102880693A (zh) 一种基于个体发声能力的音乐推荐方法
CN115240620A (zh) 一种多功能乐器同步互动方法及系统
CN108735192A (zh) 一种结合曲风的钢琴演奏音质评价系统及方法
Bresin et al. Evaluation of computer systems for expressive music performance
Zdzinski Measurement of solo instrumental music performance: A review of literature
US20220383842A1 (en) Estimation model construction method, performance analysis method, estimation model construction device, and performance analysis device
Petiot et al. Investigation of the relationships between perceived qualities and sound parameters of saxophone reeds
Timmers et al. Training expressive performance by means of visual feedback: existing and potential applications of performance measurement techniques
KR20150069660A (ko) 연주 연습 성과 관리 방법
CN110956870A (zh) 一种视唱练耳教学方法及装置
Wind et al. Evaluating differential rater accuracy over time in solo music performance assessment
De Francisco et al. ODESSA–orchestral distribution effects in sound, space and acoustics: an interdisciplinary symphonic recording for the study of orchestral sound blending
Cook et al. Using dsp-based parametric physical synthesis models to study human sound perception
Nilsson Electroglottography in real-time feedback for healthy singing
Min et al. Computer Based English Speaking Test Based on Artifical Neural Network
CN117636900B (zh) 一种基于音频特征形状匹配的乐器演奏质量评价方法
Yamada et al. Development of rhythm practice supporting system with real-time onset detection
CN111883089B (zh) 一种生成可视化古琴琴谱的方法、装置及存储介质
CN116629655B (zh) 基于学习效率的高校非母语教室声环境的综合评估方法
Parasiz A Research Focused on Improving Vocalisation Level on Violin Education.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination